
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
nginx代理前端html
略微不正常,通过www.example.com/h5访问。同时VUE项目中也要稍微改动一下。

llama.cpp制作GGUF文件及使用
llama.cpp是一个开源项目,由Georgi Gerganov开发,旨在提供一个高性能的推理工具,专为在各种硬件平台上运行大型语言模型(LLMs)而设计。这个项目的重点在于优化推理过程中的性能问题,特别是针对CPU环境。高性能推理引擎:llama.cpp使用C语言编写的机器学习张量库ggml,这使得它能够高效地处理大规模的张量运算,从而加速模型推理。模型量化工具。

lmdeploy部署 LLM 类 openai 服务
可以运行以下命令查看参数信息。

到底了







