logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

nginx代理前端html

略微不正常,通过www.example.com/h5访问。同时VUE项目中也要稍微改动一下。

文章图片
#前端#nginx#html
llama.cpp制作GGUF文件及使用

llama.cpp是一个开源项目,由Georgi Gerganov开发,旨在提供一个高性能的推理工具,专为在各种硬件平台上运行大型语言模型(LLMs)而设计。这个项目的重点在于优化推理过程中的性能问题,特别是针对CPU环境。高性能推理引擎:llama.cpp使用C语言编写的机器学习张量库ggml,这使得它能够高效地处理大规模的张量运算,从而加速模型推理。模型量化工具。

文章图片
#python#语言模型
lmdeploy部署 LLM 类 openai 服务

可以运行以下命令查看参数信息。

文章图片
#python#语言模型
到底了