写文章
- @qq_41911158
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
从零开始到基于docker容器和llama.cpp/llama-cpp-python部署大模型的简易教程
llama.cpp是一个大模型推理平台，可以运行gguf格式的量化模型，并使用C++加速模型推理，使模型可以运行在小显存的gpu上，甚至可以直接纯cpu推理，token数量也可以达到四五十每秒（8核16线程，使用qwen2.5-1.5b模型），另外，该平台几乎兼容所有主流模型。本文介绍了如何使用docker部署llama.cpp和llama.cpp的python绑定llama-cpp-python
解决 anaconda通过conda安装软件时报错：Collecting package metadata (current_repodata.json): failed 问题
解决conda安装软件报错：Collecting package metadata (current_repodata.json): failed的问题
解决 anaconda通过conda安装软件时报错：Collecting package metadata (current_repodata.json): failed 问题
解决conda安装软件报错：Collecting package metadata (current_repodata.json): failed的问题
到底了