本文详细介绍了将微调后的大语言模型部署到本地的四个步骤：1.准备Python、Git和llama.cpp环境；2.从LLamaFactory导出模型；3.关键步骤是将模型转换为GGUF格式，包括创建虚拟环境、安装依赖、执行格式转换和量化；4.最后在Ollama中创建Modelfile并运行模型。重点解决了依赖安装和格式转换的技术难点，为本地部署大模型提供了清晰指导。

就在今天，我也是成功微调了Qwen模型。这两周的模型部署与微调不涉及到代码部分，所以比较简单，我来总结一下，希望一些细节可以帮助到一些和我一样的大模型小白。在一开始学习大模型时，大家应该都会去B站上找一找教程，而且一般都是通过ollama来部署模型，博主也一样，是从Ollama开始自己的大模型之旅的。Ollama的下载这里就不多赘述，网页上直接搜索就会出现。然后是模型的下载，这个在Ollama网页

就在今天，我也是成功微调了Qwen模型。这两周的模型部署与微调不涉及到代码部分，所以比较简单，我来总结一下，希望一些细节可以帮助到一些和我一样的大模型小白。在一开始学习大模型时，大家应该都会去B站上找一找教程，而且一般都是通过ollama来部署模型，博主也一样，是从Ollama开始自己的大模型之旅的。Ollama的下载这里就不多赘述，网页上直接搜索就会出现。然后是模型的下载，这个在Ollama网页