介绍在单台linux系统电脑，纯CPU运行环境下部署运行大模型的三种方式，基于ollama工具，lame.cpp工具和transformers方式加载运行。总体来说，三种方式都较为方便，并且在资源和性能平衡上给出建议，非常适合初学者上手实践。

在单机CPU运行环境下，对比了通义千问Qwen1.5系列量化版本的四版大模型：0.5B，1.8B，4B，7B，并且给出实验过程、实验结果和建议。

大模型本地部署遇到的三个概念，llama，ollama，llama.cpp。简单区分如下：llama 是一个Meta公司开源的预训练大型语言模型，llama.cpp用于加载和运行 LLaMA 语言模型。ollama是大模型运行框架，它利用了 llama.cpp 提供的底层功能。

Open WebUI 是一个仿照 ChatGPT 界面，为本地大语言模型提供图形化界面的开源项目，可以非常方便的调试、调用本地模型。你能用它连接你在本地的大语言模型（包括 Ollama 和 OpenAI 兼容的 API），也支持远程服务器。本文给出了具体操作实践，给出了遇到的问题及解决方案。

rapidocr-onnxruntime是一个跨平台的OCR库，基于ONNXRuntime推理框架。重点介绍在open-webui中，如何安装和使用该库支持PDF图像处理（使用OCR）。

rapidocr-onnxruntime是一个跨平台的OCR库，基于ONNXRuntime推理框架。重点介绍在open-webui中，如何安装和使用该库支持PDF图像处理（使用OCR）。

做格式转换时，使用的较高版本的llama.cpp库，而我们使用的版本偏低，导致不兼容。在网上查找资料，该种情况的原因是：qwen2的这些模型，在使用。升级后，版本：ollama version is 0.1.42。进入到ollama官网，选择重新下载安装即可。

做格式转换时，使用的较高版本的llama.cpp库，而我们使用的版本偏低，导致不兼容。在网上查找资料，该种情况的原因是：qwen2的这些模型，在使用。升级后，版本：ollama version is 0.1.42。进入到ollama官网，选择重新下载安装即可。

在单机CPU运行环境下，对比了通义千问Qwen1.5系列量化版本的四版大模型：0.5B，1.8B，4B，7B，并且给出实验过程、实验结果和建议。