Ollama是一个用于在本地运行大语言模型（LLM）的开源工具，它让开发者和用户能够轻松地在自己的设备上部署和使用大语言模型。项目地址：https://github.com/ollama/ollamaStar数目：129k。

再也不需要到处去寻找很复杂、后期难于维护的各种工作流和下载种类繁多的大模型。只需要一次性的硬件成本支出，就可以随时按照自己的需求来生图，无需额外计算与支付算力、网络、存储等费用，长期使用后边际成本更低。所有的数据处理都在本地设备完成，避免敏感内容（个人图片、商业素材竺）外传到公网。无需调用收费api，不受调用次数的限制，适合高频次、批量处理图像的场景（如自媒体内容制作）。

编译环境需要确定依赖关系，CUDA的nvcc在Windows系统中默认依赖微软的MSVC编译器（cl.exe），而MinGW使用GCC/G++工具链，两者不兼容，所以编译支持CUDA的llama.cpp时，应该避免使用MinGW编译器。随着大模型技术的快速发展，大模型客户端应用需求日益增长。与大部分商业闭源的大模型桌面客户端的技术路线一样，ChatBox也是基于Electron框架来实现桌面端应用

Ollama是一个用于在本地运行大语言模型（LLM）的开源工具，它让开发者和用户能够轻松地在自己的设备上部署和使用大语言模型。项目地址：https://github.com/ollama/ollamaStar数目：129k。

再也不需要到处去寻找很复杂、后期难于维护的各种工作流和下载种类繁多的大模型。只需要一次性的硬件成本支出，就可以随时按照自己的需求来生图，无需额外计算与支付算力、网络、存储等费用，长期使用后边际成本更低。所有的数据处理都在本地设备完成，避免敏感内容（个人图片、商业素材竺）外传到公网。无需调用收费api，不受调用次数的限制，适合高频次、批量处理图像的场景（如自媒体内容制作）。