Deepseek本地部署详细指南！Ollama 到个人知识库应用（附教程）

Ollama 是一个开源的本地大模型部署工具，旨在简化大型语言模型（LLM）的运行和管理。

在本地使用大模型搭建知识库，可以充分保障数据的隐私和安全，同时由于不需要依赖网络连接方便企业内部使用此外，最重要的是能够对模型和知识库进行定制化，根据具体需求进行调整，从而更好地满足特定业务场景的要求，既能供企业内部使用，也能做成Server供客户使用。

本文记录通过vLLM将llama guard在服务器端进行部署并进行模型微调的过程。由于一些文档不完善，本文尽可能提供了一些常见问题解决方案，以及配置方法供大家参考。

今天我们就来深入解析两款主流的大模型推理引擎——vLLM和Ollama，帮助您做出正确的技术选型。

将函数调用（Function Calling）与 LLM 相结合能够扩展您的 AI 应用的能力。通过将您的大语言模型（LLM）与用户定义的 Function 或 API 集成，您可以搭建高效的应用，解决实际问题。

如何在离线的Linux服务器上部署 Ollama，并运行 Qwen 大模型

Ollama是一个工具和框架，主要用于本地部署和使用大语言模型（Large Language Models, LLMs）。

这款开源人工智能模型，你可以进行微调、蒸馏并在任何地方部署。最新的指令调优模型有8B、70B和405B版本可供选择。

本文记录了本地基于Llama-factory的模型微调过程，方便后续进行复盘。因为只是初次尝试，算是把流程跑通了，没有任何优化调整。