本文档提供了AI大模型私有化部署的完整指南，重点从资源需求测算、模型选型方法和部署实操三个维度展开。首先详细介绍了不同精度类型（INT4/INT8/FP16等）下模型参数与硬件资源（显存/内存/CPU）的对应关系，并给出推荐配置表。其次提出模型选型方法论，建议根据业务场景匹配参数规模和精度类型。最后以魔塔社区为例，给出模型下载和部署的具体操作步骤。文档强调"先算资源再选模型"的

Ollama设置拉取模型本地保存路径和监听端口。

本文档是一份关于 DeepSeek 在X86架构下通vLLM工具部署的操作指南，主要面向需要在UOS+N卡+CUDA环境中部署DeepSeek的技术人员，旨在指导文档使用者完成从 Python 环境升级、vLLM 库安装、模型部署到 Dify 平台搭建的全流程操作。在终端执行如下命令，激活之前创建的虚拟环境，激活成功后，命令行提示符前会出现`(vllm_venv)`标识。执行如下命令启动Dify平

GGUF 格式的全名为（GPT-Generated Unified Format），提到 GGUF 就不得不提到它的前身 GGML（GPT-Generated Model Language）。GGML 是专门为了机器学习设计的张量库，最早可以追溯到 2022/10。其目的是为了有一个单文件共享的格式，并且易于在不同架构的 GPU 和 CPU 上进行推理。但在后续的开发中，遇到了灵活性不足、相容性及

在当今快速发展的技术浪潮中，AI 辅助开发已经成为开发者不可或缺的助手。而随着 Kimi K2 的发布，开发者们迎来了一个全新的、强大的开源智能体模型，它不仅拥有万亿参数的 MoE 结构，还在多个基准测试中达到了开源模型的 SOTA（State-of-the-Art）水平。今天，就让我们一起探索如何在 VSCode 中快速接入 Kimi K2，体验智能编程的极致丝滑。

基于UOS操作系统，利用DeepSeek构建个人本地知识库

注：海光vllm安装文件依赖numa库与python3.11版本不兼容，因此python选择3.10版本。uos-server-2500-vllm0.8.5-dtk25.04.1.tar（容器镜像包）曙光 X7850H0（256 核+ 8张A100+1.5T内存）注：上述文件除Python源码包外，其他包都需要自行到。

openEuler社区人才评定考试

在本地部署 DeepSeek R1 模型时，部分用户可能希望关闭模型的思考过程显示，以获得更简洁的输出结果。

注：海光vllm安装文件依赖numa库与python3.11版本不兼容，因此python选择3.10版本。uos-server-2500-vllm0.8.5-dtk25.04.1.tar（容器镜像包）曙光 X7850H0（256 核+ 8张A100+1.5T内存）注：上述文件除Python源码包外，其他包都需要自行到。