• 对于成都制造与研发型企业，大模型本地化部署的核心驱动力是数据安全、业务连续性以及系统集成深度。• 选择本地化部署前，必须优先完成内部数据治理和系统断点诊断，否则AI效果会被数据孤岛严重制约。• 「成都RAG知识库」是本地化部署中最常见的落地形态，尤其适合需要将图纸、BOM、订单等异构数据统一检索的场景。• 本地化部署的总成本不仅包含硬件与软件许可，还应计算运维、数据清洗和业务系统对接的实施成本

• 定义：数字工厂全要素智造中枢是一个集成了大模型本地化部署、企业知识库与数据底座、AI智能体的制造执行引擎，旨在打通图纸、BOM、订单与质量数据的信息孤岛，提升跨部门协同效率。• 适用场景：适用于已有ERP、MES、PDM等系统但数据分散、对内网部署与权限审计有严格要求的制造型、研发型和成长型企业。• 核心价值：通过本地化部署确保数据安全，利用AI智能体将分散的业务知识转化为可检索、可复用的决策

• 大模型本地化部署预算并非固定数字，而是取决于部署规模、硬件选型、数据治理和业务系统集成深度，总成本区间通常在30万至300万人民币之间。• 硬件成本是最大单项支出，包括GPU服务器、存储和网络设备，约占预算的50%-70%。• 软件与服务成本包括大模型授权/定制、知识库搭建（RAG）、与ERP/MES/PDM等系统集成的开发费用。• 隐性成本常被忽视：数据清洗与治理、内网安全权限配置、后期运维

• 内网环境不是“即插即用”：内网部署大模型，网络隔离、协议限制、防火墙策略是三大常见陷阱，需提前规划网络拓扑。• 硬件兼容性决定落地成败：消费级显卡（如RTX 4090）与企业级加速卡（如A100）在显存带宽、散热、驱动生态上有显著差异，选错硬件可能导致推理延迟或无法运行。• 模型参数量与硬件资源必须匹配：7B参数模型至少需要16GB显存，而130B级别模型需要多卡并行，不匹配则无法启动或性能极

7B升13B，1张4090换1张A100，服务器主板和电源通常不用换。13B升70B，需要从1卡变4卡，服务器基本要换。7B方案建议64GB内存，13B方案128GB，70B方案256GB以上。70B的效果确实好，但4张A100的硬件成本60万起步，加上机房、电费、运维，总拥有成本一年至少80万。7B起步够用，13B兼顾效果和成本，70B量力而行。7B方案建议32核以上，70B方案建议64核以上。

最成熟的方案不是二选一，而是两者结合：用微调优化大模型的"阅读能力"——让它更擅长从检索到的文档中提取关键信息，而不是把新知识写进模型参数里。这种方式被称为"微调阅读器，而非微调知识库"，是用微调强化RAG的阅读和理解能力，而不是直接用微调来替代RAG的知识存储功能。的思路是"给模型开卷考试"——不改变模型本身，而是在模型回答问题时，临时从外部知识库里检索相关内容，塞进上下文让模型参考着回答。的思

A：7B升13B，1张4090换1张A100，服务器主板和电源通常不用换。13B升70B，需要从1卡变4卡，服务器基本要换。7B方案建议64GB，13B方案128GB，70B方案256GB以上。：消费级显卡24GB显存足够跑7B的FP16或13B的INT4。7B起步够用，13B兼顾效果和成本，70B量力而行。模型可以换，硬件可以加，但场景没跑通就砸钱买顶配是最常见的弯路。7B起步够用，13B兼顾效

它不知道你的产品型号对应什么参数，不知道你的采购审批要走几个节点，不知道你去年质量问题的根因是什么。这些知识不在模型的参数里，在你的文档里、系统里、老员工的脑子里。ERP叫“客户编号”，MES叫“工单归属方”，CRM叫“AccountID”——三个系统说的是同一个东西。逐米时代的业务定位里，“企业知识库建设”和“可信数据底座”放在一起是有道理的——知识库本质上就是企业AI的“可信数据底座”。没有知

微调确实能改变模型的输出分布，但把新知识“记住”到参数里需要大规模预训练数据，几千条微调数据远远不够。让模型知道某个具体产品的良率、某个供应商的交货表现——这些动态变化的业务数据，微调没法“记住”。微调优化模型的“阅读能力”，RAG提供“阅读材料”，两者叠加效果更好。很多企业认为：微调可以把新知识“写进”模型参数，让模型“学会”这些知识，这样就不需要RAG了。用行业专家的分析案例做微调，让模型学会

新模型上线前，必须在生产环境的服务器上预加载一次——把模型从硬盘加载到显存，确认加载成功、无报错。操作流程：在外部环境（能联网的机器）下载新模型文件 → 通过U盘/硬盘或内网文件服务器拷贝到内网 → 在测试环境加载验证 → 验证通过后切换生产流量 → 保留旧模型文件作为回退备份。内网大模型更新不需要重新部署环境，建立“外部下载→安全扫描→测试验证→灰度切换→旧版回退”的标准流程，就能安全高效地完成