【必收藏】企业大模型应用完全指南：从规划到落地的12个关键问题解答

这篇文章是沙丘智库发布的企业大模型应用指南，系统解答了企业在大模型应用过程中的12个关键问题，包括建设规划、AI基础设施构建、技术创新路径、RAG系统与AI Agent构建、应用场景与行业渗透、落地案例分析、市场格局以及安全风险管理等。文章基于对1000+企业大模型落地案例的研究，为不同行业企业提供了大模型应用落地的全面指导与最佳实践。

AI小白熊

610人浏览 · 2025-09-24 14:54:02

AI小白熊 · 2025-09-24 14:54:02 发布

大模型的全称是大规模预训练模型，是指参数规模超过十亿级别的“预训练深度神经网络模型”，基于“大数据+大算力+大算法参数网络结构”进行训练，实现海量知识“记忆”。

数据的日益增多、算法的持续演进、算力的不断突破推动了大模型的出现，开启通用人工智能的新纪元，将人工智能从基于小模型的“小数据、单任务”向基于大模型的“大数据、多任务”推进。

2022年底ChatGPT的出现引发了世界范围内对大模型的关注。2023年，是中国大模型的发展“元年”，百模大战拉开序幕。2024年，是企业真正开始使用大模型技术并从中获得业务价值的一年。2025年初，DeepSeek发布引发全球轰动，进一步降低企业大模型应用门槛，并开启“智能体元年”，AI Agent将迎来规模化落地浪潮。

在过去的一年里，沙丘智库跟踪调研了国内外各行业头部企业超1000个大模型落地案例，输出800多份深度案例研究以及60多份大模型行业研究报告，已成为全球范围内大模型市场的主要参与者和观察者，也被上千家上市企业战略/IT中高层订阅。

本文汇总了沙丘智库近期在大模型方向的部分研究成果，包括大模型建设规划、技术实现方式、应用现状、市场格局、安全和风险管理等，旨在回答企业想要了解的关于大模型的热门问题。

Q1：企业应如何制定大模型应用落地规划？

Q2：企业如何构建AI新基建（AI Infra）？

Q3：2025年，大模型领域有哪些值得关注的技术创新？

Q4：企业如何选择大模型的建设路径？

Q5：企业如何构建RAG系统？如何利用GraphRAG补充现有RAG的不足？

Q6：企业如何构建基于大模型的AI Agent？

Q7：大模型在哪些场景的应用成熟度较高？

Q8：大模型在各行业的渗透情况如何？

Q9：有哪些值得参考的大模型落地案例？

Q10：大模型领域有哪些值得关注的厂商？

Q11：企业如何应对大模型带来的风险？

Q12：企业如何为员工制定大模型培训计划？

在这里插入图片描述

01 大模型建设规划

▎Q1：企业应如何制定大模型落地规划？

针对众多大模型应用场景，沙丘智库建议企业从业务价值和可行性两个维度进行应用场景的筛选和优先级排序。

在《2025年中国智能客服大模型应用场景评估报告》中，沙丘智库共定义了15个大模型应用场景，包括通话摘要、智能坐席助手、智能工单处理、会话分析、客服机器人、个性化服务、通话质检、情绪分析、知识库维护、智能陪练、即时翻译、客服智能体、智能分发、智能派单、智能排班，并按照业务价值与可行性进行优先级排序，旨在帮助企业客服部门制定出科学合理的大模型应用规划。

在《2025年中国保险业大模型应用场景评估报告》中，沙丘智库确定了当前对保险公司而言最有价值、最具可行性的17个大模型应用场景，包括代理人销售助手、员工知识助手、自动化理赔审核、代理人智能陪练、智能办公助手、个性化营销内容生成、客服坐席助手、编码助手、销售机器人（面客）、核保助手、客服机器人（面客）、ChatBI、测试用例生成、理赔助手、保险产品推荐、欺诈检测、审计助手。同时，沙丘智库对这些应用场景按照业务价值与可行性进行优先级排序，旨在为保险公司大模型应用选择提供参考。

在《2024中国银行业大模型应用场景评估报告》中，沙丘智库确定了当前对银行业而言最有价值、最具可行性的20个大模型应用场景，包括员工知识助手、智能文档助手、客服坐席助手（对内）、智能编码助手、智能办公助手、数据分析助手、软件测试助手、个性化营销素材生成、智能运维助手、信贷审批助手、反洗钱报告生成、对话交易助手、虚拟数字客服（对外）、智能营销助手、智能财富助理（对外）、合规审查助手、异常交易检测、智能审计助手、监管合规政策解读、贷后催收助手。同时，沙丘智库对这些应用场景按照业务价值与可行性进行优先级排序，旨在为银行业大模型应用场景选择提供参考。

在《2024年中国证券业大模型应用场景评估报告》中，沙丘智库确定了当前对证券公司最有价值、最具可行性的17个具体应用场景，包括投顾助手（对内）、投研助手、编码助手、风控合规助手、文档撰写助手、智能办公助手、市场情绪分析、智能客服、风险预警、量化因子挖掘、智能营销、自动化交易、虚拟数字人、基于大模型的智能投顾（面客）、投资组合管理、监管合规政策解读、客户身份验证。同时，根据对证券公司与大模型技术厂商的调研，对这些应用场景按照业务价值与可行性进行优先级排序，旨在为证券公司的大模型应用选择提供参考。

在《2024中国企业IT部门大模型应用场景评估报告》中，沙丘智库共定义了15个大模型应用场景，包括代码生成、测试用例和数据生成、威胁检测、非结构化数据处理、IT流程自动化、代码注释生成、代码评审、合成数据生成、自动文档生成、IT问答助手、数据管理、故障排查、日志监控、供应商管理和软件开发规划，这些应用场景将助力企业IT部门实现成本降低、效率提升、风险管理以及非财务价值，企业IT部门相关负责人可以根据大模型应用场景评估结果进行合理的资源投入与分配。

▎Q2：企业如何构建AI新基建（AI Infra）？

DeepSeek等前沿AI模型通过算法创新降低了对基础设施资源的需求，使得AI技术更加普及，企业可以更经济地部署和使用AI模型。企业需要将未来的AI基础设施战略与这些资源利用率高的模型对齐，以最大化AI创新的效益，优化基础设施投资，并确保适应未来变化。（详见《DeepSeek将如何影响企业基础设施战略？》）

AI基础设施（AI Infra）是指支持人工智能模型开发、部署和管理的硬件和软件资源的集合，包括计算、网络、存储、工程化工具、中间件和库等，这些组件协同工作，为执行AI任务提供高效、稳定和可扩展的支撑环境。

在《2025年中国AI基础设施（AI Infra）市场跟踪报告》中，沙丘智库将AI基础设施（AI Infra）技术栈分为三层架构——物理基础设施->AI平台->AI服务，可以理解为“发电厂->电网->用电服务”，每一层都将对性能、成本和可扩展性产生长期影响。

在这里插入图片描述

02 大模型技术实现路径

▎Q3：2025年，大模型领域有哪些值得关注的技术创新？

2024年9月，OpenAI发布了其首个推理模型OpenAI o1。随后2025年1月，DeepSeek以开放权重的形式发布了DeepSeek-R1，并且训练成本仅为其他大模型厂商的一小部分。DeepSeek-R1的发布引起了世界范围的关注，同时也提升了推理模型在行业的知名度。

推理模型是AI模型的高级进化形式，能够执行逻辑推理、解决复杂问题和多步骤思考。这些模型通过思维链过程和自我反思来模拟人类的思维模式，从简单的模式识别转向理解数据中内在的结构和关系。

推理模型更加适用于同时包含结构化和非结构化数据、并需要详细输出结果的场景，以下是一些理想的垂直行业应用场景。随着技术的发展和模型的成熟，推理模型将扩展至更多领域。（详见《2025年中国推理模型市场跟踪报告》）

大模型应用在执行多步骤任务时，会利用上下文信息来完成任务。然而，这个过程会导致大量信息和工具“噪声”的积累。随着时间的推移，这些积累的信息会超出大模型的上下文窗口限制，从而导致成本增加、延迟增加和性能下降。

通过有效的上下文管理，可以减少信息和噪声的积累，从而提高大模型应用的准确性和成本效率。尤其是在多智能体和复杂交互的环境中。例如，在一个多人对话的场景中，上下文工程可以更好地理解每个人的对话背景和意图，从而生成更准确、更自然的响应。

上下文工程（Context Engineering）是一种系统性的方法，用于设计、优化和管理提供给大模型的上下文信息，旨在提高输出的准确性、相关性、可靠性并优化成本。通过构建一个能够动态提供知识和约束的全面系统，上下文工程能够支持大模型在复杂多步骤任务中的高效执行，从而提升整体性能。（详见《2025年上下文工程市场指南》）

▎Q4：企业如何选择大模型的建设路径？

对企业而言，大模型的建设路径有多种，企业需要了解每种大模型建设路径的技术差异以及优缺点，考虑所有关键因素，由此选择最合适企业的大模型建设路径。

沙丘智库将大模型的建设路径分为五种：购买嵌入了大模型的应用、调用大模型的API接口、通过信息检索扩展大模型、在大模型的基础上微调、自建基础大模型，沙丘智库对比了这五种大模型建设路径的优劣势，并为企业提供了一种选择大模型建设路径的决策框架（详见《企业如何选择大模型的建设路径？》）。

▎Q5：企业如何构建RAG系统？如何利用GraphRAG补充现有RAG的不足？

RAG（Retrieval-Augmented Generation，检索增强生成）是一种人工智能框架，旨在利用大语言模型（LLM）进行跨外部知识源的自然语言查询。RAG的核心思想是通过“外挂知识库”的方式给大模型提供更可靠的知识来抑制模型产生幻觉，通过定期迭代知识库的方式解决大模型知识更新慢和训练成本高的问题。

在实践RAG的过程中，企业会发现RAG走通很容易，但实际落地生产的难度非常大。在《2024年“大模型+RAG”最佳实践报告》中，沙丘智库总结了企业在RAG系统建设中的常见问题与最佳实践。为企业提供一份全面的RAG应用指南，以及18个典型案例作为参考。

除了上述对RAG链路本身的优化以外，对RAG系统的性能进行持续监控和评估也是确保其在实际应用中高效、可靠且安全运行的关键。因此，沙丘智库《RAG系统评估方法论研究报告》通过研究RAG系统的评估方法，旨在为企业RAG系统的应用投产提供参考。

GraphRAG是一种结合知识图谱和RAG的先进技术，利用知识图谱来提高检索的召回率和准确率，进而提升RAG系统的准确率、可靠性和可解释性。（详见《2025年GraphRAG最佳实践报告》）

GraphRAG可以直接从知识图谱中提取事实信息，还可以利用知识图谱中的结构化信息间接地优化其他检索策略。通过添加知识图谱中的上下文信息，GraphRAG能够更精确地定义搜索范围，将与查询无关的信息尽可能地排除在外。

GraphRAG有多种实现方式和架构，总的来看可以分为如下三种类型——基于查询的 GraphRAG、基于内容的 GraphRAG和Agentic GraphRAG。

▎Q6：企业如何构建基于大模型的AI Agent？

2025年是“智能体元年”，AI Agent将迎来规模化落地浪潮。沙丘智库观察到AI Agent的技术路径正在走向统一，通用型AI Agent的雏形已经出现，企业级AI Agent应用价值在部分场景也已被验证，越来越多的厂商涌入这一领域，形成了复杂且多元的产业生态。

面对这一快速变化的新兴市场，沙丘智库发布了AI Agent系列研究报告，旨在通过系统性的技术研究，更好地帮助企业决策者、投资者以及行业从业者理解技术发展趋势、市场竞争格局、把握发展机遇。

《AI Agent架构设计模式研究报告》：沙丘智库将当前最常见、最成熟且最重要的基于大模型的AI Agent的架构设计模式分为7大类、具体26种，通过合理使用这些模式，企业可以构建出高效、可靠且安全的AI Agent系统。

《2025年AI Agent开发平台市场跟踪报告》：本报告旨在深入剖析中国AI Agent开发平台市场的现状与趋势，从产品核心功能、使用场景、用户需求分析、技术实现路径、典型供应商等多个维度，对AI Agent开发平台市场进行全面跟踪与研究。为相关企业、投资者、开发者以及关注该领域的专业人士提供全面、客观、深入的市场洞察。

《2025年AI Agent应用最佳实践报告》：本报告为企业提供了一份全面的AI Agent建设指南，并精选了21个企业级AI Agent应用实践案例，覆盖数据分析、智能客服、智能运维、软件开发等场景，为企业落地AI Agent应用提供参考。

《AI Agent供应商选型方法论研究》：企业采购AI Agent绝非简单的技术选型，而是需要确保在业务、合规、战略、生态层面的全方位契合。通过系统化、穿透性的问题清单，验证供应商AI Agent产品/解决方案的成熟度、透明度、可问责性以及与企业需求的真实匹配度，并确保AI Agent产品能够以一种负责任的方式集成到现有的系统生态中，避免潜在的冲突和风险，包括隐性成本、效能风险、安全与合规风险等。

《AI Agent技术应用与关键问题研究报告》：本报告回答了关于AI Agent的16个关键问题，帮助企业快速了解AI Agent技术的“理想与现实”，从而更好地管理期望并避免投资失败。

《2025年金融业智能体最佳实践报告》：本报告深入分析智能体为金融行业带来的变革与挑战，金融业（包括银行、保险、证券等金融机构）智能体的建设进展与应用场景等，帮助金融机构了解这一新兴市场；同时，提供头部金融机构（包括银行、保险、证券等）在智能体技术方面的16个落地实践，为其他金融机构提供参考。

03 大模型的落地现状

▎Q7：大模型在哪些场景的应用成熟度较高？

从场景分布上看，2025年1-6月大模型落地案例中智能客服占比最高（22.1%），其次为知识助手（9.6%）、数据分析（8.4%）、AI编码助手（6.0%）。

大模型在智能客服场景的应用大范围“爆发”，且部分企业已经在开展对客使用。大模型技术的快速发展以及推理成本的大幅下降是大模型落地智能客服的加速剂，预计未来1-2年各行各业都将利用大模型升级原有的智能客服系统。在《2025年“大模型+智能客服”最佳实践报告》中，沙丘智库为企业提供一份全面的“大模型+智能客服”应用指南，包括“大模型+智能客服”的落地进展、实施方法论与22个典型实践案例（涉及金融、零售、通信、IT/互联网、能源制造等行业）。

“大模型+数据分析”应用正在从金融行业向制造、能源等传统行业迈进。金融行业由于数据基础较好，在过去1-2年率先探索大模型在数据分析场景的应用，通过对话问数方式赋能业务人员、深度挖掘企业数据价值。当前，制造、能源等传统行业的企业也在积极探索这一场景的大模型落地。在《2025年“大模型+数据分析”最佳实践报告》中，沙丘智库深入分析了大模型与数据分析相结合的最新进展和应用场景，并提供了企业级落地指南和20个头部企业的实践案例，覆盖金融、IT/互联网、能源、零售、政务等多个行业，为企业实施“大模型+数据分析”提供全面参考。

随着大模型在数据分析场景应用的深入，企业有必要深入考虑语义层建设的重要性。语义层是连接数据与业务逻辑的桥梁，它能够将复杂的数据转化为易于理解和应用的知识。通过语义层的建设，企业可以实现数据的标准化、规范化和语义化，从而让数据真正“活”起来。无论是业务人员、数据分析师还是决策者，都能够通过语义层快速获取所需信息，并基于这些信息做出更明智的决策。沙丘智库发布的《“大模型+数据分析”系列研究——语义层建设指南》，旨在深入研究语义层的定义与核心功能、语义层的三种技术实现路径、语义层在对话式数据查询中发挥的作用，并为企业级语义层建设提供参考指南。

▎Q8：大模型在各行业的渗透情况如何？

从行业分布上看，2025年1-6月大模型落地案例中银行业占比最高（18.1%），其次为政府与公共服务（13.3%）、制造（12.4%）、IT/互联网（10.8%）。

针对银行、保险、银行、央国企、制造、消费品零售等细分行业，沙丘智库进行了系统性的大模型应用跟踪：

在《2025年中国银行业大模型应用跟踪报告》中，沙丘智库全面解读银行业大模型落地进展，从国有银行、股份制银行、城商行中选择了9家银行（中国工商银行、中国邮政储蓄银行、招商银行、中信银行、中国民生银行、华夏银行、北京银行、江苏银行、青岛银行）作为标杆对象，深入研究这些银行的大模型技术体系、建设路径、应用场景、落地方法论等。同时，针对知识库类、智能客服类、数据分析类、代码类以及创新场景类应用，精选了22个银行业大模型典型案例，旨在为其他银行提供经验借鉴。

在《2025年中国保险业大模型应用跟踪报告》中，沙丘智库全面解读保险业大模型市场概况，洞察行业发展趋势，为保险公司提供制定大模型战略的关键考虑因素和实施路径。深入剖析中国人保、中国太保、泰康保险集团、阳光保险等标杆企业的大模型应用实践；精选了12个保险业大模型典型案例，展示大模型在保险业务全流程中的创新应用。

在《2025年中国证券业大模型应用跟踪报告》中，沙丘智库对全量151家证券公司进行系统性研究，并从中选择了15家值得重点关注的标杆证券公司，研究其大模型应用场景覆盖情况、大模型建设方式、智能体建设进展，旨在帮助证券公司洞察技术趋势、识别市场机会、学习成功经验。

在《2025年央国企大模型应用跟踪报告》中，沙丘智库深入分析了央国企大模型建设进展，包括技术体系布局、建设投入、采纳情况、建设方式、应用场景等；同时，提供头部央国企的23个大模型落地实践，旨在为其他央国企提供参考。

在《2025年中国制造业大模型应用跟踪报告》中，沙丘智库深入调研了制造业企业的大模型采纳情况、建设方式、应用挑战等，梳理了27个核心的制造业大模型应用场景，并精选了15个典型的制造业大模型落地案例，旨在帮助制造业企业洞察技术趋势、识别市场机会、学习成功经验。

在《2025年中国消费品零售业大模型应用跟踪报告》中，沙丘智库按照应用场景的受众和性质，将消费品零售业大模型应用场景按照人（用户侧）、货（产品侧）、场（销售侧）、通用场景进行划分，并针对这些应用场景精选了36个消费品零售企业大模型典型案例，旨在为其他消费品零售企业提供经验借鉴

▎Q9：有哪些值得参考的大模型落地案例？

企业需要持续跟踪大模型技术的最新动态，以确保能够挖掘大模型技术的应用潜能，这对于企业保持竞争力、创新和适应市场变化来说至关重要。

沙丘智库《大模型应用跟踪调研》采取按月更新的方式，通过企业调研、公开信息等多种渠道，收录的案例均为已产生阶段性成果、值得企业参考的案例，旨在帮助企业及时了解大模型应用的最新进展，调整战略规划，确保技术投资与未来的发展方向一致。

04 大模型的市场格局

▎Q10：大模型领域有哪些值得关注的厂商？

随着生成式AI技术的飞速发展，越来越多的厂商涌入这一领域，形成了复杂且多元的产业生态。为了更好地呈现生成式AI领域的竞争格局和发展态势，沙丘智库发布《2025年中国生成式AI主流厂商市场指南》，报告中精心绘制了「生成式AI主流厂商全景图」，帮助从业者快速了解生成式AI产业全貌。

在需求的推动下，AI Agent市场逐渐衍生出支持AI Agent应用构建的平台层市场以及面向不同用户和场景的应用层市场。

在《2025年中国AI Agent主流厂商市场指南》中，沙丘智库精心绘制了「中国AI Agent主流厂商全景图」，帮助从业者快速了解AI Agent产业全貌。

垂直到金融领域，在《2025年金融业智能体主流厂商市场指南》中，沙丘智库绘制金融业智能体主流厂商全景图，帮助企业用户选择更适合的产品/解决方案。

在“大模型+数据分析”领域，生成式BI不仅停留在智能问数功能，更是向Agentic分析迈进。在《2025年“大模型+数据分析”主流厂商市场指南》中，沙丘智库根据市场上“大模型+数据分析”产品的能力和功能，将其划分为生成式BI和数据分析Agent两大类。

在“大模型+智能客服”领域，传统智能客服供应商积极将大模型技术融入其自身的产品/解决方案中，这也为企业客服部门提供了快速启动大模型应用的独特契机。在《2025年中国“大模型+智能客服”主流厂商市场指南》中，沙丘智库从产品成熟度、行业落地深度、商业化进展等维度进行评价，筛选出各个细分市场的领先企业，并绘制“大模型+智能客服”主流厂商全景图，帮助企业用户选择更适合的产品/解决方案。