01 前言

LLM，是通往通用人工智能之路的基础，凡是真正具有智能的系统也好、工具也罢，其内部一定是集成了好用的LLM。

然而，大语言模型的幻觉（上下文回答自相矛盾等）、不遵循指令、训练和微调需消耗大量算力、微调需要专业算法人士、落地ROI等问题，使得大语言模型的落地面临着各种各样的挑战和问题需要解决。

**FunctionCall、RAG、few-shot、SFT、AI Agent平台等这些技术框架和产品的出现，使得普通人直接使用LLM变得容易了起来~**随便利用LLM通识能力搭一个“玩具”（比如英语口语陪练、软文写作大师等）很容易，但要真正想用好LLM，且用在实际的业务场景中，并非易事。

那么本文，本人就先以简单的case，演示一下：基于限定的FAQ文档和LLM，来如何从0-1搭建一个智能问答机器人，以及过程中我遇到的问题及如何解决的。

02 实验一：仅基于限定FAQ文档回答问题，超出范畴要求LLM回复“不知道”

2.1 使用的工具、FAQ文档说明

• 使用工具：扣子（中文版），工具地址：https://www.coze.cn/home

• FAQ文档：使用的是这个URL内容：

  https://mp.weixin.qq.com/s/B0FskW3iPypdE9oj3Sfjcg

（这是一个关于谷歌创始人之一：谢布林近期的访谈，访谈关于他重回一线写代码，以及他对AI行业的看法、对AI的实践运用等内容，还有主持人与其谈及了谷歌Gemini与openAI的差距等话题）；

2.2 实验过程与实验结果记录：

（1）上手搭建-v0.0.1版：仅能基于限定的FAQ文档，回答问题

模拟业务场景：只能基于限定的FAQ回答问题，当用户提问超出提纲范围，要求LLM回复“不知道”。

p.s.本人之所以这样设定，是因为这种设定契合于医疗、医药、金融等行业（与人生命财产关联性较强的行业/业务），即这些专业性比较强的业务场景，通常要求LLM不知道不要瞎说、胡说，如果建议错了反倒影响用户体验~

step1：对Agent进行配置

（1）配置LLM提示词：v0.0.1版

# 角色你是一个专业高效的智能答疑助手，能够准确、快速地依据给定的 FAQ（常见问题解答）回答各种问题，FAQ 形式包括 url 网页链接以及外部知识库 API。限定的FAQ 文档就用这个：https://mp.weixin.qq.com/s/B0FskW3iPypdE9oj3Sfjcg## 技能### 技能1：精准搜索 FAQ一旦接收到用户的问题，马上在已有的 FAQ 中进行全面细致的搜索； 如果找到相关问题及答案，严格按照以下格式回复：=====**问题**：<用户提出的问题>；**答案**：<FAQ 中的对应答案> 
如果没有找到相关问题和答案，就说“不知道”即可。## 限制- 必须严格按照规定格式输出内容，绝对不能偏离给定的框架要求。

（2）配置Agent其它项：大模型、推荐问题、大模型所要调用的插件

a）LLM使用了默认的【豆包·function callMox 32k 精确模式】，插件配了“链接读取”插件、“图片理解”、“kimi”~

b）“推荐问题”配置

Step2：对配好的Agent进行调试：

在Agent正式发布前，我们需要对其进行调试（测试），测好了没大问题了，再发布。

在测试过程中，我对Bot进行了正负向测试，同时测试其自己生产的问题可否能回答上；

• 正向测试：在提纲中的问题进行测试（比如：“让谢布林感到「WOW」的 AI 应用场景是什么？”、“1998 年，谢布林和谁成立了谷歌？”、“介绍谢布林”、“谢布林有没有用AI来做数独游戏？”等），测试机器人能否回答上来，回答是否正确、是否按格式要求等；

  负向（边界情况）测试：不在提纲中的问题，进行测试（比如：“请介绍一下奥特曼”、“奥特曼相信光吗？”等），看其是否按要求回答“不知道”，还是瞎说。

  系统自动生成的相关问题，测试。

  调试过程中遇到的问题：

• 1、测试大模型时都正常，都能回答上。发布后，同样问题却回答错误。——这大概率是大模型的幻觉问题，不会是平台的BUG（个人认为）（原因后面解释）；

• **2、它推荐的问题，它自己却回答不上。**自动推荐处定义的提示词已经说明强调：推荐其有能力回答的问题。

• 3、幻觉问题的体现：给大模型配了插件，调试时调用了该插件，调试正常调通了。发布后，却不调用插件回答问题。

• 4、调试过程中，调试阶段A一会自主调用插件（链接读取），一会又不调用该插件（提示词都是一样的）。

• 5、发布后，关于同一问题，回答明显矛盾。如下所示：

• 问题分析与解决

• **问题1：**测试时，都正常都能回答上。发布后，同样问题，却回答错误。

• 原因分析：——这大概率是大模型的幻觉问题，不会是平台的BUG（个人认为），因为平台BUG这种非算法类的，工程类的问题只要解决了就不会存在。极有可能是大模型幻觉问题，那暂时无解。

• **问题2：**它推荐的问题，它自己却回答不上。自动推荐处定义的提示词已经说明强调，推荐其有能力回答的问题。

• **猜测原因1：**它推荐的问题可能是基于它基础的【通识能力】+【联网能力】，并没有限定于给它配置的系统提示词和身份。——但这个猜测又不是很合理，正常产品设计一定是系统人设是第一个层级的限制（要是我设计，默认情况，我就会这样设计，即是“and”关系）；或者系统人设和自动推荐的问题，默认“and”关系，此外还支持“or”。

• **猜测原因2：**大模型幻觉。如果又是幻觉问题，那还是不好解决。

• 问题3和问题4原因分析：可能是系统提示词写的不完善，比如同一个功能的插件配了好几个，又没有明确和LLM说明什么时候用哪个，那么大模型就可以在面对提问时，自主选择。那自然就可能出现问题3和4。比如这个badcase：

问题3和问题4解决办法：

1）同一功能作用的插件，要么配1个；要么配多个的时候，为避免引起歧义，在系统提示词中，加以限定：说明好什么情况下用这个插件，什么情况下用另外的插件。

这里，我删除了【kimi插件】（后续实验有需要用到kimi联网检索时候，我再加上），结果如下：

但我又遇到了新的问题：

比如：

①我问它“1998年，谢布林和谁一起成立了谷歌？”（这个问题它之前能回答，现在又不能回答了…）

②比如它没有输出执行过程。

问题原因猜测是：URL中FAQ中确实没有这个问题，而是整个文档有这部分内容。策略：考虑优化提示词，回答范围不限定于FAQ，而是整个URL文件。

好吧。。。即使我优化了提示词到查找整个URL而非部分FAQ，关于问题1，它仍然是回答不知道。我需要知道它是怎么执行的。

关于问题2（不输出执行过程的问题），后续增加提示词要求即可。——不过这个也要注意，面向终端客户时，有没有必要输出中间过程，或者是选择性地输出（产品童鞋需要注意）；

问题5：发布后，关于同一问题，回答明显矛盾。

原因分析：大模型幻觉问题。——后续考虑加入few-shot，或在对话窗口中进行微调，然后利用大模型的Mememory能力进行优化。

**（2）**v0.0.2：在v0.0.1版基础上， 进行优化

v0.0.1版存在上面罗列的诸多问题，因此考虑优先优化提示词，解决一部分容易解决的问题

• v0.0.2版配置如下：

• v0.0.2在v0.0.1版基础上，主要优化点在于：

1、增加“输出执行和思考过程”；2、优化检索“FAQ”为“检索全文”；3、去掉容易引起大模型歧义的同等作用的多个插件，仅保留一个。

v0.0.2测试结果：

v0.0.2调试结果说明：

Bot按指令要求调用【链接提取】插件了；√

也按格式要求输出了回答、输出了执行和思考过程。√

暂时满足了我的业务要求~ 👏🏻

（但仍然存在一些幻觉问题，但由于本人暂无时间精力和能力去微调，所以该case暂且到这里。下面进行Bot的发布。

（3）基于v0.0.2版配置，发布Bot机器人（基于外接FAQ的智能问答） *

扣子平台的发布功能，提供了多种选择：

• 你可以设置Bot的权限为公开、为私有。
• 支持发布至豆包智能体广场（商店），支持发布到飞书应用中，支持发布至抖音中。
• 还支持发布至三方平台生态中，微信、掘金等；
• 发布形式支持URL（带界面），支持发布API形式；

这里，我选择了发布至字节Bot商店，但由于插件权限设置，即使是公开Bot，也只能我自己使用。

谢布林访谈-Bot在线体验链接：https://www.coze.cn/store/bot/7415175444246495243?panel=1&bid=6dqk42qr89g0a（估计你们都打不开，或者能打开，但用不了）

同时这个Bot机器人为实验性质的、“demo”性质的，距离真正的商业化落地还有一定距离。比如当前的这个Bot仍然存在下述幻觉问题：

比如问它：“让谢布林感到「WOW」的 AI 应用场景是什么？”它回答的还是不完美。可在对话过程中，调教它，得到想要得到的答案~

（4）后续的优化方向

线上的【谢布林访谈-FAQ】BOT仍然不是完美的，还有诸多缺陷，比如我在（3）小节提出的幻觉问题。

后续解决方案可以是：

• few-shot（指令微调）->SFT（基于少量业务数据，对模型进行微调）；

• 换LLM（根据业内人士经验，参数量级越大的LLM，其指令遵循能力越强），重新执行上述过程（Bot配置、Bot调试、Bot发布）；

03 实验二：优先基于限定的文档回答问题，超出文档范畴利用LLM通识能力+联网能力，给出推荐回答

该case模拟的实际业务场景是：【优先基于领域知识】进行回复的任务型机器人，同时具备闲聊能力的机器人。

• 实验二****v0.0.1 Bot提示词等配置：

• 实验二v0.0.1调试和预览：

问题1：按照上述提示词，用户的所有提问，比如**“你好”、“请介绍你自己”、“请给我讲个故事”等**，他都将这些问题视为【有效输入】去检索URL文档~ 比如下图所示那般：

——该版本的问题是：

1、如果用户所有问题，BoT均按照上面模版机械化地回答给用户，会有些蠢、也很机械，用户可能会被逼疯。。。其实对于一些“你好”、“你是谁”等问题，直接回答即可（不用说一大堆有的没的）；——问题严重程度P1

2、如果针对 “你好”、“你是谁”等与FAQ无关的意图，也要作为query去检索FAQ文档的话，系统的效率会大打折扣，明显浪费计算资源。——问题严重程度P0。

——**所以，一般的做法是：优先对【用户意图】进行标记和分类。**闲聊类的意图，调用【闲聊】模块执行回复；当符合【FAQ问答】意图，则调用【FAQ文档问答】能力执行回复。

下面对v0.0.1版本进行改进，增加“意图分类”逻辑。

• 实验二 v0.0.1改进：增加“用户意图分类”判断逻辑，并调试、发布

策略说明：

• 当用户意图与FAQ文档相关，则参照FAQ进行回答；

• 如果用户意图与之不相关，需调用通识能力+联网检索能力，为用户推荐回答。

温馨提示：实际最好的做法应该是单独有一个LLM，完成【意图识别和分类】任务。另一个LLM只负责【FAQ文档问答】。但是本人为实践效率，这里用一个LLM同时完成这两个任务（偷个懒😛）。

按上面策略对v0.0.1版提示词进行修改和优化，得到如下：

本人测试了一些问题（与文档相关、与文档不相关的），个人觉得效果还可以，如下：

通过调试，认为达到了业务使用要求，发布即可~

04 全文总结与回顾

本文以两个小case，利用Coze工具，简单实践了一下【基于LLM的智能问答助手】的0-1构建方法，以及构建过程中遇到的问题，以及解决思路和解决前后对比~

• 其中case1，模拟的是专业性极强或回答准确率要求极高的业务场景，比如金融、医疗行业，要求大模型不知道不要瞎说，say no即可~
• case2，允许大模型优先按照领域知识回答，当领域知识无法满足用户问题时，可允许大模型利用其通识能力和调用其它工具回复用户提问。——这可以映射到早期：【基于知识进行回复】同时具备闲聊能力的机器人，不至于显得“人工智障”。

05 写在后面：我关于「智能客服机器人」的一些实践经验和思考分享~

1、关于企业是否基于LLM，从0-1搭建【智能客服】机器人：

• *我认为，对于那些已经搭建了【智能客服】的企业来说，再基于LLM0-1搭建一个智能客服机器人可能并不是首选，或者说需要仔细评估，**评估是：*

-方案a：原有智能客服系统+LLM改造，利用LLM进行重构和改造；

-方案b：完全摒弃原有方案，从0-1基于LLM重搞；

-方案c：继续用原来的客服系统，不引入LLM；

我认为，大多企业会选择方案 a，即逐步引入LLM,逐步重构改进；可能也会有部分企业现阶段选择方案c：暂时不引入LLM，原因是：有些企业愿意尝试创新、有些企业则比较看重ROI，还有些企业比较看重业务运行的稳定性（比如在原有稳定运行的业务系统中，引入LLM，带来了不可控的风险，那干脆不引入，等LLM再发展发展后再说，比如幻觉问题都有了标准的成熟的方案）；

——那具体怎么选，还是各个企业的老板们说了算的。

• 对于从来没有建立过智能客服机器人的企业，或者是新业务的新客服业务，可以考虑基于LLM来建设。只要研究好提示词、配备齐全相应的产品/运营、懂微调的算法、和工程化开发的前后端人员就够了~

2、关于大模型“幻觉”问题的几点解决经验分享~

**1）优先优化系统提示词、修改大模型温度值参数为0，然后可以适当地使用few-shot的方法，对大模型进行效果优化；**但few-shot的弊端也很明显，占用的tokens太多（因为每次输入、输出，都会把系统提示词+用户提问作为输入token）；

——p.s.tokens越多，越费钱；如果不是外采的，部署的开源的话，tokens越多计算量也会相应变多，费算力，费存储。

**2）换一个LLM。**根据经验，参数量越大的模型对指令遵循效果越好_{（参考小米落地实践），但也要辩证参考}

3）以上都不行，就微调吧。

即使你优化系统提示词，到已经很好、考虑的很全面了的地步了，但你仍然不能百分百的规避大模型的幻觉问题，这个误差仍然存在。——这时就要看业务可接受多大的误差。如果想要继续缩短误差，提高端到端回复准确率的话，那就【微调】吧！

3、关于「大模型落地到硬件终端」的考虑与必要准备事项~

在LLM最终落地时，还考虑大模型的落地场景，是云端，还是其它终端（比如智能手机、智能手表，或是平板、学习机等），因为这些硬件终端，其内存和算力都有限。——那针对手机等硬件终端，LLM落地时还需要做的工作是：蒸馏。

——蒸馏的意思是说，保持原有模型整体性能效果的前提下，尽量的压缩模型体积（现在一个参数量稍微大点的大模型，动不动就大几个GB，10GB的也不在少数，这样的庞然大物算力小的、内存小的设备根本带不动~）

**4、关于0-1搭建/重构智能客服机器人的必要工作：**确定业务场景->确定机器人类型（任务还是闲聊，还是结合）->意图治理、机器人基础设施搭建（知识库治理与配置、技能树等）->机器人工作流程设计、用户数据监控逻辑设计->测试与上线->根据反馈进行迭代

如何学习大模型 AI ？

我国在AI大模型领域面临人才短缺，数量与质量均落后于发达国家。2023年，人才缺口已超百万，凸显培养不足。随着Al技术飞速发展，预计到2025年，这一缺口将急剧扩大至400万，严重制约我国Al产业的创新步伐。加强人才培养，优化教育体系，国际合作并进，是破解困局、推动AI发展的关键。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

2025最新大模型学习路线

明确的学习路线至关重要。它能指引新人起点、规划学习顺序、明确核心知识点。大模型领域涉及的知识点非常广泛，没有明确的学习路线可能会导致新人感到迷茫，不知道应该专注于哪些内容。

对于从来没有接触过AI大模型的同学，我帮大家准备了从零基础到精通学习成长路线图以及学习规划。可以说是最科学最系统的学习路线。

针对以上大模型的学习路线我们也整理了对应的学习视频教程，和配套的学习资料。

大模型经典PDF书籍

新手必备的大模型学习PDF书单来了！全是硬核知识，帮你少走弯路！

配套大模型项目实战

所有视频教程所涉及的实战项目和项目源码等

博主介绍＋AI项目案例集锦

MoPaaS专注于Al技术能力建设与应用场景开发，与智学优课联合孵化，培养适合未来发展需求的技术性人才和应用型领袖。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

为什么要学习大模型？

2025人工智能大模型的技术岗位与能力培养随着人工智能技术的迅速发展和应用 ， 大模型作为其中的重要组成部分 ， 正逐渐成为推动人工智能发展的重要引擎 。大模型以其强大的数据处理和模式识别能力， 广泛应用于自然语言处理 、计算机视觉 、 智能推荐等领域 ，为各行各业带来了革命性的改变和机遇 。

适合人群

• 在校学生：包括专科、本科、硕士和博士研究生。学生应具备扎实的编程基础和一定的数学基础，有志于深入AGI大模型行业，希望开展相关的研究和开发工作。
• IT行业从业人员：包括在职或失业者，涵盖开发、测试、运维、产品经理等职务。拥有一定的IT从业经验，至少1年以上的编程工作经验，对大模型技术感兴趣或有业务需求，希望通过课程提升自身在IT领域的竞争力。
• IT管理及技术研究领域人员：包括技术经理、技术负责人、CTO、架构师、研究员等角色。这些人员需要跟随技术发展趋势，主导技术创新，推动大模型技术在企业业务中的应用与改造。
• 传统AI从业人员：包括算法工程师、机器视觉工程师、深度学习工程师等。这些AI技术人才原先从事机器视觉、自然语言处理、推荐系统等领域工作，现需要快速补充大模型技术能力，获得大模型训练微调的实操技能，以适应新的技术发展趋势。
  

课程精彩瞬间

大模型核心原理与Prompt：掌握大语言模型的核心知识，了解行业应用与趋势；熟练Python编程，提升提示工程技能，为Al应用开发打下坚实基础。

RAG应用开发工程：掌握RAG应用开发全流程，理解前沿技术，提升商业化分析与优化能力，通过实战项目加深理解与应用。

Agent应用架构进阶实践：掌握大模型Agent技术的核心原理与实践应用，能够独立完成Agent系统的设计与开发，提升多智能体协同与复杂任务处理的能力，为AI产品的创新与优化提供有力支持。

模型微调与私有化大模型：掌握大模型微调与私有化部署技能，提升模型优化与部署能力，为大模型项目落地打下坚实基础。

顶尖师资，深耕AI大模型前沿技术

实战专家亲授，让你少走弯路

一对一学习规划，职业生涯指导

• 真实商业项目实训
• 大厂绿色直通车

人才库优秀学员参与真实商业项目实训

以商业交付标准作为学习标准，具备真实大模型项目实践操作经验可写入简历，支持项目背调

大厂绿色直通车，冲击行业高薪岗位

文中涉及到的完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】