随着自动驾驶系统复杂性提升,传统基于规则和基于里程的测试方法已无法满足需求。美国兰德公司研究表明,从统计学角度,自动驾驶汽车需在真实或虚拟环境中进行至少 110 亿英里的里程测试,才能证明其比人类驾驶员更可靠。传统方法难以覆盖如此庞大且复杂的测试需求。近年来,人工智能技术发展迅猛,AI Agent(智能体)凭借其自动执行复杂任务、提升自动化和智能决策效率的优势,为自动驾驶实车测试场景用例生成提供了新的解决方案。

AI Agent交互主要通过运用机器学习、博弈论,结合交通规则、天气、地域等约束训练智能体模型,构建具有人类行为的智能体,实现与动态场景中交通参与者实时交互,模拟更逼真交通。因此,利用 AI Agent 搭建测试场景生成体系需要选择合适开发平台,并定义工具与实现智能 Agent 类,通过设计主流程与实例测试,以工具类辅助编程与多模态集成。

Agent设计关键环节

设计开发这类AI Agent需要完成如下几个重要且关键的环节。

1.选择合适开发平台

可选用如百度 AgentBuilder、阿里云魔搭社区、SkyAgents(昆仑万维)、Dify等平台。这些平台基于大模型,支持零代码和低代码开发模式,适应不同技术背景的开发者。以开发自动驾驶测试场景生成智能体为例,开发者可在这些平台上利用其提供的工具和框架,快速搭建基础架构。本文选择以深圳数孪云科技有限公司开发的Dify为例说明整个AI Agent的构建过程。

2.定义工具与实现AI Agent 类

  • **定义工具(Tools)****:**依据自动驾驶测试场景生成任务,定义相关工具函数。如开发调用地图 API 的工具,获取不同道路类型和地理环境信息,用于构建测试场景的道路特征。开发数据库查询工具,查询历史测试数据,为新场景生成提供参考。
  • 实现智能 Agent 类**:**创建智能体类,初始化时融入语言模型(LLM)、工具(tools)、提示(prompt)等。例如,选择合适的 LLM 对输入的测试需求进行理解和分析,通过工具获取相关数据,利用提示引导智能体生成符合要求的测试场景用例。

**3.**设计 Agent 主流程与实例测试

根据自动驾驶测试场景生成任务描述,设计智能体决策执行步骤。接收用户输入的测试需求,如特定子功能测试要求、测试环境设定等,智能体调用相关工具获取信息,如查询地图数据、分析历史测试案例,然后根据获取信息生成测试场景用例,接收验证模块反馈,更新记忆并优化后续场景生成。

Agent搭建具体步骤

基于以上分析,我们这里以具体的工具链作为实例来设计一个有效的AI Agent,用以输出最大化的泛化测试case。这里主要用Dify作为AI Agent工具链接入DeepSeek大模型的方式来搭建AI Agent,目的是实现从接受用户功能规范后生成泛化的测试用例的结果。要想把Deepseek加入到工作生产流中就需要单独加入一个容器来实现。通常这个容器可以是Docker,通过 Docker 打包后,AI Agent 不再依赖于 Dify 平台的界面或后台服务。它成为一个独立的、可移植的应用程序,可以在任何合适的环境中运行。使用 Docker 打包并本地运行 Dify 生成的 AI Agent,尤其是在涉及大模型调用的情况下,确实对计算机的硬件配置有较高的要求。如果本地硬件条件有限,或者您希望获得更高的可扩展性和灵活性,可以考虑将 AI Agent 部署到云端平台,如 AWS、Azure、Google Cloud 或其他云服务提供商。这些平台提供高性能的计算资源和 GPU 实例,能够轻松应对大模型的运行需求,同时减少本地维护的复杂性。

笔者就是本地电脑配置有限,也因为资源有限不想在本地安装 Python,这里选择使用Karggle 云平台 来运行 Dify。虽然 Kaggle 是一个强大的数据科学平台,但它并不直接支持长期运行的服务(如 Dify 的 Web 界面和 API)。不过,你可以用它来测试一些轻量级的模型推理任务。

这里我们跳过通过Docker安装完成本地化部署阶段,直接利用Dify进行云端开发的方式(如下图中cloudy.dify.ai表示Dify部署在云端),捋清楚具体的设计步骤。

实际上,这里最关键的一步就是如何将这个好的大模型DeepSeek导入到我们通过Dify设计的AI Agent工作流中,这个首先需要通过Dify右上角的下拉菜单中的设置按钮来进行模型供应商的选择,如下图。这里我们选择了最火爆的OpenAI ChatGpt模型和DeepSeek模型。这里需要注意的是,作为开发者的模型接入可不是免费的,你需要去Deepseek官网中花点小钱买一个API-KEY,获得序列码后就可以填到这个模型供应商的API-KEY了,这样就可以在后续完成模型供应商的部署选择。

img

供应商大模型选择完毕后,就可以开始我们搭建Dify的工作流了。这里我们点一下菜单栏的工作流,我们这里给我们的工作流取名为ADASAgent。这个工作流是为我们搭建的工作流是想通过形成一个客户AI Agent,支持设计开发工程师上传编制的功能规范,然后通过本ADASAgent分析后,生成对应的泛化测试用例。

这里我们的工作流实际上也比较简单,主要需要建立四个重要的节点。包括开始节点、文档提取器、LLM、结束节点。

img

下面将分别来介绍如上每个模块要怎么进行配置才能完整的生成整个AI Agent。

开始节点:由于我们实际上是针对输入的文档文件创建一个文档规划助手,因此在开始模块处需要选择为“单文件”,当然考虑输入文件中通常会有文本信息和图片信息,并且这里可以设置具体的上传路径,如果想是从本地端上传,则选择本地上传选项即可,当然也可以选择从网络传输,比如使用飞书或者企业微信编制的在线文档等,这里我们不做限制,就可以选择两者。这里输入变量名可以随便输入一个变量名称,比如input。

img

**文档提取器:**这里我们设置好了输入之后,就可以在文档提取器中将该输入input作为文档提取器的输入信息了。这里文档提取器添加的下个工作节点可以包含多个大模型端口,当然这些大模型端口都要是被授权过API-KEY的才可以。

img

LLM:接下来,我就开始编辑大模型LLM了,这里我们可以选择之前我们从DeepSeek开发者终端获取API的DeepSeek模型。这里选择DeepSeek-Reasoner。

接下来,需要给我们的系统添加一些提示词,这些提示词实际就是我们作为AI产品经理需要制定的产品定义需求内容了。如上图可以看到,当需求定义的越清楚越能让你的AI Agent来实现更为详细的需求。

这里三个选项需要注意System、User、Assistant,三者的设置是有一定规律和要求的。

img

  • System Prompt:这个是可以在 LLM 节点(如 OpenAI/GPT 节点)的配置中直接填写,或通过变量动态传入。针对本文需要制定的需求规则,可以将该节点设置成:

“你是一个自动驾驶系统设计从业者,针对每个自动驾驶子功能定义的很多功能规范,希望测试端能够以最全量的方式生成自动驾驶实车测试场景用例。”。

  • User Prompt:可以是用户直接输入的内容,也可以是工作流中前序节点(如文本提取、API 调用)生成的动态内容。这里我们直接引用前面的文档提取器中的内容即可。
  • Assistant History:通过记录模型之前的回复(如多轮对话中的历史记录)传入,通常以数组或上下文变量形式传递。这里可以输入用户的提示词,输入变量等。这里我们可以将详细的提示词输入进去:

这个测试用例需要以excel表格的形式输出,表格中首行需要包含如下信息:1、测试ID,可根据ADAS_TestCase_001为规则,持续往下编号;2、该条测试场景主体;3、场景详细描述,需要描述场景搭建的详细信息,包括自车信息、目标环境信息等;4、场景对应的功能规范章节需求编号;5、场景希望输出形态;6、场景测试是否通过信息;7、场景测试人员编号:如Test_001;8、该条场景测试实践;9、该条场景测试数据,该行可做预留;

结束:在 Dify 的 End 节点 中,你可以自定义 LLM 回复的处理结果类型(如纯文本、JSON、HTML 等),并通过变量 {{x}} 动态插入数据,其值需要通过前序节点生成或传递。

基于以上步骤,整个节点搭建的AI Agent已经搭载完成,后续就可以点击开始运行了。这里我们可以通过输入一个ADAS功能规范来实现对应的测试用例输出。

img

这里,我们需要说明的是,当前生成的AI Agent是基于Dify云端进行的APP。如果我们要想该APP不依赖于Dify客户端,而是生成一个专有的本地化部署APP或者网站的话,可以下载Docker作为容器进行本地化部署。然而,本地计算资源不足,跑不动 Dify 里的大模型,其解决方案可以考虑使用类似 Kaggle这类云端资源来运行推理任务,而不是本地部署。

这里我们考虑采用生成专属AI Agent网页的形式来调用Dify生成的APP应用,这里就需要基于Dify的API来调用通过Dify生成的应用。因为Dify 本身是一个 Web 服务,需要数据库和后端环境。Dify 仍然运行在官方云端,可以在Karggle这类云Python编程环境中直接通过 API 访问。

具体步骤方法如下:

🛠️ 1. 在 Dify 获取 API Key

通过点击Dify生成的工作流中的访问API,然后就可以生成API密钥如下了。

img

复制上面生成的 API Key到下面的API_KEY赋值代码中,稍后填入Karggle中能够运行的Python代码中。

📌 2. 在 Kaggle 运行以下代码

!pip install gradio!pip install requestsimport gradio as grimport requestsimport osimport shutilimport uuid✅ 你的 Dify API KeyAPI_KEY = "app-fUosKptwuO70Mz1EQBxyrCdC"✅ 上传 PDF 到 Difydef upload_document(file_path):  API_URL = "https://api.dify.ai/v1/files/upload"  # 生成 ASCII 兼容的临时文件名  temp_filename = f"{uuid.uuid4().hex}.pdf"  temp_filepath = os.path.join(os.path.dirname(file_path), temp_filename)  # 复制文件到临时路径(防止 API 解析中文名失败)  shutil.copy(file_path, temp_filepath)  # ✅ 构造 API 请求  try:    with open(temp_filepath, "rb") as f:      files = {"file": (temp_filename, f, "application/pdf")}      headers = {"Authorization": f"Bearer {API_KEY}"}      response = requests.post(API_URL, files=files, headers=headers)      result = response.json()      # ✅ 移除临时文件      os.remove(temp_filepath)      # ✅ 检查 API 响应      if "id" in result:        return result["id"]      else:        print("⚠️ 上传失败:", result)        return None  except Exception as e:    print(f"⚠️ 文件上传失败: {e}")    return None✅ 发送请求生成文档def generate_document(file_path, question):  file_id = upload_document(file_path)  if not file_id:    return "❌ 文件上传失败,请检查日志!"  API_URL = "https://api.dify.ai/v1/completion-messages"  headers = {    "Authorization": f"Bearer {API_KEY}",    "Content-Type": "application/json"  }  payload = {    "inputs": {},    "query": question,    "response_mode": "streaming",    "conversation_id": None,    "files": [file_id] # 传入文件 ID  }  response = requests.post(API_URL, json=payload, headers=headers)  result = response.json()  if "answer" in result:    return result["answer"]  else:    print("⚠️ 生成失败:", result)    return "❌ 生成失败,请检查 API 响应!"✅ 创建Gradio Web 界面def app():  with gr.Blocks() as demo:    gr.Markdown("## 🚗 自动驾驶测试文档生成器")    file_input = gr.File(label="上传 PDF", type="filepath")    question_input = gr.Textbox(label="输入问题", value="请生成测试泛化文档")    ask_button = gr.Button("生成")    output_text = gr.Textbox(label="输出")    ask_button.click(fn=generate_document, inputs=[file_input, question_input], outputs=output_text)  return demo✅ 运行 Web 界面app().launch(share=True)

虽然,Kaggle Notebook 是一个临时环境,不适合完整部署 Dify,但适合调用 Dify API 进行推理。对于适配初学者的角度,已经完全够了。

运行对应的代码用例后,就可以生成如下完全属于自己的AI Agent文档生成器啦。

img

基于如上步骤,即可完成一个基于自动驾驶规范输入后生成的泛化测试用例。

总结

在自动驾驶系统设计领域,为保障系统的安全性与可靠性,需对每个子功能制定详尽的功能规范。而实车测试作为验证这些规范的关键环节,需要生成最全量的测试场景用例。传统测试方法难以应对自动驾驶系统的复杂多样性。本文正是基于这种局限,介绍了一种利用基于专属工具链Dify搭建AI Agent构建智驾全场景测试用例的方法。实际上,我们发现用这种方法构建测试用例场景库也还不是那么无懈可击,这是因为,在对输入文档的关键信息提取过程中可能存在一些文档解析不完整、分块策略不当等情况导致解析的文档也不是那么尽如人意,后续,可以在 Dify 中配置文档解析器,明确指定文件类型和编码(如 UTF-8)来解决此类问题。

如何学习大模型 AI ?

我国在AI大模型领域面临人才短缺,数量与质量均落后于发达国家。2023年,人才缺口已超百万,凸显培养不足。随着Al技术飞速发展,预计到2025年,这一缺口将急剧扩大至400万,严重制约我国Al产业的创新步伐。加强人才培养,优化教育体系,国际合作并进,是破解困局、推动AI发展的关键。

但是具体到个人,只能说是:

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

2025最新大模型学习路线

明确的学习路线至关重要。它能指引新人起点、规划学习顺序、明确核心知识点。大模型领域涉及的知识点非常广泛,没有明确的学习路线可能会导致新人感到迷茫,不知道应该专注于哪些内容。

对于从来没有接触过AI大模型的同学,我帮大家准备了从零基础到精通学习成长路线图以及学习规划。可以说是最科学最系统的学习路线。

在这里插入图片描述

针对以上大模型的学习路线我们也整理了对应的学习视频教程,和配套的学习资料。

大模型经典PDF书籍

新手必备的大模型学习PDF书单来了!全是硬核知识,帮你少走弯路!

在这里插入图片描述

配套大模型项目实战

所有视频教程所涉及的实战项目和项目源码等
在这里插入图片描述

博主介绍+AI项目案例集锦

MoPaaS专注于Al技术能力建设与应用场景开发,与智学优课联合孵化,培养适合未来发展需求的技术性人才和应用型领袖。

在这里插入图片描述

在这里插入图片描述

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

在这里插入图片描述

为什么要学习大模型?

2025人工智能大模型的技术岗位与能力培养随着人工智能技术的迅速发展和应用 , 大模型作为其中的重要组成部分 , 正逐渐成为推动人工智能发展的重要引擎 。大模型以其强大的数据处理和模式识别能力, 广泛应用于自然语言处理 、计算机视觉 、 智能推荐等领域 ,为各行各业带来了革命性的改变和机遇 。

在这里插入图片描述

适合人群

  • 在校学生:包括专科、本科、硕士和博士研究生。学生应具备扎实的编程基础和一定的数学基础,有志于深入AGI大模型行业,希望开展相关的研究和开发工作。
  • IT行业从业人员:包括在职或失业者,涵盖开发、测试、运维、产品经理等职务。拥有一定的IT从业经验,至少1年以上的编程工作经验,对大模型技术感兴趣或有业务需求,希望通过课程提升自身在IT领域的竞争力。
  • IT管理及技术研究领域人员:包括技术经理、技术负责人、CTO、架构师、研究员等角色。这些人员需要跟随技术发展趋势,主导技术创新,推动大模型技术在企业业务中的应用与改造。
  • 传统AI从业人员:包括算法工程师、机器视觉工程师、深度学习工程师等。这些AI技术人才原先从事机器视觉、自然语言处理、推荐系统等领域工作,现需要快速补充大模型技术能力,获得大模型训练微调的实操技能,以适应新的技术发展趋势。
    在这里插入图片描述

课程精彩瞬间

大模型核心原理与Prompt:掌握大语言模型的核心知识,了解行业应用与趋势;熟练Python编程,提升提示工程技能,为Al应用开发打下坚实基础。

在这里插入图片描述

RAG应用开发工程:掌握RAG应用开发全流程,理解前沿技术,提升商业化分析与优化能力,通过实战项目加深理解与应用。 在这里插入图片描述

Agent应用架构进阶实践:掌握大模型Agent技术的核心原理与实践应用,能够独立完成Agent系统的设计与开发,提升多智能体协同与复杂任务处理的能力,为AI产品的创新与优化提供有力支持。
在这里插入图片描述

模型微调与私有化大模型:掌握大模型微调与私有化部署技能,提升模型优化与部署能力,为大模型项目落地打下坚实基础。 在这里插入图片描述

顶尖师资,深耕AI大模型前沿技术

实战专家亲授,让你少走弯路
在这里插入图片描述

一对一学习规划,职业生涯指导

  • 真实商业项目实训
  • 大厂绿色直通车

人才库优秀学员参与真实商业项目实训

以商业交付标准作为学习标准,具备真实大模型项目实践操作经验可写入简历,支持项目背调

在这里插入图片描述
大厂绿色直通车,冲击行业高薪岗位
在这里插入图片描述

文中涉及到的完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

在这里插入图片描述

更多推荐