代码生成模型正确性不在于与参考答案的相似度，而在于能否通过预定义测试用例，因此BLEU、ROUGH等指标表现不佳。pass@k是用于程序代码生成任务的评价指标，在自动编程的评估中非常有用。之前探索了直接统计通过测试的问题数的pass@k指标评估方法。然后，存在方差容易较大的问题。OpenAI结合组合数学的抽取小球的方法对评估过程进行优化。这里尝试探索优化过程，并通过程序进行示例。

token 是模型用来表示自然语言文本的基本单位，可以直观的理解为“字”或“词”。通常 1 个中文词语、1 个英文单词、1 个数字或 1 个符号计为 1 个 token。一般情况下模型中 token 和字数的换算比例大致如下：1 个英文字符 ≈ 0.3 个 token。1 个中文字符 ≈ 0.6 个 token。不同模型的分词不同，换算比例也存在差异。这里示例集中token计算方式。

相似度是ml类应用经常用到的计算，这里示例python中经常用到的一些相似度计算方法。

这里示例通过自定义parser的方式，解决上述的抽取失败的问题。针对2.2小节抽取失败案例，通过PydanticOutputParser自定义parser方式，实现结构化信息抽取。核心逻辑如下所示：1) 通过PydanticOutputParser自定义parser，识别GuardrailsOutput中需要抽取的内容。2）system_prompt中增加如下明确提示目的是提示llm在输出内容时，

不是所有模型都实现了with_structured_output函数，不一定都支持工具调用或json方式。这里尝试采用自定义的方式，实现这些模型的结构化输出。

不是所有模型都实现了with_structured_output函数，不一定都支持工具调用或json方式。这里尝试采用自定义的方式，实现这些模型的结构化输出。

首先定义知识图谱、大模型，以及action状态数据结构，后者用于粘合langchain定义各功能模块。大模型应用deepseek-r1，具备强大的处理能力。import os基于之前探索内容，这里罗列langchain定义的generate_cypher、validate_cypher、correct_cypher、execute_cypher、generate_final_answer等多个模块

首先定义知识图谱、大模型，以及action状态数据结构，后者用于粘合langchain定义各功能模块。大模型应用deepseek-r1，具备强大的处理能力。import os基于之前探索内容，这里罗列langchain定义的generate_cypher、validate_cypher、correct_cypher、execute_cypher、generate_final_answer等多个模块

之前介绍了langchain如何依赖prompt判断neo4j图谱能否回答用户问题。这里通过多种手段分析llm生成cypher的正确性，并尝试基于llm修正错误和重写cypher。

由于neo4j图谱局限性，图谱不能回答所有问题，如电影图谱，可能回答不了天气、经济类问题。另外图谱自身并不能判断否则回答问题，这里尝试基于langchain判断图谱能否回答问题。实验所用代码参考和修改自网络资料。