混合蒸馏框架：MD框架创新性地融合了CoT和PoT两种提示技术。CoT鼓励LLMs生成中间推理步骤的自然语言描述，而PoT则促使LLMs生成可执行的Python代码作为中间步骤，从而增强模型的逻辑推理能力。这些能力随后被蒸馏到小型模型中，使得小模型能够进行更复杂的多路径推理。实验验证：研究通过一系列实验展示了MD的有效性，不仅提升了基于LLaMA2-7B和CodeLlama-7B等小型模型在SVA

本文介绍了一种名为“多智能体辩论与检索增强”（Multi-Agent Debate with Retrieval Augmented，简称MADRA）的新型框架，旨在通过引入外部检索的先验知识来有效缓解多智能体辩论系统中的认知限制问题，从而提升智能体的推理能力。MADRA框架的关键创新在于将检索机制融入辩论过程，使智能体能够获取并利用相关领域的既有知识，进而避免因认知局限导致的错误观点固执和正确观