这两种技术的目标一致——让庞大、昂贵的大模型变得更小、更快、更便宜，从而能够实际部署到手机、汽车乃至物联网设备等各种场景中。，是大模型从“云端”走向“大众”的左膀右臂。蒸馏传递的是“智慧的灵魂”，而剪枝剔除的是“冗余的肉体”。先通过剪枝移除大量参数，再通过蒸馏让模型在更小的尺寸下恢复智能，最后通过量化将权重用更低的精度表示，从而实现极致的压缩。这个过程不仅仅是让学生模型学习教师模型的最终答案，更关

Scaling Law 是我们目前拥有的、用于导航大型模型开发广阔前景的最可靠地图。它们不是教条，而是强有力的指导原则，随着领域不断推动规模、效率和能力的边界，这些原则也在不断被完善、挑战和扩展。对于任何严肃参与构建或战略部署大规模 AI 的人来说，理解其细微差别至关重要。是描述 AI 模型性能随关键因素（如参数量、数据量、计算量）增长而变化的数学规律，通常表现为幂律关系。

链式提示（PromptChaining）是一种提示工程技术，通过将复杂任务分解为多个简单的子任务，并将这些子任务的输出作为后续任务的输入，从而逐步完成复杂的目标。然而，链式提示也面临任务分解、提示设计和累积误差等挑战。未来，链式提示可以与其他技术（如生成知识、自我一致性）结合，进一步提升大语言模型在复杂任务中的表现。链式提示是一种强大的提示工程技术，通过将复杂任务分解为多个简单的子任务，逐步完成整

人生如同一盘盛满丰盛美味的饺子，其中有争斗，有友情，也有懂得舍弃与分享的智慧。无论身处何方，我们都应珍惜这样的瞬间，品味生活的酸甜苦辣，将传统与现代、东方与西方的文化交融，创造出更美好的未来。作为一个非著名民间金庸研究者，猫哥第一时间想到的是《飞狐外传》中，胡斐给苗人凤送药，在苗家吃饭时，苗人凤想试出胡斐武功，而特意阻止后者吃白菜的场景。在这个寒冷的圣诞夜，他们明白，饺子固然美味，但真正珍贵的是那

是一种针对大型预训练语言模型 (LLMs) 的高效微调技术。它旨在解决全参数微调所带来的计算和存储成本问题。冻结预训练模型的原始参数，并通过引入少量可训练的低秩矩阵来模拟参数更新。这样，在微调过程中，只需要优化这些低秩矩阵的参数，而不需要修改原始模型的参数，从而大大减少了需要训练的参数量。

是一种利用大语言模型 (LLM) 自动生成和优化提示（Prompt）的框架，旨在减少人工设计提示的工作量，并提高 LLM 在特定任务上的性能。与手动设计提示不同，APE 通过让 LLM 自身生成和评估提示，自动探索更有效的提示策略，从而实现提示工程的自动化。未来，随着 LLM 技术的不断发展和 APE 框架的不断完善，自动提示工程有望成为 LLM 应用的重要组成部分。自动提示工程师 (APE) 是

不论是GPT还是国产大模型kimi，输出的数学公式想直接复制到word里总会格式错乱，如果自己手写数学公式，公式编辑器用起来太麻烦。一个办法教你搞定公式到word！

是一种利用大语言模型 (LLM) 本身来生成、优化或选择提示（Prompt）的提示技术。与传统的由人类手动设计提示不同，Meta-Prompting 将提示的生成过程也交给 LLM 来完成，从而实现提示的自动化和自适应。通过利用 LLM 的生成能力和上下文学习能力，Meta-Prompting 可以生成更有效、更符合特定任务需求的提示，从而提高 LLM 在各种任务中的性能。

是一种提示工程技术，旨在通过模拟人类的多路径思考过程，帮助大语言模型（LLM）在复杂推理任务中生成更准确、更全面的答案。与链式思维（Chain of Thought, CoT）不同，ToT 不仅仅是逐步推理，而是通过探索多种可能的推理路径，构建一个“思维树”，从中选择最优的路径来得出最终答案。思维树（Tree of Thoughts, ToT）是一种强大的提示工程技术，通过模拟人类的多路径思考过程

"结合 Prompt Engineering 的 LoRA" 指的是将 Prompt Engineering (提示工程) 技术与 LoRA (Low-Rank Adaptation) 微调技术相结合，以更高效、更灵活地引导 AI 大模型完成特定任务的方法。Prompt Engineering 负责设计有效的提示语 (Prompts)，而 LoRA 负责在冻结大部分模型参数的情况下，微调少量参数以