明确模型的输入与输出定义模型的损失函数LLM，即大语言模型，本质上是一个“token 接龙”高手，它不断预测下一个词符。这种推理生成方式被称为自回归模型，因为模型的输出会作为下一轮的输入，形成一个循环。刚开始，一个随机大模型，面对输入，它预测的下一个字符完全是随机的那么，它是如何学习的呢？在自注意力机制中，通过为 qk 增加掩码，softmax 后将负无穷对应到 0，隐藏掉 n 字符以后的内容。这

FlashAttention 是一种专为 Transformer 优化的高性能注意力机制。它能显著加速训练和推理，同时减少内存占用，广泛应用于 LLaMA、GPT-NeoX、PaLM 等大模型中。

文章介绍了地平线征程6H/P平台的QAT量化调优流程，重点围绕int8+int16+fp16混合精度配置，详细阐述了模型检查、校准、训练和导出部署各阶段的调优原则、常见问题及解决方法。

本文为地平线PTQ实战指南，提供快速评测、校准部署、混合精度调优等步骤，帮助开发者高效优化模型性能与精度。

文章介绍了地平线征程6板端部署中模型精度一致性问题的排查方法，涵盖export、convert、插入前处理节点及compile等步骤，并提供了用户侧与工具侧问题的定位流程与解决方案。

本文介绍了基于BEVFormer的Dense BEV优化方案，通过引入BevMask减少冗余计算，并使用BPU友好的Gridsample算子，在征程6芯片上实现推理性能提升30%。

地平线SoC平台稳定性问题概述，涵盖kernel panic、内存损坏、看门狗和防火墙等常见问题，并提供调试方法。

本文介绍了四种主流的大模型量化方法：GPTQ、SmoothQuant、AWQ和旋转量化。

本文会对 LLM 中评价指标预训练概要进行介绍

12 月 9 日，“智驾生态·共筑未来丨地平线开发者生态论坛”在深圳前海国际会议中心如期举办。