软目标说明：教师模型输出 [0.7, 0.2, 0.1]，表示类别 A 的概率为 0.7，类别 B 的概率为 0.2，类别 C 的概率为 0.1，如果是硬目标就直接选择类别 A，但如果是软目标，学生模型输出的概率分布为 [0.6, 0.3, 0.1]，KL 散度会计算这两个概率分布之间的差异。当模型过大无法在单个设备（如 GPU）内存中完整训练时，它将模型的不同部分分布在多个设备上进行训练，相比于

本文整理了来自Daily Dose of Data Science最热门或最新的文章，其中极具特色的动图以生动形象的方式，帮助我们更好的理解AI中的一些核心技术，希望能够帮助大家更好的理解和使用AI。是时候准备面试和实习了。不同以往的是，当前职场环境已不再是那个双向奔赴时代了。求职者在变多，HC 在变少，岗位要求还更高了。最近，我们又陆续整理了很多大厂的面试题，帮助一些球友解惑答疑，分享技术面试中

经验总结T5微调：首选Prompt TuningGPT类生成：首选Prefix TuningBERT类理解：首选P-tuning传统训练：所有操作都用FP32（32位浮点数）混合精度训练前向传播：大部分用FP16，数值敏感操作用FP32反向传播：梯度计算用FP16，累积用FP32参数更新：用FP32保证精度显存充足（>40GB）任务简单：Prompt Tuning任务复杂：LoRA (rank=3

在探索最新的大语言模型（LLM）时，“MoE”这一术语频繁出现在各种标题之中。最近春招和实习已开启了。不同以往的是，当前职场环境已不再是那个双向奔赴时代了。求职者在变多，HC 在变少，岗位要求还更高了。最近，我们又陆续整理了很多大厂的面试题，帮助一些球友解惑答疑，分享技术面试中的那些弯弯绕绕。。

最近这一两周看到不少互联网公司都已经开始秋招发放Offer。不同以往的是，当前职场环境已不再是那个双向奔赴时代了。求职者在变多，HC 在变少，岗位要求还更高了。最近，我们又陆续整理了很多大厂的面试题，帮助一些球友解惑答疑，分享技术面试中的那些弯弯绕绕。。更多实战和面试交流，文末加入我们。

混合专家（MoE）是一种利用多个不同的子模型（或称为“专家”）来提升LLM质量的技术。MoE的两个主要组成部分是：专家：每个前馈神经网络（FFNN）层现在都有一组“专家”，可以选择其中的一部分。这些“专家”通常也是FFNN。路由或门控网络：决定哪些词元发送到哪些专家。在每个具有MoE的模型层中，我们会找到（相对专业化的）专家：需要注意的是，“专家”并不专注于特定领域，如“心理学”或“生物学”。专家

当前春招和实习已开启，但职场环境发生了变化，求职者增多，职位减少且要求更高。为帮助求职者应对技术面试，我们整理并发布了大厂面试题，包括《大模型面试宝典》2025版。此外，文章还介绍了大模型训练的并行策略，包括数据并行（DP）、流水线并行（PP）、张量并行（TP）、序列并行（SP）和专家并行（EP），并分析了它们的通信量及编排方式。这些策略有助于优化大模型的训练效率，尤其是在分布式基础设施上。

最近这一两周看到不少互联网公司都已经开始秋招发放Offer。不同以往的是，当前职场环境已不再是那个双向奔赴时代了。求职者在变多，HC 在变少，岗位要求还更高了。最近，我们又陆续整理了很多大厂的面试题，帮助一些球友解惑答疑，分享技术面试中的那些弯弯绕绕。。更多实战和面试交流，文末加入我们。

最近秋招发放Offer已高一段落。不同以往的是，当前职场环境已不再是那个双向奔赴时代了。求职者在变多，HC 在变少，岗位要求还更高了。最近，我们又陆续整理了很多大厂的面试题，帮助一些球友解惑答疑，分享技术面试中的那些弯弯绕绕。。更多实战和面试交流，文末加入我们。

最近这一两周看到不少互联网公司都已经开始秋招提前批了。不同以往的是，当前职场环境已不再是那个双向奔赴时代了。求职者在变多，HC 在变少，岗位要求还更高了。最近，我们又陆续整理了很多大厂的面试题，帮助一些球友解惑答疑，分享技术面试中的那些弯弯绕绕。