通过以上步骤，你已成功在本地部署了 DeepSeek 模型，并能够通过 vLLM 进行推理。如果在部署过程中遇到问题，请参考 vLLM 官方文档或在相关社区寻求帮助。祝你使用愉快！

T5 Scale up 到 100B、500B 的难度很大，训练成本的增加远远高于 GPT。因此也许 100B 的 T5 训练 10T tokens 的模型能力比 100B 的 GPT 更强，但为此要支付的算力/时间成本远大于 100B GPT 训练 10T tokens。以至于：没有公司愿意支付这样的代价我还不如支付相同的代价，让 GPT 多训练更多倍的 Tokens；或者训练一个参数量大很多的

通过这个小学考试的比喻，我们逐步从只看绝对分数的朴素思路，演化到 PPO 的完整机制（Critic、Advantage、Clip、Reference Model），再到GRPO的创新思路（用一组输出的平均得分当基线，省去价值函数的繁琐）。以下几点值得再次强调：Critic 的意义：它为每个状态或阶段提供“合理预期”，大幅降低了训练方差；Clip & min 机制：约束策略更新幅度，避免一次考试“爆

适配linux，且由于作者水平有限，中间件只支持apache，确保linux用户权限为root，且安装有iptables防火墙命令（不需要告警可忽略iptables）数据库密码默认设置为root/123456789，后台默认初始密码为：admin/123456，apache日志为默认路径。如果不需要告警可忽略，需要告警请自行配置config.py里的邮箱和密码（ps: 这里的密码是邮箱授权码）如需

随着DeepSeek爆火，面试中也越来越高频出现，因此训练营也更新了DeepSeek系列技术的深入拆解。包括MLA、MTP、专家负载均衡、FP8混合精度训练，Dual-Pipe等关键技术，力求做到全网最硬核的解析~本篇文章主要对训练 LLM 以及部署应用时的精度问题进行了一些探讨和实践，读过后应该会对常用的浮点数 FP16，FP32，BF16 有一个更好的理解~

最近已有不少大厂已停止秋招宣讲了。节前，我们邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。针对新手如何入门算法岗、该如何准备面试攻略、面试常考点、大模型技术趋势、算法项目落地经验分享等热门话题进行了深入的讨论。在RAG（Retrieval Augmented Generation）技术中，划分chunk是将长文档或数据集切割成较小的、独立的部分，以便于处理、存储和检索。

最近这一两周看到不少互联网公司都已经开始秋招提前批了。不同以往的是，当前职场环境已不再是那个双向奔赴时代了。求职者在变多，HC 在变少，岗位要求还更高了。最近，我们又陆续整理了很多大厂的面试题，帮助一些球友解惑答疑，分享技术面试中的那些弯弯绕绕。

总的来说，大模型的 Alignment 现在集中在损失函数的修改，以及 RL 理论的集成，数据的合成上面，训练方法从不稳定的 PPO 变成的 DPO 及其变体，虽然论文有一大堆的推导，实际上是越来越简单了，自然门槛会越来越低，后面出现了 AgentQ，我仔细看了一下原来是 MCTS+DPO，我有个没有依据的猜测，会不会后面没有 SFT 了，只有 DPO+environment，源源不断的跟环境交互

最近这一两周看到不少互联网公司都已经开始秋招提前批了。不同以往的是，当前职场环境已不再是那个双向奔赴时代了。求职者在变多，HC 在变少，岗位要求还更高了。最近，我们又陆续整理了很多大厂的面试题，帮助一些球友解惑答疑，分享技术面试中的那些弯弯绕绕。大家好，今天分享一位好朋友过去一年在各个大厂和初创大模型公司实习的经历，现在大模型是风口，他的眼光和思考都值得我们认真体会和学习~：做出了比较出名的端侧小

最近这一两周不少大厂都已经开始秋招面试了。不同以往的是，当前职场环境已不再是那个双向奔赴时代了。求职者在变多，HC 在变少，岗位要求还更高了。最近，我们又陆续整理了很多大厂的面试题，帮助一些球友解惑答疑，分享技术面试中的那些弯弯绕绕。经过漫长的等待，OpenAI终于在9月12日发布了新模型O1，用户可以直接访问预览版o1-preview，或者小尺寸版o1-mini。其酝酿了快一年的大招，一会儿Q*