如果想要指定vllm serve 运行的1号gpu，不能仅仅在前面加CUDA_VISIBLE_DEVICES=1；还需要在参数里指定device = cuda,因为不指定的话默认device是auto。

虽然transformers库中可以实现flash attention，但是默认情况下是不使用的，需要在加载模型时使用一个参数：attn_implementation="flash_attention_2"。不仅如此，还需要在本地install flash-attn；如果安装失败，可以下载。这个文件，下载到本地之后pip install 它就可以。

如果想要指定vllm serve 运行的1号gpu，不能仅仅在前面加CUDA_VISIBLE_DEVICES=1；还需要在参数里指定device = cuda,因为不指定的话默认device是auto。

虽然transformers库中可以实现flash attention，但是默认情况下是不使用的，需要在加载模型时使用一个参数：attn_implementation="flash_attention_2"。不仅如此，还需要在本地install flash-attn；如果安装失败，可以下载。这个文件，下载到本地之后pip install 它就可以。

在H800集群上进行的实际训练中，对于每万亿标记的训练，DeepSeek 67B需要300.6K GPU小时，而DeepSeek-V2仅需要172.8K GPU小时，即稀疏的DeepSeek-V2与密集的DeepSeek 67B相比，可以节省42.5%的训练成本。研究人员还设计了一种设备限制的路由机制，以限制与MoE（Mixture of Experts）相关的通信成本：由于专家的细粒度分割，激活

我们介绍了DeepSeek LLMs，一系列开源模型，这些模型是基于2T tokens的庞大数据集从零开始训练的。在本文中，我们提供了关于超参数选择、scaling-law以及我们进行的各种微调尝试的深入解释。

为什么要冷启动：普通的SFT以对话格式作为微调的数据，这是因为人类可以拥有或者直接标注大量这样的数据，但是推理模型就很难获得包含推理过程的数据，因为可查看的数据资源中没有包含推理过程的，而且人工标注起来成本显然是巨大的。因此，可以得出两个结论：首先，将更强大的模型提炼成较小的模型会得到极好的结果，而依赖于本文提到的大规模强化学习的小模型则需要巨大的计算能力，甚至可能无法达到提炼的效果。例如，在具有