数据并行，由于其原理相对比较简单，是目前使用最广泛的分布式并行技术。。我们首先以PyTorch 数据并行的发展（DataParallel、DistributedDataParallel、FullyShardedDataParallel）为主线进行讲述了数据并行的技术原理。同时，也简述了 DeepSpeed 中的增强版数据并行ZeRO。

80G 的显存是一个高带宽的内存，L2 Cache 大小为 40M，所有 SM 共享同一个 L2 Cache，L1 Cache 大小为 192kB，每个 SM 拥有自己独立的 Cache，同样每个 SM 拥有自己独立的 Register，每个寄存器大小为 256 kB，因为总共有 108 个 SM 流处理器，因此寄存器总共的大小是 27MB，L1 Cache 总共的大小是 20 MB。在真正计算的

输入 = “中国的首都是哪里？[SEP] 北京是中国的首都。北京是一个历史悠久的城市。上下文 = “北京是中国的首都。北京是一个历史悠久的城市。输入 = “<查询> [SEP] <上下文>”答案 = “中国的首都是北京。

基于人类反馈的强化学习（RLHF）是一个复杂且不稳定的过程，拟合一个反映人类偏好的奖励模型，然后使用强化学习对大语言模型进行微调，以最大限度地提高估计奖励，同时又不能偏离原始模型太远。这涉及训练多个 LM，并在训练循环中从 LM 采样，从而产生大量的计算成本。本文作者提出了直接偏好优化（DPO）算法，它稳定、高效且计算量轻，无需拟合奖励模型，也无需在微调期间从LM采样或执行显著的超参数调整。实验表

首先，作者通过对Prefix Tuning变换，发现Prefix Tuning和Adapters的公式高度相似。然后，分析不同微调方法的内部结构和结构插入形式的相似之处。下图展示了高效微调方法Adapter、Prefix Tuning、LoRA以及新变体（通过更换一些元素，设计了前人的工作里没有的变体） Parallel Adapter、 Scaled PA的结构。

基于Mamba架构的ASR模型，利用结构化状态空间模型（SSM）有效建模时间依赖关系，实现了在多个标准数据集上的SOTA性能。：OpenAI发布的多语言ASR模型，使用68万小时的多语言数据进行训练，支持多任务和多语言的语音识别。一个完整的语音系统往往既需要听得懂（ASR），也需要说得像人（TTS）。文本转语音（TTS）技术将书面文本转换为自然流畅的语音，广泛应用于有声读物、语音助手、播客制作等领

流式输出与非流式输出应用场景流式输出的理想应用场景非流式输出的理想应用场景流式输出与非流式输出性能对比性能指标流式输出非流式输出首字节延迟极低（通常 100ms 内）较高（需等待全部生成）总完成时间与非流式相近或略长与流式相近或略短服务器负载连接维护成本高单次处理负载高但短暂网络流量略高（协议开销）略低（单次传输）客户端复杂度较高（需处理流式数据）较低（简单的请求-响应）容错能力较弱（中断风险高）

本文主要针对 Megatron-LM 和 Colossal-AI 的张量并行方案进行了讲解。其中，Megatron-LM 提出了一种高效的一维（1D）张量并行化实现。这种方法虽然将参数划分到多个处理器上，但每个处理器仍需要存储整个中间激活，在处理大模型时会消耗大量的显存空间。此外，由于仅采用1维矩阵划分，在每次计算中，每个处理器都需要与其他所有处理器进行通信；因此，通信成本会随并行度增高而激增。显

在 DeepSpeed 中，可以通过在配置文件中设置来启用 BF16 混合精度训练，减少占用内存。混合精度训练是指在训练过程中同时使用FP16（半精度浮点数）和FP32（单精度浮点数）两种精度的技术。deepspeed可以根据具体情况选择合适的通信库，例如在 CPU 集群上进行分布式训练，可以选择 mpi 和 gloo；如果是在 GPU 上进行分布式训练，可以选择 nccl。Zero（Zero R

打开官网地址：https://anythingllm.com/desktop，根据自己的系统选择下载的版本。Ollama 是一个用于本地运行大语言模型（LLMs）的开源工具，提供简单的界面和优化的推理引擎。DeepSeek+Ollama+AnythingLLM 本地部署完全指南，打造专属知识库。，使用户能够在个人设备上高效地加载、管理和运行 AI 模型，而无需依赖云端。其中，deepseek-r1