为了解决低精度可能带来的收敛问题，团队设计了细粒度的量化方案，将 Activation 按 1*128 Tile 分组，Weight 按 128*128 block 分组，并通过提高累积精度来保证训练的稳定性。不同于Mixtral中大专家的设计（将稠密模型中的MLP结构复制8份），DeepSeek-V3采用大量“小专家”的设计，能够显著提升模型的稀疏程度。相比V2的236B总参数（21B激活参数）

│|├── rpc# Rpc模块，用于智能体分布式部署。│|├── message.py# 智能体之间消息传递的定义和实现。│|├── agents# 与智能体相关的核心组件和实现。│|├── models# 用于集成不同模型API的接口。│|├── memory# 智能体记忆相关的结构。

这种处理方法是ok的，但缺点是处理之后tokenized_dataset不再是一个dataset格式，而是返回字典（带有我们的键:input_ids、attention_mask 和 token_type_ids，对应的键值对的值）。Trainer 第一个参数是TrainingArguments类，是一个与训练循环本身相关的参数的子集，包含 Trainer中用于训练和评估的所有超参数。为了使我们的

同质图指的是图中的节点类型和关系类型都仅有一种异质图是指图中的节点类型或关系类型多于一种。

非书中全部内容，只是写了些自认为有收获的部分。

其中最常见的一个需求就是其他数据类型和向量混合查询，比如基于标量过滤后再执行最近邻查询，基于全文检索和向量检索相结合的多路召回，以及时空时序数据和向量数据的结合。需要注意的是，图中给出的是匹配的结果。传统的数据库，如关系数据库、KV 数据库、文本数据库、图像/视频数据库都作用于原始数据层，而 Milvus 则作用于其上的向量化数据层，解决 Embedding 向量的存储与分析问题。向量检索是一种基

教师的预测和真实标签重要性一样。