一. 概括图神经网络已经成为深度学习领域最炽手可热的方向之一。本文提出Graph Attention Networks(GATs)，将注意力机制应用到图神经网络中，每一层学习节点每个邻居对其生成新特征的贡献度，按照贡献度大小对邻居特征进行聚合，以此生成节点新特征。GATs具有计算复杂度低，适用归纳学习任务的特性。因此，GAT 不仅对于噪音邻居较为鲁棒，注意力机制也赋予了模型一定的可解释性。二. s

图 4 给出了环状 all-gather 的实现过程，我们就不详细描述了，值得注意的是，它的通信时间和通信量的分析与 reduce-scatter 一模一样：整个过程需要的时间是 Vsend / B ，如果p足够大，完成时间近似为V/B，这个时间和设备数p无关，当然，在所有设备间传递的数据量是(p-1)V，和设备数 p 成正比。不过，请注意在 reduce-scatter 里，V 都是完整矩阵的数

在训练脚本中导入 DeepSpeed 模块：在训练脚本中导入 Trainer 模块：创建 Trainer 对象，将模型、训练数据集、优化器等参数传入：args=args,使用 DeepSpeed 命令行工具运行训练脚本（单机）：其中，--num_gpus表示使用的 GPU 数量。hostfile增加hostfile文件，填写host的相应的gpu数量(slots=4代表有4个gpu)include

论文名：An Embedding Learning Framework for Numerical Features in CTR Prediction开源代码：AutoDis1. 背景介绍在CTR预估模型中，大多数模型都遵守Embedding & Feature Interaction（FI）的范式。以往的大多数研究都聚焦于网络结构的设计，以更好的捕获显式或隐式的特征交互，如Wide&a

Deep & Cross Network(DCN)在 2017 年由 google 和 Stanford 共同发表的一篇论文中被提出，类似于Wide & Deep Network(WDL)，是用复杂网络预估CTR的一种方法。特征工程一直是许多预测模型成功的关键。许多有效的特征都来自于原始特征的交叉组合。在WDL中，wide侧的交叉组合特征依然需要依靠hand-craft来完成。而D

在单节点情况下，DeepSpeed的配置更多地集中在指定的节点内，因此不需要显式指定hostfile，而可以通过命令行参数更灵活地控制使用的GPU资源。DeepSpeed模型训练的核心在于DeepSpeed引擎，它能够包装任意类型为torch.nn.module的模型，并提供了一组最小的API用于训练和模型检查点。在这些设置步骤中，DeepSpeed的启动脚本提供了多种命令行选项，使用户能够根据需

1. DeepFM算法的提出由于DeepFM算法有效的结合了因子分解机与神经网络在特征学习中的优点：同时提取到低阶组合特征与高阶组合特征，所以越来越被广泛使用。在DeepFM中FM算法负责对一阶特征以及由一阶特征两两组合而成的二阶特征进行特征的提取DNN算法负责对由输入的一阶特征进行全连接等操作形成的高阶特征进行特征的提取具有以下特点：结合了广度和深度模型的优点，联合训练FM模型和DNN模型，同时

一前言在大规模图上学习节点embedding，在很多任务中非常有效，如学习节点拓扑结构的 DeepWalk 以及同时学习邻居特征和拓扑结构的semi-GCN。但是现在大多数方法都是直推式学习， 不能直接泛化到未知节点。这些方法是在一个固定的图上直接学习每个节点embedding，但是大多情况图是会演化的，当网络结构改变以及新节点的出现，直推式学习需要重新训练（复杂度高且可能会导致embedding

TF32 采用了与半精度（ FP16 ）数学相同的10 位尾数位精度，这样的精度水平远高于AI 工作负载的精度要求，有足够的余量。同时， TF32 采用了与FP32 相同的8 位指数位，能够支持与其相同的数字范围。中的新数据类型，TF32 使用与半精度 (FP16) 数学相同的 10 位尾数，表明对于 AI 工作负载的精度要求有足够的余量。在某些情况下，还使用 TOPS/W 来作为评价处理器运算能

DeepSpeed是由Microsoft提供的分布式训练工具，旨在支持更大规模的模型和提供更多的优化策略和工具。与其他框架相比，DeepSpeed支持更大规模的模型和提供更多的优化策略和工具。其中，主要优势在于支持更大规模的模型、提供了更多的优化策略和工具（例如 ZeRO 和 Offload 等）