作者名: 李鹏宇0引言在自然语言处理任务中，我们经常需要判断两篇文档是否相似、计算两篇文档的相似程度。比如，基于聚类算法发现微博热点话题时，我们需要度量各篇文本的内容相似度，然后让内容足够相似的微博聚成一个簇；在问答系统中，我们会准备一些经典问题和对应的答案，当用户的问题和经典问题很相似时，系统直接返回准备好的答案；在监控新闻稿件在互联网中的传播情况时，我们可以把所有和原创稿件相似的文章，都看作转

公众号：系统之神与我同在FastMoE开源分布式MoE模型训练系统本文分为三部分：回顾MOE的发展历程FastMOE的框架设计FastMOE v0.2的特性预训练模型的发展趋势:规模越来越大MOE结构：扩充模型容量的新途径训MoE的发展历史图解（巧妙地运用数据并行来构建MOE专家池）解图解（T5+MoE）MOE模型研究前沿使用pytorch和MoE训练您的MOE网络FastMoE的并行模式Fast

翻译来自百分点认知智能实验室 易显维 桂安春本文翻译自The NLP Cookbook: Modern Recipes for Transformer based Deep Learning Architectureshttps://arxiv.org/ftp/arxiv/papers/2104/2104.10640.pdf​arxiv.org/ftp/arxiv/papers/2104/2104

近年来，图表示学习（Graph Embedding）和图神经网络（Graph Neural Network, GNN）成为网络数据分析与应用的热点研究问题，其特点是将深度神经网络技术用于网络结构的建模与计算，诞生了以 DeepWalk、LINE 和 node2vec 为代表的图表示学习技术，以 GCN 为代表的图神经网络，能够利用分布式表示方案实现对网络中的节点、边及其附带的标签、属性和文本等信息

翻译来自百分点认知智能实验室 易显维 桂安春本文翻译自The NLP Cookbook: Modern Recipes for Transformer based Deep Learning Architectureshttps://arxiv.org/ftp/arxiv/papers/2104/2104.10640.pdf​arxiv.org/ftp/arxiv/papers/2104/2104

公众号：系统之神与我同在FastMoE开源分布式MoE模型训练系统本文分为三部分：回顾MOE的发展历程FastMOE的框架设计FastMOE v0.2的特性预训练模型的发展趋势:规模越来越大MOE结构：扩充模型容量的新途径训MoE的发展历史图解（巧妙地运用数据并行来构建MOE专家池）解图解（T5+MoE）MOE模型研究前沿使用pytorch和MoE训练您的MOE网络FastMoE的并行模式Fast

机器学习的成功很大程度上取决于数据。但是，高质量的标记数据通常很昂贵且难以获得，尤其是对于训练参数较多的模型。而我们却可以很容易地获取大量的无标记数据，其数量可能是标记数据的数千倍。为了解决标注数据较少的问题，我们要尽可能利用其无标注数据，一个常规的做法是自监督的预训练（self-supervised pre-training）。其目标是设计合理的自监督任务，从而使模型能从无标注数据里学得数据的信

最近有很多朋友联系泽宇说想了解一些知识图谱和图神经网络（GNN）结合的研究。那泽宇当然要满足朋友们的要求啊，本期泽宇从知识图谱的几个不同研究方向总结了结合GNN的经典研究，也和大家一起分享。所有内容是泽宇查阅了很多顶会论文，对每一类挑选出一篇具有代表性的论文进行解读，如有理解有误的地方还请批评指教。本期是“知识图谱+”系列的第一期“知识图谱+图神经网络”，之后会陆续分享知识图谱+各类方向的技术介绍

推理本节是初级教程的最后一节，为了更好地适配不同推理设备，因此推理分为 1）昇腾AI处理器推理和 2）移动设备推理。昇腾AI处理器推理1 概述昇腾（Ascend）AI处理器是面向边缘场景的高能效高集成度AI处理器。可以实现图像、视频等多种数据分析与推理计算，可广泛用于智能监控、机器人、无人机、视频服务器等场景。本节我们来学习如何在昇腾AI处理器上使用MindSpore执行推理。2 推理代码介绍首先

基本介绍本节将会整体对华为AI全栈进行介绍，并介绍MindSpore在其中的位置，如果对MindSpore兴趣的开发者，最后可以参与MindSpore的社区并一键三连（Watch/Star/Fork）。华为昇腾AI全栈介绍昇腾计算，是基于昇腾系列处理器构建的全栈AI计算基础设施及应用，包括昇腾Ascend系列芯片、Altas系列硬件、CANN芯片使能、MindSpore AI框架、ModelArt