公众号：系统之神与我同在导读： 本文将介绍京东搜索场景中的两块技术， 语义检索与商品排序。 在业界检索算法基础上， 我们提出一系列更适用于电商场景的检索排序算法， 在业务上取得了显著收益。 其中的多篇论文已被 KDD/SIGIR 等收录。01背景介绍电子商务搜索是京东等电商重要组成部分， 用户通过搜索找到自己需要的商品， 然后下单购买。一个典型电商搜索引擎的架构， 包括三个重要组成部分： quer

近年来，图表示学习（Graph Embedding）和图神经网络（Graph Neural Network, GNN）成为网络数据分析与应用的热点研究问题，其特点是将深度神经网络技术用于网络结构的建模与计算，诞生了以 DeepWalk、LINE 和 node2vec 为代表的图表示学习技术，以 GCN 为代表的图神经网络，能够利用分布式表示方案实现对网络中的节点、边及其附带的标签、属性和文本等信息

翻译来自百分点认知智能实验室 易显维 桂安春本文翻译自The NLP Cookbook: Modern Recipes for Transformer based Deep Learning Architectureshttps://arxiv.org/ftp/arxiv/papers/2104/2104.10640.pdf​arxiv.org/ftp/arxiv/papers/2104/2104

公众号：系统之神与我同在FastMoE开源分布式MoE模型训练系统本文分为三部分：回顾MOE的发展历程FastMOE的框架设计FastMOE v0.2的特性预训练模型的发展趋势:规模越来越大MOE结构：扩充模型容量的新途径训MoE的发展历史图解（巧妙地运用数据并行来构建MOE专家池）解图解（T5+MoE）MOE模型研究前沿使用pytorch和MoE训练您的MOE网络FastMoE的并行模式Fast

机器学习的成功很大程度上取决于数据。但是，高质量的标记数据通常很昂贵且难以获得，尤其是对于训练参数较多的模型。而我们却可以很容易地获取大量的无标记数据，其数量可能是标记数据的数千倍。为了解决标注数据较少的问题，我们要尽可能利用其无标注数据，一个常规的做法是自监督的预训练（self-supervised pre-training）。其目标是设计合理的自监督任务，从而使模型能从无标注数据里学得数据的信

最近有很多朋友联系泽宇说想了解一些知识图谱和图神经网络（GNN）结合的研究。那泽宇当然要满足朋友们的要求啊，本期泽宇从知识图谱的几个不同研究方向总结了结合GNN的经典研究，也和大家一起分享。所有内容是泽宇查阅了很多顶会论文，对每一类挑选出一篇具有代表性的论文进行解读，如有理解有误的地方还请批评指教。本期是“知识图谱+”系列的第一期“知识图谱+图神经网络”，之后会陆续分享知识图谱+各类方向的技术介绍

1.介绍让机器能以人类智能相似的方式作出反应一直是人工智能研究人员的目标。为了让机器能听会说、能看会认、能理解会思考， 研究者提出一系列相关任务，如人脸识别、语音合成、阅读理解等来训练及评价机器在某一方面的智能程度。具体来说是，领域专家人工构造标准数据集，然后在其上训练及评价相关模型及方法。但由于相关技术的限制，要想获得效果更好、能力更强的模型，往往需要在大量的有标注的数据上进行训练。近期预训练模

推理本节是初级教程的最后一节，为了更好地适配不同推理设备，因此推理分为 1）昇腾AI处理器推理和 2）移动设备推理。昇腾AI处理器推理1 概述昇腾（Ascend）AI处理器是面向边缘场景的高能效高集成度AI处理器。可以实现图像、视频等多种数据分析与推理计算，可广泛用于智能监控、机器人、无人机、视频服务器等场景。本节我们来学习如何在昇腾AI处理器上使用MindSpore执行推理。2 推理代码介绍首先

基本介绍本节将会整体对华为AI全栈进行介绍，并介绍MindSpore在其中的位置，如果对MindSpore兴趣的开发者，最后可以参与MindSpore的社区并一键三连（Watch/Star/Fork）。华为昇腾AI全栈介绍昇腾计算，是基于昇腾系列处理器构建的全栈AI计算基础设施及应用，包括昇腾Ascend系列芯片、Altas系列硬件、CANN芯片使能、MindSpore AI框架、ModelArt

快速入门本节贯穿MindSpore的基础功能，实现深度学习中的常见任务，请参考各节链接进行更加深入的学习。配置运行信息MindSpore通过context.set_context来配置运行需要的信息，譬如运行模式、后端信息、硬件等信息。导入context模块，配置运行需要的信息。import osimport argparsefrom mindspore import contextparser