Query 模块：纠错分词紧密度同义词词权重实体词识别意图识别长尾 query 的多样性对于搜索系统来说是一个很大的挑战，原因有：❶存在输入错误。例如上图中的错误 query "塞尔维雅" ( 塞尔维亚 )，对于这种错误我们希望系统能够自动的纠错；❷存在表达冗余。例如输入 "孙子兵法智慧的现代意义"，在这个语境下，"智慧" 是一个无关紧要的词。如果强制去匹...

一、Self-Attention概念详解Self-Attention详解了解了模型大致原理，我们可以详细的看一下究竟Self-Attention结构是怎样的。其基本结构如下对于self-attention来讲，Q(Query), K(Key), V(Value)三个矩阵均来自同一输入，首先我们要计算Q与K之间的点乘，然后为了防止其结果过大，会除以一个尺度标度，其中为一...

在过去的一年中，BERT、Transformer XL、XLNet 等大型自然语言处理模型轮番在各大自然语言处理任务排行榜上刷新最佳纪录，可谓你方唱罢我登场。其中，GPT-2 由于其稳定、优异的性能吸引了业界的关注https://zhuanlan.zhihu.com/p/79714797https://jalammar.github.io/illustrated-gpt2/选自http...

最近看到一则eBay收购了商品价格预测的网站decide.com的新闻，再次证明了商品的价格预测这事是靠谱的。新闻里还提到Decide.com的全部26名员工，除了联合创始人兼CTO  Oren Etzioni 外，都将加入到eBay。 Oren Etzioni 已被微软创始人保罗·艾伦任命为一家新成立的人工智能机构的总裁。google了一下原来这个OrenEtzioni就是几年前做了个机票

近些年，深度学习在语音识别、图像处理、自然语言处理等领域都取得了很大的突破与成就。相对来说，深度学习在推荐系统领域的研究与应用还处于早期阶段。携程在深度学习与推荐系统结合的领域也进行了相关的研究与应用，并在国际人工智能顶级会议AAAI 2017上发表了相应的研究成果《A Hybrid Collaborative Filtering Model with Deep Structure for

什么是相关系数　　相关表和相关图可反映两个变量之间的相互关系及其相关方向，但无法确切地表明两个变量之间相关的程度。　　著名统计学家卡尔·皮尔逊设计了统计指标——相关系数。相关系数是用以反映变量之间相关关系密切程度的统计指标。相关系数是按积差方法计算，同样以两变量与各自平均值的离差为基础，通过两个离差相乘来反映两变量之间相关程度；着重研究线性的单相关系数。　　依据相关现象

只需要一句话就解释清楚了：不管输入图像的深度为多少，经过一个卷积核（filter），最后都通过下面的公式变成一个深度为1的特征图。 也就是说不管卷积核深度是多少（卷积核的深度和要被卷积的原始神经元的深度要一样），而卷积会合并卷积深度为1，我想这才是很多人疑惑的地方，其他的没什么好疑惑的。这里还是想强调一下，卷积核(filter)的channel数，其实是与输入图像相同的，所以常常会省略不写，只..

LSTM(units,input_shape(3,1)),这里的units指的是cell的个数么？如果是，按照LSTM原理这些cell之间应该是无连接的，那units的多少其意义是什么呢，是不是相当于MLP里面对应隐层的神经元个数，只是为了扩展系统的输出能力？作者：lonlon ago链接：https://www.zhihu.com/question/64470274/answer/2563...

当参数时随机变量时，该参数分布中的参数就是超参数，简单的说就是参数的参数，感觉一般在贝叶斯方法中出现所谓超参数，就是机器学习模型里面的框架参数，比如聚类方法里面类的个数，或者话题模型里面话题的个数等等，都称为超参数。它们跟训练过程中学习的参数（权重）是不一样的，通常是手工设定，不断试错调整，或者对一系列穷举出来的参数组合一通枚举（叫做网格搜索）。深度学习和神经网络模型，有很多这

http://www.360doc.com/content/16/0320/16/1317564_543828788.shtml一，序列标注任务机器学习任务主要包含两大类。第一种属于模式识别范畴，认为所有的样本之间相互独立，可以直接将每个样本的特征输入机器学习模型进行训练，如逻辑回归，SVM，随机森林，稀疏自编码等模型；另一种属于序列任务，需要考虑样本之间的某种关联，如预测天气状况，很明显，今天的