美团。阿里关于多模态召回的应用实践

首先数据的分布绝大多数是非线性的，而一般神经网络的计算是线性的，引入激活函数，是在神经网络中引入非线性，强化网络的学习能力。所以激活函数的最大特点就是非线性。不同的激活函数，根据其特点，应用也不同。Sigmoid和tanh的特点是将输出限制在(0,1)和(-1,1)之间，说明Sigmoid和tanh适合做概率值的处理，例如LSTM中的各种门；而ReLU就不行，因为ReLU无最大值限制，可能会出现很

1 确定性系统和不确定性系统对于一个确定性系统，多个状态构成了一个状态序列，每一个状态之间的关系都是确定的，根据当前状态，就可以确定下一个状态。比如红绿灯的变化状态。与确定性系统相对应的是不确定系统，例如，每天的天气状态变化就是一个不确定性系统，根据当前的刮风天气，我们无从得知下一刻的天气是刮风还是打雷还是下雨。这就引出了我们的马尔可夫过程。2 马尔可夫过程在上面的天气系统中，有刮风，下雨，阴天三

General DistillationData Augmentation主要基于BERT预训练模型以及词向量（文中选择的Glove词向量）进行词级别的替换，实现数据增强。在官方代码中进行了17（NαN_\alphaNα​）倍的增强，以GLUE/QQP数据集为例效果如下：idqid1qid2question1question2is_duplicate402555536040536041how do

首先数据的分布绝大多数是非线性的，而一般神经网络的计算是线性的，引入激活函数，是在神经网络中引入非线性，强化网络的学习能力。所以激活函数的最大特点就是非线性。不同的激活函数，根据其特点，应用也不同。Sigmoid和tanh的特点是将输出限制在(0,1)和(-1,1)之间，说明Sigmoid和tanh适合做概率值的处理，例如LSTM中的各种门；而ReLU就不行，因为ReLU无最大值限制，可能会出现很

文章目录1 推荐系统为何需要多样性2 多样性类型3 多样性评价指标4 如何改进多样性召回阶段——多路融合排序阶段——多特征建模重排阶段不同用户的多样性需求分析推荐系统的多样性反应了一个推荐列表中内容不相似的程度。通过推荐多样性更高的内容，既能够给用户更多的机会去发现新内容，也能够让推荐系统更容易发现用户潜在的兴趣。需要注意的是，精确性和多样性是一对Trade Off，提升多样性的代价往往以牺牲准确

机器学习领域，推荐/搜索算法的常用评估指标，NDCG等

  GPT(Generative Pre-Training)和BERT(Bidirectional Encoder Representation from Transformers)都是以Transformer为主题架构的预训练语言模型，都是通过“预训练+fine tuning”的模式下完成下游任务的搭建从模型的角度上1） GPT是单向模型，无法利用上下文信息，只能利用上文；而BERT是双向模型。

x = [1,3,5,7,9]plt.xticks(range(len(x)),x)