模拟退火“退火（Annealing）”是金属铸造的一个过程，它是指金属首先在高温下熔化，然后让它冷却下来直到它成为固态。因此，在退火的物理过程中，温度很高的材料的能量逐渐丢失，最终达到最小能量的状态。一般情况下，大多数物理过程是从高温状态转换到低温状态，但是仍然有比较小的概率，它可以跨越能量状态的低谷，上升到另一个能量状态。例如，考虑一个滚动的球，从一个高能量状态滚动到一个低谷，然后滚到高一点的能

数值计算  对于机器学习中的问题，有一部分可以通过数学推导的方式直接得到用公式表达的解析解，但对绝大多数的问题来说，解析解是不存在的，需要使用迭代更新的方法求数值解。然而实数的精度是无限的，计算机能够表达的精度是有限的，这就涉及到许多数值计算方法的问题。1. 基本概念上溢和下溢：由于计算机表达实数的精度的有限，在某些情况下许多复杂的复合运算中的四舍五入会导致一个接近0的小数变为0或者一个...

论文地址：https://arxiv.org/abs/1703.02291v2论文Github：https://github.com/zhenxuan00/triple-gan收录：NIPS 2017在《Coupled Generative Adversarial Networks》中，作者使用了两个GANs实现了在无配对数据的的情况下，实现不同的domain之间的高层次的特征学习。除了c...

交叉验证：评估模型的表现如果我们训练出的模型只在训练集上表现极好，但在未知的数据上效果很差，说明出现了过拟合，为了避免这种现象的出现，我们需要验证集来评估我们的模型。当我们在训练集上训练好一个模型后，现在验证集上对模型进行，如果验证集上的效果比较好时，再到测试集上就行最后的评估。但是单纯的将数据集分为三部分，会大大减少模型学习的数据量（因为有时数据是很难获取的，数目可能会比较少），并且最后模型..

Variational autoencoders（VAE）由Kingma et al.和Rezende et al.在2013年提出，它在图像生成、强化学习和自然语言处理等多个领域都有很广泛的应用。下面的主要内容翻译自《Tutorial - What is a variational autoencoder?》，并同时加入自己的理解以及其他相关资料的补充。VAE作为一种新的生成模型，相比...

Random Forest当我们在阅读Kaggle之类竞赛的相关方案时，GDBT和Random Forest绝对是两个最为常见的机器学习算法。随机森林（Random Forest，RF）属于集成算法中Bagging（Booststrap aggregating）中一个重要的组成部分，Bagging的核心思想在于从总体样本中随机选取一部分进行训练，通过多次这样的结果进行投票获取平均值作为结果输...

ACL 2019 Multi-Hop Paragraph Retrieval for Open-Domain Question AnsweringgithubQuestion Answering问题粗略的可以分为两类：Reading Comprehension，RC：模型需要根据给定的问题和对应的输入文档找出答案所在，而且根据问题所对应文档的数目可分为sigle-hop reasoning...

最大边界相关算法用于计算查询文本和搜索文档之间的相似度，然后对文档进行排序。算法公式为MMR(Q,C,R)=Argmax⁡di,in,ck[λsim(Q,di)−(a−λ)max⁡dj,k(sim(di,dj))]\text{MMR}(Q,C,R) = Arg \max_{d_{i},in,c}^k [\lambda sim(Q,d_{i}) - (a- \lambda) \max_{d_{j}.

回顾贝叶斯定理贝叶斯定理是计算概率中很重要也是很常用的一个公式，它的形式如下：p(Yk∣X)=P(XYk)P(X)=P(Yk)p(X∣Yk)∑jP(Yj)P(X∣Yj)p(Y_{k}|X)=\frac{P(XY_{k})}{P(X)}=\frac{P(Y_{k})p(X|Y_{k})}{\sum_{j}P(Y_{j})P(X|Y_{j})}p(Yk​∣X)=P(X)P(XYk​)​=∑...

Optional是Java8引入的一个用于解决空指针异常的容器，它可以保存类型T的值，或者仅仅保存null。Optional提供很多有用的方法，这样我们就不用显式进行空值检测。文章目录1. 引入2. 创建Optional实例3. 获取Optional实例值4. 实例转换5. 判断方法6. 获取Stream流7.完整实验代码8. 参考1. 引入引言中对于Optional做了一个简单的介绍，它的主要是