本文是阅读Hinton 大神在2014年NIPS上一篇论文

机器翻译–Moses脚本进行数据处理，Bleu值计算数据预处理包括标点规范化，分词，大小写字母等；Blue值计算使用perl直接计算。Moses这是一个很强大的数据预处理工具，虽然已经用了很多年了，但现在依然非常流行。github地址，主要使用里面的perl脚本进行数据预处理。确保电脑上已经安装配置好了perl（ubuntu自带）。很多人做数据预处理都会用到BPE算法，30000个子词几...

人工智能相关论文 2020 accepted papers listAAAI-2020： https://aaai.org/Conferences/AAAI-20/wp-content/uploads/2020/01/AAAI-20-Accepted-Paper-List.pdfICLR 2020 : https://openreview.net/group?id=ICLR.cc/2020/Con

使用大模型进行代码阅读

1概要何为对智能话系统？既要能够模仿人类的对话交流，又要能够对历史问题以及现在问题做出精确、直接、简洁的回复。这篇文章主要以阅读理解为内容（其他关于QA等问题可以参考文献[1]），将从以下几个方面对对话AI进行阐述：对于对话AI的神经网络方法的理解传统方法与现代NN方法的联系和比较对于目前训练对话系统的最好的一些方法1.1对话是什么样的任务呢？首先看一个例子：这个例子展示了一...

人脸识别中的开集和闭集测试这个领域里可以简单分成两大类:• 人脸验证• 人脸检索做人脸识别的时候，需要根据业务需要来选择合适的测试指标，测试指标也远远不止文中提到的几个，这里就列举几个比较常用的。1. 人脸验证：给定两张人脸图片，判断两张图片是否为同一人。两个基本术语：误识率–人脸比对通过了但其实并不是本人的概率，通过率–将同一人正确识别出来的概率。其实都是根据实际业务定义的，人脸验证场景中，比如

《NLP中的对抗训练》最近在做百度的阅读理解竞赛，这次的竞赛目的主要是针对模型的鲁棒性。百度提出了dureader-robustness数据集，具体可以参考之前的博客《Improving the Robustness of Question Answering Systems to Question Paraphrasing》，有介绍到具体的问题和任务。那么针对上述的问题，能用什么方法解决呢...

使用大模型进行代码阅读

人脸识别中的开集和闭集测试这个领域里可以简单分成两大类:• 人脸验证• 人脸检索做人脸识别的时候，需要根据业务需要来选择合适的测试指标，测试指标也远远不止文中提到的几个，这里就列举几个比较常用的。1. 人脸验证：给定两张人脸图片，判断两张图片是否为同一人。两个基本术语：误识率–人脸比对通过了但其实并不是本人的概率，通过率–将同一人正确识别出来的概率。其实都是根据实际业务定义的，人脸验证场景中，比如

《pytorch 多卡GPU & 加载参数文件的坑RuntimeError: Error(s) in loading state_dict for ××××××》1、多卡GPU多卡训练的基本过程首先把模型加载到一个主设备把模型只读复制到多个设备把大的batch数据也等分到不同的设备最后将所有设备计算得到的梯度合并更新主设备上的模型参数通过下面例子给一个完成代码：#!/u...