序言经常会听到注意力机制，在很多应用都能落地。跟CNN，RNN（LSTM）等深度学习都是热点。而且Attention机制在机器翻译，图片描述，语音识别和文本摘要中取到很大的成功。那么Attention机制到底是怎样子的一个存在呢？现在举一个简单例子。假设输入X = [0.1, 1, 0.1, 0.2, 0.2, 0.3 0.1, 0.1, 0.1, 0.2] 而该分类的Y是1。则其实 在X的第二个

目录标题什么是NAS什么是ENAS什么是NAS2016年，Google发表论文NeuralArchitecture Search with Reinforcement Learning，他们使用强化学习进行神经网络结构搜索（NAS），并在图像分类和语言建模任务上超越了此前手工设计的网络。NAS是给定模型结构 搜索空间的 搜索算法。这个搜索算法不可能通过枚举模型结构来分别训练解决，而是用一种更有效的