卷积神经网络 Convolutional Neural Networks卷积神经网络其实早在80年代，就被神经网络泰斗Lecun 提出[LeNet-5, LeCun 1980]，但是由于当时的数据量、计算力等问题，没有得到广泛使用。卷积神经网络的灵感来自50年代的诺贝尔生物学奖。Hubel & Wiesel, 1959，猫负责视觉的大脑区域，对于细小的线段感兴趣（而不是鱼）

机器记忆 Machine Memory我们已经讨论过Attention机制，基于注意力机制，我们继续讨论 Memory Network。1. 外部存储我们进行DNN或者RNN之前，数据可以用Readiing controller 从外部读取进来。Ref:http://speech.ee.ntu.edu.tw/~tlkagk/courses/MLDS_2015_2/Lecture/At...

稀疏奖励该怎么办？ Sparse Reward

分类和逻辑回归（Classification and logisticregression）我们接着线性回归的问题，在实际问题中，我们不仅需要得出具体的预测数值，我们还需要将数据进行分类。例如，垃圾邮件识别程序，需要将邮件识别为正常邮件（标记为+1），垃圾邮件（标记为 0）。这是一个典型的分类问题。逻辑回归（ logistic）...

注意力机制Attention我们以机器翻译为例，来探究引入注意力机制Attention：当我们使用Seq2Seq 进行机器翻译的过程中，最后的输入对结果影响响度比较大，因为Encode的输出是在尾部（图中粉红色部分）。直觉上想，一段话的翻译的的过程中，输入句子的每一个部分都可能对正在翻译的内容会有不同的影响。1. 模型定义(1) 我们定义z与h进行match，二者先看一下模型示意图：...

深度学习（十六）循环神经网络 4（BiDirectionalRNN， Highway network， Grid-LSTM）RNN处理时间序列数据的时候，不仅可以正序，也可以正序+逆序（双向）。下面显示的RNN模型，不仅仅是simple RNN，可以是LSTM，或者GRU1 BiDirectionalRNN当然，RNN的层数也不仅仅是一层2. Highway network通...

什么是机器学习？1.机器学习===寻找一种函数这个函数可以：语音识别:输入一段语音信号，输出文字fff()="howareyou"="howareyou"="how are you"图像识别:输入图片，输出图片的属性fff()=“cat”=“c

生成概率模型（Generative Model）我们还是从分类问题说起：当我们把问题问题看做是一个回归问题， 分类是class 1 的时候结果是1分类为class 2的时候结果是-1；测试的时候，结果接近1的是class1 ，结果接近-1的是class2问题解决了！ 但是这只是看起来很美，但是如果结果远远大于1的时候，他的分类应该是class1还是class2，我们为了...

欢迎使用Markdown编辑器写博客强调内容本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗Ctrl + B斜体Ctrl...