Fully connected layer会观察整个图像，加入receptive field后限制了neuro的弹性，neuro加入参数共享后会变成convolutional layer，此时model bias会更大，但model bias大不一定是件坏事。neuro在对数据的处理时所作的操作都是相同的，不同的是所守卫的receptive field不同。例如上图将neuro负责的recepti

将arrive单词进行训练，得到a1和y1，y1作为输出表示了arrive单词属于某类型的可能性，a1作为memory存储在a1中，当下一个单词Taipei需要训练时，会将输入x2和a1同时考虑，得到了a2和y2，y2作为输出表示了单词类型的可能性，a2作为memory存储在a2中供下一个单词使用。接下来input3,-1,0.得到g=3，input gate≈0，forget gate≈0，ou

隐马尔可夫模型是关于时间序列的概率模型，描述由一个隐藏的马尔可夫链随机生成不可观测的状态序列，再由各个状态生成一个观测而产生观测序列的过程。举个例子，加入科学家们需要根据小明每天吃冰激凌的数量1,2,3来判断那天的天气，那么观测序列O可以是O=（3,1,3）对应的天气的状态序列Q则为Q=（hot,cold,hot），观测序列就是可以直观感受到的，状态序列则需要通过观测序列推理得到。