tensorflow ctc_beam_search_decoder 以lstm 获得的ocr结果为例，为了方便讨论，假设被识别的符号只有3个类，图片是 宽*高=10*3，即time step 是3，特征数是10。通过lstm，乘以weight matrix 加bias后的结果shape是[time_step,num_calss]=[3,3],假设值为[[0.1,0.8,0.1],

转自微信公众号谷歌研究和谷歌大脑团队提出针对视觉任务的独立自注意力(stand-alone self-attention)层，用它创建的纯注意力(fully attentional)模型，在ImageNet分类任务和COCO目标检测任务中都超越了用卷积的基准模型，而且用了更少的浮点运算和更少的参数量。LearnX对具体内容整理如下。在开始之前先对几个新的概念做一些解释。独立自注...