绪论计算机视觉（computer vision）中，注意力机制（attention）的基本思想就是想让系统学会注意力 ——能够忽略无关信息而关注重点信息。近几年来，深度学习与视觉注意力机制结合的研究工作，大多数是集中于使用掩码(mask)来形成注意力机制。掩码的原理在于通过另一层新的权重，将图片数据中关键的特征标识出来，通过学习训练，让深度神经网络学到每一张新图片中需要关注的区域，也就形...

绪论视觉注意力机制 (一)阐述了视觉应用中的 Self-attention 机制及其应用 —— Non-local 网络模块；视觉注意力机制 (二)主要分析了视觉注意力机制在分类网络中的应用——SENet、CBAM、SKNet 。它们构成了视觉注意力机制中的基本模块，本节将主要介绍融合 Non-local 模块和 SENet 模块的全局上下文建模网络（Global Context N...

【机器学习】浅谈 Transformer 在 CV 中能否取代 CNN

作者：yishun链接：https://zhuanlan.zhihu.com/p/53683453引言有一些同学认为深度学习、神经网络什么的就是一个黑盒子，没办法、也不需要分析其内部的工作方式。个人认为这种说法“谬之千里”。首先，站在自动特征提取或表示学习的角度来看，深度学习还是很好理解，即通过一个层级结构，由简单到复杂逐步提取特征，获得易于处理的高层次抽象表示。其次，现在也已经有很多方法对神经网

作者：若羽链接：https://www.zhihu.com/question/59532432/answer/1510340606我觉得这个对我启发最大的是上海交大许志钦的工作。https://link.zhihu.com/?target=https%3A//ins.sjtu.edu.cn/people/xuzhiqin/fprinciple/index.html他的 B 站演讲https://l

作者丨深度眸来源丨机器学习算法工程师本文从一篇 CVPR2020 Oral 论文 High Frequency Component Helps Explain the Generalization of Convolutional Neural Networks 切入，从数据高低频分布上探讨 CNN 泛化能力，通过 CNN 能够捕获人类无法感知的高频成分这一现象而对所提假设进行分析。作者认为，本文

绪论视觉注意力机制 (一)阐述了视觉应用中的 Self-attention 机制及其应用 —— Non-local 网络模块；视觉注意力机制 (二)主要分析了视觉注意力机制在分类网络中的应用——SENet、CBAM、SKNet 。它们构成了视觉注意力机制中的基本模块，本节将主要介绍融合 Non-local 模块和 SENet 模块的全局上下文建模网络（Global Context N...

压缩感知技术 简明生动形象简介

绪论视觉注意力机制 (一) 主要关注了视觉应用中的 Self-attention 机制及其应用 —— Non-local 网络模块，从最开始的了解什么是视觉注意力机制到对自注意力机制的细节把握，再到 Non-local 模块的学习。而本文主要关注视觉注意力机制在分类网络中的应用——SENet、SKNet、CBAM 。通常，将软注意力机制中的模型结构分为三大注意力域来分析：空间域、通道...