logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Rethinking Local Perception in Lightweight Vision Transformer阅读笔记

来自清华大学的团队于2023年4月份提出的一篇论文,主要介绍了一种轻量级vision transformer架构——CloFormer,用以处理移动端的图像任务。

文章图片
#transformer#深度学习
CVPR2023:BiFormer阅读笔记

作者提出了一种新的动态稀疏注意力机制,通过双层路由来实现更灵活的算力分配,让每个Query处理语义上最相关的K-V对的一小部分。在此基础上,提出的BiFormer具有良好的性能和较高的计算效率。

文章图片
#深度学习#人工智能
U-Net结构改进:双交叉注意力模块(DCA)

本文由迈阿密大学的研究团队于2023年3月30日发表,提出了双交叉注意力模块(Dual Cross-Attention , DCA),其目标是在轻微的参数和复杂性增加的情况下改进U-Net及其变体,能够简单而有效地增强u-net结构中的跳跃连接(skip-connection)。

文章图片
#深度学习#计算机视觉#人工智能
到底了