logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Swin Transformer——披着CNN外皮的transformer,解决多尺度序列长问题

视觉实体变化大,在不同场景下视觉Transformer性能未必很好——多尺度问题图像分辨率高,像素点多,Transformer基于全局自注意力的计算导致计算量较大——tokens序列长度问题针对上述两个问题,我们提出了一种包含Shifted Window操作,具有层级设计的。:::warningShifted Window操作包括不重叠的local window,和重叠的cross-window

文章图片
#transformer#cnn#深度学习
SegFormer——无需位置编码,轻量级的transformer架构,并有很强的零样本鲁棒性

在本文中,**我们提出了一种简单、干净且功能强大的语义分割方法SegFormer,它包含一个位置编码无关的、分层的Transformer编码器和一个轻量级的AllMLP解码器。但是,position embedding的大小是固定的,因此,当测试的时候输入分辨率与训练的时候的分辨率不一致的话,positional code就需要被插值,导致精度的下降。我们的解码器设计**借鉴了Transforme

文章图片
#transformer#深度学习#人工智能
diffusion初探——使用hugging face镜像网站所遇到的问题

近期hugging face官网无法直接从国内访问(可用梯子解决),故无法像之前方法在服务器上直接访问,本文采取的方法是:使用国内替换原hugging face网站,https://hf-mirror.com/。但这样势必会带来一些问题,这里将使用DreamBooth生成“土豆先生”作为示例,逐一描述本人遇到的问题:

文章图片
#人工智能
IPv4无Internet访问权限问题

解决ipv4无法访问网络问题

文章图片
#tcp/ip
到底了