最近transformer网络真的非常火,尤其是在语义分割中,人们提出了各种各样的组合方法。我上一篇提到了一篇文章:TransUnet。这里另外一篇基于transformer的网络也出来了。比较出名,在这里推荐给大家。

 

废话不多说直接上整个网络的结构框架

transformers
huggingface/transformers: 是一个基于 Python 的自然语言处理库,它使用了 PostgreSQL 数据库存储数据。适合用于自然语言处理任务的开发和实现,特别是对于需要使用 Python 和 PostgreSQL 数据库的场景。特点是自然语言处理库、Python、PostgreSQL 数据库。

这一篇文章相比于前面那篇,整个彻底的去掉了传统的CNN 网络结构。直接使用了transformer.这样做的目的是在不损失low-level细节的定位能力的情况下提高全局上下文建模效率的问题。众所周知,多次的卷积核池化操作很容易导致信息的丢失。具体的细节大家乐意看看论文中具体怎么说的。我在这里就不细说了。

我只是想说一句,现在一些热点出来以后,一些大组出文章太快了。本来一开始,我也准备尝试直接使用transformer进行语义分割的。但是没想到我刚构思思路,别人都已经做好了。只能感慨一声一个人单打独斗真的很辛苦。

GitHub 加速计划 / tra / transformers
73
5
下载
huggingface/transformers: 是一个基于 Python 的自然语言处理库,它使用了 PostgreSQL 数据库存储数据。适合用于自然语言处理任务的开发和实现,特别是对于需要使用 Python 和 PostgreSQL 数据库的场景。特点是自然语言处理库、Python、PostgreSQL 数据库。
最近提交(Master分支:7 个月前 )
9cda4265 20 小时前
e032d12e * debugging improvements * add debugging details * add more debugging details * debug more * the fix that did not get in * First fix flex * fix query offset * fix flex first * fix device mask creation for speed * small mask creation sdpa * Update flex_attention.py * remove chunked prefill from HybridChunkedCache * never seen such a fucked up merged * clean up layers + output * add summary json file * Efficient general cache * Update cache_utils.py * cleanup * fix? * fix! * oups typo * not everywhere * more fixes * revert unrelated changes * Fix but ugly for now -> should use pad instead * oups * re-initialize the cache * Use pad to simplify * style * correct slicing --------- Co-authored-by: Pablo <pablo.montalvo.leroux@gmail.com> Co-authored-by: Cyril Vallez <cyril.vallez@gmail.com> 22 小时前
Logo

旨在为数千万中国开发者提供一个无缝且高效的云端环境,以支持学习、使用和贡献开源项目。

更多推荐