TokenSeg是针对3D 医学图像分割计算复杂度高、同质区域计算冗余问题提出。做法就是从编码器的四层中提取400个候选标记，捕捉全局解剖背景和精细边界细节；引入了一个边界感知标记器，它结合VQ-VAE量化和重要性评分来选择100个显著的标记，其中超过60%位于肿瘤边界附近；之后解码器根据这些确定好的标记来生成掩码。1.计算复杂度随体素数量立方级增长，高分辨率 volume 处理效率极低；2. 对

Vision Transformer在对大规模数据进行预训练时，为不同的下游任务提供通用的表示。但是在使用Transformer的各种视觉下游任务中发现存在伪影--即VIT模型在识别物体时更多考虑背景而不是前景物体。文章通过系统实验，得出结论这些伪影源于一种懒惰的聚集行为：VIT使用语义无关的背景patch作为表示全局语义的捷径，受全局注意力和粗粒度语义监督的驱动。提出将选择token的功能集成到

TokenSeg是针对3D 医学图像分割计算复杂度高、同质区域计算冗余问题提出。做法就是从编码器的四层中提取400个候选标记，捕捉全局解剖背景和精细边界细节；引入了一个边界感知标记器，它结合VQ-VAE量化和重要性评分来选择100个显著的标记，其中超过60%位于肿瘤边界附近；之后解码器根据这些确定好的标记来生成掩码。1.计算复杂度随体素数量立方级增长，高分辨率 volume 处理效率极低；2. 对

越来越多的时序任务需要把预测的时间范围拓展到更远的未来（即长期预测近年来针对时间序列预测的深度模型（已经取得了不错的研究成果，解决了不少传统方法的问题。其中以基于 Transformer 的模型表现尤为突出Transformer 之所以表现好，核心是其自带的自注意力机制—— 这个机制让它在为序列数据（时间序列是典型的序列数据）建模长程依赖关系时，具备天然的巨大优势（能捕捉到序列中相隔很远的时间点之