BigBird模型，通过创新的稀疏注意力机制解决了传统Transformer因全注意力机制导致的序列长度二次依赖问题。BigBird采用随机注意力、窗口注意力和全局注意力三位一体的设计，将复杂度降至线性，同时保持了模型的通用近似能力和图灵完备性。理论分析表明，全局token作为信息枢纽对模型性能至关重要。

Funnel-Transformer，一种通过序列压缩实现高效语言处理的新型Transformer架构。研究发现标准Transformer在序列级任务中存在维持全长token表示的冗余计算，因此设计了渐进式压缩序列长度的漏斗结构编码器，配合解码器恢复token级表示。关键创新包括Pool-Query-Only注意力机制和相对位置编码。实验表明，该模型在文本分类、语言理解等任务上，以相当或更少的计算

一种无需分类器的扩散模型引导方法（Classifier-Free Guidance），通过联合训练条件与无条件扩散模型，在采样时对两者的分数估计进行线性外插，实现了与分类器引导相当的性能权衡效果。该方法避免了分类器引导需要额外训练分类器、存在对抗性疑虑等问题，仅需在训练时随机丢弃条件信息，采样时调整引导强度即可控制生成质量与多样性的平衡。实验表明，该方法在ImageNet 64×64和128×12

点积自注意力机制被认为是最先进的变压器模型的核心和不可或缺的。但这真的是必须的吗?本文研究了基于点积的自注意力机制机制对变压器模型性能的真正重要性和贡献。通过广泛的实验，我们发现(1)随机对齐矩阵令人惊讶地表现出相当强的竞争力，(2)从令牌-令牌(查询键)交互中学习注意力权重是有用的，但毕竟不是那么重要。为此，我们提出了一个模型SYNTHESIZER，它可以在没有令牌与令牌交互的情况下学习综合注意

Synthesizer框架的研究发现：(1)随机对齐矩阵表现出惊人的竞争力；(2)token-token交互学习并非必需。Synthesizer通过直接合成注意力权重，在机器翻译、语言建模等任务中展现出与Transformer相当的性能，混合模型表现更优。特别地，随机合成器速度提升60%且困惑度降低3.5%。实验表明，自注意力的成功可能更多源于整体架构而非具体的点积计算机制。这项工作为重新思考注意

OpenAI发布的GPT-3（1750亿参数）标志着语言模型发展的重大飞跃，其核心创新在于Few-Shot学习能力——仅需少量示例即可执行多样任务，无需微调。论文系统评估了GPT-3在语言建模、翻译、问答等任务的表现，发现其Few-Shot性能在多领域超越传统微调模型，甚至接近人类水平

一种用于弱光图像增强(LLIE)的新型色彩空间HVI（水平/垂直强度），解决了传统sRGB空间色彩偏差和HSV空间红色/黑色噪声伪影问题。HVI通过极化HS图强制红色坐标小距离消除红色伪影，利用可学习强度压缩低光区域去除黑色伪影。配合提出的颜色-强度解耦网络(CIDNet)，该方法在10个基准数据集上超越了现有最优方法，同时保持轻量级架构（1.88M参数）。实验表明HVI具有通用性，可使多种LLI

Set Transformer是一种基于注意力机制的置换不变神经网络框架，专为处理集合数据设计。该模型通过编码器-解码器结构，利用自注意力机制捕获集合元素间的交互关系，并通过创新的诱导点方法(ISAB)将计算复杂度从O(n²)降至O(nm)。实验表明，SetTransformer在聚类、异常检测和点云分类等任务中显著优于传统方法，尤其擅长建模复杂元素交互。该框架兼具理论保证（通用近似性和置换不变性

SpiralMLP，一种新型轻量级视觉MLP架构，通过引入螺旋状FC层替代传统令牌混合方法。该设计采用可变形卷积层的螺旋偏移特性，形成自螺旋和交叉螺旋两种变体，实现局部与全局特征的无缝整合。实验证明，SpiralMLP在ImageNet1k等基准测试中达到SOTA性能，保持线性计算复杂度O(HW)，且兼容不同输入分辨率。研究结果表明，优化方法设计（而非简单扩大感受野）可显著提升模型效果。代码已开源

一种轻量级Transformer网络LYT-Net用于低光照图像增强。该模型采用YUV色彩空间双路径处理，创新性地设计了通道智慧型消噪器(CWD)和多级挤压与激磁融合(MSEF)模块。实验表明，在仅45K参数和3.49GFLOPs的轻量级架构下，LYT-Net在多个低光照数据集上实现了与复杂模型相当的性能，在效率与效果间取得良好平衡。其模块化设计和针对性处理策略为移动端低光照图像增强提供了实用解决