本文提出了高效的 DCNv4，这是一个专为视觉应用设计的高效有效的运算符。将 DCNv4 集成到其他现代骨干架构中，包括 ConvNeXt 和 ViT，替换深度可分离卷积和密集自注意力层。值得注意的是，在没有进行任何超参数调整的情况下，这些经过精心设计的网络在使用 DCNv4 时表现得相当出色，同时速度快得多，显示了动态、稀疏的 DCNv4 的有效性和效率。这些改进使得 DCNv4 与 DCNv3

本文介绍了全参考图像质量评估方法SSIM（结构相似性指数）的设计背景与实现。传统评估方法如MSE和PSNR虽计算简单，但与人类感知质量匹配度低。SSIM基于结构信息退化假设，通过亮度、对比度和结构三个分量评估图像质量。论文详细阐述了SSIM的算法框架，并对比了不同实现的高斯滤波处理方式差异。作者基于PyTorch实现了可微分的MSSIM代码，支持用户自定义padding和核形式参数，确保与现有实现

本文探讨了深度学习中的高维求导方法。传统反向传播（VJP）适用于标量损失函数对参数的求导，但在需要计算高维输出对输入方向导数的场景下效率不足。通过对比VJP和JVP的数学本质差异，指出JVP更适用于高维求导问题。同时重点分析了有限差分法的实现原理与误差特性。

储层计算（RC）通过固定非线性储层与可训练线性读出的解耦设计，克服了传统递归神经网络训练中的梯度问题。其核心在于利用高维动力系统将输入信号映射到线性可分空间，仅需训练输出层权重。数学证明表明，当储层权重矩阵的谱半径满足特定条件时，系统具备回声状态属性和衰退记忆特性，确保状态收敛并遗忘久远历史。RC架构从随机连接演进到结构化拓扑（如简单环、带跳跃环），并发展出深度堆叠等变体，显著提升了计算效率与性能

文章目录训练数据优化器选择SGDRMSpropAdam回调函数选择模型保存-ModelCheckpointLearningRateScheduler评估标准选择数据集的划分划分比例fit实际建议训练数据https://www.yuque.com/lart/ml-newer/...

本文介绍了Welford在线算法，这是一种高效计算大数据集统计量的方法。针对内存不足时处理大规模数据的问题，文章对比了传统方差计算方法的缺陷（内存占用大、数值稳定性差），详细阐述了Welford算法的核心思想：通过维护均值、计数和平方差三个变量，实现增量式流式计算。该算法具有O(1)空间复杂度和O(N)时间复杂度，能有效避免数值计算中的精度损失问题。文中提供了Python实现代码和实际应用示例，展

Selectivity or Invariance: Boundary-Aware Salient Object Detection文章目录Selectivity or Invariance: Boundary-Aware Salient Object Detection主要贡献针对问题主要方法实验细节参考链接原始文档: https://www.yuque.com/lart/papers/...

深度平衡（DEQ）模型是一种新兴的隐式层架构，通过寻找神经网络迭代过程的不动点来实现计算。该模型将传统深度网络视为无限层迭代的平衡状态，使用单层即可表达任意深度的网络结构。DEQ的核心思想是通过直接求解平衡方程z*=f(z*,x)来替代显式的层间计算，这种方法在视觉和NLP任务中展现出与先进技术竞争的性能。关键优势包括：1)利用现代深度架构表达完整网络计算；2)通过寻根而非迭代直接寻找不动点。理论

本文介绍了如何使用微分方程求解器构建连续时间或连续深度的神经网络模型。详细说明了构建ODE-Net的关键步骤：定义动力学函数、使用odeint求解器，以及通过vmap实现批处理。最后，作者将ODE-Net应用于1D玩具数据集，并与ResNet的预测结果进行对比。

循环推理模型（RRM）提出了一种新的AI推理范式，将部分计算从显式token序列转移到隐空间中进行。传统大模型通过增加token数量来延长推理，而RRM通过在隐状态中反复迭代更新来提升推理深度。典型代表HRM采用分层递归结构，通过高低层模块的交替更新实现渐进式推理；TRM则简化设计，仅通过隐状态和当前答案的循环改进就能取得良好效果。这类模型面临梯度不稳定和错误收敛两大挑战，但通过深监督和内部质量信