Occupancy Networks去寻找Occupancy Volumes或Occupancy Grid，即三维空间中被物体占据的格点或空间，这个算法其实能很好的规避Corner Case问题Neural Radiance Fields ，NeRFs 即神经辐射场，这个算法和Occupancy Grid一脉相承，都是在解决如何准确的建模我们所处的三维空间

对于物体检测问题而言，检测器面对的是整个世界的物体，这些物体里面只有非常少的被标记了具体类别，大量的物体其实并没有类别信息，甚至根本不知道如何标记他的类别，所以面对开集问题，我们要求检测(分类)器要有非常好的排他能力或排除背景类别能力，那么训练数据将会非常重要，为了有这样的能力我们需要切割下大量的背景作为负样本(negative samples)来训练，但是这些背景样本是否足够了？**不管加了多少

本文从图灵机第一性原理出发，重新解析Transformer大语言模型(LLM)的核心机制。首先介绍通用图灵机的基本原理，并以精简的15状态2符号图灵机为例说明其运行机制。随后将LLM形式化为五元组模型，分析其状态转移特性，指出基于KV缓存机制的LLM属于有状态有限状态机。文章重点讨论了LLM状态集扩展与KV缓存状态更新的数学表达，揭示了增量更新的优势与缺陷，包括注意力分散和长度泛化问题。最后介绍了

本文从图灵机第一性原理出发，重新解析Transformer大语言模型(LLM)的核心机制。首先介绍通用图灵机的基本原理，并以精简的15状态2符号图灵机为例说明其运行机制。随后将LLM形式化为五元组模型，分析其状态转移特性，指出基于KV缓存机制的LLM属于有状态有限状态机。文章重点讨论了LLM状态集扩展与KV缓存状态更新的数学表达，揭示了增量更新的优势与缺陷，包括注意力分散和长度泛化问题。最后介绍了

这篇文章是用Markdown重写了原来的文章。图像分类中，深度学习训练时将图片随机剪裁（random crop）已经成为很普遍的数据扩充（data augmentation）方法，随机剪裁不但提高了模型精度，也增强了模型稳定性，但是它如此有效的核心原因是什么呢？仅仅是因为数据扩充吗？这个是下面我们需要研究的问题。

本文从图灵机第一性原理出发，重新解析Transformer大语言模型(LLM)的核心机制。首先介绍通用图灵机的基本原理，并以精简的15状态2符号图灵机为例说明其运行机制。随后将LLM形式化为五元组模型，分析其状态转移特性，指出基于KV缓存机制的LLM属于有状态有限状态机。文章重点讨论了LLM状态集扩展与KV缓存状态更新的数学表达，揭示了增量更新的优势与缺陷，包括注意力分散和长度泛化问题。最后介绍了

摘要 本文深入解析了卷积神经网络（CNN）的模型逻辑与空间划分原理。文章指出CNN本质上是多层感知机（MLP）的推广，基于局部MLP实现特征提取。通过分析超立方体归一化、局部空间划分、子网络结构等核心概念，揭示了CNN中卷积层、池化层等组件的数学本质。特别探讨了感受野与最小网络结构的关系，并解释了最大池化层抑制噪声的作用机制。文章为理解CNN的工作原理提供了理论支撑，并指出中间层划分的随机性源于反

最近思考激活函数的时候，突然想到神经网络中残差连接是不是和函数的泰勒展开很像，尤其是在激活函数fxx2f(x)=x^2fxx2时(这个激活函数想法来源于fxReLU2x3fxReLU2x3)，所以验证了一下就顺便写下来了，本文抛砖引玉，如果有建议或更好的想法可以写到评论区。

这篇文章是用Markdown重写了原来的文章。图像分类中，深度学习训练时将图片随机剪裁（random crop）已经成为很普遍的数据扩充（data augmentation）方法，随机剪裁不但提高了模型精度，也增强了模型稳定性，但是它如此有效的核心原因是什么呢？仅仅是因为数据扩充吗？这个是下面我们需要研究的问题。

这个错误很早就遇到过但是没看到网上叙述清楚的，这里顺便写一下。这里贴一下autograd.grad()的注释grad(outputs, inputs, grad_outputs=None, retain_graph=None, create_graph=False, only_inputs=True, allow_unused=False)Computes and returns t...