1. 项目概述与核心问题

最近在整理一些关于机器学习理论基础的笔记，越看越觉得，我们这行现在有点“头重脚轻”。每天打开ArXiv，满眼都是新模型、新架构、刷榜SOTA，但回头看看支撑这些“摩天大楼”的地基——我们的理论基础——却显得异常薄弱，甚至有些摇摇欲坠。这感觉就像一群工程师在用最精密的仪器，照着几张模糊不清、甚至自相矛盾的图纸盖房子。我们谈论“学习”，但“学习”这个词在数学和计算理论里到底意味着什么？我们追求“泛化”，但为什么一个在训练集上表现完美的模型，面对一个像素级的扰动（对抗样本）就会彻底崩溃？我们梦想着“通用人工智能”（AGI），但当前基于海量数据和算力堆砌的范式，真的能通向那个终点吗？

这些问题并非杞人忧天。从经典的“双重下降”（Double Descent）现象，到让人头疼的对抗样本、灾难性遗忘，再到“泛化鸿沟”——即模型在训练集和测试集上性能的巨大差异——这些都不是偶然的工程bug，而是深层次理论缺陷在实践中的必然体现。我们习惯于用“启发式”（heuristics）和“经验性调参”来绕过这些问题，但这无异于在流沙上建造宫殿。本文的目的，就是尝试回到原点，进行一次批判性的梳理。我们不满足于罗列现象，而是想追问：从最基础的神经元形式化开始，到构建复杂的神经架构，再到定义“学习”这个过程本身，我们的理论工具箱里到底缺了哪些关键零件？更重要的是，我们能否构建一个更坚实、更形式化的框架，来系统性地思考和解决这些问题，为迈向更稳健、更可解释、乃至更“通用”的智能系统扫清一些障碍？

2. 当前机器学习理论的困境与批判

在深入构建新框架之前，我们必须正视现有理论体系的局限性。许多我们习以为常的概念和定理，在严格的审视下，其根基并不如想象中稳固。

2.1 认知局限与理论解释的贫乏

我们经常引用各种“学习理论”中的漂亮定理，比如VC维、Rademacher复杂度，来论证模型的泛化能力。但这些理论建立在大量理想化假设之上：独立同分布的数据、固定的假设空间、定义良好的损失函数。现实世界的数据复杂、非平稳、且充满噪声。更根本的是，这些理论描述的是“统计拟合”，而非我们人类所理解的“学习”。Barbierato & Gatti (2024) 等人尖锐地指出，我们甚至缺乏对“学习”这个词本身的精确定义。将机器的“学习”与人类的“学习”进行类比，更多是一种隐喻，而非严谨的科学对应。

这种认知局限导致了理论对实践的指导意义有限。例如，理论告诉我们模型容量（如参数量）增大会增加过拟合风险，但实践中我们却观察到了“双重下降”现象：当模型参数远超样本数时，测试误差会再次下降。这直接挑战了传统的偏差-方差权衡理论。类似地，像Lipton (2018)、Doshi-Velez & Kim (2017) 等学者长期呼吁关注机器学习中的可解释性问题，批评当前模型是“黑箱”，其决策过程难以理解。Molnar等人 (2020) 则指出了“误导性解释”的风险，即事后归因方法（如特征重要性）可能给出与模型真实决策逻辑不符的解释。从哲学层面看，这种对形式符号的操纵能否产生真正的“理解”或“意向性”，早在上世纪的“中文房间”思想实验和德雷福斯对符号AI的批判中就被反复质疑。这些声音提醒我们，不能仅仅满足于模型在特定指标上的提升，而忽视了对其内部机制和认知本质的探究。

2.2 “数学性”泛滥与理论的形式主义陷阱

另一个危险的趋势是“数学性”（mathiness）的滥用。Lipton & Steinhardt (2018) 批评道，复杂的数学符号和推导有时并非为了阐明问题，而是为了给论文“镀金”，迎合审稿人和读者对“严谨性”的肤浅崇拜，甚至将不完善的理论包装成不容置疑的教条。这种现象在经济学领域已有先例（Romer, 2015; Syll, 2024），如今在机器学习领域也愈演愈烈。

一个典型的例子就是围绕“双重下降”的大量形式化分析。虽然出现了众多数学模型试图描述这一现象，但许多工作陷入了为建模而建模的怪圈，追求数学上的优雅而非对现象本质的洞察。结果就是，我们拥有许多不同的形式化表述，却缺乏一个统一、确定性的核心理论来解释为什么它会发生，以及在什么条件下会发生。这种形式主义使得理论研究和工程实践之间产生了巨大的鸿沟。工程师看着满篇的测度论和泛函分析推导感到茫然，而理论家则对工程中那些“不干净”的trick嗤之以鼻。理论本应成为照亮前路的灯塔，而非圈地自萌的智力游戏。

2.3 可复现性危机与过于理想化的假设

Kapoor & Narayanan (2022) 的研究系统地揭示了机器学习领域，尤其是涉及理论主张的工作，普遍存在的可复现性问题。许多理论分析建立在过于严格或不切实际的假设之上，例如对数据分布、噪声模型或优化过程的理想化设定。一旦将这些假设放宽到更接近现实的情境，理论的预测能力就会急剧下降。

这种理想化直接导致了理论与实践的脱节。例如，关于对抗样本的理论分析往往假设攻击者具有完全的白盒知识，或者数据流形具有特定的几何性质。然而，在实际安全攻防中，攻击者的知识是受限的，数据分布也远非光滑。理论给出的鲁棒性保证在实际中可能非常脆弱。同样，关于泛化界的理论通常假设训练和测试数据来自同一分布，而现实世界的概念漂移（concept drift）使得这一假设经常被违背。当理论假设与真实世界存在“假设波动”时，基于这些假设推导出的任何“保证”都变得不可靠。这要求我们的理论框架必须具备更强的鲁棒性，能够容纳不确定性和动态变化。

2.4 实践中的“怪象”与概念滥用

除了上述根本性问题，工程实践中涌现的一系列反直觉现象，也暴露了现有理论的苍白无力：

• Grokking ：模型在训练集上早已达到100%准确率后，经过极长时间的训练，测试集准确率突然从随机猜测跃升至近乎完美。这挑战了我们对“记忆”和“泛化”顺序的传统认知。
• 双重/三重下降 ：如前所述，测试误差随模型复杂度增加先降后升再降的复杂曲线，让经典的U形偏差-方差曲线彻底失效。
• 对抗样本 ：人类无法察觉的微小扰动就能使高性能分类器完全出错，表明模型所学到的特征表示与人类感知存在本质差异。
• 记忆化问题 ：深度网络可以完全记忆带有随机标签的训练数据，却依然能在未见数据上泛化，说明“记忆”和“泛化”并非完全对立。
• 灾难性遗忘 ：序列学习新任务时，模型会迅速遗忘旧任务的知识，这与生物智能的持续学习能力形成鲜明对比。

更令人担忧的是，诸如“归纳偏置”这样的核心概念，在不同论文中被随意使用，缺乏一个 grounded 的统一定义。许多术语在诞生时并未经过深思熟虑，概念被随意引入和抛弃。在主流深度学习实践中，人们往往选择忽视这些问题，专注于刷高指标。然而，这些“裂缝”始终存在，并且随着我们向更复杂的系统迈进，理论与应用之间的发展鸿沟只会越来越宽。

3. AGI的目标迷思与哲学反思

在所有这些挑战的背景下，我们再来审视那个终极目标：通用人工智能（AGI）。它的核心愿景是整合目前各种“碎片化”的智能（如感知、推理、决策、创造），形成一个统一的、具备人类水平通用认知能力的智能系统。然而，“AGI”本身就是一个极其模糊的概念。不同的研究者、不同的系统，对“通用”的阈值定义截然不同。是可以通过任何图灵测试？是具备跨领域的抽象和类比能力？还是能够自主设定并完成复杂目标？

当前，AGI的讨论常常被两种情绪裹挟：一是对技术加速发展的恐慌，二是由当前AI热潮催生的市场泡沫。这两种力量共同将“建造AGI”的口号推向了某种脱离现实的“真理”地位，甚至衍生出对“超级智能”（ASI）的科幻式展望——仿佛AGI之后便是解决所有问题的后稀缺时代。然而，以我们目前主要依赖的“大数据+大算力+深度网络”的范式来看，这条路径能否通向真正的AGI，至少在其承诺的时间框架内，是值得深刻怀疑的。

这里可以引入海德格尔的哲学概念来进行反思。他区分了“上手状态”（Zuhandenheit）和“现成状态”（Vorhandenheit）。当我们熟练使用一把锤子时，我们并不在意它的重量、材质、力学结构，我们关注的是“敲钉子”这个目的，锤子作为工具是透明、上手的。只有当锤子坏了，我们才会把它当作一个现成的对象来审视、分析其结构。当前的AI研究，在某种程度上，正陷入一种极端的“上手状态”。我们将神经网络、Transformer等架构视为达成目的（刷榜、生成内容）的现成工具，满足于其表现出的功能，而拒绝对其进行深刻的“现成状态”的剖析——即追问其内部工作机制、知识表征的本质、与世界的交互模式。我们采用了一种近乎纯粹经验主义的方法，大量试错，却缺乏对其存在方式的根本性思考。

这种“上手”式的研究范式，在智能体（Agent）与环境交互的经典框架中也被认为是必要但不充分的。它必然会遇到一堵墙：从统计学习的角度看，在错误的理解模式下，无论是设计者还是智能体自身，都存在几乎为零的概率，能够通过纯粹的试错和模式匹配，涌现出真正的“理解”和“通用性”。这就像万能近似定理（UAT）告诉我们可以用神经网络逼近任何函数，但“在所有可能的英语句子空间中，存在一个完美描述量子引力的句子”这句话虽然可能为真，却对我们构建理解量子引力的系统毫无用处。我们需要的不只是逼近函数的能力，更是构建内部世界模型、进行反事实推理、理解因果关系的架构性基础。

4. 神经架构形式化：一种新的基础框架构想

面对理论与实践的脱节，以及AGI目标的遥远，我们或许需要回归更基础的形式化工作。与其在复杂的网络结构上继续堆叠经验性的改进，不如尝试为神经网络本身建立一个更严谨、更抽象、更具表达力的数学基础。这并非要抛弃现有的深度学习，而是为其提供一个可向后兼容的、更坚实的“元框架”。

4.1 神经元作为类型化计算单元

我们主张，神经网络的思想本身是高度形式化和具有基础性的，其潜力远超当前通常的认知。形式上，神经网络从生物神经元中汲取灵感，遵循基于单元的处理哲学。这意味着我们可以将每个神经元 n 抽象为一个三元组 (I, M, O) ，分别代表输入接收器 I 、内部处理器 M 和输出发送器 O 。任何承认此结构的单元都可以被自由地构造、组合和实现。

这催生了 神经元类型 的概念。所有结构可以拥有相同的操作类型，例如两个神经元的复合 n1 ◦ n2 = n2(n1) ，代表顺序连接。在实践中，这要求 n1 的输出类型与 n2 的输入类型兼容。这种抽象使得神经元的组合像函数复合一样清晰。

一个关键属性是 递归结构 。由于 (I, M, O) 的结构，只要保持输入 I 和输出 O 的“签名”不变，我们可以任意改变内部处理器 M ，实现不同的功能。更重要的是，任何嵌套的神经元序列都可以被压缩为一个单一的神经元，因为操作 n1 ◦ n2 的足迹等价于一个新的神经元 n3 ，其内部处理器 M3 封装了 M1 和 M2 的功能。因此， (I, O) 构成了神经结构的 类型签名 ，它定义了该结构如何与外界交互，而内部实现 M 则可以千变万化。

基于此，我们可以定义最基础的 最小神经元类 N0 。它满足最小化准则：输入、内部处理器、输出的基数（可理解为维度或通道数）均为1。在实数域 R 上，一个标准神经元 x ∈ N0(R) 可以写作： x = σ(w · p + b) 其中 p 是输入， w 和 b 是内部参数， σ 是激活函数。这对应了经典的感知机。如果 σ 是恒等函数，则得到线性单元。

4.2 从神经元到网络：层级化抽象

单个神经元能力有限（如著名的XOR问题）。解决方案在于利用神经结构的流线型特性进行并行化和层级化组合。这引出了 类 N2 的层式神经网络 。

我们定义层 Li 为包含多个低类神经元（ N0 或 N1 ）的集合。一个类 N2 的神经网络 N 则是由多个层顺序复合而成的结构： N ∈ N2 ≡ I_N × M_N(L1 × L2 × ... × Lj) → O_N 其基数（维度）为 (i, j, k) 。当 j=1 时，我们得到的就是浅层网络。

这个形式化框架的核心思想是 对象抽象 和 单元化原则 。为了更系统地描述它，我们引入 原始框架 的概念。

4.3 原始框架与抽象层级

任何对象都可以在两种基本空间中编码：

1. 基数空间 Γ = (N, F) ：处理离散性、组合结构和类型信息（受组合物种、层理论等启发）。
2. 分析原语场 R ：处理连续性、数值计算和代数结构（如实数域，可扩展至复数域等）。

一个对象 X 在原始框架 P0 中可以表示为对偶 (γ(X), ρ(X)) ，其中 γ 是基数编码， ρ 是分析编码（到场 R 或其代数扩展的映射）。

在此基础上，我们通过 抽象原则 引入层级。 P0 作为第0层（ L0 ），包含了最原始的数据表示。第1层（ L1 ）则由所有基于 L0 的单元化神经元类结构构成，我们将其定义为 基础神经元类 N1 ≡ L1 。

L1 中的每个单元 U 都具备：

• 输入签名 Isig : 从扩展的分析编码空间映射到 L0 。
• 输出签名 Osig : 从 L0 映射回扩展的分析编码空间。
• 可扩展构造 Cext : 在 L0 上的内部可扩展结构。

因此，一个神经单元可以类型化地表示为 U = ⟨Isig, Cext, Osig⟩ ，其中 Isig 和 Osig 作为类型是固定的，而 Cext 定义了内部可变的计算逻辑。这类似于编程中的接口与实现分离：签名定义了单元如何与外界（其他单元或环境）通信，而内部实现可以自由变化。

4.4 框架的扩展与应用前景

这个框架的强大之处在于其可扩展性。我们可以在基数编码 γ(X) 上引入扩展，例如加入空间位置信息 F_γ(X) ，形成对偶扩展表示 X → (γ(X), ρ(X)) × F_γ(X) 。通过不断添加这样的扩展“包”，我们可以构建越来越复杂的表示，从而自然衍生出卷积（处理空间网格）、循环（处理序列）等现代神经网络变体。

由此，我们得到一个层次化的构造链： P0 ⊂ P1 ⊂ ... ⊂ Pn 每一层 P_i 都通过一个转换 Φ_i: P_i → P_{i+1} 获得更具体的约束和结构。我们还可以在任意层 P_L 上定义附加模块 Λ_{i,X}: P_i → P'_i ，用于修改内部结构（如增加注意力机制），同时保持核心构造原则。

这个框架的目标不是取代现有的神经网络，而是为其提供一个更严谨的“元语言”。它的价值体现在多个方面：

1. 统一设计与分析 ：将网络架构、容量分析、可解释性研究置于同一个形式化基础上。我们可以谈论单个神经元的复杂度贡献，或者整个网络的结构资源优化。
2. 明晰学习机制 ：反向传播等学习算法可以被表达为框架内部的一种特定机制模块，是系统固有的，而非外部强加的过程。这有助于统一理解结构学习和参数学习。
3. 系统建模 ：为整个智能系统（包括环境、智能体、传感器）的建模提供了概念工具。我们可以用基数空间和分析原语场来描述环境状态，用类型化单元来描述智能体的感知、处理和行动模块。
4. 促进理论发展 ：为解决泛化、对抗鲁棒性、灾难性遗忘等问题提供了新的视角。例如，对抗脆弱性可能源于 Isig / Osig 签名与真实世界语义的不匹配，或者 Cext 内部结构的某种病态几何性质。

当然，这只是一个原型框架，远未成熟。它不声称能直接解决AGI问题，但它试图做的是“反向工程”：通过将当前杂乱的经验性架构形式化、结构化，使得我们能够从深度和广度上，对神经计算单元进行增量式的、有理论指导的构造。如果这条路能走通，那么“涌现”、“渗流”等复杂系统现象或许能在更可控、更可理解的环境中得以实现和研究。这要求我们在追求工程性能的同时，也必须投入精力去发展和完善这样的基础理论，并确保其与现有简单系统的向后兼容性。

5. 学习理论的再思考：从静态拟合到动态系统适应

在形式化架构的基础上，我们必须重新审视“学习”这一核心概念。当前的学习理论大多将学习视为在固定假设空间中寻找一个最优静态函数，以最小化期望损失。这更像是一种“统计拟合”，而非一个智能系统适应动态世界的“学习”过程。

5.1 智能体-环境框架下的系统动态观

我们需要一个更宏大的系统动态视角。借鉴智能体（Agent）模型，我们可以将一个学习系统 A 描述为包含内部机制 M 、感知器 S 和执行器 F 的构造体，它在一个环境 E 中运作。这里，我们引入“构造体”的概念：它由 机器 （承载操作设施和存在设施）和 过程 （其状态序列）两部分组成。

存在设施是系统得以存在和运行的基础假设与资源，例如物理定律、计算资源（时间、内存）、编码语言（如数值表示）。操作设施则是系统在环境中可观察和操作的具体功能。对于基于计算的智能体，其存在设施就包括了计算机系统的所有约束（如数值精度、NP-hard问题）。

环境 E 本身也受其内部机制 M_E 支配，它产生观察数据。智能体通过感知器 S 接收这些数据，但 S 的能力是有限的，它只能接收到 M_E 中能被其感知的那一部分信息 M'_E 。这里存在一个根本性的信息鸿沟：环境可能在高维空间 (x, y, z, t, θ) 中表达，而传感器只能感知 θ 。那么 θ 中出现的异常、突变，对于只能看到 θ 的智能体来说，就只能被归为“噪声”。

5.2 静态观察与动态观察的鸿沟

观察可以分为静态和动态。静态观察是时间 t 上的一个“快照”，即 M_E → M'_E 。动态观察则是一个序列 {M_E → M'_E}_t ，包含了状态间的关联。动态观察虽然信息更丰富，但对于缺乏内部解释器的系统来说，它仍然只是一堆离散的、没有结构关联的数据点。系统“看到”的可能是函数，但如果它自身没有建立关联的能力，就无法从数据中提炼出函数关系。

这引出了学习的核心必要性： 学习是系统为了弥补感知局限、构建内部解释模型而必需的适应性过程 。感知器 S 本身只是信息接收器，没有接口和解释能力，它就像一座只延长信号传输时间却不做处理的桥。因此，必须在传感器之上构建解释接口。

5.3 结构学习与操作学习

由此，我们可以区分两种根本不同的学习：

1. 结构学习 ：改变智能体内部构造 M_A 本身，例如改变网络架构、增加或减少神经元连接、引入新的模块类型。这对应了模型容量和归纳偏置的改变。
2. 操作学习 ：在固定结构 M_A 的情况下，改变其内部过程参数（如权重 w 和偏置 b ）。这是我们当前深度学习主要做的事情——梯度下降优化参数。

结构学习是更根本、更具颠覆性的适应，它改变了智能体理解世界的“世界观”框架。操作学习则是在既定世界观下的“微调”。在通往AGI的道路上，我们可能过度专注于操作学习（调参），而严重忽视了结构学习的重要性。一个只能做操作学习的系统，其认知天花板在结构确定的那一刻就已经被限定了。

5.4 学习的目标与奖励设计的困境

最后，也是最棘手的问题： 学习的目标是什么？ 当前机器学习几乎完全依赖于外部设计的损失函数或奖励函数。我们引入一个目标 ℓ ，然后通过奖励/惩罚信号来驱动系统向目标靠近。但这本质上是一种“模仿”或“条件反射”，系统并不理解目标 ℓ 本身的含义。正如之前批判的，这无法产生真正的意向性或理解。

我们需要思考，一个自洽的智能系统，其学习目标能否从与环境的交互中自主产生？或者，是否存在更基础的学习形式，例如仅仅为了维持内部预测模型的一致性（如预测编码理论），或为了最大化信息的压缩与抽象（如信息瓶颈理论）？将学习目标内化，而不是完全外置，可能是突破当前范式瓶颈的关键。这要求我们的形式化框架不仅要描述“如何学习”（机制），还要为“为何学习”（目标与价值）留下可形式化探讨的空间。

6. 总结与展望：迈向更坚实的智能基础

回顾全文，我们从当前机器学习理论面临的认知局限、形式主义陷阱和可复现性危机出发，批判性地审视了追逐AGI目标过程中的哲学迷思。我们发现，将智能系统视为纯粹“上手”的工具，回避对其“现成”状态的深刻剖析，已经让我们遇到了发展的天花板。

为此，我们尝试提出一个神经架构形式化的初步框架。这个框架的核心是将神经元抽象为具有明确类型签名 (I, O) 和可变内部实现 M 的计算单元，并通过层级化的抽象（从原始框架 P0 到复杂网络 Pn ）来系统化地描述和构造智能模型。这一框架旨在统一架构设计、容量分析和学习机制，将系统视为一个在特定存在与操作设施约束下，通过结构学习和操作学习来适应动态环境的构造体。

这个框架的价值不在于立即给出所有问题的答案，而在于提供一种更严谨的“语言”和“视角”。它鼓励我们：

• 从类型和接口的角度思考模型组件 ，而不仅仅是矩阵乘法。
• 明确区分系统的存在约束和操作过程 。
• 将学习视为系统为弥补感知与解释鸿沟而进行的内在适应性活动 ，并区分结构学习与操作学习。

未来的道路依然漫长。这个形式化框架本身需要大量的数学工作来充实和完善，需要与范畴论、类型论、复杂系统理论等进行更深入的对话。更重要的是，它需要与实验和工程实践紧密结合，接受检验和修正。

我个人在研究和工程中的体会是，我们既不能沉溺于哲学思辨而脱离实际，也不能只顾埋头调参而忽视基础。真正的突破往往发生在扎实的理论思考与大胆的工程实践相互碰撞、相互修正的边缘地带。或许，下一次AI的范式转移，不会来自于另一个更庞大的Transformer变体，而是来自于我们对“神经元”、“层”、“学习”这些最基本概念的一次彻底的形式化重构。这条路很难，但值得尝试。至少，它能让我们在建造智能大厦时，对自己脚下的地基，有更清醒的认识。