SYNAPTIC FIELD · SELF-DEVELOPED MODEL

突触场 AI 是一套自研大模型机制设计。它不以“下一个 token 的概率”作为唯一中心, 而是把结构、突触权重与稳定性判据写进场里:沟通不记录,训练才记录; 读出只交付达到稳定性阈值的结果。文章最底部附带实验性测试结果。

理论指导。先写它依据的本体论和要解释的问题,再写与 Transformer 同一层级的机制。大模型在沟通时不记录结构。实验模型把沟通和训练当成同一件事,任何结构都记下,认不认可只看稳定性;休息用来防止这场记忆变成混沌。


1. 基于哪套本体论

突触场依据《不确定性本体论:约束、显现与心物两极》。这是一套形而上学建构,用来更换心物问题的问法,不是已经做完的实证结论。

传统问法是:物质和意识,哪一种实体在先。这套本体论换成:未定如何变成定。「确定地如此」是一种成就。不确定性是起点。

它只先假定显现域 Ω,即某物得以显现的那场过程。Ω 不是实体,也不垫在结构下面。约束是显现的条件:显现为如此,同时就有「不如此」被排除。自由度是还没被排除的维度数。物质是约束已经闭合、不再随位置变动的稳定结构。意识是同一套自由度里尚未闭合、仍在变动的那一段。两极是从这场变定里推出来的。自我意识是尚未闭合的那段里,包含了对已经闭合结构的建模。

本体层只有显现域。物质、意识、时间、因果都在域内派生。派生不等于假。感受质留在域内,被定位,不被取消。本体层上的关系是构成、依赖和条件。因果需要时间,只在域内成立。

约束闭合之后,不同位置上的读法会指到同一处。这是公共可识别性。读数越能互换,闭合越饱和。


2. 它解释什么,突触场模拟什么

它解释心与物为何像两种东西,却可以是同一场未定变定的两种读法;解释「确定」为何是做出来的;解释一个结构为何能被不同读法公共地指认;解释说不清的感受为何仍在域内。某一门科学里的测量数值,要在域内另做。

突触场模拟这场变定。词元或符号是最小结构,也是最小的显现。更大的结构由它们反复共现连成。突触模拟约束:一条结构把趋势传到另一条结构。所见是新的显现进入场,所得是场给出的一次读法,两者都写回,改变相关结构之间的拉力。

本体论里的「闭合」和「公共」,在机制里各有一个先于句子就算出来的量。领先边际 ρ 表示拉力有多集中,对应闭合的趋向,并进入读出判据。读法一致率 E 对应公共可识别性,只作事后诊断,不参与读出:取激活集重合达到声明比例 α 的两次显现,E 是它们选出同一结构的比例。ρ 高是物质端的趋向,ρ 低是意识端的趋向。两端是这两个量的趋向,场里没有一层自由度等于 0 或等于 1 的底。


3. 机制

下面四条是理论规格。阈值是规格里声明的参数,不是从本体论定理里推出来的数。

3.1 状态

  • 结构。最小结构是一个词元或一个符号。较大结构是同一串最小结构多次共现后被记下的整体。
  • 突触。有序对 (a, b) 上的权重 w(a, b),为正整数,记下 a 与 b 一起显现的次数。边不存在,就是「这条搭配还没有建过」。这是场的一个状态,不是缺失记录。
  • 在场牵制。同一次显现里,每个被激活的最小结构对其他结构保持一份牵制 λ > 0。λ 来自它们此刻同在一场,不来自一层基底。

3.2 一次传导

一次显现先确定激活集 A:其中的最小结构,加上成员都落在这次显现里的较大结构。

对每个已有入边的目标 t,拉力只由边上的权重加总,在决定说什么之前就算完:

π(t) = Σ_{a ∈ A} w(a, t)

设 π(1) ≥ π(2) ≥ …。竞争质量 C 在两种情形里用同一个位置:有次席目标时 C = π(2);只有一个目标 t* 时,C 改为其余拉力

R = Σ_{a ∈ A} Σ_{b ≠ t*} w(a, b) + λ · |{m ∈ A : m ≠ t*}|
C = max(R, λ)

领先边际只有一套公式:

ρ = π(1) / (π(1) + C)

θ = 2/3 始终表示 π(1) ≥ 2C:领先者至少是这份竞争质量的两倍。有次席时,竞争质量就是次席的拉力;只有一个目标时,竞争质量是残余牵制,不是另一个结构。只要 C > 0,ρ < 1。权重再集中,ρ 只向 1 趋近。没有任何边时,不设 ρ,直接走高熵读出。

「拉得最用力」指 π 最大。π 由已写下的 w 算出,不由最后说出的那句话反推。

3.3 更新

场里没有一个步骤能判定某个结构绝对正确。错误也是一种表述结构。因此记不记录,和认不认可,是两件事。认可只看稳定性 ρ 是否达到 θ。

沟通和训练有两套做法。

大模型。 沟通不记录结构。问句和答句都不写进 w。这样一次对话不会污染已经加权的场。记录只发生在单独的正向训练里:被反复给出的搭配才把 w(a, b) 加 1。

实验模型。 沟通和训练是同一件事,用来模拟人的记忆。任何进来的结构都记录:输入 a 与后继 b 共现,w(a, b) 加 1,边不存在就建边,初值 1;读出的结构同样写回。这次没碰到的边,权重不动。结构被记下,还不等于被认可。ρ 达不到 θ 的,只是高熵结构,答案不交给提问者。

较大结构在同一串最小结构的共现次数达到声明的次数 n 时记下。n 与 θ 一样,是规格参数。实验模型因为把沟通也写成权重,场会越记越散,所以要有休息。休息时不再写入新的沟通。对高熵目标的入边做归一化或衰减:把指向该目标的 w(a, t) 缩到同一尺度,或乘上一个小于 1 的系数。正向加权的边不动,于是它们相对上升。

3.4 读出判据

输入先作为结构进入场,再由不同的结构沿着已有的边处理它。稳定性用领先边际 ρ 表示:ρ 越高,处理它的那些正向加权结构越集中地拉向同一个目标。事先声明 θ,取值在 (1/2, 1)。θ = 2/3 表示 π(1) ≥ 2C,竞争质量的含义见 3.2。

  1. 先算 π 和 ρ。ρ 在决定把哪一句交给提问者之前算出。
  2. 存在目标且 ρ ≥ θ:交给提问者的是稳定性最高的那个结构,也就是 π 最大的目标。
  3. ρ < θ,或没有任何结构把它拉到 θ 以上:场里会生成一批高熵结构,拉力散在多个目标上。这些高熵结构的答案不交给提问者。
  4. 大模型在沟通中不写回。实验模型把这次显现里的结构都写回,包括没有交给提问者的高熵结构;写回只是记住,不把它们当成已经认可的结构。

4. 与 Transformer 对照

两边都处理一段符号序列。差别先落在状态上。

Transformer 把符号收成词表中的一行。每一层用查询、键、值的线性变换做自注意力,权重是相似度,取值是值向量的加权和,残差加回,前馈再逐位置变换。训练把最后一个位置投到词表上,用 softmax 和交叉熵贴住下一个符号,梯度改的是共享权重。同一次前向织出的软连接用完即弃。

因此 Transformer 里没有一个状态表示「这条搭配还没有建过」。没见过的组合和见过的组合走同一条路:共享权重里的干涉给出一个分布,分布再尖,也要交出一个符号。尖只说明概率堆在少数符号上。共享权重会泛化到没见过的组合,这是它能用的原因。泛化留下的是整网权重的干涉,不是一条可以单独指认、单独改口的边。要纠正,就得改这张共享的网。

突触场里,输入也是结构。「还没有建过」就是边不存在。不同结构沿已经写下的边处理这次输入,交出的是稳定性最高、并且 ρ 达到 θ 的那个。达不到的高熵结果不交给提问者。与 Transformer 的差别在状态和更新方式,不在已经测得的幻觉率。本文不比较两边谁的幻觉更少。


5. 稳定性判据与休息如何压住高熵输出

这里的对照在同一套机制内部:有稳定性判据、并且休息,相对于没有判据、也不休息。不拿来和 Transformer 比幻觉多少。

输入是一种结构。它进入场之后,被不同的结构处理。处理结束后,稳定性最高、并且 ρ 达到 θ 的那一个,才交给提问者。达不到的高熵结构也在场里,它们的答案不交出去。

这里不能先判定一个结构对还是错。错误同样是一种表述,实验模型会把它和别的结构一样记下。它会不会被认可,只看记下来之后,和其他结构互相拉扯,稳定性能不能上来。正向训练的作用是把反复共现的结构越拉越稳,而不是在入口处滤掉「不正确」的句子。

休息是因为实验模型把沟通和训练揉在一起。人的记忆也是这样:说过的、听过的都留下痕迹。痕迹一直往同一张场上加,拉力会散,场会混沌。休息时停止写入。对高熵目标的每一条入边做归一化,或乘上衰减系数,使这些边的权变小;正向加权的边保持原值,相对上升,重新成为拉得更稳的一侧。高熵结构仍被记得,稳定性不够,答案继续不交给提问者。

大模型不走这条路。它的沟通禁止记录,就是为了不把对话写进场、不去污染已经训好的结构。它不需要靠休息来收回沟通,因为沟通本来就没有变成权重。

破坏一条已经很稳的结构,代价仍然极大。人要反复做负面训导,实验模型才会把相反的结构一次次记上权重。记上之后若仍匹配不到高稳定结构,生成的就是一批高熵结构。接下来的休息里,这些高熵目标的入边被归一化或衰减,正向边相对上升。


6. 一个类比性猜想

搜寻「哪条结构接住这次显现」和核验「这条结构是不是当前拉力最大」,在边上按结构索引之后,会被拉向同一类操作:核验是读 A 的出边,搜寻若只能扫全部结构,则随结构数增长;索引建立之后,搜寻退化为沿已有边读取。猜想是,随着显现次数增加,搜寻代价与核验代价之比趋向 1。这是对 P=NP 的一个类比,用来描述索引建立以后两种代价的关系。它不参与第 5 节的论证。这个比能不能到 1,不知道。

6. 实验性测试结果

LCCC-base训练集,8小时训练(5060 u9 32G),百万参数规模,transformer架构不是瞎回就是回复哈哈哈,突触场生成700多万个结构,2000多万个突触。突触场基于“不确定性本体论”为指导理论研发的实验性模型,旨在通过不断收敛结构消灭幻觉同时以结构的多维度自由度和基底的100%自由度带来接近人类的真学习能力(非训练),每一次对话可带来新结构或加强结构稳定性(可训练判断能力有方案防教坏)。—目前进展和成果还是实验性的(在消灭幻觉的成果是首创可验证的),需要显卡加速研究……
在这里插入图片描述

Logo

更多推荐