Laplace近似是一种用于估计后验概率分布的方法，特别是在贝叶斯统计中，当后验分布的直接计算非常困难或不可能时。这种方法以皮埃尔-西蒙·拉普拉斯的名字命名，他是18世纪的一位法国数学家和天文学家。

Hebbian图（Hebbian Graph）是一种基于神经科学原理的网络结构，它受到唐纳德·赫布（Donald Hebb）提出的赫布学习规则（Hebb’s rule）的启发。赫布学习规则是神经科学中描述神经元之间突触连接如何通过经验而改变的一个理论，通常被概括为“一起激发的神经元会连接在一起”（neurons that fire together, wire together）。例如，在无监督学

Laplace近似是一种用于估计后验概率分布的方法，特别是在贝叶斯统计中，当后验分布的直接计算非常困难或不可能时。这种方法以皮埃尔-西蒙·拉普拉斯的名字命名，他是18世纪的一位法国数学家和天文学家。

Hebbian图（Hebbian Graph）是一种基于神经科学原理的网络结构，它受到唐纳德·赫布（Donald Hebb）提出的赫布学习规则（Hebb’s rule）的启发。赫布学习规则是神经科学中描述神经元之间突触连接如何通过经验而改变的一个理论，通常被概括为“一起激发的神经元会连接在一起”（neurons that fire together, wire together）。例如，在无监督学

Kronecker-factored Approximate Curvature (K-FAC) 是一种优化深度神经网络的先进方法，特别适用于大规模网络。K-FAC通过近似神经网络的Hessian矩阵的结构，以更有效率和准确性的方式更新网络权重。这种方法基于一个关键的观察：深度网络的Hessian矩阵（即损失函数相对于网络权重的二阶导数矩阵）可以被分解为更小的Kronecker积形式的矩阵的集合。

i.i.d. ------- independently and identically distributed 独立同分。w.r.t. ------- with respect to 常用于求导，或者满足一定条件之类的情况。x* = arg min f(x) ------- 就是指f(x)取得最小值时，变量x的取值。r.v. ------- random variable 随机变量。iff --

Kronecker-factored Approximate Curvature (K-FAC) 是一种优化深度神经网络的先进方法，特别适用于大规模网络。K-FAC通过近似神经网络的Hessian矩阵的结构，以更有效率和准确性的方式更新网络权重。这种方法基于一个关键的观察：深度网络的Hessian矩阵（即损失函数相对于网络权重的二阶导数矩阵）可以被分解为更小的Kronecker积形式的矩阵的集合。

LoRA（Low-Rank Adaptation）通常在模型微调时被用于Transformer模型的注意力（Attention）机制中，尤其是在查询（Query, Q）和值（Value, V）层，而不是键（Key, K）层。这种选择背后有几个原因，主要涉及到模型效率、特定层的作用以及对最终性能的影响。

变分推断的核心思想是将复杂的后验分布问题转化为一个优化问题，通过寻找一个简单的分布（称为变分分布）来近似真实的后验分布。在贝叶斯推断中，我们通常想要计算后验概率分布 p(z|x)，即在观测到数据 x 的情况下，潜在变量 z 的概率分布。然而，对于许多复杂的模型，这个后验分布往往难以直接计算，因为它涉及到高维积分，这在计算上是非常昂贵的。然而，变分推断也有一些局限性，例如它可能无法捕捉到后验分布的所

Laplace近似是一种用于估计后验概率分布的方法，特别是在贝叶斯统计中，当后验分布的直接计算非常困难或不可能时。这种方法以皮埃尔-西蒙·拉普拉斯的名字命名，他是18世纪的一位法国数学家和天文学家。