nn.Linear(embed_dim, 4 * embed_dim), # 前馈网络第一层扩维4倍nn.GELU(), # GPT用的激活函数nn.Linear(4 * embed_dim, embed_dim) # 缩维回原维度# 层归一化（Pre-LN，先归一化再计算）# 1. 注意力层 + 残差连接 + 层归一化# 2. 前馈网络 + 残差连接 + 层归一化return x# 1. Tok

域结构分析：挖掘高维欧氏数据中嵌入的低维非欧结构，如流形学习、图结构挖掘，属于无监督学习；域上信号分析：分析和学习定义在已知非欧域上的信号，是 GDL 的核心，目标是将 CNN 推广到该场景。

V：内生变量（可观察、可干预的变量，如价格、销量、治疗方案）；U：外生变量（隐变量、背景变量，如个体基因、未观测的混杂因素）；F：因果函数集；P(u)：外生变量的联合分布，决定了内生变量的观测分布。将目标因果量Q表示为 SCM 的属性，即明确要估计的因果查询。

第 t 步时，状态 S 下执行动作 A 的 Q 值估计；，学习率（0 < α ≤ 1）；，折扣因子（0 ≤ γ ≤ 1）；，执行动作 A 后获得的即时奖励；，执行动作 A 后进入的新状态；，在新状态​下选择的动作（SARSA 专用）；"""ε-贪心策略：平衡探索与利用参数：Q_table: Q值表（二维数组，行=状态，列=动作）state: 当前状态epsilon: 探索概率（0<ε<1）返回：选

核心思想：将高维高斯相似性概率与低维 t 分布相似性概率做 KL 散度匹配，保留局部结构；核心改进：低维用 t 分布解决拥挤、高维概率对称化简化梯度、早期压缩避免局部最优；核心超参数：困惑度取有效近邻数，经验取值 5~50；适用场景：高维数据的可视化，如基因数据、图像特征、文本嵌入。如果有一些概念不清楚的话，大家可以留言。

定义：PCA 是无监督降维算法的核心，核心目标是将高维、可能存在线性相关的特征，通过线性变换映射到低维空间，得到互不相关的主成分，同时尽可能保留原始数据的信息，如：方差。总而言之，PCA 就是在高维数据中找几个 “最优的坐标轴”，让数据在这些坐标轴上的分布最分散也就是方差最大，用这几个坐标轴代表原始高维数据，实现降维且信息损失最小。

图结构，V 是节点集合。，有标签或无标签节点集合。，节点 i 的标签，yi​∈Y（Y 是标签集合，如 {0,1,2}）。，节点 i 的邻居集合，直接相连的节点。，指示函数，条件满足为 1，否则为 0。，转移矩阵。"""标签传播算法（硬更新/投票版）:param graph: NetworkX图对象，节点需包含属性 'label'（有标签节点赋值，无标签为None）:param max_iter:

密度相连性：聚类内任意两点都密度相连；最大性：聚类外的点与聚类内的点都不密度相连。总结：聚类是由核心点及其密度可达的所有点组成的集合，边界点依附核心点存在，噪声点无任何核心点支撑。DBSCAN 是基于密度的聚类，用ε- 邻域和MinPts定义密度，将点分为核心点、边界点、噪声点；聚类由核心点及其所有密度可达的点组成，边界点依附核心点，噪声点无核心点支撑；核心逻辑是核心点的 ε- 邻域扩展，将所有密

GBDT 核心：串行训练多棵回归树，每棵树拟合前一轮模型的残差（负梯度），最终累加所有树的输出；

如有不足请大家的批评指正。