鉴于之前的研究表明FedAvg需要衰减步长才能在异质性下收敛，我们扩展了我们的方法，提出了一个递减步长版本FedDecSPS（遵循DecSPS的想法），在实践中为一般非插值设置提供了确切收敛，而无需上述小步长假设。我们还在i.i.d.和non-i.i.d.设置中，对于凸和非凸情况，与调整后的FedAvg和FedAMS相比，获得了我们提出的FedSPS和FedDecSPS的具有竞争力的性能（无论是优

继续将Encoder和Decoder拆开，可以看到完整的结构，如下图所示：上图Decoder接收了Encoder的编码矩阵，然后首先输入一个开始符 "<Begin>"，预测第一个单词，输出为"I"；然后输入翻译开始符 "<Begin>" 和单词 "I"，预测第二个单词，输出为"am"，以此类推。这是Transformer的大致流程，接下来介绍里面各个部分的细节。上图是Transformer的内部结

虽然FFN的输入输出维度都是512，但是输出的512维度特征和输入的512为特征是不一样的。但很多时候512维不够用，我们希望模型可以提取出更多维度的特征，于是，通过 FFN 两个相邻 FC 层的运算，可以将 512 维扩展到2048维（ FFN 的隐层），随后再降维到512维作为 FFN 的输出。因为 FFN 层由两个线性变换层（FC）和一个非线性激活函数（ReLU）组成，通过在两个 FC 中间

文章：Machine-learning-based deep semantic analysis approach for forecastingnew technology convergenceTae San Kim, So Young Sohn⁎Department of Information and Industrial Engineering, Yonsei University, 1

联邦学习（FL）最近被应用于（LLMs）的。尽管前景广阔，但由于客户端资源和数据分布的异质性，这一应用面临着。本研究介绍了，这是一种简单而有效的，能够缓解传统FL中的，这种效应限制了资源丰富的客户端的潜力，因为它们被与资源最少的参与者的能力捆绑在一起。FlexLoRA允许，促进开发一个具有更广泛、更不特定于任务的知识的全局模型。通过合成来自各个客户端贡献的全尺寸LoRA权重，（SVD），FlexL

论文：Improving Generalization in Federated Learning with Highly Heterogeneous Data via Momentum-Based Stochastic Controlled Weight Averaging（FedSWA / FedMoSWA）在高度异质（highly heterogeneous）数据下提升联邦学习（FL）的泛化

联邦学习（Federated Learning, FL）本身就不轻松：多客户端、数据 非 i.i.d.、通信频繁、隐私约束再把Transformer、ViT、RoBERTa 这种大模型丢进去，难度瞬间升级：在 CNN 上还能凑合到了 Transformer 上，经常收敛慢、效果差大模型基本离不开AdamW这样的自适应优化器 + decoupled weight decay在本地训练阶段，用 Ada

零阶优化（Zero-Order Optimization）是一种不依赖于梯度信息的优化方法。与一阶优化方法（如梯度下降）不同，零阶优化方法仅通过目标函数的函数值来进行优化，而不需要计算或估计梯度。零阶优化方法是一类不依赖于梯度信息的优化技术，适用于梯度不可得或难以计算的问题。尽管其收敛速度较慢且计算成本较高，但在许多实际应用中，零阶优化方法仍然是解决复杂优化问题的有效工具。随机搜索是最简单的零阶优

联邦学习（Federated Learning, FL）本身就不轻松：多客户端、数据 非 i.i.d.、通信频繁、隐私约束再把Transformer、ViT、RoBERTa 这种大模型丢进去，难度瞬间升级：在 CNN 上还能凑合到了 Transformer 上，经常收敛慢、效果差大模型基本离不开AdamW这样的自适应优化器 + decoupled weight decay在本地训练阶段，用 Ada

虽然FFN的输入输出维度都是512，但是输出的512维度特征和输入的512为特征是不一样的。但很多时候512维不够用，我们希望模型可以提取出更多维度的特征，于是，通过 FFN 两个相邻 FC 层的运算，可以将 512 维扩展到2048维（ FFN 的隐层），随后再降维到512维作为 FFN 的输出。因为 FFN 层由两个线性变换层（FC）和一个非线性激活函数（ReLU）组成，通过在两个 FC 中间