Introduction传统的Parameter Server（P-S）架构的联邦学习系统尝试训练出一个模型，让它能适用于每一个client的数据分布，这暗含了一个假设，模型的最优解θ∗\theta^*θ∗同时是所有client的最优解，各个client的模型是全等的（congruent）。也就是作者提到的Assumption 1:显然这个条件不是任何时候都可以得到满足的，作者列举了两种例子：1）

链接：https://arxiv.org/abs/2105.10056v2这篇文章发表在ICML 2021，讲的是如何解决联邦学习中的数据异构问题。作者认为现有的知识蒸馏（Knowledge Distillation，K-D）的方法大多都需要server有一批代理数据（proxy data），协助K-D完成知识传授的过程，这有时候是做不到的。而且只修改全局模型并不能解决用户之间的异质性，反过来这还

分布式机器学习&联邦学习论文阅读笔记一、开源框架FedML二、数据异构问题FedProxBridging Median and Mean Algorithms（NeurIPS 2020）三、边缘计算负载问题FedGKT（NeurIPS 2020）四、通信量压缩FetchSGD（ICML 2020）五、个性化联邦学习Ditto（ICML 2021）pFedHN（ICML2021）一、开源框架