2023暨南大学848（计算机技术）经验贴（专业课第一，复试逆袭三十名）

- 采用两阶段框架：数据生成阶段和模型蒸馏阶段。**数据生成阶段**：使用客户端上传的本地模型集合训练生成器（训练了一个同时考虑相似性、稳定性和可转移性的生成器），生成合成数据。**模型蒸馏阶段**：将集合模型的知识蒸馏到全局模型中。- 无需额外信息交换：只需在客户端和服务器之间传输模型参数。- 无需辅助数据集：不需要额外的训练数据。- 考虑模型异质性：适应不同客户端拥有不同的模型架构。

FedHKD的独特之处：与其他基于KD的pFL方法不同，FedHKD不依赖于公共数据集，也不在服务器上部署生成模型。服务器聚合这些超知识信息，并广播给客户端以支持其本地训练。

2023暨南大学848（计算机技术）经验贴（专业课第一，复试逆袭三十名）