来源：Federated Learning for Internet of Things : A Comprehensive Survey

传统上，人工智能技术需要集中的数据收集和处理，但由于现代物联网网络的高可扩展性和日益增长的数据隐私问题，这在现实应用场景中可能不可行。联邦学习(FL)已经成为一种分布式协同人工智能方法，通过允许在分布式物联网设备上进行人工智能训练而不需要数据共享，它可以使许多智能物联网应用成为可能。

传统上，人工智能功能被放置在云服务器或数据中心，用于的数据学习和建模，鉴于物联网数据的爆炸式增长，这带来了严重的限制。

FL在广泛物联网服务方面的潜力:物联网数据共享、数据卸载和缓存、攻击检测、定位、移动群体感知以及物联网隐私和安全。

FL用于物联网服务：
1、物联网数据共享；
2、数据卸载和缓存；
3、攻击检测；
4、定位；
5、移动群体感知；
6、物联网隐私和安全

FL在物联网的应用：
1、智能医疗
2、智能交通
3、无人机(UAVs)
4、智慧城市
5、智能产业

FL为物联网应用提供的好处如下：
1、数据隐私增强
2、低延迟网络通信
3、学习质量提高

1、数据隐私增强:在FL中，原始数据不需要在聚合器上进行训练。因此，最大限度地减少了用户敏感信息泄露给外部第三方，并提供了一定程度的数据隐私。随着越来越严格的数据隐私保护立法，如通用数据保护条例(GDPR)，隐私保护功能使FL成为构建智能和安全物联网系统的理想解决方案。

2、低延迟网络通信:由于不需要将物联网数据传输到服务器，使用FL有助于减少数据卸载导致的通信延迟。作为回报，它还节省了数据训练中的网络资源，如频谱和传输功率。

3、提高学习质量:通过从物联网设备的网络中吸引大量的计算资源和不同的数据集，FL有潜力提高整个训练过程的收敛速度，并实现更好的学习准确率，这可能无法通过使用数据不足和计算能力受限的集中式人工智能方法来实现。作为回报，由于其分布式学习的特性，FL还提高了智能网络的可扩展性。

FL流程包括以下关键步骤:
1、系统初始化和设备选择:聚合器选择人类活动识别等物联网任务，并设置学习参数，如学习速率和通信轮数。同时选择一个参与FL过程的物联网设备子集。
2、分布式本地训练和更新:服务器初始化一个新的模型，即𝑤_𝐺^0，传输到IoT客户端，开始分布式训练。每个客户端k使用自己的数据集Dk训练一个本地模型，并通过最小化损失函数F(wk)计算一个更新wk:
𝑤_𝑘^∗=𝑎𝑟𝑔𝑚𝑖𝑛𝐹(𝑤_𝑘 ) , 𝑘∈𝒦
3、模型聚合和下载：从本地客户端收集所有模型更新后，服务器将其聚合并计算出一个新的全局模型版本为

通过求解以下优化问题:


FL允许物联网用户和BS培训一个共享的全球模型，而原始数据仍保留在用户的设备上。

联邦学习(FL)的概念被提出用于构建智能和隐私增强的物联网系统。从技术上讲，FL是一种分布式协同AI方法，它允许通过与中央服务器协调多个设备进行数据训练，而不需要共享实际数据集。

多个物联网设备可以充当workers，与聚合器(例如服务器)通信，以便在智能物联网网络中进行神经网络训练。更具体地说，聚合器首先启动一个带有学习参数的全局模型。每个worker从聚合器下载当前模型，通过使用其本地数据集，计算其模型更新(例如，通过随机梯度下降(SGD))，并将计算得到的本地更新卸载给聚合器。然后，该聚合器结合所有局部模型更新，构造一个新的改进全局模型。

该聚合器利用分布式workers的计算能力，在最大限度减少用户隐私泄露的同时，提高了训练质量。最后，本地workers从聚合器下载全局更新，并计算他们的下一个本地更新，直到全局训练完成。

1、根据训练数据在样本和特征空间上的分布情况，FL可以如下分类：

1、横向联邦学习：在HFL系统中，学习客户端具有相同特征空间、不同样本空间的数据集。（例如：智能语音助手中，用户说出相同的句子（特征空间）、不同类型的语音（样本空间））

2、纵向联邦学习：在VFL系统中，学习客户端具有相同样本空间、不同特征空间的数据集。（例如：电子商务公司和银行（样本空间相同，特征空间不同））

3、联邦迁移学习：在FTL系统中，学习客户端拥有不同样本空间和不同特征空间的数据集。（例如：不同国家的多家医院合作支持疾病诊断，拥有不同的患者（样本空间）、不同的药物测试（特征空间））

2、根据网络结构，FL可以如下分类：

①集中式联邦学习(CFL):一个CFL系统包含一个中央服务器和一组执行FL模型的客户端。在单轮训练中，所有客户端使用自己的数据集并行地参与网络模型的训练。然后，所有客户端将训练后的参数传输到中央服务器，中央服务器使用加权平均算法(如Federated平均化(FedAvg将它们聚合起来。然后，将计算出的全局模型发送回所有客户端，以便进行下一轮训练。

②分散式联邦学习(DFL)：DFL所有客户端以点对点(P2P)的方式连接在一起进行AI训练。在每一轮通信中，客户端也会基于自己的数据集进行本地训练。然后，每个客户端通过P2P通信从邻居客户端接收到的模型更新来实现模型聚合，实现对全局更新的共识。

集中式联邦学习是在FL-IoT系统中最流行的FL架构之一，当与服务器的通信不可用或网络拓扑高度可伸缩时，分散式联邦学习（DFL）被设计为完全或部分替代集中式联邦学习(CFL)。

由于现代特性，DFL可以与基于P2P的通信技术如区块链集成，构建分散的FL系统。这样，DFL客户端可以通过区块链账本进行通信，其中模型更新可以卸载到区块链，以进行安全模型交换和聚合。

FL的安全和隐私问题：
尽管FL可以为学习过程中不需要共享原始物联网数据的分布式物联网系统提供隐私保护，但FL仍然存在一些来自学习客户端和服务器端的安全和隐私漏洞。例如，在客户端，对手可以修改数据特征或在原始数据集中注入不正确的数据子集，在模型中嵌入后门，目的是调整本地客户端的训练目标。这也被称为后门中毒攻击，它也会在客户端卸载到服务器之前毒害本地模型更新。同时，中央服务器可能会污染聚合的局部更新，并部署攻击者在几次迭代中从梯度中窃取训练数据，因为权重的梯度是学习层和特征错误的内部乘积。因此，全局更新会暴露出关于局部训练数据的额外的个人特征信息，从而对用户的隐私构成风险。

差分隐私或虚拟，可用于保护训练数据集不受数据泄露的影响，方法是用复杂的数学解构造复合定理。例如，差分隐私通过在神经网络层的梯度中插入人工噪声(如高斯噪声)来保护训练数据和隐藏的个人信息不受外部威胁，同时保证收敛性。这种解决方案将确保服务器或恶意用户无法从接收到的任何辅助信息和攻击下的消息中获取更多的用户样本信息。

定义：((𝜖，𝛿)微分隐私)。两个数据集𝒟和𝒟 '当且仅当它们相差一个元素时被称为相邻的。给定两个相邻N元数据集𝒟和𝒟 '∈𝒟 N和ϵ,𝛿 > 0,随机查询机制M: 𝒟 N→ℝd叫做(ϵ, 𝛿)-差分隐私((ϵ,δ)-DP)当且仅当对任何可测集E∈ℝd, M满足ℙ的输出(M (𝒟)∈E)≤eϵℙ (M (𝒟’)∈E) +δ。

𝜖 和 𝛿 越小，隐私性越安全，但是随之数据性能也自然越差。FL-IoT中的进一步隐私保护仍是一个正在进行的研究课题，需要新的创新解决方案和技术从客户端(如物联网设备)和通信(如无线服务器-客户端连接)的角度提高基于FL的物联网系统的隐私。

FL-IoT的通信和学习收敛问题解决方案：
1、提出高效的通信协议，该协议能够压缩上行和下行通信，同时对不断增加的客户端数量和数据分布保持较高的鲁棒性；
2、通过组合使用稀疏化、三联化、错误积累和最优Golomb编码技术来实现上行压缩，并在不影响学习收敛的情况下加快全球服务器的并行训练。
3、提出了一种新的基于FL的物联网网络优化算法FetchSGD，该算法可以训练高质量的模型以提高通信效率。
4、提出了一种新的FL设计，称为动量联邦学习。与传统的一阶梯度下降算法相比，在中心服务器上集成了动量梯度下降(MGD)方法，以减少因优化学习参数而产生的损失函数。

FL-IoT中的资源管理:
1、提出了一种移动设备上的资源感知FL体系结构，该体系结构通过考虑计算资源的信息来训练神经网络；
2、提出了一种软训练技术。这可以通过允许他们在局部训练阶段屏蔽特定数量的资源密集型神经元来部分训练模型，但在参数聚集阶段恢复，而不影响整个模型的收敛，能加快对计算能力较弱的掉队者的训练；

在物联网传感器上部署AI学习功能的可行性：
1、提高AI硬件在物联网传感器上的使用，一种基于软件的深度学习加速器，以支持移动硬件上的AI/DL训练。其关键思想是使用一组异构处理器(例如，GPUs)，其中每个计算单元利用不同的计算资源来处理DL模型的不同推理阶段。；
2、提出了一种名为Tiny TL (Tiny TL)的方案，用于高效记忆的设备上传感器学习。TinyTL在只学习偏置模块时冻结了权重，因此不需要存储中间激活，从而减少了内存占用。为了弥补容量损失，集成了一个内存有效偏置模块，该模块通过细化特征提取器的中间特征映射，以较小的内存开销提高模型容量。

规格标准：
未来智能网络中垂直FL-IoT用例的引入对当前移动网络的架构进行了重大更改，以同时支持各种严格的需求(例如自动驾驶、电子医疗保健等)。在这种情况下，由于依赖边缘/云分析服务器和边缘物联网通信协议等其他重要计算服务，网络标准和元素在大规模部署FL-IoT生态系统中将发挥着重要作用。
附