摘要

在生成式人工智能(Artificial Intelligence, AI)技术与算法进步的推动下,人工智能生成内容(AI-Generated Content, AIGC)得到广泛采用,使多样化、高质量内容的生成成为可能。尤其是,基于扩散模型的 AIGC 技术已被广泛用于生成多种模态的内容。然而,在现实世界中部署 AIGC 模型,特别是在手机等资源受限设备上部署,会带来与能耗和隐私顾虑相关的重大挑战。

为进一步推动无处不在的 AIGC 服务落地,我们提出一种新颖的基于扩散模型的协作式分布式 AIGC 框架。该框架利用无线网络中设备之间的协作,促进 AIGC 任务的高效执行,并优化边缘计算资源利用率。此外,我们还考察了在手机上实际执行去噪步骤的情况、所提方法对无线网络辅助 AIGC 格局的影响,以及其现实集成所带来的未来机遇。本文的贡献不仅为解决现有 AIGC 服务的局限性提供了一种前景良好的方案,也为设备协作、资源优化以及跨设备无缝交付 AIGC 服务的未来研究铺平了道路。代码已发布于 https://github.com/HongyangDu/DistributedDiffusion

引言

联网设备的普及提高了人们对高质量、随时可用内容的需求。人工智能生成内容(AIGC)已成为一种广受青睐的方法,它通过应用 AI 模型来提供个性化、动态化的内容 [1]。Ross Goodwin 的创新小说《1 the Road》体现了 AIGC 的适应能力:该作品巧妙地将 AI 算法与配备传感器的移动设备结合,把感知数据转化为文学作品。尽管 AIGC 展现出可观潜力,但计算和存储方面的限制一直制约着其创作范围。不过,先进的第五代移动通信技术(Fifth-Generation, 5G)与高性能计算系统的出现,使 AIGC 成为生成富有创意且结构复杂内容的重要技术。OpenAI 的 ChatGPT [2] 和 Meta AI 的 Segment Anything Model(SAM)[3] 是 AIGC 影响力的两个典型例子。ChatGPT 是一款 AI 聊天机器人,上线后两个月内便获得 1 亿活跃用户,成为历史上增长最快的消费级应用 [2]。另一方面,SAM 是一种前沿 AI 模型,只需单击一次即可从任意图像中“抠出”任何对象。SAM 使用包含 1100 万幅图像和 11 亿个掩码的数据集进行训练,并在多种分割任务上表现出稳健的零样本性能 [3]。

作为 AIGC 的基石,生成式 AI 技术在扩展内容生成服务方面发挥了重要作用。特别是,扩散模型已成为一种灵活且极具前景的方法。扩散模型通过概率过程运行:AI 系统从一系列注入噪声的数据版本出发,迭代地重建原始数据 [4]。这种创新方法使扩散模型能够学习并捕捉多种内容类型所固有的复杂模式与结构,从而生成连贯、符合上下文且具有审美吸引力的输出。扩散模型的灵活性促使它被广泛应用于多种 AIGC 场景:

  • 视觉: 扩散模型在多种图像与视频生成任务中表现出色,已成为图像修复和文本生成图像等视觉应用不可或缺的一部分。一个著名例子是 Stability AI 于 2022 年开发的深度学习文本生成图像模型 Stable Diffusion [5]。
  • 音频: 在音频生成方面,扩散模型在不同内容领域均表现出较强的通用性。例如,已有工作利用二项先验分布,通过扩散模型生成钢琴卷帘谱 [6]。
  • 自然语言: 扩散模型在自然语言领域的应用引起了广泛关注 [7]。由于基于扩散的方法采用迭代重建过程,扩散模型具备很强的灵活性,并能在内容质量与效率之间提供更好的权衡 [7]。
  • 时间序列: 一项代表性进展是利用深度扩散模型生成合成电子健康记录 [8]。这些合成样本可用于方法研究和训练,而无需使用真实患者的隐私健康信息。
  • 决策: 扩散模型已被用于生成最优决策,并在序列决策和多种问题求解领域展现出潜力 [9]。它还被应用于无线网络,用于生成 AI 驱动的激励机制 [10],并与深度强化学习算法相结合 [1]。

尽管 AIGC 已取得显著进展,将其部署到现实设备上仍面临两类基础性挑战:

  • 模型训练与部署复杂: AIGC 模型的训练和部署流程较为复杂 [4]。

  • 推理资源开销高: AIGC 推理通常计算密集;对于基于扩散模型的 AIGC,这一问题尤为突出,因为模型需要迭代执行去噪过程,且每一步都会消耗大量能量 [4], [11]。

在部署层面,上述挑战进一步体现为计算效率与数据隐私之间的权衡:

执行方式 主要优势 核心局限
服务器端执行 将计算负载从资源受限的终端设备上卸载 用户需要将任务交由远端服务器处理,可能引发安全和隐私顾虑,尤其是在医疗等敏感场景中
本地或附近设备执行 有助于减少对远端服务器的依赖,并缓解隐私顾虑 受限于设备的计算资源,可能延长内容生成和模型推理时间 [1]

研究缺口与需求: 现有 AIGC 研究大多仍围绕相互隔离的服务器环境开展模型开发,尚未充分挖掘设备协作的潜在收益。鉴于高效、顺畅的 AIGC 服务访问会直接影响用户满意度,有必要探索面向大规模设备的协同执行机制,以在计算效率、隐私需求与访问体验之间取得平衡,并满足用户多样化的访问需求。

针对资源受限设备执行 AIGC 服务时面临的挑战,我们提出一种基于扩散模型的协作式分布式 AIGC 框架,以节省计算能耗并改善用户体验。在该分布式计算框架中,我们实施了一种有效策略,使多个设备能够协同执行共享去噪步骤。这些共享去噪步骤可在某一台设备上执行,例如边缘服务器或端设备。共享步骤完成后,中间结果通过无线方式传输给其他设备,后者再执行剩余的、针对具体任务的去噪步骤。这种分布式计算方法也可以视为一种卸载技术:它让用户能够继续掌控自己的内容,从而缓解隐私顾虑,同时节省整个网络中的计算资源。本文的贡献概括如下:

  • 我们深入分析了基于扩散模型的 AIGC,并考察其在无线网络中的潜在部署方式;同时探讨了使扩散过程得以切分的基本原理。
  • 我们提出了一种基于扩散模型的协作式分布式 AIGC 框架。通过融合中心侧推理与边缘侧推理,该协作式分布式计算方法能够有效解决基于扩散模型的 AIGC 所固有的计算资源限制,为用户提供高效、可扩展且个性化的体验。
  • 我们展示了 Stable Diffusion v1-4 模型 [5] 在无互联网连接的手机上成功运行的实现,并对所提框架进行了全面讨论,从而揭示其对无线网络赋能 AIGC 的潜在影响。

基于扩散模型的协作式分布式 AIGC 框架

本节首先介绍扩散模型的基本原理以及扩散过程的分布式计算,然后给出基于扩散模型的协作式分布式 AIGC 框架。

扩散模型概述

AI 模型在根据文本描述直接生成视觉效果出色的图像方面取得了显著进展。扩散模型是文本生成图像任务使用的主要方法,也是这类任务的核心技术。Stable Diffusion、Disco-Diffusion、Mid-Journey 和 DALL-E2 等多个知名且流行的文本生成图像模型都以扩散模型为基础 [4]。其中,Stable Diffusion 是 AI 图像生成领域的一个里程碑:它能以更高质量的图像、更快的计算速度、更低的资源消耗和更小的内存占用实现高性能生成 [11]。下面介绍扩散模型的基本原理,并探讨卸载扩散过程的可能性。

1)扩散模型原理

扩散模型是一类先进的生成模型,旨在创建与输入训练数据高度相似的数据 [11]。其关键原理如下:

  • 系统性退化训练数据: 模型逐步加入高斯噪声,使原始数据逐渐退化。这一步称为扩散(Diffusion)。
  • 恢复原始数据: 扩散模型通过增量去噪与重建,学习逆转加噪过程并恢复数据。这一步称为去噪(Denoising)。
  • 对复杂数据分布建模: 核心思想是通过迭代,将简单的高斯分布变换为目标分布。
  • 以神经网络作为去噪函数: 扩散模型利用神经网络捕捉数据内部复杂的关系,从而生成高保真样本并改进数据合成效果。
  • 在多类应用中取得成功: 这类模型已在图像合成、文本生成和强化学习中取得显著成果 [4]。
2)基于扩散模型的 AIGC 工作流程

下面以 Stable Diffusion [5], [11] 为例,说明图 1 所示的基于扩散模型的 AIGC 工作流程。

a)文本条件化: 此步骤处理文本提示词,并把处理结果集成到噪声预测器中。在 Stable Diffusion 框架内,文本提示词先被分词,随后转换为嵌入表示,再由文本 Transformer 处理,最后交给噪声预测器使用 [12]。文本 Transformer 一方面进一步细化嵌入表示,另一方面提供一种纳入多种条件模态的机制。因此,文本 Transformer 的输出会通过交叉注意力机制被噪声预测器多次使用。

b)通过 Stable Diffusion 生成随机潜在张量: 系统在潜在空间中生成一个随机张量。通过设置随机数生成器的种子,可以控制该张量的随机性,从而在使用相同种子值时复现完全相同的随机张量。需要注意的是,此阶段创建的张量是纯噪声,并不对应任何连贯的图像。

c)应用噪声预测器: 噪声预测器是一个神经网络,它处理由潜在噪声图像和文本提示词组成的输入,并预测潜在空间中的噪声。

d)计算新的潜在图像张量: 从初始潜在图像张量中减去预测噪声张量,即可得到新的潜在图像张量。

e)迭代增强并生成最终图像: 系统利用潜在噪声图像和噪声预测结果,按照预先设定的采样步数迭代执行步骤 b)和 c),从而逐步改善图像质量。随后,变分自编码器(Variational Autoencoder, VAE)解码器 [13] 把改善后的潜在图像转换回像素空间,生成最终图像输出。

在这里插入图片描述

图 1. 基于扩散模型的 AIGC 模型工作流程,以及实现协作式分布式 AIGC 的基本原理。两个用户的文本提示词分别为 “A bird on a table(桌子上有一只鸟)” 和 “A cat on a table(桌子上有一只猫)”。分词器把文本转换为数字词元,将复杂短语拆分为模型熟悉的部分,使模型能够对其进行处理。嵌入把单词表示为向量,捕捉任务所需的语义关系。文本 Transformer 处理文本输入数据,为模型执行多种自然语言任务提供条件,并高效集成基于文本的信息。

3)无线网络架构

我们考察了基于扩散模型的协作式分布式 AIGC 系统可以采用的不同网络架构。每种架构都有其独特优势。

  • 边缘到多设备(Edge-to-Multiple Devices): 该架构使用边缘服务器作为多个用户设备的通信枢纽。对于任务需求在语义上相近的一组用户,边缘服务器执行共享去噪步骤,并将中间输出传输到对应的用户设备。随后,各用户设备独立完成剩余的任务特定去噪步骤。该架构具有以下优点:

    • 降低时延: 由计算能力更强的设备集中处理共享步骤,可减少内容生成与处理所需的时间。
    • 优化资源分配: 集中式处理能够掌握完整的网络负载情况,从而在设备间均衡分配任务,提高网络整体效率。
    • 在用户设备间有效均衡负载: 分散执行用户特定任务可防止单台设备过载,保证流畅的用户体验。
  • 设备到设备(两台设备,Device-to-Device): 该架构使两台设备能够直接协作执行基于扩散模型的分布式 AIGC 任务。两台设备共同确定共享去噪步骤(the shared denoising steps),在选定的设备上执行这些步骤、共享中间输出,然后各自完成剩余的去噪步骤。该架构具有以下优点:

    • 能源效率: 设备间直接通信无需额外的中心处理,可节省能量。
    • 增强隐私: 在没有中心服务器参与的情况下,用户设备独立执行各自的任务,可降低 AIGC 内容泄露的潜在风险。

注:

  • 核心机制。 两个语义相近的任务共享前 k k k 个去噪步骤:一台设备生成中间潜变量并通过 D2D 发送,随后两台设备按各自提示词完成剩余步骤,无需中心服务器。

  • 示例。 设备 1 以“桌上有一个苹果”执行 5 个共享步骤并发送结果;设备 2 再以“桌上有一个柠檬”执行 6 个本地步骤,复用共同的桌面布局。

  • 收益与开销。 若每个任务需 T T T 步,独立执行需 2 T 2T 2T 步,共享后约为 k + 2 ( T − k ) = 2 T − k k+2(T-k)=2T-k k+2(Tk)=2Tk,理论上节省 k k k 步。传输对象是中间潜变量而非最终图像;该架构属于协作推理,而非模型切分。实际收益需扣除通信开销。

  • 适用条件。 提示词需语义相近,并合理选择 k k k:过大会使结果偏向设备 1,过小则复用收益有限。

  • 多设备组成集群(有或无边缘服务器): 在该架构中,用户设备组成协作集群,共同执行分布式 AIGC 任务。集群既可以在边缘服务器协助下形成,也可以依据各设备的任务需求和资源自行组织。集群中的设备协作处理共享去噪步骤、分发中间输出,随后分别完成针对具体任务的去噪步骤。该架构具有以下优点:

    • 适应性: 聚类天然具有灵活性,系统可以根据设备的具体需求对其进行组织,从而适应多种 AIGC 任务需求。例如,可以分别组成生成动物图像的集群和生成汽车图像的集群。
    • 可扩展性: 通过动态调整集群的组成,该架构可以轻松容纳不断增加的设备和任务。
    • 资源优化: 允许设备共享计算资源并共同执行 AIGC 任务,可以提高系统整体效率。

基于扩散模型的协作式分布式 AIGC 方法

在给定网络架构后,可以按照以下步骤执行基于扩散模型的协作式分布式 AIGC 流程。

步骤 1:AIGC 模型训练与分发。 首先,使用大规模数据集训练 AIGC 模型,确保模型能够依据用户输入生成高质量内容。训练过程在 GPU 集群等高性能计算设备上进行,以满足庞大的计算需求。训练成功后,将模型分发到边缘服务器,同时也允许用户设备直接下载。

步骤 2:收集用户的 AIGC 任务需求。 系统收集用户提交的 AIGC 任务需求;这些请求包含描述目标内容的文本提示词,例如图 2 的 A 部分所示的 “A Bird on The Desk(书桌上有一只鸟)”。边缘服务器处理并调度这些请求,通过理解每项任务的计算复杂度、输出质量等具体要求,实现高效的资源利用和最优的系统性能。

步骤 3:知识图谱辅助的语义分析与卸载调度。 收集用户需求后,系统借助知识图谱 [14] 进行语义分析,以识别用户提示词之间的相似性与差异。图 2 的 B 部分所示知识图谱以结构化方式表示语义关系,使系统能够把任务需求相近的用户划分到同一组,并为每个组定制共享去噪步骤。此外,知识图谱可以增量更新,从而高效处理新任务,并支持频繁地对用户重新聚类。

步骤 4:共享推理。 在共享推理阶段,中心服务器针对任务需求相近的每个用户组执行共享去噪步骤,如图 2 的 C 部分所示。在这一步中,可以使用已分组任务中的任意文本提示词。完成共享去噪步骤后,把中间输出传输到对应的边缘设备,以便继续处理。需要说明的是,本框架可以方便地在数据传输过程中集成稳健的安全措施,包括数据加密技术和物理层安全方法。

步骤 5:本地推理。 用户设备从中心服务器接收中间输出,并继续完成用户特定的去噪步骤。把这些步骤交给用户设备执行(图 2 的 D 部分),可以使用户独立完成各自的任务,在节省能量的同时维护隐私。最终,用户能够高效生成符合自身需求的定制化 AI 内容。

综上,所提基于扩散模型的协作式分布式 AIGC 框架旨在解决传统 AIGC 系统面临的挑战与局限。该方法在中心服务器上执行共享去噪步骤,并把剩余步骤卸载到边缘设备,因而可以均衡计算负载、降低时延并生成高质量内容。更重要的是,该框架的通用性并不限于基于图像的 AIGC;正如第 I 节所讨论的那样,它还可能为不同领域中广泛的、基于扩散模型的 AI 方案提供有价值的解决思路。尽管该框架具有上述优势,仍有必要通过下一节的数值分析和深入讨论,验证其性能、实际实现方式以及潜在研究挑战。

在这里插入图片描述

图 2. 所提出的无线网络中基于扩散模型的协作式分布式 AIGC 方法。这里考虑用户端设备执行 8 个本地去噪步骤的情况,并将其结果与未采用协作式分布式 AIGC 时得到的结果进行比较。

注:

  • 比较口径。 图 2 固定每台设备的 8 个本地去噪步骤,而非系统总步数。分布式方案另有服务器的 7 个共享步骤,每张图像共经历 15 步;非分布式方案仅 8 步。因此,该图比较的是相同端设备预算,质量提升部分来自额外共享计算。

  • 两用户计算量。 分布式方案为 7 + 2 × 8 = 23 7+2\times8=23 7+2×8=23 次;两用户各自完成 15 步需 2 × 15 = 30 2\times15=30 2×15=30 次,因此共享可减少 7 次重复计算。但图中 8 步基线仅需 2 × 8 = 16 2\times8=16 2×8=16 次,不能据此认定分布式方案的系统总计算量更低。

  • 公平比较。 应对比“服务器 7 步+端设备 8 步”与“端设备独立 15 步”,并综合评估能耗、时延、总计算量和生成质量。

数值结果与讨论

本节给出与协作式分布式 AIGC 框架相关的数值结果并展开讨论,内容分为实现与性能两部分。

实现

我们在一部 Redmi K40 智能手机上实现了 Stable Diffusion v1-4 模型 [5]。该设备配备 12 GB 内存、256 GB 存储空间和 Qualcomm Snapdragon 870 处理器。借助针对移动平台优化的 ncnn 框架(https://github.com/Tencent/ncnn),该模型可在没有互联网连接的情况下运行。我们使用 pnnx 工具转换 CLIP(https://github.com/openai/CLIP)与扩散模型,使其能够离线部署。在提示词处理阶段,我们还采用 EuLer-A(https://huggingface.co/docs/diffusers/api/schedulers/euler_ancestral)作为采样器,以确保输出图像的分辨率稳定为 512 × 512 512\times512 512×512 像素。

在计算能力有限的网络端设备上执行扩散模型的可行性: 我们已在手机上实现一种基于扩散模型的 AIGC 模型,即 Stable Diffusion v1-4 模型 [5]。这一成功部署为所提框架能够在本地执行提供了经验证据,图 4 展示了实现结果。不过,必须认识到,手机的计算能力可能限制扩散模型的推理速度与性能。该限制会延长处理时间,并可能约束可执行模型与任务的复杂度。为应对这些挑战,可以采用多种优化技术,例如通过模型剪枝降低模型规模与复杂度,通过量化降低计算所需的数值精度,以及通过硬件加速利用专用硬件组件改善性能。

在这里插入图片描述

图 4. 在无互联网连接的手机上实现 Stable Diffusion v1-4 模型 [5],以及推理时间测试。

无线传输对基于扩散模型的 AIGC 的影响: 无线传输会影响边缘网络中基于扩散模型的分布式 AIGC 计算性能。以下几个因素会影响扩散结果能否成功、准确地传输:

  • 发射功率: 提高发射功率可以增大信噪比(Signal-to-Noise Ratio, SNR),从而提高数据传输的准确性与可靠性。此外,还可以根据效率和公平性准则,为不同用户的扩散任务传输自适应地分配发射功率。
  • 衰落: 受多径传播和阴影效应影响,无线信道经常出现衰落。衰落会引起接收信号强度波动,使传输质量发生变化;系统可以通过调度扩散任务的传输来避开衰落。例如,在深度衰落期间,边缘服务器可以执行更多去噪步骤,等信道质量改善后再把结果传输到移动设备。
  • 移动性: 边缘网络内设备的移动会使信道条件快速变化,要求通信系统迅速适应。高速移动可能增加切换频率,导致暂时的服务中断并降低系统性能。同样,可以根据不同用户的移动模式调整去噪步骤。

我们考虑这样一种情况:用户 1 在完成共享去噪步骤后把结果传输给用户 2,而无线环境可能引入比特错误。图 3 展示了在不同误比特概率下,用户 2 使用从用户 1 接收的结果执行本地去噪步骤后生成的图像质量。除视觉展示外,我们还计算了多种图像质量评估指标,包括均方误差(Mean Squared Error, MSE)、峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)以及结构相似性指数(Structural Similarity Index, SSIM)[15]。可以看到,尽管误比特概率上升确实会损害最终结果,但分布式 AIGC 计算具有较强的鲁棒性。当误码率达到 2% 时,用户 2 仍能生成高质量图像。这是因为如图 1 所示,用户 2 在本地执行的扩散过程能够通过去噪步骤在一定程度上修正图像,并提高最终生成质量。

在这里插入图片描述

图 3. 不同误码率下最终生成图像的质量指标,即 MSE、PSNR 和 SSIM,展示了无线传输对分布式 AIGC 计算方法的影响。具体而言,用户 1 和用户 2 的文本提示词分别为 “Apple on Table(桌上有一个苹果)” 和 “Lemon on Table(桌上有一个柠檬)”。所用 AIGC 模型为 Stable Diffusion v1-4 模型 [5]。用户 1 的设备执行 5 个共享步骤,并把中间结果传输给用户 2;随后用户 2 执行 6 个本地步骤,最终生成的图像显示在用户 2 的设备上。

性能

下面讨论把所提协作式分布式 AIGC 框架应用于无线网络时会遇到的问题及需要考虑的因素。

联合去噪步骤占比对系统性能的影响: 在所提分布式 AIGC 计算框架中,共享去噪步骤的占比会显著影响系统性能。随着共享去噪步骤数增加,系统资源的利用效率会提高。原因在于,多个用户任务可以共享相同的扩散生成结果,从而减少各用户的工作负载,更有效地利用可用资源。然而,必须在共享去噪步骤数与生成图像质量之间取得平衡。如果用户终端针对自身任务执行的去噪步骤过少,就很难生成符合任务要求的高质量图像。因此,共享去噪步骤的占比与图像质量之间存在权衡。

在这里插入图片描述

图 5. 共享去噪步骤占比对系统性能的影响。

图 5 通过改变共享去噪步数,考察计算复用效率与用户 2 生成图像质量之间的权衡。实验设置如下:

  • 任务设置: 用户 1 的提示词为 “Apple on Table(桌上有一个苹果)”,用户 2 的提示词为 “Lemon on Table(桌上有一个柠檬)”。

  • 执行方式: 用户 1 执行完整的 11 步扩散过程。当共享去噪步数为 k k k 时,用户 2 接收用户 1 在第 k k k 步得到的中间扩散结果,再完成剩余的 11 − k 11-k 11k 个本地去噪步骤。

共享去噪步数 k k k 用户 2 的本地去噪步数 用户 2 的生成结果
5 6 能够获得视觉效果良好的图像
7 4 输出在语义上仍满足提示词要求,但图像质量下降
9 2 剩余步骤不足以完成用户 2 的任务请求

结论: 增加共享去噪步数可提高计算资源的复用效率,却会减少用户 2 针对自身任务进行本地去噪的空间。因此,需要找到不牺牲图像质量的最优平衡点。如果能够最优配置共享去噪步数,本框架便可在节省资源的同时胜过中心化系统;针对不同用户任务,最合适的共享步数仍需通过实验与分析确定。

注:

  • 共享阶段的文本条件。 图 5 中的共享中间结果来自用户 1 以 “Apple on Table” 为条件的去噪轨迹;用户 2 接收该结果后才改用 “Lemon on Table” 继续去噪,而非在共享阶段融合两个提示词。图中具体展示的是用户 1 向用户 2 传输;若改由边缘服务器执行共享步骤,服务器将承担同样的角色。

  • 权衡的本质。 共享步数越多,中间结果越偏向“苹果”语义,同时留给用户 2 通过“柠檬”提示词调整结果的步骤越少,因而计算复用率与任务可调整性之间存在权衡。

用户提示词语义内容差异对系统性能的影响: 在所提分布式 AIGC 计算方法中,系统首先执行一部分共享去噪步骤,然后把得到的中间输出传输到端设备,由端设备完成针对各自具体任务的剩余步骤。当用户提示词的语义内容存在显著差异时,共享去噪步骤的效果可能受到不利影响,最终结果也可能并非最优。图 6 给出了一个例子:由于用户提示词的语义内容差异很大,分布式 AIGC 计算未能得到有效利用。

在这里插入图片描述

图 6. 分布式 AIGC 计算的一个失败示例。去噪总步数、共享去噪步数和本地去噪步数分别为 11、4 和 7。

为解决这一问题,必须根据用户任务的语义信息谨慎地对用户进行分组。将语义需求相近的用户聚为一组,可以让共享去噪步骤更好地服务于每个组的内容需求,并保证中间结果更有效地传输到端设备。合理的用户聚类还可以减少计算开销、提高资源利用效率,从而改善系统整体性能。此外,也可以采用缓存机制作为另一种解决方案。在这种设置下,边缘服务器存储或缓存新任务产生的中间输出,使未来处理语义信息相近的任务时速度更快、资源消耗更低。

未来方向

面向分布式 AIGC 计算的激励机制设计

无线网络中的 AIGC 计算任务需要高效完成,以保证最优性能。激励机制设计可以鼓励用户和设备贡献资源、参与计算过程,从而提高计算效率并降低成本 [10]。尽管激励机制通常适用于多种 AI 服务,但 AIGC 服务的迭代性和分布式特征带来了独特挑战,需要参与设备之间密切协作并保持同步。因此,未来研究应重点设计能够考虑 AIGC 任务特定要求与约束的激励机制,例如时延、同步和资源可用性;同时还应促进资源共享与协作,推动更高效 AIGC 系统的发展。

采用自适应调制的扩散与信道联合编码

通过联合优化基于扩散模型的 AIGC 计算与信道编码,并根据当前信道条件调整调制编码方案,通信系统可以有效优化吞吐量与可靠性之间的平衡。该方法需要对扩散模型与信道编码进行协同设计,同时考虑 AIGC 的具体特征和信道条件。为实现这一点,系统可以动态适应信道质量的变化,并引入反馈机制,以保证最优的 AIGC 性能。

面向分布式 AIGC 计算的安全方案设计

隐私保护是包括 AIGC 在内的 AI 服务的重要方面。保证敏感数据在分布式 AIGC 计算过程中始终安全,是一个前景良好的研究方向。特别是,引入基于区块链的技术可以通过保证数据去中心化、防止恶意参与者破坏分布式 AIGC 计算过程来帮助解决这些挑战。例如,可以利用区块链支持的共识机制,在无线传输期间维护设备间共享的 AIGC 中间结果的完整性与机密性。此外,研究安全且有效的传输过程审计与监控方法,例如基于机器学习的异常检测或密码学计算证明,可以进一步保证分布式 AIGC 计算过程的正确性与安全性。

结论

我们提出了一种协作式分布式 AIGC 计算方法,以克服计算资源有限的设备在提供基于扩散模型的 AIGC 服务时面临的挑战。该分布式 AIGC 计算框架利用设备间的协作能力,旨在提高 AIGC 任务执行的整体效率与可扩展性。我们深入研究了分布式 AIGC 计算框架,阐明了其核心原理、在无线网络中的潜在适用性,以及它为跨设备持续交付 AIGC 服务所创造的机遇。此外,我们还通过数值结果分析和讨论,考察了所提方法的可行性、它对 AIGC 生态系统的影响,以及将其纳入现实场景所面临的障碍。随着 AIGC 成为数字生活不可或缺的一部分,制定能够有效满足持续增长的 AIGC 服务需求的策略至关重要。我们希望本工作能够启发研究人员与工程实践者进一步探索无线网络赋能的 AIGC。

致谢

本工作得到以下项目的部分支持:中国国家自然科学基金项目(编号 62102099);广州市基础研究计划项目(编号 SL2022A04J01471);珠江人才引进计划项目(编号 2021QN02S643);新加坡国家研究基金会和资讯通信媒体发展局未来通信研究与发展计划;DSO 国家实验室 AI Singapore Programme(AISG)项目(编号 AISG2-RP-2020-019);Energy Research Test-Bed and Industry Partnership Funding Initiative、Energy Grid(EG)2.0 Programme、DesCartes 与 Campus for Research Excellence and Technological Enterprise(CREATE)Programme,以及新加坡教育部 Tier 1 项目(编号 RG87/22);SUTD SRG-ISTD-2021-165 与 SUTD-ZJU IDEA 项目(编号 SUTD-ZJU (VP) 202102);新加坡教育部 SUTD Kickstarter Initiative 项目(编号 SKI 20210204);以及韩国科学技术信息通信部(MSIT)在 IITP 监督下实施的 ICT Creative Consilience Program(编号 IITP-2020-0-01821)。

更多推荐