一、被动隐私泄露

隐私泄露指用户的敏感信息在无意间或通过某些机制被暴露。三种常见方式:

1、敏感信息查询

用户向AI大模型询问医疗状况、财务状况或个人关系,可能不经意暴露私人生活细节;若用户按模型提示进一步提供敏感信息,则直接造成泄露。另一个新风险源是第三方插件生态:平台集成的插件可能在用户与模型交互过程中过度收集个人数据(健康状况、财务信息、身份细节),有的插件在未明确告知、未获得用户同意的情况下收集数据并挪作他用。

2、上下文泄露

例如询问附近地标或当地活动,可能无意泄露用户的位置或活动;随时间推移,用户与模型的重复交互可能积累足够信息来唯一识别用户。

3、隐私偏好泄露

LLM 不仅能从用户的查询与互动中推断个人偏好、兴趣或特征,还能据此生成量身定制的内容(定向广告、个性化推荐、社交推送),而这些功能本身可能泄露敏感信息。例如推荐系统通过分析历史数据提供个性化产品/内容推荐,在提升体验的同时暴露用户隐私。

泄露既可以是用户直接提供敏感信息,也可以是间接暴露:仅通过看似普通的查询(如询问某产品),模型对用户行为的分析和推测即可推知其健康状况、财务状况等属性;服务提供商还可进一步用数据挖掘与用户画像技术推测用户的心理特征、消费习惯、社交圈等。

二、主动隐私攻击

主动攻击的核心目标是:通过分析模型的输出或操作方式,获取用户隐私信息或模型本身的敏感数据。五种典型类型:

1、后门攻击

攻击者在训练阶段(通常是预训练或微调阶段)引入恶意数据,将隐蔽"后门"植入模型,供后续利用:

  • 预训练阶段:向训练数据集注入投毒数据污染数据集;受污染数据在互联网广泛传播,开发人员在不知情下用它训练模型。模型部署后,攻击者利用后门窃取敏感信息(个人数据、机密文档、专有信息)引发隐私泄露,或操控模型输出误导性、有害内容。
  • 微调阶段:向微调数据集注入恶意数据或对抗样本,操控模型行为,使其生成带偏差或有漏洞的输出,削弱模型性能并可能产生违反隐私与公平原则的结果。

2、成员推理攻击

攻击者试图判断某一特定数据样本是否被包含在训练数据集中,手段是分析模型对查询的输出或响应。若模型行为暴露了敏感信息(如训练数据的记忆痕迹),即可实现隐私泄露。

  • 预训练阶段:利用模型对训练数据的记忆特性,训练数据中的规律、关系或重复模式会体现在模型行为中,攻击者通过分析输出识别这些特征痕迹,推测特定样本是否曾在训练数据中。
  • 微调阶段:聚焦模型在特定任务上的表现,通过细致观察模型响应,捕捉处理某些输入时的异常模式,判断这些输入是否属于微调数据。这种推断不仅可能泄露训练数据内容,还可能揭示数据分布特征。

3、模型反转攻击

通过分析 LLM 输出结果反推模型训练数据。攻击者多次查询模型并分析输出,逐步推测与特定数据样本相关的特征(模型的回答/预测中往往包含训练数据的间接信息),进而反推其中的敏感内容。危险性在于:攻击者无须直接访问训练数据或模型内部结构,仅凭输出分析即可揭示私人信息。

4、属性推理攻击

通过 LLM 推测个体的敏感特征或属性:基于模型生成文本中的语言模式或讨论话题,推断年龄、性别、种族等人口统计信息,甚至健康状况、地理位置等更隐私的细节,可能引发对个体的歧视和不公平对待。这些属性未必直接出现在训练数据中,但生成文本的隐含语言结构或主题偏向会泄露性别、职业、文化背景等间接特征;模型经过微调后,属性推理攻击的成功率可能大幅提高。

5、模型窃取攻击

攻击者通过查询 LLM 并观察其响应,提取模型参数或内部表示,以复制或重建模型。在无法访问原始训练数据的情况下,通过输出推测模型结构信息。关键在于攻击者能以有限查询获取足够信息重建一个功能相似的模型:向模型发起随机查询或依特定任务的启发式规则查询,分析输出逐步提取内部信息。威胁模型知识产权,也可能连带导致敏感数据泄露。

Logo

更多推荐