整理 | 郑丽媛

出品 | CSDN（ID：CSDNnews）

在 ChatGPT 的“点火”下，这趟名为 AI 的列车已逐渐从幕后驶向台前，吸引了不少人的关注和“搭乘”——而科技，向来是一把双刃剑。

俗语有言，“耳听为虚，眼见为实”，可如今在 AI 的影响下，“眼见”也不一定为“实”了：近日，一骗子通过智能 AI 换脸和拟声技术，使某科技公司老板在 10 分钟内被骗了 430 万元。

有网友感慨：“当年看《黑镜》，总觉得荒诞，万万没想到里面的许多都在一点一点实现。”

利用 AI 技术伪装熟人，骗走 430 万元

据包头警方发布，这起诈骗案发生在今年 4 月 20 日，受害者是福州市某科技公司法人代表郭先生。

当天中午 11 时 40 分，郭先生的“好友”突然通过微信视频联系他，经过短暂聊天后，“好友”告诉郭先生：自己的朋友在外地投标，需要 430 万元保证金，还要公对公账户过账，想借用郭先生公司的账户走一下账。

基于对好友的信任，以及视频聊天的证明，郭先生将银行卡号给了对方。很快对方就说已经把钱打到账户上了，还附上了银行转账底单的截图。郭先生看到之后，出于信任也没有对此进行核实，便在 11 时 49 分分两笔向对方给的银行卡共打了 430 万过去。

一切看似都很正常，直至转账成功后——郭先生向好友微信发消息，称事情已办妥，结果好友竟回了一个“？”。

顿感事情蹊跷的郭先生，迅速拨打了好友电话，才知道好友对此毫不知情，刚才与其视频通话的原来是用了 AI 换脸和拟声技术的骗子！

这场利用 AI 技术伪装熟人的高端电信诈骗，令郭先生颇为感慨：“从头到尾都没有和我提借钱的事情，就说会先把钱给我打过来，再让我给他朋友账户转过去，而且当时是给我打了视频的，我在视频中也确认了面孔和声音，所以才放松了戒备。”

除此之外，骗子提供的收款账户也确实是一个包头市的对公账户，更让当时的郭先生相信了此事的真实性。

值得庆幸的是，发现骗局后的郭先生立即报了警，相关警方也联合银行迅速展开行动，将诈骗账户内的 336.84 万元成功拦截，不过仍有 93.16 万元被转移。

事实上，近些年利用 AI 进行诈骗的案例一直层出不穷，而在最近的 AI 热潮下，一些“换脸”、“换声”的 AI 软件因其“娱乐性”更是被重新赋予了热度。

AI 换脸、换声的背后

有关 AI 换脸软件，多数是 Deepfake 技术的化身，最初源于一个名为 “deepfakes” 的 Reddit 用户。该技术的核心原理，是利用生成对抗网络或者卷积神经网络等算法，将目标对象的脸转移至到被取代对象上。

具体来说，就是把视频分割成一张张连续图片，将每一张图片中的脸进行替换，最后将全部替换后的图片再合成视频，以此实现“换脸”——而这只是 Deepfake 最初的用法，局限性还较大，只能对已有视频进行后期“换脸”。

然而随着 AI 技术的逐渐发展，最让人担心的事情还是发生了：用 AI 可以实时“换脸”了。

2020 年，一位俄罗斯程序员 Ali Aliev 在疫情期间开发了一款“视频会议阿凡达”软件 Avatarify，即用户可以在视频会议过程中“换脸”。不仅可以选择马斯克、爱因斯坦、蒙娜丽莎等名人，还可以自己去网上找名人大头照放进 avatars 文件夹里。

至于 AI 换声，目前其发展也较为成熟，相关软件及开源项目不胜枚举，例如：

▶ 谷歌 DeepMind 基于深度学习的原始音频生成模型 WaveNet，在语音合成的声学模型建模中，可直接学习到采样值序列的映射，能高度模仿人类声音。

▶ AI 语音克隆算法项目 MockingBird，号称能“5 秒内克隆你的声音并生成任意语音内容”，主要通过 Encoder 获取说话声音的音色，然后用 Synthesizer 和 Vocoder 根据输入文字实现 TTS 合成语音。

▶ 前阵子网上爆火的“AI 孙燕姿”，其背后是基于 VITS、soft-vc 等项目开发的开源 AI 语音转换软件 So-vits-svc （也称 Sovits），通过 SoftVC 内容编码器提取源音频语音特征，与 F0 同时输入 VITS 替换原本的文本输入，以此达到声音转换的效果。

▶ ……

不能否认，这些成果在一定程度上反映了 AI 技术的进步，但与此同时，这些 AI 换脸、AI 换声工具也带来了相应的版权问题甚至是信任危机——正如上文郭先生所经历的 AI 诈骗，一段来自家人朋友发来的视频或语音，我们到底该不该相信？

有问题的不是 AI，而是使用 AI 的人

本月，知名安全机构迈克菲（McAfee）对来自七个国家的 7054 人，针对 AI 诈骗进行了调查，结果显示：

近四分之一的人遇到过某种形式的 AI 语音诈骗；10% 的人称自己就受到过诈骗；15% 的人称熟悉的人受到过诈骗；更有 77% 的受害者声称因此被骗过钱。

“先进的 AI 工具正在改变网络犯罪分子的诈骗手法。现在他们几乎不费吹灰之力，就可以克隆一个人的声音，欺骗亲密接触者汇款。”McAfee 的研究团队表示：随着 AI 的发展，诈骗的门槛从未如此之低，实施网络犯罪也从未如此简单。

对于越来越多的 AI 诈骗，许多人都发出感慨：“我们还没用上 AI，骗子却已经上手了”，“这科技发展的同时，诈骗技术也不断升级，防不胜防”，“这用 AI 模仿声音又模仿脸的，要怎么防啊？”

面对这些担忧，许多安全专家以及 McAfee 等安全机构都给出了相关建议：

▶ 要提高防范意识，不轻易提供人脸、指纹等个人生物信息给他人，不过度公开或分享动图、视频等；

▶ 有关转账请求，始终保持质疑态度，转账前要通过电话等多种沟通渠道核验对方身份，一旦发现风险，及时报警求助。

▶ 与家人或值得信赖的好友，私下设置一个只有彼此才知道的口头“暗语”。

尽管 AI 诈骗正在逐渐蔓延，不过这并不是制止 AI 发展的理由。技术的发展往往都伴随着利弊，这是时代的洪流，亦无法避免——有问题的不是 AI，而是使用 AI 的人。

参考链接：

https://gaj.baotou.gov.cn/jffb/article/detail?articleId=857963750869831680

https://www.mcafee.com/en-us/consumer-corporate/newsroom/press-releases/press-release.html?news_id=5aa0d525-c1ae-4b1e-a1b7-dc499410c5a1

推荐阅读：

▶华为MetaERP全球上线，15小时完成全球88个子公司切换；微软Win12最快明年问世；FerretDB 1.2发布|极客头条

▶能看图推理、聊天对话的多模态DetGPT来了！

▶微软许建志：AI-First App，一个既残酷、又美好的时代