国庆假期除了加班以外，总归是要找点有意思的事来给自己做一做的，碰巧4号看到了一个比较有意思的视频号，有一个元宇宙虚拟人的短视频，秉着一切技术一定有人分享，所有代码必然开源的想法，我果然找到了网上开源的资料和代码，还是MIT实验室开源的。
麻省理工学院媒体实验室（MIT Media Lab）的研究人员开源了一个虚拟角色生成工具。该工具结合了面部、手势、语音和动作领域的人工智能模型，可用于创建各种音频和视频输出，一举登上《Nature Machine Intelligence》。

该项目主要用于音频或视频驱动视频，暂不支持文本驱动视频。主要用于医疗视频或其他视频通话时保护个人隐私视频驱动视频，使著名的历史或现代人栩栩如生。
项目地址：https://github.com/mitmedialab/AI-generated-characters
大概分为如下的几个环节：
数据准备
函数定义，
人物选择，
驱动上传：支持的方式有，录音，音频，视频
数据准备：
https://github.com/AliaksandrSiarohin/first-order-model
https://github.com/Rudrabha/Wav2Lip

这里有一个实现，请大家玩：
https://colab.research.google.com/drive/1y0YigI1RiTVd2Qr6HHpesAwYoovcvZaE?usp=sharing#scrollTo=9M320pz78nl7

参考资料：
https://www.johngo689.com/75188/
ttps://news.mit.edu/2021/ai-generated-characters-for-good-1216
https://www.nature.com/articles/s42256-021-00417-9
https://www.media.mit.edu/articles/characters-for-good-created-by-artificial-intelligence/