“有网友说，去年‘十一’放了7天假被我整整骂了8天。”近日，小米集团创始人雷军再次谈起自己去年深陷“虚假语音包”风波的“受害经历”。他说，人工智能技术兴起以后产生了很多新问题，呼吁相关部门要提前预判，提前立法。

近年来，人工智能（AI）大模型飞速发展并持续出圈，在提高生产力和创新力、带来新机遇的同时，也引发舆论对这一新技术被误用滥用的担忧。部分不法分子更利用AI技术，假冒名人身份进行诈骗、发布虚假广告，甚至通过伪造视频骗取巨额财产，严重威胁社会信任体系和信息安全。如“AI靳东”网恋诈骗，“AI张文宏”直播带货，“AI雷军”连环追骂，“AI古天乐林峯”代言游戏……此类事件层出不穷，公众人物沦为“AI假人”重灾区，也引发社会对AI换脸拟声的热议和警惕。

换脸视频造假成本低

公众人物频受其害

3月5日，中国香港知名艺人古天乐、林峯的经纪公司先后发布声明，称最近在社交媒体上发现有线上游戏平台利用AI技术，将古天乐、林峯的肖像、声音及过往视频片段，合成制作为带有赌博性质的代言宣传片。这些用AI技术合成的“宣传片”虽然尽力在脸部表情和声线、口音上模仿艺人本人，但整体画面制作较为粗糙，艺人讲台词的口形僵硬不自然，AI合成痕迹十分明显。声明指出，这些宣传片均为合成影片，并否认古天乐、林峯与有关游戏平台存在合作，或代言、推广业务，提醒各方人士不要轻信，以免上当受骗。

无独有偶，3月3日，有微博网友向著名演员刘晓庆求证：“看到一个微信视频号发了很多你的视频，好像是AI生产的，是假冒的吧？”据悉，这个假冒刘晓庆的微信视频号“晓庆人生”由广州慈亿生物技术有限公司注册，共有9条原创内容，均是用刘晓庆的形象和声线合成的AI视频，其中点赞最高的一条达到7.8万赞。随后，刘晓庆转发该微博并辟谣道：“天哪，我点进去看了一下，画面是我，声音很像我，但不是我！这是怎么做到的？大家以后不会搞不清楚哪个才是真的我了吧？我在各个平台都叫刘晓庆！”

网络上通常将这类换脸视频所使用的技术称为“Deepfake”。随着相关技术不断进步，今天的Deepfake和之前相比，不仅生成的视频分辨率更高、面部表情同步更自然，而且所需的数据更少、训练时间更短，造假成本极低。现在只需要有一张照片，几秒钟的语音，就可以生成Deepfake视频；如果有更多照片和更长的语音，生成的视频也会更逼真。

AI深度合成技术

给治理带来较大挑战

“AI换脸拟声”问题成为社会热议焦点之际，不少深受其害的公众人物呼吁立法，加强对人工智能领域的监管，整治“AI换脸拟声”诈骗乱象。

雷军指出，“AI换脸拟声”不当滥用造成了违法侵权行为，易引发侵犯肖像权、侵犯公民个人信息以及诈骗等犯罪行为，甚至造成难以挽回的大规模形象和声誉损害，带来社会治理等风险。AI深度合成技术所需素材获取便利、技术使用门槛低、侵权主体及其手段隐蔽性强等特点，给治理带来较大挑战。他呼吁，针对“AI换脸拟声”加快相关法律建立，明确应用边界红线，完善侵权证据认定规则，加大对利用人工智能技术实施犯罪行为的处罚力度，强化行业自律共治，加大普法宣传。

知名演员靳东在接受媒体采访时也提到：“一些喜欢我影视剧的观众，被AI换脸视频骗得很惨，这个性质非常恶劣。希望能建立更好的规则。”去年11月，江西一位老人深陷与“AI靳东”的网恋之中，险些被诈骗200万元，所幸被民警及时劝解阻止。上海市静安区法院今年2月3日则发布消息，指该院近日开庭审理一起假冒中国知名演员“靳东”诈骗案，对八名被告人作出一审判决，其中主犯被判有期徒刑三年。

东浩兰生集团上海工业商务展览公司高管陈达则以“AI张文宏”直播带货事件为例，指出应加强对AI技术的立法监管，防止它被用于违法犯罪活动，特别是针对老年人和未成年人的网络诈骗。他建议，在立法层面应加强对AI技术的监管。立法监管不仅是对AI技术的约束，更是对它健康发展的一种保障。通过立法明确AI技术的使用范围和条件，可以引导企业和社会各界在合法合规的框架内发展AI技术，推动“科技向善”，让技术更好地服务于社会。

南方日报记者 张思毅