让马斯克和扎克伯格跳“科目三”，这可能是最懂社会摇的AI工具 | 新榜出品
作者 | 石濑
编辑 | 卷毛
AI视频领域又火了一款工具。
只需上传一张照片，就能让马斯克跳TikTok社会摇。（强烈推荐配合视频食用，注意⚠️有音乐）
来源：X博主“Benjamin De Kraker”
这段视频由最近悄悄走红的MagicAnimate生成。这一股扑面而来的社会摇味儿，背后原因无他，靠着短视频发家的字节跳动也下场做起了AI视频生成工具。
TikTok社会摇刷屏X，都是AI做的……
MagicAnimate是新加坡国立大学和字节跳动联合推出的一款“人体图像动画生成工具”，它能够根据用户指定的人物图片和动作序列，生成对应的动效视频。
上周二一经发布，X（前推特）仿佛遭到了抖音TikTok入侵，一刷满屏都是社会摇。
先是官方demo刷屏。
静态图片变TikTok小姐姐热舞⬇️
如果单人不够带劲，MagicAnimate还支持把多人照片变成动作视频，主打一个多人群舞，目不暇接：
以往依靠专业创意人士才能实现的“天马行空”，现在普通人也能用MagicAnimate，轻松制作名画二创。
让蒙娜丽莎跑步、做瑜伽都不在话下。
官方称在挑战性极高的TikTok舞蹈数据集上，MagicAnimate生成的视频真实度比最强基线提高了超过38%。
这意味着使用这个工具，你可以制作出更加逼真和流畅的舞蹈视频。
因为MagicAnimate项目已经开源可用，网友纷纷加入共创，晒出自己的社会摇作品。
《玩具总动员》胡迪摇：
来源：X博主“s3nh”
离大谱的“佛像”摇：
来源：X博主“コイズミヒロカ”
X博主“BlaineBrown”甚至第一时间部署了MagicAnimate，调侃自己马上可以变成赚数百万美元的TikTok网红。
技术大佬HuggingFace首席技术官Julien也没忍住，用自己的头像做了一个跑步的动态视频，打笑称“这周可以不去健身房了。”
看到这里，相信很多玩家也想自己上手试试。总的来说，目前想玩上MagicAnimate有三种主流方法（相关链接已整理放在文末）：
第一种，因为项目已经开源可用，硬件能顶，想畅快体验的玩家可以部署到本地运行；
第二种，通过谷歌Colab设置运行MagicAnimate；
第三种，HuggingFace上有MagicAnimate在线体验网页，适合大多数没有技术背景的普通玩家，只需进入项目主页，操作一目了然。
以HuggingFace为例，首先，在界面左下方拖入或上传一张，你想整活的图片；其次你可以选择官方动作demo，也可以上传视频作为动作参考；接着在最右侧调整参数，点击“Animate”即可生成视频。
不过，MagicAnimate发布后，火到直接冲上HuggingFace热门榜第一，由于排队体验的人太多，“头号AI玩家”苦蹲了一天都没顺利用上。
好在多番尝试下，我们通过谷歌Colab用上了MagicAnimate，立刻让马斯克来了段TikTok社会摇。
虽然舞是跳了，但可以看到生成的马斯克脸部实在拉垮，马斯克亲妈来了都不一定认得这是自己的儿子。
和官方demo比更是相形见绌。
难道是上传的图片人物不太清晰？于是，我找来了马斯克的高清证件照，测试了一波。
稍稍瞥一眼，AI似乎把老马整年轻了20岁，体态精瘦，头发还有点日本动漫风。不过，舞跳着跳着MagicAnimate版马斯克就把衣服脱了，露出腹肌，面部表情管理也逐渐失控……
那么，多人社会摇效果如何呢？不如让马斯克和扎克伯格一起跳段“科目三”。
我上传了海底捞版双人齐舞“科目三”作为参考视频，参考图片则是数字艺术家@julian_ai_art用AI制作的恶搞图片：马斯克与扎克伯格在海边牵手漫步。
等待良久，第一版视频画面直接糊到看不出来谁是谁，无奈之下还是用了官方给的动作示例，虽然顺利生成了两人海边跳舞的场景，但效果也不尽如人意。
多轮实测下来，可以说，MagicAnimate目前生成的视频效果算不上惊喜（甚至有些惊吓），用来网上玩梗还行，离实际落地应用还有很大一段距离。
长期关注AI视频领域的X博主“Benjamin De Kraker”花了几个小时体验MagicAnimate后，给出的评价也不是太高，认为“MagicAnimate偏向生成非常女性化的结果，甚至去除面部和衣服”，并猜测它是在音乐视频上进行的训练。
国内大厂齐下阵，AI视频下一个战场已开打
最近图生视频赛道上，频频闪现国内大厂的身影。
除了字节跳动的MagicAnimate，阿里近期也发布了一款功能类似的AI视频生成工具名叫Animate Anyone，双方项目论文上线时间仅相差一天，引得网友直呼有种“淘宝买家秀 vs 抖音舞蹈秀”的感觉。
同样只需一张图，不管是真人照片还是动漫人物，只要你想，Animate Anyone就能让它“动起来”。
虽然功能类似，但从技术层面上来说，两者大有不同。
如果把Magic Animate想象成一个智能动画师，它有两个工具帮助自己制作动画。一个工具叫“视频扩散模型”，负责捕捉时间信息；一个工具叫“外观编码器”，负责模仿参考图片生成流畅的画面，最后通过视频融合技术，确保长视频动画过程中的平滑过渡。
Animate Anyone这个动画师呢，则强调用程序算法提升模型在时间、空间、交叉维度上的能力，来让生成的视频更加逼真。
可惜Animate Anyone目前尚未公开源代码，无法比较双方在不同的技术思路下，谁的实际生成效果更好。
但不得不说，AI视频生成领域的进步“有目共睹”，对比之前技术，Magic Animate在基准测试中已经有了很大的提升。
与此同时，字节跳动早就在布局AI视频生成领域。
实际上，Magic家族不止有MagicAnimate，还有今年8月底一起上线的MagicAvatar和MagicEdit。
MagicAvatar主打文生视频，也支持上传参考视频/图片，辅助AI视频生成；MagicEdit则定位为视频编辑修改，用户可以通过文本提示词修改视频内容，甚至实现1秒扩大视频画幅。（对这两个项目感兴趣的玩家，可以拉到文末查看项目链接，自行前往查看更多）
MagicEdit提示词指令扩图
如今主流的内容传播载体之中，视频是唯一能够同时结合文字、图片、声音、动作等多种元素，用更直观、生动的方式呈现信息的媒介形式。
正因为如此，随着AIGC大潮卷完文生文和文生图，视频生成自然成了下一个兵家必成之地。
今年下半年，尤其是进入11月之后，越来越多的AI视频初创公司开始崭露头角，如大火的Runway、Pika；之前以AI绘画走红的Stable Diffusion背后母公司也转向视频领域发布了第一个开源AI视频生成模型。
如今国内不仅大厂阿里、字节跳动加入了AI视频混战，诸如Hidream、Morph Studio、右脑科技、爱诗科技等初创公司也陆续推出AI视频产品并快速迭代。一向主打图像的美图公司，近日推出AI模型MiracleVision 4.0版本，火速补齐了“AI视频”能力，支持使用提示词及图片生成视频。
无论各家业务目的如何，相信最终会加快AI视频生成技术更快地传播开来。就像近期网上走红的抖音AI扩图一样，不妨让更多人先玩上AI，再谈AI变革生产力。
MagicAnimate项目及演示：https://showlab.github.io/magicanimate/
论文：https://arxiv.org/abs/2311.16498
Colab地址：https://t.co/bbgtr7HCLy
Huggingface在线测试：https://huggingface.co/spaces/zcxu-eric/magicanimate
MagicAvatar项目主页：https://magic-avatar.github.io/
MagicEdit项目主页：https://magic-edit.github.io/