金磊发自凹非寺看！现在正有四位小姐姐在你面前大秀热舞：以为是某些主播在短视频平台发布的作品？No，No，No。真实答案是：假的，生成的，而且还是只靠了一张图

你以为这是一些主播在短视频平台上发布的作品？

不，不，不。

真正的答案是：假的，生成的，而且只依赖于一张图片！

实际的打开方法是这样的：

这是新加坡国立大学和字节跳动的最新研究成果，名为MagicAnimate。

它的功能可以用一个简单的公式来概括：一张图片+一组动作=一段毫无违和感的视频。

然后，这项技术一经公布，就在科技圈引起了不小的轰动，不少科技大佬和极客都开始玩起了花样。

甚至HuggingFace CTO 也用自己的头像进行了尝试：

顺便，他还开了一个幽默的玩笑：

这算健身吗？这周我可以不去健身房了。

还有网友更新得相当及时，正在玩新发布的GTA6（侠盗猎车手6）预告片中的角色：

就连表情包也成为了网友们挑选的对象……

MagicAnimate可以说是把科技圈的注意力都集中到了自己身上，因此有网友调侃：

OpenAI 可以休息一下了。

火，真的火了。

一张图即可生成一段舞

那么如何“吃”这么受欢迎的MagicAnimate呢？

话不多说，让我们一步一步来体验吧。

目前项目组已在HuggingFace开通了在线体验页面：

操作也非常简单，只需三步：

上传静态人物照片，上传要生成的动作演示视频，调整参数，然后点击“动画”。比如下面是我的照片和最近风靡全球的《科目三》舞蹈片段：

视频来源：抖音（ID：QC0217）

您还可以选择页面底部提供的模板进行体验：

不过需要注意的是，由于MagicAnimate目前过于流行，因此在生成过程中可能会出现“宕机”的情况：

抖音舞蹈不需要真人出现在镜头上，只需一张照片就可以生成高质量的视频！

就算成功“吃”了，可能还是要排队……

（没错！截至发稿，我们还没有等到结果！）

此外，MagicAnimate还在GitHub上提供了本地体验方法。有兴趣的朋友可以尝试一下~

那么下一个问题是：

怎么做到的？

总体而言，MagicAnimate 采用了基于扩散模型（diffusion）的框架，目的是增强时间一致性、保持参考图像的真实性、提高动画保真度。

为此，团队首先开发了视频扩散模型（Temporal Consistency Modeling）来对时间信息进行编码。

该模型通过向扩散网络添加时间注意模块来对时间信息进行编码，以确保动画中帧之间的时间一致性。

其次，为了保持帧之间的外观一致性，团队引入了新的外观编码器（Appearance Encoder）来保留参考图像的复杂细节。

该编码器与之前使用CLIP编码的方法不同，能够提取密集的视觉特征来指导动画，从而更好地保留身份、背景和服装等信息。

基于这两项创新技术，团队进一步采用了简单的视频融合技术（Video Fusion Technique）来促进长视频动画的平滑过渡。

最终，两个基准测试的实验表明，MagicAnimate 的结果远远优于以前的方法。

尤其是在具有挑战性的TikTok 舞蹈数据集上，MagicAnimate 在视频保真度方面比最强基线高出了38% 以上！

团队给出的定性对比如下：

并与交叉ID的SOTA基线进行对比，结果如下：

One More Thing

不得不说，像MagicAnimate这样的项目最近真的很火。

这不，在“出道”前不久，阿里巴巴团队还发布了一个名为Animate Anybody 的项目，同样只需要“一张图片”和“想要的动作”：

于是，也有网友提出疑问：

这似乎是MagicAnimate 和AnimateAnyone 之间的一场战争。谁更好？

你怎么认为？

论文地址：https://arxiv.org/abs/2311.16498

参考链接：[1]https://github.com/magic-research/magic-animate[2]https://twitter.com/cocktailpeanut/status/1732052908227588263[3]https://twitter.com/ProductHunt/status/1732116454647136449[4]https://twitter.com/Gradio/状态/1731992981715231162[5]https://twitter.com/dylan_ebert_/status/1732152096621813954

– 超过-