不，不，不
这其实就是AI利用视频实时剪切图像的效果。
出乎意料的是，实时视频抠图现在可以精细到每一根发丝。
切换到Alpha 通道再看一下。不用说，鸽子会付钱（手动狗头）。
这是字节跳动实习生的最新研究：实时高分辨率视频抠图方法。
无需任何辅助输入，只需将视频扔给这个名为RVM的AI，它就会在几分钟内帮你高精度地剪出人像，并用可二次处理的绿屏替换背景。
不相信它如此丝滑？我们通过在线演示亲自尝试过。
相比之下，现在的在线会议软件的抠图功能，一旦头发遮住了脸，人就会消失……
头发明显模糊了。
难怪网友直言：
我无法想象你把这个人工智能放进你的手机里。
目前，该论文已入选WACV 2022。
你也可以上手一试
目前RVM已在GitHub开源，提供两种试用方法：
于是我们很快就开始尝试。
我们先看一下效果：
让我们从不太困难的事情开始吧。
对于这种人物在画面中基本不动的情况，RVM可以说表现得非常好，几乎和手动抠图没有什么区别。
现在，王冰冰没有违反任何规则地进入了动物森友会。
所以我的想象力变得更容易开放.
咳咳，咱们言归正传吧。如果角色的运动范围增加会发生什么？
对于多人舞蹈视频，RVM的表现也非常不错。
即使它四处走动、甩动头发，也不会影响它的抠图效果。
只有当字符被遮挡时才会出现缺陷。
与前身方法MODNet相比，确实有很大的进步。
然而我们也发现，如果视频背景较暗，则会影响RVM的性能。
比如在这种背景光昏暗的情况下，抠图效果就很不理想。
正如你所看到的，博主的头发完全模糊了。
而且身体的界限也不够清晰。
因此，如果你想自己进行视频测试，一定要选择光线充足的场景。
利用时间信息
那么这样的“魔力”是如何实现的呢？
按照惯例，我们先来看看论文吧~
事实上，如今与视频抠图相关的算法并不少见，大多都是采用将视频中每一帧视为独立图像的方法来实现抠图。
与此不同的是，在本文中，研究人员构建了一个循环架构，利用视频的时间信息，在时间一致性和抠图质量方面取得了显着的改进。
从上图可以看出，RVM网络架构由3部分组成：
特征提取编码器，用于提取单帧特征；
用于总结时间信息的循环解码器；
用于高分辨率上采样的深度引导过滤(DGF) 模块。
其中，循环机制的引入使得AI能够在连续的视频流中进行自我学习，从而学习哪些信息需要保留，哪些信息可以遗忘。
具体来说，循环解码器采用多尺度ConvGRU来聚合时间信息。其定义如下：
在这个编码器-解码器网络中，AI将完成高分辨率视频的下采样，然后使用DGF对结果进行上采样。
此外，研究人员还提出了一种新的训练策略：同时使用抠图和语义分割目标数据集来训练网络。
这样做的好处是：
首先，人像抠图与人像分割任务密切相关。人工智能必须学会从语义上理解场景，以便能够稳健地定位人类主体。
其次，大多数现有的抠图数据集仅提供真实的alpha通道和前景信息，因此必须合成背景图像。但前景和背景的光照往往不同，影响构图效果。语义分割数据集的引入可以有效防止过拟合。
最后，语义分割数据集具有更丰富的训练数据。
经过这次培训，RVM 与之前的产品相比有何改进？
从效果对比中可以明显感受到这一点：
此外，RVM 比MODNet 更轻、更快。
从下表可以看出，RVM在1080p视频上的处理速度最快，在512288上比BGMv2稍慢，在4K视频上比带有FGF的MODNet稍慢。研究人员分析，这是因为RVM除了alpha通道之外还预测了前景。
更直观的数据是，在NVIDIA GTX 1080Ti上，RVM可以以76FPS的速度处理4K视频，以104FPS的速度处理高清视频。
一作字节跳动实习生
本文由林山川一佐在字节跳动实习期间完成。
毕业于华盛顿大学，获得学士和硕士学位，曾在Adobe、Facebook等大公司实习。
2021年3月至6月，林山川在字节跳动实习。我八月份刚刚加入微软。
事实上，林山川此前曾凭借AI抠图方法获得了CVPR 2021最佳学生论文荣誉奖。
以第一作者身份发表论文《Real-Time High-Resolution Background Matting》，提出Background Matting V2方法。
该方法可以处理30FPS的4K视频和60FPS的高清视频。
值得一提的是，Background Matting系列方法不止一次荣获CVPR。此前，第一代Background Matting已纳入CVPR 2020。
此外，本文的第二共同作者是字节跳动研究科学家杨林杰。毕业于清华大学，获学士学位，香港中文大学博士学位。
对了，除了在Colab 上尝试之外，你还可以在网页版上实时体验这个AI 的效果。获取地址：
https://peterl1n.github.io/RobustVideoMatting/#/演示
GitHub地址：https://github.com/PeterL1n/RobustVideoMatting 论文地址：https://arxiv.org/abs/2108.11515 参考链接：https://www.reddit.com/r/MachineLearning/comments/pdbpmg/r_robust_highresolution_video_matting_with/
– 超过-
用户评论
在哪跌倒こ就在哪躺下
王冰冰的抠图技术真是精湛，这个AI技术也厉害，4K 60帧的视频都能实时裁剪，真是科技进步的体现啊！
有17位网友表示赞同！
怀念·最初
这个AI抠图技术听起来很牛，但是感觉王冰冰的完美抠图才是亮点，这种技术应该应用到更多视频制作中。
有12位网友表示赞同！
掉眼泪
实习生开发的AI技术太厉害了，能实现4K 60帧的实时裁剪，这对我来说是个福音，以后剪辑视频更方便了。
有15位网友表示赞同！
昂贵的背影
王冰冰的抠图效果确实不错，但是感觉这个AI技术更值得关注，毕竟4K 60帧的实时处理对硬件要求很高。
有14位网友表示赞同！
夏至离别
没想到实习生就能开发出这样的AI技术，真是人才辈出，王冰冰的完美抠图也是靠这个技术加持的。
有10位网友表示赞同！
怪咖
这个AI技术太神奇了，可以实现4K 60帧的实时裁剪，感觉以后视频制作会越来越简单。
有11位网友表示赞同！
走过海棠暮
王冰冰的抠图技术确实牛，但是这个AI技术更让我惊叹，4K 60帧的实时处理能力太厉害了。
有8位网友表示赞同！
我一个人
感觉这个AI技术比王冰冰的抠图更有实际应用价值，毕竟现在高清视频越来越多。
有14位网友表示赞同！
予之欢颜
实习生开发的AI技术，真是让人眼前一亮，4K 60帧的实时裁剪，这技术得有多强大啊！
有19位网友表示赞同！
爱你心口难开
王冰冰的抠图技术已经很不错了，但是这个AI技术更让我期待，4K 60帧的实时处理，真是厉害！
有9位网友表示赞同！
信仰
这个AI技术如果能普及，那视频制作行业将会迎来变革，王冰冰的抠图也能更上一层楼。
有14位网友表示赞同！
容纳我ii
感觉这个AI技术比王冰冰的抠图还要吸引人，毕竟4K 60帧的实时处理，这在以前是想都不敢想的。
有14位网友表示赞同！
有你，很幸福
实习生开发的AI技术，真是让人刮目相看，4K 60帧的实时裁剪，这得花多少时间和精力去研究啊。
有14位网友表示赞同！
爱到伤肺i
王冰冰的完美抠图确实让人佩服，但是这个AI技术更让我期待，感觉以后视频制作会变得更加高效。
有7位网友表示赞同！
ゞ香草可樂ゞ草莓布丁
这个AI技术如果能应用于日常，那我们的生活质量将会大大提高，王冰冰的抠图技术也会得到更多人的认可。
有7位网友表示赞同！
微信名字
实习生开发的AI技术太有潜力了，4K 60帧的实时裁剪，这技术在未来一定会大放异彩。
有8位网友表示赞同！
权诈
感觉这个AI技术比王冰冰的抠图更具有创新性，4K 60帧的实时处理，这是否意味着视频制作将进入一个新纪元？
有9位网友表示赞同！
微信名字
王冰冰的抠图技术已经很高水平了，但是这个AI技术的出现，让我对视频制作有了新的期待。
有17位网友表示赞同！
伪心
实习生开发的AI技术太厉害了，4K 60帧的实时裁剪，这让我想起了那句话：“科技改变生活”。
有8位网友表示赞同！