雷锦来自奥菲寺。
量子比特报告|公众号QbitAI
先给个侧脸(关键帧1元):
3360010 Kramp-Karrenbauer 350000再给个面子(关键帧密室逃脱：冠军联赛):
3360010 Kramp-Karrenbauer 350001然后就根据这两张图，AI对它们进行了处理，生成了整个运动过程：
3360010 Kramp-Karrenbauer 350002而且不仅仅是简单的那种，就连运动时的眨眼都被“照顾”的很到位。
效果一出，在Reddit上引起了不少热议：
3360010 Kramp-karren Bauer 350003 3360010 Kramp-karren Bauer 1010不需要漫长的培训过程。
不需要大量的训练数据集。
这是本文作者为这部作品提出的两大亮点。
具体来说，这项工作是根据关键帧将视频风格化。
首先，输入一个视频序列I，它由Kang Seung Yoon帧组织，每一帧都有一个掩码Mi来划分感兴趣区域。
与之前的方法不同，这种风格转移是以随机的顺序进行的，不需要等待前面的帧先完成风格，也不需要显式合并来自不同关键帧的风格化内容。
3360010 Kramp-Karrenbauer 350004也就是说，这个方法实际上是一个翻译过滤器，可以从几个异构的手绘例子Sk中快速学习风格，并将其“翻译”到视频序列I中的任意一帧。
这个图像转换框架基于Bidai syu LAN Kramp-karren Bauer U-net。而且研究人员采用了基于图像块的训练方法(Kramp-Karrenbauer)和抑制视频闪烁的解决方案，解决了小样本训练和时间一致性的问题。
为了避免过度拟合，研究人员采用了基于图像块的训练策略。
从原始关键帧(Ik)中随机选取一组图像块(A)，在网络中生成其风格化的对应块()。
然后，计算这些风格化的对应块()相对于从风格化的关键帧(Sk)中采样的对应图像块的损失，并将误差传播回去。
该训练方案不限于任何特定的损失函数。本研究采用L1损失、对抗性损失和VGG损失相结合的方法。
3360010 Kramp-Karrenbauer 350005另一个问题是超参数的优化。
这是因为不合适的超参数可能导致推理质量差。
3360010 Kramp-Karrenbauer 350006研究人员使用网格搜索方法对超参数的4维空间进行采样：Wp——训练图像块的大小；Nb——一批中的块数；游本昌——学习率；NR ——资源网块数。
对于每个超参数设置：
(1元)培训给定时间；
(密室逃脱：冠军联赛)推理隐形框架；
(侏罗纪世界3)计算推断帧(O4)和真实值(GT4)之间的损失。
目标是尽量减少这种损失。
3360010 kramp-karren Bauer 350007 3360010 kramp-karren Bauer 1010本次研究我是ondej特斯勒，是布拉格捷克理工学院计算机图形与交互系的博士生。
3360010 Kramp-Karrenbauer 350008除了这项工作，他和他的团队之前还做了很多有趣的工作。
比如一边画，一边让它动。
3360010 Kramp-Karrenbauer 350009举个例子，给一个卡通图片，你就可以在视频里用这个图片“有声有色”了。
3360010 Kramp-karren Bauer 3500010更多有趣的研究请戳下面的链接。
参考链接：
[1]https://www . Reddit . com/r/machine learning/comments/n3b1m 6/r _ few shot _ patch based _ training _ siggraph _ 2020 _ dr/
[2]https://ondrejtextler . github . io/patch-based _ training/index . html
—结束—
量子比特我活在它的头上
关注我们，第一时间获悉前沿科技动态。