让蒙娜丽莎笑对人工智能来说并不新鲜。
想象一下，如果在画纸上创造的图像可以实时动画，达芬奇可能会被吓死。
没错，Digest今天要给大家介绍的就是捷克技术大学和Snap研究小组共同研发的一种全新的风格转换技术。在“使用基于几个补丁的训练的交互式视频造型”一文中，他们提出，这项技术将足以将某种绘画风格的静态图像实时转换为动态动画。
嗯，效果你自己才知道：
据了解，研究团队已经利用了深度学习。在将手写样式转换成图片或视频的过程中，只是转换了样式，内容原型的创作风格完全不会受到影响。
同时，与以往的转换方法相比，该技术不需要庞大的数据集，甚至不需要预先训练，关键帧的风格设置是训练网络的唯一数据源。
20万参数设置，每秒17帧进行风格转换
在整个实验中，研究人员使用的编程语言是C和Python。
对于评估序列中选定的帧，研究人员计算了它们的风格化，这是在使用48个Nvidia Tesla V100 GPU的环境中模拟3天后完成的。
在整个实验中，随机选取了约20万个不同设置的超参数，在以下区间进行对比实验：WP (12，188)，Nb (5，1000)，NR (1，40)， (。
下图比较了不同超参数设置的视觉质量。超参数优化的一个有趣结果是，在左图中，一批面片Nb=40相对较少，这与所选的基于面片的训练方案相互作用。虽然常见的策略是尽可能地扩展Nb以利用GPU能力，但在某些情况下，增加Nb实际上只会适得其反，因为它将训练方案变成了全帧方案，这往往会使网络在关键帧上过度拟合。
中间的图像是最佳的面片大小Wp=36，较小的面片可能无法提供足够的上下文，较大的面片可能会扭曲目标对象，从而使网络对目标对象扭曲导致的外观变化的抵抗力下降。
但在右图中，令人惊讶的是，尽管有一个微妙的鞍点，但ResNet块的数量Nr对质量没有明显的影响。通过对学习速率参数进行实验，可以发现类似的效果。
在优化了所有的超参数后，研究人员发现，对于有效像素为10%，分辨率为640640的视频序列，可以以每秒17帧的速度进行风格转换。
研究人员使用一组分辨率从350350到960540的视频序列来评估该系统。这些视频包含不同的视觉内容，如人脸和人体，以及不同的艺术风格，如油画和粉笔画。
对于一个相对简单的序列，只有一个关键帧可以用于样式转换，而对于一个更复杂的序列，需要多个关键帧。在训练之前，研究人员通过使用双边时间过滤器对目标序列进行预过滤。当序列包含不明确的内容时，使用随机着色的高斯混合来计算辅助输入层，以跟踪目标序列中的运动。
在训练阶段，研究人员从所有关键帧K中随机选取mask Mk中的面片，分批反馈给网络，计算损失和反向传播误差。然后，他们在英伟达RTX 2080 GPU上进行训练和推理。训练时间与输入面片的数量成正比。例如，对于包含遮罩中所有像素的512512关键帧，训练时间为5分钟。训练结束后，整个序列可以以每秒17帧左右的速度进行风格转换。
如何进行实时风格转换？
相关的风格转换技术早在2016年就想到了。当时，在一篇名为《利用卷积神经网络进行图像风格转换》的论文中，研究人员提出了一种将VGG和CNN相结合的转换技术，可以有效区分内容和风格，同时保留内容转换风格。
之后还有一些将这种技术扩展到电影或视频领域的应用，其中找到分离图像内容和风格的损失函数是关键。
2019年，一些研究人员提出了一种机制，可以改变视频的一个关键帧，并将其传输到另一个序列(整个视频)。这种基于补丁的输出可以得到高质量的结果输出。
但这些转换技术只能对连续视频进行风格转换，即不支持随机存取、并行处理和实时交互，而这些才是可以实时转换图像的核心技术。
为了实现实时的风格转换，研究人员在设计系统时参考了前人的一些研究。比如在设计滤镜的时候，他们采用了基于U-net的图像到图像的转换框架。这种定制的网络架构可以保留原始样式范例的重要高频细节。
然而，在训练过程中，他们发现系统产生的结果质量无法达标，因为原始网络是基于FaceStyle算法产生的大量风格样本数据集进行训练的，这使得这种方法在很多场景下无法使用。同时，原方法没有考虑时间的连续性，生成的序列也含有明显的时间闪烁。
为此，研究人员改变了网络的训练方法，提出了一个优化问题，允许对网络结构和超参数进行微调，从而获得可与目前最先进的风格化质量相媲美的风格化质量。这样即使少量的训练样本也能达到目的，训练时间短。
当然，除了滤镜设计，研究团队还做了很多创新来实现实时的风格转换，抽象的细菌在这里只是太戏剧化了。想了解更多详情的朋友可以去原文挖宝~
作画 做画
日前，“儿童眼中的未来城”第五届绘画摄影展在上海展览中心举行。本报记者许摄
11月27日至11月29日，由联合国人居署和上海市住房和城乡建设管理委员会联合主办、上海绿色建筑协会承办的“2022上海国际城市与建筑博览会”在上海展览中心举行。
展览现场有专门的展区，3354，第五届“儿童眼中的未来城市”绘画摄影展。近日，展览开幕式在展区举行，吸引了众多参观者驻足。
今年的活动由上海市精神文明建设委员会办公室、中共上海市城乡建设和交通委员会、上海市住房和城乡建设管理委员会、上海市教育委员会、上海市科学技术委员会指导。中国工程院院士、同济大学原副校长吴志强为活动题词。活动也得到了长三角城市群智能规划协同创新中心、中国福利会出版社、上海小影之星集团有限公司、上海市美术家协会、上海市学校少年宫联盟、《少年日报》报社、《上海中学生报》报社、哈哈董璇电视台等单位的积极响应。
现场展示了各种绘画和摄影作品，展现了孩子们心中对未来城市的想象。
以“绿色、智慧——城市更新”为主题，从城市更新、智慧城市、绿色生活三个方面进行绘画、摄影作品征集，设置儿童组、小学组、中学组。未来的水下城市，浩瀚宇宙中的太空城市，充满高科技交通方式的现代化大都市，鸟语花香的绿色乡村，由孩子们创作，用稚嫩清新的笔触，生动活泼的镜头，展现了孩子们心中对未来城市的想象。