何明凯时隔两年又出了一篇论文：为大视觉模型开路，全文没有公式。

杨静明敏雷刚来自奥菲寺
量子比特报告|微信官方账号QbitAI
神话不多，但每写一篇论文，绝对会在江湖上引起震动。
不，在最后一篇论文发表两年后，何明凯再次带来了作为作家的最新研究成果。
依然是视觉领域的研究，依然是何的简约之路。
即使在业界都在追求“励精图治，创造奇迹”和“暴力美学”的时候，何依然有一种坚持独立思考的反共识精神。
简洁：整篇论文没有公式。
有效：这是展现微妙之美的最简单的方法。
江湖震撼：“CVPR 2022最佳论文候选人预约”。
所以，他明凯的新作品：
屏蔽的自动编码器是可扩展的视觉学习器
有什么样的思想和研究成果？
CV的自监督学习方案本文提出了一种用于计算机视觉的屏蔽式自动编码器，简称MAE。
3354一种类似NLP技术的自我监控方法。
操作很简单：屏蔽输入图像的随机块，然后重构缺失的像素。
有两种主要的核心设计。
一种是非对称编解码架构，另一种是高比例掩蔽输入图像。
我们先来看编解码架构。
如图所示，编码器是ViT，只对可见块进行操作，然后使用轻量级编码器3354，只在预训练时负责图像重建。
具体来说，作者将图像均匀地分成不重叠的块，然后对这些块进行随机采样。
以75%的掩蔽比为例。首先，它屏蔽了输入图像中75%的随机块，编码器只在可见的25%块子集上运行，这样可以用非常少的计算量和视频内存训练一个非常大的编码器。
然后，解码器将可见标记与掩模标记相结合，对所有标记添加位置嵌入，并通过预测每个掩模块的像素值来重构图像信号。
这样，解码器在预训练中可以独立于编码器，从而可以用非常轻量级的解码器进行实验，大大减少了预训练时间。
另一个特征是，当掩蔽输入图像的高比例时，自监控任务非常有效。
例如，屏蔽80%随机补丁的效果如下：
最左边一栏是输入图像，中间一栏是MAE方法的重建效果，最右边一栏是原图像效果。
重建图像中不同掩蔽比的性能比较如下：
结合这两种设计，结果用于训练大型模型：
训练速度提高3倍以上，准确率提高的那种。
此外，基于该方案的大模型具有良好的泛化能力：
例如，仅使用ImageNet-1K数据时，ViT-Huge模型的准确率达到87.8%。
在COCO数据集上的表现如下。虽然重建效果不太清楚，但基本语义是正确的。
研究者还评估了迁移学习的效果。
结果下游任务，如目标检测、实例分割、语义分割等，优于有监督的预训练。
对比可以看出，在随机蒙版75%、块蒙版50%、网格蒙版50%三种采样方式中，随机蒙版75%的图像质量最好。
基于这些研究成果，何的团队最后也发表了自己的看法。
一方面，扩展性好的简单算法是深度学习的核心。
在计算机视觉中，虽然自监督学习取得了进展，但实际的前期训练仍然需要监督。
在本研究中，作者看到自编码器在ImageNet和迁移学习任务中表现出非常强的可扩展优势。
正因如此，笔者认为CV中的自我监督学习现在可能已经走上了类似NLP的轨道。
另一方面，作者注意到图像和语言是不同性质的信号，这种差异需要小心处理。
图像只是记录的光，没有语义分解成文字的视觉类比。
他们不是试图移除对象，而是移除可能不构成语义段的随机块。重建的像素不是语义实体。
研究团队论文的研究团队来自脸书AI研究院(FAIR)，大家也是屡赞不绝口，堪称梦之队。
除了几个老兵，再来说说这一次里面的中国面孔。
雷震，毕业于浙江大学，获得计算机科学学士学位，后在卡耐基梅隆大学攻读博士学位，并在加州大学洛杉矶分校、谷歌云和MSR实习。
谢赛宁，上海交通大学ACM班毕业，后在加州大学圣地亚哥分校攻读计算机科学博士，并在Google和DeepMind实习。
Yanoli，北京大学计算机专业本科毕业，后留校攻读硕士。
最后，我想再次介绍一下何。
我相信大家都很熟悉它的含义。作为Mask R-CNN的主要提出者，他曾四次获得峰会最佳论文。
何是2003年广东高考状元，保送清华进了创办的物理系基础科学班。
硕士期间，何明凯去了香港中文大学多媒体实验室，导师是后来的商汤科技创始人唐晓鸥。
在此期间，何也进入微软亚洲研究院实习。在孙健的指导下，他出版了ResNet research作为代表作，名扬全球，获得了2016年CVPR最佳论文奖。
同年，何明凯进入以Yann le Cun(2019年图灵奖获得者)为首的脸书人工智能实验室，与Ross Girshick、Piotr Dollar——一起组成了FAIR在AI研究领域的梦之队。
更令人敬佩的是，何凯明年不会成名，但近几年却持续潜心研究，带来新的惊喜。
甚至他的新研究，很多都是可以枝叶蔓延的成果。
这一次，MAE也算是这样的延续。
你觉得梅怎么样？
与https://arxiv.org/abs/2111.06377有关的文件
—end—qubit qbitai头条报名关注我们，第一时间获悉前沿科技动态。