机器之心专栏
机器之心编辑部
想个性化设计真实感很高的三维人脸，却发现自己对专业设计软件并不熟悉？三维人脸编辑方法NeRFFaceEditing提供了一种新的解决方案。即使不能三维建模，也可以自由编辑真实感很高的三维人脸，在元宇宙中建模个性化的数码人像！
NeRFFaceEditing由中国科学院计算技术研究所和香港城市大学的研究人员完成，相关技术论文发表在计算机图形学顶级会议ACM SIGGRAPH Asia 2022上。
项目主页：http://geometrylearning.com/NeRFFaceEditing/
NeRFFaceEditing以2D语义掩膜作为三维几何编辑的桥梁。用户在一个视角所做的语义编辑，可以扩散到整个3D人脸几何，保持材质不变。此外，给定表示参考样式的图像，用户可以容易地改变整个3D面的材料样式，并且保持几何形状不变。
基于该方法的三维人脸编辑系统，即使用户不熟悉专业的三维设计，也可以轻松进行个性化的人脸设计，定制人脸形状和外观。我们来看看使用NeRFFaceEditing的两个惊人效果！
Part I 背景
近年来，随着神经辐射场[1]和对抗性生成网络[2]的结合，提出了各种高质量、快速渲染的3D人脸生成网络，包括EG3D [3]。
图3不同视角下EG3D的生成效果和几何表示
该方法的三平面表示结合了传统的二维生成对抗网络和最新的三维隐式表示，因此继承了StyleGAN [4]强大的生成能力和神经辐射场的表示能力。但是，这些生成的模型无法实现人脸几何和材质的解耦，几何和材质的解耦控制是3D角色设计等应用不可或缺的功能。
现有的作品，如DeepFaceDrawing [5]和DeepFaceEditing [6]，可以实现基于线条画的几何和材质的解耦控制，以及二维人脸图像的生成和编辑。deepacevideration[7]将线条编辑应用到人脸视频中，可以在时间序列上产生丰富的编辑效果。
然而，图像解耦和编辑方法很难直接应用于三维空间。但是，现有的3D人脸几何和材质解耦方法往往需要重新训练网络参数，所使用的空间表示方法有很大的局限性，缺乏三平面表示的良好性质。为了解决上述问题，NeRFFaceEditing基于三个平面表示的三维生成对抗网络的预训练模型参数，以任意视角的二维语义掩膜为媒介，实现三维人脸的几何编辑和材质的解耦控制。
Part 2 NeRFFaceEditing 的算法原理
三平面生成器生成三个平面后，受AdaIN [8]启发，即对于一个二维特征地图，其统计数据可以表明其风格。NeRFFaceEditing将三个平面分解为表达空间不变的高级物质特征的均值和标准差(A)的三个平面，以及表达空间变化的几何特征的标准化三个平面。通过将标准化的三平面与分解的材料特征(A)相结合，可以恢复原始的三平面。所以，如果给定不同的材料特性，同样的几何形状可以给定不同的材料。
再者，为了实现几何和材质的解耦控制，NeRFFaceEditing将原来的单一解码器分解为几何解码器和材质解码器。几何解码器输入标准化三平面采样得到的特征、预测密度和语义标签，用于表示三维人脸的几何和语义掩膜体积。可控材质模块(CAM)模块将几何特征和材质特征(A)进行组合，然后将采样后的特征输入材质解码器进行颜色预测。最后通过体绘制，得到一定视角下的人脸图像和对应的语义掩膜。但是，给定一个不同的材质特征(B)，几何特征和材质特征(B)通过CAM模块和体绘制可以得到另一个几何不变但材质发生变化的人脸图像。整体网络结构如下图所示：
图4网络架构师
此外，为了约束具有相同材料特性但不同几何形状的样本的渲染结果在材料上相似，NeRFFaceEditing使用生成的语义遮罩和直方图特征来分别表示这些具有相同材料特性和不同几何形状的样本的不同面部部件(如头发和皮肤)的颜色分布。然后，优化每个分量上这些样本的颜色分布的距离和。如下图所示：
图5材料相似性约束的训练策略
Part 3 效果展示与实验对比
使用NeRFFaceEditing，可以借助2D语义遮罩对3D人脸空间进行几何编辑：
图6 3D面几何图形编辑
此外，基于参考图片，还可以在三维空间中进行三维一致的材质风格迁移：
图7三维人脸风格迁移
在此基础上，可以实现解耦的人脸插值变形的应用。如下图所示，相机、几何体和材质以左上角和右下角为起点和终点进行线性插值：
图8解耦脸部变形效果显示
借助于PTI [9]可以将实像反投影到NeRFFaceEditing的隐藏空间中，也可以实现实像的编辑和风格转移。这样NeRFFaceEditing也和其他开源的可以控制视角的人脸编辑方法即SofGAN [10]进行了比较，证明了这种方法的优越性。
图9真实图像的3D几何编辑示例。可以看出，NeRFFaceEditing的真实性要比SofGAN好，SofGAN在其他视角也改变了身份。
图10实像风格转移示例。可以看出，索夫根在身份上有一定的瑕疵和变化。
Part 4 结语与致谢
数字内容生成广泛应用于工业生产和数字媒体领域，尤其是虚拟数字人的生成和编辑，近年来受到广泛关注。3D面部几何形状和材料的解耦编辑是个性化真实虚拟图像的可能解决方案。
NeRFFaceEditing系统，通过解耦3D人脸生成网络，可以将用户从2D视角对语义遮罩的修改，变成对整个3D空间的几何修改，并且保证材质不变。此外，借助强化风格传递效果的训练策略，可以实现三维空间中有效的素材风格传递。NeRFFaceEditing的论文已被计算机图形学顶级会议ACM SIGGRAPH ASIA 2022录用。
本项目研究团队包括中科院计算所精英班本科生蒋(第一作者)、高林副教授(本文通讯作者)、陈淑玉博士、香港城市大学傅洪波教授等。有关论文的更多详情，请访问项目主页：
http://geometrylearning.com/NeRFFaceEditing/
引用
1.Ben Mildenhall、Pratul P. Srinivasan、Matthew Tancik、Jonathan T. Barron、Ravi Ramamoorthi和Ren Ng。Nerf:将场景表示为用于视图合成的神经辐射场。在欧洲计算机视觉会议上(第405-421页)。斯普林格，查姆。
2.伊恩古德菲勒、让普吉-阿巴迪、迈赫迪米尔扎、徐炳、戴维沃德-法利、谢尔吉尔奥泽尔、亚伦库维尔和约舒阿本吉奥。生成性对抗网络。神经信息处理系统进展，27。
3.Eric R. Chan、Connor Z. Lin、Matthew A. Chan、Koki Nagano、Boxiao Pan、Shalini De Mello、Orazio Gallo、Leonidas Guibas和Jonathan Tremblay。高效的几何感知三维生成对抗网络。IEEE/CVF计算机视觉和模式识别会议论文集，第16123-16133页。2022.
4.Tero Karras、Samuli Laine、Miika Aittala、Janne Hellsten、Jaakko Lehtinen和Timo Aila。stylegan图像质量的分析与改进。IEEE/CVF计算机视觉和模式识别会议论文集，第8110-8119页。2020.
5.舒，苏，林高，夏，付洪波。DeepFaceDrawing:从草图深度生成人脸图像。美国计算机学会制图汇刊，第39卷，第4期，2020年，72:1-72:16。
6.舒、刘凤林、赖玉坤、罗松、李洪波、高林DeepFaceEditing:深度面生成和编辑，具有清晰的几何图形和外观控制。美国计算机学会制图汇刊，第40卷，第四期，2021年，90:190:15。
7.刘凤林、树、赖玉坤、李、蒋跃仁、付洪波和高林DeepFaceVideoEditing:基于草图的人脸视频深度编辑。美国计算机学会制图汇刊，第41卷，第四期，2022年，167:1-167:16。
8.黄浚和塞尔日贝隆吉。通过自适应实例规范化实时传输任意样式2008年IEEE计算机视觉国际会议论文集，第1501-1510页。2017.
9.丹尼尔罗伊奇、罗恩莫凯迪、阿米特h伯曼诺和丹尼尔科恩奥尔。真实图像潜在编辑的关键调整。美国计算机学会图形汇刊，第42卷，第一期，2023年，6:16:13。
10.陈安佩、刘瑞阳、张晨、俞静宜。一个动态风格的肖像图像生成器。美国计算机学会制图汇刊，第41卷，第一期，2022年，1:1-1:26。
如何3D建模
什么样的机型才是标准优秀的下一代机型？
第一点来自于面数的限制。
比如业内游戏建模师的第一步
熟悉项目文件要求，准确控制型号数量。
建模者需要将前期制作的高表面数模型转换成
可用于游戏引擎的较小模型(即拓扑)
第二点来自莫高的细节表现。
第三点来自于正确的UV分裂和法线烘焙。
让UV接头出现在最合理的位置。
通过科学的摆放，可以最大限度的提高UV的利用率。
用最少的像素显示最多的细节。
为了用更少的面做出更好的材质效果
把需要高模的细节烤成符合游戏规格的低模。
烘焙法线和设置平滑组之前设置软边和硬边
我们需要注意它。
第四点来自于还原模型的精确纹理。
目前主流分时代车型常用的地图有：
漫反射贴图，粗糙度贴图，金属性贴图，AO贴图使用SP制作真实的材质效果。根据不同游戏引擎的要求，导出符合项目要求的地图格式。
做优秀的标准下一代机型怎么样？
当我们做出一个优秀的下一代模型时
它需要经过以下过程：
首先，使用3dsmax创建中间模具。
中间模型要求保证模型的完整结构和整体比例。
暂时不考虑细节，所有的角都是倒角的。
(软件不是唯一的，但是3dsmax是大多数游戏动画公司最常用的软件之一，很有代表性。)
使用雕刻软件ZBrush在基本模型上添加上亿个细节。
(高模型的雕刻是为了增加模型的细节，使模型的纹理更加逼真。)
对低模式拓扑使用3dsmax和其他软件。
习惯Topogun的可以用Topogun的拓扑过程。
拓扑学是沿着高模量的轮廓建立一个具有较少面的类似于高模量结构的模型。
虽然高模量够真，但是面数太高就没办法直接用在工程上了。
拓扑学应该保证用尽可能少的面来恢复高模量的结构。
接下来，使用3dsmax来传播低模式的uv。
在划分UV之前，一定要注意3dsmax的软硬边设置。
这将直接影响到质感烘焙是否会出问题，在教学中每晚都会详细讨论。
实体设计师用高模烘焙普通AO贴图
使法线显示凹凸更真实，控制面数。
然后将模型导入到Substance Painter中制作贴图。
最后，模型可以导入到游戏引擎或直接渲染。
学习3D建模所需的能力：耐心和细心，良好的平台和伙伴，合适的学习媒体；
建议：确定设计方向，系统学习，多实践，学会分析，实物练习！
不管做什么，都需要和项目不一样。如果你需要做的不仅仅是项目，你可以是艺术。你可以不断尝试用自己的风格去突破。失败了，再积累再重新开始也没关系。如果你能这样坚持下去，相信你会在3D建模的道路上越走越远。
下一代三维建模海量学习资源整理，大致包括：三维建模软件安装包、学习规划、基础入门知识、建模项目实践、建模视频等。【私信回复：888】另外，在我们的专属课堂中，我们会从最基础的软件入手，通过实战案例扩展到行业策划，通过案例讲解，一步步教你学习完整的下一代游戏建模技术。无论是场景建模还是人物建模，都可以很好的掌握。