真实感三维人脸建模技术综述
吕海清+李雪飞
摘要：三维建模是计算机图形学和计算机视觉领域的基本问题。人脸具有共性强及个性鲜明的特点，成为众多三维建模算法的实验平台。但由于人脸的多样性、复杂性，建立真实感强的目标三维人脸模型在学术研究和实际应用方面都具有重要意义。在文献梳理的基础上，阐述了真实感三维人脸建模理论和实践相关研究成果，总结了目前三维人脸重建的研究方法，分析了各种三维人脸重建方法的优缺点，提出了有待进一步研究的问题，展望了未来的发展趋势。
关键词：真实感三维人脸建模；三维数据获取；虚拟现实；计算机视觉
DOIDOI：10.11907/rjdk.172298
中图分类号：TP317.4
文献标识码：A文章编号文章编号：16727800（2018）001000103
Abstract：Threedimensional modeling is a basic problem in the field of computer graphics and computer vision. Face with its unique common and strong personality and other characteristics， as many advanced 3D modeling algorithm experimental platform. However， due to the diversity of face， complexity， the establishment of a strong sense of the goal of threedimensional face model has become a challenge for many researchers， computer simulation of specific threedimensional face， both in academic research and practical applications are of great significance. On the basis of combing the literature， this paper summarizes the research results of real threedimensional face modeling theory and practice， summarizes the research methods of 3D face reconstruction in recent time， and analyzes the advantages and disadvantages of various 3D face reconstruction methods， a few issues to be further studied and future trends.
Key Words：realistic 3D facial modeling； 3D data acquisition； virtual reality； computer vision
0引言
随着计算机图形学及虚拟现实等技术的发展，尤其是虚拟播音员的出现，基于虚拟人物设计的研究被广泛重视。人脸包含了大量的特征信息，是辨别人物最主要的器官，特定人脸的计算机模拟研究具有重要意义。真实感三维人脸模型在影视制作、计算机游戏、远程教育、医学美容、智能识别等应用中举足轻重。在学术研究方面，三维人脸重建与表情口型模拟、人脸识别、医学图像处理、人机交互等研究课题相辅相成，其研究成果可推动相关研究。Parke[1] 20世纪70年代建立了第一个脸部模型，其后研究不断深入。真实感三维人脸重建可分为两种途径：①采取三维扫描仪等较复杂的硬件装置，辅以一些较简单的算法来获取人脸的几何和纹理数据；②通过普通的相机获取人脸图像，采用比较复杂的图形处理结合计算机视觉算法得到人脸数据。
1基于几何数据构建的三维人脸模型
1.1利用三维激光扫描仪进行三维人脸建模
三维激光扫描仪依据三角测量学原理直接获取人脸数据。目前，最著名的三维扫描仪是Cyberware公司研发的，许多研究小组利用此设备展开研究。Lee等 [2]利用拉普拉斯变换，对扫描仪采集的三维人脸数据进行预处理，之后在拉氏空间中提取人脸特征点，调整一般人脸网格模型，得到了较好的目标三维人脸模型。针对非均匀三维人脸数据，Xu等 [3]进一步改进了自适应多精度拟合方法，可以有效解决孔洞和数据密度严重不均等问题。丘成桐、顾险峰等 [4]利用三维映射扫描仪获取人脸信息，采用基于计算机共性几何进行人脸曲面间的变换和纹理共形映射，构建出真实感三维人脸。
三维激光扫描仪虽然可以获得精度较高的三维人脸数据，但采集的纹理图像存在诸多问题：分辨率比数码相机要低，毛发等反射率较低的部位扫描效果略差，眼睛和牙齿等有遮挡部位无法获取有效数据。所以，有研究者利用图像处理算法将数码相机拍摄的人脸照片转化为纹理图，并采用纹理映射技术提高目标人脸模型的真实感。
1.2基于结构光扫描仪的三维人脸建模
由于三维激光扫描仪费用昂贵且对计算机硬件要求较高，因此科研者研发出由投影光源儀和摄像机构成的结构光扫描仪，根据结构光测距原理，有效解决了双目视觉中对应点匹配问题。Beumier等 [5]基于结构光建立了一个人脸快速获取系统，并利用该系统构建了一个包括120人的三维人脸数据库，在此基础上改进了基于轮廓线和网格面匹配的三维人脸识别算法；Tarini等 [6]改进了人脸图像与几何模型的配准方法，对目标人脸器官（牙齿、眼睛）的纹理建模，并在得到的三维人脸模型基础上进行了动画研究。Meyer等 [7]提出一个基于Kinect的三维人脸建模系统。Macedo等 [8]利用Kinect相机的彩色传感器提取面部标记点，在此基础上调整一般人脸模型来配准单幅深度图片，进而建立目标人脸模型。
一般使用复杂硬件设备构建的三维模型精度和逼真度较高，可以较清晰表述个性特征，但由于造价高、处理复杂、不灵活等因素限制，通常只能在某些特殊场合使用。
2基于图像构建三维人脸模型
2.1基于计算机视觉的三维人脸建模
二维图像中含有深度信息，基于机器视觉的三维人脸建模方法无需人脸形状先验知识，可直接运用几何学和三角测量学知识获取二维图像序列上的人脸三维数据，重建真实感的三维人脸。同一物体不同拍摄角度的图像中含有立体视差，可由立体视觉方法得到；物体相对摄像机运动而产生的运动视差，可通过从运动形状恢复（Structure from Motion，简称SFM）的方法进行。即便是单幅图像，物体表面的深度变化也会经光照模型作用到二维图像中，因此可通过从明暗恢复形状的方法恢复深度信息。
王馄等 [9]提出了采用两幅正面人脸图像，利用SFM重建人脸三维结构的方法，运用人脸共性特征的几何对称性和规律性，能快速准确地找出SFM算法需要的匹配点；Sengupta等 [10]根据计算机视觉的样条拟合、仿射变换等技术，基于单视频序列实现了三维人脸建模；周佳丽等 [11]提出一种基于双目被动视觉的三维人脸建模方法，采用图像中弱特征检测法提取人脸特征关键点并进行视差估计，基于复小波的相位技术实现匹配，重建三维人脸。
因为没有人脸结构先验知识的约束，所以这类方法鲁棒性较差，重建后的三维人脸模型与目标真实人脸存在较大差距。
Lee等 [13]使用正交图像重建目标人脸的三维模型，利用结构化的Snake模型提取人脸特征点，并采用Dirichlet Free Form Deformation算法修改一般人脸模型。Lavagetto等采用MPEG4标准来定义正、侧面图像中的面部特征点，并利用径向基函数内插方法修改一般人脸模型。Pighin等提出基于多幅多视角下拍攝的人脸图像变形方法，运用计算机视觉方法来估计相机参数，并同时恢复人脸姿态及13个面部特征点的三维坐标，然后利用散乱数据插值方法变形一般人脸模型。Chowdhury和Chellappa[14]对基于视频的三维人脸建模进行了研究，采用运动恢复形状方法获得人脸三维信息，利用光流法从视频序列中恢复人脸三维形状，整个过程采用马尔可夫链蒙特卡罗法优化逼近目标人脸。
基于一般人脸模型的方法，与同时期的从运动恢复结构、线性三维人脸模型表示以及立体视觉匹配等研究相辅相成。该方法需要解决图像中提取特征点，以及从一般人脸模型变形目标人脸模型这两个关键问题。其中，特征点越稠密、越准确，则重建的三维人脸模型真实感越强，但这对自动标定特征点提出了很高要求。整体来说，该类方法对构建低成本、快速的三维人脸建模系统是可行的。
2.3基于三维形变模型
三维形变模型（3D Morphable Model，简称3DMM）是由德国学者Blanz和Vetter[15]提出的一种基于统计学的三维人脸建模方法，对计算机视觉和计算机图形学都产生了深远影响。3DMM的基本思想是把所有人脸近似看成一个线性空间，对归一化的人脸基底进行线性组合，利用复杂的光流算法，确立不同人脸三维点间的对应关系。所有三维人脸由统一的几何形状向量和纹理向量表示，几何形状向量S∈R3N包含人脸上点的x、y、z坐标，纹理向量T∈R3N包含每个顶点的R、G、B颜色信息，其中N是人脸样本的顶点数量。一般人脸基底由形状向量Si和纹理向量Ti构成，目标人脸的形状Smodel和纹理Tmodel可线性表示如下：
Blanz和Vette提出的基于随机牛顿法的优化算法，是最早解决3DMM模型匹配问题的方法。Romdhani等 [16]针对随机牛顿优化算法计算复杂度高的问题，提出了线性形状纹理匹配算法与反向复合图像匹配算法，还提出了多种用于模型匹配的图像特征，以提高计算精度，避免陷入局部极小值。Amberg等 [17]提出从三幅立体图像中恢复形变模型的方法。将一幅图像上的像素点特征通过形变参数，映射到另一幅图像上，计算投影点和实际图像的特征差。Romeiro和Zickler[18]对有遮挡情况下从立体图中恢复形变系数进行了研究。Huber等 [19]利用AdaBoost识别出视频中的人脸，主动分析模型标定人脸特征关键点，并根据黄金标准算法恢复相机参数，得到形变系数重建人脸。经过实验，基于多幅立体图融合多种特征的匹配优化方法，比起基于单幅图像的优化方法，人脸重建精度明显提高。
2.4基于统计学习的方法
随着公开使用的三维人脸数据库日渐增多，以及机器学习相关研究的深入，人们开始探索通过图像数据直接挖掘出潜在深度信息的方法。它不同于传统的基于优化的方法，不再需要一个代价函数，也不再基于一个最小均方误差的框架，而是把人脸纹理和深度作为两种子空间变量，利用空间映射得到二者之间的映射函数，进而从纹理数据直接计算出相应的深度数据。
Robinson和Hyde[20]把图像灰度和对应的深度值连接为一个向量，并使用多元正态分布描述向量的统计特性。Reiter等 [21]采用基于标准相关分析的回归方法，从RGB图像中估计深度图像。该方法原理是找出两个投影方向，使原始输入和输出数据投影到这两个方向后相关性最大。Castelán等 [22]将人脸图像灰度和三维表面形状特征空间综合在一个混合模型中，并采用偏最小二乘回归作为深度估计的学习算法。
基于统计学习的三维人脸建模方法是一种新兴的三维建模方法，优点在于只需单幅图像便可进行人脸重建，且计算复杂度低，结果鲁棒性好。但这类方法也存在一定问题：若深度估计重建三维人脸，容易导致重建后人脸在深度方向上畸变、需考虑从训练集扩展到真实图像测试集的泛化以及估计误差有一定的下限问题等。因此，仅采用统计学习的方法，一步得到真实感强的三维人脸模型有一定难度，但它可辅助于其它方法。
3结语
人脸是最能体现人物特征的器官，真实感三维建模方法研究一直是计算机图形图像学的研究热点。通过计算机生成真实感三维人脸能促进虚拟人物、医学图像处理、智能识别等相关技术的发展。总的来说，使用三维扫描仪得到的三维人脸模型效果较好，但由于造价高、处理复杂、灵活性差等因素限制，适用场合有限。基于人脸图像进行三维建模是时下的研究热点，其中基于统计学习的方法进行三维人脸建模是近年来的新兴技术。如何将其融入3DMM等人脸重建方法，创造出效率更高、鲁棒性更好、真实感更强的三维人脸建模方法，是计算机模拟人脸领域的研究方向。
参考文献：
[1]PARKE F I， WATERS K， PETERS A K. Appendix 1： threedimensional muscle model facial animation[J]. Computer Facial Animation， 1996（5）：337339.
[2]LEE S Y， CHWA K Y， SHIN S Y. Image metamorphosis using snakes and freeform deformations[C].Proceedings of the 22nd Annual Conference on Computer graphics and interactive techniques. ACM， 1995：439448.
[3]XU C， QUAN L， WANG Y， et al. Adaptive multiresolution fitting and its application to realistic head modeling[C].Geometric Modeling and Processing， Proceedings. IEEE， 2004：345348.
[4]GU X，WANG Y，CHAN T F，et al.Genus zero surface conformal mapping and its application to brain surface mapping[J].IEEE Transactions on Medical Imaging（TMI），2004，23（8）：949958.
[5]BEUMIER C， ACHEROY M. 3D facial surface acquisition by structured light[C]. International Workshop on SyntheticNatural Hybrid Coding and Three Dimensional Imaging， Santorini，Greece， 1999：103106.
[6]TARINI M， CIGNONI P， MONTANI C. Ambient occlusion and edge cueing for enhancing real time molecular visualization[J]. IEEE transactions on visualization and computer graphics， 2006，12（5）：167169..
[7]MEYER G P， DO M N. Realtime 3D face modeling with a commodity depth camera[C].Multimedia and Expo Workshops （ICMEW）， 2013 IEEE International Conference on. IEEE， 2013：14.
[8]MACEDO M C F， APOLINáRIO JR A L， SOUZA A C S. KinectFusion for faces： realtime 3D face tracking and modeling using a kinect camera for a markerless AR system[J]. SBC Journal on 3D Interactive Systems（S22363297），2014，4（2）：27.
[9]王琨，鄭南宁.基于SFM算法的三维人脸模型重建[J].计算机学报，2005（6）：10481053.
[10]SENGUPTA K， KO C C. Scanning face models with desktop cameras[J]. IEEE Transactions on Industrial Electronics， 2001，48（5）：904912.
[11]周佳立，张树有，杨国平.基于双目被动立体视觉的三维人脸重构与识别[J].自动化学报，2009（2）：123131.
[12]LIU Z， ZHANG Z， JACOBS C， et al. Rapid modeling of animated faces from video[J]. Computer Animation and Virtual Worlds， 2001，12（4）：227240.
[13]LEE W S， MAGNENAT THALMANN N. Fast head modeling for animation[J]. Image and Vision Computing，2000，18（4）：355364.
[14]CHOWDHURY A K R， CHELLAPPA R. Face reconstruction from monocular video using uncertainty analysis and a generic model[J]. Computer Vision and Image Understanding，2003，91（1）：188213.
[15]BLANZ V， VETTER T. Face recognition based on fitting a 3D morphable model[J]. IEEE Transactions on pattern analysis and machine intelligence，2003，25（9）：10631074.
[16]ROMDHANI S， VETTER T. Estimating 3D shape and texture using pixel intensity， edges， specular highlights， texture constraints and a prior[J].Computer Vision and Pattern Recognition， 2005. CVPR 2005. IEEE Computer Society Conference on. IEEE，2005（2）：986993.
[17]AMBERG B， BLAKE A， FITZGIBBON A， et al. Reconstructing high quality facesurfaces using model based stereo[C].Computer Vision， 2007. ICCV 2007. IEEE 11th International Conference on. IEEE，2007：18.
[18]ROMEIRO F， ZICKLER T. Modelbased stereo with occlusions[J]. Analysis and Modeling of Faces and Gestures，2007（1）：3145.
[19]HUBER P， KOPP P， CHRISTMAS W， et al. Realtime 3D face fitting and texture fusion on inthewild videos[J]. IEEE Signal Processing Letters，2017，24（4）：437441.
[20]ROBINSON J A， HYDE J R. Estimation of Face Depths by Conditional Densities[C].BMVC，2005：609618.
[21]REITER M， DONNER R， LANGS G， et al. 3D and infrared face reconstruction from RGB data using canonical correlation analysis[C].Pattern Recognition， ICPR 2006. 18th International Conference on， IEEE，2006：425428.
[22]CASTELáN M， VAN HOREBEEK J. 3D face shape approximation from intensities using partial least squares[C].Computer Vision and Pattern Recognition Workshops，2008.CVPRW'08. IEEE Computer Society Conference on. IEEE，2008：18.
（責任编辑：杜能钢）
摘要：三维建模是计算机图形学和计算机视觉领域的基本问题。人脸具有共性强及个性鲜明的特点，成为众多三维建模算法的实验平台。但由于人脸的多样性、复杂性，建立真实感强的目标三维人脸模型在学术研究和实际应用方面都具有重要意义。在文献梳理的基础上，阐述了真实感三维人脸建模理论和实践相关研究成果，总结了目前三维人脸重建的研究方法，分析了各种三维人脸重建方法的优缺点，提出了有待进一步研究的问题，展望了未来的发展趋势。
关键词：真实感三维人脸建模；三维数据获取；虚拟现实；计算机视觉
DOIDOI：10.11907/rjdk.172298
中图分类号：TP317.4
文献标识码：A文章编号文章编号：16727800（2018）001000103
Abstract：Threedimensional modeling is a basic problem in the field of computer graphics and computer vision. Face with its unique common and strong personality and other characteristics， as many advanced 3D modeling algorithm experimental platform. However， due to the diversity of face， complexity， the establishment of a strong sense of the goal of threedimensional face model has become a challenge for many researchers， computer simulation of specific threedimensional face， both in academic research and practical applications are of great significance. On the basis of combing the literature， this paper summarizes the research results of real threedimensional face modeling theory and practice， summarizes the research methods of 3D face reconstruction in recent time， and analyzes the advantages and disadvantages of various 3D face reconstruction methods， a few issues to be further studied and future trends.
Key Words：realistic 3D facial modeling； 3D data acquisition； virtual reality； computer vision
0引言
随着计算机图形学及虚拟现实等技术的发展，尤其是虚拟播音员的出现，基于虚拟人物设计的研究被广泛重视。人脸包含了大量的特征信息，是辨别人物最主要的器官，特定人脸的计算机模拟研究具有重要意义。真实感三维人脸模型在影视制作、计算机游戏、远程教育、医学美容、智能识别等应用中举足轻重。在学术研究方面，三维人脸重建与表情口型模拟、人脸识别、医学图像处理、人机交互等研究课题相辅相成，其研究成果可推动相关研究。Parke[1] 20世纪70年代建立了第一个脸部模型，其后研究不断深入。真实感三维人脸重建可分为两种途径：①采取三维扫描仪等较复杂的硬件装置，辅以一些较简单的算法来获取人脸的几何和纹理数据；②通过普通的相机获取人脸图像，采用比较复杂的图形处理结合计算机视觉算法得到人脸数据。
1基于几何数据构建的三维人脸模型
1.1利用三维激光扫描仪进行三维人脸建模
三维激光扫描仪依据三角测量学原理直接获取人脸数据。目前，最著名的三维扫描仪是Cyberware公司研发的，许多研究小组利用此设备展开研究。Lee等 [2]利用拉普拉斯变换，对扫描仪采集的三维人脸数据进行预处理，之后在拉氏空间中提取人脸特征点，调整一般人脸网格模型，得到了较好的目标三维人脸模型。针对非均匀三维人脸数据，Xu等 [3]进一步改进了自适应多精度拟合方法，可以有效解决孔洞和数据密度严重不均等问题。丘成桐、顾险峰等 [4]利用三维映射扫描仪获取人脸信息，采用基于计算机共性几何进行人脸曲面间的变换和纹理共形映射，构建出真实感三维人脸。
三维激光扫描仪虽然可以获得精度较高的三维人脸数据，但采集的纹理图像存在诸多问题：分辨率比数码相机要低，毛发等反射率较低的部位扫描效果略差，眼睛和牙齿等有遮挡部位无法获取有效数据。所以，有研究者利用图像处理算法将数码相机拍摄的人脸照片转化为纹理图，并采用纹理映射技术提高目标人脸模型的真实感。
1.2基于结构光扫描仪的三维人脸建模
由于三维激光扫描仪费用昂贵且对计算机硬件要求较高，因此科研者研发出由投影光源儀和摄像机构成的结构光扫描仪，根据结构光测距原理，有效解决了双目视觉中对应点匹配问题。Beumier等 [5]基于结构光建立了一个人脸快速获取系统，并利用该系统构建了一个包括120人的三维人脸数据库，在此基础上改进了基于轮廓线和网格面匹配的三维人脸识别算法；Tarini等 [6]改进了人脸图像与几何模型的配准方法，对目标人脸器官（牙齿、眼睛）的纹理建模，并在得到的三维人脸模型基础上进行了动画研究。Meyer等 [7]提出一个基于Kinect的三维人脸建模系统。Macedo等 [8]利用Kinect相机的彩色传感器提取面部标记点，在此基础上调整一般人脸模型来配准单幅深度图片，进而建立目标人脸模型。
一般使用复杂硬件设备构建的三维模型精度和逼真度较高，可以较清晰表述个性特征，但由于造价高、处理复杂、不灵活等因素限制，通常只能在某些特殊场合使用。
2基于图像构建三维人脸模型
2.1基于计算机视觉的三维人脸建模
二维图像中含有深度信息，基于机器视觉的三维人脸建模方法无需人脸形状先验知识，可直接运用几何学和三角测量学知识获取二维图像序列上的人脸三维数据，重建真实感的三维人脸。同一物体不同拍摄角度的图像中含有立体视差，可由立体视觉方法得到；物体相对摄像机运动而产生的运动视差，可通过从运动形状恢复（Structure from Motion，简称SFM）的方法进行。即便是单幅图像，物体表面的深度变化也会经光照模型作用到二维图像中，因此可通过从明暗恢复形状的方法恢复深度信息。
王馄等 [9]提出了采用两幅正面人脸图像，利用SFM重建人脸三维结构的方法，运用人脸共性特征的几何对称性和规律性，能快速准确地找出SFM算法需要的匹配点；Sengupta等 [10]根据计算机视觉的样条拟合、仿射变换等技术，基于单视频序列实现了三维人脸建模；周佳丽等 [11]提出一种基于双目被动视觉的三维人脸建模方法，采用图像中弱特征检测法提取人脸特征关键点并进行视差估计，基于复小波的相位技术实现匹配，重建三维人脸。
因为没有人脸结构先验知识的约束，所以这类方法鲁棒性较差，重建后的三维人脸模型与目标真实人脸存在较大差距。
Lee等 [13]使用正交图像重建目标人脸的三维模型，利用结构化的Snake模型提取人脸特征点，并采用Dirichlet Free Form Deformation算法修改一般人脸模型。Lavagetto等采用MPEG4标准来定义正、侧面图像中的面部特征点，并利用径向基函数内插方法修改一般人脸模型。Pighin等提出基于多幅多视角下拍攝的人脸图像变形方法，运用计算机视觉方法来估计相机参数，并同时恢复人脸姿态及13个面部特征点的三维坐标，然后利用散乱数据插值方法变形一般人脸模型。Chowdhury和Chellappa[14]对基于视频的三维人脸建模进行了研究，采用运动恢复形状方法获得人脸三维信息，利用光流法从视频序列中恢复人脸三维形状，整个过程采用马尔可夫链蒙特卡罗法优化逼近目标人脸。
基于一般人脸模型的方法，与同时期的从运动恢复结构、线性三维人脸模型表示以及立体视觉匹配等研究相辅相成。该方法需要解决图像中提取特征点，以及从一般人脸模型变形目标人脸模型这两个关键问题。其中，特征点越稠密、越准确，则重建的三维人脸模型真实感越强，但这对自动标定特征点提出了很高要求。整体来说，该类方法对构建低成本、快速的三维人脸建模系统是可行的。
2.3基于三维形变模型
三维形变模型（3D Morphable Model，简称3DMM）是由德国学者Blanz和Vetter[15]提出的一种基于统计学的三维人脸建模方法，对计算机视觉和计算机图形学都产生了深远影响。3DMM的基本思想是把所有人脸近似看成一个线性空间，对归一化的人脸基底进行线性组合，利用复杂的光流算法，确立不同人脸三维点间的对应关系。所有三维人脸由统一的几何形状向量和纹理向量表示，几何形状向量S∈R3N包含人脸上点的x、y、z坐标，纹理向量T∈R3N包含每个顶点的R、G、B颜色信息，其中N是人脸样本的顶点数量。一般人脸基底由形状向量Si和纹理向量Ti构成，目标人脸的形状Smodel和纹理Tmodel可线性表示如下：
Blanz和Vette提出的基于随机牛顿法的优化算法，是最早解决3DMM模型匹配问题的方法。Romdhani等 [16]针对随机牛顿优化算法计算复杂度高的问题，提出了线性形状纹理匹配算法与反向复合图像匹配算法，还提出了多种用于模型匹配的图像特征，以提高计算精度，避免陷入局部极小值。Amberg等 [17]提出从三幅立体图像中恢复形变模型的方法。将一幅图像上的像素点特征通过形变参数，映射到另一幅图像上，计算投影点和实际图像的特征差。Romeiro和Zickler[18]对有遮挡情况下从立体图中恢复形变系数进行了研究。Huber等 [19]利用AdaBoost识别出视频中的人脸，主动分析模型标定人脸特征关键点，并根据黄金标准算法恢复相机参数，得到形变系数重建人脸。经过实验，基于多幅立体图融合多种特征的匹配优化方法，比起基于单幅图像的优化方法，人脸重建精度明显提高。
2.4基于统计学习的方法
随着公开使用的三维人脸数据库日渐增多，以及机器学习相关研究的深入，人们开始探索通过图像数据直接挖掘出潜在深度信息的方法。它不同于传统的基于优化的方法，不再需要一个代价函数，也不再基于一个最小均方误差的框架，而是把人脸纹理和深度作为两种子空间变量，利用空间映射得到二者之间的映射函数，进而从纹理数据直接计算出相应的深度数据。
Robinson和Hyde[20]把图像灰度和对应的深度值连接为一个向量，并使用多元正态分布描述向量的统计特性。Reiter等 [21]采用基于标准相关分析的回归方法，从RGB图像中估计深度图像。该方法原理是找出两个投影方向，使原始输入和输出数据投影到这两个方向后相关性最大。Castelán等 [22]将人脸图像灰度和三维表面形状特征空间综合在一个混合模型中，并采用偏最小二乘回归作为深度估计的学习算法。
基于统计学习的三维人脸建模方法是一种新兴的三维建模方法，优点在于只需单幅图像便可进行人脸重建，且计算复杂度低，结果鲁棒性好。但这类方法也存在一定问题：若深度估计重建三维人脸，容易导致重建后人脸在深度方向上畸变、需考虑从训练集扩展到真实图像测试集的泛化以及估计误差有一定的下限问题等。因此，仅采用统计学习的方法，一步得到真实感强的三维人脸模型有一定难度，但它可辅助于其它方法。
3结语
人脸是最能体现人物特征的器官，真实感三维建模方法研究一直是计算机图形图像学的研究热点。通过计算机生成真实感三维人脸能促进虚拟人物、医学图像处理、智能识别等相关技术的发展。总的来说，使用三维扫描仪得到的三维人脸模型效果较好，但由于造价高、处理复杂、灵活性差等因素限制，适用场合有限。基于人脸图像进行三维建模是时下的研究热点，其中基于统计学习的方法进行三维人脸建模是近年来的新兴技术。如何将其融入3DMM等人脸重建方法，创造出效率更高、鲁棒性更好、真实感更强的三维人脸建模方法，是计算机模拟人脸领域的研究方向。
参考文献：
[1]PARKE F I， WATERS K， PETERS A K. Appendix 1： threedimensional muscle model facial animation[J]. Computer Facial Animation， 1996（5）：337339.
[2]LEE S Y， CHWA K Y， SHIN S Y. Image metamorphosis using snakes and freeform deformations[C].Proceedings of the 22nd Annual Conference on Computer graphics and interactive techniques. ACM， 1995：439448.
[3]XU C， QUAN L， WANG Y， et al. Adaptive multiresolution fitting and its application to realistic head modeling[C].Geometric Modeling and Processing， Proceedings. IEEE， 2004：345348.
[4]GU X，WANG Y，CHAN T F，et al.Genus zero surface conformal mapping and its application to brain surface mapping[J].IEEE Transactions on Medical Imaging（TMI），2004，23（8）：949958.
[5]BEUMIER C， ACHEROY M. 3D facial surface acquisition by structured light[C]. International Workshop on SyntheticNatural Hybrid Coding and Three Dimensional Imaging， Santorini，Greece， 1999：103106.
[6]TARINI M， CIGNONI P， MONTANI C. Ambient occlusion and edge cueing for enhancing real time molecular visualization[J]. IEEE transactions on visualization and computer graphics， 2006，12（5）：167169..
[7]MEYER G P， DO M N. Realtime 3D face modeling with a commodity depth camera[C].Multimedia and Expo Workshops （ICMEW）， 2013 IEEE International Conference on. IEEE， 2013：14.
[8]MACEDO M C F， APOLINáRIO JR A L， SOUZA A C S. KinectFusion for faces： realtime 3D face tracking and modeling using a kinect camera for a markerless AR system[J]. SBC Journal on 3D Interactive Systems（S22363297），2014，4（2）：27.
[9]王琨，鄭南宁.基于SFM算法的三维人脸模型重建[J].计算机学报，2005（6）：10481053.
[10]SENGUPTA K， KO C C. Scanning face models with desktop cameras[J]. IEEE Transactions on Industrial Electronics， 2001，48（5）：904912.
[11]周佳立，张树有，杨国平.基于双目被动立体视觉的三维人脸重构与识别[J].自动化学报，2009（2）：123131.
[12]LIU Z， ZHANG Z， JACOBS C， et al. Rapid modeling of animated faces from video[J]. Computer Animation and Virtual Worlds， 2001，12（4）：227240.
[13]LEE W S， MAGNENAT THALMANN N. Fast head modeling for animation[J]. Image and Vision Computing，2000，18（4）：355364.
[14]CHOWDHURY A K R， CHELLAPPA R. Face reconstruction from monocular video using uncertainty analysis and a generic model[J]. Computer Vision and Image Understanding，2003，91（1）：188213.
[15]BLANZ V， VETTER T. Face recognition based on fitting a 3D morphable model[J]. IEEE Transactions on pattern analysis and machine intelligence，2003，25（9）：10631074.
[16]ROMDHANI S， VETTER T. Estimating 3D shape and texture using pixel intensity， edges， specular highlights， texture constraints and a prior[J].Computer Vision and Pattern Recognition， 2005. CVPR 2005. IEEE Computer Society Conference on. IEEE，2005（2）：986993.
[17]AMBERG B， BLAKE A， FITZGIBBON A， et al. Reconstructing high quality facesurfaces using model based stereo[C].Computer Vision， 2007. ICCV 2007. IEEE 11th International Conference on. IEEE，2007：18.
[18]ROMEIRO F， ZICKLER T. Modelbased stereo with occlusions[J]. Analysis and Modeling of Faces and Gestures，2007（1）：3145.
[19]HUBER P， KOPP P， CHRISTMAS W， et al. Realtime 3D face fitting and texture fusion on inthewild videos[J]. IEEE Signal Processing Letters，2017，24（4）：437441.
[20]ROBINSON J A， HYDE J R. Estimation of Face Depths by Conditional Densities[C].BMVC，2005：609618.
[21]REITER M， DONNER R， LANGS G， et al. 3D and infrared face reconstruction from RGB data using canonical correlation analysis[C].Pattern Recognition， ICPR 2006. 18th International Conference on， IEEE，2006：425428.
[22]CASTELáN M， VAN HOREBEEK J. 3D face shape approximation from intensities using partial least squares[C].Computer Vision and Pattern Recognition Workshops，2008.CVPRW'08. IEEE Computer Society Conference on. IEEE，2008：18.
（責任编辑：杜能钢）
