《面部表情追踪技术在VR设备中的发展研究》-工学论文，计算机论文-论文范文参考-科学狗论文网

标题

面部表情追踪技术在VR设备中的发展研究

范文

王海荣

摘要：文章对面部表情追踪技术在VR设备中的发展趋势进行了研究，首先对面部表情追踪的原理加以说明，分析了以接触式传感器和非接触式传感器为基础的两种面部表情追踪技术。并通过对虚拟现实设备发展概况的介绍，着重阐述了VR设备中面部表情追踪技术硬件系统实现的三种主流类型，并对这三种类型的性能进行了分析比较。探讨了以主流的VR头戴式显示设备为开发平台的面部表情追踪技术在各领域内的应用，并对面部表情追踪技术的应用前景进行了总结和展望。

关键词：面部表情追踪;VR设备;接触式传感器;非接触式传感器;VR头戴式显示设备

中图分类号：TP37 文献标识码：A

文章编号：1009-3044（2019）32-0232-04

人的面部表情是人体行为信息的主要体现，在人与人的交流过程中，除了声音外，面部表情也是至关重要的通信方式，据统计，人类在社交中的信息传达只有30%是通过语言来实现的，剩余70%是通过表情和肢体动作来实现。面部表情传递着情感线索，也是人类生理特征的评价因素，而表情识别是综合了心理学、生理学、计算机视觉、模式识别的交叉课题，对面部表情的追踪研究是人工智能的基础，是未来VR（虚拟现实）的一个重要部分。

虚拟现实技术作为下一代的信息平台，将面部表情追踪技术应用到VR设备中，让VR用户产生身临其境的感觉，不仅使人在虚拟的交流平台上更具沉浸感，也可以通过VR设备来传递人类情绪信息，通过对传递情绪信息的分析，来判断人类心理和生理特征，这无论是在通信领域还是在医学领域都将具备极大的应用前景。近年来，VR设备的发展也为面部表情追踪提供了良好的平台，Veeso、Emteq、HTCVivePre、Oculus Rift等一些世界领先的VR头盔显示器亮相市场，在业界推动下，渗入到多领域的应用中去。

目前在VR设备中进行面部表情追踪时还存在很多阻碍，当用户使用VR头戴式显示设备时，面部60%的区域被遮挡㈣，不能实现准确的面部表情识别，很难恢复完整的面部运动。对于这个问题，国内外研究者也给出了不同的解决方案。

1面部表情追踪原理与实现技术

1.1面部表情追踪原理

面部表情的实时追踪在视频监控和人机交互领域有着广泛的应用，面部表情追踪不是简单的表情识别，面部表情识别是对静止图像中的相关特征进行处理并识别，而面部表情追踪则是研究在连续的图像帧中定位面部的运动情况，获取基于位置、速度、形状、纹理、色彩等有关特征量与面部表情的匹配问题。

1.2VR面部表情追踪技术

面部表情追踪即寻找面部特征变化，根据面部各器官的变化来判断人的情感状态。目前面部表情追踪技术都是以硬件为基础来获取面部特征，从而还原面部运动。以硬件为基础的面部表情追踪技术的基本原理是利用传感器来检测面部关键器官的运动，借助VR设备来采集相关信息，然后对采集到的信息进行处理。这里将VR设备上面部运动检测传感器分为两种类型，即接触式与非接触式形式。

1）接触式传感器面部表情追踪。在VR头盔内安装一些接触式传感器，紧贴脸部不同的部位，获取不同器官的运动信息，这对用户的干扰比较大，面部表情追踪的准确度也会受到很大的影响。Babiloni F等人通过对脑电信号（EEG）的获取来追踪人的面部表情;Gruebler A等人通过电极在人脸侧面进行表面肌电信号（EMG）的采集，Nakayama Y等人通过肌电信号的检测来识别微笑;Roias J、Rantanen v、1wasaki M等人针对人脸能够体现人类情感的关键器官如眼睛、眉毛、嘴巴等的运动检测。删来进行面部表情追踪。

2）非接触式传感器面部表情追踪。目前面部表情的追踪多采用在VR设备上安装摄像头，先利用摄像机获取人眼、嘴或脸部图像，然后用软件来实现人脸或脸部各器官的定位和跟踪，从而来计算、识别面部表情。摄像设备与用户非接触，对用户的干扰较小，用户的面部表情能比较准确的体现心理情感。B.Romera-Paredes等人提出了在VR头戴式显示设备内置摄像头，使用户在远程端采用动画的化身来参加会议或聚会，由于相机非常贴近脸部，很难全方位的观察人脸，而B.Romera-Paredes使用的Kinect深度传感器很好解决了相机视角有限的问题;K.Bhat等人通过拍摄到的视频流结合眼睑和内嘴的轮廓来重建动画原型;Yanchao Dong等人使用单目摄像机实现实时三维面部运动跟踪，如眼睑运动和口腔运动，实现对表隋的分析和心理推断。

2VR设备面部表情追踪技术的硬件实现

目前在VR头戴式显示设备中引入了面部表情追踪技术，获取面部表情的主流方法有三种，一种是相关传感器的形式，一种是使用摄像头的形式，还有一种是传感器+摄像头的形式。Wolfprint 3D公司利用3D扫描技术为用户拍出一个高分辨率的3D面部模型，从而通过电脑技术实现数字化重建;Emteq公司通过Emteq面部活动远程监视眼镜追踪用户的面部表情，并把表情实时显示到emoji表情中;BinaryVR公司通过3D摄像头追踪用户的嘴巴、下巴和面颊运动，该摄像头可以识别20种不同的面部表情;High Fidelity使用3D扫描仪和深度传感摄像头，结合高端的PC虚拟现实头显来进行真实感图像渲染。

2.1 VR设备面部表情追踪硬件实现系统类型

VR中面部表隋追踪技术的三种主流系统：

1）传感器。这种系统的主流开发团队是Emteq公司，Em-teq公司的Faceteq脸部追踪技术即通过应用多种生物传感器，如肌电图、心电图、心率等技术，将其植入VR头显中，当脸部肌肉运动时，会通过传感器追踪到电流，从而读取用户脸部的运动情况。

2）摄像头。Veeso团队开发了世界首个公开的可支持面部追踪的VR头显，设备中的一个摄像头会追踪用户的口部、嘴唇和下巴，另一个摄像头追踪眼皮、眉毛以及瞳孔，追蹤到的所有数据可实时映射到3D虚拟化身中，实现表情同步。Olszews-kiK在Veeso团队的基础上做了进一步的研究，改进的原型如图1所示：

实现了面部表情跟踪重建、音频对齐和头部运动检测的功能，而面部表情的跟踪和重建主要是实现了眼部区域和嘴部区域的跟踪重建，在面部表情跟踪重建上，具体硬件系统的实现如图2所示，2个IR摄像机跟踪眼部区域的运动，6个IRLED灯安装在眼睛周围，便于在光线暗淡的情况下观察眼部区域的运动;而RGB摄像机则跟踪嘴部区域的运动。

3）传感器+摄像头。Olszewski K团队则在Emteq公司的基础上融合传感器和摄像头技术，主要功能是实现了面部表情的追踪和重建。集成原型如图3所示：

VR设备采用的是Oculus Rift DK2的头显设备，与附加的8个应变传感器实现无缝衔接，应变传感器用来实现对眼部区域的运动检测，外挂一个RGB-D摄像头，用来实现对嘴部动作的检测，将传感器与摄像头分别检测到的信号进行融合，最后来实现对面部表隋的追踪和重建。

2.2VR設备面部表情追踪性能分析比较

VR设备面部表情追踪应该具备以下性能：首先是面部表情识别的准确性，由于多数VR头显设备都会由于设备本身而遮挡住脸部的大部分区域，识别遮挡区域的表情信息是关键，这直接影响着数据重建的准确性;其次是VR设备本身的重量问题，所使用的头显设备需按照工效学的设计原理，轻便耐用，所添加的传感器或其他设备不会影响其重量，不会对人类情绪造成外部干扰，能做到无约束;要求实时性，数据采集的实时性，具有实时反馈功能，在表情追踪和重建上同步性能要好。

以上团队所使用的VR设备面部表情追踪硬件系统有着各自的优势和缺点，Emteq团队由于只使用传感器来进行面部表情追踪，受外部干扰大，准确性欠佳，而Veeso则仅用摄像头来进行表情追踪，被遮挡区域的识别效果将受到影响，影响准确性;而Olszewski K团队在Veeso的基础上添加了IRLED灯，使光线暗淡处都能被准确地识别，其准确性相对Veeso有所提高，而增加的IRLED灯重量较小，也不会影响整个VR设备的重量;Olszewski K团队在Emteq团队的基础上添加追踪嘴部区域的摄像头，准确性、实时性都有所提高，但给整个VR设备增加了重量。将以上性能进行等级划分，相对情况如表1所示：

3VR设备中面部表情追踪技术的相关应用研究

VR技术自诞生就备受瞩目，现已经在航空航天、军事模拟、科学计算、游戏影视、医学教育等领域得到了非常有价值的应用，很多国家已经将VR技术的研究应用提升到战略地位。随着VR硬件设备的发展和升级，基于VR设备的应用研究也有了更好的平台，尤其是VR头戴式显示器的活跃发展，VR头戴式显示器中面部表情追踪技术变得更有意义。本节着重介绍VR头显设备中面部表情追踪技术的应用研究，这些应用将对VR面部表情追踪技术的研究具有借鉴意义。

3.1游戏影视业的应用

无疑目前VR头戴式显示设备已成为娱乐界的宠儿，它在游戏界、影视界掀起了不小的浪潮。以三大主流头戴式显示器Oculus Rift、HTC Vive、PlayStation VR为平台的游戏产品已有不少，更多的游戏开发者把眼光投向VR平台。英国新兴VR公司Emteq开发的一项新技术——脸部追踪技术Faceteq，在游戏玩家通过头戴VR显示设备，能够身临其境，通过对玩家面部表情的追踪以数字的化身投入到迷人的虚拟世界中去，能丰富角色扮演游戏的角色情感，又能追踪表情识别疲劳，实时的提醒玩家休息。2009年由詹姆斯·卡梅隆执导的一部科幻电影《阿凡达》的成功上映，引发了全世界对3D电影制作的热潮，观众在头戴式VR显示设备的观看模式下，有最好的沉浸式体验。同样处于世界各地的你在虚拟的平台上进行远程交流，在不方便采用真实图像的情况下，使用虚拟的数字化身进行身临其境的包含感情的面对面交流将是最好的方式。

3.2医疗行业中的应用

将新技术引人医疗一直是人们关注的话题，人工智能和VR技术的介入都将对医疗行业起到巨大的作用。例如，VR头戴设备应用于对自闭症儿童的治疗中，Newbutt N等人使用新设计的头盔显示器Oculus rift对自闭症参与者进行测试，通过VR设备研究测试者的意愿、存在感和沉浸感，据悉，斯坦福大学正在开发能够识别人情绪的软件，并希望能够在GoogleProject Glass（谷歌眼镜）中安装该应用程序，能透过眼镜对佩戴者情绪进行识别，这种技术一方面能帮助医生判断患者的心理状况，另一方面也能帮助自闭症患儿识别并理解他人的面部表情和不同情绪。

3.3旅游业中的应用

VR给用户带来“睁着眼睛做梦”的感觉，2015年的F8开发者大会上，扎克伯格为希望去意大利小镇的观光者展示了一段VR旅游视频，观光者以虚拟方式“实地”考察，如在市场或城市广场上闲庭信步。如今海滩、丛林、瀑布、金字塔和世界其他奇观都可以通过VR系统来“实地”体验。WenlongZhang等人对水下虚拟现实体验的低成本的头戴式显示设备进行了研究，潜水活动需要专业的训练，即使有了适当的训练和经验，潜水活动仍然是一项危险且昂贵的活动，有些人也由于先天的生理不足而不能体验这项刺激的活动，利用低成本的VR头戴式显示设备实现逼真的水下体验，让任何人都能身临其境来体验这种刺激。

4总结和展望

近年来，面部表情追踪技术取得了显著的技术进步，许多国家都在积极研究其在虚拟现实中的应用，尤其是在主流的VR头戴式显示设备亮相市场以来，基于此平台的科研成果已迅速转化为各领域的实用技术。本文在总结了各类文献的基础上对面部表情追踪原理进行了说明，并分析了以接触式传感器和非接触式传感器为基础的两种追踪技术。通过对VR设备发展状况的介绍，阐述和分析了VR设备中面部表情追踪硬件实现系统的三种主流类型，并对其性能进行了比较分析，以及基于VR头戴式显示设备的面部表情追踪技术在各个领域的应用研究。

以VR头戴式显示设备为平台的面部表情追踪技术已经得到了学术界和产业界的广泛关注，无论是在硬件装置、识别精度、应用开发等方面都得到了快速的发展和提高。虽然VR头戴式显示器开发的主流都是国外的团队，但国内的发展和应用研究也在不断进步，2017年7月在中国苏州召开的“虚拟现实/增强现实技术应用与标准化论坛”上，中国电子技术标准化研究院副院长孙文龙在论坛上正式发布了《虚拟现实头戴式显示设备通用规范》英文版团体标准，这是中国在虚拟现实领域首个自主制定的标准，同时也是虚拟现实领域内第一个英文版的标准。国内外的研究已取得了一定的成绩，但基于VR头显设备面部表情追踪技术的应用研究有待开发更广泛的应用领域，另外在面部表情追踪的实现方法和数据处理上，还有很多工作可做，相信随着计算机技术和高性能传感器、摄像头的出现，面部表情追踪将朝着高准确度、高实用性、实时性和低成本的方向发展。

随便看

科学优质学术资源、百科知识分享平台，免费提供知识科普、生活经验分享、中外学术论文、各类范文、学术文献、教学资料、学术期刊、会议、报纸、杂志、工具书等各类资源检索、在线阅读和软件app下载服务。