| 标题 | 增强现实虚实遮挡技术研究现状分析 |
| 范文 | 邢立国 彭伟国 摘要：遮挡一致性就是要正确处理虚拟物体和真实环境的遮挡关系，该文重新梳理了近些年增强现实虚（AR）实遮挡的常用方法，主要有三维建模遮挡法、深度计算法、轮廓跟踪处理法和遮挡掩膜法，其中轮廓跟踪处理法是当前主流研究方法，最后介绍了AR虚实遮挡发展趋势。 关键词：增强现实；AR；虚实遮挡 中图分类号：TP391 文献标识码：A 文章编号：1009-3044（2018）27-0255-03 1 背景 遮挡一致性要求虚拟物体能够遮挡背景，也能被前景物体遮挡，具备正确的遮挡关系[1]。只有正确的处理虚拟物体在真实世界中的前后位置关系，才能使用户在实时的合成空间中正确感知虚实物体的层次关系。错误的虚实遮挡关系，容易造成感官上的空间位置错乱，不能达到超越现实的感官体验。随着AR研究领域细化发展，在解决AR虚实遮挡方面，目前主要有三种解决方法。 2 三维建模遮挡法 当虚拟物体遮挡真实场景时，虚拟物体在纵深层次上处在实拍背景的前面，在进行虚实物体视频融合时不需要做特殊的处理。但是，若要实现真实物体作为前景出现在虚拟物体的前方时，就需要对真实物体遮挡虚拟物体的部分进行计算和转化，转换为虚拟物体与虚拟物体之间的遮挡判断。这种三维建模遮挡法省去了虚实物体深度值的计算，适用于真实场景简单的环境。 三维建模遮挡法是虚实遮挡研究早期的主流研究方法，代表人物有Breen、Whitaker等人。后来，出现了三维模型缓存技术，先把场景中的多个深度值不同的三维模型缓存起来，在和虚拟物体遮挡时，进行深度信息值比对，以此实现虚实物体的正确遮挡关系。 对于三维建模遮挡法来说，需要运用立体视觉方法或者使用专门的测距设备获取会与虚拟物体发生遮挡关系的真实物体的深度图，然后对深度图通过数据去噪、精简、配准、融合和网格化等步骤，得到精确的三维模型。三维模型大部分是由三角面片组成，在进行虚实物体融合时，剔除不可见的三角面片。俞文炯[2]对三角面片遮挡法进行了改进，只选取物体标志物中心坐标点的深度信息与虚拟模型相比较，只要存在中心坐标点深度信息小于虚拟模型的情况，则表示真实物体有部分或全部在虚拟物体前方，需建立虚拟模型，否则进入场景融合阶段。虚拟物体的三角面片顶点数少时，在进行虚实融合处理因计算量小实时性较好。 3 深度计算法 从目前的研究文献来看，在遮挡物深度的计算上，主要有单目摄像机和双目摄像机2种视频采集设备。双目摄像机要求2个摄像头的内置参数一致，空间某点P（x，y，z）在两个摄像头中分别投射两个点Pl（xl，yl）， Pr（xr，yr）。这三个点组成一个三角平面，利用公式Z=fB/（ xl- xr）求出空间点P相对摄像机成像平面的深度值。其中f是摄像机的焦距，B是基线长度，B与摄像机焦距有关，利用立体视觉和三角几何图形学原理间接计算而来，xl、xr是成像点在三角平面上的坐标点，Z是空间点P的深度值。通俗地说，双目摄像机主要是利用同一空间点P在两个摄像机成像平面上的视点差而计算出来P的深度值的[3]。Yokoya[4]采用双目摄像机分别获取两幅图像，对两幅图像中像素进行逐点比较，比较同一像素点在两幅图像中的位置差来计算该点的深度值。但这种方法无法对虚实物体的边缘进行精确的区分。后来H.Kim引入权重引子和Candy边缘检测算法改进了Yokoya算法，获得良好效果。Schmidt[5]等人通过计算立体图像对的视差图的方法比较虚实物体像素深度值，当虚拟物体遮挡真实物体时不能正确显示遮挡关系。Lu和Smith[6]基于GPU的分割算法虚拟物体遮挡区域，并进行深度值提取，但不能实现精确的虚实遮挡。Wloka 等[7]提出了快速立体匹配算法，采用低于原图像一倍的分辨率计算场景深度值，有效地提高了处理速度，但是准确率较低。Ryu[8]改进了Wloka算法，先用低分辨率方法確定虚实遮挡区域，然后恢复到原始分辨率。这些方法共同点是在整幅图像范围内计算场景的深度值，因计算量大而实时性差。 单目摄像机只有一个摄像头，识别空间点P的深度值，主要是在P点出贴标识物的方法实现的，遮挡物的深度信息就等于标识物的深度信息。由于摄像机坐标系、屏幕二维坐标系、现实世界坐标系存在空间差异，故需要对三者坐标系进行转换，统一到一个坐标系参照下，才能计算出遮挡物的深度值。ARToolKit增强现实工具包是有一套支撑虚拟现实开发的函数库，AR ToolKit通过找到标记，计算已知标记相对于摄像机的空间位置（深度值）和姿态。 4 轮廓跟踪处理法 虚实物体发生遮挡关系的区域通常是局部的，也可能是动态变化的。一些学者从基于轮廓提取的视频压缩方法中得到提示，仅提取并计算发生遮挡关系的区域的深度值，这便出现了近些年各种各样的轮廓跟踪处理法，大幅减少了深度值计算区域，减少了运算负荷，一定程度上提升了实时遮挡效果。轮廓跟踪就是通过一定方法找出边缘点来跟踪边界，适用于动态目标物的跟踪和识别。AR虚实遮挡研究者们运用不同的边界轮廓提取技术，在解决运动背景下的虚实遮挡问题做了许多尝试。 朱杰杰[9]通过图像检测技术检测真实物体的遮挡物轮廓，然后与虚拟物体进行深度值比对，确定虚实物体的前后遮挡关系。李俊[10]通过颜色检测方法提取场景中物体的轮廓，然后运用插值计算的方法求出临近像素的深度值，以此判断虚实物体的遮挡层次。康波[11]基于单目的视觉处理方法对场景中物体的轮廓和场景深度值进行提取，运用模板缓存的方法剔除虚拟物体被遮挡的部分。刘莉[12]通过物体色彩和亮度检测来提取前景物体轮廓，然后通过空间立体视觉提取轮廓的深度值，对背景轮廓使用插值计算，对背景轮廓进行深度恢复，以此解决虚实物体的多层次遮挡问题。李红波等[13]用背景差分法求出动态变化的场景中运动物体的轮廓，通过物体像素坐标的变化情况判别运动状态下虚实物体的遮挡情况，此方法适用于非刚体的虚实遮挡判断，对于复杂场景虚实遮挡判别性能不准确。Lepetit[14]认为真实物体的轮廓线每帧都会发生变化，通过预存多张关键帧轮廓线基准图来预测某一时刻物体的轮廓线，并检测物体轮廓的深度。这方轮廓预测法只能运用于刚体对象，且实时性不好。Tan[15]运用图像处理方法对遮挡的前景物体进行轮廓提取，依据前景轮廓信息进行三维建模，然后完成前景虚拟三维模型和要遮挡的三维模型进行叠加融合。Yokoya[16]通过立体匹配算法求出手部区域轮廓，然后与虚拟物体的深度信息进行比较，实现了人手局部特征的虚实物体遮挡。田元[17]利用的重绘技术绘制视频帧图像中遮挡物体轮廓，在这个轮廓对应的区域里，将虚拟物体叠加到这个区域里，然后进行视频合成，生成正确的遮挡关系。 上述輪廓跟踪处理法几乎都要准确、实时地求出真实场景的深度值，由于要实时动态的计算场景的深度值，计算量大，对于动态环境下的虚实遮挡，效果不佳。场景发生改变后，需要重新计算场景的深度值，因而这种方法不能满足复杂环境下实时性的要求。 5 遮挡掩膜法 丰艳[18]提出了一种解决运动背景下虚实物体多层相互遮挡的算法。该算法不用事先对真实场景建模，采用目标提取和Alpha通道相结合的方法， 自动生成遮挡掩膜，以实现虚实场景间的多层次相互遮挡。该算法减少了大量的前期建模工作，实时性好，并且该算法还适用于非刚体对象。 Fischer[19]等人研究了静态真实背景中的动态遮挡关系，将含有真实场景的平面几何图形当作遮挡蒙版，当产生虚实遮挡情况时，只针对被遮挡部分生成遮挡蒙版，该方法仅适用于静态真实场景，如演播室、实验室等室内环境。 6 AR虚实遮挡发展趋势 6.1 非刚体对象轮廓提取方法 非刚体对象受物理环境的影响发生会对虚实遮挡效果产生较大影响，目前非刚体对象的虚实遮挡研究还不是很多，部分学者针对手部、运动中的人物、变形球体等展开了虚实遮挡探索，运动情况下增加形体的改变，增加了轮廓提取的难度，是当前一个研究的热点领域。国内俞文炯、丰艳等分别基于三角面片法、目标提取+Alpha技术结合法等途径进行了非刚体虚实遮挡探索，取得了较好效果。 6.2 提高遮挡物深度值计算效率 随着轮廓提取技术的发展成熟，轮廓提取法可解决运动环境下的虚实遮挡问题，使得AR研究不再局限于实验室静态环境，但轮廓提取法几乎离不开虚实物体的深度计算，复杂动态环境深度值估算而造成运算量迅速增加，影响了虚实遮挡的实时性和真实性。KHayashi 和朱杰杰等只计算前景物体轮廓的深度值，然后与虚拟物体的深度值进行比较，判断虚实遮挡关系，但这种方法对局部非遮挡问题没有很好的解决方法。轮廓提取法在移动物体遮挡方面迈出了一步，但复杂背景遮挡物深度值计算影响了实时遮挡的效果，提高遮挡物深度值计算效率将是一个新的研究热点。 6.3 全景视频背景下的虚实遮挡 当前实现增强现实的头显设备主要有光学透视式AR系统和视频透视式AR系统，共同特征是视频采集方向是立体空间球面一侧。随着全景摄像技术的出现，全景视频增强现实系统的建设方案会越来越多，全景环境下用户视角处在立体空间正中心，运动物体活动空间范围得到了极大延伸，任一角度、方向的虚实遮挡问题都可以发生，这对全景增强现实系统深度值数据处理能力和轮廓跟踪提取都带来了全新挑战。全景增强现实系统中的虚实遮挡技术将是不就将来的下一个研究热点。 7 结束语 增强现实技术虚实遮挡问题的研究到目前已经有二十多年的研究历程了，从静态增强现实、户外运动环境下的增强现实到全景环境下的增强现实，虚实遮挡问题始终是研究者们关注技术重点之一。该文树立了目前解决虚实遮挡的主要方法，因轮廓跟踪处理法适用于运动环境下的复杂背景，近年来是AR虚实遮挡研究中关注最多的，在满足虚实遮挡一定精度的前提下，轮廓提取方法和深度值提取效率将是这一研究领域的重心。全景视频拍摄技术的出现也许将是下一个AR虚实遮挡研究的热点。 参考文献： [1] 郑毅. 增强现实虚实遮挡方法评述与展望[J]. 系统仿真学报， 2014（1）：1-10. [2] 俞文炯. 面向增强现实虚实融合的遮挡识别研究[D]. 广州： 广东工业大学， 2009. [3] 聂平. 增强现实中虚实遮挡技术的研究现状[J]. 数字通信， 2013， 40（5）：34-37. [4] Yokoya N， Takemura H， Okuma T， et al. Stereo vision based video see-through mixed reality.Proceedings of 1 st International Symposia on Mixed Reality（ISMR99），1999： 85-94. [5] Schmidt J， Niemann H， Vogt S. Dense disparity maps in real-time with an application to augmented reality[C]//IEEE Workshop on Applications of Computer Vision. IEEE Computer Society， Orlando， FL， USA， 2002： 225-230. [6] Lu Y， Smith S. GPU-based real-time occlusion in an immersive augmented reality environment[J]. Journal of Computing & Information Science in Engineering， 2009， 9（2）：375-389. [7] Wloka M M， Anderson B G. Resolving Occlusion in Augmented Reality[C]// Proceedings of the 1995 Symposium on Interactive 3D Graphics. Monterey， USA： Association for Computing Machinery， 1995： 5-12. [8] Ryu S W， Han J H， Jeong J， et al. Real-time Occlusion Culling for Augmented Reality[C]// Proceedings of the 16th Korea-Japan Joint Workshop on Frontiers of Computer Vision. Hiroshima， Japan： Korea-Japan Joint Workshop on Frontiers of Computer Vision， 2010： 498-503. [9] 朱杰杰， 潘志庚. 用视觉计算实现视频增强现实遮挡处理[J]. 计算机辅助设计与图形学学报， 2007， 19（12）：1624-1628. [10] Li Lijun， Guan Tao， Ren Bo. Resolving Occlusion between Virtual and Real Scenes for Augmented Reality Applications.[C]// Proceedings of the 12th International Conference on Human- Computer Interaction. Beijing： Springer Verlag， 2007， 4551 LNCS （2）：634-642. [11] Kang Bo， Su Hong. A Real- time Method for Occlusion Handling in Augmented Reality[J]. Journal of System Simulation （S1004-731X）， 2010， 22（5）：1174-1177. [12] 刘莉. 增强现实中基于轮廓深度恢复的虚实遮挡方法研究[J]. 计算机应用与软件， 2011， 28（1）：220-222， 245. [13] 李红波， 代文海， 吴渝， 等. 动态变换背景帧的虚实遮挡处理方法[J]. 计算机工程与设计， 2015（1）：227-231. [14] Lepetit V， Berger M O. A semi-automatic method for resolving occlusion inaugmented reality[C]. In Proceedings of the IEEE Conference on Computer Vision and PatternRecognition， 2002（2）：225-230. [15] Ong K C， Teh H C， Tan T S. Resolving Occlusion in Image Sequence Made Easy. The Visual Computer （S0178-2789）， 1998， 14（4）：153-165. [16] Yokoya N， Takemura H， Okuma T， et al. Stereo Vision based Video See-through Mixed Reality[C]// Proceedings of the 1st International Symposium on Mixed Reality. Yokohama， Japan： Ohmsha， 1999： 131-145. [17] 田元. 增强现实中的虚实遮挡处理方法研究[D]. 武汉： 华中科技大学， 2010. [18] 丰艳. 增强现实系统虚实无缝融合相关问题研究[D]. 上海： 上海大学， 2007. [19] Jan Fischer， Holger Regenbrecht， Gregory Baratoff. Detecting Dynamic Occlusion in front of Static Backgrounds for AR Scenes[C]. Proceedings of the workshop Oil Virtual environments， 2003： 153-161. [通聯编辑：谢媛媛] |
| 随便看 |
|
科学优质学术资源、百科知识分享平台，免费提供知识科普、生活经验分享、中外学术论文、各类范文、学术文献、教学资料、学术期刊、会议、报纸、杂志、工具书等各类资源检索、在线阅读和软件app下载服务。