《基于Kinect与ARToolkit增强现实的遮挡一致性算法研究》-管理学论文，管理论文-论文范文参考-科学狗论文网

网站首页词典首页

标题

基于Kinect与ARToolkit增强现实的遮挡一致性算法研究

范文

何军

摘要：增强现实技术的发展，为还原场景的正确遮挡关系，据此提出了一种基于Kinect与ARToolkit的虚实遮挡一致性算法。

关键词：虚实物体;Kinect;ARToolkit;遮挡一致性

中图分类号： TB????? 文献标识码： A????? doi：10.19311/j.cnki.1672-3198.2019.13.090

1 引言

本文提出了一种基于Kinect与ARToolkit的虚实遮挡一致性算法。通过坐标映射分别在Kinect与ARToolkit中真实物体像素与虚拟物体像素的深度值，然后将真实物体像素重新绘制在融合场景中。

2 虛实遮挡一致性算法

该算法主要分为三个阶段：第一阶段通过像素滤波算法将Kinect获取到的真实场景深度图修复处理;第二阶段通过坐标映射求出真实物体与虚拟物体的深度值;第三阶段为判断虚实物体间遮挡关系以及实现遮挡一致性的过程。

以虚拟物体上的A点与B点为例，介绍实现虚拟物体所占区域中每个像素点所对应正确虚实遮挡关系的具体过程，步骤如下所示：

（1）使用像素滤波算法对深度图中真实物体边缘的空洞区域进行了修复，得到更加准确的深度图。

（2）在ARToolkit中将Kinect获取到的彩色图与深度图实时显示并完成在真实场景中虚拟物体的注册跟踪。

（3）在已完成虚拟物体注册工作的基础上，结合标定Kinect彩色摄像机的内参以及摄像机相对于标识卡的转换矩阵计算虚拟物体每个像素点在融合场景中的像素坐标。该坐标既是注册之后的虚拟物体像素在融合场景图像中的位置，也是注册之前的真实物体像素在真实场景图像中的位置，如图2所示，虚拟物体的A与B点分别与真实场景的A′与B′点在融合场景中对应着同一像素。

（4）根据该坐标值找出真实物体在已修复深度图中相对应像素的坐标值及深度值d1，在图2中，彩色图像中A′与B′点分别对应于深度图中A″点与B″点。

（5）由于虚拟物体的注册位置是已知的，通过Kinect相机与虚拟物体在虚拟世界坐标系中的位置计算得到虚拟物体的深度值d2。

（6）比较该像素相对应的虚拟物体与真实物体的深度值d1与d2，若d1大于d2，则不作处理;若d1小于d2，则重新绘制该像素所对应的真实物体。

3 实验结果与分析

通过Kinect 2.0实时获取不同真实场景的彩色图与深度图，对该遮挡一致性算法进行了测试，彩色图视频帧的大小为1920x1080，帧率为30f/s，像素为RGB格式，深度图视频帧的大小为512×424，帧率为30f/s，每个像素都是用16位表示的，深度有效范围为0.5m-4.5m。

3.1 深度图优化实验

通过对Kinect获取到的深度图中深度图为0的像素进行像素滤波处理，如图3所示，图（a）为真实场景彩色图像。图（b）为原始深度图，图中蓝色部分为深度值为0的像素点，在该场景中导致像素深度值为0的主要因素是手、电脑与标识卡的边缘、红外光在电脑显示器上发生镜面反射以及桌子离Kinect摄像机太近。图3为像素滤波后的深度图，比较图（b）与（c）可以看出，该像素滤波处理最明显的变化就是手、电脑与标识卡的边缘的空洞区域被填充，这些像素得到具体的深度值，有助于后续虚实遮挡关系的判断。

3.2 遮挡一致性算法实验

如图4所示，分别为不同真实物体与虚拟物体之间的遮挡关系处理前后效果图。其中图（a）与图（b）分别为手指合并时与虚拟物体之间的遮挡一致性与错误遮挡关系，先将图（b）中虚拟物体每一像素的三维坐标转换到融合场景图像的二维坐标，找出在融合场景中的与虚拟物体发生遮挡关系的真实物体区域，获取该区域中每一像素在经过像素滤波处理后的深度图中的对应像素坐标以及深度值，然后根据Kinect摄像机与标识卡之间的转换矩阵计算虚拟物体像素的深度值，最后判断其遮挡关系以及进行虚实遮挡一致性的渲染实现。图（c）与图（d）为水杯与虚拟物体发生部分遮挡时的实遮挡效果图。从实验结果可以看出，针对任何的真实物体都能在AR系统中与虚拟物体实现遮挡一致性的关系。

下面分别是当标识卡被遮挡时真实物体与虚拟物体之间的遮挡关系处理前后的效果图比较，如图5所示，左边为未经处理的虚实融合场景，右边为经过本文遮挡一致性算法处理之后的具有正确遮挡关系的场景图。如图（a）所示，针对当纸张遮挡标识卡时，虚拟物体仍能成功注册的在真实场景中，同时纸与虚拟物体也有错误遮挡关系，在图（b）中还原了它们之间的正确遮挡关系。图（c）与图（d）为手遮挡标识卡情况下的虚拟注册与虚实遮挡一致性效果图。因此，本算法也适用于标识卡被遮挡情况下的虚实遮挡关系处理。

4 结束语

为了提高虚实遮挡一致性效果，本文首先利用像素滤波器对Kinect深度图做了空洞修复处理，消除了物体边缘的噪声。最后，通过坐标转换获取虚拟物体中每一像素对应的真实物体的深度值，以及进行深度比较之后重新绘制真实物体最终实现正确的虚实遮挡关系。

参考文献

[1] 罗斌，王涌天，沈浩等.增强现实混合跟踪技术综述[J].自动化学报，2013，39（08）：118-1201.

[2]郑毅.增强现实虚实遮挡方法评述与展望[J].系统仿真学报，2014，26（1）：1-10.

随便看

科学优质学术资源、百科知识分享平台，免费提供知识科普、生活经验分享、中外学术论文、各类范文、学术文献、教学资料、学术期刊、会议、报纸、杂志、工具书等各类资源检索、在线阅读和软件app下载服务。