《基于Kinect的工人操作估计》-工学论文，计算机论文-论文范文参考-科学狗论文网

标题

基于Kinect的工人操作估计

范文

张欢

摘要：为了实现Kinect对工厂工人操作动作的识别，该文提出了基于Kinect传感器的工人操作动作识别方法。首先，使用Kinect采集人体运动的关节点数据和RGB序列，然后，通过中值滤波等操作提高信息的可信度，构造关节点特征并检测序列RGB序列中的时空兴趣点。最后，利用决策融合框架对工人的操作动作进行识别与估计。实验结果证明，将该文提出的方法应用于自采集的数据集合，得到了90%以上的识别正确率，表明算法能够在复杂场景下取得较好的识别结果且有效地完成工人操作动作识别任务。

關键词：骨架特征；时空兴趣点；DTW；操作估计

中图分类号：TP3 文献标识码：A 文章编号：1009-3044（2018）08-0182-03

1引言

人体动作识别是计算机视觉领域的重要研究课题，其在智能监控、智能家居、服务机器人等领域均有着广泛的应用。近年来，为了获取动作的时空联系，常提取动作的时空特征点。因此，基于时空特征点（STIP）的研究逐渐成为动作识别领域的关注热点。文[2]中改进了STIP检测方法，提出彩色STIP的视频检测方法以获取高质量的检测与描述效果，有效克服了传统STIP方法易受光照和阴影等影响的问题。与此同时，由于密集轨迹能够快速地、精准地捕获复杂地运动模式，提取梯度直方图（HOG）和光流直方图（HOF）等特征的密集轨迹动作识别取得了很大的研究。

工人在社会发展中扮演重要角色的同时对工作效率的要求也日益增高，工人动作识别受到越来越多的关注。工人操作动作估计的核心技术是动作识别，工人动作估计通过识别工厂工人的动作，从而判断工人的操作动作是否标准，是否按照顺序进行操作，并为之提供相应的安全预警以达到工人效率检测和安全预警。为实现这一目的，动作识别问题将会是其首要解决的问题。

目前Kinect传感器在工厂工人的操作动作识别中主要存在的问题有以下两个方面：

（1）工厂工人动作环境影响因素较多，工人动作公共的数据集较少；（2）工人动作的复杂度较高，不同人的相同动作差异大。以上两种因素导致了现有的动作识别技术对工人动作识别受阻，大大增加了动作识别的难度。

针对上述问题，首先，使用Kinect传感器采集数据关节点坐标和RGB序列，其次，对原始数据进行了处理，将该数据进行预处理过程，能在一定程度上减少无关动作对分类结果的影响。此外，将骨架特征与局部的兴趣点特征进行融合，使数据的特征更加精准化，鲁棒性更高，从而提高了动作识别的精确度。采用DTW模板匹配的方法，对于不同的动作进行匹配，解决工人动作的信号进行识别时因长短不一无法识别的问题，提高了识别系统的准确性。

2工人操作动作识别

2.1特征提取

（1）骨架特征

根据动作特征，在执行三种工人动作时，对于身体地整体中心关节点来说，其余各个部位点相对于中心地相对距离在不断发生变化，其动作不同变化程度不同。因此，可以通过计算不同关节相对于身体中心位置变化，提取动作地骨架特征。如图（1）所示，以图中红色关节点为中心关节点所在的位置，蓝色为剩余24个骨架点位置。

（2）时空兴趣点

由于在动作执行的过程中执行者的会出现遮挡而引起骨架错乱的现象，而且人体的骨架特征对运动细节或者场景存在的工人与工具的交互关系的描述力不足，而时空兴趣点是在时空域上显著变化的点，不仅可以帮助描述骨架遮挡的动作特性还在一定程度上弥补了骨架特征对运动细节信息的损失。图2为提取时空兴趣点特征，为获得视频的时空兴趣点，具体的算法过程如下：

Step 1：利用Harris-3D算法检测RGB视频文件中的兴趣点；

Step 2：利用HOG-HOF描述符，进行特征的提取；

Step 3：兴趣点采集的原始特征包含大量的冗余信息，特征的不同类间差异小，不同动作易混淆，使用K-means的词袋模型来对局部时空兴趣点特征中有效信息进行提取和简化；

Step 4：在字典中查找兴趣点的位置，获取在整个视频中兴趣点发生的时间，获得最后的词袋（Bag Of Words）。

2.2操作动作分类算法

DTW（Dynamic Time Warping，动态时间规整算法）是一种弹性匹配算法，用来解决两个时间序列在时间轴上不规整的优化算法，最开始是应用于解决孤立词识别时说话速度快慢不一的问题。

3实验

3.1实验设置

整个实验系统框架如图4（a）所示，可以划分为4个模块，分别为数据采集模块信息显示模块数据存储模块以及动作识别模块。所涉及的每组动作主要包括4类：测量，记录，敲击和搬东西，如图4（b）所示，其中测量和记录每次执行两次。基于这个实验系统，各模块独立完成各自的功能，互不干扰。

3.2实验结果与分析

对每种都工作采集了25组，共计125组动作序列。其中每种动作采集10组样本建立标准模板库即获取动作关节点相对位置的基准向量。对其余样本进行测试，得到分类结果如表1和图5所示。本文提出的算法针对工人操作动作识别，将图像特征和关节点特征进行合理的融合；同时，对于侧身的工人操作动作识别取得了较好的识别效果。对于每种动作的结果分析可知，对于自采集的数据集，每种动作的识别率均达到90%以上，证明了该动作识别方法在工人动作识别上的可行性。

4结论

本文利用Kinect获取人体的关节点数据和图像数据，即提取相关的相对位置和局部图像特征，根据DTW原理的学习欧氏距离，从而进行动作识别。实验结果表明，将图像特征与关节点特征进行融合的识别框架能够改善工人操作识别的识别率，即减少错误率。本文算法具有以下特点：通过引入关节点特征向量、HOG和HOF向量等对特征姿势表示进行了改进，以获取更加完整的姿势表达方法，以改善数据质量，提升动作识别系统的鲁棒性；此外，利用DTW算法进行分类涉及到时序不等的动作时，与其他传统方法相比，其优势更加明显。

随便看

科学优质学术资源、百科知识分享平台，免费提供知识科普、生活经验分享、中外学术论文、各类范文、学术文献、教学资料、学术期刊、会议、报纸、杂志、工具书等各类资源检索、在线阅读和软件app下载服务。