体育训练中的运动视频分析系统设计与实现
车益民
摘 要: 体育训练中的运动视频分析系统可以提高体育训练视频回放的动作分析能力,提高训练质量。针对当前运动视频分析系统存在的不足,提出一种新型的体育训练运动视频分析系统。对体育运动训练系统视频分析系统总体设计进行分析,对系统的详细设计进行分析,最后对系统的性能进行测试。结果表明,该系统可以准确分析体育训练的视频及图像信息,关键帧提取的准确度高,召回率高,可以用于指导运动训练。
关键词: 体育训练; 运动视频; 总体设计; 详细设计
中图分类号: TN948.43?34; TP391 文献标识码: A 文章编号: 1004?373X(2017)05?0070?04
Abstract: The moving video analysis system in sports training can improve the action analysis ability of the sports training video playback and training quality. A new moving video analysis system for sports training is proposed to eliminate the shortco?mings existing in the current moving video analysis systems. The overall design of the moving video analysis system in sports training is analyzed. The detailed design of the system is analyzed. The performance of system was tested. The test results show that the system can analyze the video and image information of the sports training accurately, has high key frame extraction accuracy and high recall rate, and can guide the exercise training.
Keywords: physical training; moving video; overall design; detailed design
0 引 言
随着图像和视频处理技术的发展,体育训练逐渐科学化和智能化,采用视频帧序列分析方法进行体育训练中的动作特征采集和信息恢复,纠正不规则的体育训练动作,改进运动训练水平,用嵌入式控制芯片结合体育训练中的运动视频分析系统开发和设计,实现对体育训练中运动视频的实时监控和信息通信。在物联网环境下,对体育训练中运动视频信息集成控制,结合专家系统分析数据,指导运动训练[1]。
对体育训练中运动视频分析系统的开发设计主要分为硬件设计和软件设计两大部分,在进行视频采集和分析系统硬件平台搭建的基础上[2],重点进行体育训练中运动视频分析系统的软件设计和开发。传统方法中,采用嵌入式设计体育训练中运动视频分析系统模型具有一定的可靠性,但是随着干扰的增大,在运动视频分析系统的自动化控制和调度出现基线漂移和失真,控制性能不好。采用基于Android嵌入式系统的运动视频分析方法具有移植性好的优点,但是同样存在兼容性不好,对视频帧训练的控制性不准确等问题[3?4]。
针对当前的运动训练视频分析系统存在的难题,本文设计了一种新型的体育训练运动视频分析系统,并通过仿真测试进行性能验证,验证了本文系统的可靠性和稳定性。
1 运动视频分析系统的总体设计
1.1 运动视频分析系统的结构
体育训练中的运动视频分析系统建立在通用计算机平台上,可以在不同操作系统上进行体育训练中运动视频的采集和图像处理,视频分析系统可以安装Windows系统,也可以安装Linux系统,采用嵌入式Linux的内核结构进行运动视频的进程管理和控制信息程序加载,通过CAN发送嵌入式Linux系统的根文件系统,在[/bin,]/sbin,/etc,/lib,/dev,/usr,/var和/proc目录中存储体育运动视频的帧序列,系统总体设计包括用户控制模块、视频信息的采集模块和输出模块等,在视频信息处理模块中,通过数据处理、图像分析和视频采集模块进行脚本和服务器配置文件的开发,在输出模块,采用GUI人机交互系统进行体育运动训练中的视频及图像信息分析,并将图像处理程序下载到开发板中执行运动训练视频分析和整个系统的软件驱动[5]。根据上述分析描述,得到本文设计体育训练中运动视频分析系统的总体结构模型如图1所示。
1.2 运动视频的图像处理算法设计
图像处理算法是整个视频分析系统的核心,包括运动视频图像的检测和特征提取等。采用梯度直方图分析方法提取运动视频图像的特征[6],梯度直方图能够将运动监测图像区域的梯度强度和方向准确描述出来,因此可以使体育训练监测区域的运动员动作外形表现的更为精确。由于梯度方向直方图对同一个Cell梯度的不同特征模型无法区分,不能对运动员各种行为特征进行有效识别。本文采用ExHOG特征算法解决上述问题,算法如下:
设[θ]为体育训练运动监测视频图像梯度方向,并设定0°~360°作为方向空间;提取梯度直方图特征HG;[θi]为0°~180°无符号的梯度方向空间,其特征为HOG;[i]表示[θ]的量化通道,取值为[MHG(i);][L]表示通道个数,则HOG的计算方法为:
式中:[MHOG(i),][MDiffHG(i),][MExHOG(i)]分别表示运动视频监测区域梯度直方图特征在[i]通道的权值。
在视频采集中,由于外部环境和运动过程的随机性,导致干扰极为复杂多变,使得监测图像存在大量噪声干扰,提取出的HG行为特征出现很大的梯度峰值,需要进行图像干扰处理。由式(1),式(2)可以看出,HOG和DiffHG分别由HG特征计算得出,因此同样会出现较大的梯度峰值,从而使ExHOG特征存在大量噪声。所以,在每个cell提取HG特征后对图像检测区域梯度直方图进行[L2]范数归一化处理,并截断图中峰值,经过处理后ExHOG特征有效抑制了梯度峰值和噪声干扰[7?8]。
在降噪处理的基础上,采用奇异值分解法和相位卷绕技术运动提取视频特征,最后通过最小二乘拟合获得运动视频图像的差异性,像素级机器视觉特征为:
[X′m]针对不同视频帧序列的像素值不同,在算法设计中有[X′m]个初始化值。
采用计算机识别方法采集视频,使用窗的个数为[K,]根据图像采集传感器的输出阵列,利用[S]变换计算功率谱估计,得到运动视频的帧差功率谱估计为:
式中:时间序列长度为[N;][hk(n)]为次谱估计的时间窗函数。
采用多窗谱估计法对视频输出阵列传感器输出的动作矫正信息进行功率谱计算,取一组相互正交的离散椭球序列作为时频移动步长建立功率谱时频图,得到功率谱时频图表达式为:
最后选择训练样本,从[X]个特征中随机抽取[Y]个特征作为候选特征,进行训练,实现体育运动训练中的运动视频分析和特征识别,并输出识别结果。
2 系统具体设计与实现
2.1 开发流程及程序配置
采用嵌入式内核的交叉编译环境进行程序编译和软件开发,体育训练中运动视频分析系统的嵌入式Linux系统分为四个层次,分别为:
(1) 通过引导加载程序进行体育训练中运动视频集成控制的视频图像处理算法加载,同时对VME总线传输的时钟进行初始化操作,编译内核的D/A分辨率,对不同文件系统的操作进行集成控制,建立Linux根文件系统进行体育训练中运动视频的MXI总线控制的D/A转换。
(2) Linux内核用于实现体育训练运动视频分析系统的特定功能,在嵌入式设备上进行收发转换采样和交叉编译,在编译器路径加入系统环境变量,进行多通道数据记录。执行init进程,分析系统内核的配置,实现文件配置。
(3) 文件系统实现体育训练中运动视频集成智能控制的数据存储和调度。
(4) 用户应用程序模块是实现应用程序和实际设备之间的接口设计,通过内核配置、编译,按操作普通文件的方式访问并控制硬件设备,对块设备进行读/写操作。
设计体育训练中运动视频分析系统的软件开发流程,如图2所示。
2.2 程序加载与交叉编译
在Linux内核配置选项中,使用make menuconfig命令进行配置,复位信息使用惟一的ID0x5F选择DSP,通过工具loader,实现视频分析过程的中断控制,进行体育训练中运动视频分析系统嵌入式Linux定制和控制程序的编译,编译主要代码描述为:
Generates Settings ???>
Qt/Embedded image filesystem ???>
[*]downloaded //视频信息采样及图像处理程序下载
Applets links(Qt Virtual Fram Buffer) ???>(/home/ SmDialog /nfs) qt?embedded?arm prefix
Root file object model Tuning ???> //对象模型、抽象控件
[*]rootfs.yaffs /Provide Qtopia application environment
//设备提供Qtopia应用环境
[*]Generate bin, SBIN folder commands
[*]deprecated:aliased //设置SDICON寄存器
[*]SDIPRE register set //设置SDIPRE寄存器
[*]Script sSDICmdArg fileShells ???>
???Ash Shell Options //写32位命令到SDICmdArg
[*]Check for SDICmdSta File System //命令类型为无答复
[*]Lash(arm?angstrom?linux)
//lib清除SDICmdSta寄存器中的相应标志位
设定SIC_IWR寄存器,包含CSEL位和SSEL位,其值是随机需要用各种方法计算视频分析的参数,以进一步分析系统性能。进行软件的模块化开发和多线程控制设计,在对体育运动特征追踪中,建立视频分析系统,系统上层是应用平台层,包括工作流引擎、组织权限框架、基础数据访问组件等。这些组件分别封装了工作流、组织权限、数据访问等方面的基本功能部件,是应用系统构建业务逻辑的基础,用free_irq()函数释放驱动程序,对应的内核函数为unregister_chrdev():
#define MISC_ MISCs3c2440_pwm_ioctl //主设备号
#define struct file *filp "pwm" //设备文件名
int ret nstall?qt?embedded ();
ret=s3c2440_unregister_blkdev() (&misc);
驱动程序块设备驱动程序对应的内核函数unregister_blkdev(),在交叉编译环境中配置和编译Linux内核,编辑.Bashrc文件,采用Qt/Embedded 4.6創建体育训练中运动视频分析系统的图形用户接口,实现可视化控制,由此完成系统的软件开发与设计。
3 系统性能测试与分析
在嵌入式设备上运行Qt C++ API执行体育运动训练中的视频信息采集和特征检测。使用Agilent 33220A信号发生器作为测试信号分析视频分析过程中的稳定性。在进行了ZLG7290初始化操作之后,通过驱动程序流接口函数封装驱动程序代码,通过I2C从ZLG7290读取Linux内核的图像处理程序进行数据加载和参数初始化设定,得到运动视频分析系统的参数设定界面如图3所示。
根据图3的系统界面进行体育训练中运动视频控制参量设定和视频信息采集,在可视化模块中进行人机交互和GUI控制,运动视频分析的输出界面如图4所示。对采集的原始运动视频进行特征分析,得到的分析结果如图5所示。
表1给出本文体育运动训练中视频分析系统的关键帧提取准确度和召回率,从表1可知,随着关键帧提取准确度的增大,召回率增大,说明两者之间存在正相关关系,而且本文系统的关键帧提取准确度、召回率要优于传统方法。
4 结 语
为了提高体育运动训练的科学指导水平,本文设计了一种新型的体育训练运动视频分析系统。首先对系统进行总体设计,然后进行系统详细设计,最后进行系统仿真测试,结果表明,该系统可以准确描述体育训练各个过程,提高了视频关键帧的提取的准确度,召回率高,可以用于指导运动训练,具有一定的应用价值。
参考文献
[1] 彭小江,张家树.基于特征匹配和校验的鲁棒实时电子稳像[J].光子学报,2011,40(9):1442?1446.
[2] 温佳,马彩文,水鹏朗.改进自适应LBG矢量量化算法在干涉高光谱图像压缩中的应用[J].光谱学与光谱分析,2011,31(4):1033?1037.
[3] 陆兴华,吴恩燊,黄冠华.基于Android的智能家居控制系统软件设计研究[J].物联网技术,2015,5(11):14?16.
[4] 刘茂旭,何怡刚,邓芳明,等.融合RFID的无线湿度传感器节点设计研究[J].电子测量与仪器学报,2015,29(8):1171?1178.
[5] 吕富勇,周瑞卿,阮世阳,等.高频磁场检测中采样保持器的设计及其性能分析[J].电子测量技术,2015,38(8):13?16.
[6] 郑道宝,王怀杰.基于ARM/GPRS的远程图像报警系统的设计[J].计算机测量与控制,2013,21(1):149?151.
[7] 谢佩,吴小俊.基于Shearlet变换和均匀局部二值模式特征的协作表示人脸识别算法[J].计算机应用,2015,35(7):2056?2061.
[8] 陆兴华,张晓军.人员图像跟踪过程中多人交叉区域防丢失方法[J].计算机仿真,2014,31(9):243?246.
摘 要: 体育训练中的运动视频分析系统可以提高体育训练视频回放的动作分析能力,提高训练质量。针对当前运动视频分析系统存在的不足,提出一种新型的体育训练运动视频分析系统。对体育运动训练系统视频分析系统总体设计进行分析,对系统的详细设计进行分析,最后对系统的性能进行测试。结果表明,该系统可以准确分析体育训练的视频及图像信息,关键帧提取的准确度高,召回率高,可以用于指导运动训练。
关键词: 体育训练; 运动视频; 总体设计; 详细设计
中图分类号: TN948.43?34; TP391 文献标识码: A 文章编号: 1004?373X(2017)05?0070?04
Abstract: The moving video analysis system in sports training can improve the action analysis ability of the sports training video playback and training quality. A new moving video analysis system for sports training is proposed to eliminate the shortco?mings existing in the current moving video analysis systems. The overall design of the moving video analysis system in sports training is analyzed. The detailed design of the system is analyzed. The performance of system was tested. The test results show that the system can analyze the video and image information of the sports training accurately, has high key frame extraction accuracy and high recall rate, and can guide the exercise training.
Keywords: physical training; moving video; overall design; detailed design
0 引 言
随着图像和视频处理技术的发展,体育训练逐渐科学化和智能化,采用视频帧序列分析方法进行体育训练中的动作特征采集和信息恢复,纠正不规则的体育训练动作,改进运动训练水平,用嵌入式控制芯片结合体育训练中的运动视频分析系统开发和设计,实现对体育训练中运动视频的实时监控和信息通信。在物联网环境下,对体育训练中运动视频信息集成控制,结合专家系统分析数据,指导运动训练[1]。
对体育训练中运动视频分析系统的开发设计主要分为硬件设计和软件设计两大部分,在进行视频采集和分析系统硬件平台搭建的基础上[2],重点进行体育训练中运动视频分析系统的软件设计和开发。传统方法中,采用嵌入式设计体育训练中运动视频分析系统模型具有一定的可靠性,但是随着干扰的增大,在运动视频分析系统的自动化控制和调度出现基线漂移和失真,控制性能不好。采用基于Android嵌入式系统的运动视频分析方法具有移植性好的优点,但是同样存在兼容性不好,对视频帧训练的控制性不准确等问题[3?4]。
针对当前的运动训练视频分析系统存在的难题,本文设计了一种新型的体育训练运动视频分析系统,并通过仿真测试进行性能验证,验证了本文系统的可靠性和稳定性。
1 运动视频分析系统的总体设计
1.1 运动视频分析系统的结构
体育训练中的运动视频分析系统建立在通用计算机平台上,可以在不同操作系统上进行体育训练中运动视频的采集和图像处理,视频分析系统可以安装Windows系统,也可以安装Linux系统,采用嵌入式Linux的内核结构进行运动视频的进程管理和控制信息程序加载,通过CAN发送嵌入式Linux系统的根文件系统,在[/bin,]/sbin,/etc,/lib,/dev,/usr,/var和/proc目录中存储体育运动视频的帧序列,系统总体设计包括用户控制模块、视频信息的采集模块和输出模块等,在视频信息处理模块中,通过数据处理、图像分析和视频采集模块进行脚本和服务器配置文件的开发,在输出模块,采用GUI人机交互系统进行体育运动训练中的视频及图像信息分析,并将图像处理程序下载到开发板中执行运动训练视频分析和整个系统的软件驱动[5]。根据上述分析描述,得到本文设计体育训练中运动视频分析系统的总体结构模型如图1所示。
1.2 运动视频的图像处理算法设计
图像处理算法是整个视频分析系统的核心,包括运动视频图像的检测和特征提取等。采用梯度直方图分析方法提取运动视频图像的特征[6],梯度直方图能够将运动监测图像区域的梯度强度和方向准确描述出来,因此可以使体育训练监测区域的运动员动作外形表现的更为精确。由于梯度方向直方图对同一个Cell梯度的不同特征模型无法区分,不能对运动员各种行为特征进行有效识别。本文采用ExHOG特征算法解决上述问题,算法如下:
设[θ]为体育训练运动监测视频图像梯度方向,并设定0°~360°作为方向空间;提取梯度直方图特征HG;[θi]为0°~180°无符号的梯度方向空间,其特征为HOG;[i]表示[θ]的量化通道,取值为[MHG(i);][L]表示通道个数,则HOG的计算方法为:
式中:[MHOG(i),][MDiffHG(i),][MExHOG(i)]分别表示运动视频监测区域梯度直方图特征在[i]通道的权值。
在视频采集中,由于外部环境和运动过程的随机性,导致干扰极为复杂多变,使得监测图像存在大量噪声干扰,提取出的HG行为特征出现很大的梯度峰值,需要进行图像干扰处理。由式(1),式(2)可以看出,HOG和DiffHG分别由HG特征计算得出,因此同样会出现较大的梯度峰值,从而使ExHOG特征存在大量噪声。所以,在每个cell提取HG特征后对图像检测区域梯度直方图进行[L2]范数归一化处理,并截断图中峰值,经过处理后ExHOG特征有效抑制了梯度峰值和噪声干扰[7?8]。
在降噪处理的基础上,采用奇异值分解法和相位卷绕技术运动提取视频特征,最后通过最小二乘拟合获得运动视频图像的差异性,像素级机器视觉特征为:
[X′m]针对不同视频帧序列的像素值不同,在算法设计中有[X′m]个初始化值。
采用计算机识别方法采集视频,使用窗的个数为[K,]根据图像采集传感器的输出阵列,利用[S]变换计算功率谱估计,得到运动视频的帧差功率谱估计为:
式中:时间序列长度为[N;][hk(n)]为次谱估计的时间窗函数。
采用多窗谱估计法对视频输出阵列传感器输出的动作矫正信息进行功率谱计算,取一组相互正交的离散椭球序列作为时频移动步长建立功率谱时频图,得到功率谱时频图表达式为:
最后选择训练样本,从[X]个特征中随机抽取[Y]个特征作为候选特征,进行训练,实现体育运动训练中的运动视频分析和特征识别,并输出识别结果。
2 系统具体设计与实现
2.1 开发流程及程序配置
采用嵌入式内核的交叉编译环境进行程序编译和软件开发,体育训练中运动视频分析系统的嵌入式Linux系统分为四个层次,分别为:
(1) 通过引导加载程序进行体育训练中运动视频集成控制的视频图像处理算法加载,同时对VME总线传输的时钟进行初始化操作,编译内核的D/A分辨率,对不同文件系统的操作进行集成控制,建立Linux根文件系统进行体育训练中运动视频的MXI总线控制的D/A转换。
(2) Linux内核用于实现体育训练运动视频分析系统的特定功能,在嵌入式设备上进行收发转换采样和交叉编译,在编译器路径加入系统环境变量,进行多通道数据记录。执行init进程,分析系统内核的配置,实现文件配置。
(3) 文件系统实现体育训练中运动视频集成智能控制的数据存储和调度。
(4) 用户应用程序模块是实现应用程序和实际设备之间的接口设计,通过内核配置、编译,按操作普通文件的方式访问并控制硬件设备,对块设备进行读/写操作。
设计体育训练中运动视频分析系统的软件开发流程,如图2所示。
2.2 程序加载与交叉编译
在Linux内核配置选项中,使用make menuconfig命令进行配置,复位信息使用惟一的ID0x5F选择DSP,通过工具loader,实现视频分析过程的中断控制,进行体育训练中运动视频分析系统嵌入式Linux定制和控制程序的编译,编译主要代码描述为:
Generates Settings ???>
Qt/Embedded image filesystem ???>
[*]downloaded //视频信息采样及图像处理程序下载
Applets links(Qt Virtual Fram Buffer) ???>(/home/ SmDialog /nfs) qt?embedded?arm prefix
Root file object model Tuning ???> //对象模型、抽象控件
[*]rootfs.yaffs /Provide Qtopia application environment
//设备提供Qtopia应用环境
[*]Generate bin, SBIN folder commands
[*]deprecated:aliased //设置SDICON寄存器
[*]SDIPRE register set //设置SDIPRE寄存器
[*]Script sSDICmdArg fileShells ???>
???Ash Shell Options //写32位命令到SDICmdArg
[*]Check for SDICmdSta File System //命令类型为无答复
[*]Lash(arm?angstrom?linux)
//lib清除SDICmdSta寄存器中的相应标志位
设定SIC_IWR寄存器,包含CSEL位和SSEL位,其值是随机需要用各种方法计算视频分析的参数,以进一步分析系统性能。进行软件的模块化开发和多线程控制设计,在对体育运动特征追踪中,建立视频分析系统,系统上层是应用平台层,包括工作流引擎、组织权限框架、基础数据访问组件等。这些组件分别封装了工作流、组织权限、数据访问等方面的基本功能部件,是应用系统构建业务逻辑的基础,用free_irq()函数释放驱动程序,对应的内核函数为unregister_chrdev():
#define MISC_ MISCs3c2440_pwm_ioctl //主设备号
#define struct file *filp "pwm" //设备文件名
int ret nstall?qt?embedded ();
ret=s3c2440_unregister_blkdev() (&misc);
驱动程序块设备驱动程序对应的内核函数unregister_blkdev(),在交叉编译环境中配置和编译Linux内核,编辑.Bashrc文件,采用Qt/Embedded 4.6創建体育训练中运动视频分析系统的图形用户接口,实现可视化控制,由此完成系统的软件开发与设计。
3 系统性能测试与分析
在嵌入式设备上运行Qt C++ API执行体育运动训练中的视频信息采集和特征检测。使用Agilent 33220A信号发生器作为测试信号分析视频分析过程中的稳定性。在进行了ZLG7290初始化操作之后,通过驱动程序流接口函数封装驱动程序代码,通过I2C从ZLG7290读取Linux内核的图像处理程序进行数据加载和参数初始化设定,得到运动视频分析系统的参数设定界面如图3所示。
根据图3的系统界面进行体育训练中运动视频控制参量设定和视频信息采集,在可视化模块中进行人机交互和GUI控制,运动视频分析的输出界面如图4所示。对采集的原始运动视频进行特征分析,得到的分析结果如图5所示。
表1给出本文体育运动训练中视频分析系统的关键帧提取准确度和召回率,从表1可知,随着关键帧提取准确度的增大,召回率增大,说明两者之间存在正相关关系,而且本文系统的关键帧提取准确度、召回率要优于传统方法。
4 结 语
为了提高体育运动训练的科学指导水平,本文设计了一种新型的体育训练运动视频分析系统。首先对系统进行总体设计,然后进行系统详细设计,最后进行系统仿真测试,结果表明,该系统可以准确描述体育训练各个过程,提高了视频关键帧的提取的准确度,召回率高,可以用于指导运动训练,具有一定的应用价值。
参考文献
[1] 彭小江,张家树.基于特征匹配和校验的鲁棒实时电子稳像[J].光子学报,2011,40(9):1442?1446.
[2] 温佳,马彩文,水鹏朗.改进自适应LBG矢量量化算法在干涉高光谱图像压缩中的应用[J].光谱学与光谱分析,2011,31(4):1033?1037.
[3] 陆兴华,吴恩燊,黄冠华.基于Android的智能家居控制系统软件设计研究[J].物联网技术,2015,5(11):14?16.
[4] 刘茂旭,何怡刚,邓芳明,等.融合RFID的无线湿度传感器节点设计研究[J].电子测量与仪器学报,2015,29(8):1171?1178.
[5] 吕富勇,周瑞卿,阮世阳,等.高频磁场检测中采样保持器的设计及其性能分析[J].电子测量技术,2015,38(8):13?16.
[6] 郑道宝,王怀杰.基于ARM/GPRS的远程图像报警系统的设计[J].计算机测量与控制,2013,21(1):149?151.
[7] 谢佩,吴小俊.基于Shearlet变换和均匀局部二值模式特征的协作表示人脸识别算法[J].计算机应用,2015,35(7):2056?2061.
[8] 陆兴华,张晓军.人员图像跟踪过程中多人交叉区域防丢失方法[J].计算机仿真,2014,31(9):243?246.