鲁棒性压缩感知重构技术及其在智能视频监控中的应用研究
郑志刚 杨真真
摘 要： 在视频监控中需要进行鲁棒性压缩感知重构，降低视频丢包和时延等因素的影响，提出一种基于隐马尔科夫模型的鲁棒性压缩感知重构技术并应用在智能视频监控中。首先利用隐马尔科夫模型对智能视频监控系统中的视频帧序列进行频域特征点奇偶分裂处理；然后计算视频监控编码的标量量化码率分配系数，建立视频压缩感知重构的时空方向树，采用隐马尔科夫模型进行解码重建，实现视频帧的鲁棒性压缩感知重构；最后进行仿真测试。结果表明，采用该方法进行监控视频的压缩感知重构，能有效降低丢包率和传输时延，在智能视频监控中具有较好的应用价值。
关键词： 鲁棒性压缩感知； 智能视频监控； 编码； 奇偶分裂处理
中图分类号： TN948.64?34； TP391 文献标识码： A 文章编号： 1004?373X（2017）10?0016?04
Abstract： As the robustness compressed sensing reconstruction is required in the video monitoring to reduce the effect of video packet loss， time delay and other factors， a robustness compressed sensing reconstruction technology based on hidden Markov model is proposed， which is applied to the intelligent video monitoring. The hidden Markov model is used to deal with odd?even splitting processing of feature points in frequency domain for sequence of video frames in intelligent video surveillance system， and then the scalar quantization code rate allocation coefficient of the video monitoring encoding is calculated to establish a time?space direction tree for video compressed sensing reconstruction， conduct decoding reconstruction with hidden Markov model， and achieve the robustness compressed sensing reconstruction for video frames. The simulation test results show that the proposed method can effectively reduce the packet loss rate and transmission time delay， and has a good application value in intelligent video surveillance.
Keywords： robustness compressed sensing； video monitoring； coding； odd?even splitting processing
0 引 言
智能视频监控系统在安全防卫、交通管理、环境探测等领域具有广泛的应用价值。在视频监控系统中，视频码流通过压缩帧编码进行信息传输，通过多个信道进行视频信息数据流的通信和网络传输，在视频监控的接收端，将视频信息分解为多组信息重构后的视频图像序列，在视频监控系统的接收终端显示出经过压缩编码处理后的重构图像和视频帧序列[1]。智能视频监控系统的丢包和时延是评价视频监控性能好坏的关键因素，需要通过鲁棒性压缩感知重构，重建出视觉上可以接受的视频，降低视频的丢包和实验，获得较好的视频重建和监控输出效果。
1 视频帧序列的信息预处理
1.1 视频帧序的频域特征点奇偶分裂处理
为了实现对视频监控系统中传输视频的鲁棒性压缩感知重构，需要进行视频传输帧序列的信息处理，本文提出一种基于隐马尔科夫模型的鲁棒性压缩感知重构技术并应用在智能视频监控中。利用隐马尔科夫模型对智能视频监控系统中的视频帧序列进行频域特征点奇偶分裂处理。首先假设传输的单帧视频为一组图像序列[2?3]，采用三维小波变换对视频监控系统中传输的图像组进行频域特征分裂，对频域特征点奇偶分裂处理，实现对视频传输序列的奇描述和偶描述；然后分别对原始的YUV格式的视频（分辨率为352×288）进行3D?SPIHT奇偶拆分和编码[4]，在奇偶信道中进行解码和视频恢复处理，得到智能视频监控系统中视频帧序列的信息处理组织框图如图1所示。
在视频监控系统的原始CIF格式视频序列分析中，将视频监控中的图像序列看作三维信号，采用三维小波变换对视频序列进行n级空间分解，得到对视频序列的三维小波变换的测量方程分别为：
式中：[X（k）]表示视频提取离种子点较近的频域特征点分离幅度；[exp（j2πknN）]表示待匹配的视频的连续边缘域特征点分离相位。
根据上述，采用基于边缘耦合性的奇偶拆分进行视频图像序列的水平、垂直和对角方向上的方向指向性奇偶为分裂处理。以N号种子点PN为中心，在最低频的种子点附近进行边缘分裂，得到视频图像序列的奇偶位共用部分，在水平方向上对待匹配的连续边缘的低频HL信息进行连续边缘分解[5]。
1.2 标量量化码率分配系数计算
在上述进行了视频帧序的频域特征点奇偶分裂处理的基础上，通过计算视频监控编码的标量量化码率分配系数[6]，得到视频监控传输帧图像的模板窗，在像素点[（i，j）]的[2n+1×2n+1]窗口内，对边缘相关性约束条件下的视频传输函数进行泰勒技术展开，结果为：
2 监控视频鲁棒性压缩感知重构实现
2.1 视频压缩感知重构的时空方向树计算
在上述进行了视频帧序列的信息预处理的基础上，在视频监控中进行鲁棒性压缩感知重构，降低视频丢包和时延等因素的影响。本文提出一种基于隐马尔科夫模型的鲁棒性压缩感知重构技术，建立视频压缩感知重构的时空方向树，采用隐马尔科夫模型进行解码重建[7]，选择视频压缩感知重构的种子点附近各轮廓的域特征点，采用互相关特征匹配方法，得到候选匹配区域的相对位置为：
式中：[PS1（d）]表示4通道时空方向树的分解结构坐标域；[RS1（d）]为灰度值向量表达式。在对监控视频进行鲁棒性压缩感知重构中，每次编码重构的过程为一个二分叉的过程[8]，通过构建视频重构的二分叉时空方向树，进行视频统计模型的频域分解，得到智能监控视频的编码符号概率分布见表1。
表1 智能监控视频的编码符号概率分布
根据表1所示的编码概率方法，对监控视频进行鲁棒性压缩感知重构。
2.2 视频鲁棒性压缩感知重构的统计模型构建
在建立视频压缩感知重构的时空方向树的基础上，采用隐马尔科夫模型进行解码重建，实现视频帧的鲁棒性压缩感知重构，视频鲁棒性压缩感知重构的隐马尔科夫模型表达式为：
3 实验测试分析
实验中用SUVINIANCE420監控系统的标准监控视频序列SNIG_cif来测试视频重构方案在降低视频传输的丢包和实验方面的性能，仿真实验的硬件环境建立在Intel[?] Lennov[?] CPU E3?1225， 4.2 GHz ， 8 GB内存计算机基础上，采用Matlab编程软件进行算法设计，采用循环帧搜集方法，选取了16个视频样本集进行视频压缩感知重构分析，视频数据包分别取1 024×20，1 024×40，1 024×60等规模。根据上述实验环境和参量设定，采用本文方法和传统方法进行视频重构，得到未使用压缩算法和使用压缩算法的监控视频传输延时如图3所示。
分析图3和图4结果得知，采用本文的压缩感知重构方法，视频监控中传输时延较小；随着测试时间的推移，未采用压缩感知重构方法积累在待发送端的帧数量增大，使得视频帧难以及时到达接收端，产生数据丢包；采用本文方法进行视频感知重构，在发送端的待发帧数量始终维持在较小的数目内，实现视频帧的实时完整性传输，从而避免了视频监控的传输丢包和延时。
4 结 语
为了降低视频丢包和时延等因素的影响，本文提出一种基于隐马尔科夫模型的鲁棒性压缩感知重构技术并应用在智能视频监控中。首先利用隐马尔科夫模型对智能视频监控系统中的视频帧序列进行频域特征点奇偶分裂处理；然后计算视频监控编码的标量量化码率分配系数，建立视频压缩感知重构的时空方向树，采用隐马尔科夫模型进行解码重建，实现视频帧的鲁棒性压缩感知重构。研究结果表明，采用本文方法进行监控视频的压缩感知重构，能有效降低丢包率和传输时延，能较好地应用在智能视频监控中。
参考文献
[1] 陆兴华，张晓军.人员图像跟踪过程中多人交叉区域防丢失方法[J].计算机仿真，2014，31（9）：243?246.
[2] 彭太乐，张文俊，汪友宝，等.基于多特征的视频镜头检测方法[J].仪器仪器仪表学报，2015，36（9）：2013?2020.
[3] 胡棚，施惠娟.基于视觉掩蔽模型的视频水印算法[J].电子测量技术，2014，37（12）：36?40.
[4] 罗泽峰，单广超.基于网络和虚拟多媒体技术的海战平台视景仿真实现[J].物联网技术，2015，5（3）：91?92.
[5] 李元元.基于Open Core核心的Android平台视频监控系统设计[J].科技通报，2012，28（10）：193?195.
[6] KARAMI E， DOBRE O A. Identification of SM?OFDM and AL?OFDM signals based on their second?order cyclostationarity [J]. IEEE transactions on vehicular technology， 2015， 64（3）： 942?953.
[7] MOHAMMADKARIMI M， DOBRE O A. Blind identification of spatial multiplexing and alamouti space?time block code via Kolmogorov?Smirnov（K?S） test [J]. IEEE communications letters， 2014， 18（10）： 1711?1714.
[8] MAREY M， DOBRE O A， LIAO B. Classification of STBC system over frequency?selective channels [J]. IEEE transactions on vehicular technology， 2015， 64（5）： 2159?2164.
摘 要： 在视频监控中需要进行鲁棒性压缩感知重构，降低视频丢包和时延等因素的影响，提出一种基于隐马尔科夫模型的鲁棒性压缩感知重构技术并应用在智能视频监控中。首先利用隐马尔科夫模型对智能视频监控系统中的视频帧序列进行频域特征点奇偶分裂处理；然后计算视频监控编码的标量量化码率分配系数，建立视频压缩感知重构的时空方向树，采用隐马尔科夫模型进行解码重建，实现视频帧的鲁棒性压缩感知重构；最后进行仿真测试。结果表明，采用该方法进行监控视频的压缩感知重构，能有效降低丢包率和传输时延，在智能视频监控中具有较好的应用价值。
关键词： 鲁棒性压缩感知； 智能视频监控； 编码； 奇偶分裂处理
中图分类号： TN948.64?34； TP391 文献标识码： A 文章编号： 1004?373X（2017）10?0016?04
Abstract： As the robustness compressed sensing reconstruction is required in the video monitoring to reduce the effect of video packet loss， time delay and other factors， a robustness compressed sensing reconstruction technology based on hidden Markov model is proposed， which is applied to the intelligent video monitoring. The hidden Markov model is used to deal with odd?even splitting processing of feature points in frequency domain for sequence of video frames in intelligent video surveillance system， and then the scalar quantization code rate allocation coefficient of the video monitoring encoding is calculated to establish a time?space direction tree for video compressed sensing reconstruction， conduct decoding reconstruction with hidden Markov model， and achieve the robustness compressed sensing reconstruction for video frames. The simulation test results show that the proposed method can effectively reduce the packet loss rate and transmission time delay， and has a good application value in intelligent video surveillance.
Keywords： robustness compressed sensing； video monitoring； coding； odd?even splitting processing
0 引 言
智能视频监控系统在安全防卫、交通管理、环境探测等领域具有广泛的应用价值。在视频监控系统中，视频码流通过压缩帧编码进行信息传输，通过多个信道进行视频信息数据流的通信和网络传输，在视频监控的接收端，将视频信息分解为多组信息重构后的视频图像序列，在视频监控系统的接收终端显示出经过压缩编码处理后的重构图像和视频帧序列[1]。智能视频监控系统的丢包和时延是评价视频监控性能好坏的关键因素，需要通过鲁棒性压缩感知重构，重建出视觉上可以接受的视频，降低视频的丢包和实验，获得较好的视频重建和监控输出效果。
1 视频帧序列的信息预处理
1.1 视频帧序的频域特征点奇偶分裂处理
为了实现对视频监控系统中传输视频的鲁棒性压缩感知重构，需要进行视频传输帧序列的信息处理，本文提出一种基于隐马尔科夫模型的鲁棒性压缩感知重构技术并应用在智能视频监控中。利用隐马尔科夫模型对智能视频监控系统中的视频帧序列进行频域特征点奇偶分裂处理。首先假设传输的单帧视频为一组图像序列[2?3]，采用三维小波变换对视频监控系统中传输的图像组进行频域特征分裂，对频域特征点奇偶分裂处理，实现对视频传输序列的奇描述和偶描述；然后分别对原始的YUV格式的视频（分辨率为352×288）进行3D?SPIHT奇偶拆分和编码[4]，在奇偶信道中进行解码和视频恢复处理，得到智能视频监控系统中视频帧序列的信息处理组织框图如图1所示。
在视频监控系统的原始CIF格式视频序列分析中，将视频监控中的图像序列看作三维信号，采用三维小波变换对视频序列进行n级空间分解，得到对视频序列的三维小波变换的测量方程分别为：
式中：[X（k）]表示视频提取离种子点较近的频域特征点分离幅度；[exp（j2πknN）]表示待匹配的视频的连续边缘域特征点分离相位。
根据上述，采用基于边缘耦合性的奇偶拆分进行视频图像序列的水平、垂直和对角方向上的方向指向性奇偶为分裂处理。以N号种子点PN为中心，在最低频的种子点附近进行边缘分裂，得到视频图像序列的奇偶位共用部分，在水平方向上对待匹配的连续边缘的低频HL信息进行连续边缘分解[5]。
1.2 标量量化码率分配系数计算
在上述进行了视频帧序的频域特征点奇偶分裂处理的基础上，通过计算视频监控编码的标量量化码率分配系数[6]，得到视频监控传输帧图像的模板窗，在像素点[（i，j）]的[2n+1×2n+1]窗口内，对边缘相关性约束条件下的视频传输函数进行泰勒技术展开，结果为：
2 监控视频鲁棒性压缩感知重构实现
2.1 视频压缩感知重构的时空方向树计算
在上述进行了视频帧序列的信息预处理的基础上，在视频监控中进行鲁棒性压缩感知重构，降低视频丢包和时延等因素的影响。本文提出一种基于隐马尔科夫模型的鲁棒性压缩感知重构技术，建立视频压缩感知重构的时空方向树，采用隐马尔科夫模型进行解码重建[7]，选择视频压缩感知重构的种子点附近各轮廓的域特征点，采用互相关特征匹配方法，得到候选匹配区域的相对位置为：
式中：[PS1（d）]表示4通道时空方向树的分解结构坐标域；[RS1（d）]为灰度值向量表达式。在对监控视频进行鲁棒性压缩感知重构中，每次编码重构的过程为一个二分叉的过程[8]，通过构建视频重构的二分叉时空方向树，进行视频统计模型的频域分解，得到智能监控视频的编码符号概率分布见表1。
表1 智能监控视频的编码符号概率分布
根据表1所示的编码概率方法，对监控视频进行鲁棒性压缩感知重构。
2.2 视频鲁棒性压缩感知重构的统计模型构建
在建立视频压缩感知重构的时空方向树的基础上，采用隐马尔科夫模型进行解码重建，实现视频帧的鲁棒性压缩感知重构，视频鲁棒性压缩感知重构的隐马尔科夫模型表达式为：
3 实验测试分析
实验中用SUVINIANCE420監控系统的标准监控视频序列SNIG_cif来测试视频重构方案在降低视频传输的丢包和实验方面的性能，仿真实验的硬件环境建立在Intel[?] Lennov[?] CPU E3?1225， 4.2 GHz ， 8 GB内存计算机基础上，采用Matlab编程软件进行算法设计，采用循环帧搜集方法，选取了16个视频样本集进行视频压缩感知重构分析，视频数据包分别取1 024×20，1 024×40，1 024×60等规模。根据上述实验环境和参量设定，采用本文方法和传统方法进行视频重构，得到未使用压缩算法和使用压缩算法的监控视频传输延时如图3所示。
分析图3和图4结果得知，采用本文的压缩感知重构方法，视频监控中传输时延较小；随着测试时间的推移，未采用压缩感知重构方法积累在待发送端的帧数量增大，使得视频帧难以及时到达接收端，产生数据丢包；采用本文方法进行视频感知重构，在发送端的待发帧数量始终维持在较小的数目内，实现视频帧的实时完整性传输，从而避免了视频监控的传输丢包和延时。
4 结 语
为了降低视频丢包和时延等因素的影响，本文提出一种基于隐马尔科夫模型的鲁棒性压缩感知重构技术并应用在智能视频监控中。首先利用隐马尔科夫模型对智能视频监控系统中的视频帧序列进行频域特征点奇偶分裂处理；然后计算视频监控编码的标量量化码率分配系数，建立视频压缩感知重构的时空方向树，采用隐马尔科夫模型进行解码重建，实现视频帧的鲁棒性压缩感知重构。研究结果表明，采用本文方法进行监控视频的压缩感知重构，能有效降低丢包率和传输时延，能较好地应用在智能视频监控中。
参考文献
[1] 陆兴华，张晓军.人员图像跟踪过程中多人交叉区域防丢失方法[J].计算机仿真，2014，31（9）：243?246.
[2] 彭太乐，张文俊，汪友宝，等.基于多特征的视频镜头检测方法[J].仪器仪器仪表学报，2015，36（9）：2013?2020.
[3] 胡棚，施惠娟.基于视觉掩蔽模型的视频水印算法[J].电子测量技术，2014，37（12）：36?40.
[4] 罗泽峰，单广超.基于网络和虚拟多媒体技术的海战平台视景仿真实现[J].物联网技术，2015，5（3）：91?92.
[5] 李元元.基于Open Core核心的Android平台视频监控系统设计[J].科技通报，2012，28（10）：193?195.
[6] KARAMI E， DOBRE O A. Identification of SM?OFDM and AL?OFDM signals based on their second?order cyclostationarity [J]. IEEE transactions on vehicular technology， 2015， 64（3）： 942?953.
[7] MOHAMMADKARIMI M， DOBRE O A. Blind identification of spatial multiplexing and alamouti space?time block code via Kolmogorov?Smirnov（K?S） test [J]. IEEE communications letters， 2014， 18（10）： 1711?1714.
[8] MAREY M， DOBRE O A， LIAO B. Classification of STBC system over frequency?selective channels [J]. IEEE transactions on vehicular technology， 2015， 64（5）： 2159?2164.
