基于改进神经网络的4K超高清图像清晰化技术研究
黄卫+文坤梅
摘 要： 为了提高4K超高清图像的成像质量，进行图像清晰化处理，提出一种基于改进神经网络的4K超高清图像清晰化技术。对采集的图像采用中值滤波降噪方法消除噪点，采用多尺度Retinex分解方法进行图像像素增强，结合改进神经网络方法进行模板特征匹配与信息融合，实现图像清晰化处理优化。仿真结果表明，采用该技术进行4K超高清图像清晰化处理，输出图像的信噪比较高，处理的时间开销和内存开销较小，具有优越性。
关键词： 神经网络； 4K超高清图像； 清晰化处理； 降噪
中图分类号： TN911.73?34； TP391 文献标识码： A 文章编号： 1004?373X（2017）14?0120?04
Abstract： In order to improve the imaging quality of 4K ultrahigh?definition images and carry out sharpening processing of the images， a 4K ultrahigh?definition image clearness technology based on the improved neural network is proposed. The median filtering denoising method is used to eliminate the noisy points of collected images. The multi?scale Retinex decomposition method is adopted to enhance image pixels. The template feature matching is performed in combination with the improved neural network method to deal with information fusion， so as to realize image sharpening processing optimization. The simulation results show that the 4K ultrahigh?definition images processed with this technology have high SNR， low expenditure of processing time， small memory overhead and a certain superiority.
Keywords： neural network； 4K ultrahigh?definition image； sharpening processing； noise reduction
4K超高清图像是用4K分辨率即4 096×2 160的像素分辨率成像得到的图像，4K级别的分辨率可提供880多万像素，能提供近千万像素的显示品质。随着4K超高清图像处理技术广泛应用，它在数字高清成像、目标识别、遥感探测等领域具有广阔的应用前景[1?2]。4K超高清图像清晰化处理是提高成像品质的关键技术，4K超高清图像在成像过程中受到图像采集仪器和环境等因素的影响，容易导致成像的清晰化程度不好，对此，本文提出一种基于改进神经网络的4K超高清图像清晰化技术，通过图像处理算法设计和仿真实验分析，得出有效性结论。
1 图像降噪预处理
1.1 4K超高清图像特征点统计
为了实现对4K超高清图像的清晰化处理，首先需要采用图形渲染方法实现对4K超高清图像的特征点统计，采用模板配准和特征点统计学模型方法进行4K超高清图像点特征提取，进行4K超高清图像的三维重构总体设计。4K超高清图像的图像特征点统计主要分为三步，首先进行模板构建，假设4K超高清图像的纹理角点表述为，包络轮廓幅值大小为4K超高清图像的网格模型描述。然后，再对复杂背景干扰下4K超高清图像进行像素幅值计算，得到近似解：
式中：是轮廓形变参数；T为取4K超高清图像的边缘轮廓特征点。根据上述图形重构，最后采用不规则三角网剖分方法进行4K超高清图像特征点统计，得到三角网格的幅值为，计算公式为：
式中：表示4K超高清图像的Retinex角点筛选值，为偶数，以图像特征点的特征分布为判据，进行特征点统计和取证[3]，实现图像像素信息采集。
1.2 图像的中值滤波降噪
在4K超高清图像采集的不规则三角网格模型中，由于采集的设备和环境等因素的影响，需要进行图像降噪。采用中值滤波降噪方法[4]，假设图像噪点的分布区域，得到4K超高清图像两帧间的灰度差异值为：
式中：表示像素均值信息；K为三维视觉信息采集的尺度。的轮廓线初始误差，设，读入第一张4K超高清图像，输入到中值滤波系统模型中，中值滤波系统传递函数为：
式中，为图像边缘轮廓曲线上的形态学分解函数，为像素点集合，采集的图像采用中值滤波降噪方法消除噪点，得到输出图像为Gt：
式中，是4K超高清图像的第t帧的关联像素值，在像素值对应的二维坐标分布在位平面子块内，采用多维三角网格特征点标定方法得到每一个位平面对应0或1两个值表示像素的亮度信息，采用二值图像映射方法[5]，得到4K超高清图像沿梯度方向在像素点处的角点标量特征量满足：
式中，表示超高清图像的像素序列轨迹，对像素到点的角点进行形态学分割，得到分割轨迹描述为：
式中，是第t帧的4K超高清图像的Retinex角点位置[6]，通过多尺度边缘轮廓分解[7]，实现图像的中值滤波，得到4K超高清图像的边缘轮廓标记线矩阵为：
式中：是成像位置在处的二值化关联向量；和分别为灰度变换的概率分布函数。对4K超高清图像进行联合特征模板匹配，采用多尺度Retinex角点筛选，进行图像的中值滤波，提高图像的清晰度。
2 4K超高清图像清晰化处理实现
2.1 图像像素增强
在上述进行了4K超高清图像特征点统计和中值滤波降噪处理的基础上，进行4K超高清图像清晰化处理。为了克服传统方法在清晰化处理中输出信噪比不高的弊端，本文提出一种基于改进神经网络的4K超高清图像清晰化技术。采用多尺度Retinex分解方法进行图像像素增强，4K超高清图像采集的两帧间的多尺度Retinex分解关系可描述为[8]：
以式（11）～式（13）为基础进行图像的特征分类和角点筛选，得到图像的信息增强输出的尺度序列为：
式中：表示仿射变换域内的分割系数；为图像在成像位置处的二值化模板匹配参数。计算4K超高清图像增强的灰度像素值，得到表面网格面的Hessian矩阵为：
基于多尺度形态学分割，得到4K超高清图像的纹理角点表述为：
式中，分别为角点筛选的差异性级数和匹配模板集，计算轮廓的控制点间的Retinex特征分量，由此实现4K超高清图像的多尺度形态学增强处理，在4K超高清图像的灰度直方图中进行特征统计[9]，得到多尺度形态学统计特征为：
假设4K超高清图像的图像灰度级为F，通过对图像进行色差对比，得到视觉误差补偿输出X（t）为：
通过上述处理，为进行4K超高清图像特征的清晰化处理提供准确的模型基础。进一步进行图像的稳像处理，得到输出包络轮廓幅值的离散形式为：
对4K超高清图像的三维视觉清晰化处理中，采用拟蒙特卡洛特征值进行稳定性控制，当满足，则此时清晰化处理的稳定解满足，通过多尺度Retinex分解，进行图像增强处理，如下：
2.2 基于改进神经网络的图像清晰化处理
在进行图像增强处理的基础上，采用图1所示的神经网络模型进行图像像素融合训练，实现清晰化处理。
图1中神经网络的输入层的节点个数为及输出层的节点个数，并将从输入节点到输出节点的权值初始化。令，，表示4K超高清图像的输入图像像素序列，在时，进行图像的初始化参量设定，得到图像清晰化处理的神经网络的输入训练向量模式；计算4K超高清图像的上下边界点及其与隐含层连接的权向量：
调整与输出节点所连接的权值进行模板特征匹配，得到神经网络模型的隐含层的纹理拓扑分层节点的几何邻域为，图像清晰化处理的自适应加权系数为：
3 仿真实验分析
仿真实验以Matlab为软件平台，进行4K超高清图像特征清晰化处理的仿真分析，假设4K超高清图像大小181×181，图像融合的控制参数为，中值滤波的尺度=0.13 mm，迭代次数，图像的噪点覆盖在220～3 000帧之间，干扰噪声为高斯色噪声，均值误差 mm。根据上述仿真环境和参数设计，进行4K超高清图像的清晰化处理，首先进行原始图像采集，得到原始图像如图2所示。
图2所示的原始图像受到采集环境和光照等条件因素的影响，导致图像的清晰度不高，采用本文方法进行图像清晰化处理，得到处理结果如图3所示。
从图3的视觉效果可见，采用本文方法进行图像清晰化处理，能有效提高4K超高清图像的视觉成效效果，图像的清晰度较高。表1给出了采用不同方法进行图像清晰化处理的输出信噪比等指标参量的对比结果，分析表中数据得知，本文方法对图像处理后输出的信噪比高于传统方法，说明图像的质量较高，且计算时间开销和内存开销较低，性能较优。
4 结 语
本文进行了图像清晰化处理研究，提出一种基于改进神经网络的4K超高清圖像清晰化技术。对采集的图像采用中值滤波降噪方法消除噪点，采用多尺度Retinex分解方法进行图像像素增强，结合改进神经网络方法进行模板特征匹配与信息融合，实现图像清晰化处理优化。仿真结果表明，采用该技术进行4K超高清图像清晰化处理，输出图像的信噪比较高，处理的时间开销和内存开销较小，具有优越性，实际应用效果较好。
参考文献
[1] 蔺素珍，朱小红，王栋娟，等.基于嵌入式多尺度变换的多波段图像融合[J].计算机研究与发展，2015，52（4）：952?959.
[2] 应宏微，蒋刚毅，郁梅，等.基于场景模式的立体图像舒适度客观评价模型[J].电子与信息学报，2016，38（2）：294?302.
[3] 杨富圣，高铁杠.一种基于差分DCT系数对直方图的图像取证方法[J].电子学报，2016，44（1）：8?13.
[4] CHIANG P， ZHENG J M， MAK K H， et al. Progressive surface reconstruction for heart mapping procedure [J]. Computer?aided design， 2012， 44（4）： 289?299.
[5] KUKLIK P， SZUMOWSKI L， ZEBROWSKI J J， et al. Integration of the data from electroanatomical mapping system and CT imaging modality [J]. International journal of cardiovascular imaging， 2009， 25（4）： 425?432.
[6] ZHOU Z Q， HU D Y. An epidemiological study on the prevalence of atrial fibrillation in the Chinese population of mainland China [J]. Journal of epidemiology， 2008， 18（5）： 209?216.
[7] 覃海宁.三维光纤图形特征的体绘制改进方法研究与仿真[J].激光杂志，2016，37（9）：142?146.
[8] 肖淑苹，贺毅岳.一种改进的EMD图像信号去噪算法[J].现代电子技术，2016，39（16）：91?93.
[9] 曾文权，何拥军，崔晓坤.基于各向异性滤波和空间FCM的MRI图像分割方法[J].计算机应用研究，2014，31（1）：316?320.
摘 要： 为了提高4K超高清图像的成像质量，进行图像清晰化处理，提出一种基于改进神经网络的4K超高清图像清晰化技术。对采集的图像采用中值滤波降噪方法消除噪点，采用多尺度Retinex分解方法进行图像像素增强，结合改进神经网络方法进行模板特征匹配与信息融合，实现图像清晰化处理优化。仿真结果表明，采用该技术进行4K超高清图像清晰化处理，输出图像的信噪比较高，处理的时间开销和内存开销较小，具有优越性。
关键词： 神经网络； 4K超高清图像； 清晰化处理； 降噪
中图分类号： TN911.73?34； TP391 文献标识码： A 文章编号： 1004?373X（2017）14?0120?04
Abstract： In order to improve the imaging quality of 4K ultrahigh?definition images and carry out sharpening processing of the images， a 4K ultrahigh?definition image clearness technology based on the improved neural network is proposed. The median filtering denoising method is used to eliminate the noisy points of collected images. The multi?scale Retinex decomposition method is adopted to enhance image pixels. The template feature matching is performed in combination with the improved neural network method to deal with information fusion， so as to realize image sharpening processing optimization. The simulation results show that the 4K ultrahigh?definition images processed with this technology have high SNR， low expenditure of processing time， small memory overhead and a certain superiority.
Keywords： neural network； 4K ultrahigh?definition image； sharpening processing； noise reduction
4K超高清图像是用4K分辨率即4 096×2 160的像素分辨率成像得到的图像，4K级别的分辨率可提供880多万像素，能提供近千万像素的显示品质。随着4K超高清图像处理技术广泛应用，它在数字高清成像、目标识别、遥感探测等领域具有广阔的应用前景[1?2]。4K超高清图像清晰化处理是提高成像品质的关键技术，4K超高清图像在成像过程中受到图像采集仪器和环境等因素的影响，容易导致成像的清晰化程度不好，对此，本文提出一种基于改进神经网络的4K超高清图像清晰化技术，通过图像处理算法设计和仿真实验分析，得出有效性结论。
1 图像降噪预处理
1.1 4K超高清图像特征点统计
为了实现对4K超高清图像的清晰化处理，首先需要采用图形渲染方法实现对4K超高清图像的特征点统计，采用模板配准和特征点统计学模型方法进行4K超高清图像点特征提取，进行4K超高清图像的三维重构总体设计。4K超高清图像的图像特征点统计主要分为三步，首先进行模板构建，假设4K超高清图像的纹理角点表述为，包络轮廓幅值大小为4K超高清图像的网格模型描述。然后，再对复杂背景干扰下4K超高清图像进行像素幅值计算，得到近似解：
式中：是轮廓形变参数；T为取4K超高清图像的边缘轮廓特征点。根据上述图形重构，最后采用不规则三角网剖分方法进行4K超高清图像特征点统计，得到三角网格的幅值为，计算公式为：
式中：表示4K超高清图像的Retinex角点筛选值，为偶数，以图像特征点的特征分布为判据，进行特征点统计和取证[3]，实现图像像素信息采集。
1.2 图像的中值滤波降噪
在4K超高清图像采集的不规则三角网格模型中，由于采集的设备和环境等因素的影响，需要进行图像降噪。采用中值滤波降噪方法[4]，假设图像噪点的分布区域，得到4K超高清图像两帧间的灰度差异值为：
式中：表示像素均值信息；K为三维视觉信息采集的尺度。的轮廓线初始误差，设，读入第一张4K超高清图像，输入到中值滤波系统模型中，中值滤波系统传递函数为：
式中，为图像边缘轮廓曲线上的形态学分解函数，为像素点集合，采集的图像采用中值滤波降噪方法消除噪点，得到输出图像为Gt：
式中，是4K超高清图像的第t帧的关联像素值，在像素值对应的二维坐标分布在位平面子块内，采用多维三角网格特征点标定方法得到每一个位平面对应0或1两个值表示像素的亮度信息，采用二值图像映射方法[5]，得到4K超高清图像沿梯度方向在像素点处的角点标量特征量满足：
式中，表示超高清图像的像素序列轨迹，对像素到点的角点进行形态学分割，得到分割轨迹描述为：
式中，是第t帧的4K超高清图像的Retinex角点位置[6]，通过多尺度边缘轮廓分解[7]，实现图像的中值滤波，得到4K超高清图像的边缘轮廓标记线矩阵为：
式中：是成像位置在处的二值化关联向量；和分别为灰度变换的概率分布函数。对4K超高清图像进行联合特征模板匹配，采用多尺度Retinex角点筛选，进行图像的中值滤波，提高图像的清晰度。
2 4K超高清图像清晰化处理实现
2.1 图像像素增强
在上述进行了4K超高清图像特征点统计和中值滤波降噪处理的基础上，进行4K超高清图像清晰化处理。为了克服传统方法在清晰化处理中输出信噪比不高的弊端，本文提出一种基于改进神经网络的4K超高清图像清晰化技术。采用多尺度Retinex分解方法进行图像像素增强，4K超高清图像采集的两帧间的多尺度Retinex分解关系可描述为[8]：
以式（11）～式（13）为基础进行图像的特征分类和角点筛选，得到图像的信息增强输出的尺度序列为：
式中：表示仿射变换域内的分割系数；为图像在成像位置处的二值化模板匹配参数。计算4K超高清图像增强的灰度像素值，得到表面网格面的Hessian矩阵为：
基于多尺度形态学分割，得到4K超高清图像的纹理角点表述为：
式中，分别为角点筛选的差异性级数和匹配模板集，计算轮廓的控制点间的Retinex特征分量，由此实现4K超高清图像的多尺度形态学增强处理，在4K超高清图像的灰度直方图中进行特征统计[9]，得到多尺度形态学统计特征为：
假设4K超高清图像的图像灰度级为F，通过对图像进行色差对比，得到视觉误差补偿输出X（t）为：
通过上述处理，为进行4K超高清图像特征的清晰化处理提供准确的模型基础。进一步进行图像的稳像处理，得到输出包络轮廓幅值的离散形式为：
对4K超高清图像的三维视觉清晰化处理中，采用拟蒙特卡洛特征值进行稳定性控制，当满足，则此时清晰化处理的稳定解满足，通过多尺度Retinex分解，进行图像增强处理，如下：
2.2 基于改进神经网络的图像清晰化处理
在进行图像增强处理的基础上，采用图1所示的神经网络模型进行图像像素融合训练，实现清晰化处理。
图1中神经网络的输入层的节点个数为及输出层的节点个数，并将从输入节点到输出节点的权值初始化。令，，表示4K超高清图像的输入图像像素序列，在时，进行图像的初始化参量设定，得到图像清晰化处理的神经网络的输入训练向量模式；计算4K超高清图像的上下边界点及其与隐含层连接的权向量：
调整与输出节点所连接的权值进行模板特征匹配，得到神经网络模型的隐含层的纹理拓扑分层节点的几何邻域为，图像清晰化处理的自适应加权系数为：
3 仿真实验分析
仿真实验以Matlab为软件平台，进行4K超高清图像特征清晰化处理的仿真分析，假设4K超高清图像大小181×181，图像融合的控制参数为，中值滤波的尺度=0.13 mm，迭代次数，图像的噪点覆盖在220～3 000帧之间，干扰噪声为高斯色噪声，均值误差 mm。根据上述仿真环境和参数设计，进行4K超高清图像的清晰化处理，首先进行原始图像采集，得到原始图像如图2所示。
图2所示的原始图像受到采集环境和光照等条件因素的影响，导致图像的清晰度不高，采用本文方法进行图像清晰化处理，得到处理结果如图3所示。
从图3的视觉效果可见，采用本文方法进行图像清晰化处理，能有效提高4K超高清图像的视觉成效效果，图像的清晰度较高。表1给出了采用不同方法进行图像清晰化处理的输出信噪比等指标参量的对比结果，分析表中数据得知，本文方法对图像处理后输出的信噪比高于传统方法，说明图像的质量较高，且计算时间开销和内存开销较低，性能较优。
4 结 语
本文进行了图像清晰化处理研究，提出一种基于改进神经网络的4K超高清圖像清晰化技术。对采集的图像采用中值滤波降噪方法消除噪点，采用多尺度Retinex分解方法进行图像像素增强，结合改进神经网络方法进行模板特征匹配与信息融合，实现图像清晰化处理优化。仿真结果表明，采用该技术进行4K超高清图像清晰化处理，输出图像的信噪比较高，处理的时间开销和内存开销较小，具有优越性，实际应用效果较好。
参考文献
[1] 蔺素珍，朱小红，王栋娟，等.基于嵌入式多尺度变换的多波段图像融合[J].计算机研究与发展，2015，52（4）：952?959.
[2] 应宏微，蒋刚毅，郁梅，等.基于场景模式的立体图像舒适度客观评价模型[J].电子与信息学报，2016，38（2）：294?302.
[3] 杨富圣，高铁杠.一种基于差分DCT系数对直方图的图像取证方法[J].电子学报，2016，44（1）：8?13.
[4] CHIANG P， ZHENG J M， MAK K H， et al. Progressive surface reconstruction for heart mapping procedure [J]. Computer?aided design， 2012， 44（4）： 289?299.
[5] KUKLIK P， SZUMOWSKI L， ZEBROWSKI J J， et al. Integration of the data from electroanatomical mapping system and CT imaging modality [J]. International journal of cardiovascular imaging， 2009， 25（4）： 425?432.
[6] ZHOU Z Q， HU D Y. An epidemiological study on the prevalence of atrial fibrillation in the Chinese population of mainland China [J]. Journal of epidemiology， 2008， 18（5）： 209?216.
[7] 覃海宁.三维光纤图形特征的体绘制改进方法研究与仿真[J].激光杂志，2016，37（9）：142?146.
[8] 肖淑苹，贺毅岳.一种改进的EMD图像信号去噪算法[J].现代电子技术，2016，39（16）：91?93.
[9] 曾文权，何拥军，崔晓坤.基于各向异性滤波和空间FCM的MRI图像分割方法[J].计算机应用研究，2014，31（1）：316?320.
