《卷积神经网络超分辨率图像重建算法的改进》-工学论文，计算机论文-论文范文参考-科学狗论文网

标题

卷积神经网络超分辨率图像重建算法的改进

范文

李超

摘要：随着时代与科技的进步，人们对图像分辨率的要求越来越高。提高图像分辨率成为必须要解决的问题。目前利用深度学习进行超分辨率图像重建成为提高图像质量的一种趋势。深度学习对图像进行重建可以有效地提高图像质量。现有的基于卷积神经网络的超分辨率图像重建算法有着自身的优势同时也存在着缺陷。针对算法的缺陷，本文提出一种改进的图像重建算法。系统地分析了卷积神经网络在图像重建时的缺陷，针对重建时的训练时间长，存在网络退化现象等缺点。本文利用残差网络对传统的SRCNN进行改进。改进后的算法与传统的SRCNN算法相比，可以减少训练时间，同时可以防止网络退化现象的发生。

关键词：图像重建；卷积神经网络；残差网络；网络退化

中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2019）04-0163-03

Abstract：With the advancement of the times and technology， people are increasingly demanding image quality. Increasing image resolution has become a problem that must be solved. At present， the use of deep learning for super-resolution image reconstruction has become a trend to improve image quality. Deep learning to reconstruct images can effectively improve image quality. The existing super-resolution image reconstruction algorithms based on convolutional neural networks have their own advantages and defects. Aiming at the defects of the algorithm，this paper proposes an improved image reconstruction algorithm. The system analyzes the defects of convolutional neural network in image reconstruction， and has shortcomings such as long training time and network degradation phenomenon. This paper uses the residual network to improve the traditional SRCNN. Compared with the traditional SRCNN algorithm， the improved algorithm can reduce the training time and prevent network degradation.

Key words：Image reconstruction；Convolutional neural network；Residual network；Network degradation

圖像的分辨率是图像清晰度以及图像中所含细节信息多少的一个重要指标。由于获取图像的硬件以及其他一些外部因素的影响，这对我们获取高分辨率图像产生了一定的干扰。为了减少对于硬件的投资，使用软件的方式来获取高分辨率的图像已经成为图像处理方面研究的热点。超分辨图像重建技术[1-3]是指由一帧或多帧低分辨图像经过图像处理算法来重建一帧高分辨率图像的技术，它不需要改变成像系统的硬件就可获取我们所需的高分辨图像。超分辨率重建技术可以提高图像的分辨率使得模糊的图像变得清晰，从而推动了图像处理的发展，而且该技术在医疗诊断，交通监控，军事侦察等方面有着广泛的应用。

超分辨率重建技术发展至今，主要算法分为两个大类，一种是基于重建的算法，另一种是基于学习的算法。基于重建的超分辨率方法是利用低分辨率图像作为约束的前提下，结合图像的先验知识对图像进行还原。其实质是先对图像的降质过程进行建模，然后利用观察到的低分辨率图像对高分辨率图像进行约束。其典型算法有：插值法[4-5]、迭代反投影算法[6]（IBP），凸集投影法[7]（POCS），最大似然估计（ML）和最大后验估计[8]（MAP）。插值法是图像重建的一种简单方法。插值法的复杂度较低，重构的图像边缘比较模糊，存在明显的锯齿效应，对图像的修复效果不佳很难修复图像中高频细节信息。IBP、POCS、MAP这几种算法是在插值法的基础上的改进，对图像的重建效果具有明显的提高。

随着深度学习的发展，深度学习被广泛地运用于超分辨率重建算法中。在基于学习的图像重建算法中，低分辨率图像可以预测与之对应的高分辨率图像的部分细节信息。我们可以通过对大量样本的学习训练，得到低分辨率图像与高分辨率图像之间的映射关系，从而对图像进行重建。其典型的基于学习的算法有：Chang等人提出的领域嵌入[9]（neighbor embedding）算法、Yang等人提出的稀疏编码[10]（sparse coding）算法及Dong等人提出的基于卷积神经网络[11，12]（CNN）的算法。Dong等人将深度学习应用于图像重建问题，提出了应用卷积神经网络的单帧图像重建算法（SRCNN），避免了人为设计特征提取方式，实现了图像自身对自身的学习，提高了低分辨率图像的分辨率。

虽然基于学习的图像超分辨率算法成为图像重建的研究热点，但它并不是完美的，它们也都有着自身的缺点。基于卷积神经网络的超分辨率图像重建算法有着传统算法没有的优点，同时也有着自身的缺点，例如训练时间太长，网络学习的能力较弱等。这些缺点都制约着图像重建的质量以及效率。

针对SRCNN算法收敛速度慢，前期对图像的处理的不确定性及多变性。本文提出对卷积神经网络超分辨率重建算法的一些改进。

1 相关工作

1.1 卷积神经网络

卷积神经网络[13]是一种为了处理二维输入数据而设计的多层人工神经网络。CNN在图像处理上有着自己独特的优势1）CNN可以直接将输入网络的多维数据进行处理；2）局部的权值共享可以减少训练参数；3）有着强大的学习能力及建模能力。基于CNN的这些优势Dong等人提出了SRCNN，SRCNN网络模型分为三层。特征提取层，非线性映射层以及最终的重建层，网络模型如下图1：

基于SRCNN网络模型有着自身的优势，同时也有着很多的缺点。比如说在特征提取的时候，提取效率较低且提取的特征使用双三次插值，使得提取的特征不能有效的代表整幅图片。在对提取的特征进行训练的时候，训练时间长，效果差，还会出现退化现象。最后重建的时候不能得到理想的重建图片。

1.2 殘差网络

残差网络[14]提出的学习模块，能够有效地减少网络的参数数量，同时可以加深网络，解决梯度弥散的问题，增加网络的特征提取能力。其思想是将深度网络后面的层进行恒等映射，使模型退化为一个浅层的网络，基础的残差学习模块如图2所示。将网络设计为H（x）=Y（x）+x，可以转化为学习一个残差函数Y（x）=H（x）-x。只要Y（x）=0，就构成了一个恒等映射H（x）=x，这样转化使拟合残差更加容易。虽然包含恒等映射的残差块有助于训练极深层的网络，但缺点是在梯度反向传播时，并不能保证能够流经每一个残差模块的weights，因此在整个训练过程中，只有很少的几个残差模块能够学到有用的表达，而绝大多数的残差模块起到的作用并不大。

基于文献[15]思想，将残差网络进行改进，增加残差网络的宽度以及对残差模块、输出尺寸和滤波器的个数的重新设计。改进的残差网络结构图如图3所示。

本文提出了一种基于卷积神经网络超分辨率图像重建的改进算法。本文的算法是以SRCNN网络模型为基础在该网络模型上进行的改进，针对SRCNN在网络训练时，时间较长，收敛较慢，存在的退化现象，本文算法思想是在该网络模型中加入改进的残差网络。

2实验结果及分析

为了验证本文提出的图像重建算法对图像重建的效果，实验使用超分辨率重建常用的测试数据集Set5、Set14。

2.1训练过程

首先将数据集里的低分辨率图像利用插值法进行特征提取，将提取的图像特征作为算法的输入，将特征输入到网络中进行训练，设置网络的初始学习率为0.0001。在训练过程中如果在一段时间内不能得到好的训练效就将学习率下调30%，继续训练。网络训练迭代次数设定为10000。最终通过重建层得到相应的重建后的图像。

2.2结果分析

3 总结

本文中提出的算法是在传统SRCNN算法的基础上提出的改进，改进的方向主要是针对SRCNN算法中训练时间过长，存在网络退化现象。本文提出的算法可以解决训练时间长，网络退化等问题。虽然解决的一些问题但是对图像的特征提取方面还不能有效的解决，所以还需要在特征提取方面进一步改进。

参考文献：

[1] Tian Y，Yap K. Joint image registration and super-resolution from low-resolution images with zooming motion[J]. IEEE Trans on Circuits and Systems for Video Technology，2013，23（7）：1224-1234.

[2] Yang Min-Chun， Wang Yu-Chiang Frank. A self-learning approach to single image super-resolution[J]. IEEE Trans on Multimedia，2013，15（3）：498-508.

[3] Elad M， Aharon M. Image denoising via sparse and redundant representations over learned dictionaries[J]. IEEE Trans on Image Processing，2006 15（12）：3736-3745.

[4] Hou H，Andrews H. Cubic spline for image interpolation and digital filtering[J]. IEEE Transactions Signal Processing，1978，26（6）：508-517.

[5] KeysR.Cubic convolution interpolation for digital image processing[J]. IEEE Transactions on Acoustics，Speech and Signal Processing，1981，29（6）：1153-1160.

[6] Irani M，Peleg S.Improving resolution by image registration[J].CV-GIP：Graphical Models and Image Processing，1991，53（3）：231-239.

[7] Stark H，Oskoui P.High-resolution image recovery form image-plane arrays，using convex projection[J].Journal of the Opt.Soc.of America，1989，6（11）：1715-1726.

[8] Schultz R，Stevenson R.Bayesian estimation of sub-pixel motion field and high-resolution video stills[C]//IIEEE Int.conf.on Image Processing，1997（3）：62-65.

[9] Fang B，Huang Z，Li Y，Wang Y.v-Support vector machine based on discriminant sparse neighborhood preserving embedding.Pattern Analysis and Applications，2017，20（4）：1077-1089.

[10] Yang J，Wang Z，Lin Z，Huang T.Coupled dictionary training for image super-resolution.IEEE Trans.on Image Processing，2012，21（8）：3467-3478.

[11] Dong C，Loy CC，He K，Tang X.Image super-resolution using deep convolutional networks.IEEE Trans.on Pattern Analysis and Machine Intelligence，2016，38（2）：295-307.

[12] Dong C，Loy CC，Tang X.Accelerating the super-resolution convolutional neural network.In：Proc.of the European Conf.on Computer Vision.Springer-Verlag，2016.391-407.

[13] 周飛燕，金林鹏，董军.卷积神经网络研究综述[J].计算机学报，2017，40（7）：1-23.

[14] HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition[C]. IEEE Conference on Computer Vision and Pattern Recognition. IEEE Computer Society， 2016：770-778.

[15] ZAGORUYKO S， KOMODAKIS N. Wide residual networks [C]. British Machine Vision Conference. 2016：87.

【通联编辑：唐一东】

随便看

科学优质学术资源、百科知识分享平台，免费提供知识科普、生活经验分享、中外学术论文、各类范文、学术文献、教学资料、学术期刊、会议、报纸、杂志、工具书等各类资源检索、在线阅读和软件app下载服务。