《超分辨率图像重建解析》-工学论文，计算机论文-论文范文参考-科学狗论文网

标题

超分辨率图像重建解析

范文

董银丽任翠萍

摘要：超分辨率图像（Super-Resolution Image， SRI）重建技术是图像处理领域的热点问题，在多种应用领域扮演重要角色。本文介绍了图像超分辨率重建问题的数学模型，分析了典型的重建算法在重建中的优点及缺点，对重建的超分辨率图像质量所采用的评价方法，进行了优劣对比，最后给出了在这一领域研究中亟待解决的问题。

关键词：图像超分辨率重建;高分辨率图像;数学模型;重建算法;质量评价

中图分类号：TP18 ? ? ? ?文献标识码：A

文章编号：1009-3044（2020）17-0188-03

Abstract： Image super-resolution （SR） reconstruction technology is a hot issue in the field of image processing， which plays an important role in many applications. This paper introduces the mathematical model of image super-resolution reconstruction， analyzes the advantages and disadvantages of typical reconstruction algorithms， and discusses and compares the evaluation methods of common image super-resolution reconstruction algorithms. Finally， some problems in this field are discussed.

Key words： image super-resolution reconstruction;low resolution image;high resolution image;mathematical model;reconstruction algorithm;quality evaluation

圖像的分辨率可精确描述一副图像中物体细节的详细程度，但图像分辨率受传感器中感光器件密度，传感器与场景之间的运动、大气的扰动等的影响，目前的研究重点是在不改变现有硬件条件下，如何提高图像分辨率。

Tsai & Huang在1984年首次利用单幅低分辨率图像（Low Resolution，LR）中的信息，重建出高分辨率图像（High Resolution，HR）。图像超分辨率（Image Super-Resolution， SR）重建技术的核心思想是利用 LR 图像序列之间的冗余和互补信息，将相关的先验信息作为重建过程的约束条件，重建后的高分辨率图像，是要求解的目标函数，主要的难点在于细节的恢复。SR重建技术在图像分析、医疗、刑侦等领域，存在重要的实际应用价值。

本文结构安排：第1节超分辨率问题的数学模型描述;第2节图像超分辨率重建算法简介;第3节图像超分辨率重建算法评价方法; 第4节总结与展望。

1超分辨率问题的数学模型描述

低分辨率图像是由高分辨率图像经过移动扭曲、模糊、降采样以及噪声污染得到，整个降晰过程可以近似表示成一个线性过程[1]，图像退化过程是从原始HR图像，利用成像系统的自身存在的限定条件及一些方法，退化为LR图像的过程，而SR重建过程是图像退化过程的逆过程，利用退化所得LR图像序列中的信息，重建出HR图像的过程，SR重建过程的描述见图1。图像的 SR 重建实际是已知系统的输出图像（给定退化图像和成像系统退化模型），求输入图像（原始 HR 图像），是典型的反问题求解。

2图像超分辨率重建算法

根据处理域的不同，图像超分辨率重建算法分为基于频域的算法和基于空域的算法。

2.1基于频域的算法

20 世纪 80 ? 90 年代，基于频域的算法是图像超分辨率重建的主要方法。频域法是应用傅立叶变换（Discrete ?Fourier ?Transform， DFT）的时延（移位）性，在频域中对图像进行插值，利用DFT提取多幅欠采样、具有亚像素位移图像中的信息，获得的高分辨率图像是以第一帧图像为基准。在1990年，Kim等人提出基于加权递归最小二乘法的求解算法，算法进一步考虑了噪声和模糊的影响。在一些算法中，运用其他的频域变换方法来替代DFT，例如Nguyen应用小波变换插值，Rhee应用余弦变换插值等。

基于频域的算法在理论推导和计算上都有一定的优势，计算较为简单，容易实现并行处理。但存在以下缺点：（1）图像空间不变的噪声可以处理，对过程中添加的先验信息噪声，无法处理;（2）对运用全局整体运动产生的低分辨率图像可以处理，但对具有局部运动，也就是场景存在相对运动的情况，处理效果不理想;（3）基于频域的理论模型太过于理想化，对噪声过于敏感，不能充分利用空域先验知识，在实际应用中不能有效实现。

2.2 基于空域的算法

基于空域的算法与基于频域的算法相比较，其优点是运用的退化模型更简单直观，对于如运动、模糊、Markov 随机场等先验知识，可将其方便有效地添加为约束信息。根据实现方法分为基于插值、重构和学习三种方法。

2.2.1插值法

如最近邻插值，双线性插值，双三次插值法，插值的过程中是简单的利用了待插值像素点附近的有限多个像素点信息，单纯的增加了图像的像素个数，改变了图像的尺寸，没有恢复图像在采样的过程中损失的高频细节信息，存在锯齿伪影和纹理模糊等问题。

2.2.2重构法

重构法是由多帧LR图像序列的信息重建HR的过程，重构的过程步骤为：1）从同一场景中获取LR图像序列;2）亚像素运动估计，计算序列中LR图像与参考图像之间的运动参数;3）选择合适SR图像重建算法，对LR图像序列进行重建，得到分辨率增强的SR图像。

重构算法是从低分辨率图像到高分辨率图像之间的映射，可应用不同的规整化方法对解的可行域进行约束。在相同的退化模型中，利用重建后的高分辨率图像，再现真实到的低分辨率图像，可称之为经退化模型产生的低分辨率图像，通过比较真实得到的低分辨率图像与经退化模型产生的低分辨率图像的差距，通过不断迭代修改得到的高分辨率图像，使两个低分辨率图像间的差距趋于足够小，则高分辨图像重建完毕。

其代表性方法主要有最大后验概率估计（MAP）法、自适应滤波器法、凸影投影法（POCS）法、迭代反投影（IBP）法等[2][3]。算法缺点是因为添加约束信息，导致基于重构的方法通常计算量大，求解困难，耗时较长。

2.2.3学习法

基于学习的超分辨率算法，其基本原理是通过样本学习，建立高分辨率与低分辨率图像之间的共生模型，在此基础上为低分辨率图像“添加”出高频细节的方法。学习法包括基于浅层学习与基于深度学习的两种放方法。

浅层学习的方法主要是根据经典的机器学习算法衍生的，利用底层算法获取数据的一部分特征，局部地估计输出高分辨率图片的细节，如自相似算法，基于样例学习，利用稀疏编码理论等。

基于样例学习的超分辨率算法是由Freeman等人率先提出，算法核心在于指出在图像局部空间邻域中存在大量的自相似块。图像的自相似算法主要应用于自然图像，由于大多数的自然图像具有自相似性，也就是每个小局部图像，在图像自身的其他位置极易找到与之相似的图像。在算法中利用图像的自相似性特性，用输入图像本身构造训练集合，重建高分辨率图像。

自相似算法最主要的问题是样本量不足，Huang等人通过对待放大图像做空间几何变形的方法来扩充图像样本空间。文献[4]在图像超分辨率重建过程中，运用多任务学习的思想，每一个任务是指运用每一个低分辨率图像建立超分辨率图像的过程。算法的优点在于，利用参数来描述相似图像超分辨率过程中的共性及差异，算法中所有参数无须人工设置，都以最优化的方式求解。

Yang等提出的基于稀疏编码理论的学习方法，将高分辨率图像与低分辨率图像块进行联合训练，得到相应的高分辨率字典与低分辨率字典，利用低分辨率图像块，稀疏表示系数和高分辨率字典，通过学习字典之间的映射关系重构HR图像。在求解稀疏系数的过程中，以随机的方式选择字典中的原子，会导致拟合中包含与输入的HR图像差异较大的原子，重建处出的HR图像在显著边缘附近存在噪声。同时，在稀疏表示的字典学习中，使用同一个字典对HR图像进行重建，由于没有考虑图像块的结构性及残差，在重建HR图像的细节信息方面存在缺陷。针对缺陷，文献[5][6]中Ahmed 等和 Farhadifard 等提出定向结构字典学习方法，通过已知的图像块模板，对所有图像块进行聚类，训练每类对应的字典。Yeganli 等和 Yang 等提出的算法中，图像块聚类是利用每个图像块的主方向角，训练每类对应的字典。Nazzal提出在传统的残差字典学习基础上，建立基于残差的多方向字典学习法，深度学习通过深层网络自动学习输入数据的抽象特征，通过反向传播算法来调整网络参数，利用加深或者加宽网络结构学习更为复杂的映射关系，处理大量或者高维的数据。

Dong等率先将卷积神经网络应用于图像超分辨率（SRCNN），算法中将输入图像放大到与输出相同的尺寸后，将输入图像输入网络，这种设计使得卷积操作都在高分辨率图像上进行。为了提升SRCNN算法的速度，Dong等在算法中，将反卷积操作加入算法，提出基于反卷积的快速图像超分辨率重建算法，特征提取算法直接在LR图像上进行，引入反卷积层在網络输出层，重构HR图像，经过改进的算法速度是SRCNN的17.36倍，但重建效果与SRCNN相近[7-8]。

基于亚像素卷积神经网络，Shi等建立了实时单图像和视频超分辨率（ESPCN）的高分辨率图像重建算法，算法中运用亚像素卷积的上采样方式，通过将低分辨率图像中提取到的特征图重新排列，得到高分辨率图像，在保证较好视觉效果的前提下，满足实时视频处理的要求[9]。

3图像超分辨率重建算法评价方法

3.1评价方法分类

由于 LR 图像和重建图像的尺寸不同，准确评价重建图像的质量，研究出评价更快速且符合人类视觉感知的 SR重建图像质量评价方法是目前研究的热点。重建图像的质量评价可检验SR 重建算法好坏，优化重建算法中的参数，常用评价方法包括主观评价方法和客观评价法。

主观评价方法是指人们通过眼睛观察和主观感受两方面，对图像的质量好坏做出评价。由于主观性较强，导致评价结果存在较大的差异。常用的主观评价方法：ACR-HRR、SSCQE、DSCQS以及 DSIS;要得出符合大众的评价结果，需要收集大量数据进行分析，所需时间成本和人力成本高的缺陷。

客观评价方法通过一些客观衡量指标对图像质量进行定性度量，常用客观评价方法：均方误差法（Mean Square Error， MSE）、峰值信噪比法（Peak-Signal-to-Noise， ?PSNR）、结构相似性度量法（Structural ?Similarity ?Index Measurement， SSIM）、自然图像评价质量法（Natural Image Quality Evaluator，NIQE）、知觉指数法（Perceptual Index，PI）、无参考图像质量评价法（Distortion Identification-based Image Verity and INtegrity Evaluation ?DIIVINE）、信息保真度等[10]。

3.2客观评价方法分析

MSE和PSNR的原理相同，失真图像与原始图像的相似性通过计算对应像素点之间的差距来衡量。优点是计算较为简便，缺点是因为只考虑单个像素与单个像素的差异，没有考虑影响人类视觉特性及图像特征纹理的因素，大量的实验结果表明，MSE 和 PSNR 的评价结果和主观评价方法的结果无法完全一致。

结构相似度度量方法是运用结构相似度指标，量化失真图像和原始图像之间的差异，评价失真图像的质量好坏，描述图像的质量，用亮度、对比度、结构三项信息相结合，与 MSE和 PSNR相比较，结构相似度度量方法与人类视觉特性更符合。

Moorthy根据自然场景统计特性，提出无参考图像质量评价（Distortion Identification-based Image Verity and INtegrity Evaluation ?DIIVINE）方法，利用支持向量机模型鉴别图像的失真类别，根据具体失真类别，使用支持向量回归模型评价图像的质量。实验结果表明，该方法评价结果和主观评价方法的结果具有很高的一致性，存在的问题是不能将把所有的失真类别都考虑在内。

NIQE 和 PI的方法基础是人的视觉感受，有时直接用人眼的视觉感受作为指标，图像敏锐度越高、越自然， NIQE 值或 PI 值就越大， PI 的值是在 NIQE 的基础上计算得到。在近来的 SR 图像质量评价研究中，直接用人眼的视觉感受作为指标逐渐成为主流的选择， PI 也成为最主要的选择。

4总结与展望

图像超分辨率领域的理论框架已经建立，出现了很多研究成果，但还面临以下方面的问题需要改进与解决：如何提升超分辨率系统的鲁棒性;重建出高质量的高分辨率输出图像，建立与主观评价法相一致，且易于操作的客观评价法还有待改进;在超分辨率重建系统中，存在计算量很大的求逆过程，在实际应用中，需要开发更快速SR算法，目前在平移运动模型下的频率域已有高效算法，其他运动模型下的高效算法还未见报道;目前的重建算法在重建高分辨率图像时，使用较小的放大倍数，在较大放大倍数条件下，得到的重建图像存在平滑模糊的问题，目前深度学习研究超分辨率图像重建的重点，在较大放大倍数条件下，如何利用深度学习增强算法的重建性能。

参考文献：

[1] 董彬.图像反问题中的数学与深度学习方法[J].计算数学，2019，41（4）：343-366.

[2] 杜玉萍，刘严严.基于POCS的微扫描超分辨率图像重建算法研究[J].光电技术应用，2019，34（6）：25-28，44.

[3] 刘瑞.基于双边滤波器的图像超分辨率重建[J].科技资讯，2013，11（18）：4-5.

[4] 李键红，吴亚榕，吕巨建.基于自相似性与多任务高斯过程回归的单帧图像超分辨率重建[J].光学精密工程，2018，26（11）：2814-2826.

[5] 练秋生，石保顺，陈书贞.字典学习模型、算法及其应用研究进展[J].自动化学报，2015，41（2）：240-260.

[6] 韩玉兰，赵永平，王启松，等.稀疏表示下的噪声图像超分辨率重构[J].光学精密工程，2017，25（6）：1619-1626.

[7] Dong C，Loy C C，He K M，et al.Image super-resolution using deep convolutional networks[J].IEEE Transactions on Pattern Analysis and Machine Intelligence， 2016，38（2）：295-307.

[8] Shi W Z，Caballero J，Huszar F，et al.Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR），June 27-30， 2016. Las Vegas， NV， USA. IEEE， 2016： 1874-1883.

[9] Wang X T，Yu K，Wu S X，et al.ESRGAN： enhanced super-resolution generative adversarial networks[M]//Lecture Notes in Computer Science. Cham： Springer International Publishing， 2019： 63-79.

[10] 伍新洲，袁寧徽，沈立.一种高效的多模型图像超分辨率框架[J].集成技术，2019，8（5）：49-57.

【通联编辑：唐一东】

随便看

科学优质学术资源、百科知识分享平台，免费提供知识科普、生活经验分享、中外学术论文、各类范文、学术文献、教学资料、学术期刊、会议、报纸、杂志、工具书等各类资源检索、在线阅读和软件app下载服务。