基于扩散的自适应超分辨率重建
付龙 吕晓琪 李婷 谷宇
摘 要： 从各向异性角度分析了P?M模型、L1范式（TV模型）、L2范式（调和模型）的不足，通过扩散模型建立超分辨率重建的偏微分方程，提出一种非线性各向异性和超分辨率重建组合的模型。该模型在图像平坦区域具有线性各向同性扩散，能够有效消除噪声，在图像边缘区域具有非线性各向异性扩散保留边缘，有效减少了滤波产生的阶梯效应和P?M模型过渡平滑忽略细节的现象。仿真结果表明，该模型能够有效地提高图像重建质量，能在消除噪声的同时保留边缘，具有很好的鲁棒性。
关键词： P?M模型； L1范式； 各向同性； 各向异性； 超分辨率重建
中图分类号： TN911?34； TP391 文献标识码： A 文章编号： 1004?373X（2017）10?0107?04
Abstract： The disadvantages of P?M model， L1 norm （TV model） and L2 norm （harmonic model） are analyzed in the aspect of anisotropy. The partial differential equation for super?resolution reconstruction is established with diffusion model. A model combining the nonlinear anisotropy and super?resolution reconstruction is proposed. The model has the characteristics of linear isotropic diffusion in the flat area of the image， which can eliminate the noise effectively， and has nonlinear anisotropic diffusion preserving edge in the edge area of the image， which can effectively reduce the staircase effect produced by filtering and avoid the phenomenon that the details of P?M model is neglected due to transition smooth. The simulation results show that the model can improve the image reconstruction quality effectively， eliminate the noise while remaining the edge， and has good robustness.
Keywords： P?M model； L1 norm； isotropy； anisotropy； super?resolution reconstruction
0 引 言
随着高清显示技术的发展，人们对图像清晰度以及图像所含信息量的要求越来越高，超分辨率（Super?Resolution，SR）重建在不提升硬件设备的基础上通过单帧或者多帧序列低分辨率（Low?Resolution，LR）图像重建出一帧或者多帧高分辨率（High?Resolution，HR）图像。SR重建使用软件技术，通过像素之间的亚像素位移形成互补信息来提高分辨率，更详细地展示图像信息，减少了硬件的投资，在军事图像、遥感图像、视频监控以及医疗诊断等领域有着广泛的应用。SR技术是从低分辨率图像得到高分辨率图像，是图像退化的逆过程，表现为病态反问题，需要正则化技术将它变成一个适定问题，再通过最小化目标泛函数实现正则化超分辨率重建。
近几年，国内外超分辨率技术的研究不断取得新的进展。近年来，基于变分偏微分方程的去噪算法成为图像处理领域的重要部分，其中具有代表的方法是基于L1范数的TV模型和L2范数的调和模型。从扩散角度分析，TV模型在图像边缘区域方向一致性较好，只沿切向扩散，具有各向异性扩散，可以很好地保护图像的边缘细节，在图像平坦区域得到的边缘方向并不一定真实存在，此时仍沿边缘方向扩散无疑会导致在平坦区域的噪声抑制不充分甚至出现虚假边缘，无法准确滤除噪声，从而导致阶梯效应的存在[1?2]，这将直接影响图像处理和分析。调和模型从滤波角度考虑与高斯滤波等价，在梯度方向和边缘方向具有同等扩散和各向同性扩散，但该模型在平滑去噪时会导致图像细节模糊，存在平滑过度的现象[3]。双边滤波考虑空域信息和灰度相似性，能有效保留边缘特征。低尺度双边滤波能有效地保留边缘细节，但去噪效果差，高尺度双边滤波能有效消除噪声但会模糊边缘[4]，而且双边滤波需要人工预先设定参数。Perona和Malik提出了P?M扩散方程模型[5]，P?M模型根据图像梯度特征设计合适的扩散系数，具有各向异性扩散性能。但P?M模型在平坦区域有强噪声存在时，不能有效区分噪声边缘和图像边缘，容易出现阶梯效应，造成伪边缘并且无法滤除边界上的噪声，有不适定性问题的出现。王欢等利用[L1L2]正则化对序列图像进行基于学习的超分辨率重建[6]，根据训练库建立低分辨率图像和高分辨率图像之间的对应关系，利用学习得到的字典重建高分辨率图像。Song提出一种基于 Lp范数（1<p<2）的广义tv去噪模型[7]，该模型能克服假边缘的产生，且在去噪的同时保持了边缘细节，但该模型参数p为常数，其取值对实验结果比较敏感。
根据TV模型、调和模型、P?M模型的特点和不足，本文从扩散角度分析，提出一种保存细节和抑制噪声的超分辨率重建算法，能很好地结合上述三种方法，在图像平坦区域具有线性各向同性扩散，能够有效消除噪声；在图像边缘区域具有非线性各向异性扩散，能够有效保护边缘细节，能在去噪的同时保护边缘细节，自适应重建出高质量的图像。 </p
1 超分辨率重建模型
1.1 扩散模型
PM模型是Perona和Malik于1990年提出，对原始图像[Iox，y]的多尺度滤波可表示为：
1.2 超分辨率重建
20世纪80年代，Tsai和Huang提出多帧图像超分辨率重建，其思想是在不改变现有成像系统的前提下，利用多幅可用场景，去噪、去模糊、放大，最终得到高分辨率图像。超分辨率模型首先要解决的问题是如何通过高分辨率图像生成序列低分辨率图像。通常使用的退化模型是：高分辨率圖像经过模糊、变形、降采样以及加入噪声得到低分辨率图像。
图像以矩阵的形式存储，原高分辨率图像X用大小为[N=L1N1×L2N2]的矩阵表示。其中[L1]和[L2]分别表示水平方向和垂直方向的下采样因子。[Y]是通过退化模型得到的序列低分辨图像，矩阵大小为[N1×N2]，第[k]帧低分辨率图像[yk=yk，1，yk，2，…，yk，MT]，[M=N1×N2]，则低分辨率图像降质模型如下：
一般将低分辨率图像的获取看作正问题，即系统输出低分辨率图像。如果系统输入低分辨率图像输出高分辨率图像，那么重建过程就是正问题的逆过程[10]。L2范数是将图像病态问题转换为适定问题的约束条件，能量泛函最小化也就是调和最小化问题，文献[11]最小化噪声：
式（14）从左到右依次顺序：第一项为超分辨率模型，为病态问题转化为适定问题提供了良好的约束条件，调和能量泛函最小化；第二项为正则项，能够有效滤波使图像趋于平滑；第三项为保真项，能有效保持图像的细节轮廓，保留边缘。
2 实验结果分析
为了验证扩散方程和超分辨率重建算法结合的有效性，本文进行了大量的仿真实验，在图像中随机加入不同强度的高斯噪声，分别采用双边全变差（Bilateral Total Variation，BTV）重建模型（参数设置）、基于L1和L2范式的混合范式重建模型和本文方法进行对比，并通过峰值信噪比（PSNR），均方误差（MSE）和边缘强度等客观评价指标进行比较。
实验一：采用text低分辨率序列图像，低分辨率图像像素为（50×50），放大因子为2，实验结果如图1所示，图1（a）为序列低分辨图像中的一帧；图1（b）为BTV重建效果；图1（c）为L1和L2混合范式重建效果；图1（d）为本文方法。表1给出了相应模型的性能指标比较结果。<k：＼f10＼17年10期
从主观评价上看，图2（a）～图2（c）重建效果都较理想，但图2（a）、图2（b）在图像平坦区域存在明显的阶梯效应，画面整体不够平滑，存在严重的噪声。图2（c）相较图2（a）、图2（b）减少了阶梯效应，画面整体平滑，自然柔和。从客观评价上看，本文方法取得的峰值信噪比较BTV和文献[12]高，均方误差相对较小。实验数据表明，重建后图像的质量明显增强，较好地减少阶梯效应，重建出的结果质量更好。此算法边缘强度较BTV低，是由于边缘处存在扩散，有模糊情况出现。
实验二：随机加入高斯噪声和脉冲噪声，低分辨率图像像素（75×75），放大因子为2，实验结果如图3所示，图3（a）序列低分辨图像中的一帧；图3（b）为BTV重建效果；图3（c）为L1和L2混合范式重建效果；图2（d）为本文方法。表2体现了相应的性能指标比较结果。
从主观评价上看，图4（a）～图4（c）重建效果都较理想，但从图4（a）、图4（b）在图像平坦区域存在明显的阶梯效应，画面整体不够平滑，存在严重的噪声。图4（c）相较图4（a）、图4（b）减少了阶梯效应，画面整体平滑，自然柔和。从客观评价上看，本文方法取得的峰值信噪比较BTV和文献[12]高，均方误差相对较小。实验数据表明，重建后图像的质量明显增强，较好地减少阶梯效应，重建出的结果质量更好。此算法边缘强度较BTV低，是由于边缘处存在扩散，有模糊情况出现。
3 结 语
本文针对TV模型和调和模型的不足提出噪声抑制和边缘保存的超分辨率重建模型，通过与扩散方程相结合能自适应在平滑噪声保存边缘和轮廓等细节信息。试验结果表明，本文算法可以有效地滤除噪声保留边缘细节，而且重建出的图像，均方误差小、峰值信噪比高、图像质量更好。
参考文献
[1] 王益艳.基于局部结构信息的自适应混合变分模型[J].陕西科技大学学报，2014，32（6）：170?174.
[2] 张红英，吴亚东，吴斌.基于变分PDE的非线性数字混合滤波器[J].计算机辅助设计与图形学学报，2007，19（9）：1089?1093.
[3] GUICHARD F， MOISAN L， MOREL J M. A review of PDE models in image processing and image analysis [J]. Journal de physique IV： 2002， 12（1）： 137?154.
[4] 余博，郭雷，钱晓亮，等.一种新的自适应双边滤波算法[J].应用科学学报，2012，30（5）：517?523.
[5] PERONA P， MALIK J. Scale?space and edge detection using anisotropic diffusion [J]. IEEE transactions on pattern analysis and machine intelligence： 1990， 12（8）： 629?639.
[6] 王欢，王永革.基于L1/2正则化的超分辨率图像重建算法[J].计算机工程，2012，38（20）：191?194.
[7] SONG B. Topics in variational PDE image segmentation， in?painting and denoising [D]. Los Angeles： University of California， 2003.
[8] 陈远旭，罗予频，胡东成.基于PDE正则化的超分辨率图像重构方法[J].计算机工程，2007，33（22）：4?5.
[9] MAISELI B J， ALLY N， GAO H J. A noise?suppressing and edge preserving multiframe super resolution image reconstruction method [J]. Signal processing： image communication， 2015， 34： 1?13.
[10] 杨宇翔.图像超分辨率重建算法研究[D]. 合肥：中国科学技术大学，2013.
[11] YUAN Jianhua. Adaptive regularization for super?resolution image reconstruction based on local structures [J]. Journal of computer applications， 2009， 28（3）： 11?15.
[12] 李银辉.基于L1和L2混合范式的序列图像超分辨率重建[J].计算机应用，2015，35（3）：840?843.
摘 要： 从各向异性角度分析了P?M模型、L1范式（TV模型）、L2范式（调和模型）的不足，通过扩散模型建立超分辨率重建的偏微分方程，提出一种非线性各向异性和超分辨率重建组合的模型。该模型在图像平坦区域具有线性各向同性扩散，能够有效消除噪声，在图像边缘区域具有非线性各向异性扩散保留边缘，有效减少了滤波产生的阶梯效应和P?M模型过渡平滑忽略细节的现象。仿真结果表明，该模型能够有效地提高图像重建质量，能在消除噪声的同时保留边缘，具有很好的鲁棒性。
关键词： P?M模型； L1范式； 各向同性； 各向异性； 超分辨率重建
中图分类号： TN911?34； TP391 文献标识码： A 文章编号： 1004?373X（2017）10?0107?04
Abstract： The disadvantages of P?M model， L1 norm （TV model） and L2 norm （harmonic model） are analyzed in the aspect of anisotropy. The partial differential equation for super?resolution reconstruction is established with diffusion model. A model combining the nonlinear anisotropy and super?resolution reconstruction is proposed. The model has the characteristics of linear isotropic diffusion in the flat area of the image， which can eliminate the noise effectively， and has nonlinear anisotropic diffusion preserving edge in the edge area of the image， which can effectively reduce the staircase effect produced by filtering and avoid the phenomenon that the details of P?M model is neglected due to transition smooth. The simulation results show that the model can improve the image reconstruction quality effectively， eliminate the noise while remaining the edge， and has good robustness.
Keywords： P?M model； L1 norm； isotropy； anisotropy； super?resolution reconstruction
0 引 言
随着高清显示技术的发展，人们对图像清晰度以及图像所含信息量的要求越来越高，超分辨率（Super?Resolution，SR）重建在不提升硬件设备的基础上通过单帧或者多帧序列低分辨率（Low?Resolution，LR）图像重建出一帧或者多帧高分辨率（High?Resolution，HR）图像。SR重建使用软件技术，通过像素之间的亚像素位移形成互补信息来提高分辨率，更详细地展示图像信息，减少了硬件的投资，在军事图像、遥感图像、视频监控以及医疗诊断等领域有着广泛的应用。SR技术是从低分辨率图像得到高分辨率图像，是图像退化的逆过程，表现为病态反问题，需要正则化技术将它变成一个适定问题，再通过最小化目标泛函数实现正则化超分辨率重建。
近几年，国内外超分辨率技术的研究不断取得新的进展。近年来，基于变分偏微分方程的去噪算法成为图像处理领域的重要部分，其中具有代表的方法是基于L1范数的TV模型和L2范数的调和模型。从扩散角度分析，TV模型在图像边缘区域方向一致性较好，只沿切向扩散，具有各向异性扩散，可以很好地保护图像的边缘细节，在图像平坦区域得到的边缘方向并不一定真实存在，此时仍沿边缘方向扩散无疑会导致在平坦区域的噪声抑制不充分甚至出现虚假边缘，无法准确滤除噪声，从而导致阶梯效应的存在[1?2]，这将直接影响图像处理和分析。调和模型从滤波角度考虑与高斯滤波等价，在梯度方向和边缘方向具有同等扩散和各向同性扩散，但该模型在平滑去噪时会导致图像细节模糊，存在平滑过度的现象[3]。双边滤波考虑空域信息和灰度相似性，能有效保留边缘特征。低尺度双边滤波能有效地保留边缘细节，但去噪效果差，高尺度双边滤波能有效消除噪声但会模糊边缘[4]，而且双边滤波需要人工预先设定参数。Perona和Malik提出了P?M扩散方程模型[5]，P?M模型根据图像梯度特征设计合适的扩散系数，具有各向异性扩散性能。但P?M模型在平坦区域有强噪声存在时，不能有效区分噪声边缘和图像边缘，容易出现阶梯效应，造成伪边缘并且无法滤除边界上的噪声，有不适定性问题的出现。王欢等利用[L1L2]正则化对序列图像进行基于学习的超分辨率重建[6]，根据训练库建立低分辨率图像和高分辨率图像之间的对应关系，利用学习得到的字典重建高分辨率图像。Song提出一种基于 Lp范数（1<p<2）的广义tv去噪模型[7]，该模型能克服假边缘的产生，且在去噪的同时保持了边缘细节，但该模型参数p为常数，其取值对实验结果比较敏感。
根据TV模型、调和模型、P?M模型的特点和不足，本文从扩散角度分析，提出一种保存细节和抑制噪声的超分辨率重建算法，能很好地结合上述三种方法，在图像平坦区域具有线性各向同性扩散，能够有效消除噪声；在图像边缘区域具有非线性各向异性扩散，能够有效保护边缘细节，能在去噪的同时保护边缘细节，自适应重建出高质量的图像。 </p
1 超分辨率重建模型
1.1 扩散模型
PM模型是Perona和Malik于1990年提出，对原始图像[Iox，y]的多尺度滤波可表示为：
1.2 超分辨率重建
20世纪80年代，Tsai和Huang提出多帧图像超分辨率重建，其思想是在不改变现有成像系统的前提下，利用多幅可用场景，去噪、去模糊、放大，最终得到高分辨率图像。超分辨率模型首先要解决的问题是如何通过高分辨率图像生成序列低分辨率图像。通常使用的退化模型是：高分辨率圖像经过模糊、变形、降采样以及加入噪声得到低分辨率图像。
图像以矩阵的形式存储，原高分辨率图像X用大小为[N=L1N1×L2N2]的矩阵表示。其中[L1]和[L2]分别表示水平方向和垂直方向的下采样因子。[Y]是通过退化模型得到的序列低分辨图像，矩阵大小为[N1×N2]，第[k]帧低分辨率图像[yk=yk，1，yk，2，…，yk，MT]，[M=N1×N2]，则低分辨率图像降质模型如下：
一般将低分辨率图像的获取看作正问题，即系统输出低分辨率图像。如果系统输入低分辨率图像输出高分辨率图像，那么重建过程就是正问题的逆过程[10]。L2范数是将图像病态问题转换为适定问题的约束条件，能量泛函最小化也就是调和最小化问题，文献[11]最小化噪声：
式（14）从左到右依次顺序：第一项为超分辨率模型，为病态问题转化为适定问题提供了良好的约束条件，调和能量泛函最小化；第二项为正则项，能够有效滤波使图像趋于平滑；第三项为保真项，能有效保持图像的细节轮廓，保留边缘。
2 实验结果分析
为了验证扩散方程和超分辨率重建算法结合的有效性，本文进行了大量的仿真实验，在图像中随机加入不同强度的高斯噪声，分别采用双边全变差（Bilateral Total Variation，BTV）重建模型（参数设置）、基于L1和L2范式的混合范式重建模型和本文方法进行对比，并通过峰值信噪比（PSNR），均方误差（MSE）和边缘强度等客观评价指标进行比较。
实验一：采用text低分辨率序列图像，低分辨率图像像素为（50×50），放大因子为2，实验结果如图1所示，图1（a）为序列低分辨图像中的一帧；图1（b）为BTV重建效果；图1（c）为L1和L2混合范式重建效果；图1（d）为本文方法。表1给出了相应模型的性能指标比较结果。<k：＼f10＼17年10期
从主观评价上看，图2（a）～图2（c）重建效果都较理想，但图2（a）、图2（b）在图像平坦区域存在明显的阶梯效应，画面整体不够平滑，存在严重的噪声。图2（c）相较图2（a）、图2（b）减少了阶梯效应，画面整体平滑，自然柔和。从客观评价上看，本文方法取得的峰值信噪比较BTV和文献[12]高，均方误差相对较小。实验数据表明，重建后图像的质量明显增强，较好地减少阶梯效应，重建出的结果质量更好。此算法边缘强度较BTV低，是由于边缘处存在扩散，有模糊情况出现。
实验二：随机加入高斯噪声和脉冲噪声，低分辨率图像像素（75×75），放大因子为2，实验结果如图3所示，图3（a）序列低分辨图像中的一帧；图3（b）为BTV重建效果；图3（c）为L1和L2混合范式重建效果；图2（d）为本文方法。表2体现了相应的性能指标比较结果。
从主观评价上看，图4（a）～图4（c）重建效果都较理想，但从图4（a）、图4（b）在图像平坦区域存在明显的阶梯效应，画面整体不够平滑，存在严重的噪声。图4（c）相较图4（a）、图4（b）减少了阶梯效应，画面整体平滑，自然柔和。从客观评价上看，本文方法取得的峰值信噪比较BTV和文献[12]高，均方误差相对较小。实验数据表明，重建后图像的质量明显增强，较好地减少阶梯效应，重建出的结果质量更好。此算法边缘强度较BTV低，是由于边缘处存在扩散，有模糊情况出现。
3 结 语
本文针对TV模型和调和模型的不足提出噪声抑制和边缘保存的超分辨率重建模型，通过与扩散方程相结合能自适应在平滑噪声保存边缘和轮廓等细节信息。试验结果表明，本文算法可以有效地滤除噪声保留边缘细节，而且重建出的图像，均方误差小、峰值信噪比高、图像质量更好。
参考文献
[1] 王益艳.基于局部结构信息的自适应混合变分模型[J].陕西科技大学学报，2014，32（6）：170?174.
[2] 张红英，吴亚东，吴斌.基于变分PDE的非线性数字混合滤波器[J].计算机辅助设计与图形学学报，2007，19（9）：1089?1093.
[3] GUICHARD F， MOISAN L， MOREL J M. A review of PDE models in image processing and image analysis [J]. Journal de physique IV： 2002， 12（1）： 137?154.
[4] 余博，郭雷，钱晓亮，等.一种新的自适应双边滤波算法[J].应用科学学报，2012，30（5）：517?523.
[5] PERONA P， MALIK J. Scale?space and edge detection using anisotropic diffusion [J]. IEEE transactions on pattern analysis and machine intelligence： 1990， 12（8）： 629?639.
[6] 王欢，王永革.基于L1/2正则化的超分辨率图像重建算法[J].计算机工程，2012，38（20）：191?194.
[7] SONG B. Topics in variational PDE image segmentation， in?painting and denoising [D]. Los Angeles： University of California， 2003.
[8] 陈远旭，罗予频，胡东成.基于PDE正则化的超分辨率图像重构方法[J].计算机工程，2007，33（22）：4?5.
[9] MAISELI B J， ALLY N， GAO H J. A noise?suppressing and edge preserving multiframe super resolution image reconstruction method [J]. Signal processing： image communication， 2015， 34： 1?13.
[10] 杨宇翔.图像超分辨率重建算法研究[D]. 合肥：中国科学技术大学，2013.
[11] YUAN Jianhua. Adaptive regularization for super?resolution image reconstruction based on local structures [J]. Journal of computer applications， 2009， 28（3）： 11?15.
[12] 李银辉.基于L1和L2混合范式的序列图像超分辨率重建[J].计算机应用，2015，35（3）：840?843.
