基于稀疏表示的图像超分辨率重建算法
王琦 谢淑翠 王至琪
关键词： 超分辨率重建; 稀疏表示; [L1]范数优化; 字典学习; 粒子群优化算法; 特征提取算子
中图分类号： TN911.73?34 ? ? ? ? ? ? ? ? ? ? ? 文献标识码： A ? ? ? ? ? ? ? ? ? ? ? ? 文章编号： 1004?373X（2019）03?0045?04
Abstract： A single image super?resolution reconstruction method based on sparse representation of image blocks is proposed. The proposed reconstruction process provides a better sparse solution， and is used for [L1] norm optimization process. The efficient feature extraction operator is used in optimization process to ensure the accuracy of high?resolution image blocks. The particle swarm optimization （PSO） algorithm is used to select the best adaptive sparse regularization parameters， which makes the global reconstruction process robust. The dictionary?coupled training mode is used to learn the dictionaries. Various image quality evaluation criteria prove this method has better advantage than the existing super?resolution reconstruction methods.
Keywords： super resolution reconstruction; sparse representation; [L1] norm optimization; dictionary learning; PSO algorithm; feature extraction operator
超分辨率重建（SRR）的过程克服了低成本成像传感器固有分辨率的问题，可以更好地利用低分辨率（LR）成像系统提供高分辨率（HR）解决方案。该技术的实现主要有两类方法：基于重建的插值;基于学习的方法。重建主要是对多帧低分辨率图像进行融合，但是低分辨率图像较少的情况下重建效果不佳。近年来，基于学习的方法吸引了很多人的关注[1?4]，它以待重建图像为依据，用学习过程中获得的知识对重建图像中的信息进行补充，充分利用图像的先验知识恢复图像，且克服了重建插值过程中提高重建倍数困难的局限[5?6]。
随着压缩感知和机器学习研究的深入，基于学习的超分辨率方法已取得了一系列成果。文献[3]将压缩感知理论与稀疏编码相结合，提出基于稀疏表示的图像超分辨率算法，它的主要工作集中在利用外部训练图像集学习得到一对LR/HR字典，求解出低分辨率图像块在LR字典中的稀疏系数，再利用稀疏系数与HR字典结合重建高分辨率图像。但自适应能力差，重构的图像伪影严重。本文采用粒子群优化算法优化自适应稀疏正则化参数。在凸优化过程中，还引入了有效的特征提取算子，以获得更好的稀疏解，准确预测HR图像。1 ?基于稀疏的超分辨率重建
当输入低分辨率图像块时，首先计算在低分辨率字典下的稀疏表示系数[α]，接着利用此稀疏系数[α]和高分辨率字典进行重建。高分辨率图像块[iH]由稀疏系数[α]进行稀疏表示，即：
從视觉感知来看，双三次插值处理效果较差，因为这种插值技术缺乏高频细节，因而产生过平滑的HR图像，来自NE的结果产生更锐利的边缘。而文献[3]的重建方法是一种被广泛使用的改造技术。但随着放大倍数的增加，输出质量下降。这是由于稀疏正则参数和一般匹配约束的固定选择造成的。而本文提出的SRR方法具有较好的特征提取和最优惩罚参数，提高了解的稀疏性，同时减少了振铃伪影的数量。
为了验证算法的有效性，采用峰值信噪比（PSNR）[15]和结构相似性（SSIM）[16]作为评价指标，比较结果见表1。
从表1中可以看出，所提出方法的峰值信噪比更高，且结构相似度也高于对比方法。
4 ?结 ?语
本文提出一种基于稀疏表示的高效单幅图像超分辨率重建的方法。结合字典训练来学习低分辨率字典和高分辨率字典。在优化过程中，采用Gabor滤波器对不同频率和方向的特征进行跟踪。实验结果表明，与传统的超分辨率重建算法相比，该算法具有简单实用的优点，且具有很好的准确性、鲁棒性，能较好地保留图像的更多细节信息，改善图像信噪比，具有更好的视觉效果。
参考文献
[1] TANG Y， YAN P， YUAN Y， et al. Single?image super?resolution via local learning [J]. International journal of machine learning cybernetics， 2011， 2（1）： 15?23.
[2] HE C， LIU L， XU L， et al. Learning based compressed sen?sing for SAR image super?resolution [J]. IEEE journal of selec?ted topics in applied earth observations and remote sensing， 2012， 5（4）： 1272?1281.
[3] YANG J， MEMBER S， WRIGHT J， et al. Image super?resolution via sparse representation [J]. IEEE transactions on image processing， 2010， 19（11）： 2861?2873.
[4] PELEG T， MEMBER S， FELLOW M E. A statistical prediction model based on sparse representations for single image super?resolution [J]. IEEE transactions on image processing， 2014， 23（6）： 2569?2582.
[5] WEI C P， CHAO Y W， YEH Y R， et al. Locality sensitive dictionary learning for sparse representation based classification [J]. Pattern recognition， 2013， 46（5）： 1277?1287.
[6] YANG J， WANG Z， LIN Z， et al. Couple dictionary training for image super?resolution [J]. IEEE transactions on image processing， 2012， 21（8）： 3467?3478.
[7] 首照宇，吴广祥，陈利霞.基于字典学习和非局部相似的超分辨率重建[J].计算机应用，2014，34（11）：3300?3303.
SHOU Zhaoyu， WU Guangxiang， CHEN Lixia. Super?resolution reconstruction based on dictionaries learning and non?local similarity [J]. Computer applications， 2014， 34（11）： 3300?3303.
[8] DONOHO D L. For most large underdetermined systems of equations the minimal L1?norm near?solution approximates the sparsest near?solution [J]. Communication pure， 2006， 59（6）： 907?934.
[9] FREEMAN W T， JONES T R， PASZTOR E C. Example?based super?resolution [J]. IEEE computer graphics and applications， 2002， 22（2）： 56?65.
[10] ZHANG A， GUAN C， JIANG H， et al. An image super?resolution scheme based on compressive sensing with PCA sparse representation [C]// 2012 International Workshop on Digital Forensics and Watermarking. Berlin： Springer， 2012： 495?506.
[11] ROSLAN R， JAMIL N. Texture feature extraction using 2?D Gabor filters [C]// 2012 International Symposium on Computer Applications and Industrial Electronics. [S.l.]： Mendeley： 2012： 173?178.
[12] CAND?S E J， WAKIN M B， BOYD S P. Enhancing sparsity by reweighted ?1 minimization [J]. Journal of Fourier analysis and applications， 2008， 14（5）： 877?905.
[13] BAHY R M， SALAMA G I， MAHMOUD T A. A no?reference blur metric guided fusion technique for multi?focus images [C]// 2011 National Radio Science Conference. Cairo： IEEE， 2011： 1?9.
[14] CHANG H， YEUNG D， XIONG Y， et al. Super?resolution through neighbor embedding [C]// Proceedings of 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE， 2004： 275?282.
[15] WANG Z， BOVIK A C， SHEIKH H R， et al. Image quality assessment： from error visibility to structural similarity [J]. IEEE transactions on image processing， 2004， 13（4）： 600?612.
[16] ZHANG L， ZHANG L， MOU X， et al. Correspondence FSIM： a feature similarity index for image [J]. IEEE transactions on image processing， 2011， 20（8）： 2378?2386.
关键词： 超分辨率重建; 稀疏表示; [L1]范数优化; 字典学习; 粒子群优化算法; 特征提取算子
中图分类号： TN911.73?34 ? ? ? ? ? ? ? ? ? ? ? 文献标识码： A ? ? ? ? ? ? ? ? ? ? ? ? 文章编号： 1004?373X（2019）03?0045?04
Abstract： A single image super?resolution reconstruction method based on sparse representation of image blocks is proposed. The proposed reconstruction process provides a better sparse solution， and is used for [L1] norm optimization process. The efficient feature extraction operator is used in optimization process to ensure the accuracy of high?resolution image blocks. The particle swarm optimization （PSO） algorithm is used to select the best adaptive sparse regularization parameters， which makes the global reconstruction process robust. The dictionary?coupled training mode is used to learn the dictionaries. Various image quality evaluation criteria prove this method has better advantage than the existing super?resolution reconstruction methods.
Keywords： super resolution reconstruction; sparse representation; [L1] norm optimization; dictionary learning; PSO algorithm; feature extraction operator
超分辨率重建（SRR）的过程克服了低成本成像传感器固有分辨率的问题，可以更好地利用低分辨率（LR）成像系统提供高分辨率（HR）解决方案。该技术的实现主要有两类方法：基于重建的插值;基于学习的方法。重建主要是对多帧低分辨率图像进行融合，但是低分辨率图像较少的情况下重建效果不佳。近年来，基于学习的方法吸引了很多人的关注[1?4]，它以待重建图像为依据，用学习过程中获得的知识对重建图像中的信息进行补充，充分利用图像的先验知识恢复图像，且克服了重建插值过程中提高重建倍数困难的局限[5?6]。
随着压缩感知和机器学习研究的深入，基于学习的超分辨率方法已取得了一系列成果。文献[3]将压缩感知理论与稀疏编码相结合，提出基于稀疏表示的图像超分辨率算法，它的主要工作集中在利用外部训练图像集学习得到一对LR/HR字典，求解出低分辨率图像块在LR字典中的稀疏系数，再利用稀疏系数与HR字典结合重建高分辨率图像。但自适应能力差，重构的图像伪影严重。本文采用粒子群优化算法优化自适应稀疏正则化参数。在凸优化过程中，还引入了有效的特征提取算子，以获得更好的稀疏解，准确预测HR图像。1 ?基于稀疏的超分辨率重建
当输入低分辨率图像块时，首先计算在低分辨率字典下的稀疏表示系数[α]，接着利用此稀疏系数[α]和高分辨率字典进行重建。高分辨率图像块[iH]由稀疏系数[α]进行稀疏表示，即：
從视觉感知来看，双三次插值处理效果较差，因为这种插值技术缺乏高频细节，因而产生过平滑的HR图像，来自NE的结果产生更锐利的边缘。而文献[3]的重建方法是一种被广泛使用的改造技术。但随着放大倍数的增加，输出质量下降。这是由于稀疏正则参数和一般匹配约束的固定选择造成的。而本文提出的SRR方法具有较好的特征提取和最优惩罚参数，提高了解的稀疏性，同时减少了振铃伪影的数量。为了验证算法的有效性，采用峰值信噪比（PSNR）[15]和结构相似性（SSIM）[16]作为评价指标，比较结果见表1。
从表1中可以看出，所提出方法的峰值信噪比更高，且结构相似度也高于对比方法。4 ?结 ?语
本文提出一种基于稀疏表示的高效单幅图像超分辨率重建的方法。结合字典训练来学习低分辨率字典和高分辨率字典。在优化过程中，采用Gabor滤波器对不同频率和方向的特征进行跟踪。实验结果表明，与传统的超分辨率重建算法相比，该算法具有简单实用的优点，且具有很好的准确性、鲁棒性，能较好地保留图像的更多细节信息，改善图像信噪比，具有更好的视觉效果。
参考文献
[1] TANG Y， YAN P， YUAN Y， et al. Single?image super?resolution via local learning [J]. International journal of machine learning cybernetics， 2011， 2（1）： 15?23.
[2] HE C， LIU L， XU L， et al. Learning based compressed sen?sing for SAR image super?resolution [J]. IEEE journal of selec?ted topics in applied earth observations and remote sensing， 2012， 5（4）： 1272?1281.
[3] YANG J， MEMBER S， WRIGHT J， et al. Image super?resolution via sparse representation [J]. IEEE transactions on image processing， 2010， 19（11）： 2861?2873.
[4] PELEG T， MEMBER S， FELLOW M E. A statistical prediction model based on sparse representations for single image super?resolution [J]. IEEE transactions on image processing， 2014， 23（6）： 2569?2582.
[5] WEI C P， CHAO Y W， YEH Y R， et al. Locality sensitive dictionary learning for sparse representation based classification [J]. Pattern recognition， 2013， 46（5）： 1277?1287.
[6] YANG J， WANG Z， LIN Z， et al. Couple dictionary training for image super?resolution [J]. IEEE transactions on image processing， 2012， 21（8）： 3467?3478.
[7] 首照宇，吴广祥，陈利霞.基于字典学习和非局部相似的超分辨率重建[J].计算机应用，2014，34（11）：3300?3303.
SHOU Zhaoyu， WU Guangxiang， CHEN Lixia. Super?resolution reconstruction based on dictionaries learning and non?local similarity [J]. Computer applications， 2014， 34（11）： 3300?3303.
[8] DONOHO D L. For most large underdetermined systems of equations the minimal L1?norm near?solution approximates the sparsest near?solution [J]. Communication pure， 2006， 59（6）： 907?934.
[9] FREEMAN W T， JONES T R， PASZTOR E C. Example?based super?resolution [J]. IEEE computer graphics and applications， 2002， 22（2）： 56?65.
[10] ZHANG A， GUAN C， JIANG H， et al. An image super?resolution scheme based on compressive sensing with PCA sparse representation [C]// 2012 International Workshop on Digital Forensics and Watermarking. Berlin： Springer， 2012： 495?506.
[11] ROSLAN R， JAMIL N. Texture feature extraction using 2?D Gabor filters [C]// 2012 International Symposium on Computer Applications and Industrial Electronics. [S.l.]： Mendeley： 2012： 173?178.
[12] CAND?S E J， WAKIN M B， BOYD S P. Enhancing sparsity by reweighted ?1 minimization [J]. Journal of Fourier analysis and applications， 2008， 14（5）： 877?905.
[13] BAHY R M， SALAMA G I， MAHMOUD T A. A no?reference blur metric guided fusion technique for multi?focus images [C]// 2011 National Radio Science Conference. Cairo： IEEE， 2011： 1?9.
[14] CHANG H， YEUNG D， XIONG Y， et al. Super?resolution through neighbor embedding [C]// Proceedings of 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE， 2004： 275?282.
[15] WANG Z， BOVIK A C， SHEIKH H R， et al. Image quality assessment： from error visibility to structural similarity [J]. IEEE transactions on image processing， 2004， 13（4）： 600?612.
[16] ZHANG L， ZHANG L， MOU X， et al. Correspondence FSIM： a feature similarity index for image [J]. IEEE transactions on image processing， 2011， 20（8）： 2378?2386.
