| 标题 | 噪声自适应射影运动Richardson—Lucy去模糊算法研究 |
| 范文 | 王志伟 缪磊磊 吴晨健 摘要：针对射影运动Richardson-Lucy算法放大噪声的问题，提出了一种噪声自适应射影运动Richardson-Lucy去模糊算法。该算法首先估计运动模糊图像的高斯噪声方差，然后根据预先标定的高斯噪声方差-总变分（Total Variation）正则化参数表得到总变分正则化参数，最后射影运动Richardson-Lucy算法对运动模糊图像进行处理。仿真结果表明，算法在复原带有不同强度高斯噪声的运动模糊图像时，可以自动调节总变分正则化参数，有效地抑制了噪声放大，提高了图像质量。 关键词：射影运动模型；射影运动Richardson-Lucy算法；总变分正则化；噪声估计；去模糊 中图分类号：TP391 文献标识码：A 文章编号：1009-3044（2017）31-0192-04 Noise Adaptive Projective Motion Richardson-Lucy Deblurring Algorithm Research WANG Zhi-Wei， MIAO Lei-Lei， WU Chen-Jian （Department of Electronics and Information Engineering， Soochow University， Suzhou 215006， China） Abstract： For the problem of noise amplification by projective motion Richardson-Lucy algorithm，a noise adaptive projective motion Richardson-Lucy deblurring algorithm was proposed.The algorithm will estimate the variance of Gaussian noise in motion blurring image firstly，then a parameter used in the total variation regularization will be gotten according to a table which relate variance of Gaussian noise with total variation regularization parameter and calibrated in advance，finally the projective motion Richardson-Lucy algorithm will process the motion blur image.The simulation result shows that the proposed algorithm could adjust the total variation regularization parameter automatically when deblurring motion images corrupted Gaussian noise with different intensity and reduce the amplification of noise effectively. Keys words： projective motion blur model； projective motion Richardson-Lucy algorithm； noise estimation； deblur 1 概述 從艺术的角度来看，摄影中的图像模糊有时候是故意为之，但在通常成像情况下，模糊效果会破坏图像的宝贵原始信息从而导致图像质量退化。运动模糊、散焦模糊、大气湍流模糊、镜头内在物理模糊是主要的模糊类型[1]。 关于运动模糊模型，自Richardson-Lucy[3][4]算法提出以来，图像模糊模型[5]通常用点扩散函数（PSF）和原始清晰图像（待恢复图像）卷积的形式表示。其中PSF分为全局不变的PSF和全局变化的PSF两种类型。Levin[6]指出全局不变的PSF这一假设通常是无效的，其实验表明拍摄照片时相机的旋转会引起全局变化的模糊效应。对于全局变化的PSF，Cho[7]将输入图像分割成很多小的区域保证每个小区域的PSF是相同的，但是这种处理方式需要让分割的区域足够小。Tai[8]使用了混合摄像机来估计每个像素的PSF用于应对全局变化的PSF，但这种做法同时也揭示了PSF卷积模糊模型的无效性。 Yu-Wing Tai[2]从图像传感器成像原理的基础上建立了射影运动模糊模型（Projective Motion Blur Model，以下简称PMBM模型）并结合Richardson-Lucy提出了射影运动Richardson-Lucy算法（Projective Motion Richardson Lucy Algorithm，以下简称PMRL算法）。PMRL算法的应用需要满足两个前提条件：1）相机的运动轨迹是已知的并且相机的运动符合PMBM模型；2）被拍摄场景是静态的并且场景中没有物体移动。PMRL算法的提出有效地解决了全局变化的模糊问题，但是PMRL算法在处理带有噪声的模糊图像时，存在噪声放大的问题。 本文将展示如何将噪声估计和PMRL结合起来解决噪声放大的问题。本文其他部分内容安排如下：第2节介绍射影运动Richardson-Lucy算法；第3节描述噪声估计；第4节提出噪声自适应射影运动Richardson-Lucy去模糊算法；第5节给出试验过程与结果；最后是结论部分。 2 射影运动Richardson-Lucy算法 射影运动Richardson-Lucy算法是在传统的Richardson-Lucy算法的基础上针对全局变化的运动模糊提出的一种新的算法，所以在此先介绍传统Richardson-Lucy算法，然后再介绍射影运动Richardson-Lucy算法。 2.1 传统Richardson-Lucy算法 Richardson Lucy是一种基于贝叶斯迭代运算的去模糊算法，最早由Richardson和Lucy[3][4]提出。这种算法假定图像来自于泊松过程，在已知模糊图像和点扩散函数的条件下去得到原始清晰图像的最大似然解。图像的模糊模型可以表示为： [g=hU f+n] （1） 式中h表示系统的点扩散函数，U表示卷积运算，f表示原始清晰的图像，n表示噪声。迭代Richardson Lucy算法可以表示为： [fk+1=fk?（h*ghU fk）] （2） 式中g表示输入的模糊图像，[fk]是k次迭代后的图，[hU fk]表示再模糊的图像，*表示相关，[?]表示点乘。 2.2 射影运动Richardson-Lucy算法 Yu-Wing Tai[2]在图像传感器成像原理的基础上，提出了射影运动模糊模型。射影运动模糊模型可以表示为： [By=i=1N△Ix，ti=1Ni=1NI0（Hix）] （3） 式中[B（y）]表示运动模糊的图像，[△I（x，ti）]表示在曝光时间[0，T]中离散采样点的值，[iN?I（x，ti）]表示在曝光时间[0，T]之间N个离散采样点的累加值，当N足够大时离散累加和与连续积分的误差就可以被忽略。[I0]表示清晰的原始图像，[Hi=j=1ihj]是一个单应矩阵，其中[hj]表示相机从[tj-1]到[tj]时间间隔内运动轨迹对应的单应矩阵。用[I0（Hix）]来表示[?I（x，ti）]，将模糊图像和清晰图像直接联系了起来，为射影运动Richardson-Lucy算法的提供了基础。 （a） 传统运动模糊模型 （b） 射影运动模糊模型 基于射影运动模糊模型的射影运动Richardson Lucy算法可以表示为： [Ik+1=Ik?1Ni=1NEk（H-1ix）] （4） [Ekx=B（x）1Ni=1NIk（Hix）] （5） 公式（4）是射影运动Richardson-Lucy的迭代公式，公式（5）中[Ek（x）]是真实的模糊图像B和再模糊图像之间的残差。本质上，这种方法用一系列的前向射影运动和反向射影运动取代了传统Richardson-Lucy算法的卷积和相关运算。 为了减少去模糊图像的瑕疵，Yu-Wing Tai尝试了三种正则化约束项，分别是总变分、拉普拉斯和双边正则化，发现总变分正则化得到的图像在均方根误差上表现最好。加入总变分正则项约束的射影运动Richardson Lucy算法如下： [Ik+1x=Ik（x）1-λ?RTV（I）?1Ni=1NEk（H-1ix）] （6） [?RTVI=-??Ik|?Ik|] （7） 其中[?I（x）]是图像[I（x）]的一阶导数，[2]中将[λ]设为定值0.002。当用PMRL算法处理带有噪声的图像时，虽然没有振铃现象，但是出现了明显的噪声放大现象，从[2]中Fig 8可以看到这一现象。本文用[2]中的算法处理带有高斯噪声的模糊图像的结果如图2所示，其中μ，δ2分别为高斯分布的期望和方差，RMS计算如公式（8）所示，其中[y]为真实图像（ground truth image），[y']为去模糊的图像。 [RMS=1M?Ni=1Nj=1M（yi，j-y'（i，j））2] （8） 从图2（a）（b）中可以看出PMRL算法在处理带有噪声的图像时，会放大噪声，导致迭代不收敛。本文的余下部分将介绍如何将噪声估计与PMRL算法结合起来解决噪声放大的问题。 3 噪声估计算法 首先定义一张带有加性高斯噪声的图像： [ym，n=xm，n+w（m，n） ?（m，n）∈D0] （9） [D0=m，n|m∈1，M，n∈1，N；m，n，M，N∈N] （10） 式中噪声信号[w（m，n）]独立于原始图像信号。Rank[9]提出的噪声估计算法如下： 步骤1：抑制原始图像信息 [y1m，n=12（ym+1，n-y（m，n）） ?（m，n）∈D1] （11） [D1={（m，n）|m∈1，M-1∧n∈1，N；m，n，M，N∈N}] （12） [y2m，n=12（y1m，n+1-y1（m，n）） ?（m，n）∈D2] （13） [D2={（m，n）|m∈1，M-1∧n∈1，N-1；m，n，M，N∈N}] （14） 根据高斯分布性质，[y2]和[ y]的方差相等。 步骤2：计算局部标准差直方图 忽略原始图像在[y2]中的残留，可以通过计算局部方差[δ2'w]来对[δ2w]进行估计。定义一个L×L正方形窗，L = 2K + 1，窗口内的像素为[NL=L2]。本文中L=3。局部标准差计算如公式（14）～（16）所示： [δ2'm，n=1NL-1i=-KKj=-kKy2m+i，n+j-μm，n2 ?（m，n）∈D3] （15） [D3={（m，n）|m∈[1+K，M-1-K]∧n∈[1+K，N-1-K]}] （16） [μm，n=1NLi=-KKj=-KKy2m+i，n+j ?（m，n）∈D3] （17） 直方图的计算如公式（18）所示，式中符号[|{?}|]表示集合[{?}]中的元素个数，[kmax]需要足够大以保证直方图包含所有的[αδ'm，n]，[α]是缩放因子，本文中[α=5]。 [hk=|{（m，n）|k-12≤αδ'm，n 步骤3：根据直方图求方差 根据公式（19）可以得到步骤2中直方图平方的均值[s21]，将[s21α2]作为噪声方差[δ2w]的初始估计值。然后用公式（20）～（22）对[s21]进行软退化来得到更准确的结果。进行软退化是因为原始图像[y]在[y2]中存在残留，导致[s21α2]的值较[δ2w]偏大。本文中[β]=2.12，[lmax]=4。最终的噪声估计结果如公式（22）所示。 [s21=k=0kmaxk2h（k）k=0kmaxhk] （19） [glk=112（1-cos （β-ksl1-βπ））0if k≤ slif sl [s2l+1=k=0kmaxk2gl（k）h（k）k=0kmaxgl（k）hk] （21） [δ2w=s2lmaxα2] （22） 4 噪声自适应射影运动Richardson-Lucy去模糊算法 公式[6]中[λ]的作用是调节数据项和正则化项的权重。增大[λ]可以更强的抑制噪声，但是去模糊的结果会变得过平滑，丢失细节；减小[λ]噪声放大就不能很好的抑制。在这里提出一种噪声自适应射影运动Richardson-Lucy去模糊算法，用于自动调节[λ]，平衡噪声放大和过平滑之间的关系。算法框图如图3所示。预先选择典型的图片进行标定得到噪声方差-参数表，标定详细过程见5.1节。输入的模糊图像经过噪声估计得到噪声方差，根据噪声方差-参数表用线性插值得到总变分正则化参数。PMRL算法结合总变分正则化参数对模糊图像进行处理，得到去模糊图像。 5 试验过程与结果 5.1 高斯噪声方差-总变分正则化参数表标定 高斯噪声方差-总变分正则化参数的标定选取了4张典型的图片，如图4所示。图片（1）包含了高频细节和纹理信息，图片（2）包含了高频细节、平坦区和强边缘，图片（3）包含了平坦区和强边缘，图片（4）包含了高频细节。 下面是标定主体部分代码： imageIn=imread（…）； imageBlur=blur（imageIn，…）； imageNoise=imnoise（imageBlur，…）； for i=1：N if i==1 START=0； deblurImage=PMRL（imageNoise，START，…）； startRms=rmsCalculate（imageIn，deblurImage）； end if i==2 END=[2*Υ]； deblurImage=PMRL（imageNoise，END，…）； endRms=rmsCalculate（imageIn，deblurImage）； end if i>=3 MID=1/2*（START+END）； deblurImage=PMRL（imageNoise，MID，…）； midRms=rmsCalculate（imageIn，deblurImage）； if （midRms < endRms） END = MID； endRms = midRms； else START = MID； startRms = midRms； end end end [λ]=1/2*（START+END）； 以上代碼实现的是单张图片单个噪声强度下的二分法参数标定。本文N=7，PMRL算法的迭代次数为200。标定时加入的高斯噪声期望为0，方差分别为5、10、15、20、25，每个噪声强度下对应的初始值[Υ]分别为0.005、0.010、0.015、0.020、0.025。将4张图片相同噪声强度下的标定参数平均可以得到高斯噪声方差-总变分正则化参数表，如表1所示。 5.2 噪声自适应射影运动Richardson-Lucy去模糊算法结果 （迭代次数均为500次） 因为饱和效应和定点化，加入的噪声将不再是准确的期望为0的高斯分布，所以估计结果和加入噪声的强度略有偏差。实验结果表明，噪声自适应PMRL算法在处理带有噪声的模糊图像时结果显著优于PMRL算法。 6 结论 本文深入研究了射影运动Richardson-Lucy算法，发现该算法存在放大噪声的问题，在分析了总变分正则化性质的基础上结合噪声估计提出了噪声自适应射影运动Richardson-Lucy算法。仿真结果表明，本文算法可以在噪声估计的基础上自动调整总变分正则化参数，有效地抑制了射影运动Richardson-Lucy算法迭代过程中噪声的放大，提高了图像质量。 参考文献： [1] Ruxin Wang and Dacheng Tao. Recent progress in image deblurring. CoRR，abs/1409.6838， 2014. [2] Tai Y W， Tan P， Brown M S. Richardson-Lucy Deblurring for Scenes under a Projective Motion Path[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2011， 33（8）：1603. [3] W. Richardson. Bayesian-based iterative method of image restoration.J. Opt. Soc. Am.， 62（1）， 1972. [4] L. Lucy. An iterative technique for the rectification of observed distributions. Astron. J.， 79， 1974. [5] Biggs D S， Andrews M. Acceleration of iterative image restoration algorithms[J]. Applied Optics， 1997， 36（8）：1766. [6] Levin A， Weiss Y， Durand F， et al. Understanding and evaluating blind deconvolution algorithms[C]// Computer Vision and Pattern Recognition， 2009. CVPR 2009. IEEE Conference on. IEEE， 2009：1964-1971. [7] Cho S， Matsushita Y， Lee S. Removing Non-Uniform Motion Blur from Images[C]// IEEE， International Conference on Computer Vision. IEEE， 2007：1-8. [8] Tai Y W， Du H， Brown M S， et al. Correction of Spatially Varying Image and Video Motion Blur Using a Hybrid Camera[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2010， 32（6）：1012. [9] Rank K， Lendl M， Unbehauen R. Estimation of image noise variance[J]. Vision， Image and Signal Processing， IEE Proceedings -， 2002， 146（2）：80-84 |
| 随便看 |
|
科学优质学术资源、百科知识分享平台，免费提供知识科普、生活经验分享、中外学术论文、各类范文、学术文献、教学资料、学术期刊、会议、报纸、杂志、工具书等各类资源检索、在线阅读和软件app下载服务。