基于天空分割的改进型雾天图像增强方法
刘佳嘉+刘建华
摘 要： 在大雾条件下图像对比度较低，近景能够分辨出的轮廓和颜色，而远景则往往隐藏于大雾当中，故提出一种改进型基于天空分割的局部直方图增强算法。该算法综合了天空分割、局部直方图算法和信息融合的优点。首先分割出天空区域，除掉干扰信息，定义天空颜色，再利用移动模板进行块重叠直方图均衡化处理，最后使用信息融合与原图加权的方法进一步完善图像细节。实验表明，该算法使原来失真的边界更柔和，视觉效果更好。
关键词： 雾天图像； 天空分割； 移动模板； 信息融合
中图分类号： TN911.73?34； TP409.2 文献标识码： A 文章编号： 1004?373X（2017）13?0053?04
Abstract： The image contrast is low under heavy foggy condition， so the outlines and colors in distant shot image are hidden in the heavy fog， though they can be distinguished in close shot image， an improved local histogram enhancement algorithm based on sky segmentation is proposed. The advantages of sky segmentation， local histogram algorithm and information fusion are synthesized in the algorithm. The sky area is segmented to eliminate the interference information， and definite the sky color. The mobile template is used to conduct the block overlapping histogram equalization. The methods of information fusion and original map weighting are used to further perfect the image detail. The experimental results show that the algorithm makes the border of the original distortion softer， and visual effect better.
Keywords： foggy image； sky segmentation； mobile template； information fusion
0 引 言
在霧天情况下捕获的图像不仅对比度降低，色彩退化，景物特征也被覆盖或模糊，因此去雾研究实践意义重大。目前图像去雾技术分为基于大气模型的复原方法[1]和增强对比度方法[2]两类。其中增强方法基本都是全局处理的方式，由于雾气中的大气粒子具有散射作用，因此图像中的景物会随着景深增加对比度呈指数形式降低，这是全局增强算法不能解决的问题。
同时，全局雾天图像增强方法的特点是需要整张图像所有像素点都参与处理，而实际情况中，常常仅需对关心的局部区域信息进行增强，这时再使用全局方法就不能保证局部区域得到充分凸显，为解决这一问题，许多局部增强算法[3]应运而生。它比全局增强多一个明确感兴趣区域的过程。其中基于天空分割方法是一种雾天图像局部增强的新思路，意在将天空和近景分割开后，只处理退化的景物。
文献[4]利用阈值及引入参数进行天空分割，再进行增强。结果只是提高了处理速度，但是效果并没有明显变化。文献[5]首先利用均值漂移与嵌入置信度分割图像，后用膨胀与腐蚀二值化区分天空和景物，再对不同区域使用不同增强方法。这种处理方法非常复杂，把重点放在了分割天空区域上，在增强处理上相对较弱。
总体来看，基于天空分割的雾天图像增强算法处理效果较为理想，能极大的避免干扰，突出重点，基于这种优势，本文针对一种已有的天空分割移动模板的局部直方图均衡增强算法进行改进，不仅去除掉了模板内的干扰信息，定义了天空的颜色，且通过提高步长加快了运算速度，还使用信息融合以及与原图加权的方法进一步完善图像细节，将原来失真的边界部分变得更柔和，视觉效果更好。
1 基于天空分割的雾天景物影像的清晰化方法
文献[2]首先分割天空区域，再利用移动模板增强雾天影像。实现步骤分两步：天空分离；移动模板增强处理。下面对该方法给出详细的步骤描述。
1.1 天空区域分离
文献[2]通过研究分析雾天图像的灰度级分布特点，从灰度图中找到了能实现分离图像天空区域的方法。图1（a）为雾天图像，图1（b）为对应的灰度直方图。在直方图的右边有一个陡峭的峰，这在雾天图像中较普遍，图中两个箭头之间的部分对应图中的天空区域，且此峰近似正态分布。
基本可以认为这样一个靠近直方图右端的陡峰所在近似正态分布的区域是原图天空区域，以此剥离出天空部分，达到减少此类灰度变换区域的误增强，影响后面景物清晰化处理的目的。处理的步骤就是不断求取正态分布于原轮廓之间的差异，直到最小时即可得到相应的方差。
找到天空区域分割阈值是实现分割的关键。步骤如下：
（1） 标记最高峰，且坐标值为均值，可得：
（2） 构造出的正态分布与实际的灰度分布曲线之间的偏差为其中表示高斯函数在第灰度级的取值；表示第个灰度频数。
（3）如果满足，就令其为方差。
搜索步骤如下：
（1） 给定一个任意的偏小方差代入得初始的正态分布同时计算。
（2）令代入得新正态分布计算。
（3） 如果令并转到步骤（1），否则当前的为最佳近似正态分布。
（4） 当分布范围在时，其概率分布占到总分布的95%左右，为绝大部分的范畴，因此在灰度级数上取最小值为最大值为的范畴，即可提取出图像中的天空区域。
利用上述方法，进行大量雾天图像的天空区域分离实验处理，现给出一组示例，如图2所示。
1.2 清晰化方法实现
移动模板进行局部直方图均衡的理论分析参见文献[2]，这里不再重复。此处只罗列出基本的算法步骤。
设雾天图像大小为结果图大小为移动模板的大小为天空图像，步骤如下：
（1） 初始化：；
（2） 判断当前点是否处在天空范畴，如果是保持不变，转步骤（6），否则继续下一步；
（3） 按尺寸取出中子块
（4） 对进行直方图均衡处理得
（5） 将复制到内对应区域；
（6） 平移一个像素，判断：
如则
如且则
如且则结束。
此方法首先分割天空和近景，再使用块重叠直方图均衡增强。不仅能在很大程度上改善每个局部区域内的对比度，同时也能在一定程度上避免景物失真，达到巧妙利用移动模板优势实现退化景物增强的效果。但也存在一些不足，比如运算时间过长，处理效果经常会出现过增强等，针对这些问题，文献[6]给出了改进方法。
2 基于天空分割的景物影像清晰化方法的改进
针对上述方法存在的两个缺陷：计算过程复杂，计算量较大，仍无法达到实时的要求；模板的大小会直接影响到算法计算时间的长短以及处理效果是否清晰。文献[6]考虑到运算效率及避免误增强天空区域这两方面，结合以下两个修改点来弥补原方法的缺陷。具体需要修订的地方如下：
（l） 判断处理点是否属于天空区域
如果不排除天空点，有可能在模板内还存在天空部分时就进行增强，这样少部分天空区域会因为噪声被放大而干扰整体效果，此外，使用直方图均衡化进行对比度拉伸的结果与原模板内所有像素点的灰度值也有直接关系，因为处理时需要对模板内全部像素点一起处理，没有排除处理中模板内的天空点，如果存在天空点，由于那些点的颜色偏白，灰度值较高，会导致模板内的灰度范围扩展，拉伸程度变小。反之，在没有天空点的情况下，灰度范围相对较小，那么拉伸的程度就会扩大。所以，是否排除天空点，会大大影响处理效果。因此判断并排除模板内的天空點非常重要[6]。
（2） 提高运算效率
在具体过程中，原算法实现直方图增强和天空区域的判断是同时进行。另一方面，模板是逐点移动，实质上是按步长为1进行块重叠直方图均衡，计算量非常大，因此在实际运算时可以加大步长。
这样改进的优点是提高了效率，排除了干扰点。 缺点是在天空与景物交接的边缘较为突兀，界限明显，且当步长较大时，会有明显的块状方格出现在图像中 。因此，本文在文献[6]的基础上，结合信息加权的思路，弥补以上缺点。
3 信息融合加权
由于处理后的结果是属于局部区域信息的增强，虽然目标物体和天空背景都得到了增强，但在观察图像时，首先是区分出景物和背景，人眼的注意力主要是景物，而上述方法使景物和背景同样清晰，天空区域被过增强之后可能导致背景过于突出，使得人眼在判断距离时易产生误差。另外，处理后天空与景物交界处会留下非常明显的边界，要解决以上两个问题，可简单与原图进行加权，或采用渐变处理方法。后者思路是使离边界较近的像素灰度值改变少一些，而远离边界的像素灰度值改变多一些，即文献[7]中的渐变融合方法，以达到消除边界效应及克服噪声的效果。具体理论及其操作步骤不再重复。
在本文中，综合以上步骤，通过以下4个修改点来克服噪声干扰和过增强现象，使结果更自然。具体改进如下：
（1） 首先分离天空区域，将天空区域直接赋为255，认为天空为白色；
（2） 在对模板内的直方图均衡化之前，先判断模板内是否存在属于天空范畴的像素点；
（3） 实际处理中，可尝试令模板移动步长大于1，本文处理的图片中通常按经验取值是3～8，可提高处理效率，缩短运行时间。
（4） 对处理结果采用距离渐变加信息融合的方法消除边界效应和过增强现象，也可采用简单的与原图加权的方法，加权比例按照实际情况来判定。
4 实验结果及其分析
改进算法之后的去雾效果图，如图3所示。图3（a）为雾天降质图像；图3（b）是全局直方图处理结果，此方法只是将整张图灰度级“拉开”，没有考虑景深退化规律，所以近景出现了过增强，远景处又增强不够。图3（c）是在不分割天空的情况下对整张图像进行块重叠直方图的效果，模板大小为64×48。
图3（d）是改进点处理过后的结果，并没有使用信息融合加权，步长为1，天空设定为255，在模板内排除了天空点，模板大小同样为64×48。对比图3（c）和图3（d）进行同大小的块重叠直方图处理，但是效果差别很大，后者整体效果更好，视觉效果也更佳。不仅极大地降低了噪声，且近景的过增强现象明显减弱，远处楼房和树木变得更清晰。
图3（e）和图3（f）同样采用改进方法，且均采用与原图加权方式处理，其他如模板大小等所有条件相同，仅步长大小有不同。
图3（e）步长为4，运行时间为3.818 s，图3（f）步长为8，运行时间为1.677 s。两者都产生了块效应，后者虽然效率高一些，但块效应更严重，前者相对图3（d）效果还能接受。所以提高运行效率是以牺牲处理效果为代价的，因此在实际操作时，应按照实时的需求调整步长。
从图3（d）～（f）可以看出，如果合理设置模块大小和步长大小，不仅可以提高运算速度，还能降低噪声干扰，但同时发现远处噪声干扰仍较强，且在天空与景物之间的边界效应明显。因此对边界部分的处理具有實际意义。图3（g）通过对图3（d）采用距离变换进行渐变处理，抑制了噪声，并消除了处理时产生的边界效应，使得景物与天空交接的地方变得柔和，过渡自然，从结果可知，在边界处已没明显的边界效应。图3（h）是信息综合处理后的效果图，是通过将图3（d）与原图3（a）按11的比例叠加得到的效果。
5 结 语
本文研究了基于部分增强的雾天图像清晰化方法，并针对一种已有的基于天空分割的移动模板的局部直方图均衡增强算法进行改进，不仅去除掉了模板内的干扰信息，定义了天空的颜色，且通过提高步长加快了运算速度，还使用信息融合与原图加权的方法进一步完善了图像细节，使原来失真的边界部分更柔和，视觉效果更好。
参考文献
[1] 朱淼良，钱徽.自然景物中大气退化模型的研究[J].计算机辅助设计与图形学学报，2001，13（9）：793?799.
[2] 祝培，朱虹，钱学明，等.一种有雾天气图像景物影像的清晰化方法[J].中国图象图形学报，2004，9（3）：124?128.
[3] PIRODDA L. Enhancing visibility through fog [J]. Optics & laser technology， 1997， 29（6）： 293?299.
[4] 苏晋鹏，陈恩俊，景嘉帅，等.基于阈值分割的暗原色先验图像去雾方法[J].计算机工程与应用，2017（3）：205?210.
[5] 雷琴，施朝健，陈婷婷.基于天空区域分割的单幅海面图像去雾方法[J].计算机工程，2015，41（5）：237?242.
[6] 翟艺书，柳晓鸣，涂雅瑗，等.一种改进的雾天降质图像的清晰化算法[J].大连海事大学学报，2007，33（3）：55?58.
[7] 丁家锐，李中健，安锦文，等.基于数学形态学的灰度图像连接物体分割方法[J].计算机测量与控制，2007，15（12）：1763?1765.
[8] 翟艺书.雾天降质图像的清晰化研究[D].大连：大连海事大学，2009.
摘 要： 在大雾条件下图像对比度较低，近景能够分辨出的轮廓和颜色，而远景则往往隐藏于大雾当中，故提出一种改进型基于天空分割的局部直方图增强算法。该算法综合了天空分割、局部直方图算法和信息融合的优点。首先分割出天空区域，除掉干扰信息，定义天空颜色，再利用移动模板进行块重叠直方图均衡化处理，最后使用信息融合与原图加权的方法进一步完善图像细节。实验表明，该算法使原来失真的边界更柔和，视觉效果更好。
关键词： 雾天图像； 天空分割； 移动模板； 信息融合
中图分类号： TN911.73?34； TP409.2 文献标识码： A 文章编号： 1004?373X（2017）13?0053?04
Abstract： The image contrast is low under heavy foggy condition， so the outlines and colors in distant shot image are hidden in the heavy fog， though they can be distinguished in close shot image， an improved local histogram enhancement algorithm based on sky segmentation is proposed. The advantages of sky segmentation， local histogram algorithm and information fusion are synthesized in the algorithm. The sky area is segmented to eliminate the interference information， and definite the sky color. The mobile template is used to conduct the block overlapping histogram equalization. The methods of information fusion and original map weighting are used to further perfect the image detail. The experimental results show that the algorithm makes the border of the original distortion softer， and visual effect better.
Keywords： foggy image； sky segmentation； mobile template； information fusion
0 引 言
在霧天情况下捕获的图像不仅对比度降低，色彩退化，景物特征也被覆盖或模糊，因此去雾研究实践意义重大。目前图像去雾技术分为基于大气模型的复原方法[1]和增强对比度方法[2]两类。其中增强方法基本都是全局处理的方式，由于雾气中的大气粒子具有散射作用，因此图像中的景物会随着景深增加对比度呈指数形式降低，这是全局增强算法不能解决的问题。
同时，全局雾天图像增强方法的特点是需要整张图像所有像素点都参与处理，而实际情况中，常常仅需对关心的局部区域信息进行增强，这时再使用全局方法就不能保证局部区域得到充分凸显，为解决这一问题，许多局部增强算法[3]应运而生。它比全局增强多一个明确感兴趣区域的过程。其中基于天空分割方法是一种雾天图像局部增强的新思路，意在将天空和近景分割开后，只处理退化的景物。
文献[4]利用阈值及引入参数进行天空分割，再进行增强。结果只是提高了处理速度，但是效果并没有明显变化。文献[5]首先利用均值漂移与嵌入置信度分割图像，后用膨胀与腐蚀二值化区分天空和景物，再对不同区域使用不同增强方法。这种处理方法非常复杂，把重点放在了分割天空区域上，在增强处理上相对较弱。
总体来看，基于天空分割的雾天图像增强算法处理效果较为理想，能极大的避免干扰，突出重点，基于这种优势，本文针对一种已有的天空分割移动模板的局部直方图均衡增强算法进行改进，不仅去除掉了模板内的干扰信息，定义了天空的颜色，且通过提高步长加快了运算速度，还使用信息融合以及与原图加权的方法进一步完善图像细节，将原来失真的边界部分变得更柔和，视觉效果更好。
1 基于天空分割的雾天景物影像的清晰化方法
文献[2]首先分割天空区域，再利用移动模板增强雾天影像。实现步骤分两步：天空分离；移动模板增强处理。下面对该方法给出详细的步骤描述。
1.1 天空区域分离
文献[2]通过研究分析雾天图像的灰度级分布特点，从灰度图中找到了能实现分离图像天空区域的方法。图1（a）为雾天图像，图1（b）为对应的灰度直方图。在直方图的右边有一个陡峭的峰，这在雾天图像中较普遍，图中两个箭头之间的部分对应图中的天空区域，且此峰近似正态分布。
基本可以认为这样一个靠近直方图右端的陡峰所在近似正态分布的区域是原图天空区域，以此剥离出天空部分，达到减少此类灰度变换区域的误增强，影响后面景物清晰化处理的目的。处理的步骤就是不断求取正态分布于原轮廓之间的差异，直到最小时即可得到相应的方差。
找到天空区域分割阈值是实现分割的关键。步骤如下：
（1） 标记最高峰，且坐标值为均值，可得：
（2） 构造出的正态分布与实际的灰度分布曲线之间的偏差为其中表示高斯函数在第灰度级的取值；表示第个灰度频数。
（3）如果满足，就令其为方差。
搜索步骤如下：
（1） 给定一个任意的偏小方差代入得初始的正态分布同时计算。
（2）令代入得新正态分布计算。
（3） 如果令并转到步骤（1），否则当前的为最佳近似正态分布。
（4） 当分布范围在时，其概率分布占到总分布的95%左右，为绝大部分的范畴，因此在灰度级数上取最小值为最大值为的范畴，即可提取出图像中的天空区域。
利用上述方法，进行大量雾天图像的天空区域分离实验处理，现给出一组示例，如图2所示。
1.2 清晰化方法实现
移动模板进行局部直方图均衡的理论分析参见文献[2]，这里不再重复。此处只罗列出基本的算法步骤。
设雾天图像大小为结果图大小为移动模板的大小为天空图像，步骤如下：
（1） 初始化：；
（2） 判断当前点是否处在天空范畴，如果是保持不变，转步骤（6），否则继续下一步；
（3） 按尺寸取出中子块
（4） 对进行直方图均衡处理得
（5） 将复制到内对应区域；
（6） 平移一个像素，判断：
如则
如且则
如且则结束。
此方法首先分割天空和近景，再使用块重叠直方图均衡增强。不仅能在很大程度上改善每个局部区域内的对比度，同时也能在一定程度上避免景物失真，达到巧妙利用移动模板优势实现退化景物增强的效果。但也存在一些不足，比如运算时间过长，处理效果经常会出现过增强等，针对这些问题，文献[6]给出了改进方法。
2 基于天空分割的景物影像清晰化方法的改进
针对上述方法存在的两个缺陷：计算过程复杂，计算量较大，仍无法达到实时的要求；模板的大小会直接影响到算法计算时间的长短以及处理效果是否清晰。文献[6]考虑到运算效率及避免误增强天空区域这两方面，结合以下两个修改点来弥补原方法的缺陷。具体需要修订的地方如下：
（l） 判断处理点是否属于天空区域
如果不排除天空点，有可能在模板内还存在天空部分时就进行增强，这样少部分天空区域会因为噪声被放大而干扰整体效果，此外，使用直方图均衡化进行对比度拉伸的结果与原模板内所有像素点的灰度值也有直接关系，因为处理时需要对模板内全部像素点一起处理，没有排除处理中模板内的天空点，如果存在天空点，由于那些点的颜色偏白，灰度值较高，会导致模板内的灰度范围扩展，拉伸程度变小。反之，在没有天空点的情况下，灰度范围相对较小，那么拉伸的程度就会扩大。所以，是否排除天空点，会大大影响处理效果。因此判断并排除模板内的天空點非常重要[6]。
（2） 提高运算效率
在具体过程中，原算法实现直方图增强和天空区域的判断是同时进行。另一方面，模板是逐点移动，实质上是按步长为1进行块重叠直方图均衡，计算量非常大，因此在实际运算时可以加大步长。
这样改进的优点是提高了效率，排除了干扰点。 缺点是在天空与景物交接的边缘较为突兀，界限明显，且当步长较大时，会有明显的块状方格出现在图像中 。因此，本文在文献[6]的基础上，结合信息加权的思路，弥补以上缺点。
3 信息融合加权
由于处理后的结果是属于局部区域信息的增强，虽然目标物体和天空背景都得到了增强，但在观察图像时，首先是区分出景物和背景，人眼的注意力主要是景物，而上述方法使景物和背景同样清晰，天空区域被过增强之后可能导致背景过于突出，使得人眼在判断距离时易产生误差。另外，处理后天空与景物交界处会留下非常明显的边界，要解决以上两个问题，可简单与原图进行加权，或采用渐变处理方法。后者思路是使离边界较近的像素灰度值改变少一些，而远离边界的像素灰度值改变多一些，即文献[7]中的渐变融合方法，以达到消除边界效应及克服噪声的效果。具体理论及其操作步骤不再重复。
在本文中，综合以上步骤，通过以下4个修改点来克服噪声干扰和过增强现象，使结果更自然。具体改进如下：
（1） 首先分离天空区域，将天空区域直接赋为255，认为天空为白色；
（2） 在对模板内的直方图均衡化之前，先判断模板内是否存在属于天空范畴的像素点；
（3） 实际处理中，可尝试令模板移动步长大于1，本文处理的图片中通常按经验取值是3～8，可提高处理效率，缩短运行时间。
（4） 对处理结果采用距离渐变加信息融合的方法消除边界效应和过增强现象，也可采用简单的与原图加权的方法，加权比例按照实际情况来判定。
4 实验结果及其分析
改进算法之后的去雾效果图，如图3所示。图3（a）为雾天降质图像；图3（b）是全局直方图处理结果，此方法只是将整张图灰度级“拉开”，没有考虑景深退化规律，所以近景出现了过增强，远景处又增强不够。图3（c）是在不分割天空的情况下对整张图像进行块重叠直方图的效果，模板大小为64×48。
图3（d）是改进点处理过后的结果，并没有使用信息融合加权，步长为1，天空设定为255，在模板内排除了天空点，模板大小同样为64×48。对比图3（c）和图3（d）进行同大小的块重叠直方图处理，但是效果差别很大，后者整体效果更好，视觉效果也更佳。不仅极大地降低了噪声，且近景的过增强现象明显减弱，远处楼房和树木变得更清晰。
图3（e）和图3（f）同样采用改进方法，且均采用与原图加权方式处理，其他如模板大小等所有条件相同，仅步长大小有不同。
图3（e）步长为4，运行时间为3.818 s，图3（f）步长为8，运行时间为1.677 s。两者都产生了块效应，后者虽然效率高一些，但块效应更严重，前者相对图3（d）效果还能接受。所以提高运行效率是以牺牲处理效果为代价的，因此在实际操作时，应按照实时的需求调整步长。
从图3（d）～（f）可以看出，如果合理设置模块大小和步长大小，不仅可以提高运算速度，还能降低噪声干扰，但同时发现远处噪声干扰仍较强，且在天空与景物之间的边界效应明显。因此对边界部分的处理具有實际意义。图3（g）通过对图3（d）采用距离变换进行渐变处理，抑制了噪声，并消除了处理时产生的边界效应，使得景物与天空交接的地方变得柔和，过渡自然，从结果可知，在边界处已没明显的边界效应。图3（h）是信息综合处理后的效果图，是通过将图3（d）与原图3（a）按11的比例叠加得到的效果。
5 结 语
本文研究了基于部分增强的雾天图像清晰化方法，并针对一种已有的基于天空分割的移动模板的局部直方图均衡增强算法进行改进，不仅去除掉了模板内的干扰信息，定义了天空的颜色，且通过提高步长加快了运算速度，还使用信息融合与原图加权的方法进一步完善了图像细节，使原来失真的边界部分更柔和，视觉效果更好。
参考文献
[1] 朱淼良，钱徽.自然景物中大气退化模型的研究[J].计算机辅助设计与图形学学报，2001，13（9）：793?799.
[2] 祝培，朱虹，钱学明，等.一种有雾天气图像景物影像的清晰化方法[J].中国图象图形学报，2004，9（3）：124?128.
[3] PIRODDA L. Enhancing visibility through fog [J]. Optics & laser technology， 1997， 29（6）： 293?299.
[4] 苏晋鹏，陈恩俊，景嘉帅，等.基于阈值分割的暗原色先验图像去雾方法[J].计算机工程与应用，2017（3）：205?210.
[5] 雷琴，施朝健，陈婷婷.基于天空区域分割的单幅海面图像去雾方法[J].计算机工程，2015，41（5）：237?242.
[6] 翟艺书，柳晓鸣，涂雅瑗，等.一种改进的雾天降质图像的清晰化算法[J].大连海事大学学报，2007，33（3）：55?58.
[7] 丁家锐，李中健，安锦文，等.基于数学形态学的灰度图像连接物体分割方法[J].计算机测量与控制，2007，15（12）：1763?1765.
[8] 翟艺书.雾天降质图像的清晰化研究[D].大连：大连海事大学，2009.
