利用偏振分析的霧天圖像復原

方 帥， 夏秀山， 趙育坤， 于 磊

（合肥工業(yè)大學 計算機與信息學院，安徽 合肥 230009）

0 引 言

霧天圖像由于受到大氣粒子的散射和吸收作用會發(fā)生對比度丟失、顏色失真等退化現(xiàn)象，這些退化嚴重影響圖像的高級處理。當前較好的去霧算法有2類：單幅圖像去霧算法［1－3］和基于偏振的去霧算法［4－8］。單幅圖像去霧算法能夠取得較好的結(jié)果，但是這類方法通常有較大的局限性，如文獻［2］中需要圖像滿足暗原色先驗假設(shè)，而這一假設(shè)在有些情況下不成立；基于偏振的方法需要較少的假設(shè)，因為這類算法至少要采集2幅偏振圖像，故具有更多的信息。此外，基于偏振的方法在去霧的同時能夠提供場景的偏振信息，尤其是場景目標的偏振信息，因此在目標識別［9－10］、場景分割［11］和材質(zhì)分類［12－13］等領(lǐng)域有著重要的應(yīng)用。

霧天場景入射到成像設(shè)備的光是由目標反射光和周圍散射到成像路徑上大氣光合成的。文獻［4－5］假定只有大氣光具有偏振效應(yīng)，忽略目標反射光的偏振效應(yīng)，而文獻［6］中又指出這一假設(shè)在鏡面（如水面）等區(qū)域并不成立，因此通過檢測圖像中的鏡面區(qū)域修正了錯誤結(jié)果，然而僅僅在鏡面區(qū)域的錯誤得到修正，圖像其他區(qū)域去霧效果并沒有改善。事實上圖像偏振效應(yīng)是由目標反射光的偏振效應(yīng)和大氣散射光的偏振效應(yīng)共同作用的結(jié)果。大氣散射光的偏振效應(yīng)隨著氣溶膠粒子大小、成像距離、太陽位置等不同而不同；目標反射光的偏振效應(yīng)不僅與入射光有關(guān)，還與目標本身的導電性、表面特性等物理化學屬性有關(guān)，所以不同的物體具有不同的偏振特性。僅考慮大氣光偏振效應(yīng)具有較大的局限性，會導致此類算法在水面等目標反射光偏振效應(yīng)較明顯的區(qū)域無法工作，大大限制了算法的適用范圍。

針對傳統(tǒng)的偏振去霧算法存在的問題，本文提出了同時考慮目標反射光和大氣散射光偏振效應(yīng)的偏振去霧模型?；谛碌哪Ｐ?，給出了有效的去霧算法，取得了較好的去霧結(jié)果，拓展了偏振去霧算法的適用范圍，還得到了具有重要應(yīng)用價值的目標偏振度圖和傳輸圖。

1 光學模型

1.1 偏振成像模型

當使用斯托克斯向量表示光的偏振態(tài)時［14］，光的線偏振度（DoLP）p和偏振角（AOP）α定義為：

其中，I、Q和U為斯托克斯向量的前3個分量。

光通過線偏振片后強度會發(fā)生改變。假設(shè)偏振片和選定的參考方向夾角為θ，則通過偏振片后圖像（x，y）處的光強S（x，y，θ）滿足的規(guī)律［15－16］如下：

通過采集3幅不同角度的偏振圖像帶入（3）式，得到3個獨立的方程構(gòu)成方程組，可解得I、Q和U。

1.2 霧天偏振成像模型

霧天由于大氣粒子的散射作用，入射到成像路徑上的光是大氣散射光和目標反射光的合成，且大氣光、目標反射光以及合成后的光均是部分偏振光［2，4－5，17－19］。

其中，I（x，y）為圖像點（x，y）處的光強；D（x，y）為直接透射光，描述了場景目標反射光的衰減過程；A（x，y）為大氣光，描述了成像路徑上周圍雜散光的累積過程。D（x，y）和A（x，y）的表達式分別為：

其中，J為場景目標本身亮度；A∞為無窮遠處大氣光強度；t的表達式為：

其中，β為大氣的散射系數(shù)。由于本文假設(shè)大氣是均勻介質(zhì)，故β是全局量。（7）式指出t取決于場景深度，故又稱深度圖或傳輸圖。

根據(jù)偏振度的定義［4，6，16］，（1）式又可等價地表示為：其中，Imax（x，y）和Imin（x，y）分別為通過旋轉(zhuǎn)偏振片在點（x，y）處能取到的最大和最小光強。定義ΔI＝Imax－Imin表示偏振差分（PD）圖，I＝Imax＋Imin表示偏振和圖像［16］。

同理，可得到直接傳輸項D（x，y）和大氣光項A（x，y）的偏振度定義為：

結(jié)合（4）式、（9）式和（10）式，可得霧天偏振成像模型如下：

2 去霧算法

2.1 霧天圖像復原

由（4）式、（6）式、（8）式和（11）式可得傳輸圖t的表達式為：

結(jié)合（4）式、（5）式、（6）式和（12）式可得場景輻射亮度J的表達式為：由（13）式可知要想恢復場景亮度J，需要估計如下參數(shù)：偏振差分圖ΔI、無窮遠處大氣光強度A∞、大氣光偏振度pA和目標偏振度pD。偏振差分圖ΔI可通過偏振圖像Imax和Imin求得。

2.2 估計偏振差分圖ΔI

結(jié)合（1）～（3）式可得：

通過旋轉(zhuǎn)線偏振片，拍攝3幅不同角度的偏振圖像，可以求得p、α和I。由（14）式可知，當θ＝α時，觀測的圖像強度達到最大值（此時圖像記為Imax）；當θ＝α±π／2時，觀測的圖像強度達到最小值（此時圖像記為Imin）。由于場景中不同物體的物理化學性質(zhì)等不一樣導致其偏振特性也不一樣，因此無法直接旋轉(zhuǎn)偏振片拍攝到Imax和Imin，但是通過（15）式可合成Imax和Imin圖像，即

則偏振差分圖可通過ΔI＝Imax－Imin求得。

2.3 估計大氣散射光偏振度pA和A∞

由于本文假定大氣是均勻的，因此可認為pA和A∞是全局量。本文采用文獻［4－6］的方法，通過選取天空區(qū)域來估計這2個參數(shù)，計算公式為：

其中，｜Ω｜為選取的天空區(qū)域內(nèi)像素的個數(shù)。

2.4 去相關(guān)法估計pD和t

由于目標都有一定的大小，故本文假定在一個較小的區(qū)域ω內(nèi)pD是相同的。傳輸圖t由場景深度和大氣衰減系數(shù)共同決定，而場景亮度J由場景所在處目標本身決定，通常與光照條件和目標材質(zhì)等有關(guān)，故假設(shè)t和J在ω內(nèi)不相關(guān)［3，16］，用公式表達為：

Covω［t（x，y），J－1（x，y）］＝0， （x，y）∈ω。

考慮到實際圖像中都存在一定的噪聲，故通過求解最優(yōu)化問題得到pD，即

其中，Covω為在局部塊ω內(nèi)求協(xié)方差。將（12）式和（13）式帶入（17）式可得：

由于包含圖像邊緣的區(qū)域ω內(nèi)目標偏振度不相等，因此實際中使用加權(quán)協(xié)方差的形式來求解，區(qū)域ω內(nèi)權(quán)值由區(qū)域中心像素和周圍像素的相似性確定，再通過dE2（pD）／dpD＝0來求解（18）式的最優(yōu)化問題。估計出目標偏振度圖pD后帶入 （12）式即可求得傳輸圖t。

2.5 修正目標偏振度圖pD和傳輸圖t

實驗中發(fā)現(xiàn)，由于噪聲等影響，通過2.4節(jié)算法求得的傳輸圖仍然會出現(xiàn)估計錯誤點。為了解決這個問題，本文利用引導濾波［20］對估計的傳輸圖進行修正。引導濾波能在平滑圖像的同時保留圖像的邊緣信息，因此利用引導濾波可以修正t圖錯誤點，同時保持圖像的邊緣和結(jié)構(gòu)信息。為表述方便，記傳輸圖為向量形式，并定義濾波前后的傳輸圖分別為t和，則點i處的濾波修正可表示為：

其中，μk和σk分別為窗口ωk內(nèi)像素的均值和方差；Ii和Ij分別為輸入圖像I在i和j點的像素值；ε為歸一化參數(shù)，通常取很小的值。

對圖像t中的每一點通過（19）式的濾波操作即可獲得修正后的傳輸圖。將修正后的代入（12）式可得修正的目標偏振度圖D。

3 實驗結(jié)果

3.1 算法框架

本文算法的流程主要分為3步：

（1）合成偏振圖像Imax和Imin，估計偏振差分圖ΔI。

（2）估計大氣光參數(shù)，利用去相關(guān)方法估計目標偏振度并求得傳輸圖。

（3）利用引導濾波修正傳輸圖中存在的錯誤點，并利用修正后的傳輸圖帶入（12）式得到修正的目標偏振度圖，最后恢復出場景亮度信息。

3.2 本文算法結(jié)果

幾組本文算法的去霧結(jié)果如圖1所示。圖1中前3列表示輸入的3幅不同角度的偏振圖像，最后一列是本文算法的去霧結(jié)果?？梢园l(fā)現(xiàn)，通過本文算法復原的霧天圖像對比度顯著提升，圖像細節(jié)更加豐富。

圖1 本文實驗結(jié)果

3.3 本文算法與傳統(tǒng)算法的對比

傳統(tǒng)的偏振去霧算法僅考慮大氣散射光的偏振效應(yīng)，而本文去霧算法同時考慮大氣散射光和目標反射光的偏振，因此本文算法可獲得更好的實驗結(jié)果。分析可知，如果只考慮大氣散射光的偏振，則表達場景亮度J的（13）式可改寫為：

本文算法和僅考慮大氣光偏振算法的對比實驗結(jié)果如圖2所示。

圖2 本文算法和僅考慮大氣光偏振算法的對比結(jié)果

圖2a、圖2b和圖2c是輸入的3幅偏振圖像；圖2d是合成的最大光強圖Imax；圖2e是合成的最小光強圖Imin；圖2f是偏振差分圖；圖2g是估計的粗糙的目標偏振度圖pD；圖2h是估計的粗糙的傳輸圖t；圖2i是修正后的傳輸圖；圖2j是修正后的目標偏振度圖D，可以看出不同目標的偏振度明顯不同，將其與傳統(tǒng)強度圖結(jié)合可以解決很多僅使用強度圖無法解決的問題；圖2k是僅考慮大氣光偏振時的去霧結(jié)果；圖2l是本文算法的去霧結(jié)果；圖2m是圖2k中矩形區(qū)域的放大結(jié)果；圖2n是圖2l中矩形區(qū)域的放大結(jié)果。從實驗結(jié)果可以看出本文算法與僅考慮大氣光偏振的算法相比，復原結(jié)果具有更高的對比度、更清晰的圖像細節(jié)和更低的噪聲。

本文算法與僅考慮大氣光偏振的算法相比具有更低的噪聲，這一結(jié)果也可通過對比（13）式和（21）式得到。觀察 （21）式可知ΔI／A∞通常是一個較小的值，如果此時大氣光偏振度pA也是一個相對較小的值，則 （21）式中的分母將過小，這導致復原的場景亮度噪聲被過度放大。而本文的復原公式（13）式與 （21）式相比由于多出來一項pD（1 －I／A∞），因此具有更大的分母值。只有當目標偏振度pD和大氣偏振度pA幾乎相等的時候，本文算法噪聲才會明顯。因此通常情況下本文算法復原后的圖像具有相對較低的噪聲。

文獻［4－5］中輸入的圖像是2幅正交角度的偏振圖像，這2幅偏振圖像分別稱為最佳偏振圖像和最差偏振圖像。文獻［4－5］的算法中忽略目標反射光的偏振，而僅考慮大氣散射光的偏振。由于文獻［4－5］未提供算法源碼，故為了對比，本文使用文獻［4－5］中提供的最佳和最差偏振圖像替代本文算法中的Imax和Imin圖像，作為本文算法的輸入。

本文算法和文獻［4］算法的對比實驗結(jié)果如圖3所示。

圖3a和圖3d是2幅輸入圖像，圖3b和圖3e使用的是文獻［4］中的實驗結(jié)果，圖3c和圖3f是本文的去霧結(jié)果。由圖3可以看出，在水面區(qū)域，本文結(jié)果要明顯優(yōu)于文獻［4］的結(jié)果，這是由于文獻［4］中假設(shè)目標反射光偏振度為0，而這一假設(shè)在水面等區(qū)域不成立，因為水體等通常具有較大的偏振度。盡管在文獻［6］中通過對水面區(qū)域單獨處理而部分解決了這個問題，但是本文同時考慮大氣和目標偏振度，從模型上解決了這個問題。因此本文算法具有更廣泛的適用場景，且不需要額外的處理步驟。

圖3 與文獻［4］的去霧結(jié)果對比

3.4 去霧結(jié)果的定量評價

本文采用無參考的自然圖像質(zhì)量評價算法（NIQE）［20］來 定 量 地 評 價 去 霧 結(jié) 果 的 好 壞。NIQE算法是通過采集所有對圖像質(zhì)量敏感的特征，并把這些特征擬合成一個多元高斯（MVG）模型。這些特征通過自然場景統(tǒng)計（NSS）模型即歸一化的局部亮度系數(shù)得到，文獻［21］詳細分析了選取的36個特征，指出自然圖像歸一化后的亮度系數(shù)近似地滿足類高斯分布，而發(fā)生失真（不針對任何特定的失真類型）的圖像不滿足這種分布。因此，對于一幅給定的測試圖像的質(zhì)量可以簡單地表示為測試圖像的MVG模型和自然圖像MVG模型之間的距離。自然圖像的MVG模型是通過統(tǒng)計圖像庫中大量的自然圖像得到的。因此求取測試圖像質(zhì)量的公式可表述為：

其中，ν1、ν2和Σ1、Σ2分別為自然圖像和退化圖像MVG模型中的均值向量和方差矩陣。

NIQE算法的評價結(jié)果見表1所列。表1中的值代表測試圖像和自然圖像的MVG模型間的距離，故值越小表示測試圖像越接近自然圖像，即值越小圖像質(zhì)量越高。結(jié)果表明與傳統(tǒng)的偏振去霧算法比較，本文算法的去霧結(jié)果具有更高的視覺質(zhì)量。

表1 去霧結(jié)果圖的視覺質(zhì)量對比

4 結(jié)束語

本文算法和傳統(tǒng)的偏振去霧算法主要不同點是同時考慮大氣散射光和目標反射光的偏振效應(yīng)，因此在復原霧天場景真實信息的同時，可提供反映目標偏振特性的目標反射光偏振度和最優(yōu)偏振差分圖，這些都是傳統(tǒng)偏振去霧算法無法提供的。實驗部分給出了本文算法與相關(guān)算法結(jié)果的定量評價指標，定量地說明了本文算法具有更好的視覺質(zhì)量。此外本文算法求得的目標偏振度圖pD在目標識別、圖像分割等領(lǐng)域有著重要的應(yīng)用價值。

［1］ 孫洪偉，朱志超，于 磊，等.一種提高霧天圖像清晰度的方法［J］.合肥工業(yè)大學學報：自然科學版，2011，34（1）：83－86.

［2］ He K M，Sun J，Tang X O.Single image haze removal using dark channel prior［J］.IEEE Transactions on Pattern Analysis and Machine Prior，2009，33（12）：2341－2353.

［3］ Fattal R.Single image dehazing［C］／／Proc ACM SIGGRAPH，2008：1－9.

［4］ Schechner Y Y，Narasimhan S G，Nayar S K.Instant dehazing of images using polarization［C］／／Proc CVPR，Vol 1，2001：325－332.

［5］ Schechner Y Y，Narasimhan S G，Nayar S K.Polarizationbased vision through haze［J］.Applied Optics，2003，42（3）：511－525.

［6］ Namer E，Schechner Y Y.Advanced visibility improvement based on polarization filtered images［M］／／Polarization Sci－

ence and Remote SensingⅡ，2005：36－45.

［7］ Namer E，Shwartz S，Schechner Y Y.Skyless polarimetric calibration and visibility enhancement［J］.Optics Express，2009，17（2）：472－493.

［8］ Shwartz S，Namer E，Schechner Y Y.Blind haze separation［C］／／Proceedings of IEEE Computer Society Conferece on CVPR，2006：1984－1991.

［9］ Saito M，Sato Y，Ikeuchi K et al.Measurement of surface rientations of transparent objects using polarization in highlight［J］.JOSA A，1999，16（9）：2286－2293.

［10］ Chen H，Wolff L B.Polarization phase－based method for material classification and object recognition in computer vision［C］／／Proceedings of SPIE 2599on Three－Dimensional and Unconventional Imaging for Industrial Inspection and Metrology，1996：54－63.

［11］ Lin S S，Yemelyanov K M，Pugh E N，et al.Separation and contrast enhancement of overlapping cast shadow components using polarization［J］.Optics Express，2006，14（6）：7099－7108.

［12］ Wolff L B.Polarization－based material classification from specular reflection［J］.IEEE Transactions on Pattern A－nalysis and Machine Intelligence，1990，12 （11）：1059－1071.

［13］ Tominaga S，Kimachi A.Polarization imaging for material classification［J］.Optical Engineering，2008，47（12）：760.

［14］ Chipman R A.Polarimetry［J］.Handbook of Optics，1995，2（2）：1－28.

［15］ Hyde M W，Cain S C，Schmidt J D.Material classification of an unknown object using turbulence－degraded polarimetric imagery［J］.IEEE Transactions on Geoscience and Remote Sensing，2010，49（1）：264－276.

［16］ Yemelyanov K M，Lin S S，Pugh E N，et al.Adaptive algorithm for two and 3－channel polarization sensing under various polarization statistics with nonuniform distributions［J］.Applied Optics，2006，45（22）：5504－5520.

［17］ Middleton W E K.Vision through the atmosphere［M］／／Geophysik II／Geophysics II.Berlin：Springer，1957：254－287.

［18］ Narasimhan S G，Nayar S K.Vision and the atmosphere［J］.Internation Journal of Computer Vision，2002，48（3）：233－254.

［19］ He K M，Sun J，Tang X O.Guided image filtering［C］／／Proceeding of 11th European Conference on Computer Vision，2010：1－4.

［20］ Mittal A，Soundararajan R，Bovik A C.Making a“completely blind”image quality analyzer［J］.IEEE on Signal Processing Letters，2013，20（3）：209－212.

［21］ Mittal A，Moorthy A K，Bovik A C.No－reference image quality assessment in the spatial domain［J］.IEEE Transactons on Image Processing，2012，21（12）：4695－4708.