海面復(fù)雜背景下圖像增強(qiáng)算法研究

摘" 要：該文提出一種改進(jìn)的基于去霧理論的夜間低照度圖像增強(qiáng)算法。通過對(duì)暗通道先驗(yàn)去霧算法在處理夜間復(fù)雜燈光圖像中存在的偽光暈、亮度不準(zhǔn)等問題進(jìn)行分析，采用一種可以邊緣保持的濾波方法進(jìn)行暗通道求取，并針對(duì)圖像特點(diǎn)對(duì)大氣光值進(jìn)行精確估計(jì)，結(jié)合采樣方法提升處理效率，實(shí)現(xiàn)對(duì)低照度圖像的有效增強(qiáng)。經(jīng)過實(shí)驗(yàn)分析，該算法能有效地防止光暈現(xiàn)象，改善圖像的亮度和噪聲。

關(guān)鍵詞：海面復(fù)雜背景；圖像增強(qiáng)；低照度；圖像去噪；暗通道先驗(yàn)

中圖分類號(hào)：TP751" " " 文獻(xiàn)標(biāo)志碼：A" " " " " 文章編號(hào)：2095-2945（2023）31-0036-06

Abstract： In this paper， an improved night low illuminance image enhancement algorithm based on defog theory is proposed. Based on the analysis of the problems of 1 halo and inaccuracy of brightness in the dark channel prior defogging algorithm in dealing with the complex light image at night， a filtering method which can preserve the edge is used to calculate the dark channel. According to the characteristics of the image， the atmospheric light value is accurately estimated， combined with the sampling method to improve the processing efficiency， and realize the effective enhancement of the low illumination image. Through experimental analysis， the algorithm can effectively prevent the halo phenomenon and improve the brightness and noise of the image.

Keywords： sea surface complex background; image enhancement; low illuminance; image denoising; dark channel priori

與室內(nèi)或野外陸地不同，海上光照十分復(fù)雜，實(shí)際拍攝的圖像，往往因?yàn)樘鞖?、光照因素等各種環(huán)境因素使得整體圖像對(duì)比度較低，難以直接獲取所需要的特征。例如，陰天霧霾海況會(huì)導(dǎo)致光線極暗，會(huì)出現(xiàn)圖像欠曝光現(xiàn)象，海面圖像整體偏暗；逆光條件下拍攝的海面可見光圖像會(huì)出現(xiàn)過曝光現(xiàn)象，海面圖像整體偏亮。圖像的質(zhì)量直接影響最后的檢測和計(jì)算精度，所以對(duì)圖像進(jìn)行預(yù)處理是十分重要的一步。本文重點(diǎn)研究欠曝光或低照明環(huán)境中海面圖像的增強(qiáng)算法。

1nbsp; 低照度直方圖分析

1.1" 正常光照時(shí)圖像特點(diǎn)

由于拍攝條件限制，本節(jié)選取12幅陸地天空曝光適中的可見光圖像數(shù)據(jù)說明此類圖像在直方圖方面的特點(diǎn)，選取的圖像數(shù)據(jù)如圖1所示，其直方圖曲線與峰值點(diǎn)的集合分別如圖2和圖3所示。

通過表1可以看出，曝光適中海面可見光圖像在不同標(biāo)準(zhǔn)差下的累加頻率與正態(tài)分布的累加頻率非常接近，因此在客觀數(shù)據(jù)方面曝光適中海面可見光圖像的直方圖分布接近于正態(tài)分布。

在直方圖擬合方面，Celik等[1]提出了混合正態(tài)分布擬合圖像直方圖分布的方法，若圖像出現(xiàn)一個(gè)背景和一個(gè)面積較大的目標(biāo)，那么可以用混合二階正態(tài)分布擬合圖像的直方圖分布。對(duì)于海面可見光圖像，海面背景面積很大，而目標(biāo)面積很小，圖像整體可近似為一個(gè)海面背景，圖像的直方圖接近于某一個(gè)正態(tài)分布，海面可見光圖像直方圖的峰值點(diǎn)也接近于某一個(gè)正態(tài)分布的峰值點(diǎn)，根據(jù)統(tǒng)計(jì)學(xué)中的參數(shù)最大似然估計(jì)[2]，海面可見光圖像直方圖分布的標(biāo)準(zhǔn)差接近于某一個(gè)正態(tài)分布的標(biāo)準(zhǔn)差。

1.2" 夜間低照度圖像和有霧圖像的關(guān)聯(lián)

啟發(fā)自He的暗通道去霧算法[3]，在2011年，Xuan等[4]提出了一種基于暗通道去霧的低照度視頻增強(qiáng)算法，通過對(duì)大量低照度圖像反轉(zhuǎn)圖的圖像表征及直方圖表征進(jìn)行觀察，發(fā)現(xiàn)其與霧天圖像存在高度相似性，并利用兩者的關(guān)聯(lián)提出了一種用于低照度圖像增強(qiáng)的算法。

低照度圖像，一般指的是光照不足或夜間拍攝得到的光線較暗的圖像，如圖4所示。觀察其直方圖分布可以發(fā)現(xiàn)，其灰度值范圍一般都在靠近直方圖的左側(cè)分布。將圖像進(jìn)行反轉(zhuǎn)后，發(fā)現(xiàn)圖像的直方圖也隨之向較高一側(cè)分布，通過圖5可以觀察到低照度反轉(zhuǎn)圖像的視覺效果及直方圖分布和霧天圖像有著很高的相似性。

通過對(duì)大量圖像的對(duì)比分析，Xuan等將去霧算法在低照度圖像的增強(qiáng)中進(jìn)行了驗(yàn)證并取得了較好的效果，同時(shí)該算法也為低照度圖像的增強(qiáng)提供了一定的理論和現(xiàn)實(shí)依據(jù)。

2" 暗通道去霧原理

暗原色先驗(yàn)理論是He等[3]提出，并應(yīng)用到圖像去霧中。該理論提出在戶外無霧的圖像中，除去天空元素之外的任何一個(gè)像素點(diǎn)的鄰域Ω中，存在一個(gè)最暗的點(diǎn)，該點(diǎn)在一張RGB圖像的3個(gè)通道數(shù)據(jù)中，最小值趨近于0。因此，對(duì)于任意的圖像定義其暗通道為J dark

式中：Ω表示像素點(diǎn)的鄰域，一般選擇為7×7或者15×15的正方形區(qū)域；y為鄰域中的一個(gè)像素點(diǎn)；J c（y）是無霧圖像的3個(gè)通道的值，J dark（x）為無霧時(shí)的圖像暗通道，其中每個(gè)像素值趨近于0。

由式（1）可知，如果希望求得去霧后的圖像，則需要求解大氣光常數(shù)A，以及透射率分布t（x），將式（1）改寫為

等式兩端同時(shí)進(jìn)行最小化運(yùn)算有

式中：c表示圖像3個(gè)通道的值，結(jié)合式（1）可以推導(dǎo)出

最終可以得到透射率t（x）為

實(shí)際中常常會(huì)引入一個(gè)常數(shù)ω∈（0，1）來保留一部分的霧氣，通常ω越大去霧效果越明顯，通常設(shè)置為w=0.95[5]。

最終可以得到圖像的恢復(fù)公式為

實(shí)際中為了避免除數(shù)是0的情況，對(duì)參數(shù)t0的取值進(jìn)行了限制，一般情況下t=0.1。

3" 改進(jìn)的基于暗通道去霧的夜間圖像增強(qiáng)算法

經(jīng)過上述濾波算法進(jìn)行圖像降噪后，圖像中的噪聲水平明顯降低，但由于光照不足，圖像中的目標(biāo)仍然識(shí)別度較低，故本設(shè)計(jì)基于有霧圖像和低照度反轉(zhuǎn)圖像存在的高度相似性[4]，通過對(duì)當(dāng)前基于模型的暗通道先驗(yàn)圖像去霧算法進(jìn)行研究改進(jìn)，實(shí)現(xiàn)了一種對(duì)于夜間低照度圖像增強(qiáng)的方法，并驗(yàn)證了算法的有效性。

3.1" 圖像重采樣

利用暗通道先驗(yàn)進(jìn)行去霧的過程中，會(huì)發(fā)現(xiàn)有大量的時(shí)間消耗在圖像濾波及透射率細(xì)化上。為了滿足實(shí)時(shí)的要求，在保證精確率的同時(shí)可以盡可能減少時(shí)間的消耗，加入了采樣的手段，利用采樣后小圖的透射率對(duì)大圖透射率進(jìn)行估計(jì)，然后進(jìn)行去霧處理，所以選取較為合適的采樣倍數(shù)也是需要解決分析的問題。如果采取采樣倍數(shù)過大時(shí)，可能影響最終去霧的效果，造成透射率信息嚴(yán)重丟失[6]，無法較好地對(duì)圖像進(jìn)行復(fù)原增強(qiáng)；如果采樣倍數(shù)過低，反而在升降采樣時(shí)造成了大量的時(shí)間消耗，達(dá)不到省時(shí)的效果。除此之外，也需要選擇合適的采樣手段來實(shí)現(xiàn)更好的效果。

3.1.1" 最大值降采樣

在采用較大倍數(shù)的采樣時(shí)，會(huì)造成在圖像的邊緣明暗過度的位置出現(xiàn)紋理丟失的現(xiàn)象，這是由于采取的抽樣方式的特點(diǎn)所致。

采用臨近值采樣的方法是指在圖像的行列2個(gè)方向按照指定的縮略倍數(shù)N×M，行列上分別每隔N和M個(gè)點(diǎn)取值，將其作為最終的結(jié)果。采用這種方法在大部分情況下會(huì)存在很明顯的影響。

所以，最終采用最大值降采樣的方式，其有效避免了上述問題。最大值降采樣和臨近降采樣的區(qū)別在于，其將圖像行列上每M×N取塊，計(jì)算該范圍內(nèi)的最大值作為采樣后該點(diǎn)的像素值大小。采用這樣的方式后，降采樣的結(jié)果在亮暗邊界處不會(huì)造成邊緣過度模糊，避免大量過渡區(qū)域的邊緣信息不被采樣處理造成信息丟失。

3.1.2" 雙三次樣條插值升采樣

經(jīng)過上述的圖像降采樣處理之后，處理得到的圖像會(huì)出現(xiàn)明顯的塊效應(yīng)，這是由于在對(duì)圖像復(fù)原時(shí)，在小塊中透射率的取值一樣，缺少平滑過渡。尤其對(duì)于高倍降采樣之后，如果對(duì)復(fù)原圖像每個(gè)臨近小塊內(nèi)都采用相同數(shù)值的透射率，會(huì)最終出現(xiàn)圖像分布不均的問題。

針對(duì)這個(gè)問題，考慮對(duì)圖像升采樣時(shí)加入插值的方式去還原圖像?？紤]到插值效果和時(shí)間計(jì)算復(fù)雜度，最終選擇了處理效果和效率較高的雙三次樣條插值。

雙三次樣條插值考慮到相鄰的灰度像素值變化的影響，其根據(jù)附近16點(diǎn)的灰度整像素值及對(duì)應(yīng)的導(dǎo)數(shù)進(jìn)行運(yùn)算，所以其插值效果在一階及二階導(dǎo)數(shù)上都是連續(xù)的。

沿x方向的4個(gè)像素點(diǎn)Z0、Z1、Z2、Z3，每2個(gè)像素點(diǎn)之間使用一個(gè)三次多項(xiàng)式進(jìn)行擬合，像素點(diǎn)處的函數(shù)一階及二階導(dǎo)數(shù)必須連續(xù)。

對(duì)于亞像素位置（x，y）的灰度值，采用雙三次插值算法，可設(shè)其表達(dá)式為

則雙三次插值如下所示，其中u、v表示離亞像素位置最近的一個(gè)整數(shù)點(diǎn)位置坐標(biāo)，Δx、Δy分別表示亞像素位置離整像素位置在x、y軸的亞像素位移。

f（u+Δx，v+Δy）=ABC ，" （10）

式中：A、B及C都是矩陣，其具體的形式如下

圖6是對(duì)圖像進(jìn)行五倍雙三次樣條插值后的結(jié)果。

3.2" 保邊引導(dǎo)圖像透射率估計(jì)

假設(shè)大氣光亮度A已知，有霧圖像模型放在每一個(gè)通道，即

Ic（x）=Jc（x）·Ac（1-t（x）） ， （14）

式子兩邊除以Ac得到

由前面公式可知，對(duì)于無霧圖像除去天空外，J dark→0，即有

依此得到

即透射率

式中：設(shè)置常數(shù)ω（0lt;ωlt;1），目的是使估計(jì)值接近于自然，這是因?yàn)榧词乖诖髿夥浅＜儍舻那闆r下，大氣中也必然包含著水氣。如果直接利用這里估計(jì)的透射率圖像，那么在恢復(fù)圖像中會(huì)產(chǎn)生“光暈”，為此需對(duì)透射率進(jìn)行優(yōu)化以消除恢復(fù)圖像中的光暈。

針對(duì)圖像邊緣明顯的塊狀光暈效應(yīng)，He論文中求取暗通道時(shí)采取局部最小濾波方式，但是在夜間圖像中，會(huì)發(fā)現(xiàn)如果存在局部光照過量或過暗（如路燈、車燈等），其實(shí)可以認(rèn)為其邊緣處透射率不再滿足該條件，如果此時(shí)采取最小值濾波，可能將局部的噪聲引入或采集到景深之外的點(diǎn)作為最終的透射率大小。

考慮到上述不足，本文在求取暗通道時(shí)采用引導(dǎo)濾波算法進(jìn)行優(yōu)化改進(jìn)，避免在像素點(diǎn)值變化較大的邊緣區(qū)域，由于較大估計(jì)誤差而導(dǎo)致的邊緣塊狀現(xiàn)象。同時(shí)引導(dǎo)濾波能夠保持圖像梯度的相對(duì)性，從而對(duì)圖像暗通道的邊緣有良好的保持性。

引導(dǎo)濾波是一種局部線性模型，該模型認(rèn)為，某函數(shù)上一點(diǎn)與其鄰近部分的點(diǎn)成線性關(guān)系，一個(gè)復(fù)雜的函數(shù)就可以用很多局部的線性函數(shù)來表示，當(dāng)需要求該函數(shù)上某一點(diǎn)的值時(shí)，只需計(jì)算所有包含該點(diǎn)的線性函數(shù)的值并做平均即可。故濾波前后的圖像滿足如下關(guān)系

qi=akIi+bk，?i∈ωk ，" （20）

式中：I是引導(dǎo)圖像，qi是輸出，ω是以k為中心像素的窗口，ak和bk都為該窗口對(duì)應(yīng)的線性系數(shù)。上面的線性關(guān)系自然保證了圖像梯度的相對(duì)性不變，對(duì)圖像兩邊求導(dǎo)可以得到

▽q=a▽I 。 " （21）

但是，如果圖像中任何一個(gè)地方的系數(shù)a和b都相同，那么無異于對(duì)整個(gè)圖像進(jìn)行了一個(gè)線性變換，并沒有起到保邊濾波的功效。要達(dá)到保邊濾波的效果，期望a和b是隨著圖像內(nèi)容變化的，在邊緣區(qū)域a盡量大，保持梯度，在平滑區(qū)域a盡量小，以盡量平滑。輸出q應(yīng)該盡量和原始圖像一致，并以此為約束條件來求解a和b，也就是最小化如下目標(biāo)函數(shù)

這里，∈是對(duì)較大ak進(jìn)行懲罰的正則系數(shù)。用于防止求得的a過大，也是調(diào)節(jié)濾波器濾波效果的重要參數(shù)。通過最小二乘法可以得到參數(shù)ak和bk的表達(dá)式如下

式中：ω為窗口ω中像素?cái)?shù)目，pk、μk分別表示輸入圖像和引導(dǎo)圖像在窗口ω中的均值，σ是圖像在窗口ω中的方差。

在計(jì)算每個(gè)窗口的線性系數(shù)時(shí)，可以發(fā)現(xiàn)一個(gè)像素會(huì)被多個(gè)窗口包含，即每個(gè)像素都由多個(gè)線性函數(shù)所描述。因此，如之前所說，要具體求某一點(diǎn)的輸出值時(shí)，只需將所有包含該點(diǎn)的線性函數(shù)值平均即可，即

引導(dǎo)濾波最大的優(yōu)勢在于，可以寫出時(shí)間復(fù)雜度與窗口大小無關(guān)的算法，因此，在使用大窗口處理圖片時(shí)，其效率更高。

如圖7所示，分別是通過He論文中的最小濾波和本文使用的保邊引導(dǎo)濾波方式求取暗通道之后獲得的透射率分布結(jié)果。可以發(fā)現(xiàn)，采用傳統(tǒng)的暗通道中的最小濾波方式，在光照高低過渡的部分會(huì)出現(xiàn)很多的塊狀分布，而經(jīng)過本文的方法改進(jìn)之后，既可以達(dá)到求取圖像暗通道的效果，又可以盡可能地對(duì)景深過渡處的透射率進(jìn)行有效估計(jì)。

3.3" 大氣光照模型估計(jì)

研究發(fā)現(xiàn)Xuan等通過去霧的思想對(duì)低照度圖像進(jìn)行了增強(qiáng)，并取得了不錯(cuò)的效果。但是同時(shí)發(fā)現(xiàn)，最終的圖像會(huì)存在整體顏色由于大氣光值估計(jì)不準(zhǔn)帶來的圖像整體顏色過暗過亮，接下來將進(jìn)一步精確求解大氣光值。

夜晚圖像內(nèi)總是存在若干極暗的圖像區(qū)域，而對(duì)應(yīng)到反轉(zhuǎn)圖像時(shí)，這些圖像區(qū)域的亮度值就會(huì)很高，而在計(jì)算大氣光的值時(shí)，所取的像素點(diǎn)也總是在這些區(qū)域當(dāng)中。本文采用最簡單的方式計(jì)算大氣光值，即取圖像亮度最高的像素點(diǎn)的值作為這張反轉(zhuǎn)夜晚圖像的大氣光值。

式中：Index（·）代表取對(duì)應(yīng)像素值在圖像中的位置，I表示反轉(zhuǎn)夜晚圖像I的暗通道圖。這樣計(jì)算得到的大氣光A是個(gè)包含 3個(gè)值的向量，分別對(duì)應(yīng)圖像RGB 3個(gè)色彩通道。引導(dǎo)大氣光值估計(jì)如圖8所示。

4" 結(jié)論

本文提出了一種基于暗通道去霧優(yōu)化后的低照度圖像增強(qiáng)方法。根據(jù)霧天圖像和低照度圖像反轉(zhuǎn)的相似特征，介紹了暗通道去霧的理論基礎(chǔ)并進(jìn)行應(yīng)用，分析了該算法直接應(yīng)用于夜間道路圖像的問題和不足，并針對(duì)這些問題進(jìn)行改進(jìn)分析，解決了景深突變處的黑邊效應(yīng)及塊狀效應(yīng)，有效估計(jì)了大氣光值改善圖像亮度，并結(jié)合采樣的手段提升了算法效率。最后，對(duì)多種算法進(jìn)行實(shí)驗(yàn)仿真對(duì)比，驗(yàn)證了改進(jìn)后算法對(duì)于圖像效果和質(zhì)量的有效改善與提升。

參考文獻(xiàn)：

[1] CELIK T，TJAHJADI T.Automatic image equalization and contrast enhancement using Gaussian mixture modeling[J]. IEEE Transactions on Image Processing，2012.

[2] 茆詩松，程依明，濮曉龍.概率論與數(shù)理統(tǒng)計(jì)教程（第二版）[M].北京：高等教育出版社，2011.

[3] He K， JIAN S， FELLOW， et al. Single Image Haze Removal Using Dark Channel Prior[J].IEEE Transactions on Pattern Analysis amp; Machine Intelligence， 2011，33（12）：2341-2353.

[4] XUAN D， PANG Y A， WEN J G. Fast efficient algorithm for enhancement of low lighting video[C].IEEE International Conference on Multimedia amp; Expo， 2011.

[5] 金觀昌.計(jì)算機(jī)輔助光學(xué)測量[M].北京：清華大學(xué)出版社，1997.

[6] XU H， GUO J， LIU Q， et al. Fast image dehazing using improved dark channel prior[J].IEEE， 2012：663-667.