基于色彩校正與暗通道先驗(yàn)算法的水下圖像增強(qiáng)方法

陳 浩 劉宇涵 馮興華 張江梅

(1. 西南科技大學(xué)信息工程學(xué)院 四川綿陽(yáng) 621010; 2. 北京化工大學(xué)國(guó)際教育學(xué)院 北京 100029)

由于缺乏光照，水下圖像與普通圖像相比主要存在色偏、模糊和曝光不足等問(wèn)題。另外，由于光能量的消耗、水下介質(zhì)對(duì)相機(jī)光的吸收等，水下圖像更易于出現(xiàn)曝光不足、模糊等問(wèn)題。而低質(zhì)量的水下圖像會(huì)給水下機(jī)器人目標(biāo)檢測(cè)、水下目標(biāo)識(shí)別、水下環(huán)境探測(cè)帶來(lái)極大的困難。何凱明[1]在2009年提出了一種利用暗通道先驗(yàn)的方法進(jìn)行圖像去霧(Dark Chennel Prior, DCP)，通過(guò)最暗通道來(lái)估計(jì)圖像的其他通道強(qiáng)度，進(jìn)行了簡(jiǎn)單有效的單一圖像預(yù)處理去霧。由于圖像去霧算法的廣泛研究，越來(lái)越多的研究者開(kāi)始通過(guò)去霧算法的原理來(lái)進(jìn)行水下圖像的增強(qiáng)，Paulo Drews等[2]基于DCP算法，提出了利用水下圖像的藍(lán)綠色通道作為信息源的水下圖像暗通道先驗(yàn)(Underwater Dark Chennel Prior, UDCP)算法，提升了水下圖像對(duì)比度。Hummel[3]提出了一種利用直方圖進(jìn)行圖像增強(qiáng)的方法，簡(jiǎn)稱(chēng)為HE算法。Iqbal等[4]在2010年提出通過(guò)一種采用無(wú)監(jiān)督的色彩校正方法增強(qiáng)圖像質(zhì)量，簡(jiǎn)稱(chēng)為UCM算法。文獻(xiàn)[5]基于水下光衰減先驗(yàn)的水下圖像場(chǎng)景深度估計(jì)模型，并利用有監(jiān)督線性回歸對(duì)模型系數(shù)估計(jì)了水下圖像的場(chǎng)景深度，簡(jiǎn)稱(chēng)為ULAP算法。Peng[6]基于圖像模糊和光吸收的水下場(chǎng)景深度估計(jì)方法，采用圖像形成模型(IFM)對(duì)水下圖像進(jìn)行恢復(fù)和增強(qiáng)，簡(jiǎn)稱(chēng)為IBLA算法。Lee等[7]通過(guò)一種連續(xù)色彩校正與基于超像素的圖像分割方法實(shí)現(xiàn)了水下圖像的質(zhì)量提升?；趫D像融合的思想，Ancuti[8]用兩種色彩補(bǔ)償以及白平衡的方法處理得到兩張圖像，用多尺度融合的辦法提高了圖像恢復(fù)的準(zhǔn)確性，此方法稱(chēng)為UWB方法。然而，上述算法用于水下圖像增強(qiáng)會(huì)存在自適應(yīng)性差、增強(qiáng)效果單一等問(wèn)題，不能全面增強(qiáng)水下圖像效果。

如上所述，這些算法在顏色校正時(shí)自適應(yīng)性較差，會(huì)造成水下圖像偏紅且對(duì)于水下圖像對(duì)比度提升時(shí)會(huì)造成圖像過(guò)暗的問(wèn)題。針對(duì)以上問(wèn)題，本文提出一種改進(jìn)的水下圖像白平衡(Underwater White Blance, UWB)近淺海水下圖像增強(qiáng)方法，以有效避免圖像校正過(guò)程中的紅色偽影問(wèn)題，并通過(guò)應(yīng)用基于簡(jiǎn)單超像素分割的霧霾去除方案來(lái)改善水下圖像對(duì)比度，即一種基于色彩校正與暗通道先驗(yàn)的水下圖像增強(qiáng)方法。

1 改進(jìn)的UWB近淺海水下圖像增強(qiáng)算法原理

Paulo Drews等[2]研究發(fā)現(xiàn)水下粒子散射與霧天大氣粒子散射對(duì)圖像造成霧化效果特性是一致的，并利用DCP算法處理水下圖像對(duì)比度低的問(wèn)題。然而，與霧天大氣粒子散射造成的圖像霧化不同的是，水下圖像經(jīng)過(guò)水的吸收效果后圖像通道相比于原圖像通道值有所衰減，用DCP算法增強(qiáng)水下圖像的對(duì)比度會(huì)造成圖像整體偏暗且容易產(chǎn)生不正常的偽影。因此，針對(duì)近淺海獲取的水下藍(lán)綠圖像，本文在應(yīng)用改進(jìn)的DCP算法之前首先對(duì)圖像進(jìn)行了改進(jìn)的UWB顏色修正，以保證圖像的增強(qiáng)效果。本文算法流程如圖1所示。

圖1 本文算法流程Fig.1 Algorithm process

1.1 UWB算法原理

Ancuti等[8]在2017年提出了一種水下圖像白平衡(UWB)方法來(lái)處理水下圖像的顏色失真問(wèn)題。此算法基于紅綠通道的均值差對(duì)圖像紅通道進(jìn)行補(bǔ)償，當(dāng)藍(lán)色通道強(qiáng)烈衰減時(shí)，可以選擇性地對(duì)藍(lán)色通道進(jìn)行補(bǔ)償。當(dāng)水下圖像紅綠通道差值較大時(shí)，使用該方法對(duì)圖像進(jìn)行顏色校正會(huì)導(dǎo)致校正后的圖像出現(xiàn)偏紅失真現(xiàn)象。因此，提出了一種改進(jìn)的UWB方法，對(duì)水下圖像進(jìn)行顏色校正。

假設(shè)Ic，c∈{r,g,b}為給定水下圖像的顏色通道，Ic(A)為圖像內(nèi)A=(x,y)處c通道的像素值。UWB算法對(duì)水下圖像的顏色補(bǔ)償過(guò)程如下：

首先對(duì)圖像進(jìn)行紅通道補(bǔ)償：

(1)

在藍(lán)通道衰減嚴(yán)重時(shí)，按如下方式對(duì)藍(lán)通道進(jìn)行補(bǔ)償：

(2)

僅僅采用顏色補(bǔ)償對(duì)于水下圖像顏色的校正是不夠的，通常還要對(duì)圖像進(jìn)行白平衡處理，UWB算法采用灰度世界算法來(lái)校正圖像的色偏問(wèn)題[9]。

對(duì)水下圖像進(jìn)行顏色通道補(bǔ)償后，補(bǔ)償后圖像的平均灰度值計(jì)算如式(3)所示：

(3)

1.2 基于UWB的水下圖像色彩校正

UWB方法在進(jìn)行通道補(bǔ)償時(shí)，將各個(gè)通道的均值作為補(bǔ)償?shù)闹饕罁?jù)，并沒(méi)有考慮圖像中同一位置處不同通道值之間的差異，且水下圖像存在色彩單一的問(wèn)題，原UWB算法采用簡(jiǎn)單的灰度世界算法處理水下圖像會(huì)給圖像帶來(lái)更加嚴(yán)重的色偏。另外，原UWB算法以綠色通道為基準(zhǔn)對(duì)紅色通道和藍(lán)色通道進(jìn)行補(bǔ)償，由于水下圖像的綠色色偏特性，常常使得紅色通道被過(guò)補(bǔ)償，圖像在白平衡后會(huì)出現(xiàn)嚴(yán)重的紅色?；诖?，本文提出了一種改進(jìn)的UWB算法，以藍(lán)色通道為補(bǔ)償基準(zhǔn)，同時(shí)綜合各通道全局信息與各通道像素點(diǎn)信息進(jìn)行顏色補(bǔ)償，之后采用基于白色塊的灰度世界算法對(duì)圖像進(jìn)行白平衡處理。

在水下圖像處理領(lǐng)域中，藍(lán)綠色通道的衰減是相近的。在近淺海(20 m)采集的海水水下圖像，藍(lán)色光的衰減最小，因此利用藍(lán)色通道進(jìn)行補(bǔ)償?shù)男Ч麜?huì)更好，所以本文以藍(lán)色通道為標(biāo)準(zhǔn)，改進(jìn)UWB算法得到下式：

(4)

(5)

(6)

其中Kr,Kg,Kb分別是補(bǔ)償后圖像紅、綠、藍(lán)通道的增益系數(shù)，此時(shí)利用各通道增益系數(shù)，對(duì)每個(gè)通道進(jìn)行變換修正，如式(7)所示：

(7)

其中,A是圖像的某一像素點(diǎn)，Irc(A),Igc(A),Ibc(A)分別是補(bǔ)償后圖像3個(gè)通道變化前的像素值，Irm(A),Igm(A),Ibm(A)分別是變化后的R，G，B通道像素值。

基于此補(bǔ)償算法，可以有效去除原算法帶來(lái)的圖像呈現(xiàn)紅色偽影的問(wèn)題。

1.3 基于暗通道先驗(yàn)的水下圖像對(duì)比度增強(qiáng)

(8)

式中，Jc(x)是未經(jīng)模糊圖像，Ac是后向散射光，c∈(r,g,b)，t(x)是描述不散射部分光的透射率，常用DCP[1]來(lái)估計(jì)Ac和t(x)。暗通道先驗(yàn)算法(DCP)是基于給定小區(qū)域中至少一個(gè)顏色通道的值接近于零的假設(shè)。這個(gè)假設(shè)可以表述如下：

Jdark(x)=min(minJc(y))≈0

(9)

式中，Jdark(x)是此區(qū)域全局通道最小值即暗通道，y∈Ω(x)是一個(gè)從原圖分割的局部色塊，原DCP算法從圖像中心均勻劃分為子區(qū)域，求得每個(gè)區(qū)域的暗通道從而估計(jì)圖像透射率。然而，在水下圖像中，暗通道的分布十分不均勻，對(duì)于均勻劃分的色塊來(lái)說(shuō)，這將導(dǎo)致Jdark(x)并不接近為零，而且在局部色塊中透射率也不是一個(gè)常數(shù)。這使得使用DCP增強(qiáng)的圖像中產(chǎn)生了偽影?；诔袼氐姆椒╗10]是將DCP應(yīng)用于圖像時(shí)減少負(fù)偽影的一種替代方法。

本文將彩色校正后的水下圖像IP分割為超像素塊，并對(duì)原圖像超像素分割后的圖像進(jìn)行后向散射光和透射圖估計(jì)。利用一種基于模糊簡(jiǎn)單線性迭代聚類(lèi)(fuzzy SLIC)算法將圖像分解為N個(gè)超像素。設(shè)Mi為第i個(gè)超像素，根據(jù)DCP，可以得到超像素分割圖像的暗圖像最小通道值如式(10)：

(10)

(11)

(12)

圖2為固定權(quán)值與本文采用自適應(yīng)估計(jì)的方法處理水下圖像時(shí)的對(duì)比圖。

圖2 固定權(quán)值與自適應(yīng)權(quán)值對(duì)比圖Fig.2 Comparison of fixed weights and adaptive weights

如圖2所示，采用自適應(yīng)的權(quán)值估計(jì)方法可以有效提升水下圖像的去霧效果，使圖像呈現(xiàn)效果較為清晰，而采用估計(jì)權(quán)值的方式在處理水下圖像時(shí)有時(shí)會(huì)使圖像呈現(xiàn)失真。

根據(jù)以上思想，改進(jìn)的DCP算法總體恢復(fù)圖像公式如式(13)所示：

(13)

其中，Jc(x)為通過(guò)本文算法得到的最終結(jié)果圖像，t(0)是一個(gè)很小的常數(shù)閾值。計(jì)算過(guò)程中，如果該值越來(lái)越小直至趨近于零時(shí)，那么圖像的輸出J就會(huì)變得無(wú)窮大而引起圖像失真。因?yàn)榘低ǖ老闰?yàn)算法假設(shè)在無(wú)霧圖像中也是存在霧的，為了防止tsp(x)的估計(jì)值過(guò)小，本文根據(jù)文獻(xiàn)[1]設(shè)置t(0)為0.1。

2 實(shí)驗(yàn)結(jié)果

為了說(shuō)明本算法的有效性，與傳統(tǒng)的幾種圖像增強(qiáng)效果較好的水下圖像處理方法DCP算法[1]、HE算法[3]、UDCP算法[2]、UCM算法[4]、ULAP算法[5]、IBLA算法[6]進(jìn)行對(duì)比(后4種算法是在近5年內(nèi)提出的)。實(shí)驗(yàn)時(shí)采用用于水下海珍品目標(biāo)檢測(cè)與圖像分割的原始水下圖像進(jìn)行測(cè)試，此數(shù)據(jù)集包括水下圖像目標(biāo)抓取大賽數(shù)據(jù)集以及網(wǎng)絡(luò)上獲取的水下圖像。由于近淺海水下環(huán)境(20 m)，此類(lèi)圖像存在著對(duì)比度低、呈現(xiàn)藍(lán)綠色等典型特性。本文算法在windos 10，python 3.6，Open CV2以及處理器4核i5-7400環(huán)境下運(yùn)行。實(shí)驗(yàn)進(jìn)行了定性和定量比較。為了進(jìn)行定量比較，采用了水下圖像增強(qiáng)領(lǐng)域中常用的非參考水下圖像質(zhì)量評(píng)價(jià)指標(biāo)(UIQM)[11]對(duì)水下增強(qiáng)后圖像進(jìn)行客觀評(píng)價(jià)，此指標(biāo)包括：色彩度量指標(biāo)(UICM)、清晰度度量指標(biāo)(UISM)、對(duì)比度度量指標(biāo)(UIConM)。UIQM由3個(gè)指標(biāo)線性組合而來(lái)，計(jì)算公式如式(14):

UIQM=c1UICM×c2UISM×c3UIConM

(14)

其中，c1，c2，c3是權(quán)重參數(shù)，根據(jù)文獻(xiàn)[11]分別設(shè)置為：c1=0.0282，c2=0.2953，c3=3.5753。較高的UIQM分?jǐn)?shù)被認(rèn)為可以產(chǎn)生較高的視覺(jué)質(zhì)量。從水下圖像數(shù)據(jù)集中挑選不同場(chǎng)景、不同光照、不同大小的100張典型的水下圖像，分別采用6種傳統(tǒng)算法以及本文算法進(jìn)行實(shí)驗(yàn)對(duì)比。挑選其中5張場(chǎng)景不同的圖像進(jìn)行展示，效果如圖3所示。

從圖3可以看出，采用HE算法、UCM算法對(duì)水下圖像清晰度恢復(fù)較為良好，并能夠較好解決水下圖像呈現(xiàn)藍(lán)綠色問(wèn)題，但是在顏色處理方面，過(guò)于增強(qiáng)色彩使得圖像的顏色失真并且過(guò)于鮮艷，呈現(xiàn)不正常的紅色或者黃色。DCP與UDCP算法可以有效提升圖像的清晰度，然而卻會(huì)令圖像存在過(guò)于暗、產(chǎn)生偽影、色彩處理效果不佳等問(wèn)題。ULAP與IBLA算法對(duì)于圖像的藍(lán)綠色偏處理效果不好，僅能提升圖像對(duì)比度，因此不適用于本文的真實(shí)近淺海水下圖像。相比之下，本文方法能有效恢復(fù)圖像細(xì)節(jié)，增強(qiáng)圖像對(duì)比度，平衡色偏，且不會(huì)存在顏色過(guò)于鮮艷的問(wèn)題。

圖3 各方法對(duì)比結(jié)果圖Fig.3 Comparison of the results of each method

為了進(jìn)行客觀的定量對(duì)比，實(shí)驗(yàn)過(guò)程中對(duì)于100張水下圖像處理之后得到的水下圖像質(zhì)量評(píng)價(jià)指標(biāo)求均值，對(duì)比結(jié)果如表1所示。

表1 水下圖像客觀指標(biāo)評(píng)價(jià)結(jié)果Table 1 Evaluation results of objective indicators of underwater images

從表1可以看出，與上文的主觀分析一致，實(shí)驗(yàn)時(shí)HE與UCM算法的UIQM分?jǐn)?shù)僅次于本文算法，對(duì)于水下圖像增強(qiáng)有著不錯(cuò)的效果。本文算法的UISM與UIConM均有比較高的分?jǐn)?shù)，說(shuō)明了本文算法有效提升了水下圖像的對(duì)比度與圖像清晰度。本文算法在UICM指標(biāo)上得分很低，說(shuō)明圖像的色彩豐富度較低，然而并不是越高的UICM分?jǐn)?shù)就能有更好的顏色呈現(xiàn)效果，太高的UICM分?jǐn)?shù)可能是顏色過(guò)于飽和引起，比如此項(xiàng)得分最高的HE算法，此算法強(qiáng)化后的圖像呈現(xiàn)不正常的紅色，且顏色過(guò)于鮮艷從而失真。在綜合指標(biāo)UIQM上，本文算法得到了最高分?jǐn)?shù)，說(shuō)明在水下圖像質(zhì)量的綜合提升方面，本文算法領(lǐng)先于上述算法。

3 結(jié)論

采用本文提出的基于色彩校正與暗通道先驗(yàn)算法的水下圖像增強(qiáng)方法在對(duì) 100 張不同水下圖像進(jìn)行增強(qiáng)時(shí)均能達(dá)到1 s內(nèi)輸出結(jié)果，相比于原DCP算法有約0.1 s的提升。在真實(shí)近淺海采集的海珍品圖像數(shù)據(jù)集上的實(shí)驗(yàn)表明，本文算法在色彩校正與對(duì)比度提升的綜合效果上優(yōu)于其他增強(qiáng)算法且擁有更好的視覺(jué)效果。