基于直方圖分布特性的水下圖像顏色校正方法

雷小燕，張衛(wèi)東，潘細(xì)朋

(1.南京交通職業(yè)技術(shù)學(xué)院 電子信息工程學(xué)院，江蘇 南京 211188；2.河海大學(xué) 計(jì)算機(jī)與信息學(xué)院， 江蘇 南京 210098；3.大連海事大學(xué) 信息科學(xué)技術(shù)學(xué)院，遼寧 大連 116026； 4.桂林電子科技大學(xué) 計(jì)算機(jī)與信息安全學(xué)院，廣西 桂林 541004)

0 引 言

水下圖像是人類獲取水下信息的重要手段，海洋科研人員通過水下圖像對(duì)海底資源進(jìn)行開采和探測(cè)，海洋生物學(xué)家通過水下圖像研究海洋生物的生活習(xí)性。然而水下成像環(huán)境復(fù)雜多樣，再加上水下介質(zhì)對(duì)光的散射和吸收作用，導(dǎo)致水下圖像經(jīng)常出現(xiàn)偏藍(lán)或偏綠的顏色失真現(xiàn)象[1-9]，這類圖像不能直接分析和應(yīng)用，因此水下圖像顏色校正成為水下圖像處理的一個(gè)研究熱點(diǎn)。本文根據(jù)自然圖像直方圖分布特性，從水下圖像直方圖分布出發(fā)，通過調(diào)整水下偏色圖像的直方圖分布來校正顏色失真。

1 相關(guān)工作

目前水下圖像顏色校正技術(shù)主要分為兩類：基于衰減補(bǔ)償和基于動(dòng)態(tài)拉伸的方法?；谒p補(bǔ)償?shù)姆椒?，是通過對(duì)衰減嚴(yán)重的顏色通道進(jìn)行補(bǔ)償，使各顏色通道間實(shí)現(xiàn)平衡[10-13]。基于動(dòng)態(tài)拉伸的方法，是通過對(duì)各顏色通道進(jìn)行動(dòng)態(tài)拉伸，使各通道像素分布在整個(gè)像素范圍內(nèi)[14-22]。

基于衰減補(bǔ)償方面，Ancuti等[10]以綠通道為基準(zhǔn)，利用綠通道和紅藍(lán)通道之間的均值差，以及反顏色通道對(duì)紅、藍(lán)通道進(jìn)行補(bǔ)償，該方法僅適合于偏綠的場(chǎng)景。Xiang等[11]根據(jù)光傳輸過程中的衰減特性對(duì)紅通道進(jìn)行權(quán)重補(bǔ)償，該方法僅適合于紅色通道嚴(yán)重衰減的情況。Azmi等[12]用通道間的總像素強(qiáng)度值補(bǔ)償嚴(yán)重衰減的通道，用綠通道補(bǔ)償紅、藍(lán)通道，該方法僅適合于偏綠的場(chǎng)景，不具有通用性。Ancuti等[13]把RGB圖像轉(zhuǎn)換到LAB顏色空間，通過把嚴(yán)重衰減通道的反顏色通道均值往0上來拉進(jìn)行補(bǔ)償，但是當(dāng)有多個(gè)通道衰減嚴(yán)重時(shí)，該方法效果不理想。

基于動(dòng)態(tài)拉伸的顏色校正方法主要是基于灰度世界假設(shè)、完美反射理論和灰度邊緣假設(shè)[14，15]?；叶仁澜缂僭O(shè)認(rèn)為整幅圖像的RGB均值相等，體現(xiàn)為中性“灰”，但是當(dāng)圖像的顏色比較單一，或者是光照不足時(shí)，灰度世界假設(shè)的基本前提不再滿足，該方法基本完全失效；完美反射理論是假設(shè)在一幅圖像中,可以把完美反射體視為標(biāo)準(zhǔn)白色，但是當(dāng)圖像并無白色或者高光部分存在時(shí)，該方法也失效；灰度邊緣假設(shè)認(rèn)為自然界所有圖像場(chǎng)景表面的平均反射差分是一個(gè)定值，但是當(dāng)圖像對(duì)比度低、可視化邊緣少時(shí)，灰度邊緣假設(shè)算法的假設(shè)條件遭到破壞，效果也不好。

近年來也涌現(xiàn)出了一些在上述理論基礎(chǔ)上，改進(jìn)的動(dòng)態(tài)拉伸顏色校正方法[16-22]。Li等[16]采用了一種簡(jiǎn)單且有效的顏色校正方法，利用均值和均方差確定偏色圖像像素分布的最大值和最小值，然后對(duì)偏色圖像進(jìn)行動(dòng)態(tài)拉伸,以此來校正顏色，該方法對(duì)偏色現(xiàn)象不是很嚴(yán)重的情況能起到較好的校正效果。Zhang等[19]利用子區(qū)間線性變換對(duì)偏色圖像進(jìn)行校正，同樣該方法在偏色現(xiàn)象嚴(yán)重時(shí)會(huì)失效。Fu等[20]根據(jù)灰度世界假設(shè)理論，采用分段線性變換來校正顏色，該方法也僅適合于偏色現(xiàn)象不是很嚴(yán)重的情況。Wong等[21,22]提出一種自適應(yīng)灰度世界方法校正偏色圖像。

以上基于衰減補(bǔ)償方法大多都是針對(duì)某一類圖像，在某些特定場(chǎng)景中，能取得很好的效果，但不具備通用性?；趧?dòng)態(tài)拉伸的方法，在偏色現(xiàn)象不是很嚴(yán)重時(shí)，能取得一定的效果，但偏色現(xiàn)象嚴(yán)重時(shí)，直接進(jìn)行動(dòng)態(tài)拉伸會(huì)存在過校正。因此需要有一個(gè)能適合于大多數(shù)場(chǎng)景而又不會(huì)產(chǎn)生過校正現(xiàn)象的偏色圖像校正方法出現(xiàn)。

2 本文方法

為了有效解決水下圖像顏色偏色問題，本文提出一種基于直方圖分布特性的水下圖像顏色校正方法，從水下圖像直方圖分布考慮，通過調(diào)整水下圖像直方圖分布來改善水下圖像的顏色失真。首先用最高像素分布均值通道自適應(yīng)補(bǔ)償另外2個(gè)顏色通道，然后對(duì)補(bǔ)償后的圖像進(jìn)行動(dòng)態(tài)拉伸，保證通道直方圖分布整個(gè)像素范圍。所提方法流程如圖1所示。

圖1 本文方法流程

2.1 本文動(dòng)機(jī)

為了有效解決水下圖像顏色偏色問題，本文參考陸地自然圖像直方圖分布特性，從水下圖像直方圖分布出發(fā)，通過調(diào)整水下偏色圖像的直方圖分布來消除偏色現(xiàn)象。水下偏色圖像和自然圖像直方圖分布特性如圖2所示，圖2中第一行為原始圖像，第二行為第一行圖像對(duì)應(yīng)的直方圖分布，其中直方圖縱坐標(biāo)為頻率，單位為%，橫坐標(biāo)是數(shù)目0-255。通過圖2(a)、圖2(b)水下偏色圖像對(duì)應(yīng)的直方圖分布，發(fā)現(xiàn)水下偏色圖像三通道直方圖分布各異，相對(duì)比較集中，且三通道直方圖之間沒有相似性。通過圖2(c)陸地自然圖像直方圖分布，發(fā)現(xiàn)自然圖像三通道直方圖分布相似且分布在整個(gè)動(dòng)態(tài)范圍。

通過分析自然圖像直方圖分布特性，能找到水下偏色圖像采用上述介紹的基于衰減補(bǔ)償和基于動(dòng)態(tài)拉伸方法校正顏色失真效果不好的原因。圖3是水下偏色圖像基于衰減補(bǔ)償和基于動(dòng)態(tài)拉伸校正效果圖。偏色圖像采用文獻(xiàn)[10]方法用中等強(qiáng)度綠通道補(bǔ)償衰減嚴(yán)重的紅通道，衰減補(bǔ)償后紅通道分布能上來一些，但補(bǔ)償后最低強(qiáng)度和中間強(qiáng)度通道的直方圖分布相對(duì)最高強(qiáng)度藍(lán)通道分布要低，且三通道像素分布沒有遍及整個(gè)動(dòng)態(tài)范圍，所以補(bǔ)償后效果甚微，整個(gè)圖像還是偏色。采用文獻(xiàn)[19]基于動(dòng)態(tài)拉伸方法校正后直方圖像素分布遍布整個(gè)動(dòng)態(tài)范圍，但三通道間直方圖分布不相似，因此校正效果也不好。

圖2 原始圖像及其直方圖分布

同時(shí)由灰度世界假設(shè)理論可知，顏色豐富圖像的RGB均值相等，體現(xiàn)為中性“灰”。換一句話來說就是，對(duì)8 bit圖像來說，圖像均值應(yīng)該近似等于128。綜上，理想的水下圖像直方圖分布應(yīng)該具有以下3個(gè)特點(diǎn)：

(1)三通道直方圖分布相似；

(2)三通道直方圖分布遍及整個(gè)動(dòng)態(tài)范圍；

(3)三通道直方圖均值都近似等于128。

為了使校正后水下圖像直方圖分布滿足上述3個(gè)特點(diǎn)，本文先用最高像素分布均值通道補(bǔ)償另外2個(gè)顏色通道，這樣能保證補(bǔ)償后的圖像三通道直方圖分布相似；然后對(duì)補(bǔ)償后的圖像進(jìn)行動(dòng)態(tài)拉伸，保證直方圖分布遍及整個(gè)像素范圍；同時(shí)拉伸過程中，利用均值和標(biāo)準(zhǔn)差來確定拉伸前的最小、最大范圍，使直方圖拉伸后的RGB均值近似等于128。

2.2 衰減通道的補(bǔ)償

由上述可知，需要對(duì)衰減的顏色通道進(jìn)行補(bǔ)償，使各顏色通道直方圖分布具有相似性。本文用最高像素分布均值顏色通道補(bǔ)償另外兩個(gè)顏色通道，因?yàn)樽罡呦袼胤植季殿伾ǖ老鄬?duì)另外兩個(gè)顏色通道，衰減最小，用它補(bǔ)償另外兩個(gè)顏色通道，能最大程度提高圖像直方圖分布，同時(shí)還能使另外兩個(gè)顏色通道直方圖分布和它相似。具體的補(bǔ)償步驟如下：

(1)通道分解

把圖像分解成紅、綠、藍(lán)三顏色通道。

(2)計(jì)算紅、綠、藍(lán)三顏色通道的平均值

Rmean=mean(mean(r(i,j)))

(1)

Gmean=mean(mean(g(i,j)))

(2)

Bmean=mean(mean(b(i,j)))

(3)

其中，mean是均值函數(shù)，r(i,j)/g(i,j)/b(i,j) 是上一步分解的紅、綠、藍(lán)顏色通道， (i,j) 為像素點(diǎn)，取值范圍為0～255。Rmean/Gmean/Bmean是紅綠藍(lán)顏色通道對(duì)應(yīng)的平均值。

(3)顏色通道排序。按照平均值高低給三顏色通道排序，分別表示為：Pfirst(i,j)、Psecond(i,j) 和Pthird(i,j)。 如果Rmean最高，則Pfirst(i,j)=r(i,j)。

(4)構(gòu)建補(bǔ)償因子。本文有2個(gè)補(bǔ)償因子，分別為γ和β。γ表示最高和第二均值分布通道之間的補(bǔ)償因子，β表示最高和第三均值分布之間的補(bǔ)償因子，具體計(jì)算公式如下

(4)

(5)

(5)對(duì)第二、第三均值通道補(bǔ)償。利用補(bǔ)償因子和最高均值通道，對(duì)第二和第三均值通道進(jìn)行逐像素補(bǔ)償，補(bǔ)償公式如下

Psecond(i,j)=Psecond(i,j)+γ*Pfirst(i,j)

(6)

Pthird(i,j)=Pthird(i,j)+β*Pfirst(i,j)

(7)

由上可知，第二和第三均值通道和第一均值通道相差越大，則補(bǔ)償越大，反之則補(bǔ)償越小。補(bǔ)償前后效果圖和對(duì)應(yīng)直方圖分布如圖4(a)、圖4(b)所示，發(fā)現(xiàn)補(bǔ)償后的圖像偏色現(xiàn)象基本去除，不存在明顯的偏色問題。對(duì)比補(bǔ)償前后直方圖分布發(fā)現(xiàn)，相對(duì)補(bǔ)償前圖像三通道直方圖分布各異，補(bǔ)償后圖像直方圖分布具有一定的相似性，且像素值分布也大大提升。但是僅進(jìn)行衰減通道補(bǔ)償，圖像效果還不理想，對(duì)應(yīng)直方圖分布還比較集中，沒有遍及整個(gè)動(dòng)態(tài)范圍，因此還需要對(duì)補(bǔ)償后的圖像進(jìn)行動(dòng)態(tài)拉伸。

2.3 動(dòng)態(tài)范圍的拉伸

衰減補(bǔ)償后的圖像直方圖具有一定的相似性，但分布還比較集中，因此還需要對(duì)其動(dòng)態(tài)拉伸，使拉伸后直方圖分布符合前節(jié)所述所有特點(diǎn)。統(tǒng)計(jì)學(xué)上，均值反映數(shù)據(jù)的集中趨勢(shì)或者是期望值，標(biāo)準(zhǔn)差反映一個(gè)數(shù)據(jù)集的離散程度，因此我們采用均值和標(biāo)準(zhǔn)差來確定動(dòng)態(tài)拉伸前的范圍

(8)

(9)

其中，c∈{R/G/B}， 表示紅、綠、藍(lán)三顏色通道,Lmean和Lstd表示對(duì)應(yīng)顏色通道的均值和標(biāo)準(zhǔn)差，Lmin和Lmax表示對(duì)應(yīng)顏色通道的最小值和最大值，μ表示動(dòng)態(tài)范圍，經(jīng)實(shí)驗(yàn)驗(yàn)證，動(dòng)態(tài)范圍不能太大也不能太小，取2～3之間時(shí)，效果較好，本文取μ=3。 然后通過式(10)進(jìn)行顏色校正

(10)

3 實(shí)驗(yàn)結(jié)果與分析

為了評(píng)估所提方法的性能，本節(jié)通過主觀分析、客觀分析、運(yùn)行時(shí)間和擴(kuò)展應(yīng)用幾個(gè)方面，對(duì)比本文方法和現(xiàn)有顏色校正方法(文獻(xiàn)[10]、文獻(xiàn)[16]、文獻(xiàn)[19]、文獻(xiàn)[23])，結(jié)果如圖5～圖9所示，最后本節(jié)還進(jìn)行了消融研究以及動(dòng)態(tài)參數(shù)取值分析。本節(jié)實(shí)驗(yàn)圖片除了圖8來源于Liu等[24]提供的水下偏色圖像，其余均來自網(wǎng)絡(luò)。上述對(duì)比方法參數(shù)取對(duì)應(yīng)文獻(xiàn)參考值，實(shí)驗(yàn)平臺(tái)為：CPU四核1.5 GHz、內(nèi)存8 G；軟件為Matlab R2017b，Windows 10操作系統(tǒng)。

3.1 主觀分析

圖5～圖7分別是水下偏綠、偏藍(lán)綠和偏藍(lán)圖像的對(duì)比效果圖。文獻(xiàn)[10]方法在偏綠和偏藍(lán)綠的場(chǎng)景中，效果良好，因?yàn)槠洳捎镁G色補(bǔ)償紅色，然后再白平衡，而在偏藍(lán)場(chǎng)景中，效果不理想。文獻(xiàn)[19]方法能一定程度去除偏色現(xiàn)象，但效果不佳，去除后的圖像還存在偏色現(xiàn)象。文獻(xiàn)[16]方法相對(duì)另外兩種方法適用性更好，但容易存在過校正現(xiàn)象，如圖7存在過明亮區(qū)域。相比較而言，本文方法在不同偏色場(chǎng)景中都表現(xiàn)優(yōu)異，也不存在過校正、過飽和現(xiàn)象，校正后的圖像顏色豐富自然。

圖8是從水下偏色圖像數(shù)據(jù)集中選擇的偏藍(lán)、偏藍(lán)綠和偏綠圖像。發(fā)現(xiàn)文獻(xiàn)[23]方法對(duì)各類圖像都能適應(yīng)，但處理后的圖像過明亮，存在過飽和現(xiàn)象；文獻(xiàn)[10]、文獻(xiàn)[16]和文獻(xiàn)[19]方法在偏綠的場(chǎng)景下能取得自然的效果，但對(duì)偏藍(lán)圖像不適應(yīng)，處理后的圖像還有明顯的藍(lán)色調(diào)。而本文方法在上述場(chǎng)景下都能獲得自然的效果，也不存在過增強(qiáng)、過飽和現(xiàn)象。

圖4 顏色通道衰減補(bǔ)償和動(dòng)態(tài)拉伸效果

圖6 偏藍(lán)綠水下圖像對(duì)比效果

圖7 偏藍(lán)水下圖像對(duì)比效果

3.2 客觀分析

本節(jié)通過兩個(gè)指標(biāo)對(duì)上述方法的色彩校正能力進(jìn)行客觀分析：Avga和Avgb。Avga和Avgb分別為CIElab空間中通道a和通道b的平均值。Avga表示綠色到紅色的分量，其中綠色在負(fù)方向，紅色在正方向。Avgb表示藍(lán)色到黃色的分量，其中藍(lán)色在負(fù)方向。平均色度絕對(duì)值越大表示越嚴(yán)重的顏色偏色。

表1是圖5～圖7對(duì)應(yīng)的Avga/Avgb指標(biāo)評(píng)價(jià)結(jié)果。由表1可知，文獻(xiàn)[10]和文獻(xiàn)[19]方法不適應(yīng)于偏藍(lán)的場(chǎng)景，在第三個(gè)偏藍(lán)場(chǎng)景中，Avgb數(shù)值分別高達(dá)：-14.82/-15.73。文獻(xiàn)[16]的方法相對(duì)來說適應(yīng)性要好，并且還能在個(gè)別場(chǎng)景中取得最好的Avgb分量值。但綜合來看，本文方法最優(yōu)，本文方法能在3種不同的偏色場(chǎng)景中取得綜合最優(yōu)值，僅在個(gè)別場(chǎng)景取得次優(yōu)值。

表2是圖8對(duì)應(yīng)的Avga/Avgb指標(biāo)評(píng)價(jià)結(jié)果。由表2可知文獻(xiàn)[23]處理后的圖像在偏藍(lán)場(chǎng)景中有較高的Avga正值，說明存在紅色過校正現(xiàn)象。而文獻(xiàn)[10]和文獻(xiàn)[19]的方法在偏藍(lán)場(chǎng)景下Avga值都有較高的負(fù)值，說明偏色現(xiàn)象去除不理想。而本文方法在3個(gè)場(chǎng)景中都能取得較好的結(jié)果。

3.3 運(yùn)行時(shí)間

運(yùn)行時(shí)間是一個(gè)算法真實(shí)應(yīng)用的重要指標(biāo)，我們選取4種不同分辨率的圖像進(jìn)行實(shí)驗(yàn)。各算法運(yùn)行時(shí)間見表3。

圖8 偏色圖像數(shù)據(jù)集對(duì)比效果

表1 圖5/6/7對(duì)應(yīng)的Avga/Avgb指標(biāo)值

表2 圖8對(duì)應(yīng)的Avga/Avgb指標(biāo)值

表3 算法運(yùn)行時(shí)間對(duì)比/s

本文算法的運(yùn)行時(shí)間優(yōu)于文獻(xiàn)[10]、文獻(xiàn)[19]和文獻(xiàn)[23]，微劣于文獻(xiàn)[16]的算法。

3.4 擴(kuò)展應(yīng)用

本文還嘗試將本文方法應(yīng)用于沙塵天氣偏黃圖像，因?yàn)樯硥m天氣圖像和水下圖像相似，都嚴(yán)重偏色，如圖9所示，表4是其對(duì)應(yīng)的客觀評(píng)價(jià)結(jié)果。發(fā)現(xiàn)文獻(xiàn)[19]的方法處理后效果比較自然，但整個(gè)圖像還存在一層淡黃色，表4中Avgb值有較高的正值，說明整個(gè)偏色現(xiàn)象去除不徹底。文獻(xiàn)[16]的方法處理后圖像顏色較自然，但在第三個(gè)場(chǎng)景中，處理后的人物輪廓顏色不自然。文獻(xiàn)[23]方法處理后圖像整體偏亮，且在第三個(gè)場(chǎng)景中，人物輪廓周圍存在明顯光暈現(xiàn)象，且處理后所有圖像Avgb值都有較高的負(fù)值。相比較而言，本文方法處理后的圖像最自然，具有最好的Avga/Avgb值。

圖9 偏黃圖像效果對(duì)比

表4 圖9對(duì)應(yīng)的Avga/Avgb指標(biāo)值

3.5 消融研究

本節(jié)還分析了本文方法不同成分、不同次序的效果圖，如圖10所示，對(duì)應(yīng)的客觀評(píng)價(jià)見表5。發(fā)現(xiàn)僅用衰減補(bǔ)償方法進(jìn)行補(bǔ)償，能去除一定的偏色現(xiàn)象，但效果不佳。僅用動(dòng)態(tài)拉伸方法對(duì)偏色圖像進(jìn)行校正，存在過校正現(xiàn)象。先動(dòng)態(tài)拉伸后衰減補(bǔ)償?shù)姆椒?，效果和僅采用動(dòng)態(tài)拉伸效

圖10 本文不同成分和次序效果

表5 圖10對(duì)應(yīng)的Avga/Avgb指標(biāo)值。

果沒有什么區(qū)別，因?yàn)閯?dòng)態(tài)拉伸后，各通道均值近似相等，此時(shí)再用最強(qiáng)均值通道去補(bǔ)償其它通道，補(bǔ)償系數(shù)太小，因而效果和僅動(dòng)態(tài)拉伸效果差不多。而本文方法取得的效果最好，圖像看起來最自然，也不存在過飽和、過增強(qiáng)。

3.6 動(dòng)態(tài)范圍參數(shù)μ的數(shù)值分析

在2.3節(jié)中我們基于均值和標(biāo)準(zhǔn)差對(duì)通道補(bǔ)償后的圖像進(jìn)行動(dòng)態(tài)拉伸，以此來校正顏色。為了驗(yàn)證動(dòng)態(tài)范圍參數(shù)μ的取值對(duì)圖像的影響，分別取μ=2、μ=2.2、μ=2.5、μ=2.8、μ=3進(jìn)行實(shí)驗(yàn)分析。圖11是參數(shù)μ不同取值對(duì)應(yīng)的色彩校正效果圖，通過色彩校正較好的還原圖像的真實(shí)色彩，但μ取值較小時(shí)，圖像的色彩會(huì)存在過增強(qiáng)現(xiàn)象。如表6所示，隨著μ值增強(qiáng)，Avga值緩慢下降，Avgb值緩慢上升，綜合來看，μ=3時(shí)Avga和Avgb值相加最低，最理想，最終取μ=3。

圖11 參數(shù)μ不同取值效果

表6 參數(shù)μ不同取值對(duì)應(yīng)的Avga/Avgb指標(biāo)評(píng)價(jià)

4 結(jié)束語

本文從水下圖像直方圖分布特性出發(fā)，通過調(diào)整水下圖像的直方圖分布來改善水下圖像的顏色失真，先用直方圖均值分布最高的顏色通道對(duì)另外兩個(gè)顏色通道進(jìn)行自適應(yīng)補(bǔ)償，然后采用均值和標(biāo)準(zhǔn)差對(duì)補(bǔ)償后的顏色通道進(jìn)行動(dòng)態(tài)拉伸，整個(gè)處理過程簡(jiǎn)單、有效，且能適用于水下大多數(shù)場(chǎng)景，通用性強(qiáng)。本文方法處理后的水下圖像顏色豐富且自然，但水下圖像除了顏色失真外，還存在對(duì)比度低、模糊等其它問題，因此僅采用顏色校正方法去除顏色失真還遠(yuǎn)遠(yuǎn)不夠，還必須結(jié)合其它方法，如：對(duì)比度增強(qiáng)方法、去模糊方法等，才能得到清晰的水下圖像，但本文方法可以作為水下圖像預(yù)處理的選擇之一。最后，如果水下圖像三顏色通道都嚴(yán)重?fù)p毀，本文方法有可能存在過校正現(xiàn)象，因此，極端條件下的水下圖像顏色校正是本文未來研究方向之一，同時(shí)進(jìn)一步優(yōu)化本文算法運(yùn)行時(shí)間也是本文未來的研究方向之一。