基于平滑化區(qū)域填充的水下圖像倒影去除研究

吳 函，唐磊生，夏昕陽，徐紅麗

(1. 中國(guó)科學(xué)院沈陽自動(dòng)化研究所，遼寧 沈陽 110016；2. 中國(guó)科學(xué)院機(jī)器人與智能制造創(chuàng)新研究院，遼寧 沈陽 110169；3. 中國(guó)科學(xué)院大學(xué)，北京 100049；4. 東北大學(xué)機(jī)器人科學(xué)與工程學(xué)院，遼寧 沈陽110819；5. 沈陽建筑大學(xué)信息與控制工程學(xué)院，遼寧 沈陽 110159；6. 沈陽工業(yè)大學(xué)人工智能學(xué)院，遼寧 沈陽110000)

1 引言

因?yàn)楹Ｑ蟓h(huán)境的條件約束，所獲取的水下圖像往往存在噪聲點(diǎn)、清晰度較低、顏色失真、倒影問題[1]，這對(duì)人們提取水下信息的精度存在一定負(fù)面影響，提升了人們?cè)谧R(shí)別水下圖像目標(biāo)時(shí)的難度[2]。水下圖像倒影對(duì)水下圖像目標(biāo)識(shí)別存在嚴(yán)重影響，因倒影屬于水下圖像目標(biāo)的“影子”，和水下圖像目標(biāo)存在高度一致性，在水下圖像目標(biāo)識(shí)別時(shí)，將出現(xiàn)誤導(dǎo)的問題，為此，水下圖像倒影去除十分關(guān)鍵[3]。

目前針對(duì)去除水下圖像倒影去除這一問題的相關(guān)研究還較少，若使用圖像信息去除類方法去除水下圖像倒影，將存在圖像細(xì)節(jié)斷裂的情況，影響水下圖像的信息完備性[4]。為此，本文提出一種基于平滑化區(qū)域填充的水下圖像倒影去除方法，并通過實(shí)驗(yàn)驗(yàn)證其具有可應(yīng)用性，可為水下圖像倒影去除問題提供可參考資料。

2 水下圖像倒影去除方法

2.1 水下圖像倒影區(qū)域識(shí)別

將倒影水下圖像A(x，y)從RGB空間變換至Lab空間

(x，y)L=0.2126(x，y)R+0.7152(x，y)G+0.0722(x，y)B

(1)

(x，y)a=1.4749(0.2213(x，y)R-0.3390(x，y)G

+0.1177(x，y)B)+128

(2)

(x，y)b=0.6245(0.1949(x，y)R-0.6057(x，y)G

-0.8006(x，y)B)+128

(3)

其中，(x，y)是A(x，y)的像素點(diǎn)；(x，y)L、(x，y)a、(x，y)b是Lab圖像像素的L值、a值、b值。

使用K-means聚類算法設(shè)置一個(gè)a、b層像素?cái)?shù)據(jù)點(diǎn)集合與需要聚類的倒影區(qū)域像素聚類數(shù)量，算法使用距離函數(shù)，以迭代的形式把像素點(diǎn)導(dǎo)入每個(gè)聚類范圍中。操作流程是：

1)設(shè)置A(x，y)中像素大小是m的樣本空間數(shù)據(jù)集，迭代次數(shù)是Z，按照聚類數(shù)k任意選擇k個(gè)像素設(shè)成初始聚類中心Wj(z)，此聚類中心即為倒影區(qū)域像素的初始聚類中心；

2)運(yùn)算A(x，y)的像素樣本空間里j個(gè)數(shù)據(jù)目標(biāo)(x，y)j和初始聚類中心Wj(z)的相似度距離Q[(x，y)j，Wj(z)]，建立簇Vj：

(4)

其中，μ是隨機(jī)設(shè)置的正數(shù)。

3)運(yùn)算k個(gè)新的倒影區(qū)域像素聚類中心

(5)

其中，Wj(z+1)是倒影區(qū)域像素聚類結(jié)果。

倒影區(qū)域像素聚類準(zhǔn)則函數(shù)值F(z+1)的運(yùn)算方法是

(6)

4)分析倒影區(qū)域像素聚類的合理性，分析方法是

|F(z+1)-F(z)|<μ

(7)

其中，F(xiàn)(z)是初始聚類的準(zhǔn)則函數(shù)值。

如果滿足式(7)條件，即為合理，輸出聚類結(jié)果，迭代停止，反之跳轉(zhuǎn)是第(2)步驟再次迭代。顏色空間變換后，使用Lab顏色模型圖像里a、b層信息，通過K-means聚類算法識(shí)別A(x，y)的倒影區(qū)域。

2.2 水下圖像倒影區(qū)域增強(qiáng)

大部分圖像中，暗像素點(diǎn)的存在不可避免，很多類型圖像都存在某種顏色通道灰度值較低的問題[5]。在本文研究問題中，含倒影水下圖像A的暗通道表達(dá)式是

Adark(x)=miny∈β(y)[minb∈{s，f，c}Ab(x)]

(8)

其中，Ab(x)、β(y)分別是含倒影水下圖像的各個(gè)通道值、以含倒影水下圖像像素點(diǎn)y為中心的窗口；x、y為像素值；b∈{R，G，B}是顏色分量RGB的三個(gè)通道。計(jì)算含倒影水下圖像各個(gè)像素RGB顏色分量的最小值，并導(dǎo)進(jìn)和含倒影水下圖像的灰度圖中，實(shí)現(xiàn)圖像增強(qiáng)處理[6]。

含倒影水下圖像增強(qiáng)處理時(shí)，可將清晰度較低的含倒影水下圖像模型描述為霧圖像模型

B(x，y)=A(x，y)h(x)+D[1-h(x)]

(9)

其中，B(x，y)、A(x，y)依次是需增強(qiáng)的含倒影水下圖像、增強(qiáng)后含倒影水下圖像；D、h(x)依次是大氣光成本、暗通道先驗(yàn)處理透射率。設(shè)定已知條件是B(x，y)，處理目標(biāo)需要實(shí)現(xiàn)的是A(x，y)，則

(10)

(11)

導(dǎo)入暗原色先驗(yàn)理論后可得

Adark(x)=minx∈β(y)[minbAb(x)]=0

(12)

式(12)能夠推導(dǎo)為

minx∈β(y)[minbAb(x)]=0

(13)

(14)

水下圖像增強(qiáng)后的結(jié)果是

(15)

其中，h0為暗通道先驗(yàn)處理的初始透射率。

2.3 基于平滑化區(qū)域填充的圖像倒影去除

2.3.1 平滑化區(qū)域填充

為實(shí)現(xiàn)平滑化區(qū)域填充，引入自適應(yīng)的圖像平滑填充方法，該方法要在需填充區(qū)域中心設(shè)置一個(gè)符合平滑填充條件的窗口尺寸，運(yùn)算需平滑填充的區(qū)域和鄰域間的像素歐式距離，以此變化已知區(qū)域(由鄰域區(qū)域不存在破損的像素構(gòu)成)的對(duì)應(yīng)權(quán)重[7]，通過鄰域像素的加權(quán)平均運(yùn)算填充區(qū)域的像素值[8]。具體步驟如下：

1)自適應(yīng)變化窗口尺寸，將去除倒影后水下圖像O(x，y)需要平滑填充的區(qū)域設(shè)成r，設(shè)置一個(gè)大小是M×M的窗口，初始化成3×3，然后運(yùn)算窗口中完好像素占據(jù)的比例ψg。

2)提前設(shè)置閾值是U0，若ψg不小于U0，那么r的估計(jì)值I(r)和鄰域中已知目標(biāo)信息I(s)的加權(quán)均值相同。則

(16)

其中，窗口中已知目標(biāo)的像素點(diǎn)集合、平滑填充區(qū)域的權(quán)函數(shù)依次是Me、σ(r)。權(quán)函數(shù)的運(yùn)算十分重要，主要通過平滑填充區(qū)域的已知像素點(diǎn)δ1和破損像素點(diǎn)δ2之間歐幾里德距離運(yùn)算，且需要符合條件0≤σ(r)≤1。

設(shè)置平滑填充區(qū)域中破損像素點(diǎn)δ2坐標(biāo)是(xr，yr)，窗口里某個(gè)已知像素點(diǎn)δ1坐標(biāo)是(xz，yz)，兩個(gè)坐標(biāo)之間的歐幾里德距離是

(17)

已知像素點(diǎn)的權(quán)重是

(18)

其中，Ω為歸一化因子；D(δ1)為已知像素點(diǎn)與破損像素點(diǎn)的差異值；|Me|為窗口中已知像素點(diǎn)的數(shù)量；指數(shù)函數(shù)的衰減因子是sj。

式(20)中，此類權(quán)重運(yùn)算方法可讓需平滑填充窗口已知像素點(diǎn)的權(quán)重為正數(shù)，破損像素點(diǎn)的權(quán)重是0，且權(quán)重的大小與亮點(diǎn)的距離有關(guān)[9]。

3)若ψg小于U0，把需平滑填充的窗口上下左右的各邊依次往外位移1個(gè)像素值，若需平滑填充的窗口為最大值，標(biāo)記此時(shí)的窗口尺寸，之后運(yùn)算其權(quán)重，通過最大窗口的有效加權(quán)平均值取代破損像素值，實(shí)現(xiàn)破損像素值的平滑填充。

2.3.2 水下圖像倒影去除

因倒影去除后，被去除區(qū)域?qū)⒊霈F(xiàn)空洞情況，為了保證水下圖像的可應(yīng)用性，需要對(duì)水下圖像進(jìn)行平滑化區(qū)域填充，以此保證倒影去除后，水下圖像的有價(jià)值信息不被損壞，通過識(shí)別提取水下圖像倒影區(qū)域之后，使用基于平滑化區(qū)域填充的倒影去除方法，去除水下圖像的倒影[10-12]。具體去除流程是：

1)提取水下圖像倒影區(qū)域的非勻質(zhì)因子。

2)按照導(dǎo)引區(qū)域和鄰近的非倒影區(qū)域存在空間相似性，通過區(qū)域補(bǔ)償方法，補(bǔ)償?shù)褂皡^(qū)域的亮度

(19)

倒影去除的結(jié)果是

O(x，y)=γ(x，y)Wj(z+1)+(1-Wj(z+1))

(20)

綜上所述，基于平滑化區(qū)域填充去除倒影，保證倒影區(qū)域去除后，圖像細(xì)節(jié)信息不出現(xiàn)嚴(yán)重缺失。

3 實(shí)驗(yàn)結(jié)果及分析

為測(cè)試本文所提基于平滑化區(qū)域填充的水下圖像倒影去除方法的使用效果，把Matlab 2012a軟件設(shè)成仿真工具，在Windows 10、Intel i5 3.2 GHz雙核處理器、600GB硬盤、8GB內(nèi)存的PC機(jī)中采取仿真測(cè)試的模式，測(cè)試本文方法使用效果。實(shí)驗(yàn)中所需處理的圖像如圖1所示。

圖1 實(shí)驗(yàn)中所需處理的水下圖像

3.1 水下圖像倒影識(shí)別效果

3.1.1 敏感性

敏感性別稱命中率，表示被識(shí)別判斷成倒影的區(qū)域中，的確為倒影區(qū)域的概率，運(yùn)算方法是：

(21)

其中，Kp、GN依次是倒影區(qū)域被準(zhǔn)確識(shí)別成倒影區(qū)域的次數(shù)；倒影區(qū)域被錯(cuò)誤識(shí)別成非倒影區(qū)域的次數(shù)。敏感性數(shù)值越接近于1，表示本文方法對(duì)水下圖像倒影區(qū)域的識(shí)別精度越高。

本文方法對(duì)圖1中倒影區(qū)域識(shí)別后，識(shí)別結(jié)果的敏感性如圖2所示。

圖2 倒影區(qū)域識(shí)別結(jié)果的敏感性測(cè)試結(jié)果

由圖2顯示，多次測(cè)試下，本文方法對(duì)水下圖像倒影區(qū)域識(shí)別后，識(shí)別結(jié)果的敏感性高達(dá)0.98，接近于1，表示本文方法對(duì)水下圖像倒影區(qū)域的識(shí)別精度較高。

3.1.2 特異性

特異性表示被識(shí)別判斷成非倒影區(qū)域的區(qū)域中，實(shí)際是非倒影區(qū)域的概率。若特異性較小，代表較多的非倒影區(qū)域被識(shí)別判斷為倒影區(qū)域。運(yùn)算方法是

(22)

其中，KN、GP依次是非倒影區(qū)域被準(zhǔn)確識(shí)別成非倒影區(qū)域的次數(shù)、非倒影區(qū)域被錯(cuò)誤識(shí)別判斷成倒影區(qū)域的次數(shù)。

本文方法對(duì)圖1中倒影區(qū)域識(shí)別后，識(shí)別結(jié)果的特異性如圖3所示。

圖3 倒影區(qū)域識(shí)別結(jié)果的特異性測(cè)試結(jié)果

由圖3顯示，多次測(cè)試下，本文方法對(duì)水下圖像倒影區(qū)域識(shí)別后，識(shí)別結(jié)果的特異性大于95%，特異性較高，表示本文方法對(duì)水下圖像倒影區(qū)域識(shí)別后，非倒影區(qū)域被識(shí)別判斷為倒影區(qū)域的概率極低，識(shí)別精度顯著。

3.2 水下圖像倒影去除效果

使用本文方法對(duì)圖1中的倒影區(qū)域進(jìn)行去除，去除效果如圖4所示。

圖4 水下圖像倒影去除效果圖

對(duì)比圖1、圖4可知，本文方法對(duì)水下圖像倒影進(jìn)行去除處理后，倒影去除效果較好，基本看不出倒影的存在。圖4的測(cè)試效果主要以視覺角度分析，為了定量分析本文方法去除水下圖像倒影后，圖像細(xì)節(jié)是否平滑完整，以相關(guān)系數(shù)、信息熵、色差為定量分析指標(biāo)。

3.2.1 相關(guān)系數(shù)

相關(guān)系數(shù)的計(jì)算方法是

(23)

其中，M、N是水下圖像大小。相關(guān)系數(shù)越高，表示去除倒影后，水下圖像有價(jià)值細(xì)節(jié)與原圖有價(jià)值細(xì)節(jié)相似度越高，去除效果越好。本文方法去除水下圖像倒影后，水下圖像相關(guān)系數(shù)測(cè)試結(jié)果如圖5所示。

圖5 相關(guān)系數(shù)測(cè)試結(jié)果

由圖5顯示，多次測(cè)試下，本文方法去除水下圖像倒影后，水下圖像有價(jià)值細(xì)節(jié)與原圖有價(jià)值細(xì)節(jié)相似度較高，應(yīng)用效果較好。

3.2.2 信息熵

信息熵的計(jì)算方法是

(24)

其中，灰度級(jí)概率值是hds；j為測(cè)試次數(shù)。

信息熵可表示水下圖像信息量，信息熵較高，表示本文方法去除倒影區(qū)域后，水下圖像信息量完備性顯著，本文方法應(yīng)用效果較好。信息熵測(cè)試結(jié)果如圖6所示。

圖6 信息熵測(cè)試結(jié)果

由圖6顯示，多次測(cè)試下，本文方法去除水下圖像倒影后，水下圖像信息量完備性顯著，信息熵大于0.90，表示本文方法去除水下圖像倒影后，圖像的信息量沒有受到嚴(yán)重?fù)p壞。

3.2.3 色差

色差計(jì)算方法是

(25)

其中，R、G、B表示圖像的顏色通道。下表1與2分別代表本文方法去除倒影前后，水下圖像三種顏色通道的色差值。

本文方法使用后，水下圖像的色差測(cè)試結(jié)果如圖7所示。

由圖7顯示，本文方法去除水下圖像倒影后，水下圖像不存在顏色失真情況，原因在于本文方法引入了平滑化區(qū)域填充步驟，可有效保證水下圖像倒影去除后，圖像顏色保真度不出現(xiàn)異常。

4 結(jié)論

本文提出基于平滑化區(qū)域填充的水下圖像倒影去除方法，此方法被證實(shí)可有效實(shí)現(xiàn)水下圖像倒影去除。在實(shí)驗(yàn)測(cè)試中，本文方法對(duì)水下圖像增強(qiáng)處理后，水下圖像的細(xì)節(jié)信息更為凸顯，細(xì)節(jié)清晰，圖像中特征更為明顯，細(xì)節(jié)表現(xiàn)更好；且本文方法對(duì)水下圖像的倒影區(qū)域識(shí)別精度較高，在去除倒影后，可以更好地保留水下圖像信息，水下圖像倒影去除后不存在顏色失真情況。在未來的研究工作中，將以具有較強(qiáng)噪聲的水下圖像為研究目標(biāo)，逐步優(yōu)化本文方法對(duì)水下圖像的處理效果。