基于像素位移估計的水下湍流退化圖像畸形校正算法

，，

(湖北大學(xué) 計算機與信息工程學(xué)院，武漢 430062)

0 引言

隨著水下目標(biāo)識別、水下地質(zhì)勘探等應(yīng)用的發(fā)展，水下成像技術(shù)也得到了重視和發(fā)展。但在真實的水下環(huán)境中，流體相較于靜態(tài)水體會對成像造成更大的影響，尤其是湍流的存在會明顯地降低成像質(zhì)量[1]，使短曝光圖像造成嚴(yán)重的畸變和不均勻。由于隨機溫度和鹽度的變化會造成水介質(zhì)的折射率改變從而引起湍流[2]，因此在存在湍流的水下，影響成像質(zhì)量的主要因素是懸浮顆粒散射以及湍流造成的散射[3]。散射形成成像視場的光場非均勻性變異，造成成像畸變[4]，從而引起水下湍流圖像的退化。因此，對水下湍流退化圖像的畸形校正研究具有非常重要的意義。

目前常規(guī)的圖像復(fù)原處理方法較多，而對于水下湍流退化圖像的研究較少。幸運塊選擇方法最早用于大氣圖像處理，它是利用具有動態(tài)相位失真的不同的短曝光圖像序列會包含隨機局域高質(zhì)量的圖像來處理圖像的[5]。隨后，學(xué)者[6-7]利用幸運塊技術(shù)對水下圖像的復(fù)原處理做了一系列研究，隨著研究的深入，發(fā)現(xiàn)圖像配準(zhǔn)技術(shù)能在一定程度上改善圖像畸變。文獻[8]提出了一種基于運動場核回歸的方法，結(jié)果表明基于水面波形的估計方法也可以改善成像質(zhì)量。文獻[9]通過建模一個三維水波結(jié)構(gòu)來處理圖像復(fù)原問題，但此方法對水面波紋度要求較高，因此對處理強湍流存在局限性。文獻[10]提出將自適應(yīng)光學(xué)(Adaptive Optics，AO)技術(shù)用于圖像處理，然而高成本、高復(fù)雜度的AO系統(tǒng)使得此方法也存在一定的限制。還有學(xué)者[11]提出采用遞歸和反射線追蹤法用于重建圖像。文獻[12]提出了一種基于運動補償?shù)母哔|(zhì)量圖像塊選擇與去噪的水下圖像重建方法。另有學(xué)者[13]提出了一種兩階段的圖像重建方法，在第一階段，采用BIQ度量標(biāo)準(zhǔn)及K均值聚類算法(K-Means)分別選取參考幀和清晰幀序列；在第二階段，采用像素配準(zhǔn)技術(shù)和二維插值技術(shù)重建畸變圖像，雖然這個方法可以有效地緩解湍流帶來的影響，但計算量較高。而陳等人[14]提出了一種基于正則化共軛梯度迭代的重建算法，可優(yōu)化方程，進而進行迭代重建。

因此，在本文中，采用自定義度量標(biāo)準(zhǔn)選取短曝光圖像的參考幀和清晰度較高的輸入幀序列，使用像素配準(zhǔn)和二維配準(zhǔn)算法抑制畸變退化，采用核相關(guān)濾波算法提高算法的速度和效率，在減少計算量提高處理速度的同時也可使去畸效果更好。目標(biāo)檢測的實驗結(jié)果表明，采用本文提出的水下湍流圖像去畸處理方法，可以有效抑制圖像畸變，提高圖像的成像質(zhì)量。

1 理論和方法

1.1 參考幀的選取

使用自定義度量標(biāo)準(zhǔn)測量輸入幀序列的清晰度，根據(jù)銳度值選取參考幀和部分較清晰的輸入幀序列。假設(shè)D為水波在水下湍流中傳輸Z的距離后的波結(jié)構(gòu)函數(shù)[2]：

D(ρ,Z)=3.603×10-7k2zε-1/3(χT/ω2)ρ5/3·

(0.419ω2-0.838ω+0.419)

(1)

式中,波數(shù)k=2π/λ，λ為波長(通常水下傳輸系統(tǒng)中λ為530 nm，本文數(shù)值計算取此值)，ρ為光波垂直于傳輸方向截面上兩點間的距離。

因此P的熵為：

(2)

結(jié)合式(2)，圖像的期望熵為：

(3)

選擇銳度值最高的輸入幀作為參考幀，并保留銳度值較高的序列幀作為輸入幀序列，用于后續(xù)的圖像處理過程。圖像銳度計算公式為：

(4)

1.2 像素配準(zhǔn)技術(shù)

使用后向映射形式得到保留的輸入幀序列相對于參考幀的像素移位，根據(jù)式(5)計算出保留幀序列中同一點像素相對于參考幀中該像素在水平和垂直方向上的位移均值：

(5)

其中:Ra和Rb分別表示水平和垂直方向上的位移均值，g表示幀索引，G表示保留幀序列的總數(shù)。

通過式(6)反演出此像素在水平和垂直方向上的校正后移位均值表達式，因此Ra和Rb的逆近似為：

(6)

1.3 二維配準(zhǔn)技術(shù)

根據(jù)式(7)推導(dǎo)出所有保留輸入幀中每個像素的校正后的移位：

(7)

將保留幀進行復(fù)原和重建分別如式(8)、(9)所示：

(8)

(9)

其中:f1(a,b)表示復(fù)原后圖像，f2(a,b)表示重建后圖像，fg表示保留幀序列，θ表示旋轉(zhuǎn)角度。

令當(dāng)前恢復(fù)的去畸圖像作為下一次迭代的參考圖像，通過多次迭代，可使去畸效果更好。

1.4 核相關(guān)濾波算法

上述迭代過程可利用正則化約束算法，正則化的主要思想是要解決求最小值的數(shù)學(xué)病態(tài)問題，而約束算法的設(shè)計過程可采用智能學(xué)習(xí)跟蹤(Kernelized Correlation Filters，KCF)算法的思路，兩者的表達式分別如式(10)、(11)所示：

(10)

(11)

式(11)的目標(biāo)是要解出一個由模糊樣本圖像訓(xùn)練出來的最佳逼近解f(x)=nTx+n0，從而使得式(11)的值即最小二乘的風(fēng)險值最小。其中參數(shù)n可由公式n=(XXT+βI)-1XTy求出，β為控制過擬合的參數(shù)。

在算法的設(shè)計過程中，為了使用模糊樣本圖像來訓(xùn)練最小二乘分類器，并簡化運算量，可以構(gòu)造一個循環(huán)矩陣。假設(shè)H(x)是一個i×i的矩陣，那么它能通過一個I*i的向量的循環(huán)移位獲得，由此可得到式(12)：

(12)

通過公式I=EKE，可將上述矩陣轉(zhuǎn)換為式(13)：

(13)

由于研究的是對角矩陣，因此可將式(13)轉(zhuǎn)換為式(14)：

(14)

將式(14)代入求參數(shù)n的公式中，可求得線性回歸的權(quán)值n的離散傅里葉變換形式如式(15)所示：

(15)

由此可將訓(xùn)練最小二乘分類器的過程大大簡化，極大地減少了運算量。

上述求解n的過程在通常情況下往往是求解線性問題，但在大多數(shù)情況下需要解決的都是非線性問題，這在一定程度上會給求解過程帶來困難。因此，可以通過高維求解和核函數(shù)的方法可將高維空間中的非線性問題轉(zhuǎn)換為線性問題來求解。

已知n的求解如式(16)所示：

(16)

其中:τ(xi)表示將x映射到高維空間的函數(shù)。

將式(16)中δ化簡為δ=(F+βI)-1y，其中F為核矩陣，元素Fij=κ(xi,xj)，I為單位矩陣。

(17)

其中:κ表示核函數(shù)，它的運算定義如下：

τT(x)τ(x′)=κ(x,x′)，由此便將求最小n的問題轉(zhuǎn)換為求最小δ的問題。

通過近一步化簡可得：Fz=H(κxz)，其中H(x)表示由x循環(huán)移位得到的矩陣，Hz表示所有訓(xùn)練樣本和參考樣本之間的核矩陣。由Hz可求得目標(biāo)函數(shù)的表達式如式(18)所示：

f(z)=(Hz)Tδ

(18)

對式(18)求傅里葉變換后的形式如式(19)所示：

(19)

若κ為線性核函數(shù)，則目標(biāo)函數(shù)的求解可利用式(15)求出；而本文采用的核函數(shù)κ為高斯核，其表達形式如式(20)所示：

(20)

1.5 圖像評估

為了評估水下湍流退化圖像的畸形校正圖像復(fù)原效果，需要選擇特定的圖像質(zhì)量評價標(biāo)準(zhǔn)。由于水下圖像不存在理想或可參考的標(biāo)準(zhǔn)圖像，所以，傳統(tǒng)的評價標(biāo)準(zhǔn)如均方差和信號噪聲比等評價標(biāo)準(zhǔn)不能選用。本文實驗中選擇客觀的圖像質(zhì)量評價指標(biāo)作為評估標(biāo)準(zhǔn)，如模糊度量(BM)和信息容量(IC)。

模糊度量被提出并廣泛用于圖像的質(zhì)量評估[15]。模糊度量是基于計算不同保留的輸入幀的相鄰像素間變化的分析：

BM=max(sDvertical,sDhorizontal),

(21)

信息容量被定義為[16]：

(22)

其中:p(i,j,d,θ)代表像素之間的相關(guān)性，i和j代表像素點的坐標(biāo)，d代表成像距離，θ代表像素之間的關(guān)聯(lián)方向。

由上述表達式可知，公式中的BM值越小，圖像質(zhì)量越好，而IC的情況則相反。

2 實驗結(jié)果與分析

為了進一步說明本文方法在水下湍流圖像去畸處理中的有效性，本文的實驗數(shù)據(jù)是通過實驗室模擬的湍流環(huán)境和真實的海洋湍流環(huán)境中的成像系統(tǒng)獲得。

實驗室環(huán)境中模擬的受控湍流環(huán)境由水泵提供動力，將水泵、流量計等設(shè)備與水箱連接構(gòu)成水循環(huán)系統(tǒng)。實驗用水采用無微小懸浮物顆粒的水質(zhì)，通過測量水樣的衰減系數(shù)，確保樣本圖像的畸變僅由湍流散射產(chǎn)生。水箱的尺寸為1.5 m×0.5 m，并在兩端設(shè)有截面尺寸為0.04 m×0.04 m的進水口和出水口以連接水泵、流量計。激光和CCD圖像傳感器被安裝在水箱上方，并分別設(shè)置在水箱的長邊的兩端和靶板上，目標(biāo)物體被置于水下。

水箱是形成水下湍流的主要區(qū)域，水流從水箱進水口流入，在進水口附近的區(qū)域內(nèi)湍流流動最為明顯，是主要的實驗區(qū)域。水泵驅(qū)動水流流動，水閥控制水流的大小，當(dāng)進水口水流達到一定速度時會產(chǎn)生湍流，通過控制水箱進水口處的水流速度來獲得不同強度的湍流，流量計能實時讀取流速，然后可計算湍流雷諾數(shù)和湍流強度，確保樣本圖像是在湍流環(huán)境下獲得的。

2.1 微湍流環(huán)境

當(dāng)進水口水流速度為5 m/s時，CCD對湍流環(huán)境中的目標(biāo)物體進行拍攝，目標(biāo)物體在5 s內(nèi)被拍攝60次，并將成像結(jié)果輸入計算機處理器。拍攝到的樣本圖像如圖1(a)所示，將樣本圖像分別基于盲復(fù)原算法、POCS算法及本文算法的復(fù)原和重建，實驗結(jié)果分別如圖1(b)～(e)所示。圖1所列圖像的模糊度量值和信息容量值均在表1中列出和比較。表2為復(fù)原和重建算法的計算機程序運行處理時間。

(a)樣本圖像; (b)盲復(fù)原算法的結(jié)果圖; (c)本文復(fù)原方法的結(jié)果圖; (d)POCS超分辨率重建算法的結(jié)果圖; (e)本文重建方法的結(jié)果圖圖1 樣本圖像，復(fù)原和重建結(jié)果

圖像圖1(a)圖1(b)圖1(c)圖1(d)圖1(e)BM0.43760.31640.37930.26840.2172IC2.46755.53526.22975.98608.0152

從圖1(b)和1(c)可以看出，盲圖像復(fù)原算法出現(xiàn)了振鈴效應(yīng)，而本文復(fù)原方法，雖存在振鈴效應(yīng)，但有效抑制了像素的畸變。從圖1(d)和(e)可以看出，本文重建方法同樣能抑制像素畸變，但效果不如復(fù)原好。

表2 算法運行時間比較 min

從表1中可以看出，相較于盲復(fù)原算法和POCS重建算法，本文方法的處理結(jié)果，BM值更小，IC值更大。因此可以得出結(jié)論，無論從主觀評價還是客觀評價上來看，本文的復(fù)原和重建方法都優(yōu)于傳統(tǒng)方法。且從表2中可以看出，本文所提出的方法在處理時間上具有優(yōu)勢。

2.2 強湍流環(huán)境

當(dāng)進水口水流速度為25 m/s時，CCD對湍流環(huán)境中的目標(biāo)物體進行拍攝，目標(biāo)物體在5 s內(nèi)被拍攝60次，并將成像結(jié)果輸入計算機處理器。拍攝到的樣本圖像如圖2(a)所示，將樣本圖像分別基于盲復(fù)原算法、POCS算法及本文算法的復(fù)原和重建，實驗結(jié)果分別如圖2(b)～(e)所示。圖2所列圖像的模糊度量值和信息容量值均在表3中列出和比較。表4為復(fù)原和重建算法的計算機程序運行處理時間。

(a)樣本圖像; (b)盲復(fù)原算法的結(jié)果圖; (c)本文復(fù)原方法的結(jié)果圖; (d)POCS超分辨率重建算法的結(jié)果圖; (e)本文重建方法的結(jié)果圖圖2 樣本圖像，復(fù)原和重建結(jié)果

表3 復(fù)原和重建的比較結(jié)果

表4 算法運行時間比較 min

從圖2(b)和2(c)可以看出，盲圖像復(fù)原和本文復(fù)原方法，都沒有出現(xiàn)明顯的振鈴效應(yīng)，但盲圖像復(fù)原導(dǎo)致圖像更加模糊，這是由于盲圖像復(fù)原采用的高斯模糊核，而強湍流的流速分布特性是隨機分布。本文復(fù)原方法，對畸變則有明顯的改善。從圖2(d)和2(e)可以看出，POCS重建的去畸變效果和微湍流情況類似，但本文重建方法，明顯優(yōu)于其他各種方法。

從表3中可以看出，無論復(fù)原還是重建，本文方法的處理結(jié)果，BM值更小，IC值更大，其中本文重建方法得到的BM值和IC值，比其他方法都要接近標(biāo)準(zhǔn)值。因此可以得出結(jié)論，本文復(fù)原和重建算法都能改進樣本圖像的質(zhì)量，本文復(fù)原方法適合微湍流情況，而本文重建方法適合強湍流情況。從表4中可以看出，本文重建方法的時間優(yōu)勢。

2.3 海洋實地實驗

真實的海洋湍流環(huán)境在中國南海海域開展，拍攝的樣本圖像由水下封裝成像系統(tǒng)獲得，并將成像結(jié)果輸入計算機處理器。采用流量計測得實驗的海洋水體湍流屬于強湍流情況。拍攝到的樣本圖像如圖3(a)所示，將樣本圖像分別基于盲復(fù)原算法、POCS算法及本文算法的復(fù)原和重建，實驗結(jié)果分別如圖3(b)～(e)所示。圖3所列圖像的模糊度量值和信息容量值均在表5中列出和比較。表6為復(fù)原和重建算法的計算機程序運行處理時間。

(a)樣本圖像; (b)盲復(fù)原算法的結(jié)果圖; (c)本文復(fù)原方法的結(jié)果圖; (d)POCS超分辨率重建算法的結(jié)果圖; (e)本文重建方法的結(jié)果圖圖3 樣本圖像，復(fù)原和重建結(jié)果

圖像圖3(a)圖3(b)圖3(c)圖3(d)圖3(e)BM0.65890.46770.24650.15460.0597IC4.36466.32457.87956.25689.5675

表6 算法運行時間比較 min

上述實驗結(jié)果和強湍流情況的結(jié)果類似，因此可以驗證室

[9] 左 力.航空裝備維修保障模式研究[J].電子設(shè)計工程,2017,25(3):1-4.

[10] 袁 輝,王 夷,鄭震山.航空裝備MTBF動態(tài)評估與預(yù)測模型[J].機械設(shè)計與制造,2015(4):31-34.

[11] 楊 召,肖明清,胡 斌.測試信息不完備條件下航空電子裝備故障診斷[J].計算機應(yīng)用，2013,33(S1):46-47.

[12] 羅曉軍,文 瑩,方甲永.復(fù)雜航空電子裝備故障診斷規(guī)則提取[J].計算機測量與控制,2012,20(2):294-296.

[13] 程進軍,夏智勛,胡雷剛.基于遺傳神經(jīng)網(wǎng)絡(luò)的航空裝備故障預(yù)測[J].空軍工程大學(xué)學(xué)報(自然科學(xué)版),2011,12(1):15-19.

[14] 郭雙民.基于決策樹的航空裝備維修級別[J].四川兵工學(xué)報,2008(4):60-61.