基于偏振度特征圖的水下裂縫圖像分割算法

鄒 杰,宋 軻,王張帆,侯一興,張學(xué)武

(河海大學(xué)物聯(lián)網(wǎng)工程學(xué)院,江蘇 常州 213022)

0 引 言

水下結(jié)構(gòu)物如水庫大壩、航道閘口、橋梁柱基、河流涵洞的水下部分在長期服役過程中，均可能出現(xiàn)不同程度的缺陷、損傷，這極大地降低了水利工程設(shè)施的安全性、完整性和使役性[1-2]，因此對水下結(jié)構(gòu)物進行缺陷檢測、修復(fù)以保證其安全運行具有重要意義[3]。圖像分割是確定裂縫區(qū)域的重要前提，分割算法的準(zhǔn)確性會直接影響目標(biāo)識別結(jié)果。

現(xiàn)有的光學(xué)圖像分割方法主要是根據(jù)亮度、顏色和細(xì)節(jié)紋理等特征進行區(qū)域分割。范新南等[4]提出了一種基于勞倫茨信息值的水下大壩裂縫檢測算法，該算法以勞倫茨信息值為判定標(biāo)準(zhǔn)去除無裂縫的連通域，使用大津法(Otsu)[5]完成圖像分割，最后從全景角度進行K-means聚類[6]分析確定裂縫目標(biāo)區(qū)域，兼顧了局部和全局特征。Bhattacharyya等[7]提出了一種基于改進遺傳算法的FCM圖像分割算法，解決了FCM早期收斂到局部最優(yōu)解的問題[8]?？罪@等[9]提出了一種基于非歸一化直方圖的GrabCut圖像分割算法[10]，通過改變能量函數(shù)和構(gòu)圖方式，在處理背景較復(fù)雜的圖像分割中，提高了時間效率和分割精度。

對于水下結(jié)構(gòu)物而言，表面的青苔、貝殼等附著物形成的凹陷，與裂縫缺陷在顏色、紋理等方面具有極高的相似性，因此當(dāng)凹陷距離裂縫較近時，上述圖像分割算法極易引起分割誤判。

為解決水下圖像分割誤判難題，本文加入偏振信息，提出一種基于偏振度特征圖[11-12]的裂縫分割算法，以超像素塊為單元進行偏振度特征圖提取，利用偏振度設(shè)定區(qū)域生長規(guī)則，以種子區(qū)域為基礎(chǔ)進行區(qū)域生長合并，最后根據(jù)圖像深度圖確定裂縫區(qū)域，以解決因凹陷引起的分割誤判問題。實驗結(jié)果表明該算法能有效地解決水下圖像裂縫分割時出現(xiàn)的分割誤判問題，分割算法的靈敏度和特異性較好，裂縫分割的準(zhǔn)確度高，裂縫分割結(jié)果的特異性和準(zhǔn)確度指標(biāo)均能達到0.9以上，高于現(xiàn)有算法。

1 基于超像素塊的偏振度特征圖提取

1.1 超像素塊預(yù)處理

超像素分割以像素的顏色、紋理、亮度等物理特征的相似程度作為像素點集聚標(biāo)準(zhǔn)，形成多個不規(guī)則的超像素塊[13]。相比于原有圖像，利用超像素塊來表達圖像，極大地降低了圖像分割處理時的計算量，常用于圖像分割的預(yù)處理階段。圖像分割領(lǐng)域中應(yīng)用較為廣泛的是SLIC(Simple Linear Iterative Clustering)算法[14]，該算法以顏色相似程度和空間距離為特征標(biāo)準(zhǔn)進行迭代計算，形成規(guī)則的超像素塊。該算法具有較好的物體邊緣保存度，且計算速度較快，故選擇SLIC算法進行預(yù)處理。首先構(gòu)造特征向量，將RGB圖像轉(zhuǎn)為GLE-Lab空間圖像[15]，組合各像素點對應(yīng)的(L,a,b)值和像素坐標(biāo)(x,y)構(gòu)造五維向量[L,a,b,x,y]，作為像素點的特征向量，然后進行區(qū)域中心初始化和修正，修正后進行標(biāo)記，再更新區(qū)域中心，迭代計算。根據(jù)SLIC算法進行超像素塊的預(yù)處理，如圖1所示，為水下裂縫區(qū)域的原圖，超像素塊預(yù)處理的結(jié)果如圖2所示。

圖2 超像素塊預(yù)處理結(jié)果

1.2 偏振度特征圖的提取

為了消除裂縫區(qū)域周圍的附著物凹陷對裂縫分割的影響，以超像素塊為基本單元，在各單元內(nèi)提取特征，形成特征圖。

對于偏振圖像，直接測得的圖像偏振度包含水體散射產(chǎn)生的散射光偏振度和水下結(jié)構(gòu)物表面物體反射產(chǎn)生的目標(biāo)偏振度，對于水下成像場景而言，水體等散射介質(zhì)的散射光偏振度幾乎處處相等，但是附著物凹陷區(qū)域和平整區(qū)域，與實際裂縫區(qū)域的偏振度相比，具有明顯差異?？紤]直接對目標(biāo)偏振度進行求解的計算量較大，故根據(jù)成像場景將散射光偏振度取值為一常數(shù)值m，在實驗中，本文所使用的水下數(shù)據(jù)集圖像的散射光偏振度常數(shù)m為0.25。散射光偏振度常數(shù)越大，表示背景區(qū)域?qū)獾母蓴_就越大。選擇將超像素塊區(qū)域內(nèi)的圖像偏振度和散射光偏振度常數(shù)之間的方差作為該區(qū)域的偏振度特征，計算公式可表示為：

(1)

其中，ci表示第i個超像素塊bi的特征，P(x,y)表示圖像偏振度，m表示估算所得的散射光偏振度常數(shù)，N表示超像素塊區(qū)域內(nèi)的像素點個數(shù)。

超像素塊的偏振度特征圖如圖3所示，由圖可知，利用偏振度特征表示超像素區(qū)域明顯增大了裂縫區(qū)域與附著物區(qū)域的特征差異，便于后續(xù)的裂縫分割操作。

圖3 超像素塊特征圖

2 基于特征圖區(qū)域生長的裂縫分割

2.1 區(qū)域生長

在獲得偏振度特征圖的基礎(chǔ)上，利用區(qū)域生長算法[16]對偏振度特征相似的超像素塊進行區(qū)域合并，進一步形成連通域，其實現(xiàn)步驟表述如下：

1)選取種子區(qū)域。對超像素塊的偏振度特征進行大小排序，選取當(dāng)前偏振度特征值最大的超像素塊作為種子區(qū)域。

2)定義區(qū)域生長準(zhǔn)則。對于相鄰2個超像素塊，以生長系數(shù)C表示區(qū)域相似性，其計算公式可表示為：

(2)

其中，σ和μ分別表示2個超像素塊組成的新區(qū)域的目標(biāo)偏振度方差和圖像偏振度均值，N1i和N2i表示超像素塊區(qū)域內(nèi)的像素點個數(shù)。

3)設(shè)定區(qū)域生長閾值。定義區(qū)域生長的閾值T，當(dāng)生長系數(shù)滿足以下條件時完成區(qū)域合并：

C≤T

(3)

區(qū)域生長閾值T的計算公式可表示為：

(4)

其中，c1i和c2i分別表示選定的2個超像素塊的偏振度特征，λ表示圖像區(qū)域的紋理粗糙程度，一般取值為0.5～1.0。

4)以鄰域法從種子區(qū)域開始進行區(qū)域生長合并，直到不存在符合條件的區(qū)域。

5)更新種子區(qū)域，選取剩余超像素塊中偏振度特征值最大的區(qū)域作為種子點，重復(fù)上述步驟進行區(qū)域生長，直至圖像中再無種子區(qū)域。

利用區(qū)域生長算法對超像素塊完成區(qū)域合并之后，對圖像進行二值化處理得到黑白圖像。圖像二值化過程中，需在像素區(qū)域內(nèi)選取適當(dāng)?shù)亩祷撝?，使得到的二值化圖像能夠較好地反映圖像整體和局部特征，此處選擇穩(wěn)定性較好的Niblack方法[5]。其核心思想為：在計算像素點的閾值時，通過計算以該像素點為中心、范圍為N×N的鄰域內(nèi)像素點方差和灰度平均值來確定閾值，計算公式可以表示為：

(5)

其中，T(x,y)表示像素點(x,y)處的二值化閾值，s(x,y)和m(x,y)分別表示鄰域內(nèi)像素點的方差和灰度平均值，k表示修正系數(shù)，此處取值為0.25。圖像二值化處理的輸出結(jié)果如圖4所示。

由圖4可知，通過區(qū)域生長算法將超像素塊合并成為多個連通區(qū)域，各連通區(qū)域之間相互獨立、邊界明顯，不足之處是出現(xiàn)了個別較小的區(qū)域空洞。

圖4 圖像二值化處理結(jié)果

2.2 裂縫區(qū)域確定

二值化圖像中有著多個連通區(qū)域，根據(jù)估算的圖像深度圖，初步確定裂縫區(qū)域輪廓。利用復(fù)原后圖像的暗通道圖像估算圖像深度圖[17]，計算公式可表示為：

(6)

其中，Id(x,y)表示圖像深度值。將二值化圖像的各連通域投影到估算得到的深度圖中，計算相應(yīng)區(qū)域內(nèi)的均值，均值最小區(qū)域則為裂縫所在區(qū)域，可表示為：

(7)

其中，bi表示第i個連通域，Ni表示此連通域內(nèi)的像素點總數(shù)，B表示裂縫所在的區(qū)域。裂縫區(qū)域分割的結(jié)果如圖5所示。

圖5 裂縫區(qū)域分割結(jié)果

2.3 裂縫區(qū)域像素填充

圖6 裂縫區(qū)域填充效果

在進行區(qū)域生長處理時，往往會對圖像造成過分割，形成散亂分布的區(qū)域空洞，使分割出來的裂縫區(qū)域不完整。為提高裂縫分割區(qū)域的完整性，對初步確定的裂縫區(qū)域進行填充處理。在圖像中以超像素塊為基本單位，若重疊的連通域內(nèi)有確定的裂縫區(qū)域，便對該區(qū)域進行全填充處理。填充后的效果如圖6所示，經(jīng)填充后的裂縫區(qū)域輪廓連續(xù)，完整性更好。

3 算法設(shè)計

基于偏振度特征圖的水下裂縫分割算法的流程如圖7所示。首先對圖像進行超像素分割預(yù)處理，提取偏振度特征圖，然后利用偏振度設(shè)定區(qū)域生長規(guī)則和生長閾值，以種子區(qū)域為基礎(chǔ)進行區(qū)域生長合并，并對圖像進行二值化處理，最后根據(jù)圖像深度圖確定裂縫區(qū)域，并對裂縫區(qū)域進行像素填充，完成裂縫分割。

圖7 算法流程

4 實驗分析

實驗選取3種應(yīng)用廣泛的圖像分割算法，與本文算法的圖像分割效果進行對比，從主觀評價和客觀分析2個方面進行比較。本次實驗在Matlab R2018b軟件和OpenCV2.4.13+VS2013平臺上進行。

4.1 主觀評價

傳統(tǒng)的圖像分割方法主要有基于閾值的分割方法、基于聚類的分割方法、基于邊緣的分割方法和基于區(qū)域的分割方法，選擇基于最大類間方差的Otsu、分離前景背景的GrabCut和C均值聚類的FCM這3種算法作為對比。下面本文對于3種不同情況裂縫的原圖，用不同算法處理得到的結(jié)果進行分析，圖8中框出的區(qū)域為容易分割誤判的附著物區(qū)域。

當(dāng)實驗圖像中有明顯的附著物凹陷區(qū)域時，各算法的分割效果如圖8中第1列所示。傳統(tǒng)圖像分割算法均出現(xiàn)分割誤判，但本文算法將裂縫區(qū)域和凹陷區(qū)域獨立開來，且裂縫區(qū)域與背景區(qū)域無連通，后續(xù)能夠通過圖像深度圖正確識別裂縫區(qū)域，消除分割誤判。

當(dāng)測試圖像中的裂縫區(qū)域邊界較為清晰時，各算法的分割效果如圖8中第2列所示。Otsu算法和FCM算法并未將裂縫區(qū)域完整分割，裂縫邊緣不連續(xù)；GrabCut算法的分割效果略優(yōu)于前兩者，但并未實現(xiàn)裂縫區(qū)域的完整獨立分割，同背景區(qū)域仍有連通；相比之下，本文算法分割出的裂縫區(qū)域完整且封閉獨立。

當(dāng)測試圖像中存在附著物凹陷區(qū)域但裂縫區(qū)域邊界清晰時，各算法的分割效果如圖8中第3列所示。由于裂縫區(qū)域與凹陷區(qū)域距離較近，3種對比算法均出現(xiàn)分割誤判情況，將裂縫右側(cè)的附著物凹陷一并識別為裂縫區(qū)域。本文算法成功消除干擾，分割出的裂縫區(qū)域封閉完整、輪廓連續(xù)。

通過觀察圖8的分割效果可知，Otsu算法和FCM算法都是針對全局圖像進行分割，其分割效果受圖像色彩和亮度因素的影響較大，因此應(yīng)用于此類型圖像進行圖像分割時取得效果較差。GrabCut算法針對圖像的前景和背景差異進行分割，對于亮度不均勻的情況具有較好的抗性，但是分割后的區(qū)域較散亂，區(qū)域邊界輪廓不連續(xù)，且出現(xiàn)較多的星點區(qū)域。對比而言，本文算法在該場景下的分割效果較好，能夠消除凹陷區(qū)域引起的分割誤判，將各區(qū)域獨立分割出來，且區(qū)域輪廓清晰連續(xù)。

綜上所述，本文提出的圖像分割算法能夠較為準(zhǔn)確地分割裂縫區(qū)域，分割出來的區(qū)域完整封閉，區(qū)域邊界具有較好的連續(xù)性，能夠較好地解決因環(huán)境干擾引起的分割誤判問題。

(a) 原圖

(b) Otsu算法

(c) FCM算法

(d) GrabCut算法

(e) 本文算法圖8 圖像分割算法效果對比

4.2 客觀評價

為進一步科學(xué)評估該算法的圖像分割效果，以測試圖像中的人工標(biāo)注裂縫區(qū)域為標(biāo)準(zhǔn)值，通過計算靈敏度Se(Sensitivity)、特異性Sp(Specificity)和Dice系數(shù)3個參數(shù)來量化表示各個算法分割結(jié)果中裂縫區(qū)域與標(biāo)準(zhǔn)值的差距，并對比了算法耗時，以此幾項參數(shù)為標(biāo)準(zhǔn)客觀評價各算法的優(yōu)劣。

靈敏度Se和特異性Sp分別表示裂縫標(biāo)準(zhǔn)值區(qū)域中被分割為裂縫的像素占比和背景標(biāo)準(zhǔn)值區(qū)域中被分割為背景的像素占比[18-19]。靈敏度和特異性的計算公式可以表示為：

(8)

(9)

其中，TP(True Positive)表示算法分割的裂縫區(qū)域與裂縫標(biāo)準(zhǔn)值區(qū)域的重疊像素量，F(xiàn)N(False Negative)表示算法分割的背景與裂縫標(biāo)準(zhǔn)值區(qū)域的重疊像素量，TN(True Negative)表示算法分割的背景與背景標(biāo)準(zhǔn)值區(qū)域的重疊像素量，F(xiàn)P(False Positive)表示算法分割的裂縫區(qū)域與背景標(biāo)準(zhǔn)值區(qū)域的重疊像素量。

Dice系數(shù)表示分割出來的裂縫區(qū)域與裂縫標(biāo)準(zhǔn)值區(qū)域的重疊程度[20-21]，Dice系數(shù)越高，表明裂縫目標(biāo)分割的準(zhǔn)確度越高，其計算公式可以表示為：

(10)

不同算法的處理耗時如圖9所示，隨著待處理圖像的像素值增加，Otsu的算法耗時一直維持在較低水平，本文算法的在處理高像素值圖像時的速度遠優(yōu)于FCM和GrabCut算法[22]。

圖9 算法耗時對比

各類算法圖像分割結(jié)果的相關(guān)評價指標(biāo)計算結(jié)果如表1所示，表中加粗?jǐn)?shù)據(jù)為該組指標(biāo)最佳值。根據(jù)表1中的數(shù)據(jù)可以發(fā)現(xiàn)，其中Otsu算法和FCM算法的靈敏度指標(biāo)優(yōu)于另外2種算法，這表明標(biāo)注的裂縫區(qū)域中絕大部分區(qū)域被分割為裂縫，極少部分被誤分割為背景[23]。但利用超像素塊的圖像分割處理，處理過程中對區(qū)域邊緣特征變化的敏感度較高，使得裂縫分割區(qū)域的邊界完整但小于實際區(qū)域，因此本文算法的靈敏度表現(xiàn)略低于其他算法。Otsu算法和FCM算法的特異性和Dice系數(shù)都較低，這是由于圖像的亮度值較低，非裂縫區(qū)域與裂縫區(qū)域的差距較小，此2類算法將大片非裂縫區(qū)域誤分割為裂縫區(qū)域，導(dǎo)致這2項參數(shù)值偏低。GrabCut算法的特異性和Dice系數(shù)略優(yōu)于前2種算法，該算法對于裂縫區(qū)域的分割較為準(zhǔn)確，但裂縫區(qū)域邊界連續(xù)性較差。本文算法利用偏振度表示超像素塊特征，裂縫區(qū)域和非裂縫區(qū)域的特征差異明顯，因此裂縫分割結(jié)果的特異性和準(zhǔn)確度能達到0.9以上，遠遠高于其他算法的指標(biāo)結(jié)果。

表1 各圖像分割算法評價指標(biāo)

本文選取了200張左右水下裂縫的圖像，對用不同算法處理得到的結(jié)果進行分析，如圖10所示，本文算法的靈敏度表現(xiàn)略低于其他算法，但是在特異性和準(zhǔn)確度指標(biāo)上表現(xiàn)更佳。綜合比較而言，本文所提算法具有較好的靈敏度和特異性，裂縫分割的準(zhǔn)確度高，能夠滿足高渾濁度水下圖像的圖像分割要求。

圖10 各圖像分割算法綜合對比

5 結(jié)束語

為實現(xiàn)水下結(jié)構(gòu)物的表面裂縫分割，本文提出了一種基于偏振度特征圖的裂縫分割算法。首先，根據(jù)SLIC算法對圖像進行預(yù)處理，提取偏振度特征圖，然后利用區(qū)域生長算法進行區(qū)域合并，根據(jù)圖像深度圖計算確定裂縫區(qū)域，完成裂縫分割，最后根據(jù)特征圖投影的重疊區(qū)域進行像素填充，提高裂縫區(qū)域的完整性。實驗結(jié)果表明，該算法能夠有效解決水下圖像裂縫分割時出現(xiàn)的分割誤判問題，分割算法的靈敏度和特異性較好，裂縫分割的準(zhǔn)確度較高。為滿足缺陷檢測的實時性要求，下一步研究方向?qū)⑹窃诒ＷC圖像處理質(zhì)量的前提下提高算法速度，實現(xiàn)對實時視頻圖像的快速處理。