基于全局和局部二值模式的顯著圖裂縫自動分割算法

胡曉勇， 徐嘉明， 劉愛榮， 楊智誠， 楊永民

（1.廣州市市政工程設(shè)計研究總院有限公司，廣州 510060；2.華南理工大學(xué)自動化科學(xué)與工程學(xué)院，廣州 510640；3.廣州大學(xué)風(fēng)工程與工程振動研究中心，廣州 510006；4.仲愷農(nóng)業(yè)工程學(xué)院城鄉(xiāng)建設(shè)學(xué)院，廣州 510225）

0 引 言

混凝土結(jié)構(gòu)性能退化主要通過缺陷的形式變現(xiàn)出來，其中包括裂縫、剝落、洞穴和風(fēng)化等，而裂縫是主要的基礎(chǔ)形式病癥［1-2］?；炷两Y(jié)構(gòu)裂縫的擴(kuò)展降低了結(jié)構(gòu)的安全性、穩(wěn)定性和可靠性，由此需要對其進(jìn)行必要的檢測和維護(hù)。在檢測階段，需要獲取裂縫的形態(tài)、病癥、損害程度等信息作為結(jié)構(gòu)可靠性評估和損害管理的依據(jù)。目前，基于機(jī)器視覺的自動化裂縫檢測技術(shù)快速發(fā)展，搭載了機(jī)器視覺的水下檢測機(jī)器人或無人機(jī)通過攝像機(jī)捕獲結(jié)構(gòu)表面視頻序列，結(jié)合圖像處理算法對裂縫進(jìn)行提取以及分析［3］，并且能夠?qū)崿F(xiàn)在從光照不均勻和復(fù)雜紋理背景中快速精確分離裂縫區(qū)域［4］。

近年來，學(xué)者們設(shè)計了不同的算法以提取復(fù)雜背景中裂縫的特征。Chen 等［5］針對電致發(fā)光圖中的裂縫提出了方向可調(diào)證據(jù)濾波來生成裂縫顯著性圖，能夠突出隨機(jī)分布的晶格背景中的裂縫信息，但濾波核的尺寸自適應(yīng)確定是該方法的難點。Cho等［6］基于邊緣檢測算法提出了一種寬度變換裂縫檢測算法，通過搜索垂直于裂縫伸展方向的邊緣點對，并將其連接起來組成裂縫區(qū)域。該方法效果的優(yōu)劣取決于提取邊緣是否連續(xù)，如果出現(xiàn)邊緣斷裂或者丟失，則邊緣點對會搜尋錯誤，最終導(dǎo)致裂縫分割失敗。Qu 等［7-8］基于滲透模型建立了一種魯棒的裂縫檢測方法，其原理是依次遍歷圖像像素點，并通過灰度信息和圓度信息進(jìn)行區(qū)域生長，滿足一定條件的像素點則被認(rèn)為是裂縫缺陷中，但由于每個像素點的分類過程十分復(fù)雜的，所以該方法難以應(yīng)用到在線檢測中。

基于深度學(xué)習(xí)的端到端網(wǎng)絡(luò)方法實現(xiàn)裂縫特征自動學(xué)習(xí)和檢測分割具有良好的效果［9-10］。其中，Unet++是目前較為通用的卷積神經(jīng)網(wǎng)絡(luò)，其在充足的訓(xùn)練數(shù)據(jù)和標(biāo)記數(shù)據(jù)下可以獲得理想的性能，但該方法需要獲取的大量的裂縫樣本數(shù)據(jù)，特別是對稀有類型的裂縫樣本，存在較大的難度［11-13］。本文提出了一種快速、準(zhǔn)確的裂縫自動分割方法，包括圖像預(yù)處理增強(qiáng)圖像對比度，基于改進(jìn)的局部二值模式生成裂縫的顯著圖來緩解背景光照不均勻以及噪聲影響問題，提取裂縫區(qū)域并迭代修正裂縫分割結(jié)果等過程。該方法只需要少量的訓(xùn)練樣本來自適應(yīng)配置參數(shù)便能獲得較好的檢測結(jié)果，并且可應(yīng)用到在線檢測中，有利于工程應(yīng)用。

1 裂縫檢測方法

圖1給出了本文關(guān)于裂縫自動分割方法的主要流程，主要包含圖像預(yù)處理、顯著圖生成和裂縫分割。本文的最終目的是要將裂縫區(qū)域從復(fù)雜的背景中分離出來，具體的步驟如下：

（1）圖像預(yù)處理。圖像預(yù)處理的主要目標(biāo)是增強(qiáng)裂縫與背景間的對比度。從圖1（a）可以看到，裂縫區(qū)域的灰度值比背景低，而主要關(guān)注區(qū)域正是低灰度值的部分。因此，采用了對數(shù)變換將較暗的裂縫缺陷進(jìn)行灰度范圍擴(kuò)展，使得圖像顯示出更多低灰度細(xì)節(jié)。根據(jù)變換后圖像灰度的值將圖像灰度范圍映射到［0，255］之間，從而實現(xiàn)裂縫與背景之間的對比度增強(qiáng)，如圖1（b）所示，增強(qiáng)圖記為G。

（2）全局和局部二值模式顯著圖。局部二值模式（Local Binary Patterns，LBP）主要是用來描繪局部紋理特征，而本文改進(jìn)的LBP算法是針對裂縫檢測設(shè)計的，該方法不僅繼承了原始LBP 的局部特性，同時也考慮到了全局信息。為了更好地說明本文提出的全局和局部二值模式顯著圖算法，首先回顧一下旋轉(zhuǎn)不變LBP算法。該算法中，圖像上的任意像素點會與其相鄰的像素點集依次進(jìn)行比較計算LBP碼［14］：

圖1 裂紋自動分割方法的框架

式中：C為LBP碼；gt為目標(biāo)像素點pt的灰度值；gi為第i個相鄰像素點pi的灰度值；n表示相鄰像素點的總個數(shù)。

由此，得到旋轉(zhuǎn)不變LBP碼為

式中：IRC為旋轉(zhuǎn)不變LBP 碼；B2D 表示二進(jìn)制轉(zhuǎn)換為十進(jìn)制；D2B表示十進(jìn)制轉(zhuǎn)換為二進(jìn)制；Rot（x，j）表示對二進(jìn)制數(shù)值x執(zhí)行j次循環(huán)按位旋轉(zhuǎn)。

雖然旋轉(zhuǎn)不變LBP 描繪局部特征被應(yīng)用到紋理檢測中，但是這種特征結(jié)果用于缺陷檢測是困難的，因為其檢測結(jié)果受目標(biāo)像素點到相鄰像素點的距離r=的影響。當(dāng)r小于缺陷最短距離的1/2 或當(dāng)r遠(yuǎn)大于缺陷最短距離時，處在缺陷內(nèi)部的像素點和處在背景中的像素點的IRC 幾乎沒有區(qū)別，這樣會導(dǎo)致檢測結(jié)果出現(xiàn)較多假陰性和假陽性。多數(shù)情況下，該算法只能檢測出粗糙的缺陷邊緣。

為了緩解這個問題，本文提出了改進(jìn)的LBP 檢測方法，兼顧局部與全局信息來測量所有像素在4 個方向（即：水平，垂直以及兩個對角線）的變化，如圖2 所示，其中，綠色空心圓表示目標(biāo)像素；正方形框表示相鄰的像素，不同顏色的直線代表代表不同的方向。

備份和恢復(fù)：語料文獻(xiàn)數(shù)據(jù)的備份由數(shù)據(jù)庫自動完成，語料文本的備份還需要更新數(shù)據(jù)庫中備份文件路徑的信息。并做一個鏡像文件到備份的磁盤中。根據(jù)需要可以隨時恢復(fù)備份了的語料文木。

圖2 改進(jìn)的LBP檢測方法示意圖

在每個方向中，目標(biāo)像素會與其所在方向均布的n個點進(jìn)行比較，比較的規(guī)則與原始的LBP 一致。在本文中，取n=8，圖像灰度范圍控制在［0，255］。這n個點的灰度值可由7 ×7 矩形領(lǐng)域灰度均值替代，由此可以降低噪聲的影響，同時將式（1）中的閾值常數(shù)值0設(shè)為1 個相對閾值TR，即：

式中：d表示上述的4 個方向，d=1 為左上對角線方向，d=2 為水平方向，d=3 為垂直方向，d=4 為左下對角線方向。

由此，每個目標(biāo)像素會有4 個IRCd值，即有4 幅不同方向的旋轉(zhuǎn)不變LBP檢測圖，如圖1（c）～1（f）所示。取其平均作為顯著圖，如圖1（g），記為S。從圖中可以看到，復(fù)雜的背景被過濾掉了，裂縫顯而易見，但仍然存在一些離散的噪聲，因而需要進(jìn)行第3 步裂紋分割與修正。

值得注意的是，上述相對閾值TR是由對比度增強(qiáng)后圖像的灰度直方圖確定的。如圖3 所示，首先鎖定最大的駝峰，為1 個類高斯分布［15］

式中：μH為類高斯曲線最大值所對應(yīng)的灰度值；σH為類高斯曲線的標(biāo)準(zhǔn)差。

圖3 預(yù)處理后圖像的灰度直方圖

根據(jù)高斯分布可知，背景出現(xiàn)的概率在高斯分布的中部，而缺陷總是出現(xiàn)在其兩端，因此需要粗略計算背景灰度范圍。由圖3 可以看到，腰部以下的地方可能會受到噪聲影響，所以通過對類高斯曲線求導(dǎo)，求得函數(shù)y最大值所對應(yīng)灰度值μH左邊部分一階導(dǎo)數(shù)為0 的位置（即μH-σH）。由于裂縫是暗缺陷，且認(rèn)為類高斯分布是對稱的，只需計算左邊即可，然后令相對閾值TR=ασH。

式中：AReg表示某區(qū)域Reg 的像素個數(shù)；DReg表示區(qū)域中心到邊緣最大的距離。

若區(qū)域是個圓形，Cir =1；若區(qū)域有空洞或很長，Cir ＜1。同時基于萬有引力定律，認(rèn)為裂縫區(qū)域面積越大，其端點對附近點的影響范圍越大，即

式中：RReg表示區(qū)域的影響半徑；k是1 個變化系數(shù)。

綜合以上的特點，設(shè)計了如下裂縫分割程序：

2 實驗與分析

本文提出了全局和局部二值模式裂縫自動分割方法（GLBPCS）的性能評估，對照已公開的裂縫數(shù)據(jù)集Crack Forest 1. 0（https：/ /github. com/cuilimeng/CrackForest）上圖像分別用可控證據(jù)濾波法（SEF 方法）［5］，寬度變換法（WT 方法）［6］，滲透算法（P 方法）［7］，改進(jìn)的U 型卷積神經(jīng)網(wǎng)絡(luò)法（Unet++方法）［13］進(jìn)行檢測并比較，性能指標(biāo)分別采用重合率Dc（即真實值與預(yù)測值的重合率），準(zhǔn)確率Pr（即正確缺陷像素個數(shù)占總預(yù)測缺陷值的比值）和召回率Re（即正確缺陷像素個數(shù)占總的真實缺陷值的比值）以及運行時間來表示。

式中：TP表示真實值和預(yù)測值皆為缺陷的像素個數(shù)；FP表示真實值是背景但預(yù)測值是缺陷的像素個數(shù)；FN表示真實值是缺陷但預(yù)測值是背景的像素個數(shù)。

2.1 GLBPCS參數(shù)配置

圖4 不同方法對公開裂縫數(shù)據(jù)集Crack Forest 1.0的檢測結(jié)果

Crack Forest 1.0 中包含118 張480 ×320 的三通道圖像，如圖4 所示，其中從上往下分別是原始圖（圖4（a1）～（a6）），真實值（圖4（b1）～（b6）），SEF（圖4（c1）～（c6）），WT（圖4（d1）～（d6）），P（圖4（e1）～（e6）），Unet++（圖4（f1）～（f6））和GLBPCS（圖4（g1）～（g6））的檢測結(jié)果。原始圖選取了不同樣式的裂縫形狀進(jìn)行分析，如圖4（a1）、圖4（a4）和圖4（a6）均為單支裂縫，圖4（a3）和圖4（a5）為多支裂縫，圖4（a2）為網(wǎng)狀裂縫。同時圖像中還包含了噪聲的影響，如圖4（a3）中存在油漆，圖4（a6）中存在油斑。由此，將數(shù)據(jù)集平均分為訓(xùn)練集和測試集，GLBPCS 采用自適應(yīng)的方法配置參數(shù)，具體為從訓(xùn)練集中任意選取5個樣本計算Dc來調(diào)節(jié)各參數(shù)取得較優(yōu)結(jié)果。程序自動生成4 幅曲線圖，即閾值系數(shù)α，標(biāo)準(zhǔn)差系數(shù)λ，變化系數(shù)k，允許灰度變化范圍δ分別與重合率Dc的關(guān)系，如圖5 所示，程序自動選取平均最大Dc所對應(yīng)的值，即α=3，λ=1，k= 7，δ=11，考慮到算法精度和運行時間的平衡，k微調(diào)為5。

圖5 GLBPCS的參數(shù)自適應(yīng)配置

2.2 實驗結(jié)果對比

實驗結(jié)果從視覺比較和定量分析兩方面進(jìn)行評價：①SEF方法，如圖4（c1）～（c6）所示，該方法能夠檢測出各種裂縫的類型，但其檢測效果受限于濾波核尺寸，當(dāng)核較大時該方法能檢測較寬的裂縫，當(dāng)核較小時其能檢測較窄的裂縫；②WT 方法，如圖4（d1）～（d6）所示，該方法檢測效果較差，幾乎無法辨識裂縫的特征，這是因為該方法依賴邊緣提取效果，對于裂縫與背景過渡平滑的位置，邊緣提取可能會失敗，導(dǎo)致邊緣點對尋找失敗或錯誤；③P 方法，如圖4（e1）～（e6）所示，該方法對復(fù)雜背景中的缺陷提取效果一般，僅在背景較為純凈而且無太多噪聲干擾的情況下能取得較好的效果；④Unet ++方法，如圖4（f1）～（f6）所示，該方法基本能完全提取裂縫區(qū)域，主要得益于上百萬的樣本參數(shù)，即使這樣也引入了較多的假陽性區(qū)域；⑤本文提出的GLBPCS 方法，如圖4（g1）～（g6）所示，該方法能夠較好地檢測出裂縫的區(qū)域，而且不會引入過多假陽性，主要是因為改進(jìn)的LBP算法融合了全局與局部信息，加上修正算法中引入了萬有引力理論和圓度特征，使得裂縫特征能夠較好地被提取。

圖6給出了不同裂縫檢測方法的定量分析結(jié)果。由于真實值是人為標(biāo)記，存在主觀因素，因而3 個指標(biāo)Dc、Pr、Re≥0.5 即認(rèn)為該算法檢測效果較好。從圖中可以看到，本文提出方法的3 個指標(biāo)均超過0.6，檢測效果優(yōu)于其他方法。雖然其檢測速度慢于SEF 方法和WT方法，但是還是能達(dá)到1 s內(nèi)在線檢測的要求。

圖6 不同方法檢測結(jié)果的定量分析柱狀圖

3 結(jié) 語

本文提出的混凝土結(jié)構(gòu)裂縫自動分割方法，利用對數(shù)變換增強(qiáng)裂縫圖像的對比度，使得裂縫的暗部信息更加豐富；改進(jìn)了旋轉(zhuǎn)不變局部二值模式紋理特征，融合四方向的全局信息，生成裂縫顯著圖；最后，引入了萬有引力定律，以及灰度和圓度特征對裂縫分割結(jié)果進(jìn)行修正，提高了分割精度。該方法能夠在光照不均和復(fù)雜紋理的背景中分割出裂縫區(qū)域，具有較好的魯棒性，且滿足在線檢測要求。然而，裂縫區(qū)域附近的噪聲還是難以完全過濾，這是下一步需要改進(jìn)的地方。