融合注意力機制和區(qū)域生長的裂縫識別算法研究

凌小康,詹 杰,麻建飛

(1.中水珠江規(guī)劃勘測設(shè)計有限公司,廣東 廣州 510610;2.北京交通大學土木建筑工程學院,北京 100044)

裂縫是指結(jié)構(gòu)在荷載或溫度作用下發(fā)生開裂的現(xiàn)象[1]。結(jié)構(gòu)開裂是造成如交通、水利水電、建筑等工程安全隱患的直接原因,對工程的建設(shè)、運維產(chǎn)生不利影響[2-3]。如混凝土大壩病害[4-5]、隧洞襯砌病害[6-7]都與結(jié)構(gòu)開裂有關(guān)。因此,開展裂縫識別方法研究對掌握結(jié)構(gòu)損傷狀態(tài),科學地評價結(jié)構(gòu)在施工運維過程中安全性具有重要的意義。

目前,工程中普遍采用的裂縫識別方法仍然是人工檢測。人工檢測具有很大的局限性,在面對大區(qū)域裂縫識別效率低下、主觀性強,而且在如道路、大壩等特殊建構(gòu)筑物的檢測工作過程中存在安全隱患[8]。近年來,隨著機器視覺和圖像處理技術(shù)的不斷發(fā)展,利用數(shù)字圖像進行裂縫識別已經(jīng)成為裂縫檢測領(lǐng)域常用的方法。與傳統(tǒng)的人工檢測方法相比,該方法具有效率高、準確度高、穩(wěn)定等優(yōu)點,可以實現(xiàn)裂縫及裂縫特征參數(shù)地自動化識別[9]。

利用數(shù)字圖像進行裂縫識別是根據(jù)圖像中裂縫特征信息對裂縫進行識別和提取的一種方法[10]。國內(nèi)外學者們開展了大量研究工作,可分為兩大類。一類是基于裂縫圖像的特征描述的裂縫識別方法,這類方法是基于裂縫圖像的各類特征進行裂縫識別,常用的有閾值分割[11]、邊緣檢測[12]、最大類間差法[13]等方法,此類方法對簡單的裂縫圖像有較好地識別精度,但是對圖像背景信息的魯棒性不強,當圖像背景信息較復(fù)雜時識別精度易受影響[14]。另一類是基于深度學習的裂縫識別方法,這類方法是基于大量裂縫數(shù)據(jù)集學習的裂縫識別方法,常用的方法有機器學習[15]、神經(jīng)網(wǎng)絡(luò)[16]、深度學習[17]等方法。此類方法不僅需要采集大量裂縫的原始數(shù)據(jù)集,而且需要對大量原始數(shù)據(jù)集需要逐一進行標記工作,這就極大地降低了該方法的普適性。因此,基于裂縫圖像的特征描述進行裂縫識別仍然是主要的研究方向,區(qū)域生長方法具有較強的魯棒性和較高的識別效率,針對裂縫識別這種高精度區(qū)域識別具有較好的效果。但是目前在裂縫識別應(yīng)用中還存在以下2個關(guān)鍵問題沒有得到很好解決:一是區(qū)域生長方法需要人為選定生長點,無法滿足自動化檢測的需求;二是區(qū)域生長方法的識別結(jié)果受判斷閾值的影響,針對復(fù)雜背景的圖像無法保持較高的識別精度。

本文針對裂縫圖像的識別問題,提出了一種融合注意力機制和區(qū)域生長的裂縫識別方法,通過區(qū)域生長方法獲取不同閾值下的裂縫結(jié)果,引入注意力機制,根據(jù)動態(tài)閾值下裂縫識別結(jié)果為圖像各像素點賦予不同的權(quán)重系數(shù),得到較準確的裂縫識別結(jié)果,然后通過裂縫骨架長度和裂縫區(qū)域所占面積確定裂縫的特征信息,即裂縫長度和裂縫平均寬度。最后通過現(xiàn)場裂縫圖像驗證了該方法的可行性和有效性,為裂縫識別提供了一種新的方法。

1 裂縫識別算法研究

1.1 區(qū)域生長方法

區(qū)域生長方法是指將圖像上具有相似性質(zhì)的像素點合并到同一區(qū)域中,是計算機圖形學的一種方法[18]。對于某一個區(qū)域,首先需要在區(qū)域內(nèi)指定生長點作為區(qū)域生長的起點,然后按照一定的搜索原則進行搜索,將滿足搜索原則的點合并到生長點這個區(qū)域中,最終得到與生長點具有相似性質(zhì)的一個區(qū)域。區(qū)域生長方法相較于傳統(tǒng)的邊緣檢測、閾值分割等方法具有更強的魯棒性。區(qū)域生長方法原理見圖1。

a)生長點

1.2 注意力機制

注意力機制是人工神經(jīng)網(wǎng)絡(luò)中模仿人類認知注意力的方法。在人類認知注意力中,人類的注意力是有限的,不可能關(guān)注到所有信息,而是有選擇地關(guān)注一部分人類認為重要的信息,這種機制就是注意力機制[19]。注意力機制主要有2個關(guān)鍵的步驟:一個是判斷需要重點關(guān)注哪一部分信息,另一個是將有限的注意力處理這部分關(guān)鍵信息。注意力機制原理見圖2。

圖2 注意力機制原理

1.3 裂縫識別算法流程設(shè)計

裂縫區(qū)域與圖像背景區(qū)域存在較大的灰度值差異,見圖3。從圖3c、3d中可以看出,大部分裂縫區(qū)域灰度值在50以下,相較于背景區(qū)域大于100的灰度值存在較大的差異。因此,只要保證生長點位于裂縫區(qū)域內(nèi),就能通過區(qū)域生長方法較完整地識別出整條裂縫。但是從圖3d中可以看出背景區(qū)域也存在灰度值極小的像素點,從而影響裂縫識別精度。所以,本文引入注意力機制對區(qū)域生長識別出的裂縫結(jié)果進行處理,得到較準確的裂縫識別結(jié)果。

a)裂縫灰度圖像 b)圖像子區(qū)

基于區(qū)域生長方法和注意力機制,提出并在Matlab中編程實現(xiàn)了裂縫識別算法。裂縫檢測程序識別流程主要包括圖像讀取、圖像預(yù)處理、裂縫識別、結(jié)果顯示4個部分,見圖4。

圖4 裂縫識別算法流程

圖像的預(yù)處理是指對采集到的圖像進行灰度化處理的過程。通常采集到的圖像是RGB三通道圖像,需要通過圖像灰度化處理將RGB圖像轉(zhuǎn)為灰度圖像,在保留裂縫信息的基礎(chǔ)上,可以簡化矩陣,提高裂縫識別算法的效率?；叶然幚硪娛?1):

Gray=0.299R+0.587G+0.114B

(1)

式中 Gray——圖像灰度值;R——圖像在紅色通道的值;G——圖像在綠色通道的值;B——圖像在藍色通道的值。

裂縫識別是指對預(yù)處理過后的圖像進行裂縫識別的過程。采用區(qū)域生長方法,獲取動態(tài)閾值下裂縫識別結(jié)果,引入注意力機制,根據(jù)動態(tài)閾值下識別結(jié)果為圖像各像素點賦予不同的權(quán)重系數(shù),經(jīng)過一次閾值判斷,得到較為準確的裂縫識別結(jié)果。

結(jié)果顯示模塊是以原始彩色圖像為底圖,設(shè)置識別出裂縫區(qū)域的顯示顏色和透明度,將識別出的裂縫區(qū)域和原始彩色圖像顯示在同一個圖像上。

2 裂縫識別算法

2.1 生長點的確定

傳統(tǒng)的區(qū)域生長方法需要人工選定生長點,無法滿足自動化檢測的需求。圖像中裂縫區(qū)域的灰度值與背景區(qū)域的灰度值會有差異,并且裂縫區(qū)域通常是連續(xù)的。因此,確定的生長點就需要在裂縫區(qū)域內(nèi),再根據(jù)區(qū)域生長方法將生長點周圍具有相似性質(zhì)的區(qū)域識別出來。

具體的生長點確定步驟如下:首先將預(yù)處理后圖像中灰度較低的點識別出來,記錄其灰度值和位置信息。該步驟的關(guān)鍵在于確定在裂縫區(qū)域內(nèi)的生長點和確定合適的生長點數(shù)量。如果生長點數(shù)量過少,就會導致所有生長點位于圖像背景區(qū)域中,不能正確識別出圖像裂縫信息;如果生長點數(shù)量過多,就會影響區(qū)域生長的識別效率。因此確定合適的生長點數(shù)量是準確識別裂縫的關(guān)鍵因素之一,通常工業(yè)相機采集的圖像分辨率為1 600×1 200 pixel,共216萬個像素點,在滿足裂縫識別準確度的前提下,盡可能地保證裂縫識別的效率。不同生長點數(shù)量下裂縫識別的準確度和時間見圖5。從圖中看出生長點數(shù)量越多,裂縫識別的準確度先增加,然后在一定的范圍內(nèi)波動;而生長點數(shù)量越多,其裂縫識別的時間越長。經(jīng)過比選最終確定生長點數(shù)量為像素點總數(shù)的0.01%。

圖5 不同生長點數(shù)量下裂縫識別結(jié)果

2.2 搜索方法

搜索方法是指在確定生長點后,對生長點周圍區(qū)域的搜索方法。常用的區(qū)域生長搜索方法有2種:四鄰域搜索和八鄰域搜索,見圖6。其中四鄰域就是搜索某個點的4個方向(上、下、左、右)4個點,八領(lǐng)域就是搜素某個點周圍所有方向(上、下、左、右、左上、右上、右下、左下)8個點。

FTFTATFTF

圖7為不同搜索方法的裂縫識別結(jié)果。從圖7b中可以看出,四鄰域搜索方法下裂縫識別的結(jié)果存在誤差,即圖中紅色區(qū)域部分未能識別為裂縫區(qū)域;而八鄰域搜索方法下裂縫識別的結(jié)果較四鄰域搜索方法下裂縫識別結(jié)果更加完整,表明八鄰域搜索方法具有更好的魯棒性,因此,本文采用八鄰域搜索方法。

a)裂縫區(qū)域

2.3 區(qū)域生長判斷準則

(2)

(3)

(4)

2.4 注意力機制

根據(jù)區(qū)域生長原則可知,動態(tài)閾值的值越小時,根據(jù)區(qū)域生長得到的裂縫信息越全面,同時背景區(qū)域的誤識別信息也越多,因此本文建立多個動態(tài)閾值識別裂縫信息,然后通過注意力機制處理背景區(qū)域誤識別信息,提高裂縫區(qū)域識別精度。

具體步驟如下:采用不同的動態(tài)閾值進行區(qū)域生長計算,獲得不同動態(tài)閾值下裂縫區(qū)域的識別結(jié)果(二值化矩陣),以動態(tài)閾值取值最小時識別出的裂縫區(qū)域為初始裂縫區(qū)域,獲取初始裂縫的水平坐標范圍和豎直坐標范圍,即初始裂縫再圖像中的范圍Z,在這個范圍內(nèi)如果同時被所有動態(tài)閾值識別為裂縫的位置賦予最高的權(quán)重,即認為這個位置就是裂縫位置;但是如果只被某些動態(tài)閾值識別為裂縫的位置,那么就相應(yīng)降低這個權(quán)重值;如果這個位置在所有動態(tài)閾值下都被識別為非裂縫區(qū)域,那么對該位置賦予最低的權(quán)重,權(quán)重取值見式(4)。最后,將權(quán)重系數(shù)矩陣乘以圖像灰度矩陣,然后通過一次閾值判斷,當像素值小于閾值時,判斷其為最終裂縫區(qū)域,當像素值大于閾值時,判斷其為非裂縫區(qū)域,注意力機制可表示為式(5):

(5)

式中w——權(quán)重系數(shù)。

3 裂縫識別結(jié)果及分析

3.1 裂縫識別結(jié)果

根據(jù)本文提出的裂縫識別方法,選取現(xiàn)場裂縫圖像進行裂縫提取,現(xiàn)場裂縫圖像見圖8。不同動態(tài)閾值下裂縫的提取結(jié)果見圖9,可以看出動態(tài)閾值的值越小時,根據(jù)區(qū)域生長得到的裂縫信息越全面,同時背景區(qū)域的誤識別信息也越多。圖10為裂縫的最終識別結(jié)果,可以看出原始圖像中絕大部分裂縫信息都被準確地識別。

圖8 原始裂縫圖像

a)動態(tài)閾值=0.02

圖10 裂縫最終識別結(jié)果

3.2 裂縫識別結(jié)果分析

獲得裂縫最終識別結(jié)果后(二值圖),通過結(jié)果顯示模塊,以原始裂縫圖像為底圖,設(shè)置識別出的裂縫區(qū)域顯示顏色為紅色,透明度為60%,將識別出的裂縫區(qū)域和原始裂縫圖像顯示在同一個圖像上,見圖11。從圖中可以看出,裂縫識別的結(jié)果較為準確,原始裂縫圖像中的一條主裂縫和一條次裂縫都被準確地識別出來,但是在裂縫的端部區(qū)域,存在小區(qū)域的裂縫未被識別,綜合來看,裂縫識別的結(jié)果較為理想。選擇不同背景和不同裂縫形狀的圖像進行裂縫識別,識別結(jié)果見圖12。可以看出,在不同背景和不同裂縫形狀下,本文算法的識別結(jié)果均較為準確,證明了本文算法的魯棒性。

圖11 裂縫結(jié)果顯示

a)裂縫1識別結(jié)果

為了定性地描述裂縫信息,在獲得裂縫識別結(jié)果后,計算出裂縫的特征信息(裂縫長度和裂縫平均寬度),其中裂縫長度確定方法為:提取出裂縫的骨架線,以骨架線所占的像素個數(shù)為裂縫長度。裂縫平均寬度由裂縫區(qū)域所占的像素個數(shù)除以裂縫長度確定。裂縫特征信息見表1。從表1中可以看出,本文提取裂縫的長度和平均寬度與實際結(jié)果相差不大,誤差在10%左右,基本滿足工程上裂縫識別的要求,表明本文融合注意力機制和區(qū)域生長的裂縫識別方法的準確性和可行性。

表1 裂縫特征信息

4 結(jié)論

裂縫識別是一個復(fù)雜的圖像處理問題。本文提出了一種融合注意力機制和區(qū)域生長的裂縫識別方法,以不同的動態(tài)閾值進行區(qū)域生長計算,獲得不同動態(tài)閾值下裂縫識別結(jié)果,引入注意力機制,賦予裂縫區(qū)域更大的權(quán)重系數(shù),最終得到較準確的裂縫識別結(jié)果。主要結(jié)論如下:①針對區(qū)域生長中不同閾值對裂縫識別精度的影響,引入注意力機制,融合多組閾值下裂縫識別結(jié)果,結(jié)果表明,融合注意力機制和區(qū)域生長的裂縫識別方法具有較強的魯棒性和識別準確度;②現(xiàn)場圖像裂縫識別結(jié)果表明,本文提出的融合注意力機制和區(qū)域生長的裂縫識別方法對較復(fù)雜的裂縫圖像仍有較強的識別能力,且裂縫識別精度可靠,可為工程健康監(jiān)測提供支持。