基于卷積神經(jīng)網(wǎng)絡(luò)的橋梁裂縫識(shí)別研究

一、引言

本文針對(duì)橋梁裂縫圖像的特點(diǎn)，提出了一種融合卷積神經(jīng)網(wǎng)絡(luò)和傳統(tǒng)圖像處理的新型裂縫檢測(cè)與測(cè)量方法，實(shí)現(xiàn)裂縫高準(zhǔn)確度檢測(cè)及其參數(shù)的像素級(jí)測(cè)量。本文的主要貢獻(xiàn)：1.將語義分割用于圖像預(yù)處理，精確地去除外部環(huán)境干擾;2.調(diào)整了CNN網(wǎng)絡(luò)架構(gòu)和數(shù)據(jù)集構(gòu)成，可對(duì)圖像進(jìn)行準(zhǔn)確度更高的裂縫分類;3.用提取的特征圖進(jìn)行圖像重構(gòu)，用于像素級(jí)精度的裂縫長(zhǎng)度測(cè)量。

二、基于CNN的橋梁裂縫檢測(cè)

基于卷積神經(jīng)網(wǎng)絡(luò)的圖像分類和參數(shù)檢測(cè)流程如圖1所示。所處理的目標(biāo)圖像是由無人機(jī)拍攝的橋梁裂縫，由于橋梁所處的復(fù)雜環(huán)境和拍攝條件的限制，圖像中有許多冗余信息，所以首先將原始圖像通過全卷積網(wǎng)絡(luò)（FCN）進(jìn)行語義分割，獲得橋梁主體部分;將FCN處理得到的圖像切割成256×256的小圖像塊，用CNN進(jìn)行分類;最后對(duì)用特征圖擬合出的圖像進(jìn)行圖像處理，獲得裂縫參數(shù)（長(zhǎng)度）的預(yù)測(cè)數(shù)值。

（一）FCN語義分割

語義信息分割處理是用于計(jì)算機(jī)數(shù)字視覺的一個(gè)基礎(chǔ)處理任務(wù)，是一個(gè)像素?cái)?shù)量級(jí)的信息分類處理任務(wù)，F(xiàn)CN作為經(jīng)典語義分割網(wǎng)絡(luò)之一，可以很好地完成語義分割的任務(wù)[1]。

本文使用的橋梁裂縫的原始圖像由無人機(jī)拍攝而得，在無人機(jī)的拍攝過程中，由于無人機(jī)的搖晃、陽光照射和其他不確定性因素的干擾，原始圖像往往會(huì)包含行人、水面等冗余圖像，這些圖像有不同的顏色和紋理，會(huì)對(duì)以灰白色為主的裂縫圖像檢測(cè)造成干擾。因此對(duì)原始圖像進(jìn)行分類前，先將拍攝到的原始圖像應(yīng)用FCN進(jìn)行語義分割，提取出橋梁裂縫的完整圖像為感興趣區(qū)域，其他為背景區(qū)域。本文用感興趣區(qū)域的平均顏色填充至背景區(qū)域，在去除冗余圖像的同時(shí)，保證了圖像的完整性，不影響后期分類任務(wù)，如圖2所示。圖2（a）為原始圖像，有橋梁裂縫和鞋兩個(gè)對(duì)象，橋梁表面粗糙，而鞋的表面光滑且反光;圖2（b）為FCN分割后的結(jié)果，用藍(lán)色代表橋梁，綠色代表鞋;圖2（c）為填充后的圖像，用橋梁的平均顏色代替鞋的顏色，去掉了鞋的顏色和紋理。

（二）CNN裂縫圖像分類

應(yīng)用卷積cnn可以完成整個(gè)圖像數(shù)據(jù)分類處理任務(wù)，本文最終需要設(shè)計(jì)的應(yīng)用cnn卷積網(wǎng)絡(luò)層層結(jié)構(gòu)如表中圖3所示。在圖中，L1、L2、L3為卷積網(wǎng)絡(luò)層，包括卷積、池化和激活操作，其中，L3-1做卷積，L3-2做池化和激活;L4和L5為全連接層;L6為分類層;L7為線性回歸層，連接L3-1;L8為測(cè)量層。

使用適當(dāng)?shù)膱D像樣本作為訓(xùn)練樣本是提高分類準(zhǔn)確率的關(guān)鍵因素?？紤]到過小的圖像不能準(zhǔn)確反映裂縫的總體特征，而過大的圖像給計(jì)算機(jī)帶來太大的運(yùn)算負(fù)擔(dān)，選取適當(dāng)?shù)膱D像樣本大小十分重要。在相關(guān)文獻(xiàn)提出的裂縫檢測(cè)方法中，高正確率伴隨著高虛警率，即將非裂縫圖像分類為裂縫圖像的比例比較高，高虛警率不但降低了分類的準(zhǔn)確率，而且增加了測(cè)量的誤差。

為解決這個(gè)問題，本文采用了以下幾個(gè)措施：1.在收集圖像的過程中，有意收集了有各種干擾的圖像，在進(jìn)行分類前，不對(duì)這些干擾圖像進(jìn)行額外的預(yù)處理;2.對(duì)于一些過于細(xì)小的裂縫，手動(dòng)標(biāo)注為無裂縫標(biāo)簽;3.在小圖像分類完成、重新拼接成大圖像前，對(duì)裂縫圖像的比例和位置進(jìn)行統(tǒng)計(jì)，若分類為裂縫的小圖像占圖像總數(shù)比例過小或位置分布比較分散，則判定原始圖像為無裂縫圖像。

通過多次實(shí)驗(yàn)，得到以下結(jié)論：1.裂縫特征主要表現(xiàn)為線狀，高級(jí)特征和組合特征不明顯，不需要堆積過多卷積層;2. 增加特征圖數(shù)目顯著地加快了模型訓(xùn)練時(shí)的收斂速度;3.256×256像素的樣本圖像可以保證在準(zhǔn)確識(shí)別裂縫的基礎(chǔ)上，捕捉到裂縫的整體布局。因此，本文的分類任務(wù)最終采用了圖3分類分支所示結(jié)構(gòu)，并將預(yù)處理后的原始圖像切割成256×256像素的小圖像作為輸入樣本。

（三）裂縫長(zhǎng)度測(cè)量分析

CNN分類能夠?qū)υ紙D像進(jìn)行較高準(zhǔn)確率的分類，但不能直接得出具體的裂縫長(zhǎng)度值。一方面，裂縫長(zhǎng)度通過各種測(cè)量和計(jì)算得出，無法直觀地由CNN提取到的圖像特征進(jìn)行轉(zhuǎn)化;另一方面，原始圖像由于圖像多，每張圖像的質(zhì)量不同，數(shù)字圖像處理的預(yù)處理步驟和參數(shù)不適用于所有圖像，難以得到去除全部干擾的理想圖像，測(cè)量的準(zhǔn)確度不夠。針對(duì)以上問題，本文應(yīng)用線性回歸模型將CNN提取到的圖像特征圖擬合出理想圖像，取代傳統(tǒng)的圖像預(yù)處理過程，然后再對(duì)這些理想圖像進(jìn)行相應(yīng)的處理，可以測(cè)算出準(zhǔn)確高的裂縫長(zhǎng)度值。

線性回歸模型是一種形式簡(jiǎn)單且可解釋性強(qiáng)的模型，它通過屬性的線性組合進(jìn)行回歸分析，其基本的形式為：

（1）

式中，輸入的xi為裂縫特征圖（i=1，2，3...n），其中，n是卷積層輸出特征圖的數(shù)量;wi為特征圖權(quán)值矩陣，b為偏移值。

式（1）的輸出結(jié)果是一張用許多特征圖擬合出來的理想圖像，記為A。為了不損失精度，A應(yīng)該與xi的大小相同。顯然，A的每個(gè)像素點(diǎn)的值只與輸入特征圖xi對(duì)應(yīng)位置像素點(diǎn)的值有關(guān)，與xi的其他位置像素點(diǎn)的值無關(guān)。于是A可以表示為：

（2）

權(quán)值矩陣和偏移值訓(xùn)練前，要確定擬合的理想圖像是否足夠“好”。首先計(jì)算拍攝位置的單位像素代表的實(shí)際距離長(zhǎng)度，然后假設(shè)得到了理想的圖像A，對(duì)A進(jìn)行圖像細(xì)化并統(tǒng)計(jì)像素點(diǎn)個(gè)數(shù)，像素點(diǎn)個(gè)數(shù)與單位像素代表的實(shí)際距離相乘得到測(cè)量長(zhǎng)度，對(duì)A進(jìn)行圖像處理的過程記為函數(shù)F。測(cè)量得到裂縫的實(shí)際長(zhǎng)度，據(jù)此人為估計(jì)分割后小圖像的裂縫長(zhǎng)度并記為標(biāo)注長(zhǎng)度y，使用最小二乘法反饋學(xué)習(xí)權(quán)值矩陣和偏移值，損失函數(shù)表示為：

（3）

測(cè)量任務(wù)中，提取到第三層特征圖后，使用上述步驟代替后面的網(wǎng)絡(luò)結(jié)構(gòu)對(duì)裂縫進(jìn)行測(cè)量。

三、實(shí)驗(yàn)結(jié)果及分析

（一） CNN網(wǎng)絡(luò)訓(xùn)練及結(jié)果分析

首先，收集訓(xùn)練圖像樣本。采集完成后，將原始圖像裁剪成256×256像素分辨率的樣本圖像，手動(dòng)標(biāo)注為有裂縫（正樣本）和無裂縫（負(fù)樣本），打亂并分成訓(xùn)練集和驗(yàn)證集[2]，兩個(gè)集合的圖像沒有交集，訓(xùn)練集和驗(yàn)證集比例為4：1，且由同一批次的原始圖像產(chǎn)生。

其次，訓(xùn)練CNN網(wǎng)絡(luò)模型。設(shè)置訓(xùn)練集和驗(yàn)證集中的正負(fù)樣本比例為1：1，訓(xùn)練的超參數(shù)選擇如下：迭代數(shù)為10000次;學(xué)習(xí)率初始值設(shè)置為0.001，并隨著迭代次數(shù)進(jìn)行更新;為防止過擬合現(xiàn)象，丟失率（dropout）設(shè)為0.5[3]。實(shí)驗(yàn)運(yùn)行結(jié)果如圖4所示，圖4（a）為隨訓(xùn)練次數(shù)增加的訓(xùn)練集準(zhǔn)確度變化圖，準(zhǔn)確度總體趨勢(shì)穩(wěn)步上升，在9000次以后，CNN網(wǎng)絡(luò)收斂且穩(wěn)定;圖4（b）為損失函數(shù)值變化，損失函數(shù)值總體呈持續(xù)下降趨勢(shì)，最后接近0;圖4（c）為CNN網(wǎng)絡(luò)的驗(yàn)證集準(zhǔn)確度變化圖，總體趨勢(shì)與訓(xùn)練集準(zhǔn)確度相似，在7000次后收斂。通過多次實(shí)驗(yàn)驗(yàn)證，CNN網(wǎng)絡(luò)對(duì)裂縫分類的準(zhǔn)確率在95%以上，錯(cuò)誤率在3%以下。

（二） 參數(shù)測(cè)量結(jié)果

本文選用長(zhǎng)度參數(shù)來驗(yàn)證參數(shù)檢測(cè)算法的有效性。

第一步，標(biāo)定并計(jì)算拍攝位置的單位像素與實(shí)際距離的比例。標(biāo)定圖像使用無人機(jī)搭載的上置云臺(tái)進(jìn)行圖像樣本的拍攝，樣本的分辨率為5000×3000像素。從無人機(jī)控制界面可以取得無人機(jī)距測(cè)量面高度、云臺(tái)俯仰角度、云臺(tái)偏移角度等參數(shù)。

手動(dòng)測(cè)量獲得無人機(jī)到攝像頭的誤差為長(zhǎng)度為12cm、寬度為8cm、高度為17cm。實(shí)驗(yàn)過程中，分別操縱無人機(jī)距橋面1米、1.3米、1.5米、2米，攝像頭垂直向下，并測(cè)量拍攝范圍的實(shí)際長(zhǎng)度，得到數(shù)據(jù)如表1所示：

從表1可以得出，攝像頭到目標(biāo)距離和圖像實(shí)際長(zhǎng)度成比例，而拍攝圖像橫向分辨率固定為5000像素，由此可得，攝像頭到目標(biāo)距離和單位像素與實(shí)際長(zhǎng)度的比例，如表2所示。

圖像采集時(shí)，保持?jǐn)z像頭與目標(biāo)平行，利用比例尺原理，通過無人機(jī)高度、云臺(tái)俯仰角度、云臺(tái)偏移角度等參數(shù)可計(jì)算得出攝像頭到目標(biāo)的距離，從而得到當(dāng)前位置下單位像素代表的實(shí)際長(zhǎng)度，下文簡(jiǎn)稱當(dāng)前位置長(zhǎng)度。

第二步，由線性回歸模型得出圖像中像素點(diǎn)個(gè)數(shù)。線性回歸完成后，驗(yàn)證長(zhǎng)度精度并計(jì)算誤差。選取待測(cè)量裂縫圖像切割后的其中一張小圖像如圖5（a）所示， 圖5（b）為對(duì)應(yīng)圖5（a）的假設(shè)理想圖像，使用特征圖擬合的理想圖像可視化顯示為圖5（c）。顯然，圖5 （c）完整了提取了圖5（a）的裂縫整體形態(tài)，同時(shí)去除了干擾，細(xì)化后可以得到和圖5（b）接近的像素個(gè)數(shù)。

圖5? ? 理想圖像擬合

對(duì)原始圖像切割出來的所有小圖像裂縫長(zhǎng)度進(jìn)行累加，可以得到原始圖像的測(cè)量總長(zhǎng)度，經(jīng)多次實(shí)驗(yàn)統(tǒng)計(jì)后，測(cè)算的圖像裂縫長(zhǎng)度誤差均在5%以下，表3給出了部分測(cè)試圖像的人工實(shí)際測(cè)量裂縫長(zhǎng)度和本文方法測(cè)算裂縫長(zhǎng)度。由于橋面破損比較復(fù)雜，人工只測(cè)量了主要裂縫的長(zhǎng)度，測(cè)算長(zhǎng)度均比人工測(cè)量長(zhǎng)度長(zhǎng)，但誤差保持在5%以下。

四、結(jié)束語

本文設(shè)計(jì)CNN網(wǎng)絡(luò)對(duì)橋梁裂縫圖像進(jìn)行高精度識(shí)別，在此基礎(chǔ)上，用CNN網(wǎng)絡(luò)訓(xùn)練得到的特征圖擬合成理想圖，實(shí)現(xiàn)像素級(jí)的裂縫長(zhǎng)度測(cè)量。實(shí)驗(yàn)結(jié)果表明，CNN網(wǎng)絡(luò)分類準(zhǔn)確率在96%以上，錯(cuò)誤率在3%以下;CNN網(wǎng)絡(luò)對(duì)裂縫長(zhǎng)度測(cè)量誤差在5%以內(nèi)，在長(zhǎng)度測(cè)量可接受的誤差范圍之內(nèi)。

作者單位：賈瀟宇? ? 廣東農(nóng)工商職業(yè)技術(shù)學(xué)院

參考文獻(xiàn)

[1] 田萱，王亮，丁琪.基于深度學(xué)習(xí)的圖像語義分割方法綜述[J].軟件學(xué)報(bào)，2019，30（02）：440-468.

[2] 趙志宏，楊紹普，馬增強(qiáng).基于卷積神經(jīng)網(wǎng)絡(luò)LeNet-5的車牌字符識(shí)別研究[J].系統(tǒng)仿真學(xué)報(bào)，2010，22（03）：638-641.

[3] 陳超逸. 基于深度強(qiáng)化學(xué)習(xí)的提質(zhì)增效多目標(biāo)模型建模及優(yōu)化方法研究[D].廣西大學(xué)，2021.

[4] 賈瀟宇. 基于卷積神經(jīng)網(wǎng)絡(luò)的橋梁裂縫識(shí)別與測(cè)量方法研究[D]. 廣西科技大學(xué)， 2019.