基于轉(zhuǎn)置卷積神經(jīng)網(wǎng)絡(luò)的路面裂縫識別算法

劉奇 于斌 孟祥成 張曉宇

(東南大學(xué) 交通學(xué)院,江蘇 南京 211189)

路面在長時間高負(fù)荷使用過程中，表面的多種病害形式會逐漸顯現(xiàn)(如裂縫、車轍、坑槽等)[1]。裂縫是最常見的路面破損形式之一[2]，路面裂縫檢測是評價路面使用狀況和防止路面產(chǎn)生更嚴(yán)重病害的關(guān)鍵。隨著檢測設(shè)備的升級和檢測技術(shù)的發(fā)展，自動或半自動檢測方法逐漸取代了人工檢測[3- 4]；但是，現(xiàn)階段自動檢測算法的精確性和魯棒性瓶頸使得檢測系統(tǒng)的識別模塊無法擺脫人工的監(jiān)督和復(fù)核[5]。傳統(tǒng)的路面圖像裂縫識別算法主要是基于圖形學(xué)或統(tǒng)計學(xué)的圖像處理算法[6]；中值轉(zhuǎn)換裂縫識別方法處理過程較為復(fù)雜，當(dāng)對大批量路面圖像進(jìn)行處理時，對算力要求較高[7]；最小代價路徑搜索裂縫識別算法，準(zhǔn)確性高，但易受外部光照條件的影響[8- 9]。

近年來，隨著卷積神經(jīng)網(wǎng)絡(luò)(CNN)的崛起，深度學(xué)習(xí)方法在裂縫圖像識別中的應(yīng)用發(fā)展迅速。傳統(tǒng)的識別算法涵蓋小波變換、圖像閾值、手工特征分類、邊緣檢測、最短路徑等方法，深度學(xué)習(xí)方法則涉及機(jī)器視覺的圖像分類、圖像分割、目標(biāo)檢測三大任務(wù)[10]。自Krizhevsky等[11]提出Alex-Net以來，CNN在圖像分類領(lǐng)域的應(yīng)用已日漸成熟。Cha等[12- 13]研究發(fā)現(xiàn)，與傳統(tǒng)的裂縫自動識別算法相比，CNN具有良好的穩(wěn)定性。Doranfshan等[5]將神經(jīng)網(wǎng)絡(luò)方法與邊緣檢測方法進(jìn)行了對比，證明了CNN在圖像處理中具有明顯的優(yōu)越性。但由于路面(寬度在3.5～4 m)圖像尺度較大，通常將原始圖像裁剪為較小的子塊來減少運(yùn)算量，提升CNN網(wǎng)絡(luò)計算效率和經(jīng)濟(jì)性。狄亞平[14]首先對裂縫圖像閥值分割進(jìn)行二值化，然后對圖像標(biāo)注連通域，并求出連通域矩形參數(shù)，去噪處理后采用Alex-Net進(jìn)行訓(xùn)練識別。常見的目標(biāo)檢測模型有多目標(biāo)卷積神經(jīng)網(wǎng)絡(luò)(SSD)、快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(Faster R-CNN)和YOLO卷積神經(jīng)網(wǎng)絡(luò)，而為了更加精確地描述裂縫信息，路面病害圖像識別領(lǐng)域多采用具有像素級精度的圖像分割方法。為了實現(xiàn)端到端的網(wǎng)絡(luò)輸入/輸出，一般存在兩種選擇：全程不降采樣的網(wǎng)絡(luò)結(jié)構(gòu)、降采樣-升采樣結(jié)合的網(wǎng)絡(luò)結(jié)構(gòu)。前者的代表是Zhang等[15]提出的CrackNet系列模型，該模型取消了池化層以保證特征圖全程尺寸不變；后者的代表是全連接卷積網(wǎng)絡(luò)(FCN)[16- 17]和U-Net[18]。為提升裂縫圖像識別效率和節(jié)約算力，沙愛民等[19]構(gòu)建了3個CNN模型分別用于病害識別、裂縫特征提取和坑槽特征提取。Yu等[20]提出了一種兩步卷積神經(jīng)網(wǎng)絡(luò)分類-分割結(jié)構(gòu)模型，在保證精度的同時提升了計算效率。孫朝云等[21]提出了一種由特征提取網(wǎng)絡(luò)和上采樣分割網(wǎng)絡(luò)組成的卷積神經(jīng)網(wǎng)絡(luò)；特征提取網(wǎng)絡(luò)對裂縫形態(tài)特征進(jìn)行提取，上采樣分割網(wǎng)絡(luò)通過聯(lián)合多種尺度下的神經(jīng)網(wǎng)絡(luò)特征圖，實現(xiàn)裂縫圖像的分割。上述方法可以較為準(zhǔn)確地提取路面圖像中的裂縫信息，但得到的語義分割圖像仍存在裂縫不連續(xù)、存在較多斷點、單條裂縫部分缺失等問題。

在理想情況下，每個裂縫目標(biāo)都應(yīng)該是獨立的連續(xù)個體，分割結(jié)果連續(xù)性的丟失，說明網(wǎng)絡(luò)中僅注重每個像素的鄰近區(qū)域，而對較遠(yuǎn)處的關(guān)聯(lián)像素沒有產(chǎn)生應(yīng)有的響應(yīng)。故此，本研究提出一種層間特征融合策略，以實現(xiàn)對語義分割結(jié)果的優(yōu)化；該策略利用分類網(wǎng)絡(luò)的中間層(以抽象程度較高的層為主)信息，通過轉(zhuǎn)置卷積網(wǎng)絡(luò)的方法，將感受野較大的高層信息與常規(guī)方法進(jìn)行結(jié)合，使得網(wǎng)絡(luò)對裂縫目標(biāo)的連續(xù)性特征更加敏感，彌補(bǔ)分割網(wǎng)絡(luò)對高層特征重視不足的缺陷。

1 算法流程概述

裂縫像素占路面圖像總像素的比例很小，采用CNN進(jìn)行圖像分割時，會因為不含裂縫的空白部分消耗了絕大部分的運(yùn)算資源而降低分割效率。因此，可以將路面圖像首先分為若干個小區(qū)域，利用分類方法，快速拋棄不含裂縫的子塊，對于判定含裂縫的子塊，再進(jìn)行分割，這樣可以降低對硬件性能的要求，并大幅提升分割訓(xùn)練速度。同時為提升語義分割圖像中裂縫的連續(xù)性和精度，通過轉(zhuǎn)置卷積網(wǎng)絡(luò)進(jìn)行層間特征融合后輸出結(jié)果。三階段網(wǎng)絡(luò)系統(tǒng)的構(gòu)建過程如圖1所示。首先，采集路面圖像并進(jìn)行預(yù)處理[22]；然后，對用于區(qū)域判定的CNN-Ⅰ和用于裂縫提取的CNN-Ⅱ分別進(jìn)行訓(xùn)練。所用數(shù)據(jù)集具有相同的樣本值，而兩者采用的標(biāo)簽不同，CNN-Ⅰ采用長度為1的0/1分類標(biāo)簽，CNN-Ⅱ采用尺寸與樣本相同的像素級標(biāo)簽。另外，還選用了Crack500和裂縫森林?jǐn)?shù)據(jù)集(CFD)兩個外源圖像集對模型進(jìn)行訓(xùn)練，其中Crack500是一個包括500張路面裂縫圖像(2 000像素×1 500像素)的數(shù)據(jù)集，CFD數(shù)據(jù)集包括118張480像素×320像素的路面圖像。將訓(xùn)練完成的網(wǎng)絡(luò)模型放入系統(tǒng)，預(yù)處理后的路面圖像，子塊輸入CNN-Ⅰ，進(jìn)行有或無裂縫的判定，被判定為無裂縫的子塊直接被判定為全0標(biāo)簽，被判定為有裂縫的子塊送入CNN-Ⅱ進(jìn)行分割，取CNN-Ⅰ的池化層進(jìn)行轉(zhuǎn)置卷積融合，最后與CNN-Ⅱ的輸出層合并構(gòu)建轉(zhuǎn)置卷積網(wǎng)絡(luò)CNN-T，算法流程如圖1所示。

2 構(gòu)建分類-分割網(wǎng)絡(luò)

2.1 用于區(qū)域判定的分類網(wǎng)絡(luò)CNN-Ⅰ

文中的分類網(wǎng)絡(luò)CNN-Ⅰ是由VGG-16根據(jù)任務(wù)特性經(jīng)簡化和改進(jìn)建立的。VGGNet[23]由牛津大學(xué)的視覺幾何組(Visual Geometry Group)和Google DeepMind公司的研究員共同提出，包括A、A-LRN、B、C、D和E共6種網(wǎng)絡(luò)結(jié)構(gòu)，其中D網(wǎng)絡(luò)是在圖像特征提取中應(yīng)用最為廣泛的VGG-16，其擁有5段卷積，每段卷積內(nèi)有2～3個卷積層，同時每段的最后一個卷積層都會連接一個最大池化層用來降采樣。每段內(nèi)的卷積核數(shù)量保持一致，越深的段卷積核數(shù)量越多，依次為64、128、256、512和512。路面裂縫目標(biāo)不具有復(fù)雜的高級特征，VGG-16較深的網(wǎng)絡(luò)結(jié)構(gòu)不能對特征的提取產(chǎn)生更多幫助，反而會拖慢計算時間。故此，對VGG-16模型進(jìn)行簡化和改進(jìn)，形成了用于區(qū)域判定的分類網(wǎng)絡(luò)CNN-Ⅰ。

圖2為VGG-16和CNN-Ⅰ的結(jié)構(gòu)示意圖，其中所做的改進(jìn)如下：

(1)保留了5段卷積結(jié)構(gòu)，去掉了每個卷積段內(nèi)重復(fù)的3*3卷積層，使得網(wǎng)絡(luò)的層數(shù)(卷積層+全連接層)由16變?yōu)?。

(2)減少了各層的卷積核數(shù)量；VGG-16的5個卷積段內(nèi)卷積層的卷積核數(shù)量分別為64、128、256、512和512，CNN-Ⅰ將5個卷積段內(nèi)的卷積核數(shù)量減少為16、32、32、32和64。

(3)減少了全連接層尺寸；VGG-16中的3個全連接層尺寸分別為4 096、4 096和1 000，CNN-Ⅰ將3個全連接層的尺寸改為128、128和1。

(4)針對二分類任務(wù)，將最后一層的激活函數(shù)由softmax改為sigmoid。

2.2 用于裂縫提取的分割網(wǎng)絡(luò)CNN-Ⅱ

CNN-Ⅱ是一個端到端網(wǎng)絡(luò)，取消了降采樣以保持由輸入到輸出的全程特征圖尺寸不變。這是一種包含5個卷積層的全卷積網(wǎng)絡(luò)，其中前4層使用了遞增的卷積核，而第5層為1×1卷積層，用以代替全連接層。CNN-Ⅱ的網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

隨著降采樣的進(jìn)行，卷積核的感受區(qū)域在逐漸增大，通常CNN結(jié)構(gòu)的各層卷積核尺寸從淺到深是逐漸減小的。但在本研究中，采用了完全相反的設(shè)計：4層卷積層的卷積核尺寸由淺到深分別為(3，3)、(5，5)、(7，7)、(9，9)。由于池化層的取消，為了由淺到深地學(xué)習(xí)到更加抽象的特征，卷積核需自行擴(kuò)大覆蓋像素對應(yīng)的輸入層的窗口。CNN-Ⅱ的另一個特點是用1×1卷積層代替了全連接層。這樣做具有以下優(yōu)點：一是此操作大大減少了參數(shù)數(shù)量，使得計算時間更短；二是輸入圖像的尺寸可以是任意的。

2.3 模型訓(xùn)練與運(yùn)行效果

圖4為前兩階段分類-分割網(wǎng)絡(luò)的處理過程示意圖。CNN-Ⅰ模型訓(xùn)練的損失函數(shù)為二值交叉熵，選用SGD優(yōu)化器。采用recall(召回率)和precision(精確度)兩個重要指標(biāo)來表征模型的精度，召回率和精確度按下式計算：

(1)

(2)

(3)

式中:true-positive表示把含裂縫樣本判為含裂縫樣本的數(shù)目；true-negative表示把不含裂縫樣本判為不含裂縫樣本的數(shù)目；false-negative表示把含裂縫樣本錯判為不含裂縫樣本的數(shù)目；false-positive

表示把不含裂縫樣本錯判為含裂縫樣本的數(shù)目。F-1表示一個常用的平衡精確度和召回率的系統(tǒng)評測指標(biāo)。

當(dāng)召回率設(shè)置為0.95時，閾值δ=0.003 152，同時精確度為0.496 5。將VGG-16模型與CNN-Ⅰ模型在相同平臺進(jìn)行測試，其模型損失函數(shù)值隨迭代次數(shù)的變化如圖5所示。

圖5 CNN-Ⅰ與VGG-16收斂速率的對比Fig.5 Comparison of convergence rate between CNN-Ⅰ and VGG-16

由圖5可以看出，由于特征提取器的減少，CNN-Ⅰ模型需要更多的迭代次數(shù)才能達(dá)到最優(yōu)表現(xiàn)。但同時，由于參數(shù)量的壓縮，CNN-Ⅰ單次訓(xùn)練用時減少至VGG-16用時的1/24。因此，CNN-Ⅰ的計算耗時仍遠(yuǎn)小于VGG-16。在CNN-Ⅱ的訓(xùn)練中，損失函數(shù)采用二值交叉熵，優(yōu)化器采用隨機(jī)梯度下降。CNN-Ⅱ的召回率為0.77，精確度為0.78。結(jié)合CNN-Ⅰ和CNN-Ⅱ的訓(xùn)練結(jié)果得出分類-分割網(wǎng)絡(luò)的性能指標(biāo)，并與CrackNet進(jìn)行對比，如表1所示。

表1 分類-分割網(wǎng)絡(luò)模型與CrackNet的性能指標(biāo)Table 1 Performance index of classification-segmentation network and crackNet

3 分類-分割網(wǎng)絡(luò)的層間特征融合優(yōu)化

本研究提出一種層間特征融合策略，采用轉(zhuǎn)置卷積神經(jīng)網(wǎng)絡(luò)的方式，對分類-分割網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行優(yōu)化，以提升語義分割結(jié)果的精確度。

3.1 基于轉(zhuǎn)置神經(jīng)網(wǎng)絡(luò)的多層特征融合策略

區(qū)域判定是語義分割的一項子任務(wù)，用于區(qū)域判定的分類網(wǎng)絡(luò)CNN-Ⅰ總共有5個卷積+池化單元的輸出特征圖，5個卷積層的參數(shù)量分別為160、4 640、9 248、9 248和18 496。這些參數(shù)中由淺到深包含了大量從底層到高層的信息，最后全連接網(wǎng)絡(luò)將其壓縮為1個標(biāo)簽，中間層所含的大量特征被丟棄了。本研究通過轉(zhuǎn)置卷積神經(jīng)網(wǎng)絡(luò)，將某些中間層的信息加以整合，作為分割網(wǎng)絡(luò)輸出結(jié)果的補(bǔ)充。

感受野的值可以用來大致判斷每一層的抽象層次。感受野可按照式(4)逐層計算：

Fi=(Fi+1-1)×Si+Ki

(4)

式中,Fi是第i層在前一層的感受野，F(xiàn)i+1是第i+1層在前一層的感受野，Si是第i個卷積或池化的步長，Ki是第i個卷積核或池化核的大小。

通過計算得CNN-Ⅰ 最后一個池化層的感受野為94，CNN-Ⅱ 最后一層Conv 5的輸出特征圖在各層的輸入上的感受野為25。對比可見，CNN-Ⅰ同為5層卷積結(jié)構(gòu)，CNN-Ⅰ的感受野要遠(yuǎn)大于CNN-Ⅱ。CNN-Ⅰ中的感受野提升主要來自池化層，以2為步長，(2，2)為池化核的池化層，每層即可將最終感受野提升1倍；相比之下，(3，3)卷積層對感受野的提升作用是較小的。對于CNN-Ⅱ來說，為了保證全程特征圖尺寸的一致，取消了池化層，這也是CNN-Ⅱ感受野較小的主要原因。如前所述，為了盡量增大高層卷積核的感受區(qū)域，CNN-Ⅱ中采用了逐漸增大的卷積核尺寸，前4層的卷積核大小分別為(3，3)、(5，5)、(7，7)、(9，9)。相比之下，如果采用4層(3，3)卷積核的卷積層，其最終感受野將只有9。但即使如此，CNN-Ⅱ的感受野仍偏小。

由于CNN-Ⅱ感受野的限制，網(wǎng)絡(luò)對連續(xù)性特征的捕捉能力成為CNN-Ⅱ性能的短板，表現(xiàn)為裂縫的斷裂較多、不成整體。由于CNN-Ⅰ較高層的感受野大，其特征圖可通過升采樣與CNN-Ⅱ的輸出結(jié)果融合。

3.2 小數(shù)步長卷積與升采樣

轉(zhuǎn)置卷積可以被認(rèn)為是一種特殊的卷積操作。在卷積層中，步長是決定輸出升降維的關(guān)鍵，當(dāng)步長為1時，輸入與輸出尺寸基本保持不變，當(dāng)步長大于1時，輸出降維，體現(xiàn)為降采樣。理論上，當(dāng)步長小于1時，可實現(xiàn)升采樣，但一般意義上，卷積核的步長應(yīng)為大于等于1的正數(shù)。實現(xiàn)升采樣的卷積被稱為轉(zhuǎn)置卷積，故轉(zhuǎn)置卷積也被叫做小數(shù)步長卷積，步長為1/2的轉(zhuǎn)置卷積層升采樣過程如圖6所示。

圖6 步長為1/2的轉(zhuǎn)置卷積層升采樣Fig.6 Transposed convolution layer up sampling with 1/2 step size

由圖6可知，通過在輸入圖元素之間添0可實現(xiàn)小數(shù)步長的轉(zhuǎn)置卷積。其等價于用(3，3)的卷積核，以1為步長，在輸入間插入1行0，在外側(cè)增加2步長的填充。小數(shù)步長卷積的輸入輸出尺寸按式(5)計算：

(5)

式中：s′=1/s,p′=k-1,k′=k,o′、i′、s′、p′、k′分別為轉(zhuǎn)置卷積的輸出尺寸、輸入尺寸、步長、填充、卷積核大小，s和k分別為卷積的步長和卷積核大小。

3.3 轉(zhuǎn)置卷積網(wǎng)絡(luò)設(shè)計

表2 轉(zhuǎn)置卷積超參數(shù)Table 2 Hyper-parameters of transposed CNN

由此可以構(gòu)建3個簡單的轉(zhuǎn)置卷積網(wǎng)絡(luò)：CNN-T-Ⅲ、CNN-T-Ⅳ、CNN-T-Ⅴ，分別表示由CNN-Ⅰ的第3、4、5個池化層的輸出特征圖進(jìn)行轉(zhuǎn)置卷積構(gòu)建的網(wǎng)絡(luò)，如圖7所示。

圖7 轉(zhuǎn)置卷積網(wǎng)絡(luò)Fig.7 Transpose CNN

以CNN-T-Ⅲ為例，Pool 3層的輸出層作為該網(wǎng)絡(luò)的輸入，其通道數(shù)為32，因為CNN-Ⅱ的輸出層通道數(shù)為1，故首先要將輸入層進(jìn)行1×1卷積實現(xiàn)通道壓縮。將壓縮后的特征圖進(jìn)行8倍升采樣，升至與CNN-Ⅱ輸出層相同的維度，并與CNN-Ⅱ的輸出相加，進(jìn)行非線性激活后可計算損失函數(shù)并進(jìn)行反向傳播。值得注意的是，反采樣后的特征圖是可以隨著網(wǎng)絡(luò)迭代而更新的，而CNN-Ⅱ的輸出層是固定值?？梢哉J(rèn)為，CNN-Ⅱ的輸出層是CNN-T-Ⅲ加上一個權(quán)重很高的偏置項。其他兩個網(wǎng)絡(luò)結(jié)構(gòu)與CNN-T-Ⅲ類似，區(qū)別僅在于轉(zhuǎn)置卷積層升采樣的倍數(shù)不同。

構(gòu)建轉(zhuǎn)置神經(jīng)網(wǎng)絡(luò)，首先輸入Pool 5并進(jìn)行通道壓縮，通過轉(zhuǎn)置卷積層進(jìn)行2倍升采樣，此時其與Pool 4通道壓縮后尺寸相同，二者求和，將求和結(jié)果通過轉(zhuǎn)置卷積層進(jìn)行2倍升采樣，此時其與Pool 3通道壓縮后尺寸相同，二者求和，將求和結(jié)果通過轉(zhuǎn)置卷積層進(jìn)行8倍升采樣，此時其與CNN-Ⅱ輸出層尺寸一致，二者求和并通過非線性池化層，計算損失函數(shù)并進(jìn)行反向傳播。最終構(gòu)建了一個融合了CNN-Ⅰ的Pool 3、Pool 4、Pool 5和CNN-Ⅱ輸出層的多層轉(zhuǎn)置卷積網(wǎng)絡(luò)CNN-T，如圖8所示。

圖8 CNN-T 結(jié)構(gòu)示意圖Fig.8 Structure diagram of CNN-T

3.4 轉(zhuǎn)置卷積網(wǎng)絡(luò)輸出結(jié)果

在測試集中隨機(jī)挑選的部分樣本(樣本-Ⅰ、樣本-Ⅱ、樣本-Ⅲ和樣本-Ⅳ)經(jīng)CNN-T處理后的結(jié)果如圖9所示。由圖9可見，相較于未經(jīng)特征融合的結(jié)果，經(jīng)融合多個中間層特征后，轉(zhuǎn)置卷積神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果與真值更加接近。經(jīng)CNN-T處理后的結(jié)果具有如下幾方面特點：①融合了CNN-Ⅰ的中間層信息后，裂縫的連續(xù)性更好，斷裂情況得到改善；②散亂的椒鹽噪聲由于不具備連續(xù)性，未得到中間層的信息支持，大部分被消除了；③一些被誤判為背景的較細(xì)的裂縫得到了恢復(fù)；④裂縫的位置判定較為準(zhǔn)確，相比之下裂縫的寬度(粗細(xì))識別準(zhǔn)確性下降。

圖9 不同網(wǎng)絡(luò)對路面圖像的處理結(jié)果Fig.9 Processing results of road images by different networks

4 結(jié)語

為優(yōu)化二維路面灰度圖像中裂縫等病害的自動識別效果，針對路況采集設(shè)備線陣相機(jī)采集到的路面圖像，文中提出了一套基于轉(zhuǎn)置卷積神經(jīng)網(wǎng)絡(luò)的包括區(qū)域判定、圖像分割、多層特征融合的路面裂縫提取算法優(yōu)化策略，并得出了以下主要結(jié)論：

(1)基于改進(jìn)VGG-16的裂縫圖像子塊分類模型CNN-Ⅰ與VGG-16模型相比，CNN-Ⅰ的參數(shù)和結(jié)構(gòu)更加簡單，計算也更快，最終的準(zhǔn)確性沒有受到影響；與VGG-16相比，CNN-Ⅰ隨迭代次數(shù)的增加收斂較慢，但單次訓(xùn)練用時減少至VGG-16用時的1/24，因此總的計算時間仍是減少的。

(2)文中提出的基于轉(zhuǎn)置神經(jīng)網(wǎng)絡(luò)的層間特征融合策略，可以實現(xiàn)對語義分割結(jié)果的優(yōu)化；解決了語義分割圖像中存在的裂縫不連續(xù)、存在較多斷點、單條裂縫部分缺失等問題。

(3)中間層的升采樣通過小數(shù)步長卷積進(jìn)行，分別基于分類網(wǎng)絡(luò)后3個池化層的輸出特征圖，將3個池化層通過逐層轉(zhuǎn)置卷積融合，構(gòu)建了具有3個轉(zhuǎn)置卷積層的轉(zhuǎn)置卷積網(wǎng)絡(luò)CNN-T；結(jié)果表明，CNN-T在基本保留了分割結(jié)果細(xì)部特征的基礎(chǔ)上，很大程度上完善了裂縫特征的連續(xù)性，提高了語義分割結(jié)果的準(zhǔn)確率。