基于通道注意力與密集連接機(jī)制的道路裂縫識(shí)別方法研究

廖錫博，黃尚櫻

（廣東工業(yè)大學(xué)，廣東廣州，510006）

1 課題背景與概述

一條公路上裂縫的數(shù)量和每條裂縫的長(zhǎng)度、寬窄是評(píng)價(jià)公路路面質(zhì)量的重要參考指標(biāo)。裂縫本身對(duì)安全所造成的威脅并不是最為嚴(yán)重的，但若不經(jīng)過(guò)及時(shí)處理，裂縫可能衍生出其他更為嚴(yán)重的次生病害。如雨水滲入裂縫可能腐蝕路基，加上車(chē)輛荷載的長(zhǎng)期反復(fù)作用，可能導(dǎo)致裂縫加深加寬甚至路面塌陷，危害行車(chē)安全。

因此，對(duì)路面裂縫進(jìn)行快速、準(zhǔn)確的檢測(cè)是路面養(yǎng)護(hù)工作中最為重要的任務(wù)之一。

2 研究?jī)?nèi)容與目標(biāo)

近年來(lái)，為了更加準(zhǔn)確、快速地識(shí)別路面裂縫，國(guó)內(nèi)外學(xué)者進(jìn)行了深入的研究，并取得了一定的成就。而其中，較為經(jīng)典的主要有：

（1）使用中值濾波與原圖差值移除圖像陰影，并使用漢森矩陣的線性濾波進(jìn)行裂縫識(shí)別；（2）通過(guò)滲濾處理算法快速識(shí)別大尺寸圖像裂縫；（3）通過(guò)傳統(tǒng)圖像預(yù)處理進(jìn)行裂縫識(shí)別測(cè)量；（4）利用自適應(yīng)方法提取裂縫區(qū)域。

圖1 中值濾波與原圖差值移除圖像陰影方法

上述方法在一定程度上能夠?qū)α芽p進(jìn)行檢測(cè)識(shí)別，但也存在一定的局限性。比如在光照不均勻時(shí)對(duì)裂縫識(shí)別與測(cè)量準(zhǔn)確性比較差，甚至在進(jìn)行裂縫測(cè)量時(shí)，由于裂縫還會(huì)出現(xiàn)一定的斷點(diǎn)，在裂縫長(zhǎng)度和寬度計(jì)算上存在著一定的誤差。

因此，本文的主要研究?jī)?nèi)容及主要目標(biāo)：

（1）能夠?qū)庹詹痪?、圖片背景復(fù)雜從而導(dǎo)致道路裂縫識(shí)別效率低的問(wèn)題進(jìn)行優(yōu)化，提高路面裂縫的識(shí)別準(zhǔn)確率，并且可以將該模型應(yīng)用在更多的場(chǎng)景中；

（2）通過(guò)道路裂縫識(shí)別技術(shù)，去獲得道路裂縫的尺寸、數(shù)量與位置信息，為后期道路修復(fù)提供數(shù)據(jù)支撐。

3 道路裂縫識(shí)別方法研究

3.1 數(shù)據(jù)集采集與處理

本文主要采用了SDNET2018數(shù)據(jù)集，該數(shù)據(jù)集包含了56,000張具有裂縫和不具有裂縫的混凝土橋地板、墻壁和人行道的RGB圖像。數(shù)據(jù)集中的裂縫長(zhǎng)度0.06~25毫米，且含陰影和孔洞等各種噪聲信息。

本實(shí)驗(yàn)中采用了填充、隨機(jī)裁剪、隨機(jī)翻轉(zhuǎn)等策略以對(duì)輸入圖像進(jìn)行數(shù)據(jù)增強(qiáng)處理，從而有效地增加數(shù)據(jù)量以提高神經(jīng)網(wǎng)絡(luò)的泛化性能。

圖2 SDNET2018數(shù)據(jù)集

3.2 對(duì)比驗(yàn)證實(shí)驗(yàn)

本實(shí)驗(yàn)使用AlexNet、VGG-16、VGG-19、ResNe t-18、DenseNet等模型進(jìn)行對(duì)比實(shí)驗(yàn)，從而對(duì)后續(xù)設(shè)計(jì)的模型提供參考。

（1）其中AlexNet在訓(xùn)練與驗(yàn)證中的準(zhǔn)確率與損失值出現(xiàn)了較大的差距，即過(guò)擬合現(xiàn)象，其泛化準(zhǔn)確率僅為78.86%；

（2）VGG-16的泛化準(zhǔn)確率為79.47%，而VGG-19在該實(shí)驗(yàn)中最佳泛化準(zhǔn)確率為77.75%，與VGG-16相比減少了1.72%。存在一定程度的“深度網(wǎng)絡(luò)退化現(xiàn)象”。

（3）ResNet-18使用了殘差連接結(jié)構(gòu)，有效地解決深度神經(jīng)網(wǎng)絡(luò)中的深度退化問(wèn)題，其準(zhǔn)確率也提高到了89.74%。

圖3 AlexNet準(zhǔn)確率及損失值變化情況

圖4 VGG16準(zhǔn)確率及損失值變化情況

圖5 VGG19準(zhǔn)確率及損失值變化情況

圖6 ResNet—18準(zhǔn)確率及損失值變化情況

圖7 DenseNet總體結(jié)構(gòu)

除此以外，ResNet-18在訓(xùn)練過(guò)程中也比AlexNet、VGG-16與VGG-19穩(wěn)定。

（4）相比于ResNet-18，DenseNet采用了密集連接的設(shè)計(jì)，將所有特征圖之間兩兩在通道維度上進(jìn)行拼接以實(shí)現(xiàn)信息的最大化利用，其準(zhǔn)確率超過(guò)ResNet-18，達(dá)到了90.25%。

3.3 算法設(shè)計(jì)與測(cè)試

基于以上實(shí)驗(yàn)，最終以DenseNet作為算法模型設(shè)計(jì)的參考基礎(chǔ)。進(jìn)一步實(shí)驗(yàn)表明，DenseNet使用了大量的短路連接結(jié)構(gòu)來(lái)重復(fù)利用特征圖，但并非所有短路連接都是對(duì)模型有效的，甚至部分短路連接會(huì)起到負(fù)面結(jié)果，從而干擾神經(jīng)網(wǎng)絡(luò)分類(lèi)結(jié)果。

而SE模塊作為一種通道注意力模塊，能夠有效地減少網(wǎng)絡(luò)中無(wú)用或有害的連接，從而保證模型能夠控制短路連接的權(quán)重從而更好地完成訓(xùn)練。

所以在定性的角度下可以認(rèn)為，通過(guò)在DenseNet上添加SE模塊能夠提高模型的泛化性能。

因此，在DenseNet的兩種連接結(jié)構(gòu)中加入SE模塊進(jìn)行優(yōu)化，即可得到兩種類(lèi)型的具有通道注意力模塊的密集連接網(wǎng)絡(luò)，分別稱(chēng)為DenseNet-SE和DenseNet-NSE。

DenseNet-SE考慮了密集連接模塊之間不同特征圖在特征重用時(shí)的相對(duì)重要程度。

DenseNet-NSE則對(duì)不同密集連接模塊與降采樣模塊之間傳輸?shù)奶卣鲌D進(jìn)行了篩選。

DenseNet-SE總 體 結(jié)構(gòu)與DenseNet相同，僅在DenseBlock的短路連接上有所變化。在DenseNet-SE中，DenseBlock中每?jī)蓚€(gè)子模塊之間都存在著短路連接結(jié)構(gòu)，因此模型在訓(xùn)練的過(guò)程中將會(huì)鼓勵(lì)每個(gè)子模塊按照自己的需要去利用上游模塊的特征圖信息。

DenseNet-NSE總體結(jié)構(gòu)與DenseNet相同，僅在模塊之間的短路連接上有所變化。DenseNet-NSE在DenseBlock與卷積模塊之間加入了SE模塊。

圖8 擠壓和激勵(lì)模塊（squeeze and excitation）

圖9 DenseNet—SE中SE模塊添加位置

3.4 結(jié)果校驗(yàn)與分析

通過(guò)依次對(duì)DenseNet-SE與DenseNet-NSE進(jìn)行訓(xùn)練，并與上述模型進(jìn)行對(duì)比分析，直觀上看，DenseNet-SE與DenseNet-NSE能夠提高模型的泛化性能，并且DenseNet-SE的效果更好。

定性認(rèn)為，如DenseNet-SE一樣的注意力連接方式能夠增強(qiáng)原版DenseNet中對(duì)特征圖信息的篩選，以減少了部分無(wú)用甚至有害的短路連接，從而提高了神經(jīng)網(wǎng)絡(luò)的泛化性能。

圖10 DenseNet—NSE中SE模塊添加位置

而如DenseNet-NSE一樣的注意力連接方式僅能控制模塊之間數(shù)據(jù)的篩選，無(wú)法過(guò)濾掉密集連接結(jié)構(gòu)中無(wú)用或有害的短路連接，因而在泛化性能上高于DenseNet且低于DenseNet-SE。

表1 模型測(cè)試集準(zhǔn)確率

同時(shí)我們也使用DenseNet、DenseNet-NSE與Dense Net-SE在SDNET2018其他兩種裂縫（混凝土橋地板、墻壁和人行道）數(shù)據(jù)集中進(jìn)行訓(xùn)練，得到的結(jié)果如表2。

表2 模型在SDNET2018其他數(shù)據(jù)集上的情況

實(shí)驗(yàn)結(jié)果表明，上述結(jié)論具有一般性，即DenseNet-SE與DenseNet-NSE都能有效地提高原DenseNet模型的泛化性能。

同時(shí)證明在實(shí)際中可以使用少量的SE模塊促使模型以更加平穩(wěn)的方式收斂。

4 總結(jié)

本文從深度學(xué)習(xí)圖像分類(lèi)領(lǐng)域中進(jìn)行了詳細(xì)研究，并通過(guò)大量現(xiàn)有資料設(shè)計(jì)出了新的深度卷積神經(jīng)網(wǎng)絡(luò)DenseNet-SE及其變體DenseNet-NSE。

圖11 DenseNet—SE準(zhǔn)確率及損失值變化情況

圖12 DenseNet—NSE準(zhǔn)確率及損失值變化情況

在使用SDNET2018道路裂縫數(shù)據(jù)集進(jìn)行訓(xùn)練中得到的結(jié)果表明，DenseNet-SE與DenseNet-NSE都能有效地提高原DenseNet模型的泛化性能，且如DenseNet-SE的結(jié)構(gòu)相比于如DenseNet-NSE的結(jié)構(gòu)在測(cè)試集中展現(xiàn)出了更好的泛化性能，這一結(jié)論在SDNET2018的人行道裂分與磚頭裂縫數(shù)據(jù)集得到了驗(yàn)證。