基于遷移學(xué)習(xí)的橋梁表觀病害檢測(cè)技術(shù)研究

王桂平，陳旺橋，楊建喜，唐于凌，吳波

(1.重慶交通大學(xué) 信息科學(xué)與工程學(xué)院，重慶 400074；2.重慶交通大學(xué) 土木工程學(xué)院，重慶 400074)

橋梁作為交通運(yùn)輸?shù)闹匾獦屑~，在國(guó)民經(jīng)濟(jì)與社會(huì)發(fā)展中占據(jù)著重要地位。隨著服役年限的增加，以及自然環(huán)境、施工缺陷和超載因素等，橋梁結(jié)構(gòu)會(huì)出現(xiàn)不同程度的損傷和病害，如開裂、下?lián)虾弯P蝕等[1]。傳統(tǒng)的人工檢測(cè)方法存在主觀性強(qiáng)、檢測(cè)效率低下等問(wèn)題，不能及時(shí)發(fā)現(xiàn)橋梁病害，不能適應(yīng)時(shí)代發(fā)展的需求。深度卷積神經(jīng)網(wǎng)絡(luò)[2]具有強(qiáng)大的特征提取能力，能夠發(fā)現(xiàn)并刻畫問(wèn)題內(nèi)部復(fù)雜的結(jié)構(gòu)特征，在計(jì)算機(jī)視覺(jué)以及語(yǔ)音識(shí)別方面的效果遠(yuǎn)超傳統(tǒng)方法。這些優(yōu)點(diǎn)讓土木工程領(lǐng)域的研究人員和工程師已經(jīng)注意到基于深度學(xué)習(xí)的方法帶來(lái)的應(yīng)用前景和創(chuàng)新技術(shù)力量[3?4]。在土木工程應(yīng)用方面，基于深度學(xué)習(xí)的混凝土病害檢測(cè)大多集中在混凝土結(jié)構(gòu)的裂縫檢測(cè)[5?10]。另外，卷積神經(jīng)網(wǎng)絡(luò)模型也常常用來(lái)檢測(cè)隧道缺陷[11]、路面裂縫的檢測(cè)[12]和多病害損傷分類識(shí)別[13]。結(jié)合深度學(xué)習(xí)技術(shù)，結(jié)構(gòu)病害檢測(cè)技術(shù)在土木工程領(lǐng)域取得了良好的發(fā)展。然而，在實(shí)際應(yīng)用中，數(shù)據(jù)集的收集和標(biāo)注往往既耗時(shí)又昂貴，這使得深度學(xué)習(xí)在一些場(chǎng)景下存在一定的局限性[14]。為了克服缺乏特定任務(wù)的標(biāo)注數(shù)據(jù)集的問(wèn)題，可以采用遷移學(xué)習(xí)技術(shù)[15?16]。遷移學(xué)習(xí)可以將深度學(xué)習(xí)模型在一些大數(shù)據(jù)集(如ImageNet[17])上學(xué)到的一般知識(shí)，遷移到特定的小數(shù)據(jù)集上，以克服數(shù)據(jù)樣本數(shù)量不足的問(wèn)題，從而避免模型過(guò)擬合，提高模型的訓(xùn)練速度。NARAZAKI等[18]利用預(yù)訓(xùn)練全卷積網(wǎng)絡(luò)作為特征提取器對(duì)橋梁構(gòu)件進(jìn)行自動(dòng)識(shí)別。LIANG[19]提出將遷移學(xué)習(xí)應(yīng)用于鋼筋混凝土橋梁的災(zāi)后檢測(cè)，實(shí)現(xiàn)橋梁系統(tǒng)級(jí)故障分類、構(gòu)件級(jí)立柱檢測(cè)和局部損傷等級(jí)損傷定位。DUNG等[20]提出使用深度學(xué)習(xí)技術(shù)來(lái)檢測(cè)鋼橋接頭的裂縫。通過(guò)使用VGG16預(yù)訓(xùn)練模型作為特征提取工具來(lái)提取不同圖像的共有特征。KIM等[21]提出了一種基于深度學(xué)習(xí)的自動(dòng)裂紋檢測(cè)方法，用于檢測(cè)真實(shí)結(jié)構(gòu)上拍攝的圖像上的裂紋。這種方法使用預(yù)訓(xùn)練AlexNet進(jìn)行微調(diào)和訓(xùn)練，以檢測(cè)完整表面和沒(méi)有裂縫的物體上的裂縫。YANG等[22?23]使用了一種基于VGG骨干網(wǎng)絡(luò)的深度全卷積網(wǎng)絡(luò)(FCN)的裂縫檢測(cè)方法來(lái)自動(dòng)檢測(cè)混凝土表面的裂縫。VALIKHANI等[24]使用預(yù)先訓(xùn)練的ResNet網(wǎng)絡(luò)模型作為骨干網(wǎng)絡(luò)，從圖像數(shù)據(jù)中提取特征以定量估計(jì)混凝土表面粗糙度。CAO等[25]提出了使用遷移學(xué)習(xí)的DenseNet方法來(lái)識(shí)別和分類混凝土構(gòu)件的表面裂縫。NI等[26]提出了使用基于深度學(xué)習(xí)的預(yù)訓(xùn)練GoogleNet和ResNet相結(jié)合的裂縫檢測(cè)方法來(lái)定量檢測(cè)裂縫寬度的損傷檢測(cè)。韓曉健等[27]使用預(yù)訓(xùn)練AlexNet網(wǎng)絡(luò)模型來(lái)對(duì)橋梁病害進(jìn)行分類，在模型實(shí)際應(yīng)用中，3種病害圖像的識(shí)別率分別為裂縫86%，銹蝕82%，缺損70%。然而，上述工作大多是針對(duì)某類單一病害進(jìn)行檢測(cè)，例如混凝土裂縫病害，無(wú)法滿足實(shí)際應(yīng)用中檢測(cè)多種病害的情況。而本研究通過(guò)運(yùn)用遷移學(xué)習(xí)技術(shù)，有效地緩解了因訓(xùn)練樣本不足而引起的模型效果差的問(wèn)題，并且能夠適應(yīng)于多種病害的檢測(cè)，對(duì)在役橋梁表觀病害識(shí)別有重大的意義。

1 研究方法

1.1 研究思路

本文提出橋梁表觀病害檢測(cè)算法的主要步驟為：首先將收集到的橋梁表觀病害圖片數(shù)據(jù)集進(jìn)行增強(qiáng)與預(yù)處理；使用VGG16網(wǎng)絡(luò)模型作為主干網(wǎng)絡(luò)，基于遷移學(xué)習(xí)技術(shù)，把在ImageNet[14]上預(yù)訓(xùn)練得到的權(quán)重參數(shù)作為其初始參數(shù)，修改模型的全連接層和輸出層結(jié)構(gòu)，使其對(duì)應(yīng)于病害類別，并將模型參數(shù)進(jìn)行重新訓(xùn)練微調(diào)，在訓(xùn)練過(guò)程中使用動(dòng)態(tài)學(xué)習(xí)率調(diào)整策略重新訓(xùn)練微調(diào)卷積層和全連接層的參數(shù)部分，并始終保持全連接層學(xué)習(xí)率大于卷積層學(xué)習(xí)率，使全連接層的參數(shù)快速收斂，并使得修改后的模型適用于橋梁病害檢測(cè)任務(wù)；最后將處理好的圖片輸入到網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并將其結(jié)果與AlexNet，VGG19，ResNet18和ResNet50等主流模型進(jìn)行實(shí)驗(yàn)結(jié)果比對(duì)。

1.2 遷移學(xué)習(xí)技術(shù)

遷移學(xué)習(xí)：給定一個(gè)源域DS和一個(gè)學(xué)習(xí)任務(wù)TS，以及一個(gè)目標(biāo)域DT和一個(gè)學(xué)習(xí)任務(wù)TT，遷移學(xué)習(xí)目的是使用源域DS中的知識(shí)和學(xué)習(xí)任務(wù)TS來(lái)幫助改進(jìn)目標(biāo)域DT中的目標(biāo)預(yù)測(cè)函數(shù)fT(·)的學(xué)習(xí)。

一個(gè)域由2部分組成D={χ,P(X)}，其中χ為特征空間，P(X)為邊緣概率分布。當(dāng)DS≠DT時(shí)，意味著它們所對(duì)應(yīng)的特征空間和邊緣概率分布函數(shù)也是不同的；相類似的，一個(gè)任務(wù)也是由2部分組成T={y,f(·)}，其中Y為標(biāo)簽空間，f(·)為目標(biāo)預(yù)測(cè)函數(shù)。當(dāng)TS≠TT時(shí)，意味著它們對(duì)應(yīng)的標(biāo)簽空間和目標(biāo)預(yù)測(cè)函數(shù)也是不相同的。使用遷移學(xué)習(xí)技術(shù)，知識(shí)能夠在不同的領(lǐng)域中進(jìn)行遷移，加快了任務(wù)的學(xué)習(xí)速度，并且減少了任務(wù)對(duì)于目標(biāo)域中樣本的依賴。遷移學(xué)習(xí)的目標(biāo)是在目標(biāo)域?qū)W習(xí)一個(gè)更為準(zhǔn)確的決策函數(shù)。整個(gè)遷移學(xué)習(xí)過(guò)程如圖1所示。

圖1 遷移學(xué)習(xí)原理Fig.1 Principle of transfer learning

機(jī)器學(xué)習(xí)的理想場(chǎng)景是擁有大量與測(cè)試數(shù)據(jù)具有相同分布的標(biāo)記訓(xùn)練樣本。但在現(xiàn)實(shí)生活中，獲取大量的標(biāo)簽數(shù)據(jù)往往代價(jià)高昂且不切實(shí)際。遷移學(xué)習(xí)作為一種很有前途的機(jī)器學(xué)習(xí)方法，通過(guò)遷移領(lǐng)域間的知識(shí)，解決了數(shù)據(jù)樣本獲取困難的問(wèn)題。利用遷移學(xué)習(xí)技術(shù)，可以實(shí)現(xiàn)知識(shí)在不同領(lǐng)域之間的傳遞。

1.3 基于遷移學(xué)習(xí)的橋梁表觀病害檢測(cè)模型

VGG16是一種經(jīng)典的深度卷積神經(jīng)網(wǎng)絡(luò)，它對(duì)ImageNet數(shù)據(jù)庫(kù)中的100多萬(wàn)幅圖像進(jìn)行分類訓(xùn)練，并被廣泛用作參考模型。ImageNet數(shù)據(jù)集中涵蓋了1 000個(gè)不同的物體類別，其中包含著豐富的特征知識(shí)，由該數(shù)據(jù)集訓(xùn)練得到的VGG16模型，能夠提取其中豐富的圖片特征，并將學(xué)到提取特征知識(shí)的能力以及相關(guān)知識(shí)以參數(shù)的形式記錄在模型的卷積層中，而這一部分是可遷移的。因此，本研究選擇VGG16作為遷移學(xué)習(xí)研究的基礎(chǔ)模型。該模型有16層、1.38億個(gè)參數(shù)，VGG16可將圖像分類為1 000個(gè)目標(biāo)類別，可信度高，如圖2所示。

圖2 VGG16網(wǎng)絡(luò)模型Fig.2 VGG16 network model

結(jié)合遷移學(xué)習(xí)理論以及深度學(xué)習(xí)框架，本文提出了一種基于端到端的深度卷積神經(jīng)網(wǎng)絡(luò)的遷移學(xué)習(xí)方法，用于檢測(cè)橋梁表觀病害，該方法的模型結(jié)構(gòu)如圖3所示。該模型將ImageNet數(shù)據(jù)集作為源域，將橋梁表觀病害數(shù)據(jù)集作為目標(biāo)域，將VGG16網(wǎng)絡(luò)模型作為知識(shí)載體，通過(guò)利用VGG16在ImageNet學(xué)習(xí)到的知識(shí)以及分類任務(wù)來(lái)幫助提升目標(biāo)域中的決策函數(shù)的學(xué)習(xí)能力，加快了任務(wù)的學(xué)習(xí)速度，并且減少了任務(wù)對(duì)于目標(biāo)域中樣本的依賴。

圖3 基于遷移學(xué)習(xí)的橋梁表觀病害檢測(cè)模型Fig.3 Bridge surface disease detection model based on transfer learning

VGG16卷積層部分具有強(qiáng)大的特征提取能力，卷積層的前端能提取圖片的一般特征，隨著卷積層的增加，其所提取的特征也越為具體，能夠有效地提取圖片中的細(xì)微特征。為了提高病害檢測(cè)準(zhǔn)確性以及節(jié)省有限計(jì)算資源，本研究對(duì)VGG16網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行修改，保留其原有的卷積層用于病害特征提取，然后將其原有的全連接層去掉并添加新的分類層，以適應(yīng)橋梁病害分類任務(wù)。其中卷積層參數(shù)初始化使用在大型圖像分類數(shù)據(jù)集ImageNet上預(yù)訓(xùn)練參數(shù)，并隨機(jī)初始化全連接層參數(shù)。在模型訓(xùn)練階段，對(duì)卷積層參數(shù)和全連接層參數(shù)采用不同的學(xué)習(xí)率進(jìn)行微調(diào)，運(yùn)用動(dòng)態(tài)學(xué)習(xí)率調(diào)整策略，能有效提高模型的檢測(cè)準(zhǔn)確率，使該模型適用于橋梁表觀病害檢測(cè)問(wèn)題。

2 數(shù)據(jù)預(yù)處理

隨著卷積神經(jīng)網(wǎng)絡(luò)的快速發(fā)展，在圖像識(shí)別、語(yǔ)音識(shí)別等領(lǐng)域積累了一些標(biāo)準(zhǔn)數(shù)據(jù)集，如ImageNet，CoCo和Pascal VOC。然而，在土木工程領(lǐng)域中缺乏用于訓(xùn)練深度網(wǎng)絡(luò)模型的高質(zhì)量橋梁表觀病害圖像數(shù)據(jù)集。針對(duì)上述問(wèn)題，本文經(jīng)過(guò)多年的數(shù)據(jù)積累，構(gòu)建了一個(gè)橋梁表觀病害數(shù)據(jù)集。該數(shù)據(jù)集使用配備高清攝像頭的攝像機(jī)進(jìn)行數(shù)據(jù)集拍攝。橋梁表觀病害包含露筋、泛堿、裂縫、混凝土掉塊、蜂窩麻面、漏水、空洞、風(fēng)化等多種病害，而目前所收集到的數(shù)據(jù)集的病害大多集中在露筋、泛堿和裂縫3類，故主要選取該3類病害作為主要病害數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)研究，這3類病害圖片如圖4所示。其中每類圖像都是由不同橋梁病害數(shù)據(jù)集組成，每張圖片的像素都在1 200萬(wàn)以上。

圖4 橋梁表觀病害Fig.4 Bridge surface diseases

由于原始圖像包含復(fù)雜的背景和噪聲，為了增強(qiáng)這些圖像，從每類病害各挑選360張圖片作為訓(xùn)練集，并且將訓(xùn)練集中的每張?jiān)紙D像隨機(jī)分割為50張250×250像素大小的圖片，在切割后的數(shù)據(jù)集中為每類病害挑選1 300余張圖像。在挑選的過(guò)程中按照病害特征清晰可見(jiàn)，并且病害特征大小占據(jù)整張圖像大小的15%以上面積的原則進(jìn)行挑選。然后，將每種標(biāo)簽類型按照8∶2分為3個(gè)子集，分別用作模型的訓(xùn)練和驗(yàn)證。此外為每類病害各挑選80張未經(jīng)過(guò)隨機(jī)分割處理且包含復(fù)雜背景和噪聲的圖像作為測(cè)試集。表1列出了訓(xùn)練、驗(yàn)證和測(cè)試數(shù)據(jù)集的分布。

表1 數(shù)據(jù)集的分布Table 1 Distribution of datasets

3 實(shí)驗(yàn)設(shè)置與結(jié)果分析

該項(xiàng)實(shí)驗(yàn)使用深度學(xué)習(xí)框架Pytorch為所提出的病害檢測(cè)模型進(jìn)行參數(shù)訓(xùn)練。實(shí)驗(yàn)設(shè)置：采用隨機(jī)梯度下降法，batchsize為32，初始學(xué)習(xí)率設(shè)置為5×10-3，沖量(Momentum)設(shè)置為0.9，衰量(Decay)為5×10-4，采用交叉熵?fù)p失函數(shù)。實(shí)驗(yàn)的硬件環(huán)境配置見(jiàn)表2。

表2 實(shí)驗(yàn)硬件環(huán)境配置Table 2 Experimental hardware environment configuration

3.1 評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)采用準(zhǔn)確率作為評(píng)價(jià)指標(biāo)。準(zhǔn)確率是反映一個(gè)模型對(duì)實(shí)際樣本數(shù)據(jù)判斷與樣本標(biāo)簽比對(duì)的結(jié)果。準(zhǔn)確率越高，則說(shuō)明模型的效果越好。準(zhǔn)確率的一般公式為：

其中：TP是正確檢測(cè)到的橋梁表面病害圖片的數(shù)目，TN是正確檢測(cè)到的非病害圖片的數(shù)目，F(xiàn)P是被視為病害圖片的非病害圖片的數(shù)目，F(xiàn)N是被視為非病害圖片的病害圖片的數(shù)目。

另外，實(shí)驗(yàn)的loss損失也是判斷模型性能的另一個(gè)方面指標(biāo)。loss函數(shù)數(shù)值下降越快，則說(shuō)明模型收斂得越快；loss損失函數(shù)的數(shù)值越小，則說(shuō)明模型的魯棒性越強(qiáng)，性能越優(yōu)越。

3.2 動(dòng)態(tài)學(xué)習(xí)率調(diào)整策略

學(xué)習(xí)率通常指的是深度學(xué)習(xí)以及監(jiān)督學(xué)習(xí)中一個(gè)重要的超參數(shù)，它決定著模型能否收斂到最優(yōu)以及收斂到最優(yōu)的時(shí)間。當(dāng)學(xué)習(xí)率設(shè)置過(guò)小時(shí)，會(huì)使得模型收斂過(guò)慢，可能會(huì)導(dǎo)致模型陷入局部最優(yōu)點(diǎn)，以至于很難到達(dá)模型目標(biāo)函數(shù)最優(yōu)點(diǎn)；當(dāng)學(xué)習(xí)率過(guò)大時(shí)，能夠使得模型快速收斂，但是有可能會(huì)使得模型到達(dá)最優(yōu)點(diǎn)之前反復(fù)震蕩，以至于無(wú)法到達(dá)最優(yōu)。因此，選擇合適學(xué)習(xí)率對(duì)一個(gè)模型的收斂極為重要。

本研究使用動(dòng)態(tài)學(xué)習(xí)率調(diào)整策略，隨著模型的迭代次數(shù)加深會(huì)逐步減小學(xué)習(xí)率，該策略參考自GANIN等[28]的工作。該策略能夠使得模型在初始訓(xùn)練階段能夠快速收斂，跳過(guò)一些局部最優(yōu)點(diǎn)，隨著迭代次數(shù)加深，學(xué)習(xí)率降低，模型所能學(xué)到的特征隨之增加，模型的識(shí)別準(zhǔn)確率隨之提升。動(dòng)態(tài)學(xué)習(xí)率調(diào)整策略如下：

其中：L R為設(shè)置的初始學(xué)習(xí)率大??；epoch為當(dāng)前訓(xùn)練輪次數(shù)目；n_epoch為實(shí)驗(yàn)設(shè)置的總輪次數(shù)目。在訓(xùn)練過(guò)程中，初始學(xué)習(xí)率LR和總輪次數(shù)目n_epoch不變，當(dāng)前訓(xùn)練輪次數(shù)目epoch會(huì)逐漸增大，從而導(dǎo)致訓(xùn)練學(xué)習(xí)率LR_schedual會(huì)隨著訓(xùn)練輪次的增加而逐步緩慢地減小。經(jīng)過(guò)動(dòng)態(tài)學(xué)習(xí)率調(diào)整后,模型的精度變化如表3所示，其中VGG16_lr_schedule和ResNet50_lr_schedule表示基于動(dòng)態(tài)學(xué)習(xí)率調(diào)整的VGG16網(wǎng)絡(luò)模型。從表3所示的實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn)，通過(guò)動(dòng)態(tài)學(xué)習(xí)率調(diào)整策略的模型的精度均高于未經(jīng)過(guò)該策略調(diào)整的精度。

表3 動(dòng)態(tài)學(xué)習(xí)率調(diào)整策略下的模型精度變化Table 3 Model accuracy under the dynamic learning rate adjustment strategy

3.3 全連接層層數(shù)的選取

在本研究提出的方法中，從VGG16模型中共遷移了13個(gè)卷積層，并在其后面添加了全連接層(FC，F(xiàn)ully Connected Layer)。在不同F(xiàn)C層數(shù)的情況下，對(duì)于每種模型的性能進(jìn)行了評(píng)估。如表4所示，采用雙FC層的模型，總體檢測(cè)準(zhǔn)確率最高98.86%，其中泛堿、露筋和裂縫的檢測(cè)準(zhǔn)確率為98.49%，98.04%和100%。由此結(jié)果可以得出，遷移過(guò)來(lái)的卷積層可以有效地提取病害特征，并且可以適應(yīng)新的分類任務(wù)。1個(gè)FC層和2個(gè)FC層相比，隨著FC層數(shù)的增加，模型識(shí)別準(zhǔn)確率也增加，說(shuō)明模型的非線性映射能力得到提高；然而當(dāng)FC層數(shù)增加到3層之后，與使用2個(gè)FC層相比，模型精度有所下降，這是由于對(duì)于小分類問(wèn)題，隨著層數(shù)的增加，模型會(huì)把一些不必要的特征當(dāng)作判斷依據(jù)，影響了模型的判斷，使得模型的精度下降。因此，在本研究的模型中，2個(gè)FC層就足夠了。

表4 不同全連接層數(shù)對(duì)實(shí)驗(yàn)結(jié)果的影響Table 4 Influence of different fully connected layers on the experimental results

3.4 微調(diào)

微調(diào)是基于深度學(xué)習(xí)的遷移學(xué)習(xí)方法中常用的技術(shù)手段。通常情況下，微調(diào)技術(shù)是指：在一個(gè)領(lǐng)域中訓(xùn)練出來(lái)的模型，通過(guò)更新和復(fù)用該模型參數(shù)和模型架構(gòu)，使其能夠在新領(lǐng)域中發(fā)揮優(yōu)秀的性能。

在本實(shí)驗(yàn)中，將VGG16網(wǎng)絡(luò)模型的全部卷積層進(jìn)行遷移，用作特征提取器，并把卷積層的初始學(xué)習(xí)率設(shè)置為5×10-3，全連接層的初始學(xué)習(xí)率設(shè)置為卷積層學(xué)習(xí)率10倍。這樣設(shè)置能使得網(wǎng)絡(luò)在訓(xùn)練的時(shí)候，通過(guò)反向傳播更新卷積層的參數(shù)，使得卷積層能夠適應(yīng)新的特征提取任務(wù)；全連接層采用更大的學(xué)習(xí)率，使全連接層能夠快速收斂。最后通過(guò)動(dòng)態(tài)學(xué)習(xí)率調(diào)整策略，使得學(xué)習(xí)率隨訓(xùn)練輪次的增加而逐步降低，讓模型在訓(xùn)練過(guò)程中學(xué)到更多的特征，提升模型性能。

在本小節(jié)中，為了驗(yàn)證微調(diào)的實(shí)驗(yàn)性能，分別進(jìn)行了2組實(shí)驗(yàn)。第1種是凍結(jié)預(yù)先訓(xùn)練好的VGG16網(wǎng)絡(luò)的卷積層部分，僅對(duì)全連接層以10倍初始學(xué)習(xí)率進(jìn)行訓(xùn)練；第2種是按照上述實(shí)驗(yàn)設(shè)置對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，2組實(shí)驗(yàn)同時(shí)使用動(dòng)態(tài)調(diào)整學(xué)習(xí)率，實(shí)驗(yàn)結(jié)果如表5所示。由表可知，經(jīng)過(guò)卷積層的微調(diào)后的模型在驗(yàn)證精度上較未使用微調(diào)技術(shù)的VGG16模型的精度提升了2.16%，說(shuō)明經(jīng)過(guò)微調(diào)后的模型具有更強(qiáng)大的學(xué)習(xí)能力，能夠適應(yīng)新的任務(wù)并且可以學(xué)習(xí)到更多的圖像特征。

表5 微調(diào)結(jié)果對(duì)比Table 5 Comparison of fine-tuning results

經(jīng)過(guò)微調(diào)后的橋梁病害檢測(cè)模型訓(xùn)練過(guò)程的損失曲線和準(zhǔn)確率曲線如圖5所示。不難看出，通過(guò)遷移學(xué)習(xí)和微調(diào)技術(shù)，模型能夠在很短的時(shí)間內(nèi)進(jìn)行收斂，并達(dá)到足夠高的準(zhǔn)確率，足以說(shuō)明本文方法的有效性。

圖5 橋梁病害檢測(cè)模型損失曲線和準(zhǔn)確率曲線Fig.5 Loss curve and accuracy curve of the bridge disease detection model

3.5 實(shí)驗(yàn)結(jié)果對(duì)比

依據(jù)數(shù)據(jù)集的劃分，結(jié)合已訓(xùn)練好的網(wǎng)絡(luò)模型與其他主流模型，以及復(fù)現(xiàn)文獻(xiàn)[27](采用預(yù)訓(xùn)練AlexNet模型)中的模型在驗(yàn)證集上進(jìn)行對(duì)比實(shí)驗(yàn)驗(yàn)證，結(jié)果如表6所示。由表6可知，本文方法的實(shí)驗(yàn)效果較所有主流模型的實(shí)驗(yàn)效果都要好，其中較標(biāo)準(zhǔn)VGG16模型精度提升了10.68%，較標(biāo)準(zhǔn)ResNet50模型準(zhǔn)確率提高了3.82%。另外，在驗(yàn)證集數(shù)量足夠的情況下，本文建立的模型在每種病害類別上的識(shí)別準(zhǔn)確率均高于其他模型，并取得了很高的準(zhǔn)確率，分別為：泛堿98.49%，露筋98.04%，裂縫100%。在作者團(tuán)隊(duì)的實(shí)驗(yàn)中，裂縫病害的檢測(cè)準(zhǔn)確率能達(dá)到100%的原因是由于遷移的VGG16卷積層具有強(qiáng)大的特征提取能力，再加上裂縫數(shù)據(jù)集的病害特征與另外2種病害特征相比單一簡(jiǎn)單，故能達(dá)到如此高的準(zhǔn)確率。標(biāo)準(zhǔn)VGG19與標(biāo)準(zhǔn)VGG16相比精度下降，說(shuō)明未經(jīng)優(yōu)化的標(biāo)準(zhǔn)模型網(wǎng)絡(luò)層數(shù)越深，模型所學(xué)習(xí)到的噪音也越多，越容易過(guò)擬合，影響模型最后的判斷。標(biāo)準(zhǔn)ResNet18和ResNet50模型的驗(yàn)證準(zhǔn)確率達(dá)到了93.14%和95.04%，說(shuō)明遷移學(xué)習(xí)的運(yùn)用，能有效地提取橋梁表觀病害的特征。使用動(dòng)態(tài)學(xué)習(xí)率調(diào)整策略的VGG16模型，與原版的VGG16模型相比，準(zhǔn)確率提高了8.52%，這說(shuō)明本研究所采用的動(dòng)態(tài)學(xué)習(xí)率調(diào)整能夠使得網(wǎng)絡(luò)學(xué)習(xí)到更多的特征，有效地提高了模型的準(zhǔn)確率。

表6 主流模型在驗(yàn)證集上的實(shí)驗(yàn)效果Table 6 Experimental result of mainstream models on validation sets

通過(guò)上述對(duì)比實(shí)驗(yàn)所知，本文所采用的微調(diào)卷積層參數(shù)以及所采用的動(dòng)態(tài)學(xué)習(xí)率調(diào)整能夠有效抑制模型的過(guò)擬合，使得模型能夠適應(yīng)新任務(wù)，可以學(xué)習(xí)到橋梁表觀病害特征，且具有很高的準(zhǔn)確率。圖6所示為各模型在驗(yàn)證階段模型精度變化曲線。從圖中可以看出，本文建立的模型在訓(xùn)練的開始階段能夠快速收斂，并且能夠快速達(dá)到相對(duì)高的準(zhǔn)確率，并在接下來(lái)的訓(xùn)練驗(yàn)證階段始終領(lǐng)先于其他模型。并且在模型的訓(xùn)練驗(yàn)證階段，本文的模型在驗(yàn)證集上的準(zhǔn)確率的震蕩幅度均小于其他模型方法，具有很高的魯棒性，相較于其他模型具有一定的優(yōu)勢(shì)。圖中VGG19模型效果最差，說(shuō)明隨著網(wǎng)絡(luò)層數(shù)增加，網(wǎng)絡(luò)出現(xiàn)了過(guò)擬合，模型陷入了局部最優(yōu)點(diǎn)，導(dǎo)致模型在一定區(qū)域內(nèi)反復(fù)震蕩，無(wú)法跳出來(lái)。

圖6 各個(gè)模型驗(yàn)證過(guò)程中精度變化Fig.6 Variation of accuracy in the process of model validation

另外本研究采用未經(jīng)任何處理的實(shí)拍圖片進(jìn)行實(shí)驗(yàn)測(cè)試，每張圖片的分辨率在1 200萬(wàn)以上，并且圖片中包含多種噪聲和復(fù)雜背景。經(jīng)過(guò)測(cè)試，本文所提出的模型比復(fù)現(xiàn)的文獻(xiàn)[27](文獻(xiàn)[27]采取的測(cè)試策略是挑選經(jīng)過(guò)裁剪的未包含噪聲和復(fù)雜背景的圖片)的方法測(cè)試準(zhǔn)確率提升了10%，說(shuō)明該方法可用于實(shí)際工程應(yīng)用檢測(cè)，測(cè)試結(jié)果如表7所示。

表7 含有噪聲的圖片比對(duì)結(jié)果Table 7 Comparison results of test pictures with noise

4 結(jié)論

1)提出了基于遷移學(xué)習(xí)的橋梁表觀病害檢測(cè)方法。結(jié)合遷移學(xué)習(xí)策略，將VGG16模型的卷積層用作特征提取器以及對(duì)全連接層進(jìn)行修改，采用預(yù)訓(xùn)練VGG16模型參數(shù)對(duì)其進(jìn)行初始化，并在訓(xùn)練階段將學(xué)習(xí)率動(dòng)態(tài)調(diào)整策略和微調(diào)技術(shù)應(yīng)用于卷積層和全連接層的參數(shù)微調(diào)整，使其適用于橋梁病害檢測(cè)任務(wù)。

2)所提出的方法模型相較于其他主流模型，在精度上有較大的提升，在驗(yàn)證集上相較于原有的VGG16模型在精度上提升了10.68%，并且在含有含多種噪聲和復(fù)雜背景的實(shí)拍圖片數(shù)據(jù)集上準(zhǔn)確率達(dá)到了88.33%。該模型具有很高精度的橋梁病害識(shí)別率，能夠準(zhǔn)確識(shí)別復(fù)雜背景下的橋梁表觀病害特征，可用于在役橋梁表觀病害識(shí)別。

3)在后續(xù)的進(jìn)一步研究中，針對(duì)采集到的含有噪聲、復(fù)雜環(huán)境因素影響的數(shù)據(jù)集，考慮采用注意力機(jī)制來(lái)提升病害識(shí)別準(zhǔn)確率。該機(jī)制能將關(guān)注點(diǎn)定位在圖像中的病害特征上，以達(dá)到進(jìn)一步提升病害識(shí)別效果的目的。