基于Faster R-CNN的多任務(wù)增強(qiáng)裂縫圖像檢測(cè)方法

毛鶯池，唐江紅，王靜，平萍，王龍寶

（河海大學(xué) 計(jì)算機(jī)與信息學(xué)院，江蘇 南京 211100）

我國(guó)是世界上擁有水庫(kù)大壩最多的國(guó)家[1]，但隨著時(shí)間的推移和壩齡的增長(zhǎng)，大壩表面和內(nèi)部發(fā)生形變，出險(xiǎn)幾率增加，威脅人民生命財(cái)產(chǎn)安全。裂縫是大壩的主要危害之一。

近年來(lái)，圖像處理、模式識(shí)別和深度學(xué)習(xí)等技術(shù)的發(fā)展，為大壩裂縫圖像檢測(cè)提供技術(shù)支持。但由于大壩環(huán)境復(fù)雜等一系列因素的限制，導(dǎo)致裂縫圖像收集和標(biāo)記成本過(guò)高，因此難以獲得大壩裂縫圖像檢測(cè)的分類模型。遷移學(xué)習(xí)主要是針對(duì)規(guī)模不大，樣本數(shù)量有限的特定領(lǐng)域數(shù)據(jù)集使用機(jī)器學(xué)習(xí)容易產(chǎn)生過(guò)擬合而導(dǎo)致無(wú)法訓(xùn)練與學(xué)習(xí)的問(wèn)題，通過(guò)利用具有一定相似性的領(lǐng)域中已訓(xùn)練好的較好優(yōu)秀模型和樣本構(gòu)建滿足任務(wù)需求的模型，從而實(shí)現(xiàn)小數(shù)據(jù)集下構(gòu)建良好模型的效果。

Faster R-CNN[2]是目前基于區(qū)域卷積神經(jīng)網(wǎng)絡(luò)系列的目標(biāo)檢測(cè)算法中綜合性能最好的方法之一，但其對(duì)多目標(biāo)、小目標(biāo)情況檢測(cè)精度不高。本文提出了一種基于Faster R-CNN的多任務(wù)增強(qiáng)裂縫圖像檢測(cè)方法，以適應(yīng)大壩在不同光照環(huán)境，不同長(zhǎng)度裂縫情況下的檢測(cè)。同時(shí)提出了一種基于K-means多源自適應(yīng)平衡TrAdaBoost遷移學(xué)習(xí)方法輔助網(wǎng)絡(luò)訓(xùn)練，解決樣本不足問(wèn)題。

1 相關(guān)工作

根據(jù)卷積神經(jīng)網(wǎng)絡(luò)的使用方式，將基于CNN目標(biāo)檢測(cè)算法[3-4]分為兩大類：基于區(qū)域建議的深度學(xué)習(xí)目標(biāo)檢測(cè)算法和基于回歸思想的深度學(xué)習(xí)目標(biāo)檢測(cè)算法。前者的主流算法有：RCNN算法[5]、Fast R-CNN算法[6]和Faster RCNN算法。R-CNN首次將神經(jīng)網(wǎng)絡(luò)應(yīng)用在目標(biāo)檢測(cè)算法上，在 Pascal VOC 2012 的數(shù)據(jù)集上將平均精度mAP提升了30%。Fast R-CNN將候選框識(shí)別分類和位置回歸合成到一個(gè)網(wǎng)絡(luò)中，不再對(duì)網(wǎng)絡(luò)進(jìn)行分步訓(xùn)練，提高了訓(xùn)練速度。Faster RCNN與Fast R-CNN最大的區(qū)別就是提出了區(qū)域建議網(wǎng)絡(luò)(region proposal networks, RPN)網(wǎng)絡(luò)，極大地提升了檢測(cè)框的生成速度?；诨貧w思想的深度學(xué)習(xí)目標(biāo)檢測(cè)的主流算法有：SSD算法[7]和YOLO V2算法[8]。SSD算法和YOLO算法均沒(méi)有區(qū)域建議過(guò)程，極大地提高了檢測(cè)速度，但識(shí)別精度和位置回歸精度不足。

從20世紀(jì)90年代起遷移學(xué)習(xí)開(kāi)始逐漸進(jìn)入機(jī)器學(xué)習(xí)領(lǐng)域，受到研究者們的關(guān)注。常用的遷移學(xué)習(xí)方法有AdaBoost[9]和TrAdaBoost[10]算法等。AdaBoost算法基本思想：當(dāng)一個(gè)訓(xùn)練樣本被錯(cuò)誤分類時(shí)候，對(duì)此樣本增加樣本權(quán)重，再次訓(xùn)練時(shí)該樣本分錯(cuò)的概率就會(huì)大大降低。TrAda-Boost算法是由AdaBoost算法演變而來(lái)的，該算法通過(guò)降低誤分類的源域訓(xùn)練數(shù)據(jù)權(quán)重，增加誤分類的目標(biāo)域訓(xùn)練數(shù)據(jù)權(quán)重，使得分類面朝正確的方向移動(dòng)并訓(xùn)練出強(qiáng)分類模型。Al-Stouhi等[11]總結(jié)TrAdaBoost算法存在的問(wèn)題，在此基礎(chǔ)上進(jìn)行改進(jìn)，提出一種動(dòng)態(tài)TrAdaboost (dynamic TrAdaboost, DtrA)方法，DtrA方法能夠在迭代過(guò)程中動(dòng)態(tài)調(diào)整樣本權(quán)重；郭勇[12]在DtrA方法基礎(chǔ)上進(jìn)一步改進(jìn)，提出一種自適應(yīng)TrAdaBoost (adaptive TrAdaBoost, AtrA) 方法，AtrA方法能夠反映出源領(lǐng)域訓(xùn)練數(shù)據(jù)集與目標(biāo)領(lǐng)域訓(xùn)練數(shù)據(jù)集之間是否具有相似性關(guān)系。

2 ME-Faster R-CNN與K-MABtrA方法

本文提出了一種基于Faster R-CNN的多任務(wù)增強(qiáng)裂縫圖像檢測(cè)的網(wǎng)絡(luò)模型，以適應(yīng)大壩在不同光照環(huán)境、不同長(zhǎng)度裂縫情況下的檢測(cè)。同時(shí)，提出了一種基于K-means多源自適應(yīng)平衡TrAdaBoost遷移學(xué)習(xí)方法解決樣本不足問(wèn)題。本文采用基于K-MABtrA遷移學(xué)習(xí)方法訓(xùn)練MEFaster R-CNN網(wǎng)絡(luò)模型，該方法通過(guò)已準(zhǔn)備的多源裂縫圖像數(shù)據(jù)集對(duì)卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)進(jìn)行預(yù)訓(xùn)練，然后使用預(yù)訓(xùn)練得到的網(wǎng)絡(luò)權(quán)重作為初始權(quán)值，遷移到目標(biāo)數(shù)據(jù)集上進(jìn)行微調(diào)，得到適用于大壩裂縫檢測(cè)的模型。

2.1 ME-Faster R-CNN模型

ME-Faster R-CNN在Faster R-CNN模型基礎(chǔ)上進(jìn)行改進(jìn)，改進(jìn)之處如圖1所示。其中，特征提取部分：選取輕量級(jí)的ResNet-50作為卷積神經(jīng)網(wǎng)絡(luò)；特征融合部分以及候選區(qū)域生成部分：改進(jìn)使用多任務(wù)增強(qiáng)RPN模型，改善錨盒尺寸大小提高Faster R-CNN搜索能力，提高檢測(cè)識(shí)別精度；檢測(cè)處理部分：特征圖和選擇區(qū)域建議經(jīng)過(guò)感興趣區(qū)域(ROI)池、全連接(FC)層分別發(fā)送給邊界回歸器和SVM分類器得到分類與回歸結(jié)果。

圖 1 ME-Faster R-CNN模型改進(jìn)之處Fig. 1 Improvements of ME-Faster R-CNN

ME-Faster R-CNN檢測(cè)流程主要分為3個(gè)部分，分別是特征提取、特征融合以及候選區(qū)域生成、檢測(cè)處理。

1)特征提取：本文選用ResNet-50深度殘差網(wǎng)絡(luò)[13]作為大壩裂縫圖像特征提取器，通過(guò)5級(jí)ResNet-50將圖片轉(zhuǎn)換成特征圖。

2)特征融合以及候選區(qū)域生成：將所得特征圖輸入多任務(wù)增強(qiáng)RPN模型，并改善RPN模型的錨盒尺寸和大小以提高檢測(cè)識(shí)別精度，最后生成候選框。具體方法如下：

①多任務(wù)增強(qiáng)RPN方法：最初Faster RCNN模型結(jié)構(gòu)中只有一個(gè)RPN，RPN使用最后一個(gè)卷積層獲得特征圖[2]。稱之為原始RPN，其結(jié)構(gòu)如圖2(a)所示，輸入圖像大小為 224×224，原始RPN在網(wǎng)絡(luò)中感受野要遠(yuǎn)遠(yuǎn)大于 2 24×224，僅能獲得少量典型裂縫特征。然而，圖像中裂縫存在不同大小和比例。如果檢測(cè)到裂縫大小對(duì)于檢測(cè)區(qū)域太大，則檢測(cè)區(qū)域周?chē)嘤嗔芽p形狀可能會(huì)被視為噪音。如果檢測(cè)到裂縫大小對(duì)于檢測(cè)區(qū)域太小，RPN將無(wú)法生成ROI。因此，原始RPN的功能不足以檢測(cè)不同大小和比例的完整裂縫對(duì)象。

圖 2 原始RPN模型與多任務(wù)增強(qiáng)RPN模型Fig. 2 Primitive RPN module &multi-task enhanced RPN module

針對(duì)以上問(wèn)題，ME-Faster R-CNN方法提出一種多任務(wù)增強(qiáng)RPN方法，其結(jié)構(gòu)如圖2(b)所示。該方法在ResNet-50的基礎(chǔ)上引入多個(gè)RPN來(lái)產(chǎn)生ROI，提取不同大小特征圖。具體是在ResNet-50的第3卷積層Conv3_x后加入一個(gè)RPN模塊，其感受野大小為 146×146，用來(lái)檢測(cè)較小目標(biāo)；同時(shí)在ResNet-50的第4卷積層Conv4_x后加入一個(gè)RPN模塊，其感受野大小為 229×229，用來(lái)檢測(cè)較大目標(biāo)；在ResNet-50的第5卷積層Conv5_x之后利用多RPN任務(wù)可以輸出圖像總體信息。

由于每個(gè)RPN輸出獨(dú)立的ROI數(shù)組，為聚集和選擇有效的區(qū)域，多任務(wù)增強(qiáng)RPN方法提供ROI-Merge Layer用于接受獨(dú)立ROI數(shù)組，ROIMerge Layer僅輸出一個(gè)數(shù)組。為了避免重復(fù)的ROI和低的ROI裂縫似然分?jǐn)?shù)，本文使用非極大值抑制方法，不同卷積層后RPN輸出的候選區(qū)域中，在對(duì)應(yīng)位置兩ROI的交并比大于0.7的ROI為同一ROI。具體方法為，3個(gè)卷積層后RPN輸出的候選區(qū)域均帶有建議得分，該分?jǐn)?shù)對(duì)應(yīng)的是目標(biāo)的可能性，在對(duì)應(yīng)位置選取分?jǐn)?shù)最高的一個(gè)ROI區(qū)域，另外兩層對(duì)應(yīng)位置的ROI與所選ROI交并比IoU若大于0.7，則認(rèn)為是同一ROI，ROI-Merge Layer的輸出數(shù)組中對(duì)應(yīng)位置僅輸出該得分最高的數(shù)組。在使用非極大值抑制方法之后，選擇前100個(gè)值較高的ROI。因此，ROIMerge Layer只需要調(diào)整超參數(shù)即可控制ROI的數(shù)量。

②改善RPN模型的錨盒尺寸和大小：FasterR-CNN模型經(jīng)過(guò)卷積層提取特征圖，然后特征圖輸入RPN區(qū)域進(jìn)行特征融合以及生成候選區(qū)域，此時(shí)特征圖上每個(gè)像素點(diǎn)映射不同比例寬度錨點(diǎn)，每個(gè)錨點(diǎn)放置若干個(gè)不同大小的錨，為解決不同尺度間隔的錨盒搜索能力不平衡的問(wèn)題，本文設(shè)計(jì)了一種新型錨盒，新型錨盒尺度為：50×50 、 2 00×200 、 3 50×350 和 5 00×500，其中，50×50 和 2 00×200 適用于較小的裂縫檢測(cè)，350×350 和 5 00×500 適用于較大的裂縫檢測(cè)。這4種尺度每種尺寸按1∶1，1∶2，2∶1 的長(zhǎng)寬比例縮放，共12種尺度作為RPN需要評(píng)估的候選框，在預(yù)測(cè)時(shí)候選框的順序是固定的。RPN的目標(biāo)就是對(duì)原圖中的每個(gè)錨點(diǎn)對(duì)應(yīng)的12個(gè)框，預(yù)測(cè)其是否是一個(gè)存在目標(biāo)的框?？蚺c真值框的 IoU＞0.7就 認(rèn)為這個(gè)框是一個(gè)候選框，反之，則不是。

2.2 K-MABtrA方法

針對(duì)大壩裂縫圖像較少，訓(xùn)練樣本分布不均衡，以及TrAdaBoost算法在訓(xùn)練過(guò)程中易削弱輔助數(shù)據(jù)集作用的問(wèn)題，本節(jié)提出一種基于Kmeans的多源自適應(yīng)平衡TrAdaBoost的遷移學(xué)習(xí)方法K-MABtrA，使用遷移學(xué)習(xí)充分利用多個(gè)領(lǐng)域的大量相關(guān)訓(xùn)練集，動(dòng)態(tài)調(diào)整樣本權(quán)值，訓(xùn)練出網(wǎng)絡(luò)的強(qiáng)分類器，提高大壩裂縫檢測(cè)的準(zhǔn)確率。如圖3所示為基于K-means的多源自適應(yīng)平衡TrAdaBoost遷移學(xué)習(xí)方法的過(guò)程，主要分為兩個(gè)階段：K-means圖像聚類方法[14]和多源自適應(yīng)平衡TrAdaBoost遷移學(xué)習(xí)。

1) K-means圖像聚類方法：通過(guò)K-means圖像聚類方法，利用歐式距離將圖像進(jìn)行聚類排序。將聚類距離遠(yuǎn)的圖片從裂縫圖像庫(kù)中刪除，有利于后續(xù)分類器的訓(xùn)練，提高訓(xùn)練效率。K代表聚類質(zhì)心數(shù)目，means表示簇內(nèi)數(shù)據(jù)的均值。K-means圖像聚類方法具體步驟如下：

①首先將圖像庫(kù)中圖像Xi(i=1,2,···,n) 進(jìn)行灰度化，依次存儲(chǔ)到一維矩陣DX中；

②接著以10像素長(zhǎng)度，3像素移動(dòng)步長(zhǎng)依次進(jìn)行分塊存儲(chǔ)，記錄每小塊的首位置，得到n個(gè)像素塊數(shù)據(jù)集，從中任意選擇30個(gè)圖像小塊的灰度均值作為初始聚類中心；

③根據(jù)每個(gè)圖像矩陣小塊的灰度均值，利用歐幾里得距離，如式(1)所示，計(jì)算這些對(duì)象與30個(gè)圖像樣本聚類中心的距離；并根據(jù)最小距離重新對(duì)相應(yīng)圖像小塊灰度均值進(jìn)行劃分，將每個(gè)圖像矩陣小塊賦給最相近的類；

式中：dis(xi,yj) 為數(shù)據(jù)對(duì)象xi和yj之間的距離。該值越大，說(shuō)明xi和?yj越相似；反之xi和yj差距越大。

④重新計(jì)算每個(gè)有變化的圖像小塊像素灰度均值的質(zhì)心；

⑤重復(fù)上述步驟3)、4)直至各個(gè)數(shù)據(jù)類的集合 中心不再發(fā)生變化為止。

圖 3 K-MABtrA方法流程圖Fig. 3 Flow chart of K-MABtrA method

2)多源自適應(yīng)平衡TrAdaBoost遷移學(xué)習(xí)：利用不同領(lǐng)域裂縫圖像和真實(shí)大壩裂縫圖像一一組合進(jìn)行訓(xùn)練，生成基分類器；在TrAdaBoost基礎(chǔ)上引入校正系數(shù)[12]，避免由于迭代次數(shù)的增加，導(dǎo)致源領(lǐng)域權(quán)重下降過(guò)快，與目標(biāo)源領(lǐng)域權(quán)重之間差距過(guò)大的問(wèn)題；在校正系數(shù)中引入自適應(yīng)回補(bǔ)參數(shù)[13]，反映源領(lǐng)域訓(xùn)練數(shù)據(jù)集與目標(biāo)領(lǐng)域訓(xùn)練數(shù)據(jù)集之間是否具有相似性關(guān)系，提高方法檢測(cè)性能；最后，使用最終平衡權(quán)重法，使最終得到的目標(biāo)源數(shù)據(jù)集與各領(lǐng)域裂縫數(shù)據(jù)集重要度一致。

① 增加校正系數(shù)更新源領(lǐng)域樣本的權(quán)值

遷移學(xué)習(xí)在訓(xùn)練過(guò)程在，各領(lǐng)域輔助訓(xùn)練集隨著迭代次數(shù)增加得到的權(quán)值不斷減小以至于與目標(biāo)數(shù)據(jù)集不相關(guān)，無(wú)法起到輔助目標(biāo)數(shù)據(jù)集學(xué)習(xí)的作用。為了更好地利用各領(lǐng)域輔助訓(xùn)練集和目標(biāo)數(shù)據(jù)集訓(xùn)練，在TrAdaBoost基礎(chǔ)上增加校正系數(shù)更新源領(lǐng)域樣本的權(quán)值。當(dāng)?shù)螖?shù)m不斷增大，各個(gè)領(lǐng)域輔助訓(xùn)練集都能被正確回歸，當(dāng) m 次迭代結(jié)束后，各個(gè)輔助領(lǐng)域樣本權(quán)值之和為

式中：na為輔助訓(xùn)練集 a 中樣本個(gè)數(shù)；wma為 a 中各訓(xùn)練樣本權(quán)重。

目標(biāo)數(shù)據(jù)集 b 中預(yù)測(cè)樣本正確的樣本權(quán)值不變，nb為目標(biāo)數(shù)據(jù)集 b 中樣本個(gè)數(shù)， wmb為 b 中訓(xùn)練樣本權(quán)重，εmb為弱分類器在 b 上的錯(cuò)誤率，正確樣本的權(quán)值之和為

目標(biāo)數(shù)據(jù)集 b 中預(yù)測(cè)錯(cuò)誤樣本需要更新 φm，則 b 中錯(cuò)誤樣本的權(quán)值之和 Sb2為

所有目標(biāo)域樣本權(quán)值之和，即正確樣本和錯(cuò)誤樣本權(quán)值之和：

當(dāng) m+1 次迭代的輔助數(shù)據(jù)集樣本權(quán)值分布為

當(dāng)?shù)螖?shù)足夠大時(shí)，各領(lǐng)域輔助訓(xùn)練集都能被正確回歸，迭代結(jié)束后，wma+1=wma，聯(lián)系式(6)可得：

設(shè)輔助數(shù)據(jù)集樣本增加校正系數(shù)為 Cm，其權(quán)值變?yōu)?/p>

從式(9)可以看出，校正系數(shù) Cm與弱分類器在目標(biāo)數(shù)據(jù)集 b 上的錯(cuò)誤率 εmb負(fù)相關(guān)，輔助數(shù)據(jù)集樣本權(quán)值增加，對(duì)下一次迭代訓(xùn)練弱分類器的影響增加；反之對(duì)下一次迭代訓(xùn)練弱分類器的影響減小。因此，在TrAdaBoost算法基礎(chǔ)上加入校正系數(shù) Cm能夠同時(shí)保持目標(biāo)數(shù)據(jù)集和輔助數(shù)據(jù)集樣本權(quán)值得到收斂。

② 引入自適應(yīng)回補(bǔ)參數(shù)

然而，即使 εb較低時(shí)，弱分類器對(duì)源領(lǐng)域訓(xùn)練集的分類效果也會(huì)存在差異，這種差異同樣可以反映出源領(lǐng)域訓(xùn)練集與目標(biāo)領(lǐng)域訓(xùn)練集之間的相關(guān)性。為了反映這種相似性關(guān)系，在校正系數(shù)中引入自適應(yīng)回補(bǔ)參數(shù)，自適應(yīng)回補(bǔ)參數(shù)為基分類器在輔助數(shù)據(jù)集和目標(biāo)數(shù)據(jù)集上的分類正確率之和，即

③ 最終平衡權(quán)重法

最后，循環(huán)達(dá)到設(shè)定迭代次數(shù) M ，得到強(qiáng)學(xué)習(xí)器。但在迭代后，目標(biāo)數(shù)據(jù)集與源數(shù)據(jù)集的權(quán)重已經(jīng)嚴(yán)重偏離，所以，造成最終分類器也過(guò)于偏向目標(biāo)小數(shù)據(jù)集的問(wèn)題。針對(duì)上述問(wèn)題，在最終分類器生成方式中引入最終平衡權(quán)重法。最終平衡權(quán)重法的基本概念是：在迭代過(guò)程中，源數(shù)據(jù)權(quán)重不斷下降，目標(biāo)數(shù)據(jù)權(quán)重不斷增加，迭代結(jié)束后，源數(shù)據(jù)權(quán)重與目標(biāo)數(shù)據(jù)權(quán)重之間差距較大，但在最終分類器生成形式上，將目標(biāo)數(shù)據(jù)集最終權(quán)重重置為最后一次迭代中各領(lǐng)域輔助訓(xùn)練集權(quán)重的平均值，使最終得到的目標(biāo)源數(shù)據(jù)集與各領(lǐng)域輔助訓(xùn)練集要度一致，提高算法的檢測(cè)準(zhǔn)確 率。

3 實(shí)驗(yàn)與結(jié)果

3.1 數(shù)據(jù)集介紹

目前公開(kāi)的大壩裂縫圖像數(shù)據(jù)庫(kù)較少，為了實(shí)現(xiàn)對(duì)大壩裂縫圖像檢測(cè)與識(shí)別，從大壩日常監(jiān)測(cè)過(guò)程以及Google圖像搜索引擎中收集并整理已標(biāo)記好的裂縫圖像組建成數(shù)據(jù)庫(kù)。該數(shù)據(jù)庫(kù)包含大壩、公路、混凝土墻壁和橋梁4個(gè)領(lǐng)域裂縫圖像，其中大壩裂縫圖像635張，其他領(lǐng)域裂縫圖片 每個(gè)領(lǐng)域各2 500張，總計(jì)8 135張裂縫圖片。

3.2 實(shí)驗(yàn)結(jié)果與分析

本次實(shí)驗(yàn)根據(jù)選取數(shù)據(jù)集的特點(diǎn)，選取mAP[15](mean average precision)和檢測(cè)評(píng)價(jià)函數(shù)交并比[16](intersection over union，IoU)作為目標(biāo)檢測(cè)算法的評(píng)價(jià)指標(biāo)。mAP作為目標(biāo)檢測(cè)中用于衡量識(shí)別精度指標(biāo)；IoU 表示感興趣區(qū)域和標(biāo)定區(qū)域的重疊率。

本實(shí)驗(yàn)主要從以下4個(gè)方面對(duì)基于Faster RCNN參數(shù)遷移的裂縫圖像檢測(cè)訓(xùn)練方法的優(yōu)劣進(jìn)行對(duì)比分析：

1)視覺(jué)對(duì)比分析

在裂縫檢測(cè)過(guò)程中，對(duì)裂縫圖像提取感興趣區(qū)域，并對(duì)感興趣區(qū)域進(jìn)行裂縫特征提取，通過(guò)訓(xùn)練好的分類器進(jìn)行裂縫檢測(cè)識(shí)別后，每個(gè)感興趣區(qū)域邊框都會(huì)得到一個(gè)分?jǐn)?shù)，即置信度。隨機(jī)選取3組實(shí)驗(yàn)結(jié)果進(jìn)行視覺(jué)對(duì)比分析如圖4所示。以圖4(a)為例，其中，原圖中央有一條長(zhǎng)度和開(kāi)合度明顯的裂縫痕跡，其下方有一條短且開(kāi)合度不明顯的裂縫痕跡。Faster R-CNN能夠檢測(cè)出長(zhǎng)度和開(kāi)合度明顯的裂縫，在其下方的裂縫并未準(zhǔn)確檢測(cè)出來(lái)。而ME-Faster R-CNN模型不僅提高 I oU 重疊度，更為準(zhǔn)確地檢測(cè)出長(zhǎng)裂縫，同時(shí)能夠準(zhǔn)確檢測(cè)出下方小裂縫痕跡，做到不誤檢也不漏檢。實(shí)驗(yàn)結(jié)果表明，在相同的實(shí)驗(yàn)條件下，ME-Faster R-CNN方法不僅能提高檢測(cè)精度，而且在應(yīng)對(duì)目標(biāo)小、多目標(biāo)情況時(shí)，能獲得很好的 檢測(cè)效果。

圖 4 視覺(jué)對(duì)比分析Fig. 4 Visual contrast analysis

2)與不同基準(zhǔn)網(wǎng)絡(luò)模型之間對(duì)比分析

該部分采用ZF網(wǎng)絡(luò)[17]、VGG-16[18]網(wǎng)絡(luò)、Res-Net-50和ResNet-101網(wǎng)絡(luò)作為特征提取基準(zhǔn)網(wǎng)絡(luò)，F(xiàn)aster R-CNN作為目標(biāo)檢測(cè)模型進(jìn)行實(shí)驗(yàn)。

由表1可得，在同樣數(shù)據(jù)集的訓(xùn)練測(cè)試下，ZF-Net可以達(dá)到66.51%的mAP值，VGG-16網(wǎng)絡(luò)可以達(dá)到71.90%的mAP值，而ResNet網(wǎng)絡(luò)的mAP值可以超過(guò)78%，提高了6個(gè)百分點(diǎn)，網(wǎng)絡(luò)的檢測(cè)準(zhǔn)確度得到提高，由表1可以看出ResNet-50比ResNet-101的檢測(cè)精度略低，但是ResNet-50的參數(shù)量為ResNet-101參數(shù)量的 1 /2，能夠有效減少網(wǎng)絡(luò)權(quán)重?cái)?shù)量，加速模型訓(xùn)練[14]，綜合訓(xùn)練速度與檢測(cè)精度本文選取ResNet-50為基準(zhǔn)模型。

表 1 不同基準(zhǔn)網(wǎng)絡(luò)模型的準(zhǔn)確度Table 1 Accuracy of different baseline network models

3)與不同目標(biāo)檢測(cè)算法對(duì)比分析

該部分以ResNet-50網(wǎng)絡(luò)為基準(zhǔn)網(wǎng)絡(luò)，以SSD算法、YOLO V2算法、Faster R-CNN算法和ME-Faster R-CNN算法作目標(biāo)檢測(cè)模型進(jìn)行實(shí)驗(yàn)。

表2給出不同目標(biāo)檢測(cè)算法獲得的平均IoU、召回率、準(zhǔn)確度以及平均精度。其中，MEFaster R-CNN算法的平均 IoU 是最高的，表明ME-Faster R-CNN算法在裂縫位置檢測(cè)的準(zhǔn)確性方面更優(yōu)異一些，且其mAP值也是最大的，達(dá)到80.02%，表明ME-Faster R-CNN檢測(cè)模型的綜合性能很好。

表 2 不同目標(biāo)檢測(cè)算法對(duì)比分析Table 2 Comparison of different target detection algorithms

此外，注意到裂縫尺寸大小對(duì)準(zhǔn)確度也會(huì)存在一定影響。因此，將采集到的真實(shí)大壩裂縫圖像根據(jù)其尺寸大小分為3組。第1組包含100個(gè)樣本，其尺寸大小在[0,50]范圍內(nèi)，第2組包含100個(gè)樣本，其尺寸大小在[50,200]范圍內(nèi)，第3組包含100個(gè)樣本，其尺寸大小超過(guò)200像素。各目標(biāo)檢測(cè)算法在不同尺寸裂縫圖像的準(zhǔn)確度如圖5所示。

圖 5 不同尺寸裂縫圖像的準(zhǔn)確度Fig. 5 Accuracy of crack images with different sizes

從圖5可以看出，F(xiàn)aster R-CNN系列模型檢測(cè)的準(zhǔn)確度要整體優(yōu)于SSD算法和YOLO V2算法，所有的檢測(cè)算法在較大裂縫圖像上都能表現(xiàn)得最好，而在小裂縫圖像的檢測(cè)上，準(zhǔn)確度卻不是很高。Faster R-CNN算法和ME-Faster RCNN算法在較大裂縫圖像檢測(cè)性能上實(shí)力相當(dāng)，而在小裂縫圖像的檢測(cè)上，ME-Faster R-CNN算法要更優(yōu)于Faster R-CNN算法。綜上所述，MEFaster R-CNN算法在保持一定準(zhǔn)確度的基礎(chǔ)上，在面對(duì)小目標(biāo)檢測(cè)難度較大的情況，也能獲得很好的效果。

4)遷移學(xué)習(xí)對(duì)比實(shí)驗(yàn)

該部分以ResNet-50作為基準(zhǔn)網(wǎng)絡(luò)，ME-Faster R-CNN作為目標(biāo)檢測(cè)模型，目標(biāo)數(shù)據(jù)集樣本占源訓(xùn)練集樣本的比例為r，r取2%、5%和10%，分別用K-MABtrA方法、ATrA方法、DTrA方法、TrAdaBoost遷移學(xué)習(xí)方法進(jìn)行分類器訓(xùn)練。

由表3可得出，同一方法，不同比例r下訓(xùn)練得到的分類器，在一定的范圍內(nèi)隨著比例r不斷增加，分類器的各評(píng)價(jià)指標(biāo)都有所提升，說(shuō)明在一定范圍內(nèi)目標(biāo)源數(shù)據(jù)占總數(shù)據(jù)比例越大，分類器的各評(píng)價(jià)指標(biāo)越高，檢測(cè)效果越好。在目標(biāo)源數(shù)據(jù)所占比例r相同情況下：ATrA和DTrA方法各評(píng)價(jià)指標(biāo)均高于TrAdaBoost，證明了引入校正系數(shù)和自適應(yīng)回補(bǔ)參數(shù)的有效性。本文提出的K-MABtrA方法各指標(biāo)均高于ATrA方法。說(shuō)明K-MABtrA方法引入最終平衡權(quán)重法，使最終得到的目標(biāo)源數(shù)據(jù)集與各領(lǐng)域裂縫數(shù)據(jù)集重要度一致，提高算法的檢測(cè)準(zhǔn)確率。綜上所述，K-MAB-trA方法能夠更多地利用其他領(lǐng)域的共享信息，得到更好的遷移學(xué)習(xí)效果，訓(xùn)練出強(qiáng)分類器，高效 地完成大壩裂縫圖片的檢測(cè)任務(wù)。

表 3 不同遷移學(xué)習(xí)方法對(duì)比分析 Table 3 Comparison of different transfer learning methods

4 結(jié)束語(yǔ)

經(jīng)實(shí)驗(yàn)驗(yàn)證，本文提出的ME-Faster RCNN方法在多目標(biāo)、小目標(biāo)檢測(cè)準(zhǔn)確性方面更優(yōu)異；且本文提出的遷移學(xué)習(xí)方法更有效地解決了樣本不足的問(wèn)題。本文所提出方法的局限性在于ME-Faster R-CNN相比于Faster R-CNN只在特定檢測(cè)任務(wù)中準(zhǔn)確度較高，比如本文的應(yīng)用場(chǎng)景：大壩裂縫檢測(cè)，或類似的檢測(cè)任務(wù)。而對(duì)于目標(biāo)大小相似、亮度相同的目標(biāo)檢測(cè)其結(jié)果與FasterR-CNN所差無(wú)幾。