基于輕量化卷積神經(jīng)網(wǎng)絡(luò)的橋梁斜拉索PE護(hù)套損傷識(shí)別方法

摘要"深度神經(jīng)網(wǎng)絡(luò)和計(jì)算機(jī)視覺(jué)技術(shù)近年來(lái)在結(jié)構(gòu)健康監(jiān)測(cè)中發(fā)揮了越來(lái)越重要的作用。利用無(wú)人機(jī)航拍采集的橋梁斜拉索損傷圖像數(shù)據(jù)，研究基于深度學(xué)習(xí)技術(shù)的斜拉索PE護(hù)套損傷識(shí)別方法。為實(shí)現(xiàn)在較低運(yùn)算能力設(shè)備上對(duì)大跨度橋梁斜拉索表面局部損傷的智能快速識(shí)別，解決傳統(tǒng)深度卷積神經(jīng)網(wǎng)絡(luò)的運(yùn)算效率相對(duì)較低、模型參數(shù)規(guī)模較大的問(wèn)題，提出輕量化處理的區(qū)域推薦型卷積神經(jīng)網(wǎng)絡(luò)模型。介紹區(qū)域推薦網(wǎng)絡(luò)與其輕量化改進(jìn)方法的理論基礎(chǔ)，分析輕量化模型處理的必要性，其能在保證識(shí)別精度的前提下降低模型訓(xùn)練與預(yù)測(cè)的設(shè)備性能需求，達(dá)到節(jié)約計(jì)算資源與時(shí)間的目的；通過(guò)數(shù)據(jù)增廣等多手段解決損傷樣本數(shù)據(jù)量不足的問(wèn)題，設(shè)置對(duì)比試驗(yàn)，統(tǒng)計(jì)分析結(jié)果，驗(yàn)證了輕量化神經(jīng)網(wǎng)絡(luò)模型的優(yōu)越性。結(jié)果表明，輕量化網(wǎng)絡(luò)在犧牲少量識(shí)別準(zhǔn)確度的前提下，能夠在較大程度上實(shí)現(xiàn)對(duì)模型復(fù)雜度與計(jì)算量的改進(jìn)，在工程應(yīng)用中能有效拓展神經(jīng)網(wǎng)絡(luò)的實(shí)用性。

關(guān)鍵詞"橋梁斜拉索;"智能損傷識(shí)別;"輕量化神經(jīng)網(wǎng)絡(luò);"計(jì)算機(jī)視覺(jué);"深度學(xué)習(xí)

近年來(lái)，隨著橋梁基礎(chǔ)設(shè)施建設(shè)迅速發(fā)展，結(jié)構(gòu)安全問(wèn)題時(shí)有發(fā)生。結(jié)構(gòu)發(fā)生損傷后，若不能及時(shí)發(fā)現(xiàn)，極有可能造成重大安全事故，所以建立可靠的結(jié)構(gòu)檢測(cè)和監(jiān)測(cè)系統(tǒng)對(duì)延長(zhǎng)橋梁工程結(jié)構(gòu)使用壽命和減小損失具有重大意義。計(jì)算機(jī)視覺(jué)和深度學(xué)習(xí)技術(shù)近年來(lái)在結(jié)構(gòu)檢測(cè)和健康監(jiān)測(cè)領(lǐng)域中受到大量關(guān)注，取得了很好的進(jìn)展^[1-3]。但當(dāng)前研究大多集中于提升損傷檢測(cè)的準(zhǔn)確性，而少有研究對(duì)嵌入式設(shè)備與移動(dòng)設(shè)備的運(yùn)算能力、內(nèi)存空間進(jìn)行改進(jìn)。

以圖像進(jìn)行結(jié)構(gòu)檢測(cè)的相關(guān)研究中，被廣泛采用的是深度卷積神經(jīng)網(wǎng)絡(luò)^[4-5]，然而，對(duì)于傳統(tǒng)的深度卷積神經(jīng)網(wǎng)絡(luò)而言，最突出的問(wèn)題是模型參數(shù)量過(guò)于龐大，在實(shí)際應(yīng)用中面臨著設(shè)備內(nèi)存可能不足的問(wèn)題；其次，在多類(lèi)實(shí)際應(yīng)用場(chǎng)景下，存在低延遲，或者響應(yīng)速度快的需求^[6]。所以，研究輕量而高效的深度卷積網(wǎng)絡(luò)模型至關(guān)重要。

對(duì)于基于計(jì)算機(jī)視覺(jué)的工程結(jié)構(gòu)檢測(cè)和監(jiān)測(cè)，目前研究者很少考慮深度神經(jīng)網(wǎng)絡(luò)模型的復(fù)雜度與運(yùn)算量，訓(xùn)練與識(shí)別大多以辦公主機(jī)端為載體，沒(méi)有為結(jié)構(gòu)檢測(cè)和監(jiān)測(cè)現(xiàn)場(chǎng)設(shè)備提供實(shí)時(shí)低運(yùn)算方法。雖然有研究已經(jīng)實(shí)現(xiàn)了對(duì)橋梁的實(shí)時(shí)監(jiān)測(cè)，但其計(jì)算性能仍然依賴(lài)于地面端上位機(jī)^[7]，若模型性能需求過(guò)高，將進(jìn)一步提高工程監(jiān)測(cè)成本，限制模型的可應(yīng)用性。也有研究以傳感器或傳統(tǒng)圖像識(shí)別完成實(shí)時(shí)橋梁結(jié)構(gòu)監(jiān)測(cè)，存在傳感器成本較高或抗干擾能力較差等問(wèn)題^[8]。卷積神經(jīng)網(wǎng)絡(luò)以大數(shù)據(jù)與深度學(xué)習(xí)為支撐，具有較強(qiáng)的泛用性和復(fù)雜背景適應(yīng)性，但多篇文獻(xiàn)提到，在傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)中訓(xùn)練過(guò)程耗時(shí)較長(zhǎng)。文獻(xiàn)綜述^[9]指出，普通的卷積神經(jīng)網(wǎng)絡(luò)在大型數(shù)據(jù)集中訓(xùn)練時(shí)間可達(dá)到80 h。文獻(xiàn)[5]提到，即便只有400個(gè)訓(xùn)練樣本，其訓(xùn)練過(guò)程耗時(shí)也可達(dá)到8～10 h。如此龐大的運(yùn)算量，時(shí)間成本較高，低運(yùn)算能力設(shè)備可能難以勝任。

筆者將對(duì)針對(duì)此類(lèi)問(wèn)題，從計(jì)算機(jī)視覺(jué)和深度學(xué)習(xí)技術(shù)較少關(guān)注的大跨度橋梁斜拉索PE護(hù)套損傷識(shí)別問(wèn)題出發(fā)，針對(duì)現(xiàn)場(chǎng)結(jié)構(gòu)非均質(zhì)背景的強(qiáng)干擾下、由無(wú)人機(jī)采集的斜拉索表面損傷圖像，在嵌入式設(shè)備與移動(dòng)設(shè)備上運(yùn)行輕量化的區(qū)域推薦型卷積神經(jīng)網(wǎng)絡(luò)對(duì)損傷進(jìn)行識(shí)別。旨在保證識(shí)別準(zhǔn)確率的前提下，降低模型所需要的運(yùn)算能力與內(nèi)存占用，使深度神經(jīng)網(wǎng)絡(luò)模型能夠在運(yùn)算能力相對(duì)較低、內(nèi)存空間相對(duì)較小的嵌入式設(shè)備與移動(dòng)設(shè)備上進(jìn)行自主訓(xùn)練與預(yù)測(cè)，達(dá)到通過(guò)低運(yùn)算能力設(shè)備實(shí)現(xiàn)工程結(jié)構(gòu)損傷實(shí)時(shí)檢測(cè)與識(shí)別的目標(biāo)。

1"輕量化卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建

1.1"區(qū)域推薦型卷積神經(jīng)網(wǎng)絡(luò)

考慮橋梁斜拉索損傷樣本的特性問(wèn)題，選取區(qū)域推薦型卷積神經(jīng)網(wǎng)絡(luò)針對(duì)性地完成對(duì)損傷目標(biāo)的智能檢測(cè)。該方法相比其他目標(biāo)檢測(cè)方法具有明顯優(yōu)勢(shì)。如，以YOLO^[10]為代表的單階段方法（One-stage Approach）雖然在多次迭代升級(jí)后，在標(biāo)準(zhǔn)數(shù)據(jù)集上具備較好的檢測(cè)性能，但由于其架構(gòu)特性，容易產(chǎn)生過(guò)量負(fù)樣本，從而導(dǎo)致前景與背景類(lèi)別不均衡，最終導(dǎo)致在特定數(shù)據(jù)集下的性能表現(xiàn)不佳^[11]。而在本研究中，橋梁斜拉索PE套的損傷不顯著且數(shù)量較少，負(fù)樣本過(guò)多將進(jìn)一步產(chǎn)生不利影響。因此，若使用目前性能更優(yōu)的YOLO等單階段方法，模型將難以避免結(jié)構(gòu)性劣勢(shì)。另外，以區(qū)域推薦型卷積神經(jīng)網(wǎng)絡(luò)為代表的兩階段法（Two-stage Approach）采用先生成候選框，再進(jìn)行分類(lèi)與回歸的分步方法。其相比于YOLO等單階段方法避免了負(fù)樣本過(guò)多的問(wèn)題，契合本研究所使用的斜拉索PE護(hù)套樣本特征，能夠有效發(fā)揮模型效能。在實(shí)際應(yīng)用中，得益于兩階段方法的優(yōu)勢(shì)，在同一條件下其準(zhǔn)確率也往往更高^[12]。此外，相比于Mask RCNN^[13]等實(shí)例分割網(wǎng)絡(luò)，省去了掩碼分支和過(guò)多的全連接層等復(fù)雜結(jié)構(gòu)^[14]即可以達(dá)到檢測(cè)目的，節(jié)約了大量計(jì)算資源。

從斜拉索樣本特征進(jìn)行分析，矩形候選區(qū)域生成機(jī)制的特性契合了斜拉索二維平面形狀在整幅圖像中的面積占比相對(duì)較小的實(shí)際情況，以多尺度的矩形參考框（Anchors）在圖像矩陣上的滑動(dòng)完成對(duì)斜拉索PE護(hù)套的損傷定位，充分發(fā)揮了以矩形邊界框進(jìn)行目標(biāo)檢測(cè)的計(jì)算簡(jiǎn)便優(yōu)勢(shì)^[15]。樣本特征與方法特性具備高匹配度，最終形成高效的注意力集中機(jī)制。

在兩階段方法的結(jié)構(gòu)性?xún)?yōu)勢(shì)基礎(chǔ)上，區(qū)域推薦型卷積神經(jīng)網(wǎng)絡(luò)將注意力機(jī)制與目標(biāo)檢測(cè)相結(jié)合，能夠快速確定感興趣區(qū)域。區(qū)域推薦網(wǎng)絡(luò)模塊（Region Proposal Networks，RPN）通過(guò)生成約2 000個(gè)矩形候選區(qū)域，大概率包含待檢測(cè)目標(biāo)，能夠提供候選對(duì)象，便于后續(xù)網(wǎng)絡(luò)模塊進(jìn)行目標(biāo)定位^[16-18]。

研究中，獨(dú)立的區(qū)域推薦網(wǎng)絡(luò)模塊與普通的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)類(lèi)似，包含卷積、激活、池化層和全連接層。該模塊通過(guò)成組的卷積、激活、池化操作以后，最終通過(guò)全連接層同時(shí)輸出分類(lèi)和回歸兩類(lèi)目標(biāo)函數(shù)的運(yùn)算結(jié)果，在輸出包含待檢測(cè)目標(biāo)的矩形定位框的同時(shí)，判斷候選矩形區(qū)域有無(wú)損傷。在此過(guò)程中，模塊的分類(lèi)層最終輸出一個(gè)包含2個(gè)元素的一維數(shù)組，分別對(duì)應(yīng)候選矩形框內(nèi)前景概率（包含目標(biāo)概率）與背景概率，用以確定候選區(qū)域包含待檢測(cè)損傷對(duì)象的可能性；RPN 的回歸層輸出一個(gè)包含4個(gè)元素的一維數(shù)組?？偠灾?，區(qū)域推薦網(wǎng)絡(luò)模塊RPN 僅用于確定所建議的若干矩形區(qū)域是否高概率囊括損傷目標(biāo)，用于后續(xù)的模型訓(xùn)練^[19]。

文獻(xiàn)[18]將區(qū)域推薦型卷積神經(jīng)網(wǎng)絡(luò)總結(jié)為一個(gè)獨(dú)立且統(tǒng)一的目標(biāo)檢測(cè)網(wǎng)絡(luò)，RPN模塊為此網(wǎng)絡(luò)提供“注意力集中”的作用，其工作機(jī)制總結(jié)如圖1所示?？梢詫⑵浞譃?步：1）特征提取。使用由成組的卷積、激活、池化層（Conv"amp; ReLU amp; Pooling Layers）構(gòu)成的特征提取模塊（Extractor）提取輸入圖像（Input Image）的特征圖（Feature Maps）。該特征圖作為一個(gè)共享模塊，同時(shí)用于后續(xù)全連接層和RPN層。2）區(qū)域推薦。RPN模塊用于生成候選區(qū)域（Proposals）。該層通過(guò)分類(lèi)層softmax函數(shù)判斷參考框（Anchors）屬于待檢測(cè)目標(biāo)還是背景，再利用其中的邊界框回歸方法（Bounding Box Regression）修正參考框獲得精確的候選區(qū)域。3）感興趣區(qū)域池化（RoI Pooling）。該層同時(shí)接收輸入的特征圖和候選區(qū)域，綜合兩者后輸出候選區(qū)域特征圖（Proposal Feature Maps），送入后續(xù)softmax全連接層，根據(jù)輸出判定目標(biāo)類(lèi)別。4）分類(lèi)。利用前層輸入的候選區(qū)域特征圖通過(guò)全連接層得到候選區(qū)域的類(lèi)別，同時(shí)再次使用邊界框回歸獲得檢測(cè)框最終的精確位置。

本網(wǎng)絡(luò)的目標(biāo)損失函數(shù)L（p_i，t_i）由分類(lèi)損失與回歸損失構(gòu)成，表達(dá)式為

式中：p_i、p_i^*分別為參考框的預(yù)測(cè)與真實(shí)分類(lèi)概率；t_i、t_i^*分別為預(yù)測(cè)與真實(shí)邊界框坐標(biāo)；N_cls為每一批訓(xùn)練的規(guī)模（batch size）；N_reg為邊界框數(shù)量；L_cls指使用softmax函數(shù)進(jìn)行分類(lèi)；L_reg指使用Smooth L1函數(shù)進(jìn)行回歸；λ為權(quán)重平衡參數(shù)。其p_i^*L_cls表示只有在正樣本時(shí)回歸邊界框坐標(biāo)，即：在正樣本時(shí)計(jì)算分類(lèi)與回歸損失之和，在負(fù)樣本時(shí)計(jì)算回歸損失無(wú)意義，故僅計(jì)算分類(lèi)損失。

在實(shí)際工程中，首先需要判斷結(jié)構(gòu)有無(wú)損傷，進(jìn)而細(xì)化判斷結(jié)構(gòu)損傷區(qū)域與類(lèi)型。因此，基于深度卷積網(wǎng)絡(luò)的softmax分類(lèi)層，建立先判斷結(jié)構(gòu)有無(wú)損傷、再判斷其損傷類(lèi)型的方法流程。

待預(yù)測(cè)圖像輸入深度卷積神經(jīng)網(wǎng)絡(luò)后，輸出層同時(shí)進(jìn)行分類(lèi)與回歸。其中回歸層負(fù)責(zé)矩形框的生成與定位，分類(lèi)層采用softmax 函數(shù)計(jì)算各類(lèi)別的置信概率。對(duì)于斜拉索PE保護(hù)層損傷識(shí)別問(wèn)題，雖然一共有2類(lèi)損傷目標(biāo)（螺旋線損傷、非螺旋線損傷），但實(shí)際分類(lèi)時(shí)包含背景層，共涉及3類(lèi)。經(jīng)過(guò)softmax分類(lèi)層輸出后，得到3類(lèi)目標(biāo)的置信概率分別為a%、b%、（1-a-b）%。設(shè)置閾值X%，若3類(lèi)目標(biāo)中任意目標(biāo)的置信概率均小于X%，則認(rèn)為該區(qū)域無(wú)損傷；反之，若2類(lèi)損傷目標(biāo)中存在目標(biāo)的置信概率大于X%，則認(rèn)為該區(qū)域有損傷，且輸出最大置信概率與相應(yīng)的損傷類(lèi)型。判斷流程如圖2所示。

1.2"區(qū)域推薦型卷積神經(jīng)網(wǎng)絡(luò)的輕量化處理方法

在區(qū)域推薦型卷積神經(jīng)網(wǎng)絡(luò)中，多層的網(wǎng)絡(luò)結(jié)構(gòu)會(huì)包含大量的參數(shù)，尤其是來(lái)自卷積層的參數(shù)，其數(shù)量在全部參數(shù)中占比極高^[20]。已有研究指出^[21]，卷積神經(jīng)網(wǎng)絡(luò)僅需很少一部分參數(shù)即可準(zhǔn)確地預(yù)測(cè)結(jié)果。如果不對(duì)其結(jié)構(gòu)進(jìn)行優(yōu)化，卷積過(guò)程中存在冗余信息較多，那么計(jì)算機(jī)需要較大的存儲(chǔ)空間和運(yùn)行空間來(lái)完成模型訓(xùn)練和預(yù)測(cè)任務(wù)。此外，傳統(tǒng)形式的卷積過(guò)程計(jì)算相對(duì)復(fù)雜，文獻(xiàn)[20]提到，在一些網(wǎng)絡(luò)結(jié)構(gòu)中，僅卷積層的計(jì)算量甚至能達(dá)到總計(jì)算量的97%，這說(shuō)明傳統(tǒng)卷積操作具備一定的優(yōu)化空間。

輕量化網(wǎng)絡(luò)能夠在有限的網(wǎng)絡(luò)模型參數(shù)量和運(yùn)算能力條件下，對(duì)給定的一個(gè)網(wǎng)絡(luò)在保證其精度的情況下進(jìn)行有效壓縮^[22]。筆者在MobileNet方法的基礎(chǔ)上^[23-24]，提出對(duì)區(qū)域推薦型卷積神經(jīng)網(wǎng)絡(luò)的模型輕量化方法，相比文獻(xiàn)[18]提出的Faster-RCNN網(wǎng)絡(luò)運(yùn)算效率更高，如圖3所示。

1.2.1"基于MobileNet 方法的模型計(jì)算量改進(jìn)

MobileNet將傳統(tǒng)卷積（PointWise）替換為深度可分離卷積（DepthWise，如圖4），在卷積過(guò)程中可減少計(jì)算次數(shù)，大大降低模型訓(xùn)練的計(jì)算量^[23]。

假設(shè)輸入的特征映射卷積核F尺寸為（D_F， D_F， M），采用的標(biāo)準(zhǔn)卷積核K的尺寸為（D_K， D_K， M， N），輸出的特征映射卷積核G的尺寸為（D_G， D_G， N）。單次標(biāo)準(zhǔn)卷積的計(jì)算公式為

式中：Ki，j，m，n為第n個(gè)大小為（i，j，m）的卷積核以滑動(dòng)窗的方式對(duì)大小為（k，l，m）的輸入特征圖F_{k+i-1，l+j-1，m}進(jìn)行卷積，輸出特征圖G的第n個(gè)通道。即如果輸入的通道數(shù)為M，輸出的通道數(shù)為N，對(duì)應(yīng)這一次標(biāo)準(zhǔn)卷積的理論計(jì)算量為：Ω₁=D_K·D_K·M·N·D_F·D_F。可將標(biāo)準(zhǔn)卷積（D_K， D_x， M， N）拆分為深度卷積和逐點(diǎn)卷積：深度卷積起濾波效果，卷積核尺寸為（D_K， D_K，"1， M）；逐點(diǎn)卷積起轉(zhuǎn)換通道的效果，卷積核尺寸為（1， 1，"M， N）。

深度卷積的計(jì)算公式為

式中：K?是深度卷積，其他下標(biāo)含義同式（2）。卷積核為（D_K，"D_K， 1，"M），其中m_th個(gè)卷積核應(yīng)用在F的第m_th個(gè)通道上，產(chǎn)生G?上第m_th個(gè)通道輸出。此時(shí)深度卷積與逐點(diǎn)卷積計(jì)算量之和為：Ω₂=D_K·D_K·M·D_F·D_F+M·N·D_K·D_K。深度可分離卷積與普通卷積計(jì)算量之比為

若設(shè)置卷積核尺寸D_F為3×3，由式（4）可得出普通卷積計(jì)算量是深度可分離卷積的8～9倍。

1.2.2"基于MobileNet 方法的模型參數(shù)規(guī)模改進(jìn)

MobileNet引入倒殘差結(jié)構(gòu)（Inverted Residual Block）與線性瓶頸激活層（Linear Bottlenecks），如圖5^[24]所示。其殘差（Residual Block）的概念首先出現(xiàn)在文獻(xiàn)[25]中，最初目的是用于增加特征矩陣的維度，從而加大網(wǎng)絡(luò)的訓(xùn)練深度，以達(dá)到更好的訓(xùn)練效果。

倒殘差結(jié)構(gòu)通過(guò)先升維再降維的操作，增強(qiáng)梯度的傳播，避免在深度網(wǎng)絡(luò)中的梯度彌散或爆炸問(wèn)題；線性瓶頸激活層通過(guò)將ReLU6函數(shù)激活層的非線性激活改進(jìn)為ReLU函數(shù)線性激活，普通DW卷積操作中使用ReLU6函數(shù)的方式如圖5（a）所示，經(jīng)過(guò)改進(jìn)后如圖5（b）所示，使模型在低精度計(jì)算時(shí)具有更強(qiáng)的魯棒性，同時(shí)保留特征多樣性，增強(qiáng)網(wǎng)絡(luò)的表達(dá)能力，改善了非線性激活層在低維時(shí)的特征丟失問(wèn)題。對(duì)于低維特征丟失問(wèn)題，可以理解為：ReLU激活層對(duì)于負(fù)的輸入，全部輸出為零；而特征信息已經(jīng)被“壓縮”，若再經(jīng)過(guò)ReLU線性激活，將加劇特征的損失，不采用ReLU函數(shù)進(jìn)行激活。

2"基于輕量化卷積神經(jīng)網(wǎng)絡(luò)的斜拉索PE護(hù)套損傷識(shí)別

2.1"斜拉索表面圖像數(shù)據(jù)預(yù)處理

2.1.1"大尺寸樣本圖像預(yù)處理

基于武漢天興洲大橋斜拉索無(wú)人機(jī)航拍圖像進(jìn)行研究^[26]，由于橋梁斜拉索具有大跨度的特性，搭載的拍攝設(shè)備通常需要具備較高的分辨率。最初獲得的斜拉索數(shù)據(jù)集為8 K（約8 000×5 300）分辨率的大尺寸圖像。

而在深度卷積神經(jīng)網(wǎng)絡(luò)中，輸入圖像樣本的分辨率不能過(guò)大。即便是內(nèi)存為16 G的較高性能主機(jī)端也難以在卷積運(yùn)算中多次堆疊分辨率為8 K的大尺寸圖像矩陣。受限于區(qū)域推薦型卷積神經(jīng)網(wǎng)絡(luò)的工作機(jī)制，不宜向其輸入尺寸過(guò)大的圖像^[27]。因而，需要對(duì)大尺寸樣本圖像做切割處理。由于斜拉索軸向尺寸遠(yuǎn)遠(yuǎn)大于其橫向尺寸，在使用的圖像樣本中，目標(biāo)主體斜拉索往往在圖像中占比很低（約8%），圖像中大部分區(qū)域?yàn)楸尘案蓴_（約92%）。

在樣本圖像的長(zhǎng)和寬各取1/2作為切割線，對(duì)得到的包含斜拉索的子圖（即有效子圖集）繼續(xù)進(jìn)行切割，如此反復(fù)，直到獲得分辨率適宜、目標(biāo)主體占比足夠大的子圖像。以切割3次為例，切割后目標(biāo)主體占比提升48%，提升效果顯著。然而，如此切割得到子圖像，存在部分目標(biāo)主體丟失的問(wèn)題，如圖6的左上子圖與右下子圖，分別有一小段斜拉索被錯(cuò)誤丟失。為解決以上問(wèn)題，提出改進(jìn)切割方法：增加超參數(shù)Δ，用以控制切割框的重合程度，使切割得到的有效子圖全覆蓋目標(biāo)主體，達(dá)到“寧復(fù)檢、不漏檢”地識(shí)別目標(biāo)。在本樣本集中，超參數(shù)Δ增加至1/8倍子圖長(zhǎng)邊時(shí)，可以實(shí)現(xiàn)這一目標(biāo)。

由于二分切割的特性，切割后得到2⁴即16張有效子圖，且有效子圖長(zhǎng)寬比與原圖相同，即原圖尺寸7 952×5 304得子圖尺寸550×365。

2.1.2"斜拉索表面不同類(lèi)型損傷劃分

在切割得到數(shù)據(jù)集的有效子圖后，對(duì)斜拉索圖像數(shù)據(jù)集進(jìn)行分析。由于斜拉索各類(lèi)型損傷的樣本量不足，在模型訓(xùn)練前，初步對(duì)斜拉索數(shù)據(jù)集進(jìn)行劃分：首先，斜拉索由螺旋線包裹的PE套組成。如果斜拉索PE護(hù)套螺旋線脫落，易產(chǎn)生風(fēng)雨激振現(xiàn)象^[28]，因此，將螺旋線作為劃分界線，即將斜拉索表面損傷劃分為螺旋線損傷（String）與非螺旋線損傷（Non-String）。在螺旋線有關(guān)的損傷中，以螺旋線脫落損傷為主；而在非螺旋線損傷中，主要存在破損（Crack）與污漬（Smudge），如圖7所示。其中，非螺旋線損傷中的破損主要由于PE護(hù)套長(zhǎng)期使用而產(chǎn)生老化與表面裂縫擴(kuò)展等現(xiàn)象，容易因內(nèi)部鋼絲與外部空氣接觸而銹蝕。在實(shí)際工程中，有安全問(wèn)題的斜拉索大多由于PE護(hù)套的破損貫穿至內(nèi)部鋼絲，該類(lèi)損傷需要及時(shí)維修^[29]。而螺旋線損傷以螺旋線脫落為主，由于斜拉索螺旋線纏繞間距越大^[30]，平衡位置穩(wěn)定性越差，因此，螺旋線的脫落將降低斜拉索的穩(wěn)定性，從而更容易產(chǎn)生風(fēng)雨激振等氣動(dòng)穩(wěn)定性問(wèn)題。

考慮到深度神經(jīng)網(wǎng)絡(luò)本質(zhì)上為黑箱問(wèn)題，難以確定某種分類(lèi)方法的準(zhǔn)確性，且數(shù)據(jù)集有限，故對(duì)數(shù)據(jù)集進(jìn)行模型預(yù)訓(xùn)練后，將對(duì)類(lèi)別劃分進(jìn)一步改進(jìn)、測(cè)試。就后續(xù)實(shí)驗(yàn)的結(jié)果而言，而以圖7（a）、（b）所示對(duì)斜拉索PE護(hù)套損傷進(jìn)行分類(lèi)，兩類(lèi)損傷數(shù)據(jù)集比例接近1：1，實(shí)驗(yàn)結(jié)果較為理想。

2.1.3"多手段數(shù)據(jù)增廣技術(shù)

由于武漢天興洲大橋處于正常服役階段，其斜拉索PE護(hù)套并沒(méi)有出現(xiàn)大規(guī)模的損傷，大部分為未損傷圖像，因此，可用于訓(xùn)練的斜拉索PE護(hù)套損傷樣本數(shù)據(jù)集不足，需要針對(duì)損傷特征進(jìn)行數(shù)據(jù)增強(qiáng)。

1）“簡(jiǎn)單”復(fù)制粘貼數(shù)據(jù)增廣法。

“簡(jiǎn)單”復(fù)制粘貼數(shù)據(jù)增廣法（Simple Copy-Paste）由Google Research團(tuán)隊(duì)提出^[31]。此方法不需要使用公式量化，實(shí)驗(yàn)效果良好。以此方法做數(shù)據(jù)增廣，結(jié)果如圖8所示。

2）過(guò)渡融合數(shù)據(jù)增廣法。

過(guò)渡融合法（Mix-up）由Zhang^[32]提出，可讓深度卷積神經(jīng)網(wǎng)絡(luò)傾向于訓(xùn)練呈線性關(guān)系，在已有的數(shù)據(jù)集上選取兩個(gè)子集進(jìn)行線性變換，從而降低可能出現(xiàn)的模型過(guò)擬合現(xiàn)象。

選取簡(jiǎn)單數(shù)據(jù)增強(qiáng)后的樣本與增強(qiáng)前的自身樣本進(jìn)行過(guò)渡融合，如圖9所示，左上角與右下角為兩樣本的初始圖像。

3）噪聲干擾數(shù)據(jù)增廣法。

在數(shù)據(jù)采集中可能存在噪聲干擾，如無(wú)人機(jī)搭載的相機(jī)設(shè)備老化、采集對(duì)象處于暗光環(huán)境、傳感器因長(zhǎng)期工作而過(guò)熱等情況，都可能使樣本圖像產(chǎn)生噪聲^[33]。

為進(jìn)一步證實(shí)提升噪聲抗干擾能力對(duì)模型的重要性，加入噪聲訓(xùn)練數(shù)據(jù)集之前的模型用于預(yù)測(cè)加噪聲后的圖像樣本，結(jié)果對(duì)比顯著：原模型能較好預(yù)測(cè)原樣本，但不能預(yù)測(cè)加噪聲后的樣本，如圖10所示?？梢?jiàn)，若在模型訓(xùn)練時(shí)進(jìn)行有噪聲干擾的數(shù)據(jù)增廣，能夠解決原有模型對(duì)噪聲魯棒性低的問(wèn)題。

采用開(kāi)源工具Skimage （Scikit- image），選取高斯噪聲（Gauss Noise）與椒鹽噪聲（Salt Noise）對(duì)斜拉索樣本圖像進(jìn)行數(shù)據(jù)增廣，噪聲強(qiáng)度為Skimage默認(rèn)值。噪聲干擾數(shù)據(jù)增廣結(jié)果如圖11所示。

2.2"輕量化卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)

經(jīng)過(guò)大尺寸樣本圖像預(yù)處理后，得到有效的原始數(shù)據(jù)集50份（分辨率約550×365）。其中，螺旋線損傷26份，非螺旋線損傷24份，樣本比例接近1：1，樣本分布較為合理均衡。再進(jìn)行數(shù)據(jù)增廣處理：旋轉(zhuǎn)90°、旋轉(zhuǎn)180°、旋轉(zhuǎn)270°、水平鏡像翻轉(zhuǎn)共獲得數(shù)據(jù)集50×5=250份。以原始數(shù)據(jù)集進(jìn)行“簡(jiǎn)單”復(fù)制粘貼數(shù)據(jù)增廣，獲得數(shù)據(jù)集120份。以原始數(shù)據(jù)集進(jìn)行過(guò)渡-融合數(shù)據(jù)增廣獲得數(shù)據(jù)集50×4=200份。以原始、翻轉(zhuǎn)樣本之和進(jìn)行高斯與椒鹽噪聲增廣，均獲得數(shù)據(jù)集100份。經(jīng)處理后，原始數(shù)據(jù)集與增廣數(shù)據(jù)集合計(jì)為820份。

完成斜拉索圖像數(shù)據(jù)集增廣后，通過(guò)開(kāi)源項(xiàng)目labelImg，以矩形框選擇待檢目標(biāo)，完成數(shù)據(jù)集的標(biāo)注工作。標(biāo)注完成后，數(shù)據(jù)集不以圖片特征為區(qū)分，將其隨機(jī)劃分為訓(xùn)練集、驗(yàn)證集與測(cè)試集，劃分方式：首先取原始訓(xùn)練集50份作為測(cè)試集。再取增廣數(shù)據(jù)集770份作為訓(xùn)練集和驗(yàn)證集，文獻(xiàn)[34]中的實(shí)驗(yàn)表明，在數(shù)據(jù)集相對(duì)較小時(shí)，應(yīng)該適量增加訓(xùn)練集的占比、減少驗(yàn)證集的占比。因此，參照文獻(xiàn)[34]取訓(xùn)練集與驗(yàn)證集比例為9：1，即取訓(xùn)練集共693份，取驗(yàn)證集共77份。

使用Pytorch開(kāi)源框架，首先搭建區(qū)域推薦型卷積神經(jīng)網(wǎng)絡(luò)，再根據(jù)基于MobileNet的輕量化改進(jìn)方法對(duì)網(wǎng)絡(luò)模型的計(jì)算量與參數(shù)量進(jìn)行改進(jìn)優(yōu)化，達(dá)到網(wǎng)絡(luò)模型輕量化的目標(biāo)。最后將預(yù)處理好的斜拉索圖像數(shù)據(jù)集輸入網(wǎng)絡(luò)中進(jìn)行訓(xùn)練。網(wǎng)絡(luò)訓(xùn)練的超參數(shù)設(shè)置情況如下。

2.2.1"模型評(píng)價(jià)指標(biāo)

目標(biāo)檢測(cè)網(wǎng)絡(luò)訓(xùn)練效果一般采用mAP（mean Average Precision）指標(biāo)進(jìn)行評(píng)估，其中mAP指標(biāo)由每個(gè)目標(biāo)類(lèi)別的AP（Average Precision）值加權(quán)平均得到。AP為Precision-Recall曲線積分求得結(jié)果。因二者均無(wú)法單獨(dú)衡量目標(biāo)檢測(cè)的準(zhǔn)確性，本文采用P-R曲線積分來(lái)綜合衡量。Precision（查準(zhǔn)率）與Recall（查全率）計(jì)算式為

Precision=TPTP"+"FP，Recall="TPTP"+"FNPrecision=TPTP"+"FP，Recall="TPTP"+"FN（5）

其中，TP（True Positive）為真陽(yáng)性，定義為IoU gt; 0.7，指檢測(cè)出的目標(biāo)中是真目標(biāo)的樣本；FP（False Positive）為假陽(yáng)性，定義為IoU lt; 0.3，指檢測(cè)出的目標(biāo)中不是真目標(biāo)的樣本。

2.2.2"置信概率閾值X%

判斷圖像中有無(wú)損傷需要設(shè)置置信概率閾值超參數(shù)X%?？紤]到在工程結(jié)構(gòu)損傷的目標(biāo)檢測(cè)關(guān)系到安全問(wèn)題，應(yīng)該以“寧錯(cuò)檢、不漏檢”為原則設(shè)置預(yù)測(cè)網(wǎng)絡(luò)，即X%設(shè)置值應(yīng)相對(duì)較低?？紤]到斜拉索圖像數(shù)據(jù)集最終以3分類(lèi)的形式（即螺旋線損傷、非螺旋線損傷、背景）進(jìn)行分類(lèi)標(biāo)注，因此，取值X%=33.33%。

2.2.3"epoch取值

輪次（epoch）定義了學(xué)習(xí)算法在整個(gè)訓(xùn)練數(shù)據(jù)集中的工作輪次。區(qū)域推薦型卷積神經(jīng)網(wǎng)絡(luò)將特征提取模塊（Extractor Module）作為網(wǎng)絡(luò)的共享卷積層模塊（Shared Convolutional Base，SCB）。因此，該網(wǎng)絡(luò)存在2個(gè)輪次取值，分別控制第1階段SCB的訓(xùn)練輪次及第2階段后續(xù)網(wǎng)絡(luò)的訓(xùn)練輪次。

若輪次過(guò)大，在訓(xùn)練過(guò)程中多次出現(xiàn)下降階段，同時(shí)mAP增長(zhǎng)緩慢，耗時(shí)增加，效率低下，不符合輕量化處理的初衷。經(jīng)過(guò)多次實(shí)驗(yàn)，確定效率較高的取值為：epoch1=6，epoch2=18。

2.2.4"其他超參數(shù)

每批數(shù)據(jù)量的大小（Batch_size）設(shè)置為2，加載數(shù)據(jù)的線程（Num_Workers）設(shè)置為2，學(xué)習(xí)率（Learning_Rate）設(shè)置為0.005，權(quán)值衰減（Weight_Decay）設(shè)置為0.000 5。

3"實(shí)驗(yàn)結(jié)果

3.1"多手段數(shù)據(jù)增廣前后對(duì)比試驗(yàn)

多手段數(shù)據(jù)增廣前，訓(xùn)練輪次設(shè)置為：epoch1=6，epoch2=18。由于原始訓(xùn)練集僅50份樣本，數(shù)據(jù)量嚴(yán)重不足，每個(gè)輪次中mAP指標(biāo)上升極其緩慢，尤其在第1階段的共享卷積層訓(xùn)練中，mAP增長(zhǎng)值不足0.01。進(jìn)入第2階段后，增長(zhǎng)斜率相比第1階段明顯提升，但在短暫的上升期后迅速進(jìn)入瓶頸期，mAP值不再隨輪次的迭代而增長(zhǎng)，最大mAP僅達(dá)到0.18，如圖12所示。其輪次已經(jīng)偏高，尤其在第2階段，已經(jīng)在最后兩個(gè)輪次連續(xù)出現(xiàn)下降。在多手段數(shù)據(jù)增廣前，模型mAP在第23輪次左右達(dá)到極限。

多手段數(shù)據(jù)增廣后，訓(xùn)練集與驗(yàn)證集總計(jì)770份。訓(xùn)練輪次設(shè)置為：epoch1=6，epoch2=16。由于訓(xùn)練集數(shù)據(jù)量足夠，輕量網(wǎng)絡(luò)的訓(xùn)練效果明顯提升。在第1階段的共享卷積層訓(xùn)練中，mAP上升至0.05，相比于多手段數(shù)據(jù)增廣前的0.01提升400%；在第2階段，mAP迅速上升至0.55左右，之后進(jìn)入瓶頸期，緩慢上升，最終穩(wěn)定在0.6～0.65，最大mAP達(dá)到0.65，如圖13所示。

3.2"輕量與非輕量化網(wǎng)絡(luò)對(duì)比實(shí)驗(yàn)

分別構(gòu)建輕量化處理前與輕量化處理后的區(qū)域推薦型卷積神經(jīng)網(wǎng)絡(luò)，基于斜拉索圖像數(shù)據(jù)集進(jìn)行模型訓(xùn)練與預(yù)測(cè)，對(duì)比改進(jìn)前后的兩種模型在訓(xùn)練過(guò)程中主機(jī)端的各項(xiàng)性能參數(shù)。

3.2.1"模型準(zhǔn)確度指標(biāo)對(duì)比

采用mAP值衡量非輕量化與輕量化網(wǎng)絡(luò)模型準(zhǔn)確率，以輪次為橫軸繪制折線圖，如圖14所示。可見(jiàn)，兩種網(wǎng)絡(luò)的mAP最大值均出現(xiàn)在第19個(gè)輪次。相比于非輕量化的普通網(wǎng)絡(luò)，輕量化網(wǎng)絡(luò)在一定程度上降低模型準(zhǔn)確率，但是準(zhǔn)確率下降較少。

由圖14可知，輕量化與非輕量化網(wǎng)絡(luò)的mAP在訓(xùn)練多個(gè)輪次后上升趨勢(shì)減小，其最大值均出現(xiàn)在第19個(gè)輪次，最大值對(duì)比見(jiàn)表1。

輕量化網(wǎng)絡(luò)訓(xùn)練結(jié)束后，部分測(cè)試集結(jié)果如圖15所示。其中，矩形檢測(cè)框?qū)?yīng)損傷區(qū)域，相應(yīng)文字對(duì)應(yīng)其損傷類(lèi)型和置信概率，由于置信概率閾值的設(shè)置，網(wǎng)絡(luò)僅輸出大于33.33%置信概率的檢測(cè)框。

根據(jù)識(shí)別結(jié)果可得出，區(qū)域推薦型卷積神經(jīng)網(wǎng)絡(luò)對(duì)于斜拉索表面損傷識(shí)別分類(lèi)與定位效果較好，準(zhǔn)確率較高。尤其在非螺旋線損傷類(lèi)型中，由于非螺旋線損傷多為裂痕、破損，圖像特征較為明顯，其置信概率相比于螺旋線損傷明顯更高。由于對(duì)數(shù)據(jù)集進(jìn)行了噪聲干擾增廣，模型對(duì)于帶有噪聲的測(cè)試集表現(xiàn)良好，幾乎能夠完全消除噪聲干擾。而對(duì)于小目標(biāo)病害，根據(jù)測(cè)試集結(jié)果展示右下圖可得，較小目標(biāo)也以較低的置信概率（48%）被檢出，實(shí)現(xiàn)了“寧錯(cuò)檢、不漏檢”的檢測(cè)目標(biāo)。雖然置信概率較低，但該檢測(cè)結(jié)果能為工作人員提供有效的支持，彌補(bǔ)了人工檢測(cè)難以發(fā)現(xiàn)小目標(biāo)病害的劣勢(shì)。此外，從結(jié)果展示中可以看出，該模型在樣本的不同背景下都能達(dá)到一定的識(shí)別準(zhǔn)確率，能夠勝任復(fù)雜背景下的識(shí)別任務(wù)。

3.2.2"模型運(yùn)算性能指標(biāo)對(duì)比

使用的訓(xùn)練設(shè)備性能參數(shù)：CPU為Intel（R） Core（TM） i7-7700HQ，內(nèi)存為8 GB（2 400 MHz），GPU為NVIDIA GeForce GTX 1050Ti，顯存為4 GB。該設(shè)備與實(shí)驗(yàn)室的高性能主機(jī)端相比性能較弱，能夠視作小型設(shè)備，通過(guò)記錄在訓(xùn)練過(guò)程中電腦端的CPU占用率、內(nèi)存占用率、GPU占用率、顯存占用率變化趨勢(shì)，以驗(yàn)證是否能代替高性能設(shè)備完成相應(yīng)工作。

在記錄過(guò)程中，為直觀地展示輕量化處理前后兩種模型在訓(xùn)練過(guò)程中計(jì)算機(jī)的各項(xiàng)指標(biāo)變化情況，將CPU、內(nèi)存、GPU、顯存4項(xiàng)指標(biāo)統(tǒng)一使用占用率百分?jǐn)?shù)來(lái)衡量。首先記錄整個(gè)訓(xùn)練開(kāi)始前的該項(xiàng)指標(biāo)初始值，在訓(xùn)練中每間隔1 s對(duì)上述4項(xiàng)指標(biāo)當(dāng)前值進(jìn)行讀取，按照式（6）計(jì)算該項(xiàng)指標(biāo)在當(dāng)前時(shí)刻占用率。

式中：R_p為當(dāng)前時(shí)刻占用率；V_p為當(dāng)前值；V_i為初始值；V_t為總值。

對(duì)輕量化處理前后的兩種模型進(jìn)行訓(xùn)練，設(shè)備的各項(xiàng)指標(biāo)隨時(shí)間的變化趨勢(shì)圖如圖16～圖19所示?？梢钥闯?，輕量化處理后的總運(yùn)行時(shí)間大幅減少。且在CPU、內(nèi)存、GPU、顯存4個(gè)性能維度上，經(jīng)輕量化處理后的模型都有更低的占用率，意味著其對(duì)硬件性能需求明顯降低。

3.3"結(jié)果討論

為更加直觀地對(duì)比非輕量網(wǎng)絡(luò)與輕量網(wǎng)絡(luò)的模型運(yùn)算性能指標(biāo)，首先將折線圖數(shù)據(jù)進(jìn)行處理，在每條折線中，去除所有值為0的數(shù)據(jù)，再對(duì)折線取均值，得到該類(lèi)型網(wǎng)絡(luò)的該項(xiàng)性能評(píng)價(jià)指標(biāo)，仍然以百分?jǐn)?shù)表示。各項(xiàng)數(shù)據(jù)處理后，結(jié)果匯總于表2。

表2""輕量化與非輕量化網(wǎng)絡(luò)的性能參數(shù)對(duì)比與其輕量化改進(jìn)率

Table 2""Comparison of performance parameters and improvement rate of lightweight and non-lightweight networks

網(wǎng)絡(luò)類(lèi)型運(yùn)行時(shí)間/sCPU/%內(nèi)存/%GPU/%顯存/%輕量化網(wǎng)絡(luò)5 51810.4019.4892.8167.43非輕量化網(wǎng)絡(luò)8 16211.4221.6894.0480.76改進(jìn)值-2 6441.022.201.2313.33輕量化改進(jìn)率%47.929.8111.291.3219.77

由表2可知，輕量化模型在準(zhǔn)確度僅僅降低5.59%的情況下，比非輕量化網(wǎng)絡(luò)節(jié)約了接近50%的計(jì)算時(shí)間，同時(shí)節(jié)約了CPU與GPU資源，尤其是降低了模型約20%的顯存占用，降低了對(duì)高性能顯卡的依賴(lài)性。

由于目標(biāo)檢測(cè)任務(wù)的評(píng)估相比于分類(lèi)任務(wù)的評(píng)估更加困難，目標(biāo)檢測(cè)框的評(píng)估標(biāo)準(zhǔn)難以同分類(lèi)任務(wù)一樣準(zhǔn)確定義，例如，交占比的取值將較大程度影響目標(biāo)檢測(cè)最終的準(zhǔn)確度指標(biāo)，而選取的交占比較為保守。使用最通用的mAP指標(biāo)衡量檢測(cè)框的準(zhǔn)確性得到的數(shù)值結(jié)果往往偏低，例如當(dāng)前目標(biāo)檢測(cè)領(lǐng)域主流的網(wǎng)絡(luò)模型在PASCOL VOC等數(shù)據(jù)集上的mAP最高能夠達(dá)到約80%^[35]，相比而言，提出的網(wǎng)絡(luò)在橋梁斜拉索PE護(hù)套損傷識(shí)別問(wèn)題上mAP僅達(dá)到65.32%。較低的mAP數(shù)值一方面是由于較保守的交占比取值，實(shí)際模型表現(xiàn)將會(huì)更優(yōu)；另一方面模型的確存在一定程度的性能不足，主要原因如下。

1）對(duì)輕量化的要求一定程度影響了算法性能。在訓(xùn)練時(shí)取每批數(shù)據(jù)量的大?。˙atch_size）為2，加載數(shù)據(jù)的線程（Num_Workers）為2。二者皆取值較低，前者取值過(guò)低往往會(huì)影響模型擬合效果，一般在性能允許的情況下取值越高，模型越容易擬合。后者取值不影響模型擬合效果，一般在性能允許的情況下取值越高，計(jì)算速度越快，消耗時(shí)間越短。以輕量化為出發(fā)點(diǎn)，為盡可能模擬低運(yùn)算能力設(shè)備，將性能參數(shù)設(shè)置得較低，性能化向輕量化有所妥協(xié)，以滿足模型能夠在更多場(chǎng)景設(shè)備上適用的需求。

2）原始數(shù)據(jù)集樣本規(guī)模過(guò)小。相比PASCOL VOC等數(shù)據(jù)集數(shù)萬(wàn)份的訓(xùn)練樣本^[35]，由于武漢天興洲大橋處于健康狀態(tài)，無(wú)人機(jī)未能采集足夠的斜拉索PE護(hù)套損傷樣本。采集的數(shù)據(jù)集中，絕大部分為未損傷樣本，原始損傷樣本僅50份。同時(shí)損傷區(qū)域往往面積較小，加劇了以負(fù)樣本為主的問(wèn)題。雖然本研究所采用的二階段區(qū)域推薦型卷積神經(jīng)網(wǎng)絡(luò)與多手段數(shù)據(jù)增廣技術(shù)一定程度上緩解了這一問(wèn)題^[36]，但仍然無(wú)法從根本上解決深度學(xué)習(xí)中數(shù)據(jù)集不足的結(jié)構(gòu)性問(wèn)題。若在后續(xù)研究中要進(jìn)一步改善網(wǎng)絡(luò)模型，將以增加實(shí)際采集的正樣本規(guī)模為主要手段。

根據(jù)以上結(jié)果可以發(fā)現(xiàn)：輕量神經(jīng)網(wǎng)絡(luò)在犧牲少量準(zhǔn)確度的前提下，能夠在較大程度上實(shí)現(xiàn)對(duì)模型參數(shù)與計(jì)算量的改進(jìn)，使模型能夠以更低的性能需求、更短的計(jì)算時(shí)間完成對(duì)橋梁斜拉索PE護(hù)套識(shí)別的訓(xùn)練與預(yù)測(cè)。

4"結(jié)論

1）提出基于區(qū)域推薦型卷積神經(jīng)網(wǎng)絡(luò)的斜拉索PE護(hù)套損傷識(shí)別方法。在實(shí)現(xiàn)區(qū)域推薦的基礎(chǔ)上，基于無(wú)人機(jī)航拍采集的橋梁斜拉索損傷圖像數(shù)據(jù)，在分類(lèi)網(wǎng)絡(luò)中判斷斜拉索PE護(hù)套有無(wú)損傷及損傷類(lèi)型。

2）提出區(qū)域推薦型深度卷積神經(jīng)網(wǎng)絡(luò)的輕量化處理方法。通過(guò)改進(jìn)網(wǎng)絡(luò)模型參數(shù)規(guī)模與計(jì)算量，使神經(jīng)網(wǎng)絡(luò)能夠在較低運(yùn)算能力設(shè)備上完成訓(xùn)練與預(yù)測(cè)，增強(qiáng)網(wǎng)絡(luò)模型泛用性。

3）完成斜拉索圖像數(shù)據(jù)集預(yù)處理，以多手段數(shù)據(jù)增廣解決數(shù)據(jù)不足的問(wèn)題。構(gòu)建輕量化的區(qū)域推薦型卷積神經(jīng)網(wǎng)絡(luò)模型。

4）通過(guò)對(duì)比試驗(yàn)，從模型準(zhǔn)確度與性能指標(biāo)的角度驗(yàn)證輕量化網(wǎng)絡(luò)在較低運(yùn)算能力設(shè)備上運(yùn)行的可行性。結(jié)果表明，輕量化網(wǎng)絡(luò)在犧牲少量準(zhǔn)確度的前提下，能夠在較大程度上實(shí)現(xiàn)對(duì)計(jì)算效率的改進(jìn)，有效實(shí)現(xiàn)對(duì)橋梁斜拉索PE護(hù)套的智能識(shí)別。

參考文獻(xiàn)

1 BAO Y Q，"CHEN Z C，"WEI S Y，"et al."The state of the art of data science and engineering in structural health monitoring [J]. Engineering，"2019，"5（2）："234-242.

2 AZIMI M，"ESLAMLOU A D，"PEKCAN G."Data-driven structural health monitoring and damage detection through deep learning： State-of-the-art review [J]. Sensors，"2020，"20（10）："2778.

3 SUN L M，"SHANG Z Q，"XIA Y，"et al."Review of bridge structural health monitoring aided by big data and artificial intelligence： From condition assessment to damage detection [J]. Journal of Structural Engineering，"2020，"146（5）："04020073.

4 劉程程."機(jī)器視覺(jué)在工程檢測(cè)領(lǐng)域的應(yīng)用研究[D].遼寧 大連："大連理工大學(xué)，"2020.

LIU C C."Application research of machine vision in the field of engineering inspection [D]. Dalian， Liaoning："Dalian University of Technology，"2020."（in Chinese）

5 許可."卷積神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別上的應(yīng)用的研究[D]."杭州："浙江大學(xué)，"2012.

XU K."Study of convolutional neural network applied on image recognition [D]. Hangzhou："Zhejiang University，"2012."（in Chinese）

6 劉洪利."基于深度學(xué)習(xí)的輕量化目標(biāo)檢測(cè)算法研究[D]."北京："北京交通大學(xué)，"2020.

LIU H L."Lightweight object detection algorithm based on deep learning [D]. Beijing："Beijing Jiaotong University，"2020."（in Chinese）

7 曾世欽，"唐朝，"陳可."基于深度學(xué)習(xí)和無(wú)線傳輸?shù)臉蛄毫芽p圖像識(shí)別系統(tǒng)[J]."建材世界，"2019，"40（2）："78-82， 98.

ZENG S Q，"TANG C，"CHEN K."Construction of bridge crack image recognition system based on deep learning and wireless transmission [J]. The World of Building Materials，"2019，"40（2）："78-82， 98."（in Chinese）

8 陶曉力，"武建，"楊坤."基于無(wú)人機(jī)視覺(jué)的橋梁裂縫檢測(cè)[J]."計(jì)算機(jī)技術(shù)與發(fā)展，"2018，"28（3）："174-177.

TAO X L，"WU J，"YANG K."Bridge crack detection based on unmanned aerial vehicle vision [J]. Computer Technology and Development，"2018，"28（3）："174-177."（in Chinese）

9 陳輝東，"丁小燕，"劉艷霞."基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法綜述[J]."北京聯(lián)合大學(xué)學(xué)報(bào)，"2021，"35（3）："39-46.

CHEN H D，"DING X Y，"LIU Y X."Review of target detection algorithm based on deep learning [J]. Journal of Beijing Union University，"2021，"35（3）："39-46."（in Chinese）

10 REDMON J，"DIVVALA S，"GIRSHICK R，"et al."You only look once： Unified， real-time object detection [C]//2016 IEEE Conference on Computer Vision and Pattern Recognition."Las Vegas， NV， USA."2016："779-788.

11 李會(huì)軍，"王瀚洋，"李楊，"等."一種基于視覺(jué)特征區(qū)域建議的目標(biāo)檢測(cè)方法[J]."控制與決策，"2020，"35（6）："1323-1328.

LI H J，"WANG H Y，"LI Y，"et al."An object detector based on visual feature region proposal [J]. Control and Decision，"2020，"35（6）："1323-1328."（in Chinese）

12 何丹妮."基于深度學(xué)習(xí)的多車(chē)輛檢測(cè)及跟蹤算法研究[D]."遼寧 大連："大連理工大學(xué)，"2019.

HE D N."Research on multi-vehicle detection and tracking algorithm based on deep learning [D]. Dalian， Liaoning："Dalian University of Technology，"2019."（in Chinese）

13 HE K M，"GKIOXARI G，"DOLLáR P，"et al."Mask R-CNN [C]//2017 IEEE International Conference on Computer Vision."Venice， Italy，"2017："2980-2988.

14 石杰，"周亞麗，"張奇志."基于改進(jìn)Mask RCNN和Kinect的服務(wù)機(jī)器人物品識(shí)別系統(tǒng)[J]."儀器儀表學(xué)報(bào)，"2019，"40（4）："216-228.

SHI J，"ZHOU Y L，"ZHANG Q Z."Service robot item recognition system based on improved Mask RCNN and Kinect [J]. Chinese Journal of Scientific Instrument，"2019，"40（4）："216-228."（in Chinese）

15 薛明."基于稀疏表示的在線目標(biāo)跟蹤研究[D]."上海："上海交通大學(xué)，"2014.

XUE M."Research on online object tracking based on sparse representation [D]. Shanghai："Shanghai Jiao Tong University，"2014."（in Chinese）

16 GIRSHICK R，"DONAHUE J，"DARRELL T，"et al."Rich feature hierarchies for accurate object detection and semantic segmentation [C]//2014 IEEE Conference on Computer Vision and Pattern Recognition."Columbus， OH， USA，"2014："580-587.

17 GIRSHICK R."Fast R-CNN [C]//2015 IEEE International Conference on Computer Vision."Santiago， Chile，"2015："1440-1448.

18 REN S Q，"HE K M，"GIRSHICK R，"et al."Faster R-CNN： Towards real-time object detection with region proposal networks [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，"2017，"39（6）："1137-1149.

19 徐陽(yáng)."基于計(jì)算機(jī)視覺(jué)的橋梁結(jié)構(gòu)局部損傷識(shí)別方法研究[D]."哈爾濱："哈爾濱工業(yè)大學(xué)，"2019："1-15.

XU Y."Structural local damage detection methods for bridges based on computer vision techniques [D]. Harbin："Harbin Institute of Technology，"2019："1-15."（in Chinese）

20 林景棟，"吳欣怡，"柴毅，"等."卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化綜述[J]."自動(dòng)化學(xué)報(bào)，"2020，"46（1）："24-37.

LIN J D，"WU X Y，"CHAI Y，"et al."Structure optimization of convolutional neural networks： A survey [J]. Acta Automatica Sinica，"2020，"46（1）："24-37."（in Chinese）

21 DENIL M，"SHAKIBI B，"DINH L，"et al."Predicting parameters in deep learning [C]//Proceedings of the 26th International Conference on Neural Information Processing Systems."Lake Tahoe， Nevada， USA："Curran Associates Inc.，"2013："2148-2156.

22 楊玉敏，"廖育榮，"林存寶，"等."輕量化卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)檢測(cè)算法綜述[J]."艦船電子工程，"2021，"41（4）："31-36.

YANG Y M，"LIAO Y R，"LIN C B，"et al."A survey of object detection algorithms for lightweight convolutional neural networks [J]. Ship Electronic Engineering，"2021，"41（4）："31-36."（in Chinese）

23 HOWARD A G，"ZHU M L，"CHEN B，"et al."MobileNets： Efficient convolutional neural networks for mobile vision applications [EB/OL]. https：//arxiv.org/abs/1704.04861.

24 SANDLER M，"HOWARD A，"ZHU M L，"et al."MobileNetV2： Inverted residuals and linear bottlenecks [C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition."Salt Lake City， UT， USA，"2018："4510-4520.

25 HE K M."Identity mappings in deep residual networks [C]//European Conference on Computer Vision，"2016.

26 梁亞斌，"蔡思佳，"馮謙，"等."基于無(wú)人機(jī)航拍的武漢天興洲長(zhǎng)江大橋橋索PE外觀檢測(cè)技術(shù)[J]."大地測(cè)量與地球動(dòng)力學(xué)，"2019，"39（11）："1207-1210.

LIANG Y B，"CAI S J，"FENG Q，"et al."Cable PE appearance inspection in the tianxingzhou river bridge using unmanned aerial vehicle based aerial photo technique [J]. Journal of Geodesy and Geodynamics，"2019，"39（11）："1207-1210."（in Chinese）

27 李放."基于深度卷積神經(jīng)網(wǎng)絡(luò)的高分辨率圖像目標(biāo)檢測(cè)研究[D]."遼寧 阜新："遼寧工程技術(shù)大學(xué)，"2019.

LI F."Research on object detection of high resolution images based on convolution neural network [D]. Fuxin， Liaoning："Liaoning Technical University，"2019."（in Chinese）

28 關(guān)健."斜拉索風(fēng)雨激振理論模型及參數(shù)化分析[D]."天津："天津大學(xué)，"2018.

GUAN J."Theoretical models and parametric analysis of rain-wind induced vibration of stay cable [D]. Tianjin："Tianjin University，"2018."（in Chinese）

29 要軍霞."斜拉索的防護(hù)[J]."山西建筑，"2008，"34（12）："300-301.

YAO J X."Protection of stayed cables [J]. Shanxi Architecture，"2008，"34（12）："300-301."（in Chinese）

30 劉慶寬，"王曉江，"盧照亮，"等."螺旋線對(duì)斜拉橋斜拉索橫風(fēng)向氣動(dòng)力和穩(wěn)定性的影響[J]."振動(dòng)與沖擊，"2019，"38（6）："108-113.

LIU Q K，"WANG X J，"LU Z L，"et al."Effect of helical line on the aerodynamic force and stability of stay cables [J]. Journal of Vibration and Shock，"2019，"38（6）："108-113."（in Chinese）

31 GHIASI G，"CUI Y，"SRINIVAS A，"et al."Simple copy-paste is a strong data augmentation method for instance segmentation [C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）."Nashville， TN， USA，"2021："2917-2927.

32 ZHANG H Y."Mix up： Beyond empirical risk minimization [C]//The International Conference on Learning Representations （ICLR），"2018.

33 劉平平."機(jī)器視覺(jué)系統(tǒng)中的圖像噪聲處理算法研究[D]."武漢："華中科技大學(xué)，"2011.

LIU P P."Research on image denoising algorithm in machine vision system [D]. Wuhan："Huazhong University of Science and Technology，"2011."（in Chinese）

34 朱勁松，"李歡，"王世芳."基于卷積神經(jīng)網(wǎng)絡(luò)和遷移學(xué)習(xí)的鋼橋病害識(shí)別[J]."長(zhǎng)安大學(xué)學(xué)報(bào)（自然科學(xué)版），"2021，"41（3）："52-63.

ZHU J S，"LI H，"WANG S F."Defect recognition for steel bridge based on convolutional neural network and transfer learning [J]. Journal of Chang，an University （Natural Science Edition），"2021，"41（3）："52-63."（in Chinese）

35 許德剛，"王露，"李凡."深度學(xué)習(xí)的典型目標(biāo)檢測(cè)算法研究綜述[J]."計(jì)算機(jī)工程與應(yīng)用，"2021，"57（8）："10-25.

XU D G，"WANG L，"LI F."Review of typical object detection algorithms for deep learning [J]. Computer Engineering and Applications，"2021，"57（8）："10-25."（in Chinese）

36 徐子同."基于改進(jìn)的Faster RCNN交通目標(biāo)檢測(cè)算法研究[D]."西安："長(zhǎng)安大學(xué)，"2021.

XU Z T."A study on object detection for traffic scene based on improved faster RCNN [D]. Xi，an："Chang，an University，"2021."（in Chinese）