斜拉索檢測(cè)機(jī)器人的智能表觀檢測(cè)研究

余朝陽(yáng)

(廣東承信公路工程檢驗(yàn)有限公司， 廣州 511400)

斜拉橋作為一種以拉索體系為主要傳力部件的橋型，相比于梁式橋具有跨越能力更大、造型更美觀等諸多優(yōu)點(diǎn)，在世界各地得到廣泛應(yīng)用。斜拉橋主要是由橋塔、斜拉索和主梁3部分組成，斜拉索作為重要的受力構(gòu)件之一，其健康狀況影響整個(gè)結(jié)構(gòu)的穩(wěn)定性和橋梁的使用壽命[1]。橋梁的斜拉索在運(yùn)輸和安裝的過(guò)程中，其聚乙烯(Polyethylene，PE)護(hù)套與各種施工工具及建筑體易產(chǎn)生摩擦和碰撞, 而這些都會(huì)對(duì)PE護(hù)套造成一定程度的劃傷甚至破裂，從而削弱拉索的防腐體系。橋梁在服役過(guò)程中, 拉索長(zhǎng)期暴露在自然環(huán)境中，受雨水、日光、風(fēng)雪、霧、霜等侵蝕，容易產(chǎn)生如PE護(hù)套開(kāi)裂、斷裂、鼓脹、變形及索絲銹蝕斷裂等拉索病害[2]，直接影響斜拉橋的安全使用。四川宜賓南門大橋因橋梁拉索嚴(yán)重銹蝕致使橋梁倒塌，重慶嘉陵江石門大橋也曾因拉索系統(tǒng)嚴(yán)重腐蝕于2005年耗資700余萬(wàn)元對(duì)其中36根拉索實(shí)施更換，后又因腐蝕嚴(yán)重，迫于2008年10月對(duì)180根斜拉索實(shí)施換索工程。因此，對(duì)拉索定期檢查，以便早期預(yù)防，十分必要。

目前，我國(guó)對(duì)拉索的檢測(cè)主要有人工目測(cè)法、搭設(shè)支架法、卷?yè)P(yáng)機(jī)探傷法、吊籃檢測(cè)維護(hù)法等多種方法，但均面臨檢測(cè)效率低、費(fèi)時(shí)費(fèi)力費(fèi)錢，且檢查人員存在安全隱患等問(wèn)題[3]。近年來(lái)，隨著智能科技的發(fā)展，人們開(kāi)始研究運(yùn)用機(jī)器人及各類爬升裝置對(duì)拉索進(jìn)行檢測(cè)和維護(hù)，其自動(dòng)化作業(yè)可顯著提高工作質(zhì)量和效率，降低工作風(fēng)險(xiǎn)。吳中鑫等[4]介紹了檢索機(jī)器人的工作原理、檢測(cè)范圍和工程應(yīng)用實(shí)例。徐懋剛[5]介紹了一種斜拉索自爬行機(jī)器人的設(shè)計(jì)思路、工作原理及應(yīng)用的工程實(shí)例。Ho等[6]討論了攀巖機(jī)器人對(duì)斜拉索的缺陷識(shí)別，引入了一種有效的基于圖像的損傷檢測(cè)系統(tǒng)，該系統(tǒng)可通過(guò)圖像處理技術(shù)和模式識(shí)別來(lái)自動(dòng)識(shí)別電纜表面的損壞。

本文提出一種斜拉索檢測(cè)機(jī)器人和智能檢測(cè)技術(shù)相結(jié)合的斜拉索外表檢測(cè)方法。該方法是利用機(jī)器人在斜拉索上爬升過(guò)程中采集斜拉索外表的圖像，然后利用卷積神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)算法與目標(biāo)檢測(cè)算法對(duì)圖像進(jìn)行識(shí)別，按照不同的缺陷狀況進(jìn)行分類，并將缺陷區(qū)域標(biāo)注出來(lái)，最后推算出缺陷位置在斜拉索上的精確位置。

1 檢測(cè)機(jī)器人及智能檢測(cè)技術(shù)

1.1 檢測(cè)機(jī)器人

1) 組成結(jié)構(gòu)

該檢測(cè)機(jī)器人由我公司自主研制成功，其結(jié)構(gòu)如圖1所示，設(shè)計(jì)參數(shù)見(jiàn)表1。機(jī)器人由1臺(tái)主動(dòng)小車和2臺(tái)從動(dòng)小車組成，采用三邊夾緊的方式夾緊斜拉索。機(jī)器人上裝有3塊固定板，其中間安裝有2個(gè)直線軸承座。輪子支架裝有輪子與電機(jī)，且與活動(dòng)底板連接，輪子材料是聚氨酯，具有高強(qiáng)的彈性和耐磨性。通過(guò)連接設(shè)置在固定板上的電動(dòng)推桿可方便調(diào)節(jié)機(jī)器人中心的直徑大小(能檢測(cè)50 mm～300 mm纜索直徑)。通過(guò)拔出一邊的固定銷打開(kāi)機(jī)器人，方便安裝在橋梁纜索上。固定板的上下端裝有工業(yè)級(jí)超聲波傳感器作為防撞裝置。固定板的上端裝有高清攝像頭，用于采集纜索表觀圖像信息。

圖1 斜拉索檢測(cè)機(jī)器人

表1 斜拉索檢測(cè)機(jī)器人的主要參數(shù)

2) 工作原理

為了檢測(cè)拉索表面保護(hù)層的破損情況，機(jī)器人設(shè)計(jì)了視覺(jué)檢測(cè)系統(tǒng)，其硬件系統(tǒng)由3臺(tái)攝像機(jī)、主控制器和數(shù)據(jù)存儲(chǔ)器組成，如圖2所示。其工作方式是當(dāng)機(jī)器人在拉索上爬升時(shí)，控制器以循環(huán)的方式將3臺(tái)攝像機(jī)圖像分時(shí)傳輸給數(shù)據(jù)存儲(chǔ)器，以實(shí)現(xiàn)對(duì)拉索表面保護(hù)層全方位圖像的存儲(chǔ)，并將3路視頻通過(guò)無(wú)線傳輸子系統(tǒng)傳輸?shù)降孛姹O(jiān)控系統(tǒng)的PC機(jī)上。

圖2 斜拉索檢測(cè)機(jī)器人工作原理

1.2 智能檢測(cè)技術(shù)

智能算法的發(fā)展給斜拉索的檢測(cè)提供了更加便捷的方法。為了提高檢測(cè)的效率及準(zhǔn)確度，檢測(cè)機(jī)器人利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)斜拉索進(jìn)行缺陷檢測(cè)，并利用目標(biāo)檢測(cè)技術(shù)實(shí)現(xiàn)缺陷區(qū)域檢測(cè)定位。

1) 卷積神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)是一個(gè)擁有強(qiáng)大信息處理能力的數(shù)學(xué)模型，具備高度非線性和復(fù)雜邏輯的表示能力。隨著經(jīng)典的BP神經(jīng)網(wǎng)絡(luò)反向傳播算法的應(yīng)用[7]，使人工神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過(guò)程中能夠自動(dòng)修正內(nèi)部參數(shù)，在大量的訓(xùn)練樣本中學(xué)習(xí)到統(tǒng)計(jì)規(guī)律，從而預(yù)測(cè)未知事件。BP神經(jīng)網(wǎng)絡(luò)的一個(gè)經(jīng)典結(jié)構(gòu)如圖3所示。研究發(fā)現(xiàn)，這種網(wǎng)絡(luò)結(jié)構(gòu)存在計(jì)算效率低、收斂速度慢等問(wèn)題。為了克服上述方法的缺陷，研究人員開(kāi)展了卷積神經(jīng)網(wǎng)絡(luò)算法的研究。

圖3 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意

卷積神經(jīng)網(wǎng)絡(luò)由LeCun教授在1989年提出，一般由輸入層、卷積層、池化層、全連接層和輸出層組成[8]。使用卷積層與池化層替代了部分全連接層形成多層神經(jīng)網(wǎng)絡(luò)，以部分連接的方式替代全連接，提高了網(wǎng)絡(luò)的魯棒性、計(jì)算速度以及收斂性，有效防止了過(guò)擬合現(xiàn)象的發(fā)生。卷積神經(jīng)網(wǎng)絡(luò)通過(guò)逐層特征提取由低層特征形成更加抽象的高層特征，實(shí)現(xiàn)復(fù)雜非線性函數(shù)的逼近，最后所有特征映射到圖像的類別。一個(gè)4×4的輸入樣本在一個(gè)2×2的卷積核下的卷積運(yùn)算過(guò)程及極大值池化過(guò)程如圖4所示，公式如下：

(1)

式中：S是輸入數(shù)據(jù)；K是卷積核；Vk是卷積區(qū)域內(nèi)元素個(gè)數(shù)；i表示移動(dòng)步數(shù)。

圖4 卷積和池化操作原理

依靠神經(jīng)網(wǎng)絡(luò)的分類能力，將輸入的圖像所包含的各種缺陷狀況進(jìn)行分類，從而進(jìn)行纜索缺陷的圖像識(shí)別。整個(gè)過(guò)程包括網(wǎng)絡(luò)的訓(xùn)練階段和測(cè)試階段。

訓(xùn)練階段，神經(jīng)網(wǎng)絡(luò)的輸入為機(jī)器采集到的纜索表面圖像，輸出則是每張圖像對(duì)應(yīng)的一種已知缺陷狀況的標(biāo)簽。根據(jù)工程實(shí)際將缺陷狀況劃分為無(wú)缺陷、凹痕、剝落、刮痕、破損和損壞6種拉索表面狀態(tài)的標(biāo)簽。

測(cè)試階段，將新采集的圖像輸入到網(wǎng)絡(luò)中，借此預(yù)測(cè)該圖像的缺陷情況。

對(duì)于分類，先用Softmax層得到網(wǎng)絡(luò)輸出的概率分布，后通過(guò)分類層得到識(shí)別(預(yù)測(cè))的事物類別。具體流程是：(1) 原始數(shù)據(jù)先經(jīng)過(guò)若干個(gè)卷積層、池化層得到若干個(gè)特征矩陣(值)；(2) 通過(guò)全連接層將特征矩陣(值)映射到若干個(gè)特征值，并將此作為Softmax層的輸入；(3) 利用損失函數(shù)計(jì)算Softmax層的輸出與目標(biāo)輸出的交叉熵?fù)p失；(4) 通過(guò)損失的反向傳播來(lái)調(diào)節(jié)網(wǎng)絡(luò)權(quán)值[9]。將Softmax函數(shù)應(yīng)用到卷積神經(jīng)網(wǎng)絡(luò)中，主要是用于數(shù)據(jù)多分類問(wèn)題，對(duì)于給定的輸入x和網(wǎng)絡(luò)參數(shù)w，可通過(guò)Softmax層計(jì)算出結(jié)果概率分布，函數(shù)將輸出一個(gè)k維向量，向量元素的和為1。函數(shù)表達(dá)式如下：

(2)

交叉熵?fù)p失[9]反映了目標(biāo)輸出與預(yù)測(cè)輸出的相似程度，交叉熵越低，說(shuō)明算法得出預(yù)測(cè)概率分布越接近真實(shí)概率分布，其表達(dá)式為：

(3)

式中：N為樣本數(shù)；K為類別數(shù)；tij為樣本i屬于j類的概率；yij為模型對(duì)樣本i屬于類別j的輸出概率，即是Softmax函數(shù)的輸出值。

為實(shí)現(xiàn)目標(biāo)檢測(cè)(目標(biāo)定位)，先需要得到一個(gè)預(yù)訓(xùn)練網(wǎng)絡(luò)。為了減少計(jì)算量并且獲得較好的圖像識(shí)別能力，采用一個(gè)經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)模型(AlexNet網(wǎng)絡(luò))作為預(yù)訓(xùn)練網(wǎng)絡(luò)，其中有5個(gè)卷積層、3個(gè)池化層及3個(gè)全連接層組成，其運(yùn)行過(guò)程如圖5所示。網(wǎng)絡(luò)的輸入為一張圖片，原始尺寸為227×227×3的矩陣，經(jīng)過(guò)被第一層卷積逐層傳遞卷積后，成為一個(gè)55×66×96的矩陣，再經(jīng)過(guò)逐層傳遞，成為一個(gè)6×6×256的矩陣，將該矩陣展開(kāi)(1×9 216)進(jìn)入全連接層，最后通過(guò)Softmax層計(jì)算所屬類別的概率。

圖5 AlexNet網(wǎng)絡(luò)結(jié)構(gòu)

2) 目標(biāo)檢測(cè)器

目標(biāo)檢測(cè)是用于識(shí)別圖像中目標(biāo)位置的技術(shù)，或稱為目標(biāo)定位[10]；目標(biāo)檢測(cè)器通常是由網(wǎng)絡(luò)預(yù)訓(xùn)練與檢測(cè)器訓(xùn)練2個(gè)過(guò)程得到[11]。

(1) 網(wǎng)絡(luò)預(yù)訓(xùn)練

將含有大量樣本的圖像集(ImageNet數(shù)據(jù)集)通過(guò)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)來(lái)解決新分類或檢測(cè)任務(wù)，由于預(yù)訓(xùn)練網(wǎng)絡(luò)已有強(qiáng)大的圖像特征提取能力，然后在該網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行遷移學(xué)習(xí)[12]，提取圖像的特征。遷移學(xué)習(xí)過(guò)程是將上述具有圖像識(shí)別功能的網(wǎng)絡(luò)應(yīng)用到目標(biāo)檢測(cè)任務(wù)中，只需輸入少量與目標(biāo)檢測(cè)任務(wù)有關(guān)的樣本，權(quán)值進(jìn)行很小的調(diào)整，即可用于圖像的目標(biāo)識(shí)別任務(wù)。

(2) 目標(biāo)檢測(cè)器訓(xùn)練

該訓(xùn)練用來(lái)實(shí)現(xiàn)目標(biāo)的識(shí)別和定位，該部分的實(shí)現(xiàn)包括目標(biāo)物的圖像輸入、目標(biāo)物所在圖像的區(qū)域及類別輸出，預(yù)訓(xùn)練的網(wǎng)絡(luò)模型(AlexNet)和檢測(cè)器的訓(xùn)練參數(shù)(學(xué)習(xí)次數(shù)、圖像尺寸等)。訓(xùn)練功能會(huì)自動(dòng)將原始的AlexNet網(wǎng)絡(luò)模型(將圖像分為M類)修改為可以將圖像分為N類(取決于新任務(wù)的樣本類別)的網(wǎng)絡(luò)。

本文采用ImageNet數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練的網(wǎng)絡(luò)模型(AlexNet)，將此網(wǎng)絡(luò)遷移到斜拉索表面檢測(cè)的缺陷定位任務(wù)中。

2 斜拉索外表檢測(cè)流程

機(jī)器人圖像采集的方法及缺陷識(shí)別的過(guò)程主要分為以下8個(gè)步驟：

1) 將機(jī)器人平放在要檢測(cè)的斜拉索附近，隨后開(kāi)啟機(jī)器人電源、無(wú)線控制器電源、無(wú)線錄像機(jī)電源。

2) 使用無(wú)線控制器操作機(jī)器人各部分運(yùn)動(dòng)，觀看無(wú)線錄像機(jī)畫面，查看各部分功能是否正常運(yùn)作。

3) 按下機(jī)器人黃色按鈕，如圖6所示，使機(jī)器人夾緊中心變大，略比要檢測(cè)的斜拉索直徑大便可。

4) 取下機(jī)器人中一邊的固定銷使機(jī)器人張開(kāi)，然后套上斜拉索后裝回固定銷。

5) 按下機(jī)器人藍(lán)色按鈕，如圖6所示，使機(jī)器人夾緊中心變小，使其夾緊斜拉索，等看到避震彈簧往回縮便可。

6) 使用無(wú)線控制器數(shù)據(jù)導(dǎo)出畫面，按下刪除歷史記錄按鈕，切換到操作畫面設(shè)置好速度，按下上升自鎖按鈕便可開(kāi)展檢測(cè)工作，機(jī)器人工作示意如圖7所示。

7) 將采集到的部分斜拉索表面圖像及標(biāo)注信息導(dǎo)入到智能檢測(cè)系統(tǒng)中，調(diào)節(jié)網(wǎng)絡(luò)的訓(xùn)練參數(shù)，即可開(kāi)始網(wǎng)絡(luò)的訓(xùn)練過(guò)程。

采用Faster-RCNN模型作為缺陷識(shí)別的算法，訓(xùn)練過(guò)程如圖8所示。(1) 通過(guò)預(yù)訓(xùn)練網(wǎng)絡(luò)(AlexNet)

(a) 機(jī)器人控制按鈕

(b) 機(jī)器人電源開(kāi)關(guān)

圖7 機(jī)器人工作示意

圖8 Faster-RCNN網(wǎng)絡(luò)的訓(xùn)練過(guò)程

提取缺陷特征，利用區(qū)域生成網(wǎng)絡(luò)(RPN)形成候選區(qū)域；(2) 通過(guò)池化層將候選區(qū)域變成大小相同的尺寸；(3) 輸入到回歸層(缺陷的定位)和分類層(缺陷的類別)，以此完成缺陷的位置及類型識(shí)別。其訓(xùn)練集采用無(wú)缺陷、凹痕、剝落、刮痕、破損和損壞6種拉索表面狀態(tài)的圖像，每種缺陷選擇140張照片，尺寸為2 048×2 048，格式為RGB，數(shù)量共800余張。首先將它們輸入檢測(cè)器，并進(jìn)行標(biāo)注，檢測(cè)器輸出文件為矩形框標(biāo)注缺陷的區(qū)域，并注釋缺陷類型，然后將圖片和標(biāo)注信息輸入到檢測(cè)目標(biāo)檢測(cè)算法中進(jìn)行訓(xùn)練，隨著訓(xùn)練時(shí)間的增加，識(shí)別的正確率不斷提高，待正確率穩(wěn)定后即完成網(wǎng)絡(luò)訓(xùn)練，最后將訓(xùn)練完成的網(wǎng)絡(luò)用于新采集的斜拉索表面缺陷的檢測(cè)任務(wù)中，訓(xùn)練完成的網(wǎng)絡(luò)可以保存起來(lái)，下一次檢測(cè)不需要再次訓(xùn)練即可實(shí)現(xiàn)檢測(cè)任務(wù)。

8) 待訓(xùn)練完畢，將采集的其他沒(méi)有標(biāo)記的圖像輸入到系統(tǒng)中，系統(tǒng)自動(dòng)識(shí)別出缺陷的區(qū)域與距離地面端的距離，最后記錄下來(lái)形成檢測(cè)報(bào)告，報(bào)告主要包括病害統(tǒng)計(jì)表、病害情況描述、病害結(jié)果匯總等內(nèi)容。

3 工程應(yīng)用實(shí)例

3.1 工程概況

廣東番禺大橋有244根斜拉索，按空間雙索面布置，塔上標(biāo)準(zhǔn)索距為1.3 m，梁上標(biāo)準(zhǔn)索距為6.0 m，拉索采用Φ7鍍鋅高強(qiáng)鋼絲，鋼絲數(shù)在121至367之間變化。對(duì)244根斜拉索中的部分拉索進(jìn)行表面缺陷檢測(cè)并對(duì)其編號(hào)。

3.2 機(jī)器人檢測(cè)結(jié)果

將機(jī)器人采集的圖片通過(guò)神經(jīng)網(wǎng)絡(luò)和目標(biāo)檢測(cè)技術(shù)進(jìn)行智能分類及定位，最終的檢測(cè)結(jié)果見(jiàn)表2，XLS-2斜拉索的部分病害檢測(cè)結(jié)果如圖9所示，病害位置被準(zhǔn)確標(biāo)記出。

表2 斜拉索病害分類結(jié)果

(a) 破損

(b) 凹痕

(c) 刮痕

(d) 剝落

(e) 損壞

(f) 無(wú)病害

3.3 自動(dòng)化檢測(cè)報(bào)告

本次機(jī)器人對(duì)番禺大橋CX-1斜拉索進(jìn)行了外觀檢測(cè)，斜拉索護(hù)套整體情況基本良好，發(fā)現(xiàn)的病害如下：刮傷2處、刮痕30處、孔洞0處、翹皮0處、擠壓0處、污漬0處、開(kāi)裂0處等。病害共32處，病害位置及情況描述如圖10所示。

該橋斜拉索的檢測(cè)病害以刮痕為主，主要因斜拉索吊裝時(shí)產(chǎn)生；破損、剝落、凹痕、損壞等病害則因斜拉索常年的風(fēng)吹雨淋老化引起?？傮w來(lái)看，病害多在表面，對(duì)纜索內(nèi)部影響較小，不影響結(jié)構(gòu)的正常使用。

(a) 病害統(tǒng)計(jì)表

(b) 病害情況描述

(c) 病害檢測(cè)結(jié)果匯總

本文提出的智能檢測(cè)技術(shù)比傳統(tǒng)斜拉索檢測(cè)效率提高了300%。經(jīng)測(cè)試10 min的檢測(cè)視頻，人工檢測(cè)缺陷、整理缺陷和編寫報(bào)告共需要40 min；而智能檢測(cè)技術(shù)只需要10 min就能自動(dòng)生成定性、定量、定位的缺陷報(bào)告。

智能檢測(cè)技術(shù)降低了傳統(tǒng)人工檢測(cè)在復(fù)雜環(huán)境下的風(fēng)險(xiǎn)，提高了檢測(cè)精度。例如，傳統(tǒng)方法每檢測(cè)一條斜拉索都需檢查員坐在卷?yè)P(yáng)機(jī)上沿著斜拉索向上移動(dòng)，通過(guò)檢測(cè)員肉眼觀察的方式去檢測(cè)斜拉索的缺陷，當(dāng)卷?yè)P(yáng)機(jī)上升到較高處的時(shí)候，高處風(fēng)大易使卷?yè)P(yáng)機(jī)晃動(dòng)，可能危及檢查員的生命安全。

4 結(jié)論

1) 機(jī)器人在斜拉索圖像采集中具有巨大的優(yōu)勢(shì)，顯著提高了工作效率和安全性。

2) 卷積神經(jīng)網(wǎng)絡(luò)算法與目標(biāo)檢測(cè)結(jié)合的智能檢測(cè)技術(shù)，不僅能夠準(zhǔn)確識(shí)別出缺陷的類型，而且能定位出缺陷的區(qū)域，節(jié)省了大量的人力資源及時(shí)間，在工程中具有重要廣泛的應(yīng)用前景。

3) 通過(guò)應(yīng)用實(shí)證，基于智能算法和纜索機(jī)器人的斜拉索聯(lián)合檢測(cè)系統(tǒng)能夠有效、快速、安全地完成斜拉索外表的檢測(cè)任務(wù)。