余朝陽(yáng)
(廣東承信公路工程檢驗(yàn)有限公司, 廣州 511400)
斜拉橋作為一種以拉索體系為主要傳力部件的橋型,相比于梁式橋具有跨越能力更大、造型更美觀等諸多優(yōu)點(diǎn),在世界各地得到廣泛應(yīng)用。斜拉橋主要是由橋塔、斜拉索和主梁3部分組成,斜拉索作為重要的受力構(gòu)件之一,其健康狀況影響整個(gè)結(jié)構(gòu)的穩(wěn)定性和橋梁的使用壽命[1]。橋梁的斜拉索在運(yùn)輸和安裝的過(guò)程中,其聚乙烯(Polyethylene,PE)護(hù)套與各種施工工具及建筑體易產(chǎn)生摩擦和碰撞, 而這些都會(huì)對(duì)PE護(hù)套造成一定程度的劃傷甚至破裂,從而削弱拉索的防腐體系。橋梁在服役過(guò)程中, 拉索長(zhǎng)期暴露在自然環(huán)境中,受雨水、日光、風(fēng)雪、霧、霜等侵蝕,容易產(chǎn)生如PE護(hù)套開(kāi)裂、斷裂、鼓脹、變形及索絲銹蝕斷裂等拉索病害[2],直接影響斜拉橋的安全使用。四川宜賓南門大橋因橋梁拉索嚴(yán)重銹蝕致使橋梁倒塌,重慶嘉陵江石門大橋也曾因拉索系統(tǒng)嚴(yán)重腐蝕于2005年耗資700余萬(wàn)元對(duì)其中36根拉索實(shí)施更換,后又因腐蝕嚴(yán)重,迫于2008年10月對(duì)180根斜拉索實(shí)施換索工程。因此,對(duì)拉索定期檢查,以便早期預(yù)防,十分必要。
目前,我國(guó)對(duì)拉索的檢測(cè)主要有人工目測(cè)法、搭設(shè)支架法、卷?yè)P(yáng)機(jī)探傷法、吊籃檢測(cè)維護(hù)法等多種方法,但均面臨檢測(cè)效率低、費(fèi)時(shí)費(fèi)力費(fèi)錢,且檢查人員存在安全隱患等問(wèn)題[3]。近年來(lái),隨著智能科技的發(fā)展,人們開(kāi)始研究運(yùn)用機(jī)器人及各類爬升裝置對(duì)拉索進(jìn)行檢測(cè)和維護(hù),其自動(dòng)化作業(yè)可顯著提高工作質(zhì)量和效率,降低工作風(fēng)險(xiǎn)。吳中鑫等[4]介紹了檢索機(jī)器人的工作原理、檢測(cè)范圍和工程應(yīng)用實(shí)例。徐懋剛[5]介紹了一種斜拉索自爬行機(jī)器人的設(shè)計(jì)思路、工作原理及應(yīng)用的工程實(shí)例。Ho等[6]討論了攀巖機(jī)器人對(duì)斜拉索的缺陷識(shí)別,引入了一種有效的基于圖像的損傷檢測(cè)系統(tǒng),該系統(tǒng)可通過(guò)圖像處理技術(shù)和模式識(shí)別來(lái)自動(dòng)識(shí)別電纜表面的損壞。
本文提出一種斜拉索檢測(cè)機(jī)器人和智能檢測(cè)技術(shù)相結(jié)合的斜拉索外表檢測(cè)方法。該方法是利用機(jī)器人在斜拉索上爬升過(guò)程中采集斜拉索外表的圖像,然后利用卷積神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)算法與目標(biāo)檢測(cè)算法對(duì)圖像進(jìn)行識(shí)別,按照不同的缺陷狀況進(jìn)行分類,并將缺陷區(qū)域標(biāo)注出來(lái),最后推算出缺陷位置在斜拉索上的精確位置。
1) 組成結(jié)構(gòu)
該檢測(cè)機(jī)器人由我公司自主研制成功,其結(jié)構(gòu)如圖1所示,設(shè)計(jì)參數(shù)見(jiàn)表1。機(jī)器人由1臺(tái)主動(dòng)小車和2臺(tái)從動(dòng)小車組成,采用三邊夾緊的方式夾緊斜拉索。機(jī)器人上裝有3塊固定板,其中間安裝有2個(gè)直線軸承座。輪子支架裝有輪子與電機(jī),且與活動(dòng)底板連接,輪子材料是聚氨酯,具有高強(qiáng)的彈性和耐磨性。通過(guò)連接設(shè)置在固定板上的電動(dòng)推桿可方便調(diào)節(jié)機(jī)器人中心的直徑大小(能檢測(cè)50 mm~300 mm纜索直徑)。通過(guò)拔出一邊的固定銷打開(kāi)機(jī)器人,方便安裝在橋梁纜索上。固定板的上下端裝有工業(yè)級(jí)超聲波傳感器作為防撞裝置。固定板的上端裝有高清攝像頭,用于采集纜索表觀圖像信息。
圖1 斜拉索檢測(cè)機(jī)器人
表1 斜拉索檢測(cè)機(jī)器人的主要參數(shù)
2) 工作原理
為了檢測(cè)拉索表面保護(hù)層的破損情況,機(jī)器人設(shè)計(jì)了視覺(jué)檢測(cè)系統(tǒng),其硬件系統(tǒng)由3臺(tái)攝像機(jī)、主控制器和數(shù)據(jù)存儲(chǔ)器組成,如圖2所示。其工作方式是當(dāng)機(jī)器人在拉索上爬升時(shí),控制器以循環(huán)的方式將3臺(tái)攝像機(jī)圖像分時(shí)傳輸給數(shù)據(jù)存儲(chǔ)器,以實(shí)現(xiàn)對(duì)拉索表面保護(hù)層全方位圖像的存儲(chǔ),并將3路視頻通過(guò)無(wú)線傳輸子系統(tǒng)傳輸?shù)降孛姹O(jiān)控系統(tǒng)的PC機(jī)上。
圖2 斜拉索檢測(cè)機(jī)器人工作原理
智能算法的發(fā)展給斜拉索的檢測(cè)提供了更加便捷的方法。為了提高檢測(cè)的效率及準(zhǔn)確度,檢測(cè)機(jī)器人利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)斜拉索進(jìn)行缺陷檢測(cè),并利用目標(biāo)檢測(cè)技術(shù)實(shí)現(xiàn)缺陷區(qū)域檢測(cè)定位。
1) 卷積神經(jīng)網(wǎng)絡(luò)
人工神經(jīng)網(wǎng)絡(luò)是一個(gè)擁有強(qiáng)大信息處理能力的數(shù)學(xué)模型,具備高度非線性和復(fù)雜邏輯的表示能力。隨著經(jīng)典的BP神經(jīng)網(wǎng)絡(luò)反向傳播算法的應(yīng)用[7],使人工神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過(guò)程中能夠自動(dòng)修正內(nèi)部參數(shù),在大量的訓(xùn)練樣本中學(xué)習(xí)到統(tǒng)計(jì)規(guī)律,從而預(yù)測(cè)未知事件。BP神經(jīng)網(wǎng)絡(luò)的一個(gè)經(jīng)典結(jié)構(gòu)如圖3所示。研究發(fā)現(xiàn),這種網(wǎng)絡(luò)結(jié)構(gòu)存在計(jì)算效率低、收斂速度慢等問(wèn)題。為了克服上述方法的缺陷,研究人員開(kāi)展了卷積神經(jīng)網(wǎng)絡(luò)算法的研究。
圖3 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意
卷積神經(jīng)網(wǎng)絡(luò)由LeCun教授在1989年提出,一般由輸入層、卷積層、池化層、全連接層和輸出層組成[8]。使用卷積層與池化層替代了部分全連接層形成多層神經(jīng)網(wǎng)絡(luò),以部分連接的方式替代全連接,提高了網(wǎng)絡(luò)的魯棒性、計(jì)算速度以及收斂性,有效防止了過(guò)擬合現(xiàn)象的發(fā)生。卷積神經(jīng)網(wǎng)絡(luò)通過(guò)逐層特征提取由低層特征形成更加抽象的高層特征,實(shí)現(xiàn)復(fù)雜非線性函數(shù)的逼近,最后所有特征映射到圖像的類別。一個(gè)4×4的輸入樣本在一個(gè)2×2的卷積核下的卷積運(yùn)算過(guò)程及極大值池化過(guò)程如圖4所示,公式如下:
(1)
式中:S是輸入數(shù)據(jù);K是卷積核;Vk是卷積區(qū)域內(nèi)元素個(gè)數(shù);i表示移動(dòng)步數(shù)。
圖4 卷積和池化操作原理
依靠神經(jīng)網(wǎng)絡(luò)的分類能力,將輸入的圖像所包含的各種缺陷狀況進(jìn)行分類,從而進(jìn)行纜索缺陷的圖像識(shí)別。整個(gè)過(guò)程包括網(wǎng)絡(luò)的訓(xùn)練階段和測(cè)試階段。
訓(xùn)練階段,神經(jīng)網(wǎng)絡(luò)的輸入為機(jī)器采集到的纜索表面圖像,輸出則是每張圖像對(duì)應(yīng)的一種已知缺陷狀況的標(biāo)簽。根據(jù)工程實(shí)際將缺陷狀況劃分為無(wú)缺陷、凹痕、剝落、刮痕、破損和損壞6種拉索表面狀態(tài)的標(biāo)簽。
測(cè)試階段,將新采集的圖像輸入到網(wǎng)絡(luò)中,借此預(yù)測(cè)該圖像的缺陷情況。
對(duì)于分類,先用Softmax層得到網(wǎng)絡(luò)輸出的概率分布,后通過(guò)分類層得到識(shí)別(預(yù)測(cè))的事物類別。具體流程是:(1) 原始數(shù)據(jù)先經(jīng)過(guò)若干個(gè)卷積層、池化層得到若干個(gè)特征矩陣(值);(2) 通過(guò)全連接層將特征矩陣(值)映射到若干個(gè)特征值,并將此作為Softmax層的輸入;(3) 利用損失函數(shù)計(jì)算Softmax層的輸出與目標(biāo)輸出的交叉熵?fù)p失;(4) 通過(guò)損失的反向傳播來(lái)調(diào)節(jié)網(wǎng)絡(luò)權(quán)值[9]。將Softmax函數(shù)應(yīng)用到卷積神經(jīng)網(wǎng)絡(luò)中,主要是用于數(shù)據(jù)多分類問(wèn)題,對(duì)于給定的輸入x和網(wǎng)絡(luò)參數(shù)w,可通過(guò)Softmax層計(jì)算出結(jié)果概率分布,函數(shù)將輸出一個(gè)k維向量,向量元素的和為1。函數(shù)表達(dá)式如下:
(2)
交叉熵?fù)p失[9]反映了目標(biāo)輸出與預(yù)測(cè)輸出的相似程度,交叉熵越低,說(shuō)明算法得出預(yù)測(cè)概率分布越接近真實(shí)概率分布,其表達(dá)式為:
(3)
式中:N為樣本數(shù);K為類別數(shù);tij為樣本i屬于j類的概率;yij為模型對(duì)樣本i屬于類別j的輸出概率,即是Softmax函數(shù)的輸出值。
為實(shí)現(xiàn)目標(biāo)檢測(cè)(目標(biāo)定位),先需要得到一個(gè)預(yù)訓(xùn)練網(wǎng)絡(luò)。為了減少計(jì)算量并且獲得較好的圖像識(shí)別能力,采用一個(gè)經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)模型(AlexNet網(wǎng)絡(luò))作為預(yù)訓(xùn)練網(wǎng)絡(luò),其中有5個(gè)卷積層、3個(gè)池化層及3個(gè)全連接層組成,其運(yùn)行過(guò)程如圖5所示。網(wǎng)絡(luò)的輸入為一張圖片,原始尺寸為227×227×3的矩陣,經(jīng)過(guò)被第一層卷積逐層傳遞卷積后,成為一個(gè)55×66×96的矩陣,再經(jīng)過(guò)逐層傳遞,成為一個(gè)6×6×256的矩陣,將該矩陣展開(kāi)(1×9 216)進(jìn)入全連接層,最后通過(guò)Softmax層計(jì)算所屬類別的概率。
圖5 AlexNet網(wǎng)絡(luò)結(jié)構(gòu)
2) 目標(biāo)檢測(cè)器
目標(biāo)檢測(cè)是用于識(shí)別圖像中目標(biāo)位置的技術(shù),或稱為目標(biāo)定位[10];目標(biāo)檢測(cè)器通常是由網(wǎng)絡(luò)預(yù)訓(xùn)練與檢測(cè)器訓(xùn)練2個(gè)過(guò)程得到[11]。
(1) 網(wǎng)絡(luò)預(yù)訓(xùn)練
將含有大量樣本的圖像集(ImageNet數(shù)據(jù)集)通過(guò)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)來(lái)解決新分類或檢測(cè)任務(wù),由于預(yù)訓(xùn)練網(wǎng)絡(luò)已有強(qiáng)大的圖像特征提取能力,然后在該網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行遷移學(xué)習(xí)[12],提取圖像的特征。遷移學(xué)習(xí)過(guò)程是將上述具有圖像識(shí)別功能的網(wǎng)絡(luò)應(yīng)用到目標(biāo)檢測(cè)任務(wù)中,只需輸入少量與目標(biāo)檢測(cè)任務(wù)有關(guān)的樣本,權(quán)值進(jìn)行很小的調(diào)整,即可用于圖像的目標(biāo)識(shí)別任務(wù)。
(2) 目標(biāo)檢測(cè)器訓(xùn)練
該訓(xùn)練用來(lái)實(shí)現(xiàn)目標(biāo)的識(shí)別和定位,該部分的實(shí)現(xiàn)包括目標(biāo)物的圖像輸入、目標(biāo)物所在圖像的區(qū)域及類別輸出,預(yù)訓(xùn)練的網(wǎng)絡(luò)模型(AlexNet)和檢測(cè)器的訓(xùn)練參數(shù)(學(xué)習(xí)次數(shù)、圖像尺寸等)。訓(xùn)練功能會(huì)自動(dòng)將原始的AlexNet網(wǎng)絡(luò)模型(將圖像分為M類)修改為可以將圖像分為N類(取決于新任務(wù)的樣本類別)的網(wǎng)絡(luò)。
本文采用ImageNet數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練的網(wǎng)絡(luò)模型(AlexNet),將此網(wǎng)絡(luò)遷移到斜拉索表面檢測(cè)的缺陷定位任務(wù)中。
機(jī)器人圖像采集的方法及缺陷識(shí)別的過(guò)程主要分為以下8個(gè)步驟:
1) 將機(jī)器人平放在要檢測(cè)的斜拉索附近,隨后開(kāi)啟機(jī)器人電源、無(wú)線控制器電源、無(wú)線錄像機(jī)電源。
2) 使用無(wú)線控制器操作機(jī)器人各部分運(yùn)動(dòng),觀看無(wú)線錄像機(jī)畫面,查看各部分功能是否正常運(yùn)作。
3) 按下機(jī)器人黃色按鈕,如圖6所示,使機(jī)器人夾緊中心變大,略比要檢測(cè)的斜拉索直徑大便可。
4) 取下機(jī)器人中一邊的固定銷使機(jī)器人張開(kāi),然后套上斜拉索后裝回固定銷。
5) 按下機(jī)器人藍(lán)色按鈕,如圖6所示,使機(jī)器人夾緊中心變小,使其夾緊斜拉索,等看到避震彈簧往回縮便可。
6) 使用無(wú)線控制器數(shù)據(jù)導(dǎo)出畫面,按下刪除歷史記錄按鈕,切換到操作畫面設(shè)置好速度,按下上升自鎖按鈕便可開(kāi)展檢測(cè)工作,機(jī)器人工作示意如圖7所示。
7) 將采集到的部分斜拉索表面圖像及標(biāo)注信息導(dǎo)入到智能檢測(cè)系統(tǒng)中,調(diào)節(jié)網(wǎng)絡(luò)的訓(xùn)練參數(shù),即可開(kāi)始網(wǎng)絡(luò)的訓(xùn)練過(guò)程。
采用Faster-RCNN模型作為缺陷識(shí)別的算法,訓(xùn)練過(guò)程如圖8所示。(1) 通過(guò)預(yù)訓(xùn)練網(wǎng)絡(luò)(AlexNet)
(a) 機(jī)器人控制按鈕
(b) 機(jī)器人電源開(kāi)關(guān)
圖7 機(jī)器人工作示意
圖8 Faster-RCNN網(wǎng)絡(luò)的訓(xùn)練過(guò)程
提取缺陷特征,利用區(qū)域生成網(wǎng)絡(luò)(RPN)形成候選區(qū)域;(2) 通過(guò)池化層將候選區(qū)域變成大小相同的尺寸;(3) 輸入到回歸層(缺陷的定位)和分類層(缺陷的類別),以此完成缺陷的位置及類型識(shí)別。其訓(xùn)練集采用無(wú)缺陷、凹痕、剝落、刮痕、破損和損壞6種拉索表面狀態(tài)的圖像,每種缺陷選擇140張照片,尺寸為2 048×2 048,格式為RGB,數(shù)量共800余張。首先將它們輸入檢測(cè)器,并進(jìn)行標(biāo)注,檢測(cè)器輸出文件為矩形框標(biāo)注缺陷的區(qū)域,并注釋缺陷類型,然后將圖片和標(biāo)注信息輸入到檢測(cè)目標(biāo)檢測(cè)算法中進(jìn)行訓(xùn)練,隨著訓(xùn)練時(shí)間的增加,識(shí)別的正確率不斷提高,待正確率穩(wěn)定后即完成網(wǎng)絡(luò)訓(xùn)練,最后將訓(xùn)練完成的網(wǎng)絡(luò)用于新采集的斜拉索表面缺陷的檢測(cè)任務(wù)中,訓(xùn)練完成的網(wǎng)絡(luò)可以保存起來(lái),下一次檢測(cè)不需要再次訓(xùn)練即可實(shí)現(xiàn)檢測(cè)任務(wù)。
8) 待訓(xùn)練完畢,將采集的其他沒(méi)有標(biāo)記的圖像輸入到系統(tǒng)中,系統(tǒng)自動(dòng)識(shí)別出缺陷的區(qū)域與距離地面端的距離,最后記錄下來(lái)形成檢測(cè)報(bào)告,報(bào)告主要包括病害統(tǒng)計(jì)表、病害情況描述、病害結(jié)果匯總等內(nèi)容。
廣東番禺大橋有244根斜拉索,按空間雙索面布置,塔上標(biāo)準(zhǔn)索距為1.3 m,梁上標(biāo)準(zhǔn)索距為6.0 m,拉索采用Φ7鍍鋅高強(qiáng)鋼絲,鋼絲數(shù)在121至367之間變化。對(duì)244根斜拉索中的部分拉索進(jìn)行表面缺陷檢測(cè)并對(duì)其編號(hào)。
將機(jī)器人采集的圖片通過(guò)神經(jīng)網(wǎng)絡(luò)和目標(biāo)檢測(cè)技術(shù)進(jìn)行智能分類及定位,最終的檢測(cè)結(jié)果見(jiàn)表2,XLS-2斜拉索的部分病害檢測(cè)結(jié)果如圖9所示,病害位置被準(zhǔn)確標(biāo)記出。
表2 斜拉索病害分類結(jié)果
(a) 破損
(b) 凹痕
(c) 刮痕
(d) 剝落
(e) 損壞
(f) 無(wú)病害
本次機(jī)器人對(duì)番禺大橋CX-1斜拉索進(jìn)行了外觀檢測(cè),斜拉索護(hù)套整體情況基本良好,發(fā)現(xiàn)的病害如下:刮傷2處、刮痕30處、孔洞0處、翹皮0處、擠壓0處、污漬0處、開(kāi)裂0處等。病害共32處,病害位置及情況描述如圖10所示。
該橋斜拉索的檢測(cè)病害以刮痕為主,主要因斜拉索吊裝時(shí)產(chǎn)生;破損、剝落、凹痕、損壞等病害則因斜拉索常年的風(fēng)吹雨淋老化引起??傮w來(lái)看,病害多在表面,對(duì)纜索內(nèi)部影響較小,不影響結(jié)構(gòu)的正常使用。
(a) 病害統(tǒng)計(jì)表
(b) 病害情況描述
(c) 病害檢測(cè)結(jié)果匯總
本文提出的智能檢測(cè)技術(shù)比傳統(tǒng)斜拉索檢測(cè)效率提高了300%。經(jīng)測(cè)試10 min的檢測(cè)視頻,人工檢測(cè)缺陷、整理缺陷和編寫報(bào)告共需要40 min;而智能檢測(cè)技術(shù)只需要10 min就能自動(dòng)生成定性、定量、定位的缺陷報(bào)告。
智能檢測(cè)技術(shù)降低了傳統(tǒng)人工檢測(cè)在復(fù)雜環(huán)境下的風(fēng)險(xiǎn),提高了檢測(cè)精度。例如,傳統(tǒng)方法每檢測(cè)一條斜拉索都需檢查員坐在卷?yè)P(yáng)機(jī)上沿著斜拉索向上移動(dòng),通過(guò)檢測(cè)員肉眼觀察的方式去檢測(cè)斜拉索的缺陷,當(dāng)卷?yè)P(yáng)機(jī)上升到較高處的時(shí)候,高處風(fēng)大易使卷?yè)P(yáng)機(jī)晃動(dòng),可能危及檢查員的生命安全。
1) 機(jī)器人在斜拉索圖像采集中具有巨大的優(yōu)勢(shì),顯著提高了工作效率和安全性。
2) 卷積神經(jīng)網(wǎng)絡(luò)算法與目標(biāo)檢測(cè)結(jié)合的智能檢測(cè)技術(shù),不僅能夠準(zhǔn)確識(shí)別出缺陷的類型,而且能定位出缺陷的區(qū)域,節(jié)省了大量的人力資源及時(shí)間,在工程中具有重要廣泛的應(yīng)用前景。
3) 通過(guò)應(yīng)用實(shí)證,基于智能算法和纜索機(jī)器人的斜拉索聯(lián)合檢測(cè)系統(tǒng)能夠有效、快速、安全地完成斜拉索外表的檢測(cè)任務(wù)。