基于改進(jìn)YOLOv5s的橋墩缺陷檢測(cè)ROV設(shè)計(jì)應(yīng)用

齊曉軒, 陶九明, 陳 鑒, 何至誠(chéng), 袁鵬達(dá)

(沈陽(yáng)大學(xué) a. 應(yīng)用技術(shù)學(xué)院, b. 信息工程學(xué)院, c. 統(tǒng)戰(zhàn)部, 遼寧 沈陽(yáng), 110044)

近年來(lái),暴雨、洪水、地震等自然災(zāi)害頻發(fā),導(dǎo)致部分道路、橋梁等基礎(chǔ)水工設(shè)施產(chǎn)生不同程度損壞,敲響了橋梁安全問(wèn)題的警鐘。因?qū)嶋H環(huán)境限制,現(xiàn)有的水下墩樁結(jié)構(gòu)檢測(cè)方式受到很大制約,市面上傳統(tǒng)的水下作業(yè)主要依靠人工肉眼觀察或探摸,費(fèi)用高、周期長(zhǎng),且過(guò)深水下環(huán)境不僅對(duì)潛水員的生命健康造成威脅,也會(huì)降低檢測(cè)任務(wù)的實(shí)時(shí)性。隨著水下機(jī)器人科技的發(fā)展,具有惡劣水下環(huán)境檢測(cè)與作業(yè)能力的機(jī)器人逐漸展現(xiàn)出了很高的性價(jià)比優(yōu)勢(shì)。

2018年, 高娟[1]在關(guān)于橋梁裂縫智能檢測(cè)機(jī)器人的研究中提出履帶吸盤(pán)爬壁機(jī)器人, 通過(guò)爬行吸附機(jī)構(gòu)可保證機(jī)器人在復(fù)雜水流環(huán)境下穩(wěn)定運(yùn)行; 同年,Sakagami等[2]在負(fù)壓效應(yīng)板大壩檢測(cè)機(jī)器人的研制中提出水下機(jī)器人和大壩表面之間產(chǎn)生拉力的新裝置, 該裝置由常規(guī)推進(jìn)器和盤(pán)板組成, 依靠盤(pán)板擴(kuò)大推進(jìn)器吸附力進(jìn)行機(jī)器人吸附運(yùn)動(dòng); 2019年,Hirai等[3]發(fā)表大壩檢測(cè)水下機(jī)器人的研究, 采用地面站加ROV的人機(jī)協(xié)同模式進(jìn)行大壩檢測(cè)任務(wù); 2020年,Le等[4]提供了一種創(chuàng)新且實(shí)用的解決方案(SPIR), 是世界上第一個(gè)用于水下結(jié)構(gòu)清潔和檢查的自主機(jī)器人系統(tǒng)。 由上述研究可知,水下機(jī)器人完全可代替潛水員進(jìn)行橋墩水下檢測(cè)任務(wù)。 橋墩附近水流流速較大, 可達(dá)2 m·s-1以上, 易產(chǎn)生亂流現(xiàn)象, 相比于浮游式及渦流吸附式結(jié)構(gòu), 抱臂式結(jié)構(gòu)明顯更加適合進(jìn)行水下檢測(cè)。 缺陷圖像采集一般通過(guò)搭載的聲納、無(wú)損檢測(cè)儀、水下相機(jī)等設(shè)備實(shí)現(xiàn), 近年來(lái)隨著深度學(xué)習(xí)模型在水下圖像檢測(cè)的應(yīng)用與發(fā)展[5-10], 提高檢測(cè)精度的同時(shí)只需配合水下相機(jī)就可以完成實(shí)時(shí)檢測(cè), 極大地降低了檢測(cè)成本。

本文針對(duì)橋梁水下基礎(chǔ)結(jié)構(gòu)檢測(cè)與修復(fù)的現(xiàn)狀,從實(shí)際工作需要出發(fā),設(shè)計(jì)了一款基于改進(jìn)YOLOv5s的橋墩缺陷檢測(cè)ROV,具有深水作業(yè)功能、浮游和抱臂爬行復(fù)合運(yùn)動(dòng)功能、水中缺陷自主識(shí)別與定位功能、抗水流干擾的全方位靈活運(yùn)動(dòng)功能。所提及的缺陷檢測(cè)系統(tǒng)輸出圖像在21幀率左右情況下準(zhǔn)確率可達(dá)90%以上。ROV進(jìn)行真實(shí)水域測(cè)試結(jié)果顯示,完全符合檢測(cè)預(yù)期,可實(shí)現(xiàn)替代人工檢測(cè)目的。

1 系統(tǒng)總覽

自主研發(fā)設(shè)計(jì)ROV整體采用開(kāi)架式結(jié)構(gòu),主體分為上下2個(gè)部分,分別為ROV本體結(jié)構(gòu)和抱臂夾持機(jī)構(gòu),采用了模塊化安裝方式,設(shè)備整體重量輕、強(qiáng)度高,方便快捷回收和釋放,可實(shí)現(xiàn)浮游狀態(tài)下的全向自由航行以及爬行狀態(tài)下的繞橋墩表面運(yùn)動(dòng),通過(guò)遙控操作,可對(duì)作業(yè)區(qū)進(jìn)行定點(diǎn)精細(xì)檢測(cè)。其整體機(jī)械結(jié)構(gòu)如圖1所示。根據(jù)橋墩缺陷檢測(cè)實(shí)際任務(wù)需求,考慮到ROV需要從岸基點(diǎn)浮游到橋墩附近,期間受橋墩附近亂流影響嚴(yán)重,設(shè)計(jì)具有8個(gè)推進(jìn)器成矢量分布的本體動(dòng)力結(jié)構(gòu),可實(shí)現(xiàn)ROV浮游狀態(tài)下的全向運(yùn)動(dòng);考慮到橋墩表面青苔等苔蘚植物覆蓋有天然潤(rùn)滑的作用,使得ROV難以吸附,設(shè)計(jì)繩傳動(dòng)的抱臂夾持機(jī)構(gòu)為ROV穩(wěn)定檢測(cè)工作提供了可靠平臺(tái)。

圖1 ROV整機(jī)機(jī)械結(jié)構(gòu)Fig.1 Mechanical structure of ROV machine

ROV本體結(jié)構(gòu)組件包括推進(jìn)器、水下電子艙、浮力材料、框架、臍帶纜、攝像頭、可選配部件聲吶等,見(jiàn)圖2?？紤]到ROV受力均衡問(wèn)題,設(shè)計(jì)ROV左右、前后、上下均對(duì)稱的本體框架;考慮到傳感器元件、控制器元件及其元器件水下工作的遇水導(dǎo)電性,設(shè)計(jì)密封電子艙,為控制系統(tǒng)提供防水空間。

圖2 ROV本體結(jié)構(gòu)Fig.2 Mechanical structure of ROV

抱臂夾持機(jī)構(gòu)組件包括機(jī)械臂驅(qū)動(dòng)電機(jī)、機(jī)械臂、張緊機(jī)構(gòu)等,其具體組成如圖3所示。夾持機(jī)構(gòu)由一臺(tái)內(nèi)置200 W電機(jī)的電動(dòng)推桿通過(guò)齒輪組之間相互咬合驅(qū)動(dòng),其驅(qū)動(dòng)軸由聯(lián)軸器將其與電機(jī)連接在一起,外置輸出軸直連抱臂,抱臂由鋼絲繩帶動(dòng),左右抱臂保持同步移動(dòng)。設(shè)置壓力傳感器檢測(cè)機(jī)臂壓力,當(dāng)超過(guò)壓力限定,機(jī)臂停止收縮并保持當(dāng)前狀態(tài)直至接收到下一次任務(wù)指令。

圖3 抱臂夾持機(jī)構(gòu)Fig.3 Arm holding mechanism

考慮到檢測(cè)作業(yè)需要較高精度與檢測(cè)范圍,整體控制系統(tǒng)采用了機(jī)箱式上位機(jī)加ROV水下執(zhí)行系統(tǒng)的分布式結(jié)構(gòu)控制方式,如圖4所示。上位機(jī)及其遙控裝置負(fù)責(zé)指令的發(fā)布,同時(shí)通過(guò)上位機(jī)對(duì)ROV進(jìn)行檢測(cè)圖像及各傳感器參數(shù)界面監(jiān)控,以便應(yīng)對(duì)各種突發(fā)情況,水下執(zhí)行系統(tǒng)設(shè)置Arduino單片機(jī)作為水下直接控制單元,協(xié)同各傳感器進(jìn)行ROV運(yùn)動(dòng)狀態(tài)數(shù)據(jù)采集,另外設(shè)計(jì)岸基供電箱加機(jī)載電源的供電單元、推進(jìn)器加電動(dòng)推桿的驅(qū)動(dòng)執(zhí)行單元、水下相機(jī)加補(bǔ)光燈的檢測(cè)單元等。繼而通過(guò)含有光纖結(jié)構(gòu)的臍帶纜單元實(shí)現(xiàn)主副控制器耦合、水上水下系統(tǒng)通訊。

圖4 硬件控制系統(tǒng)結(jié)構(gòu)Fig.4 Hardware control system structure

檢測(cè)單元為水下相機(jī)加補(bǔ)光燈的視覺(jué)檢測(cè)模塊, 將橋墩表面實(shí)時(shí)錄制圖像通過(guò)臍帶纜上傳至上位機(jī), 配合相關(guān)視覺(jué)檢測(cè)算法對(duì)視頻中圖像進(jìn)行增強(qiáng)、缺陷識(shí)別、語(yǔ)義分割等; 驅(qū)動(dòng)執(zhí)行機(jī)構(gòu)主要包括支持ROV運(yùn)動(dòng)及姿態(tài)變換的多推進(jìn)器和支持ROV抱臂爬行的電動(dòng)推桿直流電機(jī); 水下輔助控制單元采用Arduino系列單片機(jī), 主要用于ROV搭載傳感器的數(shù)據(jù)采集, 分擔(dān)上位機(jī)運(yùn)行負(fù)荷同時(shí)以便于上位機(jī)更好的監(jiān)控ROV運(yùn)行狀態(tài); 通過(guò)姿態(tài)解算,配合自主設(shè)計(jì)控制算法, 實(shí)現(xiàn)ROV水巡航檢測(cè)任務(wù)。

2 缺陷檢測(cè)

橋墩缺陷檢測(cè)ROV的功能是檢測(cè)橋墩表面是否存在腐蝕、裂紋等缺陷?？紤]到水下缺陷圖片的搜集比較困難,數(shù)據(jù)集量小從而導(dǎo)致神經(jīng)網(wǎng)絡(luò)在進(jìn)行識(shí)別時(shí)準(zhǔn)確率不高,采用CycleGAN網(wǎng)絡(luò)[11]的改進(jìn)版SESS-CycleGAN生成水下裂縫缺陷的圖片用于擴(kuò)建圖像數(shù)據(jù)集,送入水下白平衡算法增強(qiáng),進(jìn)而用于接下來(lái)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練,考慮到水下作業(yè)的高要求與實(shí)時(shí)性,缺陷檢測(cè)采用基于注意力機(jī)制改進(jìn)的YOLOv5s網(wǎng)絡(luò),相比于YOLOv5s原檢測(cè)網(wǎng)絡(luò)[12],將原Backbone主干網(wǎng)絡(luò)中的池化金字塔結(jié)構(gòu)(spatial pyramid pooling, SPP)替換為空洞空間卷積池化金字塔(atrous spatial pyramid pooling, ASPP),并在Neck網(wǎng)絡(luò)后添加改進(jìn)的自適應(yīng)注意模塊(improved adaptive attention module, IAAM)結(jié)構(gòu),繼承了原檢測(cè)算法更換數(shù)據(jù)集自動(dòng)確定初始錨框大小帶來(lái)的多數(shù)據(jù)集適應(yīng)性等優(yōu)點(diǎn),使得檢測(cè)速度與精度有一定的提升,最后采用PSP-Net語(yǔ)義分割識(shí)別算法對(duì)水下目標(biāo)進(jìn)行缺陷精確分割與預(yù)估。改進(jìn)的YOLOv5s網(wǎng)絡(luò)模型架構(gòu)如圖5所示。

圖5 改進(jìn)的YOLOv5s網(wǎng)絡(luò)模型Fig.5 Improved YOLOv5s network model

2.1 空洞空間卷積池化金字塔模塊

空洞空間卷積池化金字塔模塊(ASPP),內(nèi)置4個(gè)不同采樣率的空洞卷積層及一個(gè)池化層并行[13-14]?？梢詫⒔o定特征分別以其對(duì)應(yīng)采樣率通道單獨(dú)處理,提取不同尺度下的特征,最終融合生成所需特征結(jié)果。優(yōu)勢(shì)為其空洞卷積的添加相比于SPP在無(wú)需減小圖像大小,即不丟失分辨率情況下以指數(shù)形式擴(kuò)大卷積核感受野,空洞池化層的添加使得給定特征可自適應(yīng)均值池化,具體結(jié)構(gòu)如圖6所示。

圖6 ASPP模塊結(jié)構(gòu)Fig.6 ASPP module structure

2.2 改進(jìn)的注意力機(jī)制

考慮到缺陷的形狀不一,且有些缺陷的形狀細(xì)長(zhǎng),存在尺度變化,對(duì)于YOLOv5s主干網(wǎng)絡(luò)的特征層加入如圖7的AAM結(jié)構(gòu),并將圖7虛線框內(nèi)所描述頸部結(jié)構(gòu)替換為輕量型的高效通道注意力模塊(effificient channel attention, ECA),提高了網(wǎng)絡(luò)對(duì)于缺陷自適應(yīng)檢測(cè)模型效率與計(jì)算效果。

ECA模塊作為SE-Net的改進(jìn),避免了通道降維,增加了一維卷積核的自適應(yīng)選擇,用以確定局部跨通道覆蓋率,適當(dāng)捕獲了局部跨通道信息交互,從而實(shí)現(xiàn)了檢測(cè)性能的提優(yōu)[15]。

網(wǎng)絡(luò)結(jié)構(gòu)融合后的IAAM模塊通過(guò)自適應(yīng)池化層獲得不同尺度的語(yǔ)義特征,接著對(duì)每個(gè)上下文特征進(jìn)行1×1卷積,以獲得相同的通道維數(shù)。利用雙線性插值進(jìn)行尺度歸一化處理;之后進(jìn)入ECA模塊處理,將給定特征值通過(guò)GAP全局平均池化得到聚合特征;繼而通過(guò)內(nèi)核大小為K的一維卷積實(shí)現(xiàn)局部跨信道信息交互,快速生成通道權(quán)重;然后特征圖經(jīng)過(guò)sigmoid激活層和一維卷積歸一化相對(duì)應(yīng)權(quán)值,生成的權(quán)值映射和合并通道后的特征映射經(jīng)過(guò)Hadamard乘積操作,將其分離并添加到輸入特征映射中,再次對(duì)上下文特征進(jìn)行聚合得到最終特征圖,從而在降低網(wǎng)絡(luò)復(fù)雜度的同時(shí)完成了所需橋墩缺陷圖像檢測(cè)識(shí)別。

3 試 驗(yàn)

3.1 視覺(jué)試驗(yàn)環(huán)境

本文設(shè)計(jì)的裂紋目標(biāo)檢測(cè)模型在深度學(xué)習(xí)服務(wù)器下進(jìn)行,使用Python 3.7.0和PyTorch 1.2.0進(jìn)行搭建,編程開(kāi)發(fā)工具使用PyChram2021。模型訓(xùn)練在Ubuntu 18.04操作系統(tǒng)下進(jìn)行,GPU為NVIDIA Tesla v100 32GB,CUDA版本為10.0.130。本章試驗(yàn)訓(xùn)練、測(cè)試均使用相同的參數(shù)配置,輸入圖像為 640×640、訓(xùn)練采用YOLOv5s的預(yù)訓(xùn)練權(quán)重,總訓(xùn)練輪次為100、優(yōu)化器選擇SGD、學(xué)習(xí)率初始為0.002、batch size設(shè)置為8。

3.2 視覺(jué)試驗(yàn)結(jié)果分析

為驗(yàn)證所改進(jìn)算法的優(yōu)越性,對(duì)比其他3種常見(jiàn)的目標(biāo)檢測(cè)算法Fast R-CNN[16]、YOLOv4+SE和YOLOv4-tiny+ASPP。試驗(yàn)證明了改進(jìn)后的YOLOv5s在各項(xiàng)指標(biāo)上均優(yōu)于其他算法,證明了檢測(cè)算法的有效性。

3.3 真實(shí)水域試驗(yàn)

為了驗(yàn)證整套橋梁缺陷檢測(cè)系統(tǒng)是否到性能指標(biāo)的要求,我們進(jìn)行了室內(nèi)試驗(yàn)和實(shí)橋試驗(yàn),對(duì)整套設(shè)備的性能指標(biāo)、使用效率進(jìn)行驗(yàn)證和評(píng)價(jià),室內(nèi)試驗(yàn)是通過(guò)制作模擬測(cè)量橋墩缺陷(裂縫、剝落掉角)的標(biāo)定物,來(lái)確定整個(gè)系統(tǒng)精度是否達(dá)到設(shè)計(jì)要求;實(shí)橋試驗(yàn)是通過(guò)橋梁檢測(cè)人員現(xiàn)場(chǎng)使用,來(lái)對(duì)整個(gè)缺陷檢測(cè)系統(tǒng)的操作流程、使用效率及缺陷檢測(cè)系統(tǒng)的缺陷識(shí)別率進(jìn)行判斷和評(píng)價(jià)。

表1 目標(biāo)檢測(cè)對(duì)比Table 1 Target detection comparison

室內(nèi)試驗(yàn)采用水池固定白桶測(cè)試,搭建模擬環(huán)境對(duì)設(shè)備的各個(gè)功能進(jìn)行了驗(yàn)證。首先對(duì)ROV進(jìn)行特制浮力塊精確配比,浮力塊采用聚胺酯閉孔發(fā)泡材料,密度為0.15～0.25 kg·L-1,外涂膠衣,材料無(wú)毒,用來(lái)調(diào)整浮游裝置的整體浮力和重力平衡,其受到的浮力近于用于中和推進(jìn)器在水中的重力,配比完成后為設(shè)備通電,用以對(duì)設(shè)備的整體電氣狀態(tài)及各模塊進(jìn)行檢測(cè),通電后各模塊電氣狀態(tài)良好,各模塊的工作狀態(tài)功能也全部正常。驅(qū)動(dòng)ROV測(cè)試運(yùn)動(dòng)能力,當(dāng)接觸到白桶,夾持裝置開(kāi)始收縮,直至壓力傳感器達(dá)到設(shè)定閾值,并沒(méi)有出現(xiàn)過(guò)分收緊導(dǎo)致ROV不能轉(zhuǎn)動(dòng)的情況,可見(jiàn)ROV抱臂系統(tǒng)工作正常,壓力傳感器設(shè)置閾值可以正常使用,實(shí)驗(yàn)中同時(shí)驗(yàn)證了相機(jī)使用情況,如圖8可以看出,水下相機(jī)所拍攝圖像基本清晰。

(a) 外部觀測(cè)圖(b) 上位機(jī)監(jiān)控界面

外場(chǎng)試驗(yàn)選定的是遼寧省沈陽(yáng)市新開(kāi)河聯(lián)合路段的一座橋的橋墩,該橋墩直徑約為95 cm,橋下水深約為140 cm。按照橋墩檢測(cè)需求進(jìn)行了ROV水下檢測(cè)試驗(yàn),包括上下檢測(cè)、繞橋墩表面左右旋轉(zhuǎn)檢測(cè)。

從水下相機(jī)實(shí)時(shí)檢測(cè)視頻中截取部分圖像如圖9所示。

(a) 作業(yè)實(shí)況(b) 橋墩表面

檢測(cè)到實(shí)時(shí)水速0.771～1.028 m·s-1,橋墩底部由礫石和鵝卵石組成,以當(dāng)時(shí)水平面為界0.85 m以下,橋墩表面局部覆蓋2.54～5.08 cm厚水生生物生長(zhǎng)層,檢查結(jié)果顯示,混凝土完好,未發(fā)現(xiàn)任何重大缺陷。

經(jīng)橋墩缺陷檢測(cè)ROV水域測(cè)試后,通過(guò)具體實(shí)驗(yàn)情況分析ROV各項(xiàng)性能指標(biāo),如表2所示。

表2 ROV性能指標(biāo)Table 2 Performance indicators of ROV

為驗(yàn)證視覺(jué)檢測(cè)效果,對(duì)橋墩附底部基樁表面混凝土結(jié)構(gòu)進(jìn)行檢測(cè),機(jī)箱視覺(jué)系統(tǒng)在Windows 10操作系統(tǒng)下,使用PyQt作為系統(tǒng)開(kāi)發(fā)框架,GPU為NVIDIA GTX 1060 Max-Q,內(nèi)存16G。將水下相機(jī)實(shí)時(shí)錄制的圖像上傳至上位機(jī),同步到深度學(xué)習(xí)服務(wù)器進(jìn)行水下圖像實(shí)時(shí)增強(qiáng)與缺陷檢測(cè)。

視覺(jué)檢測(cè)分2步進(jìn)行,首先,利用相機(jī)對(duì)水下表觀圖像進(jìn)行采集,其次,將采集視頻導(dǎo)入缺陷視覺(jué)檢測(cè)系統(tǒng)進(jìn)行圖像分析。自主設(shè)計(jì)的缺陷視覺(jué)檢測(cè)系統(tǒng)對(duì)真實(shí)水域相機(jī)實(shí)時(shí)拍攝圖像進(jìn)行渾水成像、圖像增強(qiáng)、缺陷檢測(cè)、語(yǔ)義分割等方面處理,最終檢測(cè)結(jié)果如圖10所示。

4 結(jié) 論

本文所設(shè)計(jì)的橋墩缺陷檢測(cè)ROV已在沈陽(yáng)市新開(kāi)河聯(lián)合路段完成橋墩檢測(cè)任務(wù),檢測(cè)指標(biāo)均達(dá)到橋墩檢測(cè)標(biāo)準(zhǔn),通過(guò)ROV執(zhí)行水下檢測(cè)任務(wù)的完整性與時(shí)效性,驗(yàn)證了本文所設(shè)計(jì)橋墩缺陷檢測(cè)ROV能夠達(dá)到預(yù)期目標(biāo),所搭載硬件系統(tǒng)和驅(qū)動(dòng)軟件能夠給ROV的上層控制軟件提供一個(gè)穩(wěn)定基礎(chǔ)。加入改進(jìn)YOLOv5s方案的缺陷檢測(cè)系統(tǒng)使得檢測(cè)精度有較大提升,降低了檢測(cè)所需成本,具有實(shí)用價(jià)值,可為橋梁的后期養(yǎng)護(hù)管理工作提供詳實(shí)的數(shù)據(jù),未來(lái)可推廣至水工設(shè)施檢測(cè)、海工、軍工等市場(chǎng)。