巡檢機(jī)器人系統(tǒng)的軟硬件協(xié)同設(shè)計(jì)

畢逢?yáng)| 周淦 張晨光 姬少英 彭良瑞 閆睿劼

摘要：針對(duì)移動(dòng)定位和目標(biāo)感知兩大問(wèn)題，研究軟件與硬件協(xié)同的巡檢機(jī)器人系統(tǒng)設(shè)計(jì)方案。在移動(dòng)定位方面，設(shè)計(jì)一種結(jié)合激光雷達(dá)、單目攝像頭、慣性測(cè)量單元、GPS等多種傳感器的即時(shí)定位與地圖構(gòu)建的技術(shù)方案，并采用在巡檢環(huán)境中設(shè)置二維碼路標(biāo)輔助視覺(jué)定位的方法;在目標(biāo)感知方面，以表計(jì)信息提取任務(wù)為例，設(shè)計(jì)一種基于深度學(xué)習(xí)的表計(jì)檢測(cè)、定位與文本識(shí)別方法。結(jié)果表明，通過(guò)引入基于5G移動(dòng)通信及Wi-Fi的網(wǎng)絡(luò)通信功能實(shí)現(xiàn)了具有網(wǎng)絡(luò)管理平臺(tái)的巡檢機(jī)器人系統(tǒng)，系統(tǒng)達(dá)到實(shí)際應(yīng)用要求，有效提升了巡檢的自動(dòng)化和智能化水平。

關(guān)鍵詞：巡檢機(jī)器人； 移動(dòng)定位； 目標(biāo)感知； 深度學(xué)習(xí)； 文本識(shí)別

中圖分類號(hào)：TP 242 ??文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1673-5005（2024）03-0180-08 ??doi：10.3969/j.issn.1673-5005.2024.03.020

Hardware-software co-design of inspection robot system

BI Fengdong1， ZHOU Gan2， ZHANG Chenguang2， JI Shaoying2， PENG Liangrui3，4， YAN Ruijie3，4

（1.PetroChina Natural Gas Marketing Company， Beijing 100101， China;2.Beijing Elitenect Technologies Company， Beijing 100085， China;3.Department of Electronic Engineering， Tsinghua University， Beijing 100084， China;4.Beijing National Research Center for Information Science and Technology， Beijing 100084， China）

Abstract： Aiming to two major problems of mobile positioning and object perception， the hardware-software co-design schemes of inspection robot system were explored. For the mobile positioning， a simultaneous localization and mapping strategy by combining LiDAR， monocular camera， inertial measurement unit， GPS and other sensors was designed， and an improved visual positioning scheme was introduced by using the ArUco marker road sign detection. For the object perception， taking the task of meter information extraction as an example， the deep learning based meter detection， localization and text recognition methods were adopted. The results show that， by incorporating the 5G mobile communication and Wi-Fi network communication functions， an intelligent inspection robot system with network management platform is implemented. The developed inspection robot system has met the requirements in practical applications， which effectively enhances the automation and intelligence level of inspection.

Keywords： inspection robot; mobile positioning; object perception; deep learning; text recognition

由于石油化工領(lǐng)域的生產(chǎn)場(chǎng)所和設(shè)備裝置存在可燃?xì)怏w和有毒氣體泄漏風(fēng)險(xiǎn)，通常以人工巡檢的方式對(duì)設(shè)備運(yùn)行狀態(tài)進(jìn)行監(jiān)測(cè)［1］，需要較多人力投入，也對(duì)人身安全帶來(lái)潛在威脅。近年來(lái)，隨著石油化工行業(yè)安全環(huán)保要求的不斷提高，并且人工成本日益增加，實(shí)現(xiàn)生產(chǎn)場(chǎng)所的智能化［2］、無(wú)人化管理成為趨勢(shì)。在石油化工行業(yè)中，一些機(jī)械式機(jī)器人已得到應(yīng)用［3-5］。通過(guò)研發(fā)并使用地面智能巡檢機(jī)器人替代人工，可以有效提升工作效率，消除安全隱患［6］。地面智能巡檢機(jī)器人與固定攝像頭監(jiān)控相比，具有靈活自主的特點(diǎn)。由于實(shí)際廠站環(huán)境復(fù)雜多樣，巡檢任務(wù)要求各異，研制巡檢機(jī)器人面臨兩大技術(shù)難題：移動(dòng)定位與目標(biāo)感知。在移動(dòng)定位方面，傳統(tǒng)的即時(shí)定位與成圖SLAM （simultaneous localization and mapping） 技術(shù)所使用的傳感器主要包括激光雷達(dá)和攝像頭［7］。為克服特定傳感器本身的局限性，需要設(shè)計(jì)基于多傳感器融合的移動(dòng)定位技術(shù)方案。在目標(biāo)感知方面，對(duì)于常規(guī)的抄表作業(yè)等巡檢任務(wù)，巡檢機(jī)器人不僅需要具備目標(biāo)檢測(cè)、定位與分析功能，還需要進(jìn)行異常告警處理。筆者對(duì)巡檢機(jī)器人系統(tǒng)進(jìn)行軟硬件協(xié)同設(shè)計(jì)，以目標(biāo)感知中的表計(jì)信息提取任務(wù)為例，針對(duì)傳統(tǒng)方法［8］易受環(huán)境變化影響問(wèn)題，設(shè)計(jì)一種基于深度學(xué)習(xí)的表計(jì)檢測(cè)、定位與文本識(shí)別方法，可支持機(jī)械式表計(jì)和電子式表計(jì)的示數(shù)讀取。

1 移動(dòng)定位方法

1.1 基于多傳感器的移動(dòng)定位

在巡檢機(jī)器人硬件配置方面，采用多種可提供位置或者運(yùn)動(dòng)相關(guān)信息的傳感器模塊，包括感知機(jī)器人線加速度、角速度和三軸姿態(tài)角的慣性測(cè)量單元IMU、提供機(jī)器人周圍空間深度信息的激光雷達(dá)LiDAR、用于檢測(cè)機(jī)器人周圍環(huán)境特征點(diǎn)的單目攝像頭、紅外熱成像傳感器［9］以及北斗衛(wèi)星定位GPS等傳感器。多傳感器融合的移動(dòng)定位方法流程如圖1所示，主要包括慣性測(cè)量單元、視覺(jué)定位組件、激光雷達(dá)定位組件和因子圖等。

慣性測(cè)量單元IMU對(duì)檢測(cè)到的車體線加速度和角速度進(jìn)行預(yù)積分［10］，預(yù)積分模塊實(shí)時(shí)輸出的位移信息分別輸入到激光雷達(dá)定位模塊與單目視覺(jué)定位模塊。IMU位姿變換信息可以用于消除因車體運(yùn)動(dòng)產(chǎn)生的點(diǎn)云數(shù)據(jù)幀內(nèi)畸變現(xiàn)象，并且可以用于輔助視覺(jué)定位模塊恢復(fù)車體運(yùn)動(dòng)位移尺度信息以及圖像特征點(diǎn)的深度信息。由于單目攝像頭不能獲取三維空間中特征點(diǎn)與車體之間的距離，估算出來(lái)的位移可能與車體真實(shí)位移存在多種比例關(guān)系。因此可以使用IMU預(yù)積分的位移信息來(lái)恢復(fù)單目視覺(jué)定位數(shù)據(jù)與真實(shí)世界之間的比例以及圖像特征點(diǎn)在三維空間中的位置。

視覺(jué)定位組件分為4部分，包括視覺(jué)特征提取、深度關(guān)聯(lián)、視覺(jué)里程計(jì)和視覺(jué)回環(huán)模塊。其中深度關(guān)聯(lián)模塊的作用是獲取二維視覺(jué)特征點(diǎn)在三維空間下的深度信息，具體方法是將激光雷達(dá)坐標(biāo)系下的點(diǎn)云數(shù)據(jù)變換到以相機(jī)為中心的極坐標(biāo)系下，同時(shí)歸一化后的視覺(jué)特征點(diǎn)也映射到該極坐標(biāo)系下，通過(guò)在極坐標(biāo)系下搜索距離視覺(jué)特征點(diǎn)最近的3個(gè)激光雷達(dá)數(shù)據(jù)點(diǎn)構(gòu)成平面，視覺(jué)特征點(diǎn)和相機(jī)光心構(gòu)成的直線與鄰近的3個(gè)激光雷達(dá)數(shù)據(jù)點(diǎn)構(gòu)成的平面相交，交點(diǎn)即為視覺(jué)特征點(diǎn)對(duì)應(yīng)的三維空間映射點(diǎn)。根據(jù)視覺(jué)特征點(diǎn)對(duì)應(yīng)的三維空間映射點(diǎn)與歸一化的視覺(jué)特征點(diǎn)之間的比例關(guān)系，可以得到視覺(jué)特征點(diǎn)的深度信息。視覺(jué)里程計(jì)模塊中，選取視覺(jué)關(guān)鍵幀，利用關(guān)鍵幀中的特征點(diǎn)、關(guān)鍵幀對(duì)應(yīng)的相機(jī)位姿與IMU預(yù)積分的位移信息計(jì)算對(duì)應(yīng)幀的重投影誤差，

通過(guò)非線性優(yōu)化求解得到車體的位姿信息，包括三維空間位置信息和旋轉(zhuǎn)角度。視覺(jué)回環(huán)模塊通過(guò)視覺(jué)詞袋模型計(jì)算當(dāng)前關(guān)鍵幀與歷史關(guān)鍵幀的相似度，檢測(cè)車體是否回到了以前到達(dá)過(guò)的位置。

激光雷達(dá)定位組件分為4部分，包括去畸變、點(diǎn)云特征提取、激光雷達(dá)里程計(jì)和激光雷達(dá)回環(huán)模塊。其中點(diǎn)云特征提取模塊通過(guò)計(jì)算數(shù)據(jù)點(diǎn)的曲率，將其分為角特征點(diǎn)和面特征點(diǎn)。利用視覺(jué)定位模塊提供的位姿初值，激光雷達(dá)里程計(jì)模塊中將當(dāng)前時(shí)刻激光雷達(dá)特征點(diǎn)與上一時(shí)刻的激光雷達(dá)特征點(diǎn)進(jìn)行匹配對(duì)齊，當(dāng)兩幀數(shù)據(jù)特征點(diǎn)之間距離小于閾值時(shí)，更新當(dāng)前車體位姿，輸出激光雷達(dá)里程計(jì)信息，包括車體三維空間位置信息和旋轉(zhuǎn)角度信息。激光雷達(dá)回環(huán)模塊通過(guò)計(jì)算當(dāng)前幀點(diǎn)云與歷史關(guān)鍵幀點(diǎn)云的匹配程度，進(jìn)行回環(huán)檢測(cè)。

基于單一傳感器定位得到的里程計(jì)信息存在累積誤差，需要利用概率圖模型方法進(jìn)行整體優(yōu)化。因子圖［11］ （factor graph）是一種用于SLAM的概率圖模型。將激光雷達(dá)里程計(jì)信息、激光雷達(dá)回環(huán)信息、用于輔助視覺(jué)定位二維碼路標(biāo)信息及北斗衛(wèi)星定位（GPS）信息等輸入到因子圖中，因子圖使用ISAM2［12］（incremental smoothing and mapping，增量平滑與建圖）算法修正定位累積誤差，更新車體位姿和地圖信息。最后，修正后的車體位姿反饋到IMU預(yù)積分模塊，更新IMU的偏置（bias），用于下一時(shí)刻的預(yù)積分。

1.2 基于二維碼路標(biāo)檢測(cè)的單目視覺(jué)定位

為提高定位精度采用在巡檢環(huán)境中部署ArUco二維碼路標(biāo)用于輔助視覺(jué)定位。所采用的ArUco二維碼路標(biāo)實(shí)際尺寸為10 cm×10 cm。其中5 cm×5 cm的點(diǎn)陣塊對(duì)應(yīng)唯一的路標(biāo)編號(hào)，四周有一圈黑色點(diǎn)陣塊，有助于改進(jìn)二維碼的可辨識(shí)度。利用單目攝像頭獲取圖像，提取二維碼路標(biāo)角點(diǎn)，采用相機(jī)校準(zhǔn)中常用的PNP （perspective-N-point）算法可求解得到單目攝像頭的位姿信息，輸入到因子圖中，用于輔助定位。

2 表計(jì)信息提取方法

以巡檢中的抄表作業(yè)為例，說(shuō)明目標(biāo)感知技術(shù)方案設(shè)計(jì)過(guò)程。巡檢環(huán)境中的設(shè)備一般既有機(jī)械式表計(jì)也有電子式表計(jì)，電子式表計(jì)數(shù)據(jù)可以聯(lián)網(wǎng)回傳。巡檢機(jī)器人在替代人工抄表作業(yè)時(shí)，通過(guò)自主導(dǎo)航到達(dá)表計(jì)位置附近，利用云臺(tái)上搭載的用于視覺(jué)目標(biāo)感知的攝像頭獲取圖像。在圖像中首先進(jìn)行目標(biāo)檢測(cè)及圖像預(yù)處理，然后利用語(yǔ)義分割算法提取指針和刻度線，再結(jié)合文本檢測(cè)與識(shí)別結(jié)果得到表計(jì)示數(shù)，如圖2所示。

2.1 表計(jì)檢測(cè)與表盤(pán)圖像語(yǔ)義分割

對(duì)于表計(jì)檢測(cè)，可采用基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法，采用YOLO［13］系列算法中的YOLOv5作為表計(jì)檢測(cè)網(wǎng)絡(luò)。對(duì)檢測(cè)到的指針式表盤(pán)區(qū)域進(jìn)行圖像預(yù)處理，包括均值濾波、顏色校正以及基于自適應(yīng)直方圖均衡的圖像增強(qiáng)，消除圖像中的噪聲干擾以及光照變化的影響。

基于深度學(xué)習(xí)的指針提取，一般利用U-Net、Deeplab等圖像分割算法，通過(guò)先驗(yàn)信息獲取表計(jì)讀數(shù)［14］。本文中采用基于U-Net的指針提取方法。

對(duì)于常見(jiàn)的指針式表計(jì)，刻度線通常處于數(shù)字區(qū)域與回轉(zhuǎn)中心組成的扇形區(qū)域外部的附近扇環(huán)形區(qū)域中，且每個(gè)刻度數(shù)字均對(duì)應(yīng)一條主刻度線。將該扇環(huán)區(qū)域的坐標(biāo)由以回轉(zhuǎn)中心為原點(diǎn)的笛卡爾坐標(biāo)系轉(zhuǎn)換到極坐標(biāo)系，然后使用卷積神經(jīng)網(wǎng)絡(luò) （convolutional neural network， CNN）模型對(duì)刻度線進(jìn)行定位。通過(guò)分析表盤(pán)上的刻度線樣式，設(shè)計(jì)如圖3所示的10層卷積神經(jīng)網(wǎng)絡(luò)用于定位主刻度線。

該網(wǎng)絡(luò)主要由卷積核長(zhǎng)寬尺寸為3×3像素的卷積層組成，卷積層的特征圖進(jìn)行實(shí)例歸一化（instance normalization， IN）后，送入ReLU激活函數(shù)。網(wǎng)絡(luò)輸入層通道數(shù)為16，之后每?jī)蓚€(gè)卷積層進(jìn)行一次最大池化，通道數(shù)增加一倍，最后一次池化后，增加了一層256通道的卷積層。輸出層采用卷積核長(zhǎng)寬尺寸為1×1像素的8通道卷積層進(jìn)行降維輸出。

提取主刻度線后，依據(jù)表計(jì)的回轉(zhuǎn)中心可以確定主刻度線對(duì)應(yīng)刻度示數(shù)的角度，通過(guò)利用指針附近刻度示數(shù)及對(duì)應(yīng)角度，可計(jì)算出指針表示數(shù)值。通過(guò)利用文本識(shí)別獲得的物理單位信息還可確定表計(jì)讀數(shù)的物理意義。

2.2 表計(jì)文本識(shí)別

采用深度學(xué)習(xí)模型對(duì)表計(jì)圖像中的文本進(jìn)行檢測(cè)與識(shí)別。文本檢測(cè)采用基于分割的DBNet網(wǎng)絡(luò)［15］。文本識(shí)別常用模型包括基于CNN-LSTM-CTC的結(jié)構(gòu)［16］和基于注意力機(jī)制的編碼器與解碼器結(jié)構(gòu)。通過(guò)分析表計(jì)文本的特點(diǎn)，設(shè)計(jì)了一種基于注意力機(jī)制的編碼器與解碼器結(jié)構(gòu)的文本識(shí)別模型，如圖4所示。

輸入圖像后，首先對(duì)圖像進(jìn)行大小歸一化，例如圖像歸一化寬度為512像素、高度為64像素。歸一化圖像送入卷積神經(jīng)網(wǎng)絡(luò)ResNet，得到特征圖，特征圖送入編碼器得到隱含表示v。在解碼器中，利用當(dāng)前解碼時(shí)間步（time step）t對(duì)應(yīng)字符的嵌入表征與編碼器輸出的隱含表示計(jì)算注意力系數(shù)α（t），其中，字符嵌入表征在訓(xùn)練階段采用文本真值進(jìn)行計(jì)算，在推理階段采用解碼器預(yù)測(cè)文本進(jìn)行計(jì)算。利用注意力系數(shù)對(duì)編碼器輸出的隱含表示進(jìn)行加權(quán)求和，得到上下文向量Ct。將上下文向量Ct送入解碼器進(jìn)行自回歸解碼，得到輸出的預(yù)測(cè)文本。編碼器與解碼器均采用長(zhǎng)短時(shí)記憶（long short-term memory， LSTM）網(wǎng)絡(luò)［17-18］，網(wǎng)絡(luò)結(jié)構(gòu)為兩層雙向網(wǎng)絡(luò)，每層單向LSTM單元個(gè)數(shù)為256。

3 系統(tǒng)架構(gòu)

基于移動(dòng)定位和目標(biāo)感知方法，設(shè)計(jì)的輪式智能巡檢機(jī)器人系統(tǒng)架構(gòu)主要包含智能巡檢機(jī)器人終端、邊緣計(jì)算節(jié)點(diǎn)、管理平臺(tái)3部分，如圖5所示。智能巡檢機(jī)器人進(jìn)行巡檢工作時(shí)基于自身構(gòu)建的地圖進(jìn)行自主導(dǎo)航定位，在巡檢區(qū)域內(nèi)進(jìn)行巡檢作業(yè)。巡檢過(guò)程中涉及實(shí)時(shí)處理的智能識(shí)別任務(wù)通過(guò)機(jī)器人自身邊緣計(jì)算模塊實(shí)現(xiàn)，部分計(jì)算量較大的智能識(shí)別功能由邊緣計(jì)算節(jié)點(diǎn)實(shí)現(xiàn)。巡檢過(guò)程中的相關(guān)數(shù)據(jù)如視頻流、傳感器狀態(tài)、巡檢情況可通過(guò)現(xiàn)場(chǎng)無(wú)線網(wǎng)絡(luò)如5G或Wi-Fi回傳至機(jī)器人管理平臺(tái)。值班人員可通過(guò)網(wǎng)絡(luò)訪問(wèn)機(jī)器人管理平臺(tái)進(jìn)行場(chǎng)站監(jiān)控和管理。巡檢機(jī)器人具有離線檢測(cè)和聯(lián)網(wǎng)續(xù)傳功能，出現(xiàn)網(wǎng)絡(luò)故障等異常情況時(shí)將報(bào)警并切換到人工操作。

巡檢機(jī)器人軟件方面使用Linux操作系統(tǒng)，軟件開(kāi)發(fā)基于ROS（robot operating system）。系統(tǒng)主要包括硬件層、算法層以及應(yīng)用層。硬件層中硬件驅(qū)動(dòng)包括各個(gè)外設(shè)如激光雷達(dá)、慣性測(cè)量單元、GPS等模塊的相關(guān)驅(qū)動(dòng)。機(jī)器人通過(guò)驅(qū)動(dòng)獲取傳感器數(shù)據(jù)后進(jìn)行數(shù)據(jù)時(shí)間對(duì)齊處理，保證數(shù)據(jù)的時(shí)間一致性。算法層主要包含移動(dòng)定位與目標(biāo)感知算法，也包含路徑規(guī)劃、避障、運(yùn)動(dòng)控制等輔助算法。應(yīng)用層實(shí)現(xiàn)機(jī)器人的業(yè)務(wù)邏輯，如自主導(dǎo)航定位、執(zhí)行巡檢任務(wù)、智能分析設(shè)備狀態(tài)、數(shù)據(jù)匯總與上報(bào)、告警管理等。

4 試驗(yàn)結(jié)果

4.1 定位試驗(yàn)結(jié)果

為了驗(yàn)證機(jī)器人在地圖上的定位精度，在如圖6（a）所示室內(nèi)地圖上選取了10個(gè)測(cè)量點(diǎn)，測(cè)量機(jī)器人沿不同方向到達(dá)測(cè)試位置后的位姿。圖中黃色圓點(diǎn)為測(cè)量點(diǎn)，紅色圓點(diǎn)為二維碼路標(biāo)。

每個(gè)測(cè)量點(diǎn)測(cè)30次，計(jì)算位姿平均值與標(biāo)準(zhǔn)差如表1所示。其中機(jī)器人本體的三維空間位置為x、 y和z，姿態(tài)為三維空間旋轉(zhuǎn)角，包括橫滾角αroll、俯仰角αpitch、偏航角αyaw。試驗(yàn)數(shù)據(jù)表明，室內(nèi)定位誤差約為2 cm，角度誤差約為1°。

為便于分析不同傳感器定位效果，手動(dòng)控制機(jī)器人在環(huán)境中行走，創(chuàng)建環(huán)境地圖。提取建圖過(guò)程中計(jì)算出的機(jī)器人軌跡進(jìn)行分析。

圖6（b）為融合激光雷達(dá)點(diǎn)云與未融合激光雷達(dá)點(diǎn)云的視覺(jué)里程計(jì)軌跡對(duì)比，其中“cam_with_lidar（有激光雷達(dá)）”是融合了激光雷達(dá)點(diǎn)云數(shù)據(jù)，視覺(jué)特征點(diǎn)與激光雷達(dá)點(diǎn)云進(jìn)行過(guò)深度關(guān)聯(lián)的機(jī)器人視覺(jué)里程計(jì)軌跡，“cam_no_lidar（無(wú)激光雷達(dá)）”是未融合激光雷達(dá)的機(jī)器人視覺(jué)里程計(jì)軌跡?？梢钥闯?，未融合激光雷達(dá)點(diǎn)云深度信息的視覺(jué)里程計(jì)誤差較大，而融合激光雷達(dá)點(diǎn)云深度的視覺(jué)里程計(jì)在機(jī)器人回到原點(diǎn)附近時(shí)，可基本實(shí)現(xiàn)閉環(huán)，誤差較小。

巡檢機(jī)器人的多傳感器融合定位軌跡如圖6（c）所示，“l(fā)idar_with_cam（有視覺(jué)定位）”是融合視覺(jué)里程計(jì)之后的激光雷達(dá)里程計(jì)軌跡，“l(fā)idar_no_cam（無(wú)視覺(jué)定位）”是未融合視覺(jué)里程計(jì)的激光雷達(dá)里程計(jì)軌跡，“pose_after_loop（閉環(huán)軌跡）”是經(jīng)過(guò)因子圖優(yōu)化后的閉環(huán)軌跡，它更加接近真值。主圖是整個(gè)軌跡，子圖是整個(gè)軌跡的局部放大，可以看出，融合視覺(jué)里程計(jì)之后的激光雷達(dá)里程計(jì)軌跡更加平滑，經(jīng)過(guò)因子圖優(yōu)化后的閉環(huán)軌跡進(jìn)一步消除了噪聲。

4.2 表計(jì)信息提取試驗(yàn)結(jié)果

表計(jì)信息提取算法開(kāi)發(fā)軟件環(huán)境所用計(jì)算機(jī)操作系統(tǒng)為Ubuntu 20.04，深度學(xué)習(xí)工具軟件為PyTorch，使用4塊Nvidia TITAN X顯卡進(jìn)行模型訓(xùn)練所需的并行計(jì)算。

為完成表計(jì)檢測(cè)、表計(jì)示數(shù)分析和表計(jì)上的中英文文本識(shí)別任務(wù)，需要采集真實(shí)數(shù)據(jù)。數(shù)據(jù)來(lái)源包括在多個(gè)天然氣場(chǎng)站和化工廠等場(chǎng)所采集的溫度表、壓力表、壓差表等常見(jiàn)指針式表計(jì)及電子式表計(jì)。表計(jì)目標(biāo)檢測(cè)使用的數(shù)據(jù)集圖像總計(jì)10366張，其中訓(xùn)練集9366張，驗(yàn)證集1000張，測(cè)試集1000張；指針檢測(cè)數(shù)據(jù)集圖像共有3572張，其中訓(xùn)練集3372張，驗(yàn)證集100張，測(cè)試集100張。

對(duì)于表計(jì)上的中英文文本識(shí)別任務(wù)，還采用了公開(kāi)數(shù)據(jù)集和合成數(shù)據(jù)補(bǔ)充訓(xùn)練集樣本。所采用兩個(gè)常用的公開(kāi)數(shù)據(jù)集為ICDAR MLT 2019數(shù)據(jù)集和RCTW數(shù)據(jù)集。具體數(shù)據(jù)集信息如表2所示。

在表計(jì)檢測(cè)任務(wù)上，對(duì)比YOLOv5模型、YOLOv3和Faster-RCNN，YOLOv5模型的檢測(cè)準(zhǔn)確率最優(yōu)達(dá)到98.8%，YOLOv3與Faster-RCNN檢測(cè)準(zhǔn)確率分別為97.7%和98.0%。在不同光照、視角和背景條件下，采用YOLOv5模型的表計(jì)檢測(cè)結(jié)果如圖7（a）所示。對(duì)于圖片模糊、背光等情形，容易出現(xiàn)漏檢。

在指針提取任務(wù)上，采用U-Net網(wǎng)絡(luò)的試驗(yàn)結(jié)果如圖7（b）所示。該方法能夠準(zhǔn)確定位指針，在出現(xiàn)雙指針或者紅色警示條、表盤(pán)被遮擋等情況下，也能較好地完成指針提取。

在文本識(shí)別任務(wù)上，首先采用合成樣本和公開(kāi)數(shù)據(jù)集樣本進(jìn)行模型預(yù)訓(xùn)練，然后加入部分真實(shí)樣本進(jìn)行模型參數(shù)細(xì)調(diào)訓(xùn)練，對(duì)真實(shí)樣本采用多種數(shù)據(jù)增強(qiáng)方法，包括旋轉(zhuǎn)、剪裁、添加噪聲等。訓(xùn)練完成后模型在測(cè)試集上平均字符識(shí)別率為94%。識(shí)別每張圖像的平均時(shí)間為0.02 s。

圖8列出了機(jī)械式表計(jì)文本識(shí)別結(jié)果示例，紅色字體表示識(shí)別結(jié)果有誤。對(duì)于圖8（a）和（b）中字跡較為清晰的圖像，識(shí)別正確率較高。對(duì)于文字帶邊框的情形，如圖8（b）中的“1.6”， 識(shí)別結(jié)果有誤，后續(xù)可在訓(xùn)練集中添加類似的帶邊框的數(shù)字樣本加以改進(jìn)。對(duì)于圖8（c）中比較模糊的圖像，識(shí)別性能也有所下降。

在完成指針提取和文本識(shí)別后，采用CNN模型對(duì)刻度線進(jìn)行定位，如圖7（c）所示。通過(guò)進(jìn)一步與文本識(shí)別結(jié)果進(jìn)行匹配，能夠確定每個(gè)主刻度線對(duì)應(yīng)的示數(shù)，從而根據(jù)指針角度確定表計(jì)最終示數(shù)。若示數(shù)超出預(yù)設(shè)閾值，則進(jìn)行告警處理。

4.3 實(shí)際系統(tǒng)部署與測(cè)試

輪式巡檢機(jī)器人系統(tǒng)配置如圖9所示。系統(tǒng)采用四輪差動(dòng)轉(zhuǎn)向底盤(pán)。主機(jī)采用 Intel i7雙核1.7 GHz CPU，16GB 內(nèi)存，32 GB eMMC 閃存和256G SSD硬盤(pán)，并采用Nvidia GeForce GTX 1060顯卡或NVIDIA Jetson AGX Xavier等模塊用于并行計(jì)算。云臺(tái)配備可見(jiàn)光攝像頭（圖像分辨率為1920×1080）和熱成像攝像頭，可見(jiàn)光攝像頭用于視覺(jué)目標(biāo)檢測(cè)與識(shí)別，熱成像攝像頭用于測(cè)溫。慣性測(cè)量單元（IMU）采用三馳（SC-AHRS-100D4）型號(hào)，激光雷達(dá)采用速騰聚創(chuàng)150 m16線型號(hào)。用于視覺(jué)定位的單目攝像頭采用?？礛V-CA020-10GC型號(hào)的 200萬(wàn)像素4 mm鏡頭。巡檢機(jī)器人可選配氣體檢測(cè)傳感器（氧氣、硫化氫、氨氣、一氧化碳等）。移動(dòng)通信模塊采用四信5G工業(yè)路由器。巡檢機(jī)器人具有自動(dòng)充電功能，可在巡檢環(huán)境中部署充電樁。另外巡檢機(jī)器人具有防爆功能（防爆等級(jí)：Ex d e mb IIB T4 Gb）。

采用本文技術(shù)方案的巡檢機(jī)器人系統(tǒng)已經(jīng)在多個(gè)天然氣場(chǎng)站、化工廠以及油田進(jìn)行現(xiàn)場(chǎng)運(yùn)行，執(zhí)行抄表、氣體泄露檢測(cè)等多種任務(wù)，如圖9所示。

巡檢機(jī)器人對(duì)某場(chǎng)站調(diào)壓計(jì)量撬上多個(gè)壓力表進(jìn)行信息提取的實(shí)測(cè)結(jié)果如表3所示?！皦毫?shí)際值”為值班人員核驗(yàn)得到的現(xiàn)場(chǎng)表計(jì)真實(shí)示數(shù)，“壓力讀表值”為機(jī)器人自動(dòng)提取的表計(jì)讀數(shù)，將二者之差的絕對(duì)值除以量程，得到誤差。表3中相對(duì)誤差的平均值約為1%。

5 結(jié) 論

（1）為巡檢機(jī)器人的移動(dòng)定位和目標(biāo)感知提供了軟硬件協(xié)同的技術(shù)解決方案；采用包括激光雷達(dá)、單目攝像頭、慣性測(cè)量單元等傳感器實(shí)現(xiàn)移動(dòng)定位，并引入二維碼路標(biāo)輔助視覺(jué)定位進(jìn)一步消除定位累積誤差，通過(guò)引入基于深度學(xué)習(xí)的表計(jì)信息提取等方法，實(shí)現(xiàn)目標(biāo)感知與分析，新技術(shù)方案經(jīng)測(cè)試達(dá)到實(shí)際使用要求。

（2）所研發(fā)的巡檢機(jī)器人可有效替代人工進(jìn)行智能巡檢，設(shè)計(jì)一種基于深度學(xué)習(xí)的表計(jì)檢測(cè)、定位與文本識(shí)別方法，可支持機(jī)械式表計(jì)和電子式表計(jì)的示數(shù)讀?。煌ㄟ^(guò)引入5G移動(dòng)通信及Wi-Fi的網(wǎng)絡(luò)通信功能，實(shí)現(xiàn)了具有網(wǎng)絡(luò)管理平臺(tái)的輪式巡檢機(jī)器人系統(tǒng)；系統(tǒng)通過(guò)多種傳感器獲取信息，可以完成室內(nèi)及室外自主導(dǎo)航、設(shè)備巡檢等多種任務(wù)，并可根據(jù)需要搭載氣體泄露檢測(cè)儀等裝置，對(duì)異常進(jìn)行告警處理。

參考文獻(xiàn)：

［1］ STEELE J P， HAN Q， KARKI H， et al. Development of an oil and gas refinery inspection robot［R］. V04AT04A016，2014.

［2］ 何玉榮，宋志超，張燕明，等.機(jī)器學(xué)習(xí)在水力壓裂作業(yè)中的應(yīng)用綜述［J］.中國(guó)石油大學(xué)學(xué)報(bào)（自然科學(xué)版），2021，45（6）：127-135.

HE Yurong， SONG Zhichao， ZHANG Yanming， et al. Review on application of machine learning in hydraulic fracturing ［J］. Journal of China University of Petroleum （Edition of Natural Science）， 2021，45（6）：127-135.

［3］ 趙軍友，張亞寧，畢曉東，等.噴砂除銹爬壁機(jī)器人磁吸附結(jié)構(gòu)優(yōu)化設(shè)計(jì)及整機(jī)性能試驗(yàn)［J］.中國(guó)石油大學(xué)學(xué)報(bào)（自然科學(xué)版），2020，44（4）：94-99.

ZHAO Junyou， ZHANG Yaning， BI Xiaodong， et al. Optimum design of magnetic adsorption structure and machine performance test for sand blasting and rust-removing wall-climbing robot［J］. Journal of China University of Petroleum（Edition of Natural Science）， 2020，44（4）：94-99.

［4］ 鄭杰，尚祖躍，竇益華，等.模塊化同步自主變徑輸氣管道機(jī)器人的研究設(shè)計(jì)［J］.石油機(jī)械，2023，51（11）：154-162.

ZHENG Jie， SHANG Zuyue， DOU Yihua， et al. R&D for modular synchronous autonomous variable diameter gas pipeline robot ［J］.China Petroleum Machinery，2023，51（11）：154-162.

［5］ 丁建新，李雪松，宋先知，等.水平井鉆井提速-減阻-清屑多目標(biāo)協(xié)同優(yōu)化方法［J］.石油機(jī)械，2023，51（11）：1-10.

DING Jianxin， LI Xuesong， SONG Xianzhi， et al. Multi-objective collaborative optimization method for ROP improvement，drag reduction and hole cleaning in horizontal well drilling［J］.China Petroleum Machinery，2023，51（11）：1-10.

［6］ 劉標(biāo).防爆巡檢機(jī)器人在天然氣分輸站的應(yīng)用［J］.化工管理，2021，28（21）：196-198.

LIU Biao. Application of explosion proof inspection robot in natural gas distribution station［J］. Chemical Enterprise Management， 2021，28（21）：196-198.

［7］ CADENA C， CARLONE L， CARRILLO H， et al. Past， present， and future of simultaneous localization and mapping： toward the robust-perception age［J］. IEEE Transactions on Robotics， 2016，32（6）：1309-1332.

［8］ 康磊，鄭豪威.基于機(jī)器視覺(jué)的指針式儀表自動(dòng)識(shí)別算法研究［J］.石油工業(yè)技術(shù)監(jiān)督，2022，38（3）：20-23.

KANG Lei， ZHENG Haowei. Research on automatic recognition algorithm of pointer instrument based on machine vision［J］. Technology Supervision in Petroleum Industry， 2022，38（3）：20-23.

［9］ 劉慧舟，胡瑾秋，張來(lái)斌，等.基于紅外熱成像與CNN的壓裂裝備故障精準(zhǔn)識(shí)別及預(yù)警［J］.中國(guó)石油大學(xué)學(xué)報(bào)（自然科學(xué)版），2021，45（1）：158-166.

LIU Huizhou， HU Jinqiu， ZHANG Laibin， et al. Accurate identification and early-warning of faults of fracturing equipments based on infrared thermal imaging and convolutional neural network ［J］. Journal of China University of Petroleum （Edition of Natural Science）， 2021，45（1）：158-166.

［10］ QIN T， LI P， SHEN S. VINS-Mono： a robust and versatile monocular visual-inertial state estimator［J］. IEEE Transactions on Robotics， 2018，34（4）：1004-1020.

［11］ SHAN T， ENGLOT B， MEYERS D， et al. LIO-SAM： tightly-coupled lidar inertial odometry via smoothing and mapping：IEEE/RSJ International Conference on Intelligent Robots and Systems［C］. Vilamoura-Algarve， Portugal： IEEE， 2020：5135-5142.

［12］ KAESS M， JOHANNSSON H， ROBERTS R， et al. iSAM2： incremental smoothing and mapping using the Bayes tree［J］. The International Journal of Robotics Research， 2012，31（2）：216-235.

［13］ REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once： unified， real-time object detection： Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition［C］. ?Las Vegas： NV， ?2016：779-788.

［14］ ZHOU D， YANG Y， ZHU J， et al. Intelligent reading recognition method of a pointer meter based on deep learning in a real environment［J］. Measurement Science and Technology， 2022，33（5）：055021.

［15］ LIAO M， WAN Z， YAO C， et al. Real-time scene text detection with differentiable binarization［J］. AAAI Conference on Artificial Intelligence， 2020，34（7）：11474-11481.

［16］ GRAVES A， FERNNDEZ S， GOMEZ F， et al. Connectionist temporal classification： labelling unsegmented sequence data with recurrent neural networks： International Conference on Machine Learning［C］. ?Pittsburgh， Pennsylvania： ACM， 2006：369-376.

［17］ 王金龍，李凡鵬，胡鵬基，等.基于深度學(xué)習(xí)的水下井口彎曲應(yīng)力預(yù)測(cè)方法［J］.石油機(jī)械，2023，51（8）：64-72.

WANG Jinlong， LI Fanpeng， HU Pengji， et al. A method for predicting bending stress of subsea wellhead based on deep learning［J］.China Petroleum Machinery，2023，51（8）：64-72.

（編輯 沈玉英）

基金項(xiàng)目：國(guó)家自然科學(xué)基金項(xiàng)目（U1636124）

第一作者：畢逢?yáng)|（1971-），男，高級(jí)工程師，碩士，研究方向?yàn)槌擎?zhèn)燃?xì)庵悄芑芾淼?。E-mail： bifengdong@petrochina.com.cn。

通信作者：彭良瑞（1972-），女，副研究員，博士，博士生導(dǎo)師，研究方向?yàn)橹悄軋D文信息處理等。E-mail： penglr@tsinghua.edu.cn。

引用格式：畢逢?yáng)|，周淦，張晨光，等.巡檢機(jī)器人系統(tǒng)的軟硬件協(xié)同設(shè)計(jì)［J］.中國(guó)石油大學(xué)學(xué)報(bào)（自然科學(xué)版），2024，48（3）：180-187.

BI Fengdong， ZHOU Gan， ZHANG Chenguang， et al. Hardware-software co-design of inspection robot system［J］. Journal of China University of Petroleum （Edition of Natural Science），2024，48（3）：180-187.