基于視覺(jué)掃描生成巡檢任務(wù)的機(jī)器人巡檢方法

孟浩，安福旺，吉力特

(內(nèi)蒙古京能盛樂(lè)熱電有限公司，內(nèi)蒙古呼和浩特 011518)

0 前言

智能巡檢機(jī)器人改變了電力、石化、交通、隧道、冶金、煤礦等領(lǐng)域的傳統(tǒng)運(yùn)維與巡檢方式，已經(jīng)在配電站、變電站、管廊、交隧、冶金焦?fàn)t、油氣化工、礦山地下變電所、巷道場(chǎng)景、廠用電氣、風(fēng)電機(jī)艙等場(chǎng)景取得了廣泛的應(yīng)用。

巡檢機(jī)器人在大型機(jī)械設(shè)備的運(yùn)行現(xiàn)場(chǎng)，比如軌交車(chē)輛、礦用或者碼頭皮帶輸送機(jī)等得到了日益普及的應(yīng)用，以保障機(jī)械設(shè)備的安全可靠運(yùn)行。

科技部“關(guān)于加快場(chǎng)景創(chuàng)新以人工智能高水平應(yīng)用促進(jìn)經(jīng)濟(jì)高質(zhì)量發(fā)展的指導(dǎo)意見(jiàn)”，為巡檢機(jī)器人的深入、廣泛應(yīng)用創(chuàng)造了廣闊的前景，不斷涌現(xiàn)的應(yīng)用場(chǎng)景，將巡檢機(jī)器人由研究應(yīng)用迅速轉(zhuǎn)入產(chǎn)業(yè)化、規(guī)?；?，市場(chǎng)容量達(dá)到上千億規(guī)模，極大地提升各個(gè)行業(yè)的智能化、數(shù)智化水平。

與此同時(shí)，目前工業(yè)場(chǎng)景巡檢機(jī)器人的巡檢點(diǎn)設(shè)置是人員手動(dòng)設(shè)置的?？紤]到工業(yè)現(xiàn)場(chǎng)的復(fù)雜環(huán)境下，通常巡檢點(diǎn)的數(shù)量龐大，設(shè)置巡檢點(diǎn)的任務(wù)耗費(fèi)大量人力和時(shí)間，且一旦巡檢點(diǎn)的設(shè)備改變，還得人工增加或刪除巡檢點(diǎn)。典型情況下，一臺(tái)巡檢機(jī)器人的巡檢點(diǎn)數(shù)量從幾十個(gè)到上百個(gè)。一個(gè)項(xiàng)目多臺(tái)機(jī)器人的巡檢點(diǎn)數(shù)量從上百個(gè)到上千個(gè)。手工方式設(shè)置巡檢點(diǎn)已經(jīng)成為規(guī)模應(yīng)用的一個(gè)瓶頸，降低了勞動(dòng)效率，且也有違于自動(dòng)巡檢機(jī)器人的初衷。

本文作者提出基于自動(dòng)視覺(jué)掃描生成巡檢任務(wù)的機(jī)器人巡檢方法，利用機(jī)器人掃描環(huán)境的視頻流，將所有圖片送入到Y(jié)OLOv4目標(biāo)檢測(cè)網(wǎng)絡(luò)進(jìn)行解析和篩選，并運(yùn)用SIFT匹配方式去掉重復(fù)目標(biāo)，可以自動(dòng)生成復(fù)雜現(xiàn)場(chǎng)設(shè)備的巡檢點(diǎn)。在隧道電纜的機(jī)器人巡檢項(xiàng)目中應(yīng)用，相比于人工設(shè)置方式，提高效率90%。

1 系統(tǒng)架構(gòu)與方案

1.1 管廊巡檢機(jī)器人簡(jiǎn)介

管廊巡檢機(jī)器人的核心部件主要由云臺(tái)模塊、主控模塊、通信模塊、避障和電源模塊組成。其中：

(1)云臺(tái)模塊主要包括可見(jiàn)光相機(jī)和紅外熱像儀；

(2)主控模塊主要是控制機(jī)器人的行走以及云臺(tái)的轉(zhuǎn)動(dòng)；

(3)通信模塊主要完成機(jī)器人相關(guān)參數(shù)信息與遠(yuǎn)程服務(wù)器之間的信號(hào)傳輸，根據(jù)現(xiàn)場(chǎng)的通信條件和要求，可以采用WiFi、4G、5G的方式；

(4)避障模塊包括機(jī)器人的前后安裝有超聲波雷達(dá)，具有前后運(yùn)行方向檢測(cè)障礙物后停車(chē)的防碰撞保護(hù)功能；

(5)電源模塊通常采用磷酸鐵鋰電池。

電纜隧道巡檢機(jī)器人見(jiàn)圖1，可實(shí)現(xiàn)對(duì)地下管廊環(huán)境與設(shè)備的不間斷監(jiān)控及火災(zāi)應(yīng)急處置。機(jī)器人采用軌道移動(dòng)方式，搭載高清攝像機(jī)及紅外熱成像儀，實(shí)現(xiàn)隧道實(shí)時(shí)監(jiān)控與測(cè)溫診斷；機(jī)器人集成有害氣體、煙霧、光照度、溫濕度等傳感器以及定位裝置和語(yǔ)音對(duì)講系統(tǒng)，實(shí)時(shí)監(jiān)測(cè)隧道環(huán)境信息，管理員通過(guò)監(jiān)控后臺(tái)實(shí)現(xiàn)對(duì)巡檢機(jī)器人的實(shí)時(shí)控制、數(shù)據(jù)接入、統(tǒng)計(jì)分析以及多維度展示。

圖1 電纜隧道巡檢機(jī)器人

此外，巡檢器人設(shè)有存儲(chǔ)器、處理器以及搭載有可見(jiàn)光攝像頭的云臺(tái)；存儲(chǔ)器存儲(chǔ)計(jì)算機(jī)程序；啟動(dòng)巡檢機(jī)器人，使其進(jìn)入設(shè)備探索狀態(tài)，巡檢機(jī)器人開(kāi)啟儀表設(shè)備巡查模式，并開(kāi)啟搭載有可見(jiàn)光攝像頭的云臺(tái)，同時(shí)，處理器執(zhí)行計(jì)算機(jī)程序以實(shí)現(xiàn)自動(dòng)視覺(jué)掃描生成巡檢任務(wù)。

1.2 自動(dòng)視覺(jué)掃描生成巡檢任務(wù)的架構(gòu)

圖2是巡檢機(jī)器人自動(dòng)視覺(jué)掃描生成巡檢任務(wù)的架構(gòu)，也就是巡檢點(diǎn)的工作流程。

圖2 自動(dòng)視覺(jué)掃描生成巡檢目標(biāo)流程

說(shuō)明如下：

(1)可見(jiàn)光視頻云臺(tái)針對(duì)當(dāng)前待巡檢的行進(jìn)道路方向，以180°廣角進(jìn)行不間斷連續(xù)旋轉(zhuǎn)掃描，并在掃描過(guò)程中錄像保存視頻流；

(2)當(dāng)視頻流傳回時(shí)進(jìn)行等間隔抽幀采樣，設(shè)采樣間隔時(shí)間為t(例如t取0.5 s，設(shè)置的時(shí)間間隔t能夠保證視頻清晰以及兩圖儀表重疊率不過(guò)高)，并與當(dāng)前時(shí)間進(jìn)行同步記錄設(shè)為T(mén)n，同時(shí)每隔時(shí)間t記錄機(jī)器人以及云臺(tái)當(dāng)前的位置坐標(biāo)，即機(jī)器人可根據(jù)抽幀圖像的當(dāng)前時(shí)刻返回真實(shí)時(shí)刻的空間位置信息，因此可在該幀對(duì)應(yīng)的時(shí)間記錄當(dāng)前機(jī)器人位置坐標(biāo)與云臺(tái)坐標(biāo)集合，由此得出當(dāng)前視頻幀圖像的時(shí)空坐標(biāo)集：

Pn={xn，yn，zn，hn，θn，γn，Tn}

(1)

其中：xn、yn、zn表示機(jī)器人在整個(gè)場(chǎng)景中的位置坐標(biāo)，取值范圍根據(jù)機(jī)器人地圖范圍而定；hn為云臺(tái)當(dāng)前的上升高度，取值范圍為[0，hmax]，hmax表示云臺(tái)最大上升高度；θn表示當(dāng)前云臺(tái)攝像頭攝影方向的水平旋轉(zhuǎn)角度，取值范圍為[0°，360°]，此處0°為云臺(tái)攝影正方向，即默認(rèn)方向；γn表示云臺(tái)攝像頭的俯仰視角度，取值范圍為[-45°，45°]，此處0°表示水平方向，-45°為以地平面向下拍攝，45°為以地平面向上拍攝。

(3) 將每一視頻幀的圖像In與其時(shí)空坐標(biāo)集Pn建立對(duì)應(yīng)關(guān)系，然后在機(jī)器人掃描完整個(gè)區(qū)間后將所有圖像送入目標(biāo)檢測(cè)網(wǎng)絡(luò)進(jìn)行解析與篩選。目標(biāo)檢測(cè)器如圖3所示[1-4]。

圖3 目標(biāo)檢測(cè)器

目標(biāo)檢測(cè)器包括24個(gè)卷積層和2個(gè)全連接層，其中卷積層使用1×1卷積來(lái)做通道縮減，然后緊跟3×3卷積，且卷積層和全連接層中均采用Leaky ReLU激活函數(shù)，最后一層采用線性激活函數(shù)。

圖像輸入YOLOv4目標(biāo)檢測(cè)網(wǎng)絡(luò)[5-11](見(jiàn)圖4)后，首先調(diào)整為416×416，進(jìn)入CNN卷積層，主干網(wǎng)絡(luò)采用CSPDarkNet53，其組成為CSPNet與DarkNet53，Darknet53共有5個(gè)大殘差塊，通過(guò)殘差網(wǎng)絡(luò)將輸入層與輸出層的結(jié)果相加；卷積后的池化層采用SPP實(shí)現(xiàn)，即空間金字塔池化，然后采用PANet進(jìn)行實(shí)例分割，生成目標(biāo)box，并通過(guò)YOLO head進(jìn)行最后的特征拼接，輸出 box完成目標(biāo)檢測(cè)與分割提取。通過(guò)CSPNet可增強(qiáng)CNN的學(xué)習(xí)能力，能夠在輕量化的同時(shí)保持準(zhǔn)確性、降低計(jì)算瓶頸、降低內(nèi)存成本。

圖4 YOLOv4目標(biāo)檢測(cè)網(wǎng)絡(luò)

首先，詳細(xì)記錄下每張圖像中檢測(cè)到的儀表數(shù)量、種類以及它們的置信度。如果一張圖像中沒(méi)有檢測(cè)到儀表，將其排除。然后，如果一張圖像中儀表的數(shù)量少于預(yù)設(shè)的閾值，會(huì)進(jìn)一步考察這些儀表的置信度。如果這些儀表的平均置信度低于另一個(gè)預(yù)設(shè)值，也會(huì)將這張圖像排除。對(duì)于剩下的圖像，會(huì)再次記錄其中儀表的數(shù)量、種類以及它們的平均置信度。這些未被排除的圖像將作為預(yù)選圖像，進(jìn)行下一步的相似度判斷。這種流程旨在篩選出那些包含有效且可識(shí)別的儀表圖像，確保它們的數(shù)量和質(zhì)量都滿足預(yù)設(shè)的要求。

(4)解析時(shí)記錄對(duì)應(yīng)圖像中檢出儀表的個(gè)數(shù)N、類別數(shù)C、全部檢測(cè)目標(biāo)的平均置信度B；若圖像中無(wú)儀表則刪除該圖像，當(dāng)儀表數(shù)量存在但數(shù)量少于預(yù)設(shè)閾值，則繼續(xù)判斷這些目標(biāo)檢測(cè)框的置信度，若太低則刪除；其余未刪除的圖像記錄有儀表上述3類數(shù)據(jù)，將未刪除的圖像作為預(yù)選圖像進(jìn)入步驟(5)。

通過(guò)目標(biāo)檢測(cè)網(wǎng)絡(luò)對(duì)原圖進(jìn)行檢測(cè)，首先儀表個(gè)數(shù)N依據(jù)獲取檢出的目標(biāo)長(zhǎng)度獲得，類別數(shù)C則根據(jù)檢出類別進(jìn)行去重累加，平均置信度B則通過(guò)計(jì)算所有檢出目標(biāo)除以檢出數(shù)量來(lái)獲得。

(5)篩選后的圖像進(jìn)行場(chǎng)景相似度判定，以圖像拍攝時(shí)的原始時(shí)間先后順序排列，并設(shè)置相似度比對(duì)梯度S，即每隔S張分為另一梯度，并在該S張圖像內(nèi)進(jìn)行相似度判定。在該梯度內(nèi)以檢出儀表數(shù)N和平均置信度B依次為參考依據(jù)，選擇其值最高的圖像作為比對(duì)參考圖像，依次對(duì)下一張目標(biāo)圖像進(jìn)行SIFT[12]匹配，即將目標(biāo)圖像與基準(zhǔn)圖像進(jìn)行SIFT匹配，若能夠匹配則認(rèn)為這兩個(gè)圖像在該SIFT匹配下相似，然后將SIFT匹配相似且圖像中儀表類別數(shù)C均相同的圖像歸為新的一組，若匹配不上則歸為另一組，并進(jìn)行該組內(nèi)的判斷，直至對(duì)該梯度內(nèi)的所有圖像進(jìn)行迭代判定；在新的這一組圖像中，選擇檢出儀表數(shù)N、平均置信度B依次為參考，選擇值最高的圖像作為預(yù)置巡檢點(diǎn)圖像，將該梯度中其他圖像作為參考巡檢點(diǎn)；然后依次針對(duì)每一梯度進(jìn)行同樣操作，若到最后分割不均，則剩余圖像單成一組，直至遍歷所有篩選后的圖像，生成預(yù)置巡檢任務(wù)表。

(6)管理員查看所有預(yù)選圖像與預(yù)置巡檢點(diǎn)圖像，并根據(jù)實(shí)際需求進(jìn)行篩選、替換、增刪，并生成人工修正后的最后巡檢點(diǎn)集以及對(duì)應(yīng)的巡檢任務(wù)，同時(shí)其他參考巡檢點(diǎn)信息依舊保存，需要時(shí)可以采用。

2 測(cè)試案例與測(cè)試結(jié)果

2.1 巡檢點(diǎn)自動(dòng)獲取流程

(1) 啟動(dòng)圖1所示的電纜巡檢機(jī)器人，并從前端控制機(jī)器人進(jìn)入設(shè)備巡查模式，將其初始位置遙控至場(chǎng)景的起始點(diǎn)，并在地圖頁(yè)面規(guī)劃好固定線路。機(jī)器人開(kāi)始沿規(guī)劃好的線路行進(jìn)，并慢速勻速水平轉(zhuǎn)動(dòng)搭載有可見(jiàn)光攝像機(jī)的云臺(tái)。自動(dòng)旋轉(zhuǎn)的范圍為水平方向[-90°，90°]，即以兩側(cè)為主；垂直方向?yàn)閇-45°，45°]，主要輔助巡查可能在某些低處或高處漏掉的設(shè)備。同時(shí)進(jìn)行視頻錄制，錄制視頻時(shí)每0.5 s記錄一次機(jī)器人以及云臺(tái)的位置信息。

(2) 根據(jù)不同現(xiàn)場(chǎng)的儀表設(shè)備個(gè)數(shù)、場(chǎng)地大小，錄制視頻的時(shí)長(zhǎng)可能不一致。此實(shí)施例中錄制時(shí)長(zhǎng)為3 min，錄制完成后保存錄制的視頻流并獲取錄制的起始與結(jié)束時(shí)間。

(3) 以視頻起始的第一幀圖像作為抽幀的起始圖像，并以錄制起始時(shí)間為首幀圖像的時(shí)間坐標(biāo)，之后以0.5 s為間隔進(jìn)行抽幀。由于在錄制視頻時(shí)已經(jīng)對(duì)每0.5 s間隔的位置信息進(jìn)行記錄，因此抽幀后的圖像位置坐標(biāo)即可認(rèn)定為同等時(shí)間視頻中的位置信息，此時(shí)便可以對(duì)每一幀的圖像打上一個(gè)時(shí)空信息的標(biāo)簽。

(4) 打上標(biāo)簽后的每一幀圖像即與現(xiàn)場(chǎng)位置建立了動(dòng)態(tài)的關(guān)聯(lián)，方便在后續(xù)篩選出巡檢點(diǎn)后直接獲得機(jī)器人與云臺(tái)的位置關(guān)系?，F(xiàn)在將所有抽幀圖像依次送入儀表目標(biāo)檢測(cè)網(wǎng)絡(luò)進(jìn)行第一次篩選，若網(wǎng)絡(luò)未檢測(cè)到目標(biāo)儀表則直接刪除該幀圖像，若存在目標(biāo)儀表，在此實(shí)施例中作者嚴(yán)格控制儀表個(gè)數(shù)閾值，即認(rèn)為只要存在儀表(N≥1)即為有效樣本，暫不判定置信度，實(shí)際使用時(shí)若儀表數(shù)量太多，可根據(jù)情況修改閾值，再進(jìn)行置信度判定進(jìn)行篩選。

(5) 通過(guò)第一次篩選去除了沒(méi)有目標(biāo)儀表的無(wú)效幀，對(duì)剩余的圖像根據(jù)數(shù)量進(jìn)行梯度劃分，默認(rèn)梯度為7(可根據(jù)實(shí)際數(shù)量設(shè)置)。在該梯度內(nèi)以檢出儀表數(shù)、平均置信度依次為參考依據(jù)，選擇其值最高的圖像作為比對(duì)參考圖像，依次對(duì)組內(nèi)其他圖像進(jìn)行判定迭代。若能夠進(jìn)行匹配，則將其與參考圖像歸為新的一組，若匹配失敗則將比對(duì)圖像歸為新的一組，再重復(fù)以上操作迭代判斷新一組的相似度。

(6) 在新的一組圖像中以檢出儀表數(shù)、平均置信度依次為參考，選擇值最高的圖像作為預(yù)置巡檢點(diǎn)圖像，其余為參考巡檢點(diǎn)。如此操作遍歷所有第一次篩選后的圖像，完成所有圖像的預(yù)置巡檢點(diǎn)篩選并生成預(yù)置巡檢任務(wù)表。如圖5—7所示，為實(shí)施此方法所得巡檢任務(wù)列表、巡檢點(diǎn)集和巡檢點(diǎn)平面位置。

圖5 巡檢任務(wù)列表

圖6 巡檢點(diǎn)集示例

圖7 巡檢點(diǎn)平面位置

(7) 根據(jù)圖5所得列表，管理員可以查看所有的自動(dòng)分組并調(diào)節(jié)圖像，或增刪、替換巡檢點(diǎn)，生成最終的巡檢任務(wù)。

2.2 測(cè)試案例

上述巡檢點(diǎn)自動(dòng)獲取流程應(yīng)用于案例1-4的4個(gè)工程項(xiàng)目，具體測(cè)試數(shù)據(jù)見(jiàn)表1。

表1 自動(dòng)巡檢點(diǎn)/手工巡檢點(diǎn)測(cè)試數(shù)據(jù)

其中：機(jī)器人的巡檢速度按照現(xiàn)場(chǎng)的機(jī)器人機(jī)型不同、軌道鏈接不同以及用戶使用要求，可以通過(guò)機(jī)器人運(yùn)行參數(shù)設(shè)置。

巡檢點(diǎn)的數(shù)量主要是根據(jù)機(jī)器人巡檢路徑上設(shè)備數(shù)量、環(huán)境檢測(cè)的要求來(lái)確定的。

人工配置巡檢點(diǎn)的速度與現(xiàn)場(chǎng)工程師的技術(shù)水平、熟練程度相關(guān)，但通常都是經(jīng)過(guò)培訓(xùn)的工程師，技能水平相差不太大。

自動(dòng)配置巡檢點(diǎn)時(shí)間是指機(jī)器人通過(guò)視頻檢測(cè)自動(dòng)解析出巡檢點(diǎn)的時(shí)間，需要人工來(lái)給這些自動(dòng)配置的巡檢點(diǎn)按照現(xiàn)場(chǎng)的設(shè)備或者環(huán)境來(lái)命名。

2.3 測(cè)試結(jié)果分析

從上述測(cè)試案例的數(shù)據(jù)看，巡檢點(diǎn)數(shù)量越多，自動(dòng)巡檢點(diǎn)算法的優(yōu)勢(shì)越明顯。上述案例中自動(dòng)巡檢相比手工巡檢耗時(shí)效率提高平均值為90.54%。

3 結(jié)論

文中的主要工作總結(jié)如下：

(1)設(shè)計(jì)了YOLOv4目標(biāo)檢測(cè)網(wǎng)絡(luò)(圖3)用于現(xiàn)場(chǎng)設(shè)備的檢測(cè)與分割提取。

(2)目標(biāo)圖像與基準(zhǔn)圖像進(jìn)行SIFT匹配作為相似度判斷的依據(jù)，來(lái)消除重復(fù)的識(shí)別目標(biāo)。

(3)對(duì)篩選后的圖像進(jìn)行場(chǎng)景相似度判定，以圖像拍攝時(shí)的原始時(shí)間先后順序排列，并設(shè)置相似度比對(duì)梯度S，即每隔S張分為一梯度，并在該S張圖像內(nèi)進(jìn)行相似度判定。在該梯度內(nèi)以檢出儀表數(shù)N和平均置信度B依次為參考依據(jù)，選擇其值最高的圖像作為比對(duì)參考圖像，依次對(duì)下一張目標(biāo)圖像進(jìn)行SIFT匹配，即將目標(biāo)圖像與基準(zhǔn)圖像進(jìn)行SIFT匹配。若能夠匹配則認(rèn)為這兩張圖像在該SIFT匹配下相似，然后將SIFT匹配相似且圖像中儀表類別數(shù)C均相同的圖像歸為新的一組，若匹配不上則歸為另一組，并進(jìn)行該組內(nèi)的判斷，直至該梯度內(nèi)所有圖像完成迭代判定。

(4)結(jié)合目標(biāo)檢測(cè)與圖像評(píng)估算法，在流程上一步到位解決了設(shè)備添加與巡檢點(diǎn)添加，且均為自動(dòng)生成，同時(shí)可以采用其他備選點(diǎn)位，相對(duì)人工拍攝減少了大量時(shí)間。

該算法已經(jīng)在隧道電纜的機(jī)器人巡檢項(xiàng)目中應(yīng)用，相比于人工設(shè)置方式，即自動(dòng)巡檢相比人工巡檢提高效率90%以上。