機(jī)器人視覺(jué)導(dǎo)航技術(shù)的二次設(shè)備智能巡檢方法

張 志，王立瑋，楊鈺雪，樊京杭

（國(guó)網(wǎng)河北省電力有限公司信息通信分公司，石家莊050000）

二次設(shè)備是電網(wǎng)、變電站等建設(shè)過(guò)程中重要的電網(wǎng)設(shè)施部件，一旦二次設(shè)備發(fā)生故障，將有可能使整個(gè)電力系統(tǒng)處于停滯狀態(tài)，國(guó)內(nèi)技術(shù)中，比如文獻(xiàn)[1]應(yīng)用機(jī)器人的視覺(jué)導(dǎo)航，通過(guò)CCD 彩色相機(jī)來(lái)進(jìn)行圖像采集，進(jìn)而實(shí)現(xiàn)路徑識(shí)別，這種方式雖然也能夠采集到二次設(shè)備的運(yùn)行工況，但是視覺(jué)導(dǎo)航方式容易受到環(huán)境中塵、霧、風(fēng)雪等環(huán)境影響，采集到的圖像不清晰。文獻(xiàn)[2]應(yīng)用了高清可見(jiàn)光相機(jī)，紅外熱成像儀，拾音設(shè)備等多種形式的智能化檢測(cè)裝置，實(shí)現(xiàn)了二次設(shè)備的自動(dòng)化、智能化巡檢，但是遇到雨、雪、風(fēng)等惡劣天氣時(shí)，難以實(shí)現(xiàn)周圍三維地形特征的獲取，圖像數(shù)據(jù)獲取不精確。

根據(jù)上述技術(shù)不足，本研究對(duì)巡檢機(jī)器人的關(guān)鍵技術(shù)進(jìn)行了研究，提高了導(dǎo)航精度和機(jī)器人巡檢能力，下文對(duì)新型的巡檢機(jī)器人的功能進(jìn)行描述。

1 巡檢方案設(shè)計(jì)

基于上述描述，本研究采用以下技術(shù)實(shí)現(xiàn)二次設(shè)備的巡檢。

（1）本研究采用具有去噪功能的CCD 彩色相機(jī)實(shí)現(xiàn)圖像的采集與去噪，該技術(shù)克服了常規(guī)技術(shù)中，由于外界云、霧等多種因素影響造成圖像采集像素低、圖像質(zhì)量差等問(wèn)題。通過(guò)采用紅外熱像儀進(jìn)行輔助圖像識(shí)別和計(jì)算機(jī)處理技術(shù)實(shí)現(xiàn)所采集圖像的處理。

（2）本研究的巡檢機(jī)器人根據(jù)深度攝像頭的視覺(jué)導(dǎo)航原理實(shí)現(xiàn)導(dǎo)航的軌跡查詢，在進(jìn)行拐彎、直行等工作以及到達(dá)指定位置后用自身設(shè)備完成巡檢工作。將深度攝像機(jī)坐標(biāo)系與圖像坐標(biāo)系之間進(jìn)行數(shù)量轉(zhuǎn)換，實(shí)現(xiàn)巡檢機(jī)器人的定位。

基于上述創(chuàng)新點(diǎn)設(shè)計(jì)，構(gòu)建出新型的機(jī)器人巡檢方案如圖1 所示。

圖1 二次設(shè)備巡檢機(jī)器人功能架構(gòu)示意圖Fig.1 Schematic diagram of the functional architecture of the secondary equipment inspection robot

本研究的巡檢機(jī)器人在巡檢過(guò)程中，通過(guò)數(shù)據(jù)收集，將收集到的紅外圖像、音頻圖像等進(jìn)行智能預(yù)處理后實(shí)時(shí)傳遞到上一層監(jiān)控中心。本研究采用多信息通道采集接口，能夠兼容RS485、RS234、無(wú)線通訊、TCP/IP 通信協(xié)議、CAN 總線、遠(yuǎn)程無(wú)線數(shù)據(jù)接收端等多種通訊方式，使得不同的檢測(cè)終端都能夠與機(jī)器人進(jìn)行信息通訊。在利用人工智能和通訊技術(shù)的基礎(chǔ)上，引入粒子濾波算法的去噪技術(shù)實(shí)現(xiàn)圖像采集的去噪，進(jìn)而獲取清晰圖像信息，又采用深度攝像視覺(jué)導(dǎo)航原理彌補(bǔ)了現(xiàn)有技術(shù)中巡檢位置不足的缺陷，進(jìn)而實(shí)現(xiàn)二次設(shè)備全方位的監(jiān)測(cè)，使得二次設(shè)備巡檢的工作效率和檢測(cè)精度得到大幅度提高。下文對(duì)其關(guān)鍵技術(shù)進(jìn)行說(shuō)明。

2 關(guān)鍵技術(shù)設(shè)計(jì)

2.1 圖像采集的去噪技術(shù)

在常規(guī)技術(shù)中，二次設(shè)備在巡檢過(guò)程中，圖像采集容易受到外界天氣或者環(huán)境的影響（比如大風(fēng)、云霧、雨雪天氣），導(dǎo)致采集到圖像不準(zhǔn)確。為了獲取較為精確的圖像信息，本研究采用粒子濾波算法實(shí)現(xiàn)圖像噪音的過(guò)濾，進(jìn)而輸出較為清晰的采集圖像信息。

在本研究的設(shè)計(jì)中，假設(shè)通過(guò)CCD 相機(jī)采集到的圖像噪聲的原始坐標(biāo)點(diǎn)為（x0，y0），則該圖像的噪聲位置和工況可以通過(guò)以下函數(shù)進(jìn)行量化表示：

式中：x（k+1）表示二次設(shè)備在運(yùn)行過(guò)程中的工況矢量；Fx（k）表示二次設(shè)備在運(yùn)行過(guò)程中的位置移動(dòng)模型；Γω（k）表示二次設(shè)備在運(yùn)行過(guò)程中采集到的圖像信息噪聲點(diǎn)移動(dòng)模型；z（k）表示二次設(shè)備在運(yùn)行過(guò)程中的位置矢量；h（x（k））表示系統(tǒng)定位模型；v（k）表示二次設(shè)備在運(yùn)行過(guò)程中采集到的圖像釋放出的熱噪點(diǎn)集合。

通過(guò)上述數(shù)據(jù)建模，就可以應(yīng)用數(shù)據(jù)公式推導(dǎo)出所巡檢的二次設(shè)備在工作過(guò)程中的工況移動(dòng)矩陣、噪聲點(diǎn)移動(dòng)矩陣。進(jìn)而輸出與工況移動(dòng)矩陣、噪聲點(diǎn)移動(dòng)矩陣相對(duì)應(yīng)的工況矢量及原始工作條件。下文進(jìn)行具體說(shuō)明。

（1）在采集到的圖像信息中，針對(duì)高斯噪聲干擾因素，假設(shè)采集到的二次設(shè)備的工況變量函數(shù)為X（k）=［x（k） x（k） y（k） y（k）］，工況移動(dòng)矩陣F 通過(guò)矩陣表示為

采集到二次設(shè)備的噪聲點(diǎn)移動(dòng)矩陣G 通過(guò)矩陣表示為

式中：用字母T 表示巡檢二次設(shè)備圖像的采樣間隔。

（2）在采集到的圖像信息中，針對(duì)伽馬噪聲干擾因素，假設(shè)二次設(shè)備工作環(huán)境為在高度r 上進(jìn)行，在進(jìn)行噪聲測(cè)量時(shí)，要考慮到其工作的角度，假設(shè)工況角度為θ，工作角速度為α，這些數(shù)值均為定值，通過(guò)1 表示不同的二次設(shè)備采集周期，利用紅外技術(shù)進(jìn)行圖像采集后，工況移動(dòng)矩陣F 用以下函數(shù)關(guān)系式表示：

通過(guò)上述矩陣表示，再通過(guò)函數(shù)關(guān)系式表示二次設(shè)備工況的噪聲點(diǎn)移動(dòng)矩陣G，則有：

（3）在采集到的圖像信息中，針對(duì)圖像存在的椒鹽噪聲影響，假設(shè)工況變量為X（k）=［x（k） x（k）（k） y（k） y（k）（k）］工況移動(dòng)矩陣F 通過(guò)以下函數(shù)表示為

其中噪聲點(diǎn)移動(dòng)矩陣G 用以下函數(shù)表示：

通過(guò)上述方法能夠?qū)Σ磺宄膱D像信息進(jìn)行過(guò)濾，如圖2、圖3 所示。

2.2 視覺(jué)導(dǎo)航技術(shù)

圖2 處理前的圖像信息Fig.2 Image information before processing

圖3 處理后的圖像示意Fig.3 Schematic diagram of processed image

本研究還采用了基于TOF（time of flight）技術(shù)的深度攝像頭實(shí)現(xiàn)數(shù)據(jù)采集，依靠的基本原理是通過(guò)儀器發(fā)射經(jīng)過(guò)處理的紅外光，紅外光到達(dá)物體表面后會(huì)產(chǎn)生反射光線，在接收反射回來(lái)的光線后計(jì)算發(fā)射光線和反射光線的相位差距或者時(shí)間差距來(lái)計(jì)算出被測(cè)物體的具體距離和物體的空間信息，從而根據(jù)三角測(cè)距原理來(lái)計(jì)算出被測(cè)物體的深度信息。深度攝像頭原理如圖4 所示。

圖4 深度攝像頭原理圖Fig.4 Schematic diagram of depth camera

圖中，（a，b，c）坐標(biāo)系是為了存儲(chǔ)深度攝像機(jī)獲得的深度信息。（d，e，f）與（a，b，c）的關(guān)系如下：

深度攝像機(jī)坐標(biāo)系與圖像坐標(biāo)系的轉(zhuǎn)換關(guān)系為

式中：X，Y，Z 為相機(jī)坐標(biāo)系；θ 為角度。在使用多個(gè)深度攝像頭對(duì)機(jī)器人位置進(jìn)行定位時(shí)，定位位置不可避免的會(huì)與實(shí)際中有一些偏差，所以如何保證定位的精確性是很重要的，所以要利用算法來(lái)確定機(jī)器人在二次設(shè)備巡檢中的位移變化和偏移變化。k表示具體的時(shí)刻，ΔXk和ΔYk表示k 時(shí)刻x 方向和y 方向的移動(dòng)量，Δθk表示k 時(shí)刻角度的變化量。

具體的算法方式如下：

第一步首先建立工作地點(diǎn)的模型，確定機(jī)器人在工作地點(diǎn)模型中的具體坐標(biāo)位置。在機(jī)器人的實(shí)際移動(dòng)中，臨近時(shí)刻的相對(duì)的移動(dòng)量變化非常小，所以k 時(shí)刻和k-1 時(shí)刻的導(dǎo)航定位變化量為

第二步計(jì)算出在k 時(shí)刻機(jī)器人移動(dòng)的變化量的高斯偏差，Qde為給定的估計(jì)偏差，Qdu為不確定偏差，Qθ為偏移度估計(jì)偏差：

第三步在k-1 這個(gè)時(shí)刻時(shí)位移測(cè)量的誤差為Rd，偏移度的測(cè)量誤差為Rθ，計(jì)算出在k 時(shí)刻的位移量偏差為

第四步計(jì)算出k 時(shí)刻時(shí)，二次設(shè)備巡檢機(jī)器人在X 和Y 軸時(shí)，還有θ 角度下的相對(duì)移動(dòng)量：

第五步輸出數(shù)據(jù)后，對(duì)比二次設(shè)備巡檢機(jī)器人在k-1 這個(gè)時(shí)刻的定位（Xk-1，Yk-1，θk-1）和k 時(shí)刻的相對(duì)移動(dòng)信息（ΔXk，ΔYk，Δθk），可以得到二次設(shè)備巡檢機(jī)器人的定位（Xk，Yk，θk）。其中：

此算法是為了確定二級(jí)設(shè)備巡檢機(jī)器人在每個(gè)工作時(shí)刻的具體定位，利用深度攝像頭傳輸回的數(shù)據(jù)分析得出二次設(shè)備巡檢機(jī)器人的位移、偏移等數(shù)據(jù)。

第六步誤差判斷：如果二次設(shè)備巡檢機(jī)器人位移至工作地點(diǎn)的誤差在允許誤差范圍內(nèi)，此算法結(jié)束；如果二次設(shè)備巡檢機(jī)器人位移至工作地點(diǎn)的誤差在允許誤差范圍外，則從第一步開始重新進(jìn)行算法運(yùn)算。

首先在機(jī)器人中輸入工作區(qū)域的三維模型，由機(jī)器人使用多個(gè)景深攝像頭來(lái)識(shí)別和確認(rèn)周圍的三維實(shí)體，從而確定機(jī)器人本體所在的位置，通過(guò)視覺(jué)導(dǎo)航算法保證定位的準(zhǔn)確性。

然后機(jī)器人開始向工作地點(diǎn)移動(dòng)，在機(jī)器人移動(dòng)的過(guò)程中隨時(shí)間進(jìn)行信息更新，識(shí)別機(jī)器人本體周邊的環(huán)境和機(jī)器人自身方向和形態(tài)的變化，經(jīng)過(guò)無(wú)線傳輸將信息傳輸至監(jiān)控中心，直至到達(dá)工作區(qū)域開始對(duì)二次設(shè)備進(jìn)行檢測(cè)。

3 實(shí)驗(yàn)與分析

3.1 機(jī)器人視覺(jué)導(dǎo)航對(duì)比實(shí)驗(yàn)設(shè)計(jì)

為了驗(yàn)證本文所設(shè)計(jì)二次設(shè)備巡檢機(jī)器人視覺(jué)導(dǎo)航技術(shù)的精確性，特意設(shè)置一個(gè)對(duì)比實(shí)驗(yàn)來(lái)進(jìn)行驗(yàn)證，使用兩種視覺(jué)導(dǎo)航導(dǎo)航系統(tǒng)來(lái)進(jìn)行實(shí)驗(yàn)。第一種是本文所設(shè)計(jì)的使用多個(gè)深度攝像頭為主來(lái)進(jìn)行視覺(jué)導(dǎo)航的方式，第二種是用傳統(tǒng)的紅外攝像頭和可見(jiàn)光CCD 為主來(lái)進(jìn)行視覺(jué)導(dǎo)航方式。機(jī)器人的程序設(shè)計(jì)采用C 語(yǔ)言來(lái)完成，通過(guò)STM32 單片機(jī)來(lái)進(jìn)行輸入輸出工作。

實(shí)驗(yàn)的地點(diǎn)放在室內(nèi)，整個(gè)實(shí)驗(yàn)區(qū)域?qū)挾葹?000 cm，長(zhǎng)度為1000 cm，有固定的地形障礙物，首先把地形信息傳輸?shù)絻煞N視覺(jué)導(dǎo)航機(jī)器人中，由機(jī)器人自動(dòng)導(dǎo)航至工作地點(diǎn)，工作地點(diǎn)的坐標(biāo)為（900，900），起點(diǎn)坐標(biāo)為（100，100）。經(jīng)過(guò)對(duì)實(shí)驗(yàn)地形的改動(dòng)進(jìn)行多次試驗(yàn)，分析實(shí)驗(yàn)數(shù)據(jù)，從而得出實(shí)驗(yàn)結(jié)果。

3.2 機(jī)器人視覺(jué)導(dǎo)航比對(duì)實(shí)驗(yàn)過(guò)程

第一步創(chuàng)立實(shí)驗(yàn)區(qū)域，對(duì)實(shí)驗(yàn)區(qū)域地形建模傳輸至機(jī)器人中，本次對(duì)比實(shí)驗(yàn)創(chuàng)建兩個(gè)實(shí)驗(yàn)區(qū)域。圖5 所示為第一實(shí)驗(yàn)區(qū)，圖6 所示為第二實(shí)驗(yàn)區(qū)域。

圖5 第一實(shí)驗(yàn)區(qū)域Fig.5 First experimental area

圖6 第二實(shí)驗(yàn)區(qū)域Fig.6 Second experimental area

第二步根據(jù)圖5 和圖6 兩種實(shí)驗(yàn)區(qū)域的地形規(guī)劃出理想路徑，在每個(gè)時(shí)刻的定位坐標(biāo)都要規(guī)劃清楚。

第三步將第一實(shí)驗(yàn)區(qū)域輸入至兩種機(jī)器人中，將機(jī)器人放置于起始點(diǎn)（100，100），機(jī)器人根據(jù)兩種視覺(jué)導(dǎo)航系統(tǒng)移動(dòng)至工作區(qū)域（900，900），記錄每一個(gè)時(shí)刻機(jī)器人的定位坐標(biāo)位置并進(jìn)行記錄。之后將圖6 實(shí)驗(yàn)區(qū)域輸入至兩種機(jī)器人中，其余步驟同上。每種視覺(jué)導(dǎo)航系統(tǒng)在一個(gè)實(shí)驗(yàn)區(qū)域中重復(fù)10 次運(yùn)動(dòng)（從起始點(diǎn)到達(dá)工作區(qū)域算作一次運(yùn)動(dòng)）。

第四步記錄實(shí)驗(yàn)中的機(jī)器人分別兩種視覺(jué)導(dǎo)航系統(tǒng)下運(yùn)動(dòng)的基本數(shù)據(jù)。

3.3 對(duì)比實(shí)驗(yàn)得到的數(shù)據(jù)

工作區(qū)域內(nèi)兩種視覺(jué)導(dǎo)航方式的大致軌跡和理想路徑軌跡的大致區(qū)別如圖7 和圖8 所示。

圖7 第一工作區(qū)域路徑Fig.7 First working area path

圖8 第二工作區(qū)域路徑Fig.8 Second working area path

通過(guò)圖7 和圖8 可以看出第一種導(dǎo)航路徑和第二種導(dǎo)航路徑分別與理想路徑的差別。本文所設(shè)計(jì)的視覺(jué)導(dǎo)航系統(tǒng)在實(shí)驗(yàn)中的路徑與理想路徑大致相同，而傳統(tǒng)的視覺(jué)導(dǎo)航系統(tǒng)在實(shí)驗(yàn)中的路徑與理想路徑差別較大。

通過(guò)表1 和表2 的詳細(xì)數(shù)據(jù)可以對(duì)比出，從搜索工作區(qū)域的精度上來(lái)說(shuō)，本設(shè)計(jì)的視覺(jué)導(dǎo)航系統(tǒng)精度很高，誤差在1 cm 以內(nèi)，而傳統(tǒng)的視覺(jué)導(dǎo)航系統(tǒng)誤差在5 cm 以內(nèi)，第一種導(dǎo)航路徑的精度遠(yuǎn)遠(yuǎn)大于第二種導(dǎo)航路徑的精度。

表1 第1 實(shí)驗(yàn)區(qū)域數(shù)據(jù)Tab.1 Data of the first experimental area

表2 第2 實(shí)驗(yàn)區(qū)域數(shù)據(jù)Tab.2 Data of the second experimental area

3.4 對(duì)比實(shí)驗(yàn)的結(jié)論

通過(guò)創(chuàng)立實(shí)驗(yàn)區(qū)域，用兩種視覺(jué)導(dǎo)航系統(tǒng)的機(jī)器人對(duì)比進(jìn)行實(shí)驗(yàn)得出，本文所設(shè)計(jì)的以TOF 技術(shù)為基礎(chǔ)，以多個(gè)深度攝像頭為主來(lái)進(jìn)行視覺(jué)導(dǎo)航的方式在實(shí)際的二次設(shè)備巡檢機(jī)器人應(yīng)用中效果較好，定位精度高，提高了機(jī)器人在二次設(shè)備巡檢中移動(dòng)效率和工作效率。

4 結(jié)語(yǔ)

本研究提出了基于機(jī)器人視覺(jué)導(dǎo)航技術(shù)的二次設(shè)備智能巡檢方法。通過(guò)利用TOF 技術(shù)和多個(gè)深度攝像頭進(jìn)行三維識(shí)別巡檢物體，提高了定位精度，將多個(gè)深度攝像頭與單個(gè)攝像頭相比，使得定位精度得以提高，通過(guò)對(duì)二次設(shè)備的巡檢工作進(jìn)行了優(yōu)化，提升了機(jī)器人視覺(jué)導(dǎo)航的穩(wěn)定性、精確性。雖然本研究具有一定的技術(shù)進(jìn)步性，但是本設(shè)計(jì)目前還存在一些不足之處，目前深度攝像頭的技術(shù)不夠成熟，可識(shí)別距離不夠長(zhǎng)，應(yīng)用場(chǎng)景還不夠全面，這需要進(jìn)一步的研究和探索。