基于分布式無線傳感網(wǎng)絡(luò)的電纜隧道無人機(jī)巡檢技術(shù)

馬聰，李德泉，汪培月，王興振，侯建峰

（國網(wǎng)山東省電力公司濟(jì)南供電公司，山東濟(jì)南 250000）

隨著計(jì)算機(jī)科學(xué)、智能電站的快速發(fā)展，電纜隧道巡檢手段不斷從人工巡檢向智能巡檢的方向發(fā)展。電站管理人員借助物聯(lián)網(wǎng)等通信設(shè)備可以進(jìn)行遠(yuǎn)程巡檢，大幅度提高了巡檢效率，降低了人員受傷的可能。

具有自主導(dǎo)航和環(huán)境感知能力的無人機(jī)在物流、運(yùn)輸、偵察等領(lǐng)域應(yīng)用廣泛，但大多數(shù)無人機(jī)并不適合在電纜隧道內(nèi)使用，即使訓(xùn)練有素、經(jīng)驗(yàn)豐富的飛行員也難以確保絕對安全的遠(yuǎn)程操作。

為了實(shí)現(xiàn)大規(guī)模的智能化隧道巡檢，該文采用了可以廣泛部署的低成本傳感器，總體設(shè)計(jì)了基于擴(kuò)展卡爾曼濾波器（EKF）的多傳感器融合框架。由于隧道圖像的共同背景和色彩紋理較為復(fù)雜，該文提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)特征的快速深度卷積神經(jīng)網(wǎng)絡(luò)（R-CNN）方法來定位故障元件，將目標(biāo)分類問題轉(zhuǎn)化為目標(biāo)檢測和識別問題。使用轉(zhuǎn)移學(xué)習(xí)的方法學(xué)習(xí)目標(biāo)的基本特征，并根據(jù)學(xué)習(xí)結(jié)果在圖像中準(zhǔn)確定位故障區(qū)域。

1 無人機(jī)傳感網(wǎng)絡(luò)設(shè)計(jì)

該文設(shè)計(jì)的系統(tǒng)架構(gòu)包括傳感器、軟件算法模塊、基于擴(kuò)展卡爾曼濾波的多傳感器融合框架等[1]，具體如圖1 所示。

圖1 自主無人機(jī)的整體系統(tǒng)架構(gòu)

為了實(shí)現(xiàn)魯棒的隧道內(nèi)自主導(dǎo)航，無人機(jī)傳感系統(tǒng)由一個(gè)2D 激光雷達(dá)、一個(gè)測距激光雷達(dá)、3 個(gè)攝像頭（向前、向上和向下）和一個(gè)慣性測量單元組成。

在實(shí)現(xiàn)無人機(jī)的自主運(yùn)動(dòng)前，需要無人機(jī)所處的環(huán)境地圖[2]。該文基于XML 標(biāo)簽，在坐標(biāo)系中存儲無人機(jī)的位置和姿態(tài)，然后將這些姿勢附加到每個(gè)機(jī)架的預(yù)定位置。當(dāng)無人機(jī)觀察到標(biāo)簽時(shí)，即可根據(jù)標(biāo)簽識別所計(jì)算出的結(jié)果更新無人機(jī)的定位信息。

該文假設(shè)IMU 傳感器的姿態(tài)與UAV 的姿態(tài)相同。EKF 的狀態(tài)由以下位置組成：坐標(biāo)框架{W}中IMU 的定位向量為pw，速度向量為vw，其方向四元數(shù)描述了IMU 相對于W的旋轉(zhuǎn)，陀螺儀偏置為qw，加速度計(jì)偏置[3]為ba。無人機(jī)的總體狀態(tài)由16 維狀態(tài)向量x表示：

從而可以得出以下微分方程：

其中，Rw是與四元數(shù)qw相對應(yīng)的旋轉(zhuǎn)矩陣，am是IMU測得的加速度[4]，na、nbω、nba是高斯噪聲[5]。該文將偏置項(xiàng)建模為隨機(jī)浮動(dòng)，取微分方程式（2）-（6）的期望值，并定義式（1）的誤差狀態(tài)向量Δx，得到線性化的誤差狀態(tài)方程。測量模型將狀態(tài)向量和傳感器測量值關(guān)聯(lián)為：

其中，z是測量向量，如位置、歐拉角和姿態(tài)；h(x)是相應(yīng)的測量模型；n是高斯測量噪聲[6]。該次采用模塊化多傳感器融合框架，其中各個(gè)傳感器的測量數(shù)據(jù)更新相互融合，以獲得狀態(tài)的最佳估計(jì)。

文中用于更新EKF 濾波器的最小傳感器系統(tǒng)包括：1）攝像頭：測量6D 絕對姿態(tài)機(jī)架上標(biāo)簽的姿態(tài)。2）2D 激光掃描儀以及IMU 傳感器。3）下視測距傳感器：估計(jì)無人機(jī)的高度。

從理論上講，此概念應(yīng)保證足夠一致的結(jié)果，因?yàn)橥ㄟ^組合絕對姿態(tài)和相對姿態(tài)測量，始終可以獲得完整的6D 姿態(tài)。但由于系統(tǒng)不確定性和不完整的傳感數(shù)據(jù)，系統(tǒng)估計(jì)不可避免地存在漂移、離群值和測量干擾。此外，相比基于視覺的自主導(dǎo)航，隧道環(huán)境的情況更加復(fù)雜，若不解決此類問題，則無法保障自主操縱無人機(jī)的安全，所以該文設(shè)計(jì)了魯棒的異常數(shù)據(jù)剔除算法。

異常值通常是由傳感器故障、較大的識別錯(cuò)誤或不良的測量環(huán)境引起的。為了消除測量異常值，采用馬氏規(guī)則來剔除異常數(shù)據(jù)。

在任務(wù)飛行期間，分別檢查馬氏規(guī)則的特定組成部分，對于機(jī)器人定位標(biāo)簽的偏航角、俯仰角或來自SLAM 定位的橫向位置，若其中某一項(xiàng)或幾項(xiàng)大于預(yù)定閾值時(shí)，該文設(shè)計(jì)的EKF 框架將拒止相應(yīng)的測量部分，從而有效降低錯(cuò)誤拒絕率。

2 基于Faster R-CNN的巡檢算法

傳感器網(wǎng)絡(luò)主要依靠視覺相機(jī)實(shí)現(xiàn)對隧道內(nèi)有價(jià)值目標(biāo)的準(zhǔn)確檢測，因此選用Faster R-CNN 檢測網(wǎng)絡(luò)實(shí)現(xiàn)實(shí)時(shí)巡檢算法[7]。

由于電纜線路檢查的復(fù)雜性，無人機(jī)不易獲得真實(shí)的采樣圖像。但神經(jīng)網(wǎng)絡(luò)需要大量的樣本，以實(shí)現(xiàn)高精度訓(xùn)練。因此采用轉(zhuǎn)移學(xué)習(xí)方法，使用公開數(shù)據(jù)獲得預(yù)訓(xùn)練模型，以構(gòu)建檢測網(wǎng)絡(luò)。

為了確定檢查過程中的電纜故障，將正常元件、損壞元件和干擾物圖像構(gòu)建為訓(xùn)練集，并通過包含目標(biāo)和類別的最小矩形框的坐標(biāo)進(jìn)行標(biāo)記圖像。利用特征提取網(wǎng)絡(luò)的卷積層，可以生成訓(xùn)練集中隨機(jī)大小的正常元件、受損元件和干擾物圖像的相應(yīng)特征，然后添加基于滑動(dòng)操作的卷積層以預(yù)測包含目標(biāo)的窗口位置。

當(dāng)小窗口中的信息被識別為目標(biāo)時(shí)，將區(qū)域保留并轉(zhuǎn)換到網(wǎng)絡(luò)中。若將小窗口中的信息識別為背景，則將該區(qū)域丟棄。

在訓(xùn)練集的基礎(chǔ)上，基于ResNet 網(wǎng)絡(luò)中的共享卷積層提取圖像的深層特征[8]。綜合考慮卷積層的區(qū)域信息，使用隨機(jī)抽取的方法篩選不同大小的圖像輸入網(wǎng)絡(luò)池層。為了保證網(wǎng)絡(luò)輸入的一致性，將不同大小的圖像標(biāo)準(zhǔn)化為固定大小的數(shù)據(jù)，并輸入ResNet。然后通過兩個(gè)完整的連接層連接到高維特征向量[9]，第一個(gè)完整的連接層用于實(shí)現(xiàn)對目標(biāo)的分類；網(wǎng)絡(luò)所用的第二個(gè)連接層主要用于驗(yàn)證數(shù)據(jù)合理性，同時(shí)負(fù)責(zé)區(qū)域回歸算法的實(shí)例化[10]。在訓(xùn)練過程中，神經(jīng)網(wǎng)絡(luò)的參數(shù)并非不發(fā)生改變，隨著訓(xùn)練的進(jìn)行，網(wǎng)絡(luò)參數(shù)通過下述的損失函數(shù)進(jìn)行調(diào)整：

其中，i是用于索引訓(xùn)練集數(shù)據(jù)的錨點(diǎn)，預(yù)測定義錨點(diǎn)i的預(yù)測概率為pi[11]。

在具體實(shí)現(xiàn)時(shí)，網(wǎng)絡(luò)使用隨機(jī)梯度下降法最小化損失函數(shù)的輸出，以實(shí)現(xiàn)最小化反向傳播過程中的損失函數(shù)[12-14]。算法整體流程如圖2 所示，詳細(xì)步驟如下：

圖2 算法流程

1）基于ResNet-101 網(wǎng)絡(luò)模型，初始化權(quán)重W和初始化神經(jīng)網(wǎng)絡(luò)的偏移b。

2）前向傳播計(jì)算分下述三種情況：

①若當(dāng)前層是完整連接層，則：

其中，am，l代表第l層中m個(gè)圖像樣本的輸出值，σ為激活函數(shù)[15]。

② 若當(dāng)前層是卷積層，則：

③若當(dāng)前層是池化層，則需要進(jìn)行降維操作。

3）對于輸出層l有：

4）基于損失函數(shù)J(W，b)，反向傳播參數(shù)分別按照以下三種情況計(jì)算：

①若當(dāng)前層是完整連接層，則使用標(biāo)準(zhǔn)隨機(jī)梯度下降法。

② 若當(dāng)前層是卷積層，則：

其中，rot180 是卷積核的函數(shù)，具體實(shí)現(xiàn)為卷積內(nèi)核上下翻轉(zhuǎn)，然后左右翻轉(zhuǎn)。

③若當(dāng)前層是池化層，則進(jìn)行反池操作。

5）根據(jù)以下兩種情況更新l層的Wl和bl：

若當(dāng)前層是完整連接層，則：

其中，α是學(xué)習(xí)率。

若Wl和bl的所有變化均小于停止迭代閾值或達(dá)到預(yù)先設(shè)定的迭代次數(shù)，則跳轉(zhuǎn)至步驟6）。

6）輸出每個(gè)隱藏層與輸出層的線性關(guān)系矩陣W和偏移向量b。

該文使用標(biāo)記的隧道內(nèi)部圖片作為驗(yàn)證集，通過檢驗(yàn)網(wǎng)絡(luò)輸出的預(yù)測區(qū)域信息與實(shí)際網(wǎng)絡(luò)之間的差異，最終調(diào)整整個(gè)網(wǎng)絡(luò)的權(quán)重[16]。經(jīng)過足夠的訓(xùn)練，F(xiàn)aster R-CNN 可以檢測興趣目標(biāo)的準(zhǔn)確位置和標(biāo)識。

3 實(shí)驗(yàn)驗(yàn)證

為了對該文設(shè)計(jì)的無人機(jī)巡檢平臺進(jìn)行性能驗(yàn)證，選取傳感器網(wǎng)絡(luò)搭建了傳感系統(tǒng)，在隧道環(huán)境中進(jìn)行巡檢實(shí)驗(yàn)。

文中選取低成本2D激光雷達(dá)Hokuyo UST-10LX（具有270°視場和10 m 測量范圍），一維距離傳感器Terabee TeraRanger One（可測高度上限為14 m）。向前和向上的攝像機(jī)是分辨率為752×480 的單色攝像機(jī)，具有全局快門功能并配備平角和廣角鏡頭。向下的相機(jī)是分辨率為1 280×960的全局快門彩色相機(jī)，該文使用嵌入在Pixhawk3 中的IMU 傳感器。無人機(jī)的長寬均為74 cm，包括電池在內(nèi)的重量為3.2 kg。為了實(shí)現(xiàn)隧道巡檢的高性能故障定位，該次實(shí)驗(yàn)在裝有Intel Core i7-7700 K、CPU（4.0 GHz）、16 GB DDR3和1080Ti顯卡、11 GB 內(nèi)存的Windows PC 上進(jìn)行。

在實(shí)驗(yàn)的隧道環(huán)境中，共有32 個(gè)檢查位。隧道巡檢區(qū)域長60 m，寬55 m。圖3 為自主無人機(jī)執(zhí)行的單個(gè)路徑上的環(huán)境感知圖。

圖3 無人機(jī)環(huán)境感知圖

該文設(shè)計(jì)的自主無人機(jī)可以完成在電纜隧道中全面檢查和周期盤點(diǎn)的任務(wù)，能夠代替人工完成常規(guī)的隧道巡檢。

無人機(jī)在高壓線路檢查中所拍攝的圖像可分為3 類，包括元件損壞的120 幅圖像、雜物120 幅圖像、正常元件320 幅圖像。按照4∶1 的比例，訓(xùn)練集由448個(gè)圖像組成，測試集由112個(gè)圖像組成。由于計(jì)算資源的限制，將原始圖像的分辨率調(diào)整為1 000×750。

如圖4 所示，所有圖像均以最小矩形框標(biāo)記，并以VOC2007 的XML 格式保存。當(dāng)識別的外圍框架與標(biāo)記的外圍框架之間的重疊區(qū)域大于標(biāo)記區(qū)域的90%時(shí)，則被認(rèn)為是成功識別。該文所提出的方法性能通過分析識別精度和召回值來進(jìn)行評估。

圖4 數(shù)據(jù)集示例

深度學(xué)習(xí)框架基于Caffe 搭建，并選擇由大數(shù)據(jù)集ImageNet 預(yù)訓(xùn)練的ResNet-101 作為網(wǎng)絡(luò)模型。Faster R-CNN 的訓(xùn)練使用動(dòng)量法進(jìn)行，該次使用0.000 1 的權(quán)重衰減和0.9 的動(dòng)量。前40 000 個(gè)小批次的學(xué)習(xí)率為0.001，接下來30 000 批次的學(xué)習(xí)率為0.000 1，最大步長值為70 000，訓(xùn)練損失如圖5 所示。

圖5 訓(xùn)練損失

為了分析所提方法的有效性，使用了一系列不同的目標(biāo)檢測方法進(jìn)行對比實(shí)驗(yàn)，如表1 所示。

表1 檢測方法對比實(shí)驗(yàn)

使用ResNet-101 預(yù)訓(xùn)練網(wǎng)絡(luò)模型時(shí)，F(xiàn)aster RCNN 的平均識別準(zhǔn)確率為97.6%，平均召回率為97.9%。此外，單個(gè)圖像的平均時(shí)間成本為101 ms，可以有效檢測出隧道中的問題元件，并且兼顧了成本開銷。

4 結(jié)束語

該文設(shè)計(jì)了一種具有低成本傳感系統(tǒng)和多傳感器融合框架的自主無人機(jī)，其可以有效地用于狹窄和黑暗的隧道環(huán)境。為了自動(dòng)定位故障元件，提出了一種基于Fast R-CNN 方法的深度卷積神經(jīng)網(wǎng)絡(luò)。將目標(biāo)分類問題轉(zhuǎn)化為目標(biāo)檢測和識別問題，可以準(zhǔn)確實(shí)現(xiàn)對故障元件的檢測。

在今后的工作中，如何使用有限的計(jì)算資源，實(shí)現(xiàn)自主巡檢無人機(jī)平臺的大規(guī)模部署將是研究的重點(diǎn)。