深度學(xué)習(xí)在巡檢機(jī)器人導(dǎo)航中的研究綜述

陳纓 吳天寶 劉小江 馬小敏 羅磊

（1 國網(wǎng)四川綜合能源服務(wù)有限公司，四川 成都 610072；2 國網(wǎng)四川省電力公司電力科學(xué)研究院，四川 成都 610041）

一、引言

隨著電力無人巡檢的發(fā)展，變電站機(jī)器人巡檢成為可能[1]。眾所周知，變電站作為電力行業(yè)的一個(gè)重要組成部分，其巡檢十分重要[2]。在機(jī)器人技術(shù)還未成熟以前，一直采用人工巡檢的方式。這項(xiàng)工作內(nèi)容繁瑣、工作強(qiáng)度大、工作時(shí)間長，需要時(shí)刻保持高度認(rèn)真，并且耗費(fèi)了大量人力，因此機(jī)器人智能化巡檢已經(jīng)是不可逆的趨勢(shì)。2015 年5 月,國務(wù)院印發(fā)《中國制造2025》,明確提出“以加快新一代信息技術(shù)與制造業(yè)深度融合為主線,以推進(jìn)智能制造為主攻方向?！盵3]。

2017 年7 月,國務(wù)院發(fā)布了《新一代人工智能發(fā)展規(guī)劃》,將人工智能定位為國家戰(zhàn)略,提出到2020 年“人工智能技術(shù)應(yīng)用成為改善民生的新途徑”,到2030 年“人工智能理論、技術(shù)與應(yīng)用總體達(dá)到世界領(lǐng)先水平?！盵4]。隨著機(jī)器人技術(shù)的發(fā)展與應(yīng)用，變電站無人巡檢已經(jīng)成為可能。進(jìn)一步地，隨著人工智能時(shí)代的到來，深度學(xué)習(xí)技術(shù)再次興起，讓變電站無人巡檢能夠成功落地。在2012 年ILSVRC（ImageNet 大規(guī)模圖像識(shí)別）競(jìng)賽上AlexNet（以作者名字命名）首次提出了深度卷積神經(jīng)網(wǎng)絡(luò)模型（CNN），以top-5 準(zhǔn)確率84.6%的成績獲勝[5]。由此引發(fā)了第三波深度學(xué)習(xí)熱潮，而其應(yīng)用最廣的就是視覺。機(jī)器視覺通?？煞譃槿箢?，目標(biāo)識(shí)別、圖像分類、語義分割。語義分割在計(jì)算機(jī)視覺領(lǐng)域中占據(jù)十分重要的地位，它是從像素級(jí)去識(shí)別圖像，即標(biāo)注出圖像中每個(gè)像素中所屬的對(duì)象類別[6]。圖1.1 為語義分割的一個(gè)實(shí)例。

浙江大學(xué)楊象軍提出，巡檢機(jī)器人使用激光雷達(dá)來實(shí)現(xiàn)機(jī)器人的自護(hù)導(dǎo)航[7]。激光雷檢測(cè)精度較高，但對(duì)工作環(huán)境要求高，不適用于自然環(huán)境[8]。所以，當(dāng)巡檢機(jī)器人在復(fù)雜多變的自然環(huán)境之下時(shí)，由于其嚴(yán)重缺乏對(duì)環(huán)境的理解，無法預(yù)判，導(dǎo)致不能有效工作。

2014 年，加州大學(xué)伯克利分校 Long 等人提出全卷積網(wǎng)絡(luò)（FCN）[9]，這使得卷積神經(jīng)網(wǎng)絡(luò)在沒有全連接層的條件下仍可進(jìn)行密集的像素預(yù)測(cè)。該方法可以生成任意大小圖像的分割圖，且在速度上比圖像塊分類法要占優(yōu)勢(shì)。自FCN 之后，幾乎所有的語義分割領(lǐng)域方法都采用了該模型。2017 年，SegNet 問世[10]，該項(xiàng)目可以對(duì)圖像中存在的任意物體所在區(qū)域進(jìn)行分割，例如樹木，交通設(shè)施，行人等，并且已經(jīng)達(dá)到像素級(jí)別的精確度，該網(wǎng)絡(luò)模型如圖1.2 所示。針對(duì) FCN 中沒有 context information，Zhao[12]等提出的 PSPNet 網(wǎng)絡(luò)嵌入了global context信息來提升分割效果。

西南交通大學(xué)劉明春，在2019 年提出RSRNet 網(wǎng)絡(luò)[13]。該網(wǎng)絡(luò)提升了巡檢機(jī)器人對(duì)變電站環(huán)境的理解能力，通過編碼網(wǎng)絡(luò)提取圖像特征，再由解碼網(wǎng)絡(luò)識(shí)別出圖像目標(biāo)信息該網(wǎng)絡(luò)可勝任變電站的簡單導(dǎo)航任務(wù)。

二、前沿問題探究

機(jī)器人移動(dòng)平臺(tái)導(dǎo)航方式可分為磁導(dǎo)航、慣性導(dǎo)航、路標(biāo)導(dǎo)航等[14]。

路標(biāo)導(dǎo)航指輸入信息給移動(dòng)機(jī)器人的內(nèi)部傳感器，并且具有辯別出特殊信息的能力，這種路標(biāo)的位置固定，可以是幾何形狀、字母、二維碼等。根據(jù)機(jī)器人所使用路標(biāo)的不同，也可分為人工路標(biāo)導(dǎo)航和自然路標(biāo)導(dǎo)航兩大類[15]。

人工路標(biāo)導(dǎo)航是事先在機(jī)器人巡檢路線做好標(biāo)記，但是對(duì)環(huán)境要求較嚴(yán)格，適用能力較差[16]。

自然路標(biāo)導(dǎo)航是機(jī)器人在自然環(huán)境之下，通過識(shí)別周圍環(huán)境的自然特征來實(shí)現(xiàn)自主導(dǎo)航。該方法利用地圖幾何特征，抽取Voronoi 圖交叉點(diǎn)作為顯著地點(diǎn)。優(yōu)勢(shì)在于普適性好，缺點(diǎn)在于算力需求大、魯棒性不強(qiáng)[17]。

（一）前沿問題

為了解決上述巡檢機(jī)器人導(dǎo)航方式中存在的不足，深度學(xué)習(xí)技術(shù)的引入已成為必然。

針對(duì)目前的變電站巡檢機(jī)器人道路場(chǎng)景識(shí)別的研究現(xiàn)狀和表2.1 中變電站網(wǎng)絡(luò)測(cè)試結(jié)果，目前存在問題有以下三點(diǎn)：

表2.1 變電站網(wǎng)絡(luò)測(cè)試結(jié)果

1.現(xiàn)有網(wǎng)絡(luò)中采用了多個(gè)卷積特征圖相融合方式，急需探索出網(wǎng)絡(luò)特征圖提取以及融合方式的內(nèi)在規(guī)律；

2.目前變電站巡檢機(jī)器人的道路場(chǎng)景識(shí)別中，網(wǎng)絡(luò)識(shí)別效率低下，技術(shù)并不成熟，需要設(shè)計(jì)出更為高效的網(wǎng)絡(luò)結(jié)構(gòu)，提升網(wǎng)絡(luò)的推理速度，使其能夠滿足于更多場(chǎng)景；

3.現(xiàn)有變電站巡檢機(jī)器人對(duì)場(chǎng)景理解程度較低，需要提高場(chǎng)景識(shí)別結(jié)果信息利用率，以提升機(jī)器人智能化水平。

（二）解決方案

針對(duì)前沿問題一，現(xiàn)有方法是利用多層次的聚合特征連接對(duì)圖像進(jìn)行測(cè)量。缺點(diǎn)是不能充分利用高層和低層特征的互補(bǔ)性[18]?？梢詫⑺阉骶哂邢嗨普Z義信息的候選圖像集合作為查詢圖像定義為高層特征，缺點(diǎn)就是細(xì)粒度細(xì)節(jié)描述不足。因此，高層相似性和低層相似性之間的有效性會(huì)被削弱，只有當(dāng)區(qū)分開最近鄰居之間的細(xì)粒度差別時(shí)，語義相似。

目前最為有效方法是利用不同層次的CNN 特征的更多互補(bǔ)方面的優(yōu)勢(shì)[19]。當(dāng)查詢圖像間最近鄰相互之間的細(xì)粒度的相似性與相似的語義信息時(shí)，該方法試圖將低層相似性的有效性突出。即低層特征的作用被轉(zhuǎn)換為僅作用于細(xì)化高層特征的排序結(jié)果，如圖2.1 所示，高層特征在細(xì)節(jié)信息描述方面能力不足，而低層特征則分別來自背景混亂和語義歧義。該方法通過使用映射函數(shù)，并進(jìn)一步地將低層特征信息用作來測(cè)量具有相同語義的最近鄰圖像之間的細(xì)粒度相似性。在初步實(shí)驗(yàn)中，這種方法的效果比多層連接以及其他基于手工特征的方法更好。

針對(duì)前沿問題二，最新的研究是來自美國的一個(gè)人工智能實(shí)驗(yàn)室，他們提出了 IdleBlock 一種新的卷積模塊以及使用該模塊的混合組成（HC）方法[20]。作者在網(wǎng)絡(luò)的各個(gè)部分中采用多種類型的模塊進(jìn)行非單調(diào)組合。這種組合僅適用于ShuffleNetv1/v2 可以與Bottleneck 模塊混合（兩者均要求窄輸入寬輸出）。單調(diào)設(shè)計(jì)原則無法做到利用不同類型模塊的屬性[21]。相關(guān)實(shí)驗(yàn)表明這種簡潔的新方法在提升網(wǎng)絡(luò)效率方面成績顯著，在同等計(jì)算成本下取得了SOTA 表現(xiàn)，原理如圖2.2 所示。

針對(duì)前沿問題三，最新的研究成果是使用一個(gè)雙流CNN 結(jié)構(gòu)[22]。在這個(gè)結(jié)構(gòu)中，目標(biāo)形狀信息通過一個(gè)獨(dú)立分支來處理，該形狀流僅僅處理邊界相關(guān)的信息。這是由模型的門卷控積層（GCL）和局部監(jiān)督來強(qiáng)制實(shí)現(xiàn)的。實(shí)驗(yàn)證明，在更小的目標(biāo)上，該模型能夠?qū)崿F(xiàn)IOU 的顯著提升。實(shí)驗(yàn)結(jié)果如圖2.3。

在用 Cityscapes 基準(zhǔn)測(cè)試中，這個(gè)模型比 DeepLab-v3 高出 1.4%的mIOU，F(xiàn)-boundary 得分同樣比 DeepLab-v3 略高。更為驚喜的是在更小的目標(biāo)上，該模型能夠?qū)崿F(xiàn) 7% 的 IOU 提升[23]。

三、總結(jié)

在如今人工智能快速發(fā)展的熱潮下，以復(fù)雜著稱的新一代人工智能技術(shù)儼然成熟。同時(shí)在ROS 系統(tǒng)、Tensorflow 框架、Caffe 框架下，新一代人工智能技術(shù)落地變電站智能巡檢機(jī)器人顯然可行。筆者基于上述變電站復(fù)雜環(huán)境感知的前沿問題理解與前沿研究探索，得出一個(gè)該方向的發(fā)展思路。即將新一代人工智能技術(shù)應(yīng)用于變電站巡檢機(jī)器人導(dǎo)航系統(tǒng)的深度學(xué)習(xí)中。首先，采用卷積神經(jīng)網(wǎng)絡(luò)（CNN）對(duì)輸入圖像的特征進(jìn)行提取，將提取到的圖像特征通過一個(gè)雙流 CNN 結(jié)構(gòu)進(jìn)行語義分割、通過卷積模塊IdleBlock 以及使用該模塊的混合組成（HC）進(jìn)行目標(biāo)識(shí)別和圖像分類。然后，通過反向傳播（BP）算法對(duì)構(gòu)建的網(wǎng)絡(luò)進(jìn)行優(yōu)化，使用ImageNet數(shù)據(jù)集對(duì)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。最后，反復(fù)評(píng)估優(yōu)化深度學(xué)習(xí)軟件的實(shí)際效果，以提高變電站巡檢機(jī)器人對(duì)環(huán)境理解的程度。