面向電力場(chǎng)景作業(yè)機(jī)器人的目標(biāo)檢測(cè)方法研究

李晨曦，婁根，李慧姝，方武

（1.蘇州經(jīng)貿(mào)職業(yè)技術(shù)學(xué)院，信息技術(shù)學(xué)院，蘇州215009；2.江蘇省智能服務(wù)工程技術(shù)研究開發(fā)中心，蘇州215009）

0 引言

國(guó)內(nèi)外科研工作者對(duì)電力環(huán)境下物品檢測(cè)進(jìn)行了深入研究，提出了模糊均值方法、K最近鄰方法以及支持向量機(jī)等傳統(tǒng)圖像識(shí)別方法。上述方法基于簡(jiǎn)單的人工特征，當(dāng)電力環(huán)境變化時(shí)，識(shí)別準(zhǔn)確率會(huì)大幅下降，算法魯棒性不強(qiáng)。隨著深度學(xué)習(xí)的興起，國(guó)內(nèi)外學(xué)者對(duì)深度卷積神經(jīng)網(wǎng)絡(luò)技術(shù)（Deep Convolutional Neu?ral Network，DCNN）在電力環(huán)境下物品檢測(cè)方面開展了研究[1]。相對(duì)于傳統(tǒng)方法，DCNN直接將圖像作為輸入，能夠?qū)崿F(xiàn)圖像中目標(biāo)特征的自動(dòng)提取，避免了繁瑣的人工操作，并對(duì)圖像具有極強(qiáng)的表征能力[2]，顯著提高了電力環(huán)境下物品監(jiān)測(cè)的有效性與實(shí)用性。

電力機(jī)器人對(duì)場(chǎng)景中各種目標(biāo)進(jìn)行自動(dòng)檢測(cè)是實(shí)現(xiàn)這些遠(yuǎn)程電力作業(yè)功能的首要條件。其中基于深度卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)技術(shù)是近期最受關(guān)注的研究領(lǐng)域[3-6]。然而，現(xiàn)階段視覺目標(biāo)檢測(cè)的研究方法和技術(shù)手段需要大量訓(xùn)練數(shù)據(jù)及復(fù)雜模型，存在數(shù)據(jù)標(biāo)注成本太高、實(shí)時(shí)處理能力不強(qiáng)等問題。其主要原因在于：一是當(dāng)前深度卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型[7]的高準(zhǔn)確性是建立在大數(shù)據(jù)學(xué)習(xí)的基礎(chǔ)上，需要大量的標(biāo)注樣本才能發(fā)揮作用，成本非常大；二是作業(yè)機(jī)器人等嵌入式作業(yè)機(jī)器人一般采用電池供電，能量和計(jì)算能力有限，無(wú)法實(shí)時(shí)運(yùn)算復(fù)雜的神經(jīng)網(wǎng)絡(luò)模型。

人類之所以能夠快速學(xué)習(xí)的關(guān)鍵是人類具備學(xué)會(huì)學(xué)習(xí)的能力，能夠充分利用以往的知識(shí)經(jīng)驗(yàn)來(lái)指導(dǎo)新任務(wù)的快速學(xué)習(xí)，稱為小樣本學(xué)習(xí)（Few Shot Learning）[8]。小樣本學(xué)習(xí)使得我們可以通過較少的樣本快速持續(xù)地學(xué)習(xí)各種各樣的任務(wù)，已經(jīng)成為增強(qiáng)學(xué)習(xí)之后深度學(xué)習(xí)一個(gè)重要的研究方向。將基于深度學(xué)習(xí)的小樣本目標(biāo)檢測(cè)方法應(yīng)用于電力場(chǎng)景作業(yè)機(jī)器人系統(tǒng)屬于比較新的研究方向，至今在這方面的研究成果不多。

1 研究進(jìn)展

近年來(lái)，隨著深度學(xué)習(xí)技術(shù)的發(fā)展，目標(biāo)檢測(cè)算法從基于手工特征的傳統(tǒng)方法轉(zhuǎn)向了基于深度神經(jīng)網(wǎng)絡(luò)的方法，例如2013年提出的R-CNN[8]以及近年來(lái)Fast/Faster R-CNN[9]、YOLO系列[10-11]、SSD系列[12-15]、Pelee[16]等這些基于深度學(xué)習(xí)的目標(biāo)檢測(cè)技術(shù)。這些基于深度學(xué)習(xí)的主流算法模型分為One-Stage目標(biāo)檢測(cè)算法和Two-Stage目標(biāo)檢測(cè)算法。其中，YOLO、SSD等典型One-Stage目標(biāo)檢測(cè)算法不需要候選區(qū)域階段，可以通過一步直接產(chǎn)生物體的類別概率和位置坐標(biāo)值。Two-Stage目標(biāo)檢測(cè)算法將檢測(cè)問題劃分為兩個(gè)階段，第一個(gè)階段首先產(chǎn)生候選區(qū)域，包含目標(biāo)大概的位置信息，然后第二個(gè)階段對(duì)候選區(qū)域進(jìn)行分類和位置精確修改。

在電力場(chǎng)景下，由于光線變化導(dǎo)致傳統(tǒng)算法識(shí)別率較低。為切實(shí)降低目標(biāo)檢測(cè)所需數(shù)據(jù)的獲取及標(biāo)注成本，提升檢測(cè)準(zhǔn)確率，我們提出建立面向電力場(chǎng)景作業(yè)機(jī)器人的小樣本目標(biāo)檢測(cè)體系，結(jié)構(gòu)如圖1所示。

圖1 基于小樣本學(xué)習(xí)技術(shù)的電力場(chǎng)景目標(biāo)檢測(cè)框圖

具體研究方法如下：

（1）首先對(duì)機(jī)器人采集的圖像進(jìn)行預(yù)處理，采用特征工程確定目標(biāo)候選區(qū)域，減少數(shù)據(jù)處理量，研究精簡(jiǎn)化的卷積神經(jīng)網(wǎng)絡(luò)模型。

（2）綜合考慮計(jì)算復(fù)雜度、存儲(chǔ)需求，采用適于電力作業(yè)機(jī)器人的小樣本目標(biāo)檢測(cè)算法。圖2給出了工作原理。

圖2 小樣本目標(biāo)檢測(cè)算法流程圖

2 目標(biāo)檢測(cè)算法

2.1 目標(biāo)檢測(cè)

目標(biāo)檢測(cè)是機(jī)器視覺領(lǐng)域的核心問題之一，其任務(wù)是找出圖像或視頻中的感興趣物體，同時(shí)檢測(cè)出它們的位置和大小。本文采用16層深度卷積神經(jīng)網(wǎng)絡(luò)，

首先對(duì)輸入圖像進(jìn)行預(yù)處理，將圖像分成13×13塊，然后利用訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)，在預(yù)測(cè)框回歸輸出物品的類別和位置。具體方法如圖2所示，首先獲取樣本圖像，然后對(duì)樣本圖像進(jìn)行數(shù)據(jù)增強(qiáng)處理擴(kuò)充數(shù)據(jù)集；對(duì)數(shù)據(jù)集標(biāo)注，得訓(xùn)練樣本集；對(duì)樣本圖像進(jìn)行縮放，得子圖像；構(gòu)建十六層卷積神經(jīng)網(wǎng)絡(luò)模型M；采用通用物品檢測(cè)數(shù)據(jù)庫(kù)對(duì)十六層卷積神經(jīng)網(wǎng)絡(luò)模型M進(jìn)行預(yù)訓(xùn)練，得預(yù)檢測(cè)模型；在預(yù)訓(xùn)練后對(duì)檢測(cè)模型進(jìn)行二次訓(xùn)練，得最終的目標(biāo)檢測(cè)模型。二次訓(xùn)練的數(shù)據(jù)為采集和進(jìn)行數(shù)據(jù)增強(qiáng)后的訓(xùn)練樣本集；最后對(duì)子圖像處理得目標(biāo)框，利用目標(biāo)框?qū)δ繕?biāo)檢測(cè)模型進(jìn)行測(cè)試。依據(jù)電力環(huán)境下物品圖像的特點(diǎn)，進(jìn)一步優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與參數(shù)，建立一種精簡(jiǎn)的物品識(shí)別模型，實(shí)現(xiàn)電力環(huán)境下物品的有效識(shí)別。

2.2 數(shù)據(jù)集

首先采用通用開源數(shù)據(jù)庫(kù)進(jìn)行深度卷積神經(jīng)網(wǎng)絡(luò)模型的預(yù)訓(xùn)練。通過網(wǎng)絡(luò)爬蟲采集圖像3000幅，并采集各種電力場(chǎng)景下圖像12000幅。為了擴(kuò)大圖像訓(xùn)練數(shù)據(jù)集，更好地提取各種條件下物品特征，訓(xùn)練時(shí)避免出現(xiàn)過擬合，如圖3所示，我們對(duì)采集的數(shù)據(jù)集進(jìn)行一些經(jīng)典數(shù)據(jù)增強(qiáng)處理，具體包括圖像亮度、色度、對(duì)比度、銳度以及人工加噪聲等多種處理。通過數(shù)據(jù)增強(qiáng)后，圖像數(shù)據(jù)集擴(kuò)充到4萬(wàn)張。將圖像分辨率縮小為512×512像素，然后對(duì)圖像中目標(biāo)進(jìn)行人工標(biāo)注。圖像標(biāo)注后，隨機(jī)選取不同環(huán)境條件下的6000幅圖像作為測(cè)試集，其余34000幅圖像用于模型訓(xùn)練。

圖3 圖像的數(shù)據(jù)增強(qiáng)

3 基于DCNN的物品識(shí)別技術(shù)

3.1 模型

從不同電力環(huán)境下采集的圖像中實(shí)時(shí)目標(biāo)檢測(cè)是一項(xiàng)具有挑戰(zhàn)的任務(wù)。深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)目標(biāo)特征具有很好的自學(xué)習(xí)能力，可用目標(biāo)的有效識(shí)別。我們采用基于區(qū)域的DCNN，在卷積層后接入感興趣區(qū)域池化層，然后接入全連接層。本文采用的深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)如表1所示。

表1 卷積網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)表

算法模型如式（1）所示。

其中，x為輸入圖像，y為物品分類以及其位置坐標(biāo)，M為卷積神經(jīng)網(wǎng)絡(luò)模型。網(wǎng)絡(luò)由卷積網(wǎng)絡(luò)層和最大值池化層組成。卷積網(wǎng)絡(luò)用于提取圖像的特征，最大值池化用于選擇重要特征，最后使用訓(xùn)練好的模型M對(duì)圖像中物品進(jìn)行檢測(cè)識(shí)別。

3.2 損失函數(shù)

模型訓(xùn)練采用的損失函數(shù)如式（2）所示。

其中λnoobjλpriorλcoordλobjλclass為不同類型的損失函數(shù)的權(quán)重。noobj是指矩形框里沒有目標(biāo)，obj是指矩形框里有目標(biāo)，coord是指矩形框坐標(biāo)，class目標(biāo)種類，這里為12種目標(biāo)，IOU是指疊加區(qū)域。

4 實(shí)驗(yàn)

采用TensorFlow 2.0等平臺(tái)以及標(biāo)準(zhǔn)開源庫(kù)對(duì)本文算法性能進(jìn)行分析實(shí)驗(yàn)。根據(jù)試驗(yàn)結(jié)果，調(diào)整參數(shù)重復(fù)實(shí)驗(yàn)。在不同條件下檢驗(yàn)算法的實(shí)際效果，并根據(jù)實(shí)測(cè)結(jié)果對(duì)算法進(jìn)行分析以及優(yōu)化。采用手動(dòng)調(diào)參實(shí)現(xiàn)信息的有效處理，當(dāng)達(dá)到精度要求時(shí)終止訓(xùn)練過程。系統(tǒng)平臺(tái)參數(shù)如表2所示。

表2 PC系統(tǒng)測(cè)試平臺(tái)參數(shù)

本文算法與YOLO、SSD和Faster R-CNN算法準(zhǔn)確率以及速度如表3所示。通過對(duì)不同尺寸圖像檢測(cè)實(shí)驗(yàn)結(jié)果證明本文算法在512×512分辨率下準(zhǔn)確率方面達(dá)到85mAp，優(yōu)于YOLO和SSD算法，平均提升了8%，略低于目前準(zhǔn)確率最高的Faster R-CNN算法。

表3 不同算法準(zhǔn)確率比較

5 結(jié)語(yǔ)

為解決電網(wǎng)人員生命安全與高強(qiáng)度作業(yè)問題，降低工作人員的事故率，針對(duì)現(xiàn)階段識(shí)別檢測(cè)算法存在準(zhǔn)確率低、魯棒性不強(qiáng)等問題，本文提出了一種小樣本目標(biāo)檢測(cè)方法研究。實(shí)驗(yàn)證明相對(duì)于傳統(tǒng)方法，本文方法在保證速度的前提下，可提升8%的準(zhǔn)確率，能對(duì)不同環(huán)境下物品的進(jìn)行有效識(shí)別。下階段工作是將算法部署到作業(yè)機(jī)器人上進(jìn)一步實(shí)測(cè)并完善。