改進(jìn)Faster R-CNN的快件搬運(yùn)機(jī)器人視覺(jué)定位策略

田星星， 涂玲英， 周意入， 秦 宇

(湖北工業(yè)大學(xué)電氣與電子工程學(xué)院，湖北 武漢 430068)

隨著電子商務(wù)的迅猛發(fā)展，現(xiàn)代化物流快件搬運(yùn)已成為智能化轉(zhuǎn)型的熱點(diǎn)研究問(wèn)題[1-2]。國(guó)內(nèi)第一臺(tái)AGV由北京起重運(yùn)輸機(jī)械研究所研制，采用電磁導(dǎo)航的方式，該定位方式保養(yǎng)維修困難且易受外界干擾。2013年，沈陽(yáng)新松公司向市場(chǎng)展示了一種新型慣性導(dǎo)航方式的AGV,其絕對(duì)定位的方式產(chǎn)生的誤差具有累積性，精確度比較低[3-5]。2015年，阿里天貓Geek+團(tuán)隊(duì)和國(guó)外亞馬遜公司相繼研發(fā)的倉(cāng)儲(chǔ)AGV與“Kiva”機(jī)器人，均采用二維碼進(jìn)行定位與導(dǎo)航，成功將機(jī)器視覺(jué)技術(shù)應(yīng)用于AGV，但同時(shí)二維碼類型圖案在工業(yè)場(chǎng)地上鋪設(shè)保養(yǎng)不方便[6-7]。

在機(jī)器視覺(jué)領(lǐng)域，Ross B.Girshick[8]相繼提出了R-CNN、Fast R-CNN和Faster R-CNN這一系列目標(biāo)檢測(cè)算法，其中Faster R-CNN可以看做是RPN和Fast R-CNN的結(jié)合，且用RPN完全替代了Selective Search算法生成候選框，但只在單層卷積層的feature map上生成候選框且RPN和最后的分類與回歸層都各自用目標(biāo)函數(shù)進(jìn)行分類與回歸，導(dǎo)致運(yùn)算量還是偏大，精度仍不高。

為改進(jìn)上述問(wèn)題, 在Faster-RCNN的網(wǎng)絡(luò)模型基礎(chǔ)上增加卷積層，在多層卷積層的feature map上生成候選框且用兩個(gè)3×3卷積核分別進(jìn)行卷積運(yùn)算，直接進(jìn)行分類和回歸。該改進(jìn)的Faster-RCNN檢測(cè)到所設(shè)計(jì)導(dǎo)航圖案中目標(biāo)的區(qū)域后，再通過(guò)Harris角點(diǎn)檢測(cè)算法提取目標(biāo)區(qū)域的參考角點(diǎn)，繼而使用PnP算法計(jì)算出快件搬運(yùn)機(jī)器人的坐標(biāo)位置和偏轉(zhuǎn)角。最后，通過(guò)仿真設(shè)計(jì)的實(shí)驗(yàn)對(duì)其有效性進(jìn)行驗(yàn)證。

1 快件搬運(yùn)機(jī)器人模型

圖1為快件搬運(yùn)機(jī)器人模型三維圖，基本結(jié)構(gòu)主要分為驅(qū)動(dòng)結(jié)構(gòu)和舉升結(jié)構(gòu)兩個(gè)部分。其中，驅(qū)動(dòng)結(jié)構(gòu)左右兩邊選用相同的體小量輕和響應(yīng)速度快的伺服電機(jī)，且對(duì)稱安裝。當(dāng)兩臺(tái)伺服電機(jī)連線中點(diǎn)位置的工業(yè)相機(jī)定位到位置信息后，每臺(tái)伺服電機(jī)分別帶動(dòng)一個(gè)驅(qū)動(dòng)輪，兩個(gè)驅(qū)動(dòng)輪再通過(guò)前后四個(gè)相同規(guī)格且同樣對(duì)稱安裝的小萬(wàn)向輪實(shí)現(xiàn)該機(jī)器人的差速行駛轉(zhuǎn)向及位置糾偏。

圖 1 快件搬運(yùn)機(jī)器人的三維模型

快件搬運(yùn)機(jī)器人一般在工業(yè)場(chǎng)地上沿著預(yù)設(shè)好的軌道中線運(yùn)動(dòng)，圖2為其差速驅(qū)動(dòng)數(shù)學(xué)模型，在XOY坐標(biāo)系中左右兩側(cè)驅(qū)動(dòng)輪的速度分別設(shè)為Vr和Vl，機(jī)器人移動(dòng)線速度設(shè)為V，移動(dòng)角速度為ω，左右輪之間的距離設(shè)為D，則在當(dāng)前坐標(biāo)系中該機(jī)器人的移動(dòng)線速度和移動(dòng)角速度關(guān)系可表示為：

圖 2 快件搬運(yùn)機(jī)器人的差速運(yùn)動(dòng)模型

假設(shè)該機(jī)器人的轉(zhuǎn)彎半徑為R,則

R=V/ω=D(Vr+Vl)/(Vr-Vl)

由此，通過(guò)對(duì)該機(jī)器人兩輪速度作不同的規(guī)劃，能夠得到相對(duì)應(yīng)的不同的運(yùn)動(dòng)狀態(tài)如下：

1)Vr=Vl時(shí)，該機(jī)器人作直線運(yùn)動(dòng)，并且V=Vr=Vl，R為無(wú)窮遠(yuǎn)。

進(jìn)一步地進(jìn)行該機(jī)器人行駛時(shí)速度與位置的數(shù)學(xué)關(guān)系分析，選擇其工業(yè)相機(jī)中心點(diǎn)作為載體質(zhì)心，任意時(shí)刻軸連線的中垂線和X軸的夾角記為θ(t)，則在Δt時(shí)間內(nèi)該機(jī)器人所轉(zhuǎn)過(guò)的角度Δθ與轉(zhuǎn)動(dòng)角速度ω的關(guān)系可表示為：

積分可得到(t)與左右車輪運(yùn)動(dòng)速度Vl(t)和Vr(t)關(guān)系如下：

從上式可知：該機(jī)器人上的工業(yè)相機(jī)定位到偏轉(zhuǎn)角等位置信息后，其主控制器處理后通過(guò)調(diào)節(jié)兩臺(tái)伺服電機(jī)的差速輸出即可得到新的位置。

2 導(dǎo)航定位策略

2.1 導(dǎo)航圖案設(shè)計(jì)及其目標(biāo)檢測(cè)算法概述

當(dāng)快件搬運(yùn)機(jī)器人沿著預(yù)設(shè)好的軌道中線行駛時(shí)，筆者擬在其軌道中央等間距地鋪設(shè)一些導(dǎo)航圖案，行駛路徑導(dǎo)引圖見(jiàn)圖3。這些圖案間距小于工業(yè)相機(jī)的視覺(jué)直徑，并且每張都是以白色為襯底，里面所包含的小矩形大小不一，顏色均為紅色、黃色、綠色和藍(lán)色。這種導(dǎo)航圖案不僅設(shè)計(jì)簡(jiǎn)單，而且在工業(yè)場(chǎng)地上鋪設(shè)保養(yǎng)極為方便。

圖 3 行駛路徑導(dǎo)引圖

近些年來(lái)，計(jì)算機(jī)視覺(jué)技術(shù)在各類機(jī)器人導(dǎo)航定位中得到發(fā)展，R-CNN,Fast R-CNN和Faster R-CNN這一系列目標(biāo)檢測(cè)算法被相繼提出，其可以檢測(cè)上述導(dǎo)航圖案中的目標(biāo)區(qū)域。

R-CNN首先通過(guò)Selective Search算法得到大約1000-2000個(gè)候選框，再將每個(gè)候選框尺寸固定到227×227后送入CNN中提取特征，然后將這些feature map集合放入21個(gè)SVM中進(jìn)行分類，之后利用非極大值抑制算法得到每個(gè)目標(biāo)類別中得分最高的生成框，最后用回歸器對(duì)生成框回歸操作以精修其位置。由于每個(gè)候選框都需要送入CNN中逐一提取，這種目標(biāo)檢測(cè)算法圖像處理速度過(guò)慢，且分類與回歸沒(méi)有統(tǒng)一到一個(gè)網(wǎng)絡(luò)模型中，占用大量的內(nèi)存空間。

Fast R-CNN先將原圖送入CNN中提取特征，再將Selective Search算法得到的近2000個(gè)候選框映射到剛提取的feature map上，生成對(duì)應(yīng)的圖像塊,然后通過(guò)ROI-Pooling層統(tǒng)一到相同的尺度上，最后經(jīng)過(guò)兩個(gè)全連接層的特征連在各自的損失函數(shù)上，一個(gè)是用于分類的softmax函數(shù)，另一個(gè)是用于生成框回歸的smooth的L1范式。這種目標(biāo)檢測(cè)算法只在末尾處理每個(gè)候選框，并且將分類與回歸統(tǒng)一到一個(gè)網(wǎng)絡(luò)模型中，既節(jié)省了圖像處理時(shí)間又節(jié)省了內(nèi)存空間。但是，候選框用Selective Search算法來(lái)獲取，仍存在速度慢的問(wèn)題。

Faster R-CNN的模型框圖見(jiàn)圖4，其可以看作是RPN和Fast RCNN的結(jié)合。

圖 4 Faster-RCNN模型框圖

Faster R-CNN首先利用Fast R-CNN將原圖送入CNN中進(jìn)行特征提取，接著RPN網(wǎng)絡(luò)在某一卷積層提取的feature map上利用錨框生成法生成錨框。錨框生成法在feature map 所劃分的單元格中心點(diǎn)生成k個(gè)不同尺寸和長(zhǎng)寬比的候選框，初步回歸和分類后傳入Fast RCNN的ROI Pooling層，統(tǒng)一到相同的尺寸，然后進(jìn)行精確的分類和回歸。錨框生成模型見(jiàn)圖5。

圖 5 錨框生成模型

這種目標(biāo)檢測(cè)算法中的RPN雖然將Selective Search算法產(chǎn)生候選框的環(huán)節(jié)有效地替代并整合到了深度卷積神經(jīng)網(wǎng)絡(luò)中，但是RPN只在單層的 feature map 上生成候選框，這樣會(huì)遺漏一些小目標(biāo)。其次，RPN和最后的分類與回歸層都各自用目標(biāo)函數(shù)分類與回歸，導(dǎo)致運(yùn)算量還是偏大。

2.2 Faster-RCNN算法的改進(jìn)

針對(duì)Faster RCNN目標(biāo)檢測(cè)算法存在的問(wèn)題作出進(jìn)一步改進(jìn)，即在多層卷積層的featuremap上生成候選框后，直接進(jìn)行分類與回歸。具體設(shè)計(jì)方案是：首先選用VGG-16網(wǎng)絡(luò)模型(CNN常用的網(wǎng)絡(luò)模型)，將其最后兩層全連接層改成卷積層，并在后面增加四層卷積層(圖6)，再把Conv4-3、Fc7、Conv8-2、Conv9-2、conv10-2這5層不同卷積層提取到的feature map劃分成8×8,4×4兩種尺寸的單元格，然后用錨框生成法在每個(gè)劃分成的單元格中心點(diǎn)生成候選框，之后用兩個(gè)3×3卷積核分別進(jìn)行卷積運(yùn)算，最后一個(gè)用softmax函數(shù)進(jìn)行多分類，另一個(gè)用smooth的L1范式進(jìn)行回歸，不進(jìn)行二次分類與回歸。

圖 6 改進(jìn)的VGG-16網(wǎng)絡(luò)模型

對(duì)于提取為W×H的feature map，錨框生成法生成候選框的個(gè)數(shù)為5×W×H個(gè)，尺度集設(shè)為[1∶1,1∶2,1∶3,2∶1,3∶1],尺寸的大小由下式定義：

可知m為5；sizemin為尺寸最小值，取0.2；sizemax為尺寸最大值，取0.96。尺度集用pr={1,2,3,1/2,1/3}表示，則每一個(gè)候選框的長(zhǎng)寬可由下式進(jìn)行計(jì)算：

當(dāng)用錨框生成法生成這些候選框后，將其映射回原圖基本上覆蓋了整張圖片，然后計(jì)算每個(gè)候選框和真實(shí)框區(qū)域位置的交并比，即重疊程度IOU。當(dāng)IOU>0.5時(shí)標(biāo)記為正樣本，否則標(biāo)記為負(fù)樣本。由于負(fù)樣本數(shù)量過(guò)多會(huì)造成網(wǎng)絡(luò)模型難以收斂，故通過(guò)正負(fù)樣本數(shù)量1∶3的比例和IOU值排序從高到低兩個(gè)原則剔除一些IOU值特別小的負(fù)樣本。

2.3 Harris角點(diǎn)檢測(cè)算法與PnP定位算法介紹

Harris角點(diǎn)檢測(cè)算法的核心是利用局部窗口在圖像上進(jìn)行移動(dòng)判斷灰度是否發(fā)生較大的變化。若從各個(gè)方向上移動(dòng)小窗口，此窗口區(qū)域內(nèi)圖像的灰度發(fā)生了較大變化，那么就認(rèn)為遇到了角點(diǎn)。該算法可以有效地提取上述改進(jìn)后目標(biāo)檢測(cè)算法定位目標(biāo)區(qū)域的角點(diǎn)。

PnP算法最后解決的是：已知相機(jī)內(nèi)部參數(shù)(焦距參數(shù)和畸變參數(shù))以及n個(gè)世界坐標(biāo)系和圖像坐標(biāo)系參考點(diǎn)的情況下，利用這幾個(gè)參考點(diǎn)之間的對(duì)應(yīng)關(guān)系求解相機(jī)在拍攝圖像時(shí)所處位姿。該算法可根據(jù)Harris角點(diǎn)檢測(cè)算法提取的角點(diǎn)計(jì)算出快件搬運(yùn)機(jī)器人沿預(yù)設(shè)路徑時(shí)的偏轉(zhuǎn)角以及坐標(biāo)位置。

3 改進(jìn)的Faster RCNN算法仿真實(shí)驗(yàn)

3.1 仿真實(shí)驗(yàn)圖像樣本訓(xùn)練與測(cè)試

針對(duì)2.3提出的目標(biāo)檢測(cè)算法優(yōu)化模型的訓(xùn)練與測(cè)試：在第一階段：利用Pascal Voc 數(shù)據(jù)集包含的21個(gè)類別近30000張圖片進(jìn)行遷移學(xué)習(xí)，滿足其大數(shù)據(jù)量學(xué)習(xí)的需要；在第二階段，先通過(guò)繪圖軟件繪制了125張2.1方案所設(shè)計(jì)的圖片，之后對(duì)這些圖片進(jìn)行了數(shù)據(jù)增強(qiáng)處理，其步驟是先通過(guò)鏡像翻轉(zhuǎn)處理，圖片數(shù)量增加至4倍變?yōu)?00張，再對(duì)每張圖片進(jìn)行模糊處理，圖片數(shù)量增加至1000張且增強(qiáng)了該算法在模糊背景下的目標(biāo)檢測(cè)能力。最后將這1000張圖像樣本分為兩份，80%的樣本用于第二次訓(xùn)練，剩余20%的樣本用于最終的測(cè)試。

本實(shí)驗(yàn)硬件采用gtx1070顯卡以及inter corei7處理器，軟件環(huán)境為Windows 10操作系統(tǒng)，在Tensorflow框架下phython語(yǔ)言進(jìn)行開(kāi)發(fā)，圖7和圖8分別為Faster RCNN算法和改進(jìn)的Faster RCNN算法在相同實(shí)驗(yàn)條件下部分測(cè)試樣本的結(jié)果顯示，其中Rr、Yr、Gr、Br分別代表紅色矩形、黃色矩形、綠色矩形和藍(lán)色矩形。

圖 7 Faster RCNN算法兩組測(cè)試結(jié)果

圖 8 改進(jìn)的Faster RCNN算法兩組測(cè)試結(jié)果

3.2 仿真實(shí)驗(yàn)測(cè)試結(jié)果分析

首先定義改進(jìn)前和改進(jìn)后兩種算法的圖像樣本測(cè)試正確率和精確度分別為cor1、cor2和acc1、acc2，則改進(jìn)前算法圖像每個(gè)樣本里紅、黃、綠、藍(lán)四鐘顏色小矩形的識(shí)別正確值(正確區(qū)分出四色小矩形值為1，反之為0)和定位精確值(測(cè)試圖像結(jié)果顯示的值)分別為R-cor1i,Y-cor1i,G-cor1i,B-cor1i和R-acc1i,Y-acc1i,G-acc1i,B-acc1i；改進(jìn)后算法的圖像每個(gè)樣本里紅、黃、綠、藍(lán)四鐘顏色小矩形的識(shí)別正確率和定位精確度分別為R-cor2i,Y-cor2i,G-cor2i,B-cor2i和R-acc2i,Y-acc2i,G-acc2i,B-acc2i。cor1、cor2和acc1、acc2的計(jì)算公式分別如下：

i∈(1,2,3,…,200)

i∈(1,2,3,…,200)

根據(jù)以上公式計(jì)算改進(jìn)前后兩種算法測(cè)試200個(gè)樣本的統(tǒng)計(jì)情況見(jiàn)表1。

表1 改進(jìn)前、后算法正確率和準(zhǔn)確度統(tǒng)計(jì)表

4 結(jié)論

對(duì)快件搬運(yùn)機(jī)器人驅(qū)動(dòng)結(jié)構(gòu)的導(dǎo)航定位技術(shù)進(jìn)行研究與改進(jìn)，在Faster R-CNN的網(wǎng)絡(luò)模型基礎(chǔ)上增加卷積層，在多層卷積層的feature map上生成候選框且用兩個(gè)3×3卷積核分別進(jìn)行卷積運(yùn)算，直接進(jìn)行分類和回歸。測(cè)試結(jié)果顯示相比Faster-RCNN，改進(jìn)的目標(biāo)檢測(cè)算法定位圖像中目標(biāo)類別的正確率同為100%，精確度提高了3%。之后用Harris角點(diǎn)檢測(cè)算法提取參考角點(diǎn)，繼而使用PnP算法計(jì)算出坐標(biāo)位置，也即提高了該機(jī)器人的導(dǎo)航定位精度。