基于改進Faster RCNN的工業(yè)機器人分揀系統(tǒng)①

孫雄峰,林 滸,王詩宇,鄭飂默

1(中國科學(xué)院大學(xué),北京 100049)

2(中國科學(xué)院 沈陽計算技術(shù)研究所 高檔數(shù)控國家工程研究中心,沈陽 110168)

分揀機器人作為一種專用機器人的形式,通常只能完成特定的工件分揀任務(wù).在目前實際應(yīng)用中,很多機器人是通過示教或是離線編程方式完成一些固定的操作[1].近年來,隨著機器視覺的發(fā)展,在機器人中引入視覺模塊,在機器人視覺系統(tǒng)中利用圖像處理技術(shù)[2]對工件圖像進行預(yù)處理,利用特征工程技術(shù)[3]抽象出特征向量,進而由具體的像素坐標框定出目標位置并對目標進行分類.這種方法雖快速然精度不足,難以滿足更加智能化場景的需求.

隨著深度學(xué)習(xí)的發(fā)展,物體檢測的相關(guān)研究呈現(xiàn)出從具體目標到泛化目標,從特征工程到深度學(xué)習(xí)的發(fā)展趨勢.檢測的目標從特定的幾種物體到任意物體,檢測算法采用的特征從簡單的像素,到統(tǒng)計型描述子,再到卷積神經(jīng)網(wǎng)絡(luò)中間層,并且特征從稀疏到稠密、從主觀設(shè)計的人工特征到可以抽象高層語義信息的自動生成特征.在物體檢測中,特征是核心.更具表達力的特征往往帶來更優(yōu)良的結(jié)果.而在工業(yè)生產(chǎn)中,并無成熟的深度學(xué)習(xí)算法應(yīng)用,究其原因,就是深度學(xué)習(xí)算法尚且無法滿足工業(yè)的實時性要求.

面向?qū)崟r的Faster RCNN[4]算法在檢測速度上的提升給工業(yè)機器人帶來了新的變化,它基本滿足了工業(yè)實時性要求.同時,Faster RCNN 作為一種通用算法框架,不同于特征工程技術(shù)主觀設(shè)計的人工特征,只要數(shù)據(jù)滿足,經(jīng)訓(xùn)練后的模型能自動生成更具表達力的特征,使得可以檢測更為復(fù)雜、更為廣泛的目標,就能做到萬事萬物皆可檢測.

1 分揀機器人的硬件構(gòu)成

機器人分揀系統(tǒng)包括機器人模塊、檢測模塊、通信模塊、傳送帶裝置和待分揀對象[1].如圖1所示,為分揀機器人硬件構(gòu)成,其中不包括計算機.

圖1 機器人分揀系統(tǒng)硬件構(gòu)成

機器人模塊包括阿童木并聯(lián)機械手機器人,機器人控制柜、示教編程器和驅(qū)動各關(guān)節(jié)的伺服交流電機組成.機械臂末端為氣動吸盤,用于吸取傳送帶上物體,并放入特定位置.

檢測模塊分為硬件和軟件兩部分.康耐視In-Sight7000 型工業(yè)相機作為硬件部分捕獲圖像,相機將固定在傳送帶上方.軟件部分為Faster RCNN 檢測算法,處理輸入圖像數(shù)據(jù)并得到目標類別和位置.

通信模塊為一小型局域網(wǎng),用于工業(yè)相機圖像和檢測模塊數(shù)據(jù)間傳輸.

傳送帶為長為一米的皮帶輸送機,用于輸送目標對象.本研究中以工廠工件作為分揀對象.

2 分揀機器人工作原理

本系統(tǒng)中研究的重點在于檢測算法的實現(xiàn),分揀系統(tǒng)分為訓(xùn)練和測試兩部分.通過已標定的數(shù)據(jù)訓(xùn)練Faster RCNN 算法模型,將訓(xùn)練好的模型部署到系統(tǒng)的檢測模塊中.測試時,將芯片放在傳送板上以模擬工業(yè)傳送環(huán)境.相機以等時間間隔方式拍攝圖像,保證芯片在通過相機視野區(qū)域時,相機將捕獲到此芯片圖像,考慮到經(jīng)由通信模塊將傳入的圖像作為輸入,在計算機中檢測模塊運行Faster RCNN 算法,將處理后結(jié)果作為輸出.輸出結(jié)果為此圖像中目標物體的類別和矢量位置坐標,再由通信模塊傳入并聯(lián)機器人控制器.計算機會記錄當(dāng)前圖像的拍攝時間、數(shù)據(jù)傳輸時間和算法檢測消耗時間,由于傳送帶傳送速度恒定,機器人控制系統(tǒng)將獲取到此目標的運動后位置和類別.考慮到機械臂的運動速度,機械臂隨之執(zhí)行抓取動作,將目標物體放入其所屬類別指定位置.

3 Faster RCNN

Faster RCNN 作為一種通用的物體檢測框架,它是在已有的算法框架上進行的改進.RCNN[5](Regions with CNN features)方法將CNN(卷積神經(jīng)網(wǎng)絡(luò))與區(qū)域候選框相結(jié)合,在此基礎(chǔ)上又出現(xiàn)了Fast RCNN[6]和Faster RCNN 算法.它們的基本思想都是將原始圖片劃分成不同的候選框,然后將卷積神經(jīng)網(wǎng)絡(luò)CNN 作為一種特征提取器,將候選框提取出一個特征向量,并訓(xùn)練一個分類器對特征向量進行分類.如圖2所示,目標檢測由這3 部分構(gòu)成.

圖2 目標檢測構(gòu)成

R-CNN 采用了遷移學(xué)習(xí)的方法,訓(xùn)練時基于softmax 分類器在ImageNet[7]上預(yù)訓(xùn)練好的模型使用領(lǐng)域特定的PASCAL VOC[8]數(shù)據(jù)集進行網(wǎng)絡(luò)微調(diào).

在RCNN 基礎(chǔ)之上,Fast RCNN 借助選擇性搜索方法獨立生成候選框,使用經(jīng)典分類網(wǎng)絡(luò)AlexNet[9]或VGG-16[10]對候選框進行特征提取得到ROI 層,并使用多任務(wù)損失訓(xùn)練分類器和回歸器.其中的RoI (Regionof-Interest)池化層,有效解決了網(wǎng)絡(luò)低層無法訓(xùn)練的問題,從而提高了檢測精度.

然而Fast RCNN 依舊無法進行實時檢測,其候選框生成階段是獨立于模型訓(xùn)練和測試過程的,在測試時必須先進行候選框生成,因而候選框生成階段反而成了實時檢測的瓶頸[11].

不同于Fast RCNN 中借用選擇性搜索方法生成候選框,Faster RCNN 基于卷積神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)提出了區(qū)域提取網(wǎng)絡(luò)(Region Proposal Network,RPN)生成候選框,依然使用Fast R-CNN 作為檢測子.RPN 與Fast RCNN 其實是共享了提取特征的卷積層,從而RPN 與Fast RCNN 結(jié)合成了單個統(tǒng)一的Faster RCNN 網(wǎng)絡(luò).如圖3所示,可以將其大體分為卷積主干網(wǎng)絡(luò)、RPN微型網(wǎng)絡(luò)、Fast RCNN 檢測子和多任務(wù)損失四部分.

圖3 Faster RCNN 算法框架

本研究基于工業(yè)實時性要求,對Faster RCNN 的RPN 微型網(wǎng)絡(luò)進行改進,對卷積主干網(wǎng)和多任務(wù)損失函數(shù)進行了調(diào)整,更改了RPN 微信網(wǎng)絡(luò)的anchor 尺度并降低了特征提取維度,加快模型的檢測過程.

3.1 卷積主干網(wǎng)

Faster R-CNN 中的卷積層借用的是經(jīng)典分類模型的卷積層架構(gòu)及其預(yù)訓(xùn)練好的權(quán)重,將分類任務(wù)預(yù)訓(xùn)練好的模型用于相似的檢測任務(wù)上,直接對分類模型進行權(quán)值調(diào)整,這大大減少了模型訓(xùn)練量.

如圖4所示,本研究中的卷積主干網(wǎng)借用VGG-16 分類模型的卷積層部分,特征圖輸出前沒有進行池化,這一點稍有變化.所有的卷積操作的步長為1,邊界填充為1,卷積核寬、高為3×3,這保證了卷積前后圖像寬高不變,池化層(pooling)采用2×2 且步長為2 的最大池化,池化層不影響圖像的通道數(shù)目,但每次池化過后圖像的寬高都將減半.卷積的通道數(shù)有64、128、256、512 等情況,通道數(shù)量表示圖像經(jīng)卷積提取特征后的特征圖數(shù)量.每個卷積層之后ReLu 激活函數(shù)進行非線性變換,此操作不影響特征的寬高及通道數(shù)目.因而輸入圖像經(jīng)過13 層卷積和4 層池化后得到的輸出特征圖的寬高變?yōu)樵瓐D像的1/16,通道數(shù)目由RGB 三通道變?yōu)?12.

圖4 Faster RCNN 的卷積主干網(wǎng)

3.2 改進的RPN 微型網(wǎng)絡(luò)

RPN 微型網(wǎng)絡(luò)采用滑動窗口方式對特征圖上的每個點生成輸入圖像上的9 個anchor.如圖5所示,為特征圖中心點對應(yīng)在輸入圖片上的anchor.外黑框為800×600 像素點的原始圖像,內(nèi)、中、外三種粗細方框分別代表128、256、512 三種大小的尺度,每個尺度下又有縱橫比為1∶2、1∶1、2∶1 三種情況,因而每個滑動窗口對應(yīng)9 個anchor.

圖5 特征圖中心點對應(yīng)的anchor

在原始anchor 中,為了保證能自適應(yīng)各種尺度的目標物體,設(shè)置了128、256、512 這三種尺度,由于在實驗工業(yè)相機固定不動,實際得到的目標圖片不會由于距離產(chǎn)生大尺度的變化,因而在本研究中,進行尺度上的縮小和集中,改進為32、64、128 三種尺度,縱橫比依舊不變.

而三種尺度三種比例的anchor 設(shè)置,這相當(dāng)于特征圖中的一個點能夠?qū)?yīng)到原始圖片感受野中的9 個區(qū)域,每個區(qū)域?qū)?yīng)了一個anchor.而通過有監(jiān)督學(xué)習(xí)的參數(shù)訓(xùn)練,模型能夠?qū)?shù)調(diào)整到使計算得到的特征圖能夠?qū)?yīng)到原始圖片中的物體.較小的尺度能夠捕獲到物體間的細小差異,這使得不同類別物體能夠得到區(qū)分,而較大的尺度能夠保證覆蓋原始圖片即全部感受野,這使得原始圖片不會遺漏未檢測到的物體.

由于攝像機的視野固定,因而傳送帶上的待分揀物體呈現(xiàn)在攝像機中的大小不會由于距離的遠近產(chǎn)生變化,因而其尺度變化具有一致性,也就是說,相同類別的物體在圖像中占據(jù)的像素大小差異不會產(chǎn)生大的差異.而原始anchor 中設(shè)置的尺度變化過大,并不適宜物體尺度變化不大的情況.因而將原始尺度進行縮小以適應(yīng)尺度一致的情況是有必要的.

如圖6所示,為RPN 網(wǎng)絡(luò)結(jié)構(gòu).對于給定的輸入圖像,經(jīng)由卷積層產(chǎn)生卷積后特征圖.RPN 微型網(wǎng)絡(luò)在卷積后特征圖上滑動一個3x3 的小窗口,每個窗口映射到一個256 維的特征向量,接著將特征向量送入兩個分支網(wǎng)絡(luò)：cls 分類網(wǎng)絡(luò)和reg 回歸網(wǎng)絡(luò).在這里,將原始的512 維特征向量改進為256 維特征向量,加快了檢測的速度.

Cls 分類器對窗口映射的特征向量進行分類,對每個anchor 預(yù)測一個前景概率和后景概率,因而會有2×9=18 個概率值,用18 個神經(jīng)元表示.Reg 回歸器對窗口映射的特征向量進行回歸,對每個anchor 預(yù)測中心點坐標及寬高的偏移量,用(tx,ty,tw,th)表示,因而會有4×9=36 個偏移量,用36 個神經(jīng)元表示.注意到對特征圖的處理是以滑動窗口方式進行的,因而這些過程可以通過卷積操作實現(xiàn).

圖6 RPN 微型網(wǎng)絡(luò)

3.3 多任務(wù)損失

對于RPN 的訓(xùn)練,本研究采用多任務(wù)損失,將分類器的交叉熵損失與回歸器的SmoothL1 損失相結(jié)合.為了多任務(wù)損失L({pi},{ti}),其分類損失為Lcls(pi,p*i),回歸損失為Lreg(ti,ti*).對于所有樣本的多任務(wù)損失L({pi},{ti})為

其中,Ncls和Nreg為標準化項,λ為權(quán)衡系數(shù).

考慮單個樣本的分類損失

其中,p*為anchor 對應(yīng)的類別標記,p為其對應(yīng)類別標記的預(yù)測概率.

多任務(wù)損失中只計算標記為正的anchor 的回歸損失,單獨考慮回歸器損失函數(shù)

其中,

ti和ti*由四元組表示,為了表示上的簡便,去掉下標i,只考慮單個樣本下的回歸器對anchor 預(yù)測偏移ti及ground truth 對anchor 的真實偏移ti*.

其中,

RPN 網(wǎng)絡(luò)采用隨機梯度下降SGD 方法優(yōu)化多任務(wù)損失函數(shù)L({pi},{ti}),使得損失函數(shù)最小,模型在優(yōu)化過程中完成參數(shù)的調(diào)整,找到一個局部最優(yōu)解.在測試時,使用RPN 對每個anchor 預(yù)測出類別概率及標記為正的anchor 的回歸偏移量.將RPN 微型網(wǎng)絡(luò)的輸出采用非極大抑制方式得到回歸偏移校正的候選框.

3.4 Fast RCNN 檢測子

在Fast RCNN 檢測子中需要注意兩點,其一是分層采樣加快隨機梯度下降的訓(xùn)練速度,其二是感興趣ROI 池化層反向傳播特征圖到池化層的映射可能會有重疊,需要對重疊部分的梯度殘差進行累加計算.

如圖7所示,將候選框proposal 在特征圖feature上對應(yīng)部分進行ROI 池化,得到ROI 特征圖,接著使用全連接FC 進行特定類別的權(quán)值計算.同樣的,檢測部分還是采取Fast R-CNN 中的多任務(wù)損失作為優(yōu)化目標從而調(diào)整權(quán)值.測試時,檢測網(wǎng)絡(luò)在FC 層之后只計算虛線部分得到預(yù)測的類別及位置,并經(jīng)過非極大抑制后得出最終的預(yù)測結(jié)果.

圖7 Fast RCNN 檢測子

4 實驗結(jié)果及分析

實驗采用自標定數(shù)據(jù)集對模型進行訓(xùn)練,將訓(xùn)練好的模型部署在機器人視覺模塊中.實驗過程為在傳送帶上放置不同類型的待分揀對象,隨著傳送帶的恒定運動到達工業(yè)相機視野,相機等時間間隔拍攝照片同時通過通信模塊傳輸?shù)揭曈X系統(tǒng)進行處理.此時Faster RCNN 算法的卷積主干網(wǎng)絡(luò)將逐層提取圖片特征,注意到此時模型的參數(shù)已經(jīng)固定,在一次計算完畢后得到此張圖片的卷積后特征圖.一方面改進后RPN 網(wǎng)絡(luò)將對此特征圖生成候選框,另一方面此特征圖直接送入Fast RCNN 檢測子,同候選框一起生成感興趣區(qū)域得到ROI 池化層,通過分類損失和回歸損失對候選框的類別和位置參數(shù)進行調(diào)整,得到更加精細的結(jié)果.若判斷出相機視野中存在待分揀目標,視覺系統(tǒng)會將此結(jié)果以一定的數(shù)據(jù)通信格式發(fā)送給機器人控制系統(tǒng),隨后在經(jīng)過時間計算后,機械臂將擺動到相應(yīng)位置吸取此目標.

如表1所示,為不同方法的訓(xùn)練時間和測試時間及準確率比較結(jié)果.可以看出這些模型訓(xùn)練時間耗時較長,這是由于數(shù)據(jù)集較大,數(shù)據(jù)的存儲與傳輸也比較耗時.而基于Canny 算子的方法訓(xùn)練時間較短,是因為相比卷積神經(jīng)網(wǎng)絡(luò)方法,它只需要訓(xùn)練一個SVM 分類器,其特征向量的提取采用圖像處理和Canny 邊緣檢測算子等操作,無需訓(xùn)練.從測試時間可以看出,Fast RCNN 無法滿足工業(yè)實時性需求,而Faster RCNN 也只是勉強實時,并不能做到真正實時.

表1 不同方法對比

分析改進的Faster RCNN 模型檢測時間的效果,可以發(fā)現(xiàn)測試時間顯著縮減.這是由于將原始維特征向量改進為256 維特征向量,將特征維度縮減了一半,這減少了模型的參數(shù)數(shù)量,并減少了每張圖片候選框生成的個數(shù),因而通過特征圖生成候選框需要的時間更短,而實驗結(jié)果也證實了這一點.

雖然模型的訓(xùn)練時間相比而言變化不大,但其檢測速度大大加快,這使其真正做到了工業(yè)實時,能夠應(yīng)用在工業(yè)生產(chǎn)中.這種改進是基于相機固定不變的情況下,因而其準確率并沒有太大的降低.相比于Canny算子方法而言,雖然沒有其快速,但是已經(jīng)能達到工業(yè)實時性標準,并且相比而言,其準確率也有顯著提升.

5 總結(jié)與展望

相比傳統(tǒng)方法而言,深度學(xué)習(xí)方法準確率高,然而其在工業(yè)中實時性要求大多算法難以滿足.針對相機固定的工業(yè)分揀機器人,通過對勉強實時的Faster RCNN算法進行改進,本研究將其應(yīng)用到機器人視覺系統(tǒng)中,做到了真正實時,在分揀正確率上有了顯著提升.Faster RCNN 的改進,使其能自由應(yīng)用于各種場景,這提升了機器人的環(huán)境適應(yīng)能力,并提升了其智能程度和技術(shù)水平.然而此種方法在分揀成功率上尚有提升空間,接下來的研究計劃是分析工業(yè)場景的特點,研究單階段算法框架如YOLO[12]和SSD[13]算法,選取更針對性的算法框架,在滿足工業(yè)實時性的基礎(chǔ)上進一步提升分揀效果和智能化程度.