局部自主遙操作中的抓取構(gòu)型識別研究

韓 冬，黃攀峰，齊志剛

(1.西北工業(yè)大學(xué)航天學(xué)院智能機器人研究中心，西安710072；2.西北工業(yè)大學(xué)航天飛行動力學(xué)技術(shù)重點實驗室，西安710072；3.山西師范大學(xué)物理與信息工程學(xué)院，臨汾041000)

1 引言

隨著載人航天技術(shù)的不斷發(fā)展與太空探索的不斷深入，航天員的空間作業(yè)任務(wù)也不斷增加，如空間站的在軌維護、空間實驗的有效開展以及艙外設(shè)備的安裝與巡檢等。航天員完成這類操作固然效率較高，但代價昂貴且安全性也無法有效保障，采用空間機器人代替航天員完成各種復(fù)雜任務(wù)成為各國研究的熱點[1-2]。目前的空間機器人尚不具備完全自主能力，通過操作者在地面進行遙操作完成復(fù)雜作業(yè)是當(dāng)前的主要形式。時延是影響遙操作系統(tǒng)穩(wěn)定性、透明性的關(guān)鍵因素，空間機器人遙操作面臨著大時延與有限帶寬問題[3]，因此采用操作者給出操作目標(biāo)，機器人在視覺引導(dǎo)下進行局部自主遙操作成為解決該問題的有效途徑[4]。

不同于機器人的自主操作，局部自主遙操作需要人機合作完成任務(wù)，因此既需要完成目標(biāo)的檢測與標(biāo)定為人提供操作依據(jù)，又要識別抓取構(gòu)型為機器人完成抓取任務(wù)提供必要條件。抓取構(gòu)型的選取可分為分析法和經(jīng)驗法[5]。分析法包含力閉合法[6]和形閉合法[7]，聚焦于如何穩(wěn)定的抓住目標(biāo)，但其無法完成對目標(biāo)的標(biāo)定。自2014年后，由于人工智能的發(fā)展，經(jīng)驗法迅速發(fā)展起來，其中深度學(xué)習(xí)發(fā)展尤為迅速，深度學(xué)習(xí)方法可以學(xué)習(xí)大量抓捕經(jīng)驗，從而訓(xùn)練出來一組模型參數(shù)，但由于魯棒性差且需采取離線訓(xùn)練的方法，因此不適合空間機器人遙操作。

針對這些問題，國內(nèi)外學(xué)者提出通過圖像識別來實現(xiàn)目標(biāo)檢測與標(biāo)定并確定抓取構(gòu)型的方法[8]。皮思遠等[9]提出了改進的全卷積深度學(xué)習(xí)模型用于可抓取物品識別，應(yīng)用插值方式進行反池化操作，提高了分類結(jié)果的準(zhǔn)確率。但該方法將特征提取與分類采用了分層方法，特征提取不全面，耗時較長。Saxena等[10]采用降維處理算法，利用二維圖像數(shù)據(jù)信息學(xué)習(xí)“好的抓取點”與“壞的抓取點”，并通過實驗驗證該方法的有效性，但由于獲得圖像信息的非完整性，在實際場合應(yīng)用比較困難。Rusu等[11]采用視角區(qū)域特征直方圖法識別抓取構(gòu)型。Papazov等[12]利用RGB-D傳感器在復(fù)雜場景下獲得物體的三維信息，對抓取區(qū)域進行重構(gòu)。Kumra等[13]利用深度卷積神經(jīng)網(wǎng)絡(luò)在RGB-D圖片中提取特征，并采用淺卷積神經(jīng)網(wǎng)絡(luò)對感興趣的物體進行抓取構(gòu)型解算。以上方法由于圖像處理網(wǎng)絡(luò)與識別網(wǎng)絡(luò)信息不共享，導(dǎo)致其處理速度較慢，在大時延多任務(wù)條件下可能造成系統(tǒng)不穩(wěn)定。

針對上述方法存在的識別目標(biāo)速度慢、準(zhǔn)確性低的問題，本文提出一種基于改進Faster RCNN[14]的目標(biāo)檢測與抓取構(gòu)型識別方法。為滿足識別要求，對抓取構(gòu)型進行參數(shù)化處理，提出最優(yōu)的五維參數(shù)描述。在深度卷積神經(jīng)網(wǎng)絡(luò)對目標(biāo)區(qū)域進行特征提取的基礎(chǔ)上，通過區(qū)域生成網(wǎng)絡(luò)(Regional Proposal Network，RPN)進行目標(biāo)檢測，利用Anchor法完成抓取構(gòu)型參數(shù)提取，最后通過線性回歸與分類網(wǎng)絡(luò)實現(xiàn)修正，進一步提高目標(biāo)檢測與構(gòu)型識別的準(zhǔn)確性。

2 目標(biāo)檢測與抓取構(gòu)型估計算法

2.1 抓取構(gòu)型參數(shù)化

為實現(xiàn)目標(biāo)的成功抓取，需要估計出目標(biāo)位姿并轉(zhuǎn)換為機械臂末端的抓取構(gòu)型。不失一般性，設(shè)計抓取位置為物體頂部，因此可以簡化Jiang等[15]的七維參數(shù)抓取構(gòu)型方法，采用五維參數(shù)描述，具體如圖1所示。該圖可以表示抓取構(gòu)型在圖像中的位置和機械臂末端夾持器的狀態(tài)，綠色邊框代表夾持器二指的位置，并且二指與綠邊平行，藍色邊長度代表夾持器張開的長度，藍邊與水平方向的夾角代表夾持器旋轉(zhuǎn)的角度，矩形框的中心為夾持器抓取的位置，本文用g表示機器人成功抓取物體的抓取構(gòu)型參數(shù)，表達式見式(1)。

式中(x，y)代表抓取構(gòu)型的中心位置，(w，h)分別代表抓取構(gòu)型的寬和高，θ代表矩形框相對于水平方向旋轉(zhuǎn)的角度，設(shè)定順時針旋轉(zhuǎn)為負，逆時針旋轉(zhuǎn)為正，由于方向的對稱性，抓取角度區(qū)間取 [-90°，90°]。

為了使目標(biāo)抓取具備更強的魯棒性，將抓取角度參數(shù)θ的取值分為20種，因夾持器為二指構(gòu)型，因此其旋轉(zhuǎn)正負90°后構(gòu)型相同，每個抓取角對應(yīng)的區(qū)間如表1所示。

圖1 抓取構(gòu)型示意圖Fig.1 Schematic diagram of grasp configuration

表1 抓取角度對應(yīng)區(qū)間Table 1 Corresponding regions of grasp angle

2.2 目標(biāo)檢測與抓取構(gòu)型估計

目標(biāo)檢測是在圖像中檢測并識別目標(biāo)，從而為操作者提供指示并確定機械臂末端抓取構(gòu)型。本文在Faster R-CNN的基礎(chǔ)上，利用RPN對目標(biāo)進行識別，通過滑動窗口和Anchor機制先確定抓取構(gòu)型的(x，y，w，h)參數(shù)，然后將對應(yīng)的區(qū)域特征輸入到全連接層，得到的目標(biāo)識別結(jié)果輸出到線性回歸網(wǎng)絡(luò)和分類網(wǎng)絡(luò)，線性回歸網(wǎng)絡(luò)進一步對抓取構(gòu)型進行修正，提高抓取構(gòu)型的精度。分類網(wǎng)絡(luò)根據(jù)抓取區(qū)域特征確定抓取構(gòu)型參數(shù)θ的大小，確定抓取角度。

本算法的神經(jīng)網(wǎng)絡(luò)框架如圖2所示，該框架是由3部分組成：第1部分完成圖像特征提取，第2部分實現(xiàn)抓取構(gòu)型中與目標(biāo)位姿相關(guān)參數(shù)的識別，第3部分對參數(shù)進行修正并確定抓取角度。

圖2 抓取構(gòu)型識別算法流程圖Fig.2 Flow chart of recognition algorithm for grasp configuration

第1部分是由特征提取網(wǎng)絡(luò)構(gòu)成，采用經(jīng)典的VGG16網(wǎng)絡(luò)[16]，該網(wǎng)絡(luò)是 Image Net ILSVRC 2014競賽模型，其網(wǎng)絡(luò)層比常用網(wǎng)絡(luò)結(jié)構(gòu)擴展了2倍，對特征提取更加豐富，為后期的目標(biāo)檢測和抓取構(gòu)型估計提供輸入。該部分與Faster R-CNN算法所采用的特征提取網(wǎng)絡(luò)一致，首先輸入高為H、寬為W像素的圖像，然后采用VGG16神經(jīng)網(wǎng)絡(luò)架構(gòu)進行特征提取，得到的特征圖像高寬分別為H/16、W/16。 在卷積層，采用卷積核為3×3，步長為1，填充(Padding)參數(shù)為補零(SAME)的卷積方式，輸出特征圖。

第2部分是由RPN網(wǎng)絡(luò)組成，該部分采用上一部分輸出的特征圖，通過Anchor方法檢測到目標(biāo)，識別目標(biāo)位姿，并用修正邊界框標(biāo)識，網(wǎng)絡(luò)輸出修正邊界框與抓取概率。

第3部分完成抓取構(gòu)型識別，通過將修正邊界框的特征值輸入到全連接層，然后分別輸出抓取構(gòu)型對應(yīng)20種角度的抓取概率。

2.2.1 生成修正邊界框

1)特征提取。通過512通道，3×3卷積核將特征提取后得到的特征圖像進行卷積，輸出為(512，H/16，W/16)大小的特征圖像，再通過 2 個并行的1×1卷積核進行卷積，通道數(shù)分別為18和36。輸出特征圖像保持高、寬不變。

2)參考邊界框提取。以特征圖像的每個像素為中心，按不同尺度和長寬比產(chǎn)生矩形框，由于夾持器張開角度限制，尺度選取應(yīng)適當(dāng)。為滿足識別出不同尺度不同形狀的目標(biāo)，選取尺度為[2，4，8]，長寬比采用[1 ∶2，1 ∶1，2 ∶1]的 3 種比率，共9個區(qū)域。由于尺度選取對應(yīng)的是特征圖像，實際操作中需把參考邊界框映射到原始圖像，考慮到基礎(chǔ)尺度為16，因此映射到原始圖像后，每個參考邊界框的尺度為[322，642，1282]，每個尺度對應(yīng)的長寬比率如圖3所示。

圖3 特征圖與參考邊界框Fig.3 Feature maps and bounding boxes with reference

為了解決參考邊界框重疊問題，采用了非極大值抑制(Non-maximum suppression)方法，通過利用不同的尺寸和比例將產(chǎn)生的所有參考候選框與已標(biāo)定的真實抓取構(gòu)型進行比較，把與標(biāo)定抓取構(gòu)型的交并比(Io U)大于設(shè)定閾值的邊界框定義為參考邊界框，交并比的計算方法見式(2)。

式中，A∩G代表真實抓取構(gòu)型與預(yù)測抓取構(gòu)型面積的交集，A∪G代表真實抓取構(gòu)型與預(yù)測抓取構(gòu)型面積的并集，如圖4所示。

3)RPN網(wǎng)絡(luò)回歸。由卷積核(36，1，1)卷積得到(36，H/16，W/16)預(yù)測偏移值，其中每一個位置對應(yīng)36通道，每4個通道的數(shù)值對應(yīng)每個參考邊界框的中心位置(x，y)和高寬(H，W)的偏移值，由于每個位置對應(yīng)9個參考邊界框，因此每個位置有36通道，分別對應(yīng)9個參考邊界框的偏移值，然后通過Reshape函數(shù)將預(yù)測偏移值轉(zhuǎn)換成為(9×H/16×W/16，4)結(jié)構(gòu)的邊界框偏移值。

圖4 交并比示意圖Fig.4 Schematic diagram of Io U

4)修正邊界框生成。將生成為(9×H/16×W/16，4)的邊界框偏移值與參考邊界框相加，即可得到修正邊界框?？紤]到抓取構(gòu)型與目標(biāo)姿態(tài)有關(guān)，為了使修正邊界框滿足抓取要求，采用2次線性回歸方法， A=(Ax，Ay，Aw，Ah) 代表 Anchor的中心位置與長寬參數(shù)， G=(Gx，Gy，Gw，Gh) 代表目標(biāo)在圖像中的真實區(qū)域， G′=(G′x，G′y，G′w，G′h)代表經(jīng)過線性回歸所得到的區(qū)域，可得G′≈G。根據(jù)泰勒展開定理，當(dāng)Anchor區(qū)域與目標(biāo)真實區(qū)域相距較近時，兩者的關(guān)系可近似表示為線性關(guān)系，該線性關(guān)系可表示為式(3)：

式中，φ(A)為特征向量，w為待學(xué)習(xí)的權(quán)重參數(shù)， d(A)= [dx(A)，dy(A)，dw(A)，dh(A)]為線性關(guān)系表達式，具體表示為式(4)：

為了使回歸后的區(qū)域值與真實區(qū)域值偏差最小，設(shè)計修正網(wǎng)絡(luò)損失函數(shù)為式(5)：

式中， t= [tx，ty，tw，th]， 各分量表示為式(6)：

修正邊界框到抓取構(gòu)型的回歸過程如圖5所示。其中紅色為修正邊界框，藍色為對修正邊界框線性回歸后的結(jié)果，在對其進行角度修正后，可獲得目標(biāo)的抓取構(gòu)型。

圖5 修正邊界框線性回歸過程Fig.5 Linear regression of bounding boxes with revise

5)修正邊界框篩選。舍去超出圖像的修正邊界框和長寬比太小的修正邊界框；根據(jù)每個修正邊界框的抓取分?jǐn)?shù)，選取前6000個高分?jǐn)?shù)修正邊界框；利用非最大值抑制(Non-Maximum Suppression)方法，從6000個修正邊界框中選出300個修正邊界框。

2.2.2 生成邊界框抓取概率

1)將RPN網(wǎng)絡(luò)生成的特征圖通過二分類網(wǎng)絡(luò)由卷積核(18，1，1)卷積得到(18， H/16，W/16)結(jié)構(gòu)的特征圖，由于每一個位置對應(yīng)9個候選邊界框，因此其通過卷積得到的18通道分別對應(yīng)每個候選邊界框的可抓取分?jǐn)?shù)和不可抓取分?jǐn)?shù)。

2)將得到每個區(qū)域的得分通過非線性映射函數(shù)Softmax映射到[0，1]區(qū)間，得到每個候選邊界框可抓取概率和不可抓取概率，然后得到每個修正邊界框的抓取概率。

2.2.3 生成抓取構(gòu)型參數(shù)

將2.2.1節(jié)步驟5中篩選出來的300個修正邊界框進行區(qū)域池化(RoI Pooling)處理，生成固定大小為(7，7，512)的特征值，輸入到全連接層，預(yù)測出每個修正邊界框?qū)?yīng)每個抓取角度的概率，同時對位置和大小進一步進行修正，最后得到抓取構(gòu)型參數(shù)。

2.2.4 設(shè)計損失函數(shù)

考慮到抓取任務(wù)的需求，按照多任務(wù)要求設(shè)計最小化損失函數(shù)，如式(7)所示。

式中，g代表參考抓取構(gòu)型的可抓取分?jǐn)?shù)，a代表旋轉(zhuǎn)角度類別，t代表參考抓取構(gòu)型線性回歸參數(shù)，當(dāng)修正邊界框與標(biāo)定的真實抓取構(gòu)型交并比超過設(shè)定閾值時，值取1，否則值取0，為預(yù)測抓取構(gòu)型參數(shù)A與真實抓取構(gòu)型參數(shù)G的差值，λ1、λ2為平衡參數(shù)，Lgrp，Lang采用Softmax損失函數(shù)，Lreg采用L1損失函數(shù)。采用L1損失函數(shù)，可以有效的使訓(xùn)練模型收斂，提高訓(xùn)練效率[17]。

3 神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練

神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練采用了隨機梯度下降法，在損失函數(shù)收斂后，完成神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練。

3.1 模型訓(xùn)練

在訓(xùn)練模型過程中，訓(xùn)練數(shù)據(jù)的準(zhǔn)備、超參數(shù)的選取對訓(xùn)練的模型至關(guān)重要，其對訓(xùn)練模型的精度和魯棒性起決定性作用。

首先讀取Cornell Grasp Detection數(shù)據(jù)集的pcdxxxxcpos.txt文件，根據(jù)每4行數(shù)據(jù)，計算標(biāo)注的抓取構(gòu)型參數(shù)，利用前2行位置坐標(biāo)計算抓取構(gòu)型參數(shù)(h，θ)，其中h為兩點之間的距離，θ為兩點直線與水平線之間的夾角，利用表1找到對應(yīng)區(qū)間的代表角度，并將標(biāo)注抓取構(gòu)型標(biāo)記為對應(yīng)類型θ，最后根據(jù)位置坐標(biāo)計算出抓取構(gòu)型的中心位置(x，y)。 為提供較多的特征數(shù)據(jù)和訓(xùn)練數(shù)據(jù)的魯棒性，把覆蓋標(biāo)注的抓取構(gòu)型最小區(qū)域設(shè)置為前景，稱其為“抓取構(gòu)型前景”，前景區(qū)域如圖6所示，其中實線矩形代表抓取物體，虛線矩形代表標(biāo)注抓取構(gòu)型，點畫線矩形代表“抓取構(gòu)型前景”。采用標(biāo)注抓取構(gòu)型參數(shù)與預(yù)測候選框的參數(shù)差值進行線性回歸，將與前景區(qū)域交并比大于0.7的預(yù)測候選框設(shè)置為正樣本，小于0.3的預(yù)測候選框設(shè)置為負樣本，其他情況的舍去，不參與模型訓(xùn)練。通過篩選，每張圖片中的正負樣本總共個數(shù)為256個。

將原始圖像根據(jù)縮放比例k進行放大，其中k值計算方法見式(8)，將圖像去中心化，即每個像素3通道值減去[102，115，122]，得到去中心化的圖像數(shù)據(jù)作為訓(xùn)練樣本，為提高訓(xùn)練出來模型的魯棒性，通過水平翻轉(zhuǎn)的方法將訓(xùn)練數(shù)據(jù)量擴展到1倍。

圖6 前景區(qū)域示意圖Fig.6 Schematic diagram of foreground region

在訓(xùn)練模型時，采用整體訓(xùn)練的方法，同時利用ImageNet訓(xùn)練好的參數(shù)進行初始化網(wǎng)絡(luò)參數(shù)。Epochs參數(shù)為1000，學(xué)習(xí)率為 0.001，Weight Decay參數(shù)設(shè)置為0.0001，Minibatch參數(shù)選擇為1，即每一張圖片作為一個Batch進行訓(xùn)練；在將RoI區(qū)域向全連接層輸入特征時，采用的固定尺寸為(7，7)，并在訓(xùn)練時，全連接層失活率(Dropout)采用0.5。

經(jīng)過 Fine-Tuning訓(xùn)練后，通過 Tensorboard得到的損失函數(shù)收斂過程如圖7所示，從結(jié)果可知，損失函數(shù)收斂。

圖7 損失函數(shù)收斂過程Fig.7 Convergence process of loss function

3.2 模型測試

將訓(xùn)練得到模型用于測試，測試時每張圖片得到300個抓取構(gòu)型，每個構(gòu)型對應(yīng)20種類別得分，即20種角度得分，每種類別對應(yīng)4個抓取構(gòu)型修正參數(shù)[tx，ty，tw，th]。 把每個構(gòu)型最高分對應(yīng)的類別作為構(gòu)型抓取角度，通過采用非極大值抑制方法得到若干個抓取構(gòu)型，經(jīng)過排序后，把最高得分的構(gòu)型視為抓取構(gòu)型。若檢測得抓取構(gòu)型與標(biāo)注的抓取構(gòu)型交并比大于設(shè)定閾值，則視為抓取構(gòu)型檢測成功。

4 測試結(jié)果

4.1 網(wǎng)絡(luò)識別測試

對多目標(biāo)抓取構(gòu)型檢測結(jié)果如圖 8所示。每個目標(biāo)標(biāo)識前3個概率最大的抓取構(gòu)型，其中綠色邊框為夾持器的兩指所在位置，紅色邊框長度為夾持器張開寬度，紅色邊框與水平線的夾角為抓取構(gòu)型相對于水平面旋轉(zhuǎn)角度，每個抓取構(gòu)型標(biāo)有序號，序號越小代表預(yù)測的抓取構(gòu)型概率越高，即抓取物體成功率越高。

圖8 多目標(biāo)抓取構(gòu)型檢測結(jié)果示意圖Fig.8 Grasp configuration detection of multiple objects

利用Cornell Grasp Detection測試數(shù)據(jù)對訓(xùn)練得到的模型進行測試，測試集共有圖片1034張，統(tǒng)一像素為640×480，訓(xùn)練文件為9個，測試文件為1個，神經(jīng)網(wǎng)絡(luò)訓(xùn)練框架為tensorflow，GPU為GTX2080Ti。相同測試條件下，與4種已有識別方法準(zhǔn)確率比較如表2所示。Jiang等[15]改進抓取點檢測為抓取矩形區(qū)域檢測并提出搜索空間分割算法，提高了檢測速度，但由于空間的分割使得特征提取不完整，因此降低了檢測準(zhǔn)確率。Lenz等[18]為解決多目標(biāo)檢測問題，提出了二階級聯(lián)網(wǎng)絡(luò)方法，特征提取通過多級網(wǎng)絡(luò)完成，提高了檢測速度，但初級特征提取選擇了淺層網(wǎng)絡(luò)，導(dǎo)致準(zhǔn)確率較低。針對單個目標(biāo)的多邊界框選取問題，Redmon等[19]提出了局部預(yù)測方法，對多邊界框給出了抓捕成功率的預(yù)測值，提高了抓捕成功率，但其采用了單次回歸方法，導(dǎo)致邊界框的修正不夠精確。Guo等[20]采用了深度卷積網(wǎng)絡(luò)對抓捕構(gòu)型進行識別，并建立了具有觸覺傳感器的機器人實驗平臺，證實了抓捕構(gòu)型識別的準(zhǔn)確性。

表2 識別準(zhǔn)確率比較Table 2 Comparison of recognition accuracy

改進區(qū)域卷積網(wǎng)絡(luò)算法采用級聯(lián)深度卷積網(wǎng)絡(luò)，由表2可知，本文提出的算法識別準(zhǔn)確率高于其他方法，識別準(zhǔn)確率為96.4%，這源于算法在以下3方面的改進：

1)采用VGG16深層網(wǎng)絡(luò)進行特征提取，比常用的網(wǎng)絡(luò)結(jié)構(gòu)擴展了2倍，其他幾種算法采用6層淺層網(wǎng)絡(luò)進行特征提取，本文算法提取特征信息更加豐富，與其他算法相比具有一定的優(yōu)越性；

2)采用2次線性回歸的方法對抓取構(gòu)型進行修正，在有限時間增加的條件下，顯著提高了識別準(zhǔn)確率；

3)優(yōu)化了特征區(qū)域選取方法，將覆蓋抓取構(gòu)型的最小矩形區(qū)域設(shè)為前景進行學(xué)習(xí)，這樣可以更加充分的學(xué)習(xí)抓取構(gòu)型區(qū)域特征，提高識別準(zhǔn)確率。

在抓取構(gòu)型識別的同時，為給操作者提供必要的指示信息，算法會將抓取構(gòu)型進行編號，并提供不同構(gòu)型抓取成功概率，操作者可以根據(jù)信息輔助操作與決策。標(biāo)記結(jié)果如圖9所示，其中圖片上方標(biāo)注16組數(shù)據(jù)，每組數(shù)據(jù)對應(yīng)圖片中每個抓取構(gòu)型參數(shù)，由豎線分隔。第1列代表抓取構(gòu)型標(biāo)號，其與檢測候選框標(biāo)號一一對應(yīng)；第2列代表抓取構(gòu)型相對于水平面旋轉(zhuǎn)角度；第3列代表對應(yīng)抓取構(gòu)型的抓取成功概率，根據(jù)抓取成功概率的不同，選擇適當(dāng)?shù)淖ト?gòu)型以及抓取位置。

4.2 實驗平臺測試

為驗證算法的有效性與準(zhǔn)確性，設(shè)計了機器人試驗平臺，該平臺由包含二指結(jié)構(gòu)夾持器的ABB14000機器人以及圖像獲取設(shè)備Kinect構(gòu)成，Kinect可以準(zhǔn)確檢測目標(biāo)的深度信息，如圖10所示。圖像信息由的Kinect傳感器采集，通過網(wǎng)絡(luò)傳輸?shù)綑C器人中控計算機進行處理，在識別出抓捕構(gòu)型后，機械臂按參數(shù)(x，y)運動到目標(biāo)上方，通過機器人末端關(guān)節(jié)旋轉(zhuǎn)來調(diào)整夾持角度θ，夾持器張開長度由參數(shù)w給出，機械臂根據(jù)深度信息向下運動h距離。

圖9 復(fù)雜幾何體抓取構(gòu)型檢測結(jié)果示意圖Fig.9 Grasp configuration detection of complicated geometrical bodies

圖10 算法驗證試驗平臺Fig.10 Fabricated setup for verification experiments

圖11 展示了試驗過程的4個階段，分別為機械臂水平運動到抓取位置上方，旋轉(zhuǎn)機械臂末端關(guān)節(jié)角并張開夾持器，垂直運動到目標(biāo)物體上方并完成夾持，轉(zhuǎn)移物體到放置盒內(nèi)。通過機械臂夾持物體試驗驗證了本文算法對抓取構(gòu)型識別的準(zhǔn)確性。

5 結(jié)論

圖11 驗證試驗4個階段Fig.11 Four snapshots of the verification experiment

本文針對局部自主遙操作過程中識別目標(biāo)速度慢、準(zhǔn)確率低的問題，提出了一種基于改進快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(faster R-CNN)的抓取構(gòu)型識別方法。該算法采用VGG16深度卷積神經(jīng)網(wǎng)絡(luò)對圖像進行特征提取，2次線性回歸的方法進行修正，并改進了前景特征區(qū)域的選取，使抓取構(gòu)型更加精確，進一步提高識別的準(zhǔn)確率?？紤]到末端夾持器的特點，提出了復(fù)合損失函數(shù)，提高了訓(xùn)練效率。通過Cornell Grasp Detection測試數(shù)據(jù)對訓(xùn)練得到的模型進行測試，算法識別準(zhǔn)確率測試結(jié)果為96.4%，性能優(yōu)于同類相關(guān)算法。機器人試驗平臺測試結(jié)果表明，在簡單場景下，通過該方法可以完成機器人對目標(biāo)的抓取任務(wù)。