一種基于視角選擇經(jīng)驗(yàn)增強(qiáng)算法的機(jī)器人抓取策略

王高 陳曉鴻 柳寧 李德平?

（1.暨南大學(xué)信息科學(xué)技術(shù)學(xué)院，廣東廣州 510632；2.暨南大學(xué)機(jī)器人智能技術(shù)研究院，廣東廣州 510632；3.暨南大學(xué)智能科學(xué)與工程學(xué)院，廣東珠海 519070）

抓取能力是機(jī)器人智能化的關(guān)鍵處理能力。面向散亂堆疊物品的機(jī)械化分揀，成為機(jī)器人與人類動(dòng)作能力對(duì)比驗(yàn)證的皇冠問題。近年來，隨著計(jì)算機(jī)視覺和深度學(xué)習(xí)的發(fā)展，機(jī)器人抓取技術(shù)取得長足進(jìn)展，即基于視覺感知技術(shù)，選擇合適的抓取姿態(tài)用以操縱末端執(zhí)行器實(shí)現(xiàn)抓取。但是，由于物體間形狀大小不同、復(fù)雜的背景、物體間相互遮擋等情況，如何在混雜物體散亂堆疊場景下，實(shí)現(xiàn)快速準(zhǔn)確的抓取仍是極具挑戰(zhàn)性的課題［1］。

針對(duì)散亂堆疊環(huán)境的機(jī)器人抓取問題，國內(nèi)外學(xué)者開展了大量相關(guān)研究，包括但不僅限于采用單目相機(jī)結(jié)合結(jié)構(gòu)光、多目相機(jī)、彩色深度（RGB-D）相機(jī)等方案。影響機(jī)器人抓取能力的因素有多方面，本文主要關(guān)注視覺方面的因素，包括物體識(shí)別定位、抓取姿態(tài)生成等。

早期的機(jī)器人抓取研究側(cè)重于匹配物體三維模型或進(jìn)行三維解析推理獲取抓取區(qū)域，通常的流程為提取待抓物體對(duì)象特征，然后在點(diǎn)云或RGB-D圖像中進(jìn)行特征匹配，獲取局部點(diǎn)云，之后進(jìn)行位姿估計(jì)。在傳統(tǒng)方法中，使用人工設(shè)計(jì)的特征進(jìn)行特 征匹配，主要的人工特征有SIFT［2］、PPF［3］、Linemod［4］等，但這些方法需要預(yù)先獲得物體的三維模型進(jìn)行特征提取。當(dāng)存在多個(gè)物體，需要為每一個(gè)物體創(chuàng)建模板，因此，出現(xiàn)了基于深度學(xué)習(xí)的無物體三維模型位姿估計(jì)研究。例如，Xiang 等［5］提出PoseCNN（位姿卷積神經(jīng)網(wǎng)絡(luò)），通過多層卷積神經(jīng)網(wǎng)絡(luò)提取特征后，使用兩個(gè)全卷積網(wǎng)絡(luò)分別進(jìn)行語義分割和物體平移估計(jì)，采用全連接網(wǎng)絡(luò)回歸物體姿態(tài)的四元數(shù)，最后組合這3個(gè)網(wǎng)絡(luò)結(jié)果獲得物體的位姿信息。Wang 等［6］在其提出的DenseFu?sion（密集融合網(wǎng)絡(luò)）中通過一種異構(gòu)網(wǎng)絡(luò)分別處理彩色和深度數(shù)據(jù)以充分利用這兩種數(shù)據(jù)的互補(bǔ)信息進(jìn)行位姿估計(jì)，在許多場景下的表現(xiàn)優(yōu)于基于特征工程的傳統(tǒng)方法，但它依賴于前置語義分割網(wǎng)絡(luò)獲取局部點(diǎn)云，從而導(dǎo)致位姿估計(jì)精度會(huì)受到語義分割精度的影響?；谏疃葘W(xué)習(xí)的位姿估計(jì)方法大多需要大規(guī)模運(yùn)算資源，對(duì)機(jī)器人抓取效率有較大影響。

隨著深度學(xué)習(xí)的發(fā)展，眾多學(xué)者開始對(duì)直接生成抓取姿態(tài)進(jìn)行研究，即從可能抓取姿態(tài)的無窮空間中采樣，并對(duì)采用得到的抓取候選姿態(tài)集根據(jù)一些質(zhì)量指標(biāo)進(jìn)行排序。Lenz等［7］使用卷積網(wǎng)絡(luò)預(yù)測圖像塊是否包含潛在抓取，將圖像分解為若干個(gè)圖像框迭代預(yù)測，準(zhǔn)確率達(dá)到75%，但每幅圖像的處理時(shí)間高達(dá)13.5 s。Park 等［8］提出一種基于分類的多級(jí)空間變換網(wǎng)絡(luò)，該方法允許觀察部分中間結(jié)果，如抓取候選姿態(tài)的抓取位置和方向。Morrison等［9］提出抓取生成卷積神經(jīng)網(wǎng)絡(luò)（GGCNN），以端到端的方式，直接從深度圖生成像素語義上的抓取位姿和抓取權(quán)重，通過抓取權(quán)重選擇最佳抓取效果，此方法在任意孤立物體抓取中可獲得88%以上成功率。

上述工作主要在物體位姿估計(jì)、抓取姿態(tài)生成方面提升機(jī)器人抓取能力，一些學(xué)者則從主動(dòng)視覺方面進(jìn)行研究。Gualtieri 等［10］對(duì)合適的視角是否能影響抓取檢測準(zhǔn)確度進(jìn)行研究，提出“Smart”視角選擇算法，在已知物體粗略抓取位姿的情況下，計(jì)算最優(yōu)視角以提高抓取位姿的準(zhǔn)確度，其實(shí)驗(yàn)證明了合適的視角能夠極大地提高抓取檢測中獲得的抓取候選點(diǎn)數(shù)量。Ten 等［11］在機(jī)器人運(yùn)動(dòng)軌跡中選擇若干個(gè)點(diǎn)采集點(diǎn)云數(shù)據(jù)，將多個(gè)視角的點(diǎn)云數(shù)據(jù)合成為一種稱為視點(diǎn)云（View Point Cloud）的結(jié)構(gòu)，以視點(diǎn)云作為輸入進(jìn)行抓取檢測。Morrison 提出Multi-View-Picking［12］方法，使用抓取檢測輸出的抓取質(zhì)量為輸入，面向最大熵減的目標(biāo)進(jìn)行下一次最佳視角預(yù)測，在抓取執(zhí)行過程中多次進(jìn)行最佳視角預(yù)測，該方法在雜亂堆疊場景中相對(duì)于固定視角提高了12%的抓取成功率。然而，此算法需要進(jìn)行多次視角選擇迭代且需要依賴于特定抓取檢測算法。

另一方面，深度強(qiáng)化學(xué)習(xí)在不同領(lǐng)域取得突破性成果吸引了大量學(xué)者的注意，在機(jī)器人操作中，深度強(qiáng)化學(xué)習(xí)提供了一種框架，能夠令機(jī)器人自主地通過視覺信息學(xué)習(xí)各類操作技能。例如，Zeng等［13］提出VPG（Visual Pushing &Grasping，視覺推動(dòng)與抓取網(wǎng)絡(luò)），通過深度Q 網(wǎng)絡(luò)（DQN）令機(jī)器人學(xué)習(xí)推和抓兩種動(dòng)作的協(xié)同；Deng 等［14］設(shè)計(jì)了一種結(jié)合吸嘴和夾爪的組合夾爪，通過DQN 框架引導(dǎo)機(jī)器人主動(dòng)探索環(huán)境，獲取更優(yōu)的抓取置信圖。谷歌大腦團(tuán)隊(duì)［15］提出基于Q學(xué)習(xí)連續(xù)動(dòng)作泛化的離線策略訓(xùn)練方法，將大規(guī)模分布式優(yōu)化和DQN 結(jié)合，令機(jī)器人能夠?qū)W習(xí)動(dòng)態(tài)閉環(huán)控制策略而進(jìn)行物體抓取。

由此，相機(jī)視角的選擇對(duì)于機(jī)器人抓取的效果起著重要的作用。針對(duì)相機(jī)隨末端運(yùn)動(dòng)的機(jī)器人雜亂堆疊環(huán)境抓取問題，本文的主要研究內(nèi)容如下：

（1）提出一種基于深度強(qiáng)化學(xué)習(xí)的眼-手隨動(dòng)相機(jī)視角選擇策略，通過深度網(wǎng)絡(luò)擬合視角價(jià)值函數(shù)，在DQN框架下學(xué)習(xí)視角選擇策略。

（2）提出一種視角選擇經(jīng)驗(yàn)增強(qiáng)算法，解決訓(xùn)練過程中出現(xiàn)的稀疏獎(jiǎng)勵(lì)問題，提高網(wǎng)絡(luò)收斂速度。

（3）分別在V-REP?（Virtual Robot Experimenta?tion Platform）仿真環(huán)境和實(shí)體機(jī)器人上進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)中網(wǎng)絡(luò)訓(xùn)練可以在2 h 左右達(dá)到收斂，在實(shí)體機(jī)器人混雜場景中抓取成功率達(dá)到82.7%，每小時(shí)平均抓取個(gè)數(shù)達(dá)到294個(gè)。

1 視角選擇策略學(xué)習(xí)框架

1.1 任務(wù)描述

在機(jī)器人抓取應(yīng)用場景中，采用相機(jī)隨機(jī)器人末端移動(dòng)（眼在手上）的方式實(shí)現(xiàn)混雜物品散亂堆疊的抓取。相對(duì)于固定環(huán)境相機(jī)，眼在手上相機(jī)的抓取具有更高的靈活性，機(jī)器人能夠根據(jù)運(yùn)動(dòng)可達(dá)空間選擇合適的拍攝位姿。由于相機(jī)安裝在機(jī)器人末端，則機(jī)器人視角V可以由相機(jī)在機(jī)器人坐標(biāo)系下的6維位姿定義：

式中：x、y、z為機(jī)器人末端在基坐標(biāo)系的位置，rx、ry、rz分別是繞x、y、z軸的旋轉(zhuǎn)角度。

機(jī)器人主動(dòng)視角選擇抓取任務(wù)的工作流程如圖1所示。首先機(jī)器人移動(dòng)至預(yù)先設(shè)定好的全局拍照點(diǎn)進(jìn)行拍照以獲取整個(gè)工作空間的圖像，獲取深度圖像后進(jìn)行最佳視角預(yù)測，得到最佳視角的像素坐標(biāo)VI，再經(jīng)由相機(jī)模型和坐標(biāo)變換得到最佳視角的機(jī)器人坐標(biāo)VR，機(jī)器人移動(dòng)到VR獲取局部圖像進(jìn)行抓取檢測，然后執(zhí)行相應(yīng)抓取動(dòng)作，最后判斷是否達(dá)到結(jié)束任務(wù)條件，否則重復(fù)以上步驟。

圖1 機(jī)器人主動(dòng)視角選擇抓取任務(wù)示意圖Fig.1 Illustration of robot active viewpoint selection grasping task

1.2 任務(wù)建模

將強(qiáng)化學(xué)習(xí)應(yīng)用到機(jī)器人主動(dòng)視角選擇的關(guān)鍵問題是視角選擇過程的馬爾可夫決策過程（MDP）建模。基于智能體和環(huán)境進(jìn)行構(gòu)建的MDP 是一種基于序列決策的數(shù)學(xué)模型，視角選擇過程的MDP 模型如圖2所示。

圖2 機(jī)器人抓取任務(wù)馬爾可夫決策過程Fig.2 Markov decision process in robot grasping task

機(jī)器人通過相機(jī)感知系統(tǒng)當(dāng)前的狀態(tài)，并根據(jù)視角選擇策略獲取最佳視角，移動(dòng)至最佳視角并執(zhí)行抓取流程（即再次獲取深度圖執(zhí)行抓取檢測并根據(jù)抓取檢測的結(jié)果決定是否執(zhí)行抓?。?，最后檢測夾爪狀態(tài)并獲取獎(jiǎng)勵(lì)。因此，需要在視角選擇過程MDP模型中對(duì)狀態(tài)空間、動(dòng)作空間、獎(jiǎng)勵(lì)和策略進(jìn)行定義。

1.2.1 狀態(tài)空間

抓取環(huán)境的狀態(tài)st定義為在t時(shí)刻待抓取物體之間的位置關(guān)系，本文使用在全局拍照位置獲得的深度圖作為st，即在每次抓取前，機(jī)器人移動(dòng)至預(yù)先設(shè)定的能夠觀察到整個(gè)工作空間的視角，以此視角獲取的深度圖表達(dá)當(dāng)前環(huán)境的狀態(tài)。

1.2.2 動(dòng)作空間

視角選擇動(dòng)作a定義為機(jī)器人移動(dòng)到視角選擇策略預(yù)測的下一個(gè)最佳視角，并執(zhí)行抓取流程。由于相機(jī)安裝于機(jī)器人末端，視角選擇可以包含6個(gè)自由度，但是六維的連續(xù)動(dòng)作空間將導(dǎo)致樣本復(fù)雜度為O（n6）。高維模型在訓(xùn)練時(shí)候耗費(fèi)大量計(jì)算資源，并且需要海量訓(xùn)練數(shù)據(jù)才能使網(wǎng)絡(luò)收斂。為了增強(qiáng)學(xué)習(xí)訓(xùn)練結(jié)果部署在實(shí)體機(jī)器人上的可行性，本文將無窮多的視角選擇集簡化為3個(gè)自由度的有限視角集合，即根據(jù)表示環(huán)境狀態(tài)的深度圖，產(chǎn)生與其深度圖像素點(diǎn)一一對(duì)應(yīng)的視角點(diǎn)，即：

式中：r、c分別表示像素點(diǎn)的行坐標(biāo)和列坐標(biāo)，zr，c表示深度圖在像素點(diǎn)（r，c）位置上的深度值，ar，c表示深度圖在像素點(diǎn)（r，c）位置上對(duì)應(yīng)的動(dòng)作。

因此，動(dòng)作空間的維度為二維空間。通過相機(jī)針孔模型P和手眼標(biāo)定獲得的剛性變換矩陣，可將動(dòng)作ar，c轉(zhuǎn)換為以機(jī)器人坐標(biāo)系表示的動(dòng)作：

式中：P（r，c，zr，c）表示動(dòng)作ar，c通過相機(jī)針孔模型P轉(zhuǎn)換得到的ar，c在相機(jī)坐標(biāo)系的位置

1.2.3 獎(jiǎng)勵(lì)設(shè)計(jì)

獎(jiǎng)勵(lì)rt表示在t時(shí)刻的狀態(tài)st下，執(zhí)行視角選擇動(dòng)作at后得到的收益。它是關(guān)于st、at以及下一時(shí)刻的狀態(tài)st+1的函數(shù)，即：

在機(jī)器人抓取任務(wù)中，其最終目的是提高抓取成功率。因此，獎(jiǎng)勵(lì)設(shè)計(jì)為二維空間圓形區(qū)域獎(jiǎng)勵(lì)：若抓取成功，獎(jiǎng)勵(lì)的值由從圓心到邊緣從1下降至0.5的二維高斯函數(shù)計(jì)算；若抓取失敗，圓形區(qū)域的值為0。即：

式中，x0、y0為獎(jiǎng)勵(lì)區(qū)域的圓心，r為獎(jiǎng)勵(lì)區(qū)域的半徑，σ為獎(jiǎng)勵(lì)從圓心到邊緣下降的速度。在圓形區(qū)域外的獎(jiǎng)勵(lì)為未定義，不支持參數(shù)更新。

1.2.4 視角狀態(tài)價(jià)值函數(shù)與最優(yōu)策略

基于獎(jiǎng)勵(lì)定義可將機(jī)器人最終目標(biāo)轉(zhuǎn)換為最大化回報(bào)，回報(bào)是指從開始抓取到物體清空結(jié)束，這一有限長狀態(tài)動(dòng)作序列τ中的獎(jiǎng)勵(lì)累計(jì)值。為了控制機(jī)器人傾向于盡可能快地完成抓取任務(wù)，本文中使用帶折扣因子的回報(bào)函數(shù)，即：

式中：γ為未來獎(jiǎng)勵(lì)折扣因子，表示智能體對(duì)未來獎(jiǎng)勵(lì)的權(quán)重，權(quán)重越大越重視長期回報(bào)，反之則更重視短期回報(bào)。

式（7）所示視角狀態(tài)價(jià)值函數(shù)Qπ（s，a）表示機(jī)器人基于視角選擇策略π在狀態(tài)s下執(zhí)行視角動(dòng)作a后的期望回報(bào)：

式中，s為當(dāng)前狀態(tài)，a為執(zhí)行的動(dòng)作。

通過視角狀態(tài)價(jià)值函數(shù)Qπ（s，a）可以評(píng)估當(dāng)前狀態(tài)s下的機(jī)器人執(zhí)行動(dòng)作a在未來可以獲得的期望獎(jiǎng)勵(lì)，Q值越大，說明采取該動(dòng)作能夠在未來獲得更大的回報(bào)，即價(jià)值越大。在Qπ（s，a）已知條件下，可以通過選擇令Q函數(shù)取最大值的動(dòng)作為最優(yōu)動(dòng)作，導(dǎo)出貪婪最優(yōu)策略π*，即：

通過上述MDP 建模過程分析，可將求解機(jī)器人最佳視角選擇問題轉(zhuǎn)換為對(duì)視角Q函數(shù)的求解，輸出當(dāng)前狀態(tài)下每個(gè)視角的價(jià)值，取Q值最大的視角作為當(dāng)前狀態(tài)的下一個(gè)最佳視角。最終的求解目標(biāo)即可轉(zhuǎn)換為對(duì)視角價(jià)值函數(shù)的擬合，即分析從系統(tǒng)狀態(tài)表達(dá)到視角價(jià)值的過程，設(shè)計(jì)合適的深度神經(jīng)網(wǎng)絡(luò)擬合視角價(jià)值函數(shù)。

2 視角價(jià)值函數(shù)學(xué)習(xí)

2.1 視角價(jià)值函數(shù)擬合

視角價(jià)值函數(shù)Q（st，a）的輸入為機(jī)器人抓取環(huán)境當(dāng)前狀態(tài)，在機(jī)器人主動(dòng)視角選擇任務(wù)中使用在全局拍照位置獲取的深度圖表達(dá)。若深度圖的分辨率為sx×sy，則狀態(tài)空間中狀態(tài)數(shù)量為216×sx×sy，接近無窮計(jì)數(shù)，因此無法使用傳統(tǒng)Q-Learning 強(qiáng)化學(xué)習(xí)中的查表法求解。而深度卷積神經(jīng)網(wǎng)絡(luò)擅長從圖像這類高維數(shù)據(jù)中學(xué)習(xí)特征，因此選擇深度卷積網(wǎng)絡(luò)擬合視角價(jià)值函數(shù)，并且基于深度Q網(wǎng)絡(luò)［16］設(shè)計(jì)強(qiáng)化學(xué)習(xí)訓(xùn)練的框架。

從場景狀態(tài)圖像內(nèi)容估計(jì)視角價(jià)值的過程等同于面向圖像中每個(gè)像素從不同的感受野提取信息，并依據(jù)此信息預(yù)測提取獲得的各維度特征與像素點(diǎn)對(duì)應(yīng)的視角價(jià)值，這類似于語義分割的過程。深度反卷積編碼-解碼器結(jié)構(gòu)網(wǎng)絡(luò)［17］克服了原始全卷積網(wǎng)絡(luò)中存在的尺度縮放問題，并且具備識(shí)別具有更多細(xì)節(jié)的結(jié)構(gòu)和處理多尺度對(duì)象的能力?；诖?，本文中提出使用編碼-解碼器卷積神經(jīng)網(wǎng)絡(luò)擬合視角動(dòng)作價(jià)值函數(shù)，網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。網(wǎng)絡(luò)輸入定義為t時(shí)刻機(jī)器人在全局拍照點(diǎn)采集的深度圖，經(jīng)過三層卷積編碼后，再由三層反卷積解碼，最終可輸出與輸入的深度圖尺寸一致的視角價(jià)值圖。視角價(jià)值圖中的像素值代表了選擇該像素點(diǎn)所對(duì)應(yīng)的視角后可以獲得的未來期望回報(bào)。

圖3 視角動(dòng)作價(jià)值函數(shù)近似網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Viewpoint action value function approximation network structure

在DQN 強(qiáng)化學(xué)習(xí)訓(xùn)練中，為了解決強(qiáng)化學(xué)習(xí)的樣本關(guān)聯(lián)性，采用經(jīng)驗(yàn)回放機(jī)制［18］，基于機(jī)器人視角選擇任務(wù)特征，在訓(xùn)練流程中加入結(jié)束條件判定、經(jīng)驗(yàn)增強(qiáng)?；讦?greedy 策略對(duì)機(jī)器人抓取場景設(shè)計(jì)可選擇的下一個(gè)最佳視角a*，即：

式中：W、H為視角價(jià)值圖的分辨率，ε為探索概率，U（0，1）表示在［0，1］區(qū)間的均勻分布。若g≥ε，則通過視角價(jià)值函數(shù)Q（st，a）產(chǎn)生視角動(dòng)作，否則通過2 個(gè)相互獨(dú)立的均勻分布產(chǎn)生視角動(dòng)作。為了減少探索的概率，使機(jī)器人逐漸傾向于根據(jù)訓(xùn)練的策略選擇動(dòng)作，同時(shí)保留探索到更優(yōu)動(dòng)作的可能性；ε伴隨訓(xùn)練的遞進(jìn)漸次從初始值ε0下降至0.1，即：

式中，gε為遞減系數(shù)，k為訓(xùn)練的輪次。

移動(dòng)至預(yù)測的最佳視角后，機(jī)器人執(zhí)行抓取流程，根據(jù)抓取結(jié)果生成經(jīng)驗(yàn)數(shù)據(jù)E=｛st，at，rt+1，st+1，d｝（d表示機(jī)器人抓取任務(wù)是否完成），對(duì)所得經(jīng)驗(yàn)數(shù)據(jù)進(jìn)行增強(qiáng)，然后存入經(jīng)驗(yàn)池。若經(jīng)驗(yàn)池中的經(jīng)驗(yàn)數(shù)大于預(yù)先設(shè)定的批尺寸N，從經(jīng)驗(yàn)池中隨機(jī)抽取N個(gè)經(jīng)驗(yàn)數(shù)據(jù)后進(jìn)行訓(xùn)練。視角價(jià)值動(dòng)作函數(shù)訓(xùn)練算法流程圖如圖4所示。

圖4 視角動(dòng)作價(jià)值函數(shù)訓(xùn)練算法流程圖Fig.4 Flow chart of viewpoint action value function training algorithm

在圖4中通過與環(huán)境交互獲得的經(jīng)驗(yàn)數(shù)據(jù)中包含一個(gè)變量d用于判斷機(jī)器人抓取任務(wù)是否完成，即機(jī)器人是否將視野中的物體全部抓取并轉(zhuǎn)移到目標(biāo)位置。因此，需要根據(jù)執(zhí)行動(dòng)作后的狀態(tài)判斷場景是否清空，當(dāng)場景清空時(shí)可判斷本輪抓取任務(wù)已完成。

完成上述算法，要先通過相機(jī)內(nèi)參數(shù)K將深度圖轉(zhuǎn)換為點(diǎn)云。相機(jī)內(nèi)參數(shù)對(duì)相機(jī)成像針孔模型進(jìn)行描述，可表達(dá)為：

式中：ax為水平方向像元尺寸；ay為豎直方向像元尺寸；u為水平方向的投影中心偏移；v為豎直方向的投影中心偏移，需通過相機(jī)標(biāo)定獲得。

深度圖的像素值表示每個(gè)像素的成像點(diǎn)在相機(jī)坐標(biāo)系的z坐標(biāo)，在已知成像點(diǎn)z坐標(biāo)和像素坐標(biāo)的條件下，即可通過相機(jī)內(nèi)參計(jì)算成像點(diǎn)在相機(jī)坐標(biāo)系下的坐標(biāo)。設(shè)第i個(gè)成像點(diǎn)的像素坐標(biāo)為ri，ci，其相機(jī)坐標(biāo)系坐標(biāo)為：

式中，Idepth（ri，ci）為深度圖在（ri，ci）位置的深度值。

將深度圖中所有像素點(diǎn)變換為成像點(diǎn)坐標(biāo)，因此所有點(diǎn)可表示為三維列向量，經(jīng)組合獲得點(diǎn)云矩陣DC。根據(jù)手眼關(guān)系將相機(jī)坐標(biāo)系表示的點(diǎn)云變換為機(jī)器人基坐標(biāo)系中的點(diǎn)云D：

不失一般性，本文令抓取工作空間與機(jī)器人基坐標(biāo)系xy平面平行，因此只需統(tǒng)計(jì)點(diǎn)云PB中z坐標(biāo)大于固定閾值zmin的點(diǎn)個(gè)數(shù)即可判斷場景是否清空，如下式：

式中：S（Pb>zmin）表示點(diǎn)云PB中z坐標(biāo)值大于zmin的點(diǎn)個(gè)數(shù)；Th為判斷場景情況的點(diǎn)數(shù)閾值。

2.2 視角選擇經(jīng)驗(yàn)增強(qiáng)算法

參閱深度強(qiáng)化學(xué)習(xí)時(shí)的稀疏獎(jiǎng)勵(lì)問題［19］，可以理解在智能體與環(huán)境進(jìn)行交互的過程中，由于獎(jiǎng)勵(lì)獲取的抽象和復(fù)雜性，智能體在初始條件的策略實(shí)施下難以獲得獎(jiǎng)勵(lì)，出現(xiàn)正樣本與負(fù)樣本的比例失衡和樣本效率低，從而導(dǎo)致強(qiáng)化學(xué)習(xí)算法迭代時(shí)間長，甚至無法收斂。因此，為了提高視角選擇網(wǎng)絡(luò)的收斂速度，本文對(duì)視角選擇過程建模，提出一種新的經(jīng)驗(yàn)增強(qiáng)算法，以提高樣本利用效率，從而提升視角價(jià)值函數(shù)的學(xué)習(xí)速度。

機(jī)器人最佳抓取視角選擇標(biāo)準(zhǔn)是目標(biāo)物體能夠出現(xiàn)在視野正中央?；趯?duì)最佳視角的假設(shè)判斷，本文所提方法對(duì)抓取成功的視角經(jīng)驗(yàn)進(jìn)行增強(qiáng)，擴(kuò)展獎(jiǎng)勵(lì)區(qū)域從單一視角點(diǎn)增強(qiáng)到一個(gè)視角選擇區(qū)域。對(duì)于抓取成功的情況，如圖5所示，以抓取點(diǎn)作為圓心，視角點(diǎn)與抓取點(diǎn)間距離作為半徑，在該圓形區(qū)域給予獎(jiǎng)勵(lì)；另外，為了讓機(jī)器人更傾向于選擇令目標(biāo)物體處于中央的視角，在圓形區(qū)域中，從圓心到邊緣以高斯函數(shù)的方式將獎(jiǎng)勵(lì)從1衰減到0.5。如圖6 所示，對(duì)于抓取失敗，通過圓周四向探索的方式增強(qiáng)經(jīng)驗(yàn)。圖6 以失敗的視角點(diǎn)為起點(diǎn)，設(shè)定固定的搜索半徑步長s，令搜索半徑r每次增加s。獲取所有圓邊緣的計(jì)算探索位置，并對(duì)所有探索位置進(jìn)行抓取檢測。若本輪所有探索位置均抓取檢測失敗，則增加半徑一個(gè)步長，重復(fù)同類探索；否則，以當(dāng)前半徑作為增強(qiáng)獎(jiǎng)勵(lì)區(qū)域的半徑參數(shù)結(jié)束探索。

圖5 抓取成功條件下抓取經(jīng)驗(yàn)增強(qiáng)過程Fig.5 Process of grasping experience enhancement under grasp?ing success

圖6 抓取失敗條件下抓取經(jīng)驗(yàn)探索過程Fig.6 Process of grasping experience exploration under grasp?ing failure

具體算法如下：

3 實(shí)驗(yàn)結(jié)果及分析

3.1 實(shí)驗(yàn)環(huán)境配置

為證明基于深度強(qiáng)化學(xué)習(xí)的視角選擇經(jīng)驗(yàn)增強(qiáng)算法可行性，本文在V-REP仿真環(huán)境中實(shí)施強(qiáng)化學(xué)習(xí)訓(xùn)練并進(jìn)行抓取對(duì)比實(shí)驗(yàn)，同時(shí)在安川機(jī)器人上進(jìn)行抓取實(shí)驗(yàn)，對(duì)比驗(yàn)證幾種視角選擇算法對(duì)提升抓取性能的效果。實(shí)驗(yàn)使用的計(jì)算機(jī)系統(tǒng)配置如表1所示。

表1 計(jì)算機(jī)系統(tǒng)配置Table 1 Computer system configuration

采用Pytorch 編寫視角選擇經(jīng)驗(yàn)增強(qiáng)算法框架，機(jī)器人執(zhí)行任務(wù)過程與環(huán)境交互的軌跡長度Lτ跟場景中物體個(gè)數(shù)相關(guān)，因此鄰接控制周期所獲取獎(jiǎng)勵(lì)權(quán)重漸次增強(qiáng)。

不失一般性，設(shè)置折扣因子γ=0.5，學(xué)習(xí)率α=0.001，經(jīng)驗(yàn)池容量R=4 000，目標(biāo)Q網(wǎng)絡(luò)參數(shù)同步步數(shù)M=20。為了增強(qiáng)對(duì)噪聲抑制的魯棒性，損失函數(shù)使用Huber Loss，損失函數(shù)Li為

式中：θi為在第i次迭代中的主網(wǎng)絡(luò)的參數(shù)，為目標(biāo)網(wǎng)絡(luò)的參數(shù)，si、ai、yi分別代表第i次迭代的狀態(tài)、動(dòng)作和目標(biāo)價(jià)值。每次更新只傳遞獲得獎(jiǎng)勵(lì)元素的梯度參數(shù)，其他位置對(duì)應(yīng)元素的損失強(qiáng)制置為零。優(yōu)化策略采用隨機(jī)梯度下降算法，探索策略則使用ε-greedy 策略，設(shè)置探索概率ε的初始值為0.5，gε=0.99。

3.2 對(duì)比實(shí)驗(yàn)設(shè)計(jì)

采用6DOF機(jī)器人重復(fù)執(zhí)行50次抓取任務(wù)，每次在機(jī)器人工作空間中隨機(jī)放置N個(gè)物體，執(zhí)行抓取流程，最終將抓取對(duì)象放置到料箱。連續(xù)抓取直至工作空間所有物體被放入料箱（即場景清空）視為成功；連續(xù)抓取不到視為失敗。具體到抓取任務(wù)失敗的條件可設(shè)置為連續(xù)抓取失敗超過指定次數(shù)，例如5 次，目的是防止機(jī)器人因當(dāng)前場景過于復(fù)雜，不能有效抓取而引起的重復(fù)動(dòng)作。

3.2.1 對(duì)比方法

采用以下3種典型視角選擇生成策略與本文提出的視角選擇經(jīng)驗(yàn)增強(qiáng)算法進(jìn)行對(duì)比實(shí)驗(yàn)，具體方案如下。

（1）固定單視角 使用安裝在工作空間上方固定位置的單個(gè)相機(jī)獲取場景圖像，任務(wù)執(zhí)行過程中的相機(jī)位置保持不變。獲取固定位置圖像后進(jìn)行抓取檢測并執(zhí)行抓取。

（2）固定多視角 同時(shí)使用多個(gè)相機(jī)或單個(gè)末端相機(jī)多次采集來獲取待抓取目標(biāo)圖像，并根據(jù)所采集多視角間的位置關(guān)聯(lián)關(guān)系實(shí)現(xiàn)信息融合。本文選擇專利［20］中的方法作為目標(biāo)對(duì)比方法。使用眼在手上工作模式并根據(jù)機(jī)器人預(yù)設(shè)路徑采集多視角深度圖，然后進(jìn)行點(diǎn)云融合，使用融合點(diǎn)云進(jìn)行抓取檢測。

（3）基于熵的主動(dòng)多視角 使用Multi-View Picking［12］方法，從固定位置開始，根據(jù)當(dāng)前場景圖像的熵計(jì)算下一個(gè)最佳視角，再移動(dòng)機(jī)器人到目標(biāo)視角，回環(huán)往復(fù)多次迭代執(zhí)行視角預(yù)測。每次視角預(yù)測均通過深度圖像輸出相關(guān)計(jì)算熵，并根據(jù)熵結(jié)果變化趨勢而選擇視角。

機(jī)器人進(jìn)行視角選擇后，判斷抓取檢測并獲取穩(wěn)定抓取點(diǎn)，執(zhí)行抓取操作。與前述對(duì)比文獻(xiàn)方法保持一致，本文中采用綜合時(shí)間和準(zhǔn)確率最佳的端到端抓取檢測方法——抓取生成卷積神經(jīng)網(wǎng)絡(luò)［9］，作為本實(shí)驗(yàn)方案中使用的抓取檢測算法。

3.2.2 評(píng)價(jià)指標(biāo)

本文中使用表2所示指標(biāo)來評(píng)估算法在抓取任務(wù)中的性能。

表2 抓取性能評(píng)價(jià)指標(biāo)Table 2 Evaluation metrics of grasping performance

3.3 仿真實(shí)驗(yàn)

使用V-REP仿真平臺(tái)搭建機(jī)器人抓取環(huán)境，如圖7所示。仿真機(jī)器人采用Universal Robot：UR5，末端安裝Onrobot RG2 夾爪和彩色深度相機(jī)，設(shè)置機(jī)器人工作空間為350 mm×350 mm 的方形區(qū)域，調(diào)用V-REP仿真平臺(tái)的遠(yuǎn)程控制接口，獲取訓(xùn)練過程中機(jī)器人運(yùn)動(dòng)狀態(tài)及獲取彩色深度圖像。

圖7 機(jī)器人抓取仿真環(huán)境Fig.7 Robot grasping simulation environment

仿真實(shí)驗(yàn)中，設(shè)定訓(xùn)練、對(duì)比的抓取對(duì)象為8 種不同形狀的3D積木塊，如圖8所示。隨機(jī)選擇不同形狀和顏色的積木塊作為待抓取對(duì)象。

圖8 仿真環(huán)境中的抓取對(duì)象Fig.8 Grasping objects in simulation environment

3.3.1 訓(xùn)練過程

通過機(jī)器人與環(huán)境的交互學(xué)習(xí)獲得視角選擇策略?；谶@一原則，將訓(xùn)練步驟安排為：在機(jī)器人工作空間隨機(jī)放入n個(gè)物體，機(jī)器人連續(xù)執(zhí)行抓取任務(wù)，并在執(zhí)行任務(wù)過程中不斷收集經(jīng)驗(yàn)數(shù)據(jù)存入經(jīng)驗(yàn)池，直到清空工作空間物體，再重新放置m個(gè)物體。為提高訓(xùn)練收斂速度，采用從易到難的方式放置待抓物體，即訓(xùn)練開始時(shí)只往工作空間中放置一個(gè)物體，隨著訓(xùn)練次數(shù)增加而改變放入物體個(gè)數(shù)。

本文中提出的一種視角選擇經(jīng)驗(yàn)增強(qiáng)算法，在訓(xùn)練過程中的抓取成功率變化如圖9 所示。在500輪抓取任務(wù)訓(xùn)練中，經(jīng)過100輪（約2 h）訓(xùn)練后網(wǎng)絡(luò)已達(dá)到良好收斂效果。

圖9 訓(xùn)練過程中抓取成功率變化Fig.9 Variation of grasping performance during training

3.3.2 對(duì)比實(shí)驗(yàn)的結(jié)果分析

仿真環(huán)境中的對(duì)比實(shí)驗(yàn)總共設(shè)計(jì)8 組，分別放置1 到8 個(gè)物體，每組分別進(jìn)行50 輪抓取任務(wù)。圖10 為各方法抓取成功率和清空率隨物體個(gè)數(shù)增加的變化曲線。

圖10 仿真環(huán)境下抓取成功率與場景清空率對(duì)比Fig.10 Comparison of grasping success rate and clear rate in simulation environment

與使用固定單視角的情況對(duì)比，本文方法在復(fù)雜場景下的抓取成功率和場景清空率兩方面均獲得較大提升。其中，場景物體個(gè)數(shù)為8個(gè)時(shí)，抓取成功率提升了14%（從62.3%提升到76.2%），而場景清空率提升了46%（從44%提升到90%）。本文所提視角選擇策略可以通過選擇合適視角來降低視野中場景的復(fù)雜度，克服固定單視角模式下機(jī)器人出現(xiàn)連續(xù)抓取失敗的問題，從而提升場景清空率。實(shí)驗(yàn)對(duì)比結(jié)果證明，本文方法可以有效提高機(jī)器人在復(fù)雜場景中的抓取能力。

與固定多視角和主動(dòng)視角選擇這2 種方法對(duì)比，本文所提算法在抓取成功率和場景清空率方面相差不大，但兩種對(duì)比方法都需要機(jī)器人移動(dòng)多個(gè)視角導(dǎo)致抓取效率降低。而本文的視角選擇策略在達(dá)到相似抓取率的同時(shí)只需進(jìn)行一次視角選擇，進(jìn)一步提升了機(jī)器人的抓取效率。

3.4 實(shí)體機(jī)器人實(shí)驗(yàn)

為驗(yàn)證仿真環(huán)境中訓(xùn)練的視角選擇策略，本文同時(shí)進(jìn)行了實(shí)體機(jī)器人抓取實(shí)驗(yàn)。本文算法由圖像預(yù)測的視角需通過手眼關(guān)系轉(zhuǎn)換為機(jī)器人視角，精度與手眼標(biāo)定算法有關(guān)，而在實(shí)體機(jī)器人實(shí)驗(yàn)中手眼標(biāo)定精度可控制在3 mm 以內(nèi)，對(duì)本文算法影響可以忽略，因此采用首鋼莫托曼Yaskawa MOTOMAN-GP8 工業(yè)機(jī)器人，集成遠(yuǎn)程控制MOTOCOM32 API 完成機(jī)器人控制。抓取夾具使用舵機(jī)驅(qū)動(dòng)的機(jī)械夾爪，控制器通過串口控制夾爪開閉并讀取夾取狀態(tài)。末端集成Intel Realsense D435 深度相機(jī)，實(shí)體機(jī)器人抓取實(shí)驗(yàn)平臺(tái)如圖11所示。

圖11 實(shí)體機(jī)器人抓取實(shí)驗(yàn)平臺(tái)Fig.11 Real-world robot grasping experimental platform

抓取對(duì)象選擇常見工業(yè)零件：三通管、四通管、90 度彎頭管等，如圖12 所示，隨機(jī)選擇添加至機(jī)器人抓取工作空間。

圖12 工業(yè)零件抓取對(duì)象Fig.12 Industrial parts grasping objects

實(shí)體機(jī)器人執(zhí)行與仿真完全一致的10 組零件抓取實(shí)驗(yàn)，分別放置1到10個(gè)相異物體，每組分別執(zhí)行50 輪抓取任務(wù)，記錄每組實(shí)驗(yàn)抓取成功率、清空率、執(zhí)行時(shí)間。

如圖13 所示，實(shí)驗(yàn)結(jié)果表明本文提出的視角選擇經(jīng)驗(yàn)增強(qiáng)算法對(duì)訓(xùn)練中未出現(xiàn)過的物體抓取成功率仍能夠達(dá)到與仿真實(shí)驗(yàn)相近的水平。在混雜物體散亂堆疊場景（10 個(gè)物體）下的成功率達(dá)到了82.7%，相對(duì)于一般單視角方法提升了22.8%，相對(duì)于主動(dòng)多視角和固定多視角提升了約2%。在場景清空率方面，本文算法在混雜場景能夠達(dá)到90% 的清空率，優(yōu)于前兩種對(duì)比方法。

圖13 真實(shí)場景下抓取成功率與場景清空率對(duì)比Fig.13 Comparison of grasping success rate and clear rate in real-world scenes

實(shí)體機(jī)器人抓取實(shí)驗(yàn)結(jié)果如圖14 所示，文中提出的視角選擇經(jīng)驗(yàn)增強(qiáng)算法具備實(shí)際應(yīng)用特征，能夠選擇合適的視角提升抓取成功率，在一定程度上解決了機(jī)器人處理復(fù)雜場景中抓取的問題。

圖14 實(shí)際視角選擇抓取過程Fig.14 Process of real-world viewpoint selection grasping

如表3 所示，設(shè)待抓取物體個(gè)數(shù)為10，本文的方法對(duì)比固定單視角、固定多視角、主動(dòng)多視角的抓取成功率、平均抓取時(shí)間的結(jié)果顯示：平均抓取時(shí)間以固定單視角最小，但由于其較低的抓取成功率在實(shí)效性方面不如本文算法；另外兩種多視角方法雖與本文算法保持接近的成功率，但本文算法可直接預(yù)測下一個(gè)最佳視角，只需選擇移動(dòng)一次相機(jī)視角，而多視角方法則需要移動(dòng)多次，因此本文方法可以保證更短視角選擇時(shí)間，在抓取效率方面優(yōu)于另外兩種算法。實(shí)驗(yàn)結(jié)果證實(shí)了本文提出的視角選擇經(jīng)驗(yàn)增強(qiáng)算法在實(shí)體機(jī)器人場景下能以小幅增加單次抓取耗時(shí)的代價(jià)，獲得更高的抓取成功率，從而達(dá)到更優(yōu)的抓取效率。

表3 對(duì)比實(shí)驗(yàn)結(jié)果（物體個(gè)數(shù)為10）Table 3 Experiment result of comparison（number of objects is 10）

4 結(jié)論

針對(duì)機(jī)器人在固定單一視角下難以解決物體散亂堆疊場景下的抓取問題，本文提出一種基于深度強(qiáng)化學(xué)習(xí)的視角經(jīng)驗(yàn)增強(qiáng)算法，將視角選擇問題轉(zhuǎn)化為馬爾科夫決策過程建模，使用編碼-解碼器網(wǎng)絡(luò)擬合視角價(jià)值函數(shù)。針對(duì)訓(xùn)練過程中稀疏獎(jiǎng)勵(lì)的問題，提出一種視角選擇經(jīng)驗(yàn)增強(qiáng)算法。實(shí)際訓(xùn)練結(jié)果表明，擴(kuò)展視角選擇獎(jiǎng)勵(lì)區(qū)間可有效解決當(dāng)前場景中的稀疏獎(jiǎng)勵(lì)問題，加快強(qiáng)化學(xué)習(xí)收斂速度。仿真與實(shí)體機(jī)器人抓取實(shí)驗(yàn)結(jié)果表明，本文算法可通過強(qiáng)化學(xué)習(xí)的方法得到有效的視角選擇策略，且具備了較好的抓取目標(biāo)泛化能力，在抓取成功率、場景清空率和抓取效率方面與其他方法相比獲得不同程度的提升，證明了合適的視角選擇策略在提高機(jī)器人抓取性能方面的較強(qiáng)適應(yīng)力。為今后機(jī)器人控制體系采用強(qiáng)化學(xué)習(xí)框架學(xué)習(xí)視角選擇和抓取選擇提供了實(shí)驗(yàn)數(shù)據(jù)支撐。未來，高自由度視角的選擇研究將逐步場景化，融合策略搜索算法、注意力機(jī)制框架等方法將提高系統(tǒng)魯棒性和適應(yīng)性。