基于深度強化學(xué)習(xí)的機械臂運動控制研究

王文龍，張帆

（200335 上海市 上海工程技術(shù)大學(xué) 機械與汽車工程學(xué)院）

0 引言

隨著人工智能和機器人技術(shù)的發(fā)展，機械臂被廣泛應(yīng)用于工業(yè)生產(chǎn)的各個領(lǐng)域，其智能化要求也隨之提高。人工智能和機械臂技術(shù)相結(jié)合，研究具有自主決策能力的控制方法成為一個重要分支，也是國內(nèi)外研究的重點和前沿。

機械臂經(jīng)典控制方法如自適應(yīng)滑?？刂?、示教控制、前饋補償控制等，提高了機械臂運動的魯棒性，具有響應(yīng)速度快、穩(wěn)定性好和精確度較高等特點。肖任等[1]提出了一種基于時間固定擾動觀測器的滑?？刂品椒?，在消除不確定擾動的基礎(chǔ)上，有效地抑制了系統(tǒng)抖振；Wang 等[2]提出了基于連續(xù)軌跡點控制的位置控制方法，提高了機械臂的控制精度。這些控制方法雖有一定成效，仍存在編程難度大、泛化性能弱、適應(yīng)環(huán)境能力較差、智能化程度低等問題。

強化學(xué)習(xí)（RL）是人工智能的一個重要分支，在深度學(xué)習(xí)的快速發(fā)展下，深度學(xué)習(xí)和強化學(xué)習(xí)結(jié)合，使強化學(xué)習(xí)在機器人控制領(lǐng)域有了進一步發(fā)展，使其具有強大的感知和決策能力，深度強化學(xué)習(xí)算法也應(yīng)用在機械臂的控制領(lǐng)域。尤其是在深度確定性策略梯度（Deep Deterministic Policy Gradient，DDPG）算法[3]被David Silver 等提出后，可以讓深度強化學(xué)習(xí)算法的經(jīng)典算法深度Q 學(xué)習(xí)網(wǎng)絡(luò)（Deep Q-learning Network，DQN）拓展到連續(xù)動作空間，這使得深度強化學(xué)習(xí)和機器人技術(shù)的結(jié)合更加緊密。Peng 等[4]將采用后視經(jīng)驗重放的方法改進DDPG 算法應(yīng)用到機械臂，對沖壓自動生產(chǎn)線中的運動物體進行抓取，提高了智能體的樣本的利用，將平均成功率從31%提升到82%；趙寅甫等[5]采用DDPG 算法先2D 后3D 模型的方法，通過數(shù)據(jù)驅(qū)動的訓(xùn)練過程，控制機械臂到達(dá)目標(biāo)位置，縮短了接近52%的訓(xùn)練時長；劉勇等[6]將傳統(tǒng)的PID控制方法與DDPG 算法相結(jié)合，利用PID 控制快速接近目標(biāo)位置，采用DDPG 算法使機械臂學(xué)習(xí)追蹤目標(biāo)物體投影，并避開障礙物體投影，最終實現(xiàn)在三維空間實現(xiàn)追蹤和避障。

本文使用Gym 官方提供的機械臂深度強化學(xué)習(xí)訓(xùn)練環(huán)境，重置其獎勵函數(shù)，并在DDPG 算法中比較其對機械臂訓(xùn)練過程的影響，比較不同的深度強化學(xué)習(xí)算法在機械臂自主學(xué)習(xí)中的性能。實現(xiàn)虛擬環(huán)境中達(dá)到較高的獎勵值，并使末端執(zhí)行器快速、準(zhǔn)確地到達(dá)目標(biāo)位置，并保持姿態(tài)不變。

1 機器人模型與環(huán)境

帶接觸的多關(guān)節(jié)動力學(xué)（Multi-Joint dynamics with Contact,MuJoCo）是一個物理引擎模擬器，主要用于機器人、生物力學(xué)、圖形與動畫、機器學(xué)習(xí)等領(lǐng)域，能夠快速準(zhǔn)確模擬鉸鏈結(jié)構(gòu)和環(huán)境的交互，它包括廣義坐標(biāo)系中的多關(guān)節(jié)動力學(xué)、整體約束、干關(guān)節(jié)摩擦、關(guān)節(jié)和肌腱極限、無摩擦和摩擦接觸、可能具有的滑動、扭轉(zhuǎn)和滾動摩擦[7]。本文機械臂模型及其使用的MuJoCo 運行界面如圖1 所示。

圖1 Simulate 中的機械臂Fig.1 Manipulator in simulate

Gym 是由OpenAI 公司提供的一個可調(diào)節(jié)參數(shù)訓(xùn)練和比較RL 算法的環(huán)境平臺，其中含有很多強化學(xué)習(xí)環(huán)境，包括Atari 游戲、Classic control、MuJoCo、Robotics 等，現(xiàn)在主要支持Python 語言。本文結(jié)合Pytorch 框架，進行深度強化學(xué)習(xí)的訓(xùn)練。采用的是環(huán)境ID 為“FetchReach-v1”的機械臂。在此環(huán)境中，主要輸出為當(dāng)前狀態(tài)St、下一時刻的狀態(tài)St+1以及輸入動作策略的獎勵值R。狀態(tài)包含3 個部分：智能體的觀察狀態(tài)、智能體經(jīng)過動作所到達(dá)的位置坐標(biāo)以及目標(biāo)位置。狀態(tài)作為Actor 網(wǎng)絡(luò)的輸入，應(yīng)為向量形式，在此環(huán)境中以字典形式儲存，故需要對此進行預(yù)處理，轉(zhuǎn)化為一維向量。此機械臂的狀態(tài)為1×16 的向量。

2 深度強化學(xué)習(xí)算法

深度強化學(xué)習(xí)是利用深度學(xué)習(xí)的感知功能以及強化學(xué)習(xí)的決策功能的算法，強化學(xué)習(xí)是在智能體和環(huán)境之間交互時，在不被告知采取哪種行動的情況下，智能體通過執(zhí)行某些動作，基于環(huán)境反饋的獎勵或者懲罰不斷地調(diào)整其策略、改善其行為、得到最優(yōu)策略的算法。它包含智能體、環(huán)境、獎勵、動作、觀察5 個元素，其交互過程如圖2 所示。

圖2 智能體與環(huán)境交互Fig.2 Interaction between an agent and the environment

智能體觀察環(huán)境t時刻的狀態(tài)S，采取動作A并在環(huán)境中執(zhí)行，得到下一時刻的狀態(tài)即St+1，并且獎勵函數(shù)對執(zhí)行的動作A 進行評價，得到獎勵R，反饋給智能體。

2.1 馬爾可夫決策過程

馬爾可夫決策過程（Markov Decision Process,MDP）是深度強化學(xué)習(xí)的理論基礎(chǔ)，它的4 元素為(S,A(s),R(s,a),P(s,a,s')[8]。其中，S為所有狀態(tài)的集合，A(s)為狀態(tài)s下的所有動作的集合，R(s,a)為智能體的獎勵值，表示在狀態(tài)s下執(zhí)行動作a后所得到的獎勵值或者懲罰值。P(s,a,s')為狀態(tài)轉(zhuǎn)移概率，在狀態(tài)s執(zhí)行動作a后轉(zhuǎn)移到狀態(tài)的概率值。

在MDP 中有一個較重要的參數(shù)為折扣因子γ∈(0,1)，它控制在訓(xùn)練中一個回合的收益值對下一個動作獎勵值的依賴程度,收益為

執(zhí)行策略為π時，其狀態(tài)分布則為pπ，學(xué)習(xí)目標(biāo)為執(zhí)行最優(yōu)策略時使期望累計獎勵值達(dá)到最大值，累計期望值為

最佳策略可表示為

在尋找最優(yōu)策略過程中，Bellman 方程給出了最優(yōu)狀態(tài)的值

式中：pa,i→j——在狀態(tài)i產(chǎn)生的動作a以狀態(tài)j結(jié)束的概率。

除了狀態(tài)值外，在強化學(xué)習(xí)中還定義了動作值Qs,a，在Q-learning 中

對于狀態(tài)值和動作值的可爾科夫決策過程，進行Bellman 迭代更新

2.2 深度確定性策略梯度算法(DDPG)

DDPG 算法是基于Actor-Critic（演員-評論家）網(wǎng)絡(luò)的異策略算法，相比于Actor-Critic 算法，它的策略是確定的，直接根據(jù)狀態(tài)確定所采取的動作，并且不需要像PG 算法那樣為計算的每個步驟集成到整個動作空間中。這樣可以將鏈規(guī)則應(yīng)用于Q值，通過最大化Q值改進策略。Actor 和Critic 網(wǎng)絡(luò)都是3 層神經(jīng)網(wǎng)絡(luò)，其控制策略如圖3 所示。

圖3 DDPG 算法的網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Network structure of DDPG algorithm

其中，Actor 網(wǎng)絡(luò)是根據(jù)每個給定的狀態(tài)返回N個值，每個動作一個值，這種映射關(guān)系是確定的。Critic 的作用是估計Q值，即在某個狀態(tài)下智能體采取的動作經(jīng)過環(huán)境交互所獲得的折扣獎勵。因為動作在網(wǎng)絡(luò)中是以數(shù)字向量的形式呈現(xiàn)，所以Critic 網(wǎng)絡(luò)有2 個輸入，即狀態(tài)和動作，動作是在第2 層網(wǎng)絡(luò)中輸入，它的輸出是反映Q值的單個數(shù)字。Actor 網(wǎng)絡(luò)最后一層網(wǎng)絡(luò)使用tanh 激活函數(shù)主要利用其值域為[-1,1]的特性，保證所得到的動作也是在這個區(qū)間內(nèi)。

DDPG 算法使用了當(dāng)?shù)兀╨ocal）和目標(biāo)（target）2 套神經(jīng)網(wǎng)絡(luò)，在此算法中由于使用的是確定性策略，為了增加機械臂對環(huán)境的探索能力，在Actor網(wǎng)絡(luò)的返回值中增加噪聲再傳遞給環(huán)境來實現(xiàn)，此噪聲被稱為OU 過程，在離散時間情況下可以寫為

式中：θ，μ，σ——超參數(shù)。

該式（8）表示OU 過程的下一個值由先前的噪聲值加上一個正常噪聲產(chǎn)生。最終輸入到環(huán)境中的動作為

式中：?——超參數(shù)，主要作用是動作a對噪聲N的貪婪程度。

DDPG 算法的目標(biāo)網(wǎng)絡(luò)參數(shù)更新方式采用軟更新方式，也可稱為指數(shù)平均移動，使用超參數(shù)學(xué)習(xí)率，將上一時刻的網(wǎng)絡(luò)參數(shù)和新的本地網(wǎng)絡(luò)參數(shù)做加權(quán)平均，然后賦給目標(biāo)網(wǎng)絡(luò)

當(dāng)?shù)氐腁ctor 網(wǎng)絡(luò)采用采樣的策略梯度方法進行優(yōu)化

式中：si——當(dāng)前時刻智能體觀測到的狀態(tài)。

當(dāng)?shù)氐腃ritic 網(wǎng)絡(luò)使用均方差損失函數(shù)定義損失，并進行優(yōu)化更新。在這個過程中使用目標(biāo)網(wǎng)絡(luò)對下一個策略的估計，其預(yù)估價值為

式中：ri——當(dāng)前策略所得到的獎勵值；在本實驗中γ=0.99；Q'——目標(biāo)Critic 網(wǎng)絡(luò)對下一個策略的估值。在此基礎(chǔ)上，其網(wǎng)絡(luò)損失函數(shù)表示為

3 分布式策略梯度算法

分布式策略梯度算法（D4PG）是由Gabriel Barth-Maron 等在2018 年提出的方法[9]，主要是在DDPG 算法的基礎(chǔ)上進行改進，將經(jīng)驗收集的Actor 和策略學(xué)習(xí)learner 分開，使用多個actor 分布式采樣，并儲存在同一個經(jīng)驗池中，經(jīng)過優(yōu)先級重放采樣方式進行采樣[10]，更新后將權(quán)重同步到各個actor 上，實現(xiàn)了更好的離線學(xué)習(xí)。

D4PG算法的Critic網(wǎng)絡(luò)使用分布式價值函數(shù)，為了引入分布式更新，其隨機變量的返回值為

式中，s=s0，a=a0，a=π(s)。則分布更新的Q為

分布貝爾算子就可以定義為

式中：Jπ——分布貝爾算子，關(guān)于隨機變量的概率定律是相等的，此算子雖然跟規(guī)范的Bellman 算子相近，但是它所用的函數(shù)類型不同。

分布變量采用從狀態(tài)到動作對映射到分布的函數(shù)，并返回相同形式的函數(shù)。為了在此算法中使用這個函數(shù)，將其參數(shù)化，并定義其損失函數(shù)為

式中：d——分布之間的度量，在D4PG 算法中主要使用交叉熵?fù)p失來度量。

為了完成這種分布式梯度策略，Actor 網(wǎng)絡(luò)的優(yōu)化方式使對行動價值分布的期望來完成。

在D4PG 中改進的部分還包括在估計TD 誤差時使用N步返回，減少了更新時的方差。

機械臂在D4PG 算法的訓(xùn)練步驟如下：

（1）超參數(shù)輸入：包括學(xué)習(xí)率、經(jīng)驗池大小、批量大小、經(jīng)驗池初始大小、軌跡長度等；

（2）環(huán)境激活：定義網(wǎng)絡(luò)、智能體、經(jīng)驗池，隨機初始化網(wǎng)絡(luò)的權(quán)重(θ,ω)，初始化目標(biāo)權(quán)重(θ',ω')，定義Actor 和Critic 網(wǎng)絡(luò)參數(shù)優(yōu)化器；

（3）進行400 000 次循環(huán)訓(xùn)練；

（4）為更好地探索環(huán)境，初始化隨機過程噪聲；

（5）初始化環(huán)境，獲得觀察狀態(tài)s；

（6）對觀察狀態(tài)進行預(yù)處理；

（7）經(jīng)過100 次隨機動作熱身后，將經(jīng)過處理的狀態(tài)輸入Actor 網(wǎng)絡(luò)返回π(s)；

（8）對π(s)增加隨機噪聲得到動作，并返回環(huán)境，得到獎勵值及下一個狀態(tài)值s'，并將(s,a,r,s')儲存在經(jīng)驗池中；

（9）當(dāng)循環(huán)次數(shù)大于經(jīng)驗池初始大小值時對經(jīng)驗池進行優(yōu)先級重放的方式采樣；

（10）構(gòu)建目標(biāo)分布：

(11)計算Actor 和Critic 網(wǎng)絡(luò)進行更新參數(shù)：

(12)更新網(wǎng)絡(luò)參數(shù)：

(13)采用軟更新方式對目標(biāo)網(wǎng)絡(luò)更新：

(14)每1 000 次對訓(xùn)練模型進行測試，并保存最好模型。

4 仿真實驗與結(jié)果

4.1 重置獎勵函數(shù)

在Gym 環(huán)境中設(shè)置的獎勵值為稀疏獎勵，其獎勵函數(shù)為

式中：δ——機械臂到達(dá)目標(biāo)位置的精度，在此環(huán)境中設(shè)定為δ=0.05。

在訓(xùn)練初期，使用此獎勵函數(shù)訓(xùn)練速度慢，效果不顯著，主要原因是探索環(huán)境中不同的動作策略可能出現(xiàn)相同的獎勵值，導(dǎo)致機械臂學(xué)習(xí)速度較慢?？紤]到稀疏獎勵訓(xùn)練困難，使用線性獎勵函數(shù)

設(shè)置此獎勵函數(shù)的原因為：在環(huán)境訓(xùn)練中，包含有正負(fù)獎勵值的獎懲方式對機械臂訓(xùn)練穩(wěn)定有較好的幫助，先利用DDPG 算法進行訓(xùn)練并與獎勵函數(shù)r=-d（全負(fù)獎勵）進行比較，其訓(xùn)練結(jié)果經(jīng)過0.6因子的平滑后如圖4，圖5 所示。在訓(xùn)練過程中的測試獎勵如圖6 所示。

圖4 DDPG 算法下訓(xùn)練期間的獎勵Fig.4 Rewards during training under DDPG algorithm

圖5 DDPG 算法下Actor 網(wǎng)絡(luò)損失Fig.5 Actor network loss under DDPG algorithm

圖6 不同獎勵函數(shù)的測試結(jié)果Fig.6 Test results of different reward functions

在對DDPG 算法的2 種獎勵機制訓(xùn)練得到的最好模型進行100 次可視化實驗，均能在精度范圍內(nèi)到達(dá)指定位置，但是獎勵函數(shù)為r=-d的模型在到達(dá)指定位置后出現(xiàn)幅度較大的抖動現(xiàn)象，而r=δ-d的獎勵機制所訓(xùn)練的最好的模型在100 次實驗中未出現(xiàn)抖動現(xiàn)象。

通過實驗可以看出，帶有正負(fù)樣本的獎勵機制對機械臂訓(xùn)練穩(wěn)定性有顯著的作用，其每個策略的獎勵值在達(dá)到較好的獎勵值后不會出現(xiàn)大幅度的下降，Actor 網(wǎng)絡(luò)和Critic 網(wǎng)絡(luò)的損失函數(shù)收斂較為穩(wěn)定，不會出現(xiàn)激增現(xiàn)象。

4.2 D4PG 訓(xùn)練參數(shù)設(shè)定

在D4PG 訓(xùn)練過程中有很多關(guān)鍵超參數(shù)，對訓(xùn)練結(jié)果至關(guān)重要，如果參數(shù)不合理，可能造成訓(xùn)練不穩(wěn)定，達(dá)不到預(yù)期要求。本實驗的超參數(shù)設(shè)定如表1 所示。

表1 D4PG 算法的超參數(shù)設(shè)定Tab.1 Hyperparameter setting of D4PG algorithm

4.3 D4PG 訓(xùn)練結(jié)果及分析

結(jié)合上述較佳獎勵機制，設(shè)置隨機目標(biāo)位置，利用D4PG 算法對機械臂進行訓(xùn)練，每次100 個回合，每回合50 步，進行400 k 次訓(xùn)練，并相應(yīng)地用DDPG 算法訓(xùn)練，結(jié)果如圖7、圖8 所示。

圖7 機械臂訓(xùn)練期間獎勵Fig.7 Rewards during manipulator training

圖8 機械臂訓(xùn)練期間損失Fig.8 Loss of manipulator during training

圖7 為機械臂在訓(xùn)練期間的獎勵變化曲線，其中圖7（a）為每100 個回合平均獎勵值，圖7（b）為每幀的獎勵值。從圖7 可以看出，D4PG 算法在訓(xùn)練中能收斂到更好的獎勵值，接近環(huán)境的最高獎勵值；DDPG 算法在前期獎勵值大于D4PG，這主要原因是D4PG 是先采樣一定數(shù)量的動作后再進行智能體的學(xué)習(xí)過程。

從圖8 的Actor 和Critic 網(wǎng)絡(luò)的2 種算法的損失對比，D4PG算法的性能更優(yōu)，訓(xùn)練過程更加穩(wěn)定，收斂度好。在訓(xùn)練過程中每1 000 次對訓(xùn)練模型進行測試，測試結(jié)果如圖9 所示。

圖9 機械臂測試期間獎勵Fig.9 Rewards during manipulator testing

在測試中可以看出D4PG 訓(xùn)練的模型在測試中比DDPG 算法表現(xiàn)更好，能更快接近環(huán)境的最大獎勵值，并保持較穩(wěn)定的收斂狀態(tài)，而DDPG 收斂到最大獎勵值的速度慢。在經(jīng)過400 k 幀的訓(xùn)練中，D4PG 算法最大達(dá)到了1.978 的獎勵，已經(jīng)非常接近環(huán)境的最大獎勵值了。

5 結(jié)論

控制策略對機械臂生產(chǎn)效率有很大影響，好的控制策略能起到事半功倍的效果。本文利用DDPG算法，研究獎勵函數(shù)對機械臂訓(xùn)練的作用。利用較好的獎勵機制，使用D4PG 算法進行機械臂末端執(zhí)行器到達(dá)目標(biāo)位置進行仿真訓(xùn)練，相比于DDPG 算法，D4PG 訓(xùn)練過程更加穩(wěn)定，在最短時間內(nèi)收斂，在相同次數(shù)的測試中能達(dá)到更大的獎勵。模型可視化實驗中也能以100%的成功率到達(dá)目標(biāo)位置。利用深度強化學(xué)習(xí)控制策略使機械臂的控制更加智能化，效率更高。

在D4PG 算法的模型測試中也遇到了一些問題，最好的測試模型在可視化實驗中會出現(xiàn)到達(dá)目標(biāo)位置后發(fā)生抖動現(xiàn)象，但是在測試中獎勵值次一點的模型可視化實驗中未出現(xiàn)抖動現(xiàn)象，需要進一步研究和改進。