基于強(qiáng)化學(xué)習(xí)的煤矸石分揀機(jī)械臂智能控制算法研究

張永超， 于智偉， 丁麗林

(山東科技大學(xué) 機(jī)械電子工程學(xué)院，山東 青島 266590)

0 引言

煤矸石分揀是煤炭粗選的首要環(huán)節(jié)，也是提高煤炭質(zhì)量以及礦井效益的重要方法[1]。傳統(tǒng)煤矸石分揀如人工分揀、濕選和干選等分揀方式正面臨工傷風(fēng)險(xiǎn)率高、環(huán)境污染嚴(yán)重及智能化程度低的困境[2-3]。而機(jī)械臂分揀不僅能有效降低工傷風(fēng)險(xiǎn)率，同時(shí)還具有效率高、綠色分揀的優(yōu)勢。《關(guān)于加快煤礦智能化發(fā)展的指導(dǎo)意見》也明確提出對具備條件的煤礦要加快智能化改造，推進(jìn)危險(xiǎn)崗位的機(jī)器人作業(yè)，到2035年各類煤礦基本實(shí)現(xiàn)智能化，建成智能感知、智能決策、自動執(zhí)行的煤礦智能化體系。煤矸石分揀朝著智能機(jī)器人化方向發(fā)展符合現(xiàn)代工業(yè)發(fā)展趨勢。

目前，用于機(jī)器人分揀機(jī)械臂的控制算法主要有抓取函數(shù)法[4]、基于費(fèi)拉里法的動態(tài)目標(biāo)抓取算法[5]、金字塔形尋優(yōu)算法[6]、比例導(dǎo)引法[7]等。這些控制算法中除抓取函數(shù)法僅適用靜態(tài)目標(biāo)外，其他控制算法均可在已獲取目標(biāo)位置的前提下，實(shí)現(xiàn)快速接近目標(biāo)的目的。然而將以上控制算法應(yīng)用于煤矸石分揀機(jī)械臂時(shí)發(fā)現(xiàn)，煤矸石分揀機(jī)械臂的工作效率嚴(yán)重受限于控制算法中機(jī)械臂運(yùn)動學(xué)或動力學(xué)等環(huán)境模型的設(shè)計(jì)精度，若精度低則會使煤矸石分揀機(jī)械臂末端執(zhí)行器不能良好接近目標(biāo)，造成較高的漏選率[8]。王鵬等[9]設(shè)計(jì)了一種基于機(jī)器視覺技術(shù)的多機(jī)械臂煤矸石分揀機(jī)器人系統(tǒng),該系統(tǒng)可高效分揀50～260 mm粒度的煤矸石，并且能良好適應(yīng)不同帶速，但其機(jī)械臂控制算法仍依賴模型的精確性。因此，研究一種可使煤矸石分選機(jī)械臂穩(wěn)定高效運(yùn)行的無模型智能控制算法對實(shí)現(xiàn)煤矸石分選作業(yè)無人化、智能化具有重要意義。

強(qiáng)化學(xué)習(xí)作為一種重要的機(jī)器學(xué)習(xí)方法，因其控制過程不依賴于精確環(huán)境模型的特點(diǎn)，在機(jī)器人智能控制領(lǐng)域具有重要地位。它強(qiáng)調(diào)在與環(huán)境的交互中獲取反映真實(shí)目標(biāo)達(dá)成度的反饋信號，強(qiáng)調(diào)模型的試錯學(xué)習(xí)和序列決策行為的動態(tài)和長期效應(yīng)。深度確定性策略梯度(Deep Deterministic Policy Gradient，DDPG)算法是強(qiáng)化學(xué)習(xí)中常用來處理具有連續(xù)性動作空間任務(wù)的一種優(yōu)秀控制算法[10]，但傳統(tǒng)DDPG算法的獎勵函數(shù)僅是基于歐幾里得距離設(shè)計(jì)的，缺乏動作懲罰項(xiàng)等約束項(xiàng)，訓(xùn)練過程中容易使機(jī)械臂學(xué)習(xí)到輸出較大關(guān)節(jié)角控制量的策略。若獎勵函數(shù)設(shè)計(jì)不合理,還會出現(xiàn)稀疏獎勵問題，使機(jī)械臂學(xué)不到期望的策略[11]。

針對以上問題，本文提出了一種基于強(qiáng)化學(xué)習(xí)的改進(jìn)DDPG算法，并用于煤矸石分揀機(jī)械臂的控制。通過設(shè)計(jì)獎勵函數(shù)使機(jī)械臂能更快學(xué)習(xí)到平穩(wěn)接近目標(biāo)的策略。通過改進(jìn)Actor和Critic神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)以及使用批標(biāo)準(zhǔn)化和Dropout優(yōu)化方法，使算法具有更穩(wěn)健處理機(jī)械臂關(guān)節(jié)角等低維輸入觀測值的能力[12]。仿真實(shí)驗(yàn)結(jié)果表明，改進(jìn)的DDPG算法與傳統(tǒng)控制算法相比具有無模型通用性強(qiáng)及在與環(huán)境交互中可自適應(yīng)學(xué)習(xí)抓取姿態(tài)的優(yōu)勢，并且學(xué)習(xí)能力優(yōu)于傳統(tǒng)DDPG算法，其在大型連續(xù)動作空間具有巨大的潛在應(yīng)用價(jià)值。

1 DDPG算法

DDPG算法屬于Actor-Critic算法，它在確定性策略梯度(Deterministic Policy Gradient，DPG)算法[13]的基礎(chǔ)上融入了深度神經(jīng)網(wǎng)絡(luò)[14]。DDPG算法的參數(shù)更新思想借鑒了深度Q網(wǎng)絡(luò)(Deep Q Network，DQN)算法中的雙網(wǎng)絡(luò)延時(shí)更新和經(jīng)驗(yàn)回放機(jī)制來切斷數(shù)據(jù)相關(guān)性，訓(xùn)練過程中使用批量標(biāo)準(zhǔn)化[15]來提高學(xué)習(xí)效率。

DDPG算法中的Actor策略網(wǎng)絡(luò)可在連續(xù)動作空間進(jìn)行探索以及做出動作決策，Critic價(jià)值網(wǎng)絡(luò)則負(fù)責(zé)評判決策優(yōu)劣，以此指引Actor策略網(wǎng)絡(luò)參數(shù)更新。兩者均包含2個具有相同結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，即目標(biāo)網(wǎng)絡(luò)和估計(jì)網(wǎng)絡(luò)。Actor的估計(jì)網(wǎng)絡(luò)是根據(jù)Critic的估計(jì)網(wǎng)絡(luò)的指引實(shí)時(shí)更新，Critic的估計(jì)網(wǎng)絡(luò)是根據(jù)自身目標(biāo)網(wǎng)絡(luò)的指引實(shí)時(shí)更新，因此，估計(jì)網(wǎng)絡(luò)的參數(shù)是最新參數(shù)，而目標(biāo)網(wǎng)絡(luò)參數(shù)則是根據(jù)估計(jì)網(wǎng)絡(luò)參數(shù)使用滑動平均方式來延遲更新的，Critic的估計(jì)網(wǎng)絡(luò)參數(shù)的更新方式為最小化均方誤差L：

(1)

式中：N為從經(jīng)驗(yàn)池中取出的數(shù)據(jù)總個數(shù)；yi為i時(shí)刻目標(biāo)Q值的更好估計(jì)；Q(si,ai|θQ)為估計(jì)Q值；si為i時(shí)刻的環(huán)境狀態(tài)；ai為i時(shí)刻的輸入動作；θQ為Critic網(wǎng)絡(luò)中估計(jì)網(wǎng)絡(luò)的參數(shù)，Q代表Critic網(wǎng)絡(luò)中的估計(jì)網(wǎng)絡(luò)；ri為i時(shí)刻的即時(shí)獎勵；γ為折扣率；Q′(si+1,μ′(si+1|θμ′)|θQ′)為目標(biāo)Q值；μ′(si+1|θμ′)為確定性策略,μ′為Actor網(wǎng)絡(luò)中的目標(biāo)網(wǎng)絡(luò),θμ′為Actor網(wǎng)絡(luò)中目標(biāo)網(wǎng)絡(luò)的參數(shù)；θQ′為Critic網(wǎng)絡(luò)中目標(biāo)網(wǎng)絡(luò)的參數(shù),Q′為Critic網(wǎng)絡(luò)中的目標(biāo)網(wǎng)絡(luò)。

這種利用估計(jì)網(wǎng)絡(luò)和目標(biāo)網(wǎng)絡(luò)進(jìn)行參數(shù)更新的雙網(wǎng)絡(luò)機(jī)制切斷了數(shù)據(jù)相關(guān)性，有效提高了算法收斂性。類似于監(jiān)督學(xué)習(xí)標(biāo)簽的yi為Critic估計(jì)網(wǎng)絡(luò)參數(shù)的更新指明了方向，使參數(shù)更新更穩(wěn)定。

Actor策略網(wǎng)絡(luò)基于策略梯度更新網(wǎng)絡(luò)參數(shù)：

θμJ(θμ)≈

(2)

圖1 DDPG算法結(jié)構(gòu)

2 改進(jìn)DDPG算法

2.1 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

改進(jìn)DDPG算法應(yīng)用對象為六自由度煤矸石分揀機(jī)械臂，其動作空間龐大且應(yīng)用環(huán)境復(fù)雜，為使神經(jīng)網(wǎng)絡(luò)更容易學(xué)習(xí)其輸入特征數(shù)據(jù)的分布，同時(shí)也為緩解訓(xùn)練過程中神經(jīng)網(wǎng)絡(luò)的過擬合問題，Actor網(wǎng)絡(luò)使用4層計(jì)算層并引入批量標(biāo)準(zhǔn)化方法和Dropout方法，以使模型訓(xùn)練更穩(wěn)健，Actor網(wǎng)絡(luò)的雙網(wǎng)絡(luò)均采用圖2所示的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

圖2 Actor神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

Actor框架中的估計(jì)網(wǎng)絡(luò)輸入層接收環(huán)境實(shí)時(shí)狀態(tài)si，目標(biāo)網(wǎng)絡(luò)輸入層接收智能體與環(huán)境交互后的下一狀態(tài)si+1。批量標(biāo)準(zhǔn)化(Batch Normalization,BN)層通過減小數(shù)據(jù)在神經(jīng)網(wǎng)絡(luò)層傳遞過程中數(shù)據(jù)分布的改變，使神經(jīng)網(wǎng)絡(luò)參數(shù)更新更快且更易學(xué)習(xí)到知識，又因其是在小批量樣本上計(jì)算均值和方差，難免引入小噪聲，這也同時(shí)提高了神經(jīng)網(wǎng)絡(luò)的泛化能力。隱藏層中層1和層2中的黃色神經(jīng)元表示該層使用了Dropout方法，Dropout方法通過使部分神經(jīng)元隨機(jī)失活以減小神經(jīng)元之間的依賴性，促使神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)更穩(wěn)健的特征，提高了網(wǎng)絡(luò)的魯棒性。

Critic網(wǎng)絡(luò)的估計(jì)網(wǎng)絡(luò)和目標(biāo)網(wǎng)絡(luò)采用如圖3所示的3層全連接神經(jīng)網(wǎng)絡(luò)來擬合Q(si,ai|θQ)和Q′(si+1,μ′(si+1|θμ′)|θQ′)，并使用BN層和Dropout方法緩解神經(jīng)網(wǎng)絡(luò)過擬合，從而使Critic網(wǎng)絡(luò)可更好評判Actor網(wǎng)絡(luò)輸出動作的優(yōu)劣。

圖3 Critic神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

2.2 獎勵函數(shù)設(shè)計(jì)

為使煤矸石分揀機(jī)械臂可自適應(yīng)學(xué)習(xí)到接近目標(biāo)的方法，同時(shí)解決傳統(tǒng)機(jī)械臂強(qiáng)化學(xué)習(xí)控制方法輸出動作過大以及稀疏獎勵容易被淹沒的問題，本文在傳統(tǒng)DDPG算法的基礎(chǔ)上設(shè)計(jì)了可持續(xù)輸出收益的獎勵函數(shù)：

(3)

終止?fàn)顟B(tài)判定項(xiàng)通過給可輸出連續(xù)跟蹤目標(biāo)動作的智能體一個較大的獎勵值來誘導(dǎo)機(jī)械臂學(xué)習(xí)到跟蹤目標(biāo)的能力，減小目標(biāo)與機(jī)械臂末端執(zhí)行器的沖擊。

3 煤矸石分揀機(jī)械臂智能控制原理

改進(jìn)DDPG算法依據(jù)馬爾科夫決策過程[16]控制機(jī)械臂在與環(huán)境交互中學(xué)習(xí)知識，任務(wù)是找到能最大化智能體期望回報(bào)的最優(yōu)策略[17]，即最大化估計(jì)Q值。在煤矸石分揀機(jī)械臂控制任務(wù)中，強(qiáng)化學(xué)習(xí)中的智能體為具有決策能力的煤矸石分揀機(jī)械臂。估計(jì)Q值的更新依據(jù)自身梯度以及其與目標(biāo)Q值q的均方誤差來指引，其中q為

q=ri+γQ′(si+1,μ′(si+1|θμ′)|θQ′)

(4)

機(jī)械臂根據(jù)相應(yīng)傳感器返回的煤矸石位置以及機(jī)械臂狀態(tài)進(jìn)行決策，輸出機(jī)械臂預(yù)測控制量，并根據(jù)機(jī)械臂執(zhí)行動作之后的環(huán)境狀態(tài)如末端執(zhí)行器與煤矸石的距離、機(jī)械臂的位置、煤矸石的位置等進(jìn)行下一步?jīng)Q策。通過不斷試錯學(xué)習(xí)，使網(wǎng)絡(luò)參數(shù)向可輸出機(jī)械臂探索過程中所遇最大q值方向更新，直到機(jī)械臂可以根據(jù)環(huán)境狀態(tài)準(zhǔn)確輸出接近煤矸石的策略或幕獎勵波動趨于穩(wěn)定時(shí)即可提前終止訓(xùn)練。煤矸石分揀機(jī)械臂控制流程如圖4所示。首先初始化改進(jìn)DDPG算法權(quán)重，然后加載訓(xùn)練權(quán)重，最后根據(jù)煤矸石位置及關(guān)節(jié)角狀態(tài)輸出相應(yīng)的關(guān)節(jié)角來控制機(jī)械臂運(yùn)動，以使末端執(zhí)行器接近煤矸石。煤矸石位置以及機(jī)械臂關(guān)節(jié)角狀態(tài)由相應(yīng)檢測模塊和傳感器測得。

圖4 機(jī)械臂控制流程

4 實(shí)驗(yàn)及結(jié)果分析

4.1 環(huán)境配置

本文采用CoppeliaSim搭建虛擬環(huán)境模型，并在環(huán)境模型中創(chuàng)建UR5機(jī)械臂、RG2執(zhí)行器、輸送帶、煤和煤矸石，以此模擬實(shí)際煤矸石分揀環(huán)境，仿真平臺如圖5所示。

圖5 仿真平臺

使用Python在tensorflow2.2.0上編寫改進(jìn)DDPG算法框架，并調(diào)用CoppeliaSim創(chuàng)建的虛擬環(huán)境來訓(xùn)練算法。算法中Actor的雙網(wǎng)絡(luò)和Critic的雙網(wǎng)絡(luò)神經(jīng)元配置見表1，其神經(jīng)網(wǎng)絡(luò)輸入狀態(tài)si為6個關(guān)節(jié)角度、執(zhí)行器指定點(diǎn)的絕對坐標(biāo)、第5個關(guān)節(jié)的絕對坐標(biāo)、末端執(zhí)行器指定點(diǎn)與煤矸石中心的距離。獎勵函數(shù)參數(shù)c1和c2經(jīng)測試設(shè)定為0.1和0.2，使用30倍的高斯分布噪聲，設(shè)定算法循環(huán)幕數(shù)為5 000，每幕迭代步數(shù)為300，若末端執(zhí)行器中設(shè)定的特定點(diǎn)與煤矸石中心距離為0時(shí)，超參數(shù)b被賦值為10，若下一步距離仍為0，則b繼續(xù)累加10，當(dāng)其累加了20步時(shí)，即跟蹤了20步，則提前結(jié)束當(dāng)前幕。

表1 Actor和Critic神經(jīng)網(wǎng)絡(luò)中各層神經(jīng)元數(shù)量

4.2 性能對比測試

為測試改進(jìn)DDPG算法的性能，將其與僅使用歐幾里得距離作為獎勵函數(shù)的傳統(tǒng)DDPG算法在相同環(huán)境下進(jìn)行訓(xùn)練對比，經(jīng)5 000幕迭代后，改進(jìn)DDPG算法每幕獎勵結(jié)果如圖6所示，傳統(tǒng)DDPG算法每幕獎勵結(jié)果如圖7所示。

圖6 改進(jìn)DDPG算法每幕獎勵

強(qiáng)化學(xué)習(xí)不同于傳統(tǒng)監(jiān)督學(xué)習(xí)，其訓(xùn)練樣本沒有確定標(biāo)簽，也就沒有真正意義上的損失函數(shù)，因此，當(dāng)幕獎勵趨于穩(wěn)定時(shí)，即可認(rèn)為機(jī)械臂在當(dāng)前環(huán)境中學(xué)習(xí)到了基于所用算法的最優(yōu)策略。由圖6和圖7可看出,改進(jìn)DDPG算法和傳統(tǒng)DDPG算法指引下的機(jī)械臂在環(huán)境中經(jīng)過隨機(jī)探索后都學(xué)習(xí)到了一種策略，改進(jìn)DDPG算法訓(xùn)練穩(wěn)定后的每幕獎勵接近機(jī)械臂探索過程中的最大值，而傳統(tǒng)DDPG算法訓(xùn)練穩(wěn)定后的每幕獎勵與機(jī)械臂探索過程中遇到的最大獎勵相差較大，這表示所設(shè)計(jì)的獎勵函數(shù)比傳統(tǒng)獎勵函數(shù)更具有誘導(dǎo)機(jī)械臂學(xué)習(xí)到最優(yōu)策略的能力。

圖7 傳統(tǒng)DDPG算法每幕獎勵

為了進(jìn)一步測試2種算法訓(xùn)練后的性能，將訓(xùn)練后的改進(jìn)DDPG算法和傳統(tǒng)DDPG算法進(jìn)行泛化能力對比驗(yàn)證，測試過程為在虛擬環(huán)境中繼續(xù)添加紅色、黃色、綠色物塊，如圖8所示，圖中灰色物塊為2種算法在學(xué)習(xí)過程中所用的訓(xùn)練目標(biāo)，使用這4種顏色的物塊代替實(shí)際分揀環(huán)境中的煤矸石，將這4種煤矸石分別設(shè)定為測試目標(biāo)，并使用2種算法分別對其進(jìn)行10次接近測試，結(jié)果見表2。

圖8 CoppeliaSim虛擬環(huán)境

表2 測試結(jié)果

由表2可看出，改進(jìn)DDPG算法具有良好的泛化能力，即接近訓(xùn)練過程中未曾出現(xiàn)過目標(biāo)的能力，而傳統(tǒng)DDPG算法泛化能力較差，這也進(jìn)一步驗(yàn)證了改進(jìn)DDPG算法控制下的機(jī)械臂所學(xué)策略質(zhì)量較高。在接近測試過程中，傳統(tǒng)DDPG算法控制下的煤矸石分揀機(jī)械臂的末端執(zhí)行器多數(shù)以一種垂直于虛擬環(huán)境中地面的非常規(guī)姿態(tài)位于物塊之上，這也證明了傳統(tǒng)DDPG算法控制下的機(jī)械臂并未學(xué)習(xí)到良好的策略。在黃色物塊接近測試中，傳統(tǒng)DDPG算法控制下的煤矸石分揀機(jī)械臂末端執(zhí)行器特定位置的運(yùn)動軌跡如圖9所示，改進(jìn)DDPG算法控制下的末端執(zhí)行器特定位置運(yùn)動軌跡如圖10所示。從圖9和圖10可看出，改進(jìn)DDPG算法與傳統(tǒng)DDPG算法相比，其控制策略可以更好地使末端執(zhí)行器接近目標(biāo)。

圖9 傳統(tǒng)DDPG算法控制結(jié)果

圖10 改進(jìn)DDPG算法控制結(jié)果

黃色物塊接近測試中，2種算法輸出的一次關(guān)節(jié)角控制量對比如圖11所示。從圖11可看出，改進(jìn)DDPG算法因受獎勵函數(shù)輸出動作懲罰項(xiàng)的影響，其關(guān)節(jié)角輸出控制量小于傳統(tǒng)DDPG算法的輸出，降低了因大幅度更新關(guān)節(jié)角對機(jī)械臂性能造成的影響。

圖11 2種算法輸出的一次關(guān)節(jié)角控制量對比

綜上可知，改進(jìn)DDPG算法和傳統(tǒng)DDPG算法控制下的煤矸石分揀機(jī)械臂通過與環(huán)境交互均可使機(jī)械臂學(xué)習(xí)到一種控制策略，但測試結(jié)果表明，傳統(tǒng)DDPG算法所學(xué)策略性能較差，不能良好接近目標(biāo)，改進(jìn)DDPG算法所學(xué)策略更接近最優(yōu)。

5 結(jié)論

(1)對傳統(tǒng)DDPG算法中的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和獎勵函數(shù)進(jìn)行了改進(jìn)，提出了適合處理六自由度煤矸石分揀機(jī)械臂的改進(jìn)DDPG算法。改進(jìn)DDPG算法經(jīng)過訓(xùn)練后，Actor網(wǎng)絡(luò)即可根據(jù)環(huán)境狀態(tài)映射成具有最大估計(jì)Q值的關(guān)節(jié)狀態(tài)控制量，最終經(jīng)相應(yīng)運(yùn)動控制器控制煤矸石分揀機(jī)械臂接近煤矸石，實(shí)現(xiàn)煤矸石分揀。

(2)實(shí)驗(yàn)結(jié)果表明，改進(jìn)DDPG算法相較于傳統(tǒng)DDPG算法可更快收斂于探索過程中所遇最大獎勵值。改進(jìn)DDPG算法可控制機(jī)械臂小幅度接近煤矸石，具有較強(qiáng)的泛化能力，為解決實(shí)際煤矸石機(jī)械臂智能分揀問題提供了一種新方法，同時(shí)也為后期與基于深度學(xué)習(xí)的視覺檢測聯(lián)合使用提供了理論保障。