基于深度強(qiáng)化學(xué)習(xí)的移動(dòng)機(jī)械臂末端滑?？刂萍夹g(shù)

朱引行

（江蘇省漣水中等專(zhuān)業(yè)學(xué)校,江蘇 漣水223400）

引言

近年來(lái)，隨著機(jī)器視覺(jué)技術(shù)的不斷創(chuàng)新與發(fā)展，相關(guān)領(lǐng)域的研究也得到了進(jìn)一步深入，最具代表性的便是移動(dòng)機(jī)械臂的控制與應(yīng)用。在智能化與伺服控制技術(shù)的輔助下，移動(dòng)機(jī)械臂的應(yīng)用范圍逐漸擴(kuò)大，應(yīng)用效果明顯提高。但是，由于人們對(duì)于自動(dòng)化標(biāo)準(zhǔn)的提升，傳統(tǒng)的控制技術(shù)已經(jīng)無(wú)法滿(mǎn)足需求和標(biāo)準(zhǔn)，部分移動(dòng)機(jī)械臂在高強(qiáng)度的工作環(huán)境下，末端的滑模逐漸顯現(xiàn)出一定的問(wèn)題與缺陷，對(duì)于日常的工作會(huì)形成不定性的消極影響。移動(dòng)機(jī)械臂的末端滑模是一項(xiàng)十分關(guān)鍵且重要的控制元件[1]，應(yīng)用中起到“承上啟下”的作用，不僅能夠加強(qiáng)機(jī)械臂對(duì)于指令的接收速度，同時(shí)，進(jìn)一步拓展了機(jī)械臂的移動(dòng)空間，逐步營(yíng)造穩(wěn)定的工作環(huán)境[2]。但是過(guò)度移動(dòng)導(dǎo)致滑模出現(xiàn)裂縫、破損等問(wèn)題，對(duì)于日常的移動(dòng)、振動(dòng)控制會(huì)形成一定的阻礙[3]。因此，本次結(jié)合深度強(qiáng)化學(xué)習(xí)原理，設(shè)計(jì)優(yōu)化移動(dòng)機(jī)械臂末端滑模控制技術(shù)，以此為進(jìn)一步完善整體的應(yīng)用效果?？紤]到最終測(cè)試結(jié)果的可靠性，選擇較為真實(shí)的目標(biāo)作為測(cè)試的對(duì)象，根據(jù)移動(dòng)機(jī)械臂的應(yīng)用需求、標(biāo)準(zhǔn)，對(duì)滑模的控制形式以及范圍作出對(duì)應(yīng)的調(diào)整。當(dāng)處于復(fù)雜環(huán)境下時(shí)，滑模的控制壓力也會(huì)得到緩解，從整體上降低對(duì)機(jī)械臂的阻礙，更加快速、穩(wěn)定地完成伺服任務(wù)，同時(shí)也具有自主定位和跟蹤的能力，具有關(guān)鍵的現(xiàn)實(shí)應(yīng)用意義。

1 設(shè)計(jì)移動(dòng)機(jī)械臂末端滑模單元控制技術(shù)

1.1 自適應(yīng)預(yù)處理

在對(duì)深度強(qiáng)化學(xué)習(xí)下移動(dòng)機(jī)械臂末端滑模控制技術(shù)進(jìn)行優(yōu)化設(shè)計(jì)之前，需要先結(jié)合移動(dòng)機(jī)械臂的作用區(qū)域，進(jìn)行自適應(yīng)預(yù)處理[4]。所謂自適應(yīng)預(yù)處理，主要是針對(duì)于機(jī)械臂滑模的控制環(huán)境，設(shè)定的一種動(dòng)態(tài)的控制協(xié)議。結(jié)合深度強(qiáng)化學(xué)習(xí)原理，增設(shè)辨識(shí)機(jī)制、非線性動(dòng)力模型以及異常定位裝置，加強(qiáng)對(duì)移動(dòng)機(jī)械臂末端滑模的自適應(yīng)控制程度[5]。利用關(guān)聯(lián)設(shè)備，先獲取部分基礎(chǔ)控制數(shù)據(jù)，完成匯總整合之后，為確保自適應(yīng)控制環(huán)境的穩(wěn)定，需要先計(jì)算出滑模預(yù)設(shè)移位率，具體如公式（1）所示：

式中：H 表示滑模預(yù)設(shè)移位率，φ 表示收斂系數(shù)，i 表示定向辨識(shí)時(shí)限，表示自適應(yīng)滑動(dòng)比，c1便是預(yù)設(shè)移位距離，c2表示實(shí)測(cè)移位距離。通過(guò)上述計(jì)算，最終可以得出實(shí)際的滑模預(yù)設(shè)移位率。將其預(yù)設(shè)為滑模的移位標(biāo)準(zhǔn)，同時(shí)，關(guān)聯(lián)機(jī)械臂內(nèi)部的非線性控制系統(tǒng)，結(jié)構(gòu)中需要安裝自適應(yīng)感知設(shè)備，同時(shí)，增加提高軸孔裝配、目標(biāo)捕獲等裝置，從整體上增加機(jī)械臂的自適應(yīng)控制速度與安全程度，確保自適應(yīng)控制系統(tǒng)的穩(wěn)定性，完成自適應(yīng)處理，為后續(xù)的控制處理奠定基礎(chǔ)條件。

1.2 布設(shè)多模態(tài)感知滑?？刂乒?jié)點(diǎn)

結(jié)合實(shí)際的控制標(biāo)準(zhǔn)，布設(shè)一定數(shù)量的多模態(tài)感知控制節(jié)點(diǎn)。提取機(jī)械臂滑模的移動(dòng)特征，加工控制系統(tǒng)與核心感知節(jié)點(diǎn)相關(guān)聯(lián)，但需要注意的是，整個(gè)過(guò)程必須要結(jié)合機(jī)械臂視覺(jué)伺服的控制律。為避免感知失敗問(wèn)題的出現(xiàn)，需要在特定的環(huán)境之中，設(shè)定一個(gè)限制控制區(qū)域，導(dǎo)入控制特征，具體的原理，見(jiàn)圖1。

圖1 多模態(tài)感知原理圖

根據(jù)圖1，可以完成對(duì)多模態(tài)感知原理的設(shè)計(jì)與調(diào)整，針對(duì)于移動(dòng)機(jī)械臂的應(yīng)用范圍，調(diào)整末端滑模的偏移方向，同時(shí)需要設(shè)定兩側(cè)的偏移指標(biāo)數(shù)值。完成基礎(chǔ)調(diào)整之后，可以先測(cè)定此時(shí)節(jié)點(diǎn)收集的末端滑?？刂茢?shù)據(jù)是否發(fā)生較大變化，如果與基礎(chǔ)數(shù)值對(duì)比，出現(xiàn)的差值較大，則需要重新設(shè)定個(gè)偏移指標(biāo)，確?？刂瞥绦虻姆€(wěn)定執(zhí)行，一定程度上也有利于多模態(tài)感知控制節(jié)點(diǎn)對(duì)機(jī)械臂末端滑模的控制。

1.3 多協(xié)調(diào)控制軌跡設(shè)計(jì)

在完成對(duì)多模態(tài)感知控制節(jié)點(diǎn)的布設(shè)之后，接下來(lái)，需要設(shè)計(jì)多協(xié)調(diào)控制軌跡。通常情況下，多指令機(jī)械臂日常工作效率要比單指令機(jī)械臂更高，主要是由于其內(nèi)部的程序可以同時(shí)針對(duì)多個(gè)目標(biāo)處理，實(shí)現(xiàn)多維度的同步控制，還可以適應(yīng)較多的應(yīng)用場(chǎng)景，以此應(yīng)用效果更佳?？梢圆捎每刂浦噶顏?lái)代替?zhèn)鹘y(tǒng)的數(shù)字化軌跡控制目標(biāo)，形成穩(wěn)定的指令集群，構(gòu)建多協(xié)調(diào)的控制程序，將多個(gè)目標(biāo)控制軌跡作為約束條件，增設(shè)在不同的主從控制和約束環(huán)境之中，結(jié)合混合控制算法，計(jì)算出機(jī)械臂間的同步誤差，具體如下所示：

式中：F 表示機(jī)械臂間的同步誤差，? 表示同步響應(yīng)時(shí)間，? 表示協(xié)調(diào)范圍，μ1表示約束軌跡距離，μ2表示無(wú)向圖放松約束軌跡距離，n 表示控制次數(shù)。通過(guò)上述計(jì)算，最終可以得出機(jī)械臂間的實(shí)際同步誤差。在標(biāo)定的誤差范圍之內(nèi)，可以合理調(diào)整移動(dòng)機(jī)械臂的覆蓋區(qū)域和控制范圍，結(jié)合預(yù)設(shè)的控制約束條件，實(shí)現(xiàn)軌跡的定向同步。但是需要注意的是，針對(duì)于移動(dòng)機(jī)械臂的控制軌跡，通過(guò)多協(xié)調(diào)的模式，營(yíng)造拓?fù)滠壽E測(cè)定約束框架，并形成一種定向的阻抗，加強(qiáng)末端滑模的移動(dòng)速度，與末端的執(zhí)行器響應(yīng)接觸，提升工作精度，降低控制誤差。

1.4 構(gòu)建深度強(qiáng)化學(xué)習(xí)末端滑模控制模型

在完成對(duì)多協(xié)調(diào)控制軌跡的設(shè)計(jì)之后，接下來(lái)，需要結(jié)合深度強(qiáng)化學(xué)習(xí)原理，構(gòu)建末端滑?？刂颇Ｐ?。首先，需要先將機(jī)械臂中的軸孔與軸入孔接觸，形成對(duì)應(yīng)的操作空間，控制處理過(guò)程中，沖擊碰撞是難以避免的，為降低對(duì)末端滑模的影響以及損壞，可以引入Hogen 提出阻抗機(jī)制，在交互環(huán)境之中，結(jié)合所獲取的數(shù)據(jù)信息，計(jì)算出此時(shí)滑模的阻尼系數(shù)。隨著機(jī)械臂的移動(dòng)與應(yīng)用，測(cè)定分析滑模阻尼系數(shù)的變化狀態(tài)，調(diào)整滑?？刂颇Ｐ偷闹笜?biāo)數(shù)值，具體見(jiàn)表1。

表1 滑?？刂颇Ｐ椭笜?biāo)數(shù)值設(shè)定表

根據(jù)表1，可以完成對(duì)滑?？刂颇Ｐ椭笜?biāo)數(shù)值的設(shè)定。隨后，根據(jù)調(diào)整的狀態(tài)，防止工件損壞，將滑模與接觸設(shè)備形成一種定向的動(dòng)態(tài)聯(lián)系，設(shè)計(jì)末端滑模的阻抗控制結(jié)構(gòu)。擴(kuò)大實(shí)際的控制范圍，并對(duì)標(biāo)定的控制程序和結(jié)構(gòu)作出調(diào)整。通過(guò)改變慣性、阻尼系數(shù)以及剛度參數(shù)來(lái)調(diào)整動(dòng)態(tài)控制聯(lián)系，實(shí)現(xiàn)多維度的深度強(qiáng)化學(xué)習(xí)處理。此時(shí)，采用深度強(qiáng)化技術(shù)，計(jì)算出標(biāo)定的控制修正量，具體如下所示：

式中：T 表示控制修正量，τ 表示滑模深度強(qiáng)化距離，d表示單向移位時(shí)間，b 表示目標(biāo)位置，w 表示測(cè)定位移，l 表示深度接觸力。通過(guò)上述計(jì)算，最終可以得出實(shí)際的控制修正量，設(shè)定模型的控制范圍，并與設(shè)定的控制節(jié)點(diǎn)相互關(guān)聯(lián)。

1.5 PD 雙向控制矩陣設(shè)計(jì)

結(jié)合PD 控制技術(shù)，根據(jù)末端滑模的控制需求、標(biāo)準(zhǔn)，設(shè)計(jì)對(duì)應(yīng)的雙向控制矩陣。首先，利用控制模型，先獲取移動(dòng)機(jī)械臂的實(shí)時(shí)數(shù)據(jù)及信息，并在標(biāo)定的轉(zhuǎn)換范圍之內(nèi)，測(cè)定出機(jī)械臂在移動(dòng)過(guò)程中的穩(wěn)態(tài)誤差，具體見(jiàn)表2。

表2 機(jī)械臂移動(dòng)穩(wěn)態(tài)誤差測(cè)定表

根據(jù)表2，可以完成對(duì)機(jī)械臂移動(dòng)穩(wěn)態(tài)誤差的測(cè)定與分析。由于滑模在不同的環(huán)境下出現(xiàn)的偏差不同，因此，針對(duì)于滑模變動(dòng)的剛度系數(shù)，測(cè)定出機(jī)械臂滑模的實(shí)際力位控制效果。但是需要注意的是，為了保證控制程序的穩(wěn)態(tài)，好需要加強(qiáng)對(duì)滑模接觸狀態(tài)的控制，此時(shí)可以結(jié)合上述測(cè)定出的數(shù)值，設(shè)計(jì)PD 雙向控制矩陣，設(shè)定穩(wěn)態(tài)誤差等于0 時(shí)，滑模的剛度系數(shù)為1.25 以下，控制程序的接觸力誤差為5.25；而當(dāng)穩(wěn)態(tài)誤差小于或者大于0 時(shí)，滑模的剛度系數(shù)為1.25 以上，控制程序的接觸力誤差為10.45～20.35 之間，此時(shí)末端滑模的控制軌跡為呈現(xiàn)出側(cè)向的曲線，利用阻抗模型關(guān)聯(lián)二階控制平臺(tái)，設(shè)定雙向控制環(huán)節(jié)，結(jié)合深強(qiáng)化學(xué)習(xí)技術(shù)，結(jié)合動(dòng)態(tài)響應(yīng)模式，構(gòu)建矩陣的對(duì)應(yīng)控制原理，具體見(jiàn)圖2。

圖2 深度強(qiáng)化學(xué)習(xí)下PD 雙向控制矩陣原理圖示

根據(jù)圖2，可以完成對(duì)深度強(qiáng)化學(xué)習(xí)下PD 雙向控制矩陣原理的設(shè)計(jì)，結(jié)合上述環(huán)節(jié)，劃定末端滑模具體的控制矩陣，同時(shí)結(jié)合強(qiáng)化學(xué)習(xí)技術(shù)，建立ke 與xe 的誤差控制極限點(diǎn)，盡量控制減少穩(wěn)態(tài)誤差，并在合理的范圍之內(nèi)，對(duì)滑模的移位情況作出調(diào)節(jié)，增強(qiáng)末端控制的動(dòng)態(tài)與靜態(tài)控制效果。

2 方法測(cè)試

2.1 測(cè)試準(zhǔn)備

選擇G 企業(yè)的機(jī)械臂作為測(cè)試的主要目標(biāo)對(duì)象，并設(shè)定傳統(tǒng)伺服定位控制技術(shù)（方法1）測(cè)試組、傳統(tǒng)改進(jìn)分?jǐn)?shù)控制技術(shù)（方法2）測(cè)試組以及本文所設(shè)計(jì)的深度強(qiáng)化學(xué)習(xí)控制技術(shù)測(cè)試組。結(jié)合自抗擾控制與深度強(qiáng)化學(xué)習(xí)技術(shù)，構(gòu)建改進(jìn)ESO 的滑?？刂瞥绦?，并設(shè)定機(jī)械臂末端滑模的基礎(chǔ)指標(biāo)參數(shù)：?jiǎn)卧墩翊螖?shù)5 次，有效控制距離15.35 m，末端變動(dòng)誤差2.03。

2.2 測(cè)試過(guò)程及結(jié)果分析

在標(biāo)定的測(cè)試環(huán)境之中，設(shè)定三個(gè)擾動(dòng)節(jié)點(diǎn)，布設(shè)在機(jī)械臂的控制節(jié)點(diǎn)之中，在控制程序之中，設(shè)計(jì)滑模面的動(dòng)態(tài)控制環(huán)節(jié)，確保達(dá)測(cè)定標(biāo)準(zhǔn)即可。設(shè)定標(biāo)準(zhǔn)的抖振比為1∶3.5，測(cè)定機(jī)械臂在移動(dòng)的過(guò)程中控制系統(tǒng)的魯棒性，并測(cè)算末端滑模的轉(zhuǎn)動(dòng)慣量，一般需要控制在1.75～6.45 之間，確保滑?？梢皂樌苿?dòng)，降低整體的移位偏差概率。結(jié)合深度強(qiáng)化學(xué)習(xí)技術(shù)，在周期之內(nèi)，定位滑模的移動(dòng)位置，并對(duì)其出現(xiàn)的穩(wěn)態(tài)誤差進(jìn)行分析，具體見(jiàn)圖3。

圖3 末端滑模穩(wěn)態(tài)誤差局部變化圖示

根據(jù)圖3，可以完成對(duì)末端滑模穩(wěn)態(tài)誤差局部變化的分析與研究。經(jīng)過(guò)觀測(cè)可以的差值，經(jīng)過(guò)控制調(diào)整和處理，末端滑模的穩(wěn)態(tài)誤差得到了明顯的控制，逐漸趨于平穩(wěn)，這表明誤差逐漸減少。此時(shí)，啟動(dòng)設(shè)定的三個(gè)擾動(dòng)節(jié)點(diǎn)，設(shè)定處理目標(biāo)，確保在相同的環(huán)境之下，計(jì)算出單元控制時(shí)間，具體如下所示：

式中：R 表示單元控制時(shí)間，η1表示預(yù)設(shè)擾動(dòng)范圍，η2表示實(shí)測(cè)擾動(dòng)范圍，? 表示實(shí)時(shí)轉(zhuǎn)動(dòng)慣量差值，V 表示等效控制距離。通過(guò)上述計(jì)算，最終可以得出實(shí)際的單元控制時(shí)間。結(jié)合上述的測(cè)試結(jié)果，采用對(duì)比的形式展開(kāi)分析，具體見(jiàn)表3。

表3 單元控制時(shí)間測(cè)試結(jié)果對(duì)比分析表（s）

根據(jù)表3，本研究方法將單元控制時(shí)間均控制在了1.5 s 以下，控制的速度與效率表現(xiàn)較好，具有實(shí)際的應(yīng)用價(jià)值。

3 結(jié)論

結(jié)合深度強(qiáng)化學(xué)習(xí)設(shè)計(jì)移動(dòng)機(jī)械臂末端滑?？刂萍夹g(shù)。利用深度強(qiáng)化學(xué)習(xí)原理，逐步構(gòu)建統(tǒng)一的滑?？刂茦?biāo)準(zhǔn)，從根源上降低整體的控制誤差，增強(qiáng)度滑模控制的反向作用能力，再加上異常定位技術(shù)與末端監(jiān)測(cè)技術(shù)的輔助，可以營(yíng)造更加細(xì)化的控制模式，為后續(xù)的技術(shù)創(chuàng)新奠定參考依據(jù)。