基于非零和博弈的自適應人機協(xié)作系統(tǒng)設計①

禹鑫燚 羅惠珍 史栓武 魏 巖 歐林林

(浙江工業(yè)大學信息工程學院 杭州 310023)

0 引言

隨著機器人越來越廣泛地應用于裝配、搬運、康復等物理協(xié)作任務[1-3]中,機器人在非結構化環(huán)境中的人機協(xié)作技術發(fā)揮著越來越重要的作用,因而人機協(xié)作得到了越來越多的關注。機器人適合做重復、高精度且具有一定危險性的工作,而人在面對突發(fā)事件時的靈活性和對未知環(huán)境的適應能力彌補了機器人的不足。為了在人機協(xié)作中充分利用機器人和人的優(yōu)點,需要提高人和機器人協(xié)作的自適應性。

在人機協(xié)作控制領域,通常有阻抗控制[4]和導納控制[5]2 種有效控制方法。阻抗控制通過阻尼-彈簧-質量模型表示人和機器人的動態(tài)位置關系[6],測量機器人空間位置以及選取合適的阻抗參數(shù),獲得機器人輸入力。因此,模型阻抗參數(shù)的選擇至關重要,對于不同工作環(huán)境和操作人員需要不同的模型參數(shù)。由于環(huán)境的復雜性,難以獲取合適的模型參數(shù)。文獻[7]建立了阻抗模型的剛度系數(shù)與人機交互力的關系,通過自適應律調整剛度系數(shù)大小。文獻[8]提出了一種輔助-對抗的方法,根據(jù)人在任務中的參與程度自適應調整阻抗參數(shù)。為了提高自適應性,變阻抗的方法被引入機器人領域,可以通過強化學習(reinforcement learning,RL)方法在線自適應調整阻抗參數(shù)[9]。文獻[10]在每個關節(jié)上設計獨立的RL 輸入補償器。文獻[11]利用輸入輸出數(shù)據(jù)重新構造狀態(tài),解決了未知環(huán)境動力學的最優(yōu)阻抗控制問題。但現(xiàn)有的人機協(xié)作控制方法所設計的控制策略通常適用于某特定任務,缺乏多用途的系統(tǒng)方法。

在執(zhí)行一些復雜多變的任務時,為了實現(xiàn)柔順控制,人和機器人力的靈活調配起到關鍵作用。而在工業(yè)機器人的實際應用中,通常要考慮到任務的多樣性,如車間裝配在不同的階段要完成不同的任務。因此需要設計通用的人機協(xié)作策略來完成人和機器人之間不同的協(xié)作任務,以適應任務變化。以往的研究設計了人機協(xié)作的自適應框架[12-14]。文獻[15]根據(jù)人和機器人之間的差異程度在基于模型和無模型策略之間動態(tài)選擇。這些研究指出,機器人需要根據(jù)人的意圖做出判斷,根據(jù)任務自適應調整引導或者跟隨任務的角色。博弈論(game theory,GT)適用于分析多智能體系統(tǒng)[16-25],能夠用來構建通用的方法描述人機協(xié)作的雙智能體博弈。非零和博弈(non-zero-sum games)是一種合作下的博弈[17],適用于人機協(xié)作,可以通過給定目標函數(shù)和人機協(xié)作任務目標進行建模。文獻[18]在已知線性系統(tǒng)目標函數(shù)的博弈中,通過求解黎卡提方程的方法獲得最優(yōu)控制。然而,該方法是針對確定目標函數(shù)生成的固定控制策略,在協(xié)作過程中可能無法達到平衡。因此通過評估交互性能,文獻[19]采用策略迭代的方法降低計算成本并不斷更新控制策略。策略迭代的方法被證明適用于已知模型或未知模型的線性系統(tǒng)[20-22],且應用于已知或未知動態(tài)的博弈[23]。然而,在實際的人機協(xié)作場景中,機器人通常事先不知道人機協(xié)作的任務目標。

為了解決人機協(xié)作時人和機器人自動切換引導或跟隨角色的問題,使得人和機器人能夠根據(jù)任務相互協(xié)調,本文設計了自適應人機協(xié)作系統(tǒng),系統(tǒng)由互相解耦的內外環(huán)構成。外環(huán)通過非零和博弈描述人機協(xié)作系統(tǒng),并通過求解納什均衡獲得人機協(xié)作系統(tǒng)最優(yōu)控制策略。首先對系統(tǒng)的阻抗模型重新建模,再構建關于人力和機器人控制輸入的能量函數(shù);針對能量函數(shù)中的不確定參數(shù),采用神經(jīng)網(wǎng)絡擬合估計器更新,并自適應調整剛度系數(shù),實現(xiàn)人機柔順協(xié)調;設計神經(jīng)網(wǎng)絡函數(shù)的中心值保證控制方法的跟蹤性。此外,在內環(huán)中設計徑向基神經(jīng)網(wǎng)絡控制器,利用實時更新的機器人輸入輸出數(shù)據(jù)逼近機器人動力學模型,提高跟蹤精度。

1 人機協(xié)作系統(tǒng)結構設計

人機協(xié)作系統(tǒng)由人和機器人組成。當沒有外力干擾時,機器人會重復執(zhí)行預定任務,如果人對機器人施加一個外力,那么機器人會服從人力沿著新的目標軌跡運動。通常,人施加的力是隨機且多變的,需要完成的任務軌跡也不同。

本文設計的人機協(xié)作系統(tǒng)總體結構如圖1 所示,包括內環(huán)和外環(huán)。外環(huán)和內環(huán)的作用分別為平衡人機控制策略和提高跟蹤精度。在外環(huán)中,通過引入非零和博弈論的方法,對人和機器人的交互行為進行博弈。此外利用神經(jīng)網(wǎng)絡擬合能量函數(shù)中的參數(shù),確定阻抗模型中的剛度系數(shù)值。在內環(huán)回路中,設計了一個自適應神經(jīng)網(wǎng)絡控制器,利用神經(jīng)網(wǎng)絡補償機器人動力學模型中的未知項。機器人將跟蹤阻抗模型中求得的參考軌跡xr,而參考軌跡將跟蹤實際期望軌跡xd,實現(xiàn)內外環(huán)互不干擾。

圖1 人機協(xié)作系統(tǒng)結構圖

考慮如下機器人的笛卡爾空間動力學模型:

假設機器人的笛卡爾空間阻抗模型為

其中,xr分別為虛擬參考軌跡、速度和加速度;Md∈Rm×m和Cd∈Rm×m分別為期望的慣性矩陣和阻尼矩陣;u(t) ∈Rm為笛卡爾空間的控制輸入力。

當機器人在協(xié)作過程中跟蹤固定的期望軌跡xd時,把阻抗模型改寫成以下形式:

其中為了便于控制器的設計,把式(3)中的阻抗模型改寫成狀態(tài)空間方程的形式:

其中,0m和Im分別代表m×m維的零矩陣和單位矩陣;xr和是阻抗模型的輸出參考軌跡和速度,用來跟蹤期望軌跡xd,同時在內環(huán)中使機器人真實的軌跡x跟蹤xr。

將人和機器人作為2 個智能體,利用非零和博弈論的方法描述人和機器人之間的協(xié)作,達到最優(yōu)的合作關系。根據(jù)增廣的狀態(tài)z,人機協(xié)作系統(tǒng)的能量函數(shù)可以寫成如下形式:

Q1、Q2分別為軌跡跟蹤誤差和速度的權值矩陣,R1和R2分別為機器人和人控制力的權值矩陣。通過調節(jié)這些權值矩陣的大小,來確定控制目標。

如果能量函數(shù)式(6)已知,那么通過最小化能量函數(shù),可以設計機器人控制器來實現(xiàn)人機協(xié)調[23]。然而,在實際的人機協(xié)作過程中,人的意圖會時刻變化且不可預知,所以能量函數(shù)V的參數(shù)隨時間變化,無法確定。因此,本文將在控制外環(huán)中引入神經(jīng)網(wǎng)絡估計器確定非零和博弈中人和機器人的控制律,從而更新阻抗模型中的剛度系數(shù)達到柔順人機協(xié)作的目的。在內環(huán)中,針對未知非線性機器人模型參數(shù),設計了自適應神經(jīng)網(wǎng)絡控制器,并提高跟蹤精度。

2 外環(huán)中的非零和博弈控制方法

本節(jié)擬給出基于非零和博弈的外環(huán)控制方法,根據(jù)式(6),該系統(tǒng)中機器人和人的能量函數(shù)分別定義為

其中,ci(z,u,f)=zTQz+uTRi1u+fTRi2f,Ri1和Ri2分別為機器人和人的正定權值矩陣。為了最小化能量函數(shù)Vi,可以利用求解納什均衡的方法,得到最優(yōu)的u、f控制策略。

定理1[26]機器人和人博弈的納什均衡策略u?、f?滿足以下不等式:

從納什均衡的定義中不難看出,機器人和人都有自己的能量函數(shù),并且不能通過單方面改變控制策略來提高其性能。在非零和博弈過程中,無論對方的策略如何,人和機器人都會選擇某個確定的策略,不受影響。如果在另外一方選擇確定的情況下,該選擇的策略達到最優(yōu),則為納什均衡。

從式(8)中看出,機器人和人的控制策略相互耦合,所以本文通過強化學習中策略迭代[27]的方式來求解人機協(xié)作中的納什均衡。假設能量函數(shù)式(8)連續(xù)且可微,分別對兩邊求導,結合式(4)則可被改寫為以下非線性李雅普諾夫方程的形式:

為了便于表示,令u1=u,u2=f。根據(jù)穩(wěn)定性條件[23],當哈密頓函數(shù)關于控制策略的偏導數(shù)=0 時,最優(yōu)反饋控制策略滿足:

如果對于能量函數(shù)已知的系統(tǒng),可以直接利用策略迭代求解納什均衡得到機器人和人的控制策略。然而,由于人的控制策略是無規(guī)則變化的,故能量函數(shù)Vi中的參數(shù)Ri1和Ri2無法確定。神經(jīng)網(wǎng)絡具有強大的擬合非線性曲線的能力,常用于未知的機器人控制系統(tǒng)[28]。因此引入神經(jīng)網(wǎng)絡估計器利用在線自適應的方法來確定適合的參數(shù),從而得到人和機器人的控制律。

假設人和機器人有相同的能量函數(shù)V(z),如式(6)所示,且連續(xù)可微,那么V(z) 可以通過神經(jīng)網(wǎng)絡被近似為

其中W是未知的期望權值矩陣,S(z) 是神經(jīng)網(wǎng)絡激活函數(shù),ε(z) 是神經(jīng)網(wǎng)絡的近似誤差。V(z) 關于z的導數(shù)如下:

其中?S(z) 和?ε(z) 分別為神經(jīng)網(wǎng)絡激活函數(shù)和近似誤差的有界梯度。神經(jīng)網(wǎng)絡的權值矩陣W是未知的,能量函數(shù)的估計形式表示為

由于人和機器人有相同的能量函數(shù),則式(11)中的哈密頓方程可以寫成:

在人機協(xié)作的任務中,c(z,u,f) 中的權值矩陣Q、R1和R2未知,又因為矩陣R1和R2是相互關聯(lián)的,所以先令R2為一個固定值,則c(z,u,f) 的估計值表示為

那么,將哈密頓方程的近似值表示為

令式(18)中的c(z,u,f) +WTσ+εH=0,聯(lián)合式(20)可將估計誤差e表示為

因此,結合式(18)和式(21),估計誤差改寫成如下形式:

為了能達到擬合效果,設計了一個二次殘差函數(shù)E[27],通過設計合適的和來最小化E。

在式(14)神經(jīng)網(wǎng)絡的設計中,采用了徑向基函數(shù)。其中,徑向基函數(shù)為S(z)=[s1,…,sN]T,N代表神經(jīng)節(jié)點的數(shù)量,激活函數(shù)選擇了高斯函數(shù)的形式:

其中μi=[μi,1,μi,2,…,μi,2m] 為激活函數(shù)的中心位置,ηi為高斯函數(shù)的寬度(i=1,…,N)。對徑向基函數(shù)的梯度表示為?S(z)=[?s1,…,?sN]T,其中,

為了保證控制方法的跟蹤性,式(34)中激活函數(shù)的中心位置μi被設計為

其中,k是大于0 的常數(shù)。通過設計激活函數(shù)的中心位置,可以獲得機器人控制律u與誤差跟蹤的關系u=K(xd-xr)。結合式(5)中的z(t) 和B1,把?S(z) 代入式(30)可以得到:

K代表機器人的剛度系數(shù),當K比較大的時候,可以較快地修正軌跡跟蹤誤差,相應地人拖動機器人也較為困難。由式(37)可知,通過更新迭代參數(shù)和來改變K值從而實現(xiàn)變阻抗控制。通過該方法,當需要跟蹤預定軌跡時增大K來達到好的跟蹤效果,當有人力存在時減小K值達到輕松協(xié)作的目的。機器人在完成任務時有自己的運動目標,但當人干預時,會把人的目標作為新目標,實現(xiàn)了協(xié)調的目的。

具體的自適應算法如下。

3 內環(huán)控制器設計

內環(huán)控制器的目的是設計力矩,在運動過程中,使機器人真實軌跡x跟蹤外環(huán)中的參考軌跡xr,模型跟蹤誤差定義如下:

甘肅省位于我國西北內陸地區(qū)，經(jīng)濟不發(fā)達，主要收入來源于種植業(yè)。因為獨特的自然環(huán)境和地理環(huán)境，甘肅省經(jīng)常遭受多種自然災害，且受災范圍廣、程度深。正因為上述原因，甘肅省一直積極發(fā)行各種惠農(nóng)政策和相應的保險險種力爭將農(nóng)戶的損失最小化。農(nóng)業(yè)保險是一項民生政策，在政策性農(nóng)業(yè)保險發(fā)展初期，甘肅省只對部分農(nóng)產(chǎn)品進行試點保險，具體如表1。

為了使模型跟蹤誤差項er最小,引入比例微分誤差函數(shù)項s,

其中Λ=ΛT>0,Λ為常數(shù)矩陣。對式(38)求導代入式(39)可得:

再對式(40)求導可得:

把式(40)和(41)代入動力學方程式(1),可得:

將式(42)中的M(q)轉換成如下的形式:

式(44)中包含了未知的動力學模型參數(shù)M(q)、C(q,) 和G(q),在設計控制器的過程中,這些參數(shù)會影響人機協(xié)作的柔順度。為了使機器人與人更好地配合,利用神經(jīng)網(wǎng)絡擬合動力學模型中不確定參數(shù)。(z) 代表神經(jīng)網(wǎng)絡估計項,表示如下:

其中Wn為神經(jīng)網(wǎng)絡權值矩陣,εn為神經(jīng)網(wǎng)絡擬合誤差。在圖1 的內環(huán)結構中,自適應神經(jīng)網(wǎng)絡控制器被設計為如下形式:

其中Kv為控制增益。

基于文獻[29]的研究結果,將神經(jīng)網(wǎng)絡權值矩陣的更新率設計成如下形式:

定理2針對式(47)中設計的自適應神經(jīng)網(wǎng)絡控制器,采用式(48)的更新率且‖‖F(xiàn)滿足條件式(49),則控制器式(47)能夠使系統(tǒng)穩(wěn)定,且能保證式(39)中的模型跟蹤誤差er有界。

證明首先,定義李雅普諾夫函數(shù)為

對式(50)求導可得:

將式(43)中M(q)代入式(51),再將式(46)、(47)代入其中得:

把式(53)代入式(52)得:

其中,Kvmin為矩陣Kv的最小特征根。把式(49)代入式(55)可得,李亞普諾夫函數(shù)的導數(shù)<0,從而證明所設計的控制器能夠保證系統(tǒng)是穩(wěn)定的。

4 仿真

為了驗證所提出方法的有效性,本節(jié)以二連桿機器人為仿真對象進行了仿真,如圖2 所示。本文的仿真平臺為CoppeliaSim (4.1.0,Windows),聯(lián)合Matlab (R2020a)進行仿真。在仿真過程中,移動最左側的小球被認為施加力,從其初始位置到當前位置的向量表示人在二連桿末端小球上施加的力,其大小與長度成正比。黑色的圓和直線分別為二連桿機器人末端的期望路徑。機器人按照預設的路徑進行運動,當人給機器人一個外力時,機器人會改變原來的目標去跟隨新的軌跡。同時,為了使人能更加容易拖動機器人,機器人的剛度系數(shù)也會自適應減小。為了說明本文方法的可行性,設置2 組仿真,讓機器人分別跟蹤均勻水平直線和曲線路徑。相關的控制參數(shù)設置如下:式(34)中的ηi=100,式(36)中的k=10,式(3)中的阻抗參數(shù)為Md=3I2kg,Cd=30I2N/m。二連桿機器人參數(shù)為:連桿質量m1=m2=0.5 kg,連桿長度l1=l2=0.3 m,I1=I2=1 kg·m2。式(19)估計權值中的2 個矩陣的初始值設為=100I2m-2=I2s2/m2,其中和分別為Q1和Q2的估計值,==10-3I2N-2。關于神經(jīng)網(wǎng)絡,初始值設為W=40,節(jié)點數(shù)為6,更新率參數(shù)式(32)、(33)設為α1=0.1,α2=10-4,β=10-3。更新率參數(shù)α1和α2的值會影響神經(jīng)網(wǎng)絡的更新速率,越大更新越快,同時也會使得剛度系數(shù)變化更快。

圖2 CoppeliaSim 二連桿仿真場景圖

把參考路徑設置為均勻水平直線,在不設置外力的情況下,機器人將沿著水平運動。在仿真的第2 s 左右時,拖動小球施加外力,使機器人跟蹤人的目標。施加的外力如圖3(a),分別表示x方向和y方向力的大小,在7 s 左右釋放。剛度系數(shù)K變化曲線圖如3(b)所示,當人施加力時,機器人會改變其預期的軌跡,同時剛度系數(shù)會適應人力逐漸減小,再趨于穩(wěn)定。二連桿機器人的運動軌跡以及x和y兩個方向關于時間的軌跡跟蹤分別如圖3(c)、(d)和(e)所示。由圖可知,在人不施加力時,能較好跟蹤期望軌跡執(zhí)行目標。

圖3 軌跡為均勻水平直線的仿真圖

同樣,當機器人沿著圓弧曲線軌跡運動時,圖4(a)為x和y兩個方向力的變化曲線,在1 s 左右施加外力,4 s 左右釋放。圖4(b)為剛度系數(shù)K的變化曲線,且在施加外力后,剛度系數(shù)K也自適應減小。圖4(c)為二連桿機器人的曲線運動軌跡。由圖可得,機器人先跟蹤黑色曲線的部分,再跟隨外力的方向,當外力釋放后會繼續(xù)跟蹤原目標軌跡,K的變化使人能更容易拖動機器人。圖4(d)和(e)分別為x和y兩個方向關于時間的軌跡跟蹤曲線。在不施加外力時,機器人能很好地跟蹤目標軌跡。當機器人占據(jù)主導地位時,能較好地跟蹤期望目標執(zhí)行任務,當人加入任務中時,則人將成為為任務主導者。2 次仿真驗證了本文方法的可行性和準確性。

圖4 軌跡為曲線的仿真圖

5 結論

本文提出了一種基于非零博弈論的人機協(xié)作的自適應系統(tǒng),通過切換人和機器人在協(xié)作中的主導位置來提高協(xié)作的協(xié)調性。該系統(tǒng)由互相解耦的內外環(huán)構成。在外環(huán)中,引入了基于非零和博弈,構建關于人力和機器人控制輸入的能量函數(shù),求解人機交互力的納什均衡以得到最優(yōu)控制。能量函數(shù)中的不確定參數(shù)通過神經(jīng)網(wǎng)絡估計器迭代更新,在更新過程中自適應調整剛度系數(shù),使其能夠靈活地在人機協(xié)作或者僅機器人的情況下進行任務轉換。通過設計徑向基函數(shù)中心值,保證控制方法的跟蹤性。在內環(huán)中,設計了神經(jīng)網(wǎng)絡控制器,采用徑向基神經(jīng)網(wǎng)絡,機器人系統(tǒng)的輸入輸出數(shù)據(jù)被實時采集來逼近機器人動力學模型同時提高跟蹤精度。仿真結果驗證了本文所提方法的有效性。