基于Actor-Critic學(xué)習(xí)的數(shù)控機(jī)床加工過程控制方法

黃 蘇

(廈門海洋職業(yè)技術(shù)學(xué)院 海洋機(jī)電學(xué)院，福建 廈門 361102)

數(shù)控機(jī)床包含機(jī)床、刀具與工件等，其加工過程屬于動(dòng)態(tài)過程[1]，數(shù)控機(jī)床加工過程易受大量因素與參數(shù)影響，例如切削力與進(jìn)給速度等，導(dǎo)致加工過程無法達(dá)到最優(yōu)狀態(tài)，直接影響數(shù)控機(jī)床加工效率與加工質(zhì)量[2-4]。因此，需要對(duì)數(shù)控機(jī)床的加工過程進(jìn)行控制。梁建智等依據(jù)數(shù)控機(jī)床加工過程運(yùn)行特性，建立等價(jià)數(shù)據(jù)模型，通過數(shù)據(jù)驅(qū)動(dòng)，設(shè)計(jì)控制方法，按照迭代軸動(dòng)態(tài)線性算法，依據(jù)最小化控制目標(biāo)函數(shù)，實(shí)現(xiàn)了控制增益的自適應(yīng)修正，提升了控制方法的收斂速度[5]，但是該方法控制加工過程的平均絕對(duì)誤差較大，影響數(shù)控機(jī)床加工效果。馬麗等通過UG軟件與VERICUT軟件模擬加工過程，該方法可完成并有效控制加工過程[6]，但在控制數(shù)控機(jī)床加工過程中缺乏穩(wěn)定性，降低數(shù)控機(jī)床的工作效率。

Actor-Critic學(xué)習(xí)同時(shí)具備近似值函數(shù)與策略函數(shù)的特性[7]，與PID控制器結(jié)合可有效提高機(jī)床加工的控制效果。因此，為解決上述方法的不足，本文基于Actor-Critic學(xué)習(xí)算法，設(shè)計(jì)了1種數(shù)控機(jī)床加工過程控制方法，可以有效控制數(shù)控機(jī)床加工過程，提升數(shù)控機(jī)床加工過程穩(wěn)定性。

1 數(shù)控機(jī)床加工過程控制方法

1.1 數(shù)控機(jī)床加工過程模型

數(shù)控機(jī)床單軸給進(jìn)系統(tǒng)的動(dòng)力學(xué)方程[8]為

(1)

式中，Ml為數(shù)控機(jī)床工作臺(tái)質(zhì)量，Xt為數(shù)控機(jī)床工作臺(tái)軸向位移，l為滾珠絲杠導(dǎo)程，Xl為滾珠絲杠的軸向位移，C1為導(dǎo)軌阻尼系數(shù),Ke為電機(jī)等效轉(zhuǎn)動(dòng)慣量。

基于動(dòng)力學(xué)特性，針對(duì)數(shù)控機(jī)床動(dòng)態(tài)特性[9]，系統(tǒng)的動(dòng)力學(xué)方程為

mx+(c+cj)x+(k+kj)x=0,

(2)

式中，m為數(shù)控機(jī)床質(zhì)量矩陣，c與cj為機(jī)床和結(jié)合部阻尼的矩陣，k與kj為機(jī)床和結(jié)合部剛度的矩陣，x為數(shù)控機(jī)床主軸。

結(jié)合數(shù)控機(jī)床有限元分析模型，數(shù)控機(jī)床加工效率傳遞函數(shù)為[10]

(3)

式中，a為傳遞導(dǎo)程，m與n為常數(shù)，s為伺服增益，T為增益時(shí)間。

設(shè)Fo表示切向力，F(xiàn)w表示徑向力，F(xiàn)e表示軸向力，數(shù)控機(jī)床動(dòng)態(tài)切削力方程為

(4)

式中，u為切削刃接觸邊長(zhǎng)度，Kic(i=o,w,e)與Kib(i=o,w,e)為動(dòng)態(tài)切削系數(shù)，h(α)表示瞬態(tài)切削厚度。

1.2 基于Actor-Critic學(xué)習(xí)的自適應(yīng)PID控制

Actor-Critic學(xué)習(xí)采用模糊推理系統(tǒng)(fuzzy inference system，F(xiàn)IS)與徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)(radial basis function，RBF)相結(jié)合的網(wǎng)絡(luò)結(jié)構(gòu)，即基于FRBF的模糊Actor-Critic學(xué)習(xí)結(jié)構(gòu)，結(jié)合自適應(yīng)PID控制器，設(shè)計(jì)基于Actor-Critic學(xué)習(xí)的自適應(yīng)PID控制方法，控制數(shù)控機(jī)床加工過程。具體步驟如下：

步驟1：初始化PID控制器的參數(shù)；

步驟3：將xt作為基于FRBF的模糊Actor-Critic學(xué)習(xí)網(wǎng)絡(luò)的輸入向量，通過FRBF的模糊Actor-Critic學(xué)習(xí)網(wǎng)絡(luò)，初步優(yōu)化PID控制器，將其應(yīng)用于數(shù)控機(jī)床加工過程模型中；

步驟4：預(yù)測(cè)數(shù)控機(jī)床加工過程模型下一采樣時(shí)間的輸出函數(shù)與回報(bào)函數(shù)，求解值函數(shù)與TD誤差，通過結(jié)構(gòu)學(xué)習(xí)與參數(shù)學(xué)習(xí)，優(yōu)化FRBF的模糊Actor-Critic學(xué)習(xí)網(wǎng)絡(luò)，獲取最佳的FRBF的模糊Actor-Critic學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)；

步驟5：在最佳FRBF的模糊Actor-Critic學(xué)習(xí)網(wǎng)絡(luò)內(nèi)輸入xt，輸出PID控制器最佳參數(shù)，得到自適應(yīng)PID控制器，將其應(yīng)用到數(shù)控機(jī)床加工過程模型中，實(shí)現(xiàn)對(duì)數(shù)控機(jī)床加工過程的控制。

1.2.1 基于PID控制器的加工過程控制

(5)

式中，F(xiàn)t為PID控制器輸出的數(shù)控機(jī)床加工過程切削力測(cè)量值，t為時(shí)間，Tj、Td為積分與微分的時(shí)間常數(shù)。

PID控制器的增量式算法為

(6)

1.2.2 PID控制器參數(shù)優(yōu)化

利用基于FRBF的模糊Actor-Critic學(xué)習(xí)網(wǎng)絡(luò)，優(yōu)化數(shù)控機(jī)床加工控制的PID控制器參數(shù)K， 建立自適應(yīng)PID控制器，提升數(shù)控機(jī)床加工控制效果[12]。

將xt作為FRBF的模糊Actor-Critic學(xué)習(xí)網(wǎng)絡(luò)的輸入，輸出最佳的K。FRBF的模糊Actor-Critic學(xué)習(xí)網(wǎng)絡(luò)共包含4層，分別是輸入層、規(guī)則層、歸一化適應(yīng)度計(jì)算層、輸出層。

首層內(nèi)各神經(jīng)元均對(duì)應(yīng)1個(gè)數(shù)控機(jī)床加工控制 的PID控制器的狀態(tài)變量xα，均可直接傳輸至第2層。

第2層內(nèi)各節(jié)點(diǎn)均對(duì)應(yīng)1條優(yōu)化數(shù)控機(jī)床加工控制的PID控制器參數(shù)的模糊規(guī)則[13]，均包含m個(gè)高斯型隸屬度函數(shù)ραβ，公式如下：

(7)

式中:α∈m；h為規(guī)則節(jié)點(diǎn)數(shù)量，β∈h；η為模糊系數(shù)；μαβ、σαβ表示ραβ的中心與寬度。

第β條優(yōu)化數(shù)控機(jī)床加工控制的PID控制器參數(shù)的模糊規(guī)則的適應(yīng)度為

(8)

式中xαt為t時(shí)刻x的第α個(gè)分量。

第3層內(nèi)節(jié)點(diǎn)數(shù)量與上1層節(jié)點(diǎn)數(shù)量一致[14]，負(fù)責(zé)歸一化處理φβ，公式如下:

(9)

最后1層包含Actor與Critic 2個(gè)部分，利用Critic近似優(yōu)化數(shù)控機(jī)床加工控制的PID控制器參數(shù)狀態(tài)值函數(shù)，將xt映射成期望評(píng)價(jià)值S(xt)，即值函數(shù)，通過Actor生成優(yōu)化數(shù)控機(jī)床加工控制的PID控制器參數(shù)的合理動(dòng)作，將xt映射至動(dòng)作空間，獲取動(dòng)作概率函數(shù)K′(xt)，即最佳的Actor數(shù)控機(jī)床加工控制的PID控制器參數(shù)分量K=[Kp,Kj,Kd]，網(wǎng)絡(luò)輸出的第k個(gè)動(dòng)作的動(dòng)作概率函數(shù)為

(10)

式中:wkβ為第3層與Actor網(wǎng)絡(luò)的連接權(quán)值；γ1為常數(shù)，γ1>0。

Critic網(wǎng)絡(luò)輸出的S(xt)為

(11)

(12)

Actor和Critic都通過TD法學(xué)習(xí)S(xt)與K″(xt)，通過狀態(tài)轉(zhuǎn)移時(shí)鄰近S(xt)的時(shí)間差分求解TD誤差δTD，公式如下:

δTD=rt+JτS(xt+1)-S(xt)，

(13)

式中:rt為優(yōu)化數(shù)控機(jī)床加工工程PID控制器參數(shù)的回報(bào)信號(hào)；折扣系數(shù)是τ的取值區(qū)間為(0，1)；J表示學(xué)習(xí)性能指標(biāo)。

(14)

通過結(jié)構(gòu)學(xué)習(xí)優(yōu)化網(wǎng)絡(luò)第2層與第3層的節(jié)點(diǎn)數(shù)量，提升網(wǎng)絡(luò)泛化效果，加快收斂效率。通過增加節(jié)點(diǎn)完成結(jié)構(gòu)學(xué)習(xí)，即由增加節(jié)點(diǎn)，擴(kuò)展的覆蓋度，獲取標(biāo)準(zhǔn)TD誤差，輸出更佳的A(xt)。

令Φβ為基函數(shù)，qβ為平均局部加權(quán)TD誤差，yβ為平方TD誤差，利用Φβ的局部誤差求解標(biāo)準(zhǔn)TD誤差，移動(dòng)Φβ的qβ與yβ，獲取網(wǎng)絡(luò)節(jié)點(diǎn)局部誤差，公式如下：

qβ(t+1)=qβ(t)-τΦβ(qβ(t)+φβδTD),

(15)

(16)

(17)

FRBF的模糊Actor-Critic學(xué)習(xí)網(wǎng)絡(luò)完成結(jié)構(gòu)學(xué)習(xí)與參數(shù)學(xué)習(xí)后，在該網(wǎng)絡(luò)內(nèi)輸入優(yōu)化PID控制器的K，得到最佳數(shù)控機(jī)床加工過程PID控制器的參數(shù)，獲取自適應(yīng)PID控制器，通過自適應(yīng)PID控制器完成數(shù)控機(jī)床加工過程控制。

2 實(shí)驗(yàn)分析

為驗(yàn)證本文提出的基于Actor-Critic學(xué)習(xí)的數(shù)控機(jī)床加工過程控制方法的有效性，選擇某加工中心的XH825D數(shù)控機(jī)床作為實(shí)驗(yàn)對(duì)象，利用本文方法控制該數(shù)控機(jī)床的加工過程，該數(shù)控機(jī)床的基礎(chǔ)數(shù)據(jù)如表1所示。

表1 數(shù)控機(jī)床基礎(chǔ)數(shù)據(jù)

數(shù)控機(jī)床加工材料選擇PLA與30鋼材料，設(shè)精車進(jìn)給量為0.1～0.3 mm/r，選擇直徑6 mm銑刀，轉(zhuǎn)速為3 000 m/min。分析本文方法在該數(shù)控機(jī)床加工不同材料時(shí)的加工過程控制效果，加工這2種材料時(shí)數(shù)控機(jī)床的走刀均是15 mm×45 mm，數(shù)控機(jī)床加工過程控制效果如圖1所示。

根據(jù)圖1可知，本文方法可有效控制數(shù)控機(jī)床加工過程的切削力與進(jìn)給速度，優(yōu)化PID控制器后，2種材料加工過程的切削力與進(jìn)給速度控制效果明顯優(yōu)于優(yōu)化PID控制前；優(yōu)化PID控制器前后，PLA材料加工過程切削力與進(jìn)給速度完成控制的時(shí)間均短于30鋼材料；優(yōu)化PID控制器前，2種材料加工過程切削力較高，進(jìn)給速度較大，出現(xiàn)過沖現(xiàn)象，而優(yōu)化PID控制器后，PLA材料加工過程切削力與進(jìn)給速度控制時(shí)均無過沖現(xiàn)象發(fā)生，30鋼材料加工過程切削力與進(jìn)給速度控制時(shí)的最大偏差較小。實(shí)驗(yàn)證明，在加工不同材料時(shí)，本文方法均可有效控制數(shù)控機(jī)床加工過程，在優(yōu)化PID控制器后，具有較好的控制效果。

利用跟蹤誤差平方ISE衡量本文方法控制數(shù)控機(jī)床加工過程的精度，ISE值越小，說明數(shù)控機(jī)床加工過程控制精度越高，最大ISE值為5，利用絕對(duì)誤差積分ITAE衡量本文方法控制數(shù)控機(jī)床的平穩(wěn)度，ITAE值越小，說明數(shù)控機(jī)床加工過程控制平穩(wěn)度越佳，最大ITAE值為0.8。本文測(cè)試ISE與ITAE的不同切削深度測(cè)試結(jié)果如圖2所示。

根據(jù)圖2可知，隨著30鋼材料切削深度的增加，本文方法控制數(shù)控機(jī)床加工過程的ISE值與ITAE值均呈上升趨勢(shì)，當(dāng)切削深度達(dá)到1.5 mm時(shí)，ISE值與ITAE值均趨于穩(wěn)定，最高ISE值為4.8，最高ITAE值為0.7，均未超過最大值。實(shí)驗(yàn)證明：30鋼材料在不同切削深度時(shí)，本文方法控制數(shù)控機(jī)床加工過程的ISE值與ITAE值均較低，說明應(yīng)用本文方法對(duì)數(shù)控機(jī)床加工過程控制的精度較高，平穩(wěn)度較好。

通過數(shù)控機(jī)床加工效率衡量本文方法的應(yīng)用效果，分析應(yīng)用本文方法前后，在不同切削負(fù)載率與實(shí)載率時(shí)的數(shù)控機(jī)床效率，分析結(jié)果如圖3所示。

根據(jù)圖3可知:應(yīng)用本文方法前后，切削負(fù)載率與實(shí)載率越大，數(shù)控機(jī)床效率均越大；在不同切削負(fù)載率與實(shí)載率時(shí)，應(yīng)用本文方法后的數(shù)控機(jī)床效率明顯高于應(yīng)用本文方法前。實(shí)驗(yàn)證明，采用本文方法，可有效提升數(shù)控機(jī)床效率。

3 結(jié)論

為解決傳統(tǒng)控制方法在數(shù)控機(jī)床加工過程控制中存在控制精度較低的問題，本文提出基于Actor-Critic學(xué)習(xí)的數(shù)控機(jī)床加工過程控制方法，利用Actor-Critic算法優(yōu)化PID控制器，利用切削力設(shè)定值和實(shí)際輸出切削力測(cè)量值之差，獲取PID控制器誤差信號(hào)，輸出最優(yōu)補(bǔ)償參數(shù)，通過自適應(yīng)PID控制器調(diào)整進(jìn)給速度來控制數(shù)控機(jī)床切削力，實(shí)現(xiàn)對(duì)數(shù)控機(jī)床加工過程的高精度控制。