基于DDPG的柔性伺服系統(tǒng)級聯(lián)陷波器設計

鐘靖龍，宋 寶,，劉永興，徐必業(yè)

(1.華中科技大學 機械科學與工程學院，武漢 430074;2.廣東拓斯達科技股份有限公司，廣東 東莞 523822)

0 引 言

在交流伺服系統(tǒng)中，伺服電機一般采用聯(lián)軸器、同步帶、絲杠(傳動軸)等驅動負載，使得伺服系統(tǒng)具有柔性特征，從而導致伺服系統(tǒng)運動時容易產(chǎn)生機械諧振。當系統(tǒng)處于諧振狀態(tài)時，電機電流及轉速發(fā)生震蕩，不僅會產(chǎn)生噪聲，嚴重的還會對機械傳動部件以及電機造成損壞，甚至出現(xiàn)斷軸等后果[1]。常用的振動抑制方法有低通濾波器、陷波器以及加速度反饋等[2-4]。其中，陷波器由于結構簡單、控制回路增益高等優(yōu)勢而得到廣泛應用。

然而當陷波器參數(shù)選擇不恰當時，不僅無法對諧振形成有效的抑制，甚至會導致更激烈的振動，影響正常使用。針對陷波器參數(shù)中最重要的陷波中心頻率，Yazdanian[5]等人提出一種基于擴展卡爾曼濾波的諧振頻率估計方法；另外，基于FFT的諧振頻率快速獲取方法也在諸多工業(yè)伺服系統(tǒng)中得到了驗證應用[6-7]。同時，針對陷波器其他參數(shù)的整定，Tim等人[8]通過研究陷波深度與零點阻尼比的對應關系在線整定深度參數(shù)，而Park等人[9]提出一種利用隨機衰減法與峰值檢測法的陷波器深度參數(shù)實時整定方法，并在滾珠絲杠驅動和皮帶驅動兩種負載的伺服系統(tǒng)上進行了實驗驗證。然而，上述方法大多數(shù)僅針對單陷波器中陷波頻率以及陷波深度進行整定，而沒有涉及到陷波寬度以及級聯(lián)陷波器的參數(shù)整定問題。

本文提出一種基于DDPG的級聯(lián)陷波器參數(shù)整定方法。在分析系統(tǒng)傳動函數(shù)的基礎上，通過掃頻得到系統(tǒng)速度環(huán)開環(huán)bode圖，結合陷波器bode圖，將二者統(tǒng)一化預處理結果作為DDPG輸入數(shù)據(jù)，并以相位裕度為獎勵函數(shù)，利用陷波器參數(shù)偏移量與預處理數(shù)據(jù)計算獎勵函數(shù)來訓練神經(jīng)網(wǎng)絡，得到級聯(lián)陷波器的深度及寬度優(yōu)化參數(shù)。并采用驅動/負載電機、柔性軸、慣量盤、聯(lián)軸器等搭建了三質量柔性伺服系統(tǒng)實驗平臺，采用ARM+DSP 進行算法集成，并開展實驗驗證，結果表明該方法可以對級聯(lián)陷波器參數(shù)進行有效整定并抑制系統(tǒng)諧振。

1 柔性伺服系統(tǒng)建模及諧振分析

為了更好的表征伺服傳動機構柔性連接特征，在此將由伺服電機、純慣性負載以及等效傳遞軸三者柔性伺服系統(tǒng)等效為三質量系統(tǒng)。

圖1為三質量系統(tǒng)模型。

圖1 三質量系統(tǒng)模型

電機與執(zhí)行器之間通過剛度分別為Ks1和Ks2，阻尼系數(shù)分別為Cw1和Cw2的柔性連接器以及一個慣量為JTr的傳遞軸連接，系統(tǒng)的動力學方程為

(1)

圖2為三質量系統(tǒng)的控制框圖。

圖2 三質量系統(tǒng)控制框圖

Tm與ωm之間的傳遞函數(shù)為

(2)

式中，ωNTFi、ωANFi分別為三質量系統(tǒng)的諧振頻率與反諧振頻率，可通過式(3)計算得到

(3)

2 級聯(lián)陷波器及諧振特征辨識

2.1 級聯(lián)陷波器

為了有效抑制系統(tǒng)多頻諧振，設計串聯(lián)多個單陷波器組成級聯(lián)陷波器，對實際伺服傳動系統(tǒng)中多頻率諧振進行有效抑制，式(4)給出了級聯(lián)陷波器的傳遞函數(shù)。

(4)

式中，Hi(s)為第i個陷波器的傳遞函數(shù)，為保證其參數(shù)互相獨立以便于單獨調整，本文采用如式(5)所示的三參數(shù)陷波器。

(5)

式中，ωn為陷波濾波器中心頻率，寬度參數(shù)ξwidth為-3 dB頻帶寬度與中心頻率的比值，深度參數(shù)kdepth陷波中心深度，幅值衰減為20lgkdepthdB。當陷波中心頻率為450 Hz時， 參數(shù)ξwidth和kdepth對陷波濾波器性能的影響如圖3所示。其中，圖3(a)為kdepth=0.1時，不同寬度參數(shù)ξwidth下的bode圖；圖3(b)為ξwidth=0.3時，不同深度參數(shù)kdepth下的bode圖。

圖3 ωn=450 Hz,不同ξwidth、kdepth下的陷波器bode圖

2.2 諧振特征辨識

在柔性伺服系統(tǒng)傳動過程中，可以通過伺服系統(tǒng)轉速或者轉矩特性分析出系統(tǒng)諧振的幅值和頻率。在矢量控制模式下，Tm∝iq，且電流環(huán)較速度環(huán)實時性更高，因此本文以伺服系統(tǒng)交軸電流頻譜特征，在線辨識系統(tǒng)的諧振特征。圖4為機械諧振抑制結構框圖。

圖4 機械諧振抑制結構框圖

在伺服系統(tǒng)中，交軸電流采樣結果為有限長非周期序列iq[n]，其離散傅里葉變換形式為

(6)

采用基于頻率抽取的FFT可以將N(N=2M)點DFT經(jīng)過M次分解全部分解為2點DFT，時間復雜度由O(n2)降低為O(N·logN)。

對FFT計算結果進行求平方根計算可得到各頻率點對應的幅值，超過既定閾值的幅值所對應的頻率即為諧振頻率，記錄并輸出的諧振頻率及幅值分別為

(7)

式中，k為幅值超過既定閾值的對應位置，fs為采樣頻率，N為FFT計算點數(shù)，mag為頻率點幅值。

3 基于DDPG的陷波器參數(shù)整定

為了克服不同工況下電機型號、負載參數(shù)及傳動設備等差異導致的控制參數(shù)難以調整、不通用等問題，提出一種基于DDPG的多參數(shù)整定方法，以向量穩(wěn)定裕度為基礎定義獎勵函數(shù)，并構造深度強化學習算法用于級聯(lián)陷波器參數(shù)整定。

3.1 獎勵函數(shù)

采用相位裕度為獎勵函數(shù)，解決陷波器帶來的相位滯后問題，增強系統(tǒng)穩(wěn)定性，提高系統(tǒng)響應。

為了實現(xiàn)系統(tǒng)全局持續(xù)穩(wěn)定，設置其相位裕度保持PM>45°。對于如式(5)所示的陷波器，令s=jω，可得剪切頻率ωc處的相位為

(8)

當在系統(tǒng)中加入級聯(lián)陷波器后，系統(tǒng)的新的相位裕度為

(9)

則獎勵函數(shù)可定義為

r=PM

(10)

3.2 DDPG算法

在DDPG實現(xiàn)流程中，分別采用卷積神經(jīng)網(wǎng)絡近似策略函數(shù)μ和Q函數(shù)，即actor網(wǎng)絡和critic網(wǎng)絡，并分別為之各創(chuàng)建兩個神經(jīng)網(wǎng)絡拷貝：online和target。其算法框架如圖5所示。

圖5 DDPG算法框架

(11)

(12)

而對于critic網(wǎng)絡的online網(wǎng)絡，通過最小化式所定義的損失函數(shù)L進行更新。

(13)

式中，si為當前狀態(tài)，ai為當前動作，ri為當前獎勵函數(shù)，N為小批量數(shù)據(jù)大小，為損失函數(shù)。

隨機設置一組濾波器參數(shù)，以最大相位裕度為訓練目標，actor網(wǎng)絡輸出陷波器參數(shù)偏移量，并將其作為下一狀態(tài)輸入到critic網(wǎng)絡，直到每一輪訓練達到特定的偏移量且每一輪訓練的偏移量相同為止，并將具有最大相位裕度的參數(shù)存入經(jīng)驗池。

3.3 神經(jīng)網(wǎng)絡結構及參數(shù)設計

以雙陷波器組成的級聯(lián)陷波器設計為例，考慮到陷波中心頻率的重要性以及可通過FFT精確辨識，故共需要訓練4個參數(shù)。DDPG算法使用兩種神經(jīng)網(wǎng)絡結構——actor網(wǎng)絡和critic網(wǎng)絡，分別如圖 6及圖 7所示。其中，actor網(wǎng)絡輸入為4個當前陷波器參數(shù)(kdepth,1&2、ξwidth,1&2)和4個上階段陷波器參數(shù)偏移量，并擁有兩個分別具有300和200個單位的隱藏層；輸出為4個當前陷波器參數(shù)偏移量。該網(wǎng)絡除最終輸出層采用超正切激活函數(shù)外，其余采用矯正的非線性函數(shù)。

圖6 actor網(wǎng)絡結構

圖7 critic網(wǎng)絡結構

critic網(wǎng)絡與actor網(wǎng)絡大小相同，只是動作被包含在第二層隱藏層之后，輸出大小為1。重放緩存區(qū)大小為100,000，小批量數(shù)據(jù)大小為32，最大訓練輪數(shù)以及每一輪訓練步長分別為2,500和100。貼現(xiàn)因子(discount factor)為0.95，動作通過ε從1.0到0.0線性變化的ε貪心策略選取。actor網(wǎng)絡及critic網(wǎng)絡的學習率分別為0.001和0.002。深度參數(shù)kdepth及寬度參數(shù)ξwidth選取范圍分別為[0.001,1]及[0.0,1.0]。

4 實驗及分析

為驗證DDPG算法的參數(shù)整定能力以及級聯(lián)陷波器的諧振抑制能力，采用交流伺服電機、聯(lián)軸器、慣量盤及柔性軸負載搭建了如圖8所示實驗平臺。其中電機參數(shù)如表1所示。在實驗室自研的基于ARM+FPGA交流伺服驅動器上，采樣電機交軸電流，并利用FPGA實現(xiàn)快速傅里葉變換，并基于Pytorch完成對DDPG算法的實現(xiàn)和訓練。

圖8 級聯(lián)陷波器實驗驗證平臺

表1 華大電機參數(shù)

圖9 系統(tǒng)開環(huán)bode圖

圖9為系統(tǒng)速度環(huán)開環(huán)bode圖。圖10、圖11為應用DDPG對級聯(lián)陷波器參數(shù)的訓練過程，訓練結果如表2所示。

圖10 1號陷波器參數(shù)整定過程

圖11 2號陷波器參數(shù)整定過程

表2 陷波器參數(shù)訓練結果

圖12 陷波前后速度-電流對比

利用上述參數(shù)設計級聯(lián)陷波器并應用于伺服系統(tǒng)。圖12為加入陷波器前后電機反饋速度及交軸反饋電流對比，數(shù)值對比如表3所示。

表3 諧振抑制前后性能指標對比

由反饋速度及反饋電流對比可知，基于DDPG算法進行級聯(lián)陷波器的參數(shù)整定，并應用于實際伺服系統(tǒng)，在抑制系統(tǒng)諧振的同時保證了系統(tǒng)的穩(wěn)定。

5 結 論

針對伺服系統(tǒng)中由于柔性傳動部件而導致的多頻諧振問題，本文在基于三質量系統(tǒng)諧振機理分析的基礎上，提出一種基于DDPG算法的級聯(lián)陷波器參數(shù)整定方法，在保證系統(tǒng)具有最大相位裕度的前提下，成功抑制伺服系統(tǒng)的機械諧振，同時本文提出的方法也可用于其他類型的級聯(lián)濾波器設計。