分布式網(wǎng)絡(luò)化運(yùn)動(dòng)控制系統(tǒng)協(xié)同調(diào)度方法研究

張東方，薛凌云，饒歡樂，徐 平

(杭州電子科技大學(xué)自動(dòng)化學(xué)院，浙江 杭州 310018)

0 引 言

分布式網(wǎng)絡(luò)化多軸運(yùn)動(dòng)控制系統(tǒng)(Distributed Networked Multi-Axial Motion Control System, DNMAMCs)引入全局信息網(wǎng)絡(luò)和局域控制網(wǎng)絡(luò)，使運(yùn)動(dòng)控制系統(tǒng)具備良好的系統(tǒng)柔性、容錯(cuò)性和遠(yuǎn)程控制能力[1-2]。由于DNMAMCs系統(tǒng)極高的實(shí)時(shí)要求，需要嚴(yán)密監(jiān)視全局信息和控制回路上下行數(shù)據(jù)流，要求網(wǎng)絡(luò)上下文中各組件內(nèi)部和外部狀態(tài)保持嚴(yán)格的時(shí)間同步，并對多跳通信結(jié)構(gòu)下的跨層次任務(wù)協(xié)同調(diào)度提出極高要求。如何克服網(wǎng)絡(luò)誘導(dǎo)產(chǎn)生的網(wǎng)絡(luò)不完美性，如數(shù)據(jù)傳送延時(shí)、抖動(dòng)、報(bào)文丟失和誤碼率等，成為這類系統(tǒng)設(shè)計(jì)亟需解決的問題[3-4]。目前，在非線性網(wǎng)絡(luò)控制系統(tǒng)(Network Control System, NCS)研究中，網(wǎng)絡(luò)不完美性一般以網(wǎng)絡(luò)服務(wù)質(zhì)量(Quality of Service，QoS)參數(shù)表示，如傳輸時(shí)延、周期性抖動(dòng)量、最大許可帶寬和最大許可傳輸間隔等，通常被假設(shè)為隨機(jī)且有界。QoS參數(shù)通過時(shí)間約束的形式化表達(dá)，與傳統(tǒng)的時(shí)延系統(tǒng)、切換系統(tǒng)、隨機(jī)控制和最優(yōu)控制理論相結(jié)合，構(gòu)建特定的NCSs系統(tǒng)[5-6]。這些設(shè)計(jì)方法主要通過采用李雅普諾夫函數(shù)、線性矩陣不等式及平方和等技術(shù)得到充分條件[7]，較少涉及分布式網(wǎng)絡(luò)“感知-計(jì)算-控制”整個(gè)通信過程的任務(wù)可調(diào)度性、時(shí)延約束一致性等問題。本文基于透明時(shí)鐘機(jī)制，建立分布式時(shí)鐘來統(tǒng)一DNMAMCs系統(tǒng)的時(shí)間測度，生成一類基于保障性時(shí)隙(Guaranteed Time Slot, GTS)序列的跨層次調(diào)度(Cross-Layer Scheduling, CLS)時(shí)刻表。依據(jù)時(shí)刻表，設(shè)計(jì)基于Kalman濾波器和比例-積分(Proportional Integral, PI)控制器的級聯(lián)控制器，精確控制各節(jié)點(diǎn)的GTS序列釋放時(shí)間，從而使采樣、計(jì)算、控制時(shí)序保持嚴(yán)格的同步關(guān)系。

1 問題描述

由于DNMAMCs系統(tǒng)應(yīng)用任務(wù)往往具有混合性，計(jì)算-控制單元和通信鏈路的狀態(tài)及負(fù)荷是動(dòng)態(tài)變化的，并呈現(xiàn)出分布式特征。DNMAMCs系統(tǒng)動(dòng)態(tài)行為幾乎不能單純用點(diǎn)對點(diǎn)的控制來解決協(xié)調(diào)與同步問題，需要來自底層的服務(wù)來支持系統(tǒng)的可調(diào)度性，而這些底層服務(wù)具有任務(wù)關(guān)鍵性和時(shí)間敏感性，依附于通信網(wǎng)絡(luò)的帶寬和協(xié)調(diào)一致的時(shí)空約束條件。因此，DNMAMCs系統(tǒng)QoS參數(shù)需要具體化更多的設(shè)計(jì)參數(shù)，不僅僅是與控制過程相關(guān)的網(wǎng)絡(luò)誘導(dǎo)產(chǎn)生的時(shí)延、抖動(dòng)等參數(shù)，還有與任務(wù)部署正確性、調(diào)度及時(shí)性以及服務(wù)過程容錯(cuò)性相關(guān)的MAC模型參數(shù)。

本文基于如圖1所示的3層分布并行結(jié)構(gòu)的DNMAMCs系統(tǒng)研究協(xié)同調(diào)度方法。管理層的計(jì)算-控制單元(Computing-Control Unit, CCU)管理應(yīng)用系統(tǒng)的任務(wù)組合和協(xié)同，監(jiān)視系統(tǒng)運(yùn)行；協(xié)調(diào)監(jiān)視層的路由節(jié)點(diǎn)(Access Node, AN)控制報(bào)文的傳輸路徑，同步通信任務(wù)的觸發(fā)時(shí)間；執(zhí)行層的傳感器節(jié)點(diǎn)(Sensor Node SN)、控制器節(jié)點(diǎn)(Control Node, CN)等終端節(jié)點(diǎn)(Terminal Node, TN)實(shí)現(xiàn)特定的實(shí)時(shí)感知和動(dòng)態(tài)控制任務(wù)。TN，AN和局域工作站中CCU由局域控制網(wǎng)絡(luò)連接，組成DNMAMCs系統(tǒng)包含多個(gè)控制對象的控制局域。全局網(wǎng)絡(luò)連接各工作站，交換各控制局域的運(yùn)行工況信息。

圖1 網(wǎng)絡(luò)化分布式多軸運(yùn)動(dòng)控制系統(tǒng)的層次結(jié)構(gòu)

基于GTS序列的周期系統(tǒng)中，分布式節(jié)點(diǎn)擁有各自獨(dú)立的時(shí)鐘，并在其預(yù)訂的GTS內(nèi)完成與其相關(guān)聯(lián)的任務(wù)。但是，即使網(wǎng)絡(luò)行為是可預(yù)知的，任務(wù)調(diào)度精度仍主要取決于時(shí)鐘同步精度。當(dāng)節(jié)點(diǎn)間時(shí)鐘偏差達(dá)到一定程度時(shí)，數(shù)據(jù)沖突并不能避免。DNMAMCs系統(tǒng)在實(shí)際應(yīng)用環(huán)境下，各節(jié)點(diǎn)的時(shí)鐘頻率都會(huì)發(fā)生漂移，從而造成節(jié)點(diǎn)之間的時(shí)間偏差，導(dǎo)致控制周期和采樣周期的抖動(dòng)。這對于具有多跳通信結(jié)構(gòu)的DNMAMCs系統(tǒng)的協(xié)同控制極為有害[8]。而且，分布式時(shí)鐘與全局層次結(jié)構(gòu)和局域樹結(jié)構(gòu)相關(guān)，主從邏輯關(guān)系復(fù)雜，確定系統(tǒng)規(guī)格參數(shù)十分困難。雖然，IEEE 1588精確時(shí)間協(xié)議(Precision Time Protocol, PTP)-2008引入了透明時(shí)鐘(Transparent Clock, TC)機(jī)制來解決級聯(lián)網(wǎng)絡(luò)中時(shí)鐘同步誤差以指數(shù)形式累積問題[9]，但如何將TC時(shí)鐘嵌入到MAC協(xié)議中，PTP協(xié)議并沒有給出具體的部署方法，CLS問題仍是一個(gè)開放問題[10-11]。

2 協(xié)同調(diào)度方法

2.1 跨層次任務(wù)調(diào)度表

本文將圖1所示的并行分布結(jié)構(gòu)分解為一系列可級聯(lián)的樹結(jié)構(gòu)，利用分布式時(shí)鐘和時(shí)間同步技術(shù)，構(gòu)建如圖2所示的可并行執(zhí)行的CLS時(shí)刻表：AN作為控制局域的簇頭，接收、分解、重組和轉(zhuǎn)發(fā)來自TN的時(shí)間同步信息，并使同步信息沿著控制回路“SN-AN-CCU-AN-CN”有序傳送。SN和CN分別作為控制回路的發(fā)起者和終端執(zhí)行者，維護(hù)多跳通信的時(shí)間同步關(guān)系。CCU僅作為時(shí)間同步的參與者，被動(dòng)接受、發(fā)送經(jīng)AN整合后同步信息，只需滿足計(jì)算-控制線程的最壞執(zhí)行時(shí)間不大于AN上傳反饋數(shù)據(jù)與下達(dá)控制命令的時(shí)間間隔，從而松弛了CCU線程間的同步關(guān)系。

依據(jù)CLS時(shí)刻表，DNMAMCs系統(tǒng)S則可被分解為由n個(gè)CLS調(diào)度的周期為T的子離散周期系統(tǒng)Si，i∈P={1,2,…,n}。每個(gè)子系統(tǒng)由3個(gè)狀態(tài)連續(xù)的數(shù)據(jù)流傳送子過程組成，表示如下：

(1)

依據(jù)CLS表定義任務(wù)觸發(fā)的嚴(yán)格時(shí)延關(guān)系，DNMAMCs系統(tǒng)的閉環(huán)通信過程表示為：

xs(i,j+1)=As(j)xs(i,j)+Bsy(j)us(i,j)+Bsu(j)u(i,j)

(2)

us(i,j)=Csu(i,j)xs(i,j)+Dsy(j)u(i,j)

(3)

ys(i,j)=Csy(i,j)xs(i,j)+Dsu(j)y(j)(i,j)

(4)

圖2 GTS序列釋放與CLS任務(wù)流調(diào)度

2.2 分布式時(shí)鐘

將DNMAMCs系統(tǒng)一系列節(jié)點(diǎn)記為集合K={1,2,…,m}，ε?K×K代表節(jié)點(diǎn)可連接的邊集合，一對可直接通信的相鄰節(jié)點(diǎn)的邊記為{i,j}。設(shè)任意一個(gè)可確認(rèn)的節(jié)點(diǎn)均具有內(nèi)部時(shí)鐘，并可通過有限的網(wǎng)絡(luò)跳轉(zhuǎn)(hop)數(shù)來實(shí)現(xiàn)通信連接，則時(shí)間t和本地時(shí)鐘讀數(shù)Gi(t)關(guān)系為：

Ci(t)=αit+θii∈K

(5)

式中，θi和αi分別為節(jié)點(diǎn)i的時(shí)鐘偏差和偏差的變化。由此，相鄰節(jié)點(diǎn){i,j}的相對時(shí)鐘為：

(6)

式中，θji和αji分別為相鄰節(jié)點(diǎn){i,j}間相對時(shí)鐘偏差和偏差的變化。

在初始化和時(shí)鐘再同步過程中，利用如圖3所示的雙向消息傳遞模式，AN與其相鄰節(jié)點(diǎn){i,j}通過同步-請求(Sync)、同步-跟隨(Follow-Up)、延遲-請求(Delay_Req)和延遲-響應(yīng)(Delay_Resp)等時(shí)鐘報(bào)文操作，交換并記錄彼此的時(shí)鐘信息。經(jīng)過k輪的交換之后，完成分布式時(shí)鐘的初始化。

在控制過程中，如圖2所示的多跳鏈路中的鄰節(jié)點(diǎn)采用如圖4所示單向模式傳遞同步信息。各節(jié)點(diǎn)通過解析數(shù)據(jù)報(bào)文中的同步消息字段中由上一個(gè)節(jié)點(diǎn)發(fā)送報(bào)文和自身收、發(fā)報(bào)文的硬件時(shí)間戳，計(jì)算相鄰節(jié)點(diǎn)之間的路徑時(shí)延和在節(jié)點(diǎn)自身的駐留時(shí)間，轉(zhuǎn)換彼此的相對時(shí)鐘關(guān)系：

(7)

(8)

(9)

(10)

圖3 雙向時(shí)鐘信息交換

圖4 GTS序列釋放時(shí)間同步過程

2.3 GTS釋放時(shí)間同步控制

(11)

式中，f0為DNMAMCs系統(tǒng)時(shí)鐘的標(biāo)稱頻率，σj為節(jié)點(diǎn)j時(shí)鐘頻率相對f0的偏差值，Pj為通信鏈路上相鄰節(jié)點(diǎn)之間的路徑時(shí)延，σi(k)為通信鏈路上相鄰節(jié)點(diǎn)GTS實(shí)際輸出值與設(shè)定值相對f0的偏差，Bj(k)為在第k次通信周期發(fā)送的在通信鏈路上累積的駐留時(shí)延。

各節(jié)點(diǎn)采用如圖5所示的Kalman-PI級聯(lián)控制器結(jié)構(gòu)來實(shí)時(shí)更新GTS序列釋放時(shí)間的設(shè)定值。

圖5 基于Kalman-PI控制器的時(shí)鐘同步級聯(lián)控制器結(jié)構(gòu)

(12)

式中，kp和ki分別為PI控制器的比例和積分系數(shù)。

(13)

(14)

(15)

(16)

(17)

定義zi(k)為節(jié)點(diǎn)i與起始節(jié)點(diǎn)的時(shí)間偏差，得節(jié)點(diǎn)i的GTS釋放時(shí)間測量方程:

zi(k)=Hxi(k)+vi(k)

(18)

式中，H=[1,0]，vi[k]為服從均值為零正態(tài)分布的測量噪聲。

Kalman估計(jì)算法包含時(shí)間更新與狀態(tài)更新2個(gè)過程，迭代公式如下：

(19)

(20)

(21)

(22)

(23)

(24)

3 實(shí)驗(yàn)與結(jié)果分析

3.1 同步性能測試

本文采用意法半導(dǎo)體公司STM32微處理器和Wiznet公司以太網(wǎng)接口芯片W5500，設(shè)計(jì)網(wǎng)絡(luò)接口(Network Interface, NI)，構(gòu)建如圖6所示時(shí)間同步性能測試系統(tǒng)。該測評系統(tǒng)包括分別連接SN，CN，AN和CCU的4個(gè)NI板和1個(gè)Switch卡。NI采用未經(jīng)溫度補(bǔ)償或恒溫控制的低成本晶振作為內(nèi)部時(shí)鐘，頻率為36 MHz。NI和Switch卡使用100 Mbit/s標(biāo)準(zhǔn)以太網(wǎng)非屏蔽雙絞線相互連接。在測試實(shí)驗(yàn)中，NI引出I/O口線連接泰克公司示波器TDS2024C的2個(gè)模擬通道，將SN的時(shí)鐘輸出信號作為示波器的觸發(fā)信號，同步捕獲各分布式節(jié)點(diǎn)的GTS序列的釋放時(shí)間信號。

圖6 時(shí)鐘同步性能測試系統(tǒng)

3.2 結(jié)果分析

分別采用IEEE PTP協(xié)議時(shí)鐘、Kalman濾波器和Kalman-PI級聯(lián)控制器進(jìn)行時(shí)間同步實(shí)驗(yàn)，以10 ms為GTS序列釋放時(shí)間間隔，共2 665次測試實(shí)驗(yàn)中同步捕獲的示波器圖像，結(jié)果如圖7—9所示。

圖7 基于PTP協(xié)議時(shí)鐘信號圖

圖8 基于Kalman濾波器時(shí)鐘信號圖

圖9 基于Kalman-PI同步算法時(shí)鐘信號圖

圖10 峰-峰抖動(dòng)量與跳數(shù)的關(guān)系曲線

圖7-9中,上半部分為SN的在示波器上的觸發(fā)信號，下半部分為其余節(jié)點(diǎn)相對于SN節(jié)點(diǎn)信號上升沿的時(shí)間偏差。表1匯總了控制回路中各節(jié)點(diǎn)時(shí)鐘偏差的統(tǒng)計(jì)分析數(shù)據(jù)，圖10顯示了GTS序列釋放時(shí)間的峰-峰抖動(dòng)量與在傳輸路徑各跳的關(guān)系曲線。由表1和圖10可知，IEEE 1588 PTP協(xié)議時(shí)鐘的時(shí)鐘偏差的峰-峰抖動(dòng)量沿著傳輸路徑急劇增大；基于Kalman濾波器和Kalman-PI控制器的時(shí)鐘偏差的峰-峰抖動(dòng)量顯著小于PTP協(xié)議時(shí)鐘的偏差。同時(shí)，3種方法沿著數(shù)據(jù)傳輸路徑(跳數(shù))的第1和第2跳的時(shí)鐘偏差累積增長分別為958.45 ns，347.25 ns，250.00 ns，第3和第4跳的偏差累積增長分別為1 250.10 ns，333.36 ns，319.45 ns?；贙alman濾波器和Kalman-PI控制器的時(shí)鐘偏差累積增長率顯著小于IEEE 1588 PTP協(xié)議時(shí)鐘的增長率。這表明本文的Kalman濾波器和Kalman-PI級聯(lián)控制器能有效抑制GTS序列釋放過程時(shí)鐘偏差的累積，提高采樣、控制周期的穩(wěn)定性。

表1 節(jié)點(diǎn)時(shí)鐘同步誤差統(tǒng)計(jì)分析 ns

4 結(jié)束語

本文針對分布式系統(tǒng)存在的長傳輸路徑延時(shí)、時(shí)延抖動(dòng)以及信道不對稱等問題，提出一種DNMAMCs系統(tǒng)的任務(wù)調(diào)度協(xié)同方法。采用全分布式的時(shí)鐘同步算法，沿著數(shù)據(jù)鏈路自動(dòng)對各節(jié)點(diǎn)的時(shí)鐘偏差進(jìn)行補(bǔ)償，簡化了時(shí)鐘同步的主從邏輯關(guān)系，對可變拓?fù)浜涂勺冩溌肪哂泻軓?qiáng)的適應(yīng)能力。Kalman濾波器和Kalman-PI控制器的控制效果良好且結(jié)構(gòu)簡單，易于嵌入至分布式網(wǎng)絡(luò)節(jié)點(diǎn)，為生成GTS序列、調(diào)度時(shí)刻表，及后續(xù)網(wǎng)絡(luò)控制器的設(shè)計(jì)提供了基礎(chǔ)。