活用分散處理法控制高精度同步時(shí)刻

李依霖 馮旭

摘要 隨著網(wǎng)絡(luò)的高速化和虛擬服務(wù)器的發(fā)展，代表云計(jì)算的復(fù)數(shù)節(jié)點(diǎn)進(jìn)行協(xié)調(diào)工作的分散處理型服務(wù)器和虛擬網(wǎng)絡(luò)正在普及。因此，出現(xiàn)了以微妙和毫秒為精度在節(jié)點(diǎn)間同步時(shí)間的IEEE1588、PTPv2。本研究提出了利用高精度同步節(jié)點(diǎn)分散處理控制的方法。本方法根據(jù)預(yù)先時(shí)間執(zhí)行處理動(dòng)作腳本和根據(jù)時(shí)間遍歷系統(tǒng)內(nèi)節(jié)點(diǎn)的數(shù)據(jù)處理，在不傳輸處理情況的數(shù)據(jù)包時(shí)能確認(rèn)其他節(jié)點(diǎn)的狀況，并有效地計(jì)算資源分配額。通過本方法掌握通信延遲和節(jié)點(diǎn)的性能和特征，為修正動(dòng)態(tài)動(dòng)作腳本建立處理時(shí)間更正的模型。我們?yōu)榱舜_認(rèn)提出方法的有效性開發(fā)出實(shí)驗(yàn)用的系統(tǒng)原型模型，確認(rèn)了處理時(shí)間變更時(shí)的正確性和有效性。

【關(guān)鍵詞】云計(jì)算 分散處理法 高精度同步節(jié)點(diǎn) 修正模型

1 前言

隨著網(wǎng)絡(luò)的高速化和虛擬服務(wù)器的發(fā)展，代表云計(jì)算的復(fù)數(shù)節(jié)點(diǎn)進(jìn)行協(xié)調(diào)工作的分散處理型服務(wù)器和虛擬網(wǎng)絡(luò)正在普及。通過服務(wù)器和路由等節(jié)點(diǎn)多臺(tái)連接，構(gòu)成具有指定性能的分散處理型服務(wù)。另外，軟件定義網(wǎng)絡(luò)式的控制路由群，在動(dòng)態(tài)網(wǎng)絡(luò)下構(gòu)成網(wǎng)絡(luò)虛擬化。在提供云服務(wù)的數(shù)據(jù)中心導(dǎo)入用戶化功能的LSI按鈕，能構(gòu)成高速網(wǎng)絡(luò)。云計(jì)算式的分散處理，各節(jié)點(diǎn)進(jìn)行獨(dú)立的處理，必須掌握節(jié)點(diǎn)間的處理狀況和處理內(nèi)容。從而交換控制命令經(jīng)由網(wǎng)絡(luò)。隨著網(wǎng)絡(luò)的高速發(fā)展，出現(xiàn)了以微秒和毫秒為精度同步精度節(jié)點(diǎn)的IEEE1588和PTPv2。主要用于以太網(wǎng)，電力網(wǎng)拓?fù)渫綐?biāo)準(zhǔn)信息。PTPv2用于硬件以毫秒為單位，長(zhǎng)時(shí)間穩(wěn)定同步時(shí)刻。節(jié)點(diǎn)間的同步方法有NTP和GPS方法。前者導(dǎo)入軟件，IP網(wǎng)絡(luò)上時(shí)刻同步精度為微秒，后者以纖秒為時(shí)刻同步要限制成本和條件。

對(duì)分散節(jié)點(diǎn)的控制用高精度同步時(shí)刻的處理方法。在分散節(jié)點(diǎn)上對(duì)進(jìn)行任務(wù)處理腳本，共享全部節(jié)點(diǎn)，節(jié)點(diǎn)按照時(shí)間信息和動(dòng)作腳本進(jìn)行處理，將適應(yīng)這種方法的節(jié)點(diǎn)群和管理節(jié)點(diǎn)進(jìn)行分散處理同步時(shí)刻IEEE1588、PTPv2協(xié)議。構(gòu)成系統(tǒng)的節(jié)點(diǎn)群連接IP網(wǎng)絡(luò)和時(shí)刻同步網(wǎng)絡(luò)。首先，進(jìn)行分散處理控制，節(jié)點(diǎn)間的通信產(chǎn)生通信延遲，處理執(zhí)行開始到終了產(chǎn)生的延遲。另外，通過這個(gè)結(jié)果開發(fā)出時(shí)間處理修正方法，用原型系統(tǒng)進(jìn)行評(píng)價(jià)，驗(yàn)證了此方法可行。

2 系統(tǒng)概要

本系統(tǒng)處理節(jié)點(diǎn)通過lP網(wǎng)絡(luò)連接，以各種固定的處理功能作為前提。時(shí)間型分散處理控制方法是在IP網(wǎng)絡(luò)上實(shí)現(xiàn)分散處理各節(jié)點(diǎn)的時(shí)間同步IEEE1588TPv2的高精度。進(jìn)行處理的節(jié)點(diǎn)更新。根據(jù)時(shí)間執(zhí)行如何處理動(dòng)作腳本。在特定的時(shí)間由指定節(jié)點(diǎn)發(fā)出數(shù)據(jù)記載其處理功能，傳輸結(jié)果給下一個(gè)節(jié)點(diǎn)，并在時(shí)間內(nèi)順序處理。各節(jié)點(diǎn)按動(dòng)作腳本進(jìn)行同步時(shí)間處理。某節(jié)點(diǎn)進(jìn)行的處理結(jié)果重復(fù)傳輸給下一個(gè)節(jié)點(diǎn)，遍歷系統(tǒng)內(nèi)的節(jié)點(diǎn)進(jìn)行數(shù)據(jù)處理。

本系統(tǒng)的5個(gè)特點(diǎn)：

（1）根據(jù)時(shí)間和共同動(dòng)作腳本進(jìn)行處理。

（2）事先掌握其他節(jié)點(diǎn)在任意時(shí)間上進(jìn)行的處理，即使不發(fā)送任務(wù)處理中節(jié)點(diǎn)間處理情況確認(rèn)的數(shù)據(jù)包，也能確認(rèn)其他節(jié)點(diǎn)的情況。

（3）節(jié)點(diǎn)無論之后發(fā)生怎樣的情況變化，都能事先判斷并進(jìn)行有效的資源計(jì)算分配。

（4）考慮到處理中的延遲，針對(duì)這些影響進(jìn)行動(dòng)作腳本的動(dòng)態(tài)修正。

（5）任意時(shí)刻內(nèi)進(jìn)行分散處理，優(yōu)化系統(tǒng)大范圍的集成電路分配功能分散動(dòng)作控制。

3 研究問題

為了實(shí)現(xiàn)時(shí)間分散處理的控制，必須執(zhí)行多個(gè)節(jié)點(diǎn)間通過動(dòng)作腳本目標(biāo)時(shí)間的任務(wù)?？紤]到各節(jié)點(diǎn)和節(jié)點(diǎn)間的通信時(shí)產(chǎn)生的延遲問題作為研究問題。例如考慮適用分配的電路動(dòng)作控制的情況，如圖1所示，進(jìn)行加密的對(duì)象生成數(shù)據(jù)的模塊，加密中生成復(fù)原鍵的模塊，加密數(shù)據(jù)，數(shù)據(jù)加密模塊三部分的模塊群。動(dòng)作腳本如下：

（1）數(shù)據(jù)生成模塊從時(shí)間T1到時(shí)間T2的動(dòng)作傳送處理結(jié)果給還原鍵生成模塊。

（2）還原鍵生成模塊時(shí)間T3到T4傳輸數(shù)據(jù)給數(shù)據(jù)加密模塊。

（3）數(shù)據(jù)加密模塊在時(shí)間T5處開始動(dòng)作，在T6處進(jìn)行加密處理并輸出結(jié)果。

還原鍵生成模塊的處理結(jié)果根據(jù)延遲到時(shí)間T5數(shù)據(jù)加密模塊接收不到信息時(shí)，數(shù)據(jù)加密模塊沒有必須傳輸?shù)臄?shù)據(jù)時(shí)，不執(zhí)行動(dòng)作，不根據(jù)動(dòng)作腳本進(jìn)行處理。當(dāng)只處理一個(gè)系統(tǒng)任務(wù)的情況下，最后的數(shù)據(jù)加密模塊必須在數(shù)據(jù)到達(dá)為止，待機(jī)狀態(tài)下進(jìn)行動(dòng)作。同時(shí)執(zhí)行多個(gè)任務(wù)時(shí)，當(dāng)任務(wù)執(zhí)行時(shí)進(jìn)入了另外的任務(wù)，就存在不能分配計(jì)算資源的問題。為了解決這個(gè)問題，進(jìn)行各節(jié)點(diǎn)的延遲和節(jié)點(diǎn)間的通信延遲的動(dòng)態(tài)動(dòng)作腳本修正。因此，對(duì)系統(tǒng)內(nèi)產(chǎn)生延遲的原因分類，進(jìn)行動(dòng)作腳本修正模塊化。

4 研究方法

4.1 延遲的種類和原因

實(shí)現(xiàn)時(shí)間型分散處理控制的情況下發(fā)生延遲的原因分為兩大部分，A、節(jié)點(diǎn)的性能和特性原因產(chǎn)生延遲B、網(wǎng)絡(luò)原因產(chǎn)生延遲。A考慮到時(shí)間同步精度和時(shí)間取得處理執(zhí)行中時(shí)間和插隊(duì)處理的時(shí)機(jī)對(duì)各節(jié)點(diǎn)的定時(shí)分解的影響。具體如下：

（1）因時(shí)間分散處理控制而取得處理。

（2）根據(jù)NIC等的設(shè)備交換生成的系統(tǒng)插隊(duì)處理延遲。

（3）和其他節(jié)點(diǎn)的時(shí)間同步差進(jìn)行處理。

（4）因系統(tǒng)負(fù)載處理延遲。

B是節(jié)點(diǎn)間的通信性能和hop數(shù)不同，因路由擁堵，網(wǎng)絡(luò)拓?fù)浜吞卣髟蛞?。具體如下：

（5）從節(jié)點(diǎn)到數(shù)據(jù)包傳送延遲和節(jié)點(diǎn)間的傳輸延遲造成的通信延遲。

（6）路由再發(fā)送信號(hào)傳輸處理間的延遲。

4.2 網(wǎng)絡(luò)原因產(chǎn)生的延遲測(cè)量方法

本系統(tǒng)在各節(jié)點(diǎn)間進(jìn)行通信延遲測(cè)量。發(fā)信節(jié)點(diǎn)發(fā)出數(shù)據(jù)包的時(shí)刻做時(shí)間戳。為了讓節(jié)點(diǎn)間時(shí)間同步，收信節(jié)點(diǎn)接收數(shù)據(jù)包的時(shí)間和數(shù)據(jù)包上時(shí)間戳的時(shí)間差進(jìn)行通信延遲測(cè)量。測(cè)定時(shí)刻為系統(tǒng)啟動(dòng)時(shí)，數(shù)據(jù)包發(fā)生通信時(shí)，在一定時(shí)間內(nèi)節(jié)點(diǎn)間不進(jìn)行通信。從測(cè)定的延遲時(shí)間開始，利用動(dòng)作腳本修正計(jì)算平均延遲時(shí)間和標(biāo)準(zhǔn)偏差。

5 原型模型

為了提出方法的有效性，開發(fā)原型模型系統(tǒng)進(jìn)行評(píng)價(jià)。原型系統(tǒng)用了三臺(tái)節(jié)點(diǎn)和一臺(tái)主節(jié)點(diǎn)，利用PTPv2保證時(shí)刻同步精度。用專門按鈕時(shí)刻同步網(wǎng)絡(luò)，節(jié)點(diǎn)間的數(shù)據(jù)通信用兩種網(wǎng)絡(luò)構(gòu)成。執(zhí)行任務(wù)的節(jié)點(diǎn)用于通用計(jì)算機(jī)，連接時(shí)刻同步網(wǎng)絡(luò)的界面，使用連接PCI Express裝載PTPv2功能的NIC（即PTPNIC）。為了在動(dòng)作腳本中到指定的時(shí)刻進(jìn)行待機(jī)用Usleep系統(tǒng)短時(shí)間待機(jī)。原型系統(tǒng)根據(jù)時(shí)刻和腳本進(jìn)行節(jié)點(diǎn)間通信的軟件安裝，用C語言開發(fā)。

6 驗(yàn)證

對(duì)時(shí)間處理產(chǎn)生的延遲進(jìn)行測(cè)量，根據(jù)提出的模型進(jìn)行動(dòng)作腳本的修正，進(jìn)行修正模型的驗(yàn)證。

6.1 節(jié)點(diǎn)的性能和特征產(chǎn)生延遲的測(cè)量

6.1.1 從PTPNIC的時(shí)刻得到執(zhí)行時(shí)間

構(gòu)成本系統(tǒng)的各節(jié)點(diǎn)，處理任務(wù)時(shí)的動(dòng)作為判斷基準(zhǔn)取現(xiàn)在時(shí)刻。測(cè)試用一臺(tái)節(jié)點(diǎn)從PTPNIC取得時(shí)刻。測(cè)試為從PTPNIC取兩次連續(xù)的時(shí)刻，測(cè)試取得一次時(shí)刻處理的時(shí)間方差。測(cè)試執(zhí)行1000次，測(cè)出平均執(zhí)行時(shí)間和標(biāo)準(zhǔn)偏差。結(jié)果是平均執(zhí)行時(shí)間為4微秒，標(biāo)準(zhǔn)偏差為O.1。

6.1.2 從恢復(fù)待機(jī)狀態(tài)的時(shí)間

通過測(cè)量Usleep系統(tǒng)短待機(jī)可能的最短時(shí)間，測(cè)出進(jìn)入待機(jī)狀態(tài)到發(fā)生任務(wù)的延遲。測(cè)量中，取執(zhí)行Usleep系統(tǒng)短時(shí)間段的前后時(shí)刻，計(jì)算兩個(gè)方差。用這個(gè)方差減在6.1.1中求得時(shí)間的平均值。試運(yùn)行1000次的結(jié)果，平均執(zhí)行時(shí)間55.8微秒，標(biāo)準(zhǔn)差9.8。從這個(gè)結(jié)果看出，本原型系統(tǒng)Usleep系統(tǒng)短期待機(jī)能的比最短時(shí)間更短的情況，如20微秒的待機(jī)處理腳本的情況下，產(chǎn)生55.8-20微秒的延遲，這種情況下，下一個(gè)動(dòng)作可以提前20微秒執(zhí)行，否則就需要滯后35 8微秒。

6.2 測(cè)量網(wǎng)絡(luò)原因產(chǎn)生的延遲

進(jìn)行UDP通信的節(jié)點(diǎn)間傳輸一個(gè)hop數(shù)時(shí)，進(jìn)行通信延遲的測(cè)量。數(shù)據(jù)包大小為64，128，256，512，1024bate，各300次，一共試運(yùn)行1500次。結(jié)果是，64bate時(shí)平均傳輸時(shí)間143.8毫秒，標(biāo)準(zhǔn)差為4.6。1024bate時(shí)平均傳輸時(shí)間為168.1微秒，標(biāo)準(zhǔn)差為4.3。數(shù)據(jù)包大小變化時(shí)標(biāo)準(zhǔn)差基本不變，但平均傳輸時(shí)間發(fā)生變化。

6.3 根據(jù)測(cè)量結(jié)果修正動(dòng)作腳本

數(shù)據(jù)通信用的網(wǎng)絡(luò)延遲時(shí)間產(chǎn)生變化時(shí)，為確認(rèn)動(dòng)作腳本的修正模型正常工作的三臺(tái)節(jié)點(diǎn)，用節(jié)點(diǎn)A、節(jié)點(diǎn)B、節(jié)點(diǎn)C驗(yàn)證進(jìn)行時(shí)間分散處理的動(dòng)作結(jié)果。三個(gè)節(jié)點(diǎn)舉出的數(shù)據(jù)生成/恢復(fù)鍵生成/數(shù)據(jù)加密模塊，假設(shè)用三個(gè)模塊構(gòu)成的系統(tǒng)，節(jié)點(diǎn)A、節(jié)點(diǎn)B、節(jié)點(diǎn)C的順序進(jìn)行傳輸數(shù)據(jù)。當(dāng)節(jié)點(diǎn)A和節(jié)點(diǎn)B間的網(wǎng)絡(luò)延遲時(shí)間從500微秒到1900微秒，每200微秒工作一次時(shí)，驗(yàn)證進(jìn)行了動(dòng)態(tài)的修正。初期的動(dòng)作腳本順序圖如圖2所示。

最終節(jié)點(diǎn)A和節(jié)點(diǎn)B間的網(wǎng)絡(luò)延遲時(shí)間700微秒，1300微秒，1900微秒在時(shí)刻t2，t3，t4，t5間顯示。從這個(gè)結(jié)果，節(jié)點(diǎn)A和節(jié)點(diǎn)B間的延遲時(shí)間從500微秒到900微秒時(shí)，就在腳本通過發(fā)信時(shí)刻t3=llms執(zhí)行，節(jié)點(diǎn)B在t=11ms前，不能執(zhí)行傳輸。兩節(jié)點(diǎn)的延遲時(shí)間超過1000微秒時(shí)，節(jié)點(diǎn)B的動(dòng)作開始時(shí)間為到達(dá)t5=12ms而換成t3，考慮到延遲時(shí)間需要提前發(fā)信。從這個(gè)結(jié)果看，確認(rèn)了處理時(shí)刻修正方法緩和了節(jié)點(diǎn)間產(chǎn)生的延遲影響。

7 總結(jié)

本論文用于控制高精度同步分散節(jié)點(diǎn)的時(shí)間，首先根據(jù)時(shí)間進(jìn)行處理的動(dòng)作腳本和隨著現(xiàn)在時(shí)間和數(shù)據(jù)遍歷系統(tǒng)中節(jié)點(diǎn)的處理，提出時(shí)間分散處理控制。首先，在節(jié)點(diǎn)間產(chǎn)生通信延遲，從開始處理到結(jié)束產(chǎn)生延遲檢驗(yàn)本方法的有效性。結(jié)果證明了修正處理時(shí)間的方法，在原型系統(tǒng)下可以實(shí)現(xiàn)。其結(jié)果在數(shù)據(jù)通信用網(wǎng)絡(luò)中節(jié)點(diǎn)間的通信關(guān)系在延遲時(shí)間發(fā)生變化的情況下，時(shí)間修正模型能正常工作。

參考文獻(xiàn)

[1] Thomas Erl，ZaighamMahmood.云計(jì)算：概念、技術(shù)與架構(gòu)[M].北京：機(jī)械工業(yè)出版社，2014.

[2] 1EEEStd1588-2008， 1EEEStandardfora Precision CIockSynchronizationProtocol for Networked Measu-rementand ControlSystem [S]. 2008.

[3]王建珍，計(jì)算機(jī)網(wǎng)絡(luò)時(shí)間同步技術(shù)應(yīng)用研究[J].山西電子技術(shù)，2005 （04）： 7-8.

[4]求是科技.FPGA數(shù)字電子系統(tǒng)設(shè)計(jì)與開發(fā)實(shí)例導(dǎo)航[M].北京：郵電出版社，2005.

[5]宮田寬士，服務(wù)器端網(wǎng)絡(luò)架構(gòu)[M].北京：人民郵電出版社，2015.

[6]張亞元，基于GPS和高精度實(shí)時(shí)時(shí)鐘的時(shí)間同步方法研究[D].天津大學(xué)，2014.

[7]鄧偉.基于GPS時(shí)鐘同步系統(tǒng)的實(shí)現(xiàn)與應(yīng)用[D].北京郵電大學(xué)，2015.

[8]許雄，實(shí)時(shí)以太網(wǎng)下多軸運(yùn)動(dòng)控制的同步問題研究[D].上海交通大學(xué)，2013.