基于以太網(wǎng)的并行計算系統(tǒng)中數(shù)據(jù)交換研究

王張彥，黎 英，楊彥鑫

(1.云南大學信息學院，昆明 650091;2.昆明理工大學信息工程與自動化學院，昆明 650093)

1 引言

以太網(wǎng)由于其開放性好，應用廣泛以及價格低廉，已經(jīng)壟斷了商用計算機的通信領域和過程控制領域中上層的信息管理與通信。隨著以太網(wǎng)技術的不斷發(fā)展，以太網(wǎng)進入工業(yè)控制領域已經(jīng)成為主要發(fā)展趨勢。要想在工業(yè)環(huán)境中能夠有效利用以太網(wǎng)，必須使其符合工業(yè)環(huán)境的特殊需求。以太網(wǎng)應用于工業(yè)現(xiàn)場的關鍵技術之一就是要具有實時性。目前已有多種技術用來提高工業(yè)以太網(wǎng)的實時性，例如增加寬帶、改變系統(tǒng)的結構、采用智能集線器等。只要解決以太網(wǎng)的實時性問題就能在工業(yè)控制中得到大規(guī)模的利用。過過采取一種動態(tài)時間槽的劃分來解決以太網(wǎng)的實時性問題，并對這種時間槽性能進行測量。

2 以太網(wǎng)與UDP通信時間的比較

在通信系統(tǒng)中通信方式的不同，它們的通信時間會產(chǎn)生很大的差別，由于以太網(wǎng)幀的數(shù)據(jù)部分長度為46～1500字節(jié)，因此分別利用UDP方式和MAC層傳輸方式傳輸一幀數(shù)據(jù)，測試這一幀數(shù)據(jù)在傳輸過程中所需要的時間，實驗結果如表1和表2所示。第一組數(shù)據(jù)為收發(fā)46字節(jié)的情況，第二組為收發(fā)1500字節(jié)的情況。從兩組實驗數(shù)據(jù)可以得出以下結論:

(1)在通信過程中發(fā)送同樣長度的數(shù)據(jù)，采用UDP的方式通信時間較長;

(2)在通信過程中采用UDP的方式，通信的時間波動較大，而直接在MAC層收發(fā)數(shù)據(jù)時，通信時間比較穩(wěn)定;

(3)采用UDP的方式通信，在通信時間上長幀通信的時間與短幀通信時間的差距，沒有采用MAC層通信的時間差距大。

3 IEEE1588協(xié)議實現(xiàn)

系統(tǒng)的時鐘同步一般有軟件時鐘同步和硬件時鐘同步，硬件時鐘同步精度很高，可以達到納秒級，但是這種時鐘同步要用具體的硬件來實現(xiàn)，操作不方便，靈活性很差，成本很高，不適合大規(guī)模的應用。軟件時鐘同步也有很多種方法，可以用 TCP、IP、UDP這些協(xié)議進行時鐘同步，但是它們的精度一般只能達到毫秒級，但是操作方便，具有很好的靈活性。目前的IEEE1588協(xié)議就是一種應用廣泛的時鐘同步技術，它是一種主從式的時間同步技術。假定網(wǎng)絡傳輸路徑是對稱的，主時鐘周期性的向系統(tǒng)中所有從時鐘發(fā)送同步消息報文，從時鐘以主時鐘為參照，通過解析接收到的消息報文，計算與主時鐘之間的時間差異，并進行同步校正，實現(xiàn)系統(tǒng)時鐘同步。用來實現(xiàn)IEEE1588協(xié)議，主機采用美國模擬儀器公司(ADI)的BF548開發(fā)板，從機是BF538開發(fā)板。主機以太網(wǎng)芯片是美商史恩希股份有限公司(SMSC)的LAN9218，從機以太網(wǎng)芯片是LAN91C111，主機與從機通過交換機用網(wǎng)線進行連接。

表1 收發(fā)46字節(jié)所用時間(單位:us)

表2 收發(fā)1500字節(jié)所用時間(單位:us)

系統(tǒng)上電之后，主機和從機先各自進行初始化，初始化完成之后開始進行系統(tǒng)時鐘同步。IEEE1588有兩種方法來實現(xiàn)系統(tǒng)時鐘同步，如果采用IEEE1588第一種方法，如圖1定義了四條報文:Sync報文、Fellowup報文、DelayReq報文和DelayResp報文，用這四條報文從機就得到四個時刻 Tm1、Tm2、Ts1、Ts2，用 Offset=(Ts1－Tm1+Ts2－Tm2)/2計算出主機和從機的時間偏差Offset，從機BF538再修正自己的時鐘，這樣主機BF548和從機BF538就可以達到時鐘同步。

采用IEEE1588第二種方法，如圖2定義了三條報文:Slave報文、Master報文、Time報文，用這三條報文就可以計算時鐘偏差Offset，用這個時鐘偏差來修正從機BF538的時鐘，達到時鐘同步的目的。

圖1 IEEE1588方法一

圖2 IEEE1588方法二

4 同步時鐘的誤差

在系統(tǒng)進行同步時鐘之后，怎么知道從機和主機之間的誤差有多大?對于這個問題采用如下的方法解決，可以設置在系統(tǒng)時鐘同步之后，讓主機的一個引腳發(fā)送一個脈沖信號，這個脈沖信號同時分兩路發(fā)送，一個發(fā)送給自己的一個接收脈沖信號的引腳，一個發(fā)送給從機的接收脈沖信號的引腳。主機發(fā)送脈沖信號引腳和主機接收脈沖信號的引腳通過一根導線相連，主機的發(fā)送脈沖信號引腳和從機的接收脈沖信號的引腳也是通過一根導線相連。主機的接收脈沖信號的引腳收到這個脈沖信號后，產(chǎn)生一個中斷來讀取時間計數(shù)器的值。從機的接收脈沖信號引腳收到這個脈沖信號后，也產(chǎn)生一個中斷來讀取時間計數(shù)器的值。這個脈沖信號都是從主機一個引腳發(fā)送的，這樣就可以保證在同一時間來讀取主機和從機的時間計數(shù)器的值，從機讀取時間計數(shù)器的值后，再把這個值發(fā)送給主機，主機用自己時間計數(shù)器的值和從機的時間計數(shù)器的值進行比較，就可以得到系統(tǒng)時間同步之后的誤差。

兩種方法的系統(tǒng)同步時鐘，都進行了誤差測量，一共收集了1000個數(shù)據(jù)來進行觀察，圖3就是時鐘同步的第一種方法的誤差測量數(shù)據(jù)圖，圖4就是用第二種方法的誤差測量數(shù)據(jù)圖。從這兩個圖可以看出圖3的波動范圍比較大，圖4的波動范圍比較小，圖3的最大值接近了1us，圖4的最大值不超過0.7us，第二種方法要比第一種方法的誤差減少300ns。第一種方法的平均值是313.36000，方差是10344.99750，第二種方法的平均值是46.420，方差427.30。從這兩個圖可以看出第二種方法要第一種方法精度提高很多。所在這個系統(tǒng)中采用第二種方法來同步系統(tǒng)時鐘。

5 動態(tài)時間槽的劃分

所謂的動態(tài)時間槽就是根據(jù)系統(tǒng)運行過程中的實際情況，時間槽的數(shù)量可以改變。動態(tài)時間槽劃分之前要測量主機發(fā)送一個控制命令到從機所需要的時間，經(jīng)過測量(表1所示)，這個時間不會大于34us。主機發(fā)往從機的控制幀采用的是總線模式，利用總線模式控制，有很多種方法，比如令牌環(huán)等，但這些實時性能不是很強，所以就要找到一種比較好的方法來解決系統(tǒng)的實時性［6］和數(shù)據(jù)碰撞問題。假設每臺從機發(fā)送數(shù)據(jù)在(0－20)us是服從P(X=k)泊松分布，而且系統(tǒng)有精確的時鐘，利用這幾個有利條件可以找到一種合適的方法。如圖5所示，可以根據(jù)通信時間來劃分不同的區(qū)間，讓控制幀延遲一段時間發(fā)送，就可以減少碰撞的概率，假設7臺從機按照圖5來劃分不同的概率分布，如果兩臺從機的分布間隔小于26us，只要兩臺從機在一個周期內(nèi)發(fā)送數(shù)據(jù)就會發(fā)生碰撞，這種分布方法不能滿足要求。如果兩臺從機的分布間隔大于34us，在同一周期內(nèi)，任何兩臺從機都不會發(fā)生數(shù)據(jù)碰撞，但是時間間隔太長就會浪費系統(tǒng)資源，必須找到一個合適的方法來處理從機的時間間隔。

綜合以上所有討論與假設條件，提出動態(tài)時間槽的具體過程如下:

(1)假設有7臺從機，先給每臺從機編號Si(i=(1～7))，設定每兩臺從機之間的時間間隔是Ti(i=(1～6))，Ti根據(jù)發(fā)送數(shù)據(jù)的前一臺從機的發(fā)送時間來設定，Ti隨著發(fā)送時刻的變化進行變化。Ti最大取值是34us，最小是0us。

(2)在系統(tǒng)時鐘同步之后主機和從機就可以發(fā)送控制命令，再假設主機和從機的時種都是從0us開始，Si(i=(1 ～7))=20us，Ti(i=(1 ～6))=34us。

(3)根據(jù)概率分布劃分界限，在S1時間段內(nèi)，1號從機可能要發(fā)送數(shù)據(jù)，也可能不發(fā)送數(shù)據(jù)，S2～S7這些從機在N2段內(nèi)一直監(jiān)聽信道上有無數(shù)據(jù)發(fā)送。

(4)如果1號從機在S1時間段內(nèi)沒有發(fā)送數(shù)據(jù)，S2～S7這些從機用一個變量H1=0記下S1沒有發(fā)送數(shù)據(jù)，然后S2～S7這些從機在N2時間段整體向前移動T1=34us的時間段。

(5)如果1號從機在S1時間段內(nèi)發(fā)送了一幀數(shù)據(jù)，數(shù)據(jù)發(fā)送出去之后在信道上傳輸，由于S2～S7這些從機一直在監(jiān)聽信道的狀態(tài)，這些從機記下它們監(jiān)聽到數(shù)據(jù)發(fā)送的時刻ST1，T1=54－ST1，然后S2～S7這些從機在N2時間段整體向前移動T1us的時間段;S2～S7這些從機用一個變量H1=1記下S1已經(jīng)發(fā)送數(shù)據(jù)。

圖5 動態(tài)時間槽劃分圖

(6)到了 S2從機后，重復4、5、6以上過程，接著S3～S7從機也重復4、5、6以上過程。整個系統(tǒng)的控制過程依次循環(huán)下去。

6 測量系統(tǒng)的性能

對現(xiàn)場總線的實際效率定義為:對于一個有固定現(xiàn)場總線的網(wǎng)絡，它的總線效率應為系統(tǒng)上所有終端按一定的數(shù)據(jù)量和給定通信速率通信一個循環(huán)后，其傳輸有效的數(shù)據(jù)總量和實際傳輸數(shù)據(jù)總量之比，乘以傳輸總有效數(shù)據(jù)所需的理論時間和實際消耗的時間之比。設總線效率為Y，B為通信波特率，Q1為一個傳輸循環(huán)內(nèi)有效數(shù)據(jù)的傳輸量，T1為按B傳輸Q1所需要的理論時間，Q2為一個通信循環(huán)周期內(nèi)傳輸數(shù)據(jù)的總量，T為一個傳輸循環(huán)周期實際的時間，則Y=(Q1/Q2)*(T1/T)*100%。為了便于比較，采用相同的數(shù)據(jù)量來進行對比，對于系統(tǒng)和現(xiàn)場總線RS－485網(wǎng)絡都通過測量100M數(shù)據(jù)來測量，先用100M的數(shù)據(jù)在現(xiàn)場總線網(wǎng)絡中進行通信，再用100M的數(shù)據(jù)量在系統(tǒng)中進行通信。這100M的數(shù)據(jù)量是有效數(shù)據(jù)，不包含幀頭、幀尾、校驗位等一些其他信息，在現(xiàn)場總線網(wǎng)絡中通信也要加一些無用的信息，用來保證通信的正確性。分別測量這兩種網(wǎng)絡，進行通信100M數(shù)據(jù)量實際所用的時間，它們的理論時間就是數(shù)據(jù)總量除以通信速率。數(shù)據(jù)總量是實際通信過程中所有網(wǎng)絡端口接收數(shù)據(jù)總量的和。根據(jù)這些數(shù)據(jù)便可計算出兩種網(wǎng)絡的實際通信效率。為了便于觀察，測量了十組數(shù)進行比較，如表3所示。

從表3可以看出以太網(wǎng)的實際通信效率遠遠大于RS－485的實際通信效率，100M以太網(wǎng)的速度也遠遠大于RS－485的通信速度，通過劃分時間槽就可以避免數(shù)據(jù)發(fā)生碰撞，不僅增加了系統(tǒng)的實時性能，而且又提高了系統(tǒng)的實際通信效率。

表3 實際通信效率測試

7 結 束 語

從測量的所有數(shù)據(jù)表明，用以太網(wǎng)通信機制實現(xiàn)IEEE 1588時鐘同步，可以達到理想的時鐘精度，很好的滿足工業(yè)過程控制系統(tǒng)，以太網(wǎng)已經(jīng)具備了工業(yè)通信系統(tǒng)實時性的需求，利用動態(tài)時間槽的劃分既可以通信又可以對整個系統(tǒng)進行控制，加之成本低廉、傳輸速率高等特點，已經(jīng)可以大規(guī)模應用于工業(yè)現(xiàn)場的控制系統(tǒng)當中。

［1］Don Anderson.USB系統(tǒng)體系［M］.北京:中國電力出版社，2001.

［2］Kevin Hsu.IEEE1588精密時間協(xié)議分組網(wǎng)絡上的頻率同步［J］.電子工程專輯，2009，11(6):215 －217.

［3］Friesen D K.Tighter bounds for LPT scheduling on uniform processors［J］.SIAM Journal on Computing，1987，13(9):115 －169.

［4］Mireault P，Orlin J B，Vohra R V.A paramet ric worst case analysis of t he LPT heuristic for two uniform machines［J］.Operations Research，2010，22(11):597 －599.

［5］王哲，王希敏.并行DSP系統(tǒng)消息傳遞路由算法［J］.計算機工程，2006，14(5):658 －660.

［6］黃瑞.基于TS201的多DSP并行系統(tǒng)設計［J］.電子測量技術，2000，17(1):1 －7.