海底觀測網(wǎng)中上位機(jī)與服務(wù)器通信協(xié)議的設(shè)計(jì)*

謝 軍，馬 輝，李 秀

(1.海南大學(xué)機(jī)電工程學(xué)院，海南 ?？?570228;2.清華大學(xué)深圳研究生院，廣東 深圳 518055)

海底觀測網(wǎng)中上位機(jī)與服務(wù)器通信協(xié)議的設(shè)計(jì)*

謝 軍1,2，馬 輝2，李 秀2

(1.海南大學(xué)機(jī)電工程學(xué)院，海南 ?？?570228;2.清華大學(xué)深圳研究生院，廣東 深圳 518055)

在海底觀測網(wǎng)絡(luò)中，各儀器采集的數(shù)據(jù)都分別發(fā)送到各自平臺上位機(jī)，各上位機(jī)進(jìn)行數(shù)據(jù)匯總后分別發(fā)送數(shù)據(jù)到數(shù)據(jù)管理系統(tǒng)服務(wù)器。在對海底觀測網(wǎng)中各個設(shè)備數(shù)據(jù)采集格式、數(shù)據(jù)通信速率、數(shù)據(jù)通信容量進(jìn)行綜合分析后，設(shè)計(jì)了上位機(jī)與數(shù)據(jù)服務(wù)器之間的通信協(xié)議。通信數(shù)據(jù)包包括包頭、包體和校驗(yàn)位，各個上位機(jī)通信的包頭格式一致，包體結(jié)合不同設(shè)備的各自特點(diǎn)分別進(jìn)行設(shè)計(jì)。根據(jù)通信協(xié)議開發(fā)了相應(yīng)的客戶端和服務(wù)器端軟件。測試結(jié)果表明，通信協(xié)議能夠完整、正確、高效地完成數(shù)據(jù)傳輸。

海底觀測網(wǎng)；物聯(lián)網(wǎng)；通信協(xié)議；TCP/IP

1 引言

海底蘊(yùn)含了豐富的礦藏、天然氣水合物、可燃冰等資源。對海底進(jìn)行觀測主要包括間接方式和直接方式。間接方式就是派考察船等采集海水、海底的微生物等回實(shí)驗(yàn)室，進(jìn)行離線分析，這種方式是非實(shí)時、非原位的。直接方式就是直接把儀器設(shè)備放在海底，建立海底觀測網(wǎng)，實(shí)時采集、實(shí)時分析、實(shí)時傳輸?shù)降孛?，這種實(shí)時和原位方式，能夠更加真實(shí)和實(shí)時地得到海底的各種信息[1～3]。海底觀測網(wǎng)絡(luò)的建立，對于海洋資源探測、海洋環(huán)境監(jiān)測、國防安全等都具有重大意義。目前全世界比較有名和成熟的海底觀測網(wǎng)包括美國的MARS、加拿大的NEPTUNE、歐洲海底觀測網(wǎng)ESONET和日本新型實(shí)時海底監(jiān)測網(wǎng)ARENA[4～7]等。我國的海底觀測網(wǎng)絡(luò)起步時間還不是很長[8]。

海底觀測網(wǎng)絡(luò)，是由數(shù)據(jù)管理與服務(wù)系統(tǒng)、岸基系統(tǒng)、光電復(fù)合纜、接駁盒、各級水下節(jié)點(diǎn)等構(gòu)成的海底原位科學(xué)探測平臺[3,9]。觀測網(wǎng)絡(luò)中的各個觀測平臺的上位機(jī)除了對海底的設(shè)備進(jìn)行控制外，還需要讀取各設(shè)備的數(shù)據(jù)信息和狀態(tài)信息，這些信息除了在本地進(jìn)行存儲，還需要統(tǒng)一發(fā)送到數(shù)據(jù)服務(wù)中心，即數(shù)據(jù)管理系統(tǒng)服務(wù)器。海底觀測網(wǎng)屬于物聯(lián)網(wǎng)，每天24小時不間斷產(chǎn)生大量的數(shù)據(jù)。每天數(shù)據(jù)量超過1.2 GB，每年數(shù)據(jù)量超過400 GB。如果加上視頻，數(shù)據(jù)還要大很多。并且，如果海底通信網(wǎng)不穩(wěn)定導(dǎo)致采集的數(shù)據(jù)丟失，比如丟失實(shí)時的地震數(shù)據(jù)導(dǎo)致無法提前預(yù)報(bào)海嘯，就有可能導(dǎo)致巨大的生命財(cái)產(chǎn)損失或者經(jīng)濟(jì)損失。海底通信網(wǎng)的通信穩(wěn)定性和可靠性相對于陸地而言，要求要高很多。因此，各上位機(jī)與數(shù)據(jù)管理系統(tǒng)服務(wù)器之間的通信協(xié)議設(shè)計(jì)[9～11]，是海底觀測網(wǎng)能否正常穩(wěn)定運(yùn)行的關(guān)鍵技術(shù)之一。

2 通信協(xié)議概要設(shè)計(jì)

在整個海底通信網(wǎng)中上位機(jī)到數(shù)據(jù)服務(wù)器的通信系統(tǒng)，有以下五個上位機(jī)平臺，每個上位機(jī)分別包含的儀器如下：

(1)接駁盒，分別包含主接駁盒電能數(shù)據(jù)、主接駁盒環(huán)境數(shù)據(jù)、次接駁盒電能數(shù)據(jù)、次接駁盒環(huán)境數(shù)據(jù)；

(2)海洋動力平臺，包括聲學(xué)多普勒流速剖面儀ADCP(Acoustic Doppler Current Profilers)、聲學(xué)多普勒流速儀ADV(Acoustic Doppiler Vector Current Meter)、溫鹽深儀CTD(Conductivity Temperature Depth)、壓力傳感器；

(3)激光拉曼平臺，包括激光拉曼光譜儀；

(4)化學(xué)平臺，包括二氧化碳、溶解氧、PH值等傳感器；

(5)地球物理平臺，包括地震儀、磁力計(jì)、電源控制板、信號轉(zhuǎn)換板。

每種儀器或設(shè)備里面發(fā)送的數(shù)據(jù)類型主要包括觀測數(shù)據(jù)和狀態(tài)數(shù)據(jù)，存儲類型包括ASCII碼和二進(jìn)制。綜合考慮所有設(shè)備待發(fā)送數(shù)據(jù)的數(shù)據(jù)特點(diǎn)，先設(shè)計(jì)各上位機(jī)公用的數(shù)據(jù)包頭，然后分別設(shè)計(jì)不同設(shè)備的包體。

協(xié)議包體由各家平臺按照各自的數(shù)據(jù)內(nèi)容進(jìn)行封裝、定義。包體支持二進(jìn)制(含BCD)碼和ASCII碼。包體部分根據(jù)各自內(nèi)容的不同有不同的格式和長度。

設(shè)計(jì)通信協(xié)議時，主要是設(shè)計(jì)從上位機(jī)往服務(wù)器發(fā)送數(shù)據(jù)時的數(shù)據(jù)格式。主要基于以下幾個原則：

(1)數(shù)據(jù)的發(fā)送周期最短為50 ms，最長為10 min。數(shù)據(jù)發(fā)送周期短的設(shè)備，采用TCP協(xié)議。數(shù)據(jù)發(fā)送周期長的設(shè)備，如果采用TCP協(xié)議，因?yàn)橐恢北３诌B接狀態(tài)，會降低服務(wù)器通信通道的利用效率；如果采用UDP協(xié)議，則系統(tǒng)混合了TCP和UDP協(xié)議，加大了協(xié)議的復(fù)雜度。綜合分析，決定全部采用TCP協(xié)議，但是結(jié)合長連接和短連接。長連接是指在一個TCP連接上可以連續(xù)發(fā)送多個數(shù)據(jù)包，在TCP連接保持期間，如果沒有數(shù)據(jù)包發(fā)送，需要雙方發(fā)鏈路檢測包以維持此連接。短連接是指發(fā)送完一個數(shù)據(jù)包后馬上斷開連接。

數(shù)據(jù)發(fā)送周期短的設(shè)備，比如ADCP，每秒1個數(shù)據(jù)包，采用TCP長連接。數(shù)據(jù)發(fā)送周期長的設(shè)備，比如CTD數(shù)據(jù)，每15秒才發(fā)送一次數(shù)據(jù)，采用TCP短連接，上位機(jī)發(fā)送完數(shù)據(jù)包并接收到來自服務(wù)器的表示已經(jīng)正確接收和解碼的返回包后，馬上斷開連接。這種設(shè)計(jì)模式，在兼顧通信效率和通道利用率的同時，還降低了協(xié)議的復(fù)雜度。國外的海底通信網(wǎng)一般都只是采用長連接，這樣做的好處是通信控制邏輯較為簡單，但是由于多個通信通道一直由服務(wù)器占用，對服務(wù)器資源消耗會更大。

(2)包括三部分：包頭、包體和包尾。其中包頭是定長的；因?yàn)椴煌O(shè)備發(fā)送的數(shù)據(jù)不同，因此數(shù)據(jù)包體不定長；定長的4個字節(jié)校驗(yàn)位放在數(shù)據(jù)包尾。數(shù)據(jù)包體的長度在包頭中設(shè)置。每個數(shù)據(jù)包可傳遞多個傳感器的數(shù)據(jù)，允許一個數(shù)據(jù)包同時包含狀態(tài)與觀測數(shù)據(jù)，數(shù)據(jù)包必須包含設(shè)備編號(ID)和時間戳。

綜合分析，采用TCP協(xié)議。服務(wù)器與各上位機(jī)建立一對或多對SOCKET端口，同時支持長連接和短連接。對于長連接，數(shù)據(jù)服務(wù)器設(shè)置“心跳”機(jī)制，當(dāng)上位機(jī)長時間沒有數(shù)據(jù)發(fā)送時，每隔一段時間往服務(wù)器發(fā)送一個心跳包，以保持連接。

3 通信協(xié)議詳細(xì)設(shè)計(jì)

協(xié)議將通信包體分成三個部分：包頭、包體和校驗(yàn)位。包頭部分完成協(xié)議號定義、時間戳、包編號等公共信息定義，在每個請求數(shù)據(jù)包中，包頭的長度以及格式固定。包體為完成的具體業(yè)務(wù)需要的接口參數(shù)信息。消息的包體部分根據(jù)各自接口的內(nèi)容不同而有不同的格式和長度。協(xié)議包體由各家平臺按照各自的數(shù)據(jù)內(nèi)容進(jìn)行封裝、定義。包體支持二進(jìn)制(含BCD)碼和ASCII碼。

3.1 發(fā)送消息格式

發(fā)送消息是由各上位機(jī)發(fā)送到數(shù)據(jù)庫服務(wù)器，數(shù)據(jù)包格式如表1所示。長度單位為字節(jié)數(shù)。

Table 1 Format of sending data packets表1 發(fā)送數(shù)據(jù)包的格式

第1項(xiàng)，同步頭。作為數(shù)據(jù)包開始的標(biāo)志。

第2項(xiàng)，協(xié)議編號。協(xié)議編號是為了區(qū)分不同設(shè)備，同一設(shè)備的數(shù)據(jù)信息和狀態(tài)信息。

第3項(xiàng)，時間戳。表示數(shù)據(jù)包發(fā)送時間。采用壓縮BCD碼，這樣既有很高的表示效率，也便于調(diào)試時人工觀測大小，兼顧了效率和清晰度。

第4項(xiàng)，包編號。每天的0：00開始計(jì)數(shù)，每發(fā)送一個包自動加1。

第5項(xiàng)，包體長度。當(dāng)服務(wù)器解碼出包體長度后，便知道了包體從哪兒開始。

第6項(xiàng)，字節(jié)序定義。0x00對應(yīng)低序字節(jié)存儲在起始地址，0x01對應(yīng)將高序字節(jié)存儲在起始地址。例如，0x01時，4個字節(jié)，從左到右高16位，低16位。

第7項(xiàng)信息類型，主要是為協(xié)議將來的可擴(kuò)展性考慮，為系統(tǒng)不同調(diào)試階段進(jìn)行補(bǔ)充。在系統(tǒng)設(shè)計(jì)與調(diào)試過程中，在服務(wù)器端將設(shè)計(jì)一個模擬客戶端來模擬各不同上位機(jī)發(fā)送數(shù)據(jù)；在與各上位機(jī)遠(yuǎn)程聯(lián)調(diào)時，各上位機(jī)會發(fā)送模擬數(shù)據(jù)或者從設(shè)備真實(shí)采集的數(shù)據(jù)；在進(jìn)行系統(tǒng)集成聯(lián)調(diào)的時候，也會發(fā)送模擬數(shù)據(jù)和從設(shè)備真實(shí)采集的數(shù)據(jù)；最后系統(tǒng)正式上線運(yùn)行時，是發(fā)送真實(shí)的采集自海底的真實(shí)數(shù)據(jù)。對這一項(xiàng)定義如下。0：系統(tǒng)正式上線時從放在海底的設(shè)備真實(shí)采集的數(shù)據(jù)；1：平時設(shè)備放在水池時從設(shè)備采集的數(shù)據(jù)；2：各上位機(jī)自己模擬的數(shù)據(jù)；3：服務(wù)器端模擬采集的數(shù)據(jù)；其它值，將來再進(jìn)行補(bǔ)充。這一項(xiàng)的設(shè)計(jì)方案，是對于整個系統(tǒng)進(jìn)行綜合分析以及和各平臺上位機(jī)逐步調(diào)試過程中才總結(jié)提出的，屬于本通信協(xié)議設(shè)計(jì)的特色之一。

第8項(xiàng)，備用位。這項(xiàng)是為了系統(tǒng)將來可擴(kuò)展使用的。

第9項(xiàng)，數(shù)據(jù)包體。每個設(shè)備真正的數(shù)據(jù)就位于這個段。

第10項(xiàng)，CRC校驗(yàn)。把CRC校驗(yàn)放在整個數(shù)據(jù)包的最后，而不是放在包頭與包體之間，是為了編程實(shí)現(xiàn)CRC時，對前面整個連續(xù)段計(jì)算CRC，而不用把分離的包頭和包體合并在一起再計(jì)算校驗(yàn)值。

針對每個設(shè)備做校驗(yàn)和，采用CRC32算法將所有數(shù)據(jù)轉(zhuǎn)換為二進(jìn)制表示。對轉(zhuǎn)換后的數(shù)據(jù)抽取CRC32摘要，長度為4字節(jié)。32位循環(huán)冗余校驗(yàn)標(biāo)準(zhǔn)多項(xiàng)式CRC如下所示：

X32+X26+X23+X22+X16+X12+X11+X10+X8+X7+X5+X4+X2+X+1

3.2 響應(yīng)消息格式

服務(wù)器收到上位機(jī)發(fā)送過來的消息后，經(jīng)過協(xié)議解碼、分析和處理，反饋給上位機(jī)的數(shù)據(jù)格式如表2所示。其中長度的單位為字節(jié)數(shù)。

返回碼含義表如表3所示。

每個包體都要有數(shù)據(jù)采集時間，且如果一個包體內(nèi)包含一個/多組觀測量的不同時刻下的觀測值，則每個組/觀測數(shù)據(jù)分別帶時間戳。

包頭里面所有多字節(jié)整數(shù)，都是先發(fā)送高位字節(jié)，再發(fā)送低位字節(jié)。包體部分，也建議如此。包體部分的數(shù)據(jù)編碼，除了儀器自動產(chǎn)生的數(shù)據(jù)無法更改編碼方式外，自定義數(shù)據(jù)按照如下規(guī)范進(jìn)行編碼：

(1)整數(shù)：直接用16進(jìn)制編碼。除非特別說明，都是補(bǔ)碼。

(2)小數(shù)：小數(shù)點(diǎn)左移幾位變?yōu)檎麛?shù)后，再用上

Table 2 Format of response data packets表2 響應(yīng)數(shù)據(jù)包的格式

Table 3 Return codes of response messages表3 響應(yīng)消息中返回碼表

面的整數(shù)編碼方式編碼。

(3)時間：建議也用包頭里面的BCD碼格式。

3.3 通信流程圖響應(yīng)消息格式

這里僅僅列出上位機(jī)向服務(wù)器發(fā)送數(shù)據(jù)的流程圖。當(dāng)客戶端和服務(wù)器建立連接后，客戶端每一個數(shù)據(jù)包的發(fā)送都按照圖1所示?？蛻舳艘鹊椒?wù)器返回確認(rèn)包才繼續(xù)發(fā)送下一個數(shù)據(jù)包。如果多次重發(fā)當(dāng)前數(shù)據(jù)包后仍然無法接收到確認(rèn)包，則認(rèn)為發(fā)送失敗。后面可以提示用戶或者重新連接服務(wù)器。流程圖里面的30 ms和60 ms兩個參數(shù)都可以根據(jù)現(xiàn)場網(wǎng)絡(luò)狀況進(jìn)行調(diào)整。

Figure 1 Flow chat of sending data packages from clients

3.4 協(xié)議的其它補(bǔ)充

數(shù)據(jù)管理系統(tǒng)與平臺上位機(jī)如果出現(xiàn)長時通信故障，如服務(wù)器宕機(jī)，平臺上位機(jī)將自動存儲故障期間的數(shù)據(jù)。在故障解決后，在實(shí)時數(shù)據(jù)的間歇之間，將故障期間的數(shù)據(jù)自動發(fā)送到服務(wù)器。服務(wù)器可對故障期間的延時數(shù)據(jù)進(jìn)行傳輸控制，可選擇只接收實(shí)時數(shù)據(jù)和接收實(shí)時數(shù)據(jù)及延時數(shù)據(jù)兩種模式。如返回碼為300時，停止接收故障延時數(shù)據(jù)；如收到返回碼為301，可在實(shí)時數(shù)據(jù)的空隙發(fā)送延時數(shù)據(jù)。

4 系統(tǒng)測試

數(shù)據(jù)服務(wù)器采用曙光I620-G10，CPU為E5-2620X2，內(nèi)存為DDR3 8 GB。服務(wù)器軟件環(huán)境為Linux Cent OS 6.2。客戶端運(yùn)行環(huán)境為聯(lián)想筆記本電腦E49，CPU為I5雙核，內(nèi)存4 GB，軟件為Windows 7。客戶機(jī)和服務(wù)器位于一個局域網(wǎng)里面。以海洋動力環(huán)境中壓力傳感器實(shí)測數(shù)據(jù)為例，上位機(jī)客戶端和服務(wù)器端界面分別如圖2和圖3所示。

Figure 2 Interface of sending pressure sensor data from clients

圖2和圖3里面壓力傳感器顯示數(shù)值均為15.291 3。上位機(jī)發(fā)送的數(shù)據(jù)與服務(wù)器解碼后的數(shù)據(jù)一致。上位機(jī)發(fā)送數(shù)據(jù)到服務(wù)器接收數(shù)據(jù)、解碼、顯示總共延時沒有超過20 ms。

Figure 3 Pressure sensor data on server web page

5 結(jié)束語

通信協(xié)議的設(shè)計(jì)是海底觀測網(wǎng)中關(guān)鍵技術(shù)之一，本文描述了海底通信網(wǎng)中服務(wù)器與各上位機(jī)的通信協(xié)議。協(xié)議主要包括包頭和包體，論文主要詳細(xì)描述了包頭的設(shè)計(jì)以及包體的設(shè)計(jì)原則。經(jīng)過測試，設(shè)計(jì)的通信協(xié)議達(dá)到了預(yù)定的功能和性能要求。本通信協(xié)議的設(shè)計(jì)方案，對于其它應(yīng)用領(lǐng)域通信的設(shè)計(jì)，也具有一定的參考意義。

[1] Isern A R,Clark H L. The ocean observatories initiative:A continued presence for interactive ocean research [J]. Marine Technology Society Journal,2003,37(3):26-41.

[2] Doya C,Pardo A J,Matabos M,et al. Behavioral rhythms in sablefish (anoplopoma fimbria) and other benthic species,as recorded by the deep-sea cabled observatories in Barkley canyon (NEPTUNE-Canada) [J]. Journal of Marine Systems,2013,130(1):69-78.

[3] Wang Pin-xian.Seafloor observatories:The third platform for earth system observation [J]. Chinese Journal of Nature,2007,29(3):125-130. (in Chinese)

[4] Massion G,Raybould K. MARS:The monterey accelerated research system [J]. Sea Technology,2006,47(9):39-42.

[5] Heesemann M, Insua T L, Scherwath M, et al. Ocean networks Canada from Geohazards research laboratories to smart ocean systems [J]. Oceanography,2014,27(2):151-153.

[6] Favali P,Chierici F,Marinaro G,et al. NEMO-SN1 abyssal

cabled observatory in the western ionian sea [J]. IEEE Journal of Ocean Engineering,2013,38(2):358-374.

[7] Suyehiro K,Mikada H,Asokawa K. Japanese seafloor observing systems:Present and future [J].Marine Technology Society Journal,2003，37(3):102-114．

[8] Li Xin. The east China sea floor observatory network systems engineering:Economic analysis and prospects [C]∥Proc of the 2013 International Conference on Advances in Social Science,Humanities,and Management,2013:711-718.

[9] Lu Han-liang，Li De-jun，Yang Can-jun，et al. Design and implementation of information acquisition and monitoring system of deep seafloor observatory network[J].Chinese Journal of Sensors and Actuators,2011,24(3):407-411.(in Chinese)

[10] Toma M,Del Rio D,O’Reilly J,et al. Automatic marine sensors services discovery on IP networks [C]∥Proc of 2013 IEEE Oceans (MTS’2013),2013:1-4.

[11] Xia Jun,Pang Zheng-bin,Liu Lu,et al. Design and implementation of a NIC based RDMA reliable communication protocol[J].Computer Engineering & Science,2014,36(2):216-221.(in Chinese)

附中文參考文獻(xiàn)：

[3] 汪品先．從海底觀察地球——地球系統(tǒng)的第三個觀測平臺[J]．自然雜志，2007，29(3):125-130．

[9] 盧漢良，李德駿，楊燦軍，等. 深海海底觀測網(wǎng)絡(luò)信息采集監(jiān)測系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J]. 傳感技術(shù)學(xué)報(bào),2011,24(3):407-411.

[11] 夏軍，龐征斌，劉路，等. 一種基于NIC的RDMA可靠傳輸協(xié)議的設(shè)計(jì)與實(shí)現(xiàn)[J]. 計(jì)算機(jī)工程與科學(xué),2014,36(2):216-221.

謝軍(1975-),男,湖南湘陰人，博士后,副教授,研究方向?yàn)楹Ｑ笮畔⒑蛿?shù)據(jù)挖掘。E-mail:sxiejun@sz.tsinghua.edu.cn

XIE Jun,born in 1975,postdoctor，associate professor,his research interests include ocean information, and data mining.

Design of communication protocol between upper computer and data server in seafloor observatory networks

XIE Jun1,2，MA Hui2，LI Xiu2

(1.College of the Mechanical and Electrical Engineering,Hainan University,Haikou 570228;2.Graduate School at Shenzhen,Tsinghua University,Shenzhen 518055,China)

In seafloor observatory networks, sampling data of each instrument are sent to their own upper computer respectively, which then summarizes all the data and sents them to the data management system server. On the basis of a comprehensive evaluation of data sampling format, data transforming velocity and data transforming capacity, we design a communication protocol between the upper computer and the data server. Package head, package body and cyclic redundancy check (CRC) are included in the communication package. For different upper computers, the format of package head is the same while the format of package body is designed respectively according to the specific characters of the instruments. Besides, we also develop a corresponding client and server software according to the communication protocol. Test results show that the proposed communications protocol can secure full, correct and efficient data transmission from the upper computer to the data sever.

seafloor observatory network;Internet of things;communication protocol;TCP/IP

1007-130X(2015)09-1656-05

2014-10-20;

2015-01-28基金項(xiàng)目：國家863計(jì)劃資助項(xiàng)目(2012AA09A408)

TP311.1

A

10.3969/j.issn.1007-130X.2015.09.009

通信地址：518055 廣東省深圳市南山區(qū)深圳大學(xué)城清華校區(qū)

Address:Tsinghua Campus,Shenzhen University Town,Nanshan District,Shenzhen 518055,Guangdong,P.R.China