基于4G網(wǎng)絡(luò)的水質(zhì)監(jiān)測(cè)分布式數(shù)據(jù)傳輸架構(gòu)研究

喻紀(jì)文+賈露+李青+朱曉輝

摘 要：為對(duì)水環(huán)境進(jìn)行實(shí)時(shí)監(jiān)測(cè)，及時(shí)發(fā)現(xiàn)水體污染事件， 全面掌握監(jiān)測(cè)區(qū)域水質(zhì)動(dòng)態(tài)變化情況，基于4G網(wǎng)絡(luò)設(shè)計(jì)并實(shí)現(xiàn)了分布式水環(huán)境實(shí)時(shí)監(jiān)測(cè)系統(tǒng)。系統(tǒng)采用分布式數(shù)據(jù)傳輸架構(gòu)，解決了集中式模型單點(diǎn)損壞影響其它監(jiān)測(cè)點(diǎn)數(shù)據(jù)傳輸?shù)娜秉c(diǎn)。測(cè)試結(jié)果表明，系統(tǒng)具有很好的穩(wěn)定性和較高的數(shù)據(jù)傳輸并發(fā)性。

關(guān)鍵詞：4G網(wǎng)絡(luò)；水質(zhì)監(jiān)測(cè)；分布式數(shù)據(jù)傳輸

DOIDOI：10.11907/rjdk.172311

中圖分類號(hào)：TP391

文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-7800（2018）002-0168-04

0 引言

當(dāng)前水體污染情況相當(dāng)嚴(yán)峻，受污染的水源若直接飲用或處理措施不當(dāng)，可能對(duì)人體產(chǎn)生不可挽回的損害[1]。為有效開展水資源保護(hù)與治理水污染，我國(guó)實(shí)施了建國(guó)以來投資最大的水專項(xiàng)計(jì)劃。在2006-2020年期間計(jì)劃投資300多億，實(shí)現(xiàn)“控源減排”、“減負(fù)修復(fù)”和“綜合調(diào)控”三大階段性目標(biāo)[2，3]，其中水環(huán)境監(jiān)控與預(yù)警關(guān)鍵技術(shù)研究是水專項(xiàng)的一個(gè)重要內(nèi)容。

早期采取人工采樣、實(shí)驗(yàn)室分析方式，僅限于對(duì)河流、湖泊的幾個(gè)斷面采樣，采樣頻率從每月數(shù)次到每日數(shù)次。人工方式存在效率低、缺失時(shí)效性、耗時(shí)耗力且不能夠大規(guī)模測(cè)量等缺點(diǎn)，不能很好地反映水環(huán)境的連續(xù)動(dòng)態(tài)變化，也不易及早發(fā)現(xiàn)污染源并預(yù)警[4-6]。

隨著無線網(wǎng)絡(luò)的發(fā)展，ZigBee技術(shù)得到了大規(guī)模應(yīng)用。夏伯鍇等[7]指出，ZigBee技術(shù)是一種距離短、復(fù)雜度低、低功耗、低速率的雙向無線通訊技術(shù)，主要用于距離短、功耗低且傳輸速率不高的各種電子設(shè)備之間進(jìn)行數(shù)據(jù)傳輸。而大區(qū)域范圍內(nèi)水質(zhì)監(jiān)測(cè)，要求通信技術(shù)具備傳輸距離遠(yuǎn)、速度快，ZigBee技術(shù)難于滿足需要。4G網(wǎng)絡(luò)數(shù)據(jù)傳輸速度可以達(dá)到10Mbps～20Mbps，甚至達(dá)到100Mbps，具有通信靈活、智能性強(qiáng)、通信速度快、增值服務(wù)優(yōu)等特點(diǎn)[8]，適用于大區(qū)域范圍內(nèi)的數(shù)據(jù)通信。因此，本系統(tǒng)采用4G網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)傳輸。

分布式系統(tǒng)可以提高系統(tǒng)的穩(wěn)定性[9]。分布式數(shù)據(jù)傳輸架構(gòu)支持動(dòng)態(tài)增減規(guī)模，用戶根據(jù)需要可動(dòng)態(tài)增加數(shù)據(jù)傳輸節(jié)點(diǎn)的個(gè)數(shù)，實(shí)現(xiàn)數(shù)據(jù)傳輸能力的動(dòng)態(tài)擴(kuò)展[10-11]。位于分布式傳輸架構(gòu)的各個(gè)節(jié)點(diǎn)直接與云計(jì)算數(shù)據(jù)中心通信，其中任意節(jié)點(diǎn)損壞，都不會(huì)影響其它節(jié)點(diǎn)的傳輸，提升了數(shù)據(jù)傳輸?shù)目煽啃?。因此，本系統(tǒng)使用分布式傳輸架構(gòu)，以提升整個(gè)架構(gòu)的穩(wěn)定性和可擴(kuò)充性。

分布式計(jì)算是虛擬化技術(shù)之外的又一個(gè)云計(jì)算[12]關(guān)鍵技術(shù)，為不同地理上分布的計(jì)算資源的有效利用提供了技術(shù)支持，同時(shí)也為復(fù)雜的大數(shù)據(jù)應(yīng)用提供了簡(jiǎn)單可行的計(jì)算方式。本文基于4G網(wǎng)絡(luò)采用分布式傳輸架構(gòu)，實(shí)時(shí)采集處理各監(jiān)測(cè)點(diǎn)水質(zhì)數(shù)據(jù)，并將其存儲(chǔ)于云計(jì)算數(shù)據(jù)中心，解決了單個(gè)服務(wù)器的不足，具有成本低、利于擴(kuò)展且易于維護(hù)等優(yōu)點(diǎn)，為后續(xù)水質(zhì)監(jiān)測(cè)管理提供基礎(chǔ)數(shù)據(jù)支持。

1 數(shù)據(jù)傳輸架構(gòu)設(shè)計(jì)

基于4G傳感網(wǎng)絡(luò)設(shè)計(jì)并實(shí)現(xiàn)分布式水環(huán)境監(jiān)測(cè)系統(tǒng)，主要由基于無線傳感的水質(zhì)數(shù)據(jù)采集模塊（物理層）、4G數(shù)據(jù)傳輸模塊（數(shù)據(jù)層）和后端通信與數(shù)據(jù)分析軟件（應(yīng)用層）組成。在進(jìn)行數(shù)據(jù)通信時(shí)，每個(gè)數(shù)據(jù)采集模塊通過4G網(wǎng)絡(luò)連接到云計(jì)算數(shù)據(jù)中心，通過協(xié)調(diào)工作完成對(duì)較大區(qū)域的多種信息采集[13]，形成完整的分布式系統(tǒng)架構(gòu)。

分布式系統(tǒng)架構(gòu)的水質(zhì)數(shù)據(jù)采集、傳輸以及存儲(chǔ)流程如圖1所示。首先，云計(jì)算數(shù)據(jù)中心定時(shí)發(fā)出水質(zhì)參數(shù)信息采集指令，通過無線網(wǎng)絡(luò)連接4G基站，將指令發(fā)送至遠(yuǎn)程DTU（Data Transfer unit）；然后，DTU將接收的IP數(shù)據(jù)轉(zhuǎn)換為串口數(shù)據(jù)并解析出采集指令，通過RS485接口向傳感器發(fā)出指令。傳感器進(jìn)行數(shù)據(jù)采集并將采集結(jié)果傳遞給DTU，DTU通過4G網(wǎng)絡(luò)向云計(jì)算數(shù)據(jù)中心返回水質(zhì)數(shù)據(jù)；最后，云計(jì)算中心將數(shù)據(jù)保存到數(shù)據(jù)庫(kù)并顯示于可視化界面。

1.1 相關(guān)硬件介紹

通過對(duì)水質(zhì)監(jiān)測(cè)傳感器、4G通信模塊、獨(dú)立供電模塊和傳輸終端等進(jìn)行軟硬件集成，開發(fā)出4G傳感水環(huán)境監(jiān)測(cè)原型系統(tǒng)，硬件設(shè)備如圖2所示。

（1）獨(dú)立供電模塊：主要包括太陽(yáng)能板、充電鋁電池及控制器。太陽(yáng)能板為蓄電池供電，使其通過穩(wěn)壓控制器為儀器提供穩(wěn)定的12V電壓。經(jīng)過測(cè)量，蓄電池在充滿狀態(tài)下可持續(xù)供電一周。在天氣晴朗的情況下，太陽(yáng)能板可在一天內(nèi)將蓄電池充滿，可有效應(yīng)對(duì)連續(xù)陰雨天氣。

（2）4G通信模塊：DTU能完成串口數(shù)據(jù)與IP數(shù)據(jù)相互轉(zhuǎn)換，通過無線通信網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)傳送，實(shí)現(xiàn)云計(jì)算中心和傳感器數(shù)據(jù)源間的雙向數(shù)據(jù)傳輸。

（3）水質(zhì)監(jiān)測(cè)傳感器：主要包括溫度、pH、溶解氧、藍(lán)綠藻、葉綠素、氨氮、濁度等水質(zhì)參數(shù)傳感器。各傳感器均有特定的數(shù)據(jù)讀取指令及數(shù)據(jù)返回指令，發(fā)送指令主要包括：地址、功能碼、起始地址高位、起始地址低位、數(shù)據(jù)高位、數(shù)據(jù)低位、CRC高位、CRC低位。返回指令包括地址、功能碼、字節(jié)數(shù)、數(shù)據(jù)高位、數(shù)據(jù)低位、CRC高位、CRC低位。例如，云計(jì)算數(shù)據(jù)中心通過網(wǎng)絡(luò)向水質(zhì)傳感器發(fā)送pH讀取指令：01 04 00 01 00 01 60 0A，接收的返回指令為01 04 02 02 FB F9 D3，對(duì)返回指令進(jìn)行解析可獲得監(jiān)測(cè)點(diǎn)水質(zhì)pH值。

1.2 數(shù)據(jù)傳輸架構(gòu)實(shí)現(xiàn)

圖3是服務(wù)端程序數(shù)據(jù)采集流程。

啟動(dòng)服務(wù)端程序后，程序底層使用TCP/IP協(xié)議通過無線網(wǎng)絡(luò)與裝載4G移動(dòng)卡的遠(yuǎn)程DTU建立TCP連接。云計(jì)算數(shù)據(jù)中心能在較短時(shí)間內(nèi)與DTU建立連接，并獲得DTU詳細(xì)信息，包括DTU設(shè)備的用戶ID、DTU中4G通信卡手機(jī)號(hào)碼、動(dòng)態(tài)IP地址、連接成功時(shí)間以及最近一次收到數(shù)據(jù)的時(shí)間，如圖4所示。

云計(jì)算數(shù)據(jù)中心采取多線程機(jī)制遠(yuǎn)程監(jiān)控，管理各監(jiān)測(cè)點(diǎn)DTU設(shè)備，同時(shí)向各監(jiān)測(cè)點(diǎn)發(fā)送采集指令并接收、分析與存儲(chǔ)DTU返回指令。通過向指定DTU發(fā)送數(shù)據(jù)讀取指令，可獲得實(shí)時(shí)水質(zhì)參數(shù)返回?cái)?shù)據(jù)包，取出其中返回的數(shù)據(jù)指令，根據(jù)指令前幾位字節(jié)區(qū)分不同水質(zhì)參數(shù)，取出相應(yīng)水質(zhì)參數(shù)數(shù)據(jù)位字節(jié)，通過函數(shù)對(duì)其解析，得到實(shí)際水質(zhì)參數(shù)值。endprint

2 性能測(cè)試

為測(cè)試單臺(tái)服務(wù)器并發(fā)性能，在改變?cè)朴?jì)算數(shù)據(jù)中心接收頻率和接收數(shù)據(jù)模式的情況下，分別研究服務(wù)器丟包率、CPU占有率以及內(nèi)存使用率的變化情況。

2.1 服務(wù)器配置

測(cè)試服務(wù)器配置：①Windows Server 2012 R2 Standard操作系統(tǒng)；②Intel（R） Xeon（R） CPU E5-26500@2.00GHz（2處理器）；③內(nèi)存（RAM）：32.0GB。

2.2 測(cè)試過程

通過控制變量法采集不同情況下的丟包率、CPU占有率以及內(nèi)存使用率數(shù)據(jù)，接收端接收頻率設(shè)置為200ms/次或100ms/次，接收數(shù)據(jù)模式設(shè)置為數(shù)據(jù)庫(kù)模式、文本模式或控制臺(tái)輸出模式。

（1）設(shè)置服務(wù)器數(shù)據(jù)采集指令發(fā)送頻率為200ms/次，服務(wù)器對(duì)數(shù)據(jù)接收指令處理頻率為100ms/次，將采集數(shù)據(jù)插入數(shù)據(jù)庫(kù)，此時(shí)丟包率、CPU占有率以及內(nèi)存使用率情況如圖5所示。

（2）設(shè)置服務(wù)器數(shù)據(jù)采集指令發(fā)送頻率為200ms/次，服務(wù)器對(duì)數(shù)據(jù)接收指令處理頻率為200ms/次，將采集數(shù)據(jù)插入數(shù)據(jù)庫(kù)，此時(shí)丟包率、CPU占有率以及內(nèi)存使用率情況如圖6所示。

以上兩種測(cè)試方式的接收數(shù)據(jù)模式均為數(shù)據(jù)庫(kù)，發(fā)送數(shù)據(jù)頻率相同，在僅改變接收頻率的情況下，二者CPU占有率和內(nèi)存使用率未出現(xiàn)明顯差距。但對(duì)于丟包率，服務(wù)器對(duì)數(shù)據(jù)接收指令處理頻率設(shè)置為100ms/次時(shí)，在并發(fā)數(shù)3 500左右出現(xiàn)丟包；服務(wù)器對(duì)數(shù)據(jù)接收指令處理頻率設(shè)置為200ms/次時(shí)，在并發(fā)數(shù)3 000左右出現(xiàn)丟包。

（3）設(shè)定服務(wù)器數(shù)據(jù)采集指令發(fā)送頻率為200ms/次，服務(wù)器對(duì)數(shù)據(jù)接收指令處理頻率為100ms/次，將采集的數(shù)據(jù)保存至文本，此時(shí)丟包率、CPU占有率以及內(nèi)存使用率情況如圖7所示。

（4）設(shè)定服務(wù)器數(shù)據(jù)采集指令發(fā)送頻率為200ms/次，服務(wù)器對(duì)數(shù)據(jù)接收指令處理頻率為200ms/次，將采集的數(shù)據(jù)保存至文本，此時(shí)丟包率、CPU占有率以及內(nèi)存使用率情況如圖8所示。

在接收頻率相同時(shí)，將接收數(shù)據(jù)保存至文本與保存至數(shù)據(jù)庫(kù)相比，二者并發(fā)數(shù)目相差不大；在并發(fā)數(shù)相同時(shí)，內(nèi)存和CPU占有率未有明顯變化。

（5）設(shè)定服務(wù)器數(shù)據(jù)采集指令發(fā)送頻率為200ms/次，服務(wù)器對(duì)數(shù)據(jù)接收指令處理頻率為100ms/次，將采集的數(shù)據(jù)顯示于控制臺(tái)，此時(shí)丟包率、CPU占有率以及內(nèi)存使用率情況，如圖9所示。

（6）設(shè)定服務(wù)器數(shù)據(jù)采集指令發(fā)送頻率為200ms/次，服務(wù)器對(duì)數(shù)據(jù)接收指令處理頻率為200ms/次，將采集的數(shù)據(jù)顯示于控制臺(tái)，此時(shí)丟包率、CPU占有率以及內(nèi)存使用率情況如圖10所示。

比較測(cè)試5和測(cè)試6結(jié)果發(fā)現(xiàn)，服務(wù)器對(duì)數(shù)據(jù)接收指令處理頻率是100ms/次，在控制臺(tái)輸出模式中，并發(fā)數(shù)為4 000時(shí)沒有出現(xiàn)丟包，而服務(wù)器對(duì)數(shù)據(jù)接收指令處理頻率是200ms/次，在并發(fā)數(shù)為4 000時(shí)，丟包率也僅為0.33%。

經(jīng)過以上多組實(shí)驗(yàn)并對(duì)比測(cè)試結(jié)果，可得出結(jié)論：服務(wù)器對(duì)數(shù)據(jù)接收指令處理頻率為100ms/次的并發(fā)數(shù)目，比服務(wù)器對(duì)數(shù)據(jù)接收指令處理頻率為200ms/次的并發(fā)數(shù)目多；在直接輸出至控制臺(tái)情況下，無需進(jìn)行打開和關(guān)閉數(shù)據(jù)庫(kù)或文本操作，因此并發(fā)數(shù)目相對(duì)另兩種模式要高；在并發(fā)數(shù)相同時(shí)，CPU與內(nèi)存未有明顯變化；從整體上看，CPU占有率變化從9%到30%左右，內(nèi)存變化約為1G大小。

綜合以上實(shí)驗(yàn)結(jié)論，為達(dá)到較好服務(wù)性能，本文選擇服務(wù)器數(shù)據(jù)采集指令發(fā)送頻率為200ms/次，服務(wù)器對(duì)數(shù)據(jù)接收指令處理頻率為100ms/次，并將接收數(shù)據(jù)存儲(chǔ)至數(shù)據(jù)庫(kù)的模式，此時(shí)3 000左右的并發(fā)數(shù)可以滿足開發(fā)需要。1min可以發(fā)送1*60*1 000/200=300（次），每個(gè)節(jié)點(diǎn)連接10個(gè)傳感器，即300/10*3 000=90 000，此模式1min可連接90 000個(gè)節(jié)點(diǎn)進(jìn)行采集信息。

2.3 實(shí)驗(yàn)總結(jié)

本系統(tǒng)可高效準(zhǔn)確地采集水質(zhì)參數(shù)數(shù)據(jù)，并將其存儲(chǔ)至云計(jì)算數(shù)據(jù)中心數(shù)據(jù)庫(kù)，以便于其它應(yīng)用調(diào)用。可在Windows form程序界面顯示水質(zhì)信息，默認(rèn)情況下按照固定時(shí)間間隔依次顯示水質(zhì)參數(shù)數(shù)據(jù)。通過對(duì)水體實(shí)時(shí)監(jiān)測(cè)，可獲得大范圍區(qū)域內(nèi)水質(zhì)信息，將采集到的某處監(jiān)測(cè)點(diǎn)水質(zhì)數(shù)據(jù)與正常水質(zhì)標(biāo)準(zhǔn)值進(jìn)行比較，得出此監(jiān)測(cè)點(diǎn)水質(zhì)情況。若出現(xiàn)污染現(xiàn)象，可通過進(jìn)一步對(duì)比分析得到污染等級(jí)等詳細(xì)信息，為后續(xù)制定水環(huán)境管理決策提供數(shù)據(jù)保障。

3 結(jié)語(yǔ)

本文基于4G網(wǎng)絡(luò)設(shè)計(jì)實(shí)現(xiàn)了水質(zhì)監(jiān)測(cè)分布式數(shù)據(jù)傳輸架構(gòu)，系統(tǒng)具有良好的擴(kuò)展性、較強(qiáng)的抗干擾能力，避免了ZigBee速率低、距離短等不足。使用分布式傳輸架構(gòu)，解決了集中式模型單點(diǎn)損壞影響傳輸?shù)娜秉c(diǎn)，實(shí)現(xiàn)各傳輸節(jié)點(diǎn)間互不影響，加強(qiáng)了系統(tǒng)在傳輸過程中的安全性和可靠性。測(cè)試結(jié)果表明，系統(tǒng)具有較強(qiáng)的分布式數(shù)據(jù)傳輸性能，能滿足并發(fā)性數(shù)據(jù)的傳輸需求。

參考文獻(xiàn)：

[1] 岳凌宇.水環(huán)境及水污染檢測(cè)技術(shù)探討[J].化工管理，2016（13）：208-209.

[2] 孟偉.總結(jié)“十一五” 設(shè)計(jì)“十二五”——在水專項(xiàng)“十二五”實(shí)施計(jì)劃編制啟動(dòng)會(huì)暨地方科技需求座談會(huì)上的講話[J].建設(shè)科技，2010（3）：19-23.

[3] 仇保興.水專項(xiàng)面臨的新形勢(shì)與新任務(wù)[J].城市發(fā)展研究，2013（4）：1-9.

[4] BASNYAT P， TEETER L D， LOCKABY B G， et al. The use of remote sensing and GIS in watershed level analyses of non-point source pollution problems[J]. Forest Ecology and Management，2000，128（1）：65-73.

[5] 席俊清，吳懷民，蔣火華，等.我國(guó)環(huán)境監(jiān)測(cè)能力建設(shè)的現(xiàn)狀及建議[J].環(huán)境監(jiān)測(cè)管理與技術(shù)，2001，13（6）：1-3.

[6] 蔣鵬.基于無線傳感器網(wǎng)絡(luò)的濕地水環(huán)境遠(yuǎn)程實(shí)時(shí)監(jiān)測(cè)系統(tǒng)關(guān)鍵技術(shù)研究[J].傳感技術(shù)學(xué)報(bào)，2007，20（1）：183-186.

[7] 夏伯鍇，楊曉紅.基于ZigBee技術(shù)的短距離無線數(shù)據(jù)傳輸系統(tǒng)[J].硅谷，2012（17）：31-32.

[8] 李山，李娜.4G網(wǎng)絡(luò)技術(shù)及應(yīng)用[J].計(jì)算機(jī)光盤軟件與應(yīng)用，2013（24）：305-306.

[9] 邵博，孫春華，賈萌，等.分布式變頻系統(tǒng)與動(dòng)力集中式系統(tǒng)運(yùn)行調(diào)節(jié)特性對(duì)比分析[J].河北工業(yè)大學(xué)學(xué)報(bào)，2015，44（6）：45-51.

[10] 萬(wàn)翔，施齊林.分布式數(shù)據(jù)傳輸系統(tǒng)關(guān)鍵技術(shù)設(shè)計(jì)[J].艦船電子工程，2015，35（4）：96-98.

[11] 張晟，董榮勝，冷文浩，等.分布式數(shù)據(jù)采集系統(tǒng)的通信模型優(yōu)化[J].計(jì)算機(jī)工程，2013，39（4）：276-279.

[12] 楊青峰.云計(jì)算時(shí)代關(guān)鍵技術(shù)預(yù)測(cè)與戰(zhàn)略選擇[J].中國(guó)科學(xué)院院刊，2015，30（2）：148-161.

[13] 楊瑩，周曉旭，郭曉澎，等.基于WiFi的分布式無線數(shù)據(jù)采集系統(tǒng)[J].電子測(cè)量技術(shù)，2016，39（11）：122-125.

[14] 王靜，趙鵬舉，胡云冰，等.基于無線傳感網(wǎng)絡(luò)的三峽流域水環(huán)境監(jiān)測(cè)系統(tǒng)[J].西南師范大學(xué)學(xué)報(bào)：自然科學(xué)版，2012，37（7）：75-79.endprint