基于Hadoop多節(jié)點(diǎn)式無(wú)人水文監(jiān)測(cè)船系統(tǒng)

賈天龍，夏涵愷，徐赫遙

(哈爾濱工程大學(xué) 船舶工程學(xué)院，黑龍江 哈爾濱 150001)

基于Hadoop多節(jié)點(diǎn)式無(wú)人水文監(jiān)測(cè)船系統(tǒng)

賈天龍，夏涵愷，徐赫遙

(哈爾濱工程大學(xué) 船舶工程學(xué)院，黑龍江 哈爾濱 150001)

水文監(jiān)測(cè)技術(shù)是水利水文信息化的重要基礎(chǔ)，它不僅為水利工程安全運(yùn)行提供保障，還在防災(zāi)減災(zāi)、水資源科學(xué)調(diào)度中發(fā)揮著極其重要的作用。在解決水污染的問(wèn)題中，水質(zhì)監(jiān)測(cè)系統(tǒng)的數(shù)量和覆蓋率是非常重要的，現(xiàn)有的水質(zhì)監(jiān)測(cè)系統(tǒng)需要建立多個(gè)固定的監(jiān)測(cè)點(diǎn),這樣就使成本過(guò)高。因此,提出了利用移動(dòng)監(jiān)測(cè)點(diǎn)來(lái)進(jìn)行移動(dòng)監(jiān)測(cè)的概念,并實(shí)現(xiàn)了這一概念的雛形——基于Hadoop平臺(tái)的多節(jié)點(diǎn)式無(wú)人水文監(jiān)測(cè)船系統(tǒng)。這是實(shí)現(xiàn)水文遠(yuǎn)程監(jiān)測(cè)的一個(gè)非常理想的解決方案,對(duì)水文監(jiān)測(cè)的發(fā)展有著非常重要的意義。

無(wú)人；水文監(jiān)測(cè)；Hadoop平臺(tái)；多節(jié)點(diǎn)

水文監(jiān)測(cè)技術(shù)是水文信息化的重要基礎(chǔ)。它保證了水利工程的安全運(yùn)行，在防災(zāi)減災(zāi)、水資源科學(xué)調(diào)度中發(fā)揮著極其重要的作用。因此，水文監(jiān)測(cè)是一個(gè)蓬勃發(fā)展，有無(wú)限發(fā)展前景的技術(shù)。水文監(jiān)測(cè)的主要任務(wù)是完成對(duì)河流、湖泊、水庫(kù)和地下水的監(jiān)測(cè)，監(jiān)測(cè)內(nèi)容包括水位、流速、流量、降雨、冰、閘的位置等水文參數(shù)。

傳統(tǒng)的水文監(jiān)測(cè)是基于人工方法的測(cè)量，存在精度低、工程量大、限制較多的局限，而現(xiàn)今隨著現(xiàn)代電子技術(shù)、傳感器技術(shù)、通信技術(shù)和計(jì)算機(jī)技術(shù)的飛速發(fā)展，水文自動(dòng)監(jiān)測(cè)技術(shù)得到了迅速發(fā)展?，F(xiàn)今的水利監(jiān)測(cè)通過(guò)現(xiàn)代通信，在全行業(yè)廣泛應(yīng)用計(jì)算機(jī)網(wǎng)絡(luò)等先進(jìn)的信息技術(shù)，充分開發(fā)應(yīng)用水利信息資源，為防洪抗旱減災(zāi)，水資源保護(hù)、開發(fā)、利用、配置等綜合管理，水環(huán)境治理和保護(hù)等決策服務(wù)，為水利工程安全運(yùn)行提供了保障。

在現(xiàn)今技術(shù)發(fā)展的背景下，經(jīng)過(guò)研究分析國(guó)內(nèi)外對(duì)此領(lǐng)域技術(shù)的研究現(xiàn)狀，提出了一種基于Hadoop平臺(tái)的多節(jié)點(diǎn)式無(wú)人水文監(jiān)測(cè)船系統(tǒng)[1-2]。本系統(tǒng)主要是針對(duì)中小型河流水文信息的監(jiān)測(cè)與分析而設(shè)計(jì)的。系統(tǒng)提出以遠(yuǎn)程水文監(jiān)測(cè)模塊為核心,以無(wú)線傳感模塊節(jié)點(diǎn)為基礎(chǔ),構(gòu)建中小河流監(jiān)測(cè)區(qū)域的監(jiān)測(cè)網(wǎng)絡(luò)。同時(shí)，基于BDS/GPS技術(shù)，實(shí)現(xiàn)對(duì)監(jiān)測(cè)區(qū)域的遠(yuǎn)程實(shí)時(shí)監(jiān)控。通過(guò)對(duì)遠(yuǎn)程數(shù)據(jù)的分析和處理，實(shí)現(xiàn)了遠(yuǎn)程水文信息的分析和預(yù)警。根據(jù)分析和預(yù)警結(jié)果，提出了相應(yīng)的應(yīng)用方案或指導(dǎo)策略[3]。

1 系統(tǒng)介紹

1.1 基于Hadoop平臺(tái)結(jié)構(gòu)化處理數(shù)據(jù)

Hadoop是一個(gè)由Apache基金會(huì)所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序，充分利用集群的力量進(jìn)行高速運(yùn)算和存儲(chǔ)。Hadoop實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)，分布式文件系統(tǒng)具有高容錯(cuò)性的特點(diǎn)，可以部署在低成本的硬件上，并能提供高吞吐量的應(yīng)用數(shù)據(jù)，適合于大數(shù)據(jù)集的應(yīng)用。

Hadoop框架設(shè)計(jì)的核心是:HDFS和MapReduce[4]。HDFS為海量數(shù)據(jù)提供了存儲(chǔ)，然后MapReduce為海量數(shù)據(jù)提供計(jì)算。

Hadoop的捕獲效率高，有著很強(qiáng)的發(fā)現(xiàn)和分析能力，能夠從類型復(fù)雜的異常數(shù)據(jù)中挖掘事件突出價(jià)值[5]，發(fā)現(xiàn)監(jiān)控時(shí)出現(xiàn)的異常情況，并在第一時(shí)間，安排水文監(jiān)測(cè)人員到相應(yīng)的地點(diǎn)處理問(wèn)題。

1.2 基于BDS(北斗)/GPS雙模無(wú)人定位系統(tǒng)

船體裝有BDS/ GPS雙模定位模塊，使船能進(jìn)行精確的地理定位，自動(dòng)導(dǎo)航，根據(jù)預(yù)設(shè)的導(dǎo)航路徑，規(guī)劃執(zhí)行水文監(jiān)測(cè)任務(wù)。開發(fā)板采用VK2217M3M5模塊，集成MT3333芯片。外形尺寸22.4 mm×17.0 mm×2.4 mm，不僅方便搭載在船體上執(zhí)行任務(wù)，而且還可以接收包括北斗和GPS兩種頻率的信號(hào)?？捎貌ㄌ芈蕝^(qū)間為[1200,112 500]bps，靈敏度分為跟蹤模式與捕捉模式兩種指標(biāo)，跟蹤模式為-165 dBm，捕捉模式為-148 dBm。啟動(dòng)模式存在冷啟動(dòng)、溫啟動(dòng)、熱啟動(dòng)三種狀態(tài)，更新頻率區(qū)間為[1,10]Hz。電源指標(biāo)為3.3VDC±5%，搜索模式下耗電量33 mA，追蹤模式下耗電量30 mA。供給船體的電源可以很方便地經(jīng)分壓穩(wěn)壓濾波后為定位模塊提供動(dòng)力。

1.3 基于多節(jié)點(diǎn)式的測(cè)量

多節(jié)點(diǎn)意味著，該系統(tǒng)可以在不同深度和不同距離的水域測(cè)量水文和水質(zhì)數(shù)據(jù)，并做到實(shí)時(shí)無(wú)線回傳。

通過(guò)監(jiān)測(cè)船上的傳感器配置，監(jiān)測(cè)船在水中動(dòng)態(tài)導(dǎo)航的傳感器設(shè)置，達(dá)到在同一時(shí)間檢測(cè)到不同位置的水文情況，并獲得多組數(shù)據(jù)。位置為唯一區(qū)別變量，以此實(shí)行多層次、多節(jié)點(diǎn)的數(shù)據(jù)傳輸和記錄。同時(shí)，可以通過(guò)同一時(shí)間多組數(shù)據(jù)的相似區(qū)間排除毛刺數(shù)據(jù)，分析水深等因素對(duì)水文的影響。這是一種更直觀的方式，也有利于對(duì)水文數(shù)據(jù)的研究。

2 功 能

2.1 船體部分

船體搭載了溫濕度傳感器、多節(jié)點(diǎn)溫度傳感器、無(wú)線攝像頭、水泵采樣模塊、雙模定位模塊，以及無(wú)線通信模塊?？捎糜趫?zhí)行采集空氣溫濕度，不同水深水層溫度、地理定位、采樣目標(biāo)水域水體樣本等任務(wù)。使用的無(wú)線攝像頭可以導(dǎo)航路徑，規(guī)劃系統(tǒng)的監(jiān)測(cè)，可靈活避障。在突發(fā)事件或事故的情況下，可以及時(shí)進(jìn)行人工干預(yù)，極大地提高了船舶在執(zhí)行監(jiān)測(cè)任務(wù)時(shí)的靈活性。使用的無(wú)線通信模塊可以從目標(biāo)區(qū)域采集數(shù)據(jù)后，實(shí)時(shí)將數(shù)據(jù)發(fā)送到接收端。

制作的實(shí)物模型如圖1、圖2所示。

圖1 實(shí)物模型圖

圖2 實(shí)物模型圖

2.2 下位機(jī)接收終端

下位機(jī)中MCU控制無(wú)線通信模塊對(duì)船體所發(fā)送的數(shù)據(jù)尋址，并確認(rèn)出首地址和結(jié)束地址，對(duì)數(shù)據(jù)包內(nèi)的數(shù)據(jù)進(jìn)行解讀，MCU在確認(rèn)數(shù)據(jù)無(wú)損狀態(tài)下將數(shù)據(jù)顯示至終端液晶屏幕上。同時(shí)，無(wú)線攝像頭將捕捉的畫面回傳到接收顯示屏，進(jìn)行實(shí)時(shí)顯示，使水文監(jiān)測(cè)人員可以對(duì)船的路徑進(jìn)行實(shí)時(shí)規(guī)劃，必要時(shí)人為干預(yù)。

2.3 上位機(jī)PC端

上位機(jī)中程序采用C++語(yǔ)言編寫，并通過(guò)串口接收十六進(jìn)制的數(shù)據(jù)，每組20個(gè)數(shù)據(jù)，將一組數(shù)據(jù)存入緩沖區(qū)中。由于數(shù)據(jù)量大，傳輸速度快，每組數(shù)據(jù)的開始和結(jié)束都要設(shè)置校驗(yàn)碼，驗(yàn)證每組數(shù)據(jù)是否準(zhǔn)確，如果不準(zhǔn)確則放棄數(shù)據(jù)并校準(zhǔn)數(shù)集，監(jiān)測(cè)是否有數(shù)據(jù)傳入；如果是正確的，原始的輸入數(shù)據(jù)被寫入文檔1，將原始采集到的十六位二進(jìn)制轉(zhuǎn)換成十進(jìn)制，將整數(shù)和小數(shù)整合，然后將處理后的數(shù)據(jù)寫入文檔2。隨著時(shí)間的推移，采集的數(shù)據(jù)記錄也開始大量積累，因此，本系統(tǒng)采用了Hadoop這一數(shù)據(jù)處理平臺(tái)。

3 實(shí)現(xiàn)原理

無(wú)線通信模塊用于水文監(jiān)測(cè)系統(tǒng)和接收終端之間的通信。通信模塊采用Nordic公司的nRF24L01芯片。無(wú)線通信模塊具有許多優(yōu)點(diǎn)，其具有2.4 GHz ISM頻段，全球開放免費(fèi)授權(quán)使用，在2 Mbps速率最高，高效GFSK調(diào)制，抗干擾能力強(qiáng)。低功耗模式1.9～3.6 V工作，待機(jī)模式狀態(tài)為22 uA；掉電模式下為900 nA。該模塊可以提供一個(gè)地址，只有收到本機(jī)地址時(shí)才會(huì)輸出數(shù)據(jù)(提供中斷指示)。模塊的大小是29.010 56 mm×15.010 48 mm，模塊核心為NRF24L01芯片。

根據(jù)本系統(tǒng)的實(shí)現(xiàn)原理，設(shè)計(jì)了如下的實(shí)驗(yàn)。

在一個(gè)裝有一半容積冷水(22.3 ℃)的長(zhǎng)3.2 m，寬2.2 m，高2.4 m的玻璃水缸(如圖3)中間倒入一桶100 ℃的熱水，讓船從水池的一端開向另一端，途中實(shí)時(shí)接收水溫?cái)?shù)據(jù)，將實(shí)驗(yàn)室實(shí)測(cè)數(shù)據(jù)儲(chǔ)存到電腦中，并用Matlab軟件繪制溫度隨時(shí)間的變化曲線(如圖4)。

圖4 Matlab數(shù)據(jù)處理圖

一桶熱水倒進(jìn)玻璃水缸中，對(duì)原有水的溫度影響并不是很大。因此將圖像的刻度值范圍縮小，便可以清晰地觀察到水溫的變化情況：0～10 s之間，船在冷水區(qū)航行，實(shí)測(cè)溫度在20.9～21.0 ℃之間細(xì)微變化；10～70 s之間，船進(jìn)入熱水區(qū)，并減速航行，實(shí)測(cè)溫度在21.0～21.1 ℃之間細(xì)微變化，可見系統(tǒng)可以很好地實(shí)現(xiàn)對(duì)水溫的監(jiān)測(cè)。

通過(guò)對(duì)實(shí)驗(yàn)現(xiàn)象的觀察和數(shù)據(jù)的分析，可以驗(yàn)證出本系統(tǒng)的三個(gè)功能和優(yōu)勢(shì)。

(1)基于Hadoop平臺(tái)，實(shí)現(xiàn)大數(shù)據(jù)的處理，并進(jìn)行一定階段內(nèi)數(shù)據(jù)的預(yù)測(cè)，將結(jié)果調(diào)度分配給用戶[6]。

(2)基于BDS/GPS雙模定位系統(tǒng)，實(shí)現(xiàn)自導(dǎo)航監(jiān)測(cè)，精準(zhǔn)定位，極大節(jié)省了監(jiān)測(cè)過(guò)程中消耗的人力、物力。

(3)采用無(wú)線回傳模塊及攝像頭，實(shí)現(xiàn)監(jiān)測(cè)數(shù)據(jù)的實(shí)時(shí)回傳。

4 市場(chǎng)分析和經(jīng)濟(jì)效益預(yù)測(cè)

運(yùn)用BDS/GPS雙模衛(wèi)星定位系統(tǒng)，定位精度高，誤差小。相對(duì)于水工測(cè)量中，利用全站儀來(lái)確定水面上一點(diǎn)，再施工放樣要更加精確，避免了人為讀數(shù)的誤差。水文監(jiān)測(cè)實(shí)現(xiàn)無(wú)人操控，具有很大的應(yīng)用前景。本系統(tǒng)具有如下幾個(gè)方面的市場(chǎng)優(yōu)勢(shì)及經(jīng)濟(jì)效益。

(1)監(jiān)測(cè)指標(biāo)記錄更加準(zhǔn)確，應(yīng)用價(jià)值高。

(2)監(jiān)測(cè)器測(cè)量更加靈活多變，突破因水域特殊對(duì)人工采集水樣的限制。

(3)水利部門可在一艘母船上，同時(shí)攜帶若干個(gè)監(jiān)測(cè)器，實(shí)現(xiàn)對(duì)同一河流，不同位置，多種水質(zhì)監(jiān)測(cè)指標(biāo)的測(cè)量，減少人力、物力。

(4)船體小巧靈便，適用于多種復(fù)雜水域，續(xù)航能力強(qiáng)，使用周期長(zhǎng)，具有良好的經(jīng)濟(jì)效益。

(5)制作成本低廉，適合中小型河流湖泊使用。通過(guò)市場(chǎng)分析，由于其低廉的價(jià)格是魚塘主等普遍接受的，因此預(yù)計(jì)魚塘主的購(gòu)買量會(huì)占據(jù)主導(dǎo)地位。本系統(tǒng)可被用于測(cè)量魚塘水池不同深度的水溫以及空氣溫度，便于比較分析不同水層隨氣溫的變化特征，為魚的養(yǎng)殖做好水溫調(diào)控及科學(xué)養(yǎng)殖管理提供科學(xué)依據(jù)。

[1] Shvachko K, Kuang H, Radia S, et al. The hadoop distributed file system[C]// Mass Storage Systems and Technologies (MSST), 2010 IEEE 26th Symposium on. IEEE, 2010:1-10.

[2] Shi Z Y，Gai J P，Wang D H，et al.A new kind of high speed wireless RF transceiver-nRF24L01 and its application[J].International Electronic Elements，2007(8)：42-44.

[3] Dittrich J，Quiané-Ruiz J A，Jindal A，et al.Hadoop++:making a yellow elephant run like a cheetah (without it even noticing)[J].Proceedings of the Vldb Endowment，2010，3(12)：518-529.

[4] Taylor R C.An overview of the Hadoop/MapReduce/HBase framework and its current applications in bioinformatics[J].Bmc Bioinformatics，2010，11(6):3395-3407.

[5] 欒亞建，黃翀民，龔高晟,等.Hadoop平臺(tái)的性能優(yōu)化研究[J].計(jì)算機(jī)工程，2010，36(14):262-263.DOI:doi:10.3969/j.issn.1000-3428.2010.14.095.

[6] Ibrahim S，Jin H，Lu L，et al.Evaluating MapReduce on Virtual Machines:The Hadoop Case[M].Cloud Computing，Berlin Heidelberg:Springer-Verlag，2009.

Multinodal unmanned hydrological surveillance ship system based on Hadoop platform

JIA Tianlong，XIA Hankai，XU Heyao

(CollegeofShipbuildingEngineering,HarbinEngineeringUniversity,Harbin150001,China)

Hydrological monitoring technology is an important basis for the information of water conservancy and hydrology. It provides guarantee for the safe operation of water conservancy projects, plays an extremely important role in disaster prevention and mitigation, water resources scientific scheduling. In the problem of water pollution, water quality monitoring system is very important in quantity and coverage. Two one of the reasons causing water pollution is that the existing water quality monitoring system needs to set up a number of fixed monitoring points, thereby causing high cost. Therefore, the concept of mobile monitoring is put forward to realize the concept of mobile monitoring system. To realize the hydrological remote monitoring is a very ideal solution, has very important significance to the development of hydrological monitoring.

ummanned;hydrological monitoring;Hadoop platform;multiple nodes

哈爾濱工程大學(xué)2015年大學(xué)生科研立項(xiàng)(重大型)資助計(jì)劃

賈天龍(1994-)，男，本科生，港口航道與海岸工程專業(yè)。E-mail:2533433765@qq.com

P335

A

2096-0506(2015)06-0029-04