飲用水水質(zhì)監(jiān)控網(wǎng)絡(luò)實(shí)時(shí)數(shù)據(jù)采集及傳輸技術(shù)應(yīng)用與展望

1 引言

目前飲用水水質(zhì)監(jiān)測主要是服務(wù)于供水企業(yè)的生產(chǎn)活動(dòng)，在突發(fā)事件發(fā)生時(shí)，各級政府無法及時(shí)獲取到準(zhǔn)確的水質(zhì)數(shù)據(jù)。為提高各級政府部門對飲用水水質(zhì)的監(jiān)控能力，要建設(shè)好國家、省、市三級的飲用水水質(zhì)在線監(jiān)控網(wǎng)絡(luò)，實(shí)現(xiàn)水質(zhì)數(shù)據(jù)采集、傳輸與數(shù)據(jù)存儲(chǔ)的平臺，為突發(fā)事件的及時(shí)應(yīng)對做好強(qiáng)有力的后盾。

2 技術(shù)路線

在飲用水水質(zhì)監(jiān)測網(wǎng)絡(luò)中，通過計(jì)算機(jī)技術(shù)、數(shù)據(jù)庫技術(shù)、通訊技術(shù)、工控技術(shù)將海量、分散的飲用水實(shí)時(shí)數(shù)據(jù)進(jìn)行采集及傳輸，實(shí)現(xiàn)數(shù)據(jù)及時(shí)共享，有效的監(jiān)控水質(zhì)。它的研究及實(shí)施的技術(shù)路線如下：

①實(shí)時(shí)監(jiān)測點(diǎn)的合理布局、監(jiān)測項(xiàng)目及采集頻率的確定。實(shí)時(shí)監(jiān)測網(wǎng)應(yīng)能直接反應(yīng)從“取水、凈水到配水”的水質(zhì)狀況，并能實(shí)現(xiàn)以最合理的監(jiān)測點(diǎn)布局獲取完善的水質(zhì)信息。強(qiáng)調(diào)合理選擇“取水、凈水到配水”監(jiān)測點(diǎn)的監(jiān)測項(xiàng)目，提高資金的利用率。

②確定數(shù)據(jù)采集及組網(wǎng)方式。

根據(jù)監(jiān)測項(xiàng)目和數(shù)據(jù)監(jiān)控的需求，利用兩化融合技術(shù)實(shí)現(xiàn)數(shù)據(jù)采集。組網(wǎng)方式則根據(jù)課題安全等級及各地方的實(shí)地情況的要求，選擇合適的有線及無線網(wǎng)絡(luò)。

③選擇精準(zhǔn)、高效，穩(wěn)定的數(shù)據(jù)存儲(chǔ)，傳輸方式，以便數(shù)據(jù)信息可以在各級平臺中及時(shí)、準(zhǔn)確的展示，高效的數(shù)據(jù)分析及挖掘。

④政府監(jiān)控中心與供水企業(yè)實(shí)時(shí)監(jiān)測點(diǎn)的信息共享。政府監(jiān)控中心與供水企業(yè)實(shí)時(shí)監(jiān)測點(diǎn)信息共享的關(guān)鍵點(diǎn)是管理部門之間的協(xié)調(diào)，在技術(shù)層面上不存在創(chuàng)新。新建水質(zhì)實(shí)時(shí)監(jiān)測點(diǎn)，政府監(jiān)控中心與供水企業(yè)的信息共享在技術(shù)上較易實(shí)現(xiàn)；但供水企業(yè)的已建實(shí)時(shí)監(jiān)測點(diǎn)，一種方法需要修改實(shí)時(shí)監(jiān)測點(diǎn)的RTU（遠(yuǎn)程終端監(jiān)控單元），重新定義通訊協(xié)議；另一種方法是增加其他外部設(shè)備，實(shí)現(xiàn)信息共享。政府監(jiān)控中心與供水企業(yè)實(shí)時(shí)監(jiān)測點(diǎn)的信息共享，有利于實(shí)時(shí)監(jiān)測點(diǎn)的可維護(hù)性，并且節(jié)約成本。

3 研究及應(yīng)用

按照技術(shù)路線的研究思路，確定了實(shí)時(shí)在線水質(zhì)數(shù)據(jù)的采集傳輸模式。實(shí)時(shí)數(shù)據(jù)通過無線GPRS網(wǎng)絡(luò)，每隔15分鐘送入國家級、省級、市級數(shù)據(jù)中心，數(shù)據(jù)中心管理員負(fù)責(zé)維護(hù)監(jiān)控在線設(shè)備的運(yùn)行維護(hù)。在水質(zhì)監(jiān)控點(diǎn)安裝的一套或多套在線監(jiān)測儀表與數(shù)據(jù)采集傳輸儀連接，采用Modbus現(xiàn)場總線協(xié)議，RS-232C兼容串行接口采集在線監(jiān)測設(shè)備的水質(zhì)、狀態(tài)等信息，然后數(shù)據(jù)采集傳輸儀通過網(wǎng)絡(luò)將數(shù)據(jù)傳輸?shù)缴衔粰C(jī)的數(shù)據(jù)中心，它采用的是TCP協(xié)議。

3.1 數(shù)據(jù)采集傳輸儀技術(shù)指標(biāo)

在這個(gè)過程中數(shù)據(jù)采集傳輸儀是上下連接的關(guān)鍵節(jié)點(diǎn)，對它的重要功能技術(shù)指標(biāo)包括：

（1）數(shù)據(jù)采集設(shè)備應(yīng)具備多中心數(shù)據(jù)傳輸功能，支持至少4個(gè)中心數(shù)據(jù)發(fā)送，并可以獨(dú)立的配置各中心的數(shù)據(jù)發(fā)送頻率，發(fā)送頻率可設(shè)置為60秒～12小時(shí)。

（2）數(shù)據(jù)采集傳輸后，將數(shù)據(jù)包寫入到現(xiàn)有管理平臺標(biāo)準(zhǔn)數(shù)據(jù)庫中。與現(xiàn)有平臺無縫對接。

（3）數(shù)據(jù)采集設(shè)備應(yīng)內(nèi)嵌數(shù)據(jù)庫，在與中心的通信臨時(shí)中斷后，至少可以存儲(chǔ)15天的數(shù)據(jù)，并應(yīng)具備數(shù)據(jù)斷點(diǎn)續(xù)傳功能，通信一旦恢復(fù)可以將存儲(chǔ)的數(shù)據(jù)再傳回中心。

（4）支持Web形式能對采集器進(jìn)行簡單配置，如IP地址等。

（5）采集器需支持實(shí)時(shí)及歷史數(shù)據(jù)查詢和校時(shí)等功能。

3.2 數(shù)據(jù)采集傳輸儀與數(shù)據(jù)中心傳輸要求

數(shù)據(jù)采集傳輸儀與數(shù)據(jù)中心傳輸?shù)臄?shù)據(jù)包結(jié)構(gòu)包括：包頭、有效數(shù)據(jù)總長度、有效數(shù)據(jù)、CRC校驗(yàn)、包尾五部分。其中有效數(shù)據(jù)是采用XML格式，并通過AES加密的字符串。如圖1。

圖1

有效數(shù)據(jù)中的XML格式如下：

這其中的指令類型分為五大塊，分別是身份驗(yàn)證、系統(tǒng)授時(shí)及心跳、配置設(shè)定、水質(zhì)傳輸、擴(kuò)展指令。其中數(shù)據(jù)采集傳輸儀的身份認(rèn)證采用MD5的加解密算法，當(dāng)上位機(jī)與數(shù)據(jù)采集傳輸儀計(jì)算的MD5碼相同，表示身份認(rèn)證成功。在沒有數(shù)據(jù)傳輸?shù)臅r(shí)間里，數(shù)據(jù)采集傳輸儀會(huì)通過系統(tǒng)授時(shí)及心跳指令定期向上位機(jī)發(fā)送心跳包，保持通道暢通。水質(zhì)傳輸指令中重要的兩個(gè)指令是定時(shí)最新的水質(zhì)監(jiān)測數(shù)據(jù)上報(bào)和斷點(diǎn)續(xù)傳的水質(zhì)監(jiān)測數(shù)據(jù)上報(bào)。斷點(diǎn)續(xù)傳功能是必不可少的，當(dāng)數(shù)據(jù)采集傳輸儀上傳數(shù)據(jù)失敗或者是網(wǎng)絡(luò)斷開是，數(shù)據(jù)采集傳輸儀會(huì)將歷史數(shù)據(jù)保存下來，這是為實(shí)現(xiàn)斷點(diǎn)續(xù)傳做準(zhǔn)備，當(dāng)上位機(jī)通訊正常，發(fā)出斷點(diǎn)續(xù)傳指令，再將歷史數(shù)據(jù)上傳。如何通過上位機(jī)去控制數(shù)據(jù)采集傳輸儀，如設(shè)置數(shù)據(jù)采集傳輸儀的傳輸間隔等，在擴(kuò)展指令中可以完成這項(xiàng)任務(wù)。當(dāng)然這需要數(shù)據(jù)采集傳輸儀自身具有反控的功能。以上的設(shè)計(jì)方案在山東等地得到很好的應(yīng)用， 取得了很好的運(yùn)行效果。

3.3 實(shí)時(shí)數(shù)據(jù)的存儲(chǔ)技術(shù)

目前考慮到實(shí)時(shí)數(shù)據(jù)的存儲(chǔ)量大，讀取頻率高，但存儲(chǔ)格式較為簡單的特點(diǎn)，故采用實(shí)時(shí)數(shù)據(jù)庫（實(shí)時(shí)庫）存儲(chǔ)水質(zhì)數(shù)據(jù)及其他采集數(shù)據(jù)，實(shí)時(shí)庫采用Oracle Berkeley Db作為支撐，使用Java實(shí)現(xiàn)。數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)對用戶透明，為數(shù)據(jù)展示提供兩種形式的數(shù)據(jù)操作方式：基于JRT Client包的接口和基于Telnet的Console終端操作。

3.4 實(shí)時(shí)數(shù)據(jù)采集及傳輸技術(shù)展望

隨著近年無線互聯(lián)網(wǎng)的發(fā)展，聯(lián)通的3G無線網(wǎng)絡(luò)的覆蓋范圍已經(jīng)與日俱增，部分地區(qū)如南部地區(qū)這一年來移動(dòng)4G網(wǎng)絡(luò)的覆蓋也大大加強(qiáng)，在這些覆蓋高速無線網(wǎng)絡(luò)的地區(qū)，在線實(shí)時(shí)數(shù)據(jù)的傳輸，是不是也應(yīng)該從簡單的字符串傳輸，向時(shí)空數(shù)據(jù)及視頻，音頻數(shù)據(jù)傳輸?shù)姆较虬l(fā)展，對于在線監(jiān)測點(diǎn)做到全方位的監(jiān)控，如同身臨其境。

圖2

在大數(shù)據(jù)快速發(fā)展的當(dāng)今社會(huì)，巨大的實(shí)時(shí)數(shù)據(jù)庫結(jié)構(gòu)簡單，適合Mapreduce模式，首先將數(shù)據(jù)拆分成鍵值對（key/value）的形式，每一個(gè)鍵值對通過Map函數(shù)映射成一組新的鍵值對，當(dāng)需要輸出時(shí)調(diào)用Reduce函數(shù)，它會(huì)將中間數(shù)據(jù)合并（combine）、排序（sort）等后再分發(fā)輸出最終結(jié)果鍵值對（key/value）。Mapreduce的框架圖如圖2：

舉例來說明mapreduce的邏輯過程。假設(shè)我們需要處理一批有關(guān)實(shí)時(shí)在線監(jiān)測設(shè)備測量的水質(zhì)ph值，其格式為每行一條記錄，每行字符從1開始計(jì)數(shù)，第16個(gè)到第23個(gè)字符為日期，第30個(gè)字符到第32個(gè)字符為水源的在線監(jiān)測ph值，如圖3：

現(xiàn)在需要統(tǒng)計(jì)出每日在線監(jiān)測點(diǎn)ph值得最大值，MapReduce模式的思想包括兩個(gè)步驟：Map和Reduce。在Map過程，輸入的key/value鍵值對如圖4：

圖3

圖4

在Map過程中，通過對每一行字符串的解析，得到日期/ph值的key/value鍵值對作為中間結(jié)果輸出，如圖5：

圖5

在Reduce過程，將Map過程中的輸出，按照相同的key將value放到同一個(gè)列表中作為Reduce的輸入，如圖6：

在Reduce過程中，在列表中選擇出最大的value，將日期-最大ph值的key/value作為最終結(jié)果輸出，至此整個(gè)MapReduce的邏輯過程說明完畢如圖7。

Hadoop是MapReduce模式的Java實(shí)現(xiàn)的軟件架構(gòu)，由分布式文件系統(tǒng)（HDFS）及分布式數(shù)據(jù)庫（HBase）來存儲(chǔ)數(shù)據(jù)，可利用基于Hadoop的Hive做為數(shù)據(jù)倉庫工具，大數(shù)據(jù)處理的利器hadoop，能更好實(shí)現(xiàn)飲用水水質(zhì)監(jiān)控網(wǎng)絡(luò)實(shí)時(shí)大數(shù)據(jù)的價(jià)值。

4 結(jié)語

本文闡述了飲用水水質(zhì)監(jiān)控網(wǎng)絡(luò)實(shí)時(shí)數(shù)據(jù)采集及傳輸技術(shù)從技術(shù)路線的制定到技術(shù)設(shè)計(jì)及實(shí)施，很好的解決了海量、分散的實(shí)時(shí)數(shù)據(jù)在三級網(wǎng)絡(luò)中的數(shù)據(jù)庫共享。為城市飲用水安全保障，打下堅(jiān)實(shí)的基礎(chǔ)。