基于大數(shù)據(jù)及云計算技術(shù)的污水分析管控平臺的研究與設(shè)計

戴 平

( 安徽信息工程學(xué)院 計算機與軟件工程系，安徽 蕪湖 241000)

隨著國家加大推進環(huán)境建設(shè)的力度，實施節(jié)能減排戰(zhàn)略，我國污水處理行業(yè)的需求將進一步擴大。國家信息中心發(fā)布我國“十三五”期間的廢水治理投入將達到13,922 億元。目前國有大中型污水處理廠多使用國外進口品牌的水質(zhì)參數(shù)分析采集儀器，但國外水質(zhì)分析采集設(shè)備集成度不高，需重新搭建網(wǎng)絡(luò)傳輸系統(tǒng)，且進口設(shè)備價格非常高，接口單一、擴展性弱、無法支持個性化定制。國產(chǎn)多參數(shù)分析采集設(shè)備大多做到了較高的集成度、個性化定制多，但沒有對前端分析采集系統(tǒng)、傳輸系統(tǒng)、設(shè)備管控系統(tǒng)及客戶端應(yīng)用系統(tǒng)等進行頂層化的設(shè)計整合和技術(shù)上的無縫連接[1]。

鑒于目前國外水質(zhì)分析采集設(shè)備及國產(chǎn)多參數(shù)分析采集設(shè)備存在的不足，提出了基于大數(shù)據(jù)及云計算技術(shù)的污水分析管控平臺的建設(shè)方案，通過專業(yè)的污水參數(shù)采集和大數(shù)據(jù)分析以及對污水處理設(shè)施的管控服務(wù)，為有環(huán)保處理需求的工農(nóng)業(yè)企業(yè)提供污水管控的專業(yè)化、標準化的整體解決方案。該方案所設(shè)計的系統(tǒng)前端多參數(shù)分析采集設(shè)備具備目前市場上相似國產(chǎn)設(shè)備的所有優(yōu)點，并增加接入電子顯微鏡和高清攝像機等視頻圖像設(shè)備，同時采用大數(shù)據(jù)技術(shù)對所采集的各種數(shù)據(jù)進行分析、挖掘與可視化處理，為政府管理、企業(yè)生產(chǎn)、大眾參與的污水管控提供一體化的平臺，對提高我國污水排放的管控水平，具有十分重要的現(xiàn)實意義[2]。

1 功能設(shè)計

該污水分析管控平臺主要包括前端污水多參數(shù)集中分析采集系統(tǒng)、網(wǎng)絡(luò)傳輸系統(tǒng)、后臺軟件綜合分析管理服務(wù)平臺及應(yīng)用客戶端系統(tǒng)。

前端污水多參數(shù)分析采集系統(tǒng)通過對污水進行多參數(shù)集中分析采集，實現(xiàn)對污水中的PH、溫度及懸浮物等參數(shù)的實時在線監(jiān)測，以及通過對各傳感器設(shè)備的運行狀況等參數(shù)的采集，實現(xiàn)對前端設(shè)備的監(jiān)控。通過對污水處理廠的需求進行分析，搭建一套滿足其工藝要求的自動化污水參數(shù)采集系統(tǒng)。

通過網(wǎng)絡(luò)傳輸系統(tǒng)將前端采集的數(shù)據(jù)傳輸至后臺軟件綜合分析管理服務(wù)平臺。通過大數(shù)據(jù)分析建模，實現(xiàn)對前端污水多參數(shù)集中分析采集設(shè)備上傳的數(shù)據(jù)進行實時分析記錄，同時，結(jié)合污水處理企業(yè)對系統(tǒng)平臺的要求，搭建一套完整的基于云平臺的工業(yè)現(xiàn)場數(shù)據(jù)發(fā)布系統(tǒng)。包括對采集設(shè)備與云平臺軟件數(shù)據(jù)的通訊、系統(tǒng)的報警、數(shù)據(jù)實時更新及監(jiān)控、歷史數(shù)據(jù)查詢、報表的打印等功能[3]。

應(yīng)用客戶端系統(tǒng)包括PC操作端、安卓手機客戶端和IOS手機客戶端，支持訪問和管理前端數(shù)據(jù)采集設(shè)備，支持對水質(zhì)分析報表和趨勢圖的實時展現(xiàn)、專家在線診斷、污水水質(zhì)參數(shù)超標預(yù)警、系統(tǒng)連接設(shè)備設(shè)置功能、用戶管理功能等，并擁有良好的UI設(shè)計及用戶體驗。

基于該平臺要實現(xiàn)的主要功能，相對于現(xiàn)有的同類產(chǎn)品，需解決的關(guān)鍵問題主要有以下3點：

(1)提高前端污水多參數(shù)分析采集系統(tǒng)的集成度、易用性、穩(wěn)定性及數(shù)據(jù)采集的實時性。

通過開發(fā)嵌入式硬件系統(tǒng)終端，將電子顯微鏡和高清攝像機等視頻圖像設(shè)備的數(shù)字圖像處理技術(shù)融入到云環(huán)境前端多參數(shù)分析采集設(shè)備中，提高整個前端硬件系統(tǒng)的集成度，促進整個系統(tǒng)的易用性和定量可視化功能；系統(tǒng)前端硬件終端采用LINUX嵌入式系統(tǒng)，選擇工業(yè)級別的嵌入式芯片平臺，硬件終端系統(tǒng)需要在復(fù)雜的污染源環(huán)境下(高溫度、高濕度、高腐蝕度)長時間穩(wěn)定運行，能夠通過有線或者無線(4G)的通信方式將系統(tǒng)前端硬件終端的采集數(shù)據(jù)，實時傳輸至后臺數(shù)據(jù)分析系統(tǒng)中；利用視頻流媒體技術(shù)，將前端的電子顯微鏡和高清攝像機的圖像和圖片進行實時壓縮和轉(zhuǎn)發(fā)，由于前端的電子顯微鏡和高清攝像機數(shù)量較多，以及視頻和圖片數(shù)據(jù)的非結(jié)構(gòu)化特征，系統(tǒng)需要特殊的優(yōu)化和穩(wěn)定性處理[4]。

(2)通過HADOOP框架構(gòu)建大數(shù)據(jù)分析平臺，實現(xiàn)對污水多參數(shù)的實時分析、診斷及預(yù)警，提高數(shù)據(jù)挖掘分析的準確性及效率。

系統(tǒng)軟件平臺采用HADOOP框架進行搭建，主要包括：Hadoop分布式文件系統(tǒng)的建立；MapReduce計算模型的設(shè)計；配置HADOOP集群運行模式的方案，確定NameNode節(jié)點和journalnode服務(wù)直接的耦合關(guān)系。

利用數(shù)據(jù)挖掘分析技術(shù)，提高數(shù)據(jù)挖掘分析效率。利用系統(tǒng)對較為空閑時間(如凌晨)進行數(shù)據(jù)分析統(tǒng)計，按照周、月、季、年、行業(yè)、區(qū)域、污染物類型、企業(yè)類型等生成統(tǒng)計匯總數(shù)據(jù)，存儲在統(tǒng)計表中，以備分析查詢使用，提高數(shù)據(jù)挖掘分析效率。

圖1 系統(tǒng)整體網(wǎng)絡(luò)拓撲圖

(3)通過移動互聯(lián)技術(shù)，實現(xiàn)對前端采集設(shè)備的隨時隨地管理，以及對水質(zhì)分析相關(guān)數(shù)據(jù)的實時查看與處理。

2 技術(shù)設(shè)計

該平臺通過開發(fā)嵌入式硬件系統(tǒng)終端，運用數(shù)字圖像處理技術(shù)，實現(xiàn)對水質(zhì)參數(shù)的實時采集；通過大數(shù)據(jù)分析建模及云計算技術(shù)，實現(xiàn)對水質(zhì)參數(shù)的分析及可視化展示；通過研發(fā)擁有良好用戶的體驗的客戶端服務(wù)軟件，實現(xiàn)對前端水質(zhì)采集設(shè)備的遠程管理以及對水質(zhì)變化情況的實時監(jiān)控及決策管理；最后，通過平臺推廣試點進行實證研究，對結(jié)果進行分析，驗證相關(guān)研究成果的科學(xué)性，同步發(fā)現(xiàn)存在的問題，進一步完善、優(yōu)化平臺[5]。

2.1 平臺整體架構(gòu)

平臺整體架構(gòu)采用表現(xiàn)層、業(yè)務(wù)邏輯層、數(shù)據(jù)層等的三層分離結(jié)構(gòu)基礎(chǔ)上的B/S和C/S混合選擇模式，綜合HTML、ASP.Net、Ajax、Java、C++等多種技術(shù)實現(xiàn)。平臺功能主要有：用戶鑒權(quán)管理、基本信息管理、實時監(jiān)控、數(shù)據(jù)查詢統(tǒng)計分析、設(shè)備管理及系統(tǒng)管理等模塊。系統(tǒng)整體網(wǎng)絡(luò)拓撲圖如圖1所示。

2.2 應(yīng)用系統(tǒng)架構(gòu)

應(yīng)用系統(tǒng)邏輯結(jié)構(gòu)充分貫徹分層架構(gòu)設(shè)計和模塊化設(shè)計理念，由上而下主要可以劃分為WEB應(yīng)用層、應(yīng)用服務(wù)層、數(shù)據(jù)存儲服務(wù)三層組成。均采用表現(xiàn)層、控制邏輯層、業(yè)務(wù)邏輯層、數(shù)據(jù)訪問層等四層分層設(shè)計，其中，WEB應(yīng)用層設(shè)計為基于上述分層的B/S結(jié)構(gòu)的WEB應(yīng)用程序。 系統(tǒng)邏輯結(jié)構(gòu)圖如圖2所示。

圖2 系統(tǒng)邏輯結(jié)構(gòu)圖

(1)WEB應(yīng)用層

從業(yè)務(wù)角度劃分，WEB應(yīng)用程序包含登錄管理、基本信息管理、實時監(jiān)控、綜合查詢、統(tǒng)計分析、設(shè)備反控、系統(tǒng)管理八個主要模塊。WEB應(yīng)用層是直接給系統(tǒng)用戶提供業(yè)務(wù)功能的B/S結(jié)構(gòu)的程序，服務(wù)端程序部署在WEB服務(wù)器(IIS)中，基于.Net Framework4.0運行；用戶在客戶端通過瀏覽器(IE7.0以上)訪問服務(wù)器，進行相關(guān)業(yè)務(wù)操作。WEB應(yīng)用層內(nèi)部設(shè)計同樣貫穿分層設(shè)計理念；WEB應(yīng)用程序由上到下可以劃分為界面表現(xiàn)層、控制邏輯層、業(yè)務(wù)邏輯層、數(shù)據(jù)訪問及通信代理層四個層次。

a)界面表現(xiàn)層綜合HTML、ASP.Net、Siverlight、Ajax、Javascript等多種技術(shù)實現(xiàn)。

b)控制邏輯層對客戶端進行各項業(yè)務(wù)功能操作而發(fā)起的向服務(wù)端的請求進行命令式的封裝，并負責(zé)調(diào)度到相應(yīng)的業(yè)務(wù)邏輯處理。通過對控制邏輯的封裝，可以在控制邏輯層橫向插入權(quán)限認證、操作日志記錄等增強控制。同時，控制邏輯層的封裝將保證系統(tǒng)能夠做到B/S和C/S程序切換的可適應(yīng)性。

c)業(yè)務(wù)邏輯層接收控制邏輯層轉(zhuǎn)發(fā)的業(yè)務(wù)請求，并通過內(nèi)部計算或調(diào)用數(shù)據(jù)訪問層對數(shù)據(jù)庫進行相應(yīng)數(shù)據(jù)操作，對于反控等要求則直接通過通信代理服務(wù)調(diào)用前端設(shè)備。

d)數(shù)據(jù)訪問層將數(shù)據(jù)訪問層單獨抽離出來，有利于數(shù)據(jù)庫切換和保證業(yè)務(wù)層以上的邏輯穩(wěn)定，同時數(shù)據(jù)訪問層代碼可以直接利用現(xiàn)成的O-R Mapping框架，減少系統(tǒng)開發(fā)工作量和開發(fā)周期。

(2)應(yīng)用服務(wù)層

應(yīng)用服務(wù)層提供了系統(tǒng)運行的基礎(chǔ)服務(wù)，由部署在應(yīng)用服務(wù)器上的一組獨立的程序或服務(wù)組成，主要包括登錄管理服務(wù)、數(shù)據(jù)管理服務(wù)、數(shù)據(jù)統(tǒng)計服務(wù)以及通信中心組成。

通信中心是應(yīng)用服務(wù)層的核心。污染源排口監(jiān)控設(shè)備的下位機通過SIM卡直接連到位于環(huán)保專網(wǎng)上的通信服務(wù)器，并上傳實時數(shù)據(jù)、分鐘數(shù)據(jù)、小時數(shù)據(jù)及日數(shù)據(jù)給部署在通信服務(wù)器上的通信中心程序。通信中心收到數(shù)據(jù)后，將信息轉(zhuǎn)發(fā)給本地的消息隊列、由監(jiān)聽消息隊列的入庫程序負責(zé)將數(shù)據(jù)轉(zhuǎn)換入庫，另一方面，將接收用戶通過本系統(tǒng)向前端設(shè)備(下位機)下發(fā)的控制指令。

a)登錄服務(wù)為本系統(tǒng)用戶提供登錄服務(wù)認證，保存管理當(dāng)前登錄用戶登錄信息，并提供對登錄用戶鏈路的管理功能。

b)數(shù)據(jù)管理服務(wù)提供對過期數(shù)據(jù)自動備份和刪除本自動服務(wù)功能，并提供數(shù)據(jù)管理服務(wù)程序，用戶通過數(shù)據(jù)管理服務(wù)程序提供的數(shù)據(jù)管理界面，完成過期數(shù)據(jù)自動備份到指定文件夾。

c)數(shù)據(jù)統(tǒng)計服務(wù)從系統(tǒng)統(tǒng)計分析和報表應(yīng)用的需求出發(fā)，對于涉及跨月、跨季度、跨年份的統(tǒng)計要求，將定時從原始監(jiān)控數(shù)據(jù)表中提取、分析、歸并相應(yīng)的統(tǒng)計后數(shù)據(jù)，存儲于分析數(shù)據(jù)庫中，以提高報表的生成效率，以及應(yīng)對歷史數(shù)據(jù)歸檔后還需要進行跨年分析的業(yè)務(wù)需求。

(3)數(shù)據(jù)存儲層

數(shù)據(jù)存儲層由系統(tǒng)數(shù)據(jù)庫和提供用戶登錄數(shù)據(jù)存取服務(wù)的數(shù)據(jù)庫服務(wù)器組成。系統(tǒng)數(shù)據(jù)庫按照邏輯結(jié)構(gòu)可以細分為空間數(shù)據(jù)庫、業(yè)務(wù)數(shù)據(jù)庫、分析數(shù)據(jù)庫幾部分。由應(yīng)用服務(wù)層提供數(shù)據(jù)管理服務(wù)對業(yè)務(wù)數(shù)據(jù)庫和分析數(shù)據(jù)庫中過期的數(shù)據(jù)進行歸檔管理。

2.3 前端污水的多參數(shù)采集

前端采集設(shè)備采用嵌入式開發(fā)技術(shù)，采用嵌入式Linux作為操作系統(tǒng)，選擇TI公司的Davinci系列平臺DM8168平臺作為設(shè)備的主控芯片，DM8168平臺是TI最先進的多媒體處理SOC芯片平臺，芯片上集成了4個可編程CPU核心,分別是Contex A8 ARM核(1.0G)，DSP核(C674 1.0G), 2個ContexM3核(250M)。主控板與各類傳感器之間采用分布式Can總線和Modlebus協(xié)議。視頻傳感器部分，采用RTSP協(xié)議進行網(wǎng)絡(luò)流的傳輸，采用PS/TS標準進行視頻的硬盤存儲。前端設(shè)備支持100/1000M有線，支持Wi-Fi和4G無線等方式與后臺數(shù)據(jù)處理系統(tǒng)平臺進行信息交互。前端設(shè)備與后臺采用分布式+集中式相結(jié)合控制連接方式。

2.4 污水多參數(shù)的分析統(tǒng)計

運用大數(shù)據(jù)挖掘及分析技術(shù)，實現(xiàn)對污水多參數(shù)的分析統(tǒng)計。系統(tǒng)軟件平臺采用HADOOP框架進行搭建，主要包括：Hadoop分布式文件系統(tǒng)的建立、MapReduce計算模型的設(shè)計、配置HADOOP集群運行模式的方案，確定NameNode節(jié)點和journalnode服務(wù)直接的耦合關(guān)系。利用數(shù)據(jù)挖掘分析技術(shù)，提高數(shù)據(jù)挖掘分析效率。利用系統(tǒng)較為空閑時間(如凌晨)進行數(shù)據(jù)分析統(tǒng)計，按照周、月、季、年、行業(yè)、區(qū)域、污染物類型、企業(yè)類型等生成統(tǒng)計匯總數(shù)據(jù)，存儲在統(tǒng)計表中，以備分析查詢使用，提高數(shù)據(jù)挖掘分析效率。

4 結(jié)語

基于大數(shù)據(jù)及云計算技術(shù)的污水分析管控平臺，通過專業(yè)的污水參數(shù)采集和大數(shù)據(jù)分析以及對污水處理設(shè)施的管控服務(wù)，為有環(huán)保處理需求的工農(nóng)業(yè)企業(yè)提供了污水管控的專業(yè)化、標準化的整體解決方案。同時，針對傳統(tǒng)的單參數(shù)環(huán)境測量方法，提出了多參數(shù)集成測量的方案；運用前端數(shù)據(jù)采集及大數(shù)據(jù)分析技術(shù)，對水質(zhì)參數(shù)的采集及分析，指導(dǎo)污水處理的工藝過程和污水處理設(shè)備控制流程；運用數(shù)據(jù)挖掘分析技術(shù)，通過采用靈活的系統(tǒng)處理策略，提高污水?dāng)?shù)據(jù)分析監(jiān)控的效率與穩(wěn)定性；運用移動互聯(lián)開發(fā)技術(shù)，開發(fā)移動智能終端，實現(xiàn)對污水?dāng)?shù)據(jù)分析情況的實時監(jiān)控管理和情況分析。支持通過移動客戶端訪問和管理前端數(shù)據(jù)采集設(shè)備，并支持其對水質(zhì)分析情況的實時監(jiān)控管理。當(dāng)現(xiàn)場發(fā)生故障時，現(xiàn)場人員即使不在現(xiàn)場也能夠通過移動智能端(手機、PAD)對污水處理廠數(shù)據(jù)進行實時的監(jiān)控管理和情況分析。以上都是目前市場上所有國產(chǎn)多參數(shù)分析采集設(shè)備所不具有的，這對提高我國污水排放的管控水平，具有十分重要的現(xiàn)實意義。目前，系統(tǒng)已在合作企業(yè)上線運行，線上運行穩(wěn)定，能夠很好地滿足其使用需求，可以有效地幫助指導(dǎo)企業(yè)進行污水管控。在后期的開發(fā)研究中，將對系統(tǒng)的用戶體驗和性能進行進一步完善和優(yōu)化。