水質(zhì)在線監(jiān)測(cè)中的大數(shù)據(jù)應(yīng)用探討

馬白絮

摘 要： 現(xiàn)如今，我國(guó)社會(huì)經(jīng)濟(jì)水平和科學(xué)技術(shù)水平顯著提升，環(huán)保技術(shù)發(fā)展也呈現(xiàn)一片繁榮。國(guó)內(nèi)的水質(zhì)監(jiān)測(cè)工作中，一方面是需要大量實(shí)時(shí)而準(zhǔn)確的水質(zhì)監(jiān)測(cè)數(shù)據(jù)為基礎(chǔ)支撐，同時(shí)另一方面也對(duì)這些海量的水質(zhì)監(jiān)測(cè)數(shù)據(jù)的統(tǒng)計(jì)和分析技術(shù)提出了高要求。這些海量的水質(zhì)數(shù)據(jù)既是長(zhǎng)期的環(huán)保監(jiān)測(cè)工作積累的成果，更是推動(dòng)水質(zhì)監(jiān)測(cè)工作開展、提高環(huán)保行業(yè)主管部門管理水平和科研成果的重要數(shù)據(jù)資源。本文簡(jiǎn)單闡述目前國(guó)內(nèi)水質(zhì)監(jiān)測(cè)技術(shù)中大數(shù)據(jù)的一些特點(diǎn)，分析大數(shù)據(jù)在水質(zhì)在線監(jiān)測(cè)中的一些應(yīng)用，為相關(guān)環(huán)保從業(yè)者提供參考借鑒。

關(guān)鍵詞： 大數(shù)據(jù);水質(zhì)在線監(jiān)測(cè);應(yīng)用

【中圖分類號(hào)】X832 ? ? 【文獻(xiàn)標(biāo)識(shí)碼】A ? ? 【DOI】10.12215/j.issn.1674-3733.2020.33.030

引言：隨著水工業(yè)行業(yè)的發(fā)展以及水環(huán)境監(jiān)測(cè)要求的提高，大數(shù)據(jù)、自動(dòng)化、精準(zhǔn)度、實(shí)時(shí)監(jiān)控，成為了水質(zhì)監(jiān)測(cè)的新問題。在分析大數(shù)據(jù)、云計(jì)算、在線分析三者關(guān)系的基礎(chǔ)上，給出具有通用性的大數(shù)據(jù)水質(zhì)監(jiān)測(cè)總體架構(gòu)，并從水質(zhì)大數(shù)據(jù)的集成管理技術(shù)、數(shù)據(jù)分析技術(shù)、數(shù)據(jù)處理技術(shù)、數(shù)據(jù)展現(xiàn)技術(shù)4個(gè)方面深入探討符合水質(zhì)在線分析發(fā)展需求的大數(shù)據(jù)關(guān)鍵技術(shù)的選擇。本文就計(jì)算機(jī)技術(shù)如何提升、建設(shè)水質(zhì)監(jiān)測(cè)數(shù)據(jù)平臺(tái)等方面進(jìn)行了研究。

1 對(duì)于大數(shù)據(jù)和水質(zhì)在線監(jiān)測(cè)之間聯(lián)系性的探究

所謂水質(zhì)在線監(jiān)測(cè)系統(tǒng)一般是以相關(guān)的分析設(shè)備為主，結(jié)合傳感器技術(shù)大數(shù)據(jù)技術(shù)和云計(jì)算技術(shù)來(lái)全方面的監(jiān)督和測(cè)試目標(biāo)水域水質(zhì)情況，確保水質(zhì)監(jiān)測(cè)數(shù)據(jù)的準(zhǔn)確性，從而促使水質(zhì)監(jiān)測(cè)工作朝著更好的趨勢(shì)邁進(jìn)。對(duì)于云計(jì)算技術(shù)來(lái)講，自身有著較為獨(dú)特的特征以及優(yōu)勢(shì)，除了包含復(fù)雜的分布式儲(chǔ)存結(jié)構(gòu)之外，還可以高效率完成數(shù)據(jù)計(jì)算工作，可以為水質(zhì)監(jiān)測(cè)環(huán)節(jié)的開展提供良好的儲(chǔ)存服務(wù)。而大數(shù)據(jù)技術(shù)，除了具備較強(qiáng)的價(jià)值，還能夠滿足各項(xiàng)業(yè)務(wù)以及各個(gè)環(huán)節(jié)提出的高要求，從中看出，大數(shù)據(jù)技術(shù)云計(jì)算以及水質(zhì)在線監(jiān)測(cè)之間有著密切的聯(lián)系性，三者缺一不可。

2 大數(shù)據(jù)應(yīng)用的價(jià)值體現(xiàn)

水質(zhì)在線監(jiān)測(cè)系統(tǒng)實(shí)時(shí)產(chǎn)生的數(shù)據(jù)是一種無(wú)形的資產(chǎn)，而國(guó)內(nèi)的水質(zhì)監(jiān)測(cè)數(shù)據(jù)普遍存在管理能力弱、跨部門跨行業(yè)數(shù)據(jù)共享性不順暢、有價(jià)值的數(shù)據(jù)開放度低等現(xiàn)象。如能重復(fù)利用數(shù)據(jù)、挖掘數(shù)據(jù)變化的規(guī)律、通過數(shù)據(jù)分析改進(jìn)系統(tǒng)功能，數(shù)據(jù)的價(jià)值才真正得以實(shí)現(xiàn)。一種數(shù)據(jù)有多種用途，對(duì)數(shù)據(jù)資源的價(jià)值利用能實(shí)現(xiàn)技術(shù)創(chuàng)新。改進(jìn)水質(zhì)在線監(jiān)測(cè)的整體方案、研究更多前沿技術(shù)，才能真正獲得大數(shù)據(jù)時(shí)代水質(zhì)在線監(jiān)測(cè)系統(tǒng)的突破性進(jìn)展。

3 大數(shù)據(jù)技術(shù)在水質(zhì)在線監(jiān)測(cè)中的應(yīng)用

3.1 系統(tǒng)總體架構(gòu)設(shè)計(jì)

傳統(tǒng)的管理信息系統(tǒng)主要由感知層、網(wǎng)絡(luò)層以及應(yīng)用層等三層架構(gòu)設(shè)計(jì)，基于大數(shù)據(jù)的污水監(jiān)管系統(tǒng)，新增了數(shù)據(jù)處理層。利用該層實(shí)現(xiàn)對(duì)水質(zhì)在線檢測(cè)所采集到的大量數(shù)據(jù)進(jìn)行管理，實(shí)現(xiàn)對(duì)數(shù)據(jù)的分析、統(tǒng)計(jì)和存儲(chǔ)。

3.2 水質(zhì)監(jiān)測(cè)數(shù)據(jù)在平臺(tái)中的實(shí)現(xiàn)與分析

3.3 數(shù)據(jù)的存儲(chǔ)

因?yàn)樗|(zhì)在線監(jiān)測(cè)環(huán)節(jié)中包含的數(shù)據(jù)類型非常多，并且伴隨著時(shí)間的不斷發(fā)展，數(shù)據(jù)量逐漸拓展和增多，隨之呈現(xiàn)出了快速增長(zhǎng)的趨勢(shì)。所以要想高效率的儲(chǔ)存以及監(jiān)管各項(xiàng)復(fù)雜性數(shù)據(jù)。眼見sadoopsdfs大數(shù)據(jù)儲(chǔ)存文件系統(tǒng)進(jìn)行工作是很有必要的，此項(xiàng)系統(tǒng)的優(yōu)勢(shì)極高本系統(tǒng)的數(shù)據(jù)庫(kù)主要利用Hadoop平臺(tái)搭建而成，為了滿足實(shí)時(shí)處理和高數(shù)據(jù)容量的要求，因此，采用了HBase體系架構(gòu)實(shí)現(xiàn)對(duì)龐大數(shù)據(jù)的存儲(chǔ)。其主要組成體現(xiàn)在以下幾個(gè)方面：（1）實(shí)時(shí)數(shù)據(jù)采集引擎：首先本化工廠所有污水檢測(cè)點(diǎn)所采集的水質(zhì)相關(guān)數(shù)據(jù)會(huì)存儲(chǔ)在所屬污水處理廠的關(guān)系數(shù)據(jù)庫(kù)當(dāng)中，在進(jìn)行系統(tǒng)部署之后，利用Sqoop可以將如上的歷史數(shù)據(jù)導(dǎo)入到HDFS當(dāng)中。這樣，就可以利用Fum額的實(shí)時(shí)數(shù)據(jù)采集引擎實(shí)現(xiàn)對(duì)實(shí)時(shí)污水?dāng)?shù)據(jù)的存儲(chǔ)。（2）基于HadoopHDFS的大數(shù)據(jù)存儲(chǔ)文件系統(tǒng)：由于實(shí)時(shí)水質(zhì)數(shù)據(jù)的數(shù)量較為龐大，且隨著時(shí)間的推移，數(shù)據(jù)量呈現(xiàn)指數(shù)式的增長(zhǎng)。因?yàn)?，為了更好的?shí)現(xiàn)對(duì)龐大數(shù)據(jù)的管理和存儲(chǔ)，系統(tǒng)采用了基于HadoopHDFS的大數(shù)據(jù)存儲(chǔ)文件系統(tǒng)。（3）基于HBase的數(shù)據(jù)存儲(chǔ)引擎：在數(shù)據(jù)存儲(chǔ)過程中，利用HBase技術(shù)，可以有效的增加數(shù)據(jù)存儲(chǔ)的空間，并可以為相關(guān)管理人員提供便捷的數(shù)據(jù)讀寫和查詢功能。

結(jié)語(yǔ)：從以上論述來(lái)看，大數(shù)據(jù)分析技術(shù)產(chǎn)生的優(yōu)勢(shì)是極高的，將其應(yīng)用于水質(zhì)在線監(jiān)測(cè)環(huán)節(jié)中，除了可以提升水質(zhì)監(jiān)測(cè)數(shù)據(jù)的精準(zhǔn)程度和完善性之外，還能夠借助該項(xiàng)技術(shù)的優(yōu)勢(shì)加快水質(zhì)在線監(jiān)測(cè)工作開展的效率，在促使水質(zhì)監(jiān)測(cè)領(lǐng)域穩(wěn)定運(yùn)行的背景下改善環(huán)境，降低水污染，以此達(dá)到構(gòu)建生態(tài)社會(huì)的目的。

參考文獻(xiàn)

[1] 王琪.水質(zhì)監(jiān)測(cè)中常見技術(shù)問題及對(duì)策分析[J].化工設(shè)計(jì)通訊，2017，43（3）：198-199.

[2] 孫麗華，李佳佳.淺析水質(zhì)監(jiān)測(cè)數(shù)據(jù)的應(yīng)用及發(fā)展[J].凈水技術(shù)，2018（S1）：31～33.

[3] 張錫輝，鄭振華，歐陽(yáng)二明，等.水源水質(zhì)在線監(jiān)測(cè)預(yù)警系統(tǒng)的建設(shè)[J].中國(guó)給水排水，2005，21（11）：14-17.