大數(shù)據(jù)技術(shù)在綜合管廊環(huán)境監(jiān)測中的應(yīng)用

童麗閨+楊浩

摘 要：針對綜合管廊環(huán)境監(jiān)測海量數(shù)據(jù)管理需求，該文運(yùn)用大數(shù)據(jù)技術(shù)，提出綜合管廊監(jiān)測大數(shù)據(jù)以及關(guān)鍵技術(shù)，建立管廊監(jiān)測大數(shù)據(jù)中心，給出了大數(shù)據(jù)技術(shù)在管廊環(huán)境監(jiān)測中的應(yīng)用前景和方向，高效地獲取非結(jié)構(gòu)化數(shù)據(jù)所蘊(yùn)含的有效的管廊監(jiān)測信息，對管廊健康狀況進(jìn)行分析與預(yù)警，實(shí)現(xiàn)智慧的管廊監(jiān)測分析和決策。該研究可為保證綜合管廊的正常運(yùn)行和提高突發(fā)事件的處置能力提供借鑒。

關(guān)鍵詞：大數(shù)據(jù) 綜合管廊 環(huán)境監(jiān)測

中圖分類號：TP27 文獻(xiàn)標(biāo)識碼：A 文章編號：1672-3791（2017）03（a）-0028-02

近年來，隨著城市化進(jìn)程的加快，我國市政工程的建設(shè)規(guī)模越來越大，綜合管廊通過集約化建設(shè)、統(tǒng)一運(yùn)營管理的方式，解決城市快速發(fā)展對市政設(shè)施的負(fù)荷需求，是市政管線建設(shè)的趨勢和方向。綜合管廊整體建于地下，只有少量的投料口、人員出入口和通風(fēng)口與外界相通，內(nèi)部空間相對密封，易對綜合管廊內(nèi)設(shè)施設(shè)備造成破壞、甚至還會造成人員傷亡等災(zāi)難性后果[1]。

綜合管廊屬于地下密閉空間，一旦發(fā)生災(zāi)害，甲烷、一氧化碳等危險氣體達(dá)到一定濃度時，將對搶修人員造成人身安全威脅。由于管廊監(jiān)測點(diǎn)眾多且分布極廣，現(xiàn)有的基于物聯(lián)網(wǎng)技術(shù)的管廊環(huán)境監(jiān)測系統(tǒng)，利用溫濕度傳感器、液位傳感器、氧氣傳感器、甲烷傳感器、硫化氫傳感器等，對管廊環(huán)境進(jìn)行綜合監(jiān)測、感知，產(chǎn)生了海量的由傳感器產(chǎn)生而又不適于關(guān)系模式的非結(jié)構(gòu)化數(shù)據(jù)。如何有效地管理這些非結(jié)構(gòu)化數(shù)據(jù)，迫切需要利用大數(shù)據(jù)技術(shù)，高效地獲取非結(jié)構(gòu)化數(shù)據(jù)所蘊(yùn)含的有效的管廊監(jiān)測信息，實(shí)現(xiàn)智慧的管廊監(jiān)測分析和決策，讓管理人員及時掌握管廊健康狀況，對即將出現(xiàn)問題進(jìn)行處理，預(yù)防事故發(fā)生。該文提出了使用大數(shù)據(jù)技術(shù)建立管廊監(jiān)測大數(shù)據(jù)中心的新概念，給出了大數(shù)據(jù)技術(shù)在管廊監(jiān)測中的應(yīng)用前景和方向，可對管廊健康狀況進(jìn)行分析與預(yù)警。

1 管廊監(jiān)測大數(shù)據(jù)

1.1 大數(shù)據(jù)定義

維基百科對“大數(shù)據(jù)”的定義是：“使用常用軟件工具獲取、管理和處理數(shù)據(jù)所耗時間超過可容忍時間的數(shù)據(jù)集”。[2]大數(shù)據(jù)通常被認(rèn)為是PB（1024 terabytes）或EB（1EB=100萬TB）或更高數(shù)量級的數(shù)據(jù)，包括結(jié)構(gòu)化的、半結(jié)構(gòu)化的和非結(jié)構(gòu)化的數(shù)據(jù)，其規(guī)?；驈?fù)雜程度超出了常用傳統(tǒng)數(shù)據(jù)庫和軟件技術(shù)所能管理和處理的數(shù)據(jù)集范圍。[3]

1.2 非結(jié)構(gòu)化數(shù)據(jù)

非結(jié)構(gòu)化數(shù)據(jù)已逐漸成為大數(shù)據(jù)的主體。非結(jié)構(gòu)化數(shù)據(jù)例如文本、圖形、圖像、音頻和視頻等，從內(nèi)容上沒有統(tǒng)一的結(jié)構(gòu)，數(shù)據(jù)是以原生態(tài)形式（raw data） 保存的，因此，計(jì)算機(jī)無法直接理解和處理，需要基于描述性信息實(shí)現(xiàn)對非結(jié)構(gòu)化數(shù)據(jù)內(nèi)容的管理和操作。[4]

1.3 管廊監(jiān)測大數(shù)據(jù)

管廊監(jiān)測大數(shù)據(jù)將包括：管廊范圍內(nèi)所有的管廊本體數(shù)據(jù)（管廊本體空間位置、屬性信息），管廊內(nèi)部附屬設(shè)施數(shù)據(jù)（消防栓、通風(fēng)口、積水井等），以及管廊環(huán)境監(jiān)測系統(tǒng)所產(chǎn)生的溫濕度傳感數(shù)據(jù)、液位傳感數(shù)據(jù)、氧氣傳感數(shù)據(jù)、甲烷傳感數(shù)據(jù)、硫化氫傳感數(shù)據(jù)等，見圖1。

2 關(guān)鍵技術(shù)

2.1 大數(shù)據(jù)管理技術(shù)

在應(yīng)對海量的綜合管廊監(jiān)測數(shù)據(jù)時，需要實(shí)現(xiàn)快速的數(shù)據(jù)儲存和讀取，并且管廊監(jiān)測大數(shù)據(jù)中半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)所占比重越來越大，關(guān)系型數(shù)據(jù)庫已無法滿足需求，NoSQL非關(guān)系型數(shù)據(jù)庫技術(shù)將為管廊監(jiān)測大數(shù)據(jù)管理提供可靠的保障。NoSQL技術(shù)簡單分為key-value存儲、文檔數(shù)據(jù)庫和圖數(shù)據(jù)庫等。

2.2 大數(shù)據(jù)分析技術(shù)

管廊監(jiān)測大數(shù)據(jù)分析技術(shù)首先要解決如何將多源異構(gòu)的數(shù)據(jù)正確解讀、綜合分析的問題，并從海量數(shù)據(jù)環(huán)境中，挖掘出數(shù)據(jù)中潛在的、事先未知的有用信息，為管廊健康狀況進(jìn)行分析與預(yù)警。大數(shù)據(jù)分析技術(shù)將包括數(shù)據(jù)挖掘、信息聚合等技術(shù)。

2.3 大數(shù)據(jù)處理技術(shù)

海量增長的管廊監(jiān)測大數(shù)據(jù)要從不同類型的數(shù)據(jù)里迅速獲取有價值的信息，需要處理大量、非結(jié)構(gòu)化的數(shù)據(jù)，在處理環(huán)節(jié)中可以采用采用高性能、大規(guī)模并行的海量數(shù)據(jù)處理的算法模型與平臺來提高海量數(shù)據(jù)的處理能力。

2.4 大數(shù)據(jù)展示技術(shù)

大數(shù)據(jù)展示技術(shù)包括數(shù)據(jù)分析過程和結(jié)果的可視化顯示、歷史數(shù)據(jù)的可視化、信息流展示，將大數(shù)據(jù)復(fù)雜的分析，用直觀的形式進(jìn)行展現(xiàn)出來，進(jìn)而提高管廊監(jiān)測大數(shù)據(jù)的利用效率。

3 管廊監(jiān)測大數(shù)據(jù)中心

圍繞管廊監(jiān)測領(lǐng)域業(yè)務(wù)流、數(shù)據(jù)流，以地理空間數(shù)據(jù)、具有時空標(biāo)識的傳感監(jiān)測數(shù)據(jù)為基礎(chǔ)，結(jié)合管廊監(jiān)測領(lǐng)域空間數(shù)據(jù)和屬性數(shù)據(jù)，利用計(jì)算機(jī)技術(shù)、3S技術(shù)、圖形處理技術(shù)，建設(shè)一個現(xiàn)勢性強(qiáng)、真實(shí)準(zhǔn)確的、集管廊監(jiān)測數(shù)據(jù)和電子地圖數(shù)據(jù)、空間信息和屬性信息為一體的管廊監(jiān)測大數(shù)據(jù)中心，使之成為“智慧管廊”建設(shè)的數(shù)據(jù)基礎(chǔ)，全面實(shí)現(xiàn)城市地下、地上數(shù)據(jù)共享應(yīng)用。

4 結(jié)語

該文簡要分析了大數(shù)據(jù)及管廊監(jiān)測大數(shù)據(jù)的定義，研究討論了大數(shù)據(jù)關(guān)鍵技術(shù)，面向綜合管廊監(jiān)測領(lǐng)域開展大數(shù)據(jù)管理、大數(shù)據(jù)分析、大數(shù)據(jù)處理和大數(shù)據(jù)展示等技術(shù)研究，基于對大數(shù)據(jù)技術(shù)的理解，提出管廊監(jiān)測大數(shù)據(jù)中心，對提高綜合管廊環(huán)境監(jiān)測的智能化水平具有重要的現(xiàn)實(shí)意義，促進(jìn)城鎮(zhèn)化發(fā)展質(zhì)量和水平全面提升。

參考文獻(xiàn)

[1] 鄭立寧，王建，羅春燕，等.城市綜合管廊運(yùn)營管理系統(tǒng)構(gòu)建[J].建筑經(jīng)濟(jì)，2016（10）：92-98.

[2] 林文敏.云環(huán)境下大數(shù)據(jù)服務(wù)及其關(guān)鍵技術(shù)研究[D].南京大學(xué)，2015.

[3] 申德榮，于戈，王習(xí)特，等.支持大數(shù)據(jù)管理的NoSQL系統(tǒng)研究綜述[J].軟件學(xué)報，2013（5）：1786-1803.

[4] 郎波，張博宇.面向大數(shù)據(jù)的非結(jié)構(gòu)化數(shù)據(jù)管理平臺關(guān)鍵技術(shù)[J].信息技術(shù)與標(biāo)準(zhǔn)化，2013（10）：53-56.