大數(shù)據(jù)技術在喀斯特地區(qū)水土保持的應用芻議

(貴州水土保持監(jiān)測站， 貴州 貴陽 550002)

大數(shù)據(jù)技術在喀斯特地區(qū)水土保持的應用芻議

岳坤前顧再柯

(貴州水土保持監(jiān)測站， 貴州 貴陽 550002)

本文主要分析大數(shù)據(jù)的特點、技術及其在喀斯特石漠化區(qū)水土保持應用方面的探討，充分發(fā)揮大數(shù)據(jù)在喀斯特石漠化地區(qū)水土保持監(jiān)測、監(jiān)督管理、效益評價、資源整合與共享中的作用，以期為水土保持的發(fā)展提供更多的參考。

喀斯特石漠化；大數(shù)據(jù)；技術；水土保持；發(fā)展

1 大數(shù)據(jù)概念

喀斯特地區(qū)由于其特殊的地質地貌，具有地表—地下雙層水土流失方式，數(shù)據(jù)收集零散、缺乏整體性，總體性分析薄弱。2013年水利部印發(fā)了《全國水土保持信息化規(guī)劃(2013—2020)》，明確了水土保持信息化的指導思想、建設原則和近期遠期目標[1]。水土保持信息化的發(fā)展需要以大數(shù)據(jù)為基礎，因此，加強大數(shù)據(jù)在喀斯特地區(qū)水土保持中的應用，成為當務之急。

大數(shù)據(jù)是指利用常用軟件工具捕獲、管理和處理數(shù)據(jù)所耗時間超過可容忍時間的數(shù)據(jù)集。也就是說大數(shù)據(jù)是一個體量特別大，數(shù)據(jù)類別特別大的數(shù)據(jù)集，并且這樣的數(shù)據(jù)集無法用傳統(tǒng)數(shù)據(jù)庫工具對其內(nèi)容進行抓取、管理和處理。目前大數(shù)據(jù)技術已是社會發(fā)展的主流，但在喀斯特石漠化地區(qū)水土保持中的應用較少?？λ固厥貐^(qū)，山高坡陡，地形條件較為復雜，水土保持經(jīng)過長時間的研究已取得一定的成果，但由于對數(shù)據(jù)的處理、監(jiān)督、管理等方面存在諸多的問題，一直未得到解決。因此，需要將大數(shù)據(jù)技術應用到水土保持研究中，對數(shù)據(jù)進行深入的對比分析、提出有效的防治和監(jiān)督管理措施，解決水土保持中存在的問題。

2 大數(shù)據(jù)的特點

隨著大數(shù)據(jù)的不斷發(fā)展，應用的范圍更加廣泛，其特點由規(guī)模性、多樣性、高速性等向價值性、 準確性、 可變性、 真實性轉變[2]，在不斷發(fā)展的過程中由覆蓋的廣度向技術的深度逐漸轉變。

a. 數(shù)據(jù)量大。大型數(shù)據(jù)集，指的是數(shù)據(jù)集的規(guī)模從TB級別躍升到了PB級別[3]。隨著科學技術的不斷發(fā)展，為了滿足不同使用者的需要，互聯(lián)網(wǎng)產(chǎn)生了大量的數(shù)據(jù)，而這些數(shù)據(jù)的繁雜、重疊等原因導致形成數(shù)據(jù)集。

b. 數(shù)據(jù)類型多樣化。數(shù)據(jù)類型多樣化是大數(shù)據(jù)的另一特征，由于要滿足不同類型用戶的需要，數(shù)據(jù)形式已經(jīng)不再局限于單一的文本信息，現(xiàn)階段已產(chǎn)生了很多半結構化的數(shù)據(jù)，這對大數(shù)據(jù)技術有了更高的要求，增加了數(shù)據(jù)存儲和處理的難度。

c. 數(shù)據(jù)處理速度快。數(shù)據(jù)處理速度快指大量實時數(shù)據(jù)流的快速收集、 創(chuàng)建、 分析、 處理、 傳送的過程。通過高速的處理器和性能良好的服務器， 企業(yè)能快速地將數(shù)據(jù)反饋給用戶[3]。面對龐雜的信息，傳統(tǒng)數(shù)據(jù)的處理方式較復雜，顯得更為機械化，已跟不上時代發(fā)展的需要，因此對大數(shù)據(jù)技術有了更高的要求，處理數(shù)據(jù)的速度必須跟上數(shù)據(jù)增長的速度，才能更好地服務于大眾。

d. 數(shù)據(jù)的價值性。由于數(shù)據(jù)具有結構性和非結構性，非結構信息存儲了大量關聯(lián)的數(shù)據(jù)，造成數(shù)據(jù)冗雜、結構性差，降低了數(shù)據(jù)的可利用性，因此，從龐大的數(shù)據(jù)中對有效信息進行提取，并進行分析、總結、發(fā)現(xiàn)其中的規(guī)律，預測未來的發(fā)展趨勢，成為有價值的信息，為人們提供更多的便利。

3 大數(shù)據(jù)技術

大數(shù)據(jù)技術是預測分析、數(shù)據(jù)挖掘、統(tǒng)計分析、人工智能、自然語言處理、并行計算、數(shù)據(jù)存儲等技術的綜合運用，組成了當今最熱門的數(shù)據(jù)工程化應用技術新實踐[4]。

3.1 大數(shù)據(jù)采集技術

大數(shù)據(jù)采集一般分為大數(shù)據(jù)智能感知層和基礎支撐層。智能感知層主要包括：數(shù)據(jù)傳感體系、網(wǎng)絡通信體系、傳感適配體系、智能識別體系及軟硬件資源接入系統(tǒng)，實現(xiàn)對結構化、半結構化、非結構化的海量數(shù)據(jù)的智能化識別、定位、跟蹤、接入、傳輸、信號轉換、監(jiān)控、初步處理和管理等。必須著重攻克針對大數(shù)據(jù)源的智能識別、感知、適配、傳輸、接入等技術?；A支撐層提供大數(shù)據(jù)服務平臺所需的虛擬服務器，結構化、半結構化及非結構化數(shù)據(jù)的數(shù)據(jù)庫及物聯(lián)網(wǎng)絡資源等基礎支撐環(huán)境。重點攻克分布式虛擬存儲技術，大數(shù)據(jù)獲取、存儲、組織、分析和決策操作的可視化接口技術，大數(shù)據(jù)的網(wǎng)絡傳輸與壓縮技術，大數(shù)據(jù)隱私保護技術等。

3.2 數(shù)據(jù)挖掘與分析

數(shù)據(jù)挖掘技術主要是通過從海量網(wǎng)絡數(shù)據(jù)中發(fā)掘潛在的高價值數(shù)據(jù)，需要通過神經(jīng)網(wǎng)絡方法、數(shù)據(jù)庫方法、統(tǒng)計學、 人工智能、回歸分析等多種方式來實現(xiàn)。 互聯(lián)網(wǎng)上的數(shù)據(jù)十分駁雜， 數(shù)據(jù)質量直接影響了數(shù)據(jù)分析的結果， 數(shù)據(jù)挖掘技術可以有效控制錯誤數(shù)據(jù)的比例， 同時可以盡量排除無關數(shù)據(jù)。

大數(shù)據(jù)分析技術主要是運用已有數(shù)據(jù)挖掘和機器學習技術以及數(shù)據(jù)網(wǎng)絡挖掘、特異群組挖掘、圖挖掘等新型數(shù)據(jù)挖掘技術，突破基于對象的數(shù)據(jù)連接、相似性連接等大數(shù)據(jù)融合技術，突破用戶興趣分析、網(wǎng)絡行為分析、情感語義分析等面向領域的大數(shù)據(jù)挖掘技術，將大量數(shù)據(jù)中所隱藏的潛在信息呈現(xiàn)出來，分析其發(fā)展趨勢。

3.3 數(shù)據(jù)顯示與檢索

數(shù)據(jù)顯示技術可以將分析處理后的有用數(shù)據(jù)傳輸給用戶。用戶可以直接理解傳統(tǒng)結構化數(shù)據(jù)，對于非結構化數(shù)據(jù)，通過計算機圖形學與圖像處理技術，實現(xiàn)用戶對數(shù)據(jù)的可視化。

一段時期的數(shù)據(jù)僅代表了一個階段的發(fā)展過程，具有一定的時效性，因此，大數(shù)據(jù)技術的實時處理能力直接關系到數(shù)據(jù)的質量價值，通過建立大數(shù)據(jù)的數(shù)據(jù)庫，將多個不同結構的數(shù)據(jù)存儲在虛擬平臺上，實時更新，實現(xiàn)不同結構數(shù)據(jù)的檢索整合，給用戶提供更多的參考。

3.4 大數(shù)據(jù)展現(xiàn)與應用技術

大數(shù)據(jù)技術在海量數(shù)據(jù)基礎上進行深入的分析，提高工作效率，為社會經(jīng)濟的發(fā)展提供建議，提升人民的生活水平?，F(xiàn)階段大數(shù)據(jù)已逐步運用到各行各業(yè)中，比如公安系統(tǒng)、電子信息行業(yè)、政府決策等。

4 大數(shù)據(jù)在喀斯特石漠化地區(qū)水土保持中的應用

4.1 大數(shù)據(jù)技術在喀斯特石漠化地區(qū)水土保持監(jiān)測中的應用

喀斯特石漠化地區(qū)由于特殊的地質構造，地形復雜，地勢陡峭，對監(jiān)測技術要求高。現(xiàn)階段喀斯特石漠化區(qū)水土保持已取得一定的研究基礎，但監(jiān)測數(shù)據(jù)更新不及時，且數(shù)據(jù)較為分散，沒有統(tǒng)一的數(shù)據(jù)分析體系，存在整合性差、區(qū)域局限性，對于該地區(qū)的深入研究造成一定的困難。為實時了解喀斯特石漠化地區(qū)的水土流失進展情況，將大數(shù)據(jù)的技術充分運用到喀斯特石漠化地區(qū)的監(jiān)測中，以現(xiàn)有的監(jiān)測技術為基礎，對每個監(jiān)測點的數(shù)據(jù)進行及時更新，運用現(xiàn)有技術充分整合數(shù)字資源，摒棄冗雜數(shù)據(jù)，及時掌握水土流失變化過程，調(diào)整生態(tài)環(huán)境的保護措施，避免生態(tài)環(huán)境進一步惡化，為喀斯特石漠化地區(qū)水土保持治理實現(xiàn)突破性進展。

4.2 大數(shù)據(jù)技術在喀斯特石漠化地區(qū)水土保持監(jiān)督管理中的應用

水土保持監(jiān)督需要以水土保持監(jiān)測為基礎，水土保持監(jiān)測涉及的主要內(nèi)容包括區(qū)域水土保持基礎信息采集、區(qū)域水土流失宏觀動態(tài)監(jiān)測、典型樣區(qū)水土流失微觀動態(tài)監(jiān)測等[5]。在宏觀方面，通過RS、GIS對水土保持的植被覆蓋、土地裸露、動土變化等進行數(shù)據(jù)收集；在微觀方面，通過GPS、坡度儀、皮尺等進行基礎數(shù)據(jù)的采集，提供較為精準的數(shù)據(jù)，對開發(fā)建設項目的進度、監(jiān)督執(zhí)法情況、安全生產(chǎn)防護措施、棄渣處理、水土流失防治措施等進行全面追蹤，及時上報數(shù)據(jù)系統(tǒng)。未來依賴于大數(shù)據(jù)基礎之上的水利信息化建設，國家對水土保持生產(chǎn)建設項目實行全過程、全方位管理，從水土保持方案上報、審查、審批，到水土保持監(jiān)理、水土保持監(jiān)測，再到最后的驗收評估和水土保持驗收，全過程實現(xiàn)信息化管理。未來對生產(chǎn)建設項目開工前衛(wèi)星定位、定邊界，開工后衛(wèi)星對照監(jiān)控，發(fā)現(xiàn)未編制方案、邊界變化等情況自動報警，指導地方水土保持部門現(xiàn)場核實和監(jiān)督[1]，實現(xiàn)生產(chǎn)建設項目的全程跟蹤。精準的數(shù)據(jù)定位，連續(xù)的數(shù)據(jù)追蹤，對比分析不同區(qū)域生產(chǎn)項目的優(yōu)勢與劣勢，總結經(jīng)驗，對水土保持項目進行有效的管理。

4.3 大數(shù)據(jù)技術在喀斯特石漠化地區(qū)水土保持效益評價中的應用

目前，很多項目開展了前期的基礎性工作，但后期水土保持所產(chǎn)生的效益評價數(shù)據(jù)較缺乏，以及科研數(shù)據(jù)的真實性存在一定的漏洞。因此，通過建立水土保持大數(shù)據(jù)，以客觀、真實的數(shù)據(jù)，對比數(shù)據(jù)不同階段的變化，保障水土保持效益數(shù)據(jù)具有科學、合理性，分析水土保持所產(chǎn)生的社會效益、經(jīng)濟效益、生態(tài)效益，對同類項目的水土保持效益進行橫向對比，不同類型的項目相互借鑒優(yōu)勢的地方，不同年度的水土保持效益進行縱向對比，分析不同類型水土保持效益，評價其水土保持項目的可持續(xù)性。

4.4 實現(xiàn)水土保持大數(shù)據(jù)在喀斯特石漠化地區(qū)的資源整合與共享

喀斯特石漠化地區(qū)的研究已取得一定的數(shù)據(jù)基礎，但系統(tǒng)的通用性、各地區(qū)的協(xié)調(diào)性差。數(shù)據(jù)具有地區(qū)局限性，數(shù)據(jù)零散，共享性差，沒有統(tǒng)一的數(shù)據(jù)結構體系，且多為有償服務，更有數(shù)據(jù)無法查找、下載的情況，普遍存在只能滿足基本業(yè)務處理的需求，不能滿足整體數(shù)據(jù)的綜合性分析，為深入的研究帶來一定的困難。

為更好地服務于科研的發(fā)展，實現(xiàn)數(shù)據(jù)搜索的便捷化，以大數(shù)據(jù)為核心的水利信息化建設工作正在逐步開展起來。通過對喀斯特石漠化地區(qū)水土保持各方面數(shù)據(jù)的收集，形成一套較為完整的水土保持業(yè)務運行系統(tǒng)，篩選可利用數(shù)據(jù)，整合水土保持數(shù)據(jù)資源，形成不同類型的水土保持專題信息庫，實現(xiàn)數(shù)據(jù)資源共享，為科研的深入研究提供更多的數(shù)據(jù)支持。

4.5 以大數(shù)據(jù)為基礎的自然災害的預警

建立對自然環(huán)境各項指標的監(jiān)測系統(tǒng)，對各項指標進行實時更新，建立以大數(shù)據(jù)為基礎的各項指標預警線，實現(xiàn)自然災害的定量化監(jiān)測，提前預知自然災害，做好防護措施，特別是重點區(qū)域的堤防、岸壩和險工險段做好防災準備，將自然災害造成的損失降到最小，切實解決人們的生產(chǎn)生活需要。

5 討 論

大數(shù)據(jù)近年來才被人們所廣泛提及，在喀斯特地區(qū)水土保持中的應用還處于初級階段?？λ固厥貐^(qū)由于其特殊的地質構造，對數(shù)據(jù)的收集還存在一定的差異性、困難性，各方面的管理還不規(guī)范。今后還需要加強以下兩方面工作：?加強大數(shù)據(jù)技術在喀斯特水土保持應用中的標準化，量化各項指標，實現(xiàn)數(shù)據(jù)的有序性，采用“誰采集，誰負責”的方式，保障數(shù)據(jù)的真實性、完整性、精確性、時效性、可使用性，提升數(shù)據(jù)的可利用性；?建立以大數(shù)據(jù)為基礎的喀斯特水土流失的實時監(jiān)控，將喀斯特各地區(qū)的水土保持數(shù)據(jù)進行整合，實時掌握水土流失動態(tài)，實現(xiàn)水土流失的可持續(xù)性監(jiān)督，及時發(fā)現(xiàn)問題，做好防護措施。

隨著喀斯特地區(qū)水土保持工作的不斷深入，需結合現(xiàn)代化的科學技術，運用最前沿的大數(shù)據(jù)技術，對水土保持基礎資料的采集、存儲、挖掘與分析，揭示和掌握水土流失規(guī)律，改善生態(tài)環(huán)境，促進區(qū)域經(jīng)濟發(fā)展。

[1] 姜德文.加快水保信息系統(tǒng)建設 適應現(xiàn)代管理新要求[J].中國水土保持，2015(1):1-2，7.

[2] 肖江蘇.大數(shù)據(jù)的概念、特征及其應用探究[J].電腦編程技巧與維護，2016(3):57-58，61.

[3] 蔣曉科，符龍生，李健.大數(shù)據(jù)關鍵技術及應用研究[J].電腦知識與技術，2015(8):5-6.

[4] 張鋒軍.大數(shù)據(jù)技術研究綜述[J].通信技術，2014(11):1240-1248.

[5] 李姍姍.3S技術在水利信息化建設中的應用和發(fā)展[J].福建農(nóng)業(yè)，2014(8):175.

DiscucsiononapplicationofbigdatatechnologyinsoilandwaterconservationatKarstarea

YUE Kunqian, GU Zaike

(GuizhouSoilandWaterConservationMonitoringStation,Guiyang550002,China)

In the paper, the characteristics of big data, the technology and the application thereof in soil and water conservation of Karst rocky desertification area are analyzed mainly. Making full use of big data at Karst area in terms of soil and water conservation, supervision benefit evaluation, resources intergration and share, so as to provide more references for the development of soil and water conservation.

Karst rocky desertification; big data; technology; soil and water conservation; development

10.16616/j.cnki.10-1326/TV.2017.12.003

TV213

A

2096-0131(2017)12-0008-04