大數(shù)據(jù)在自然資源中的應(yīng)用

劉玉珠，葉 茂，董萬虎，張 錦

（1.浙江省測(cè)繪科學(xué)技術(shù)研究院，浙江 杭州 310030；2.中國地質(zhì)大學(xué) 地理與信息工程學(xué)院，湖北 武漢 430074）

自然資源是指具有經(jīng)濟(jì)價(jià)值或者可以產(chǎn)生一定 社會(huì)價(jià)值的自然要素[1]。由于自然資源在空間分布上不均勻，在時(shí)間尺度上變化明顯等特點(diǎn)，所以對(duì)于自然資源的監(jiān)測(cè)和分析一直是自然資源方面研究的重點(diǎn)和難點(diǎn)[2]。利用大數(shù)據(jù)技術(shù)可以快速從各類大數(shù)據(jù)環(huán)境中得到所需要的數(shù)據(jù)[3]。從處理數(shù)據(jù)的基本流程的角度來看，大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)沒有明顯的區(qū)別，大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)的主要差異在于大數(shù)據(jù)的數(shù)據(jù)獲取途徑十分多樣，數(shù)據(jù)種類豐富，數(shù)據(jù)量巨大。另外，大數(shù)據(jù)相較于傳統(tǒng)數(shù)據(jù)對(duì)于數(shù)據(jù)的各個(gè)方面也有著新的要求。自然資源數(shù)據(jù)本身就具有非常高的實(shí)效性，并且通過多年的自然資源數(shù)據(jù)的積累，自然資源數(shù)據(jù)量豐富，有遙感圖像、測(cè)繪地圖、文字記錄等多種形式[4-7]。自然資源數(shù)據(jù)所具備的特點(diǎn)符合大數(shù)據(jù)技術(shù)的各項(xiàng)要求，可以通過將大數(shù)據(jù)技術(shù)應(yīng)用到自然資源的監(jiān)測(cè)和分析中，建立有效的自然資源監(jiān)測(cè)和分析體系，優(yōu)化自然資源監(jiān)管效率，提高自然資源的利用率。

1 大數(shù)據(jù)

業(yè)界大數(shù)據(jù)歸納出4個(gè)特征稱之為4V（量Volume，多樣Variety，價(jià)值Value，速Velocity）：①海 量的數(shù)據(jù)是最為突出的特征；②數(shù)據(jù)的類型多樣，數(shù)據(jù)的來源也多種多樣，不僅僅只有傳統(tǒng)的數(shù)據(jù)種類和數(shù)據(jù)獲取手段，還包括了網(wǎng)絡(luò)信息、空間信息等；③商業(yè)價(jià)值高，大數(shù)據(jù)具有非常高的商業(yè)價(jià)值潛力，對(duì)于大數(shù)據(jù)的數(shù)據(jù)挖掘和數(shù)據(jù)分析可以有效的發(fā)揮其商業(yè)價(jià)值。當(dāng)然與之相對(duì)應(yīng)的是其價(jià)值密度低，沒有有效的管理和分析就無法發(fā)揮大數(shù)據(jù)的價(jià)值； ④數(shù)據(jù)的處理速度十分迅速，由于大數(shù)據(jù)本身具有一定的實(shí)效性，往往有些數(shù)據(jù)只有在一定的時(shí)間范圍內(nèi)可以發(fā)揮作用，這就要求大數(shù)據(jù)需要較快的數(shù)據(jù)處理、分析的速度。

對(duì)于大數(shù)據(jù)來說，最大的技術(shù)難點(diǎn)是如何從海量的數(shù)據(jù)中獲取有價(jià)值的數(shù)據(jù)，并對(duì)數(shù)據(jù)進(jìn)行分析和利用。因此，大數(shù)據(jù)的發(fā)展需要網(wǎng)絡(luò)架構(gòu)和數(shù)據(jù)處理技術(shù)的發(fā)展作為支撐。大數(shù)據(jù)經(jīng)過多年的發(fā)展，已經(jīng)在當(dāng)今這個(gè)數(shù)據(jù)爆炸的時(shí)代獲得位置。大數(shù)據(jù)的優(yōu)勢(shì)在于可以分析出數(shù)據(jù)的真實(shí)內(nèi)涵，并為相關(guān)部門和企業(yè)的決策提供支持。因此，大數(shù)據(jù)并不是指軟件或者硬件的組合，大數(shù)據(jù)真正意義上的本質(zhì)是可以幫助用戶發(fā)現(xiàn)數(shù)據(jù)背后的價(jià)值。大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的關(guān)鍵是結(jié)合不同的行業(yè)、不同的領(lǐng)域發(fā)揮大數(shù)據(jù)的作用。

2 自然資源大數(shù)據(jù)

將大數(shù)據(jù)應(yīng)用到自然資源的日常管理中，是我國的實(shí)際國情所決定的。以往我國的自然資源管理體系松散，有關(guān)自然資源的部門繁多，各個(gè)部門之間的數(shù)據(jù)無法有效共享，造成了自然資源無法被高效管理和利用。日前，國務(wù)院機(jī)構(gòu)改革方案落地，組建新的自然資源部統(tǒng)一管理國土、海洋、森林、礦產(chǎn)等自然資源。中國960萬km2的陸地和300萬km2的海洋國土上，土地、水、森林、草地、礦產(chǎn)等絕大多數(shù)自然資源的調(diào)查、開發(fā)利用空間規(guī)劃以及監(jiān)管均由這個(gè)新部門負(fù)責(zé)。自然資源部正式組建解決了數(shù)據(jù)共享的體制問題，以自然資源部為依托可以有效的將國土、海洋、森林、礦產(chǎn)等自然資源有關(guān)的數(shù)據(jù)相互整合。自然資源數(shù)據(jù)形式多樣、分布分散、數(shù)據(jù)量巨大，有著極高的潛在商業(yè)價(jià)值。通過大數(shù)據(jù)技術(shù)可以將多種類型、不同來源的自然資源數(shù)據(jù)有效整合，并發(fā)掘海量的自然資源數(shù)據(jù)深層信息。將大數(shù)據(jù)應(yīng)用到自然資源中，從政府層面來說，可以提高政府在自然資源方面的決策能力，優(yōu)化自然資源的監(jiān)管，提高政府的服務(wù)能力。從市場(chǎng)角度來說，可以更加顯著的提高自然資源市場(chǎng)的活力。自然資源大數(shù)據(jù)是目前自然資源領(lǐng)域的前進(jìn)趨勢(shì)[8-9]。

3 自然資源大數(shù)據(jù)平臺(tái)建設(shè)

3.1 整體架構(gòu)

如圖1所示，自然資源大數(shù)據(jù)平臺(tái)技術(shù)整體架構(gòu)分為5個(gè)層次：數(shù)據(jù)源、數(shù)據(jù)存儲(chǔ)、分析計(jì)算、數(shù)據(jù)展示和用戶層。

圖1 整體架構(gòu)圖

數(shù)據(jù)源部分表示各種來源和不同種類的資源資源數(shù)據(jù)，并利用DataX、DbSync和Timetunel技術(shù)將自然資源數(shù)據(jù)快速傳遞到下一層。

數(shù)據(jù)存儲(chǔ)部分是對(duì)各種自然資源大數(shù)據(jù)進(jìn)行存儲(chǔ)，在數(shù)據(jù)存儲(chǔ)過程中主要使用關(guān)系型數(shù)據(jù)庫MySQL和存儲(chǔ)集群Hadoop Hbase。

分析計(jì)算部分是指在這一部分，利用統(tǒng)計(jì)分析、數(shù)據(jù)挖掘、深度學(xué)習(xí)以及GIS等多種計(jì)算分析手段對(duì)數(shù)據(jù)進(jìn)行系統(tǒng)、全面的分析。

數(shù)據(jù)展示部分將數(shù)據(jù)的分析結(jié)果通過各種方法傳遞給用戶，用戶可以通過數(shù)據(jù)展示部分查詢數(shù)據(jù)及數(shù)據(jù)分析計(jì)算的結(jié)果。用戶使用需注冊(cè)賬號(hào)，每個(gè)用戶只有唯一的賬號(hào)來獲取數(shù)據(jù)。

用戶層指自然資源大數(shù)據(jù)面向的各種類型的用戶。

3.2 大數(shù)據(jù)評(píng)價(jià)分析

對(duì)自然資源數(shù)據(jù)進(jìn)行評(píng)價(jià)分析后主要有3種數(shù)據(jù)。第一種是基礎(chǔ)數(shù)據(jù)，基礎(chǔ)數(shù)據(jù)指與自然資源相關(guān)的主管部門在日常工作中獲取的自然資源相關(guān)成果，包括高精度的地形圖、大范圍的遙感圖像及各種記錄自然資源信息的文字文檔等。第二種是統(tǒng)計(jì)數(shù)據(jù)，統(tǒng)計(jì)數(shù)據(jù)是指對(duì)基礎(chǔ)的自然資源數(shù)據(jù)進(jìn)行各種技術(shù)手段如數(shù)學(xué)方法、GIS等的處理之后得到的數(shù)據(jù)，這部分?jǐn)?shù)據(jù)主要反映了自然資源在宏觀層面上的數(shù)量情況，如礦產(chǎn)總量、河流總長(zhǎng)、森林面積等。第三種數(shù)據(jù)稱為分析預(yù)測(cè)數(shù)據(jù)，這部分?jǐn)?shù)據(jù)就是將自然資源數(shù)據(jù)通過分析、對(duì)比之后得到的自然資源的動(dòng)態(tài)變化信息，并可以通過分析自然資源數(shù)據(jù)的變化規(guī)律對(duì)未來自然資源的變化情況進(jìn)行預(yù)測(cè)，如耕地面積的增減、海岸線的變化等。

3.2.1 自然資源數(shù)據(jù)統(tǒng)計(jì)分析

自然資源數(shù)據(jù)統(tǒng)計(jì)分析利用不同種類的數(shù)據(jù)處理方法對(duì)自然資源數(shù)據(jù)進(jìn)行分類、統(tǒng)計(jì)、分析、評(píng)價(jià)等，不但從宏觀上反映自然資源數(shù)據(jù)的數(shù)量信息，也從客觀上展現(xiàn)了自然資源的各種特性。自然資源數(shù)據(jù)經(jīng)過統(tǒng)計(jì)分析后可以使原本雜亂、無規(guī)律的數(shù)據(jù)被相互整合，對(duì)外顯示出一個(gè)統(tǒng)一的信息。用戶可以在原本龐大的自然資源數(shù)據(jù)中得到所需要的那一部分自然資源數(shù)據(jù)。

3.2.2 自然資源數(shù)據(jù)挖掘

自然資源數(shù)據(jù)挖掘就是從自然資源數(shù)據(jù)中提取潛在的、有應(yīng)用價(jià)值的信息的過程，提取出來的信息可以與自然資源相關(guān)也可以與自然資源無關(guān)。自然資源數(shù)據(jù)挖掘的方法包括自然資源數(shù)據(jù)聚類、自然資源數(shù)據(jù)關(guān)聯(lián)規(guī)則等。利用自然資源數(shù)據(jù)挖掘的方法可以從蘊(yùn)含著各種信息的自然資源數(shù)據(jù)中發(fā)現(xiàn)相關(guān)規(guī)律并分析相關(guān)的內(nèi)涵。自然資源數(shù)據(jù)挖掘可以為有關(guān)自然資源重要的決策提供技術(shù)支撐、數(shù)據(jù)支持。

3.2.3 自然資源數(shù)據(jù)動(dòng)態(tài)分析

自然資源數(shù)據(jù)動(dòng)態(tài)分析有3種：第一種稱為新舊自然資源數(shù)據(jù)變化對(duì)比分析，利用如高分辨遙感圖像等數(shù)據(jù)將現(xiàn)在和過去的自然資源數(shù)據(jù)進(jìn)行比較，發(fā)現(xiàn)自然資源數(shù)據(jù)的動(dòng)態(tài)變化情況；第二種是模型分析，利用不同時(shí)期的海量自然資源數(shù)據(jù)構(gòu)建自然資源動(dòng)態(tài)變化模型，直接通過模型得到自然資源的變化。第三種是預(yù)測(cè)分析，預(yù)測(cè)分析是指在建立模型的基礎(chǔ)上分析自然資源數(shù)據(jù)的變化規(guī)律，并快速、準(zhǔn)確地對(duì)自然資源數(shù)據(jù)的下一步變化情況作出預(yù)測(cè)。

3.3 關(guān)鍵任務(wù)

首先是自然資源數(shù)據(jù)標(biāo)準(zhǔn)的統(tǒng)一。自然資源大數(shù)據(jù)平臺(tái)建設(shè)的關(guān)鍵是數(shù)據(jù)的整合、交流。由于過去各個(gè)關(guān)于自然資源的部門相互獨(dú)立，各個(gè)部門之間數(shù)據(jù)沒有一個(gè)統(tǒng)一的標(biāo)準(zhǔn)，不同部門的數(shù)據(jù)格式各異，這給自然資源數(shù)據(jù)的融合造成了極大的困難。自然資源大數(shù)據(jù)平臺(tái)建設(shè)的第一步就是統(tǒng)一自然資源數(shù)據(jù)的標(biāo)準(zhǔn)，這是自然資源大數(shù)據(jù)平臺(tái)的關(guān)鍵部分。只有先 統(tǒng)一自然資源數(shù)據(jù)的標(biāo)準(zhǔn)，才能使龐大的自然資源數(shù)據(jù)統(tǒng)一到數(shù)據(jù)庫中互相融合，也便于集中管理。

其次是加強(qiáng)企業(yè)的參與。自然資源大數(shù)據(jù)平臺(tái)的建設(shè)離不開企業(yè)的參與，企業(yè)是市場(chǎng)經(jīng)濟(jì)的主體，而市場(chǎng)在資源配置中起著決定性的作用。只有有效的利用企業(yè)在自然資源大數(shù)據(jù)方面的技術(shù)優(yōu)勢(shì)，通過各種方式讓企業(yè)參與到自然資源大數(shù)據(jù)平臺(tái)的建設(shè)中來，才能更好地完善自然資源大數(shù)據(jù)平臺(tái)。同時(shí)還應(yīng)該注重企業(yè)、社會(huì)、政府之間自然資源數(shù)據(jù)的交流、共享，充分利用如快遞、電商等網(wǎng)路平臺(tái)的空間位置數(shù)據(jù)，豐富自然資源大數(shù)據(jù)平臺(tái)的數(shù)據(jù)來源。企業(yè)的有效參與，可以幫助自然資源數(shù)據(jù)得到更多更廣的應(yīng)用，同時(shí)加速自然資源大數(shù)據(jù)平臺(tái)的建設(shè)。

最后是成果的管理和應(yīng)用。自然資源大數(shù)據(jù)平臺(tái)的建設(shè)是由政府主導(dǎo)企業(yè)和社會(huì)各界共同參與的，自然資源大數(shù)據(jù)平臺(tái)的成果也是由政府、企業(yè)及社會(huì)共享。由于自然資源數(shù)據(jù)的特殊性，自然資源大數(shù)據(jù)平臺(tái)應(yīng)由政府統(tǒng)一管理，政府擁有自然資源大數(shù)據(jù)平臺(tái)的所有權(quán)限，充分發(fā)揮自然資源大數(shù)據(jù)平臺(tái)的優(yōu)勢(shì)幫助政府制定自然資源的相關(guān)政策,同時(shí)向市場(chǎng)和社會(huì)公眾開放部分自然資源大數(shù)據(jù)平臺(tái)的權(quán)限，積極探索自然資源大數(shù)據(jù)平臺(tái)的商用可能。

4 結(jié) 語

隨著自然資源數(shù)據(jù)的積累和各種自然資源數(shù)據(jù)分析手段的發(fā)展，自然資源進(jìn)入到了大數(shù)據(jù)時(shí)代。將大數(shù)據(jù)技術(shù)應(yīng)用到自然資源中可以有效的提高自然資源數(shù)據(jù)的管理效率，降低管理成本。開展自然資源大數(shù)據(jù)建設(shè)技術(shù)研究，對(duì)各種自然資源數(shù)據(jù)進(jìn)行收集、整理，探索自然資源大數(shù)據(jù)建設(shè)中的關(guān)鍵技術(shù)，對(duì)自然資源進(jìn)行分析、評(píng)價(jià)，并建設(shè)自然資源大數(shù)據(jù)管理與應(yīng)用系統(tǒng)，提升自然資源大數(shù)據(jù)的管理、分析能力，促進(jìn)自然資源管理工作的可持續(xù)發(fā)展，推進(jìn)供給側(cè)結(jié)構(gòu)性改革，培育適應(yīng)經(jīng)濟(jì)社會(huì)發(fā)展需要的主導(dǎo)產(chǎn)業(yè)。自然資源大數(shù)據(jù)技術(shù)可以為其他有關(guān)自然資源的研究提供技術(shù)支撐，并為今后的自然資源研究提供新的研究思路。