內(nèi)蒙古林業(yè)大數(shù)據(jù)管理平臺設(shè)計與實現(xiàn)

李 鑫，云海英，段 菁，滕 飛，納 青，高榮麗

(內(nèi)蒙古自治區(qū)林業(yè)信息中心，內(nèi)蒙古 呼和浩特 010018)

1 研究背景

隨著移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、云計算等新興服務(wù)的蓬勃發(fā)展和技術(shù)的飛速進(jìn)步，林業(yè)大數(shù)據(jù)建設(shè)成為林業(yè)發(fā)展的新業(yè)態(tài)[1]。林業(yè)大數(shù)據(jù)作為重要資源和有效工具，對提高林業(yè)綜合管理水平、加快林業(yè)生態(tài)建設(shè)和創(chuàng)新發(fā)展具有重要的推動作用[2-3]。研究人員已從林業(yè)大數(shù)據(jù)的定義、內(nèi)涵、特征、發(fā)展動態(tài)等角度進(jìn)行了研究[4-6]，并以大數(shù)據(jù)思維、理論和技術(shù)對林業(yè)大數(shù)據(jù)的應(yīng)用前景進(jìn)行了較為廣泛的探討?；诖髷?shù)據(jù)相關(guān)理論的發(fā)展，各級林業(yè)部門對林業(yè)大數(shù)據(jù)的理論與應(yīng)用做了一定程度的探索[7-10]，但應(yīng)用研究較少。

經(jīng)過長年的調(diào)查積累，內(nèi)蒙古林業(yè)大數(shù)據(jù)在林業(yè)資源、地理信息、動植物資源、林地保護(hù)、森林防火、病蟲鼠防治、森林經(jīng)營等方面已有較完善的基礎(chǔ)[11-14]。鑒于快速增長的海量林業(yè)數(shù)據(jù)和數(shù)據(jù)多源異構(gòu)性處理難度，以及自治區(qū)時空尺度差異大和各級林業(yè)部門信息孤島的弊端，內(nèi)蒙古林業(yè)急需構(gòu)建一個全面、統(tǒng)一、整體、系統(tǒng)的大數(shù)據(jù)平臺，實現(xiàn)全區(qū)林業(yè)數(shù)據(jù)的整合及應(yīng)用[11]。該林業(yè)大數(shù)據(jù)平臺的設(shè)計與實現(xiàn)進(jìn)一步提升了自治區(qū)林業(yè)綜合管理水平，并提供更精準(zhǔn)的林業(yè)決策，也為后續(xù)自治區(qū)乃至全國林業(yè)大數(shù)據(jù)應(yīng)用和創(chuàng)新提供現(xiàn)實指導(dǎo)。

2 系統(tǒng)概述及架構(gòu)設(shè)計

2.1 系統(tǒng)概述

研究構(gòu)建的內(nèi)蒙古林業(yè)大數(shù)據(jù)管理平臺(以下簡稱“管理平臺”)完成林業(yè)時空大數(shù)據(jù)采集、整合優(yōu)化，從而支撐林業(yè)資源數(shù)據(jù)的空間分析、智能展示、地圖+業(yè)務(wù)分析、趨勢分析、分布分析等數(shù)據(jù)可視化展示，為整合內(nèi)蒙古林業(yè)線上線下大數(shù)據(jù)、統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范，構(gòu)建了內(nèi)蒙古林業(yè)信息資源目錄體系，為林業(yè)資源的共享應(yīng)用奠定基礎(chǔ)，提高了內(nèi)蒙古林業(yè)數(shù)據(jù)采集、整合、優(yōu)化及決策應(yīng)用的效率與水平。

管理平臺將內(nèi)蒙古林業(yè)廳分散在各業(yè)務(wù)系統(tǒng)中的地理信息數(shù)據(jù)、森林資源數(shù)據(jù)以及分散在業(yè)務(wù)處室的手工報表數(shù)據(jù)整合到統(tǒng)一的時空大數(shù)據(jù)庫中，基于地理基礎(chǔ)數(shù)據(jù)、分析林業(yè)調(diào)查歷史數(shù)據(jù)，從空間、時間上對林業(yè)數(shù)據(jù)進(jìn)行智能分析展現(xiàn)，展現(xiàn)內(nèi)容應(yīng)滿足林業(yè)相關(guān)部門決策需求。

2.2 總體架構(gòu)設(shè)計

內(nèi)蒙古林業(yè)大數(shù)據(jù)管理平臺的各業(yè)務(wù)模塊面向不同的用戶，依據(jù)系統(tǒng)特點采用相應(yīng)的設(shè)計方式。同時，各模塊之間相互耦合，如需通信則采用接口的方式，對外接口與自身的業(yè)務(wù)邏輯分離。

管理平臺采用4層架構(gòu)體系，分別為：數(shù)據(jù)接入層ETL、數(shù)據(jù)層、服務(wù)層、應(yīng)用層?？傮w架構(gòu)體系如圖1所示。

圖1 林業(yè)大數(shù)據(jù)管理平臺總體架構(gòu)Fig.1 Overall architecture of forestry big data management platform

1)數(shù)據(jù)接入層ETL

數(shù)據(jù)接入層ETL將林業(yè)數(shù)據(jù)從來源端，經(jīng)過接入、處理、轉(zhuǎn)換、加載至數(shù)據(jù)倉庫。數(shù)據(jù)接入可采用自動、半自動、手工等多種方式接入，針對目前已統(tǒng)一存貯的資源數(shù)據(jù)，采用ETL自動導(dǎo)入；針對報表類數(shù)據(jù)，可采用半自動上傳導(dǎo)入；針對零散的圖表數(shù)據(jù)，可采用手工收集，人為處理手工導(dǎo)入方式。

2)數(shù)據(jù)層

依據(jù)不同的資源類型，不同類型的數(shù)據(jù)從接入層分別抽取至數(shù)據(jù)層。數(shù)據(jù)層負(fù)責(zé)數(shù)據(jù)信息的存儲，包括：公共基礎(chǔ)數(shù)據(jù)、遙感影像數(shù)據(jù)、林業(yè)基礎(chǔ)數(shù)據(jù)等。

3)服務(wù)層

服務(wù)層將大數(shù)據(jù)涉及的業(yè)務(wù)采用服務(wù)組件形式進(jìn)行松耦合建設(shè)，各類服務(wù)組件可以按需調(diào)用。相關(guān)服務(wù)包括：森林分布圖服務(wù)、林相圖服務(wù)、影像地圖服務(wù)、行政區(qū)劃服務(wù)、資源目錄服務(wù)、應(yīng)用服務(wù)等。

4)應(yīng)用層

應(yīng)用層根據(jù)已有資源數(shù)據(jù)情況、結(jié)合應(yīng)用服務(wù)，為用戶提供一種交互式操作界面，包括林業(yè)大數(shù)據(jù)建設(shè)的可視化智能展示及資源目錄展示。

2.3 技術(shù)架構(gòu)設(shè)計

林業(yè)大數(shù)據(jù)管理平臺采用B/S架構(gòu)風(fēng)格，前端采用JavaScript，后端采用Java語言開發(fā)，地圖使用ArcGIS框架，結(jié)構(gòu)化數(shù)據(jù)存放在Oracle數(shù)據(jù)庫，影像地圖數(shù)據(jù)存儲在文件服務(wù)器。管理平臺技術(shù)架構(gòu)如圖2所示。

圖2 林業(yè)大數(shù)據(jù)管理平臺技術(shù)架構(gòu)Fig.2 Technical architecture of forestry big data management platform

2.4 邏輯架構(gòu)設(shè)計

管理平臺中涉及的數(shù)據(jù)包括結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)源通過數(shù)據(jù)抽取的方式存儲在時空大數(shù)據(jù)庫中，非結(jié)構(gòu)化數(shù)據(jù)存儲在文件服務(wù)器，結(jié)構(gòu)化數(shù)據(jù)存儲在數(shù)據(jù)庫中，最終構(gòu)成時空大數(shù)據(jù)庫。其他各模塊應(yīng)用系統(tǒng)數(shù)據(jù)均由時空大數(shù)據(jù)庫提供。管理平臺邏輯架構(gòu)如圖3所示。

圖3 林業(yè)大數(shù)據(jù)管理平臺邏輯架構(gòu)Fig.3 Logical architecture of forestry big data management platform

3 功能模塊實現(xiàn)

林業(yè)大數(shù)據(jù)管理平臺的功能主要包括信息資源目錄和可視化展示兩大應(yīng)用模塊。

3.1 信息資源目錄

林業(yè)信息資源目錄是基于森林資源元數(shù)據(jù)和全文檢索技術(shù)信息資源的采集、加工以及管理的平臺。

信息資源目錄體系首先按照資源數(shù)據(jù)的結(jié)構(gòu)或資源特征，根據(jù)數(shù)據(jù)類型進(jìn)行劃分，建立各類型的信息資源元數(shù)據(jù)，在元數(shù)據(jù)基礎(chǔ)上形成針對林業(yè)大數(shù)據(jù)管理平臺的林業(yè)信息資源服務(wù)目錄。

資源服務(wù)目錄實現(xiàn)注冊、查詢、發(fā)布、撤銷以及目錄的編輯等操作，實現(xiàn)林業(yè)廳系統(tǒng)之間服務(wù)的共享。林業(yè)大數(shù)據(jù)平臺向資源目錄發(fā)布資源和服務(wù)，其中資源目錄包括統(tǒng)計報表和資源年報，服務(wù)目錄中包括森林資源分布圖、林相圖、影像地圖和公共地圖服務(wù)。信息資源功能架構(gòu)如圖4所示。

圖4 信息資源目錄架構(gòu)Fig.4 Architecture of information resource catalog

信息資源目錄模塊包括：資源目錄查詢、資源信息查詢、資源目錄展示與資源訪問等。資源目錄查詢提供目錄內(nèi)容的查詢功能，包括基于林業(yè)信息資源的分類導(dǎo)航、條件檢索等，檢索條件包括資源分類、調(diào)查次數(shù)、行政區(qū)劃、業(yè)務(wù)類型、比例尺、分辨率等；資源目錄提供針各類資源信息的查詢，資源信息查詢內(nèi)容包括：林相圖、森林資源分布圖、統(tǒng)計報表；系統(tǒng)可以按資源目錄分類逐級展示已發(fā)布的資源目錄內(nèi)容，用戶可以逐級展開資源目錄分類進(jìn)行展示；資源目錄提供針對資源信息訪問，包括對林相圖、森林資源分布圖、統(tǒng)計報表的詳細(xì)信息的展示。

3.2 可視化展示平臺

林業(yè)大數(shù)據(jù)管理平臺綜合分析功能是在基礎(chǔ)地圖數(shù)據(jù)、森林資源調(diào)查數(shù)據(jù)的基礎(chǔ)上，實現(xiàn)對森林調(diào)查數(shù)據(jù)的可視化展示、統(tǒng)計分析、專題圖、小班查詢應(yīng)用等功能，最終通過多屏、時序、卷簾、統(tǒng)計地圖、圖表等可視化表達(dá)方式實現(xiàn)森林資源分布一張圖?？梢暬故竟δ芗軜?gòu)圖如圖5所示。

圖5 可視化展示功能架構(gòu)Fig.5 Architecture of visual presentation function

3.2.1森林資源展示

森林資源展示實現(xiàn)了森林資源分布圖與林班數(shù)據(jù)、小班數(shù)據(jù)的一張圖展示，以及森林資源概況描述功能，同時支持森林資源分布圖的多屏、時序、卷簾的可視化展示，并實現(xiàn)了按關(guān)鍵詞進(jìn)行查詢展示的功能。例如實現(xiàn)了按時間順序以及區(qū)域等關(guān)鍵詞進(jìn)行查詢與展示。

3.2.2小班查詢及統(tǒng)計

森林資源將針對小班數(shù)據(jù)提供空間查詢、屬性查詢、特殊區(qū)域查詢以及坐標(biāo)區(qū)域查詢，同時根據(jù)小班查詢結(jié)果統(tǒng)計功能統(tǒng)計分析森林資源調(diào)查數(shù)據(jù)，按調(diào)查次數(shù)實現(xiàn)不同時間維度的統(tǒng)計，也可以實現(xiàn)對森林資源調(diào)查成果時間及空間維度的統(tǒng)計分析與比較，同時，通過對統(tǒng)計條件篩選實現(xiàn)多維度多指標(biāo)的統(tǒng)計分析。統(tǒng)計結(jié)果以圖表及統(tǒng)計地圖的形式展示，圖表與統(tǒng)計地圖實現(xiàn)聯(lián)動交互及時序?qū)Ρ炔シ拧?/p>

3.2.3專題圖

專題圖包括森林資源分布圖及林相圖，實現(xiàn)專題圖的多屏對比、時序?qū)Ρ?、卷簾對比等展示?/p>

1)分布圖

分布圖模塊實現(xiàn)了對小班調(diào)查數(shù)據(jù)的林班空間分布按照盟市、旗縣進(jìn)行展示，同時實現(xiàn)不同調(diào)查次數(shù)的森林分布圖的多屏對比、時序?qū)Ρ?、卷簾對比等展示?/p>

2)林相圖

林相圖模塊實現(xiàn)了對調(diào)查數(shù)據(jù)成果的小班空間分布情況展示，林相圖按照鄉(xiāng)鎮(zhèn)、林場及開發(fā)區(qū)等行政區(qū)劃進(jìn)行展示，同時實現(xiàn)不同調(diào)查次數(shù)的林相圖的多屏對比、時序?qū)Ρ?、卷簾對比等展示?/p>

4 林業(yè)大數(shù)據(jù)管理平臺的實現(xiàn)

平臺采用J2EE的3層架構(gòu)體系?；贘2EE的企業(yè)應(yīng)用技術(shù)已成為許多企業(yè)的核心驅(qū)動引擎。J2EE是一種利用Java 2平臺來簡化諸多與多級政府單位解決方案的開發(fā)、部署和管理相關(guān)的復(fù)雜問題的體系結(jié)構(gòu)。提供了對 EJB、Serves、JSP、JDBC、CORBA以及XML技術(shù)的全面支持。J2EE提供了一個企業(yè)級的計算模型和運行環(huán)境用于開發(fā)和部署多層體系結(jié)構(gòu)的應(yīng)用。

平臺架構(gòu)前端采用html5+js編程語言，根據(jù)前端系統(tǒng)特點選擇不同的JS框架?？梢暬捎肁rcGIS for JS 3.34，建立在DOJO組件上。

平臺架構(gòu)服務(wù)端使用Java語言，采用spring MVC+myBatis搭建基礎(chǔ)框架，實現(xiàn)系統(tǒng)的基本業(yè)務(wù)功能和通用功能，并依托spring框架集成流程管理組件activiti，安全認(rèn)證shiro，日志管理log4j和緩存redis組件。

從實現(xiàn)角度看，將程序代碼與元模型綁定，通過多級抽象，用戶的需求變化被控制在模型層面上，變化的波及效應(yīng)無法沖擊到代碼層，從而使系統(tǒng)具有了運行期動態(tài)改變的能力。圖6給出了系統(tǒng)運行效果。

5 結(jié)束語

通過建設(shè)林業(yè)大數(shù)據(jù)管理平臺，打破了內(nèi)蒙古各級林業(yè)部門之間的信息孤島，實現(xiàn)了林業(yè)資源數(shù)據(jù)的跨部門檢索，提高了林業(yè)管理工作效率。平臺將所需林業(yè)資源數(shù)據(jù)進(jìn)行整理、提取、展示、對比與統(tǒng)計分析，實現(xiàn)了為森林資源保護(hù)和合理開發(fā)利用以及森林資源監(jiān)督管理等工作提供快速精準(zhǔn)的輔助決策。信息資源目錄可方便各職能處室及業(yè)務(wù)人員快速查詢和訪問信息資源，實現(xiàn)信息資源快速定位與共享；標(biāo)準(zhǔn)規(guī)范體系為林業(yè)相關(guān)部門的日常管理及質(zhì)量監(jiān)控提供依據(jù)，對提升內(nèi)蒙古各級林業(yè)部門的綜合管理水平具有積極促進(jìn)作用。林業(yè)大數(shù)據(jù)管理平臺的開發(fā)對加快智慧林業(yè)、推動生態(tài)文明以及建設(shè)美麗中國具有重要而深遠(yuǎn)的意義。