山東省地理國情監(jiān)測數(shù)據(jù)管理系統(tǒng)的設(shè)計與實現(xiàn)

劉 現(xiàn) 印

(山東省國土測繪院 山東 濟南 250013)

0 引 言

地理國情普查與監(jiān)測是我國最近幾年開展的一項重要的全國性調(diào)查,它采用空間化和可視化的方式描述地表自然和人文現(xiàn)象的相互關(guān)系和空間變化特征[1-2],能夠幫助我們深入了解地表資源分布狀況、使用情況并制定合理的使用計劃[3-4]。目前山東省已經(jīng)具有了2015年、2016年、2017年、2018年和2019年五期覆蓋全省的地理國情數(shù)據(jù),數(shù)據(jù)量達到39.5 TB。由于數(shù)據(jù)版本較多且數(shù)據(jù)量龐大,給數(shù)據(jù)的管理和應用帶來了很大困難。國內(nèi)不少學者對地理國情數(shù)據(jù)的數(shù)據(jù)庫及應用系統(tǒng)建設(shè)進行了研究[5-6],但是研究內(nèi)容基本都是對于一個年份的地理國情數(shù)據(jù)進行管理和應用,無法滿足多個年份且每個年份數(shù)據(jù)標準不完全相同的地理國情數(shù)據(jù)的管理及展示的需要。也有學者對多版本時空地理信息數(shù)據(jù)的管理和展示進行了研究[7],但是針對的都是數(shù)據(jù)標準完全相同的情況,沒有考慮到生產(chǎn)標準不完全相同的多年份數(shù)據(jù)的管理方法。另外,地理國情監(jiān)測的目的是通過對多年份地理國情數(shù)據(jù)各個地類進行對比分析,并將統(tǒng)計結(jié)果和變化情況通過地形圖、統(tǒng)計圖、統(tǒng)計報表、統(tǒng)計報告等形式進行直觀形象化地展現(xiàn),但是目前缺乏相應的技術(shù)手段自動化地完成上述工作,通過人工手段進行上述工作操作流程復雜、效率難以提升,并會浪費大量社會資源[8-9]。

鑒于山東省地理國情數(shù)據(jù)管理的現(xiàn)狀和對于實現(xiàn)時空數(shù)據(jù)一體化管理的迫切需求,本文提出一種多年份地理國情監(jiān)測數(shù)據(jù)管理系統(tǒng),通過構(gòu)建時空數(shù)據(jù)模型實現(xiàn)標準不完全相同的地理國情監(jiān)測數(shù)據(jù)的統(tǒng)一存儲;通過搭建數(shù)據(jù)庫集成管理系統(tǒng),實現(xiàn)基于時間軸的多年份地理國情數(shù)據(jù)的管理與展示;通過搭建變化統(tǒng)計分析系統(tǒng)進行地理國情信息的快速統(tǒng)計及報告制作。系統(tǒng)建成后可實現(xiàn)多年份地理國情監(jiān)測數(shù)據(jù)的統(tǒng)一管理,大幅提升地理國情數(shù)據(jù)的變化統(tǒng)計分析能力,較大幅度地提升地理國情監(jiān)測數(shù)據(jù)的管理和應用水平。

1 系統(tǒng)設(shè)計

1.1 總體設(shè)計思路

基于ESRI Geodatabase模型構(gòu)建地理國情監(jiān)測時空數(shù)據(jù)庫,庫體設(shè)計時充分分析各年份地理國情監(jiān)測數(shù)據(jù)標準[10](包括指標體系、圖層劃分、屬性字段等)的差異,并考慮今后國情監(jiān)測數(shù)據(jù)標準可能發(fā)生的變化情況,采用靈活制定并創(chuàng)建各年份國情監(jiān)測數(shù)據(jù)圖層模板的方式,將相應年份的國情監(jiān)測成果數(shù)據(jù)導入到對應年份的圖層模板中?；诖蟊矸謪^(qū)和并行處理技術(shù),開發(fā)入庫預處理、入庫質(zhì)檢和數(shù)據(jù)庫集成管理軟件實現(xiàn)各類數(shù)據(jù)的快速入庫和集中存儲管理。對國情數(shù)據(jù)變化情況進行統(tǒng)計分析時,采用空間分析、時間序列分析、數(shù)字統(tǒng)計學中多種技術(shù)方法,對地理國情數(shù)據(jù)的地類空間分布狀況、地類變化情況及演變特征等內(nèi)容進行變化統(tǒng)計分析[6]。

1.2 架構(gòu)設(shè)計

山東省地理國情監(jiān)測數(shù)據(jù)管理系統(tǒng)采用Oracle數(shù)據(jù)庫管理系統(tǒng),通過Oracle Spatial和數(shù)據(jù)庫訪問接口,實現(xiàn)數(shù)據(jù)的高效存儲與訪問[11]。系統(tǒng)采用分層架構(gòu)模式[12-13],系統(tǒng)總體技術(shù)架構(gòu)如圖1所示。

圖1 系統(tǒng)總體技術(shù)架構(gòu)

(1) 支撐層:由系統(tǒng)使用的基礎(chǔ)軟件、硬件、網(wǎng)絡(luò)、專用云平臺組成。本研究構(gòu)建了私有云環(huán)境,實現(xiàn)了上述資源的統(tǒng)一管理和按需分配。支撐層是系統(tǒng)正常運行的基礎(chǔ)環(huán)境。

(2) 數(shù)據(jù)層:是整個數(shù)據(jù)管理系統(tǒng)的數(shù)據(jù)資源,提供數(shù)據(jù)的存儲和管理能力。數(shù)據(jù)內(nèi)容包括普查與監(jiān)測時期的多年份地理國情數(shù)據(jù),如圖1所示,每一年份的國情數(shù)據(jù)都包括9種數(shù)據(jù)類型[10]。

(3) 接口層:提供功能組件和服務接口,具有靈活性好、使用方便、效率高等特點。

(4) 應用層:通過可視化的操作界面實現(xiàn)多年份數(shù)據(jù)時空化建庫,多時相數(shù)據(jù)入庫質(zhì)檢、預處理、數(shù)據(jù)入庫、瀏覽、查詢、提取、專題圖制作,以及地理國情監(jiān)測數(shù)據(jù)變化信息統(tǒng)計等。

1.3 系統(tǒng)功能設(shè)計

系統(tǒng)功能設(shè)計以完成山東省地理國情監(jiān)測數(shù)據(jù)的入庫、管理及分析應用為目標,主要由地理國情監(jiān)測數(shù)據(jù)入庫質(zhì)檢、預處理、數(shù)據(jù)庫集成管理和變化統(tǒng)計分析四個子系統(tǒng)組成。

1.3.1入庫質(zhì)檢工具

在進行預處理和數(shù)據(jù)入庫前,需要對可能影響入庫的數(shù)據(jù)問題進行檢查,對數(shù)據(jù)的組織結(jié)構(gòu)、拓撲正確性、邏輯結(jié)構(gòu)是否合理、空間參考是否符合要求、實體構(gòu)建是否正確性等進行檢查,有些問題會嚴重影響數(shù)據(jù)入庫,對于查出的問題需要利用軟件結(jié)合人工進行數(shù)據(jù)修改。入庫質(zhì)檢工具實現(xiàn)了上述檢查內(nèi)容的自動化,功能模塊如圖2所示。

圖2 入庫檢查工具功能模塊構(gòu)成

1.3.2預處理工具

為了便于進行統(tǒng)計分析和時空數(shù)據(jù)管理,還需要進行一系列的數(shù)據(jù)處理才能進行地理國情監(jiān)測數(shù)據(jù)的入庫工作。根據(jù)國情監(jiān)測數(shù)據(jù)特點,預處理工具提供了數(shù)據(jù)結(jié)構(gòu)調(diào)整、要素對象化編碼更新處理、要素完整化更新處理、網(wǎng)絡(luò)數(shù)據(jù)更新處理、建庫字段賦值處理、要素修復處理、變化信息提取等功能。功能模塊如圖3所示。

圖3 預處理工具功能模塊構(gòu)成

1.3.3數(shù)據(jù)庫集成管理系統(tǒng)

數(shù)據(jù)庫集成管理系統(tǒng)用來實現(xiàn)多年份地理國情監(jiān)測成果數(shù)據(jù)、統(tǒng)計分析成果數(shù)據(jù)、專題數(shù)據(jù)的集中入庫、瀏覽、查詢檢索、專題制圖和數(shù)據(jù)提取等[14],達到多年份地理國情監(jiān)測數(shù)據(jù)一體化存儲和管理目的。功能模塊如圖4所示。

圖4 數(shù)據(jù)庫集成管理系統(tǒng)功能模塊構(gòu)成

1.3.4變化統(tǒng)計分析系統(tǒng)

變化統(tǒng)計分析系統(tǒng)將監(jiān)測區(qū)域內(nèi)不同年份的數(shù)據(jù)進行對比,快速發(fā)現(xiàn)它們之間的差異,監(jiān)測地理國情數(shù)據(jù)要素級、地類級變化情況。實現(xiàn)變化統(tǒng)計、圖表制作、報表制作、圖件制作、報告制作等的自動化。功能模塊如圖5所示。

圖5 變化統(tǒng)計分析系統(tǒng)功能模塊構(gòu)成

1.4 時空數(shù)據(jù)庫設(shè)計

1.4.1邏輯結(jié)構(gòu)設(shè)計

地理國情時空數(shù)據(jù)庫基于Oracle Spatial進行構(gòu)建,數(shù)據(jù)庫中分為矢量數(shù)據(jù)集(Feature Dataset)、柵格數(shù)據(jù)集(Raster Dataset)、表格數(shù)據(jù)(Table)、文檔數(shù)據(jù)(Document)等形式進行存儲和管理[14]。其中矢量數(shù)據(jù)集包括地表覆蓋數(shù)據(jù)(LCRA圖層)和地理國情要素數(shù)據(jù)的9個數(shù)據(jù)集;柵格數(shù)據(jù)包括數(shù)字高程模型(DEM)、坡度和坡向等衍生數(shù)據(jù)、地表覆蓋柵格化數(shù)據(jù)、正射影像數(shù)據(jù)(DOM)等5類數(shù)據(jù)[5];表格數(shù)據(jù)包括解譯樣本表格數(shù)據(jù)、基本統(tǒng)計數(shù)據(jù)、軟件系統(tǒng)業(yè)務管理數(shù)據(jù)等;文檔數(shù)據(jù)包括遙感影像解譯樣本照片及影像示例數(shù)據(jù)[6],技術(shù)設(shè)計、技術(shù)規(guī)定、技術(shù)總結(jié)等相關(guān)技術(shù)文檔數(shù)據(jù)。矢量數(shù)據(jù)集和柵格數(shù)據(jù)集用來存儲空間數(shù)據(jù),采用Geodatabase模型進行存儲,空間參考使用CGCS2000國家大地坐標系。數(shù)據(jù)庫總體邏輯結(jié)構(gòu)如圖6所示。

圖6 數(shù)據(jù)庫總體邏輯結(jié)構(gòu)

1.4.2表空間設(shè)計

地理國情數(shù)據(jù)庫使用表空間進行管理,表空間中采用小數(shù)據(jù)文件,在空間不足時允許數(shù)據(jù)文件的自動增加。這種方式特別適合管理海量數(shù)據(jù),也便于進行數(shù)據(jù)庫的備份和遷移。根據(jù)數(shù)據(jù)庫的邏輯設(shè)計和每種數(shù)據(jù)的特點,如表1所示,將地理國情監(jiān)測時空數(shù)據(jù)庫劃分為7類表空間[5]。上述7類表空間按年份建立各自表空間,入庫之前根據(jù)當年國情監(jiān)測數(shù)據(jù)的圖層劃分、屬性特征及地類編碼建立入庫模板,在數(shù)據(jù)入庫后通過版本注冊的方式建立各年份之間的圖層關(guān)聯(lián)。通過上述操作不僅實現(xiàn)了各期數(shù)據(jù)獨立存儲和時空一體化管理,還解決了不同年份數(shù)據(jù)標準不完全一致的問題。

表1 數(shù)據(jù)庫表空間設(shè)計

2 關(guān)鍵技術(shù)研究

(1) 地理國情監(jiān)測時空數(shù)據(jù)管理技術(shù)。本文結(jié)合地理國情數(shù)據(jù)特點,建立集多基態(tài)、變化信息與歷史變化量于一體的地理國情時空數(shù)據(jù)模型,實現(xiàn)對多時態(tài)數(shù)據(jù)的集成管理。如圖7所示,該模型將版本數(shù)據(jù)與變化數(shù)據(jù)同時入庫。以2015年地理國情普查數(shù)據(jù)作為初始版本數(shù)據(jù),以最新一年的基礎(chǔ)性監(jiān)測成果數(shù)據(jù)作為最新基態(tài)數(shù)據(jù),其他年份監(jiān)測數(shù)據(jù)作為歷史基態(tài),增量更新數(shù)據(jù)(變化數(shù)據(jù))為歷史變化量,基態(tài)數(shù)據(jù)層存儲整個范圍數(shù)據(jù),變化數(shù)據(jù)層僅存儲較上一基態(tài)的變化數(shù)據(jù)。最新基態(tài)數(shù)據(jù)作為現(xiàn)狀數(shù)據(jù)庫,歷史基態(tài)和變化數(shù)據(jù)作為歷史數(shù)據(jù)庫,按照基態(tài)和增量更新數(shù)據(jù)(歷史變化量)回溯地理國情歷史數(shù)據(jù),現(xiàn)狀數(shù)據(jù)和歷史數(shù)據(jù)相對獨立存儲,既滿足了地理國情現(xiàn)狀數(shù)據(jù)的高效查詢應用,也保證了歷史數(shù)據(jù)的快速回溯、查詢。如果數(shù)據(jù)標準增加了新的圖層,例如2018年新增加了收費停車場圖層(V_PRKP),則將2018年的該圖層設(shè)為初始版本數(shù)據(jù)。

圖7 時空數(shù)據(jù)模型

(2) 柵格數(shù)據(jù)動態(tài)鑲嵌與管理技術(shù)。如圖8所示,該技術(shù)將影像數(shù)據(jù)的元數(shù)據(jù)、影像編目、影像范圍線、鑲嵌線、影像實時處理的一些設(shè)置參數(shù)存儲在數(shù)據(jù)庫中;將各種不同傳感器、分辨率、坐標系統(tǒng)的影像數(shù)據(jù)文件及各影像金字塔文件,在存儲設(shè)備中管理。在地圖窗口中顯示時,將邊界線、輪廓線和影像組合顯示。通過ArcGIS鑲嵌數(shù)據(jù)集進行存儲管理,在數(shù)據(jù)庫中只建立影像的索引,影像文件仍采用文件形式進行存儲。同時,為了提升瀏覽過程中影像顯示速度,通過原始影像的抽取逐級創(chuàng)建鑲嵌數(shù)據(jù)集的概視圖和金字塔。

圖8 動態(tài)鑲嵌模型

(3) 基于數(shù)據(jù)庫驅(qū)動的地理國情快速圖件制作技術(shù)。本研究通過建立數(shù)據(jù)庫表、統(tǒng)計計算指標及圖件成果之間的業(yè)務關(guān)聯(lián),實現(xiàn)圖件制作與數(shù)據(jù)庫的聯(lián)動,通過“數(shù)據(jù)源-模板-成果”關(guān)聯(lián)模型、報告成果模板化、統(tǒng)計成果的一鍵式輸出等技術(shù)實現(xiàn)統(tǒng)計分析報告中圖件成果的自動生成。如圖9所示,系統(tǒng)通過建立一套完善的統(tǒng)計分析成果關(guān)聯(lián)模型,將統(tǒng)計數(shù)據(jù)源、統(tǒng)計成果模板和統(tǒng)計成果之間的關(guān)聯(lián)關(guān)系固定下來。同時將統(tǒng)計分析報告中圖件、文字、表格等的數(shù)據(jù)獲取條件,通過可配置界面保存到統(tǒng)計分析報告模板中。通過該模型可實現(xiàn)統(tǒng)計數(shù)據(jù)源與報告中圖件、文字、表格內(nèi)容的聯(lián)動更新和一鍵化輸出。

圖9 “數(shù)據(jù)源-模板-成果”關(guān)聯(lián)模型

3 系統(tǒng)實現(xiàn)

3.1 系統(tǒng)開發(fā)環(huán)境

四個子系統(tǒng)均采用C/S架構(gòu),采用VS2012作為開發(fā)環(huán)境,基于Arcobjects提供的組件進行二次開發(fā)。數(shù)據(jù)庫集成管理系統(tǒng)和變化統(tǒng)計分析系統(tǒng)采用Oracle11g作為數(shù)據(jù)庫管理平臺。

3.2 系統(tǒng)功能實現(xiàn)

3.2.1入庫檢查工具

入庫質(zhì)檢工具以檢查任務為中心、質(zhì)檢方案為驅(qū)動實現(xiàn)匯交目錄和各類匯交成果的自動檢查,主要檢查內(nèi)容包括文件與結(jié)構(gòu)一致性檢查、屬性項值域正確性檢查、拓撲正確性檢查、網(wǎng)絡(luò)數(shù)據(jù)連通性檢查、道路連通性檢查等,保證數(shù)據(jù)入庫質(zhì)量。系統(tǒng)運行界面如圖10所示。

圖10 入庫檢查工具

3.2.2入庫預處理工具

按照數(shù)據(jù)庫技術(shù)設(shè)計建立地理國情監(jiān)測數(shù)據(jù)預處理框架,采用工作流的方式進行投影轉(zhuǎn)換、調(diào)整屬性結(jié)構(gòu)、國情要素實體化處理、元數(shù)據(jù)合并處理、解譯樣本圖層生成等,預處理后的數(shù)據(jù)符合建庫和變化統(tǒng)計分析的要求。該工具實現(xiàn)了數(shù)據(jù)處理的自動化批量操作。系統(tǒng)運行界面如圖11所示。

圖11 入庫預處理工具

3.2.3數(shù)據(jù)庫集成管理系統(tǒng)

數(shù)據(jù)庫集成管理系統(tǒng)通過構(gòu)建時空數(shù)據(jù)模型并利用時間軸進行時空數(shù)據(jù)的顯示,通過矢量切片技術(shù)和柵格數(shù)據(jù)動態(tài)鑲嵌與管理技術(shù)實現(xiàn)了對多年份地理國情數(shù)據(jù)、基本統(tǒng)計分析數(shù)據(jù)、行業(yè)專題數(shù)據(jù)的集中入庫、高效瀏覽、查詢檢索、專題制圖和數(shù)據(jù)提取、數(shù)據(jù)版本注冊等,達到了多年份監(jiān)測數(shù)據(jù)集成存儲和管理的目的。系統(tǒng)運行界面如圖12、圖13所示。

圖12 數(shù)據(jù)庫集成管理系統(tǒng)

圖13 版本注冊界面

3.2.4變化統(tǒng)計分析系統(tǒng)

變化統(tǒng)計分析系統(tǒng)采用空間統(tǒng)計、任務并行等方法,實時統(tǒng)計圖斑的長度和面積,數(shù)據(jù)查詢效率得到大幅提升,實現(xiàn)了實時統(tǒng)計分析。通過基于數(shù)據(jù)庫驅(qū)動的地理國情快速圖件制作技術(shù)(見圖9)實現(xiàn)了圖表、報表、圖件、報告等的快速生成。系統(tǒng)運行界面如圖14所示。

圖14 監(jiān)測成果變化統(tǒng)計系統(tǒng)

3.3 實際應用效果

利用該系統(tǒng)完成了山東省全省五期地理國情數(shù)據(jù)的入庫工作,構(gòu)建了地理國情時空數(shù)據(jù)庫,經(jīng)驗證系統(tǒng)能夠完成多版本海量數(shù)據(jù)(數(shù)據(jù)量39.5 TB)的數(shù)據(jù)入庫及管理工作。另外,挑選臨沂市作為實驗區(qū)進行了變化統(tǒng)計,完成一個縣的變化統(tǒng)計分析報告僅需十分鐘左右,系統(tǒng)建設(shè)前人工編寫需要10人/天左右。經(jīng)驗證系統(tǒng)穩(wěn)定可靠,實現(xiàn)了標準有差異的地理國情監(jiān)測數(shù)據(jù)的時空數(shù)據(jù)一體化管理和高效變化統(tǒng)計分析的目標。

4 結(jié) 語

本文根據(jù)山東省五期地理國情數(shù)據(jù)的特點,設(shè)計時空數(shù)據(jù)模型和數(shù)據(jù)庫,搭建用于實現(xiàn)地理國情數(shù)據(jù)管理的軟件系統(tǒng),使山東省具備了對標準有差異的多期地理國情監(jiān)測數(shù)據(jù)的統(tǒng)一管理和地理國情信息的快速統(tǒng)計及報告制作能力。本文大幅提升了山東省地理國情數(shù)據(jù)的管理能力和應用水平,能夠為山東省區(qū)域變化監(jiān)測、發(fā)展規(guī)劃制定、新舊動能轉(zhuǎn)換等提供科學依據(jù)和技術(shù)支撐。