董晶
(遼寧省自然資源事務(wù)服務(wù)中心,遼寧 沈陽 110032)
2013至2015年,國(guó)務(wù)院開展了第一次全國(guó)地理國(guó)情普查工作,要求各省基于地理國(guó)情普查成果數(shù)據(jù),依據(jù)統(tǒng)一的規(guī)范和標(biāo)準(zhǔn)建立完整的、空間連續(xù)、主要要素時(shí)點(diǎn)統(tǒng)一的省級(jí)地理國(guó)情普查數(shù)據(jù)庫,并設(shè)計(jì)開發(fā)地理國(guó)情普查數(shù)據(jù)庫管理和應(yīng)用服務(wù)系統(tǒng)。
根據(jù)遼寧省地理國(guó)情普查工作的實(shí)際情況,論述省級(jí)地理國(guó)情普查數(shù)據(jù)庫的建設(shè)目標(biāo)、關(guān)鍵技術(shù)、邏輯設(shè)計(jì)、功能設(shè)計(jì)、數(shù)據(jù)庫運(yùn)行環(huán)境等幾個(gè)方面。
地理國(guó)情普查數(shù)據(jù)由各省和國(guó)家分別建庫,各省完成的普查數(shù)據(jù)在開展初步建庫(主要是數(shù)據(jù)預(yù)處理)工作后匯交到國(guó)普辦進(jìn)一步構(gòu)建全國(guó)數(shù)據(jù)庫。因此,在設(shè)計(jì)省級(jí)地理國(guó)情普查數(shù)據(jù)庫時(shí),要滿足國(guó)家的一些基本要求。
(1)省級(jí)地理國(guó)情普查數(shù)據(jù)建庫應(yīng)參考《第一次全國(guó)地理國(guó)情普查數(shù)據(jù)庫建設(shè)技術(shù)設(shè)計(jì)》,并根據(jù)本省普查實(shí)際情況制定相應(yīng)的地理國(guó)情普查數(shù)據(jù)庫設(shè)計(jì)方案。
(2)省級(jí)地理國(guó)情普查數(shù)據(jù)庫僅覆蓋本省范圍。除包含全國(guó)數(shù)據(jù)庫規(guī)定的數(shù)據(jù)集、數(shù)據(jù)層和數(shù)據(jù)表外,還應(yīng)包含各省擴(kuò)展的省情普查數(shù)據(jù)成果和相關(guān)專題數(shù)據(jù)。
(3)省級(jí)地理國(guó)情普查數(shù)據(jù)庫應(yīng)設(shè)計(jì)各要素層的增量格式,同時(shí)設(shè)計(jì)數(shù)據(jù)庫的生成增量功能以實(shí)現(xiàn)地表覆蓋和地理國(guó)情要素?cái)?shù)據(jù)從省級(jí)數(shù)據(jù)庫到全國(guó)數(shù)據(jù)庫的增量更新。
(4)省級(jí)地理國(guó)情普查數(shù)據(jù)庫管理與分析系統(tǒng)、數(shù)據(jù)庫運(yùn)行環(huán)境等根據(jù)本省實(shí)際情況、參考全國(guó)數(shù)據(jù)庫進(jìn)行設(shè)計(jì)和選擇。
(5)各省數(shù)據(jù)庫與全國(guó)庫保持?jǐn)?shù)據(jù)一致,因此,應(yīng)統(tǒng)一下發(fā)或開發(fā)數(shù)據(jù)入庫檢查工具和預(yù)處理工具。
利用數(shù)據(jù)庫、地理信息系統(tǒng)、虛擬化、云存儲(chǔ)和并行計(jì)算等技術(shù),設(shè)計(jì)地理國(guó)情普查數(shù)據(jù)建庫與更新的技術(shù)路線與工藝流程,完成地理國(guó)情普查各類成果數(shù)據(jù)的對(duì)象化建模與集成建庫,并構(gòu)建地理國(guó)情普查數(shù)據(jù)庫管理與應(yīng)用服務(wù)系統(tǒng),在涉密生產(chǎn)網(wǎng)絡(luò)環(huán)境下,實(shí)現(xiàn)地理國(guó)情普查成果數(shù)據(jù)集成管理、快速制圖、成果應(yīng)用服務(wù)、數(shù)據(jù)庫更新維護(hù)、綜合統(tǒng)計(jì)分析等方面的功能。
矢量數(shù)據(jù)如地表覆蓋矢量數(shù)據(jù)、地理國(guó)情要素?cái)?shù)據(jù)以要素為單位進(jìn)行更新。為提高數(shù)據(jù)庫統(tǒng)計(jì)分析的效率,當(dāng)前數(shù)據(jù)與歷史數(shù)據(jù)分開存放,即分為當(dāng)前空間數(shù)據(jù)庫和歷史空間數(shù)據(jù)庫。在當(dāng)前數(shù)據(jù)庫中存儲(chǔ)圖層的最新基態(tài)數(shù)據(jù),而在歷史數(shù)據(jù)庫中則保存圖層的歷史基態(tài)數(shù)據(jù)序列。
數(shù)據(jù)更新插件安裝在內(nèi)業(yè)作業(yè)人員的機(jī)器上,基于ArcMap開發(fā),操作對(duì)象為從數(shù)據(jù)庫更新維護(hù)子系統(tǒng)中提取出來用于更新的數(shù)據(jù)包。具體的更新操作依靠ArcMap的現(xiàn)有編輯功能完成,插件只做對(duì)變更狀態(tài)(增、刪、改)進(jìn)行監(jiān)控和保存,同時(shí)提供導(dǎo)出增量更新包的功能。
云存儲(chǔ)架構(gòu)可以針對(duì)非結(jié)構(gòu)化數(shù)據(jù)提供專有的數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)保護(hù)機(jī)制??梢詫?shí)現(xiàn)數(shù)據(jù)量和性能成正比增長(zhǎng),并針對(duì)海量地理信息數(shù)據(jù)無法備份保護(hù)的特點(diǎn),提供節(jié)點(diǎn)間的RAID保護(hù)功能,實(shí)現(xiàn)節(jié)點(diǎn)損壞業(yè)務(wù)不停、數(shù)據(jù)不丟失。
在實(shí)際工作中,遼寧省地理國(guó)情普查數(shù)據(jù)庫基于ORACLE 11g與ArcSDE環(huán)境下的GeoDatabase模型進(jìn)行邏輯設(shè)計(jì),數(shù)據(jù)庫中數(shù)據(jù)分矢量數(shù)據(jù)集、柵格數(shù)據(jù)集、普通表格、文檔數(shù)據(jù)等幾種形式進(jìn)行管理??臻g數(shù)據(jù)以ST-Geometry格式保存在Oracle數(shù)據(jù)庫中,統(tǒng)計(jì)分析采用Hadoop+Hive分布式計(jì)算框架,文檔數(shù)據(jù)采用NAS形式存儲(chǔ)(圖1)。
為方便數(shù)據(jù)庫更新維護(hù),系統(tǒng)需要具備數(shù)據(jù)入庫、路網(wǎng)與水網(wǎng)構(gòu)建、數(shù)據(jù)分發(fā)處理、數(shù)據(jù)交換、歷史數(shù)據(jù)管理、變化發(fā)現(xiàn)與對(duì)比分析和發(fā)布數(shù)據(jù)處理等功能。
系統(tǒng)最基本的需求是各種成果數(shù)據(jù)集成管理與顯示,為此需要在建庫環(huán)境下開發(fā)對(duì)地理國(guó)情空間數(shù)據(jù)和非空間數(shù)據(jù)的資源管理、集成顯示與查詢檢索等方面功能。
地理國(guó)情普查的重要應(yīng)用之一就是以專題圖圖件的形式對(duì)外展示成果,需要一套以普查成果數(shù)據(jù)庫為核心的圖庫一體化的方法,快速批量生產(chǎn)出符合普查成果制圖要求的系統(tǒng),形成省、市、縣各級(jí)區(qū)域范圍的制圖成果。
基于地理國(guó)情普查數(shù)據(jù),深度融合其它專業(yè)部門普查(調(diào)查)數(shù)據(jù)和經(jīng)濟(jì)社會(huì)統(tǒng)計(jì)數(shù)據(jù),從資源分布與利用、生態(tài)協(xié)調(diào)性、基本服務(wù)均等化、區(qū)域經(jīng)濟(jì)潛能、城鎮(zhèn)發(fā)展等5個(gè)方面進(jìn)行統(tǒng)計(jì)分析。
該系統(tǒng)基于天地圖·遼寧地圖網(wǎng)站,提供地理國(guó)情普查成果數(shù)據(jù)的展示以及統(tǒng)計(jì)成果的在線服務(wù),包括普查成果及統(tǒng)計(jì)成果數(shù)據(jù)的無縫、快速瀏覽顯示、查詢檢索、統(tǒng)計(jì)成果下載等方面的在線服務(wù)功能。系統(tǒng)采用B/S結(jié)構(gòu)開發(fā),要求反應(yīng)速度快,操作方便。
圖1 數(shù)據(jù)庫總體邏輯結(jié)構(gòu)
省級(jí)地理國(guó)情普查數(shù)據(jù)庫系統(tǒng)平臺(tái)應(yīng)采用基于虛擬化的GIS部署模式,通過虛擬化管理軟件將計(jì)算資源、網(wǎng)絡(luò)資源、存儲(chǔ)資源等虛擬化,構(gòu)建數(shù)據(jù)庫服務(wù)器集群、GIS服務(wù)器集群等提供系統(tǒng)運(yùn)行所需服務(wù)器和存儲(chǔ)環(huán)境,具有高性能、高可靠性、高可靠擴(kuò)展力等特點(diǎn)(圖2)。
圖2 物理連接拓?fù)涫疽鈭D
兩臺(tái)數(shù)據(jù)庫服務(wù)器雙機(jī)部署數(shù)據(jù)庫軟件(Oracle),以增加普查數(shù)據(jù)庫的容災(zāi)能力。利用備份一體機(jī)的備份機(jī)制定期備份普查數(shù)據(jù)庫和歷史數(shù)據(jù)庫,保障普查成果安全。基于涉密生產(chǎn)網(wǎng)絡(luò),GIS服務(wù)器通過ArcGIS Server提供普查數(shù)據(jù)訪問接口,三臺(tái)GIS服務(wù)器負(fù)載均衡,確保各個(gè)部門對(duì)數(shù)據(jù)的訪問得到及時(shí)快速的響應(yīng)。
采用FC-SAN結(jié)構(gòu)存儲(chǔ),滿足基于關(guān)系型數(shù)據(jù)庫的結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)、Oracle高可用性部署的需要,采用云架構(gòu)NAS存儲(chǔ),滿足基于文件系統(tǒng)的非結(jié)構(gòu)化數(shù)據(jù)的訪問需求。
地理國(guó)情普查數(shù)據(jù)真實(shí)反映地表植被覆蓋、地形地貌、水域分布、交通網(wǎng)絡(luò)、居民地與設(shè)施等,以及國(guó)情要素的分布情況。但是與基礎(chǔ)地理信息數(shù)據(jù)庫相比,地理國(guó)情普查數(shù)據(jù)庫有幾個(gè)特點(diǎn),一是國(guó)家?guī)炫c省級(jí)庫要保持一致,相互之間要設(shè)計(jì)數(shù)據(jù)接口,并且強(qiáng)制進(jìn)行增量更新,這也要求數(shù)據(jù)生產(chǎn)和質(zhì)檢單位今后要改變作業(yè)方式和質(zhì)檢方式;二是基于普查數(shù)據(jù)庫開展統(tǒng)計(jì)分析工作,目前設(shè)計(jì)的統(tǒng)計(jì)分析功能只是粗淺的嘗試,需要進(jìn)一步地研究提煉;三是要將當(dāng)前數(shù)據(jù)與歷史數(shù)據(jù)分開存放,形成當(dāng)前空間數(shù)據(jù)庫和歷史空間數(shù)據(jù)庫;四是如果有條件,運(yùn)行環(huán)境可采用云存儲(chǔ)方式。目前,遼寧省地理國(guó)情普查數(shù)據(jù)庫建設(shè)已進(jìn)入實(shí)施階段,在建設(shè)過程中還會(huì)遇到設(shè)計(jì)中沒有考慮到的技術(shù)問題,應(yīng)逐步加以解決。