國土資源大數據上云高效運行體系及關鍵技術研究
——以山東省為例

安國強，仲陽，吳建廷，孔維劍，秦曉敏，許霄霄，陳龍飛

(1.山東省土地調查規(guī)劃院，山東 濟南 250014；2.山東師范大學地理與環(huán)境學院，山東 濟南 250038；3.山東省自然資源廳, 山東 濟南 250014； 4.山東省國土空間數據和遙感技術中心, 山東 濟南 250014；5.汶上縣自然資源和規(guī)劃局, 山東 汶上 272500)

0 引言

大數據為政府用戶、企業(yè)用戶與個人用戶提供前所未有的應用價值和服務能力[1]，自然資源統(tǒng)籌是當代自然資源信息化建設的基礎與核心工作[2]。國土資源大數據總量龐大，上云運行效率不僅是國土資源信息整合共享的瓶頸問題，也是一個新時代大數據應用的科學問題，是優(yōu)化國土資源配置[3]，提高國土空間治理能力現(xiàn)代化水平的重要體現(xiàn)。國土資源大數據上云屬于數字地球概念的范疇，采用數字化的手段解決地球問題，最大限度地利用現(xiàn)有信息資源[4]。

國際上對于數字地球、云數據、數據源[5-7]等大數據的概念、理論與關鍵技術的研究較為多見，國內學者在實踐[8-9]的基礎上，研究了國土資源大數據的內涵、研究現(xiàn)狀[10]及國土資源相關系統(tǒng)平臺的建設目標任務[11]、構架體系[12]、平臺搭建及數據清理等相關技術[13-14]，為國土資源大數據應用[15]和共享提供了總體建設思路和框架[16]。然而針對提高國土資源大數據傳輸、顯示、查詢及分析效率的體系構建及關鍵技術的深化研究尚不多見。該研究以山東省國土資源大數據上云系統(tǒng)建設實踐為基礎，深入剖析保障國土資源大數據高效運行體系和提高效率的關鍵技術。從國土資源大數據管理的功能設計、數據組織、硬件配置、拓撲結構4個方面創(chuàng)建了提高數據上云系統(tǒng)運行效率的方法體系，有效提高了數據顯示、管理、查詢、分析的速度和處理能力，為同類國土資源管理信息系統(tǒng)的建設提供參考。

1 理論框架及系統(tǒng)結構

1.1 理論框架

數據是國家基礎性戰(zhàn)略資源[17]，實現(xiàn)國土資源大數據上云，是全國自然資源部門動態(tài)掌控自然資源，完善資源監(jiān)管和智能服務技術支撐體系的重要信息化手段[18-20]，國土資源大數據的應用為我國自然資源的優(yōu)化發(fā)展帶來極大的便利[14]。提升國土資源大數據系統(tǒng)應用的效率，需要從系統(tǒng)的硬件配置、功能設計、數據組織和拓撲結構等4個方面進行創(chuàng)新研究，形成國土資源大數據系統(tǒng)高效運行的方法理論體系(圖1)。

圖1 國土資源大數據高效運行體系理論框架圖示

硬件配置是通過網絡、服務器、交換機等硬件設備，搭建國土資源大數據高效運行體系的物理環(huán)境。功能設計是通過技術創(chuàng)新、GIS技術等先進技術，實現(xiàn)矢量、柵格等數據管理、查詢、分析等功能的效率提高。數據組織是通過對不同格式的數據進行統(tǒng)一管理，采用行政區(qū)、年度、比例尺等數據組織目錄進行數據的整理歸檔，實現(xiàn)數據的快速調閱瀏覽分析等。拓撲結構是指服務器環(huán)境、系統(tǒng)運行存儲結構、網絡結構，通過有效合理的拓撲方式進行組織建設，保證國土資源大數據上云系統(tǒng)的高效運行。

1.2 系統(tǒng)架構

國土資源大數據上云系統(tǒng)整合各類國土資源數據，實現(xiàn)分層疊加顯示、查詢與瀏覽、分析與數據挖掘等功能，能夠與其他業(yè)務系統(tǒng)實現(xiàn)對接，支撐對數據庫進行的管理和輔助決策，提供對外服務。系統(tǒng)采用懸浮倒掛式平臺，和粗粒度、松耦合面向服務的體系架構(SOA，Service-Oriented Architecture)，把各服務之間通過定義良好的接口和契約聯(lián)系起來。SOA架構下的系統(tǒng)易于擴展，能夠適應不斷變化的國土資源管理業(yè)務及大數據上云的需求，使開發(fā)者可將更多的精力轉移到專業(yè)服務上，形成統(tǒng)一的技術框架和運行環(huán)境，實現(xiàn)應用系統(tǒng)的快速搭建和靈活調整，為系統(tǒng)功能設計、數據組織、軟件環(huán)境、系統(tǒng)拓撲結構的整合提供了優(yōu)越的條件，也為充分發(fā)揮各個子系統(tǒng)的特定功能奠定了基礎。

2 高效運行體系

2.1 功能設計

2.1.1 數據推送與接口調用

近年來，隨著計算機技術的快速發(fā)展，國土資源有關數據日積月累，不斷龐大，涵蓋了國土資源管理的各個業(yè)務，包括遙感影像、矢量地圖、屬性數據、掃描檔案、業(yè)務要件等多種類型[20-21]，是國家空間數據基礎建設的重要性組成部分，數據總量可達PB級。提高國土資源大數據利用效率，推進國土資源數據與政府部門的共享服務，有利于提升政府的服務能力和綜合效能[21]。山東省國土資源大數據上云系統(tǒng)可通過數據推送與接口調用實現(xiàn)數據的共享交換，與各部門數據互通互聯(lián)，共同融入全省政務云。

2.1.2 數據編輯、查詢與分析

上云系統(tǒng)提供多種工具實現(xiàn)對簡單要素類、注記類、對象類等空間數據和屬性數據的調閱和修改。提供對柵格數據分析與處理功能，包括：圖像變換、多波段遙感圖像處理、正態(tài)分布統(tǒng)計、多元統(tǒng)計、圖像數據和矢量數據的配準迭合、影像庫管理。支持修改屬性結構、屬性值；實現(xiàn)對屬性數據的導出；提供靈活的屬性數據批量處理工具。

數據查詢主要包括分類查詢和條件查詢。分類查詢是指在統(tǒng)一的操作界面下，通過人機交互查詢各類國土資源專題數據信息，如宗地的基本信息、界址點信息、界址線信息、土地利用現(xiàn)狀信息、基本農田信息、基礎地理要素信息等。條件查詢是指根據用戶自定義條件查看相應的空間圖形或屬性信息。

數據分析以Hilbert曲線作為空間聚集的典型劃分算法,從統(tǒng)計學的角度，將空間上具有相似性質的對象聚類，將聚類結果整體加入并行節(jié)點。通過大量實驗對比分析，這種方法相比傳統(tǒng)的方法更具有明顯的優(yōu)勢，適合海量國土資源空間數據運算需求。采用多節(jié)點并行計算鎖，利用分布式數據存儲的模型，結合空間并行計算框架，實現(xiàn)任務的多節(jié)點調度和對結果的合并處理，大幅提升了分析的效率。數據分析主要包括：數據裁切分析、疊加分析、緩沖區(qū)分析等地理信息系統(tǒng)分析功能。對于十萬級別以下數據量的疊加分析采用多核并行處理策略。

2.1.3 數據遷移與轉換

支持不同數據庫之間、不同服務器之間的數據遷移。支持單個文件的遷移和整體數據庫的遷移。數據遷移工作在GDB企業(yè)管理器中完成。提供不同格式數據之間的轉換。如SHAPE、DXF、E00等類型數據之間的相互轉換，其操作界面友好、簡潔、通俗，并提供轉換日志查看轉換過程是否正常。

2.2 數據組織

國土資源大數據上云系統(tǒng)數據構成十分復雜，從區(qū)域方面看，有村級、鄉(xiāng)鎮(zhèn)級、縣(市、區(qū))級、市級和省級5個層級，從業(yè)務角度有土地規(guī)劃數據、土地調查數據、土地評價數據、土地開發(fā)整理數據、遙感數據，從數據作用來看有空間數據、非空間數據、文字報告、現(xiàn)場調查記錄、實景照片等，還有柵格數據、矢量數據和屬性數據，從存儲格式上來看包括國內外常用GIS軟件所支持的矢量數據(如：DWG，DXF，E00，Shape，Coverage，Geodatabase，Mid，Mif，MapGIS6X，MapGIS K9等)和國內外常用遙感影像處理軟件所支持的柵格數據(如：TIFF，CEOS，HDF，RAW，TIF，GIF，JPG，MSI，PIX，IMG，ENVI等)，非空間數據包括各種文檔(如：pdf，bmp，xml，html等)和表格數據(如：Access，SQLServer，Oracle)等。山東省國土資源大數據上云系統(tǒng)，通過創(chuàng)新模式，實現(xiàn)了多種數據的共生性、多重性等關系表達，實現(xiàn)了基于行政級別、行政區(qū)劃、年度、比例尺、專題數據等多主題集中管理，大幅提高了系統(tǒng)運行的效率，為全省國土資源利用決策提供科學有效的支持。

2.3 硬件環(huán)境

服務器虛擬化架構設計是服務器虛擬化技術運用的核心，直接決定了整個服務器資源體系對應用系統(tǒng)的承載能力、運行效率以及可靠性。計算機資源池由機架式X86服務器構成，服務器通過虛擬化部署一般業(yè)務系統(tǒng)和web應用系統(tǒng)。以虛擬技術為頂層架構，基于高端八路服務器、小型機、磁盤陣列、光纖交換機、核心交換機等設備，搭建支持國土資源大數據上云系統(tǒng)高效運行的物理平臺。服務器虛擬化技術科學解決了傳統(tǒng)服務器系統(tǒng)建設的問題。通過提高物理服務器利用率大幅度消減物理服務器購置需求、數量和運營成本；通過利用服務器虛擬化中CPU、內存、IO資源的動態(tài)調整能力實現(xiàn)對業(yè)務應用資源需求的動態(tài)響應，提升業(yè)務應用的服務質量；通過在線虛擬機遷移實現(xiàn)更高的可用性和可靠性以及各種基于資源優(yōu)化或節(jié)能減排策略的跨物理服務器的調度。

2.4 拓撲結構

系統(tǒng)是以計算機軟硬件環(huán)境、MapGIS集成開發(fā)平臺與網絡通信技術為依托，以信息化標準規(guī)范體系和數據交換體系為結構，以土地資源基礎類、管理類、專業(yè)類、文檔資料、元數據等各類核心數據庫為基礎，通過建設國土資源行業(yè)模型管理層，建立基于共享服務平臺的國土資源專業(yè)數據服務體系和數據集，最終形成以數據和服務為支撐，面向共享服務平臺的國土資源數據管理體系。系統(tǒng)拓撲框架從下到上分為運行支撐層、體系結構層、核心數據層、模型管理層、共享服務層和應用層6個層次(圖2)。

運行支撐層為硬件、軟件和網絡基礎設施，以MapGIS集成開發(fā)平臺作為基礎支撐環(huán)境。體系架構層則由標準體系和交換體系共同構成，標準體系包括數據規(guī)范、服務規(guī)范和應用規(guī)范；交換體系包括數據、應用和服務的綜合交換。核心數據層則由數據元數據庫、基礎類數據庫、專業(yè)類數據庫、管理類數據庫、文檔資料數據庫，以及支撐系統(tǒng)本身的系統(tǒng)元數據庫。模型管理層是基于核心數據層提供國土資源模型庫的各項功能。共享服務層是通過共享服務平臺對各類業(yè)務功能需求進行服務封裝，并以數據服務的方式提供給應用層服務支撐。數據服務層包括通用數據服務、專用數據服務和工具集3部分。應用層是利用數據服務層提供的相關服務來開展各項業(yè)務應用。

圖2 國土資源大數據高效運行體系拓撲結構圖

3 提高效率的關鍵技術

3.1 數據處理關鍵技術

高效的數據處理技術是國土資源大數據上云系統(tǒng)成敗的關鍵。對數據的快速裁切、查詢、快速顯示、柵格瓦片、GIS分析等，提供多核、多節(jié)點不同粒度并行策略，全面支撐空間并行計算。例如，對體量較大數據的疊加分析，采用多節(jié)點并行計算鎖，利用分布式數據存儲的模型，結合空間并行計算框架，實現(xiàn)任務的多節(jié)點調度。采用最近最少使用算法(Least Recently Used ，LRU)管理空間瓦片裁剪緩存和矢量數據預處理技術，可以達到減少顯示數據量的同時不影響顯示效果。通過坐標轉換、數據裁剪、減少渲染范圍、多線程、多處理器并發(fā)等手段，提高網絡地圖服務器集群的并行處理能力，可提高數據的顯示速度。

3.2 異構數據集成技術

國土資源數據異構性主要體現(xiàn)在3個層次：語法結構異構性、語義異構性和分布性異構性。采用上云系統(tǒng)GIS中間件技術可有效管理多個數據倉庫，而不改變原有的空間數據模型標準和數據表示方法。將MapGIS數據上載至ORACLE數據庫中，通過MapGIS數據系統(tǒng)發(fā)布標準的OGC服務，方便用戶在ArcGIS環(huán)境下進行數據的調閱。上云系統(tǒng)支持的各種GIS數據中間件主要有如下幾種。

(1)MapGIS中間件。該技術基于統(tǒng)一的空間要素實體模型，設計統(tǒng)一的功能操作接口，根據數據類型在語義上最終分派給某類格式插件進行處理，通過同一訪問接口實現(xiàn)對異構數據的直接編輯。

(2)ArcGIS中間件。把ArcGIS作為MapGIS的數據源，實現(xiàn)在MapGIS環(huán)境下操作ArcGIS的數據。ArcGIS中間件可訪問的數據包括：Shape、Coverage、Personal GDB和SDE GDB。

(3)SDO中間件。把Oracle Spatial作為MapGIS的數據源，實現(xiàn)在MapGIS的環(huán)境下操作Oracle Spatial的數據。

3.3 分布式數據存儲及挖掘技術

空間數據分布式管理的核心基礎是網絡空間數據庫。為了實現(xiàn)空間數據存取的設備無關性、位置無關性，上云系統(tǒng)從軟件結構上，把數據管理功能獨立成一個功能層，所有的數據存取均通過該功能層。在該功能層定義了“研究區(qū)”的概念，并在研究區(qū)的基礎上，定義了對空間實體相關的各種數據進行添加、刪除、更新、檢索、判斷等操作，這些概念和操作通過組件及API函數接口或C++類，暴露給上層程序。

利用空間數據庫引擎(SDE)，將多源國土資源空間數據存放在商業(yè)關系數據庫中管理，既可大大拓展空間數據的容量，又可以利用關系數據庫的海量數據管理、事務處理(Transaction)、記錄鎖定、并發(fā)控制、數據倉庫等功能，使空間數據與非空間數據一體化集成。數據可以存放在網絡服務器或Web服務器，也可以存放在本地。訪問數據時可以不必關心數據的存放位置，用戶可以像操作本地數據一樣去操作網絡數據。

數據倉庫提供聯(lián)機分析處理(OLAP)工具，用于多源異構數據的分析，有利于有效的數據挖掘。數據挖掘由數據選擇、數據清理、數據集成、數據變換、模式評估、知識表示等步驟的迭代序列組成?；跀祿}庫的數據挖掘，綜合了數據挖掘技術和空間數據庫技術，通過空間挖掘實現(xiàn)空間關系與非空間數據關系的發(fā)現(xiàn)，以及空間知識庫的構造、空間數據查詢的優(yōu)化和其他有意義的模式的提??；還可以實現(xiàn)挖掘GIS異構數據的特征規(guī)則、分類規(guī)則和數據聚類。

3.4 海量圖庫管理技術

上云系統(tǒng)擁有海量數據管理能力，其中地形數據以分幅專題層的方式管理；專業(yè)數據以整體專題層的方式管理。不同類數據通過統(tǒng)一坐標下的空間位置疊加形成統(tǒng)一整體。海量地圖庫管理系統(tǒng)在平面上以圖幅為單位來管理各幅地圖，在縱向上以“要素層”來組織各圖幅數據。按這種組織方式，上云系統(tǒng)的海量地圖庫管理系統(tǒng)可以提供給用戶靈活直觀的數據入庫手段、強有力的數據查詢途徑和高效快捷的漫游顯示等功能和特性。上云系統(tǒng)還可以為用戶提供圖幅間接邊功能，以消除相鄰圖幅的接邊誤差，提高對跨圖幅圖元進行整體查詢和歸并檢索輸出的效率。

3.5 搭建式開發(fā)技術

上云系統(tǒng)是從界面表現(xiàn)到數據管理各個層面上實現(xiàn)搭建?？梢暬拇罱ㄅ渲霉芾砗凸ぷ骺臻g管理實現(xiàn)界面表現(xiàn)，工作流管理實現(xiàn)功能邏輯和業(yè)務邏輯的控制，功能倉庫管理提供的功能倉庫系統(tǒng)實現(xiàn)GIS基礎功能和擴展功能服務，數據倉庫系統(tǒng)實現(xiàn)對多源異構的空間數據和非空間數據的集成管理。搭建配置管理是實現(xiàn)基于上云系統(tǒng)搭建C/S和B/S應用系統(tǒng)的集成開發(fā)環(huán)境。集成設計器主要用來搭建適合多種GIS平臺的基于C/S模式的應用系統(tǒng)，表單設計器主要用來靈活地搭建Web應用程序。

4 討論及結論

4.1 討論

山東省國土資源大數據上云系統(tǒng)采用了面向服務的體系架構，從功能設計、數據組織、硬件環(huán)境和拓撲結構4個方面構建了高效運行體系設計，實現(xiàn)了矢量數據、異構數據、分布式數據存儲及挖掘、海量圖庫管理、靈活的搭建式開發(fā)等技術，大幅提高了國土資源大數據的處理能力和處理效率。為測試上云系統(tǒng)的數據整體處理能力，采用一個市的國土資源管理數據對系統(tǒng)進行測試，實驗數據及軟硬件環(huán)境基本情況如表1所示。

表1 山東省國土資源大數據上云系統(tǒng)效率測試基本配置

采用矢量數據直接發(fā)布、多級緩存實現(xiàn)快速瀏覽、多核集群多線程并行化繪制、元素過濾、網格索引、D2D硬件加速等技術后，通過客戶端與服務器端的協(xié)作，實現(xiàn)矢量數據實時可視化任務的分解，調度集群中的多個服務器并行處理計算開銷較大的矢量數據實時可視化任務，提高了網絡地圖服務器集群的并行處理能力。使用不同的虛擬用戶數對采用上云系統(tǒng)的網絡地圖服務模型進行了仿真實驗，針對系統(tǒng)并發(fā)性能耗時情況采用1臺服務器10個用戶、5臺服務器10個用戶、5臺服務器100個用戶進行測試。試驗結果表明，并發(fā)性能耗時平均提速99.5%以上,100個用戶訪問5臺服務器的并發(fā)性能耗時由32.66s縮短到1～2s范圍內，其中快速引擎僅需1.13s，柵格瓦片僅需0.96s，可見山東省國土資源大數據上云系統(tǒng)快速顯示性能得到大幅度提升(圖3)。

傳統(tǒng)的GIS圖形存在裁剪瓦片耗時、耗力，GIS圖形顯示效率低的應用瓶頸。上云系統(tǒng)通過研發(fā)多線程、多處理器并發(fā)處理功能，制定多任務劃分調度策略，優(yōu)化瓦片裁剪的算法，極大地減少裁剪瓦片的時間。新的瓦片裁圖方式的應用使本地數據源(HDF)矢量數據裁圖效率同比提升17倍，其他網絡數據源，如Oracle，SQL，Shapefile等矢量數據，瓦片裁剪效率同樣得到大幅提高(圖4)。

圖3 山東省國土資源大數據上云系統(tǒng)快速顯示效果對比圖

圖4 山東省國土資源大數據上云系統(tǒng)瓦片裁剪效率對比圖

4.2 結語

強化自然資源信息化建設，提高自然資源管理的信息化水平，及時、準確、全面掌握自然資源利用現(xiàn)狀和管理狀況，為促進全省經濟增長的宏觀決策提供科學支持，是保障新舊動能轉換的有力措施。依托自然資源現(xiàn)有國土資源大數據，建立物理分散、邏輯集中、資源共享、政企互聯(lián)的政務信息資源“大平臺、大數據、大系統(tǒng)”，是實現(xiàn)政務信息系統(tǒng)整合共享的新時代要求。國土資源大數據上云不僅是一個部門或單位可以單獨實現(xiàn)的目標和任務，需要聯(lián)合自然資源、大數據、信息化等各個部門數據、網絡、計算機等資源互通互聯(lián)，形成高效、統(tǒng)一、安全、政民互動的全省政務系信息系統(tǒng)。該文從提高上云效率的角度探討了國土資源數據融入全省政務云的體系建設思路及有關技術，旨在展開有關政務信息整合共享系統(tǒng)建設的廣泛關注和討論，促進全省信息化的建設。