Oracle數(shù)據(jù)庫矢柵數(shù)據(jù)一體化存儲與管理

吳 政，李成名，武鵬達(dá)，沈建明，孫 偉

中國測繪科學(xué)研究院GIS所，北京 100830

?

Oracle數(shù)據(jù)庫矢柵數(shù)據(jù)一體化存儲與管理

吳 政，李成名，武鵬達(dá)，沈建明，孫 偉

中國測繪科學(xué)研究院GIS所，北京 100830

當(dāng)前多源異構(gòu)空間數(shù)據(jù)存儲和管理存在流轉(zhuǎn)難度大、存儲不統(tǒng)一、效率不高等問題。本文將關(guān)系數(shù)據(jù)庫與空間數(shù)據(jù)引擎技術(shù)結(jié)合，提出了一種基于Oracle的面向?qū)ο蟮氖笘艛?shù)據(jù)一體化存儲與管理方法。該方法首先建立了矢柵一體化存儲模型并優(yōu)化了檢索方法，然后據(jù)此構(gòu)建了數(shù)據(jù)無縫流轉(zhuǎn)框架，實(shí)現(xiàn)了多源異構(gòu)矢柵數(shù)據(jù)的統(tǒng)一存儲與高效管理。通過與國際領(lǐng)先的同類軟件ArcSDE進(jìn)行測試對比，該方法具有更高的數(shù)據(jù)流轉(zhuǎn)性能及更優(yōu)的查詢檢索效率。

多源異構(gòu)空間數(shù)據(jù)；矢柵一體化存儲；檢索優(yōu)化；數(shù)據(jù)流轉(zhuǎn)

隨著空間地理信息技術(shù)的不斷發(fā)展，獲取地理空間信息的手段不斷豐富，地理空間數(shù)據(jù)呈現(xiàn)出數(shù)據(jù)來源多樣化、數(shù)據(jù)模型差異化、數(shù)據(jù)存儲分散化、空間關(guān)系復(fù)雜化、數(shù)量海量化等特點(diǎn)[1-2]，在此情形下，如何高效地存儲、組織、管理多源異構(gòu)的空間數(shù)據(jù)逐漸成為地理信息系統(tǒng)考慮的核心問題。

以數(shù)據(jù)、應(yīng)用為導(dǎo)向的各種空間數(shù)據(jù)庫技術(shù)、空間數(shù)據(jù)引擎技術(shù)、分布式存儲管理技術(shù)在一定程度上或從某一方面有效地解決了地理空間數(shù)據(jù)存儲和管理的問題。目前，國內(nèi)廣泛使用的數(shù)據(jù)庫主要集中在以O(shè)racle為代表的“擴(kuò)展對象關(guān)系型數(shù)據(jù)庫”、“空間數(shù)據(jù)引擎”兩方面。然而，多年的數(shù)據(jù)庫建設(shè)涌現(xiàn)了種類繁多、架構(gòu)各異的GIS系統(tǒng)，多源異構(gòu)的空間數(shù)據(jù)出現(xiàn)難以共享、遷移效率低、流轉(zhuǎn)難度大、互操作難以實(shí)現(xiàn)等問題?；诖?，本文針對矢量與柵格數(shù)據(jù)這兩種主要的空間數(shù)據(jù)結(jié)構(gòu)，提出一種基于Oracle的面向?qū)ο蟮氖笘乓惑w化管理方法，建立了矢柵數(shù)據(jù)一體化存儲模型，優(yōu)化了矢柵數(shù)據(jù)的檢索方法，并據(jù)此設(shè)計(jì)了多源異構(gòu)數(shù)據(jù)流轉(zhuǎn)框架，達(dá)到對空間數(shù)據(jù)進(jìn)行統(tǒng)一存儲、統(tǒng)一訪問、統(tǒng)一管理的目的。

1 矢柵數(shù)據(jù)存儲和管理的現(xiàn)狀及問題

針對多源異構(gòu)矢柵數(shù)據(jù)的存儲、組織、管理與發(fā)布等問題，國內(nèi)外已經(jīng)有了大量的研究成果，主要分為三大類[3-6]：第一類是以傳統(tǒng)關(guān)系型數(shù)據(jù)庫為代表，直接對傳統(tǒng)數(shù)據(jù)庫管理系統(tǒng)進(jìn)行擴(kuò)展，實(shí)現(xiàn)矢柵數(shù)據(jù)存儲與管理功能；第二類是基于傳統(tǒng)數(shù)據(jù)庫管理系統(tǒng)開發(fā)空間數(shù)據(jù)引擎，以獲得傳統(tǒng)數(shù)據(jù)庫管理系統(tǒng)功能之外的矢柵數(shù)據(jù)存儲和管理能力；第三類是基于分布式文件系統(tǒng)構(gòu)建非關(guān)系型(NoSQL)數(shù)據(jù)庫，在分布式并行計(jì)算框架下進(jìn)行數(shù)據(jù)處理。

1.1 基于擴(kuò)展對象的關(guān)系型數(shù)據(jù)庫

該類關(guān)系型數(shù)據(jù)庫通過對自身的數(shù)據(jù)庫管理系統(tǒng)進(jìn)行擴(kuò)展，使之能直接存儲和管理非結(jié)構(gòu)化的矢柵數(shù)據(jù)，如Oracle公司的Oracle Spatial、Oracle GeoRaster、Postgres SQL的PostGIS、IBM公司的DB2 Spatial Extender、Informix的Spatial DataBlade等。這些傳統(tǒng)的數(shù)據(jù)庫產(chǎn)品其技術(shù)成熟穩(wěn)定，在各行業(yè)應(yīng)用范圍廣、用戶數(shù)量多、運(yùn)行的周期長，基于其部署的應(yīng)用系統(tǒng)數(shù)量和規(guī)模巨大，其中以O(shè)racle應(yīng)用最為廣泛。

該類數(shù)據(jù)存儲的共同問題是需要將空間幾何信息轉(zhuǎn)化為各自擴(kuò)展模塊內(nèi)部專有的存儲對象，數(shù)據(jù)存儲模型的差異導(dǎo)致無法直接與其他數(shù)據(jù)源或數(shù)據(jù)庫進(jìn)行數(shù)據(jù)共享或互操作，需要通過中間件進(jìn)行矢柵數(shù)據(jù)格式的轉(zhuǎn)換，不具有普適性。如Oracle為矢量數(shù)據(jù)提供了Oracle Spatial擴(kuò)展模塊[7]，為柵格數(shù)據(jù)提供了GeoRaster擴(kuò)展模塊[8]，都需要將空間幾何信息轉(zhuǎn)換為其對應(yīng)的內(nèi)部存儲對象，不利于共享和互操作；同時(shí)，GeoRaster在柵格數(shù)據(jù)管理方面也存在限制：如柵格數(shù)據(jù)導(dǎo)出格式的限制，單次柵格數(shù)據(jù)導(dǎo)出大小的限制，柵格數(shù)據(jù)存取時(shí)需要借助第三方工具等。

1.2 基于傳統(tǒng)關(guān)系型數(shù)據(jù)庫的空間數(shù)據(jù)引擎

空間數(shù)據(jù)引擎是基于傳統(tǒng)關(guān)系型數(shù)據(jù)庫管理系統(tǒng)開發(fā)的支持空間數(shù)據(jù)的中間件，采用的是客戶/服務(wù)器體系結(jié)構(gòu)，應(yīng)用程序通過空間數(shù)據(jù)引擎構(gòu)建矢柵數(shù)據(jù)模型，將數(shù)據(jù)交給數(shù)據(jù)庫統(tǒng)一管理，具有代表性的是ESRI的ArcSDE、MapInfo的Spatial-Ware、MAP GIS的MapGIS SDE、超圖的SuperMap SDX等，其中基于ArcSDE應(yīng)用開發(fā)的案例最多，處于國際領(lǐng)先地位。

該類數(shù)據(jù)存儲的主要問題是支持的數(shù)據(jù)源有限，在大批量的數(shù)據(jù)入庫及數(shù)據(jù)遷移時(shí)效率較低，同時(shí)其部署時(shí)需要在數(shù)據(jù)庫服務(wù)器端安裝相應(yīng)的SDE環(huán)境，對未通過SDE入庫的數(shù)據(jù)無法直接讀取，無形中增加了數(shù)據(jù)庫服務(wù)器端負(fù)荷，無法實(shí)現(xiàn)多源異構(gòu)數(shù)據(jù)的共享與數(shù)據(jù)的流轉(zhuǎn)。

1.3 基于分布式文件系統(tǒng)的非關(guān)系型數(shù)據(jù)庫

目前國內(nèi)外針對海量空間數(shù)據(jù)存儲和管理的研究主要集中在基于HBase、MongoDB等NoSQL數(shù)據(jù)庫構(gòu)建結(jié)構(gòu)化(Key-Value)存儲[9-10]，實(shí)現(xiàn)對高分辨率遙感影像、海量矢量數(shù)據(jù)的管理。如文獻(xiàn)[11]提出了一種海量空間數(shù)據(jù)處理并行框架(IDEA)，可以有效地分配數(shù)據(jù)服務(wù)和計(jì)算節(jié)點(diǎn)，實(shí)現(xiàn)任務(wù)的有效調(diào)度；文獻(xiàn)[12]提出了基于整合的Hadoop和Eucalyptus云平臺的高分辨率遙感影像存儲模型C-RSM；文獻(xiàn)[13]基于MongoDB和Hadoop架構(gòu)，設(shè)計(jì)并實(shí)現(xiàn)了矢量空間數(shù)據(jù)云存儲與處理系統(tǒng)VectorDB，達(dá)到了海量矢量數(shù)據(jù)的高效存儲與處理要求。

盡管很多學(xué)者基于非關(guān)系型數(shù)據(jù)庫提出了空間數(shù)據(jù)管理的方案，但在商業(yè)化應(yīng)用中使用的并不多，原因包括：針對矢量數(shù)據(jù)的分布式存儲、空間操作的分布式處理等技術(shù)并不完善；對多源異構(gòu)數(shù)據(jù)還無法提供充足的支持；對于如何集成已存在于關(guān)系型數(shù)據(jù)庫中的空間數(shù)據(jù)，還未有很好的解決方案。

2 基于Oracle的矢柵數(shù)據(jù)一體化存儲與管理體系架構(gòu)

為了將矢柵數(shù)據(jù)及其屬性數(shù)據(jù)、元數(shù)據(jù)等進(jìn)行統(tǒng)一存儲和管理，便于數(shù)據(jù)遷移、流轉(zhuǎn)，利于共享，本文根據(jù)“異構(gòu)同化，同構(gòu)整體化”的思想[14-16]以及多空間數(shù)據(jù)庫系統(tǒng)、分布式數(shù)據(jù)庫系統(tǒng)的模式結(jié)構(gòu)[17-19]，遵循數(shù)據(jù)遠(yuǎn)程存取、數(shù)據(jù)操作本地化、兼容多源異構(gòu)數(shù)據(jù)的原則[20-21]，采用C/S體系架構(gòu)，提出基于Oracle的矢柵數(shù)據(jù)一體化存儲與管理方法，用以實(shí)現(xiàn)分布式系統(tǒng)多源異構(gòu)信息的集成，其體系架構(gòu)如圖1所示。

圖1 矢柵數(shù)據(jù)管理總體架構(gòu)Fig.1 Overall framework of vector and raster data management system

該架構(gòu)采用全局統(tǒng)一的空間數(shù)據(jù)模型來描述全局概念模式和分片模式[14]，實(shí)現(xiàn)局部概念模式到全局分片模式的轉(zhuǎn)換，并提供統(tǒng)一的訪問接口、統(tǒng)一的空間查詢語言和統(tǒng)一的用戶交互界面，將分布式的異構(gòu)矢柵數(shù)據(jù)存儲在各Oracle節(jié)點(diǎn)中，實(shí)現(xiàn)了矢柵數(shù)據(jù)在各數(shù)據(jù)庫節(jié)點(diǎn)之間的無縫流轉(zhuǎn)。參照文獻(xiàn)[14]中提出的分布式多空間數(shù)據(jù)庫的集成模型，本文設(shè)計(jì)了矢柵數(shù)據(jù)存儲和管理的5層層次模型(圖1)。

空間數(shù)據(jù)引擎包含數(shù)據(jù)發(fā)現(xiàn)、數(shù)據(jù)訪問和數(shù)據(jù)集成3層。數(shù)據(jù)發(fā)現(xiàn)層主要解決矢柵數(shù)據(jù)的獲取問題，即通過管理矢柵數(shù)據(jù)的存儲位置、格式、獲取及使用方法等元數(shù)據(jù)信息，為數(shù)據(jù)引擎提供獲取數(shù)據(jù)的途徑；數(shù)據(jù)訪問層主要解決局部異構(gòu)矢柵數(shù)據(jù)的轉(zhuǎn)換問題，即實(shí)現(xiàn)矢柵數(shù)據(jù)“異構(gòu)同化”，將異構(gòu)的局部矢柵數(shù)據(jù)模型轉(zhuǎn)換為全局統(tǒng)一的矢柵數(shù)據(jù)模型，存儲在相應(yīng)的Oracle節(jié)點(diǎn)中，是數(shù)據(jù)引擎實(shí)現(xiàn)的關(guān)鍵；數(shù)據(jù)集成層主要解決“物理分布、邏輯統(tǒng)一”的問題，即在不同Oracle節(jié)點(diǎn)存儲的數(shù)據(jù)在邏輯操作上表現(xiàn)為一個整體，達(dá)到“同構(gòu)整體化”，實(shí)現(xiàn)多圖層、多數(shù)據(jù)源的疊加和聚合。其余2層為數(shù)據(jù)目錄層和用戶訪問層。數(shù)據(jù)目錄層主要用于實(shí)現(xiàn)數(shù)據(jù)資源的集中管理；用戶訪問層主要解決用戶統(tǒng)一、透明訪問。元數(shù)據(jù)數(shù)據(jù)庫主要存儲了用戶訪問控制信息、數(shù)據(jù)目錄信息、數(shù)據(jù)訪問控制信息等，為上述5層層次模型提供相關(guān)元數(shù)據(jù)信息。

3 矢柵數(shù)據(jù)一體化存儲與管理實(shí)現(xiàn)方法

3.1 矢量數(shù)據(jù)存儲與索引方法

本文對矢量數(shù)據(jù)的空間幾何信息的存儲支持兩種方式：一種是采用Oracle Spatial擴(kuò)展模塊，將空間幾何信息轉(zhuǎn)化為SDO_GEOMETRY對象進(jìn)行存儲；另一種是以WKB的形式存儲在BLOB對象中。

采用Oracle Spatial擴(kuò)展模塊管理矢量空間數(shù)據(jù)需要對SDO_GEOM_METADATA(空間元數(shù)據(jù)表)、空間數(shù)據(jù)表進(jìn)行維護(hù)和操作。針對矢量空間數(shù)據(jù)以BLOB對象存取方式，本文設(shè)計(jì)了元數(shù)據(jù)表、矢量空間數(shù)據(jù)表、矢量空間索引表、空間參考表4類關(guān)系表，如圖2所示。其中，元數(shù)據(jù)表主要描述空間幾何類型、空間坐標(biāo)范圍、空間坐標(biāo)參考等基本信息，用于數(shù)據(jù)庫內(nèi)各空間數(shù)據(jù)基本信息的查詢；矢量空間數(shù)據(jù)表是空間數(shù)據(jù)的實(shí)際載體，包含空間數(shù)據(jù)唯一標(biāo)識、各屬性字段、幾何信息字段；矢量空間索引表主要描述每個要素的空間范圍信息，該邏輯關(guān)系表可以用作索引亦可用于創(chuàng)建四叉樹、R-Tree等空間索引或自定義索引；矢量空間參考表主要描述各種空間坐標(biāo)系的定義及描述，主要用于坐標(biāo)系統(tǒng)的轉(zhuǎn)換以及空間數(shù)據(jù)坐標(biāo)的校準(zhǔn)和查詢，其包括坐標(biāo)系統(tǒng)類型、坐標(biāo)系統(tǒng)的定義。

圖2 矢量數(shù)據(jù)存儲關(guān)系Fig.2 Vector data storage relation

為了提高索引機(jī)制的可擴(kuò)展性和靈活性，同時(shí)兼顧以SDO_GEOMETRY和BLOB存儲的情況，本文設(shè)計(jì)了基于Oracle的二級索引機(jī)制，可以有效兼容不同存儲方式的矢量數(shù)據(jù)檢索，如圖3所示：①對于采用以SDO_GEOMETRY存儲的空間數(shù)據(jù)，建立空間索引后，可以直接對SDO_GEOMETRY對象進(jìn)行精確空間查詢；②對于以BLOB存儲的空間數(shù)據(jù)，首先對矢量空間索引表或索引文件進(jìn)行空間查詢，初步篩選出要素標(biāo)識FID(feature identification)結(jié)果集，進(jìn)而依據(jù)空間過濾條件對提取的要素進(jìn)行空間幾何運(yùn)算，得出滿足空間過濾條件的對應(yīng)要素。

3.2 柵格數(shù)據(jù)存儲與索引方法

本文采用先按波段分層、再層內(nèi)分塊、最后構(gòu)建金字塔的思想，設(shè)計(jì)了具有支持多種柵格數(shù)據(jù)格式、易于遠(yuǎn)程存取、提取檢索快捷的存儲結(jié)構(gòu)。該結(jié)構(gòu)包括：提取柵格數(shù)據(jù)元數(shù)據(jù)信息，生成柵格元數(shù)據(jù)信息表；按照波段對柵格數(shù)據(jù)進(jìn)行抽取，并形成波段信息表；對每一波段進(jìn)行分塊，每一塊作為一個BLOB字段數(shù)據(jù)存儲在柵格數(shù)據(jù)表中；根據(jù)實(shí)際需求選擇適當(dāng)?shù)闹夭蓸铀惴ǎ捎跋窠鹱炙?，形成金字塔信息表；對生成的金字塔?shù)據(jù)采取上述類似方法，生成金字塔數(shù)據(jù)表，如圖4所示。

柵格數(shù)據(jù)存儲涉及的關(guān)系表如圖5所示，主要包括柵格信息表、波段信息表、金字塔信息表、柵格數(shù)據(jù)表、金字塔數(shù)據(jù)表，各表通過唯一標(biāo)識(RASTER_ID)進(jìn)行關(guān)聯(lián)。柵格信息表主要描述了柵格數(shù)據(jù)波段、像素、空間信息等元數(shù)據(jù)信息，便于對柵格數(shù)據(jù)的查詢、統(tǒng)計(jì)、存取以及格式轉(zhuǎn)換；金字塔信息表主要描述金字塔所屬波段號、金字塔級數(shù)以及構(gòu)建金字塔進(jìn)行塊采樣的大小等基本信息，主要用于金字塔信息的提取和查詢；柵格數(shù)據(jù)表主要描述柵格數(shù)據(jù)所屬的波段、所在波段中塊的位置、塊的空間范圍信息以及數(shù)據(jù)塊實(shí)體；金字塔數(shù)據(jù)表主要描述金字塔數(shù)據(jù)所屬波段、所屬級別、在該級別所屬塊位置、塊的空間范圍以及數(shù)據(jù)實(shí)體。本文提出的柵格數(shù)據(jù)存儲結(jié)構(gòu)較完備地存儲了柵格數(shù)據(jù)的基本信息，可以方便地抽取波段信息、快速查找定位空間范圍內(nèi)的柵格數(shù)據(jù)。

圖3 矢量空間數(shù)據(jù)查詢Fig.3 Vector spatial data query

圖4 柵格數(shù)據(jù)存儲結(jié)構(gòu)Fig.4 Raster data storage structure

圖5 柵格數(shù)據(jù)存儲關(guān)系表Fig.5 Raster data storage relation table

基于上述提出的柵格數(shù)據(jù)存儲模型，本文建立如下的柵格數(shù)據(jù)檢索方法：

(1) 首先根據(jù)柵格數(shù)據(jù)大小及柵格的地理范圍，計(jì)算柵格數(shù)據(jù)的單個像素在平面坐標(biāo)系中代表的實(shí)際地理范圍cellx、celly；

(2) 獲取用戶請求的地理坐標(biāo)范圍，結(jié)合步驟(1)中的cellx、celly，計(jì)算當(dāng)前請求柵格數(shù)據(jù)的長度像素?cái)?shù)reqx和寬度像素?cái)?shù)reqy；

(3) 根據(jù)當(dāng)前視窗的寬度和高度(屏幕像素?cái)?shù))，結(jié)合柵格數(shù)據(jù)reqx、reqy，計(jì)算當(dāng)前視窗范圍內(nèi)的比例尺，找到與比例尺最近一級金字塔級別；

(4) 根據(jù)金字塔級別，查找該級金字塔在某一波段內(nèi)塊的位置，見式(1)和式(2)

(1)

(2)

式中，blockx、blocky分別表示柵格數(shù)據(jù)某一波段中切割塊的長度和寬度(柵格像素?cái)?shù))；tileminx、tileminy、tilemaxx、tilemaxy分別為所請求的塊號的最小列號、最小行號、最大列號、最大行號；reqminx、reqminy、reqmaxx、reqmaxy分別標(biāo)識請求的地理范圍的最小x坐標(biāo)值、最小y坐標(biāo)值、最大x坐標(biāo)值、最大y坐標(biāo)值；imgminx、imgminy分別表示柵格數(shù)據(jù)地理范圍的最小x坐標(biāo)值、最小y坐標(biāo)值。

(5) 按照塊號請求數(shù)據(jù)后，對柵格邊界的塊進(jìn)行塊內(nèi)查找，通過塊內(nèi)切割、鄰近插值后得到最終查詢的柵格數(shù)據(jù)實(shí)體，本文不再贅述。

3.3 多源異構(gòu)矢柵數(shù)據(jù)流轉(zhuǎn)方法

結(jié)合矢柵數(shù)據(jù)一體化存儲和檢索方法，本節(jié)設(shè)計(jì)了基于空間數(shù)據(jù)引擎的流轉(zhuǎn)框架[22-24]，將多源異構(gòu)矢柵數(shù)據(jù)與本文提出的一體化存儲模式進(jìn)行轉(zhuǎn)換，實(shí)現(xiàn)空間數(shù)據(jù)的無縫流轉(zhuǎn)，如圖6所示。

對于矢柵數(shù)據(jù)存取過程，空間數(shù)據(jù)引擎中的數(shù)據(jù)統(tǒng)一訪問接口根據(jù)數(shù)據(jù)源地址、數(shù)據(jù)存儲類型，調(diào)用相應(yīng)的數(shù)據(jù)源驅(qū)動程序從局部關(guān)系數(shù)據(jù)庫(Oracle、PostGIS等)、文件型數(shù)據(jù)源(.shp、.dxf、瓦片文件等)、網(wǎng)絡(luò)數(shù)據(jù)源(WMS、WMTS、WFS等)中讀取多源異構(gòu)數(shù)據(jù)，進(jìn)行空間數(shù)據(jù)一致性檢查后，將處理后的數(shù)據(jù)通過數(shù)據(jù)轉(zhuǎn)換接口轉(zhuǎn)換為本文提出的統(tǒng)一數(shù)據(jù)存儲模型，錄入到Oracle中，完成數(shù)據(jù)的存取，整個過程對于用戶來說是透明的。

對于矢柵數(shù)據(jù)分析過程，空間數(shù)據(jù)引擎通過數(shù)據(jù)操作接口對數(shù)據(jù)進(jìn)行空間及屬性過濾、空間運(yùn)算、疊加分析等操作，同時(shí)提供了空間數(shù)據(jù)的預(yù)處理(空間坐標(biāo)轉(zhuǎn)換、數(shù)據(jù)校準(zhǔn)等)和質(zhì)檢，最終將處理結(jié)果放入到數(shù)據(jù)緩存中。

完成多源異構(gòu)數(shù)據(jù)互操作及處理是數(shù)據(jù)流轉(zhuǎn)過程中的關(guān)鍵[24]，在該流轉(zhuǎn)框架下，本文針對關(guān)系型數(shù)據(jù)庫、非關(guān)系型數(shù)據(jù)庫、文件數(shù)據(jù)源、柵格數(shù)據(jù)、瓦片文件、網(wǎng)絡(luò)數(shù)據(jù)源、第三方SDE等18種數(shù)據(jù)源開發(fā)了相應(yīng)的數(shù)據(jù)驅(qū)動(Data Adapter，數(shù)據(jù)適配器)，主要用于多源異構(gòu)矢柵數(shù)據(jù)的存取及轉(zhuǎn)換，實(shí)現(xiàn)將異構(gòu)數(shù)據(jù)映射到統(tǒng)一的邏輯模型和存儲結(jié)構(gòu)上，達(dá)到數(shù)據(jù)的互操作和無縫流轉(zhuǎn)的目的，如圖7所示；同時(shí)為了提高數(shù)據(jù)流轉(zhuǎn)的性能，數(shù)據(jù)統(tǒng)一訪問接口采用線程池技術(shù)，通過管道將讀寫并行執(zhí)行，降低網(wǎng)絡(luò)傳輸、磁盤I/O帶來的效率影響，并在大批量數(shù)據(jù)入庫時(shí)，摒棄了傳統(tǒng)SQL語句Insert的方式，采用數(shù)據(jù)序列化方案，生成數(shù)據(jù)文件、索引數(shù)據(jù)文件及控制腳本文件，通過SQLLDR工具入庫，極大地提高了入庫效率。

圖7 多源異構(gòu)數(shù)據(jù)的互操作及處理Fig.7 Interoperation and process of multi-source heterogeneous data

4 試驗(yàn)分析與評價(jià)

本文基于NewMap軟件API，利用上述方法開發(fā)了基于Oracle的空間數(shù)據(jù)引擎(NewMap SDE，NMSDE)。為了驗(yàn)證本文提出的空間數(shù)據(jù)一體化存儲技術(shù)的效率和性能，與ArcSDE[25](空間數(shù)據(jù)幾何信息采用ST_GEOMETRY對象存儲，其能夠使ArcSDE更好地利用Oracle的資源、兼容Oracle的特性、更快地讀取空間數(shù)據(jù))在相同的計(jì)算機(jī)(CPU 8核 3.6 GHz、4 G內(nèi)存、100 M以太網(wǎng)卡)、相同的網(wǎng)絡(luò)帶寬(百兆以太網(wǎng))、相同的Oracle數(shù)據(jù)庫服務(wù)器(CPU 8核 2.40 GHz、16 G內(nèi)存、100 M以太網(wǎng)卡)下進(jìn)行測試。

測試數(shù)據(jù)采用Open Street Map(OSM)提供的2016年3月某地區(qū)格式為Shapefile的矢量數(shù)據(jù)，數(shù)據(jù)大小3.29 GB，共8個圖層，其中點(diǎn)圖層2個，線和面圖層各3個；柵格數(shù)據(jù)采用的是3個波段18 915×15 772的TIFF格式影像數(shù)據(jù)TIFF01(0.874 GB)、3個波段21 340×26 284 的IMG格式影像數(shù)據(jù)IMG01(1.653 GB)和1個波段的30 994×72 079的TIFF格式的影像數(shù)據(jù)TIFF02(2.182 GB)，測試結(jié)果如下所示。

從表1中可以看出，NMSDE對矢量數(shù)據(jù)的存取效率整體要優(yōu)于ArcSDE，特別是入庫的數(shù)據(jù)量越大，如線數(shù)據(jù)(roads)、面數(shù)據(jù)(buildings)，NMSDE導(dǎo)入數(shù)據(jù)效率優(yōu)勢越明顯，其主要原因是NMSDE在導(dǎo)入前對數(shù)據(jù)進(jìn)行了序列化的預(yù)處理，減少了與數(shù)據(jù)庫通信次數(shù)，降低了通信消耗時(shí)間代價(jià)。同樣，對于矢量數(shù)據(jù)導(dǎo)出，NMSDE采用多線程技術(shù)，并行、分批操作，效率略優(yōu)于ArcSDE。

表1 矢量數(shù)據(jù)存取效率對比

對于柵格數(shù)據(jù)的導(dǎo)入效率測試，本文分別采用了128×128、256×256、512×512(ArcSDE不支持)塊大小對柵格數(shù)據(jù)進(jìn)行分割導(dǎo)入(金字塔數(shù)據(jù)未計(jì)算在內(nèi))，并且對數(shù)據(jù)未進(jìn)行任何壓縮。從圖8(a)中可以看出，NMSDE的柵格數(shù)據(jù)導(dǎo)入效率優(yōu)于ArcSED，并且隨著分塊大小的遞增，入庫效率也有明顯提升。柵格數(shù)據(jù)導(dǎo)出效率測試如圖8(b)所示，在相同分塊大小的情況下，ArcSDE性能略優(yōu)，主要原因是在導(dǎo)出數(shù)據(jù)時(shí)ArcSDE對柵格數(shù)據(jù)進(jìn)行了壓縮，但是當(dāng)NMSDE采用分塊大小為512×512時(shí)效率最好，原因是隨著柵格數(shù)據(jù)分塊的遞增，單次SQL通信過程中數(shù)據(jù)傳輸量增大，減少了與數(shù)據(jù)庫通信次數(shù)，降低了通信代價(jià)。

圖8 柵格數(shù)據(jù)存取效率對比Fig.8 Comparison of efficiency of accessing raster data to database

對于空間數(shù)據(jù)的查詢效率本文選取同一地理范圍內(nèi)的數(shù)據(jù)進(jìn)行測試。如表2所示，對于矢量數(shù)據(jù)查詢效率NMSDE略優(yōu)于ArcSDE，說明本文提出的優(yōu)化檢索技術(shù)是切實(shí)可行的；對于柵格數(shù)據(jù)查詢效率如圖9所示，NMSDE明顯優(yōu)于ArcSDE，并隨著分塊大小的遞增效率越高，在分塊大小為512×512時(shí)，效率最高。

表2 矢量數(shù)據(jù)查詢效率對比

圖9 柵格數(shù)據(jù)查詢效率對比Fig.9 Comparison of efficiency of querying raster data

5 結(jié)束語

本文在分析當(dāng)前多源、海量、異構(gòu)的空間數(shù)據(jù)存儲和管理現(xiàn)狀的基礎(chǔ)上，提出了一種基于Oracle的矢柵數(shù)據(jù)一體化存儲和管理方法，使用全局統(tǒng)一的矢柵數(shù)據(jù)存儲模型及索引方法實(shí)現(xiàn)多源異構(gòu)數(shù)據(jù)的互操作與集成管理。通過試驗(yàn)對比分析表明，依據(jù)本文提出的方法研發(fā)的空間數(shù)據(jù)引擎NMSDE在矢柵數(shù)據(jù)的存取、查詢效率上優(yōu)于ArcSDE。

本文目前僅實(shí)現(xiàn)了Oracle與關(guān)系型數(shù)據(jù)庫、文檔存儲型數(shù)據(jù)庫的多源異構(gòu)數(shù)據(jù)流轉(zhuǎn)和互操作，隨著HBase、Accumulo等列存儲數(shù)據(jù)庫以及Hadoop MapReduce、Spark等并行框架在GIS系統(tǒng)以及空間大數(shù)據(jù)分析中大量的應(yīng)用，如何在并行分析的框架下實(shí)現(xiàn)基于列存儲的空間數(shù)據(jù)庫與關(guān)系數(shù)據(jù)庫的有效集成是下一步面臨的主要問題。

[1] 李德仁, 姚遠(yuǎn), 邵振峰. 智慧城市中的大數(shù)據(jù)[J]. 武漢大學(xué)學(xué)報(bào)(信息科學(xué)版), 2014, 39(6): 631-640. LI Deren, YAO Yuan, SHAO Zhenfeng. Big Data in Smart City[J]. Geomatics and Information Science of Wuhan University, 2014, 39(6): 631-640.

[2] 李德仁. 展望大數(shù)據(jù)時(shí)代的地球空間信息學(xué)[J]. 測繪學(xué)報(bào), 2016, 45(4): 379-384. DOI: 10.11947/j.AGCS.2016.20160057. LI Deren. Towards Geo-spatial Information Science in Big Data Era[J]. Acta Geodaetica et Cartographica Sinica, 2016, 45(4): 379-384. DOI: 10.11947/j.AGCS.2016.20160057.

[3] 龔健雅. 空間數(shù)據(jù)庫管理系統(tǒng)的概念與發(fā)展趨勢[J]. 測繪科學(xué), 2001, 26(3): 4-9. GONG Jianya. Concepts and Development of Spatial Database Management[J]. Science of Surveying and Mapping, 2001, 26(3): 4-9.

[4] 覃雄派, 王會舉, 李芙蓉, 等. 數(shù)據(jù)管理技術(shù)的新格局[J]. 軟件學(xué)報(bào), 2013, 24(2): 175-197. QIN Xiongpai, WANG Huiju, LI Furong, et al. New Landscape of Data Management Technologies[J]. Journal of Software, 2013, 24(2): 175-197.

[5] 胡金星, 潘懋, 宋揚(yáng), 等. 空間數(shù)據(jù)庫實(shí)現(xiàn)及其集成技術(shù)研究[J]. 計(jì)算機(jī)應(yīng)用研究, 2003, 20(3): 12-14, 19. HU Jinxing, PAN Mao, SONG Yang, et al. Research on Realization and Integrated Technology of Spatial Databases[J]. Application Research of Computers, 2003, 20(3): 12-14, 19.

[6] 陳傳彬, 鄔群勇, 陳崇成. 基于GML的多源異構(gòu)空間數(shù)據(jù)集成框架研究[J]. 測繪科學(xué), 2005, 30(5): 53-55. CHEN Chuanbin, WU Qunyong, CHEN Chongcheng. A GML-based Multi-source and Heterogeneous Spatial Data Integration Framework[J]. Science of Surveying and Mapping, 2005, 30(5): 53-55.

[7] Oracle Corporation. Oracle? Spatial Developer’s Guide 11 g Release 2(11.2)[EB/OL]. (2013-11). http:∥docs.oracle.com/cd/E11882_01/appdev.112/e11830/toc.htm.

[8] Oracle Corporation.Oracle? Spatial GeoRaster Developer’s Guide 11 g Release 2(11.2)[EB/OL]. (2013-11). http:∥docs.oracle.com/cd/E11882_01/appdev.112/e11827/toc.htm.

[9] 申德榮, 于戈, 王習(xí)特, 等. 支持大數(shù)據(jù)管理的NoSQL系統(tǒng)研究綜述[J]. 軟件學(xué)報(bào), 2013, 24(8): 1786-1803. SHEN Derong, YU Ge, WANG Xite, et al. Survey on NoSQL for Management of Big Data[J]. Journal of Software, 2013, 24(8): 1786-1803.

[10] 陳崇成, 林劍峰, 吳小竹, 等. 基于NoSQL的海量空間數(shù)據(jù)云存儲與服務(wù)方法[J]. 地球信息科學(xué)學(xué)報(bào), 2013, 15(2): 166-174. CHEN Chongcheng, LIN Jianfeng, WU Xiaozhu, et al. Massive Geo-spatial Data Cloud Storage and Services Based on NoSQL Database Technique[J]. Journal of Geo-information Science, 2013, 15(2): 166-174.

[11] YAN Baoqiang, RHODES P J. IDEA-An API for Parallel Computing with Large Spatial Datasets[C]∥Proceedings of the 2011 International Conference on Parallel Processing. Taipei, China: IEEE, 2011: 355-364.

[12] 康俊鋒. 云計(jì)算環(huán)境下高分辨率遙感影像存儲與高效管理技術(shù)研究[D]. 杭州: 浙江大學(xué), 2011. KANG Junfeng. Technologies of Storage and Efficient Management on Cloud Computing for High Resolution Remote Sensing Image[D]. Hangzhou: Zhejiang University, 2011.

[13] 雷德龍, 郭殿升, 陳崇成, 等. 基于MongoDB的矢量空間數(shù)據(jù)云存儲與處理系統(tǒng)[J]. 地球信息科學(xué)學(xué)報(bào), 2014, 16(4): 507-516. LEI Delong, GUO Diansheng, CHEN Chongcheng, et al. Vector Spatial Data Cloud Storage and Processing Based on MongoDB[J]. Journal of Geo-information Science, 2014, 16(4): 507-516.

[14] 鄔倫, 張毅. 分布式多空間數(shù)據(jù)庫系統(tǒng)的集成技術(shù)[J]. 地理學(xué)與國土研究, 2002, 18(1): 6-10. WU Lun, ZHANG Yi. The Integrated Framework on Distributed Multi-Spatial Database System[J]. Geography and Territorial Research, 2002, 18(1): 6-10.

[15] 劉小飛, 關(guān)昆, 于海波, 等. 多源多目標(biāo)空間數(shù)據(jù)庫的一體化集成與管理技術(shù)研究[J]. 測繪通報(bào), 2014(12): 97-100. LIU Xiaofei, GUAN Kun, YU Haibo, et al. Research of Integration and Management of Multi-source Multi-target Geospatial Database[J]. Bulletin of Surveying and Mapping, 2014(12): 97-100.

[16] 徐道柱, 羅斌, 周巖, 等. 分布式環(huán)境下矢柵一體化數(shù)據(jù)組織模型設(shè)計(jì)[J]. 地球信息科學(xué)學(xué)報(bào), 2016, 18(12): 1588-1596. XU Daozhu, LUO Bin, ZHOU Yan, et al. Model Design of Integrated Vector and Raster Data Organization under the Distributed Environment[J]. Journal of Geo-information Science, 2016, 18(12): 1588-1596.

[17] 王意潔, 孫偉東, 周松, 等. 云計(jì)算環(huán)境下的分布存儲關(guān)鍵技術(shù)[J]. 軟件學(xué)報(bào), 2012, 23(4): 962-986. WANG Yijie, SUN Weidong, ZHOU Song, et al. Key Technologies of Distributed Storage for Cloud Computing[J]. Journal of Software, 2012, 23(4): 962-986.

[18] Ozsu M T, Valduriez P. Principles of Distributed Database Systems[M]. 2nd ed. New York: Prentice Hall, 1999.

[19] 李德仁, 關(guān)澤群. 空間信息系統(tǒng)的集成與實(shí)現(xiàn)[M]. 武漢: 武漢測繪科技大學(xué)出版社, 2000. LI Deren, GUAN Zequn. Integration and Implementation of Spatial Information System[M]. Wuhan: Wuhan Surveying and Mapping Science and Technology University Press, 2000.

[20] KJENSTAD K.On the Integration of Object-based Models and Field-based Models in GIS[J]. International Journal of Geographical Information Science, 2006, 20(5): 491-509.

[21] GOODCHILD M F, YUAN M, COVA T J. Towards a General Theory of Geographic Representation in GIS[J]. International Journal of Geographical Information Science, 2007, 21(3): 239-260.

[22] 朱欣焰, 張建超, 李德仁, 等. 無縫空間數(shù)據(jù)庫的概念、實(shí)現(xiàn)與問題研究[J]. 武漢大學(xué)學(xué)報(bào)(信息科學(xué)版), 2002, 27(4): 382-386. ZHU Xinyan, ZHANG Jianchao, LI Deren, et al. Concepts, Implementation and Problems of the Seamless Spatial Database[J]. Geomatics and Information Science of Wuhan University, 2002, 27(4): 382-386.

[23] LIM E P, CHIANG R H L. The Integration of Relationship Instances from Heterogeneous Databases[J]. Decision Support Systems, 2000, 29(2): 153-167.

[24] 金寶軒. 網(wǎng)格環(huán)境下的異構(gòu)空間數(shù)據(jù)庫集成技術(shù)[J]. 計(jì)算機(jī)工程, 2008, 34(5): 74-76. JIN Baoxuan. Integration of Heterogeneous Spatial Databases in Grid Environment[J]. Computer Engineering, 2008, 34(5): 74-76.

[25] 杜紅悅, 劉先林, 宮輝力. 基于ArcSDE的空間數(shù)據(jù)綜合管理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J]. 測繪科學(xué), 2009, 34(5): 171-173. DU Hongyue, LIU Xianlin, GONG Huili. Design and Implementation of Spatial Data Integreted Management System Based on ArcSDE[J]. Science of Surveying and Mapping, 2009, 34(5): 171-173.

(責(zé)任編輯：宋啟凡)

WU Zheng(1982—), male, PhD, assistant researcher，majors in spatial data organization and management, GIS modeling and geographic information service.

LI Chengming

Integrated Storage and Management of Vector and Raster Data Based on Oracle Database

WU Zheng,LI Chengming,WU Pengda,SHEN Jianming,SUN Wei

Institute of GIS, Chinese Academy of Surveying and Mapping, Beijing 100830, China

At present, there are many problems in the storage and management of multi-source heterogeneous spatial data, such as the difficulty of transferring, the lack of unified storage and the low efficiency. By combining relational database and spatial data engine technology, an approach for integrated storage and management of vector and raster data is proposed on the basis of Oracle in this paper. This approach establishes an integrated storage model on vector and raster data and optimizes the retrieval mechanism at first, then designs a framework for the seamless data transfer, finally realizes the unified storage and efficient management of multi-source heterogeneous data. By comparing experimental results with the international leading similar software ArcSDE, it is proved that the proposed approach has higher data transfer performance and better query retrieval efficiency.

multi-source heterogeneous spatial data; vector and raster data integrated storage; retrieval optimization; data transfer

The National Key Technology Research and Development Program of the Ministry of Science and Technology of China (No.2015BAJ06B01)； National Basic Surveying and Mapping Project (Nos. A1608；A1615)

吳政，李成名，武鵬達(dá)，等.Oracle數(shù)據(jù)庫矢柵數(shù)據(jù)一體化存儲與管理[J].測繪學(xué)報(bào)，2017,46(5)：639-648.

10.11947/j.AGCS.2017.20160586. WU Zheng, LI Chengming, WU Pengda,et al.Integrated Storage and Management of Vector and Raster Data Based on Oracle Database[J]. Acta Geodaetica et Cartographica Sinica,2017,46(5):639-648. DOI:10.11947/j.AGCS.2017.20160586.

2016-11-17

吳政(1982—)，男，博士，助理研究員，主要從事空間數(shù)據(jù)組織與管理、地理信息系統(tǒng)建模及地理信息服務(wù)等研究。

E-mail： wuzheng_gucas@163.com

李成名

E-mail： cmli@casm.ac.cn

P208

A

1001-1595(2017)05-0639-10

國家科技支撐計(jì)劃(2015BAJ06B01)；國家基礎(chǔ)測繪項(xiàng)目(A1608；A1615)

修回日期： 2017-03-27