云計(jì)算環(huán)境下大GML空間數(shù)據(jù)并行存取關(guān)鍵問(wèn)題研究

楊靜 河南大學(xué)軟件學(xué)院

云計(jì)算環(huán)境下大GML空間數(shù)據(jù)并行存取關(guān)鍵問(wèn)題研究

楊靜 河南大學(xué)軟件學(xué)院

隨著互聯(lián)網(wǎng)、物聯(lián)網(wǎng)和我國(guó)對(duì)地觀測(cè)等技術(shù)的不斷成熟以及大GML應(yīng)用領(lǐng)域的不斷擴(kuò)展，GML空間數(shù)據(jù)在不斷地增長(zhǎng)，大GML數(shù)據(jù)時(shí)代已經(jīng)來(lái)臨。但是傳統(tǒng)的空間數(shù)據(jù)庫(kù)計(jì)算難以滿(mǎn)足大GML數(shù)據(jù)的所需要的高性能數(shù)據(jù)處理要求，而最近幾年流行的云計(jì)算技術(shù)具有高擴(kuò)展性、高可靠性等特點(diǎn)，可以較好的解決大GML空間數(shù)據(jù)并行存取問(wèn)題。

云計(jì)算 大GML空間數(shù)據(jù) 并行存取

一、云計(jì)算關(guān)鍵技術(shù)

通常，將互聯(lián)網(wǎng)或網(wǎng)絡(luò)比作云，而云計(jì)算是基于互聯(lián)網(wǎng)的相關(guān)服務(wù)的增加、使用和交付模式。云計(jì)算具有很強(qiáng)大的運(yùn)算能力，能達(dá)到每秒10萬(wàn)億次的運(yùn)算，可以通過(guò)這種強(qiáng)大的模擬計(jì)算分析核爆炸，進(jìn)行天氣變化預(yù)測(cè)，市場(chǎng)發(fā)展趨勢(shì)等其它的復(fù)雜模型。用戶(hù)使用云計(jì)算，可通過(guò)筆記本、移動(dòng)端等方式接入到數(shù)據(jù)中心，然后根據(jù)自己的需求建模并分析計(jì)算[1]。

云計(jì)算涉及到的相關(guān)技術(shù)比較多，目前主要有編程模型、存取技術(shù)以及虛擬化技術(shù)等。

（一）編程模型：MapReduce模型是目前較為常用的編程計(jì)算模型，最早是由Google公司的Je ff Dean等人提出用于大數(shù)據(jù)的操作以及對(duì)應(yīng)數(shù)據(jù)建模處理分析?；诖?，MapReduce模型在JeffDean等人的發(fā)展完善下，在Google公司里應(yīng)用非常廣泛。MapReduce模型可應(yīng)用于分布式排序、反向索引構(gòu)建、機(jī)器學(xué)習(xí)、機(jī)器分析以及文檔的聚類(lèi)分析等等。MapReduce是指通過(guò)一組輸入的數(shù)據(jù)key/value對(duì)(鍵值對(duì))產(chǎn)生另一組輸出的鍵值對(duì)。對(duì)于MapReduce編程系統(tǒng)的使用，程序員只需對(duì)業(yè)務(wù)的邏輯進(jìn)行分析歸納總結(jié)，設(shè)計(jì)出能對(duì)應(yīng)Map和Reduce函數(shù)的程序語(yǔ)言，使用方便并且效率高。通過(guò)使用MapReduce編程系統(tǒng)還能實(shí)現(xiàn)具體的分布式、高并發(fā)機(jī)制。

（二）存取技術(shù)：存取技術(shù)是云計(jì)算系統(tǒng)中非常關(guān)鍵的一個(gè)技術(shù)，它是以數(shù)據(jù)管理和存取為核心的技術(shù)體系，由于云計(jì)算系統(tǒng)的作用特點(diǎn)，其在運(yùn)作時(shí)往往需要有很強(qiáng)大的存儲(chǔ)設(shè)備和硬件系統(tǒng)，才能真正實(shí)現(xiàn)對(duì)大量繁雜且種類(lèi)不同的數(shù)據(jù)進(jìn)行存儲(chǔ)和訪問(wèn)，這些系統(tǒng)和設(shè)備要協(xié)同工作并通過(guò)分布式文件系統(tǒng)，集群技術(shù)等功能來(lái)完成業(yè)務(wù)和作業(yè)，因此，存取技術(shù)是云計(jì)算中非常關(guān)鍵的一個(gè)技術(shù)環(huán)節(jié)。

（三）虛擬化技術(shù)：虛擬化技術(shù)是云計(jì)算的關(guān)鍵技術(shù)之一，抽象化資源表示，并將實(shí)物轉(zhuǎn)化到邏輯層。通過(guò)虛擬化技術(shù)來(lái)實(shí)現(xiàn)云計(jì)算的大數(shù)據(jù)分析和存儲(chǔ)，但這并不意味著云計(jì)算只是簡(jiǎn)單的虛擬化技術(shù)，它需要互聯(lián)網(wǎng)各類(lèi)技術(shù)交融[2]。

二、GML簡(jiǎn)介及其主要模型

GML是一種IBM格式化文檔語(yǔ)言，是一種基于XML的用于編碼現(xiàn)實(shí)世界對(duì)象信息的標(biāo)識(shí)語(yǔ)言，也是一種開(kāi)放的”標(biāo)準(zhǔn)，規(guī)定中采用的是運(yùn)用標(biāo)題的級(jí)為標(biāo)準(zhǔn)來(lái)劃分文檔，將文檔分為章節(jié)、重要小節(jié)和次重要小節(jié)，并且不會(huì)強(qiáng)制要求使用XML標(biāo)識(shí)就可以對(duì)文檔中的各部件及其之間的關(guān)系進(jìn)行描述。GML將現(xiàn)實(shí)世界的各個(gè)物質(zhì)統(tǒng)籌為要素，并且繼承了XML的所有優(yōu)點(diǎn)特性，提供了一套基本的幾何對(duì)象標(biāo)簽和公共的數(shù)據(jù)模型，現(xiàn)在流行的GML模型主要有幾何模型、要素模型和拓?fù)淠Ｐ偷鹊?。是開(kāi)放的但同時(shí)也有約束和限制，比如對(duì)于所有兼容GML的系統(tǒng)來(lái)說(shuō)，GML技術(shù)都要求每一個(gè)設(shè)備機(jī)器都要采用GML提供的幾何地物標(biāo)簽來(lái)表示地物特征的幾何屬性，這種約束條件也給用戶(hù)在某些程度上帶來(lái)了一些便利。

（一）幾何模型：現(xiàn)階段幾何模型分為基本幾何、聚合幾何和復(fù)雜幾何。目前常用3.X版本。

（二）要素模型：地理要素包含一系列的空間與非空間屬性。要素模式feature.xsd能提供創(chuàng)建GML要素和要素集合的框架。它定義了抽象和具體的要素元素及類(lèi)型。

（三）拓?fù)淠Ｐ停嚎臻g拓?fù)涫荊ML3.0版本新增加的內(nèi)容，通過(guò)使用拓?fù)浠狽ode、Edge、Face、TopoSolid以及這些基元之間的聯(lián)系描述來(lái)構(gòu)建拓?fù)潢P(guān)系，拓?fù)浠ǔＳ脕?lái)表達(dá)幾何基元Point、Curve、Surface、Solid。

三、云計(jì)算環(huán)境下大GML空間數(shù)據(jù)并行存取

根據(jù)云計(jì)算的特點(diǎn)，先把GML文檔實(shí)例對(duì)應(yīng)的Schema文檔解析出來(lái)存放在相應(yīng)的文檔里面，GML文檔存儲(chǔ)模型如下表1所示。

表1 GML模式文檔的邏輯存儲(chǔ)模型

在HBase表中列出Geometry來(lái)更好地表述空間幾何形狀以屬性，在Geometry下再設(shè)五列，分別為：MBR列族表示為存儲(chǔ)表達(dá)地理空間對(duì)象，Numpts列族表示存儲(chǔ)表達(dá)空間對(duì)象幾何形狀所擁有特征點(diǎn)的個(gè)數(shù)，Points列族表示幾何形狀對(duì)象所擁有特征點(diǎn)的個(gè)數(shù)，SRID列族表示存儲(chǔ)空間參考系的標(biāo)識(shí)和ElemInfoArray列族表示對(duì)象幾何形狀中橢圓弧、圓弧、直線(xiàn)以及Bessel曲線(xiàn)連接這些其他信息。

一般來(lái)說(shuō)，主要從兩個(gè)方面考慮GML的空間數(shù)據(jù)并行查詢(xún)。第一個(gè)是對(duì)所需查詢(xún)內(nèi)容的關(guān)鍵字進(jìn)行檢索查詢(xún)；第二個(gè)是縮小搜索空間進(jìn)行精準(zhǔn)查詢(xún)，具體表現(xiàn)為根據(jù)給定的空間關(guān)系確定對(duì)應(yīng)的搜索空間，不能盲目隨機(jī)搜索查詢(xún)。

GML的數(shù)據(jù)對(duì)象包括數(shù)據(jù)的幾何屬性也包括其他的一些普通屬性，對(duì)于某些特定的數(shù)據(jù)對(duì)象，還具有拓?fù)涞膶傩?。?duì)于大量的GML數(shù)據(jù)對(duì)象通常需要先進(jìn)行數(shù)據(jù)的過(guò)濾處理，一般先進(jìn)行全局索引來(lái)獲得查詢(xún)的空間對(duì)象所存儲(chǔ)的位置信息，然后根據(jù)局部索引對(duì)空間對(duì)象進(jìn)行子查詢(xún)的并行處理并得到結(jié)果。

四、結(jié)語(yǔ)

本文重點(diǎn)介紹了云計(jì)算平臺(tái)的相關(guān)技術(shù)、GML簡(jiǎn)介及其主要模型以及分析了在云計(jì)算環(huán)境下GML空間數(shù)據(jù)并行存取的模型選擇相關(guān)問(wèn)題。

[1]吳學(xué)饒.云計(jì)算環(huán)境下大GML空間數(shù)據(jù)并行存取關(guān)鍵技術(shù)研究[D].江西理工大學(xué)，2015.

[2]劉艷俊，郭志恒，敖杰剛.云計(jì)算環(huán)境下GML的并行查詢(xún)研究[J].測(cè)繪標(biāo)準(zhǔn)化，2012，(02)∶23-25.

楊靜（1997-），河南開(kāi)封人，河南大學(xué)，本科，研究方向：大數(shù)據(jù)、計(jì)算機(jī)算法；通訊作者：王振。