一種基于網(wǎng)格優(yōu)化的空間數(shù)據(jù)訪問與存儲(chǔ)研究

楊 毅

(四川護(hù)理職業(yè)學(xué)院網(wǎng)絡(luò)中心，四川成都610100)

0 引言

過去10年間，地理信息科學(xué)在數(shù)據(jù)存檔和發(fā)布方面取得了多項(xiàng)進(jìn)展。最近的研究焦點(diǎn)是基于互聯(lián)網(wǎng)、萬(wàn)維網(wǎng)和專用因特網(wǎng)開發(fā)GIS系統(tǒng)功能，又稱為WebGIS(基于網(wǎng)絡(luò)的地理信息系統(tǒng))。有了Web-GIS，世界范圍內(nèi)的用戶均可以訪問分布式地理信息?；ヂ?lián)網(wǎng)用戶利用瀏覽器，不需購(gòu)買專用GIS軟件就可以訪問GIS應(yīng)用［1］。

開放地理空間聯(lián)盟(OGC)經(jīng)深思熟慮后采用了 Web 處理服務(wù)(WPS)［2］。Google Earth［3］和 Py-WPS［3］均是前面提到的 WebGIS和 WPS系統(tǒng)的應(yīng)用示例。在廣域網(wǎng)環(huán)境(WAN)下通過傳統(tǒng)的超文本傳輸協(xié)議、網(wǎng)絡(luò)文件系統(tǒng)協(xié)議和文件傳輸協(xié)議共享或訪問地理空間數(shù)據(jù)，往往會(huì)遇到等待時(shí)間較長(zhǎng)、效果不佳等問題。本文主要對(duì)地理空間數(shù)據(jù)存儲(chǔ)和發(fā)布時(shí)存在的網(wǎng)絡(luò)延時(shí)問題展開研究，重點(diǎn)是針對(duì)大量Earth遠(yuǎn)程遙感數(shù)據(jù)，基于網(wǎng)格技術(shù)開發(fā)的系統(tǒng)。提出了高性能遠(yuǎn)程批量數(shù)據(jù)發(fā)布/存儲(chǔ)，并與當(dāng)前網(wǎng)格驗(yàn)證授權(quán)工具集成的安全數(shù)據(jù)管理［3］。GridJet新技術(shù)對(duì)當(dāng)前互聯(lián)網(wǎng)架構(gòu)和協(xié)議進(jìn)行拓展，滿足了前述迫切需求，同時(shí)通過對(duì)當(dāng)前協(xié)議進(jìn)行版本控制，可以適應(yīng)WWW/網(wǎng)格的未來需求。

1 相關(guān)工作

無論是技術(shù)缺陷還是架構(gòu)設(shè)計(jì)，現(xiàn)有的GIS系統(tǒng)均產(chǎn)生了一些根本性的性能問題。為了提供訪問進(jìn)程，服務(wù)器需要對(duì)大量的空間數(shù)據(jù)進(jìn)行組合。這些數(shù)據(jù)不止存儲(chǔ)在服務(wù)器上，還由于地理空間數(shù)據(jù)的分布式特性而經(jīng)常在網(wǎng)絡(luò)上傳播［4］。大部分情況下，所需數(shù)據(jù)規(guī)模達(dá)到千兆字節(jié)甚至更高。存儲(chǔ)或者傳輸如此大量的數(shù)據(jù)，難度非常大。當(dāng)然，同樣問題也存在于通過WWW瀏覽地圖時(shí)簡(jiǎn)單的Web-GIS服務(wù)上。目前，從遠(yuǎn)程資源獲取數(shù)據(jù)主要通過HTTP或者 FTP協(xié)議，效率低，安全性差。Friis-Christensen等人［5］對(duì)基于空間數(shù)據(jù)基礎(chǔ)設(shè)施面向分布式服務(wù)的地理信息處理的可行性進(jìn)行了研究［5］。該文證明了使用分布式地理信息處理環(huán)境具有多項(xiàng)優(yōu)勢(shì)(比如數(shù)據(jù)無需復(fù)制、可重用性)。Jagery等人［6］提出一種完整的Web服務(wù)注冊(cè)、發(fā)掘、開發(fā)和執(zhí)行框架，以便為在線服務(wù)提供支持，該技術(shù)將地理信息處理看成一個(gè)流程，并使用流程工具通過網(wǎng)絡(luò)獲取分布式地理空間數(shù)據(jù)。

一般情況下，WebGIS和WPS使用HTTP協(xié)議傳輸數(shù)據(jù)和請(qǐng)求。與HTTP/FTP/NFS/GridFTP協(xié)議不同，本文GridJet協(xié)議支持?jǐn)?shù)據(jù)流并行傳輸和單系統(tǒng)映象(SSI)。它可作為獨(dú)立的工具運(yùn)行，或者與WebGIS/WPS技術(shù)集成。下面將對(duì)本文協(xié)議的技術(shù)細(xì)節(jié)進(jìn)行詳細(xì)闡述［7］。

2 GridJet協(xié)議:底層WAN/網(wǎng)格優(yōu)化協(xié)議

2.1 總體設(shè)計(jì)

本文將展示PyWPS和Google Earth如何與所開發(fā)的GridJet協(xié)議通過界面連接，GridJet當(dāng)前支持Linux，下步工作將把它拓展到Windows和MacOS X系統(tǒng)。

2.2 GridJet的實(shí)現(xiàn)

GridJet通過使用并行流，只以很小的內(nèi)存消耗代價(jià)，就可取得非常高的傳輸速度。GridJet為應(yīng)用程序在發(fā)送方和接收方間開啟了多個(gè)socket流。然后應(yīng)用數(shù)據(jù)被分成多個(gè)段，段的數(shù)量等于流的數(shù)量。數(shù)據(jù)段通過不同的線程在socket流中并發(fā)傳輸，然后在接收方組裝［8］。最終數(shù)據(jù)傳遞給應(yīng)用程序，似乎這些數(shù)據(jù)是通過一個(gè)socket傳輸?shù)?。下面同時(shí)顯示了為什么分段數(shù)據(jù)通過多個(gè)socket流傳輸可以獲得近似最優(yōu)的帶寬性能。在該圖中，陰影部分表示socket的緩存大小，面積較大的空白矩形表示TCP管道容量(帶寬*時(shí)延)。通過一個(gè)socket流進(jìn)行傳輸?shù)膽?yīng)用程序無法充分利用TCP管道的容量。若緩存大小取其默認(rèn)值64 KB，則容量利用率只有1%左右。如果應(yīng)用程序使用一個(gè)socket流時(shí)的緩存大小最優(yōu)，或者使用多個(gè)socket流，則可以填滿TCP管道。

2.3 GridJet安全機(jī)制

網(wǎng)格應(yīng)用程序不僅要求大量數(shù)據(jù)在廣域網(wǎng)上高效傳輸，還要求相應(yīng)的安全和驗(yàn)證服務(wù)，以提高數(shù)據(jù)的完整性和數(shù)據(jù)訪問控制效果。GridJet及以其為基礎(chǔ)的其他協(xié)議使用GIS公共密鑰基礎(chǔ)設(shè)施，以驗(yàn)證WAN/網(wǎng)格成員的身份，提高為這些成員分配資源的安全性［9］。GridJet服務(wù)器請(qǐng)求從證書認(rèn)證機(jī)構(gòu)接收大量主機(jī)證書。GridJet(服務(wù))也需在虛擬組織注冊(cè)輕量級(jí)目錄訪問協(xié)議(VO-LDAP)。另外，VO-LDAP根據(jù)LDAP數(shù)據(jù)庫(kù)生成GridJet服務(wù)器網(wǎng)格地圖，以便進(jìn)行驗(yàn)證和制圖。除了負(fù)責(zé)認(rèn)證注冊(cè)外，VO-LDAP還為虛擬組織履行其他重要職責(zé)，比如服務(wù)搜索引擎和用戶授權(quán)［10］。

3 地理空間真實(shí)數(shù)據(jù)的存儲(chǔ)和分布

本節(jié)研究的目的是考察和測(cè)試基于GridJet的WebGIS/WPS原型系統(tǒng)，對(duì)其與標(biāo)準(zhǔn)的單流HTTP傳輸協(xié)議性能進(jìn)行比較評(píng)估。選用PyWPS來實(shí)現(xiàn)一種基于GridJet的WPS系統(tǒng)，典型的地理數(shù)據(jù)處理操作包括:數(shù)據(jù)傳輸、發(fā)布/存儲(chǔ)和疊加分析。GridJet的應(yīng)用不僅限于WPS系統(tǒng)，還可用于常見的GIS系統(tǒng)。于是，使用Google Earth做了一些試驗(yàn)，一個(gè)客戶端通過GridJet協(xié)議將帶有directory/earth/map．tiff的遠(yuǎn)程地圖服務(wù)器加載到本地tree/mnt/GridJet/，然后Google Earth客戶端可以實(shí)現(xiàn)“本地化”在線瀏覽。

3.1 歐亞網(wǎng)格配置

以下真實(shí)測(cè)試可以證明基于GridJet的Web-GIS/WPS在歐亞網(wǎng)格網(wǎng)絡(luò)資源上的通信性能。歐亞網(wǎng)格項(xiàng)目由歐共體資助，涉及10多個(gè)歐洲和亞洲研究機(jī)構(gòu)。

有5個(gè)歐亞網(wǎng)格城市加入測(cè)試:劍橋、倫敦、樸次茅斯、穆爾西亞和北京。每座城市使用安裝了GridJet客戶端網(wǎng)關(guān)的Linux/Globus設(shè)備作為客戶端來訪問，劍橋安裝了GridJet服務(wù)器網(wǎng)關(guān)的專用WPS或Web地圖服務(wù)器:Cranfield高性能計(jì)算設(shè)備(CCHPCF)，CCHPCF設(shè)備通過劍橋EastNet結(jié)點(diǎn)，使用5-Gb/s SuperJANET中樞，以155-Mb/s速度與互聯(lián)網(wǎng)穩(wěn)定連接，穆爾西亞、倫敦、北京和樸次茅斯的連接速度分別為 10 Mb/s、2 Mb/s、100 Mb/s、100 Mb/s。

3.2 測(cè)試方法

為了給PyWPS和其他系統(tǒng)提供支持，GridJet設(shè)立于Globus庫(kù)的頂端，于是，引入附加層來抽象表示通信基礎(chǔ)設(shè)施［11］。為了定量描述各種開銷，使用不同的傳輸工具:(地理信息處理期間用于遠(yuǎn)程數(shù)據(jù)傳輸和存儲(chǔ)的HTTP和GridJet協(xié)議)，對(duì)CCHPCF WPS服務(wù)器和北京遠(yuǎn)程數(shù)據(jù)中心間的在線地理信息處理服務(wù)數(shù)據(jù)傳輸時(shí)間(s)進(jìn)行比較。在實(shí)驗(yàn)時(shí)選擇地理空間數(shù)據(jù)傳輸、重疊分析和地圖發(fā)布/存儲(chǔ)，因?yàn)檫@3種操作在WPS危機(jī)和緊急情況處理中經(jīng)常使用［12］。同時(shí)，用同樣方式，對(duì)使用 Google Earth/PyWPS遠(yuǎn)程在線瀏覽地圖時(shí)的傳輸時(shí)間(s)進(jìn)行了測(cè)試，地圖服務(wù)器在CCHPCF，客戶端在北京。在實(shí)驗(yàn)中對(duì)每種協(xié)議運(yùn)行3次。

3.3 歐亞網(wǎng)格空間數(shù)據(jù)存儲(chǔ)和發(fā)布

我們做了大量性能測(cè)試來衡量基于GridJet的WebGIS/WPS在用戶響應(yīng)時(shí)間提升方面的性能。選擇HTTP作為標(biāo)準(zhǔn)的傳輸協(xié)議。加速效果定義為HTTP協(xié)議的傳輸時(shí)間與基于GridJet協(xié)議的Google Earth/PyWPS傳輸時(shí)間之比。GridJet安全性已經(jīng)經(jīng)過驗(yàn)證。

①基于GridJet的Google Earth:衡量了客戶端在有線廣域網(wǎng)環(huán)境下通過100 Mb/s鏈路在線瀏覽41．8 MB地圖的訪問時(shí)間。使用HTTP協(xié)議時(shí)，地圖傳輸和顯示時(shí)間是400 s，廣域網(wǎng)延時(shí)是539 s。當(dāng)將GridJet服務(wù)器/客戶端網(wǎng)關(guān)(在瀏覽器地址欄選擇GridJet而不是HTTP或其他協(xié)議)添加到#tcp=16鏈路上時(shí)，同樣的41．8 MB地圖在線顯示只需73s，速度提升了 5．5 倍。當(dāng)#tcp=64 時(shí)，41．8 MB地圖的瀏覽(傳輸)時(shí)間是52 s，響應(yīng)時(shí)間提升了7．7倍(如表1所示)。

表1 劍橋－北京測(cè)試中的Google Earth性能

我們發(fā)現(xiàn)，當(dāng)#tcp=1時(shí)GridJet的初始傳輸時(shí)間(448 s)大于HTTP(400 s)(沒有添加加速)，當(dāng)#tcp增加時(shí)傳輸時(shí)間差距將會(huì)下降。當(dāng)#tcp大于4時(shí)，GridJet超越HTTP;當(dāng)#tcp=128時(shí)，速度提升了7．8倍。GridJet功能的額外開銷是因?yàn)?GridJet在Globus庫(kù)之上的附加抽象層。

響應(yīng)時(shí)間相對(duì)TCP流數(shù)量(#tcp)的提升情況。41．8 MB地圖通過往返時(shí)間(RTT)為539 ms的鏈接傳輸。從圖中可以看出，#tcp數(shù)量上升時(shí)，響應(yīng)時(shí)間提升倍數(shù)也在上升。當(dāng)有128個(gè)并行流時(shí)，最大提升倍數(shù)達(dá)到7．8倍。然而。當(dāng)進(jìn)一步提高#tcp數(shù)量時(shí)，GridJet將要花費(fèi)大量的時(shí)間管理大量的TCP流，因此提升步伐放緩。

②基于GridJet的PyWPS:為了考察PyWPS通過GridJet在地理空間數(shù)據(jù)存儲(chǔ)和發(fā)布方面取得多大的性能提升，在劍橋和北京間展開測(cè)試。網(wǎng)絡(luò)主要參數(shù)與Google Earth測(cè)試相同，但是數(shù)據(jù)集做了變更，以進(jìn)行更加復(fù)雜的地理數(shù)據(jù)處理。選擇3幅地圖:5．2 MB的shapefile文件，5．4 MB 的光斑圖像文件，5．6 MB的另一幅光斑圖像文件。

實(shí)驗(yàn)內(nèi)容包括3種操作:遠(yuǎn)程地理空間數(shù)據(jù)變換、在線疊加分析和地圖發(fā)布/存儲(chǔ)。為了進(jìn)行遠(yuǎn)程地理空間數(shù)據(jù)轉(zhuǎn)換，通過GridJet來訪問和轉(zhuǎn)換遠(yuǎn)程數(shù)據(jù)。對(duì)在線疊加分析，通過互聯(lián)網(wǎng)/網(wǎng)格向分析服務(wù)器發(fā)出請(qǐng)求，分析數(shù)據(jù)集來自遠(yuǎn)程數(shù)據(jù)源。通過GridJet讀取遠(yuǎn)程數(shù)據(jù)結(jié)點(diǎn)的分布式地理空間數(shù)據(jù)，本地運(yùn)行疊加分析服務(wù)來對(duì)數(shù)據(jù)進(jìn)行分析。人們經(jīng)常需要將他們處理過的地理空間數(shù)據(jù)存儲(chǔ)在遠(yuǎn)程設(shè)備上。可能原因包括:有限的使用權(quán)限，有限的本地存儲(chǔ)空間，或者是需要把數(shù)據(jù)傳輸給第3方。在測(cè)試中，疊加分析生成的一幅新地圖通過GridJet存儲(chǔ)到遠(yuǎn)程數(shù)據(jù)服務(wù)器上。

表2 RTT變化時(shí)的PyWPS性能提升情況(S=提升倍數(shù))/s

GridJet的設(shè)計(jì)目的就是為了處理遠(yuǎn)程、跨域、單像數(shù)據(jù)訪問和傳輸任務(wù)。在數(shù)據(jù)變換測(cè)試中，選擇在有線廣域網(wǎng)環(huán)境下通過100 Mb/s鏈路在線轉(zhuǎn)換5．4 MB的地理空間數(shù)據(jù)(從向量變換為光柵格式)。當(dāng)RTT=80 ms且#tcp=16時(shí)，性能相比于HTTP協(xié)議提升1．63倍。在疊加分析測(cè)試中，讀取遠(yuǎn)程服務(wù)器上的3份異構(gòu)空間數(shù)據(jù)文件，然后疊加到本地顯示器上。這3份數(shù)據(jù)文件分別是一份shapefile文件(失量格式)，2份光斑圖像(光柵格式)，每份文件均大于5 MB。當(dāng) RTT=320ms且#tcp=16時(shí)，性能提升2．3倍。在分發(fā)/存儲(chǔ)測(cè)試中，先前疊加分析生成的一幅新的疊加地圖存儲(chǔ)到原先相同的存儲(chǔ)了前面提到的3份異構(gòu)空間數(shù)據(jù)文件的遠(yuǎn)程數(shù)據(jù)器上。對(duì)4組數(shù)據(jù)進(jìn)行了測(cè)試，RTT時(shí)間在40～320 ms范圍內(nèi)，GridJet相對(duì)HTTP的性能提升了1．5～2．3倍。表2顯示了執(zhí)行前述地理數(shù)據(jù)處理操作時(shí)，響應(yīng)時(shí)間方面的性能提升。當(dāng)有16路并行TCP流時(shí)，平均提升效果為2倍。

4 結(jié)果分析

我們發(fā)現(xiàn)，基于 GridJet的 PyWPS和 Google Earth表現(xiàn)出不同的性能特點(diǎn)。Google Earth的性能提升了7．8倍，而PyWPS提升了2．3倍。這主要是因?yàn)?底層GridJet架構(gòu)必須要高效地提高傳輸帶寬，以加快WebGIS/WPS I/O速率。這也是Web-GIS/WPS服務(wù)器比較青睞經(jīng)過WAN/網(wǎng)格優(yōu)化的架構(gòu)的原因。直觀來講，當(dāng)請(qǐng)求規(guī)模足以允許Grid-Jet通過多個(gè)TCP流高效傳輸時(shí)，開發(fā)的基于Grid-Jet的WebGIS/WPS，性能將更優(yōu)。我們還對(duì)Web-GIS/WPS收集空間數(shù)據(jù)請(qǐng)求的能力進(jìn)行了驗(yàn)證。WebGIS/WPS用同步(阻礙請(qǐng)求的物理讀寫)和異步(無阻塞的預(yù)取預(yù)沖)兩種方式發(fā)出請(qǐng)求。其結(jié)果就是如下折衷:WebGIS/WPS應(yīng)該提交盡可能多的異步請(qǐng)求以提升吞吐量，同時(shí)需確保每當(dāng)提交請(qǐng)求時(shí)文件系統(tǒng)已經(jīng)準(zhǔn)備好處理同步請(qǐng)求。當(dāng)前，GRASS為數(shù)據(jù)文件和緩沖區(qū)使用4 KB硬頁(yè)面大小(一個(gè)數(shù)據(jù)塊)。GridJet提供的傳輸帶寬更高，可以為規(guī)模較大的這些請(qǐng)求帶來許多益處。不幸的是，據(jù)通過Strace所做的觀察，它們所占比例不高。

5 結(jié)束語(yǔ)

提出了一種面向地理空間數(shù)據(jù)的訪問和存儲(chǔ)方案，該方案可提高GIS服務(wù)支持的結(jié)構(gòu)性、連接性、移動(dòng)性和質(zhì)量。測(cè)試結(jié)果表明，與使用單流HTTP協(xié)議相比，使用底層 GridJet引擎可以顯著提高WebGIS/WPS的傳輸速率。基于GridJet的 Web-GIS/WPS創(chuàng)新性地將高速通信與異構(gòu)有線/無線網(wǎng)絡(luò)結(jié)合在一起，提升了WPS和WebGIS的功能和可用性，可輕松訪問網(wǎng)格技術(shù)?；贕ridJet的端到端服務(wù)支持技術(shù)解決了廣域網(wǎng)文件在WAN/網(wǎng)格上的“局域網(wǎng)化”共享難題，對(duì)GIS領(lǐng)域帶來了極大的便利。下一步研究工作的重點(diǎn)是在現(xiàn)有系統(tǒng)的基礎(chǔ)上，進(jìn)一步考慮地理空間數(shù)據(jù)的傳輸可靠性和安全性問題。

［1］ CROMLEY E K，MCLAFFERTY S．GIS and Public Health［J］．Guilford Press，2012 ，3(24):35-39．

［2］ HERRING J．OpenGIS Implementation Standard for Geographic Information-Simple Feature Access-Part 1:Common Architecture［J］．OGC Document，2011，4(21):122-127．

［3］ BODZIN A，ANASTASIO D，KULO V．Designing Google Earth Activities for Learning Earth and Environmental Science［J］．Teaching Science and Investigating Environmental Issueswith GeospatialTechnology:Designing Effective Professional Development for Teachers．Dordrecht:Springer，2012，10(37):105-110．

［4］ CEPICKY J，BECCHI L．Geospatial Processing Via Internet on Remote Servers-PyWPS［J］．OSGeo Journal，2007，1(5):11-17．

［5］ FRIIS-CHRISTENSEN A，BEMARD L，KANELLOPOULOS I，et al．Building Service Oriented Applications on Top of a Spatial Data Infrastructure–A Forest Fire Assessment Example［J］．AGILE-Shaping the Future of Geographic Information Science in Europe，Visegrád，Hungary，2006，33(24):27-34．

［6］ JAEGER E，ALTINTAS I，ZHANG J，et al．A Scientific Workflow Approach to Distributed Geospatial Data Processing using Web Services［C］∥SSDBM，2005，3(42):87-90．

［7］ GADGIL H，CHOI J Y，ENGEL B，et al．Management of Data Streams for a Real Time Flood Simulation［J］．Community Grids Lab Technical Report，2004，44(32):237-240．

［8］ MILLINA G R，EKINA P，KITMITTO K．Proving Spatial Data Support and Access to Freely Available Satellite Imagery for the UK Academic Community:A Review of Data Acquisition and Data Delivery Infrastructure［J］．In Proc．RSPsoc Annu，2007，22(20):1-5．

［9］ LIU W，KETTIMUTHU R，TIEMAN B，et al．GridFTP GUI:an Easy and Efficient Way to Transfer Data in Grid［J］．Networks for Grid Applications．Springer Berlin Heidelberg，2010，2(23):57-66．

［10］ CHEN J，AKERS W，CHEN Y，et al．Java parallel secure stream for Grid computing［C］∥Computing in High Energy and Nuclear Physics，CHEP，2005，12(28):103-108．

［11］ Globus WORLD，2007．［Online］［DB/OL］．Available:www．globusworld．com/program/program．php 2007，22(24):111-114．

［12］ WANG F Z，WU S，HELIAN N，et al．DIANA:Data Interface All-iN-A-place［J］．Presented at the Cranfield Multistrand Conf，2008，12(46):224-229．