分布式VR-GIS海量三維空間數(shù)據(jù)存儲調(diào)度模型研究

江媛媛，周圣川，韓 勇，馬純永

（1.中國海洋大學 信息科學與工程學院 海洋技術系，山東 青島 266100；2.中國海洋大學 海洋遙感教育部重點實驗室，山東 青島 266100）

網(wǎng)絡化虛擬地理信息系統(tǒng)利用網(wǎng)絡優(yōu)勢向用戶提供超媒體、交互式、分布式的空間信息，具有傳統(tǒng)虛擬地理信息系統(tǒng)所不具備的優(yōu)勢[1-3]，使得VR和GIS處理海量空間數(shù)據(jù)的方式從原來的集中、獨占走向分布、共享。但是，受網(wǎng)絡傳輸帶寬和海量空間數(shù)據(jù)實時繪制中圖形設備、數(shù)據(jù)吞吐效率的制約，在分布式VR-GIS研究中還存在諸多問題[4-6]。針對現(xiàn)有海量空間數(shù)據(jù)網(wǎng)絡化索引、調(diào)度、存取方面的不足，并考慮技術實施的可行性，本文研究了空間數(shù)據(jù)索引與文件系統(tǒng)索引性能的最優(yōu)化組合，建立了面向網(wǎng)絡應用的海量三維空間數(shù)據(jù)庫結構和高效數(shù)據(jù)訪問模型。通過對海量三維空間數(shù)據(jù)渲染與網(wǎng)絡傳輸數(shù)據(jù)流負載平衡性能模型的研究，為虛擬城市等空間數(shù)據(jù)處理和應用系統(tǒng)提供了智能的網(wǎng)絡化性能檢測、優(yōu)化方法，也為相關的VR-GIS理論研究開拓了新的方向。

1 研究內(nèi)容

1）分布式三維空間數(shù)據(jù)索引算法及其與分布式存儲系統(tǒng)的最優(yōu)化結合。從現(xiàn)有的多源、異構、海量三維空間數(shù)據(jù)出發(fā)，對三維空間數(shù)據(jù)進行分類，分析空間數(shù)據(jù)的性質及其結構特點[7，8]。對已有的多種空間數(shù)據(jù)索引，如R-樹、R+樹、四叉樹、網(wǎng)格索引、B樹索引等進行深入研究，分析其在分布式存儲模型中的性能特點、優(yōu)勢與不足。以此為基礎，研究了網(wǎng)絡化分布式文件系統(tǒng)中的三維空間數(shù)據(jù)索引模型，在網(wǎng)絡化存儲集群上研究基于分布式存儲的三維空間數(shù)據(jù)索引模型[9]；進一步，對單個數(shù)據(jù)節(jié)點，研究和探索空間數(shù)據(jù)索引結構與物理文件索引結構的性能最優(yōu)化結合方法，設計專用于三維空間數(shù)據(jù)的文件系統(tǒng)結構，通過在性能因子上的擬合使2種索引相互優(yōu)化，在分布式網(wǎng)絡環(huán)境中實現(xiàn)最佳的三維空間數(shù)據(jù)運算和調(diào)度傳輸性能。

2）網(wǎng)絡化三維空間數(shù)據(jù)庫系統(tǒng)模型及其優(yōu)化方法。針對三維空間數(shù)據(jù)特殊的數(shù)據(jù)結構，設計了與之對應的空間數(shù)據(jù)物理分布模型，研究支持三維空間數(shù)據(jù)高并發(fā)、高吞吐量網(wǎng)絡化訪問的分布式數(shù)據(jù)庫系統(tǒng)模型[10，11]。該數(shù)據(jù)庫模型以面向三維空間數(shù)據(jù)的分布式文件索引結構為基礎，通過高效的三維空間數(shù)據(jù)索引控制數(shù)據(jù)在分布式子網(wǎng)和外網(wǎng)中流轉，著重對空間數(shù)據(jù)的外存組織、物理節(jié)點分布模型進行研究，實現(xiàn)具備強魯棒性、高可靠性、高效率的海量三維空間數(shù)據(jù)分布式存儲與分發(fā)管理機制。

3）三維空間數(shù)據(jù)庫網(wǎng)絡化調(diào)度、可視化性能指標及影響因子的提取與量化。研究分析了影響虛擬城市等網(wǎng)絡化空間數(shù)據(jù)處理應用系統(tǒng)性能的因素，量化分布式網(wǎng)絡環(huán)境下三維空間數(shù)據(jù)索引、數(shù)據(jù)庫模型的性能參數(shù)，主要包括：

①分布式網(wǎng)絡環(huán)境下海量三維空間數(shù)據(jù)內(nèi)外存調(diào)度、網(wǎng)絡傳輸性能評價指標及量化方法，主要包括數(shù)據(jù)傳輸吞吐量、數(shù)據(jù)傳輸率、單位時間服務對象數(shù)、并發(fā)數(shù)、頁面幀速、頁面幀速方差等。

②量化影響虛擬城市計算機系統(tǒng)性能的指標，包括內(nèi)存、顯存、硬盤轉速、服務節(jié)點樹、磁盤頁面分布規(guī)律等，以及其對整體性能的影響。

③量化海量三維空間數(shù)據(jù)處理過程以及應用系統(tǒng)數(shù)據(jù)組成結構、組織方式對整體性能的影響，主要包括數(shù)據(jù)整體的空間分布特點、幾何面片數(shù)、紋理數(shù)據(jù)量、對象節(jié)點個數(shù)及空間數(shù)據(jù)索引模型等。

④使用數(shù)據(jù)建模方法對獲取的性能實測數(shù)據(jù)進行擬合，建立性能預測模型，主要包括影響空間數(shù)據(jù)檢索、運算的性能因素與影響數(shù)據(jù)流負載平衡的性能因素，結合帶寬、節(jié)點數(shù)、拓撲結構等網(wǎng)絡環(huán)境指標，實現(xiàn)網(wǎng)絡環(huán)境下對空間數(shù)據(jù)的存取、調(diào)度性能變化的預判和估計。

2 技術方案

研究遵循理論與實驗相結合的方式，以應用需求為導向，按照數(shù)據(jù)集獲取、建立模型、網(wǎng)絡化集成、反饋分析的流程進行開發(fā)?？傮w研究路線如圖1所示。

圖1 總體研究路線圖

1）數(shù)據(jù)集選取。有效的測試數(shù)據(jù)集是研究的基礎，也是衡量系統(tǒng)是否滿足需求的重要評判標準。本研究擬采用多類型數(shù)據(jù)集結合的方式構建基礎測試數(shù)據(jù)集。其中，在三維模型方面，使用“數(shù)字青島”20 GB全城區(qū)建筑模型數(shù)據(jù)，其中包含青島市區(qū)內(nèi)的所有建筑模型和高清晰度紋理數(shù)據(jù)；在DOM、DEM數(shù)據(jù)方面，使用總數(shù)據(jù)量為200 GB的美國阿拉斯加州10 m×10 m分辨率地形數(shù)據(jù)和“數(shù)字青島”3 m×3 m分辨率的高清晰度地形數(shù)據(jù)。此外，還綜合大量的測試用SHP數(shù)據(jù)、CAD數(shù)據(jù)等常用空間數(shù)據(jù)，在保證測試數(shù)據(jù)量的同時，保證研究結果對常用空間數(shù)據(jù)的普適性。

2）分布式文件系統(tǒng)與空間數(shù)據(jù)索引性能的最優(yōu)化結合。將空間數(shù)據(jù)索引與分布式文件系統(tǒng)的物理節(jié)點分布結合，設計一種新的二次索引或混合式空間索引模式，以應對不同分辨率、不同類型、不同分布模式的三維空間數(shù)據(jù)，實現(xiàn)其在分布式文件系統(tǒng)上的性能最優(yōu)化。進一步，將Hilbert與空間索引相結合，能在獲得最優(yōu)三維空間查詢性能的同時，使服務器的單節(jié)點和網(wǎng)絡I/O最小化。

3）分布式三維空間數(shù)據(jù)庫模型的建立。將空間數(shù)據(jù)的分布特點與分布式數(shù)據(jù)庫系統(tǒng)的節(jié)點組織結構相結合，充分考慮三維空間數(shù)據(jù)組成結構、空間數(shù)據(jù)索引結構、網(wǎng)絡節(jié)點分布、DP次數(shù)等影響因素，對傳統(tǒng)分布式數(shù)據(jù)庫模型進行修正。構建三維空間數(shù)據(jù)庫物理層和網(wǎng)絡層模型，結合Hilbert空間填充曲線改變硬盤存儲器的分頁存儲模式，形成磁盤頁面屬性與空間屬性結合的數(shù)據(jù)分布模式。在分布式網(wǎng)絡傳輸方面，實現(xiàn)三維空間數(shù)據(jù)自適應壓縮算法，通過在傳輸前對空間數(shù)據(jù)進行壓縮降低可視化數(shù)據(jù)的傳輸量；在網(wǎng)絡節(jié)點解壓時，依據(jù)客戶端配置進行完全或部分解壓，并評估加壓率對數(shù)據(jù)傳輸和網(wǎng)絡負載的影響。此外，通過對基于三維空間索引的優(yōu)化算法的研究，使傳輸?shù)臄?shù)據(jù)量和協(xié)議通訊I/O最小化。

4）分布式空間數(shù)據(jù)索引與數(shù)據(jù)調(diào)度性能的建模與優(yōu)化。建立分布式空間索引和三維空間數(shù)據(jù)庫性能模型并進行驗證與仿真，性能建模的流程主要包括：運行簡化情況；運行狀況跟蹤；在線圖形顯示；連續(xù)測試，將輸入?yún)?shù)作小的改變，然后進行多次仿真，對任何一個輸入?yún)?shù)作小的變化，應該產(chǎn)生一個小的輸出變化，如果輸出變化很大，則應該進行著重分析；退化檢測，將模型工作在系統(tǒng)、配置、負載等的極值狀態(tài)看測試結果；一致性檢測，輸入?yún)?shù)值的改變應該在輸出有類似的改變。試著采用不同方法進行多次仿真，看其結果。此外，在收集大量性能測試結果的基礎上進行性能曲線的建模、擬合，實現(xiàn)對空間索引和數(shù)據(jù)庫模型性能變化的預測，并給出自動優(yōu)化的方案。

3 研究目標的實現(xiàn)

本文研究了網(wǎng)絡化分布式存儲模型中的三維空間數(shù)據(jù)高效索引與調(diào)度模型，突破了海量空間數(shù)據(jù)索引和調(diào)度算法的二維局限性和網(wǎng)絡局限性，建立了分布式文件系統(tǒng)，設計了分布式三維空間數(shù)據(jù)索引算法并探討了三維空間數(shù)據(jù)索引與分布式文件索引的性能最優(yōu)化結合方法（見圖2）。本文還研究了海量三維空間數(shù)據(jù)在分布式網(wǎng)絡環(huán)境中的節(jié)點分布、數(shù)據(jù)結構和服務模型，提出了適用于三維空間數(shù)據(jù)和分布式網(wǎng)絡環(huán)境的數(shù)據(jù)調(diào)度算法，建立了充分優(yōu)化的網(wǎng)絡化三維空間數(shù)據(jù)庫模型，實現(xiàn)了能支持TB級三維空間數(shù)據(jù)在線交互式渲染的分布式三維空間數(shù)據(jù)庫系統(tǒng)，如圖3所示。

通過本模型的研究，建立了網(wǎng)絡環(huán)境下基于分布式三維空間數(shù)據(jù)存儲與索引機制的調(diào)度傳輸及可視化性能模型，收集了當前運行環(huán)境下的性能指標參數(shù)，采用統(tǒng)計學習的方法來有效準確地預測系統(tǒng)在不同負載壓力下的性能，為性能建模領域的研究提供了新的研究方法和技術路線。

圖2 網(wǎng)絡環(huán)境下的三維模型調(diào)度

圖3 網(wǎng)絡環(huán)境下導航與屬性調(diào)度

[1]李德仁.數(shù)碼城市(CyberCity)的概念、技術支撐和典型應用[D].數(shù)字湖北與湖北經(jīng)濟研討會論文集，2001

[2]朱慶，林琿.數(shù)碼城市地理信息系統(tǒng)[M].武漢：武漢大學出版社，2004

[3]承繼成.數(shù)字城市——理論方法與應用[M].北京：科學出版社，2007

[4]Cavagna R,Royan J, Gioia P, et al. Peer-to-peer Visualization of Very Large 3D Landscape and City Models using MPEG-4[J].Singal Processing: Image Communication, 2009,24(1):115-121

[5]Cignoni P, Montani C, Rocchini C, et al. External Memory Management and Simplification of Huge Meshes[J]. IEEE Transactions on Visualization and Computer Graphics,2003,9:525-537

[6]Brooks S, J. Multilayer J W Hybrid Visualization to Support 3D GIS[J]. Computer, Environment and Urban Systems, 2008,32:278-292

[7]Kashiyama K, Takada T, Miyachi H. Large Scale Finite Element Modeling, Simulation and Visualization for Wind Flows in Urban Area Using Virtual Reality[J]. Tsinghua Sicence and Teachnology, 2008,13:84-89

[8]Mitas, Brown, William M. Role of Dynamic Cartography in Simulations of Landscape Processes Based on Multivariate Fields[J]. Computers & Geosciences, 1997,23(4): 437-446

[9]Cervelle, LA. 3D Topological Modeling and Visualization for 3D GIS[J]. Computers and Graphics, 1999,23(4): 469-478

[10]?？?，高金良，袁一星，等.基于虛擬現(xiàn)實的城市供水管網(wǎng)仿真系統(tǒng)[J].華南理工大學學報：自然科學版，2008，36（12）：43-46

[11]王麗英，華煒，鮑虎軍. 規(guī)則驅動的虛擬城市道路網(wǎng)絡和建筑布局建模[J]. 計算機輔助設計與圖形學學報，2006，18 (11)：1 704-1 709