面向虛擬地球系統(tǒng)的多尺度影像瓦片數(shù)據(jù)實時創(chuàng)建技術

洪 宇，劉 金，康林沖，姜曉軼，孔祥勤

(1.深圳市海洋環(huán)境與資源監(jiān)測中心，廣東 深圳 518034； 2.國家海洋信息中心，天津 300171)

?

面向虛擬地球系統(tǒng)的多尺度影像瓦片數(shù)據(jù)實時創(chuàng)建技術

洪 宇1，劉 金2，康林沖2，姜曉軼2，孔祥勤1

(1.深圳市海洋環(huán)境與資源監(jiān)測中心，廣東 深圳 518034； 2.國家海洋信息中心，天津 300171)

針對傳統(tǒng)虛擬地球系統(tǒng)對多分辨率影像預先切片構建瓦片金字塔，導致的數(shù)據(jù)通用性差、數(shù)據(jù)更新效率低等問題，提出了一種實時創(chuàng)建多尺度影像瓦片數(shù)據(jù)的改進技術。設計并構建多尺度影像金字塔模型，對影像進行邏輯上的裁剪和接邊處理，并將多尺度影像金字塔工程發(fā)布為數(shù)據(jù)服務，基于多核處理器設計影像切片并行算法實現(xiàn)用戶實時響應請求。采用World Wind虛擬地球系統(tǒng)選擇廣東及海南區(qū)域的多源影像進行試驗，試驗結果證明該技術能夠方便地管理影像數(shù)據(jù)，滿足虛擬地球系統(tǒng)的并發(fā)訪問需求，并能極大地提高數(shù)據(jù)更新效率。

虛擬地球系統(tǒng)；多尺度影像；瓦片金字塔；實時創(chuàng)建；并行計算

1 研究背景

影像是虛擬地球系統(tǒng)中最基本的數(shù)據(jù)，具有數(shù)據(jù)量大、多源多尺度等特點，國內(nèi)外大多數(shù)虛擬地球系統(tǒng)如Google Earth、World Wind、Supermap Globe、天地圖、EV-Globe等在構建虛擬地球應用時都是將影像數(shù)據(jù)切片建成瓦片金字塔，然后存儲到服務器的虛擬目錄中或發(fā)布為WMS服務。為了建立影像金字塔,實現(xiàn)海量影像數(shù)據(jù)在不同硬件設備上的快速調(diào)度與可視化,學者們研究了影像數(shù)據(jù)組織存儲及調(diào)度問題[1-4],比較了單幅影像獨立構建金字塔和多幅影像構建統(tǒng)一金字塔2種策略的優(yōu)缺點,提出的多尺度影像金字塔構建算法,實現(xiàn)了利用多種分辨率的遙感影像統(tǒng)一構建影像金字塔[5-6]。例如，武漢大學的陳茂霖等[7]提出了基于不規(guī)格分塊的多尺度影像金字塔構建方法，減少了數(shù)據(jù)冗余，提高了切片效率，但其計算難度較大；贠建明等[8]提出了建立統(tǒng)一金字塔的思想，設計了影像分級分塊策略。同時，隨著云計算技術的出現(xiàn)、發(fā)展和落地應用，利用云計算技術實現(xiàn)批量遙感影像瓦片金字塔的并行構建，在集群上快速、有效地解決單機上難以解決的大規(guī)模批量遙感影像瓦片金字塔的構建[9-10]。例如，劉義等[11]提出了基于Map Reduce框架的批量遙感影像瓦片金字塔并行構建算法，可以有效地把不同區(qū)域、不同分辨率的大規(guī)模批量遙感影像集成在一個統(tǒng)一框架下自動地進行瓦片金字塔構建。

這些研究解決了影像金字塔的構建問題，使瓦片金字塔技術相對成熟，但針對虛擬地球系統(tǒng)而言，建立瓦片金字塔庫意味著要對海量的影像數(shù)據(jù)預先切片，這會帶來以下問題：①虛擬地球系統(tǒng)直接使用的是瓦片數(shù)據(jù)而不是原始影像，瓦片數(shù)據(jù)以固定大小的圖片形式存在，但不同的虛擬地球系統(tǒng)的瓦片數(shù)據(jù)格式一般不相同，影像分層不統(tǒng)一，數(shù)據(jù)不能通用，造成資源浪費；②任何區(qū)域有影像更新都不得不將該區(qū)域重新切片，效率低下。針對這些問題，本文提出了一種瓦片金字塔實時創(chuàng)建技術，改進了金字塔數(shù)據(jù)庫構建技術。

2 虛擬地球系統(tǒng)中的影像數(shù)據(jù)調(diào)用

圖1 虛擬地球系統(tǒng)中的數(shù)據(jù)調(diào)度Fig.1 Data flow in virtual globes

圖2 多尺度影像金字塔模型結構Fig.2 Model structure of tile pyramid for multi-scale images

3 構建多尺度影像金字塔

3.1 數(shù)據(jù)模型

多尺度影像金字塔由原始多尺度影像文件、索引文件、影像數(shù)據(jù)邏輯處理信息、統(tǒng)一金字塔參數(shù)、坐標系統(tǒng)參數(shù)、環(huán)境參數(shù)等數(shù)據(jù)文件組成。該模型存儲了全部原始影像，對其進行空間索引編碼，并對原始影像進行適當?shù)倪壿嬓蕴幚?，其操作并不改變原始文件，但需要記錄所有操作行為，例如，對一幅影像進行裁剪處理，需要記錄裁剪多邊形以及裁剪后是保留多邊形內(nèi)部區(qū)域還是外部區(qū)域等變量。模型中并沒有瓦片數(shù)據(jù)，但對每幅影像在整個金字塔中的分塊分級進行了設置。如圖2中，影像文件1覆蓋統(tǒng)一金字塔的3,4層；影像文件2覆蓋3,4,5層；影像文件3覆蓋4,5層；影像文件4只覆蓋第5層。要制定策略處理同一級中影像重疊的情況，可以按照分辨率優(yōu)先或時間優(yōu)先策略，同時支持人工設置，如圖2中第4層，影像文件1和文件3發(fā)生重疊，優(yōu)先顯示的是影像文件3。

相對于傳統(tǒng)金字塔模型,本文的多尺度影像金字塔有2個特點：①數(shù)據(jù)配置具有較大靈活性，構成整個統(tǒng)一金字塔的原始影像文件需要更新替換時，只需要修改統(tǒng)一金字塔的索引文件，指定更新文件的路徑即可,不需要重新計算；②影像文件可以分布式存儲，構建統(tǒng)一金字塔的原始文件可分布存儲，索引表中每幅影像文件采用網(wǎng)絡路徑；該特點使多個數(shù)據(jù)中心共同建設影像金字塔工程成為可能，不需要進行數(shù)據(jù)遷移，可促進數(shù)據(jù)共享應用。

3.2 統(tǒng)一金字塔

構建統(tǒng)一金字塔需要確定3個參數(shù)：層數(shù)、底層分辨率、層間系數(shù)。本文研究中3個參數(shù)分別設定為22層、0.15 m、2倍，即統(tǒng)一金字塔每一分層的底層分辨率(m)為：0.15,0.3,0.6,1.2,2.4,4.8,9.6,19.2,38.4,76.8,153.6,307.2,614.4，1 200,2 400,4 800，9 600,19 200,38 400,76 800,153 600，max。其中頂層設定為max，為最大可見層。

3.3 數(shù)據(jù)邏輯性處理

數(shù)據(jù)邏輯性處理是指針對影像金字塔工程的需求對單幅或多幅原始影像作相應處理，記錄操作的步驟和參數(shù)，不同的影像金字塔工程保存各自的數(shù)據(jù)邏輯處理文件，而原始影像文件只有一個。數(shù)據(jù)邏輯性處理的先進之處有2點：①節(jié)省數(shù)據(jù)存儲空間，原始影像文件一般數(shù)據(jù)量較大(GB級別)，而記錄數(shù)據(jù)邏輯性處理的文件卻很小(KB或MB級別)，借助于數(shù)據(jù)邏輯性處理，同一個原始影像文件可應用于多個影像金字塔工程,從而大大節(jié)省數(shù)據(jù)存儲空間；②數(shù)據(jù)處理的靈活性較高，由于所有的數(shù)據(jù)處理都被記錄成文件，當需要進行調(diào)整時，只需要修改相應參數(shù)，或增加一些處理。

張全文這陣風也有駐足的時候，他第一次到謝婉嬌家里，對謝婉嬌和她父母仔細地詢問兩個家庭差異如此之大，對他們來說是不是問題？如果不是問題再考慮結婚的事情。在得到肯定的回復后，他又一一列舉張倫個性上的問題?！拔矣X得我公公雖然是在農(nóng)村生活，但是能看到事情的本質(zhì)?！?/p>

3.4 影像金字塔工程

虛擬地球系統(tǒng)的應用可能具有不同的空間尺度：全球尺度、國家尺度、城市尺度等，但其后臺的影像數(shù)據(jù)卻往往是一套。這就要求建立一種數(shù)據(jù)管理策略，使得同一套數(shù)據(jù)能夠滿足不同應用需求。本研究中采用影像金字塔工程管理全部影像數(shù)據(jù)，該工程是多尺度影像金字塔模型的實體化。在影像數(shù)據(jù)管理工程中能夠自由增加/刪除單幅影像、對影像做邏輯性處理、控制單幅影像在客戶端是否可見等。影像數(shù)據(jù)工程能夠解決數(shù)據(jù)更新的效率問題和處理多時相數(shù)據(jù)的選取問題。

4 多尺度影像實時切片算法

4.1 瓦片編碼及計算

本研究中，在多尺度影像金字塔模型構建時對單幅影像已經(jīng)建立了金字塔，這里實時計算工作實際上只包含2部分內(nèi)容：①根據(jù)瓦片編號計算出單個瓦片數(shù)據(jù)的數(shù)據(jù)范圍，并從單幅影像金字塔中取出對應級別的瓦片數(shù)據(jù)放到總體瓦片數(shù)據(jù)中;②對需要拼接的瓦片進行合并處理。

(1) 瓦片編碼。本研究中將統(tǒng)一金字塔分成22層，瓦片文件采用256×256的Jpeg文件，編碼規(guī)則為：LLRRRRRRCCCCCC，即前2位存儲分層編號，中間6位存儲行號，后6位存儲列號，如瓦片文件“12000008000024.jpg”為第12層，第9行25列(注：第1行第1列為00000000 000000)。

(2) 根據(jù)當前坐標和比例尺計算瓦片行列號，生成瓦片編碼,即

(1)

式中：Xmin，Xmax，Ymin，Ymax為數(shù)據(jù)請求坐標范圍，ΔX=Xmax-Xmin，ΔY=Ymax-Ymin；X，Y為當前坐標；lev為當前比例尺；lev=num(LL)。

(3)樣根據(jù)瓦片名稱計算數(shù)據(jù)范圍，其計算式為：

(2)

式中：TileXmin，TileXmax，TileYmin，TileYmax為單張瓦片數(shù)據(jù)的地理數(shù)據(jù)范圍。

依據(jù)上述編碼規(guī)則和計算公式就可以實現(xiàn)從客戶端請求的數(shù)據(jù)范圍(地理坐標范圍)計算出瓦片編號，從瓦片編號計算出單個瓦片數(shù)據(jù)的地理坐標范圍。

4.2 多核處理器并行計算

本研究中，實現(xiàn)多尺度影像實時切片的主要工作為計算瓦片編號和生成jpeg圖片，其中計算瓦片編號的計算量很小，因此設計并行計算算法時只考慮生成jpeg圖片操作。對于任何一個并行子任務，從接到一個瓦片編號任務開始，通過瓦片編號計算出對應的地理坐標范圍和比例尺，通過多尺度影像金字塔的索引文件尋找對應的影像文件，根據(jù)金字塔參數(shù)、影像數(shù)據(jù)邏輯處理信息等生成瓦片文件。針對由影像拼接造成的不完整瓦片，需要對瓦片進行合并處理，以保證一個編號的瓦片只對應一個文件。多尺度影像實時切片并行計算的流程如圖3所示。

圖3 多核處理器并行計算流程Fig.3 Flowchart of parallel computing of multi-core processors

5 實驗與結果分析

實驗環(huán)境為1臺IBM3850服務器，4顆4核CPU，16 G內(nèi)存，5臺dell 臺式機作為客戶端，安裝基于開源代碼world wind開發(fā)的虛擬地球系統(tǒng)。實驗區(qū)域選擇為廣東及海南海島海岸帶區(qū)域，影像數(shù)據(jù)類型包括TM 15 m，spot 5 m，spot 2.5 m，quickBird 0.6 m，航拍0.5 m，以及海底地形渲染影像，單個數(shù)據(jù)文件從1 G至50 G不等，共115個文件，總數(shù)據(jù)量約1 TB。試驗從2個方面進行評價：①計算效率；②客戶端虛擬地球系統(tǒng)的運行效果。

5.1 計算效率

相對于傳統(tǒng)金字塔創(chuàng)建方法,本文提出的多尺度影像瓦片實時創(chuàng)建技術在金字塔工程初始創(chuàng)建、數(shù)據(jù)更新2個方面具有明顯優(yōu)勢，效率大幅度提高。以本文實驗的1 TB影像數(shù)據(jù)金字塔創(chuàng)建為例，金字塔工程初始創(chuàng)建效率提高78%，局部數(shù)據(jù)更新時間相對于傳統(tǒng)方法完全可以忽略不計。而完成虛擬地球系統(tǒng)初始數(shù)據(jù)加載要分為2種情況：一是剛創(chuàng)建完金字塔沒有任何瓦片緩存，此時的加載時間比傳統(tǒng)方法略多一點；二是有一些瓦片緩存后，其數(shù)據(jù)加載時間與傳統(tǒng)方法相當，具體的效率分析如表1。

表1 金字塔工程創(chuàng)建效率分析

5.2 虛擬地球系統(tǒng)運行效果

在客戶端采用基于world wind開發(fā)的虛擬地球系統(tǒng)，訪問發(fā)布的影像數(shù)據(jù)服務，在并行計算服務啟動后，客戶端的影像加載基本沒有延遲，如圖4(a)，能夠按照設定的層次加載瓦片數(shù)據(jù)。影像的效果方面，由于單幅影像的色彩差異，整體圖像上會有明顯的拼接痕跡，出現(xiàn)“塊狀”效果，但不會有拼接縫隙，如圖4(b)所示。

對于局部區(qū)域的影像更新，只需要在影像金字塔工程中增加需要更新的數(shù)據(jù)，進行適當?shù)倪吔绮脺p，重啟數(shù)據(jù)服務即可，整個過程5 min就能完成。該操作過程中只有重啟數(shù)據(jù)服務環(huán)節(jié)會影響數(shù)據(jù)服務，約15～20 s，這段時間客戶端只能調(diào)用緩存數(shù)據(jù)，不能獲得實時切片服務。

圖4 試驗區(qū)影像加載效果Fig.4 Effects of loading images in the research area

6 結 語

本文提出的多尺度影像金字塔模型很好地解決了大批量原始影像文件的管理問題，提高了數(shù)據(jù)更新效率，較傳統(tǒng)虛擬地球系統(tǒng)的預先切片方案有本質(zhì)的先進性。本研究實現(xiàn)的多尺度影像實時切片算法能夠充分利用服務器CPU進程進行并行計算，及時響應客戶數(shù)據(jù)請求，具有較好的穩(wěn)定性，應用前景廣闊。但是，本技術在數(shù)據(jù)服務啟動或重啟階段需要有15～20 s的等待時間，影像拼接出現(xiàn)“塊狀”效果，是今后需要改進的地方。

[1] 黃 杰，劉仁義,劉 南，等.海量遙感影像管理與可視化系統(tǒng)的研究與實現(xiàn)[J].浙江大學學報(理學版), 2008, 35(6):701-706.

[2] 馬 瑞,董玲燕.基于快速索引調(diào)度的金字塔影像構建及其可視化[J].人民長江,2013, 44(23):82-85.

[3] 杜清運,虞昌彬,任 福.利用嵌套金字塔模型進行瓦片地圖數(shù)據(jù)組織[J].武漢大學學報(信息科學版), 2011, 36(5):564-567.

[4] 王 密,龔健雅,李德仁.大型遙感影像數(shù)據(jù)庫的空間無縫數(shù)據(jù)組織[J].武漢大學學報(信息科學版), 2001, 26(5):419-424.

[5] 殷福忠,孫立民.基于瓦片金字塔技術的地圖發(fā)布平臺開發(fā)研究[J].測繪與空間地理信息,2010, 33(5):16-17，20.

[6] 譚慶全,畢建濤,池天河.一種靈活高效的遙感影像金字塔構建算法[J].計算機系統(tǒng)應用, 2008，(4):124-127.

[7] 陳茂霖,萬幼川,楊秋蘭,等.面向多尺度影像的瓦片金字塔技術研究與實現(xiàn)[J].地理空間信息, 2013, 11(4):72-75.

[8] 贠建明,汪匯兵,唐新明.多源影像數(shù)據(jù)庫金字塔結構的研究與實踐[J].測繪科學, 2011, 36(4):53-55.

[9] 張涵斐,黃忠紅,孟永軍.海量遙感影像的存儲與快速調(diào)度顯示方法[J].測繪與空間地理信息, 2011, 34(3):36-39，43.

[10]方 濤,龔健雅,李德仁.影像數(shù)據(jù)庫建立中的若干關鍵技術[J].武漢測繪科技大學學報, 1997, 22(3):266-269.

[11]劉 義,陳 犖,景 寧,等.利用Map Reduce進行批量遙感影像瓦片金字塔構建[J].武漢大學學報(信息科學版), 2013, 38(3):278-282.

(編輯：王 慰)

Creating Tile Pyramid in Real-time for Multi-scale ImagesUsing Virtual Globes

HONG Yu1, LIU Jin2, KANG Lin-chong2, JIANG Xiao-yi2, KONG Xiang-qin1

(1.Shenzhen Marine Environment and Resources Monitoring Center, Shenzhen 518034, China;author_info_translate2.National Marine Data and Information Service, Tianjin 300171, China)

In this research we propose an improved approach of creating tile pyramid in real time for multi-scale images to resolve the problems of poor versatility of image data and low efficiency of data updating caused by traditional virtual globes to create tile pyramid beforehand. In the proposed model, clip and mosaic of images in logic sense are obtained, and then the tile pyramid project is published as data service, and tile data is created in real time by a parallel computing program based on multiprocessor. The model was trialed with Worldwind using the multi-source images of Guangdong and Hainan Provinces. Test results show that the present method is convenient in managing original image data and responding customers’ requests. Meanwhile, it remarkably improves the efficiency of updating image data.

virtual globes; multi-scale image; tile pyramid; real-time creating; parallel computing

2016-08-10

洪 宇(1981-),女，湖北荊門人，工程師，碩士，從事海洋GIS、海域使用動態(tài)監(jiān)管、三維可視化相關工作，(電話)13632706272(電子信箱)9033431@qq.com。

劉 金(1980-),男，湖北荊門人，高級工程師，博士，從事海洋GIS、三維可視化相關工作，(電話)13512007804(電子信箱)183059511@qq.com。

10.11988/ckyyb.20160809

2016,33(11):73-77

P98

A

1001-5485(2016)11-0073-05