海量三維影像數(shù)據(jù)的處理、存儲與發(fā)布

沈曉麗,吳美華

(1.山西長治供電分公司 ,山西長治 046011;2.黑龍江傲立信息產(chǎn)業(yè)有限公司,黑龍江哈爾濱 150909)

海量三維影像數(shù)據(jù)的處理、存儲與發(fā)布

沈曉麗1,吳美華2

(1.山西長治供電分公司 ,山西長治 046011;2.黑龍江傲立信息產(chǎn)業(yè)有限公司,黑龍江哈爾濱 150909)

總結 “基于A rcGIS平臺,對海量影像數(shù)據(jù)進行處理、存儲與發(fā)布”的試驗方法與試驗結論,闡述了通過采用圖形切片、地圖緩存技術,在A rcGIS平臺上,可實現(xiàn)對海量數(shù)據(jù)的快速發(fā)布,滿足基于地理信息系統(tǒng)的電網(wǎng)空間信息展示需求。

切片;緩存;海量影像數(shù)據(jù)

受資助項目:山西省電力公司科技項目

0 引言

隨著遙感技術和數(shù)字攝影技術的快速發(fā)展,影像數(shù)據(jù)的使用越來越多,現(xiàn)在已經(jīng)成為重要的數(shù)據(jù)源和數(shù)據(jù)更新的手段。在山西電網(wǎng)空間信息服務平臺長治用戶供電方案輔助決策項目開發(fā)中,嘗試開展地理信息影像數(shù)據(jù)的使用。然而,影像地圖信息的數(shù)據(jù)量非常大,并且隨分辨率的提高呈幾何級遞增,達到幾GB甚至幾十GB字節(jié),系統(tǒng)規(guī)模迅速擴張,造成所獲取的影像與三維數(shù)據(jù)無法滿足項目實際開發(fā)與應用需求,需要對數(shù)據(jù)進行加工與處理,才能完成數(shù)據(jù)的發(fā)布工作。

為此,在A rcG IS平臺所提供的一系列的數(shù)據(jù)處理與發(fā)布軟件之上,針對山西長治供電分公司電網(wǎng)空間服務平臺的原始數(shù)字正射影像數(shù)據(jù) (DOM)與數(shù)字高程模型 (DEM),進行了一系列的數(shù)據(jù)處理與存儲試驗,取得了很好的效果。

1 數(shù)字正射影像圖與數(shù)字高程模型簡介

數(shù)字正射影像圖DOM(Digital Orthophoto Map)是利用 DEM對遙感影像 (單色或彩色),經(jīng)逐像元進行輻射改正、微分糾正和鑲嵌,并按規(guī)定圖幅范圍裁剪生成的形象數(shù)據(jù),帶有公里格網(wǎng)、圖廓 (內、外)整飾和注記的平面圖。

數(shù)字高程模型DEM(Digital Elevation Model)是一定范圍內規(guī)則格網(wǎng)點的平面坐標 (X,Y)及其高程 (Z)的數(shù)據(jù)集,它主要是描述區(qū)域地貌形態(tài)的空間分布,是通過等高線或相似立體模型進行數(shù)據(jù)采集 (包括采樣和量測),然后進行數(shù)據(jù)內插而形成的。DEM是對地貌形態(tài)的虛擬表示,可派生出等高線、坡度圖等信息,也可與DOM或其他專題數(shù)據(jù)疊加,用于與地形相關的分析應用,同時它本身還是制作DOM的基礎數(shù)據(jù)。

2 ArcGIS平臺介紹

2.1 數(shù)據(jù)處理工具簡介

A rcToolBox包含了A rcGIS地理處理的大部分分析工具和數(shù)據(jù)管理工具,使用A rcToo lbox中的工具,能夠在GIS數(shù)據(jù)庫中建立并集成多種數(shù)據(jù)格式,進行高級GIS分析,處理GIS數(shù)據(jù)等,可以合并、剪貼、分割圖幅,以及使用各種高級的空間分析工具等。

A rcG lobe設計用于海量數(shù)據(jù)展示,所以為提高顯示效率而進行了數(shù)據(jù)緩存,它將數(shù)據(jù)分塊并按級別建立緩存和索引,使得即使在顯示海量數(shù)據(jù)時仍可以高速地展示與漫游。

2.2 數(shù)據(jù)發(fā)布工具簡介

A rcGISServer用于構建集中管理、支持多用戶的企業(yè)級GIS應用。開發(fā)者使用A rcGIS Server可構建 Web應用、Web服務以及其他運行在J2EEWeb服務器上的企業(yè)級應用,是一個包含多個部件的分布式系統(tǒng),可被分別配置在多臺計算機上。A rcGISServer系統(tǒng)的各個部分分別在對象管理、負載平衡等過程中發(fā)揮特定的作用。

為了提升瀏覽性能,采用現(xiàn)時比較流行的地圖緩存技術 (通俗的說法為 “瓦片技術”)。所謂的地圖緩存技術,就是按照一定的數(shù)學規(guī)則,把地圖切成一定規(guī)格的圖片保存到計算機的硬盤里,當用戶通過客戶端瀏覽器訪問地圖服務時,服務器直接返回當前地圖坐標區(qū)域所對應的 “瓦片”,從而達到降低服務器負擔,提升地圖瀏覽速度的效果。

3 海量數(shù)據(jù)處理、存儲與發(fā)布

3.1 數(shù)據(jù)處理

3.1.1 數(shù)據(jù)準備

項目開發(fā)所使用成果圖涉及670幅0.5m的數(shù)字正射影像圖 (DOM)、7幅0.2 m的城區(qū)內數(shù)字正射影像圖和670幅數(shù)字高程模型圖 (DEM),在磁盤上進行文件存儲,數(shù)據(jù)文件提前經(jīng)過了融合處理,處理后的數(shù)據(jù)基本接近自然色,能夠充分地反映出長治地區(qū)的基本地形地貌。

3.1.2 數(shù)據(jù)檢查

通過數(shù)據(jù)檢查,發(fā)現(xiàn)影像數(shù)據(jù)中存在以下問題。

a)地理坐標系 (Geogrpahic Coordinate System)未進行設置。

b)投影坐標系 (Projected Coordinate Systems)未進行設置。

c)數(shù)據(jù)涉及篇幅太多,存儲容量為90 G,如果不進行拼接處理,無法進行圖形發(fā)布。

d)數(shù)據(jù)接邊處存在白色的縫隙和壓邊。

e)中國山西地處投影坐標跨帶區(qū),合并會造成數(shù)據(jù)失真。

3.1.2 數(shù)據(jù)處理

地理坐標系使用基于經(jīng)緯度的坐標系統(tǒng)描述地球上某一點所處的位置。某一個地理坐標系是基于一個基準面來定義的。基準面是利用特定橢球體對特定地區(qū)地球表面的逼近,因此每個國家或地區(qū)均有各自的基準面。

中國常用的三個基準面和地理坐標系:GCS_WGS1984(基于 WGS84基準面),GCS_BEIJING1954(基于北京 1954基準面),GCS_XIAN1980(基于西安1980基準面)。

針對數(shù)據(jù)情況,采用符合其標準的GCS_XIAN1980坐標系,參數(shù)設置略。

投影坐標系 (Pro jected Coordinate System s)使用基于X、Y值的坐標系統(tǒng)來描述地球上某個點所處的位置。這個坐標系是從地球的近似橢球體投影得到的,它對應于某個地理坐標系。

投影坐標系由以下參數(shù)確定:地理坐標系 (由基準面確定,比如北京54、西安80、WGS84),投影方法 (比如高斯-克呂格、Lam bert投影、Mercator投影)。

北京1954投影坐標系和西安1980坐標系都是應用高斯-克呂格投影,只是基準面、橢球、大地原點不同。

針對數(shù)據(jù)情況,采用了高斯-克呂格投影,參數(shù)設置略。

確定了地理坐標系和投影坐標系后,將對數(shù)據(jù)進行批量的設置,因為山西地處跨帶區(qū),針對不同帶區(qū)的數(shù)據(jù),應該選擇不同的空間參考,在A rc-ToolBox中,順序打開Sm ap le→Data Management→Projections→Batch Define Coordinate System,進行空間參考批量設置。

3.2 數(shù)據(jù)存儲與發(fā)布

地圖共有677幅DOM數(shù)據(jù)與670幅DEM數(shù)據(jù),以文件的形式存儲在磁盤上,占用的存儲空間為90 G,以何種方式進行圖形數(shù)據(jù)的存儲與發(fā)布,需要經(jīng)過測試進行驗證。

3.2.1 數(shù)字正射影像數(shù)據(jù)處理

以下幾種方法,列舉了在影像數(shù)據(jù)存儲與發(fā)布過程中出現(xiàn)的問題,比較了存儲方式的優(yōu)缺點。

方法一:將677幅DOM數(shù)據(jù)以文件形式直接加入到A rcMap中,制作發(fā)布文件,然后對服務進行發(fā)布,發(fā)布結果成功。但是當對數(shù)據(jù)進行瀏覽操作,發(fā)現(xiàn)數(shù)據(jù)響應速度太慢,為提升瀏覽性能,采用地圖緩存技術,決定創(chuàng)建數(shù)據(jù)切片。當數(shù)據(jù)切片進行到第七級別時候,系統(tǒng)報錯,為釋放系統(tǒng)內存,重新啟動機器后,再次對數(shù)據(jù)進行切片處理,仍然彈出系統(tǒng)錯誤對話框。

通過翻閱系統(tǒng)幫助與檢查系統(tǒng)的內存與CPU的處理情況,判斷得出結論,因數(shù)據(jù)篇幅過多,導致系統(tǒng)在內存計算的負荷加大,例如圖形顯示計算、圖形接邊計算等等,造成了服務器內存的使用率高,系統(tǒng)無法完成計算,試驗結果失敗。

方法二:新建個人的Personal Geodatabase,將數(shù)據(jù)進行導入,導入時沒有進行合并,發(fā)布后,無法進行切片處理,試驗結果失敗。

方法三:新建File Geodatabase,將數(shù)據(jù)進行導入并合并,每張Raster Dataset的存儲量最大為256TB,可以滿足數(shù)據(jù)的存儲需求。

目前數(shù)據(jù)的現(xiàn)狀是篇幅過多并且分帶,假如將數(shù)據(jù)合并到一個Raster Dataset中,將會造成數(shù)據(jù)存儲空間過大、顯示過慢和因跨帶造成的數(shù)據(jù)扭曲和失真的。于是采用分片拼接。拼接原則如下:不同帶區(qū)的數(shù)據(jù)分開合并,同一片區(qū)的數(shù)據(jù)必須相鄰。拼接方法如下:在FileGDB,右鍵Im port→Raster Dataset,先導入一片,點擊導入的影像,右鍵Load→Load data導入其他幅數(shù)據(jù)。

以上拼接方法使用了Raster Dataset默認的存儲空間,支持數(shù)據(jù)的最大容量為4G。假設數(shù)據(jù)需求超過4 G時,需要采用以下方法進行拼接:在FileGDB,右鍵 New→Raster Dataset,然后設置屬性,設置空間參考,波段設置為3,壓縮方式為“None”,即無損壓縮,調整存儲空間為256 T,實際每片存儲為10 G;點擊導入的影像,右鍵Load->Load data導入其他幅數(shù)據(jù)。

數(shù)據(jù)導入結束后,對數(shù)據(jù)進行發(fā)布,切片處理成功。此種方法為當前案例的最優(yōu)處理方法。

數(shù)據(jù)合并后,存在白色的縫隙和壓邊情況,對于此類數(shù)據(jù),采用對圖形數(shù)據(jù)進行二次合并,二次合并選擇的圖片為拼接縫隙附近或縫隙上的圖片,將其覆蓋到縫隙上,保證了圖形的本色。

3.2.2 數(shù)據(jù)高程模型處理

數(shù)據(jù)高程模型拼接方法如下:在FileGDB,右鍵Import→Raster Dataset,先導入一片;點擊導入的影像,右鍵Load→Load data導入其他幅數(shù)據(jù)。

數(shù)據(jù)高程模型拼接轉換方法如下。方法一:將合并好的數(shù)據(jù)高程模型,進行轉換,在A rcTool-Box中,通過3D Analyst Too ls→Coversion→Form Raster→Raster to Tin,將合并后的數(shù)據(jù)高程模型轉換 Tin格式后,數(shù)據(jù)存儲空間變小,但數(shù)據(jù)質量明顯下降,接邊處出現(xiàn)裂縫,而且出現(xiàn)臟數(shù)據(jù),無法滿足使用。方法二:數(shù)據(jù)高程模型轉換Im g格式后,數(shù)據(jù)效果較好,在A rcToolBox中,通過 Data Management Tools→Projections and T ransform ations→Raster→Project Raster進行轉換,失真情況得到了控制。

3.2.3 三維服務調優(yōu)

對于GB級的矢量要素 (密密麻麻的等高線、水系),漫游過程中,刷新一次大約50 s,遠遠超過用戶要求的20 s/次,甚至出現(xiàn)長時間無響應。

根據(jù)文字的調優(yōu)經(jīng)驗,針對數(shù)據(jù)量非常大的特點,顯示時只需要加載窗口所需數(shù)據(jù)即可,如果能夠快速定位所需數(shù)據(jù),肯定能夠提高顯示效率。

方法一,利用空間索引。

嘗試將存儲于FileGDB中的數(shù)據(jù)導入A rcSDE(本機),并建立合適的空間索引,經(jīng)測試發(fā)現(xiàn)顯示漫游速度從原來的多于50 s,提高到了18 s左右,明顯減少了A rcGlobe的漫游響應時間。導入A rcSDE建立空間索引的方法基本上達到了用戶的最低要求。

雖然導入A rcSDE建立空間索引的方法基本上能夠滿足用戶的最低需求,但效果仍然不夠理想。要整體提高數(shù)據(jù)瀏覽速度必須借助緩存機制來實現(xiàn)。

方法二:利用緩存。

研究A rcGlobe的緩存機制發(fā)現(xiàn),打開圖層后A rcG lobe會依據(jù)圖層的比例來建立 “按需緩存”?！鞍葱杈彺妗笔窃跒g覽的時候自動生成的緩存文件,這會影響瀏覽速度,因此需要在瀏覽前按照合適的比例及顯示參數(shù),一次性創(chuàng)建好緩存。

經(jīng)測試,建立緩存文件后,在顯示初始化完成后,導航模式下 (只能俯視三維要素的顯示模式)漫游速度大約5 s,非導航模式 (可以側視三維要素的顯示模式)漫游速度10 s左右。

4 結束語

以上是在開發(fā) 《基于GIS的用戶供電方案輔助決策系統(tǒng)》時,對高分辯率海量三維影像圖的處理與發(fā)布試驗經(jīng)驗。系統(tǒng)運行表明,在A rcGIS平臺上,通過上述方法可實現(xiàn)對海量影像數(shù)據(jù)的處理、存儲與發(fā)布,滿足基于地理信息系統(tǒng)的電網(wǎng)空間信息展示需求。

Studies on the Processing,Storing and Issuing of Mass Three-dimensional Image Data

SHEN Xiao-li1,WU Mei-hua2
(1.ChangzhiPower Supp ly Comany,Changzhi,Shanxi 046011,China;2.HeilongjiangO live In formation Industry Co.,Ltd,Haerbin,Heilongjiang 150909,China)

This paper summarizes the testmethods and the test conclusions of the processing,storing and issuing of the ArcGIS-based mass image data.On the A rcGIS p latform,it can issuemass image data fleetly and show the Grid's spatial information(which is based on the geographic information system)bymeans of graphics slicing technology andmap caching technique.

slicing;caching;mass image data

TP274

B

1671-0320(2010)06-0058-03

2010-09-10,

2010-10-12

沈曉麗 (1966-),女,安徽長豐人,1988年畢業(yè)于山東大學無線電物理專業(yè),高級工程師,主要從事信息化建設和管理工作,山西電力技術院專家;

吳美華 (1977-),女,黑龍江海倫人,2001年畢業(yè)于哈爾濱工業(yè)大學計算機應用與科學技術專業(yè),工程師,主要從事軟件開發(fā)工作。