一種提高GIS數(shù)據(jù)處理速度的方法＊

姚金明

（山東省國土測繪院，山東 濟(jì)南 250013）

1 概述

地理信息數(shù)據(jù)的處理是GIS從業(yè)人員的必備技能，也是常用功能，使用頻次較高。隨著計(jì)算機(jī)硬件的指標(biāo)越來越高，如何充分挖掘計(jì)算機(jī)本身的潛力來加快數(shù)據(jù)的處理速度一直是數(shù)據(jù)處理人員考慮的問題。傳統(tǒng)的提高處理效率的方法主要有提高硬件配置、優(yōu)化流程、改進(jìn)函數(shù)算法等[1]。本文以AE開發(fā)的工具為例，探討虛擬硬盤對(duì)地理信息數(shù)據(jù)處理效率的影響。

大家熟知的硬盤主要有機(jī)械硬盤和固態(tài)硬盤，機(jī)械硬盤的讀寫速度比較慢，單位存儲(chǔ)空間價(jià)格便宜，適用于數(shù)據(jù)存放；固態(tài)硬盤的價(jià)格比較貴，硬盤壽命比較短，出現(xiàn)故障數(shù)據(jù)不易恢復(fù)，很多人會(huì)換固態(tài)硬盤來提高性能[2]。內(nèi)存本身讀寫速度非常非?？欤c普通的機(jī)械硬盤相比，速度有上百倍的提高，因而出現(xiàn)了虛擬內(nèi)存技術(shù)，即將內(nèi)存空間通過工具轉(zhuǎn)換成硬盤，解決了部分機(jī)械硬盤相對(duì)于CPU、顯存等其他硬件的讀寫速度瓶頸。本文將采用Primo Ramdisk進(jìn)行內(nèi)存的虛擬化。普通用戶一般使用虛擬硬盤存放系統(tǒng)臨時(shí)文件和IE緩存來加快網(wǎng)頁瀏覽的速度，并能減少機(jī)械硬盤的碎片化，在一定程度上能夠提高操作系統(tǒng)的流暢度[3-6]。

對(duì)ArcGIS的二次開發(fā)來說，效率也是一個(gè)重要的考慮因素。ArcGIS在我國GIS軟件行業(yè)具有一定的優(yōu)勢[7]，經(jīng)過行業(yè)專家的優(yōu)化之后，其函數(shù)、算法的效率對(duì)一般的開發(fā)者來說提升空間已經(jīng)不大。但隨著電腦CPU計(jì)算速度的加快，硬盤系統(tǒng)仍是限制電腦性能的最大瓶頸，雖然現(xiàn)在硬盤有了長足進(jìn)步，但它的速度與CPU、內(nèi)存相比仍是太慢[8-9]。實(shí)踐中發(fā)現(xiàn)，硬盤IO（磁盤的輸入和輸出（Input和Output））的表現(xiàn)對(duì)于GIS矢量數(shù)據(jù)處理效率的影響是主導(dǎo)因素，因此，應(yīng)該不斷改進(jìn)和完善GIS矢量數(shù)據(jù)處理工具，并進(jìn)行特殊設(shè)計(jì)[10]。本文討論在用戶硬件足夠強(qiáng)大的情況下（主要是內(nèi)存足夠大），使用內(nèi)存模擬硬盤來提高數(shù)據(jù)的讀寫效率，以加快數(shù)據(jù)處理速度[11-12]。

2 環(huán)境搭建

本文在其他軟硬件條件相同的情況下，將相同空間位置的GIS矢量數(shù)據(jù)分別在普通硬盤、固態(tài)硬盤、虛擬硬盤中，使用ArcGIS Engine二次開發(fā)工具進(jìn)行處理，得出結(jié)果后對(duì)其進(jìn)行分析比對(duì)。

2.1 軟件環(huán)境

測試環(huán)境的操作系統(tǒng)采用Windows Server 2008 R2 Enterprise，64位版本，使用的Microsoft.NET Framework 4.0架構(gòu)，虛擬化硬盤軟件采用了Ramdisk 1.6，64位版本，硬盤速度測試軟件為Crystal Disk Mark 5.5.0，64位版本。

ArcGIS二次開發(fā)版本為ArcGIS Engine 10.0，桌面版結(jié)果查看工具為ArcGIS Desktop sp5 10.0，本文Engine對(duì)矢量數(shù)據(jù)的處理主要通過 IWorkspace2、IWorkspaceEdit、IFeatureDataset、IfeatureCursor和IFeatureClass等接口實(shí)現(xiàn)，transform method可以采用 affine、projective、similarity等，實(shí)現(xiàn)的主要功能為讀取文件夾下面所有需要處理的數(shù)據(jù)，按照國家相關(guān)要求對(duì)數(shù)據(jù)進(jìn)行處理，以實(shí)現(xiàn)數(shù)據(jù)的公開發(fā)行[13]。山東電子地圖數(shù)據(jù)解密工具如圖1所示。

2.2 硬件環(huán)境

使用電腦為惠普HPE-555cn臺(tái)式機(jī)，CPU為I7-2600共4核8線程，主板為和碩2AB6，內(nèi)存為三星DDR3 1 333 MHz 4 G×3共12 G，顯卡為NVIDIA GeForce GTS440，顯存3 G。其中，硬盤共3種：①傳統(tǒng)硬盤為西數(shù)WDC WD60PURΧ-64T0ZY0，7 200 r/min，64 M緩存，容量大小6 TB；②固態(tài)硬盤為英特爾SSDSA2M160G2HP，120 G；③Ramdisk創(chuàng)建的邏輯虛擬硬盤，容量大小為3 G。

圖1 山東電子地圖數(shù)據(jù)解密工具

此次實(shí)驗(yàn)選取了同一空間位置的興趣點(diǎn)、道路和居民地?cái)?shù)據(jù)，并按實(shí)際需求進(jìn)行了數(shù)據(jù)轉(zhuǎn)換處理，涵蓋了矢量數(shù)據(jù)處理包含的點(diǎn)、線、面，具有較高的代表性。從表格中可以看出，使用AE開發(fā)的工具糾正處理數(shù)據(jù)時(shí)，不同的存儲(chǔ)裝置所需要的時(shí)間差別很大。尤其是虛擬硬盤與普通硬盤相比，速度有上百倍的提高，基本與硬盤測速軟件的結(jié)果一致。從表2、表3、表4中可以直觀看出，虛擬硬盤比傳統(tǒng)硬盤的效率大約有250倍提高，比固態(tài)硬盤約有1倍提高，特別是對(duì)使用頻率較高的工具來說，能節(jié)約大量時(shí)間。

3 結(jié)果對(duì)比

普通硬盤、固態(tài)硬盤、虛擬硬盤的對(duì)比情況如表1、表2、表3、表4所示。

表1 普通硬盤、固態(tài)硬盤、虛擬硬盤測速表

表2 普通硬盤、固態(tài)硬盤、虛擬硬盤任務(wù)處理需要時(shí)間表

表3 普通硬盤、固態(tài)硬盤、虛擬硬盤時(shí)間比較表

表4 普通硬盤、固態(tài)硬盤、虛擬硬盤任務(wù)處理效率表

使用Crystal Disk Mark對(duì)3種硬盤進(jìn)行了測速，其中，Seq表示順序測試，k表示IO數(shù)據(jù)的大小，Q表示隊(duì)列的深度，T表示線程數(shù)量。從表1中可以發(fā)現(xiàn)，虛擬硬盤比固態(tài)硬盤和普通硬盤讀寫速度分別約有幾十倍和上百倍的提高。

4 總結(jié)

傳統(tǒng)的機(jī)械硬盤的磁頭和碟片都屬于機(jī)械裝置，其移動(dòng)速度和轉(zhuǎn)速都有其極限，多年來提高并不大。固態(tài)硬盤和虛擬硬盤屬于電子裝置，其速度要快得多，尤其在使用AE二次開發(fā)工具處理GIS矢量數(shù)據(jù)寫入存儲(chǔ)的步驟方面。實(shí)踐發(fā)現(xiàn)（沒有相關(guān)公開資料介紹），在數(shù)據(jù)量稍大的情況下，會(huì)按照要素?cái)?shù)量間隔很短的時(shí)間多次寫入，對(duì)存儲(chǔ)設(shè)備的響應(yīng)時(shí)間要求比較高。針對(duì)這種情況，本文采用了硬件與軟件協(xié)同的方法實(shí)現(xiàn)了對(duì)現(xiàn)有存儲(chǔ)設(shè)備的擴(kuò)展，使用虛擬硬盤對(duì)AE開發(fā)的工具進(jìn)行優(yōu)化，極大地提高了部分ArcGIS工具的讀寫速度，降低了數(shù)據(jù)泄密的可能性。這種方法對(duì)于使用頻率較高的工具，具有較大的提升空間和較高的參考價(jià)值。

參考文獻(xiàn)：

［1］何杰，郭燕妮，張博，等.基于SoPC和NFS的虛擬SATA硬盤［J］.火力與指揮控制，2016，41（4）：174-176.

［2］劉鵬，王煜.基于緩存系統(tǒng)架構(gòu)的虛擬硬盤轉(zhuǎn)換方法［J］.天津科技，2017，44（7）：37-38.

［3］胡元元.基于虛擬硬盤技術(shù)的高校電子閱覽室分區(qū)域式管理研究［J］.河南圖書館學(xué)刊，2016，36（11）：52-54.

［4］闞文梟，黃秋蘭，陳剛.桌面網(wǎng)格環(huán)境下虛擬化技術(shù)的應(yīng)用研究［J］.計(jì)算機(jī)工程，2017，43（3）：11-17.

［5］王德勝，張偉哲，郝萌，等.云計(jì)算環(huán)境中虛擬機(jī)內(nèi)存自適應(yīng)調(diào)節(jié)算法研究［J］.計(jì)算機(jī)科學(xué)與探索，2017，11（1）：71-78.

［6］張柳，丁忠義，許繼蘋，等.基于ArcGIS的開發(fā)區(qū)土地集約利用評(píng)價(jià)——以江蘇省銅山經(jīng)濟(jì)開發(fā)區(qū)為例［J］.山東國土資源，2011，27（3）：46-50.

［7］王海，毛繼軍，相恒茂，等.基于ArcGIS Server的電子地圖興趣點(diǎn)拾取技術(shù)研究［J］.山東國土資源，2013，29（8）：1-2.

［8］姚金明，相恒茂，韓海豐，等.天地圖山東影像緩存方法研究與實(shí)現(xiàn)［J］.山東國土資源，2017，33（5）：78-80.

［9］魏磊，張建新.基于ArcGIS Engine無冗余地圖瓦片裁切方法的研究［J］.測繪與空間地理信息，2016，39（5）：146-148.

［10］張衡，李通，肖鵬，等.機(jī)載LiDAR技術(shù)在山區(qū)高速公路勘測設(shè)計(jì)中的研究與應(yīng)用［J］.北京測繪，2016（6）：95-97.

［11］藍(lán)天.善用外力挖掘內(nèi)存潛能［J］.個(gè)人電腦，2013，19（4）：76-77.

［12］陳新，王豪雄，吳業(yè)毅，等.利用 RAMDISK技術(shù)提高電子病歷系統(tǒng)的文件訪問性能［J］.醫(yī)療衛(wèi)生裝備，2014，35（7）：67-68.

［13］田懷啟，吳滿意，張長安，等.利用ArcEngine實(shí)現(xiàn)基于原始影像1∶10 000調(diào)繪成果的糾正［J］.測繪技術(shù)裝備， 2016（2）：61-64.