基于Geodatabase模型的矢量歷史數(shù)據(jù)管理

盛 琦

（1.浙江省地理信息中心，浙江 杭州 310012）

基于Geodatabase模型的矢量歷史數(shù)據(jù)管理

盛 琦1

（1.浙江省地理信息中心，浙江 杭州 310012）

在ArcSDE存檔機(jī)制的歷史數(shù)據(jù)管理方法基礎(chǔ)上，提出了基于屬性擴(kuò)展的歷史數(shù)據(jù)管理方法，并以浙江省基礎(chǔ)地理信息系統(tǒng)為實例,從設(shè)計原理、更新流程、歷史數(shù)據(jù)管理3個方面對該方法進(jìn)行了詳細(xì)介紹。研究認(rèn)為，與ArcSDE存檔機(jī)制相比，屬性擴(kuò)展的歷史數(shù)據(jù)管理方法的優(yōu)勢在于能在多種庫體中進(jìn)行管理、回滾、備份和遷移，同時提高了數(shù)據(jù)更新的工作效率。

屬性擴(kuò)展；歷史管理；存檔機(jī)制；Geodatabase

基礎(chǔ)測繪數(shù)據(jù)是涉及國家安全的重要戰(zhàn)略性信息資源，同時也是國家空間信息基礎(chǔ)設(shè)施建設(shè)的重要內(nèi)容。在基礎(chǔ)測繪數(shù)據(jù)的管理、應(yīng)用過程中需要記錄每次的數(shù)據(jù)更改信息及各個歷史版本，這些信息有助于對要素進(jìn)行時空變化分析，給政府決策提供針對性的科學(xué)依據(jù)。隨著測繪行業(yè)的蓬勃發(fā)展，基礎(chǔ)測繪數(shù)據(jù)的更新變得非常頻繁，而同時其歷史管理的難度則不斷加大，如何有效地管理基礎(chǔ)測繪數(shù)據(jù)的歷史信息已成為測繪行業(yè)亟待解決的問題[1-3]。

目前，關(guān)于基礎(chǔ)測繪數(shù)據(jù)的歷史管理的研究相對較少，且集中在基于ArcSDE的存檔機(jī)制研究上[4-8]?；诖鏅n機(jī)制的核心思想是通過數(shù)據(jù)的生存周期來管理歷史數(shù)據(jù)，但該方法在工作效率和數(shù)據(jù)穩(wěn)定性上受限于ArcSDE[9-11]。使用該方法，歷史數(shù)據(jù)與現(xiàn)勢數(shù)據(jù)的關(guān)聯(lián)依賴于ArcSDE環(huán)境，無法對數(shù)據(jù)進(jìn)行備份和遷移，導(dǎo)致數(shù)據(jù)安全得不到保障，軟硬件無法進(jìn)行升級；另一方面，該方法只提供了回溯功能，而未提供回滾功能，在數(shù)據(jù)生產(chǎn)過程中，多次更新后，若某次更新有誤，則必然會導(dǎo)致數(shù)據(jù)生產(chǎn)的返工。為了解決上述問題，本文在基于ArcSDE存檔機(jī)制的歷史數(shù)據(jù)管理研究的基礎(chǔ)上，提出了基于屬性擴(kuò)展的歷史數(shù)據(jù)管理方法。該方法能在多種庫體中管理歷史數(shù)據(jù)，同時具備歷史數(shù)據(jù)回溯、回滾、備份和遷移的功能，并且提高了數(shù)據(jù)更新的工作效率，是實際生產(chǎn)工作中的創(chuàng)新，也為基礎(chǔ)測繪數(shù)據(jù)的歷史管理研究提供了有益參考。

1 基于ArcSDE存檔機(jī)制的歷史數(shù)據(jù)管理

存檔是將空間數(shù)據(jù)庫的所有變化都保存下來，記錄其變化的時間和變化前后的狀態(tài)，基于ArcSDE存檔機(jī)制能夠?qū)崿F(xiàn)無冗余空間歷史數(shù)據(jù)備份，實現(xiàn)任意時刻數(shù)據(jù)的查看，以及某時間段內(nèi)歷史數(shù)據(jù)動態(tài)回放顯示[1]。

1.1 基本原理

該方法首先對數(shù)據(jù)啟用存檔前會為數(shù)據(jù)集創(chuàng)建一個新存檔類。啟用存檔時，將數(shù)據(jù)集或?qū)ο箢惖?Default版本中的屬性及行信息復(fù)制到該存檔類中。存檔類與原始數(shù)據(jù)集具有相同的架構(gòu)，但新增3個屬性，分別記錄數(shù)據(jù)生存期的起始時間、終止時間和唯一標(biāo)識。

啟用數(shù)據(jù)集存檔后，保存或提交到 Default版本的所有更改還會另外在存檔類中進(jìn)行保存。當(dāng)啟用存檔時，表示Default版本的所有行都將按同一時間戳被復(fù)制到存檔類。所有行都打上了一個時間戳，終止時間為一個理論最大值（12/31/9999）。并且，無論何時，只要某一個要素的終止時間是該理論最大值，表示它為當(dāng)前現(xiàn)勢數(shù)據(jù)。當(dāng)編輯內(nèi)容保存或者提交到Default版本時，ArcSDE會自動將改動作用到存檔類。

1.2 數(shù)據(jù)更新

數(shù)據(jù)更新是以新要素替換數(shù)據(jù)庫中與之相對應(yīng)的舊要素的過程。具體而言，新增要素時，復(fù)制一份新增要素到存檔類，起始時間賦值為當(dāng)前系統(tǒng)時間，終止時間賦值為理論最大值；修改要素時，存檔類中修改前的要素終止時間改為當(dāng)前系統(tǒng)時間，復(fù)制修改后的要素到存檔類中，生存期屬性賦值同新增要素處理方式一致；刪除要素時，將存檔類中需要被刪除的要素的終止時間改為當(dāng)前系統(tǒng)時間。每一次的數(shù)據(jù)更新，都會產(chǎn)生歷史數(shù)據(jù)。

1.3 歷史數(shù)據(jù)管理

該方法利用了ArcSDE提供的歷史標(biāo)記查看歷史數(shù)據(jù)。選擇歷史標(biāo)記的方法有2種：①從歷史標(biāo)記列表中挑選；②從特定日期和時間中挑選。選擇歷史標(biāo)記后，就可以查看該標(biāo)記對應(yīng)的歷史數(shù)據(jù)。同時該方法還允許直接設(shè)置存檔表中的屬性過濾條件來顯示需要查看的歷史數(shù)據(jù)。

2 基于屬性擴(kuò)展的歷史數(shù)據(jù)管理

2.1 設(shè)計原理

基于屬性擴(kuò)展的歷史數(shù)據(jù)管理方法借鑒了ArcSDE存檔機(jī)制[12]，通過擴(kuò)展Geodatabase矢量數(shù)據(jù)的屬性字段并完善數(shù)據(jù)更新流程，實現(xiàn)了基礎(chǔ)測繪數(shù)據(jù)在多種庫體中進(jìn)行歷史管理、回滾、備份和遷移的目的。此外，該方法較ArcSDE存檔機(jī)制在數(shù)據(jù)遷移和穩(wěn)定性等方面均具備本質(zhì)差別，ArcSDE存檔機(jī)制本質(zhì)上是不支持?jǐn)?shù)據(jù)遷移的，脫離原環(huán)境歷史數(shù)據(jù)與現(xiàn)勢數(shù)據(jù)的關(guān)聯(lián)也就不復(fù)存在且極易受數(shù)據(jù)異常等影響導(dǎo)致歷史信息的丟失。基于屬性擴(kuò)展的歷史數(shù)據(jù)管理方法支持?jǐn)?shù)據(jù)在ArcSDE和File Geodatabase之間進(jìn)行遷移，較局限于ArcSDE環(huán)境下的歸檔管理更為穩(wěn)定。該方法的具體設(shè)計原理如下：

1）屬性擴(kuò)展?；A(chǔ)空間要素數(shù)據(jù)庫中的要素類的屬性設(shè)計遵循《浙江省省級基礎(chǔ)地理信息系統(tǒng)——空間數(shù)據(jù)庫要素類、子類設(shè)計》及其補(bǔ)充規(guī)定。在此基礎(chǔ)上，每類數(shù)據(jù)增加幾個字段，如表1。

2）輔助表設(shè)計。為了記錄基礎(chǔ)空間要素數(shù)據(jù)庫的更新信息及管理歷史數(shù)據(jù)，需建立更新版本輔助表（ZJGIS_UPDVR）見表2。

3）版本號說明。FROM_VERSION表示要素生存期內(nèi)起始版本的版本號，從0起編，TO_VERSION表示要素生存期內(nèi)終止版本的版本號，如果是最新的數(shù)據(jù)，其值為99999。如首批數(shù)據(jù)在完成初始入庫后其FROM_VERSION為0，TO_VERSION為99999。更新數(shù)據(jù)在入庫后，在更新范圍內(nèi)新入庫的數(shù)據(jù)其FROM_VERSION為1，TO_VERSION為99999，在更新范圍內(nèi)保存為歷史數(shù)據(jù)的要素其FROM_ VERSION為0，TO_VERSION為1，即其從版本0誕生至版本1消亡。

表1 要素類新增字段表

表2 更新版本輔助表

2.2 更新流程

實現(xiàn)基于屬性擴(kuò)展的歷史數(shù)據(jù)管理必須滿足一定的更新流程，該流程包括：更新環(huán)境初始化、更新數(shù)據(jù)初始化、新建更新業(yè)務(wù)、更新數(shù)據(jù)入庫以及關(guān)閉更新業(yè)務(wù)。

更新環(huán)境初始化是在待更新數(shù)據(jù)庫中創(chuàng)建一個要素類，記錄每次更新的業(yè)務(wù)信息以及更新范圍。

更新數(shù)據(jù)初始化包含2個操作：①為所有數(shù)據(jù)添加[FROM_VERSION]和[TO_VERSION]字段；②對[FROM_VERSION]字段賦值0，對[TO_VERSION]字段賦值99999。

新建更新業(yè)務(wù)主要是填寫更新的元數(shù)據(jù)信息，同時將更新范圍內(nèi)的數(shù)據(jù)“壓入”歷史。通過對更新范圍內(nèi)的數(shù)據(jù)修改其TO_VERSION字段，來標(biāo)記數(shù)據(jù)是否將要消亡。對于跨越更新范圍邊界的要素，將該要素的TO_VERSION設(shè)為當(dāng)前版本，并復(fù)制其更新范圍外的部分賦FROM_VERSION為當(dāng)前版本號，TO_VERSION為99999，以保證任何時刻的歷史數(shù)據(jù)都是完整的。

更新數(shù)據(jù)入庫功能將本地GDB數(shù)據(jù)更新源，通過調(diào)用ArcGIS提供的FeatureClassToFeatureClass的GP工具，導(dǎo)入到相應(yīng)的圖層中，實現(xiàn)更新數(shù)據(jù)的入庫。

流程控制方面，既包含程序自動控制也包含人工干預(yù)。程序自動控制是指更新完成后，通過關(guān)閉更新業(yè)務(wù)，將本次更新業(yè)務(wù)的更新狀態(tài)設(shè)為“已完成”，并且在結(jié)束更新業(yè)務(wù)之前，系統(tǒng)自動在基礎(chǔ)庫中修改From_Version和To_Version為空的要素，F(xiàn)rom_version設(shè)為當(dāng)前版本號，To_Version設(shè)為99999。人工干預(yù)是指作業(yè)員可以根據(jù)更新的日志信息，判斷數(shù)據(jù)更新業(yè)務(wù)的成敗，以決定是否重新進(jìn)行數(shù)據(jù)更新工作。

2.3 歷史數(shù)據(jù)管理

1）歷史數(shù)據(jù)回溯。數(shù)據(jù)更新即產(chǎn)生歷史數(shù)據(jù)，回溯是查看歷史數(shù)據(jù)在某個歷史時刻的狀態(tài)?；趯傩詳U(kuò)展的歷史數(shù)據(jù)回溯有2種方式：①選定業(yè)務(wù)版本號；②選定歷史時刻。

回溯功能的具體實現(xiàn)與存檔機(jī)制查看某時刻的方法類似，區(qū)別在于存檔機(jī)制是通過時間字段進(jìn)行篩選，屬性擴(kuò)展是通過數(shù)字（版本號）字段進(jìn)行篩選。從執(zhí)行效率上看，通過數(shù)字進(jìn)行查詢的屬性擴(kuò)展優(yōu)于存檔機(jī)制[13]。圖1反映了同一個要素在不同歷史時刻的情況。

圖1 歷史數(shù)據(jù)回溯對比圖

2）歷史數(shù)據(jù)回滾。回滾就是使數(shù)據(jù)恢復(fù)到某一個歷史時刻的狀態(tài)，當(dāng)某時刻的數(shù)據(jù)有誤或者不滿足質(zhì)量要求時，需要將數(shù)據(jù)恢復(fù)到該時刻之前的狀態(tài)，即刪除錯誤時刻之后創(chuàng)建的數(shù)據(jù)，并將在該時刻消亡的數(shù)據(jù)進(jìn)行恢復(fù)?；贏rcSDE存檔機(jī)制的方法在進(jìn)行歷史數(shù)據(jù)管理時沒有實現(xiàn)數(shù)據(jù)回滾，在數(shù)據(jù)生產(chǎn)過程中，多次更新后，若某次更新有誤，則必然會導(dǎo)致數(shù)據(jù)生產(chǎn)的返工?；趯傩詳U(kuò)展的方法進(jìn)行數(shù)據(jù)更新時對數(shù)據(jù)進(jìn)行標(biāo)記版本，而不是對數(shù)據(jù)進(jìn)行物理刪除，所以能夠?qū)崿F(xiàn)歷史數(shù)據(jù)回滾。

3）離線備份。離線備份是將指定歷史版本之前的數(shù)據(jù)導(dǎo)出存儲。數(shù)據(jù)多次更新后，歷史數(shù)據(jù)信息量不斷增加最終會影響到回溯、回滾以及更新的工作效率，因此有必要將備而不用的歷史數(shù)據(jù)進(jìn)行離線備份?；贏rcSDE存檔機(jī)制的方法能夠?qū)崿F(xiàn)歷史數(shù)據(jù)的離線備份，但具體實施步驟非常復(fù)雜，而基于屬性擴(kuò)展的方法實現(xiàn)離線備份非常簡便，僅需將在指定歷史版本之前的數(shù)據(jù)選中并導(dǎo)出即可。

4）數(shù)據(jù)遷移。隨著計算機(jī)技術(shù)的迅猛發(fā)展，軟硬件的升級逐漸常態(tài)化，而無論是硬件設(shè)備還是軟件版本的升級都必須進(jìn)行數(shù)據(jù)的遷移。基于ArcSDE存檔機(jī)制的方法依賴于SDE環(huán)境，一旦脫離該環(huán)境，則會破壞現(xiàn)勢數(shù)據(jù)與歷史數(shù)據(jù)之間的關(guān)系，無法繼續(xù)進(jìn)行歷史數(shù)據(jù)的管理，所以每一次的數(shù)據(jù)遷移，都會導(dǎo)致歷史數(shù)據(jù)的丟失?；趯傩詳U(kuò)展的歷史數(shù)據(jù)管理方法通過擴(kuò)展Geodatabase矢量數(shù)據(jù)的屬性字段以及業(yè)務(wù)輔助表進(jìn)行歷史數(shù)據(jù)維護(hù)，而這些信息包含于數(shù)據(jù)本身，因此可以在ArcSDE、本地GDB、MDB等任意Geodatabase格式下進(jìn)行數(shù)據(jù)遷移。此外，屬性擴(kuò)展的方法也能適用于文件級數(shù)據(jù)庫，且其效率和穩(wěn)定性均優(yōu)于ArcSDE。

3 結(jié) 語

本文在基于ArcSDE存檔機(jī)制的歷史數(shù)據(jù)管理的基礎(chǔ)上，提出了基于屬性擴(kuò)展的歷史數(shù)據(jù)管理方法，為歷史數(shù)據(jù)的管理研究提供了有益參考。與ArcSDE存檔機(jī)制相比，該方法具備了能將歷史數(shù)據(jù)進(jìn)行回溯、回滾、離線備份和遷移，減少數(shù)據(jù)庫冗余等優(yōu)點。同時該方法不受ArcSDE性能限制，其效率高于基于ArcSDE存檔機(jī)制的歷史數(shù)據(jù)管理方法。該方法已經(jīng)在浙江省基礎(chǔ)地理信息系統(tǒng)中得到廣泛的應(yīng)用。

基于屬性擴(kuò)展的歷史數(shù)據(jù)管理方法仍有不足之處，首先該方法基于自定義屬性擴(kuò)展實現(xiàn)歷史管理，在其他數(shù)據(jù)處理環(huán)境下對數(shù)據(jù)進(jìn)行編輯不會自動維護(hù)歷史數(shù)據(jù)；其次該方法放棄了多用戶操作模式，使數(shù)據(jù)更新只能單線程操作，在后續(xù)研究中有待在以上方面繼續(xù)深入，使該方法為基礎(chǔ)測繪數(shù)據(jù)管理工作作出更多貢獻(xiàn)。

[1] 李娜,魏瑞娟,張月香，等．基于ArcGIS Engine的SDE數(shù)據(jù)庫版本管理機(jī)歷史歸檔的研究與實現(xiàn)[J]．測繪與空間地理信息,2012,35(2):148-150

[2] 金寶婷, 左小清．淺議空間數(shù)據(jù)的版本管理[J]．科技情報開發(fā)與經(jīng)濟(jì)，2008,18(32) :158-160

[3] 熊麗華,楊峰．基于ArcSDE的空間數(shù)據(jù)庫技術(shù)的應(yīng)用研究[J]．計算機(jī)應(yīng)用,2004,24(3):90-91

[4] 劉波, 李大軍, 田為春,等．基于ArcSDE的版本管理和版本合并的算法設(shè)計與實現(xiàn)[J]．安徽農(nóng)業(yè)科學(xué)，2010,38(2): 1 033-1 035

[5] 杜紅悅, 劉先林, 宮輝力．基于ArcSDE的空間數(shù)據(jù)綜合管理系統(tǒng)設(shè)計與實現(xiàn)[J]．測繪科學(xué)，2009,34(5):171-173

[6] 鄒時林,陳紅華,謝剛生，等．基于ArcSDE的版本管理與歷史回溯設(shè)計與實現(xiàn)[J]．東華理工大學(xué)學(xué)報：自然科學(xué)版,2008,31(4):357-360

[7] 張沖,吳健平,錢大君．基于ArcSDE的GIS 版本管理應(yīng)用研究[J]．甘肅聯(lián)合大學(xué)學(xué)報:自然科學(xué)版,2007,21(2):66-70

[8] 夏宇,朱欣焰,咼維．基于ArcSDE 的空間數(shù)據(jù)版本管理問題研究[J]．計算機(jī)工程與應(yīng)用,2007,43(14):14-17

[9] 朱順痣． 基于 Geodatabase 城市綜合地下管線管理系統(tǒng)的研究與實踐[D]．廈門:廈門大學(xué), 2007

[10] 操震洲,李清泉．基于ArcSDE和ArcGIS Engine的版本管理系統(tǒng)的設(shè)計和實現(xiàn)[J]．測繪與空間地理信息,2006,29(1):76-78

[11] 孟浩東,賈有良．利用ArcSDE和ArcObjects管理宗地歷史數(shù)據(jù)[J]．測繪通報,2002,12(6):57-60

[12] 文學(xué)東,鐘文軍,祝方雄，等． 基于 Geodatabase 的 CAD 到ArcGIS 數(shù)據(jù)入庫研究[J]． 測繪科學(xué), 2006,31(6):100-102

[13] 薛存金, 周成虎, 蘇奮振, 等． 面向過程的時空數(shù)據(jù)模型研究[J]． 測繪學(xué)報, 2010,39(1): 95-101

P208

B

1672-4623（2015）05-0079-03

10.3969/j.issn.1672-4623.2015.05.026

盛琦，工程師，主要從事地理信息系統(tǒng)軟件開發(fā)及項目管理工作。

2014-06-04。

項目來源：國家自然科學(xué)基金資助項目（41171301）。