遙感衛(wèi)星數(shù)據(jù)異地備份技術(shù)研究

馮旭祥，馮鐘葵，陳俊，唐夢(mèng)輝，張洪群，付曉波

（1.中國科學(xué)院遙感與數(shù)字地球研究所，北京100094；2.內(nèi)蒙古電力集團(tuán)培訓(xùn)中心，呼和浩特010010）

遙感衛(wèi)星數(shù)據(jù)異地備份技術(shù)研究

馮旭祥1，馮鐘葵1，陳俊1，唐夢(mèng)輝1，張洪群1，付曉波2

（1.中國科學(xué)院遙感與數(shù)字地球研究所，北京100094；2.內(nèi)蒙古電力集團(tuán)培訓(xùn)中心，呼和浩特010010）

為了有效解決遙感衛(wèi)星數(shù)據(jù)的安全存儲(chǔ)問題，該文研究了一種基于網(wǎng)絡(luò)技術(shù)的遙感衛(wèi)星數(shù)據(jù)異地備份方法。在充分考慮遙感衛(wèi)星數(shù)據(jù)的結(jié)構(gòu)、組成、存儲(chǔ)形式和遙感衛(wèi)星數(shù)據(jù)備份的特點(diǎn)的基礎(chǔ)上，對(duì)遙感衛(wèi)星數(shù)據(jù)異地備份中的異地備份站點(diǎn)選擇、備份數(shù)據(jù)管理、數(shù)據(jù)一致性、數(shù)據(jù)恢復(fù)以及備份的創(chuàng)建方法等問題進(jìn)行了分析，并提出了解決的方法與技術(shù)；隨后引入了應(yīng)用系統(tǒng)示例。該應(yīng)用系統(tǒng)的運(yùn)行結(jié)果顯示該文研究的遙感衛(wèi)星數(shù)據(jù)異地備份技術(shù)可以有效完成遙感衛(wèi)星數(shù)據(jù)的異地備份。

遙感衛(wèi)星數(shù)據(jù)；異地備份；備份一致性；數(shù)據(jù)恢復(fù)；備份管理；備份站點(diǎn)

0 引 言

目前遙感衛(wèi)星數(shù)據(jù)的存檔多采用本地存儲(chǔ)和單介質(zhì)保存，一旦發(fā)生火災(zāi)、地震等災(zāi)害將可能造成數(shù)據(jù)損毀或丟失。為了有效地保護(hù)國家珍貴的遙感衛(wèi)星數(shù)據(jù)資源，需要建立一套高效的遙感衛(wèi)星數(shù)據(jù)異地備份機(jī)制，即在異地創(chuàng)建遙感衛(wèi)星數(shù)據(jù)的備份存儲(chǔ)和管理，以有效解決衛(wèi)星數(shù)據(jù)的安全存儲(chǔ)問題。

早期的遙感衛(wèi)星數(shù)據(jù)異地備份一般是利用交通工具將載有遙感衛(wèi)星數(shù)據(jù)的移動(dòng)介質(zhì)從本地站點(diǎn)運(yùn)送到異地站點(diǎn)進(jìn)行保存。此種方法雖然能夠保證數(shù)據(jù)的異地備份，但具有明顯的弊端，主要體現(xiàn)在：①備份時(shí)效性差、費(fèi)用高，選擇的異地站點(diǎn)一般距本地站點(diǎn)較遠(yuǎn)（幾百至幾千公里），使用交通工具進(jìn)行運(yùn)送的時(shí)間開銷會(huì)較大且備份費(fèi)用高。②備份管理難度大，由于備份的移動(dòng)介質(zhì)處于離線狀態(tài)，因此無法獲取備份數(shù)據(jù)的狀態(tài)，也不便于對(duì)已備份數(shù)據(jù)進(jìn)行檢索。③備份數(shù)據(jù)恢復(fù)過程復(fù)雜且恢復(fù)速度較慢。④備份數(shù)據(jù)的存儲(chǔ)質(zhì)量難以保證，如果一旦移動(dòng)介質(zhì)出現(xiàn)問題，所備份的數(shù)據(jù)也將難以恢復(fù)。

隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，越來越多的數(shù)據(jù)異地備份采用了基于網(wǎng)絡(luò)的備份方法，市場上也有較多的數(shù)據(jù)異地備份軟件，如Symantec NetBackup、IBM TSM和EMC Networker等，主要應(yīng)用于銀行、網(wǎng)站和圖書館系統(tǒng)，完成對(duì)單一的文件數(shù)據(jù)和數(shù)據(jù)庫的備份。但是，這些備份軟件不能實(shí)現(xiàn)對(duì)遙感衛(wèi)星數(shù)據(jù)各組成部分的同步備份并保持各組成部分的一致性，因此無法滿足遙感衛(wèi)星數(shù)據(jù)異地備份的需求。

針對(duì)以上問題，本文在充分考慮遙感衛(wèi)星數(shù)據(jù)及其備份特點(diǎn)基礎(chǔ)上，對(duì)遙感衛(wèi)星數(shù)據(jù)進(jìn)行異地備份的關(guān)鍵技術(shù)要點(diǎn)進(jìn)行了深入分析，給出了對(duì)遙感衛(wèi)星數(shù)據(jù)進(jìn)行有效異地備份的解決方案，包括如何選擇備份站點(diǎn)、備份數(shù)據(jù)的管理、數(shù)據(jù)的一致性保持、數(shù)據(jù)恢復(fù)以及備份創(chuàng)建方法等。本文還基于上述方案給出了一個(gè)有效解決遙感衛(wèi)星數(shù)據(jù)異地備份問題的應(yīng)用實(shí)例。

1 衛(wèi)星數(shù)據(jù)及異地備份的特點(diǎn)

為便于遙感衛(wèi)星數(shù)據(jù)存儲(chǔ)管理及后續(xù)的產(chǎn)品處理，遙感衛(wèi)星原始數(shù)據(jù)通常進(jìn)行簡單的格式編排，以單軌（或數(shù)據(jù)段）數(shù)據(jù)為單位形成文件進(jìn)行存檔，稱為衛(wèi)星數(shù)據(jù)存檔文件。此外，基于對(duì)遙感衛(wèi)星數(shù)據(jù)進(jìn)行查詢、訪問的需求，還需對(duì)與衛(wèi)星數(shù)據(jù)存檔文件建立與之關(guān)聯(lián)的元數(shù)據(jù)文件和瀏覽圖文件并進(jìn)行存檔。因此，遙感衛(wèi)星數(shù)據(jù)備份主要是考慮如何對(duì)這三類文件進(jìn)行備份管理。一般地，這三類文件的存檔形式如下［1－4］：①衛(wèi)星數(shù)據(jù)存檔文件。包含整軌（或數(shù)據(jù)段）衛(wèi)星數(shù)據(jù)，一般在幾十MB至幾十GB大小，以二進(jìn)制文件的形式存放于文件系統(tǒng)中。為方便進(jìn)行數(shù)據(jù)管理和訪問，需在數(shù)據(jù)庫中記錄存檔數(shù)據(jù)文件的路徑信息；衛(wèi)星數(shù)據(jù)存檔文件一般采用分級(jí)存儲(chǔ)。分級(jí)存儲(chǔ)包括在線存儲(chǔ)、近線存儲(chǔ)和離線存儲(chǔ)三級(jí)，一般地，在線存儲(chǔ)采用高速磁盤，近線存儲(chǔ)采用磁帶庫，離線存儲(chǔ)采用磁帶［4－6］。②元數(shù)據(jù)文件。包含衛(wèi)星數(shù)據(jù)存檔文件的屬性信息，文件經(jīng)過解析，屬性信息注入數(shù)據(jù)庫中作為數(shù)據(jù)記錄進(jìn)行存檔［4，7］。③瀏覽圖文件。包含衛(wèi)星數(shù)據(jù)存檔文件中整軌和單景衛(wèi)星數(shù)據(jù)的瀏覽圖，一般在1MB以下。以文件的形式存放在文件系統(tǒng)中，同時(shí)在數(shù)據(jù)庫中記錄瀏覽圖文件的路徑。

遙感衛(wèi)星數(shù)據(jù)的異地備份具有以下特點(diǎn)［4－6］：①數(shù)據(jù)總量大且單個(gè)數(shù)據(jù)文件較大，備份的創(chuàng)建與維護(hù)困難。隨著衛(wèi)星數(shù)量增加、衛(wèi)星分辨率的提高，遙感衛(wèi)星數(shù)據(jù)量增長飛快。以2013年發(fā)射的高分一號(hào)衛(wèi)星為例，按每天下傳4軌數(shù)據(jù)，每軌數(shù)據(jù)10分鐘，則每軌數(shù)據(jù)大小約為63GB，每天產(chǎn)生數(shù)量約為254GB，每年產(chǎn)生數(shù)據(jù)量約為93TB。綜合考慮目前在軌的衛(wèi)星和已完成規(guī)劃即將發(fā)射運(yùn)行的衛(wèi)星，產(chǎn)生的衛(wèi)星數(shù)據(jù)量會(huì)非常巨大。創(chuàng)建與保持如此海量的數(shù)據(jù)備份與傳統(tǒng)的普通數(shù)據(jù)備份差異較大。同時(shí)衛(wèi)星數(shù)據(jù)存檔文件是幾十MB至幾十GB大小的單個(gè)文件，在進(jìn)行網(wǎng)絡(luò)傳輸時(shí)耗時(shí)較長且會(huì)占用較多的網(wǎng)絡(luò)帶寬，容易導(dǎo)致數(shù)據(jù)不一致的情況發(fā)生。②存檔數(shù)據(jù)的組成和保存形式多樣，備份數(shù)據(jù)的管理復(fù)雜。遙感衛(wèi)星數(shù)據(jù)的備份包含對(duì)衛(wèi)星數(shù)據(jù)存檔文件、元數(shù)據(jù)文件和瀏覽圖文件的備份，備份過程需要根據(jù)各類數(shù)據(jù)的特點(diǎn)完成備份，同時(shí)保持各類數(shù)據(jù)之間的關(guān)聯(lián)性。備份數(shù)據(jù)的管理是數(shù)據(jù)恢復(fù)的基礎(chǔ)，衛(wèi)星數(shù)據(jù)包含有諸如地理信息、云量、傳感器等特有的屬性，需要根據(jù)衛(wèi)星數(shù)據(jù)的屬性信息建立其相對(duì)應(yīng)的編目信息，以便于對(duì)衛(wèi)星數(shù)據(jù)進(jìn)行管理。③備份數(shù)據(jù)的一致性保持較難，由于存檔數(shù)據(jù)保存形式多樣且單個(gè)存檔文件數(shù)據(jù)量大，如何在備份時(shí)，既完成對(duì)一軌數(shù)據(jù)包含的多種數(shù)據(jù)的備份，又完成對(duì)數(shù)據(jù)之間關(guān)聯(lián)性的備份，同時(shí)保證本地和異地?cái)?shù)據(jù)的一致性，這是進(jìn)行衛(wèi)星數(shù)據(jù)異地備份的一個(gè)關(guān)鍵問題。

2 異地備份技術(shù)研究

2.1 異地備份站點(diǎn)的選擇

所謂數(shù)據(jù)的異地備份，是指在兩個(gè)相距一定距離的空間各自保存一份關(guān)鍵業(yè)務(wù)數(shù)據(jù)，并提供數(shù)據(jù)恢復(fù)手段的數(shù)據(jù)安全存儲(chǔ)方式。兩地之間的距離常根據(jù)工作條件、數(shù)據(jù)的重要性、一級(jí)行政區(qū)劃等因素統(tǒng)籌考慮。一般來說，相距100km以上的兩地，能夠應(yīng)付地區(qū)性的自然和人為災(zāi)害所造成的數(shù)據(jù)安全危機(jī)。

為實(shí)現(xiàn)在兩地之間的數(shù)據(jù)備份，需要在兩地之間建立網(wǎng)絡(luò)連接。考慮到遙感衛(wèi)星數(shù)據(jù)總量大，同時(shí)新獲取的遙感衛(wèi)星數(shù)據(jù)增長速度也較快，因此對(duì)兩地的網(wǎng)絡(luò)帶寬有一定的要求。在確定備份所需網(wǎng)絡(luò)帶寬時(shí)，需要同時(shí)考慮歷史數(shù)據(jù)與每日新增數(shù)據(jù)的數(shù)據(jù)量及其總的耗時(shí)要求、備份的時(shí)間窗口和網(wǎng)絡(luò)利用率等要素。一個(gè)計(jì)算示例如下：本地已有歷史數(shù)據(jù)200TB，考慮在1年之內(nèi)完成歷史數(shù)據(jù)從本地到異地的備份，在每日備份時(shí)間窗口10小時(shí)、網(wǎng)絡(luò)帶寬利用率在70%的情況下，需要約229Mb／s的帶寬。按每日新增數(shù)據(jù)254GB，如需要在3小時(shí)傳輸完成所有新增數(shù)據(jù)到備份站點(diǎn)，在網(wǎng)絡(luò)帶寬利用率為70%的情況下，需要約276Mb／s的帶寬。若要同時(shí)滿足這兩個(gè)指標(biāo)，則需每日備份時(shí)間窗口為13小時(shí)，網(wǎng)絡(luò)帶寬需保證大于276Mb／s。

從示例可以看出，為滿足歷史數(shù)據(jù)與新增數(shù)據(jù)備份的耗時(shí)要求，有不同的網(wǎng)絡(luò)帶寬和備份時(shí)間窗口要求?？偟木W(wǎng)絡(luò)帶寬要求取其較大值；總的備份時(shí)間窗口則是兩類數(shù)據(jù)備份時(shí)間窗口之和。

一般地，由于遙感衛(wèi)星數(shù)據(jù)的接收管理部門通常都有多個(gè)衛(wèi)星地面站，為減少備份的數(shù)據(jù)傳輸量，衛(wèi)星數(shù)據(jù)異地備份可以優(yōu)先考慮選擇異地衛(wèi)星地面站作為備份站點(diǎn)。

2.2 備份的創(chuàng)建方法

遙感衛(wèi)星數(shù)據(jù)異地備份的過程，首先是遙感衛(wèi)星數(shù)據(jù)異地備份的初始化，即完成對(duì)本地?cái)?shù)據(jù)存儲(chǔ)中的歷史衛(wèi)星數(shù)據(jù)到異地的備份；然后是備份的正常運(yùn)行，主要是對(duì)新增衛(wèi)星數(shù)據(jù)的備份。針對(duì)初始化步驟的不同，可以分為兩種不同的備份方法，下面分別進(jìn)行介紹。

（1）歷史數(shù)據(jù)優(yōu)先的備份方法

歷史數(shù)據(jù)優(yōu)先的方法是指在進(jìn)行數(shù)據(jù)異地備份的初始化時(shí)，先將所有已有的數(shù)據(jù)備份到異地，再對(duì)備份期間新增的數(shù)據(jù)進(jìn)行備份，重復(fù)此過程直到所有衛(wèi)星數(shù)據(jù)都已完成備份；然后進(jìn)入到備份的正常運(yùn)行模式，完成后續(xù)新增數(shù)據(jù)的備份，這種創(chuàng)建方法的運(yùn)行流程圖如圖1（a）所示，該運(yùn)行模式的特點(diǎn)是運(yùn)行過程簡單，通過幾次迭代過程就可以完成對(duì)已有數(shù)據(jù)的備份，迭代所需的次數(shù)取決于已有數(shù)據(jù)的數(shù)量與網(wǎng)絡(luò)帶寬的大小。但是這種運(yùn)行模式有一個(gè)比較大的缺點(diǎn)，在異地備份初始化期間，新增數(shù)據(jù)無法得到及時(shí)備份且滯后的時(shí)間較長。圖1（b）是備份過程的時(shí)序圖，從圖可以看出備份的過程主要有3個(gè)階段，分別是歷史數(shù)據(jù)的備份、迭代過程新增數(shù)據(jù)備份以及正常運(yùn)行過程中新增數(shù)據(jù)的備份。

設(shè)定這樣的一個(gè)異地備份環(huán)境，其數(shù)據(jù)與網(wǎng)絡(luò)情況描述如下：①需要備份的歷史數(shù)據(jù)200TB；②每日新增數(shù)據(jù)250GB；③本地與異地之間數(shù)據(jù)傳輸網(wǎng)絡(luò)帶寬為271Mbps，設(shè)定網(wǎng)絡(luò)利用率為70%，每日可用的備份時(shí)間為13小時(shí)，即每日可備份數(shù)據(jù)量為1084GB。

在上述限定條件下，創(chuàng)建初始備份約需要5次迭代，各次迭代的所需備份的數(shù)據(jù)、時(shí)間以及迭代時(shí)新增數(shù)據(jù)的情況參見表1。通過迭代過程可以看出，第一次備份迭代所需的時(shí)間較長，在本例中，初始備份過程需要188.9天時(shí)間，這樣在第一次迭代時(shí)產(chǎn)生的數(shù)據(jù)需要等待188.9天才能開始進(jìn)行備份，并在約43.5天后完成備份。

圖1 歷史數(shù)據(jù)優(yōu)先的備份方法示意圖

表1 備份創(chuàng)建的迭代過程

考慮一個(gè)更通用的場景（以下各數(shù)據(jù)量的單位相同）：需要備份的歷史數(shù)據(jù)為D0，每日新增數(shù)據(jù)Da，每日可完成的備份數(shù)據(jù)量為da，則可以得出第n次迭代所需的時(shí)間Tn為：

迭代終止的條件是：

則初始備份創(chuàng)建所需的時(shí)間為：

（2）新增數(shù)據(jù)優(yōu)先的備份方法

新增數(shù)據(jù)優(yōu)先的備份方法是指，優(yōu)先完成對(duì)新增衛(wèi)星數(shù)據(jù)的備份，在備份時(shí)間窗口允許的前提下進(jìn)行歷史數(shù)據(jù)的備份。備份過程主要分為兩個(gè)階段，第一個(gè)階段是初始備份的創(chuàng)建過程，在保證新增衛(wèi)星數(shù)據(jù)備份的基礎(chǔ)上，在剩余可用的備份時(shí)間窗口內(nèi)完成對(duì)歷史衛(wèi)星數(shù)據(jù)的備份，直到所有的歷史衛(wèi)星數(shù)據(jù)都已完成備份。第二個(gè)階段是備份的正常運(yùn)行階段，只需要完成對(duì)新增衛(wèi)星數(shù)據(jù)的備份。備份過程的流程圖如圖2（a）所示，而圖2（b）則顯示了備份過程的時(shí)序圖，從時(shí)序圖可以看出備份創(chuàng)建的過程。

圖2 新增數(shù)據(jù)優(yōu)先備份過程示意圖

在與上一節(jié)歷史數(shù)據(jù)優(yōu)先模式相同的限定條件下，除去新增數(shù)據(jù)，每日可用于傳輸歷史數(shù)據(jù)流量的帶寬容量為834GB，因此完成備份初始化所需的時(shí)間為245.6天。

考慮一個(gè)更通用的場景（以下各數(shù)據(jù)量的單位相同）：現(xiàn)有需要備份的衛(wèi)星數(shù)據(jù)量為D0，每日新增數(shù)據(jù)量Da，每日完成的備份數(shù)據(jù)量為da，則初始備份創(chuàng)建所需的時(shí)間為：

上述兩種備份創(chuàng)建方法，歷史數(shù)據(jù)優(yōu)先的備份方法可以使歷史數(shù)據(jù)優(yōu)先得到保護(hù)，且運(yùn)行模式較為簡單；新增數(shù)據(jù)優(yōu)先的備份方法交錯(cuò)進(jìn)行歷史數(shù)據(jù)與新增數(shù)據(jù)的備份，其運(yùn)行方式更為復(fù)雜。

考慮到在采用分級(jí)存儲(chǔ)時(shí)，根據(jù)衛(wèi)星數(shù)據(jù)存儲(chǔ)管理的策略，新增數(shù)據(jù)在產(chǎn)生后的一段時(shí)間內(nèi)（通常是1周到1個(gè)月）會(huì)在各級(jí)存儲(chǔ)中都留有備份，另外新增數(shù)據(jù)是熱點(diǎn)數(shù)據(jù)，會(huì)被更多的讀回到系統(tǒng)進(jìn)行處理，這樣也會(huì)形成新增數(shù)據(jù)在系統(tǒng)中的多份拷貝。相比較而言歷史數(shù)據(jù)一般都存儲(chǔ)在單一介質(zhì)上，更需要得到保護(hù)。因此在歷史數(shù)據(jù)的數(shù)據(jù)總量不太多的情況下，如可以在半年內(nèi)完成對(duì)歷史數(shù)據(jù)的備份，可以優(yōu)先考慮歷史數(shù)據(jù)優(yōu)先的備份建立模式；其他情況則可優(yōu)先使用新增數(shù)據(jù)優(yōu)先的備份創(chuàng)建方法。

2.3 數(shù)據(jù)一致性檢查

在基于網(wǎng)絡(luò)環(huán)境進(jìn)行備份時(shí)，數(shù)據(jù)是在廣域網(wǎng)的環(huán)境下進(jìn)行備份傳輸，容易出現(xiàn)數(shù)據(jù)不一致的情況。對(duì)此，可以通過備份過程中和備份完成后進(jìn)行一致性檢查來解決［8］。

備份過程中的處理是指在備份過程中，通過一系列處理方法和手段防止數(shù)據(jù)不一致的情況出現(xiàn)，主要包括基于任務(wù)的數(shù)據(jù)傳輸管理方法和大文件的數(shù)據(jù)檢查機(jī)制。

基于任務(wù)的數(shù)據(jù)傳輸管理方法是指對(duì)數(shù)據(jù)傳輸過程進(jìn)行細(xì)分，將一軌衛(wèi)星數(shù)據(jù)的傳輸作為一個(gè)數(shù)據(jù)傳輸任務(wù)，對(duì)傳輸過程中的每個(gè)子步驟以子任務(wù)的方式進(jìn)行管理，以確保數(shù)據(jù)傳輸過程的完整、正確［9］。具體的可以將數(shù)據(jù)傳輸任務(wù)分為衛(wèi)星數(shù)據(jù)存檔文件傳輸、元數(shù)據(jù)信息傳輸和瀏覽圖文件傳輸3個(gè)子任務(wù)，并建立合適的子任務(wù)之間的通信機(jī)制。在每一個(gè)子任務(wù)正確完成之后，開始下一個(gè)子任務(wù)。只有在3個(gè)子任務(wù)都完成時(shí)，才將數(shù)據(jù)標(biāo)記為備份成功。否則將備份任務(wù)標(biāo)記為不成功，在備份不成功時(shí)可以進(jìn)行數(shù)據(jù)重傳，可以選擇對(duì)失敗的數(shù)據(jù)或所有數(shù)據(jù)進(jìn)行重傳。

大文件的數(shù)據(jù)檢查是指在數(shù)據(jù)傳輸完成之后，立即對(duì)數(shù)據(jù)的正確性進(jìn)行檢查。由于衛(wèi)星數(shù)據(jù)存檔文件較大，且通過本地與異地之間的廣域網(wǎng)環(huán)境之間進(jìn)行傳輸，為防止由于網(wǎng)絡(luò)傳輸?shù)仍蛟斐傻臄?shù)據(jù)損壞，需要建立大文件的數(shù)據(jù)檢查。其方法是，傳輸前先在本地生成衛(wèi)星數(shù)據(jù)存檔文件的校驗(yàn)碼，校驗(yàn)碼可以采用CRC或MD5方式生成，生成的CRC或MD5校驗(yàn)碼通過消息中間件以文本消息的形式傳輸?shù)疆惖?，衛(wèi)星數(shù)據(jù)存檔文件則通過FTP協(xié)議傳輸?shù)疆惖?，校?yàn)碼與文件的傳輸控制通過基于任務(wù)的數(shù)據(jù)傳輸管理來完成。異地接收到衛(wèi)星數(shù)據(jù)存檔文件及校驗(yàn)碼之后，再次計(jì)算衛(wèi)星數(shù)據(jù)存檔文件的校驗(yàn)碼，同時(shí)與接收到的校驗(yàn)碼進(jìn)行比對(duì)，只有在兩邊數(shù)據(jù)計(jì)算的校驗(yàn)碼相匹配時(shí)，才設(shè)定衛(wèi)星數(shù)據(jù)存檔文件傳輸成功，否則進(jìn)行數(shù)據(jù)重傳。

備份完成后的一致性檢查主要用于對(duì)本地和異地已備份數(shù)據(jù)的一致性進(jìn)行檢查。具體是指在備份完成后，由用戶發(fā)起對(duì)備份數(shù)據(jù)進(jìn)行檢查，檢查發(fā)現(xiàn)不一致的數(shù)據(jù)，并對(duì)存在不一致的數(shù)據(jù)進(jìn)行重傳處理。主要包括單軌數(shù)據(jù)的一致性狀態(tài)檢查和基于數(shù)據(jù)庫的一致性檢查機(jī)制。單軌數(shù)據(jù)的一致性狀態(tài)檢查是指對(duì)完成異地備份的單軌遙感衛(wèi)星數(shù)據(jù)所包含的各類數(shù)據(jù)信息進(jìn)行一致性檢查，以確保完成備份的遙感衛(wèi)星數(shù)據(jù)處于正確的異地備份狀態(tài)。檢查的內(nèi)容主要有：以校驗(yàn)碼檢查衛(wèi)星數(shù)據(jù)存檔文件是否一致、數(shù)據(jù)庫中的元數(shù)據(jù)信息是否一致以及瀏覽圖文件信息是否一致。對(duì)于檢查后發(fā)現(xiàn)不一致的備份數(shù)據(jù)發(fā)起數(shù)據(jù)重傳任務(wù)。

基于數(shù)據(jù)庫的本地與異地?cái)?shù)據(jù)一致性檢查機(jī)制是指，以基于本地或異地的元數(shù)據(jù)數(shù)據(jù)庫信息為基準(zhǔn)，發(fā)起數(shù)據(jù)一致性檢查。主要是比較在本地標(biāo)識(shí)為已備份完成的數(shù)據(jù)信息是否在異地已有一個(gè)備份副本，和在異地已有備份副本的數(shù)據(jù)信息是否在本地已標(biāo)識(shí)為已備份。通過建立這種事后的一致性檢查機(jī)制可以確保本地所有數(shù)據(jù)都能按序備份到異地，而在異地已完成備份的數(shù)據(jù)能在本地有一個(gè)正確的標(biāo)識(shí)?；跀?shù)據(jù)庫的本地與異地?cái)?shù)據(jù)同步檢查機(jī)制獨(dú)立于常規(guī)的數(shù)據(jù)備份任務(wù)，可以定期發(fā)起這種一致性檢查。

2.4 數(shù)據(jù)恢復(fù)

異地備份的最終目的是為了便于在本地的數(shù)據(jù)遭到破壞時(shí)，能快速方便地將數(shù)據(jù)恢復(fù)到本地。因此，在構(gòu)建異地備份系統(tǒng)時(shí)，還需要考慮備份數(shù)據(jù)恢復(fù)的問題。對(duì)于衛(wèi)星數(shù)據(jù)異地備份而言，數(shù)據(jù)恢復(fù)的最小粒度為單軌數(shù)據(jù)。當(dāng)發(fā)現(xiàn)數(shù)據(jù)損壞時(shí)，對(duì)衛(wèi)星數(shù)據(jù)存檔文件、編目信息和瀏覽圖文件都要進(jìn)行恢復(fù)。

為了對(duì)備份的數(shù)據(jù)進(jìn)行有效利用和便于進(jìn)行數(shù)據(jù)恢復(fù)，需要對(duì)備份數(shù)據(jù)進(jìn)行管理。備份數(shù)據(jù)管理的基本要求是，完成對(duì)備份數(shù)據(jù)的存儲(chǔ)管理，建立本地與異地?cái)?shù)據(jù)編目信息，以實(shí)現(xiàn)兩地之間的互檢索。數(shù)據(jù)檢索可以通過B／S技術(shù)實(shí)現(xiàn)［10－11］。根據(jù)衛(wèi)星數(shù)據(jù)損壞的量的大小，數(shù)據(jù)恢復(fù)可以分為小批量恢復(fù)以及災(zāi)難恢復(fù)兩個(gè)級(jí)別。小批量恢復(fù)是指日常運(yùn)行中，發(fā)現(xiàn)本地?cái)?shù)據(jù)有損壞時(shí)，由衛(wèi)星數(shù)據(jù)標(biāo)識(shí)信息，使用互檢索功能檢索到異地備份的數(shù)據(jù)，將數(shù)據(jù)通過網(wǎng)絡(luò)恢復(fù)到本地。而災(zāi)難恢復(fù)是指本地保存的數(shù)據(jù)出現(xiàn)災(zāi)難性毀壞時(shí)的數(shù)據(jù)恢復(fù)策略。針對(duì)災(zāi)難恢復(fù)，主要有兩個(gè)手段，其一是在本地?cái)?shù)據(jù)毀壞，在網(wǎng)絡(luò)環(huán)境和本地的運(yùn)行環(huán)境沒有完全損壞的前提下，可以通過網(wǎng)絡(luò)訪問異地的數(shù)據(jù)管理系統(tǒng)發(fā)起數(shù)據(jù)恢復(fù)任務(wù)。當(dāng)在網(wǎng)絡(luò)環(huán)境和本地的運(yùn)行環(huán)境損壞的前提下，無法通過網(wǎng)絡(luò)來進(jìn)行數(shù)據(jù)恢復(fù)，可以將所需備份數(shù)據(jù)導(dǎo)出到移動(dòng)介質(zhì)或者移動(dòng)硬盤，再將移動(dòng)介質(zhì)運(yùn)輸?shù)侥康牡亍?/p>

3 應(yīng)用示例

一個(gè)采用本文所述方法的遙感衛(wèi)星數(shù)據(jù)異地備份系統(tǒng)的組成框圖如圖3所示，系統(tǒng)包含了北京端（本地）與密云端（異地），兩端都有進(jìn)行異地備份所需的任務(wù)管理單元、數(shù)據(jù)傳輸單元、數(shù)據(jù)管理單元和一致性檢測單元。其中任務(wù)管理單元完成數(shù)據(jù)傳輸、數(shù)據(jù)恢復(fù)和一致性檢測的任務(wù)管理；數(shù)據(jù)傳輸單元用于完成在本地與異地之間的數(shù)據(jù)傳輸；數(shù)據(jù)管理單元用于完成本地與異地間數(shù)據(jù)的互檢索和發(fā)起數(shù)據(jù)恢復(fù)任務(wù)；一致性檢測單元用于完成本地與異地?cái)?shù)據(jù)的一致性檢測。

本示例的系統(tǒng)中，兩站點(diǎn)間的網(wǎng)絡(luò)帶寬為622Mbps，網(wǎng)絡(luò)帶寬利用率約為60%，每日備份時(shí)間窗口約為6.6小時(shí)，在運(yùn)行模式上，采用新增數(shù)據(jù)優(yōu)先的運(yùn)行模式，即優(yōu)先對(duì)新增數(shù)據(jù)進(jìn)行備份。目前該系統(tǒng)已穩(wěn)定運(yùn)行兩年，完成了約200TB歷史數(shù)據(jù)的備份，同時(shí)完成在此期間生成的約18TB新增數(shù)據(jù)的備份。

圖3 遙感衛(wèi)星數(shù)據(jù)異地備份系統(tǒng)示例框圖

4 結(jié)束語

本文針對(duì)遙感衛(wèi)星數(shù)據(jù)組成復(fù)雜、數(shù)據(jù)量大的特點(diǎn)，對(duì)遙感衛(wèi)星數(shù)據(jù)異地備份過程中的備份站點(diǎn)選擇、數(shù)據(jù)管理方法、備份創(chuàng)建方法、一致性保持和數(shù)據(jù)恢復(fù)的問題進(jìn)行了分析，并對(duì)各問題提出了有效的技術(shù)方法予以解決。本文提出的方法在中國科學(xué)院遙感衛(wèi)星地面站的遙感衛(wèi)星數(shù)據(jù)異地備份系統(tǒng)中得到了有效的應(yīng)用，取得了較好的效果，對(duì)于遙感衛(wèi)星數(shù)據(jù)的異地備份具有較好的借鑒意義。

［1］ GUO W，GONG J Y，JIANG W S，et al.OpenRS－cloud：A remote sensing image processing patform based on cloud computing environment［J］.Science China Technological Sciences，2010，53（suppl.1）：221－230.

［2］ RAMAPRIYAN H K，PFISTER R，WEINSTEIN B.An overview of the EOS data distribution systems［J］.Remote Sensing and Digital Image Processing，2011，11（3）：167－201.

［3］ DAUCSAVAGE J，KAMINSKI M，RAMACHANDRAN B，et al.ASTER and MODIS land data management at the land processes，and national snow and ice data centers［J］.Remote Sensing and Digital Image Processing，2011，11（3）：183－202.

［4］ 汪超亮，李傳榮，賈斌.新型遙感衛(wèi)星數(shù)據(jù)目錄服務(wù)系統(tǒng)的研制［J］.遙感學(xué)報(bào)，2007，11（3）：385－389.

［5］ 陳勃，陳志軍.海量遙感衛(wèi)星數(shù)據(jù)存檔方法的探討［J］.遙感信息，2006，21（5）：43－46.

［6］ 呂雪鋒，程承旗，龔健雅，等.海量遙感數(shù)據(jù)存儲(chǔ)管理技術(shù)綜述［J］.中國科學(xué)：科學(xué)技術(shù)，2011，41（12）：1561－1573.

［7］ 李斌斌，馮鐘葵，唐夢(mèng)輝，等.遙感數(shù)據(jù)異地歸檔方法研究與實(shí)現(xiàn)［J］.遙感信息，2011，21（2）：86－90.

［8］ 程艷娜，李安，馮鐘葵，等.遙感數(shù)據(jù)異地備份中數(shù)據(jù)一致性方法研究與實(shí)現(xiàn)［J］.遙感信息，2011，26（1）：37－40.

［9］ 錢凱，馮鐘葵，唐夢(mèng)輝，等.遙感數(shù)據(jù)遠(yuǎn)程備份的任務(wù)管理［J］.微計(jì)算機(jī)信息，2010，1（28）：189－190.

［10］ 馮旭祥，李安，陳俊.基于ArcSDE與WebGIS的衛(wèi)星數(shù)據(jù)管理與檢索系統(tǒng)研究與實(shí)現(xiàn)［J］.遙感信息，2010，25（1）：39－43.

［11］ MARTINO S D，BIMONTE S，BERTOLOTTO M，et al.Spatial online analytical processing of geographic data through the google earth Interface［J］.Geocomputation，Sustainability ＆Environmental Planning，348：163－182.

Remote Backup Technology of Remote Sensing Satellite Data

FENG Xu－xiang1，F(xiàn)ENG Zhong－kui1，CHEN Jun1，TANG Meng－h(huán)ui1，ZHANG Hong－qun1，F(xiàn)U Xiao－bo2
（1.Institute of Remote Sensing and Digital Earth，Chinese Academy of Sciences，Beijing100094；2.Training Center of Inner Mongolia Electric Power Group，Huhhot 010010）

This paper presents an approach for network－based remote backup of remote sensing satellite data.With full consideration of structure，composition，storage of remote sensing satellite data and characteristics of remote sensing satellite data backup，some problems such as selection of backup site location，backup data management，data consistency，data restore and backup creation methods are analyzed，and corresponding solutions are proposed.Then an example on the approach is introduced which demonstrates its effectiveness.

remote backup；backup consistency；backup management；backup recovery；backup site

10.3969／j.issn.1000－3177.2015.04.011

TP79

A

1000－3177（2015）140－0061－05

2014－05－27

2014－10－20

馮旭祥（1984—），男，工程師，主要從事遙感衛(wèi)星數(shù)據(jù)預(yù)處理與備份相關(guān)研究。

E－mail：xxfeng＠ceode.ac.cn

馮鐘葵（1960—），男，研究員，主要研究方向?yàn)檫b感數(shù)據(jù)處理、圖像處理、海量數(shù)據(jù)儲(chǔ)存與管理與遙感地面系統(tǒng)集成。

E－mail：zkfeng＠ceode.ac.cn