基于云存儲的遙感數(shù)據(jù)存儲模型

員建廈

（中國電子科技集團(tuán)公司第54研究所 石家莊 050081）

一、引言

遙感影像是一種具有高容量、高可靠性、獲取方便及時等特點的信息載體。在交通管理、土地規(guī)劃、軍事、資源、環(huán)境和防災(zāi)等很多領(lǐng)域都起著不可替代的作用。利用衛(wèi)星平臺，人們可以迅速得到幾天前甚至幾小時前拍攝的高分辨率遙感影像，使獲取的信息更加及時、準(zhǔn)確。

遙感影像的數(shù)據(jù)量非常大。每天都有通過不同途徑獲取的大量遙感影像數(shù)據(jù)，并且隨著影像分辨率的提高，產(chǎn)生的遙感影像數(shù)據(jù)量也以幾何方式增長，達(dá)到Terabyte（TB）量級甚至Petabyte（PB）量級。隨著時間的推移，遙感應(yīng)用領(lǐng)域的不斷擴(kuò)大以及衛(wèi)星技術(shù)、傳感器技術(shù)的不斷發(fā)展，遙感影像的數(shù)據(jù)量級別還將持續(xù)快速地增加。如何有效的組織、存儲、管理和發(fā)布這些海量的遙感影像數(shù)據(jù)，使遙感影像數(shù)據(jù)能夠更迅速、更準(zhǔn)確地為應(yīng)用提供服務(wù)，成為目前急需解決的問題。

二、遙感數(shù)據(jù)的特點分析

遙感（Remote Sensing）科學(xué)是在地球科學(xué)與傳統(tǒng)物理學(xué)、現(xiàn)代高科技基礎(chǔ)上發(fā)展起來的一門新興交叉學(xué)科。廣義上泛指從遠(yuǎn)處探測、感知物體或事物的技術(shù)。即不接接觸物體本身，而是在遠(yuǎn)處通過儀器（比如飛機(jī)、氣球、飛艇、衛(wèi)星等載體上的傳感器）探測和接收來自目標(biāo)物體的信息（如可見光、紅外、電場、磁場、電磁波等信息，經(jīng)過信息的傳輸及其處理分析，識別物體的屬性及其分布等特征的技術(shù)。

高分辨率對地觀測數(shù)據(jù)是對農(nóng)業(yè)、災(zāi)害、資源環(huán)境、公共安全等重大問題進(jìn)行宏觀決策的有力根據(jù)，是保障國家安全的基礎(chǔ)性和戰(zhàn)略性資源，通過遙感技術(shù)，可以很快得到大量所需信息，有效地為國土、農(nóng)業(yè)等行業(yè)以及管部門的決策提供支持。在遙感技術(shù)給人們的生產(chǎn)生活帶來各種方便的同時，由于其身的數(shù)據(jù)量巨大，如何有效組織、大量存儲、快速檢索、快速瀏覽、方便使用這些遙影像數(shù)據(jù)就成為一個迫切需要解決的問題。

隨著科學(xué)技術(shù)的發(fā)展進(jìn)步，日常生產(chǎn)生活越來越離不開信息技術(shù)。比如，出行時需要了解路線規(guī)劃、道路的流量等信息；農(nóng)業(yè)部門需要了解小麥的種植面積信息；環(huán)保部門需要了解某一地區(qū)污染情況信息等等。

遙感影像數(shù)據(jù)是一種具有超高容量、可靠性強(qiáng)、方便及時等特點的信息載體，由于遙感影像數(shù)據(jù)的這些特點，使其在交通管理、土地規(guī)劃、軍事、資源、環(huán)境和防災(zāi)等很多領(lǐng)域都起著不可替代的用途。利用衛(wèi)星平臺，人們可以迅速得到幾天前甚至幾小時前的拍攝的高分辨率的遙感影像，使獲取的信息更加及時準(zhǔn)確。

遙感影像的數(shù)據(jù)量非常大。每天都有通過不同途徑獲取的大量遙感影像，并且隨著分辨率的提高遙感影像的數(shù)據(jù)量也呈幾何級遞增，達(dá)到Terabyte（TB）量級甚至Petabyte（PB）量級，而且這個數(shù)字隨著時間的推移和衛(wèi)星技術(shù)、傳感器技術(shù)的發(fā)展還將持續(xù)快速增加下去。

高分辨率體現(xiàn)在：高空間分辨率、高時間分辨率、高頻譜分辨率和高輻射分辨率。高分系統(tǒng)是利用光學(xué)和微波成像等技術(shù)手段，從天基、近空間、空基等平臺對地球進(jìn)行觀測，獲取高分辨率數(shù)據(jù)的信息系統(tǒng)。高分系統(tǒng)對國家安全和經(jīng)濟(jì)與社會持續(xù)發(fā)展均具有重大意義，可以為維護(hù)國家權(quán)益、保障我國戰(zhàn)略性資源和環(huán)境安全提供對地觀測信息服務(wù)，是政治、軍事、外交、公共安全和農(nóng)業(yè)、災(zāi)害、資源、環(huán)境等重大問題的決策依據(jù)，具有十分明顯的軍民共用性。然而，從高分辨率對地觀測數(shù)據(jù)的推廣應(yīng)用情況來看，其軍用與民用需求往往各有側(cè)重，服務(wù)模式也不盡相同。因此，有必要在高分軍用系統(tǒng)和民用系統(tǒng)之間建立一個數(shù)據(jù)交換與服務(wù)系統(tǒng)，用來解決高分?jǐn)?shù)據(jù)軍民應(yīng)用的差異性問題，從而充分發(fā)揮高分?jǐn)?shù)據(jù)的政治、軍事和經(jīng)濟(jì)效益。

隨著海量遙感數(shù)據(jù)的廣泛應(yīng)用，傳統(tǒng)的數(shù)據(jù)庫技術(shù)和數(shù)據(jù)管理手段已經(jīng)不能滿足海遙感影像數(shù)據(jù)的性能要求。在進(jìn)行海量遙感影像數(shù)據(jù)應(yīng)用時，如果使用傳統(tǒng)的數(shù)據(jù)管理技術(shù)，必須考慮以下幾個方面：

1、影像數(shù)據(jù)容量過大，超過數(shù)據(jù)庫的處理極限；

2、遙感影像是一種自然結(jié)構(gòu)的數(shù)據(jù)文件，不適合用關(guān)系數(shù)據(jù)庫這種存儲非自然結(jié)

構(gòu)數(shù)據(jù)的方式來管理。

3、相對海量遙感影像而言網(wǎng)絡(luò)帶寬不足，影像顯示速度慢的令人難以忍受，存在I/O瓶頸；4、海量遙感影像數(shù)據(jù)的快速檢索技術(shù)；5、海量遙感影像的快速發(fā)布技術(shù)。

綜上所述，傳統(tǒng)的數(shù)據(jù)管理技術(shù)不能滿足海量遙感影像數(shù)據(jù)帶來的新需求。如何才能更好地存儲和管理海量遙感影像數(shù)據(jù)，實現(xiàn)對遙感數(shù)據(jù)的快速處理、快速檢索、快速顯示，從而在信息海洋中提取有價值的知識，進(jìn)一步提高信息的利用率，已經(jīng)成為目前需要解決的緊迫問題。而解決這些問題的方法就要歸結(jié)于海量遙感影像存儲管理組織結(jié)構(gòu)的研究。

三、云存儲技術(shù)

3.1 云存儲技術(shù)特點

云計算是一種以數(shù)據(jù)為中心的服務(wù)密集型計算，而云存儲是云計算的底層數(shù)據(jù)支持環(huán)境，為云計算提供高可用、高可靠、運營成本低的數(shù)據(jù)存儲服務(wù)。目前，云存儲服務(wù)分為個人級應(yīng)用和企業(yè)級應(yīng)用。企業(yè)級的云存儲服務(wù)主要用于空間租賃、遠(yuǎn)程數(shù)據(jù)容災(zāi)和視頻監(jiān)控存儲支持。云存儲服務(wù)沿用傳統(tǒng)的集群技術(shù)、網(wǎng)絡(luò)計算和分布式存儲技術(shù)，將網(wǎng)絡(luò)中大量低廉的計算設(shè)備進(jìn)行有機(jī)集成，避免了盲目擴(kuò)張濫建。

云存儲服務(wù)具有高可靠性、高通用性、高擴(kuò)展性及大容量存儲等特點，因此進(jìn)行云存儲服務(wù)系統(tǒng)的研究不僅緊跟技術(shù)發(fā)展的趨勢，而且具有較高的應(yīng)用價值。系統(tǒng)對存儲容量的需求也日益增加，系統(tǒng)的數(shù)據(jù)量動輒TB級甚至PB級。同時，存儲設(shè)備（磁盤陣列）容量的增長和存儲設(shè)備成本的降低也使海量存儲客觀上成為可能，但是保存的數(shù)據(jù)量大了以后，需要處理的數(shù)據(jù)量也增大了，系統(tǒng)對高性能事務(wù)處理的需求也不斷提高，此時傳統(tǒng)的存儲方式已經(jīng)成為訪問性能的“瓶頸”，對這些海量數(shù)據(jù)的存儲和高效訪問是一個迫切需要解決的問題。云存儲還具有如下的特點，超強(qiáng)的可擴(kuò)展性、不受具體地理位置所限、基于商業(yè)組件、按照使用收費（如每G收15美分）、可跨不同應(yīng)用等。

云存儲對使用者來講，不是指某一個具體的設(shè)備，而是指一個由許許多多個存儲設(shè)備和服務(wù)器所構(gòu)成的集合體。使用者使用云存儲，并不是使用某一個存儲設(shè)備，而是使用云存儲系統(tǒng)帶來的數(shù)據(jù)訪問服務(wù)。云存儲的核心是應(yīng)用軟件與存儲設(shè)備相結(jié)合，通過應(yīng)用軟件來實現(xiàn)存儲設(shè)備向存儲服務(wù)的轉(zhuǎn)變[1]。

3.2 云存儲和云計算的關(guān)系

云存儲是在云計算（cloud computing）概念上延伸和發(fā)展出來的一個新的概念，因此要了解云存儲首先要了解云計算。云計算是一種基于網(wǎng)絡(luò)的超級計算模式，在遠(yuǎn)程的數(shù)據(jù)中心里，成千上萬臺電腦和服務(wù)器連接成一片電腦云。因此，云計算甚至可以讓你體驗每秒萬億次的運算能力，擁有這么強(qiáng)大的計算能力可以模擬核爆炸、預(yù)測氣候變化和市場發(fā)展趨勢。用戶通過電腦、筆記本、手機(jī)等方式接入數(shù)據(jù)中心，按自己的需求進(jìn)行運算。隨著云計算概念的逐步深入，人們開始為海量信息尋找一個新的安身之處——云存儲[2]。

云存儲從出現(xiàn)就得到了廣泛的關(guān)注和支持。云存儲的概念與云計算類似，它是指通過集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能，將網(wǎng)絡(luò)中大量各種不同類型的存儲設(shè)備通過應(yīng)用軟件集合起來協(xié)同工作，共同對外提供數(shù)據(jù)存儲和業(yè)務(wù)訪問功能的一個系統(tǒng)[3]。

云存儲的興起使得整個IT界處于一個重大的變革期，從以設(shè)備應(yīng)用程序為中心轉(zhuǎn)向以信息為中心，而這一轉(zhuǎn)變還將引發(fā)一系列的變革，并影響到技術(shù)和業(yè)務(wù)模式兩個層面。云存儲的最大特點是海量、高性能、高訪問量以及低成本，而其帶來的最大變革是：提供商逐漸從銷售工具轉(zhuǎn)向根據(jù)工具的實際使用收費，也就是從賣產(chǎn)品轉(zhuǎn)向了賣服務(wù)。因此，可以說云存儲不是存儲而是服務(wù)。

云計算是分布式處理（D i s t r i b u t e d Computing）、并行處理（Parallel Computing）和網(wǎng)格計算（Grid Computing）的發(fā)展，是透過網(wǎng)絡(luò)將龐大的計算處理程序自動分拆成無數(shù)個較小的子程序，再交由多臺服務(wù)器所組成的龐大系統(tǒng)計算分析之后將處理結(jié)果回傳給用戶。云計算技術(shù)可以讓網(wǎng)絡(luò)服務(wù)提供者在極短時間，例如數(shù)秒之內(nèi)處理數(shù)以千萬計甚至億計的信息，達(dá)到和“超級計算機(jī)”同樣強(qiáng)大的網(wǎng)絡(luò)服務(wù)。云計算系統(tǒng)的建設(shè)目標(biāo)是將運行在PC上或單個服務(wù)器上的、獨立的、個人化的運算遷移到一個數(shù)量龐大服務(wù)器“云”中，由這個云系統(tǒng)來負(fù)責(zé)處理用戶的請求，并輸出結(jié)果，它是一個以數(shù)據(jù)運算和處理為核心的系統(tǒng)。

云存儲是在云計算概念上延伸和發(fā)展出來的一個新的概念。當(dāng)云計算系統(tǒng)運算和處理的核心是大量數(shù)據(jù)的存儲和管理時，云計算系統(tǒng)中就需要配置大量的存儲設(shè)備，那么云計算系統(tǒng)就轉(zhuǎn)變成為一個云存儲系統(tǒng)，所以云存儲是一個以數(shù)據(jù)存儲和管理為核心的云計算系統(tǒng)。

從架構(gòu)模型來看，云存儲系統(tǒng)比云計算系統(tǒng)多了一個存儲層，同時，在基礎(chǔ)管理也多了很多與數(shù)據(jù)管理和數(shù)據(jù)安全有關(guān)的功能。

3.3 云存儲的層次模型

與傳統(tǒng)的存儲設(shè)備相比，云存儲不僅僅是一個硬件，而是一個網(wǎng)絡(luò)設(shè)備、存儲設(shè)備、服務(wù)器、應(yīng)用軟件、公用訪問接口、接入網(wǎng)、和客戶端程序等多個部分組成的復(fù)雜系統(tǒng)。各部分以存儲設(shè)備為核心，通過應(yīng)用軟件來對外提供數(shù)據(jù)存儲和業(yè)務(wù)訪問服務(wù)。云存儲系統(tǒng)的結(jié)構(gòu)模型由4層組成。

a）存儲層

存儲層是云存儲最基礎(chǔ)的部分。存儲設(shè)備可以是光纖通道存儲設(shè)備，也可以是其他的存儲設(shè)備。云存儲中的存儲設(shè)備往往數(shù)量龐大且分布在不同地域，彼此之間通過廣域網(wǎng)、互聯(lián)網(wǎng)或者光纖通道網(wǎng)絡(luò)連接在一起。存儲設(shè)備之上是一個統(tǒng)一存儲設(shè)備管理系統(tǒng)，可以實現(xiàn)存儲設(shè)備的邏輯虛擬化管理、多鏈路冗余管理，以及硬件設(shè)備的狀態(tài)監(jiān)控和故障維護(hù)。

b）基礎(chǔ)管理層

基礎(chǔ)管理層是云存儲最核心的部分，也是云存儲中最難以實現(xiàn)的部分?；A(chǔ)管理層通過集群、分布式文件系統(tǒng)和網(wǎng)格計算等技術(shù)，實現(xiàn)云存儲中多個存儲設(shè)備之間的協(xié)同工作，使多個存儲設(shè)備可以對外提供同一種服務(wù)，并提供更大更強(qiáng)更好的數(shù)據(jù)訪問性能。CDN內(nèi)容分發(fā)系統(tǒng)、數(shù)據(jù)加密技術(shù)保證云存儲中的數(shù)據(jù)不會被未授權(quán)的用戶所訪問，同時，通過各種數(shù)據(jù)備份和容災(zāi)技術(shù)措施可以保證云存儲中的數(shù)據(jù)不會丟失，保證云存儲自身的安全和穩(wěn)定。

c）應(yīng)用接口層

應(yīng)用接口層是云存儲最靈活多變的部分。不同的云存儲運營單位可以根據(jù)實際業(yè)務(wù)類型，開發(fā)不同的應(yīng)用服務(wù)接口，提供不同的應(yīng)用服務(wù)。比如視頻監(jiān)控應(yīng)用平臺、網(wǎng)絡(luò)硬盤應(yīng)用平臺、遠(yuǎn)程數(shù)據(jù)備份應(yīng)用平臺等。

d）訪問層

基于的云存儲服務(wù)系統(tǒng)研究任何一個授權(quán)用戶都可以通過標(biāo)準(zhǔn)的公用應(yīng)用接口來登錄云存儲系統(tǒng)，享受云存儲服務(wù)。云存儲運營服務(wù)商不同，云存儲提供的訪問類型和訪問手段也不同。

四、數(shù)據(jù)存儲模型

4.1 總體框架結(jié)構(gòu)

結(jié)合海量數(shù)據(jù)異構(gòu)性、分布性、多樣性等特點，從系統(tǒng)實現(xiàn)角度考慮，本系統(tǒng)采用三層架構(gòu)設(shè)計使結(jié)構(gòu)更加清晰，并且易于擴(kuò)展，系統(tǒng)總體框架結(jié)構(gòu)如圖1所示。

顯示層：為用戶提供方便、易用和友好的界面，普通用戶可以通過頁面瀏覽和查詢海量數(shù)據(jù)，高級用戶也可以利用系統(tǒng)提供的公共API接口來擴(kuò)展系統(tǒng)的服務(wù)能力。

業(yè)務(wù)邏輯層：并行處理海量數(shù)據(jù)，并對整個系統(tǒng)進(jìn)行配置管理。

數(shù)據(jù)資源層：作為整個同的基礎(chǔ)，用于存儲和管理海量數(shù)據(jù)。

4.2 總體功能設(shè)計

從系統(tǒng)功能角度考慮，可以將整個分系統(tǒng)分為3層，如圖2所示。

第1層是數(shù)據(jù)訪問層：對于海量數(shù)據(jù)存儲，在存取數(shù)據(jù)時不會只局限對一種數(shù)據(jù)庫的操作，本層需要對各種數(shù)據(jù)庫提供的不同數(shù)據(jù)源進(jìn)行屏蔽，提供數(shù)據(jù)庫訪問服務(wù)，這樣系統(tǒng)才能夠適應(yīng)處理存儲海量數(shù)據(jù)的要求，具有較好的可擴(kuò)展性和完備性，方便管理和部署。

第2層是數(shù)據(jù)處理層：數(shù)據(jù)處理層作為整個系統(tǒng)的核心，同時也是本系統(tǒng)設(shè)計開發(fā)的重點內(nèi)容．它采用分布式數(shù)據(jù)庫技術(shù)、Linux集群技術(shù)等，提供了對海量數(shù)據(jù)的并行加載存儲等主要功能。該層通過對海量數(shù)據(jù)并行處理，把處理后的數(shù)據(jù)存儲到本系統(tǒng)的分布式數(shù)據(jù)庫中，同時還提供了保證系統(tǒng)能夠正常運行的管理支撐服務(wù)。

該層分為5個功能模塊：系統(tǒng)管理模塊、并行加載存儲模塊、并行查詢模塊、數(shù)據(jù)字典模塊、備份恢復(fù)模塊。

第3層是業(yè)務(wù)應(yīng)用層．分為基于用戶GUI界面和基于算法庫API。

1）基于用戶GUI界面：用戶可以通過簡單應(yīng)用的操作界面工具，進(jìn)行海量數(shù)據(jù)處理存儲．

2）基于算法庫API：對于高級用戶可以編寫應(yīng)用系統(tǒng)，調(diào)用算法庫中的API來擴(kuò)展本系統(tǒng)，實現(xiàn)所需的應(yīng)用功能。

4.3 硬件設(shè)備設(shè)計

系統(tǒng)硬件設(shè)備及網(wǎng)絡(luò)設(shè)計如圖3所示。

從圖3中可以看出，硬件和網(wǎng)絡(luò)設(shè)備由多個數(shù)據(jù)庫服務(wù)器、應(yīng)用服務(wù)器組成，這些數(shù)據(jù)庫服務(wù)器可以在同一地域，也可分布在不同地域．隨著數(shù)據(jù)量的增大和應(yīng)用需求的復(fù)雜變化，平臺可以很容易的擴(kuò)展，而這些變動對用戶來說都是透明的，并且現(xiàn)有的關(guān)系型數(shù)據(jù)庫系統(tǒng)也可以整合到該平臺中，通過去異構(gòu)化處理共同為用戶提供存儲服務(wù)，從而為用戶透明地提供存儲和管理海量數(shù)據(jù)的功能．該平臺可以安全、穩(wěn)定、不間斷的為政府、企業(yè)、個人等用戶提供海量數(shù)據(jù)存儲服務(wù)，使海量數(shù)據(jù)能夠得到妥善的存儲管理，更大地發(fā)揮其研究利用價值。

五、結(jié)束語

根據(jù)遙感影像的特點，每天都有通過不同途徑獲取的大量遙感影像，并且隨著影像分辨率的提高，遙感影像應(yīng)用的范圍逐漸擴(kuò)大，產(chǎn)生的遙感影像數(shù)據(jù)量也呈幾何級遞增，而且這個數(shù)字隨著時間的推移和衛(wèi)星技術(shù)、傳感器技術(shù)的不斷發(fā)展還將持續(xù)快速增加下去。如何去存儲、組織、管理和發(fā)布這些海量的遙感影像數(shù)據(jù)，使遙感影像數(shù)據(jù)能夠更好地為實際應(yīng)用服務(wù)，成為一個熱點問題。采用基于云存儲的存儲模型可以很好地對海量數(shù)據(jù)進(jìn)行管理，同時通過對系統(tǒng)功能的分層設(shè)計實現(xiàn)了對應(yīng)用系統(tǒng)的數(shù)據(jù)服務(wù)。