遙感數(shù)據(jù)資源管理研究

摘 ?要： 遙感數(shù)據(jù)管理是對(duì)來自各類衛(wèi)星傳感器大批量數(shù)據(jù)高效接收、存檔、監(jiān)控等，通過多種遙感資源的整合，實(shí)現(xiàn)多種傳感器數(shù)據(jù)采集和數(shù)據(jù)歸檔存儲(chǔ)管理功能，提供多種查詢方式，支持?jǐn)?shù)據(jù)的可視化展示，支持?jǐn)?shù)據(jù)記錄編輯和數(shù)據(jù)統(tǒng)計(jì)等功能，并能提供多種數(shù)據(jù)打包下載功能和定期推送功能?？擅嫦蛘畠?nèi)部用戶，各行業(yè)用戶、社會(huì)公眾用戶提供數(shù)據(jù)分發(fā)服務(wù)。通過整合數(shù)據(jù)資源，實(shí)現(xiàn)資源的交換和共享，實(shí)現(xiàn)遙感數(shù)據(jù)通用數(shù)據(jù)處理功能、門戶網(wǎng)站和應(yīng)用示范建設(shè)，實(shí)現(xiàn)政府相關(guān)部門的互聯(lián)互通，為各類用戶提供服務(wù)。

關(guān)鍵詞： 衛(wèi)星遙感; 虛擬;云存儲(chǔ);信息數(shù)據(jù)

中圖分類號(hào)： TN927+.23 ? ?文獻(xiàn)標(biāo)識(shí)碼： A ? ?DOI：10.3969/j.issn.1003-6970.2019.05.037

本文著錄格式：于海濱. 遙感數(shù)據(jù)資源管理研究[J]. 軟件，2019，40（5）：190192

【Abstract】： Remote sensing data management is to realize functions of multi-sensor data acquisition and data archiving， storage and management， provide various query modes， and support visualization display of data， data record editing and data statistics， and provide a variety of data packaging and downloading functions and regular push functions based on efficient reception， archiving and monitoring of large quantities of data from various satellite sensors and integration of various remote sensing resources， which can provide data distribution services for users of government， all walks of life and the public. By integrating data resources， it can realize exchange and sharing of resources， general data processing function of remote sensing data， construction of portal website and application demonstration， and interconnection of related government departments， and provide services for all kinds of users.

【Key words】： Satellite remote sensing; Virtual; Cloud storage; Information data

0 ?引言

遙感數(shù)據(jù)集具有典型的大數(shù)據(jù)特征，即數(shù)據(jù)體量大，數(shù)據(jù)多樣性且變化快等特征。同時(shí)，根據(jù)本平臺(tái)的需求，系統(tǒng)中也存在大量用于地圖服務(wù)和展示的瓦片小文件數(shù)據(jù)。要滿足遙感大數(shù)據(jù)和海量瓦片數(shù)據(jù)存儲(chǔ)的需求，傳統(tǒng)的存儲(chǔ)系統(tǒng)和存儲(chǔ)方式已經(jīng)不能滿足要求，需要采用遙感數(shù)據(jù)資源庫(kù)管理系統(tǒng)進(jìn)行統(tǒng)一管理。

1 ?遙感數(shù)據(jù)資源庫(kù)管理系統(tǒng)整體架構(gòu)

遙感數(shù)據(jù)資源庫(kù)管理系統(tǒng)基于現(xiàn)有硬件實(shí)施，采用分布式存儲(chǔ)架構(gòu)，支持4至500臺(tái)的服務(wù)器存儲(chǔ)集群;提供統(tǒng)一的用戶訪問接口，支持標(biāo)準(zhǔn)的POSIX接口標(biāo)準(zhǔn)。該系統(tǒng)避免了SAN、NAS等傳統(tǒng)共享存儲(chǔ)的信息孤島現(xiàn)象所導(dǎo)致的利用率低下、硬件兼容性差、管理使用復(fù)雜、難擴(kuò)展等缺點(diǎn)[1]。其架構(gòu)圖見圖1。

存儲(chǔ)資源層主要是實(shí)現(xiàn)存儲(chǔ)設(shè)備、網(wǎng)絡(luò)等基礎(chǔ)資源管理，以及對(duì)硬件設(shè)備進(jìn)行狀態(tài)監(jiān)控和監(jiān)測(cè)[2]。云存儲(chǔ)系統(tǒng)層通過分布式云存儲(chǔ)系統(tǒng)實(shí)現(xiàn)多個(gè)存儲(chǔ)設(shè)備間的工作協(xié)同，多個(gè)存儲(chǔ)設(shè)備可以統(tǒng)一對(duì)外提供同一服務(wù)，增強(qiáng)數(shù)據(jù)訪問性能，保證系統(tǒng)的安全和穩(wěn)定。云存儲(chǔ)系統(tǒng)層提供標(biāo)準(zhǔn)的公用接口，以便開發(fā)人員進(jìn)行二次開發(fā)。為提高安全性，針對(duì)不同的用戶提供了不同的用戶角色，并為用戶提供了注冊(cè)、登陸、以及登陸后用戶的安全認(rèn)證，只有通過了安全認(rèn)證，才能訪問系統(tǒng)，保障了對(duì)系統(tǒng)的安全訪問。采用了類似linux系統(tǒng)的權(quán)限管理機(jī)制，不同的用戶角色分屬于不同的權(quán)限組，每一個(gè)權(quán)限組具有讀、寫、執(zhí)行的權(quán)限位。對(duì)于屬于某個(gè)權(quán)限組的用戶，只有擁有讀、寫或執(zhí)行的權(quán)限才能訪問，存儲(chǔ)以及執(zhí)行文件內(nèi)容。進(jìn)一步保證了系統(tǒng)的安全性和可控性[3-5]。

訪問層主要是提供給客戶端訪問，用戶也可以使用公用接口進(jìn)行開發(fā)以訪問分布式存儲(chǔ)系統(tǒng)。針對(duì)本平臺(tái)，主要是提供數(shù)據(jù)接收系統(tǒng)的寫入分布式存儲(chǔ)和數(shù)據(jù)分發(fā)系統(tǒng)讀取分布式存儲(chǔ)以及對(duì)整個(gè)“實(shí)時(shí)雞西”的門戶系統(tǒng)進(jìn)行數(shù)據(jù)存儲(chǔ)支撐。

系統(tǒng)可通過提供對(duì)文件進(jìn)行分塊存儲(chǔ)，并發(fā)對(duì)文件進(jìn)行讀寫，從而提供高I/O帶寬;能在不同存儲(chǔ)節(jié)點(diǎn)上保存3份以上文件分塊副本，無單節(jié)點(diǎn)故障;元數(shù)據(jù)服務(wù)器具備冗余災(zāi)備，當(dāng)主元數(shù)據(jù)服務(wù)器發(fā)生異常時(shí)，可由備元數(shù)據(jù)服務(wù)器接管，當(dāng)主/備元數(shù)據(jù)服務(wù)器均發(fā)生故障時(shí)，可從日志服務(wù)器恢復(fù)數(shù)據(jù);可在不斷電條件下，動(dòng)態(tài)添加新節(jié)點(diǎn)進(jìn)行空間擴(kuò)容，支持PB級(jí)文件存儲(chǔ);在部分?jǐn)?shù)據(jù)節(jié)點(diǎn)宕機(jī)的情形下，可從剩余節(jié)點(diǎn)中自動(dòng)恢復(fù)副本數(shù)量，副本數(shù)量恢復(fù)后，支持節(jié)點(diǎn)的再宕機(jī)，依次類推，提供容錯(cuò)的可持續(xù)性。

該分布式云存儲(chǔ)系統(tǒng)，在千兆網(wǎng)絡(luò)環(huán)境下，兩個(gè)存儲(chǔ)節(jié)點(diǎn)以上，可使系統(tǒng)的IOPS達(dá)到16300，客戶機(jī)讀取速度可達(dá)60M/S[6]。

2 ?遙感數(shù)據(jù)資源庫(kù)管理系統(tǒng)功能

2.1 ?滿足企業(yè)數(shù)據(jù)存儲(chǔ)要求

系統(tǒng)同時(shí)保障海量遙感大數(shù)據(jù)以及海量小瓦片數(shù)據(jù)的高效存儲(chǔ)。

2.2 ?提供豐富的訪問接口

作為底層支撐系統(tǒng)，具有豐富的訪問接口，能方便平臺(tái)其他系統(tǒng)訪問、存儲(chǔ)、使用系統(tǒng)中的數(shù)據(jù)。具有文件的讀、寫、刪除、創(chuàng)建等操作接口。接口滿足posix規(guī)范，提供客戶端，模擬本地硬盤讀寫模式，像使用本地硬盤一樣使用分布式云存儲(chǔ)空間。

2.3 ?提供api編程接口，方便進(jìn)行二次開發(fā)。

提供restful編程接口，開發(fā)人員可以直接使用，從而達(dá)到訪問分布式云存儲(chǔ)系統(tǒng)的所有功能

2.4 ?強(qiáng)健的安全認(rèn)證體系

為保證對(duì)系統(tǒng)的安全訪問，只有注冊(cè)的合法用戶才能訪問。用戶需要使用用戶名、密碼登陸獲取簽名。每次訪問均需對(duì)簽名進(jìn)行安全認(rèn)證，只有安全認(rèn)證通過了，才能訪問系統(tǒng)。安全認(rèn)證系統(tǒng)需要具有嚴(yán)格的防盜鏈功能[7]。

2.5 ?嚴(yán)格的權(quán)限控制

采用了類似linux系統(tǒng)的權(quán)限管理機(jī)制，不同的用戶角色分屬于不同的權(quán)限組，每一個(gè)權(quán)限組具有讀、寫、執(zhí)行的權(quán)限位。對(duì)于屬于某個(gè)權(quán)限組的用戶，只有擁有讀、寫或執(zhí)行的權(quán)限才能訪問，存儲(chǔ)以及執(zhí)行文件內(nèi)容。

3 ?遙感數(shù)據(jù)快速處理

為了快速處理海量衛(wèi)星遙感數(shù)據(jù)，解放人工生產(chǎn)、降低數(shù)據(jù)處理成本、提高數(shù)據(jù)處理效率為目標(biāo)，主要是圍繞對(duì)高分系列、資源系列等衛(wèi)星遙感數(shù)據(jù)產(chǎn)品生產(chǎn)加工所提出的高精度、全自動(dòng)化、快速化、規(guī)?；枨?，整合遙感空間信息技術(shù)成果，突破數(shù)據(jù)無人工參與的快速處理、高精度空間定位、生產(chǎn)并行化流水化管理等核心技術(shù)問題，建設(shè)一整套面向遙感空間產(chǎn)品生產(chǎn)加工系統(tǒng)，建立多級(jí)多類的遙感數(shù)據(jù)產(chǎn)品庫(kù)，實(shí)現(xiàn)衛(wèi)星遙感數(shù)據(jù)的標(biāo)準(zhǔn)產(chǎn)品生產(chǎn)和在線可視化產(chǎn)品生產(chǎn)。

在應(yīng)用方面，基于海量衛(wèi)星遙感數(shù)據(jù)，通過對(duì)數(shù)據(jù)進(jìn)行自動(dòng)化處理，構(gòu)建基于時(shí)空網(wǎng)格的分幅遙感影像數(shù)據(jù)庫(kù)，并切片發(fā)布，為公眾提供最新和可追溯的影像地圖服務(wù);同時(shí)，通過監(jiān)控城市的分幅影像覆蓋情況，定期生產(chǎn)城市鑲嵌影像和專題信息數(shù)據(jù)，供專業(yè)用戶使用[8]。

在類型方面，數(shù)據(jù)生產(chǎn)線根據(jù)不同衛(wèi)星遙感數(shù)據(jù)源和不同類型產(chǎn)品進(jìn)行劃分實(shí)時(shí)更新生產(chǎn)線、一張圖生產(chǎn)線。

在技術(shù)方面，引進(jìn)基于MapReduce環(huán)境的多任務(wù)并行遙感處理技術(shù)，形成即時(shí)處理、即時(shí)發(fā)布的遙感服務(wù)新模式;結(jié)合優(yōu)秀的自主研發(fā)的影像融合、幾何校正、去霧、色彩增強(qiáng)、鑲嵌勻色等算法，較于同類型技術(shù)，能夠更快更好地生產(chǎn)優(yōu)質(zhì)的影像產(chǎn)品。

自動(dòng)化生產(chǎn)線圖見圖2。

對(duì)數(shù)據(jù)中心中已獲取的數(shù)據(jù)，經(jīng)過云量等方式過濾數(shù)據(jù)推送至分布式云存儲(chǔ)中;創(chuàng)建任務(wù)分發(fā)系統(tǒng)和MapReduce多任務(wù)并行處理環(huán)境，執(zhí)行數(shù)據(jù)處理系統(tǒng)各項(xiàng)處理功能;在數(shù)據(jù)處理系統(tǒng)中，三點(diǎn)特性：全自動(dòng)化、高效率、高精度;在地圖切片系統(tǒng)中，切片水印功能提供在線瀏覽的數(shù)據(jù)基礎(chǔ)，在并行框架的支撐下，能夠更快速的對(duì)瓦片進(jìn)行并行切割、更新、水印等處理，自動(dòng)檢測(cè)該區(qū)域影像分辨率并自動(dòng)設(shè)定影像切片層級(jí)，最后完成自動(dòng)發(fā)布，數(shù)據(jù)保存至瓦片緩存庫(kù)中;在系統(tǒng)數(shù)據(jù)庫(kù)中，瓦片緩存庫(kù)存儲(chǔ)多時(shí)相多分辨率多數(shù)據(jù)源的瓦片數(shù)據(jù)，時(shí)空信息庫(kù)中存儲(chǔ)數(shù)據(jù)的時(shí)間信息空間信息和必要的矢量屬性，用戶信息庫(kù)和其他數(shù)據(jù)庫(kù)用來進(jìn)行存儲(chǔ)在線系統(tǒng)的用戶及數(shù)據(jù)交換信息，保證整個(gè)系統(tǒng)的常態(tài)化[9]。

4 ?遙感數(shù)據(jù)資源庫(kù)管理系統(tǒng)特征

4.1 ?高可靠

系統(tǒng)采用大容量存儲(chǔ)服務(wù)節(jié)點(diǎn)，通過管理平臺(tái)實(shí)現(xiàn)統(tǒng)一管理和容錯(cuò)，系統(tǒng)高效高、服務(wù)穩(wěn)定。系統(tǒng)中的數(shù)據(jù)具有多個(gè)副本，數(shù)據(jù)不會(huì)丟失。任何節(jié)點(diǎn)發(fā)生故障后，系統(tǒng)會(huì)自動(dòng)將數(shù)據(jù)復(fù)制到新的節(jié)點(diǎn)上，從而實(shí)現(xiàn)無間斷數(shù)據(jù)服務(wù)。

4.2 ?高性能

系統(tǒng)將數(shù)據(jù)流和控制流有效分離。數(shù)據(jù)通過并行讀寫，實(shí)現(xiàn)各個(gè)存儲(chǔ)節(jié)點(diǎn)存儲(chǔ)或讀取。系統(tǒng)的吞吐量和IO性能隨存儲(chǔ)節(jié)點(diǎn)數(shù)目增加呈線性增長(zhǎng)。同時(shí)通過負(fù)載均衡，自動(dòng)調(diào)節(jié)均衡各服務(wù)器負(fù)載，讓各個(gè)存儲(chǔ)節(jié)點(diǎn)的性能達(dá)到最高[10]。

4.3 ?高效存儲(chǔ)

一般存儲(chǔ)系統(tǒng)都可以很好支持大文件存儲(chǔ)，但對(duì)于小文件存儲(chǔ)效率比較低，因?yàn)槲募到y(tǒng)規(guī)定一個(gè)文件最小占用磁盤空間，這樣存儲(chǔ)許多瓦片數(shù)據(jù)（小于該最小占用空間的文件）就會(huì)造成大量存儲(chǔ)空間的浪費(fèi)。為了解決這個(gè)問題，系統(tǒng)將小文件合并成大文件，并為其建立高效的索引機(jī)制，即避免了存儲(chǔ)空間的浪費(fèi)，又提高并發(fā)的訪問效率。

4.4 ?高可擴(kuò)展性

系統(tǒng)可以在不停服務(wù)情況下，動(dòng)態(tài)增加存儲(chǔ)節(jié)點(diǎn)，系統(tǒng)擴(kuò)容非常方便快捷;同理，系統(tǒng)可以在不停服務(wù)情況下，也可以減少存儲(chǔ)節(jié)點(diǎn)，自動(dòng)縮減系統(tǒng)規(guī)模。被減少節(jié)點(diǎn)上的數(shù)據(jù)將會(huì)備份到其他節(jié)點(diǎn)上。

5 ?結(jié)論

總的來說，遙感數(shù)據(jù)管理是為用戶提供數(shù)據(jù)、提供服務(wù)的基礎(chǔ)。遙感數(shù)據(jù)資源庫(kù)管理系統(tǒng)擁有高可靠、高性能、高效存儲(chǔ)以及高可擴(kuò)展性等特點(diǎn)，同時(shí)要實(shí)現(xiàn)滿足企業(yè)數(shù)據(jù)存儲(chǔ)要求、提供豐富的訪問接口、強(qiáng)健的安全認(rèn)證體系以及嚴(yán)格的權(quán)限控制等使用需求，以便遙感數(shù)據(jù)資源庫(kù)管理系統(tǒng)可以對(duì)數(shù)據(jù)進(jìn)行快速處理。

參考文獻(xiàn)

[1] 談佩文. 云存儲(chǔ)技術(shù)在食品安全視頻監(jiān)控領(lǐng)域的應(yīng)用[D]. 南京. 南京郵電大學(xué)， 2017.

[2] 祝建武. 云存儲(chǔ)在企業(yè)容災(zāi)備份中全新模式探析[J]. 現(xiàn)代商貿(mào)工業(yè)， 2011， 23（03）： 268-269.

[3] 羅菲. 大數(shù)據(jù)場(chǎng)景下的云存儲(chǔ)技術(shù)與應(yīng)用[J]. 信息與電腦（理論版）， 2018（23）： 138-139+142.

[4] 沈文文. 視頻存儲(chǔ)風(fēng)起“云”涌[J]. 中國(guó)公共安全， 2013（20）： 172-176.

[5] 汪玉學(xué). 云存儲(chǔ)技術(shù)在安防領(lǐng)域的應(yīng)用[J]. 中國(guó)安防， 2011（07）： 41-43.

[6] 李琳. 基于云存儲(chǔ)的教學(xué)資源整合研究與實(shí)現(xiàn)[J]. 計(jì)算機(jī)光盤軟件與應(yīng)用， 2014， 17（18）： 260-261. .

[7] 唐華東. 廣電監(jiān)測(cè)監(jiān)管中運(yùn)用云技術(shù)的具體技術(shù)方案分析[J]. 電視指南， 2018（02）： 239.

[8] 袁高峰， 吳亞洲. 超低功耗云存儲(chǔ)系統(tǒng)——cStor[J]. 電子世界， 2016（09）： 120.

[9] 戚建國(guó)， 丁金扣， 張華. 一種基于云存儲(chǔ)環(huán)境下的數(shù)據(jù)處理機(jī)制[J]. 軟件， 2015， 36（01）： 141-144.

[10] 焦利， 孫松周， 劉天須， 等. 元數(shù)據(jù)驅(qū)動(dòng)的分布式數(shù)據(jù)資源管理技術(shù)[J]. 計(jì)算機(jī)與現(xiàn)代化， 2019（03）： 78-84.