大數(shù)據(jù)時代遙感數(shù)據(jù)管理與服務(wù)模式探索

程滔

(國家基礎(chǔ)地理信息中心，北京 100830)

?

大數(shù)據(jù)時代遙感數(shù)據(jù)管理與服務(wù)模式探索

程滔

(國家基礎(chǔ)地理信息中心，北京 100830)

通過分析現(xiàn)有海量遙感數(shù)據(jù)管理與服務(wù)模式的特點與局限性，探索并提出了面向大數(shù)據(jù)時代的新服務(wù)模式。以截至2011年底我國國家基礎(chǔ)航空攝影項目獲取的全國衛(wèi)星遙感數(shù)據(jù)為研究實例，基于空間疊置分析和統(tǒng)計計算，衍生出一種新的服務(wù)產(chǎn)品，用來表達各區(qū)域遙感數(shù)據(jù)覆蓋頻次與分布狀態(tài)，為用戶提供更深層次的服務(wù)。研究表明，該模式有利于研究人員在大數(shù)據(jù)時代下，掌握遙感數(shù)據(jù)覆蓋的綜合情況，根據(jù)實際需求快速獲取遙感數(shù)據(jù)，提高遙感數(shù)據(jù)檢索和獲取效率，提升海量遙感數(shù)據(jù)管理與服務(wù)水平。

大數(shù)據(jù)； 遙感數(shù)據(jù)； 管理與服務(wù)； 空間分析； 地理國情監(jiān)測

基金項目： 地理國情監(jiān)測專項“遙感影像解譯樣本數(shù)據(jù)建庫與應(yīng)用展示”(編號： 12-ZX-Z02-46)和地理國情監(jiān)測國家測繪地理信息局重點實驗室開放基金項目“地理國情監(jiān)測中基于InSAR的地表形變監(jiān)測”(編號： 2014NGCM08)共同資助。

0 引言

現(xiàn)有遙感數(shù)據(jù)管理與服務(wù)模式大多是基于B/S或C/S架構(gòu)，由專門的機構(gòu)利用數(shù)據(jù)庫對一種或幾種特定傳感器遙感數(shù)據(jù)及其元數(shù)據(jù)進行管理和服務(wù)。隨著我國地理國情監(jiān)測事業(yè)的開展，高空間分辨率遙感數(shù)據(jù)已在全國范圍工程化應(yīng)用，遙感數(shù)據(jù)規(guī)模也進入大數(shù)據(jù)時代。

大數(shù)據(jù)管理與服務(wù)技術(shù)研究及其應(yīng)用是近幾年的研究熱點[1-4]。鄭磊等[5]探討了以ArcEngine與ArcGIS Server為基礎(chǔ)的遙感數(shù)據(jù)管理，通過建立具有地理信息的數(shù)據(jù)索引，研究了海量影像數(shù)據(jù)相關(guān)信息檔案的存儲方式。劉露[6]對全球海量遙感影像數(shù)據(jù)的分布式管理技術(shù)進行了研究，分析了全球多維海量遙感影像數(shù)據(jù)分布式管理中的關(guān)鍵技術(shù)難題，并探究了解決方案。在應(yīng)用方面，中國科學(xué)院遙感與數(shù)字地球研究所和中國資源衛(wèi)星應(yīng)用中心等機構(gòu)，向全國廣大用戶提供了豐富的對地觀測衛(wèi)星數(shù)據(jù)產(chǎn)品和服務(wù)。國家基礎(chǔ)地理信息中心也對多年來國家基礎(chǔ)航空攝影項目獲取、積累的遙感數(shù)據(jù)進行了管理和服務(wù)，但該服務(wù)僅面向全國測繪系統(tǒng)內(nèi)部以及應(yīng)急救災(zāi)事件等的需要。

隨著遙感應(yīng)用技術(shù)的發(fā)展和不斷成熟，以及應(yīng)用領(lǐng)域的不斷擴大，多源多時相遙感數(shù)據(jù)需求變得更加迫切和普遍[7]。針對這一需求，本文以截至2011年底我國國家基礎(chǔ)航空攝影項目獲取的全國衛(wèi)星遙感數(shù)據(jù)為研究實例，探索大數(shù)據(jù)時代的遙感數(shù)據(jù)管理與服務(wù)模式，解決現(xiàn)有服務(wù)模式的局限性問題。首先分析現(xiàn)有遙感影像數(shù)據(jù)管理方式與特點，以及遙感影像元數(shù)據(jù)庫的構(gòu)建方法、數(shù)據(jù)內(nèi)容和數(shù)據(jù)結(jié)構(gòu)，然后在現(xiàn)有數(shù)據(jù)庫基礎(chǔ)上，利用空間疊置分析和統(tǒng)計計算，進行深層次的數(shù)據(jù)挖掘，衍生出一種新的數(shù)據(jù)分析成果，為用戶提供更加精細(xì)的、面向新需求的服務(wù)。

1 現(xiàn)有管理方式與服務(wù)特點

目前，對海量遙感數(shù)據(jù)的管理，一般采用統(tǒng)一的元數(shù)據(jù)庫，通過元數(shù)據(jù)庫管理系統(tǒng)進行實時維護和更新。

1.1 數(shù)據(jù)分析

自國家基礎(chǔ)航空攝影項目開展以來，已經(jīng)積累了覆蓋全國不同空間分辨率的遙感數(shù)據(jù)，包括模擬航片、數(shù)字航片、光學(xué)衛(wèi)星遙感數(shù)據(jù)和雷達衛(wèi)星遙感數(shù)據(jù)等。其中，衛(wèi)星遙感數(shù)據(jù)種類已經(jīng)達到20余種，包括ALOS，ASTER，ETM，F(xiàn)W2，IKONOS，P5，P6，Pléiades，QuickBird，RADARSAT，RapidEye，SPOT，TM，WorldView和天繪等[8]。這些遙感數(shù)據(jù)具有組織單元各異(如按標(biāo)準(zhǔn)/非標(biāo)準(zhǔn)景、標(biāo)準(zhǔn)/非標(biāo)準(zhǔn)條帶等)、數(shù)據(jù)格式各異(如GeoTIFF，TIF，DAT和JPG等)、波段組合各異(如單波段、合成波段等)、元數(shù)據(jù)格式各異(如TXT，IMD和XML等)和元數(shù)據(jù)編碼方式各異(如ANSI和Unicode等)等特點。

1.2 元數(shù)據(jù)庫構(gòu)建

衛(wèi)星遙感數(shù)據(jù)元數(shù)據(jù)是描述數(shù)據(jù)集的空間位置、獲取時間、空間分辨率、空間參考和質(zhì)量等特征的屬性數(shù)據(jù)[9-10]。由于衛(wèi)星遙感數(shù)據(jù)種類較多，各衛(wèi)星遙感數(shù)據(jù)元數(shù)據(jù)的結(jié)構(gòu)和格式各不相同，國家基礎(chǔ)地理信息中心依托國家基礎(chǔ)航空攝影項目設(shè)計了統(tǒng)一的元數(shù)據(jù)結(jié)構(gòu)，開發(fā)了元數(shù)據(jù)庫以及相應(yīng)的管理系統(tǒng)。

該系統(tǒng)是在Microsoft Visual C++ 6.0集成開發(fā)環(huán)境中[11]，以Microsoft SQL Server數(shù)據(jù)庫作為存儲和管理庫體，以ADO 作為訪問服務(wù)器端數(shù)據(jù)庫的編程接口[12-13]，綜合應(yīng)用開源柵格空間數(shù)據(jù)轉(zhuǎn)換庫(geospatial data abstraction library，GDAL)、矢量空間數(shù)據(jù)轉(zhuǎn)換庫(OGR)以及地理信息系統(tǒng)技術(shù)實現(xiàn)的。元數(shù)據(jù)庫的構(gòu)建，形成了各衛(wèi)星遙感數(shù)據(jù)元數(shù)據(jù)統(tǒng)一入庫、更新、檢索和服務(wù)體系，并實現(xiàn)了屬性數(shù)據(jù)、圖形數(shù)據(jù)的一體化存儲，為衛(wèi)星遙感數(shù)據(jù)元數(shù)據(jù)規(guī)范化管理、快速檢索、統(tǒng)計分析和數(shù)據(jù)服務(wù)奠定了數(shù)據(jù)基礎(chǔ)。

元數(shù)據(jù)內(nèi)容主要包括遙感數(shù)據(jù)的基本信息、空間位置信息、姿態(tài)信息、數(shù)學(xué)基礎(chǔ)、質(zhì)量信息和管理信息等，數(shù)據(jù)結(jié)構(gòu)如表1所示。

表1 元數(shù)據(jù)內(nèi)容與結(jié)構(gòu)

從表1可以看出，元數(shù)據(jù)包含了遙感數(shù)據(jù)常用的屬性信息，為數(shù)據(jù)檢索和服務(wù)提供了較多的檢索條件。截至2011年底，利用元數(shù)據(jù)庫管理系統(tǒng)，已完成24 000余條全國衛(wèi)星遙感數(shù)據(jù)元數(shù)據(jù)信息的錄入建庫與管理，生成的圖形數(shù)據(jù)可反映遙感數(shù)據(jù)的空間分布狀態(tài)。按照空間分辨率的不同，30 m空間分辨率、8～20 m空間分辨率、0.5～5 m空間分辨率的遙感數(shù)據(jù)在全國范圍覆蓋情況如圖1所示。

(a) 30 m空間分辨率 (b) 8～20 m空間分辨率 (c) 0.5～5m空間分辨率

圖1 在全國范圍內(nèi)遙感數(shù)據(jù)覆蓋情況

Fig.1 Coverage of remote sensing data in China

(審圖號： GS (2016)1號，行政區(qū)劃資料截止到2001年。圖3同。)

從圖1可以看出，單一高空間分辨率傳感器數(shù)據(jù)，覆蓋全國范圍的難度較大，這與全國范圍較廣以及部分地區(qū)的氣候條件有較大關(guān)系。

1.3 數(shù)據(jù)服務(wù)特點

國家基礎(chǔ)航空攝影項目積累的遙感數(shù)據(jù)服務(wù)模式具有以下主要特點：

1)元數(shù)據(jù)庫管理系統(tǒng)為數(shù)據(jù)用戶提供了開放式的檢索方式，用戶確定了研究區(qū)域后，通過管理系統(tǒng)即可自主檢索是否存在需要的數(shù)據(jù)。

2)數(shù)據(jù)獲取一般是根據(jù)特定項目需求計劃確定的，獲取的數(shù)據(jù)必定是用戶需要的，數(shù)據(jù)訂單完成后，只需傳送給用戶即可。

3)獲取的遙感數(shù)據(jù)類型豐富，充分滿足了用戶需求。

2 新服務(wù)模式探索

目前，遙感應(yīng)用技術(shù)的發(fā)展和推廣已經(jīng)達到一個新的高度和廣度，涉及的行業(yè)和領(lǐng)域也進一步擴大，遙感數(shù)據(jù)也面臨著新的用戶需求和服務(wù)內(nèi)容，迫切需要根據(jù)實際情況，改進和完善現(xiàn)有服務(wù)模式，以更好地為用戶服務(wù)。

2.1 需求方式變化

隨著遙感數(shù)據(jù)的不斷豐富，利用遙感技術(shù)研究土地覆蓋變化、生態(tài)環(huán)境變化乃至全球變化，在國際上一直是研究前沿和熱點[14]。隨著我國地理國情監(jiān)測事業(yè)的開展，利用多源多時相遙感影像數(shù)據(jù)開展變化監(jiān)測，已經(jīng)成為測繪行業(yè)主要的應(yīng)用需求。

在這種形勢下，對遙感數(shù)據(jù)的需求也發(fā)生了變化，主要表現(xiàn)為：

1)研究人員側(cè)重于研究區(qū)歷史和現(xiàn)在的對比分析，甚至開展對將來發(fā)展趨勢的預(yù)測。單時相遙感數(shù)據(jù)已無法滿足監(jiān)測的需求，更加需要研究區(qū)長期積累的多時相遙感數(shù)據(jù)。

2)由于全國地域面積廣闊，一種或幾種特定傳感器遙感數(shù)據(jù)無法完全滿足應(yīng)用需求，需要整合并充分利用多源遙感數(shù)據(jù)(光學(xué)遙感數(shù)據(jù)、雷達遙感數(shù)據(jù)和高空間分辨率遙感數(shù)據(jù)等)開展工作。

3)傳統(tǒng)先確定研究區(qū)，再檢索元數(shù)據(jù)庫管理系統(tǒng)的模式，往往會出現(xiàn)因為遙感數(shù)據(jù)覆蓋情況不滿足實際需求，而增加用戶與管理機構(gòu)的工作量，也延長了數(shù)據(jù)獲取周期。急需推廣先掌握遙感數(shù)據(jù)覆蓋情況，再合理選擇和確定研究區(qū)的模式。

2.2 基于空間分析與統(tǒng)計的服務(wù)

面向遙感數(shù)據(jù)的新需求方式和內(nèi)容，管理機構(gòu)基于現(xiàn)有數(shù)據(jù)庫，開展了進一步的數(shù)據(jù)挖掘，提供了新的數(shù)據(jù)服務(wù)，實現(xiàn)了對現(xiàn)有服務(wù)的補充和完善。由于元數(shù)據(jù)庫不僅包含影像的屬性信息，同時還具有空間幾何信息，可基于空間疊置分析模型和統(tǒng)計計算，衍生一種新的數(shù)據(jù)分析成果，表征各區(qū)域遙感數(shù)據(jù)覆蓋的綜合情況，從而構(gòu)建一種新的服務(wù)產(chǎn)品，為用戶提供更深層次的服務(wù)。

現(xiàn)有遙感數(shù)據(jù)元數(shù)據(jù)庫是根據(jù)影像類別分別構(gòu)建元數(shù)據(jù)層，為了獲取遙感數(shù)據(jù)覆蓋頻次專題圖，需要先將各層的元數(shù)據(jù)進行融合； 再對元數(shù)據(jù)的遙感數(shù)據(jù)進行空間疊置分析[15]，包括空間求交(intersect)、對稱求差(symmetrical difference)等； 并利用統(tǒng)計計算，標(biāo)示遙感數(shù)據(jù)重疊覆蓋頻次，作為屬性項進行記錄，生成包含原屬性信息的新成果數(shù)據(jù)，從而獲得遙感數(shù)據(jù)覆蓋頻次專題圖。數(shù)據(jù)處理流程如圖2所示。

圖2 元數(shù)據(jù)空間疊置分析和統(tǒng)計計算流程

2.3 服務(wù)內(nèi)容分析

由圖1可知，0.5～5 m空間分辨率的遙感數(shù)據(jù)在全國范圍覆蓋情況最為復(fù)雜，包含的影像種類多，多邊形數(shù)量大。以該數(shù)據(jù)集中0.5～2.5 m高空間分辨率遙感數(shù)據(jù)為例，利用空間疊置分析和統(tǒng)計計算，衍生覆蓋頻次專題圖，結(jié)果如圖3所示。

圖3 遙感數(shù)據(jù)覆蓋頻次專題圖

從圖3可以看出，覆蓋頻次最多達到22次，在空間分析過程中，經(jīng)空間求交、對稱求差等疊置分析后，多邊形數(shù)量達到31.2萬個，各覆蓋頻次多邊形數(shù)量統(tǒng)計結(jié)果如圖4所示。

圖4 各覆蓋頻次多邊形數(shù)量統(tǒng)計結(jié)果

從圖4可以看出，各覆蓋頻次多邊形數(shù)量統(tǒng)計結(jié)果呈正態(tài)分布規(guī)律，頻次主要集中在2～9，占比最高的頻次為4，達到16.62%。

該類遙感數(shù)據(jù)全國總覆蓋面積為800萬km2，各覆蓋頻次面積統(tǒng)計結(jié)果如圖5所示。

圖5 各覆蓋頻次面積統(tǒng)計結(jié)果

從圖5可以看出，各覆蓋頻次面積呈逐漸遞減趨勢，占比最高的頻次為1，面積為388萬km2，占比達到48.50%； 其次，覆蓋2次的面積為247萬km2，占比達到30.88%。

根據(jù)元數(shù)據(jù)庫記錄分析可以看出，覆蓋頻次過多的區(qū)域大多是由于重大項目需要獲取的立體像對，像對間重疊度大，因此，覆蓋頻次出現(xiàn)異常多的情況?？傮w而言，覆蓋2次以上的區(qū)域為重復(fù)覆蓋區(qū)域，能夠為研究人員提供數(shù)據(jù)檢索依據(jù)。

在專題圖上，還可以顯示重疊覆蓋的遙感數(shù)據(jù)類型、拍攝時間等屬性信息，便于用戶在檢索時，更加直接地了解數(shù)據(jù)覆蓋的綜合情況，根據(jù)實際需要有選擇性地快速明確需求并提交訂單。同時，在遙感數(shù)據(jù)不斷積累的過程中，遙感數(shù)據(jù)管理機構(gòu)可以將積累的數(shù)據(jù)不定期地添加到統(tǒng)計分析結(jié)果中，對該結(jié)果進行更新與維護，讓用戶及時了解最新的數(shù)據(jù)情況。

3 結(jié)論

從一個特定的實際需求角度，探索了大數(shù)據(jù)時代的遙感數(shù)據(jù)管理與服務(wù)模式，利用遙感、地理信息系統(tǒng)等技術(shù)，分析并衍生了一種新的服務(wù)產(chǎn)品。利用空間疊置分析和統(tǒng)計計算的方法，得出了遙感數(shù)據(jù)覆蓋綜合情況，對現(xiàn)有服務(wù)模式進行相應(yīng)的改進和完善，解決了現(xiàn)有服務(wù)模式的局限性問題，提升了海量遙感數(shù)據(jù)管理與服務(wù)水平。本文研究成果僅是統(tǒng)計分析結(jié)果中的一種，可為相關(guān)研究人員提供一些借鑒，在高效檢索海量遙感數(shù)據(jù)方面具有實用價值。隨著遙感數(shù)據(jù)量的劇增，衍生產(chǎn)品也將呈現(xiàn)多樣性的特點。

[1] 韓晶.大數(shù)據(jù)服務(wù)若干關(guān)鍵技術(shù)研究[D].北京:北京郵電大學(xué),2013. Han J.Research on Some Key Technologies of Big Data-as-A-Service[D].Beijing:Beijing University of Posts and Telecommunications,2013.

[2] 霍樹民.基于Hadoop的海量影像數(shù)據(jù)管理關(guān)鍵技術(shù)研究[D].長沙:國防科學(xué)技術(shù)大學(xué),2010. Huo S M.Research on the Key Techniques of Massive Image Data Management Based on Hadoop[D].Changsha:National University of Defense Technology,2010.

[3] 李波.基于Hadoop的海量圖象數(shù)據(jù)管理[D].上海:華東師范大學(xué),2011. Li B.The Management of Massive Images Data Based on Hadoop[D].Shanghai:East China Normal University,2011.

[4] 張濱,陳吉榮,樂嘉錦.大數(shù)據(jù)管理技術(shù)研究綜述[J].計算機應(yīng)用與軟件,2014,31(11):1-5,10. Zhang B,Chen J R,Le J J.Overview on big data management technology research[J].Computer Applications and Software,2014,31(11):1-5,10.

[5] 鄭磊,楊德紅,孫德亮.GIS技術(shù)在遙感數(shù)據(jù)管理中的應(yīng)用[J].重慶理工大學(xué)學(xué)報:自然科學(xué),2011,25(3):88-91. Zheng L,Yang D H,Sun D L.Application of GIS technology in management of remote sensing data[J].Journal of Chongqing University of Technology:Natural Science,2011,25(3):88-91.

[6] 劉露.全球海量遙感影像數(shù)據(jù)的分布式管理技術(shù)研究[D].長沙:國防科學(xué)技術(shù)大學(xué),2007. Liu L.Research on Distributed Management Technology of Global Mass Remote Sensing Image Data[D].Changsha:National University of Defense Technology,2007.

[7] 陳俊勇.地理國情監(jiān)測的學(xué)習(xí)札記[J].測繪學(xué)報,2012,41(5):633-635. Chen J Y.Study notes on geographic national condition monitoring[J].Acta Geodaetica et Cartographica Sinica,2012,41(5):633-635.

[8] 程滔,郭雅琳,周旭,等.面向大規(guī)模數(shù)字正射影像的質(zhì)量檢查方法[J].合肥工業(yè)大學(xué)學(xué)報:自然科學(xué)版,2013,36(7):816-819,896. Cheng T,Guo Y L,Zhou X,et al.A quality inspection method for mass digital orthophoto maps[J].Journal of Hefei University of Technology:Natural Science,2013,36(7):816-819,896.

[9] 吳金華,祝國瑞.空間數(shù)據(jù)倉庫元數(shù)據(jù)的結(jié)構(gòu)體系[J].東華理工學(xué)院學(xué)報,2004,27(2):189-192. Wu J H,Zhu G R.The structure of metadata in spatial data warehouse[J].Journal of East China Institute of Technology,2004,27(2):189-192.

[10]張立,龔健雅.地理空間元數(shù)據(jù)管理的研究與實現(xiàn)[J].武漢測繪科技大學(xué)學(xué)報,2000,25(2):127-131. Zhang L,Gong J Y.Research and implementation of the management of geospatial metadata[J].Journal of Wuhan Technical University of Surveying and Mapping,2000,25(2):127-131.

[11]宋坤,劉銳寧,李偉明.Visual C++開發(fā)技術(shù)大全[M].北京:人民郵電出版社,2007. Song K,Liu R N,Li W M.Visual C++ Developing Technology[M].Beijing:Posts and Telecom Press,2007.

[12]姚萬軍.VC下利用ADO訪問SQL Server技術(shù)[J].微計算機應(yīng)用,2004,25(1):99-103. Yao W J.The method for data accessing of SQL server with VC and ADO[J].Microcomputer Applications,2004,25(1):99-103.

[13]汪沁,奚李峰.數(shù)據(jù)結(jié)構(gòu)[M].北京:清華大學(xué)出版社,2009. Wang Q,Xi L F.Data Structures[M].Beijing:Tsinghua University Press,2009.

[14]Rogan J,Chen D M.Remote sensing technology for mapping and monitoring land-cover and land-use change[J].Progress in Planning,2004,61(4):301-325.

[15]謝忠,葉梓,吳亮.簡單要素模型下多邊形疊置分析算法[J].地理與地理信息科學(xué),2007,23(3):19-23,32. Xie Z,Ye Z,Wu L.Polygon overlay analysis algorithm using the simple data model[J].Geography and Geo-Information Science,2007,23(3):19-23,32.

(責(zé)任編輯： 陳理)

Exploring management and service mode for remote sensing data in big data era

CHENG Tao

(NationalGeomaticsCenterofChina,Beijing100830,China)

A new service mode is explored and proposed oriented to big data era on the basis of analyzing the limitations of the existing massive remote sensing data’s management and service mode. It takes national satellite remote sensing data acquired in the project of national basic aerial photography until the end of 2011 as the research example. Based on spatial overlap analyzing and statistical calculating, a new derivative product is made, which can reveal covering frequency and distribution of remote sensing data and provide a further service for users. The results show that the proposed service explores efficient mode and has the potential to help researchers to grasp comprehensive covering status of remote sensing data under the situation of big data era. Based on the spatial analyzing results, users’ requirements and submitting orders could be confirmed rapidly, which improves the retrieval and access efficiency and raises the management and service level of massive remote sensing data.

big data; remote sensing data; management and service; spatial analysis; geographic national conditions monitoring

10.6046/gtzyyg.2016.04.31

程滔.大數(shù)據(jù)時代遙感數(shù)據(jù)管理與服務(wù)模式探索[J].國土資源遙感,2016,28(4):202-206.(Cheng T.Exploring management and service mode for remote sensing data in big data era[J].Remote Sensing for Land and Resources,2016,28(4):202-206.)

2015-05-11；

2015-07-27

地理國情監(jiān)測專項“遙感影像解譯樣本數(shù)據(jù)建庫與應(yīng)用展示”(編號： 12-ZX-Z02-46)和地理國情監(jiān)測國家測繪地理信息局重點實驗室開放基金項目“地理國情監(jiān)測中基于InSAR的地表形變監(jiān)測”(編號： 2014NGCM08)共同資助。

TP 79; P 208

A

1001-070X(2016)04-0202-05

2015-05-11； 修訂日期： 2015-07-27

程滔(1981-),男,碩士,高級工程師,主要從事地理國情監(jiān)測技術(shù)研究、地表覆蓋信息提取與變化監(jiān)測方法研究和攝影測量與遙感影像數(shù)據(jù)處理與應(yīng)用開發(fā)等工作。Email: chengtao@nsdi.gov.cn。