基于數(shù)據(jù)盒的多源空間數(shù)據(jù)敏捷集成方法

李 峰，王士成，邱 政，楊 勇，賈向陽(yáng)

(1.中國(guó)電子科技集團(tuán)公司航天信息應(yīng)用技術(shù)重點(diǎn)實(shí)驗(yàn)室，河北 石家莊 050081；2.武漢大學(xué) 計(jì)算機(jī)學(xué)院，湖北 武漢 430072)

0 引言

隨著我國(guó)對(duì)地觀測(cè)技術(shù)的發(fā)展，一方面造成了遙感數(shù)據(jù)體量的爆炸式增長(zhǎng)，遙感產(chǎn)品種類、數(shù)據(jù)不斷增加，另一方面也為遙感數(shù)據(jù)的存儲(chǔ)管理、數(shù)據(jù)處理及共享服務(wù)帶來(lái)了巨大挑戰(zhàn)。當(dāng)前我國(guó)遙感數(shù)據(jù)分散存儲(chǔ)在多個(gè)數(shù)據(jù)中心，例如對(duì)地資源觀測(cè)數(shù)據(jù)存儲(chǔ)在中國(guó)資源衛(wèi)星應(yīng)用中心，氣象觀測(cè)數(shù)據(jù)存儲(chǔ)在氣象衛(wèi)星應(yīng)用中心，海洋觀測(cè)數(shù)據(jù)存儲(chǔ)在衛(wèi)星海洋應(yīng)用中心，不同衛(wèi)星的遙感數(shù)據(jù)在存儲(chǔ)格式、組織方式等方面存在較大差異[1-3]。

然而，在環(huán)保、減災(zāi)、農(nóng)業(yè)、林業(yè)、地質(zhì)和國(guó)土等行業(yè)中，數(shù)據(jù)需求廣泛而多樣，常常需要集成來(lái)自不同數(shù)據(jù)中心的不同類型的對(duì)地觀測(cè)數(shù)據(jù)。集成方式通常首先使用在線文件下載或者離線復(fù)制等方式從不同的中心下載各種不同類型的數(shù)據(jù)，然后將數(shù)據(jù)匯聚在一起進(jìn)行使用。將海量、多源、異構(gòu)的數(shù)據(jù)集成在一起是一項(xiàng)工作量巨大的工作，一方面，需要對(duì)各種形式描述的元數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換、融合，并對(duì)時(shí)空和屬性信息進(jìn)行索引支持高效查詢；另一方面，需要對(duì)遙感、無(wú)人機(jī)等影像文件進(jìn)行匯聚存儲(chǔ)索引，切割為瓦片金字塔以供可視化展示；對(duì)矢量數(shù)據(jù)進(jìn)行坐標(biāo)轉(zhuǎn)換、存入空間數(shù)據(jù)庫(kù)、發(fā)布數(shù)據(jù)服務(wù)；對(duì)關(guān)系型數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)導(dǎo)入、去重、糾錯(cuò)，發(fā)布查詢服務(wù)，抽取矢量信息支持可視化。這些匯聚工作常常需要進(jìn)行各種定制化開發(fā)和大量的數(shù)據(jù)檢查、清洗等工作[4-6]。

隨著對(duì)地觀測(cè)數(shù)據(jù)的極速增長(zhǎng)，這種需要大量人工的數(shù)據(jù)集成已經(jīng)很難滿足很多應(yīng)用領(lǐng)域的數(shù)據(jù)需求。特別是對(duì)于一些需要快速響應(yīng)的應(yīng)用場(chǎng)景，迫切需要更加敏捷的數(shù)據(jù)集成方式。因此，如何快速地聚合多源數(shù)據(jù)、構(gòu)筑應(yīng)用服務(wù)，滿足遙感數(shù)據(jù)在不同領(lǐng)域的應(yīng)用處理與共享分發(fā)需求，成為當(dāng)前空間數(shù)據(jù)管理與共享服務(wù)領(lǐng)域亟需解決的一個(gè)問(wèn)題[7-8]。

針對(duì)這種需求，提出了一種基于“數(shù)據(jù)盒”的“即插即用”的數(shù)據(jù)集成方法?！皵?shù)據(jù)盒”是一個(gè)獨(dú)立部署、一鍵式運(yùn)行的軟件實(shí)體，可以將需要集成的數(shù)據(jù)與相關(guān)應(yīng)用進(jìn)行一體化罐裝，對(duì)外提供數(shù)據(jù)查詢、管理、下載和瓦片等數(shù)據(jù)服務(wù)。不同數(shù)據(jù)中心可以定制化罐裝“數(shù)據(jù)盒”，然后分發(fā)給數(shù)據(jù)集成單位。數(shù)據(jù)集成單位通過(guò)一個(gè)“數(shù)據(jù)蜂巢”平臺(tái)，將來(lái)自不同數(shù)據(jù)中心的“數(shù)據(jù)盒”進(jìn)行自動(dòng)集成：各個(gè)“數(shù)據(jù)盒”的元數(shù)據(jù)自動(dòng)匯聚在“數(shù)據(jù)蜂巢”，形成統(tǒng)一的數(shù)據(jù)視圖；各個(gè)“數(shù)據(jù)盒”的數(shù)據(jù)服務(wù)通過(guò)“數(shù)據(jù)蜂巢”進(jìn)行統(tǒng)一代理和訪問(wèn)，形成統(tǒng)一的服務(wù)視圖。

基于“數(shù)據(jù)盒”和“數(shù)據(jù)蜂巢”的數(shù)據(jù)集成模式，數(shù)據(jù)與服務(wù)分布式存儲(chǔ)在各個(gè)數(shù)據(jù)中心分發(fā)的“數(shù)據(jù)盒”中。“數(shù)據(jù)盒”啟動(dòng)后數(shù)據(jù)和服務(wù)就可以被實(shí)時(shí)集成，關(guān)閉后數(shù)據(jù)和服務(wù)被自動(dòng)關(guān)閉，實(shí)現(xiàn)了“即插即用”的自動(dòng)化集成。

1 方法概述

基于“數(shù)據(jù)盒”和“數(shù)據(jù)蜂巢”的數(shù)據(jù)集成框架如圖1所示?！皵?shù)據(jù)盒”是將數(shù)據(jù)與相關(guān)應(yīng)用進(jìn)行一體化封裝而成的可自主運(yùn)行的軟件實(shí)體。在“數(shù)據(jù)盒”中提供異構(gòu)數(shù)據(jù)的存儲(chǔ)索引機(jī)制，實(shí)現(xiàn)對(duì)矢量、影像文件、結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)以及支持對(duì)元數(shù)據(jù)的存儲(chǔ)和索引。在“數(shù)據(jù)盒”內(nèi)，可以定制化安裝各種應(yīng)用，例如元數(shù)據(jù)管理、數(shù)據(jù)匯聚、文件下載、矢量服務(wù)、瓦片服務(wù)、數(shù)據(jù)分發(fā)等各種類型的應(yīng)用程序?！皵?shù)據(jù)盒”可以獨(dú)立運(yùn)行，通過(guò)內(nèi)置應(yīng)用實(shí)現(xiàn)對(duì)盒內(nèi)數(shù)據(jù)的查詢、管理、下載和服務(wù)訪問(wèn)。

圖1 基于“數(shù)據(jù)盒”和“數(shù)據(jù)蜂巢”的數(shù)據(jù)集成框架示意

數(shù)據(jù)集成需要匯聚來(lái)自不同數(shù)據(jù)中心的數(shù)據(jù)，這個(gè)集成工作是通過(guò)數(shù)據(jù)蜂巢整合多個(gè)“數(shù)據(jù)盒”來(lái)完成的。如圖1所示，來(lái)自于不同數(shù)據(jù)中心的3個(gè)“數(shù)據(jù)盒”通過(guò)“數(shù)據(jù)蜂巢”集成在一起?！皵?shù)據(jù)蜂巢”提供了服務(wù)網(wǎng)關(guān)用來(lái)代理每個(gè)“數(shù)據(jù)盒”的應(yīng)用服務(wù)請(qǐng)求；提供了數(shù)據(jù)管理平臺(tái)，可以匯聚各個(gè)“數(shù)據(jù)盒”的元數(shù)據(jù)，形成所有“數(shù)據(jù)盒”的數(shù)據(jù)全局視圖；提供數(shù)據(jù)訪問(wèn)代理，實(shí)現(xiàn)對(duì)各個(gè)“數(shù)據(jù)盒”數(shù)據(jù)的統(tǒng)一訪問(wèn)。

“數(shù)據(jù)蜂巢”可以支持“數(shù)據(jù)盒”的全生命周期管理，完成“數(shù)據(jù)盒”的上線、下線和實(shí)時(shí)狀態(tài)監(jiān)控，面向業(yè)務(wù)應(yīng)用提供統(tǒng)一的數(shù)據(jù)服務(wù)和數(shù)據(jù)訪問(wèn)，實(shí)現(xiàn)多個(gè)數(shù)據(jù)中心數(shù)據(jù)的“分布式存儲(chǔ)、一體化管理、可拔插式自動(dòng)化集成”。

2 關(guān)鍵技術(shù)

2.1 基于容器技術(shù)的“數(shù)據(jù)盒”定制化罐裝

“數(shù)據(jù)盒”的定制化罐裝主要是基于容器技術(shù)實(shí)現(xiàn)數(shù)據(jù)和自主程序的一體化封裝，并在新數(shù)據(jù)產(chǎn)生后及時(shí)更新“數(shù)據(jù)盒”，其灌裝過(guò)程如圖2所示，“數(shù)據(jù)盒”支持權(quán)限控制，防止非法使用。灌裝后的“數(shù)據(jù)盒”鏡像可以通過(guò)網(wǎng)絡(luò)傳輸，也可以通過(guò)離線的移動(dòng)存儲(chǔ)設(shè)備復(fù)制，并可注冊(cè)到“數(shù)據(jù)蜂巢”中實(shí)現(xiàn)多源空間數(shù)據(jù)的虛擬組織和一體化檢索。

圖2 “數(shù)據(jù)盒”灌裝過(guò)程示意

“數(shù)據(jù)盒”的灌裝主要分3步，首先通過(guò)“數(shù)據(jù)盒”模版創(chuàng)建一組容器，分別對(duì)應(yīng)存放的自主應(yīng)用，包括元數(shù)據(jù)管理、對(duì)象存儲(chǔ)、數(shù)據(jù)服務(wù)發(fā)布、數(shù)據(jù)切片、結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)與訪問(wèn)等，同時(shí)還包括“數(shù)據(jù)盒”的運(yùn)維管理與安全管理2個(gè)自主應(yīng)用。當(dāng)容器創(chuàng)建成功后，接下來(lái)將數(shù)據(jù)灌裝到容器中，灌裝的數(shù)據(jù)和元數(shù)據(jù)以文件形式作為灌裝的輸入。在完成數(shù)據(jù)灌裝后，各類異構(gòu)的數(shù)據(jù)和元數(shù)據(jù)存儲(chǔ)在容器的數(shù)據(jù)卷中，將各個(gè)自主應(yīng)用的鏡像文件連同數(shù)據(jù)卷對(duì)應(yīng)的文件夾進(jìn)行整體打包，生成一個(gè)可以獨(dú)立部署運(yùn)行的“數(shù)據(jù)盒”鏡像，完成“數(shù)據(jù)盒”灌裝。

2.2 多源空間數(shù)據(jù)的匯聚整合

“數(shù)據(jù)盒”針對(duì)不同空間數(shù)據(jù)源匯聚各類空間數(shù)據(jù)，利用統(tǒng)一的遙感共享元數(shù)據(jù)規(guī)范進(jìn)行描述，實(shí)現(xiàn)多源異構(gòu)信息的規(guī)范化統(tǒng)一表示，以及描述信息的去重、補(bǔ)全和集成。在此基礎(chǔ)上進(jìn)一步實(shí)現(xiàn)聚合和虛擬化組織，將信息按照不同的主題進(jìn)行聚類，動(dòng)態(tài)關(guān)聯(lián)不同類型空間數(shù)據(jù)。“數(shù)據(jù)蜂巢”可以對(duì)分布式動(dòng)態(tài)接入的“數(shù)據(jù)盒”元數(shù)據(jù)進(jìn)行匯集，如圖3所示，并通過(guò)數(shù)據(jù)關(guān)聯(lián)映射、數(shù)據(jù)聚類、元數(shù)據(jù)規(guī)范轉(zhuǎn)換，構(gòu)建數(shù)據(jù)的全局索引，基于全局索引實(shí)現(xiàn)一體化的數(shù)據(jù)檢索，檢索出分散在各個(gè)數(shù)據(jù)盒中的數(shù)據(jù)。

圖3 多源異構(gòu)空間數(shù)據(jù)匯聚示意

多源空間數(shù)據(jù)的匯聚整合主要包括多源遙感共享信息規(guī)范化、信息聚合和虛擬化組織。其中，多源遙感共享信息規(guī)范化主要包括多源異構(gòu)信息的統(tǒng)一表示，以及描述信息的去重、補(bǔ)全和集成[11-13]。多源遙感共享信息規(guī)范化以ISO19115和ISO19115-2規(guī)范為參考依據(jù)，構(gòu)建多源異構(gòu)空間數(shù)據(jù)統(tǒng)一表示規(guī)范，完成多源異構(gòu)信息的統(tǒng)一表示，篩除重復(fù)的信息、補(bǔ)全缺失信息，將描述同一個(gè)對(duì)象不同屬性的信息進(jìn)行集成，提高空間數(shù)據(jù)的規(guī)范性和完整性，為信息整合提供統(tǒng)一的遙感信息基礎(chǔ)。信息聚合和虛擬化組織主要是將規(guī)范化后的空間數(shù)據(jù)按照不同的主題進(jìn)行聚類，并為空間數(shù)據(jù)定義不同的標(biāo)簽，建立各類數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系，按照不同的應(yīng)用需求，形成不同的虛擬化文件，動(dòng)態(tài)關(guān)聯(lián)不同類型空間數(shù)據(jù)，從而提高信息的組織效率。

2.3 基于微服務(wù)發(fā)現(xiàn)與監(jiān)控技術(shù)的“數(shù)據(jù)盒”云化集成

“數(shù)據(jù)蜂巢”完成“數(shù)據(jù)盒”的全生命周期管理，基于微服務(wù)發(fā)現(xiàn)與監(jiān)控機(jī)制，通過(guò)“數(shù)據(jù)盒”的注冊(cè)，完成“數(shù)據(jù)盒”上線、數(shù)據(jù)匯聚和狀態(tài)監(jiān)控；通過(guò)“數(shù)據(jù)盒”的注銷，完成“數(shù)據(jù)盒”下線、數(shù)據(jù)撤銷；通過(guò)動(dòng)態(tài)調(diào)度，實(shí)現(xiàn)“數(shù)據(jù)盒”的集群調(diào)度，支撐海量高并發(fā)的應(yīng)用場(chǎng)景。

“數(shù)據(jù)蜂巢”通過(guò)服務(wù)網(wǎng)關(guān)完成“數(shù)據(jù)盒”的動(dòng)態(tài)調(diào)度，如圖4所示。通過(guò)服務(wù)網(wǎng)關(guān)的反向代理功能，實(shí)現(xiàn)內(nèi)部各“數(shù)據(jù)盒”應(yīng)用的統(tǒng)一訪問(wèn)，保障數(shù)據(jù)訪問(wèn)的安全性；利用服務(wù)網(wǎng)關(guān)的集群調(diào)度功能，對(duì)于同一“數(shù)據(jù)盒”的多個(gè)副本，可以通過(guò)負(fù)載均衡訪問(wèn)來(lái)支持更高的訪問(wèn)需求；利用節(jié)點(diǎn)動(dòng)態(tài)更新功能，在“數(shù)據(jù)盒”上線和下線時(shí)動(dòng)態(tài)更新代理映射和集群節(jié)點(diǎn)，保障數(shù)據(jù)訪問(wèn)的可靠性。

圖4 基于服務(wù)網(wǎng)關(guān)的“數(shù)據(jù)盒”動(dòng)態(tài)調(diào)度

3 原型系統(tǒng)與應(yīng)用試驗(yàn)

基于“數(shù)據(jù)盒”的多源空間數(shù)據(jù)敏捷集成方法研制了原型系統(tǒng)，該原型系統(tǒng)包括“數(shù)據(jù)盒”運(yùn)維平臺(tái)和“數(shù)據(jù)蜂巢”管理平臺(tái)?！皵?shù)據(jù)盒”運(yùn)維平臺(tái)用來(lái)支持“數(shù)據(jù)盒”的應(yīng)用安裝、配置、制作鏡像；“數(shù)據(jù)蜂巢”管理平臺(tái)用來(lái)對(duì)多個(gè)“數(shù)據(jù)盒”進(jìn)行可拔插式敏捷集成。

原型系統(tǒng)選取應(yīng)急前出指揮車的數(shù)據(jù)集成作為應(yīng)用試驗(yàn)場(chǎng)景，展示“數(shù)據(jù)盒”與“數(shù)據(jù)蜂巢”的集成模式。應(yīng)急前出指揮車需要赴某地區(qū)執(zhí)行應(yīng)急任務(wù)，整合該地區(qū)的遙感影像、路網(wǎng)數(shù)據(jù)以及氣象數(shù)據(jù)。其中，遙感影像來(lái)自于國(guó)土衛(wèi)星遙感應(yīng)用中心，氣象數(shù)據(jù)來(lái)自于國(guó)家氣象局，路網(wǎng)數(shù)據(jù)來(lái)自于OpenStreetMap網(wǎng)站。

3.1 “數(shù)據(jù)盒”灌裝

針對(duì)這3個(gè)來(lái)源的數(shù)據(jù)，通過(guò)3個(gè)數(shù)據(jù)盒完成各自數(shù)據(jù)的灌裝，數(shù)據(jù)灌裝過(guò)程分為應(yīng)用安裝、數(shù)據(jù)灌裝、數(shù)據(jù)盒打包3個(gè)步驟，灌裝完成后得到遙感影像、路網(wǎng)數(shù)據(jù)以及氣象數(shù)據(jù)3個(gè)數(shù)據(jù)盒。詳細(xì)過(guò)程如下：

(1) 應(yīng)用安裝：數(shù)據(jù)灌裝人員啟動(dòng)“數(shù)據(jù)盒”運(yùn)維平臺(tái)，在運(yùn)維平臺(tái)中的“應(yīng)用”管理模塊，從“應(yīng)用市場(chǎng)”中選擇一個(gè)應(yīng)用點(diǎn)擊安裝進(jìn)行安裝。應(yīng)用市場(chǎng)中的每個(gè)應(yīng)用都包括一組容器鏡像，以及這些容器鏡像的docker-compose配置文件。安裝應(yīng)用時(shí)，自動(dòng)創(chuàng)建并啟動(dòng)各個(gè)應(yīng)用的各個(gè)容器，實(shí)現(xiàn)一鍵式安裝。安裝后的應(yīng)用可以在“我的應(yīng)用”部分進(jìn)行查看，如圖5所示。

圖5 數(shù)據(jù)盒應(yīng)用安裝

(2) 數(shù)據(jù)灌裝：“數(shù)據(jù)盒”的數(shù)據(jù)灌裝功能是通過(guò)“數(shù)據(jù)管理應(yīng)用GeoPortal”提供的。在該應(yīng)用中，提供了“數(shù)據(jù)匯集”模塊，使用數(shù)據(jù)匯聚模塊，提供文件夾掃描、API拉取等方式將外部的遙感、矢量和關(guān)系型數(shù)據(jù)灌裝到數(shù)據(jù)盒中。圖6的示例中創(chuàng)建了一個(gè)文件夾掃描任務(wù)，可以將指定文件夾中的數(shù)據(jù)文件導(dǎo)入到數(shù)據(jù)盒內(nèi)。

圖6 “數(shù)據(jù)盒”數(shù)據(jù)灌裝：使用文件夾掃描方式灌裝遙感數(shù)據(jù)

不同類型數(shù)據(jù)文件的元數(shù)據(jù)格式各異，可以通過(guò)配置一個(gè)數(shù)據(jù)模型來(lái)實(shí)現(xiàn)元數(shù)據(jù)的自動(dòng)轉(zhuǎn)換。在GeoPortal中使用ElasticSearch存放元數(shù)據(jù)，使用Minio Server存放文件數(shù)據(jù)，使用Clickhouse存放關(guān)系數(shù)據(jù)，這些灌裝后的數(shù)據(jù)都存放在數(shù)據(jù)盒所指定的本地文件夾中。

(3) “數(shù)據(jù)盒”打包：在“數(shù)據(jù)盒”打包時(shí)會(huì)將內(nèi)置的應(yīng)用與數(shù)據(jù)進(jìn)行一體化打包，打包后會(huì)生成“數(shù)據(jù)盒”鏡像文件存儲(chǔ)在本地磁盤上。一個(gè)“數(shù)據(jù)盒”鏡像中包括內(nèi)部應(yīng)用的容器鏡像文件，以及啟動(dòng)這些鏡像的docker-compose文件，同時(shí)包括所有灌裝的數(shù)據(jù)文件。應(yīng)用打包的過(guò)程把各個(gè)內(nèi)置應(yīng)用的docker-compose配置文件進(jìn)行合并，生成統(tǒng)一的“數(shù)據(jù)盒”容器配置文件，并配置好數(shù)據(jù)文件的數(shù)據(jù)卷映射，形成可以一鍵式啟動(dòng)的“數(shù)據(jù)盒”鏡像。

3.2 “數(shù)據(jù)盒”在“數(shù)據(jù)蜂巢”中的集成

“數(shù)據(jù)盒”灌裝完成后，得到遙感影像、路網(wǎng)數(shù)據(jù)以及氣象數(shù)據(jù)3個(gè)“數(shù)據(jù)盒”，“數(shù)據(jù)盒”可以通過(guò)“數(shù)據(jù)蜂巢”進(jìn)行即插即用的集成。

(1)“數(shù)據(jù)盒”的動(dòng)態(tài)發(fā)現(xiàn)：?jiǎn)?dòng)“數(shù)據(jù)盒”成功后，會(huì)根據(jù)配置的“數(shù)據(jù)蜂巢”地址自動(dòng)連接“數(shù)據(jù)蜂巢”，實(shí)現(xiàn)“數(shù)據(jù)盒”的自動(dòng)注冊(cè)與動(dòng)態(tài)發(fā)現(xiàn)。在“數(shù)據(jù)蜂巢”中可以看到3個(gè)已經(jīng)成功啟動(dòng)的“數(shù)據(jù)盒”。“數(shù)據(jù)蜂巢”會(huì)持續(xù)監(jiān)聽(tīng)“數(shù)據(jù)盒”的心跳信息。當(dāng)某個(gè)“數(shù)據(jù)盒”關(guān)閉后，在蜂巢中可以看到“數(shù)據(jù)盒”的狀態(tài)變成下線狀態(tài)，如圖7所示。

圖7 “數(shù)據(jù)盒”在“數(shù)據(jù)蜂巢”中的動(dòng)態(tài)發(fā)現(xiàn)與管理

(2) “數(shù)據(jù)盒”的數(shù)據(jù)訪問(wèn)：“數(shù)據(jù)盒”啟動(dòng)后，會(huì)自動(dòng)將盒內(nèi)數(shù)據(jù)的元數(shù)據(jù)注冊(cè)到“數(shù)據(jù)蜂巢”的數(shù)據(jù)管理平臺(tái)中，從而在“數(shù)據(jù)蜂巢”中可以對(duì)各個(gè)“數(shù)據(jù)盒”進(jìn)行全局的數(shù)據(jù)檢索和查看。數(shù)據(jù)體本身存放在各個(gè)“數(shù)據(jù)盒”中，通過(guò)“數(shù)據(jù)蜂巢”的網(wǎng)關(guān)進(jìn)行代理訪問(wèn)。在“數(shù)據(jù)蜂巢”的數(shù)管平臺(tái)中，可以對(duì)“數(shù)據(jù)盒”內(nèi)的數(shù)據(jù)進(jìn)行統(tǒng)一的檢索、下載、瀏覽、分發(fā)，實(shí)現(xiàn)數(shù)據(jù)的分布式存儲(chǔ)和統(tǒng)一訪問(wèn)。

(3) “數(shù)據(jù)盒”的應(yīng)用訪問(wèn)：“數(shù)據(jù)盒”啟動(dòng)后，應(yīng)用都處于運(yùn)行狀態(tài)，然而由于“數(shù)據(jù)盒”部署在服務(wù)器網(wǎng)內(nèi)，沒(méi)有對(duì)外的訪問(wèn)接口，因此需要通過(guò)“數(shù)據(jù)蜂巢”的網(wǎng)關(guān)進(jìn)行統(tǒng)一代理來(lái)訪問(wèn)。在“數(shù)據(jù)蜂巢”界面(圖7)中，可以點(diǎn)擊進(jìn)入某個(gè)“數(shù)據(jù)盒”的運(yùn)維頁(yè)面，以及各個(gè)應(yīng)用的頁(yè)面，實(shí)現(xiàn)“數(shù)據(jù)盒”應(yīng)用的統(tǒng)一訪問(wèn)。

3.3 與傳統(tǒng)數(shù)據(jù)集成方式的比較

基于“數(shù)據(jù)盒”的多源空間數(shù)據(jù)敏捷集成方法與傳統(tǒng)集成方法[4,10-14]相比，具有如下優(yōu)勢(shì)：

(1) 即插即用的集成：傳統(tǒng)集成方式需要大量的人力來(lái)實(shí)現(xiàn)數(shù)據(jù)的匯聚、集成。在指揮車?yán)又?，如果使用傳統(tǒng)方法，來(lái)自不同單位的異構(gòu)數(shù)據(jù)，都需要單獨(dú)編寫代碼進(jìn)行數(shù)據(jù)與元數(shù)據(jù)的轉(zhuǎn)換入庫(kù)，需要人工發(fā)布數(shù)據(jù)服務(wù)，來(lái)支持?jǐn)?shù)據(jù)查詢與可視化。利用“數(shù)據(jù)盒”技術(shù)，由于各個(gè)數(shù)據(jù)提供單位已經(jīng)將“數(shù)據(jù)盒”內(nèi)數(shù)據(jù)灌裝完成，交付的是一個(gè)可以支持訪問(wèn)數(shù)據(jù)、提供數(shù)據(jù)服務(wù)的軟件實(shí)體，通過(guò)“數(shù)據(jù)蜂巢”可以實(shí)現(xiàn)全自動(dòng)的即插即用的集成。同時(shí)，數(shù)據(jù)提供單位也可以利用“數(shù)據(jù)盒”進(jìn)行“一次灌裝、多方分發(fā)”，將最新的數(shù)據(jù)分發(fā)到多個(gè)數(shù)據(jù)使用單位。

(2) 數(shù)據(jù)應(yīng)用一體化集成：傳統(tǒng)數(shù)據(jù)集成方式只關(guān)心數(shù)據(jù)集成，但實(shí)際上不同類型的數(shù)據(jù)需要多樣化的服務(wù)模式，衛(wèi)星遙感數(shù)據(jù)、海洋監(jiān)測(cè)數(shù)據(jù)、測(cè)繪數(shù)據(jù)、矢量數(shù)據(jù)、視頻影像，以及針對(duì)領(lǐng)域定制的專題產(chǎn)品需要特殊的展示和使用方法，這些都需要相關(guān)應(yīng)用的支撐才能完成?！皵?shù)據(jù)盒”提供了數(shù)據(jù)應(yīng)用一體化集成的能力，這種能力為更加有效地使用數(shù)據(jù)提供了更多的可能性。

(3) 分布自治的數(shù)據(jù)管理：傳統(tǒng)集成方式中，數(shù)據(jù)提供單位提供的數(shù)據(jù)體支持分發(fā)給集成單位，進(jìn)行集中時(shí)的數(shù)據(jù)存儲(chǔ)與管理。而使用“數(shù)據(jù)盒”來(lái)進(jìn)行數(shù)據(jù)集成，數(shù)據(jù)分布式存儲(chǔ)在各個(gè)“數(shù)據(jù)盒”內(nèi)部，由“數(shù)據(jù)盒”內(nèi)的應(yīng)用進(jìn)行自治管理。這種數(shù)據(jù)的自治性一方面可以提供靈活的數(shù)據(jù)快速裝配、定制和分發(fā)能力，另一方面也提供了更多可能的數(shù)據(jù)管理能力，數(shù)據(jù)提供方可以在“數(shù)據(jù)盒”中進(jìn)行數(shù)據(jù)的訪問(wèn)控制、流量統(tǒng)計(jì)、動(dòng)態(tài)更新，從而實(shí)現(xiàn)更安全、可靠、易用的數(shù)據(jù)服務(wù)。

4 結(jié)束語(yǔ)

海量、異構(gòu)、多源的空間數(shù)據(jù)集成是一項(xiàng)任務(wù)量繁重的工作，常規(guī)方法需要大量的編碼實(shí)現(xiàn)數(shù)據(jù)的接入、轉(zhuǎn)換、索引、存儲(chǔ)和服務(wù)來(lái)完成數(shù)據(jù)集成。針對(duì)這一問(wèn)題，提出了一種基于“數(shù)據(jù)盒”的多源空間數(shù)據(jù)敏捷集成方法。各個(gè)數(shù)據(jù)中心可以將數(shù)據(jù)和應(yīng)用進(jìn)行一體化封裝成為拆包即用的“數(shù)據(jù)盒”。不同來(lái)源的“數(shù)據(jù)盒”可以通過(guò)一個(gè)“數(shù)據(jù)蜂巢”實(shí)現(xiàn)即插即用的自動(dòng)化集成。給出了“數(shù)據(jù)盒”的架構(gòu)和技術(shù)原理，給出了數(shù)據(jù)盒灌裝、基于“數(shù)據(jù)蜂巢”云化集成與多源數(shù)據(jù)匯聚融合關(guān)鍵技術(shù)。通過(guò)案例展示了“數(shù)據(jù)盒”的灌裝和“數(shù)據(jù)蜂巢”集成過(guò)程。與傳統(tǒng)集成方案相比，基于“數(shù)據(jù)盒”的集成方案具有即插即用的集成、應(yīng)用數(shù)據(jù)一體化的集成、分布自治的數(shù)據(jù)管理的優(yōu)勢(shì)。

在未來(lái)工作中，將擴(kuò)展“數(shù)據(jù)盒”與“數(shù)據(jù)蜂巢”的能力，在數(shù)據(jù)安全性、運(yùn)行可靠性、數(shù)據(jù)動(dòng)態(tài)更新、可控的數(shù)據(jù)分發(fā)等方面進(jìn)行增強(qiáng)，并在生產(chǎn)應(yīng)用中推廣使用。