多源遙感資源協(xié)同調(diào)度系統(tǒng)架構(gòu)技術(shù)研究

曲海成，張鈞萍，陳雨時(shí)

（1.哈爾濱工業(yè)大學(xué) 信息工程系，哈爾濱 150001；2.遼寧工程技術(shù)大學(xué) 軟件學(xué)院，遼寧 葫蘆島 125105）

0 引 言

隨著中國(guó)空間技術(shù)的快速發(fā)展，我國(guó)已經(jīng)具備了強(qiáng)大的對(duì)地觀測(cè)數(shù)據(jù)區(qū)長(zhǎng)獲取能力，如何對(duì)這些海量遙感影像數(shù)據(jù)進(jìn)行有效管理，進(jìn)一步發(fā)揮遙感衛(wèi)星在國(guó)民經(jīng)濟(jì)發(fā)展、災(zāi)害預(yù)報(bào)與評(píng)估、科學(xué)研究領(lǐng)域的作用，一直是遙感衛(wèi)星數(shù)據(jù)應(yīng)用領(lǐng)域的熱點(diǎn)問題［1－2］。多源遙感資源協(xié)同調(diào)度服務(wù)系統(tǒng)也是在這一背景下提出的。目前遙感衛(wèi)星數(shù)據(jù)應(yīng)用系統(tǒng)多基于C／S結(jié)構(gòu)，應(yīng)用于特定的遙感數(shù)據(jù)領(lǐng)域，系統(tǒng)可移植性和靈活性不高，關(guān)鍵數(shù)據(jù)保密性處理級(jí)別不夠高，達(dá)不到快速響應(yīng)和處理軍民共享遙感數(shù)據(jù)的實(shí)際需求［3－4］。為此，提出了集群環(huán)境下，基于JEE6框架、引入 Web服務(wù)和柔性分布式工作流技術(shù)的多源遙感協(xié)同調(diào)度軟件系統(tǒng)架構(gòu)，來解決快速共享海量遙感數(shù)據(jù)服務(wù)過程中存在的軟件系統(tǒng)架構(gòu)缺陷問題［5－7］。下面就按照軟件工程中的模型驅(qū)動(dòng)體系架構(gòu)理論，分業(yè)務(wù)需求、體系結(jié)構(gòu)、軟件設(shè)計(jì)和軟件實(shí)現(xiàn)幾部分來闡述多層次遙感資源協(xié)同調(diào)度軟件架構(gòu)的設(shè)計(jì)與實(shí)現(xiàn)。

1 系統(tǒng)需求

1.1 系統(tǒng)功能需求

目前，衛(wèi)星遙感技術(shù)與地面勘測(cè)、航空遙感一起，形成了全方位、立體化的對(duì)地觀測(cè)體系，具有多頻率、全天候、高精度、高效、快速的特點(diǎn)［2］。然而，在實(shí)際遙感數(shù)據(jù)應(yīng)用處理過程中仍面臨以下問題。

1.1.1 海量遙感數(shù)據(jù)的快速組織與查詢［8］

系統(tǒng)處理的數(shù)據(jù)有這么幾個(gè)特點(diǎn)：要處理的遙感資源數(shù)據(jù)量大，達(dá)到PB量級(jí)；數(shù)據(jù)中心分布在不同區(qū)域，數(shù)據(jù)格式不統(tǒng)一，且這些數(shù)據(jù)由不同體系結(jié)構(gòu)的管理系統(tǒng)管理；客戶端請(qǐng)求數(shù)據(jù)量大，很難滿足在客戶端瀏覽器下進(jìn)行三維顯示的需求。這些特點(diǎn)都給目前遙感數(shù)據(jù)處理提出了新的問題，即在現(xiàn)有硬件和網(wǎng)絡(luò)環(huán)境下，如何解決分布式異構(gòu)海量遙感數(shù)據(jù)的存儲(chǔ)和快速檢索問題。

1.1.2 要處理的業(yè)務(wù)流程越來越復(fù)雜

原有系統(tǒng)業(yè)務(wù)流程處理一般都是固定流程設(shè)計(jì)，很難隨著應(yīng)用需求的變化進(jìn)行調(diào)整。當(dāng)前軟件系統(tǒng)需要滿足客戶、調(diào)度中心、規(guī)劃中心和數(shù)據(jù)資源中心之間的實(shí)時(shí)數(shù)據(jù)交互功能?？蛻粢詾g覽器模式提交的數(shù)據(jù)請(qǐng)求，然后經(jīng)過數(shù)據(jù)加密和過濾技術(shù)到達(dá)調(diào)度中心，進(jìn)行數(shù)據(jù)請(qǐng)求分析和負(fù)載均衡處理，再進(jìn)行快速數(shù)據(jù)檢索，對(duì)檢索結(jié)果進(jìn)行安全后處理再通過瀏覽器返回給客戶；當(dāng)已有數(shù)據(jù)不滿足用戶需求時(shí)，調(diào)度中心需要將數(shù)據(jù)請(qǐng)求發(fā)送到數(shù)據(jù)規(guī)劃中心，然后自動(dòng)協(xié)調(diào)客戶、規(guī)劃中心和數(shù)據(jù)資源中心3者之間的數(shù)據(jù)和請(qǐng)求交互；當(dāng)出現(xiàn)緊急任務(wù)時(shí)，監(jiān)控中心能夠?qū)崟r(shí)改變系統(tǒng)運(yùn)行狀態(tài)，協(xié)調(diào)規(guī)劃中心和數(shù)據(jù)中心對(duì)用戶的數(shù)據(jù)請(qǐng)求快速做出反應(yīng)。上述復(fù)雜業(yè)務(wù)流程僅靠狀態(tài)控制和一般工作流技術(shù)解決不了。

上述問題是軟件系統(tǒng)必須解決的關(guān)鍵問題，還有其他一些問題如系統(tǒng)運(yùn)行在基于Unix系統(tǒng)的集群環(huán)境下和監(jiān)控端實(shí)時(shí)顯示調(diào)度信息、數(shù)據(jù)交互的安全性等［9－10］，這些問題都給系統(tǒng)軟件架構(gòu)提出了新的要求。

1.2 系統(tǒng)功能結(jié)構(gòu)

經(jīng)過大量實(shí)地考察和專家論證，結(jié)合目前先進(jìn)的軟件開發(fā)及管理經(jīng)驗(yàn)，給出了軍民共享多源遙感資源協(xié)同調(diào)度服務(wù)系統(tǒng)主要功能實(shí)現(xiàn)框圖，如圖1所示。

圖1 系統(tǒng)功能框圖

系統(tǒng)主要通過調(diào)度中心實(shí)現(xiàn)客戶與不同遙感資源中心之間的信息交互，即：客戶通過門戶網(wǎng)站提交數(shù)據(jù)訂單請(qǐng)求到調(diào)度中心，調(diào)度中心根據(jù)數(shù)據(jù)請(qǐng)求的狀態(tài)和資源服務(wù)器的負(fù)載情況進(jìn)行調(diào)度。如果有客戶請(qǐng)求的數(shù)據(jù)，則對(duì)授權(quán)用戶提供數(shù)據(jù)下載服務(wù)；如果沒有數(shù)據(jù)需要生產(chǎn)，則將請(qǐng)求提交給任務(wù)規(guī)劃部門進(jìn)行規(guī)劃，然后將規(guī)劃方案提交數(shù)據(jù)生產(chǎn)部門進(jìn)行生產(chǎn)，最后將生產(chǎn)好的數(shù)據(jù)提交給調(diào)度中心，調(diào)度中心通知用戶下載。系統(tǒng)涉及客戶、調(diào)度中心、規(guī)劃中心、第三方資源數(shù)據(jù)中心之間的復(fù)雜數(shù)據(jù)交互過程。

新的軟件系統(tǒng)架構(gòu)要求具有開放性和靈活性，能與其他異構(gòu)系統(tǒng)進(jìn)行無縫數(shù)據(jù)交互，且能夠?qū)崿F(xiàn)并行處理大規(guī)模數(shù)據(jù)的能力。為此，軟件系統(tǒng)中引入面向服務(wù)架構(gòu)和分布式工作流技術(shù)，來解決上述問題。

2 Web服務(wù)與協(xié)同工作流技術(shù)

2.1 Web服務(wù)技術(shù)

Web服務(wù)技術(shù)是一項(xiàng)獨(dú)立于應(yīng)用程序開發(fā)平臺(tái)、具有松耦合特性并且滿足一系列Web協(xié)議標(biāo)準(zhǔn)的計(jì)算機(jī)技術(shù)［11］。Web服務(wù)技術(shù)為基于Internet／Intranet分布式系統(tǒng)的資源共享和功能集成提供靈活解決方案。它通過精確定義的接口來提供相關(guān)服務(wù)，屏蔽了實(shí)現(xiàn)服務(wù)具體的開發(fā)平臺(tái)和程序設(shè)計(jì)語言，使得客戶不用關(guān)心服務(wù)內(nèi)部實(shí)現(xiàn)細(xì)節(jié)，只需要提供相應(yīng)的參數(shù)，就能夠獲得需要的數(shù)據(jù)；另外Web服務(wù)采用開放的標(biāo)準(zhǔn)進(jìn)行數(shù)據(jù)描述、傳輸和交換，對(duì)關(guān)鍵數(shù)據(jù)，方便加入第三方組件進(jìn)行加密和過濾處理。對(duì)本系統(tǒng)而言，采用Web服務(wù)技術(shù)無疑是最佳選擇。因?yàn)檎{(diào)度系統(tǒng)與網(wǎng)站、規(guī)劃中心和數(shù)據(jù)中心之間都是異構(gòu)系統(tǒng)平臺(tái)，且物理上分別部署在不同區(qū)域，采用基于SOA架構(gòu)的軟件系統(tǒng)，統(tǒng)一了交互數(shù)據(jù)的格式，便于異構(gòu)系統(tǒng)之間數(shù)據(jù)交互。

2.2 面向服務(wù)的分布式協(xié)同工作流技術(shù)

傳統(tǒng)的工作流技術(shù)不能在不同的系統(tǒng)之間進(jìn)行有效地集成，或者使得集成后的業(yè)務(wù)流程變得非常復(fù)雜。而面向服務(wù)架構(gòu)則可以很好地解決業(yè)務(wù)流程無法集成的問題，它可以根據(jù)系統(tǒng)的需求，通過網(wǎng)絡(luò)對(duì)松散耦合的粗粒度應(yīng)用組件服務(wù)進(jìn)行分布式部署、組合和使用。因此，根據(jù)分布式工作流技術(shù)的特點(diǎn)以及面向服務(wù)的特性，將分布式工作流技術(shù)與面向服務(wù)相結(jié)合，提出基于SOA架構(gòu)的分布式工作流模型，以適應(yīng)開放、分布、異構(gòu)、動(dòng)態(tài)的遙感數(shù)據(jù)處理的復(fù)雜應(yīng)用需求［12－13］。

3 多源遙感資源協(xié)同調(diào)度系統(tǒng)架構(gòu)設(shè)計(jì)

3.1 四層架構(gòu)理論模型

圖2 四層架構(gòu)設(shè)計(jì)方案

目前，處理海量遙感數(shù)據(jù)的系統(tǒng)多采用3層結(jié)構(gòu)，即應(yīng)用層、邏輯層和數(shù)據(jù)層。這種結(jié)構(gòu)特點(diǎn)是系統(tǒng)結(jié)構(gòu)相對(duì)簡(jiǎn)單，實(shí)現(xiàn)起來相對(duì)容易，各層間耦合度較大，一般用于局域網(wǎng)范圍內(nèi)，適合處理集中式數(shù)據(jù)?，F(xiàn)系統(tǒng)要求：1）本地?cái)?shù)據(jù)中心實(shí)時(shí)獲取異地?cái)?shù)據(jù)中心的數(shù)據(jù)，滿足客戶通過瀏覽器和其他客戶端獲取空間數(shù)據(jù)；2）同時(shí)要求調(diào)度系統(tǒng)支持異地異構(gòu)數(shù)據(jù)交互，并進(jìn)行數(shù)據(jù)安全驗(yàn)證；3）通過客戶端實(shí)時(shí)監(jiān)控系統(tǒng)運(yùn)行狀態(tài)和任務(wù)交互情況。上述要求在三層結(jié)構(gòu)下無法同時(shí)滿足，基于此，提出四層架構(gòu)設(shè)計(jì)方案（如圖2所示），即在三層方案基礎(chǔ)上，增加支撐層。支撐層主要是框架和組件層，通過采用第三方成熟框架和組件，進(jìn)一步劃分邏輯層和數(shù)據(jù)層之間的界限，邏輯層不直接與數(shù)據(jù)交互，通過支撐層獲得數(shù)據(jù)。這樣設(shè)計(jì)可降低邏輯層和數(shù)據(jù)層之間的耦合度，便于對(duì)異構(gòu)海量數(shù)據(jù)的存取，同時(shí)，采用框架組件設(shè)計(jì)，便于系統(tǒng)更新和移植。

3.2 四層架構(gòu)方案實(shí)施

針對(duì)于上節(jié)的四層設(shè)計(jì)模式，在系統(tǒng)中四層架構(gòu)具體描述如圖3所示。

圖3 四層設(shè)計(jì)的具體功能部署

這4個(gè)層次具體實(shí)現(xiàn)描述如下：

1）應(yīng)用層以前臺(tái)網(wǎng)站應(yīng)用為主，主要實(shí)現(xiàn)遙感數(shù)據(jù)訂單請(qǐng)求、查詢、和修改；任務(wù)規(guī)劃請(qǐng)求的查詢和修改；歷史數(shù)據(jù)查詢和快速視圖數(shù)據(jù)檢索等任務(wù)。

2）中間層主要是業(yè)務(wù)邏輯接口層。將各具體任務(wù)封裝成Web服務(wù)，同時(shí)構(gòu)建與第三方軟件系統(tǒng)數(shù)據(jù)交互的Web服務(wù)接口。

3）支撐系統(tǒng)運(yùn)行的框架和組件層。主要包括JEE6框架、分布式工作流組件、空間數(shù)據(jù)訪問組件、集群管理組件和數(shù)據(jù)加密與過濾組件等。

4）基礎(chǔ)數(shù)據(jù)層。這一層主要完成本地?cái)?shù)據(jù)中心與其他分散數(shù)據(jù)中心之間的數(shù)據(jù)同步以及對(duì)支撐系統(tǒng)運(yùn)行的關(guān)系數(shù)據(jù)和其他類型數(shù)據(jù)的管理。

以上4個(gè)層次的具體軟件系統(tǒng)部署情況［13］如下圖4所示。

圖4 大系統(tǒng)軟件部署圖

整個(gè)大系統(tǒng)主要涉及6個(gè)子軟件系統(tǒng)，其中系統(tǒng)1為前臺(tái)網(wǎng)站系統(tǒng)，2為采用基于MFC的搭建三維數(shù)據(jù)顯示系統(tǒng)，3為采用C＃語言搭建的任務(wù)規(guī)劃系統(tǒng)，5為本地?cái)?shù)據(jù)中心采用Java GUI技術(shù)搭建，4和6分別是調(diào)度中心的服務(wù)器端和客戶端軟件系統(tǒng)。

由于規(guī)劃中心、三維顯示和各數(shù)據(jù)中心的系統(tǒng)為已有系統(tǒng)，且采用不同技術(shù)搭建，給系統(tǒng)集成帶來困難。調(diào)度中心是整個(gè)系統(tǒng)核心部分，調(diào)度中心的實(shí)現(xiàn)技術(shù)關(guān)系著整個(gè)系統(tǒng)的成敗。為此，調(diào)度中心服務(wù)器端采用基于JEE6框架搭建，部署Web Service服務(wù)和工作流引擎，運(yùn)行到Unix服務(wù)器中；監(jiān)控端采用Java GUI設(shè)計(jì)，通過Socket接口與服務(wù)器端實(shí)時(shí)通信，監(jiān)控系統(tǒng)的運(yùn)行狀態(tài)；前臺(tái)網(wǎng)站主要采用JSP和Ajax技術(shù)搭建，后臺(tái)支持Web服務(wù)器為Weblogic和GeoServer。

3.3 系統(tǒng)架構(gòu)分析

整個(gè)大軟件系統(tǒng)比較復(fù)雜，由調(diào)度系統(tǒng)將前臺(tái)網(wǎng)站、規(guī)劃中心和數(shù)據(jù)中心等系統(tǒng)統(tǒng)一成一個(gè)有機(jī)整體。這一軟件系統(tǒng)架構(gòu)設(shè)計(jì)，有效地實(shí)現(xiàn)了海量異構(gòu)遙感數(shù)據(jù)的共享和快速數(shù)據(jù)服務(wù)，尤其適用于對(duì)數(shù)據(jù)安全要求較高的軍民共享遙感數(shù)據(jù)管理系統(tǒng)。這一架構(gòu)先進(jìn)性主要體現(xiàn)在以下幾個(gè)方面［14］：

1）基于應(yīng)用層、功能邏輯層、功能組件支撐層和基礎(chǔ)數(shù)據(jù)層的多層次軟件體系結(jié)構(gòu)設(shè)計(jì)，使得整體軟件結(jié)構(gòu)層次清晰、功能劃分明確，系統(tǒng)結(jié)構(gòu)穩(wěn)定，易于系統(tǒng)升級(jí)和擴(kuò)展。

2）基于混合結(jié)構(gòu)的調(diào)度系統(tǒng)，既實(shí)現(xiàn)了異構(gòu)軟件系統(tǒng)之間的數(shù)據(jù)交互，又實(shí)現(xiàn)了對(duì)交互數(shù)據(jù)的實(shí)時(shí)監(jiān)控。

3）面向服務(wù)的協(xié)同分布式工作流設(shè)計(jì)，有效利用集群資源，實(shí)現(xiàn)對(duì)復(fù)雜業(yè)務(wù)流程的動(dòng)態(tài)管理，增加了系統(tǒng)的靈活性，給異構(gòu)環(huán)境下復(fù)雜數(shù)據(jù)流處理提供了可行方案。

但是系統(tǒng)整體比較復(fù)雜，配置管理起來技術(shù)難度較大；另外基于第3方組件的數(shù)據(jù)加密與過濾技術(shù)，對(duì)系統(tǒng)性能影響較大。

4 結(jié) 語

經(jīng)過實(shí)驗(yàn)室模擬仿真運(yùn)行和真實(shí)環(huán)境試運(yùn)行結(jié)果來看，本軟件系統(tǒng)架構(gòu)能夠滿足多用戶對(duì)多源異構(gòu)遙感數(shù)據(jù)服務(wù)的需求，有效地實(shí)現(xiàn)了對(duì)多源異構(gòu)遙感數(shù)據(jù)的綜合處理（包括存儲(chǔ)、傳輸與顯示等），提高了系統(tǒng)數(shù)據(jù)訪問的安全性。系統(tǒng)在實(shí)時(shí)數(shù)據(jù)監(jiān)控、并行數(shù)據(jù)訪問能力、多模式多狀態(tài)任務(wù)流轉(zhuǎn)流程處理方面也都有不錯(cuò)表現(xiàn)。

本文提出的軟件結(jié)構(gòu)模式，可應(yīng)用到面向各個(gè)應(yīng)用部門用戶，管理和組織所有衛(wèi)星下傳的圖像數(shù)據(jù)，廣泛服務(wù)于特殊情況的減災(zāi)救災(zāi)、應(yīng)急指揮以及常規(guī)的農(nóng)、林、城市規(guī)劃等關(guān)系國(guó)計(jì)民生的各個(gè)領(lǐng)域，具有一定的推廣示范應(yīng)用價(jià)值。

［1］閆秀英，傅俏燕.國(guó)產(chǎn)遙感衛(wèi)星數(shù)據(jù)應(yīng)用現(xiàn)狀及特點(diǎn)分析［J］.衛(wèi)星應(yīng)用，2010（3）：48－49.

［2］周成虎，歐陽，李增元.我國(guó)遙感數(shù)據(jù)的集成與共享研究［J］.中國(guó)工程科學(xué)，2008，10（6）：51－55.

［3］馮鐘葵，張洪群，王萬玉，等.遙感衛(wèi)星數(shù)據(jù)獲取與處理關(guān)鍵技術(shù)概述［J］.遙感信息，2008，8（4）：91－97.

［4］戴芹，劉建波，劉士斌.海量衛(wèi)星遙感數(shù)據(jù)共享的關(guān)鍵技術(shù)［J］.計(jì)算機(jī)工程，2008，34（6）：283－285.

［5］徐地保，趙小祥.海量遙感影像數(shù)據(jù)共享服務(wù)系統(tǒng)的工作流程［J］.現(xiàn)代測(cè)繪，2010，33（5）：13－15.

［6］賀春林，騰云，彭仁明.一種基于ECA規(guī)則的 Web Service工作流模型的研究［J］.計(jì)算機(jī)科學(xué)，2009，36（8）：112－115.

［7］鐘九生，江南，胡斌，等.面向城市應(yīng)用的多源遙感影像服務(wù)平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)［J］.地球信息科學(xué)學(xué)報(bào)，2012，14（1）：116－122.

［8］ZAMBOULIS L，MARTIN N，POULOVASSILIS A.Query performance evaluation of an architecture for finegrained integration of heterogeneous grid data sources［J］.Future Generation Computer Systems，2010，26：1073－1091.

［9］許勝禮，王世卿，畢戰(zhàn)科.基于GIS技術(shù)的物流信息系統(tǒng)設(shè)計(jì)架構(gòu)［J］.計(jì)算機(jī)工程與設(shè)計(jì)，2010，31（6）：1259－1263.

［10］章小衛(wèi)，顧夢(mèng)遠(yuǎn)，李斌.一種基于工作流自適應(yīng)軟件系統(tǒng)的監(jiān)控模型［J］.微電子學(xué)與計(jì)算機(jī)，2012，29（11）：25－28.

［11］李晉，杜慶東，穆寶良.基于SOA的數(shù)據(jù)挖掘服務(wù)整合研究與設(shè)計(jì)［J］.沈陽師范大學(xué)學(xué)報(bào)：自然科學(xué)版，2010，28（2）：218－220

［12］LI Fan，ZHANG Xu，WANG Hongrong.A Study of Distributed Remote Sensing Data Sharing Platforms Based on Web Services［C］∥2010International Symposium on Computational Intelligence and Design.2010：72－75.

［13］FRITZ S，MACCALLUM I，SCHILL S，et al.Geo－Wiki：An online platform for improving global land cover［J］.Environmental Modelling ＆ Software，2012，31：110－123.

［14］FENG Yuhong，F(xiàn)ENG Shengzhong，ZHAO Zhongying，et al.A comparison study between distributed and centralized Job workflow execution models［J］.Bulletin of Advanced Technology Research，2009，3（8）：18－23.