一種海量軍事信息的數(shù)據(jù)云管理系統(tǒng)

閆振東,高 斌

(中國電子科學(xué)研究院,北京 100041)

1 引 言

云計算(Cloud Computing)是近兩年提出的新概念,是分布式計算(Distributed Computing)、并行計算(Parallel Computing)和網(wǎng)格計算(Grid Computing)的進(jìn)一步發(fā)展,或者說是這些計算機科學(xué)概念的商業(yè)實現(xiàn)?？偟膩砜?云計算還處于一個起步階段,主要有Amazon、IBM 和Google、Hp等各自的計算平臺[1—3]。

當(dāng)前戰(zhàn)場形勢下,信息數(shù)量激增,甄別難度加大。首先,隨著各類偵察衛(wèi)星及空中、地面和海上偵察監(jiān)視設(shè)備的廣泛使用,信息化戰(zhàn)場形成了一個以計算機網(wǎng)絡(luò)為基礎(chǔ)、以偵察監(jiān)視衛(wèi)星為主的陸、海、空、天一體化戰(zhàn)場感知系統(tǒng),大量信息源源不斷地通過這一系統(tǒng)涌入指揮員的視野。例如科索沃戰(zhàn)爭中,北約利用自身廣泛的衛(wèi)星通信網(wǎng)絡(luò)每天傳輸15萬條以上的信息,包括加密和非加密聲音、數(shù)據(jù)和傳真信息。指揮機構(gòu)要在信息的海洋中快速、準(zhǔn)確篩選出有價值的信息,這的確是一個嚴(yán)峻的挑戰(zhàn)。其次,過去的戰(zhàn)爭由于受到技術(shù)條件的束縛,人們對戰(zhàn)場信息的認(rèn)識僅僅局限于情報,戰(zhàn)場信息管理也就簡化為戰(zhàn)場情報管理。但是隨著信息技術(shù)在戰(zhàn)爭領(lǐng)域的廣泛應(yīng)用,戰(zhàn)場信息的內(nèi)涵和外延遠(yuǎn)遠(yuǎn)超出了情報的范圍,要想獲得戰(zhàn)爭的勝利,僅僅掌握情報是不夠的,還必須了解、掌握整個戰(zhàn)場空間和作戰(zhàn)相關(guān)的數(shù)據(jù)、指令、消息、信號等敵我雙方的信息。戰(zhàn)場信息內(nèi)涵的多樣化使得信息管理對象的范圍急劇擴大,作戰(zhàn)雙方力求“兵不厭詐”導(dǎo)致信息的準(zhǔn)確性、有效性不易鑒別,信息管理的復(fù)雜程度極度增加。

云計算的提出,為實現(xiàn)軍事信息大規(guī)模數(shù)據(jù)的動態(tài)存儲和處理提供了一種新的解決方案。但是,目前的云計算服務(wù)和平臺主要都是由大型的商業(yè)公司提供的,開源的項目和平臺還比較少,而這方面的相關(guān)研究也還比較缺乏。此外,目前針對大規(guī)模數(shù)據(jù)處理的平臺都是領(lǐng)域無關(guān)的通用平臺,因此,針對軍事應(yīng)用領(lǐng)域或者某種特定的數(shù)據(jù)格式,可以進(jìn)一步研究相應(yīng)的優(yōu)化方法,提高數(shù)據(jù)管理和利用的效率。

面向海量軍事信息的數(shù)據(jù)云管理系統(tǒng)要解決海量軍事數(shù)據(jù)云的分布式存儲、跨域透明訪問與并行處理問題?；诖?本文采用了云計算的基本思想和技術(shù)來探索解決海量軍事信息的管理難題。

2 系統(tǒng)總體框架設(shè)計

如圖1所示,本系統(tǒng)主要由4個模塊組成:數(shù)據(jù)云存儲模塊、數(shù)據(jù)管理模塊、可編程API模塊、數(shù)據(jù)廣域網(wǎng)備份模塊[4—5]。

圖1 系統(tǒng)模塊之間的組織關(guān)系Fig.1 The structure relationship of system module

(1)數(shù)據(jù)云存儲模塊

該模塊是數(shù)據(jù)中心的核心,實現(xiàn)數(shù)據(jù)云集群構(gòu)建,數(shù)據(jù)存儲的負(fù)載均衡、冗余復(fù)制,對衛(wèi)星信息、雷達(dá)信息等各種軍事數(shù)據(jù)進(jìn)行結(jié)構(gòu)化存儲,并為管理模塊提供節(jié)點動態(tài)注冊的接口。

(2)數(shù)據(jù)管理模塊

該模塊是數(shù)據(jù)中心的高層管理平臺,實現(xiàn)對數(shù)據(jù)中心跨域的數(shù)據(jù)訪問,以及對數(shù)據(jù)中心的透明訪問、管理,實時監(jiān)控數(shù)據(jù)中心狀態(tài)。數(shù)據(jù)管理模塊具體實現(xiàn)了對數(shù)據(jù)的可視化查詢、透明存儲數(shù)據(jù)、刪除集群上的已有數(shù)據(jù),同時可以監(jiān)控數(shù)據(jù)中心的狀態(tài),如數(shù)據(jù)的剩余空間、集群節(jié)點狀態(tài)、數(shù)據(jù)的冗余程度、集群中數(shù)據(jù)的分布、當(dāng)前訪問數(shù)據(jù)中心用戶狀態(tài)等信息。通過該模塊,用戶可以通過簡單的操作,管理、監(jiān)視數(shù)據(jù)中心,對數(shù)據(jù)中心動態(tài)擴容[2]。

(3)可編程API模塊

該模塊向開發(fā)用戶提供了開放的API接口,這些接口的主要功能有數(shù)據(jù)查詢、數(shù)據(jù)存儲、冗余復(fù)制控制、map/reduce應(yīng)用模型等編程接口,用戶可以通過調(diào)用這些開放的可編程接口進(jìn)行二次開發(fā)。

(4)數(shù)據(jù)廣域網(wǎng)備份模塊

該模塊可以跨域地把一個集群節(jié)點的數(shù)據(jù)備份到其它節(jié)點上,當(dāng)整個集群節(jié)點被破壞時,也可以由其它節(jié)點上備份的數(shù)據(jù)恢復(fù)該節(jié)點上的數(shù)據(jù)。

3 主要模塊功能和結(jié)構(gòu)分析

本系統(tǒng)主要由三大模塊組成,分別是數(shù)據(jù)存儲模塊、數(shù)據(jù)管理模塊和可編程API模塊,下面分別詳細(xì)介紹。

3.1 數(shù)據(jù)存儲模塊

對海量軍事數(shù)據(jù)的存儲,采用google的GFS文件系統(tǒng)模型,分布式存儲數(shù)據(jù),在開發(fā)過程中,通過對apache開源組織Hadoop[6]項目的補充、修改,實現(xiàn)對軍事數(shù)據(jù)的特殊支持。數(shù)據(jù)中心使用廉價的Linux PC機組成集群,在上面運行各種應(yīng)用。即使是分布式開發(fā)的新手也可以迅速使用Hadoop的基礎(chǔ)設(shè)施。分布式文件系統(tǒng),隱藏下層負(fù)載均衡、冗余復(fù)制等細(xì)節(jié),對上層程序提供一個統(tǒng)一的文件系統(tǒng)API接口?？梢愿鶕?jù)自己的需求對它進(jìn)行特別優(yōu)化,如超大文件的訪問、讀操作比例遠(yuǎn)超過寫操作、PC機極易發(fā)生故障造成節(jié)點失效等。

數(shù)據(jù)存儲模塊的結(jié)構(gòu)如圖2所示,主要由一個主節(jié)點和多個資源服務(wù)器構(gòu)成。

圖2 數(shù)據(jù)存儲模塊的結(jié)構(gòu)圖Fig.2 The structure of data storage module

(1)一個主節(jié)點

主要用來管理主節(jié)點的元數(shù)據(jù)信息(比如目前運行的主節(jié)點的數(shù)目、負(fù)載情況等)、資源服務(wù)器的信息(比如運行是否正常等)和所有表的元數(shù)據(jù)信息(比如位置、表名、列名等),同時還管理數(shù)據(jù)的分配、資源服務(wù)器的負(fù)載和增減以及垃圾數(shù)據(jù)的收集工作以及表元數(shù)據(jù)信息的變化,并和超級管理器交互,協(xié)同管理整個系統(tǒng)的正常運行。

(2)多個資源服務(wù)器

資源服務(wù)器主要用來提供對該節(jié)點上數(shù)據(jù)的存取服務(wù)和管理,記錄節(jié)點上被分配的任務(wù)情況,并向主節(jié)點提供節(jié)點的狀態(tài)信息,如空余硬盤空間、內(nèi)存使用情況等。

3.2 數(shù)據(jù)管理模塊

數(shù)據(jù)管理模塊實現(xiàn)了對數(shù)據(jù)的透明管理,用戶可以通過web界面輕松地管理云數(shù)據(jù)系統(tǒng),其功能主要包括可視化查詢、存儲數(shù)據(jù)、刪除集群上的已有數(shù)據(jù);同時可以監(jiān)控數(shù)據(jù)中心的狀態(tài),如數(shù)據(jù)的剩余空間、集群節(jié)點狀態(tài)、數(shù)據(jù)的冗余程度、集群中數(shù)據(jù)的分布、當(dāng)前訪問數(shù)據(jù)中心用戶狀態(tài)等信息。通過該模塊,用戶可以通過簡單的操作管理、監(jiān)視數(shù)據(jù)中心。

(1)數(shù)據(jù)查詢、存儲、刪除

根據(jù)用戶的需要可以對云數(shù)據(jù)系統(tǒng)中的數(shù)據(jù)進(jìn)行條件查詢,并以表格的形式向用戶展示查詢的結(jié)果。通過web界面可以手動地向云數(shù)據(jù)管理中心加入任意數(shù)據(jù),同時可以設(shè)置文件塊大小、冗余復(fù)制方案等。當(dāng)用戶具有管理員權(quán)限的時候,就可以通過此管理界面刪除云數(shù)據(jù)中心中的數(shù)據(jù)。

(2)數(shù)據(jù)中心狀態(tài)監(jiān)控

此管理系統(tǒng)可以實時地監(jiān)控整個集群的整體狀態(tài),如:集群節(jié)點組成、集群中各節(jié)點是否處于激活狀態(tài)等。同時,通過管理系統(tǒng)還可以獲得每個節(jié)點的具體物理資源信息,如CPU使用率、內(nèi)存大小等,還可查看節(jié)點上存儲塊的信息等。以上狀態(tài)都可以通過圖形界面展現(xiàn)給用戶。

(3)冗余程度、數(shù)據(jù)均衡策略設(shè)置

冗余復(fù)制等級可以根據(jù)文件的要求,動態(tài)地設(shè)置冗余程度,系統(tǒng)默認(rèn)的冗余是3,也就是說每個塊有3個備份塊,分別存放在其它節(jié)點上。數(shù)據(jù)均衡策略設(shè)置相對比較開放,系統(tǒng)只提供一種簡單的數(shù)據(jù)均衡模型,但用戶可以自己編寫數(shù)據(jù)均衡策略,然后通過管理軟件的管理界面向系統(tǒng)提交方案,系統(tǒng)就會根據(jù)方案進(jìn)行均衡管理。

(4)數(shù)據(jù)節(jié)點動態(tài)注冊

當(dāng)用戶希望加入新的節(jié)點時,可以把希望加入的機器的主機名、主機IP等信息輸入管理系統(tǒng),系統(tǒng)會根據(jù)用戶提供的信息增加數(shù)據(jù)節(jié)點,并注冊到主節(jié)點,實現(xiàn)數(shù)據(jù)節(jié)點的動態(tài)注冊。新的數(shù)據(jù)節(jié)點加入系統(tǒng)后,系統(tǒng)會根據(jù)用戶設(shè)定數(shù)據(jù)均衡策略進(jìn)行數(shù)據(jù)均衡處理。

3.3 可編程API模塊

面向海量軍事信息的數(shù)據(jù)云管理系統(tǒng)提供可編程API的目的就是減小用戶并行編程的困難,不必了解并行編程的內(nèi)容,就可以對云存儲中的數(shù)據(jù)進(jìn)行并行化處理。

在系統(tǒng)底層采用MapReduce[7]分布式并行計算模型。MapReduce分布式計算模型能夠很好地利用集群和多核的特點,方便地在普通計算機構(gòu)成的集群中執(zhí)行并行計算,同時也簡化了并行計算模型,降低了并行程序設(shè)計的復(fù)雜度。本系統(tǒng)主要是利用了Apache的開源項目Hadoop提供的MapReduce支持,在其上執(zhí)行并行計算、任務(wù)調(diào)度、負(fù)載平衡等工作。同時,系統(tǒng)提供了一個作業(yè)隊列和一個優(yōu)化的作業(yè)調(diào)度程序,包括數(shù)據(jù)的拷貝與傳輸、緩存中間結(jié)果、最小化平均響應(yīng)時間等。

(1)采用開源的Apache項目Hadoop作為執(zhí)行平臺,提供MapReduce分布式并行計算支持,能夠方便地部署在大規(guī)模的普通計算機構(gòu)建的集群上,Hadoop本身提供了負(fù)載均衡以及容錯機制,降低了系統(tǒng)復(fù)雜度。

(2)系統(tǒng)保存一個等待執(zhí)行的作業(yè)隊列,作業(yè)之間的調(diào)度采用最小響應(yīng)時間策略。

(3)區(qū)分對待信息。對于可靠的、經(jīng)常使用的數(shù)據(jù)信息,將在大多數(shù)節(jié)點上保存該數(shù)據(jù)的拷貝,對于作業(yè)執(zhí)行計劃之間的數(shù)據(jù)沖突,采用了優(yōu)化的數(shù)據(jù)復(fù)制和傳輸算法。

在MapReduce基礎(chǔ)之上提供一些并行數(shù)據(jù)處理編程接口(API),其特點是通過使用簡單的可用接口,能對復(fù)雜的數(shù)據(jù)處理流程進(jìn)行操作,并對底層分布式處理細(xì)節(jié),對并行化的計算和處理進(jìn)行封裝,簡化用戶的編程行為。圖3說明了這一技術(shù)的具體實施。

圖3 采用Map Reduce的分布式計算模型Fig.3 The distributed module using Map Reduce

4 結(jié) 語

云計算本來是一種民用商業(yè)計算模型,屬于分布式計算技術(shù)。云計算模型多種多樣,功能也各不相同,但基本思想是一致的。鑒于云計算在軍事應(yīng)用方面的欠缺,本文采用了這種理念和思想,又針對軍事信息數(shù)據(jù)的特定需求和特點,提出了一種數(shù)據(jù)云管理系統(tǒng)。和通用的云計算平臺不同,本系統(tǒng)功能性較強,不關(guān)注通用性而只針對軍事海量信息的存儲和處理。試驗結(jié)果表明,云計算模型非常有助于解決大量軍事數(shù)據(jù)的處理。本文對民用技術(shù)在軍事上的應(yīng)用進(jìn)行了有益的探索和實踐,兩者的有機融合將會對我國信息技術(shù)的發(fā)展帶來更大的益處。

但是,由于軍事信息數(shù)據(jù)的實時性,以及戰(zhàn)場環(huán)境的復(fù)雜性,導(dǎo)致對系統(tǒng)的性能需求也差別很大。鑒于定量指標(biāo)的不確定性,對于云計算技術(shù)能否滿足需求還有待后續(xù)的研究來證明。

[1]劉越.云計算技術(shù)與應(yīng)用[M].北京:工業(yè)和信息化部電信研究院通信信息研究所,2009:3-10.LIU Yue.Cloud computing technology and application[M].Beijing:Teleinfo Institute of China Academy of Telecommunication Research of MIIT,2009:3-10.(in Chinese)

[2]Zhang H,Goel A,Govindan R.Using the small world model to improve freenet performance[C]//Proceedings of the 21st IEEE.New York:IEEE,2002:555-574.

[3]Bak P.How Nature Works:The Science of Self-Organized Criticality[M].New York:Copernicus Inc.,1996.

[4]趙曉哲,郭銳.軍事系統(tǒng)研究的綜合集成方法[J].系統(tǒng)工程理論與實踐,2004(10):127-130.ZHAO Xiao-zhe,GUO Rui.The integration method of Military system research[J].System Engineering Theory and Practice,2004(10):127-130.(in Chinese)

[5]韓家煒.數(shù)據(jù)挖掘:概念與技術(shù)[M].北京:機械工業(yè)出版社,2007.HAN Jia-wei.Data Mining:Concept and technology[M].Beijing:China Machine Press,2007.(in Chinese)

[6]Chuck Lam.Hadoop In Action[M].American:Manning Publications,2010.

[7]王晉川,何宏,張福臨.MapReduce框架與調(diào)度容錯機制研究[J].中國儲運,2010(12):90-91.WANG Jin-chuan,HE Hong,ZHANG Fu-lin.MapReduce frame and schedule fault-tolerant research[J].China Storage&Transport,2010(12):90-91.(in Chinese)