大數(shù)據(jù)在部隊信息資源管理中的應用

尹承督,賈紅麗,李衛(wèi)東

(1.軍械工程學院 裝備指揮與管理系，石家莊　050003; 2. 77606部隊，拉薩　850000)

?

大數(shù)據(jù)在部隊信息資源管理中的應用

尹承督1,2,賈紅麗1,李衛(wèi)東2

(1.軍械工程學院 裝備指揮與管理系，石家莊050003; 2. 77606部隊，拉薩850000)

針對部隊管理數(shù)據(jù)日益出現(xiàn)的多源異構(gòu)、數(shù)據(jù)量劇增的現(xiàn)象，基于大數(shù)據(jù)處理工具和技術(shù),分析了大數(shù)據(jù)系統(tǒng)在部隊信息資源管理中的運用與數(shù)據(jù)交匯中心的構(gòu)建以及關(guān)鍵技術(shù)的處理。

大數(shù)據(jù)；大數(shù)據(jù)分析技術(shù); 信息資源；大數(shù)據(jù)分析系統(tǒng)

本文引用格式：尹承督,賈紅麗,李衛(wèi)東.大數(shù)據(jù)在部隊信息資源管理中的應用[J].兵器裝備工程學報，2016(8):118-121.

當前部隊信息化建設不斷發(fā)展，信息化管理平臺廣泛應用，裝備信息化程度逐步提高，數(shù)據(jù)常態(tài)化機制建立，軍事數(shù)據(jù)呈現(xiàn)出多源異構(gòu)、數(shù)量龐大等“大數(shù)據(jù)”現(xiàn)象，部隊信息資源逐漸成為現(xiàn)代作戰(zhàn)的重要因素,如何有效管理、分析部隊數(shù)據(jù)資源，從日益復雜龐大的數(shù)據(jù)信息中得到支持戰(zhàn)爭的優(yōu)化決策,對數(shù)據(jù)進一步“提純”成為部隊發(fā)展的重要研究課題。

1　大數(shù)據(jù)概念及大數(shù)據(jù)系統(tǒng)

“大數(shù)據(jù)”是從英語“Big Date”一詞翻譯過來的，大數(shù)據(jù)的概念并非剛剛出現(xiàn)，在20世紀90年代初，數(shù)據(jù)庫之父比爾·恩門就多次提及“Big Date”，大數(shù)據(jù)的定義至今沒有得到統(tǒng)一。

1.1大數(shù)據(jù)定義與特點

大數(shù)據(jù)有多種定義，維基百科、麥肯錫、亞馬遜約翰·羅瑟、Infomatica中國首席顧問但彬等都對大數(shù)據(jù)進行過定義[1]。綜合當今研究狀況，大數(shù)據(jù)是指其大小超過了典型數(shù)據(jù)庫軟件的采集、存儲、管理、分析等能力的數(shù)據(jù)集合。

信息產(chǎn)業(yè)界通常用4個V概括大數(shù)據(jù)的特征，即體量大(Volume)，一般指數(shù)據(jù)量在10TB以上的數(shù)據(jù)。類型多(Variety)，數(shù)據(jù)來源種類豐富，包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、準結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)。速度快(Velocity)，一是數(shù)據(jù)增長量快；二是數(shù)據(jù)處理速度快，數(shù)據(jù)處理遵循“1秒”定律。價值性(Value)，一是價值密度低；二是潛在價值高，大數(shù)據(jù)處理技術(shù)的迅速發(fā)展，促使在海量繁雜的信息中進行“沙中撈金”，獲得高價值的知識與決策[2]。

1.2大數(shù)據(jù)處理工具Hadoop系統(tǒng)

由于Hadoop處理平臺是開源性操作平臺，且出現(xiàn)的比較早，使用的比較成熟，而且Hadoop處理平臺適用于廉價的服務器集群，數(shù)據(jù)存儲與服務僅僅分布在HDFS與HBase兩個層次，從而大大減少資源的浪費[3]。且由于中國電信、移動、阿里、百度等知名企業(yè)所應用的都是Hadoop系統(tǒng)，對于我軍使用該系統(tǒng)有很好的軍民融合的道路途徑，便于部隊與地方對非保密性關(guān)鍵部件進行合作開發(fā)。

1) Hadoop系統(tǒng)介紹

2003年Google連續(xù)發(fā)表了GFS、MapReduce、BigTable 的論文，此時開源搜索引擎Nutch和開源全文檢索Lucene的作者Doug Cautting從Google發(fā)表的文章中找到提高平臺性能和可靠性的方法。從2004年，他用兩年的時間開發(fā)了深受廣泛歡迎的Hadoop系統(tǒng)。Hadoop目前是Apache組織所推進的項目，該項目由兩部分組成，一個是基礎部分，另一個是配套部分，如圖1所示。

圖1　Hadoop基礎構(gòu)架

2) Hadoop系統(tǒng)數(shù)據(jù)處理技術(shù)介紹

Hadoop系統(tǒng)的低成本、高容錯性、高擴展性且無需預先定義模式，被廣泛用于搭建大數(shù)據(jù)庫系統(tǒng)，特別適于精處理與分析數(shù)據(jù)，有效保存原始數(shù)據(jù)，在模式識別、索引編制、推薦引擎建立和分析方面都廣泛使用[4]。下面簡單介紹Hadoop系統(tǒng)的3個關(guān)鍵技術(shù)。

分布式文件系統(tǒng)HDFS,主要運行在廉價的硬件集群上，可存儲大規(guī)模數(shù)據(jù)集，進行流式數(shù)據(jù)讀寫(一次寫入，多次讀取)，便于集群規(guī)模動態(tài)擴展(錯誤檢測與快速自動恢復)，數(shù)據(jù)處理時采用的是移動計算不是移動數(shù)據(jù)。用塊可簡化存儲子系統(tǒng)，適合于提供容錯與復制操作。HDFS有名稱節(jié)點NameNode與數(shù)據(jù)節(jié)點DataNode兩類節(jié)點，以主從模式運行，主控服務器一般只有一個，從控服務器主要是防止名稱節(jié)點損壞，復制元數(shù)據(jù)，因此設置二級名稱節(jié)點。

分布式編程模式Map/Reduce，可以將Map函數(shù)看成“映射-分析數(shù)據(jù)”的過程,將Reduce函數(shù)看成“化簡-歸納數(shù)據(jù)”的過程。對于大數(shù)據(jù)(運算對象分布)拆分成多個Map(運算能力分布)可處理的分任務，并傳遞到遠端數(shù)據(jù)節(jié)點進行運行，最后由Reduce進行合并得到綜合結(jié)果,其核心思想“分而治之、移動邏輯、屏蔽底層、處理定制”，這就是Hadoop系統(tǒng)對大數(shù)據(jù)分析處理的一般過程。

面向列存儲的分布式數(shù)據(jù)庫系統(tǒng)HBase，HBase不是關(guān)系型數(shù)據(jù)庫，而是常說的NOSQL數(shù)據(jù)庫，它可以以線性方式擴展存儲規(guī)模，而且是動態(tài)擴展，無需停機擴展，避免了關(guān)系型數(shù)據(jù)庫擴展的安裝、維護復雜，受制于節(jié)點，原代碼需要更換等缺點，實現(xiàn)大規(guī)模數(shù)據(jù)的存儲[5]。

2　部隊信息資源管理現(xiàn)狀

隨著部隊信息化建設不斷深入發(fā)展，各種信息化管理平臺建立與廣泛使用，部隊時刻都在產(chǎn)生大量的數(shù)據(jù)信息，這為部隊建立了一個規(guī)模巨大，具有大數(shù)據(jù)特征的數(shù)據(jù)信息資源庫。面對部隊大量信息資源，部隊在如何分析、整合、梳理、提煉這些信息資源的過程中，還存在很多問題。總體表現(xiàn)缺乏頂層設計、信息化基礎建設不夠完善、軟件系統(tǒng)兼容性不好、運行機制不健全、信息化人才匱乏[6]。

1) 頂層設計缺乏指導性，信息管理涉及部隊不同層面，是一項復雜的系統(tǒng)工程，頂層設計要充分考慮我軍信息化水平與發(fā)展條件，避免造成盲目開發(fā)，自行其是，重復建設等現(xiàn)象。

2) 思維模式落后，傳統(tǒng)的被動反應式管理很難適應部隊精細化管理。隨著部隊信息化建設深入發(fā)展，必須加強對信息資源的采集、傳輸、處理，重視對部隊信息資源的快速、深度利用的程度。

3)信息管理系統(tǒng)類型多，相互之間信息不流通，數(shù)據(jù)冗余問題突出，并且對部隊業(yè)務工作指導性欠缺，缺乏信息管理人才，部隊應用這些信息系統(tǒng)的積極性不高，甚至有些系統(tǒng)基本處于閑置狀態(tài)，處于自生自滅的尷尬境地，難以發(fā)揮應有的效能。

4) 由總部及軍區(qū)開發(fā)的系統(tǒng)多，雖說這些信息系統(tǒng)給工作帶來一定的便利，使很多部門管理工作有了信息化輔助工具，數(shù)據(jù)查詢方便高效，但是這些信息系統(tǒng)的開發(fā)相對獨立，沒有充分考慮各系統(tǒng)之間的功能銜接和數(shù)據(jù)流通，經(jīng)常出現(xiàn)“信息孤島”，需要反復輸入相關(guān)信息，容易造成數(shù)據(jù)的冗余與不一致。加大了數(shù)據(jù)輸入人員的工作量，并且需要的數(shù)據(jù)信息統(tǒng)計不上來，而不需要的信息泛濫成災。

如今部隊面臨著大范圍的體制編制的變革，正值部隊數(shù)據(jù)重建的大好時機，采用適合于部隊信息化發(fā)展的數(shù)據(jù)管理平臺，構(gòu)建未來數(shù)據(jù)多種類、數(shù)據(jù)量大的大數(shù)據(jù)處理平臺，在最大程度上發(fā)揮數(shù)據(jù)決策分析工作的支持作用，是當今部隊新型軍事變革必須重視的一項重大工程。

3　部隊信息資源管理中的大數(shù)據(jù)分析系統(tǒng)構(gòu)建

隨著信息技術(shù)的發(fā)展,人類社會已經(jīng)進入一個數(shù)據(jù)爆炸的大數(shù)據(jù)時代,大數(shù)據(jù)對人們生活產(chǎn)生巨大影響同時,也對部隊信息化發(fā)展帶來巨大影響,尤其是部隊信息資源出現(xiàn)多源異構(gòu),數(shù)據(jù)量劇增的現(xiàn)象,建立適應部隊信息資源管理的大數(shù)據(jù)分析系統(tǒng)，實現(xiàn)由數(shù)據(jù)向戰(zhàn)斗力的轉(zhuǎn)化,對提升部隊信息化作戰(zhàn)能力有巨大推進作用。

3.1大數(shù)據(jù)分析系統(tǒng)示意圖

由于部隊信息化管理平臺的廣泛使用，裝備信息化程度提高，各種智能化、自動化設備的使用，使得部隊各種信息量成倍增長。相關(guān)數(shù)據(jù)呈現(xiàn)多樣化,視頻、音頻、圖像、表格等等多種形式的數(shù)據(jù)不斷大量產(chǎn)生。雖然從單一的部門來看數(shù)據(jù)量還達不到“大數(shù)據(jù)”的規(guī)模，但是信息化條件下要求聯(lián)合作戰(zhàn)能力的提升，所涉及的裝備復雜多樣,單位數(shù)量多，而且戰(zhàn)場環(huán)境、戰(zhàn)場態(tài)勢、作戰(zhàn)工程等的多樣性，要做到“能打仗，打勝仗”，各單位的數(shù)據(jù)信息必然要求上下互聯(lián)，縱橫互通，這樣綜合看待數(shù)據(jù)量，尤其是多兵種、大數(shù)據(jù)量、樣式多樣化的數(shù)據(jù)，要從中找到支持決策的信息猶如大海撈針，傳統(tǒng)的數(shù)據(jù)分析已嚴重不能應對部隊海量多源異構(gòu)的信息資源處理。而且大數(shù)據(jù)在部隊的個別領域已經(jīng)呈現(xiàn)，例如：航空、航天、情報偵察、軍事氣象等領域，數(shù)據(jù)規(guī)模達到PB級別[7]，因此部隊信息資源數(shù)據(jù)需要從大局上以大數(shù)據(jù)來對待，在部隊數(shù)據(jù)管理、分析、處理等方面對大數(shù)據(jù)技術(shù)提出具體要求。

以PC1—PC9代表不同單位、不同裝備、不同作戰(zhàn)指揮部、不同的作戰(zhàn)任務單元，以Hadoop系統(tǒng)建立信息交匯中心，將整個部隊信息資源體系構(gòu)成以信息交匯中心為基礎的數(shù)據(jù)處理網(wǎng)絡，如圖2所示。海量多源異構(gòu)的信息資源的匯聚，從作戰(zhàn)全局、管理部署、任務決策出發(fā)，經(jīng)過數(shù)據(jù)分析產(chǎn)生相關(guān)的決策信息迅速反饋給各個作戰(zhàn)單元，支持各單位做出相應的決策部署。

部隊在聯(lián)合作戰(zhàn)中更要重視從大量的數(shù)據(jù)中挖掘有用的價值，尤其是對來自不同單位，同時發(fā)生的數(shù)據(jù)進行對比關(guān)聯(lián)，得出及時的知識與決策，從而為指揮員準確掌握戰(zhàn)場態(tài)勢、情報信息，及時制定作戰(zhàn)決策。

圖2　部隊基于大數(shù)據(jù)分析的數(shù)據(jù)中心網(wǎng)絡建立示意圖

3.2數(shù)據(jù)交匯中心的建立及關(guān)鍵技術(shù)

針對部隊結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)并存的現(xiàn)象，研究開發(fā)支持結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)統(tǒng)一管理的大數(shù)據(jù)管理平臺，成為一項非常迫切的任務，因此對部隊信息資源的管理,采用大數(shù)據(jù)系統(tǒng),其數(shù)據(jù)交匯中心的建立至關(guān)重要，如圖3所示。

圖3　部隊信息資源交匯中心建立示意圖

需要解決的主要技術(shù)與問題：

1) 標準化,這里包括信息資源數(shù)字化標準和大數(shù)據(jù)存儲與分析技術(shù)應用接口標準化。統(tǒng)一部隊信息資源的數(shù)字化標準，尤其是多源異構(gòu)數(shù)據(jù)格式的統(tǒng)一性，并且在面臨部隊大面積改革，隸屬關(guān)系重大變動時機，大量數(shù)據(jù)進行數(shù)據(jù)格式統(tǒng)一更有利于部隊信息資源的共享，并且統(tǒng)一部隊大數(shù)據(jù)分析系統(tǒng)，統(tǒng)一采用Hadoop系統(tǒng)，對部隊聯(lián)合作戰(zhàn)的數(shù)據(jù)上下順暢，同級之間資源信息共享具有重大意義。大數(shù)據(jù)存儲分析技術(shù)應用接口的標準化，對于提高數(shù)據(jù)共享同樣具有重要意義。

2) 加強對部隊信息資源大數(shù)據(jù)分析的基礎技術(shù)利用。Hadoop大數(shù)據(jù)系統(tǒng)的分布式編程模式Map/Reduce的使用，采用任務分解、歸納提高數(shù)據(jù)分析的速率，而且大大降低對硬件的要求，利于節(jié)約部隊硬件使用成本。Hadoop大數(shù)據(jù)系統(tǒng)的HBase動態(tài)數(shù)據(jù)庫的使用，有利于隨著數(shù)據(jù)的增加在不停機的同時隨機擴充部隊數(shù)據(jù)存儲量，提高數(shù)據(jù)分析的不間斷，持續(xù)性，有利于部隊對信息掌握及時性，提高決策的時效性。

3) 注重數(shù)據(jù)安全訪問機制，數(shù)據(jù)的安全與防護不容忽視，確保數(shù)據(jù)的詳實、安全、可靠、可信，防止丟失、損壞、篡改、刪除等惡性事件發(fā)生。數(shù)據(jù)安全與防護設置不當將會對我軍發(fā)展造成不可估量的損失。設置相應的數(shù)據(jù)使用訪問權(quán)限，也是部隊大數(shù)據(jù)分析系統(tǒng)確保數(shù)據(jù)安全可靠必須高度重視的技術(shù)。

4) 所有技術(shù)的發(fā)展與應用都必須重視人的作用，相應的大數(shù)據(jù)分析系統(tǒng)的使用在技術(shù)發(fā)展的同時，必須加強信息化人才的培養(yǎng)，確保技術(shù)與人才同時發(fā)揮合力，使大數(shù)據(jù)系統(tǒng)在部隊發(fā)揮最大效益，促進部隊信息資源真正實現(xiàn)由數(shù)據(jù)到知識的轉(zhuǎn)變。

4　結(jié)束語

大數(shù)據(jù)時代的到來，預示著一場新的軍事革命的即將來臨，伴隨部隊信息化建設的發(fā)展，信息化管理平臺在各部門的廣泛使用，使得數(shù)據(jù)信息成為部隊戰(zhàn)斗力生成模式轉(zhuǎn)變的新型催化劑、融合劑。由于數(shù)據(jù)的多結(jié)構(gòu)，數(shù)據(jù)量的劇增,僅靠傳統(tǒng)的數(shù)據(jù)分析，必然造成數(shù)據(jù)利用的局限性，時效性差，為了更好地利用部隊數(shù)據(jù)，實現(xiàn)數(shù)據(jù)由輔助決策到支持決策，真正做到“數(shù)據(jù)到?jīng)Q策”的轉(zhuǎn)變，必須尋求更適于多源異構(gòu)的大數(shù)據(jù)分析手段，因此大數(shù)據(jù)分析技術(shù)成為部隊未來的必然選擇。同時在面臨我軍體制編制大變革的關(guān)鍵時期,構(gòu)建適用于我軍發(fā)展的大數(shù)據(jù)系統(tǒng)平臺,對部隊信息化的發(fā)展也具有強大的推動作用。

[1]楊巨龍.大數(shù)據(jù)技術(shù)全解基礎、設計、開發(fā)與實踐[M].北京：電子工業(yè)出版社,2014.

[2]趙剛.大數(shù)據(jù)技術(shù)與應用實踐指南[M].北京：電子工業(yè)出版社,2014.

[3]李軍.大數(shù)據(jù)從海量到精準[M].北京：清華大學出版社,2015.

[4]邢程,李玉梅,胡榮亮.“大數(shù)據(jù)”下的軍隊信息資源建設[J].教育技術(shù)研究,2014(3):65-68.

[5]姜念云,張松海,謝夏.大數(shù)據(jù)分析技術(shù)在文化資源管理中的應用[J].中國基礎科學,2014(1):17-20,27.

[6]王向博.基于數(shù)據(jù)挖掘的裝備維修信息管理研究[D].軍械工程學院裝備指揮與管理系,2013.

[7]涂新莉,劉波,林偉偉.大數(shù)據(jù)研究綜述[J].計算機應用研究,2014,31(6):1612-1616,1623.

(責任編輯楊繼森)

Application of Big Data in Military Information Resources Management

YIN Cheng-du1, 2, JIA Hong-li1, LI Wei-dong2

(1.Department of Equipment Command and Administration, Ordnance Engineering College,Shijiazhuang 050003, China; 2.The No.77606thTroop of PLA, Lhasa 850000, China)

Aiming at the phenomenon that the multi-source heterogeneous data appearing increasingly and data is increasing quickly about military management data, this paper mainlty analyzed the application of big data system in army information resources management and the construction of data interchange center as well as the disposing of key technology based on the processing tools and techniques of big data.

big data; big data analysis technology; information resources; big data analysis system

2-16-02-18；

2016-03-16

全軍軍事類研究生資助課題

尹承督(1984—)，男，碩士研究生，助理工程師，主要從事裝備建設與發(fā)展研究; 賈紅麗(1972—)，女，副教授，博士，碩士生導師，主要從事裝備建設與發(fā)展研究。

10.11809/scbgxb2016.08.027

format:YIN Cheng-du, JIA Hong-li, LI Wei-dong.Application of Big Data in Military Information Resources Management[J].Journal of Ordnance Equipment Engineering,2016(8):118-121.

E737

A

2096-2304(2016)08-0118-04

【信息科學與控制工程】