基于大數據的艦艇編隊情報分析平臺架構研究

崔家連，饒世鈞

（海軍大連艦艇學院，遼寧 大連 116018）

0 引 言

隨著水面艦艇編隊偵察預警手段多樣化，情報收集能力大幅提升，情報處理能力的發(fā)展卻滯后于情報的收集能力，情報優(yōu)勢不能及時轉變?yōu)闆Q策優(yōu)勢。未來水面艦艇編隊作戰(zhàn)樣式，必然是基于信息網絡的一體化作戰(zhàn)樣式，地理空間上涵蓋陸、海、空、天，物理空間上涵蓋聲、光、電、磁、網，導致情報數據多源異構類型復雜。高通量、高分辨率傳感器和網絡技術手段的廣泛運用，導致偵察情報中圖像情報高清化，并且由于傳感器自身、人為因素、偽裝欺騙、氣象環(huán)境影響等原因，導致情報中存在大量重復、虛假、沖突、孤立數據，影響情報分析結果的準確性和時效性。如何構建一個智能化、自動化的情報處理平臺，縮短從傳感器到艦載武器的響應時間，對未來水面艦艇編隊遂行防空反導、遠程打擊等任務有著重要的意義，也是奪取?？湛刂茩嗟年P鍵因素。

大數據時代，信息技術賦予了情報科學新的內涵，著力發(fā)展專業(yè)型、計算型、戰(zhàn)略型、政策型和方法型等“五型融合”的情報研究新范式。本文將重點探究大數據技術在艦艇編隊情報組織運用中的應用問題，并探討相應的解決方案。

1 艦艇編隊情報分析特點及需求

1.1 艦艇編隊情報特點

通常認為，大數據有4 個特點：數據量大（Volume）、數據類型繁多（Variety）、處理速度快（Velocity）和價值密度低（Value），即“4V”特征。在艦艇編隊情報領域主要表現出以下幾個特點（圖1）：

圖1 艦艇編隊情報數據特點

（1）數據量大。在長期軍事訓練和作戰(zhàn)行動的背景下，艦艇編隊已經積累電子偵察、氣象水文等大量歷史數據；岸基、空基、天基等各類偵察預警手段，源源不斷的產生海量數據，水面艦艇編隊情報數據量已經從TB 過渡到PB 級。

（2）數據類型繁多。無人機、預警機、衛(wèi)星、艦載傳感器等手段協(xié)同探測，艦艇編隊情報涵蓋了圖像情報、信號情報、測量與特征情報、技術情報等多種情報類型。其中，結構化數據有AIS、電子偵察數據、雷達目標數據等；非結構化數據有可見光圖像、紅外圖像、視頻、上級通報等。各種數據數據類型、位置精度、延時周期、來源層次等方面均存在較大差異。

（3）處理速度快。不同于傳統(tǒng)情報數據的“數據包”形式，大數據時代情報數據更多來源于各類傳感器、偵察設備產生的“流”數據。面對不斷產生的新數據，為了避免“獲取即過時”的尷尬局面，大數據環(huán)境下艦艇編隊情報工作必須快速響應，在動態(tài)環(huán)境中完成數據獲取與分析工作，確保情報分析結果的時效性。

（4）價值密度低。艦艇編隊數據量增長的同時，有效、可用的有效信息比例卻在下降。編隊預警探測設備自身因素、人為因素、復雜電磁環(huán)境等原因，導致編隊情報數據中出現大量重復、缺失、沖突、孤立數據。同時敵方欺騙干擾、偽裝佯動更加使得獲取的數據虛實難辨、真假混雜。

1.2 艦艇編隊情報思維的改變

大數據條件下，艦艇編隊情報工作處于一個全新的數據生態(tài)系統(tǒng)，給情報工作帶來了深刻的影響，數據獲取、分析、使用模式與以往大為不同，使得情報工作的思維必須轉變以適應新的形勢（圖2）：

圖2 大數據條件下情報思維的變化

（1）采樣思維到全樣本思維的轉變。情報工作正在從隨機采樣分析轉變?yōu)槿珮颖緮祿治?，尤其是在遠海作戰(zhàn)條件下，交戰(zhàn)區(qū)域存在大量中立、民用目標，必須對全部數據進行分析，以破除“情報迷霧”。

（2）因果關系到相關性關系的轉變。情報分析的邏輯基礎，從嚴密的因果關系推理，轉變?yōu)槠驅ふ蚁嚓P性關系。這是因為在海量的情報數據中尋找到因果關系需要采取擬合算法和模擬推演，時間代價較大。例如，美國雷神公司通過大數據分析，發(fā)現某國潛艇在某一海域活動時，該國反潛巡邏機即不出現在這一海域，進而摸出了該國潛艇活動規(guī)律。

（3）注重精確到注重效率的轉變。以往由于采取采樣而非全樣的方法，局部微小的誤差放大到數據全集就可能導致情報分析結果出現致命的方向性錯誤。所以，以往的情報分析注重追求算法的精確性。但是由于采取全樣本數據分析，大數據條件下局部錯誤不會被方法放大，由追求精確性轉變?yōu)樽非笮市?，甚至可以達到“秒級”響應。

（4）單一來源到多源融合的轉變。在情報大數據時代，情報數據的信息粒度日益細小，數據碎片化現象日益明顯。橫看成嶺側成峰，不同來源的數據可能從不同角度揭露不同的真相。通過將多源異構數據匯聚成統(tǒng)一結構的數據集合，將大量相關數據聚合到一起，經過數據清洗和互補，可以更好地揭示數據之間的關系，預測發(fā)展趨勢，提升判情的準確性。

1.3 艦艇編隊情報處理流程的改變

大數據條件下，艦艇編隊情報分析流程更加注重情報數據的采集、分析、處理，數據是整個情報組織運用中的核心與基礎。傳統(tǒng)情報分析流程與大數據條件下情報分析流程對比如圖3所示。

圖3 傳統(tǒng)情報流程與大數據環(huán)境下情報流程對比

信息始終是情報的基礎，這一點無論是在傳統(tǒng)流程中還是在大數據流程中都沒有改變，信息搜集始終是情報工作中一個重要內容。但是在大數據條件下，信息的搜集更加強調對于批量數據的自動獲取，而不是傳統(tǒng)的尋找稀疏的秘密信息。

從流程對比中可以明顯看出，大數據條件下多出了信息融合與數據清洗環(huán)節(jié)。這是由于大數據環(huán)境下，情報加工與傳統(tǒng)流程相比內容上發(fā)生較大變化。一方面，當前艦艇編隊情報數據環(huán)境發(fā)生較大變化，數據多源異構、類型復雜，一種數據只能揭示一個方面或者幾個方面的內容；另一方面，將多種信息融合到一起，能夠更加全面的展示事物的本質和潛在規(guī)律。

2 平臺架構

2.1 平臺總體架構設計

水面艦艇編隊情報處理平臺總體架構設計，首先需要立足于編隊海量異構情報的分析應用需求，基于Hadoop平臺強大的異構數據處理能力，利用分布式文件系統(tǒng)HDFS（Hadoop Distributed File System）和大數據集處理MapReduce 架構，構建經濟、高效、可靠的處理集群；其次，為解決廣泛獲取的數據獲得的信息優(yōu)勢與同時造成的決策劣勢之間的矛盾，基于大數據全樣本分析的優(yōu)勢，將分布式數據庫中的全局數據進行閱讀、識別、抽取、關聯(lián)、分析和理解，各集群進行并行處理，深度挖掘分析數據之間的關聯(lián)性和隱藏的潛在規(guī)律，去偽存真，消減戰(zhàn)場的不確定性；最后，為了增強平臺的魯棒性和靈敏性，平臺采取綜合化、一體化、層次化的開放式系統(tǒng)架構，上層結構指導下層運行，下層結構為上層結構提供功能支撐，各模塊功能上相互獨立，業(yè)務上相互協(xié)同，標準化接口設計，實現即插即用和無縫銜接。

系統(tǒng)整體采用面向服務的分布式的體系結構，編隊各成員之間可以共享情報數據，具備分布式的存儲和計算能力；面向服務是著眼于編隊靈活編組的需求，單個成員或系統(tǒng)的更新不必影響編隊整體的情報處理能力，具備較強的容災備份能力，整體架構如圖4所示。

圖4 基于大數據的艦艇編隊情報處理平臺體系架構

基礎資源層是是整個平臺運行的基礎，包括數據資源和基礎設施兩部分?；A設施提供整個平臺建立和運行所必須的存儲、計算、通信等基礎設施資源和調度、管理、監(jiān)控所需的軟件資源；數據資源將各探測預警分系統(tǒng)的數據整合為一體，提供結構、維度統(tǒng)一的數據資源，具備數據的搜集和整合能力。

信息支撐層為平臺提供大數據運算的環(huán)境，主要分為軟件支撐和信息服務兩部分。軟件支撐搭建了大數據運算的平臺，SQL/NoSQL 數據庫用于提供編隊海量異構數據的存儲和管理模塊，Hadoop、Spark、Storm 為平臺提供了分布式處理環(huán)境。信息服務則是為平臺的構建和運行提供功能性的模塊支持，包括數據預處理、數據轉換、數據校驗、融合處理等信息服務。

情報服務層則是在信息支撐層提供的協(xié)同和共享環(huán)境中，依托各功能模塊，實現特定的情報處理功能并生成相應的情報產品。情報服務層包括綜合情報、作戰(zhàn)情報、目標情報、動向情報、情報態(tài)勢、情報服務等情報產品，為各類情報產品的生成提供服務。

指揮決策層是基于情報服務層生成的相關情報產品，面向具體情報作戰(zhàn)應用的功能實現層。主要功能包括為海戰(zhàn)場偵察監(jiān)視、兩棲編隊海上作戰(zhàn)、對海/ 陸打擊等作戰(zhàn)行動和行為預測、態(tài)勢共享、指揮控制等提供情報保障。

2.2 運行流程

基于大數據的水面艦艇編隊情報處理平臺系統(tǒng)運行流程如圖5所示。不同于以往以平臺為中心或自上而下垂直的“煙囪式”結構，整個運行流程以數據為中心，數據在不同系統(tǒng)不同平臺之間流轉，貫穿“偵—控—打—評”全過程，將戰(zhàn)術、技術和裝備有機結合。

圖5 基于大數據的艦艇編隊情報處理平臺運行流程

根據不同類型作戰(zhàn)任務需求，平臺動態(tài)接引多種情報源和數據，包括雷達、偵察衛(wèi)星、電子偵察、航空偵察等多種情報來源，也包括報文、視頻、圖像、電磁等多種結構的數據載體，預留接口接引輿論、法律、政治等開源情報。各節(jié)點采集的數據按照“隸屬優(yōu)先、節(jié)點自治”的原則，匯集到分布式數據庫中，便于進一步的處理和分析。各功能模塊對數據進行預處理、壓縮，以節(jié)省海戰(zhàn)場珍稀的帶寬資源，并提取數據特征，在各資料庫中選取合適的算法對其進行處理，形成綜合態(tài)勢，支持戰(zhàn)術行動。在情報處理和分發(fā)過程中，采取MapReduce 模式，Map 階段將情報處理任務分發(fā)至平臺各節(jié)點，Reduce 階段將各節(jié)點的處理結果整合，形成最終結果。整個過程通過將任務分解，各節(jié)點并行處理，加速情報處理進程。

平臺生產的各類情報產品，可以根據不同分發(fā)規(guī)則，分別進行強制分發(fā)、訂閱分發(fā)和推薦分發(fā)。不同于傳統(tǒng)平臺以編指為中心依據指揮關系“點—點”的分發(fā)模式，將情報產品分別劃分為編隊級的偵察預警情報、單艦級的戰(zhàn)術指揮情報和火力單元級的跟蹤制導情報進行推送，以滿足不同級別用戶對于情報不同覆蓋區(qū)域、不同精度、不同信息粒度的需求。這樣可以縮減不同級別用戶從海量情報數據中獲得所需情報的時間，加強情報保障的時效性。

為充分調動計算資源和提升數據利用率，打破信息壁壘，按照“分布式組織管理，集中式分發(fā)共享”的原則，平臺采用分布式存儲和分布式計算的技術，對情報搜集、存儲、計算資源進行統(tǒng)一管理，根據情報保障任務需求，協(xié)調調度共同完成分析任務。采用傳統(tǒng)的關系型數據庫檢索、存儲現在艦艇編隊海量的異構數據效率會非常低下，而平臺采用的HBase 這類非關系型數據庫具有無可比擬的性能優(yōu)勢。

2.3 主要功能

（1）真實的態(tài)勢感知功能。綜合利用各種偵察手段，將貫穿作戰(zhàn)全過程的偵察預警、指揮決策、效果評估等各環(huán)節(jié)獲得的數據存儲到數據庫中，通過對情報數據的挖掘，較為準確的還原戰(zhàn)場真實態(tài)勢，可以應用于目標識別、偵察預警、查證敵人位置、網電攻防等。

（2）迅捷的輔助決策功能。充分利用大數據技術分布式計算的效率優(yōu)勢，從充斥著虛假、缺失、孤立等“臟數據”的海量數據中，快速提取出有價值的情報，增強預測性，為指揮員優(yōu)化作戰(zhàn)決策和完善行動方案提供情報支持。

（3）高效的資源調度功能。在多維的戰(zhàn)場空間中，通過構建的網絡化作戰(zhàn)環(huán)境，對編隊所屬的各類偵察預警設備和武器平臺協(xié)同管理，加速從傳感器到艦載武器的過程，以實現整體作戰(zhàn)效能的最大化。

（4）便利的模塊服務功能。通過面向情報用戶的服務體系架構，對平臺各部分功能軟件進行模塊化封裝，包括數據預處理、數據壓縮、數據存儲、數據挖掘、特征提取等，形成功能模塊軟件庫，在編隊各成員、各系統(tǒng)、各節(jié)點之間共享。

3 關鍵技術

3.1 基于“云”概念的多傳感器協(xié)同感知技術

編隊海上活動面臨的氣象、電磁環(huán)境日益復雜，ISR（情報、監(jiān)視、偵察）系統(tǒng)傳感器種類和數量越來越多，?？栈顒拥母黝惸繕嗽絹碓矫芗⌒突?、隱身化目標探測難度越來越大，這些都增加了編隊情報獲取的難度。因此需要根據預警、跟蹤、打擊、評估不同階段的探測需求和作戰(zhàn)規(guī)則，對傳感器、存儲、計算、通信等資源協(xié)同使用，優(yōu)化資源利用，獲取高質量數據。云計算分為基礎設施即服務（IaaS）、平臺即服務（PaaS）、軟件即服務（SaaS）三個層次。陸基核心節(jié)點作為處理中心，利用其最大峰值的計算和存儲能力，提供最高級別的Iaas、Paas 和Saas 服務；編隊作為中心節(jié)點，在極限通信條件下提供低于核心節(jié)點的服務能力。核心節(jié)點、中心節(jié)點、邊緣節(jié)點通過網絡互聯(lián)，靈活編組，構建聯(lián)合作戰(zhàn)云環(huán)境。通過將編隊探測資源、存儲資源、計算資源虛擬化，整合廣泛分布的各類設備，構建廣域共享的開放式“云”架構體系，實現ISR 系統(tǒng)分布式探測、資源互通共享，增強各系統(tǒng)之間的互聯(lián)互通互操作能力。

3.2 廣域的分布式大數據分析計算架構技術

研究符合編隊海上作戰(zhàn)特點的大數據分析計算架構技術，開發(fā)支持海量異構情報數據采集、存儲、計算和挖掘等大數據軟件系統(tǒng)，構建支撐實時、動態(tài)、精準情報分析的大數據平臺。Hadoop 可以為大規(guī)模分布式情報采集和融合提供高容錯性分布式和結構化存儲、跨節(jié)點快速處理功能；Spark 面向內存提供高保密的情報數據讀取和處理，支持面向指揮作戰(zhàn)應用的大數據分析處理功能；Storm 針對不間斷的情報數據流提供大規(guī)模、實時、容錯計算功能。批處理封裝在Hadoop 內核中，由MapReduce 作業(yè)執(zhí)行，并得到Hadoop 生態(tài)內其他組件如Hive、Pig 的支持；Spark 通過內存計算，可以滿足編隊對歷史數據挖掘的需求，其GraphX組件支持對圖結構的情報數據處理；Storm 基于其對流數據的處理優(yōu)勢，用以支持編隊短周期的快速指揮決策和控制。Hadoop+Spark+Storm 搭建了情報處理的典型框架，可以滿足艦艇編隊情報分析的要求。由于各類數據在編隊內部廣泛流通，需要充分考慮無連接、斷續(xù)連接、低帶寬等極限條件下的通信能力。

3.3 編隊多源異構情報數據智能化挖掘技術

與激增的情報數據同步增長的還有隱藏在各類數據背后的潛在信息，傳統(tǒng)的建模分析方法難以應對復雜多變的目標實際行為。面對存儲在分布式數據庫中質量良莠不齊、類型復雜多樣的各類數據，采取數據挖掘技術，對情報數據進行清洗、預處理，結合傳統(tǒng)的分類、聚類、關聯(lián)等方法和貝葉斯網絡、機器學習、決策樹、神經網絡等數據挖掘處理方法，可以較為準確的掌握目標作戰(zhàn)能力和作戰(zhàn)意圖，對其背景、態(tài)勢、特征、行為進行分析。例如，對于目標潛在行為方向的挖掘可以采用基于時空聚類的方法，采用BP 神經網絡求解輸入數據與輸出結果之間的關系。

4 結 論

艦艇編隊大數據情報處理平臺具有以下優(yōu)點：一是可以從海量的數據中快速提取出情報，形成覆蓋較大范圍的目標運動特征，加速打擊速度；二是可以自主關聯(lián)、整合、挖掘目標的威脅情況，為各級指揮員提供作戰(zhàn)決策和優(yōu)化方案的重要依據；三是能將片面、孤立的碎片化信息通過關聯(lián)整合提升為對整體、全域的認知層次，從不同方面揭示戰(zhàn)場態(tài)勢全貌。大數據情報處理技術，艦艇編隊防空反導、對海/陸打擊、反潛作戰(zhàn)有著重要的應用價值，可廣泛應用于各類作戰(zhàn)行動。