戰(zhàn)術(shù)數(shù)據(jù)鏈大數(shù)據(jù)應(yīng)用體系構(gòu)建

劉剛 毛云飛 李福才 吳俊辰

1.解放軍93216 部隊(duì)北京100000 2.中國(guó)電子科技集團(tuán)公司第二十八研究所江蘇南京210007

隨著互聯(lián)網(wǎng)/移動(dòng)互聯(lián)網(wǎng)、數(shù)字設(shè)備、物聯(lián)網(wǎng)/傳感器等技術(shù)的發(fā)展,全球數(shù)據(jù)生產(chǎn)在高速增長(zhǎng),世界已經(jīng)進(jìn)入大數(shù)據(jù)時(shí)代.傳統(tǒng)的數(shù)據(jù)處理技術(shù)已經(jīng)無(wú)法應(yīng)對(duì)新的挑戰(zhàn).以大數(shù)據(jù)為代表的新的信息處理技術(shù)開(kāi)始在各個(gè)領(lǐng)域、行業(yè)發(fā)揮重要作用,使數(shù)據(jù)價(jià)值能夠被更好地挖掘和利用[1].

美軍近年來(lái)以國(guó)防高級(jí)研究計(jì)劃局(Defense Advanced Research Projects Agency,DARPA)為牽頭單位,主導(dǎo)啟動(dòng)了大數(shù)據(jù)相關(guān)的多個(gè)研發(fā)項(xiàng)目,計(jì)劃將大數(shù)據(jù)應(yīng)用至情報(bào)、偵察、無(wú)人機(jī)指揮控制、武器故障排查等多個(gè)領(lǐng)域和方向,依賴(lài)于大數(shù)據(jù)收集技術(shù)、大數(shù)據(jù)處理技術(shù)、大數(shù)據(jù)展示技術(shù)等關(guān)鍵技術(shù),美軍期望通過(guò)強(qiáng)化數(shù)據(jù)的價(jià)值,確保其在信息戰(zhàn)場(chǎng)中的主導(dǎo)權(quán)[2?3].

數(shù)據(jù)鏈保障體系[4?5]在任務(wù)執(zhí)行中會(huì)產(chǎn)生大量過(guò)程數(shù)據(jù),依托各級(jí)各類(lèi)設(shè)備記錄和存儲(chǔ),各類(lèi)設(shè)備按照自身需求實(shí)現(xiàn)了主要數(shù)據(jù)的記錄,包括數(shù)據(jù)鏈指令、態(tài)勢(shì)、網(wǎng)絡(luò)控制指令等大量數(shù)據(jù),可以用作大數(shù)據(jù)分析及處理.然而,由于數(shù)據(jù)記錄方式的多樣性,數(shù)據(jù)記錄要素、格式不完全統(tǒng)一[6],此外,由于各類(lèi)設(shè)備存儲(chǔ)空間限制,數(shù)據(jù)無(wú)法長(zhǎng)時(shí)間存放,導(dǎo)致數(shù)據(jù)資產(chǎn)流失,大部分?jǐn)?shù)據(jù)的價(jià)值未能充分挖掘和使用.

為解決上述問(wèn)題,考慮構(gòu)建戰(zhàn)術(shù)數(shù)據(jù)鏈大數(shù)據(jù)應(yīng)用體系,以大數(shù)據(jù)平臺(tái)為基礎(chǔ),構(gòu)建多節(jié)點(diǎn)、全流程、體系化的大數(shù)據(jù)采集分析架構(gòu),實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)的自動(dòng)采集和備份,提供數(shù)據(jù)挖掘的能力[7?8].持久化存儲(chǔ)數(shù)據(jù)鏈系統(tǒng)產(chǎn)生的海量數(shù)據(jù),整合數(shù)據(jù)采集、數(shù)據(jù)清洗、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)加載、分布式處理等環(huán)節(jié),提供數(shù)據(jù)從獲取到形成分析數(shù)據(jù)集的全流程支撐,提升數(shù)據(jù)存儲(chǔ)能力和數(shù)據(jù)的統(tǒng)計(jì)分析效率[9].

1 總體構(gòu)想

1.1 設(shè)計(jì)原則

戰(zhàn)術(shù)數(shù)據(jù)鏈大數(shù)據(jù)應(yīng)用體系重點(diǎn)面向數(shù)據(jù)鏈體系的數(shù)據(jù)資產(chǎn)持久化,和基于數(shù)據(jù)資產(chǎn)的智能化應(yīng)用展開(kāi)設(shè)計(jì)[10].以大數(shù)據(jù)概念為核心,匯聚數(shù)據(jù)鏈系統(tǒng)的基礎(chǔ)數(shù)據(jù)、系統(tǒng)運(yùn)行采集的狀態(tài)數(shù)據(jù)及記錄數(shù)據(jù),結(jié)合統(tǒng)計(jì)評(píng)估分析方法開(kāi)展體系應(yīng)用效能評(píng)估,支撐數(shù)據(jù)鏈體系的分析、驗(yàn)證、改進(jìn)等領(lǐng)域的工作.整體設(shè)計(jì)原則遵循一致性、可行性、可擴(kuò)展性原則.

1.2 能力需求

戰(zhàn)術(shù)數(shù)據(jù)鏈大數(shù)據(jù)應(yīng)用體系,研究數(shù)據(jù)鏈體系中數(shù)據(jù)的使用,發(fā)掘數(shù)據(jù)中蘊(yùn)含的價(jià)值.需要具備海量數(shù)據(jù)存儲(chǔ)與實(shí)時(shí)分析能力、數(shù)據(jù)鏈體系的評(píng)估能力、數(shù)據(jù)鏈保障的智能輔助決策能力、數(shù)據(jù)鏈體系發(fā)展支撐閉環(huán)能力.

1.2.1 海量數(shù)據(jù)存儲(chǔ)與實(shí)時(shí)分析能力

依托分布式數(shù)據(jù)架構(gòu),實(shí)現(xiàn)數(shù)據(jù)鏈系統(tǒng)相關(guān)的海量數(shù)據(jù)在線、實(shí)時(shí)存儲(chǔ),從數(shù)據(jù)分類(lèi)上來(lái)說(shuō),包括用戶(hù)服務(wù)過(guò)程、值班人員操作、情況處置,以及平臺(tái)定位信息、指令、設(shè)備工作參數(shù)等；從數(shù)據(jù)來(lái)源上來(lái)說(shuō),包括數(shù)據(jù)中心、通信站點(diǎn)、指揮所以及空中平臺(tái)等.在線存儲(chǔ)容量PB 級(jí),提供不少于百億條數(shù)據(jù)的數(shù)據(jù)檢索、統(tǒng)計(jì)與報(bào)表生成能力.

綜合考慮數(shù)據(jù)來(lái)源及數(shù)據(jù)樣式情況,以大數(shù)據(jù)平臺(tái)為基礎(chǔ),整合“數(shù)據(jù)采集、數(shù)據(jù)清洗、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)加載、分布式處理”等環(huán)節(jié),提供數(shù)據(jù)從獲取到形成分析數(shù)據(jù)集的全流程支撐.對(duì)于單一數(shù)據(jù)鏈節(jié)點(diǎn)的大數(shù)據(jù)應(yīng)用,提升主要體現(xiàn)在分析效率及分析的數(shù)據(jù)體量上,依托大數(shù)據(jù)平臺(tái)的數(shù)據(jù)存儲(chǔ)能力和分布式處理能力,可以大幅提升數(shù)據(jù)的統(tǒng)計(jì)分析效率.對(duì)于多數(shù)據(jù)鏈節(jié)點(diǎn)的大數(shù)據(jù)應(yīng)用,構(gòu)建多節(jié)點(diǎn)、全流程、體系化的大數(shù)據(jù)采集分析架構(gòu),依托多級(jí)、多類(lèi)大數(shù)據(jù)平臺(tái)進(jìn)行數(shù)據(jù)處理及存儲(chǔ),可以實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)的自動(dòng)采集和備份,提供后續(xù)對(duì)各節(jié)點(diǎn)數(shù)據(jù)進(jìn)行關(guān)聯(lián)處理、數(shù)據(jù)挖掘的能力.

1.2.2 數(shù)據(jù)鏈體系評(píng)估能力

引入新技術(shù)應(yīng)用,結(jié)合機(jī)器學(xué)習(xí)和人工智能技術(shù),對(duì)于數(shù)據(jù)記錄進(jìn)行深度挖掘和模型訓(xùn)練,完成特定場(chǎng)景下智能評(píng)估技術(shù)研究,提升系統(tǒng)的效能評(píng)估準(zhǔn)確性及合理性[11?12].能夠基于海量的任務(wù)保障數(shù)據(jù),建立分析模型,對(duì)使用的數(shù)據(jù)鏈規(guī)劃、保障的流程、通聯(lián)情況等方面的數(shù)據(jù)比較、聚類(lèi)、分析和歸納,評(píng)估保障樣式、任務(wù)規(guī)劃以及系統(tǒng)的保障效能,實(shí)現(xiàn)對(duì)作戰(zhàn)支持能力的量化評(píng)價(jià).研究以數(shù)據(jù)鏈視角的作戰(zhàn)效能評(píng)估模型,將歷史經(jīng)驗(yàn)實(shí)體化模型化,并使用數(shù)據(jù)進(jìn)行模型驗(yàn)證.通過(guò)數(shù)據(jù)驅(qū)動(dòng)評(píng)估模型研究并實(shí)現(xiàn)模型的驗(yàn)證,通過(guò)評(píng)估模型規(guī)范數(shù)據(jù)記錄,逐步完善評(píng)估數(shù)據(jù)體系.

1.2.3 數(shù)據(jù)鏈保障智能輔助決策能力

將大數(shù)據(jù)的方法融入保障規(guī)劃的環(huán)節(jié),基于對(duì)歷史保障規(guī)劃的分析,有針對(duì)性地建立需求分析、手段匹配、能力分析等業(yè)務(wù)模型,能夠支撐輔助值班人員科學(xué)地開(kāi)展態(tài)勢(shì)容量估計(jì)、時(shí)隙分配、資源調(diào)配等保障預(yù)案、規(guī)劃制定工作.海量數(shù)據(jù)再生產(chǎn)得出的歷史知識(shí)經(jīng)驗(yàn)庫(kù)[13],基于積累的長(zhǎng)時(shí)間數(shù)據(jù),分析系統(tǒng)運(yùn)行規(guī)律,提取總結(jié)故障運(yùn)維時(shí)間段的數(shù)據(jù)特征,形成知識(shí)庫(kù)輔助系統(tǒng),為鏈路資源調(diào)配、站點(diǎn)優(yōu)選等提供科學(xué)的決策依據(jù).

進(jìn)一步結(jié)合人工智能等先進(jìn)技術(shù),實(shí)現(xiàn)人機(jī)結(jié)合共同決策的最終目標(biāo).計(jì)算機(jī)自動(dòng)學(xué)習(xí)人員決策的經(jīng)驗(yàn)和知識(shí),快速實(shí)現(xiàn)任務(wù)規(guī)劃,給出處置建議,人員僅需根據(jù)任務(wù)特性細(xì)化,微調(diào)建議方案,實(shí)現(xiàn)高度智能化.智能決策輔助概念如圖1所示.

1.2.4 數(shù)據(jù)鏈體系發(fā)展支撐閉環(huán)能力

以積累的海量數(shù)據(jù)為基礎(chǔ),依托大數(shù)據(jù)平臺(tái)提供的在線分析能力,對(duì)數(shù)據(jù)從使用不同模型進(jìn)行統(tǒng)計(jì)、分析與計(jì)算,關(guān)聯(lián)保障效能和通信資源使用情況,從通信站點(diǎn)建設(shè)規(guī)劃、巡修巡檢計(jì)劃制定、頻率資源優(yōu)選、消息標(biāo)準(zhǔn)擴(kuò)充、消息處理流程優(yōu)化等角度,給出系統(tǒng)的優(yōu)化建議進(jìn)行迭代發(fā)展,通過(guò)分析過(guò)程中獲得結(jié)果及發(fā)現(xiàn)的數(shù)據(jù)遺漏等,反饋至系統(tǒng)用于完善和升級(jí),對(duì)數(shù)據(jù)鏈體系發(fā)展給予可靠支撐.

圖1 智能決策輔助概念圖Fig.1 Concept graph of intelligent decision support

1.3 體系組成

體系總體組成分為數(shù)據(jù)鏈設(shè)備層、數(shù)據(jù)資源平臺(tái)層、數(shù)據(jù)管理應(yīng)用層.數(shù)據(jù)鏈設(shè)備層主要基于數(shù)據(jù)鏈體系設(shè)備,實(shí)現(xiàn)數(shù)據(jù)的感知和收集工作,是實(shí)現(xiàn)本體系構(gòu)建的基礎(chǔ).數(shù)據(jù)鏈資源平臺(tái)層,主要基于大數(shù)據(jù)技術(shù),搭建大數(shù)據(jù)池,統(tǒng)一、持久、穩(wěn)定地存放和管理數(shù)據(jù)資源,是體系構(gòu)建的重要中間環(huán)節(jié).數(shù)據(jù)管理應(yīng)用層主要基于開(kāi)放式的平臺(tái),研究并實(shí)現(xiàn)數(shù)據(jù)挖掘、數(shù)據(jù)共享、數(shù)據(jù)反饋相關(guān)的工作,是體系構(gòu)建的最終展示和價(jià)值體現(xiàn)窗口.1)數(shù)據(jù)鏈設(shè)備層.通過(guò)優(yōu)化數(shù)據(jù)記錄方式并完善數(shù)據(jù)記錄內(nèi)容,改進(jìn)設(shè)備的數(shù)據(jù)記錄能力,實(shí)現(xiàn)數(shù)據(jù)的自動(dòng)采集和匯總.2)數(shù)據(jù)資源平臺(tái)層.結(jié)合人工標(biāo)注處理,對(duì)數(shù)據(jù)進(jìn)行清洗和治理.重點(diǎn)突破數(shù)據(jù)驅(qū)動(dòng)的自動(dòng)建模與優(yōu)化技術(shù)、知識(shí)表述與自動(dòng)抽取技術(shù)和可視化呈現(xiàn)技術(shù),探索數(shù)據(jù)鏈系統(tǒng)數(shù)據(jù)智能化水平提升的途徑.3)數(shù)據(jù)管理應(yīng)用層.結(jié)合規(guī)律統(tǒng)計(jì)、聚類(lèi)優(yōu)選、分組處置等模型,支撐研制保障效能評(píng)估、預(yù)案輔助制定、問(wèn)題輔助定位等應(yīng)用,發(fā)揮大數(shù)據(jù)在輔助數(shù)據(jù)鏈建設(shè)規(guī)劃、優(yōu)化數(shù)據(jù)鏈運(yùn)行保障,以及提升數(shù)據(jù)鏈作戰(zhàn)支撐能力等方面的作用.能夠提供綜合運(yùn)維態(tài)勢(shì),直觀展現(xiàn)信息柵格運(yùn)行狀態(tài)和趨勢(shì),提供評(píng)估分析結(jié)果.能夠根據(jù)任務(wù)和態(tài)勢(shì),產(chǎn)生對(duì)可能發(fā)生事件的處置方案,組織各專(zhuān)業(yè)管理系統(tǒng)進(jìn)行聯(lián)動(dòng)處置,從而維持信息柵格正常運(yùn)行.構(gòu)建集基礎(chǔ)數(shù)據(jù)與資源管理、網(wǎng)絡(luò)運(yùn)行管理、指揮信息系統(tǒng)運(yùn)維管理、通信業(yè)務(wù)管理、值勤維護(hù)管理、輔助決策支持于一體的綜合化運(yùn)維管理方案.

2 數(shù)據(jù)架構(gòu)設(shè)計(jì)

數(shù)據(jù)鏈大數(shù)據(jù)應(yīng)用體系的數(shù)據(jù)架構(gòu),主要囊括數(shù)據(jù)中心、通信站點(diǎn)、用戶(hù)等節(jié)點(diǎn)的數(shù)據(jù)鏈?zhǔn)褂脭?shù)據(jù),包含指令、態(tài)勢(shì)、設(shè)備控制等多類(lèi)信息.依照特定的數(shù)據(jù)共享原則,梳理各類(lèi)數(shù)據(jù)共享的程度和范圍.基于統(tǒng)一的數(shù)據(jù)交換標(biāo)準(zhǔn),可將大數(shù)據(jù)體系構(gòu)建分為三級(jí),站點(diǎn)級(jí)、用戶(hù)級(jí)、區(qū)域級(jí),規(guī)范化地實(shí)施信息采集、匯聚和處理.

1)站點(diǎn)級(jí)節(jié)點(diǎn).主要作用是數(shù)據(jù)采集和上報(bào),主要采集站點(diǎn)設(shè)備實(shí)時(shí)狀態(tài)數(shù)據(jù)及日常綜合運(yùn)維產(chǎn)生的各類(lèi)記錄.考慮到站點(diǎn)數(shù)量較多的情況,站點(diǎn)級(jí)節(jié)點(diǎn)可采用數(shù)據(jù)詳盡記錄、空閑時(shí)間段數(shù)據(jù)向上匯集的方式,將數(shù)據(jù)信息通過(guò)專(zhuān)網(wǎng)傳遞至上級(jí)指揮所進(jìn)行預(yù)處理.2)用戶(hù)級(jí)數(shù)據(jù)節(jié)點(diǎn).主要作用為數(shù)據(jù)采集及數(shù)據(jù)預(yù)處理,匯集下級(jí)站點(diǎn)的數(shù)據(jù)信息,同時(shí)結(jié)合本節(jié)點(diǎn)數(shù)據(jù)進(jìn)行統(tǒng)一處理,將處理后的數(shù)據(jù)一路用于本節(jié)點(diǎn)業(yè)務(wù)報(bào)表展現(xiàn)需要,另一路上報(bào)區(qū)域數(shù)據(jù)中心.3)區(qū)域級(jí)節(jié)點(diǎn).可理解為區(qū)域數(shù)據(jù)中心節(jié)點(diǎn),作為數(shù)據(jù)處理核心節(jié)點(diǎn),具備數(shù)據(jù)匯聚、數(shù)據(jù)持久化存儲(chǔ)、數(shù)據(jù)融合、數(shù)據(jù)共享的能力,作為基礎(chǔ)穩(wěn)步推進(jìn)各項(xiàng)數(shù)據(jù)資產(chǎn)效益的產(chǎn)生.

3 標(biāo)準(zhǔn)體系設(shè)計(jì)

為了促進(jìn)數(shù)據(jù)鏈評(píng)估體系數(shù)據(jù)的有效、精確的積累與沉淀,確保數(shù)據(jù)資產(chǎn)的合理規(guī)范化存儲(chǔ)和應(yīng)用.制定有效的標(biāo)準(zhǔn)規(guī)范,朝著數(shù)據(jù)全局統(tǒng)籌處理的目標(biāo)開(kāi)展數(shù)據(jù)鏈大數(shù)據(jù)體系構(gòu)建工作[14?16].結(jié)合大數(shù)據(jù)實(shí)際應(yīng)用場(chǎng)景,構(gòu)建數(shù)據(jù)鏈大數(shù)據(jù)標(biāo)準(zhǔn)體系,用于規(guī)范和指導(dǎo)各設(shè)備/系統(tǒng)提供商,在大數(shù)據(jù)框架下的數(shù)據(jù)處理操作,為數(shù)據(jù)的感知、存儲(chǔ)、流轉(zhuǎn)、應(yīng)用全流程提供有效保障.

圖2 數(shù)據(jù)鏈大數(shù)據(jù)標(biāo)準(zhǔn)體系圖Fig.2 Standards system diagram of data link in the big data

數(shù)據(jù)鏈大數(shù)據(jù)標(biāo)準(zhǔn)體系分為數(shù)據(jù)基礎(chǔ)標(biāo)準(zhǔn)、技術(shù)應(yīng)用標(biāo)準(zhǔn)、數(shù)據(jù)評(píng)價(jià)標(biāo)準(zhǔn)、管理維護(hù)標(biāo)準(zhǔn)等4 類(lèi),數(shù)據(jù)鏈大數(shù)據(jù)標(biāo)準(zhǔn)體系見(jiàn)圖2.數(shù)據(jù)基礎(chǔ)標(biāo)準(zhǔn)對(duì)于數(shù)據(jù)鏈大數(shù)據(jù)應(yīng)用領(lǐng)域中涉及的術(shù)語(yǔ)進(jìn)行規(guī)定,對(duì)數(shù)據(jù)鏈大數(shù)據(jù)標(biāo)準(zhǔn)體系的適用范圍、目標(biāo)進(jìn)行界定,包含專(zhuān)業(yè)術(shù)語(yǔ)標(biāo)準(zhǔn)、使用范圍標(biāo)準(zhǔn).技術(shù)應(yīng)用標(biāo)準(zhǔn)制定涉及數(shù)據(jù)分類(lèi)、數(shù)據(jù)格式、命名規(guī)范、采集導(dǎo)入方式等方面的數(shù)據(jù)接口標(biāo)準(zhǔn),同時(shí)針對(duì)大數(shù)據(jù)處理平臺(tái)的數(shù)據(jù)集描述、處理生命周期和互操作特性等大數(shù)據(jù)相關(guān)技術(shù)進(jìn)行規(guī)范.數(shù)據(jù)評(píng)價(jià)標(biāo)準(zhǔn)主要負(fù)責(zé)對(duì)于數(shù)據(jù)鏈大數(shù)據(jù)體系中的各類(lèi)數(shù)據(jù)的完備性、可用性、規(guī)范性等特性的評(píng)估提供基礎(chǔ),綜合反映當(dāng)前數(shù)據(jù)的數(shù)據(jù)質(zhì)量.管理維護(hù)標(biāo)準(zhǔn)包括源數(shù)據(jù)和結(jié)果數(shù)據(jù)的存儲(chǔ)管理維護(hù)標(biāo)準(zhǔn)及安全管理標(biāo)準(zhǔn).

以上幾類(lèi)標(biāo)準(zhǔn)共同構(gòu)成數(shù)據(jù)鏈大數(shù)據(jù)標(biāo)準(zhǔn)體系,標(biāo)準(zhǔn)體系從數(shù)據(jù)鏈大數(shù)據(jù)體系的建立范圍、使用方式、評(píng)價(jià)方法、管理方式4 個(gè)方面,提供了標(biāo)準(zhǔn)化的整體規(guī)劃.該標(biāo)準(zhǔn)體系的建立,可以進(jìn)一步促進(jìn)和完善數(shù)據(jù)鏈體系的數(shù)據(jù)規(guī)范,夯實(shí)數(shù)據(jù)鏈大數(shù)據(jù)應(yīng)用體系構(gòu)建的基礎(chǔ).

4 結(jié)論

構(gòu)建戰(zhàn)術(shù)數(shù)據(jù)鏈大數(shù)據(jù)應(yīng)用體系,明確能力需求,開(kāi)展技術(shù)實(shí)現(xiàn)和相應(yīng)標(biāo)準(zhǔn)的研究,重點(diǎn)需要實(shí)現(xiàn)相應(yīng)技術(shù)規(guī)范的論證及數(shù)據(jù)資產(chǎn)的持久化工作,以此為基礎(chǔ),借助大數(shù)據(jù)技術(shù)構(gòu)建的數(shù)據(jù)鏈能力評(píng)估體系,提供多樣化的分析支撐能力,從而實(shí)現(xiàn)輔助數(shù)據(jù)鏈體系的穩(wěn)步發(fā)展的目標(biāo).