基于大數(shù)據(jù)的情報態(tài)勢感知技術(shù)

烏日娜

摘 ? 要：文章以大數(shù)據(jù)技術(shù)為基礎(chǔ)，在闡釋了態(tài)勢感知技術(shù)的前提下，將二者運用于情報工作的研究方向和發(fā)展現(xiàn)狀做一說明。通過以大數(shù)據(jù)為基礎(chǔ)的情報態(tài)勢感知，可以使情報工作能夠主動發(fā)揮優(yōu)勢，為決策提供可靠依據(jù)。

關(guān)鍵詞：大數(shù)據(jù);情報;態(tài)勢感知;數(shù)據(jù)處理;預(yù)測

中圖分類號： TP391.1 ? ? ? ? ?文獻(xiàn)標(biāo)識碼：A

1 引言

信息化條件下的網(wǎng)絡(luò)空間存在大量數(shù)據(jù)，如何通過大數(shù)據(jù)技術(shù)的收集、處理、描述、分析能力在海量數(shù)據(jù)中辨別出具有價值的信息，去偽存真，相互關(guān)聯(lián)，再以此類數(shù)據(jù)為基礎(chǔ)，洞悉風(fēng)險、預(yù)測未來趨勢，充分發(fā)揮情報工作“兵馬未動、情報先行”特點，實現(xiàn)從情報到安全的最終目標(biāo)，這是情報態(tài)勢感知技術(shù)所要達(dá)成的目標(biāo)。

2 態(tài)勢感知及其內(nèi)涵

態(tài)勢感知（Situation Awareness）的概念最初形成于軍事領(lǐng)域，其來源于戰(zhàn)場指揮系統(tǒng)的工作模式，即通過已有數(shù)據(jù)對整個戰(zhàn)場形勢的復(fù)雜局面進(jìn)行分析評估，進(jìn)而做出預(yù)測，結(jié)合預(yù)測結(jié)論做出相應(yīng)的反應(yīng)。態(tài)勢感知的過程，可以理解為其對所處空間和所在時間內(nèi)的各種要素進(jìn)行識別并理解，進(jìn)而預(yù)測其未來狀態(tài)的過程，主要分為三個層次，分別是感知（即知覺層—用來識別目標(biāo)環(huán)境中各要素）、理解（即理解層—以知覺層為基礎(chǔ)整體評價各要素對實現(xiàn)目標(biāo)的關(guān)鍵性）、預(yù)測（即推測層—整個態(tài)勢感知系統(tǒng)中最高的層級、以上兩個層級的結(jié)論為基礎(chǔ)，預(yù)測目標(biāo)環(huán)境中各要素變化趨勢和動作走向）[1]。

態(tài)勢感知的技術(shù)應(yīng)用主要體現(xiàn)在“感”和“知”上，也就是對目前狀態(tài)及發(fā)展趨勢的感受和認(rèn)知，并服務(wù)于決策，同時對整個機制進(jìn)行反饋修正。雖然態(tài)勢感知技術(shù)來源于軍事領(lǐng)域，但并不僅僅局限于此，其相關(guān)技術(shù)已廣泛運用到與數(shù)據(jù)相關(guān)的各行各業(yè)，尤其是在復(fù)雜系統(tǒng)的安全決策方面起著至關(guān)重要的作用。

3 基于大數(shù)據(jù)的態(tài)勢感知技術(shù)

數(shù)據(jù)是情報工作的重要來源，也是態(tài)勢感知技術(shù)的基礎(chǔ)。大數(shù)據(jù)技術(shù)帶來了一場前所未有的技術(shù)革命，這不僅僅是字面意義所表現(xiàn)出的具有海量數(shù)據(jù)的數(shù)據(jù)庫技術(shù)，而是在整個人類世界的思維方式和世界觀方面所帶來的巨大變革，即所有事物的描述、分析、處理都可以以數(shù)據(jù)化的方式進(jìn)行。

與傳統(tǒng)的數(shù)據(jù)技術(shù)相比，大數(shù)據(jù)技術(shù)通過其他諸如人工智能、網(wǎng)絡(luò)技術(shù)、云存儲、云計算、物聯(lián)網(wǎng)等先進(jìn)技術(shù)的支持，表現(xiàn)出數(shù)量大（即數(shù)據(jù)規(guī)模極其龐大）、類型雜（數(shù)據(jù)來源多樣、結(jié)構(gòu)類型復(fù)雜）、速度快（數(shù)據(jù)采集、傳輸和處理都可實現(xiàn)在線即時進(jìn)行）、價值密度低（數(shù)據(jù)數(shù)量越大其價值密度則越低）等突出特點[2]。隨著大數(shù)據(jù)時代技術(shù)的發(fā)展，網(wǎng)絡(luò)環(huán)境瞬息萬變，其特點都在情報工作領(lǐng)域逐一凸顯，情報任務(wù)日益復(fù)雜，這不僅加重了情報工作者的負(fù)擔(dān)，還使得情報用戶不斷降低對響應(yīng)等待的容忍度，對情報工作提出了更高的要求。

傳統(tǒng)的情報工作模式主要包括五個階段的循環(huán)：（1）規(guī)劃（確定目標(biāo)及實現(xiàn)目標(biāo)所需的信息類型）;（2）收集（收集不同來源的原始信息）;（3）處理（將原始信息融合處理成可用信息）;（4）分析（將可用信息通過整合、評估、分析等手段提煉出情報產(chǎn)品）;（5）遞送（將情報產(chǎn)品交由需求方）。決策者獲得情報產(chǎn)品后做出決策，其行動結(jié)果導(dǎo)致新的情報支持需求，這樣就觸發(fā)了下一輪情報工作循環(huán)程序[4]?？梢钥闯?，基于常規(guī)數(shù)據(jù)模式下的傳統(tǒng)情報工作，情報工作者處于對某一任務(wù)的被動回應(yīng)下，主動關(guān)注行為往往具有一定的局限性，這就造成了情報滯后于決策的局面，情報價值也大幅降低。要想將“情報現(xiàn)行”的優(yōu)勢發(fā)揮出來，就必須讓情報工作行動于任務(wù)需求之前，也就是實現(xiàn)情報數(shù)據(jù)主動感知機制，即“行動早、預(yù)見遠(yuǎn)”，而將大數(shù)據(jù)技術(shù)融入情報感知處理過程就可以充分發(fā)揮其對海量復(fù)雜數(shù)據(jù)收集、處理、描述、分析的功能，大大提高情報工作效率，高效實現(xiàn)情報的可用性處理。

基于大數(shù)據(jù)的情報態(tài)勢感知首先要對相關(guān)目標(biāo)數(shù)據(jù)進(jìn)行采集，篩選出具有價值的信息并進(jìn)行儲存，逐步形成一個與任務(wù)相關(guān)的大數(shù)據(jù)架構(gòu);其次，要利用各種目標(biāo)規(guī)劃、分析算法、數(shù)據(jù)模型的有效結(jié)合，對數(shù)據(jù)庫中的可用情報數(shù)據(jù)進(jìn)行更深層次的挖掘和分析，進(jìn)而從這些數(shù)據(jù)中推算出任務(wù)態(tài)勢和發(fā)展走向，輔助完成決策，最終實現(xiàn)情報任務(wù)的態(tài)勢感知[3]?；诖髷?shù)據(jù)的態(tài)勢感知關(guān)鍵技術(shù)主要包括：

3.1 數(shù)據(jù)采集技術(shù)

建立大數(shù)據(jù)技術(shù)的主要數(shù)據(jù)來源有三種途徑，分別是物聯(lián)網(wǎng)系統(tǒng)、Web系統(tǒng)和傳統(tǒng)信息系統(tǒng)。物聯(lián)網(wǎng)的發(fā)展是導(dǎo)致大數(shù)據(jù)產(chǎn)生的重要原因之一，其產(chǎn)生的數(shù)據(jù)量占據(jù)了整個大數(shù)據(jù)百分之九十以上的份額，這些數(shù)據(jù)大部分是非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)，價值密度較低。而Web系統(tǒng)產(chǎn)生的數(shù)據(jù)則涵蓋了大量價值化的數(shù)據(jù)，其與物聯(lián)網(wǎng)數(shù)據(jù)的不同之處在于，Web系統(tǒng)的數(shù)據(jù)往往是結(jié)構(gòu)化數(shù)據(jù)，且數(shù)據(jù)的價值密度比較高。傳統(tǒng)信息系統(tǒng)也是大數(shù)據(jù)的一個數(shù)據(jù)來源，雖然傳統(tǒng)信息系統(tǒng)的數(shù)據(jù)占比較小，但是由于傳統(tǒng)信息系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)清晰，同時具有較高的可靠性，所以傳統(tǒng)信息系統(tǒng)的數(shù)據(jù)往往也是價值密度最高的。

數(shù)據(jù)采集的主要技術(shù)：（1）數(shù)據(jù)庫采集，利用各種數(shù)據(jù)庫技術(shù)，實現(xiàn)不同類型數(shù)據(jù)庫之間的數(shù)據(jù)同步和集成;（2）網(wǎng)絡(luò)數(shù)據(jù)采集，借助網(wǎng)絡(luò)爬蟲工具或網(wǎng)站公開API，從網(wǎng)頁獲取非結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù)，并將其統(tǒng)一結(jié)構(gòu)化為本地數(shù)據(jù);（3）文件采集，包括實時文件采集和處理技術(shù)flume、基于ELK的日志采集和增量采集等。

3.2 數(shù)據(jù)預(yù)處理技術(shù)

基于數(shù)據(jù)管理的工作機制，其最重要的基礎(chǔ)性工作就是對數(shù)據(jù)采集階段收集到的各種數(shù)量龐大、類型復(fù)雜、多源異構(gòu)、時空關(guān)聯(lián)范圍廣的數(shù)據(jù)進(jìn)行整理和集中處理，將具有關(guān)聯(lián)性的數(shù)據(jù)整合重構(gòu)，進(jìn)而提高數(shù)據(jù)的邏輯性和系統(tǒng)性。數(shù)據(jù)預(yù)處理技術(shù)主要包括：（1）數(shù)據(jù)清理是指利用ETL等清洗工具，對冗余數(shù)據(jù)、噪音數(shù)據(jù)、遺漏數(shù)據(jù)等進(jìn)行去重和過濾，從而清除大量的無效數(shù)據(jù);（2）數(shù)據(jù)集成是指將不同數(shù)據(jù)源中的數(shù)據(jù)，進(jìn)行模式匹配、解決數(shù)據(jù)冗余和沖突后，合并存放到統(tǒng)一的臨時數(shù)據(jù)庫中的存儲方法，這樣便于數(shù)據(jù)調(diào)度和加載，為后續(xù)的數(shù)據(jù)分析及應(yīng)用奠定基礎(chǔ);（3）數(shù)據(jù)關(guān)聯(lián)是指根據(jù)業(yè)務(wù)規(guī)則將同一屬性的數(shù)據(jù)相互關(guān)聯(lián)，對其之間的關(guān)系進(jìn)行梳理，形成數(shù)據(jù)關(guān)系圖譜。

3.3 數(shù)據(jù)分析處理技術(shù)

在情報工作體系中引入態(tài)勢感知技術(shù)，除了進(jìn)行基礎(chǔ)的情報數(shù)據(jù)處理以外，還要對感知到的信息進(jìn)行關(guān)聯(lián)度分析，提升數(shù)據(jù)深度挖掘處理以及分析水平，從而將原始數(shù)據(jù)高效轉(zhuǎn)化為可用情報信息。數(shù)據(jù)分析處理技術(shù)主要通過數(shù)據(jù)挖掘算法和預(yù)測性分析來實現(xiàn)。

（1）數(shù)據(jù)挖掘算法。遵循任務(wù)規(guī)則，通過創(chuàng)建數(shù)據(jù)挖掘模型，對數(shù)據(jù)進(jìn)行試探和計算的數(shù)據(jù)分析手段，是大數(shù)據(jù)分析技術(shù)的理論核心。數(shù)據(jù)挖掘算法多種多樣，且因基于數(shù)據(jù)類型及格式的不同，相同算法也會呈現(xiàn)不同特點，但是其創(chuàng)建的過程都是以需求方提供的數(shù)據(jù)為基礎(chǔ)，而后針對任務(wù)需求特定的模式和趨勢進(jìn)行查找，并用分析結(jié)果來定義挖掘模型的參數(shù)，應(yīng)用于整個數(shù)據(jù)集。

（2）預(yù)測性分析。預(yù)測性分析是大數(shù)據(jù)分析最重要的應(yīng)用領(lǐng)域之一，也是態(tài)勢感知技術(shù)的核心。其通過多種高級分析功能，例如統(tǒng)計分析、預(yù)測建模、數(shù)據(jù)挖掘、文本分析、實體分析、實時評分、機器學(xué)習(xí)等先進(jìn)技術(shù)的應(yīng)用，幫助需求方分析結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)中的模式、趨勢和關(guān)系，并運用這些指標(biāo)來預(yù)測未來事件，為決策提供依據(jù)。

4 情報態(tài)勢感知前沿技術(shù)

情報態(tài)勢感知技術(shù)能夠充分發(fā)揮情報工作的先導(dǎo)性作用。在信息不完備的情況下進(jìn)行態(tài)勢感知，并準(zhǔn)確預(yù)測事物發(fā)展態(tài)勢，就必須強化數(shù)據(jù)處理模型的分析處理能力。情報工作相關(guān)技術(shù)研發(fā)水平代表著情報態(tài)勢感知能力高低，對國家安全具有重大意義，其中美國的情報技術(shù)代表著全球最高水平。美國情報機構(gòu)的技術(shù)孵化器LARPA（美國情報高級研究計劃局）和提供國防安全技術(shù)保障的DARPA（美國國防高級研究計劃署）所進(jìn)行的情報技術(shù)研究可以體現(xiàn)出情報態(tài)勢感知技術(shù)的發(fā)展方向[4]。

4.1 IARPA情報技術(shù)

IARPA利用全球事件中的全源數(shù)據(jù)進(jìn)行感知，對事件發(fā)展態(tài)勢進(jìn)行超前預(yù)判，為決策者第一時間進(jìn)行提示和預(yù)警，最大程度發(fā)揮了情報價值。其研究的項目主要可以劃分成收集技術(shù)（Collection）、計算技術(shù)（Computing）、分析技術(shù)（Analysis）和超前情報技術(shù)（Anticipatory Intelligence）四個方向，與情報態(tài)勢感知中的收集、處理、分析、預(yù)測環(huán)節(jié)緊密契合，與大數(shù)據(jù)技術(shù)密切相關(guān)，涵蓋了自然語言處理、機器學(xué)習(xí)、數(shù)據(jù)融合處理等多個技術(shù)領(lǐng)域。

4.2 DARPA情報技術(shù)

DARPA下屬的信息創(chuàng)新辦公室所進(jìn)行的信息技術(shù)研發(fā)工作主要集中在網(wǎng)絡(luò)技術(shù)、分析技術(shù)、（人機）共生技術(shù)方面，為情報態(tài)勢感知提供了有力的技術(shù)支持：（1）網(wǎng)絡(luò)技術(shù)主要進(jìn)行網(wǎng)絡(luò)空間態(tài)勢感知技術(shù)、網(wǎng)絡(luò)威脅感知及應(yīng)對技術(shù)的研究，開展網(wǎng)絡(luò)攻擊與防御，實現(xiàn)網(wǎng)絡(luò)安全與信息保護(hù);（2）分析技術(shù)以大數(shù)據(jù)為基礎(chǔ)，進(jìn)行分析技術(shù)、挖掘算法、軟件系統(tǒng)的不斷創(chuàng)新，幫助情報工作人員進(jìn)行海量數(shù)據(jù)分析，高效實現(xiàn)情報態(tài)勢感知;（3）（人機）共生技術(shù)利用計算機高速處理高容量的任務(wù)，通過機器語言使其具有與人腦類似的認(rèn)知功能，通過各種數(shù)據(jù)之間的相互關(guān)聯(lián)性判斷出數(shù)據(jù)表現(xiàn)內(nèi)在的發(fā)展趨勢，對新生事物或?qū)⒖赡馨l(fā)生的事件作出明智的反應(yīng)，是人工智能發(fā)展的必然趨勢。

5 結(jié)束語

基于大數(shù)據(jù)的情報態(tài)勢感知技術(shù)可以使情報工作充分發(fā)揮其優(yōu)勢，去粗取精、去偽存真、由此及彼、由表及里地收集整合情報數(shù)據(jù)，鑒別情報信息的可靠程度，確定其價值，探尋各種數(shù)據(jù)表象之間的內(nèi)在聯(lián)系，弄清來龍去脈，認(rèn)清本質(zhì)，揭示事件的真相和企圖，為決策提供可靠依據(jù)，真正做到“兵馬未動，情報先行”。

參考文獻(xiàn)

[1] ENDSLEY M R. Toward a theory of situation awareness in dynamic systems[J].Human Factors，1995，37 （1）：32-64.

[2] 黃欣榮.大數(shù)據(jù)技術(shù)的倫理反思[J].新疆師范大學(xué)學(xué)報（哲學(xué)社會科學(xué)版）， 2015，36（3）：46-53.

[3] 汪茹洋，李鵬.試論大數(shù)據(jù)技術(shù)網(wǎng)絡(luò)安全態(tài)勢感知平臺[J].科技創(chuàng)新與應(yīng)用，2020（10）：23-24.

[4] US Intelligence Community. Intelligence Cycle [EB/OL].[20180401].https：//www.intelligencecareers.gov/icintelligence.html.

[5] 趙柯然，王延飛.情報感知的方法探析[J].情報理論與實踐， 2018（41）：11-16.