大數(shù)據(jù)環(huán)境下開源情報分析方法研究

蘇林茂,王東仁,趙洪坤

（31656 部隊，四川 樂山 614221）

計算機網(wǎng)絡在情報搜集、加工、儲存與提供科技信息服務方面展示出極大的優(yōu)越性，大大提高了開源情報工作的價值和地位。就科技發(fā)展而言，隨著大數(shù)據(jù)的廣泛應用，互聯(lián)網(wǎng)領(lǐng)域的外延性更大，技術(shù)集成度更高，普及程度更廣，進而使得信息的流轉(zhuǎn)和傳遞更加迅速。隨著我國社會經(jīng)濟和對外開放的不斷發(fā)展深化，在國家安全、社會穩(wěn)定、經(jīng)濟發(fā)展等一系列領(lǐng)域都將面臨更加嚴峻的全球化挑戰(zhàn)，在應對挑戰(zhàn)的過程中，開源情報工作發(fā)揮了舉足輕重的作用。如今大數(shù)據(jù)環(huán)境下開源情報在新冠疫情中的信息傳播和應急協(xié)作發(fā)揮了不可替代的作用，社交媒體信息幫助警方調(diào)查案件。同樣在大數(shù)據(jù)的支撐下，軍事智能化的發(fā)展是軍隊戰(zhàn)斗力的助推器，擁有自主識別能力的無人作戰(zhàn)平臺，對各類數(shù)據(jù)源進行自動化識別，判讀分析作戰(zhàn)區(qū)域內(nèi)各類目標的屬性、運動軌跡等有效信息，并按威脅程度大小自動分類生成目標清單，都是信息挖掘和采集技術(shù)運用到情報工作中的具體表現(xiàn)。通過把復雜的工作交給機器處理，增強了面對未來信息化戰(zhàn)場的感知能力，實現(xiàn)了作戰(zhàn)協(xié)同和自同步。

1 大數(shù)據(jù)環(huán)境下開源情報分析的重要性

從國家安全方面看，隨著信息數(shù)據(jù)的幾何級增長，開源情報的價值與日俱增。研究顯示，2020 年全球使用互聯(lián)網(wǎng)的人數(shù)已增長至45.4 億，全球約60%的人口已接入移動互聯(lián)網(wǎng)，普通互聯(lián)網(wǎng)用戶平均每天在線6h43min。開源情報的大部分來源已擴展至深度網(wǎng)絡、技術(shù)數(shù)據(jù)、商業(yè)圖像、灰色文獻等新興信息源。同時開源情報研究分析與學術(shù)研究、智庫機構(gòu)之間的關(guān)系越來越密切，有利于準確地把握社會變化的態(tài)勢。特別是在國外已有很多成功案例。較之傳統(tǒng)情報，開源情報更加全面綜合且系統(tǒng)化，更能夠顯示變化的趨勢和規(guī)律，正成為戰(zhàn)略決策、科研活動、經(jīng)濟調(diào)控、社會維穩(wěn)、軍情研究的強大支持[1]。比如在軍事上開發(fā)的目標識別跟蹤系統(tǒng)，就是著眼基于人工智能和大數(shù)據(jù)平臺的系統(tǒng)環(huán)境，提升了戰(zhàn)場空間中對敵情態(tài)勢的準確感知，提高了信息的處理能力，縮短了由信息到情報的轉(zhuǎn)換周期，為指揮員的正確決策提供了高效有力的保障。

從社會經(jīng)濟方面看，大數(shù)據(jù)在電信、智慧城市、電子商務及社交娛樂等行業(yè)已經(jīng)出現(xiàn)規(guī)?；瘧茫覈髷?shù)據(jù)市場將進入高速發(fā)展時期。大數(shù)據(jù)真正的價值體現(xiàn)在從海量且多樣的內(nèi)容中提取用戶行為、用戶數(shù)據(jù)、特征并轉(zhuǎn)化為數(shù)據(jù)資源，對數(shù)據(jù)資源進一步加以挖掘和分析，增強用戶信息獲取的便利性，實現(xiàn)從產(chǎn)品價值導向到以客戶體驗價值為中心導向的轉(zhuǎn)換，客戶體驗的提升也正是激發(fā)信息消費的根本原因[2]。大數(shù)據(jù)的應用帶來的最明顯效果是實現(xiàn)了智能決策。各大網(wǎng)絡運營商通過大數(shù)據(jù)實現(xiàn)了精準營銷。根據(jù)工信部2019 年的數(shù)據(jù)統(tǒng)計顯示：應用大數(shù)據(jù)后實現(xiàn)智能決策的企業(yè)占比高達56.7%?，F(xiàn)在認知計算和機器學習等技術(shù)的興起又進一步推動了智能化大數(shù)據(jù)對企業(yè)決策的支撐。同時，企業(yè)應用大數(shù)據(jù)后提升了運營效率，包括：更好的管理風險、創(chuàng)造了新的業(yè)務收入、提升了客戶滿意度以及增強生產(chǎn)能力。那么對于情報信息分析來說，對海量的數(shù)據(jù)進行整理和分析解讀，并將處理過的信息轉(zhuǎn)化為情報，用來準確的滿足用戶需求更顯得尤為重要。

2 大數(shù)據(jù)環(huán)境下的情報工作面臨的挑戰(zhàn)

在大數(shù)據(jù)的影響下，傳統(tǒng)的情報分析已經(jīng)不再適應當今的大環(huán)境，這就要求傳統(tǒng)的情報信息分析做出符合當今時代大背景下的改變。大部分文獻資料普遍數(shù)字化，僅需要通過搜索引擎或者諸如Shodan、Creepy 等開源網(wǎng)絡情報工具就能找到所需的信息，這雖然使得開源情報工作更加便利，但數(shù)據(jù)處理能力的不足會經(jīng)常導致情報產(chǎn)品的質(zhì)量不高。比如分析人員通常只能處理12%～30%的原始數(shù)據(jù)信息，其余信息則因過期而失去利用價值。數(shù)據(jù)處理能力的矛盾變得越來越尖銳。

現(xiàn)代社會每時每刻都在產(chǎn)生信息，面對海量的數(shù)據(jù)，數(shù)據(jù)挖掘采集技術(shù)在開源情報工作中有著不可或缺的地位。但是如何將其運用在時間工作中，以適應大數(shù)據(jù)環(huán)境下對開源情報的需求，如何分配工作權(quán)重，如何避免過度依賴技術(shù)手段而降低主觀判斷，都是有待解決的問題。

在情報分析的整個流程和結(jié)果不僅需要對自己分析成果的安全性進行增強，還要提升信息防護能力，保障情報產(chǎn)品不被不法之人利用。同時在分析數(shù)據(jù)的可視化程度上做的還不夠，需要適應時代的發(fā)展并且緊跟大數(shù)據(jù)的發(fā)展，不斷把握以及預測時代發(fā)展規(guī)律，最終才能滿足用戶多種多樣的動態(tài)需求?？傊?，在大數(shù)據(jù)環(huán)境下的情報分析工作，要想充分利用大數(shù)據(jù)技術(shù)帶來的機遇，使情報產(chǎn)品更為精準高效，不僅需要技術(shù)、方法、工具方面的創(chuàng)新，還在組織結(jié)構(gòu)、工作流程以及人才培養(yǎng)方面面臨著挑戰(zhàn)。

3 開源情報分析方法的深度挖掘

3.1 提高分析可視化程度

大數(shù)據(jù)時代，需要研究和挖掘情報信息分析工作的深層的含義，這樣才能把握情報信息分析內(nèi)容的精髓。比如情報信息分析內(nèi)容的可視化有三個方面的內(nèi)容：第一個方面是收集信息過程的可視化。情報信息分析必須要重視收集信息過程的可視化，必須保證收集信息的過程具有目的性和組織性，雖然諸如網(wǎng)絡爬蟲技術(shù)、大數(shù)據(jù)處理技術(shù)、網(wǎng)頁處理技術(shù)、檢索排序技術(shù)、自然語言處理技術(shù)等能提供快速、高相關(guān)性的信息服務。但由于數(shù)據(jù)基數(shù)龐大，也不能去盲目地進行信息的收集。首先要去分析什么是客戶需要的，什么是客戶重點關(guān)注的，要根據(jù)客戶的需求來選擇相關(guān)的信息進行收集。除此以外，要做好信息收集還需要信息分析人員根據(jù)客戶潛在的需求和以往的信息進行收集并整理整編和分析研判。第二個方面就是分析信息過程的可視化。主要是讓內(nèi)部分析人員或者非分析的工作人員都可以看到信息分析的標準和全部的環(huán)節(jié)等，這對于信息用戶而言是很重要的，用戶如果看到分析的標準和分析技術(shù)相關(guān)環(huán)節(jié)等內(nèi)容，就會對情報信息分析行業(yè)產(chǎn)生信任感。第三個方面是信息分析成果的可視化。這個過程是決定信息是否被用戶采納的重要過程，對于信息用戶而言，結(jié)果的可視化和分析成果是否準確還有分析效益如何，都會影響客戶的采納度。但是如果結(jié)果的可視化對于客戶而言，分析效益低或者是準確性不高，那么客戶會拒絕采納此信息。

3.2 善于使用開源數(shù)據(jù)挖掘工具

大數(shù)據(jù)環(huán)境下的數(shù)據(jù)是非結(jié)構(gòu)化，現(xiàn)有檢索方法效果甚微，只有數(shù)據(jù)挖掘技術(shù)才能進行高效的搜索、分析、處理。因此要善于使用數(shù)據(jù)挖掘工具，其中具有數(shù)據(jù)自動化信息收集工具SpiderFoot，可運行在Linux 和Windows 的開源網(wǎng)絡情報工具。它通過命令行界面與簡單而交互式的GUI 界面集成在一起，可以獲取相關(guān)目標的各種信息；從社交網(wǎng)絡平臺和圖像服務主機上收集用戶地理網(wǎng)址相關(guān)信息的Creepy 工具。它們都使用Python 語言開發(fā)，可以跨平臺上運行。

3.3 提升信息分析的安全性和競爭性

在大數(shù)據(jù)環(huán)境下需要提高信息分析成果的安全性，在保護大數(shù)據(jù)方面，要嚴格管控情報信息收集的入口，尤其是二次信息數(shù)據(jù)。同時，在保護數(shù)據(jù)和事務日志，輸入驗證，訪問控制以及實時保護隱私。盡管在多個階段進行加密可以確保數(shù)據(jù)的機密性，完整性和可用性，但如果不做好安全性的防范，很容易產(chǎn)生不可預估的后果。如今信息分析成果的安全理論研究和安全技術(shù)以及軟件的開發(fā)都在不斷發(fā)展與進步中，而情報信息分析行業(yè)最終會在激烈的網(wǎng)絡攻防中占據(jù)優(yōu)勢。情報信息分析的最終成果將會形成情報策略，會具有一定的競爭性，同時在今后的情報分析工作中,如何設定一個全新的評價指標，對于情報產(chǎn)品的競爭性和情報行業(yè)的發(fā)展是有一定作用的[3]。情報分析人員也要積極致力于在不犧牲數(shù)據(jù)隱私性的前提下促進創(chuàng)新的大數(shù)據(jù)最佳實踐。

4 開源情報信息分析的服務策略

4.1 建立基于大數(shù)據(jù)的開源情報分析與服務系統(tǒng)

情報分析與服務系統(tǒng)的建立有利于提高情報服務的精準性，是為用戶提供服務的技術(shù)支撐。從技術(shù)層面上講，主要包括大數(shù)據(jù)信息計算分析框架、多源異構(gòu)信息數(shù)據(jù)綜合處理、分布式信息處理應用服務等[4]。其中大數(shù)據(jù)信息計算分析框架技術(shù)提供海量數(shù)據(jù)處理的平臺，為相關(guān)信息大數(shù)據(jù)的實時、動態(tài)、精準的分析和處理提供支撐。多源異構(gòu)信息數(shù)據(jù)綜合處理技術(shù)可根據(jù)信息來源的不同格式和種類，提取情報大數(shù)據(jù)所需的關(guān)鍵要素，提高情報信息處理的實時性和效率。分布式信息處理應用服務技術(shù)進行分布式部署，提供信息分析人員的協(xié)同工作及情報分析過程中的信息共享，保證信息分析服務效率的最大化。

4.2 提供精準的預測服務

情報信息分析工作的核心和重點都是分析預測的準確性，通過定性分析法和定量分析法，從已知的信息中分析預測，并從用戶的未來發(fā)展趨勢和方向進行追蹤，形成分析預測模型。需要把握以下幾個方面，首先是信息來源的真實性，預測的準確與否，在于對信息的真實性和準確性的把握程度，情報分析的宗旨是求真務實，同時也要重視搜集信息情報的全面性和連續(xù)性。二是情報分析的準確性，分析人員要深刻理解情報分析“去粗取精，去偽存真，由此及彼，由表及里”的十六字方針。三是預測方法的選擇，根據(jù)預測對象的目的、要求、方向等，選擇適合的預測方法往往更能把握事物的關(guān)鍵和重點。四是情報分析的能力性，情報分析人員對信息情報的捕捉能力、分析研判能力、信息的提煉和推理能力、信息認知水平能力，在情報預測的服務中所起的作用是不容忽視的。

大數(shù)據(jù)環(huán)境下的開源情報信息服務更注重于發(fā)現(xiàn)客戶需求下的隱藏規(guī)律，并且利用這些被發(fā)現(xiàn)的規(guī)律去探索用戶未來需求，在這個基礎上，還會運用技術(shù)手段，對用戶需求進行分析，整理出不同的用戶需求特點并做好分類，這樣做的目的也是為了預測用戶未來需求，為用戶及時提供所需的情報信息服務，其中最重要的工作目的就是探詢用戶未來的需求[5]。

4.3 進行精準的服務評估

如今在大環(huán)境的影響下，需要情報服務機構(gòu)建立一個科學的評估體系，這樣才能客觀地反映情報信息服務機構(gòu)發(fā)揮的重要作用。情報信息服務機構(gòu)的評估體系，有利于對服務效果進行精準評估，有利于反映其產(chǎn)生的經(jīng)濟社會效益，有利于爭取到政策的支持，從而改變被社會邊緣化的現(xiàn)狀。所以說，建立一個科學的精準的評估體系對情報信息行業(yè)的發(fā)展是有著一定意義的。不僅如此，情報信息行業(yè)還可以根據(jù)服務評估找出自身不足，從而加快自身建設，更好地為用戶服務，形成合作共贏的良好發(fā)展趨勢[6]。

4.4 著力培養(yǎng)情報分析人才

情報分析工作是嚴謹復雜的智力活動，對情報分析人才的知識、技能、意識、道德四個方面研究大數(shù)據(jù)環(huán)境下情報分析人才素質(zhì)結(jié)構(gòu)，是具有學術(shù)型和實踐型的多學科理論基礎的復合型人才。情報分析人才的培養(yǎng)是長期性持續(xù)性的工作。如國外系統(tǒng)培養(yǎng)一個情報分析員至少需要8 年時間，因此要提高情報服務的精準性，情報分析人員是關(guān)鍵，決定著情報服務的最終質(zhì)量，也是情報服務策略的基礎。

5 結(jié)束語

綜上所述，情報分析作為情報學三大重點研究領(lǐng)域之一，是國家及社會重大決策規(guī)劃中的“耳目”和“尖兵”[7]。注重研究改善大數(shù)據(jù)環(huán)境下的開源情報的分析方法，使得情報分析變得更為精準與高效，更加具有安全性和競爭性以及預測性，特別是針對尚未受到足夠重視的公開來源情報的挖掘。信息技術(shù)必須作為情報的倍增器加以管理和開發(fā)，這樣才能體現(xiàn)通過精準的情報信息分析帶來的重要作用和社會經(jīng)濟效益。