大數(shù)據(jù)時代《網(wǎng)絡(luò)情報獲取與分析技術(shù)》課程建設(shè)研究

□姚婷婷，武海燕

(1.湖南警察學(xué)院，湖南 長沙 410168；2.鐵道警察學(xué)院，河南 鄭州 450053)

一方面日新月異的信息技術(shù)背景導(dǎo)致了現(xiàn)階段犯罪的形式、途徑均有向網(wǎng)絡(luò)化發(fā)展的趨勢；另一方面公安實戰(zhàn)一線網(wǎng)絡(luò)情報獲取輔助性工具與分析方法發(fā)生了根本性變化。然而公安院校還未能形成合適的機制順應(yīng)變化，對現(xiàn)階段犯罪形式的新特點、新形式難以作出及時“響應(yīng)”與“同步”，使公安人才培養(yǎng)與實戰(zhàn)相對脫節(jié)，公安網(wǎng)絡(luò)安全崗位人才培養(yǎng)在技術(shù)上的“供需”出現(xiàn)了“失衡”。

一、課程建設(shè)背景與現(xiàn)狀

根據(jù)《普通高等學(xué)校本科專業(yè)類教學(xué)質(zhì)量國家標(biāo)準(zhǔn)》中對網(wǎng)絡(luò)安全與執(zhí)法專業(yè)課程的要求可知，該專業(yè)要涵蓋網(wǎng)絡(luò)情報搜集與分析知識點和技能單元。近些年，公安一線的科技信息化進程在“金盾工程”“天網(wǎng)工程”等一系列各級公安科信項目的推動下，完成了包含網(wǎng)絡(luò)基礎(chǔ)設(shè)施、網(wǎng)絡(luò)硬件設(shè)備、信息中心、警綜平臺、公安大情報平臺、部門間共享服務(wù)平臺以及警用地理信息系統(tǒng)平臺等軟硬件的建設(shè)工作。由此，積累了大量珍貴的系統(tǒng)資源、數(shù)據(jù)資源及案例資源。而公安院校卻還沒有形成相應(yīng)的機制及時跟上一線信息技術(shù)革新應(yīng)用的變化，使得公安院校相關(guān)專業(yè)人才培養(yǎng)與實戰(zhàn)相對脫節(jié)，無法向公安科信、網(wǎng)絡(luò)技術(shù)偵查等部門輸送能勝任新技術(shù)環(huán)境下信息情報工作需求的技術(shù)人才。在這個背景下，網(wǎng)絡(luò)安全與執(zhí)法專業(yè)的《網(wǎng)絡(luò)情報獲取與分析技術(shù)》課程建設(shè)任務(wù)對公安高校教授該課程的教師提出了較高的要求，與“拓荒”無異。

《網(wǎng)絡(luò)情報獲取與分析技術(shù)》課程的定位是培養(yǎng)網(wǎng)絡(luò)安全執(zhí)法專業(yè)的學(xué)員在治安防控、政治安全保衛(wèi)、案事件情報獲取、重點人員管控等相關(guān)網(wǎng)絡(luò)線索的獲取、分析能力的課程。該課程作為網(wǎng)絡(luò)安全與執(zhí)法專業(yè)的專業(yè)課程，是以公安技術(shù)偵查、計算機技術(shù)偵查、電子數(shù)據(jù)取證等先導(dǎo)課程為基礎(chǔ)，介紹對當(dāng)前搜索引擎、云計算、大數(shù)據(jù)等新興技術(shù)構(gòu)建警務(wù)云平臺，進行公安工作應(yīng)用的課程。

然而，通過公開數(shù)據(jù)源查詢，全國公安院?？蛇x用的《網(wǎng)絡(luò)情報獲取與分析技術(shù)》教材只有2014年中國人民公安大學(xué)顧益軍教授主編出版的同名教材。此外，沒有系統(tǒng)的且貼近國內(nèi)網(wǎng)安崗位工作流程的資料參考借鑒。根據(jù)公安內(nèi)部工作條例，也不排除有只在公安一線部門內(nèi)部發(fā)行與流通的講義等(教學(xué)教材不適用)。國外的網(wǎng)安工作體制和方法與中國國情有異，且多數(shù)技術(shù)、手段屬于保密級別。故而在公開數(shù)據(jù)源查詢資料相當(dāng)困難，收獲甚少。貼近實戰(zhàn)環(huán)境的實驗實訓(xùn)指導(dǎo)書以及實驗實訓(xùn)平臺的建設(shè)思路也在一直不斷的探索中。

該課程的課程建設(shè)工作已“如箭在弦”，不得不發(fā)。

二、課程建設(shè)

《網(wǎng)絡(luò)情報獲取與分析技術(shù)》課程建設(shè)應(yīng)該結(jié)合公安科信工作發(fā)展實際，以“服務(wù)公安、服務(wù)實戰(zhàn)”為宗旨，緊密貼合現(xiàn)階段網(wǎng)絡(luò)安全執(zhí)法工作要求，以當(dāng)前實戰(zhàn)環(huán)境下采用的主流信息技術(shù)體系、框架以及軟硬件環(huán)境為基礎(chǔ)，收集和展現(xiàn)現(xiàn)階段網(wǎng)安工作的現(xiàn)狀，沉淀網(wǎng)絡(luò)安全執(zhí)法戰(zhàn)線的先進經(jīng)驗與做法，為培養(yǎng)切合網(wǎng)安工作一線需要的網(wǎng)絡(luò)安全與執(zhí)法人才做鋪墊。

《網(wǎng)絡(luò)情報獲取與分析技術(shù)》課程建設(shè)的工作內(nèi)容包括四個方面：一是內(nèi)容建設(shè)，體現(xiàn)在教材建設(shè)上；二是實驗實訓(xùn)體系建設(shè)；三是基本教學(xué)資源庫(教學(xué)大綱、教案、PPT題庫、實驗視頻的錄制)建設(shè)；四是師資隊伍建設(shè)研究。

(一)教材建設(shè)

1.已有教材分析

中國人民公安大學(xué)顧益軍教授2014年主編出版的《網(wǎng)絡(luò)情報獲取與分析技術(shù)》教材中，以介紹當(dāng)時獲取網(wǎng)絡(luò)情報的WEB信息為主線，其中主要包括結(jié)構(gòu)化數(shù)據(jù)的獲取與處理技術(shù)、非結(jié)構(gòu)化數(shù)據(jù)的獲取技術(shù)、網(wǎng)絡(luò)爬蟲技術(shù)、鏈接分析技術(shù)和信息檢索技術(shù)；另外對當(dāng)時公安實踐中的網(wǎng)絡(luò)輿情分析與研判技術(shù)、案事件情報分析技術(shù)做了總結(jié)和歸納。[1]該本教材對《網(wǎng)絡(luò)情報獲取與分析技術(shù)》課程的意義非凡，是零的突破，對該課程所涉及知識范圍結(jié)合公安一線實戰(zhàn)做了準(zhǔn)確的界定和卓有成效的探索。

但是在當(dāng)時的信息技術(shù)背景下，公安網(wǎng)絡(luò)情報的搜集與分析技術(shù)還處在“萌芽”狀態(tài)。大數(shù)據(jù)、云計算無論從技術(shù)上還是成本上都與警用的實際需求差距很大。建設(shè)基于“網(wǎng)絡(luò)爬蟲+大數(shù)據(jù)云計算平臺+AI算法情報推送”框架的情報分析平臺的時機還遠不成熟。近幾年，隨著相關(guān)技術(shù)的成熟，公安科信工作隨之推進深入，搜索引擎、大數(shù)據(jù)、警務(wù)情報云平臺的逐步實施和完善以及云計算、人工智能等新興技術(shù)與公安工作深度融合，《網(wǎng)絡(luò)情報獲取與分析技術(shù)》課程迎來了革新、豐富以及整合的技術(shù)窗口和革新窗口。

2.教材總體框架

以計算機的誕生顛覆了傳統(tǒng)記錄信息與存儲信息的方式為開端，到20世紀(jì)90年代互聯(lián)網(wǎng)技術(shù)的誕生解構(gòu)了傳統(tǒng)的信息傳遞方式，開創(chuàng)了互聯(lián)網(wǎng)技術(shù)背景下信息傳遞的新紀(jì)元；到現(xiàn)階段形成了以搜索引擎、大數(shù)據(jù)、云平臺、云計算、人工智能為技術(shù)支撐的智能情報獲取與分析的生態(tài)系統(tǒng)。現(xiàn)代情報獲取與分析技術(shù)一直緊跟著信息科學(xué)技術(shù)的發(fā)展而不斷迭代更新，信息科學(xué)技術(shù)的發(fā)展已成為情報獲取與分析技術(shù)的強大原動力。所以，《網(wǎng)絡(luò)情報獲取與分析技術(shù)》課程建設(shè)應(yīng)該在高度關(guān)注情報、網(wǎng)絡(luò)情報、以及信息科學(xué)技術(shù)之間起承淵源關(guān)系的前提下，體現(xiàn)現(xiàn)階段大數(shù)據(jù)云平臺技術(shù)背景下網(wǎng)絡(luò)情報獲取的新途徑、分析的新技術(shù)。

《網(wǎng)絡(luò)情報獲取與分析技術(shù)》的教材建設(shè)擬如圖1所示框架組織編寫，其每個部分的具體內(nèi)容將在下文中作詳細解讀。

圖1 《網(wǎng)絡(luò)情報獲取與分析技術(shù)》教材內(nèi)容框架圖

3.教材各部分內(nèi)容組織

在情報學(xué)概論部分以建立情報與信息的基本區(qū)分為前提，立足于情報學(xué)的基本內(nèi)涵和外延組織教材內(nèi)容。1967年美國的杰勞爾提出：“情報科學(xué)是研究情報的特性和活動，管理情報傳遞過程的手段，以及為保證情報的最有效利用所必需的情報處理技術(shù)”。[2]因此在這一章中將以先傳統(tǒng)后現(xiàn)代的時間順序，以當(dāng)時技術(shù)背景下傳統(tǒng)情報學(xué)學(xué)科的工作內(nèi)容和方法為參照物，用對比的方式展現(xiàn)當(dāng)前技術(shù)背景下情報學(xué)學(xué)科的新技術(shù)環(huán)境、新內(nèi)容以及新挑戰(zhàn)。

網(wǎng)絡(luò)情報獲取技術(shù)部分以現(xiàn)階段情報獲取途徑主要是來源于網(wǎng)絡(luò)為基礎(chǔ)，介紹當(dāng)前網(wǎng)絡(luò)情報獲取的兩種途徑。第一種是基于公開數(shù)據(jù)源、專業(yè)數(shù)據(jù)源以及公共數(shù)據(jù)源的搜索引擎技術(shù)；第二種是針對特定靶向終端或網(wǎng)絡(luò)的密取技術(shù)。該部分的重點將放在基于公開數(shù)據(jù)源的搜索引擎技術(shù)上，對針對特定靶向終端或者網(wǎng)絡(luò)的密取技術(shù)做一個概述，具體的內(nèi)容和知識點將在后續(xù)的《網(wǎng)絡(luò)攻防技術(shù)》課程中學(xué)習(xí)。搜索引擎系統(tǒng)的主干技術(shù)系列包含了網(wǎng)絡(luò)爬蟲技術(shù)、鏈接分析技術(shù)以及倒排序列索引技術(shù)。在這一部分中將首先簡述網(wǎng)絡(luò)爬蟲基本原理、開發(fā)工具、采集規(guī)則確定策略等內(nèi)容；接著介紹鏈接分析技術(shù)中的Pagerank算法[3]以及相應(yīng)改進算法并闡述其在系統(tǒng)中的意義；最后介紹倒排序列索引技術(shù)的基本原理以及在系統(tǒng)中的作用和意義。

網(wǎng)絡(luò)情報分析技術(shù)部分討論在新的信息技術(shù)背景下多源數(shù)據(jù)處理和分析技術(shù)。該部分內(nèi)容將以大數(shù)據(jù)技術(shù)、云計算技術(shù)以及AI算法分析技術(shù)為主線，依次解決數(shù)據(jù)預(yù)處理、數(shù)據(jù)分布式云存儲、分布式云計算、人工智能算法分析等問題。

在基于大數(shù)據(jù)、云計算技術(shù)的警用網(wǎng)絡(luò)情報獲取與分析技術(shù)生態(tài)應(yīng)用系統(tǒng)部分以XX省XX市智慧警務(wù)云平臺為例，[4]實景展示新技術(shù)背景下公安網(wǎng)絡(luò)情報獲取與分析應(yīng)用生態(tài)系統(tǒng)之一。該部分將以基礎(chǔ)服務(wù)、數(shù)據(jù)服務(wù)、平臺服務(wù)、應(yīng)用服務(wù)、安全管理等幾個方面來組織。在這個框架下，將展示從架設(shè)軟、硬件資源、網(wǎng)絡(luò)資源以及安全資源開始，到預(yù)埋分布式數(shù)據(jù)庫服務(wù)、分布式文件系統(tǒng)服務(wù)、離線計算服務(wù)，到數(shù)據(jù)預(yù)處理過程，再到提供數(shù)據(jù)服務(wù)、面向主題的數(shù)據(jù)分析服務(wù)、情報推送服務(wù)、情報信息編報等。

(二)實驗實訓(xùn)建設(shè)

1.實驗實訓(xùn)體系整體框架

當(dāng)前新技術(shù)背景下，網(wǎng)絡(luò)情報之獲取、清理以及分析的過程與傳統(tǒng)情報有很大變革。前者較大地依賴于網(wǎng)絡(luò)爬蟲技術(shù)、大數(shù)據(jù)云計算技術(shù)、人工智能學(xué)習(xí)算法等技術(shù)體系，故而構(gòu)建新技術(shù)背景下《網(wǎng)絡(luò)情報獲取與分析技術(shù)》課程的實驗實訓(xùn)大綱的立足點在于教材的基本技術(shù)框架上?？紤]課程受眾的知識結(jié)構(gòu)、實驗室軟硬件環(huán)境以及實戰(zhàn)崗位需求三方面因素，課程實驗實訓(xùn)建設(shè)的內(nèi)容將選取一部分代表性技術(shù)且方便在實驗室實施的實驗項目如圖2所示，其包含的每一個實驗內(nèi)容將在文章隨后的小節(jié)做詳細描述。

圖2 課程實驗實訓(xùn)內(nèi)容規(guī)劃圖

2.網(wǎng)絡(luò)爬蟲實驗設(shè)計

“網(wǎng)絡(luò)爬蟲”是一種能訪問網(wǎng)站并跟蹤鏈接的程序，通過它，可快速地畫出一個網(wǎng)站所包含的網(wǎng)頁地圖信息。“網(wǎng)絡(luò)爬蟲”是現(xiàn)階段實現(xiàn)自動化網(wǎng)絡(luò)情報搜集的主要軟件工具，也是大數(shù)據(jù)平臺的數(shù)據(jù)主要源頭之一。實驗主要展示如何使用Java編程來構(gòu)建一個“蜘蛛”，例如，該“蜘蛛”的“爬取”目標(biāo)是“爬取”規(guī)定時間范圍內(nèi)關(guān)于“新冠吹哨人李文亮”事件評論的所有網(wǎng)頁。我們會先以一個可復(fù)用的蜘蛛類包裝一個基本的“蜘蛛”，并在示例程序中演示如何創(chuàng)建一個特定的“蜘蛛”來掃描相關(guān)網(wǎng)站并識別出死鏈接。

該實驗的目的主要在于讓學(xué)員體會網(wǎng)絡(luò)爬蟲運行的基本原理。在掌握網(wǎng)絡(luò)爬蟲開發(fā)的基本步驟前提下，進一步展開對“爬蟲”采集策略取舍的思考。

3.多源數(shù)據(jù)預(yù)處理實驗設(shè)計

現(xiàn)階段技術(shù)背景下，大數(shù)據(jù)平臺中存在大量異構(gòu)的數(shù)據(jù)源亟需處理和整合。[5]在實驗室中脫離大數(shù)據(jù)數(shù)據(jù)預(yù)處理平臺的服務(wù)支持，手動自主地對幾種有代表性的數(shù)據(jù)源進行預(yù)處理，重現(xiàn)原始數(shù)據(jù)預(yù)處理過程，有助于學(xué)員加深大數(shù)據(jù)平臺的數(shù)據(jù)預(yù)處理服務(wù)的內(nèi)容和本質(zhì)的感性認(rèn)識。

考慮到實驗室環(huán)境的局限性以及學(xué)員的知識儲備，該實驗的目標(biāo)定位于多種數(shù)據(jù)源的轉(zhuǎn)換、合并與統(tǒng)一，如圖3所示。實驗過程中會給學(xué)生準(zhǔn)備EXCEL、ACCESS、MDF等格式的數(shù)據(jù)文件，實驗?zāi)繕?biāo)是合并這些異構(gòu)的數(shù)據(jù)源成為一個XML數(shù)據(jù)文檔。這個實驗的能力要求是學(xué)員應(yīng)考慮到多源數(shù)據(jù)格式文件的讀取、重復(fù)字段的刪除、缺省值的填充等問題。

圖3 多源數(shù)據(jù)預(yù)處理實驗

4.詞云圖分析實驗設(shè)計

詞云圖，也叫文字云，是對文本中出現(xiàn)頻率較高的“關(guān)鍵詞”予以視覺化的展現(xiàn)，詞云圖過濾掉大量的低頻低質(zhì)的文本信息，使得瀏覽者只要一眼掃過文本就可領(lǐng)略文本的主旨。[6]在大數(shù)據(jù)平臺提供的分詞服務(wù)的基礎(chǔ)上，面向某個主題實施詞云圖分析技術(shù)，可以迅速獲得網(wǎng)民關(guān)于該主題的主旨，并進行可視化的展示，這是在輿情監(jiān)控領(lǐng)域常見的應(yīng)用。

該實驗在網(wǎng)絡(luò)爬蟲實驗所獲得的如關(guān)于“新冠吹哨人李文亮”事件評論的數(shù)據(jù)基礎(chǔ)上，首先利用分詞工具進行分詞操作，然后進行詞云圖分析，分析結(jié)果將展示當(dāng)前網(wǎng)絡(luò)上針對“新冠吹哨人李文亮”事件評論的網(wǎng)民的觀點和意見傾向。通過本實驗，學(xué)員可以體會在大數(shù)據(jù)技術(shù)支撐下，網(wǎng)絡(luò)情報分析的基本思路與步驟。

5.智慧警務(wù)云平臺實踐設(shè)計

實踐擬將模擬的公安各警種業(yè)務(wù)數(shù)據(jù)以及公開數(shù)據(jù)加載于XX省XX市智慧警務(wù)云平臺的原型系統(tǒng)之上，讓學(xué)員在云平臺系統(tǒng)中體會多源數(shù)據(jù)實時同步、實時業(yè)務(wù)數(shù)據(jù)查詢、網(wǎng)絡(luò)布控、在線情報分析、多維數(shù)據(jù)可視化展示等大數(shù)據(jù)云平臺提供情報服務(wù)。

通過該實踐可以讓學(xué)員體會已建成的大數(shù)據(jù)服務(wù)平臺能夠提供的數(shù)據(jù)服務(wù)、在線情報分析服務(wù)、智能情報推送服務(wù)、多點協(xié)同服務(wù)以及多維數(shù)據(jù)展示服務(wù)等。

(三)基本教學(xué)資源庫建設(shè)

課程教學(xué)基本資源庫中包括：教案、PPT課件、試題庫、實驗資料庫等課程基本資源。其中教案、PPT課件、試題庫需在教材建設(shè)之后以教材體系為參照分別制作。實驗資料庫建設(shè)則只需在實驗實訓(xùn)體系規(guī)劃完成之后，就可進行收集、處理，為實驗實訓(xùn)指導(dǎo)書的完成奠定包含軟、硬件、算法庫以及數(shù)據(jù)環(huán)境基礎(chǔ)。

參照該課程實驗實訓(xùn)體系設(shè)計規(guī)劃，各實驗項目所需軟硬件環(huán)境可歸納如表1所示：

表1 各實驗項目支撐軟、硬件環(huán)境匯總表

各實驗項目所需的基本算法庫、數(shù)據(jù)源歸納如表2所示：

表2 各實驗所需算法庫+數(shù)據(jù)源匯總表

(四)師資隊伍建設(shè)

師資培養(yǎng)內(nèi)容包括學(xué)習(xí)與實踐兩個部分。一是定期開展學(xué)習(xí)、研究一線公安系統(tǒng)已規(guī)劃設(shè)計完成的相關(guān)公安大數(shù)據(jù)方案和已研發(fā)上線的公安大數(shù)據(jù)產(chǎn)品，熟悉方案內(nèi)容，梳理產(chǎn)品技術(shù)脈絡(luò)，研討、修正課程教材內(nèi)容框架；二是集中授課教師到已按規(guī)劃方案建成相關(guān)大數(shù)據(jù)平臺的公安一線實地考察、業(yè)務(wù)實踐，熟悉新技術(shù)環(huán)境下公安大數(shù)據(jù)平臺的實際落地形式、運行狀態(tài)、使用方法、工作流程，并按規(guī)定收集可利用數(shù)據(jù)資源、平臺試用用戶名、密碼等資源，展開關(guān)于課程實驗實訓(xùn)體系建設(shè)具體內(nèi)容的討論。

三、總結(jié)與展望

近一個世紀(jì)以來，信息技術(shù)領(lǐng)域的革命深刻地改變了人類社會生活方式，因之也影響了人類社會犯罪的形式、途徑、手段。在當(dāng)前大數(shù)據(jù)背景下公共安全領(lǐng)域的警務(wù)模式也由之變成了以情報為主體的“情報警務(wù)”模式，并以此來適應(yīng)當(dāng)前新的實戰(zhàn)環(huán)境，以期更有效地對犯罪進行“打、防、管、控”，維護社會公共安全。公安院校肩負(fù)著培養(yǎng)網(wǎng)絡(luò)安全與執(zhí)法專業(yè)人才的責(zé)任，時刻準(zhǔn)備著為公安一線輸送新鮮血液。由于信息技術(shù)更新速度比較快，課程的內(nèi)容需要結(jié)合新的信息技術(shù)和公安實戰(zhàn)的應(yīng)用不斷更新。技術(shù)永遠引領(lǐng)著未來發(fā)展的方向，為順應(yīng)技術(shù)革新而對情報獲取與分析方式進行革新，是這個領(lǐng)域永恒的趨勢。