大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全與情報分析中的應(yīng)用研究

諸 明

（江蘇省中醫(yī)院，南京 210029）

0 引言

隨著網(wǎng)絡(luò)信息技術(shù)的發(fā)展，云計算、大數(shù)據(jù)挖掘等技術(shù)也得到了極大的發(fā)展。例如，大數(shù)據(jù)挖掘技術(shù)可以系統(tǒng)性整合分析海量數(shù)據(jù)，滿足現(xiàn)代社會對數(shù)據(jù)信息的需求。但隨著網(wǎng)絡(luò)環(huán)境日趨復(fù)雜，網(wǎng)絡(luò)攻擊與信息竊聽已經(jīng)成為網(wǎng)絡(luò)時代影響較大的安全事件之一，其可以直接滲透金融、通信、交通及航空等諸多領(lǐng)域，對國家和公民的信息安全產(chǎn)生極大的威脅［1］。結(jié)合大數(shù)據(jù)技術(shù)優(yōu)勢所構(gòu)建的規(guī)?；鸵惑w化的威脅情報中心與威脅情報綜合服務(wù)中心可以很好地預(yù)測網(wǎng)絡(luò)風(fēng)險，從技術(shù)層面增強網(wǎng)絡(luò)信息的安全性。為進一步保證和提升網(wǎng)絡(luò)安全與情報反竊聽能力，對大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全與情報分析中的應(yīng)用必須予以充分的重視。

1 大數(shù)據(jù)技術(shù)概述

大數(shù)據(jù)技術(shù)的顯著優(yōu)勢是數(shù)量大、來源豐富、生成速度快。大數(shù)據(jù)技術(shù)可以系統(tǒng)性挖掘處理海量數(shù)據(jù)，完成數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、數(shù)據(jù)存儲、數(shù)據(jù)分析及可視化等相關(guān)工作。從資源處理的視角看待大數(shù)據(jù)技術(shù)，其體現(xiàn)了一種新的資源觀念；從技術(shù)的視角來看待大數(shù)據(jù)技術(shù)，則可以認定其代表了一種現(xiàn)代化的管理與分析技術(shù)；從理念的視角來看待大數(shù)據(jù)技術(shù)，則可以認定大數(shù)據(jù)對傳統(tǒng)的數(shù)據(jù)處理技術(shù)進行了全新的詮釋，帶來了“實事求是”的新涵義，即數(shù)據(jù)驅(qū)動和數(shù)據(jù)閉環(huán)。

大數(shù)據(jù)的計算模式主要分為批量計算、流式計算、交互計算、圖計算等。就流式數(shù)據(jù)處理技術(shù)而言，這一技術(shù)可以實時反饋產(chǎn)生的數(shù)據(jù)信息，具有數(shù)據(jù)處理延遲短和實時性強的優(yōu)勢，非常適用于必須對變動或峰值作出及時響應(yīng)和處理的數(shù)據(jù)場景。目前，在數(shù)據(jù)信息處理方面，其時間跨度可以達數(shù)百毫秒到數(shù)秒。在計算機構(gòu)上，流式數(shù)據(jù)處理技術(shù)主要依托Twitter的Spark Streaming，屬于一種極低延遲的流處理開源框架，數(shù)據(jù)處理時默認單條，若存在數(shù)據(jù)處理失敗的情況依然可以處理多次。就交互式數(shù)據(jù)庫信息查詢而言，考慮到網(wǎng)絡(luò)安全與情報分析均是以人為主體，需要將人的認知能力應(yīng)用到數(shù)據(jù)分析中來。實際操作時，工作人員需要先對網(wǎng)絡(luò)整體運行狀態(tài)進行系統(tǒng)性分析，尤其是需要及時查詢和分析運行狀態(tài)異常的問題，對特定特征向量的時序作系統(tǒng)性分析，針對一些潛藏的數(shù)據(jù)漏洞和安全問題制定防控策略。交互數(shù)據(jù)查詢技術(shù)所依托的典型系統(tǒng)有Google 的Dremel 和Apache Spark，均有較好的應(yīng)用效果。

大數(shù)據(jù)安全分析技術(shù)是當代數(shù)據(jù)安全與情報分析的核心。其中，安全可視分析技術(shù)、安全事件關(guān)聯(lián)分析技術(shù)及用戶行為分析技術(shù)得到了廣泛的應(yīng)用。以安全可視分析技術(shù)為例，這一技術(shù)可以幫助分析人員挖掘和分析數(shù)據(jù)潛藏的信息，首先確定分析人員需要什么樣的數(shù)據(jù)，然后借助可視化結(jié)構(gòu)表示數(shù)據(jù)、構(gòu)建可視化結(jié)構(gòu)映射關(guān)系，最后通過縮放、聚集、回放及更新等功能確保人與可視化工具更好地交流。在用戶行為分析技術(shù)應(yīng)用方面，當企業(yè)存在內(nèi)網(wǎng)與外網(wǎng)無法直接分離的情況時，即便采用新型和較為安全的安全防護產(chǎn)品也無法有效阻擋黑客的攻擊［2］。對此，用戶行為分析逐漸發(fā)展為一種可利用的技術(shù)，應(yīng)用時可以收集用戶所需要的信息，同時建立用戶行為基準線，以此描述用戶的正常行為。此外，用戶行為分析還可以應(yīng)用于反數(shù)據(jù)盜竊和反欺詐，確保數(shù)據(jù)和信息的安全，使其免受外部威脅。從應(yīng)用流程來說，用戶行為分析有較多的使用步驟，且每一個步驟都十分重要，尤其是其中的數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、方法選取及方法評估，同時還需要科學(xué)應(yīng)用聚類分析技術(shù)、統(tǒng)計分析技術(shù)、時序數(shù)據(jù)挖掘技術(shù)?？傮w來說，用戶行為分析技術(shù)在大數(shù)據(jù)環(huán)境中發(fā)揮著十分重要的作用，可以確保網(wǎng)絡(luò)安全和情報分析的有效性。

2 大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全與情報分析中的應(yīng)用

2.1 API 攻擊檢測

高級持續(xù)性威脅（Advanced Persistent Threat，APT）攻擊是近幾年興起的一種網(wǎng)絡(luò)攻擊方式，在全世界范圍內(nèi)得到了高度的重視。API 具有極強的攻擊隱蔽性，其空間路徑與攻擊渠道十分復(fù)雜和多變，在大多數(shù)情況下人們無法有效抵御這種攻擊。針對API 攻擊，對其進行檢測和反制十分必要，其亟待解決的問題主要有4 點，即滲透防護能力脆弱、檢測精度較低、攻擊范圍取證困難及對新型未知攻擊反應(yīng)速度慢。為有效應(yīng)對API 攻擊，必須做好相關(guān)風(fēng)險的檢測工作。就目前而言，2012年所提出的“攻擊金字塔”概念似乎可以成為解決API 攻擊的手段。攻擊金字塔頂層的數(shù)據(jù)信息包括敏感數(shù)據(jù)、高層職員及數(shù)據(jù)服務(wù)器，與攻擊相關(guān)聯(lián)的事件環(huán)境均可以通過橫向平面表示，檢測框架可以將記錄其中的安全事件分組為多個場景，同時在多個場景中使用MapReduce 并行處理，以此達到檢測惡意活動的目的。

2.2 網(wǎng)絡(luò)異常檢測

一直以來，網(wǎng)絡(luò)異常檢測都是網(wǎng)絡(luò)安全所考慮的重點問題，其包括對流量突變、越權(quán)資源訪問、設(shè)備失效及可疑主機的檢測，要有針對性地開展檢測工作，合理判定非正常行為模式。近幾年，隨著大數(shù)據(jù)技術(shù)的發(fā)展，大數(shù)據(jù)技術(shù)越來越多地被應(yīng)用于網(wǎng)絡(luò)異常檢測，同時用戶行為分析技術(shù)的應(yīng)用大大提升了網(wǎng)絡(luò)異常檢測的準確性。另外，在網(wǎng)絡(luò)異常分析建模與異常檢測自動化發(fā)展過程中，基于行為特征和機器學(xué)習(xí)的方法得到了廣泛的應(yīng)用。借助深度學(xué)習(xí)技術(shù)可以快速對數(shù)據(jù)特征加以分類和處理，這讓深度學(xué)習(xí)的重要性日益凸顯［3］。目前，深度學(xué)習(xí)技術(shù)已經(jīng)成為檢測Oday 漏洞與API 攻擊的有效手段，對維護數(shù)據(jù)安全十分有利。在網(wǎng)絡(luò)異常檢測過程中，可以使用的技術(shù)包括大數(shù)據(jù)可視分析技術(shù)、關(guān)聯(lián)分析技術(shù)、交互式分析技術(shù)，借助平行坐標圖可以對網(wǎng)絡(luò)流量的應(yīng)用開展交互式分析，以此掌握區(qū)域內(nèi)的流量分類和運行情況，對于異常或非法的流量進行即時監(jiān)控和清理。比如，在攻擊處理方面，借助多項大數(shù)據(jù)分析技術(shù)可以對新出現(xiàn)的攻擊源和持續(xù)出現(xiàn)的攻擊源繪制連接線，在形成連接線之后，分析者可以及時掌握異常攻擊狀態(tài)，有針對性地啟動攻擊保護屏障。

2.3 網(wǎng)絡(luò)安全態(tài)勢感知

針對網(wǎng)絡(luò)所存在的極大安全危害，企業(yè)和組織均給予了網(wǎng)絡(luò)安全防護充分的重視，一改以往的網(wǎng)絡(luò)安全防護策略，開始進行事前自動評估，通過事前自動評估大大降低了網(wǎng)絡(luò)安全運行過程中的風(fēng)險。網(wǎng)絡(luò)安全態(tài)勢感知技術(shù)的優(yōu)勢在于其可以綜合各個方面的因素整體反映網(wǎng)絡(luò)安全狀態(tài)，對網(wǎng)絡(luò)安全運行過程中的風(fēng)險作出及時預(yù)測和報警［4］。更為重要的一點是，大數(shù)據(jù)技術(shù)憑借自身顯著的優(yōu)勢，為大規(guī)模網(wǎng)絡(luò)安全態(tài)勢的感知提供了技術(shù)支撐。以360 公司所推出的態(tài)勢感知及安全運行平臺NGSOC 為例，其借助大數(shù)據(jù)挖掘技術(shù)，可以對本地數(shù)據(jù)實現(xiàn)全面采集與存儲，持續(xù)監(jiān)控網(wǎng)絡(luò)的運行狀態(tài)，對其中所存在的安全風(fēng)險進行系統(tǒng)性分析和評估，其優(yōu)勢十分顯著。目前所使用的大數(shù)據(jù)技術(shù)已經(jīng)實現(xiàn)網(wǎng)絡(luò)安全態(tài)勢感知、服務(wù)器業(yè)務(wù)安全態(tài)勢感知及網(wǎng)絡(luò)安全事件實時監(jiān)測，能夠有效保障網(wǎng)絡(luò)安全。

2.4 網(wǎng)絡(luò)威脅情報分析

威脅情報可以通過大數(shù)據(jù)、分布式系統(tǒng)及其他方式來獲取，其優(yōu)勢在于大大彌補了傳統(tǒng)防御方式的不足，可以從攻擊者的角度開展防御性工作。另外，基于大數(shù)據(jù)分析技術(shù)和威脅情報的廣泛性優(yōu)勢，可以全面性地掌握互聯(lián)網(wǎng)風(fēng)險，分析者可以此為技術(shù)支撐點更好地了解相關(guān)威脅，繼而采取高效和準確的防御行動，降低網(wǎng)絡(luò)攻擊所帶來的損失［5］。目前，國內(nèi)外的網(wǎng)絡(luò)安全威脅情報提供商主要有Symantec、FireEye 及CrowdStrike，可以滿足多種環(huán)境下的網(wǎng)絡(luò)安全防護需求，尤其在反恐怖主義、漏洞檢測、網(wǎng)絡(luò)犯罪防范及惡意軟件清理中能夠發(fā)揮更加顯著的作用，有很強的實用性和適用性。

3 結(jié)語

當前網(wǎng)絡(luò)安全形勢不容樂觀，現(xiàn)階段仍然缺乏高級網(wǎng)絡(luò)威脅和攻擊檢測方法，檢測和防范工作中存在較多的技術(shù)問題，而后續(xù)也會有很多需要解決的問題。在后續(xù)網(wǎng)絡(luò)安全與情報分析的研究中，需要進一步在網(wǎng)絡(luò)空間安全的條件下加大對大數(shù)據(jù)技術(shù)的研究力度，掌握多源數(shù)據(jù)，尋求復(fù)雜狀態(tài)下的網(wǎng)絡(luò)攻擊遏制方法，尤其是在情報分析中要做好風(fēng)險感知、檢測與預(yù)警及情報共享等方面的工作，這對于提升網(wǎng)絡(luò)安全和情報分析能力有十分重要的意義，必須予以充分的重視。