網(wǎng)絡(luò)日志和流量關(guān)聯(lián)分析的必要性

文/楊連群 宋津旭 李翔宇

網(wǎng)絡(luò)日志和流量關(guān)聯(lián)分析的必要性

文/楊連群 宋津旭 李翔宇

針對日益頻繁的信息安全事件，基于日志和基于流量的分析工具都已經(jīng)有成熟的產(chǎn)品，但是都各有優(yōu)勢和局限性。本文從將網(wǎng)絡(luò)日志與流量關(guān)聯(lián)分析的必要性和可能性出發(fā)，結(jié)合大數(shù)據(jù)技術(shù)的發(fā)展，提出了基于大數(shù)據(jù)架構(gòu)的網(wǎng)絡(luò)日志和流量關(guān)聯(lián)分析平臺，為信息安全分析的發(fā)展方向提供參考。

日志分析 流量分析 關(guān)聯(lián)分析 威脅 檢測大數(shù)據(jù)

21世紀(jì)以來，互聯(lián)網(wǎng)技術(shù)取得了快速的發(fā)展，人們在生活時(shí)也深深的受到互聯(lián)網(wǎng)的影響。4G網(wǎng)絡(luò)、Wi-Fi等技術(shù)也伴隨著移動(dòng)無線技術(shù)的發(fā)展被廣泛的應(yīng)用到各領(lǐng)域中，方便了人們?nèi)粘９ぷ骱蜕钏琛５?dāng)人們在享受這些互聯(lián)網(wǎng)移動(dòng)技術(shù)帶來的方便的時(shí)候，各種信息技術(shù)安全問題也日益突出。隨著網(wǎng)絡(luò)安全事件爆發(fā)的次數(shù)日益增加，事件的影響和造成的損失也越來越大，人們逐漸開始認(rèn)識到了網(wǎng)絡(luò)攻擊或者黑客入侵對人們的工作和生活造成了嚴(yán)重的威脅。因此，安全監(jiān)測的意義也變得越來越重要。目前信息安全監(jiān)控主要分為兩個(gè)主要的方向，一是基于網(wǎng)絡(luò)日志的分析，另一種是基于網(wǎng)絡(luò)流量的分析。

1 網(wǎng)絡(luò)日志分析系統(tǒng)

日志，是一種對于計(jì)算機(jī)系統(tǒng)運(yùn)行中所產(chǎn)生的事件性記錄。通過對這些日志的分析，IT的管理人員可以有效的了解目前系統(tǒng)運(yùn)行的狀況，而對這些日志進(jìn)行有效的分析，IT從業(yè)管理者可以對信息系統(tǒng)的安全性做出有效的分析，并能從中發(fā)現(xiàn)網(wǎng)絡(luò)中的不足之處。目前市場上基于網(wǎng)絡(luò)日志的安全分析已經(jīng)非常成熟，產(chǎn)品也非常豐富。

基于日志的安全分析系統(tǒng)依賴傳統(tǒng)安全設(shè)備的日志，通個(gè)日志的歸并和去噪，將安全設(shè)備日志中的關(guān)鍵信息及時(shí)通過告警呈現(xiàn)出來。針對一些不能提供安全日志或者因?yàn)槠渌驘o法獲取日志的設(shè)備和系統(tǒng)，日志分析則無用武之地。

2 網(wǎng)絡(luò)流量分析

以往對流量的分析只是為了更快的掌握網(wǎng)絡(luò)流量的屬性及性能，可以使網(wǎng)絡(luò)的帶寬配置得到最優(yōu)化，最大化的解決了網(wǎng)絡(luò)各方面性能的問題，因此采集到Netfolw信息就夠了。隨著各種高級威脅的出現(xiàn)，由于基本規(guī)則的安全設(shè)備不能及時(shí)發(fā)現(xiàn)，就開始引入全流量存儲分析，通過全流量的深度檢測技術(shù)，安全分析人員可以對已經(jīng)發(fā)生的攻擊行為進(jìn)行多角度、全方位、可反復(fù)回溯的深度檢測，從而更容易檢測出潛在的入侵行為，發(fā)現(xiàn)被其他工具漏掉的攻擊。

對于各類網(wǎng)絡(luò)流量的分析，不但可以有效的查看各類應(yīng)用的服務(wù)、服務(wù)器的漏洞、主機(jī)間的連接，還可以有效的監(jiān)視網(wǎng)絡(luò)中的各類活動(dòng)，讓萬一發(fā)生故障可以第一時(shí)間的查找并得到排除，找到當(dāng)前所處網(wǎng)絡(luò)存在的一些問題，并從中來提升網(wǎng)絡(luò)的性能，最終識別有問題的主機(jī)以免讓漏洞、木馬、APT功擊有機(jī)可乘，已知和未知的安全威脅，并對網(wǎng)絡(luò)攻擊進(jìn)行定位和取證。幫助用戶提升安全分析能力和響應(yīng)能力，最終降低安全損失。

由于流量數(shù)據(jù)的采集采用旁路的方式，并不需要對原有網(wǎng)絡(luò)結(jié)構(gòu)做調(diào)整，因此無法通過安全日志進(jìn)行分析的設(shè)備或系統(tǒng)，可以通過流量分析的方式來檢測其中的威脅。

3 網(wǎng)絡(luò)日志和流量關(guān)聯(lián)分析的必要性

基于日志和基于網(wǎng)絡(luò)流量的分析在安全方面均有各自的優(yōu)勢和局限，隨著計(jì)算和存儲能力的發(fā)展，將網(wǎng)絡(luò)日志和網(wǎng)絡(luò)流量進(jìn)行集中收集，關(guān)聯(lián)分析逐漸成為信息安全技術(shù)的發(fā)展方向。

3.1 強(qiáng)化威脅發(fā)現(xiàn)和預(yù)警能力

通過安全日志關(guān)聯(lián)分析技術(shù)，發(fā)現(xiàn)各類已知威脅；通過網(wǎng)絡(luò)深度包檢測分析模型，實(shí)現(xiàn)對未知高級網(wǎng)絡(luò)攻擊的預(yù)警；通過網(wǎng)絡(luò)深度流檢測分析技術(shù)，對可疑IP/主機(jī)進(jìn)行畫像分析，及時(shí)發(fā)現(xiàn)各類威脅。

3.2 提升安全事件研判能力，構(gòu)建發(fā)現(xiàn)、取證、研判、處置的閉環(huán)體系

針對日志或流量分析發(fā)現(xiàn)的疑似安全事件，通過高效的數(shù)據(jù)挖掘和查詢能力，對事件的相關(guān)原始日志進(jìn)行查詢，對事件的網(wǎng)絡(luò)行為進(jìn)行網(wǎng)絡(luò)流量回放，對原始數(shù)據(jù)包采用解碼分析技術(shù)進(jìn)行完整分析和數(shù)字取證，最終幫助安全人員采取針對性響應(yīng)措施對安全事件進(jìn)行處置。

3.3 實(shí)現(xiàn)全天候全方位的威脅態(tài)勢感知

提供豐富的安全態(tài)勢感知展示界面，通過基于日志分析的安全態(tài)勢和基于網(wǎng)絡(luò)流量的安全態(tài)勢，實(shí)現(xiàn)整體網(wǎng)絡(luò)安全態(tài)勢。通過整體態(tài)勢、攻擊源分布、重點(diǎn)資產(chǎn)態(tài)勢、攻擊關(guān)聯(lián)圖等展現(xiàn)方式，使管理者對組織內(nèi)部網(wǎng)絡(luò)安全態(tài)勢一覽無遺，有效輔助決策。

3.4 合并建設(shè)，降低資源投入，提升利用率

通過日志分析系統(tǒng)和網(wǎng)絡(luò)系統(tǒng)功能對比來看，很多功能模塊都是相同的，比如數(shù)據(jù)存儲，事件告警，報(bào)表管理等；只是日志和流量的采集方式不同，分析方式和模型有所差異，因此合并建設(shè)不僅可以節(jié)約建設(shè)階段的資源投入，還可以減少將來安全運(yùn)維人員的投入。

雖然，將日志和流量進(jìn)行關(guān)聯(lián)分析有諸多好處，但是由于企業(yè)和組織安全體系架構(gòu)日趨復(fù)雜，各種類型的安全數(shù)據(jù)越來越多，傳統(tǒng)的數(shù)據(jù)庫面對這么多種類和這么大量級的數(shù)據(jù)明顯力不從心。

4 大數(shù)據(jù)為網(wǎng)絡(luò)日志和流量關(guān)聯(lián)分析提供了技術(shù)基礎(chǔ)

惡意代碼檢測、入侵檢測作為傳統(tǒng)的基于特征的信息安全分析技術(shù)已經(jīng)廣泛被應(yīng)用等，但是伴隨著數(shù)據(jù)量越來越龐大和一些新型的信息安全攻擊的出現(xiàn)，傳統(tǒng)的安全技術(shù)已經(jīng)很難應(yīng)付，所以應(yīng)用大數(shù)據(jù)分析技術(shù)對新型信息安全攻擊進(jìn)行分析已成為業(yè)界研究熱點(diǎn)。Gartner在 2012 年的報(bào)告中明確指出"信息安全正在變成一個(gè)大數(shù)據(jù)分析問題"信息安全變成一個(gè)大數(shù)據(jù)分析問題主要體現(xiàn)在以下三個(gè)方面：

（1）數(shù)據(jù)量越來越大：網(wǎng)絡(luò)已經(jīng)從千兆邁向了萬兆，網(wǎng)絡(luò)安全設(shè)備要分析的數(shù)據(jù)包數(shù)據(jù)量急劇上升。

（2）速度越來越快：對于網(wǎng)絡(luò)設(shè)備而言，包處理和轉(zhuǎn)發(fā)的速度需要更快；對于安管平臺、事件分析平臺而言，數(shù)據(jù)源的事件發(fā)送速率（EPS，Event per Second，事件數(shù)每秒）也越來越快。

（3）種類越來越多：除了流量數(shù)據(jù)包、日志、資產(chǎn)數(shù)據(jù)，還加入了漏洞信息、配置信息、身份與訪問信息、用戶行為信息、應(yīng)用信息、業(yè)務(wù)信息、外部情報(bào)信息等。

目前市場上，傳統(tǒng)安全廠商都在向大數(shù)據(jù)安全方向轉(zhuǎn)型，但是大部分只是將傳統(tǒng)的安全分析功能移植到大數(shù)據(jù)的基礎(chǔ)架構(gòu)上，只有小部分廠商開始在基于大數(shù)據(jù)的基礎(chǔ)架構(gòu)上，進(jìn)一步對各類安全日志和流量進(jìn)行關(guān)聯(lián)分析，相信這一小部分的探索，才是大數(shù)據(jù)安全或者安全分析的發(fā)展方向。

[1]李天楓.大規(guī)模網(wǎng)絡(luò)異常流量云檢測平臺研究[D].天津理工大學(xué),2015.

[2]張淑英.網(wǎng)絡(luò)安全事件關(guān)聯(lián)分析與態(tài)勢評測技術(shù)研究[D].吉林大學(xué),2012.

[3]陳吉榮,樂嘉錦.基于Hadoop生態(tài)系統(tǒng)的大數(shù)據(jù)解決方案綜述[J].計(jì)算機(jī)工程與科學(xué),2013(10)：25-35.

作者單位 天津市濱海新區(qū)公安局 天津市 300450