廣電網(wǎng)絡(luò)安全日志大數(shù)據(jù)分析的探索與實踐

文/朱益中

引言

目前，廣電網(wǎng)絡(luò)的監(jiān)播監(jiān)測，傳統(tǒng)DVB方面已比較到位，新媒體方面也日趨完善。但隨著網(wǎng)絡(luò)應(yīng)用規(guī)模和復(fù)雜度的不斷提高，網(wǎng)絡(luò)中傳輸?shù)臄?shù)據(jù)量急劇上升，網(wǎng)絡(luò)攻防對抗日趨激烈，企業(yè)內(nèi)部新的安全問題開始顯現(xiàn)，復(fù)雜的網(wǎng)絡(luò)環(huán)境讓安全工作無從下手，攻擊者即便是大搖大擺地出入企業(yè)的敏感數(shù)據(jù)區(qū)域也無人知曉，投入了大量資金建設(shè)的安全防御體系可能成為擺設(shè)；傳統(tǒng)安全技術(shù)對APT（高級持續(xù)性威脅）無能為力，無論是在安全威脅的檢測、發(fā)現(xiàn)還是響應(yīng)、溯源等方面都存在嚴(yán)重不足。要解決這些新的安全問題，企業(yè)亟須使用新的技術(shù)手段來掌控全局的安全態(tài)勢，從而優(yōu)化安全運營過程，將企業(yè)網(wǎng)絡(luò)的安全風(fēng)險控制在合理的區(qū)間?！吨腥A人民共和國網(wǎng)絡(luò)安全法》出臺后，對日志留存提出了強制要求，如何監(jiān)督各地做好網(wǎng)絡(luò)安全日制留存和收集，并對這些日志開展統(tǒng)一的分析，是企業(yè)在新的安全形勢下提升安全能力的新契機。

我們的網(wǎng)絡(luò)和系統(tǒng)在運行的每一個狀況信息都使用文字的方式記錄下來，稱之為日志，可以理解為這是普通人在虛擬世界的行為的記錄和投影。日志的類型很多，包括系統(tǒng)日志、應(yīng)用日志、操作行為日志和數(shù)據(jù)庫日志等，每條日志都記載著時間戳、相關(guān)設(shè)備名稱、使用者及操作行為等相關(guān)的描述，將這些日志統(tǒng)一收集起來進行分析，一是可以監(jiān)控全網(wǎng)日常運行狀態(tài)，分析問題、追查錯誤根源、糾正錯誤；二是能夠快速分析整個應(yīng)用針對最終用戶的服務(wù)質(zhì)量；三是分析出安全風(fēng)險和入侵攻擊，及時干預(yù)，解除威脅。

網(wǎng)絡(luò)安全日志大數(shù)據(jù)分析系統(tǒng)是基于大量網(wǎng)絡(luò)和系統(tǒng)日志，專用于安全風(fēng)險和入侵攻擊分析的系統(tǒng)，系統(tǒng)主要由數(shù)據(jù)采集、關(guān)聯(lián)分析、態(tài)勢感知和可視化呈現(xiàn)四個模塊組成:（1）數(shù)據(jù)采集模塊將來自全網(wǎng)幾千臺設(shè)備的日志進行規(guī)則化處理，這幾千臺設(shè)備可能是數(shù)十個廠商的產(chǎn)品，類型有防火墻、堡壘機、入侵檢測等十幾種，即使是同一廠商的防火墻，由于生產(chǎn)年代不同，日志格式也可能迥異，要識別這些設(shè)備的日志格式，將有效信息入庫存儲是整個大數(shù)據(jù)分析系統(tǒng)的基礎(chǔ)；（2）關(guān)聯(lián)分析引擎是這個系統(tǒng)的發(fā)動機，大數(shù)據(jù)就如同一座亟待開發(fā)的金礦，僅僅存儲起來是沒有價值的，優(yōu)秀的分析引擎使用先進的搜索技術(shù)，可以迅速感知到異常行為和黑客入侵；（3）態(tài)勢感知模塊是基于威脅情報的輔助手段，將互聯(lián)網(wǎng)上已知的犯罪手段和特征輸入到系統(tǒng)中，讓關(guān)聯(lián)分析引擎擁有靈敏的嗅覺；（4）可視化模塊要呈現(xiàn)的信息，絕不是簡單的IP地址和非專業(yè)人士看不懂的告警信息，要能夠呈現(xiàn)入侵的源和路徑，并將關(guān)聯(lián)的資產(chǎn)、部門、人員名稱都顯示出來。

圖1 系統(tǒng)架構(gòu)設(shè)計圖

最終我們的目標(biāo)是希望這個基于威脅情報和日志的系統(tǒng)，能夠?qū)Π踩髷?shù)據(jù)進行快速、自動化數(shù)據(jù)分析，全方位監(jiān)測、發(fā)現(xiàn)威脅和異常、快速處置與響應(yīng)，并針對安全事件進行深入調(diào)查。系統(tǒng)通過可視化分析技術(shù)將企業(yè)總體安全態(tài)勢進行整體呈現(xiàn)，使安全管理人員和運維人員能夠?qū)崟r掌握安全態(tài)勢狀況，主動發(fā)現(xiàn)安全威脅并及時處理，保障業(yè)務(wù)的順暢運行。

網(wǎng)絡(luò)安全日志大數(shù)據(jù)分析系統(tǒng)的雛形研發(fā)完成后，我們選取了一家在全國廣電網(wǎng)絡(luò)公司中技術(shù)實力領(lǐng)先的企業(yè)--浙江華數(shù)共同開展探索和實踐。在實踐過程中，通過對各地廣電網(wǎng)絡(luò)公司播出、傳輸?shù)拳h(huán)節(jié)和系統(tǒng)的廣泛調(diào)研，以及和系統(tǒng)研發(fā)人員的深入交流，我們提升了以下三個方面的能力，并解決了一個廣電特色的日志采集難題。

1.“全方位、立體化”保證數(shù)據(jù)分析的全面性

在實踐中我們發(fā)現(xiàn)，網(wǎng)絡(luò)的物理出入口并不是攻擊者進入到網(wǎng)絡(luò)的唯一途徑，因此，單純依靠安全設(shè)備串行防護以及安全設(shè)備日志統(tǒng)計是不足以發(fā)現(xiàn)高級風(fēng)險，從這一點上來說，我們把PC、智能終端、企業(yè)員工、應(yīng)用軟件、企業(yè)對外開放的網(wǎng)絡(luò)服務(wù)的全終端采集；從匯聚層交換、核心層交換以及接入層交換的全流量數(shù)據(jù)采集；從系統(tǒng)級別日志、數(shù)據(jù)日志、安全設(shè)備日志、告警日志的全日志采集。通過三種方式實現(xiàn)“全方位”的能力。

其次，要充分利用云端的安全資源，在新的安全防御體系中，云端的安全資源是整個安全防御的核心，威脅情報和大數(shù)據(jù)的利用和關(guān)聯(lián)分析，這些數(shù)據(jù)給未知威脅發(fā)現(xiàn)和APT攻擊檢測提供了完全真實網(wǎng)絡(luò)環(huán)境下的大量數(shù)據(jù)支撐，通過全貌特征“跟蹤”攻擊者，持續(xù)的發(fā)現(xiàn)未知威脅，最終確保發(fā)現(xiàn)的未知威脅的準(zhǔn)確性，進而實現(xiàn)和完善了數(shù)據(jù)分析的全面性，提高預(yù)警發(fā)現(xiàn)的能力。

2.威脅情報數(shù)據(jù)分類分級和合并管理

威脅情報是基于證據(jù)、有關(guān)已知或新型威脅或危害的知識，結(jié)合公司內(nèi)部的組織中安全人員不同角色，可提供精準(zhǔn)決策參考。但如何實現(xiàn)自動化和設(shè)備化處理這些情報，并借助威脅情報數(shù)據(jù)推動攻擊行為分析和溯源查詢是個難題。

在系統(tǒng)設(shè)計時，首先我們把威脅情報分類分級；其次是將威脅情報數(shù)據(jù)格式化統(tǒng)一，并且將威脅情報可直接和本地大數(shù)據(jù)搜索關(guān)鍵詞進行匹配和引用，具備上述基礎(chǔ)后才可以對網(wǎng)絡(luò)攻擊行為分析和溯源查詢，結(jié)合搜索技術(shù)的數(shù)據(jù)分析系統(tǒng)可將索引以多個分片和多個副本的形式存儲于分布式系統(tǒng)當(dāng)中，既可提高檢索性能，又能保證威脅數(shù)據(jù)的可靠性和準(zhǔn)確性。而且其默認使用的內(nèi)存索引方式可以保證系統(tǒng)對近期錄入的數(shù)據(jù)做到近乎實時的查詢，對于存儲于硬盤的TB級數(shù)據(jù)也可做到秒級查詢，對全部數(shù)據(jù)進行數(shù)據(jù)碰撞和本地風(fēng)險分析，用來實現(xiàn)基于威脅情報數(shù)據(jù)推動的攻擊行為分析和溯源查詢。

3.采用大數(shù)據(jù)處理技術(shù)來提高系統(tǒng)效率

系統(tǒng)的關(guān)聯(lián)分析核心技術(shù)是基于大數(shù)據(jù)搜索的大數(shù)據(jù)預(yù)警監(jiān)測分析技術(shù)，提升數(shù)據(jù)查找能力是關(guān)鍵點，在之前傳統(tǒng)的方案中，對于本地數(shù)據(jù)的處理往往采用SQL等關(guān)系型數(shù)據(jù)庫。這種設(shè)計在該項目的當(dāng)前數(shù)據(jù)量的處理性能需要下無法滿足系統(tǒng)的搜索數(shù)據(jù)和數(shù)據(jù)關(guān)聯(lián)。因此，本系統(tǒng)引入大數(shù)據(jù)搜索技術(shù)，將該技術(shù)平滑融合到大數(shù)據(jù)預(yù)警監(jiān)測分析及防御系統(tǒng)中，創(chuàng)新性地采用搜索引擎技術(shù)作為本地數(shù)據(jù)存儲和檢索核心技術(shù)，采用JSON格式作為引擎的輸入輸出格式，在實際測試中發(fā)現(xiàn)這樣可極大提高檢索性能，實現(xiàn)了TB級的數(shù)據(jù)快速搜索能力，同時，相比傳統(tǒng)架構(gòu)也能夠降低大量接口上的開發(fā)量。

這個技術(shù)對于省級廣電網(wǎng)絡(luò)規(guī)模的日志的大數(shù)據(jù)分析挖掘起到了架構(gòu)基礎(chǔ)的作用，從而實現(xiàn)了對大數(shù)據(jù)快速存儲、提取、分析工作，滿足了系統(tǒng)在數(shù)據(jù)處理及分析階段的實時、高效、并發(fā)、可靠的要求，同時也提升了預(yù)警監(jiān)測發(fā)現(xiàn)的時間效率，為本地的大規(guī)模數(shù)據(jù)保存、攻擊證據(jù)留存和查詢、實時關(guān)聯(lián)分析提供堅實的技術(shù)保障。

這套系統(tǒng)可通過省公司控制中心進行遠程配置和權(quán)限受理，系統(tǒng)整體部署成本低，具有良好的可擴展性，大大減小各地分公司推廣部署的技術(shù)難度，避免了傳統(tǒng)安全方案需要多次上線的安全風(fēng)險和硬件成本，還降低了資源消耗以及運維成本。在系統(tǒng)部署過程中，我們還解決了一個廣電特色的日志采集難題，廣電DVB直播網(wǎng)絡(luò)實際是多個獨立小局域網(wǎng)組成的，這些小網(wǎng)的IP地址還可能是重復(fù)的，如何在不破壞原有的隔離、不改變原來的IP地址的情況下，保持各局域網(wǎng)的相對獨立又要把日志收集上來，是一個巨大的挑戰(zhàn)。

圖2 典型的地市前端部署拓撲圖

只有打破圍墻式的防御體系，將這些安全孤島整合起來，打通數(shù)據(jù)間的隔閡，形成企業(yè)或組織的全面數(shù)字安全感知體系，才能真正實現(xiàn)安全威脅的積極防御和有效應(yīng)對。在缺乏總局指導(dǎo)性的操作規(guī)范的情況下，我們和華數(shù)一起做了大膽的探索，創(chuàng)新的通過防火墻將這些局域網(wǎng)連起來，使得網(wǎng)絡(luò)之間繼續(xù)保持隔離，但都能給日志收集服務(wù)器傳送日志，并將日志的源地址都自動轉(zhuǎn)換為規(guī)劃好的新地址段。

結(jié)語

系統(tǒng)目前已穩(wěn)定運行將近一年，從實際效果和應(yīng)用情況來看，原先沒有這套系統(tǒng)時，省公司安全工程師在日常安全管理可謂是無所事事，完全看不到各地的情況，只能被動地對安全事件進行響應(yīng)。系統(tǒng)建成后，提供了一整套“事前預(yù)警+事中防護+事后服務(wù)”的全省預(yù)警監(jiān)測分析及防御解決手段，借助橫向拓展的大數(shù)據(jù)能力和分析能力，實現(xiàn)了廣泛維度的海量數(shù)據(jù)采集、處理、展現(xiàn)，并將綜合檢測的結(jié)果與快速響應(yīng)處置及深入的調(diào)查分析進行結(jié)合，形成安全事件處置閉環(huán)，極大地提升了安全運維的有效性，保障業(yè)務(wù)順暢運行。