安全運(yùn)營中告警全面性和告警過載的平衡實(shí)踐

◎奇安信科技集團(tuán)股份有限公司 黃巍

一、告警過載已成為SOC 有效性的最大挑戰(zhàn)之一

近日，一項(xiàng)全球調(diào)研顯示，超過70%的安全運(yùn)營團(tuán)隊認(rèn)為，他們的工作及家庭生活受到了告警過載帶來的嚴(yán)重影響。受訪者表示正在被大量的告警淹沒，并承認(rèn)他們沒有信心能夠確定告警優(yōu)先級并及時做出響應(yīng)。據(jù)統(tǒng)計，受訪者僅進(jìn)行誤報處理就占據(jù)了工作時間的四分之一以上，這揭示了當(dāng)前安全工具難以解決眾多安全系統(tǒng)生成的告警的現(xiàn)實(shí)情況。此外，在面對巨大告警過載壓力時，部分受訪者承認(rèn)曾選擇關(guān)閉告警（43%）、離開計算機(jī)（43%）、寄希望于團(tuán)隊其他成員介入（50%）、甚至選擇忽略（40%）。研究顯示，受訪者表示由于告警過載引發(fā)的疲勞和焦慮，還侵犯了他們的家庭生活，甚至在情感上對其造成了巨大損失：70%的受訪者表示，他們在工作之外的時間也感受到巨大壓力，以至于他們難以在生活中放松，并且對朋友和家人表現(xiàn)出煩躁情緒。

波耐蒙研究所（Ponemon Institute）于2020 年和2021年分別發(fā)布了兩份題為《SOC 經(jīng)濟(jì)學(xué)：出效果到底要花多少錢》的系列調(diào)研報告。本次調(diào)研報告最終有效樣本數(shù)為682份，調(diào)研對象主要為大型企業(yè)安全運(yùn)營中心（SOC）的管理者。報告顯示，在受訪者心目中，最重要的SOC 活動排序第一的為“降低誤報”（88%），而安全廠商更看重和強(qiáng)調(diào)的“告警監(jiān)測”（79%）“威脅檢測”（73%）能力，僅僅排在第五位和第八位。這樣的調(diào)研結(jié)果與我們的固有認(rèn)知存在較大差異，然而這卻代表了眾多安全運(yùn)營團(tuán)隊的真實(shí)訴求。

二、造成告警過載的原因

原因一：安全設(shè)備和產(chǎn)品眾多，造成海量數(shù)據(jù)輸入并引發(fā)數(shù)據(jù)重復(fù)

隨著國內(nèi)大型企業(yè)和機(jī)構(gòu)安全建設(shè)的逐漸成熟，所采購和投入使用的安全設(shè)備和產(chǎn)品也越來越多，因此，安全運(yùn)營中心（SOC）需要監(jiān)管的海量數(shù)據(jù)和資產(chǎn)信息正在爆炸式的增長。調(diào)研報告顯示，SOC 監(jiān)管最多的安全產(chǎn)品依次是防火墻、IPS/IDS、認(rèn)證系統(tǒng)、威脅情報、郵件安全、云安全、EDR、漏掃、中間件、終端安全等產(chǎn)品。除了十種典型安全產(chǎn)品，SOC 還需要監(jiān)管諸如數(shù)據(jù)庫審計、上網(wǎng)行為管理、堡壘機(jī)、4A 認(rèn)證、VPN 認(rèn)證、零信任認(rèn)證等眾多審計類產(chǎn)品的海量數(shù)據(jù)和告警等。

但在數(shù)據(jù)量增長的同時，也會引發(fā)嚴(yán)重的數(shù)據(jù)重復(fù)現(xiàn)象。由于單個安全產(chǎn)品能力越來越趨向于多樣化、多功能，這勢必造成部分安全產(chǎn)品的能力重合，例如NGFW、UTM、IPS、流量探針等網(wǎng)絡(luò)安全設(shè)備可能對同一份網(wǎng)絡(luò)流量檢測出常見的網(wǎng)絡(luò)攻擊事件，其內(nèi)容大同小異，而這樣的重復(fù)部署會對SOC 分析師和運(yùn)營人員的工作量造成數(shù)倍的增長。這是造成告警過載的首要原因，且當(dāng)前呈現(xiàn)出日益加劇的趨勢。

原因二：安全運(yùn)營工具未能對海量告警進(jìn)行有效降噪、去重、歸類合并

作為安全運(yùn)營的重要工具，安全運(yùn)營平臺類產(chǎn)品正迅速得到普及，此類產(chǎn)品產(chǎn)生的初衷是幫助安全團(tuán)隊管理爆炸式增長的數(shù)據(jù)和各類信息，以實(shí)現(xiàn)一站式的告警監(jiān)測和多源的日志管理。然而，事實(shí)上多數(shù)平臺并未有效地解決因數(shù)據(jù)量過大和數(shù)據(jù)重復(fù)引發(fā)的告警過載問題。究其原因，主要在于平臺難以對各安全產(chǎn)品上報的告警數(shù)據(jù)進(jìn)行有效的質(zhì)量評估、過濾、去重和歸類合并，即平臺未能自動地對明顯無效、質(zhì)量差、價值低的數(shù)據(jù)進(jìn)行篩選過濾，也未能有效地對重復(fù)或反復(fù)發(fā)生的告警進(jìn)行自動化地去重和歸類合并，從而造成了工作的低效。

原因三：人是SOC 運(yùn)營成功的關(guān)鍵，但人才的發(fā)現(xiàn)和培養(yǎng)過程困難

Ponemon 發(fā)表的調(diào)研結(jié)果表示，人（分析師）是SOC成功的關(guān)鍵，也是SOC 成本支出的主要部分。SOC 需要的人才數(shù)量多，且分析師的雇傭成本也相對較高，在招人、育人、留人方面也很困難。調(diào)查顯示，招聘到一名分析師平均耗時3.5 個月，培訓(xùn)時間約為3.8 個月，但分析師在一個企業(yè)的供職時間平均只有27.2 月（2 年左右），即人員的流動性也很高。如下圖：

從分析師的角度來講，他們工作的痛苦也在不斷加劇。70%受訪者承認(rèn)，由于告警過載、信息過載、7x24x365 全年無休等問題，使他們感到精疲力竭，這直接促使了人員的流失和招聘困難，進(jìn)而導(dǎo)致更多的告警無人分析和及時響應(yīng)，又加重了SOC 的失效。這是一個惡性循環(huán)的過程，因此如何平衡告警過載帶來的壓力，緩解運(yùn)營人員的工作負(fù)擔(dān)，已成為SOC 亟需解決的問題。

三、應(yīng)對告警過載的案例

本文通過實(shí)踐案例來分享解決告警過載問題的經(jīng)驗(yàn)：國內(nèi)某大型新能源企業(yè)下設(shè)多家分公司、多個數(shù)據(jù)中心及海外辦公區(qū)，且安全基礎(chǔ)建設(shè)相對成熟，擁有的終端/服務(wù)器超過5 萬臺，擁有的網(wǎng)絡(luò)安全設(shè)備和審計類產(chǎn)品有數(shù)百種，其安全運(yùn)營中心（SOC）每天僅收到的網(wǎng)絡(luò)威脅告警就數(shù)以十萬計，安全團(tuán)隊承認(rèn)，他們最多處理全部告警的十分之一，其壓力也可想而知。

（一）理性選擇需要監(jiān)測的數(shù)據(jù)源

首先，安全團(tuán)隊?wèi)?yīng)理性評估各類安全產(chǎn)品的能力覆蓋范圍和數(shù)據(jù)重合度，安全產(chǎn)品并非采購的越多越好，如不合理規(guī)劃和分配各安全產(chǎn)品的職能，難免會造成不必要的浪費(fèi)，避免安全能力的重合。對于明顯重復(fù)的數(shù)據(jù)，例如捕獲相同流量的FW、IPS、流量探針，要對數(shù)據(jù)質(zhì)量進(jìn)行評估，并選擇過濾，以保留數(shù)據(jù)最全、質(zhì)量最好、檢出率最高的設(shè)備告警作為告警首要呈現(xiàn)來源和主要分析對象，而其他日志僅用于存儲和輔助分析，不作為首要對象去分析。

（二）主動降噪無效告警

該企業(yè)擁有眾多對外提供服務(wù)的網(wǎng)站應(yīng)用，這些應(yīng)用暴露在互聯(lián)網(wǎng)難免遭到無數(shù)探查和嘗試攻擊行為，但DMZ區(qū)已部署WAF，絕大多數(shù)的探查和攻擊行為都可以被阻攔，且WAF 已上報相關(guān)的告警事件，但攻擊特征卻在流量中被防火墻、IDS、流量探針等重重把關(guān)的安全設(shè)備檢測到并重復(fù)地報出告警。原則是此類重復(fù)告警應(yīng)被主動過濾，而不作為首要對象進(jìn)行呈現(xiàn)，更不應(yīng)該重復(fù)呈現(xiàn)。為此，企業(yè)制定了數(shù)據(jù)過濾策略：通過告警中的“響應(yīng)碼”“上下行字節(jié)數(shù)”“攻擊結(jié)果”“是否阻斷”等關(guān)鍵字段進(jìn)行過濾，以過濾無效告警，僅做入庫存儲用于必要時的溯源分析，而不再呈現(xiàn)給分析師，這成功將告警總量從10 萬級別降至1 萬以內(nèi)，減少了90%的無效告警。

（三）深度關(guān)聯(lián)資產(chǎn)信息，去除重復(fù)告警

因負(fù)載均衡、代理服務(wù)器、多級DNS 服務(wù)器等設(shè)備將網(wǎng)絡(luò)請求進(jìn)行轉(zhuǎn)發(fā)，轉(zhuǎn)發(fā)前后的流量同時被捕捉，流量中的攻擊事件被網(wǎng)絡(luò)安全設(shè)備（IPS、流量探針、WAF）進(jìn)行重復(fù)檢測，從而造成告警數(shù)量的翻倍。例如常見的惡意域名請求事件，下級DNS 服務(wù)器對上級DNS 服務(wù)器的域名請求同樣產(chǎn)生告警，且無法定位真實(shí)請求源，這是典型的既重復(fù)又無效的告警。為解決此問題，企業(yè)將告警關(guān)聯(lián)請求源IP 屬于客戶的下級DNS 服務(wù)器的告警進(jìn)行過濾，這可以減少約50%惡意域名請求的告警數(shù)量。此外，通過分析還發(fā)現(xiàn)，由于該企業(yè)的NGINX 代理服務(wù)器轉(zhuǎn)發(fā)前后的流量都會被捕獲，因此轉(zhuǎn)發(fā)后的請求流量存在告警重復(fù)且無法定位攻擊源的問題，這將難以在第一時間對來自互聯(lián)網(wǎng)的攻擊者進(jìn)行定位和封禁?；诖?，企業(yè)也進(jìn)行了過濾，凡是攻擊源來自于NGINX 服務(wù)器代理地址的告警，都不作為首要關(guān)注目標(biāo)，而只關(guān)注請求轉(zhuǎn)發(fā)前的攻擊事件。

此類告警優(yōu)化策略應(yīng)建立在對企業(yè)資產(chǎn)信息充分了解之上，需要掌握企業(yè)的部分關(guān)鍵資產(chǎn)信息，尤其是對于容易引起告警重復(fù)、誤報的資產(chǎn)信息要有清楚的認(rèn)知，并應(yīng)通過運(yùn)營工具將這些信息與告警進(jìn)行自動關(guān)聯(lián)過濾，例如客戶定期漏掃、云監(jiān)測、資產(chǎn)探查等服務(wù)都會周期性的引發(fā)告警。若分析師不清楚這些資產(chǎn)信息，勢必存在誤導(dǎo)和困擾，造成過大工作負(fù)擔(dān)。

（四）告警歸類合并

通過上述的降噪和過濾策略，已經(jīng)可以將告警數(shù)量顯著下降至每日數(shù)千條，這可以減少約94%無效、重復(fù)告警，但對于人員有限的SOC 分析師來說，這個數(shù)據(jù)還是很大，仍存在很多擔(dān)憂，如因無法一一查看這些告警而被迫忽視真正高危的安全事件。通過繼續(xù)分析告警類型可以發(fā)現(xiàn)，很多告警雖不重復(fù)，但卻是反復(fù)發(fā)生，例如常見的弱口令事件、信息泄漏事件、敏感目錄訪問事件、未授權(quán)訪問事件等，都并非攻擊性質(zhì)的事件，而是屬于脆弱性事件或稱之為管理疏忽事件。這類事件因涉及太多主機(jī)、用戶和服務(wù)，因此會引發(fā)海量告警，而僅按照IP、用戶名、主機(jī)名去歸并也無法完全解決問題。此類事件應(yīng)進(jìn)行合理的歸納總結(jié)，而不是面面俱到的一一展示，以避免造成告警的堆積，淹沒其他更具分析價值的真實(shí)攻擊事件。通過積極調(diào)整檢測規(guī)則的“歸并策略”，可將此類告警在規(guī)定時間窗口內(nèi)產(chǎn)生的所有告警合并為一個事件，并做好事件分類，使這類脆弱性事件不與其他網(wǎng)絡(luò)攻擊事件混為一談?？蛻糁恍柚芷谛缘牟榭丛撌录⒍酱僭撌录猩婕暗乃杏脩艉椭鳈C(jī)責(zé)任人進(jìn)行整改即可。此外，還需對不同類型事件進(jìn)行分類和定級，例如威脅情報事件的可信程度極高應(yīng)該首先被關(guān)注，內(nèi)網(wǎng)攻擊事件優(yōu)先于外部攻擊事件，重點(diǎn)資產(chǎn)的安全事件優(yōu)先于用戶終端的安全事件等。通過這些合理的分類和定級可以幫助分析師確立優(yōu)先級，定向地去查看，以提高工作效率。

至此，通過主動降噪、告警去重、歸納合并等策略可以將告警數(shù)量從每天十萬條降至每天約800 條，平均每1 億條日志僅呈現(xiàn)給分析師24 條高度歸納總結(jié)后的事件，作為SOC 分析師調(diào)查分析的入口。

安全運(yùn)營平臺作為大型企業(yè)一站式告警監(jiān)測與多源日志的管理平臺，在優(yōu)化工作中扮演了重要角色。優(yōu)秀的運(yùn)營工具通過加工的日志存儲和過濾的告警呈現(xiàn)，更加智能有效地幫助安全團(tuán)隊解決非核心業(yè)務(wù)，讓安全分析師將更多精力和時間專注于告警分析和事件響應(yīng)這種核心業(yè)務(wù)上，不被告警過載問題所困擾。

時間線每天日志量每天告警量每1億條日志告警量2021/05/01 18.9億條102129 5291 2021/05/16 22.2億條9787 440 2021/06/01 26.7億條6101 228 2021/06/18 29.3億條921 31 2021/06/30 35.9億條870 24