■ 安徽省大數(shù)據(jù)中心 劉揚
編者按:本文在分析云中心架構(gòu)、安全管理和安全運維需求的基礎(chǔ)上,設(shè)計了安徽省自然資源云中心安全態(tài)勢感知平臺,對網(wǎng)絡(luò)和設(shè)備運行狀況進行集中監(jiān)測,數(shù)據(jù)匯總分析,安全事件識別報警,全方位提升安全防御能力。
安徽省自然資源廳于2018年5月份發(fā)布了《全省國土資源系統(tǒng)信息化提升行動計劃(2018-2020年)》,該計劃明確提出建設(shè)“自然資源云中心”:充分利用全省各級自然資源主管部門現(xiàn)有的軟硬件基礎(chǔ)設(shè)施,加快建設(shè)覆蓋全省,互聯(lián)互通,統(tǒng)籌利用,保障安全的“自然資源云中心”,為全省各級自然資源主管部門及政府部門的業(yè)務(wù)協(xié)同、數(shù)據(jù)共享和穩(wěn)定運行提供支撐。按照統(tǒng)一的自然資源云平臺建設(shè)要求,積極推進廳直屬有關(guān)單位和市級自然資源主管部門云環(huán)境建設(shè)。
自然資源云中心雖然按照網(wǎng)絡(luò)安全等級保護三級標準建設(shè),但現(xiàn)有的安全防御體系在技術(shù)上并不足以抵御千變?nèi)f化的網(wǎng)絡(luò)攻擊。本文在分析云中心架構(gòu)、安全管理和安全運維需求的基礎(chǔ)上,設(shè)計了安徽省自然資源云中心安全態(tài)勢感知平臺,對網(wǎng)絡(luò)和設(shè)備運行狀況進行集中監(jiān)測,數(shù)據(jù)匯總分析,安全事件識別報警,全方位提升安全防御能力。
省級自然資源云中心(包含省自然資源廳和地質(zhì)資料館園區(qū)兩個節(jié)點)由16個市級自然資源云中心和部分省自然資源廳直屬單位云中心共同構(gòu)成,通過自然資源業(yè)務(wù)專網(wǎng)結(jié)合NSX打通省市之間的網(wǎng)絡(luò),實現(xiàn)省級云中心、市級云中心和廳直屬事業(yè)單位云中心的互聯(lián)互通。
自然資源云中心總體架構(gòu)如圖1所示,省級云中心邏輯架構(gòu)包括“四層三翼”。其中,“四層”包括Iaas基礎(chǔ)設(shè)施、Paas和DaaS、云管理平面、用戶使用平面?!叭怼卑ㄗ匀毁Y源信息化建設(shè)標準規(guī)范、信息安全保證體系和運維服務(wù)保障體系。
省級云計算中心分別與十六個市云計算中心和部分事業(yè)單位云計算中心對接,各市云中心與各縣區(qū)云中心進行對接。
圖1 自然資源云中心總體架構(gòu)圖
隨著網(wǎng)絡(luò)應(yīng)用規(guī)模和復(fù)雜度的不斷提高,自然資源云中心數(shù)據(jù)量急劇上升,網(wǎng)絡(luò)攻防對抗日趨激烈,內(nèi)部新的安全問題開始顯現(xiàn)。
安全管理需求主要體現(xiàn)在:復(fù)雜的網(wǎng)絡(luò)環(huán)境讓安全工作無從下手;傳統(tǒng)安全技術(shù)對高級持續(xù)性威脅無能為力;圍墻式的防御體系不再適應(yīng)當前的網(wǎng)絡(luò)環(huán)境等。
自然資源云中心需使用新的技術(shù)手段來掌控全局的安全態(tài)勢,從而優(yōu)化安全運維過程,將網(wǎng)絡(luò)安全風險控制在合理的區(qū)間。
安全運維技術(shù)需求主要體現(xiàn)在廣泛的數(shù)據(jù)采集能力、可水平擴展的數(shù)據(jù)計算和存儲資源、流量的安全檢測、海量數(shù)據(jù)的計算與分析能力、自動化的告警響應(yīng)處置、完善的工單處理系統(tǒng)以及安全態(tài)勢感知管理等七個方面。
自然資源云中心提供網(wǎng)絡(luò)、計算、存儲和安全等資源,用以搭建各自的業(yè)務(wù)系統(tǒng)。隨著系統(tǒng)資產(chǎn)的逐漸增多,梳理完善各資產(chǎn)信息顯得越來越重要。這些需求主要體現(xiàn)在資產(chǎn)管理、拓撲管理、漏洞管理及安全服務(wù)等四個方面。
安全態(tài)勢感知平臺總體技術(shù)框架如圖2所示,安全態(tài)勢感知平臺通過全流量檢測系統(tǒng)對互聯(lián)網(wǎng)、自然資源專網(wǎng)、重要信息系統(tǒng)等關(guān)鍵位置的網(wǎng)絡(luò)流量進行全面的安全檢測和數(shù)據(jù)采集;通過威脅情報云系統(tǒng)對互聯(lián)網(wǎng)、自然資源專網(wǎng)、重要信息系統(tǒng)的漏洞信息和情報數(shù)據(jù)進行掃描爬取、安全檢測;通過安全態(tài)勢感知子系統(tǒng)對安全要素進行呈現(xiàn)、分析以及預(yù)測未來的發(fā)展趨勢。
(1)資產(chǎn)風險普查子系統(tǒng)
利用具備主動探測發(fā)現(xiàn)無主資產(chǎn)和僵尸資產(chǎn)功能的資產(chǎn)掃描器,可以對資產(chǎn)進行全生命周期的管理。運維人員可針對目標站點主動下發(fā)資產(chǎn)探測任務(wù),進行網(wǎng)絡(luò)主機探測和端口探測,得到服務(wù)器、中間件、Web 應(yīng)用、端口服務(wù)及版本信息等數(shù)據(jù)信息,可以時刻了解主機、網(wǎng)絡(luò)設(shè)備、安全設(shè)備、數(shù)據(jù)庫、中間件及應(yīng)用組件等資產(chǎn)是否正常運行,以及被開放的端口信息等。其主要功能包括:探測主機可用性;探測端口和服務(wù)可用性;定期探測,及時更新資產(chǎn)信息;實現(xiàn)網(wǎng)絡(luò)資產(chǎn)評估的周期性管理;子域名探測功能。
圖2 安全態(tài)勢感知平臺總體技術(shù)框架圖
(2)日志分析子系統(tǒng)
由于某些設(shè)備(如防火墻、入侵檢測系統(tǒng)和入侵防御系統(tǒng))具有生成大量日志數(shù)據(jù)的EPS(每秒事件數(shù)),使得日志收集的工作量尤為龐大。
無論日志數(shù)據(jù)量和網(wǎng)絡(luò)中的設(shè)備數(shù)量如何,實時收集和處理日志數(shù)據(jù)要求機構(gòu)具有強大的日志收集機制。日志分析模塊應(yīng)具備日志收集功能,通過在目標設(shè)備上部署Agent收集設(shè)備日志,支持對任何安全設(shè)備的日志進行收集、過濾和分析,支持大量的數(shù)據(jù)獲取方法,并將其存儲供后期分析利用。用戶使用該模塊的日志收集功能統(tǒng)一收集分散的設(shè)備日志。具體收集的設(shè)備日志如下:
支持各類主流設(shè)備(包括主機、防火墻、路由器、交換機、入侵檢測與防御系統(tǒng)、KVM等);日志收集兼容的系統(tǒng)(Debian-32bit、Debian-64bit、Redhat-32bit、Red hat-64bit、Linux-32bit、Linux-64bit、MAC、Windows-32bit、Windows-64bit等);日志收集兼容的數(shù)據(jù)庫(Aerospike、Ceph、Couch base、Redis、MySQL、etcd、HAProxy等);日志收集兼容的應(yīng)用服務(wù)(Docker、Dropwizard、EnvoyProxy、Graphite、HTTP、Kafka、Jolokia、Kubernetes、IIS、Nginx、Apache 2等)。
(3)APT全流量威脅檢測子系統(tǒng)
APT(高級持續(xù)性威脅)全流量威脅檢測子系統(tǒng)通過實時分析網(wǎng)絡(luò)全流量,結(jié)合威脅情報數(shù)據(jù)及網(wǎng)絡(luò)行為分析技術(shù),深度檢測所有可疑活動。
文件檢測采用全面沙箱分析,通過在沙箱(Sandbox)中運行(行為激活/內(nèi)容“引爆”)各種文件,分析文件行為,識別出未知威脅。網(wǎng)絡(luò)檢測與文件檢測同步進行,采用情報共享機制,構(gòu)筑檢測生態(tài)圈,準確、快速地掌握攻擊鏈條,以便進一步采取相關(guān)措施。APT全流量威脅檢測系統(tǒng)具有如下功能。
網(wǎng)絡(luò)異常行為檢測技術(shù):識別豐富的網(wǎng)絡(luò)應(yīng)用層協(xié)議,通過協(xié)議分析、網(wǎng)絡(luò)異常行為模式匹配等檢測技術(shù)快速鑒別出C&C通訊、DGA惡意域名、DDoS攻擊、SSH/FTP暴力破解、SQL注入、DNS/ARP污染、漏洞掃描和漏洞攻擊等網(wǎng)絡(luò)惡意行為。
基因圖譜檢測技術(shù):結(jié)合機器學(xué)習(xí)/深度學(xué)習(xí)、圖像分析技術(shù),將惡意代碼映射為灰度圖像,建立卷積神經(jīng)元網(wǎng)絡(luò)CNN深度學(xué)習(xí)模型,利用惡意代碼家族灰度圖像集合訓(xùn)練卷積神經(jīng)元網(wǎng)絡(luò),并建立檢測模型,利用檢測模型對惡意代碼及其變種進行家族檢測。而且,該方法能夠有效地檢測使用特定封裝工具打包(加殼)的惡意代碼。
全面的已知和未知威脅檢測:通過內(nèi)置的下一代入侵檢測引擎,Multi-AV防病毒引擎和威脅情報檢測技術(shù)對已知威脅進行靜態(tài)檢測;通過基因檢測技術(shù)對惡意代碼的變種進行檢測,通過對惡意代碼在沙箱中的主機行為和網(wǎng)絡(luò)行為進行深入分析,對未知威脅進行檢測。
溯源取證能力:支持解析并存儲HTTP、DNS、FTP、SMTP等幾十種協(xié)議的元數(shù)據(jù),具有完整的追溯取證能力。通過可視化操作,該能力可定位攻擊者,并定位出攻擊者的IP、MAC、攻擊方式、攻擊協(xié)議以及攻擊目標等詳細信息。
(4)威脅情報云子系統(tǒng)
威脅情報能夠提供關(guān)于某攻擊事件或黑客組織的重要特點與關(guān)鍵信息,為安全管理人員的安全防御決策和安全策略制定提供重要的參考,并促進安全事件的快速預(yù)警與響應(yīng)。
高質(zhì)量的威脅情報可以大幅度地提升檢測、分析和應(yīng)急響應(yīng)效率,進而改變攻防態(tài)勢。威脅情報云子系統(tǒng)主要包括以下幾個方面。
IP情報數(shù)據(jù):將網(wǎng)絡(luò)中的IP信息進行收集分析,并及時下發(fā)至各個組件,使得各個組件能及時提取相關(guān)的威脅情報。
域名情報數(shù)據(jù):主要包括URL信譽檢測、域名注冊信息、網(wǎng)頁病毒/掛馬情報、網(wǎng)頁暗鏈/Shellcode檢測情報、可視化分析等。
文件情報數(shù)據(jù):通過黑白名單、反病毒引擎、基因圖譜檢測以及沙箱行為等方式檢測出的惡意文件情報發(fā)送至威脅情報系統(tǒng),以各種形式發(fā)送到各個組件,及時升級威脅庫。
漏洞情報數(shù)據(jù):通過將任何CVE漏洞提交到威脅情報云中進行檢測查詢,獲得包括該漏洞公布時間、修改時間、漏洞系統(tǒng)評分以及詳細報告等詳細信息。
(5)大數(shù)據(jù)安全態(tài)勢子系統(tǒng)
基于海量的網(wǎng)絡(luò)安全數(shù)據(jù)、主機安全數(shù)據(jù)、威脅情報數(shù)據(jù)及其他安全數(shù)據(jù),采用實時大數(shù)據(jù)處理引擎和批量大數(shù)據(jù)處理引擎,并結(jié)合機器學(xué)習(xí)、深度學(xué)習(xí)等技術(shù),對整體網(wǎng)絡(luò)安全態(tài)勢進行全面的呈現(xiàn)、分析及預(yù)測,為大范圍的預(yù)警和響應(yīng)提供決策支持。
數(shù)據(jù)預(yù)處理:海量的原始數(shù)據(jù)中存在著大量的不完整(有缺失值)、不一致、有異常的數(shù)據(jù),嚴重影響到數(shù)據(jù)挖掘建模的執(zhí)行效率。數(shù)據(jù)預(yù)處理主要過程包括數(shù)據(jù)清洗、數(shù)據(jù)集成、數(shù)據(jù)規(guī)約和數(shù)據(jù)變換等。
數(shù)據(jù)存儲:大數(shù)據(jù)往往是半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)為主,結(jié)構(gòu)化數(shù)據(jù)為輔,而且各種大數(shù)據(jù)應(yīng)用通常是對不同類型的數(shù)據(jù)內(nèi)容檢索、交叉比對、深度挖掘與綜合分析。存儲對象主要包括結(jié)構(gòu)化數(shù)據(jù)、索引數(shù)據(jù)和圖數(shù)據(jù)等。
實時流式計算引擎:對于延遲需求很高的純粹的流處理工作負載,Storm是最適合的技術(shù)。該技術(shù)可以保證每條消息都被處理,可配合多種編程語言使用。如果對嚴格的一次處理保證有比較高的要求,此時使用Trident。
實時關(guān)聯(lián)分析引擎:對威脅情報、掃描探測、DDoS攻擊、入侵攻擊、Web攻擊、漏洞攻擊、失陷主機、隱蔽通道數(shù)據(jù)外泄、異常流量、異常行為、僵尸木馬(DGA機器學(xué)習(xí)+特征檢測)、蠕蟲病毒(基于蠕蟲病毒的網(wǎng)絡(luò)行為檢測)等信息進行置信度關(guān)聯(lián)分析。
離線數(shù)據(jù)分析引擎:使用HDFS存儲技術(shù),針對數(shù)據(jù)量巨大且保存時間長的相關(guān)信息,采用離線方式進行數(shù)據(jù)分析。
機器學(xué)習(xí)引擎:通過數(shù)據(jù)標注、特征工程、數(shù)據(jù)建模等技術(shù),對完成學(xué)習(xí)和訓(xùn)練階段的工作,就可以進入檢測階段,在實際應(yīng)用中發(fā)揮作用。
態(tài)勢感知引擎:基于海量網(wǎng)絡(luò)安全數(shù)據(jù)、主機安全數(shù)據(jù)、威脅情報數(shù)據(jù)及其他安全數(shù)據(jù),采用實時大數(shù)據(jù)和批量大數(shù)據(jù)處理引擎,并結(jié)合機器學(xué)習(xí)、深度學(xué)習(xí)等技術(shù),對整體網(wǎng)絡(luò)安全態(tài)勢進行全面的呈現(xiàn)、分析及預(yù)測,為大范圍的預(yù)警和響應(yīng)提供決策支持。
追溯取證模塊:從多角度重組完整的會話信息,多維度展示網(wǎng)絡(luò)中的流量組成和網(wǎng)絡(luò)行為。該模塊提供端到端的全流量行為和性能的可視化分析能力,并定位出攻擊者的IP及MAC的攻擊方式、攻擊協(xié)議以及攻擊目標。
本文在介紹全省自然資源云中心架構(gòu)、分析面臨的安全需求的基礎(chǔ)上,有針對性的提出了安全態(tài)勢感知平臺框架,設(shè)計了資產(chǎn)風險普查、日志分析、APT全流量威脅檢測、威脅情報云、大數(shù)據(jù)安全態(tài)勢等五個子系統(tǒng)。
下一步,在平臺建成后使用的過程中,可通過引入安全運維服務(wù),提供日常告警處置、定期統(tǒng)計報告、流量分析、安全規(guī)則調(diào)優(yōu)等工作,形成工作閉環(huán),進一步提升自然資源云中心安全運營的工作效率。