新一代日志分析系統(tǒng)為企業(yè)運維減負

伴隨著大數(shù)據(jù)時代的到來，啟明星辰正式對外發(fā)布了面向企業(yè)級客戶、融合大數(shù)據(jù)技術的泰合新一代日志分析與審計平臺（以下簡稱TSOC-SA3），以滿足需要分析海量安全日志的政企客戶的需求。該平臺結合當前主流的大數(shù)據(jù)技術，并采用具有自主知識產(chǎn)權的分布式非關系型數(shù)據(jù)庫（CupidDB）技術，有效處理日志大數(shù)據(jù)問題，開啟安全管理的SOC3.0時代。

TSOC-SA3基于分布式節(jié)點計算機制，使用自主知識產(chǎn)權的非關系型數(shù)據(jù)庫CupidDB，具有高可靠性的分布式、全文索引、實時格式化數(shù)據(jù)搜索和原始數(shù)據(jù)關鍵字搜索等功能。系統(tǒng)融合多種信息安全技術和管理理念，充分實現(xiàn)組織、管理、技術三個體系的合理調(diào)配，幫助用戶進行基于日志的綜合審計和日志全生命周期管理，從而最大化地保障網(wǎng)絡、主機和應用系統(tǒng)安全機制的有效性。

融合大數(shù)據(jù)技術的日志管理技術架構

系統(tǒng)采用了國內(nèi)領先的高性能日志采集范式化技術、大數(shù)據(jù)分布式存儲與索引、流式集中事件及情境關聯(lián)分析，從產(chǎn)品技術架構的層面，進行了系統(tǒng)性的設計，使系統(tǒng)真正成為一款能夠支撐持續(xù)海量日志管理的系統(tǒng)。

第一，日志采集層面使用了異步通信、高速緩存、日志范式化流水線和消息中間件技術，對海量異構日志進行持續(xù)不斷高速的采集，使用戶能夠采集并預處理網(wǎng)絡中大規(guī)模審計對象的日志。

第二，日志存儲方面，針對大數(shù)據(jù)日志，系統(tǒng)采用了具有自主知識產(chǎn)權的分布式非關系型數(shù)據(jù)庫CupidDB從根本上消除了使用傳統(tǒng)關系型數(shù)據(jù)庫的日志審計系統(tǒng)的性能瓶頸，彌補了數(shù)據(jù)存儲、數(shù)據(jù)索引、數(shù)據(jù)搜索和數(shù)據(jù)備份的不足，使日志審計系統(tǒng)真正邁向了大數(shù)據(jù)時代。對數(shù)據(jù)進行分片和副本，將分片和副本保存在不同的分布式節(jié)點上，同時對數(shù)據(jù)進行全文索引，通過分布式節(jié)點的增加實現(xiàn)對TB/PB級日志數(shù)據(jù)的保存，并可將數(shù)據(jù)以文件系統(tǒng)方式保存在各節(jié)點上，實現(xiàn)了存儲和分析的水平彈性擴展，滿足用戶存儲長期日志數(shù)據(jù)的要求。

第三，日志分析層面包括實時流式分析、交互式分析、全文檢索、歷史數(shù)據(jù)回放、批處理分析等多種先進技術。

第四，流式分析采用內(nèi)存實時計算、復雜事件處理（Complex Event Process，CEP）技術結合日志相關的各類情境數(shù)據(jù)進行實時監(jiān)控和關聯(lián)分析，幫助用戶及時發(fā)現(xiàn)安全異常，快速關聯(lián)出安全隱患。

第五，歷史數(shù)據(jù)回放提供了歷史數(shù)據(jù)檢測的功能，方便安全審計員對保存在系統(tǒng)中的海量數(shù)據(jù)進行回放，通過高速回放技術為用戶重現(xiàn)歷史安全場景。

第六，批處理分析使用了數(shù)據(jù)抽取、數(shù)據(jù)聚合等技術，能夠?qū)B級日志快速生成報表，滿足安全審計員生成各類安全日報、周報和月報等需求。

靈活強大的交互式查詢

系統(tǒng)使用了大數(shù)據(jù)交互式查詢技術，滿足安全審計員的日常工作需要。安全審計員可以通過自定義的儀表盤同日志審計所存儲的所有日志進行交互，實時查詢數(shù)據(jù)，查詢時間縮短到秒級。系統(tǒng)支持任意嵌套查詢，并可隨意回退，通過儀表板可視化處理數(shù)據(jù)，真正做到所見即所查。系統(tǒng)可將查詢條件保存為策略，支持策略的導入導出，供后期使用，為安全審計員工作提供便利。安全審計員通過儀表板可任意選擇需要顯示的字段和信息，并可對查詢結果隨時進行統(tǒng)計分析、可視化分析，包括地理定位、多維分析、TopN分析，支持關鍵字和正則表達式的全文檢索。系統(tǒng)的交互式分析功能為安全審計和分析人員在進行安全事件調(diào)查和威脅分析時提供了一個強有力的武器。

混合式檢索技術

系統(tǒng)提供混合檢索技術，其特點就是不僅提供了基于范式化后的格式數(shù)據(jù)內(nèi)容的實時關聯(lián)分析和統(tǒng)計報表，同時還提供強大的全文搜索功能?；旌鲜綑z索技術包括通過對范化后的字段值進行全部日志記錄的搜索，其功能基本等同于傳統(tǒng)關系庫中的SQL查詢，查詢出包含搜索值的所有的日志記錄，并分行顯示。同時，系統(tǒng)支持全文檢索技術，它不局限于幾種或幾十種固定的字段，不需要指定數(shù)據(jù)的格式，可以結合時間與關鍵詞進行搜索，實時展現(xiàn)搜索結果，并對關鍵字進行高亮顯示。全文檢索在使用上就和Google一樣直觀易用，用戶可以輸入關鍵詞或正則表達式進行任意搜索，提供即時的在線查詢?；旌鲜綑z索技術使系統(tǒng)在事件檢索上做到了靈活與高效。

威脅情報采集與利用

隨著信息技術的不斷發(fā)展和應用，攻擊變得越來越隱蔽和難以發(fā)現(xiàn)，諸如APT之類的攻擊很難被發(fā)現(xiàn)和防止，層出不窮的數(shù)據(jù)泄露事件和攻擊對組織的聲譽和財產(chǎn)乃至國家安全造成了十分惡劣的影響。大多數(shù)組織沒有足夠的人員、時間、資金和精力來應對威脅。因此，威脅情報在頻繁受到攻擊的高風險的重點行業(yè)大型企業(yè)和政府事業(yè)單位中，將會明顯提升關聯(lián)分析的準確性和目標性，幫助組織有效發(fā)現(xiàn)隱藏的威脅。

因此，系統(tǒng)集成了威脅情報的功能，可提供通過導入或者主動自動抓取的方式獲取內(nèi)外部相關威脅情報信息并利用于關聯(lián)分析和實時監(jiān)測。用戶可根據(jù)自己的需要和行業(yè)特點通過系統(tǒng)從公開的網(wǎng)絡威脅情報源和自己的情報來源獲取情報并將其保存入系統(tǒng)威脅情報庫，針對安全事件進行關聯(lián)分析，幫助安全管理人員彌補傳統(tǒng)安全防護體系架構針對APT等新興攻擊應對乏力的缺陷。

合規(guī)管理與分析

系統(tǒng)不僅是一個檢測外部入侵攻擊的高級分析工具，還是一個基于日志進行合規(guī)審計的強有力工具。考慮國家制定的信息系統(tǒng)等級保護制度對用戶網(wǎng)絡安全建設的重要性，系統(tǒng)為了幫助用戶更好完成等級保護建設，內(nèi)置等級保護自查功能。該功能包含等保定級、等保備案、等保測評、歷史回查、評分歸檔和完整的等級保護調(diào)查模板等，并以可視化方式幫助用戶及時了解全網(wǎng)等級保護建設情況。

此外，系統(tǒng)還基于等保、PCI、27001、SOX等合規(guī)性要求內(nèi)置了大量合規(guī)分析場景，用戶可以通過豐富的合規(guī)分析策略對全網(wǎng)的安全事件進行全方位、多視角、大跨度、細粒度的實時監(jiān)測、分析、查詢、調(diào)查、追溯，動態(tài)了解系統(tǒng)的合規(guī)情況，為用戶合規(guī)性建設提供有效支撐。