基于流式處理架構的日志采集系統(tǒng)的設計與實現(xiàn)

邵旭東，樊志杰，，張敬鋒，曹志威，周明富，熊已興，張 林

(1.公安部第三研究所 信息安全技術部，上海 200031；2.安徽省公安廳 科技信息化處，合肥 230061；3.上海辰銳信息科技有限公司 研發(fā)中心，上海 200031)

0 引言

隨著世界范圍內圍繞信息的獲取、使用、控制的斗爭愈演愈烈，全球網(wǎng)絡攻擊、網(wǎng)絡竊密和網(wǎng)絡犯罪等問題日漸突出，網(wǎng)絡安全問題已經(jīng)成為與政治安全、經(jīng)濟安全、文化安全同等重要，事關國家安全的重大戰(zhàn)略要害問題。泛政府行業(yè)大數(shù)據(jù)中心一旦發(fā)生安全問題，造成系統(tǒng)崩潰、網(wǎng)絡癱瘓、病毒爆發(fā)或重要數(shù)據(jù)丟失、泄漏，勢必導致災難性后果，給泛政務業(yè)務系統(tǒng)正常運轉、甚至國家信息體系完整性帶來重大損失。為此，亟需建立以數(shù)據(jù)安全為核心的大數(shù)據(jù)安全保障體系，建立先進的安全運行管理平臺、專業(yè)的安全技術團隊、全面的安全策略以及高效的運行管理機制來保護大數(shù)據(jù)的安全。

安全運行管理平臺匯聚的安全信息包括數(shù)據(jù)服務、應用、云平臺、終端、邊界、網(wǎng)絡和安全保障設施等系統(tǒng)運行記錄、操作日志、告警信息，各類系統(tǒng)運行信息格式不一、支持的傳輸協(xié)議種類繁多，因此需尋求技術手段，對各類異構的數(shù)據(jù)源進行統(tǒng)一采集和預處理，通過標準協(xié)議上報至安全運行管理平臺[1-5]。

當前，行業(yè)內存在集中監(jiān)管與審計系統(tǒng)，該系統(tǒng)為了保障泛政府行業(yè)信息安全，對接入泛政府行業(yè)內網(wǎng)的業(yè)務和用戶進行監(jiān)控，一旦發(fā)現(xiàn)安全隱患或攻擊行為，立刻采取措施，保障泛政府行業(yè)內網(wǎng)的安全。該系統(tǒng)支持對以TBSG可信邊界接入網(wǎng)關為隔離設備的邊界接入平臺、通過VPN網(wǎng)關接入的移動接入平臺、通過視頻接入專用設備的視頻接入平臺和以單向光閘為隔離設備的公網(wǎng)接入平臺等多種類型平臺上的通用網(wǎng)絡設備、通用安全設備和專用安全設備的監(jiān)控，以及設備狀態(tài)、業(yè)務流量和用戶訪問日志等信息的采集，使得泛政府行業(yè)建設單位的管理人員可以方便地對接入平臺進行管理，保證接入平臺安全穩(wěn)定地運行。但是該系統(tǒng)也存在一些不足之處，無法滿足大數(shù)據(jù)安全體系下的監(jiān)管要求，具體來說，存在的主要問題包括：

1)支持的協(xié)議類型較少，只支持SNMP和SYSLOG等少數(shù)日志采集協(xié)議，且擴展難度大；

2)系統(tǒng)將采集到的數(shù)據(jù)首先保存在關系數(shù)據(jù)庫中，上報數(shù)據(jù)到其他平臺時需要再次從數(shù)據(jù)庫中讀取、解析，時延大、執(zhí)行效率低；

3)采集的日志只支持上報到單一的平臺上，數(shù)據(jù)上報協(xié)議固定。為了支持多平臺、多協(xié)議格式上報，擴展難度大；

4)系統(tǒng)為采用模塊化的設計，模塊之間耦合大，不方便擴展功能。

鑒于此，本文提出統(tǒng)一日志采集技術并研制系統(tǒng)，可解決集中監(jiān)管與審計系統(tǒng)存在的不足：

1)采用標準化接口和插件技術，可靈活支持各種日志采集協(xié)議和數(shù)據(jù)上報協(xié)議，實現(xiàn)系統(tǒng)整體架構的高度穩(wěn)定性和可擴展性；

2)采用基于消息隊列的流式處理架構，實現(xiàn)日志采集、日志處理、日志上報等各個環(huán)節(jié)的解耦，并支持靈活的功能擴展；

3)通過消息隊列的流量削峰保證了日志傳輸?shù)目煽啃裕?/p>

4)根據(jù)日志流量特征，系統(tǒng)支持動態(tài)調整消費組規(guī)模，滿足系統(tǒng)的高性能要求。

1 系統(tǒng)結構及原理

本文研制的統(tǒng)一日志采集系統(tǒng)，軟件層面可以分為數(shù)據(jù)面與控制面兩個部分，如圖1所示。

圖1 系統(tǒng)結構圖

數(shù)據(jù)面主要包括數(shù)據(jù)采集、數(shù)據(jù)發(fā)布、數(shù)據(jù)存儲與數(shù)據(jù)上報等功能，這些功能之間通過消息隊列實現(xiàn)模塊功能解耦和數(shù)據(jù)流式處理，方便功能的擴展。

控制面主要包括日志源管理、策略管理、Agent管理、系統(tǒng)管理等功能，實現(xiàn)對數(shù)據(jù)面功能的策略配置與管控。

2 系統(tǒng)軟件設計

本文所設計的統(tǒng)一日志采集系統(tǒng)主要由日志采集、數(shù)據(jù)上報、數(shù)據(jù)管理、系統(tǒng)管理、策略管理、Agent管理、日志源管理模塊和日志采集代理(Agent)子系統(tǒng)組成[6-10]，如圖2所示。

圖2 軟件框架圖

日志采集模塊通過各種采集協(xié)議實現(xiàn)對各種數(shù)據(jù)源的日志采集功能。

數(shù)據(jù)上報模塊支持通過kafka、消息隊列、SFTP、FTP等協(xié)議將日志上報到各類平臺。

數(shù)據(jù)管理模塊實現(xiàn)日志數(shù)據(jù)的本地存儲和查詢功能。

圖3 日志采集模塊結構圖

系統(tǒng)管理模塊實現(xiàn)系統(tǒng)登錄、用戶角色管理、權限管理、版本管理、備份恢復等功能。

策略管理模塊實現(xiàn)日志采集策略的增刪改查、同步等功能。

Agent管理模塊實現(xiàn)Agent策略配置、Agent狀態(tài)監(jiān)控等功能。日志采集代理(Agent)可部署在Windows或Linux系統(tǒng)中，實現(xiàn)特定日志數(shù)據(jù)的采集上報，并接受統(tǒng)一日志采集系統(tǒng)的集中管理(如：策略配置、狀態(tài)管理等)。

日志源管理模塊實現(xiàn)日志源類型和采集協(xié)議管理以及日志源自動發(fā)現(xiàn)等功能。

2.1 日志采集

日志采集模塊由任務管理、任務調度、采集器和過濾器等組成，日志采集流程如圖3所示。

任務管理模塊負責生成采集任務，根據(jù)系統(tǒng)配置的日志源、日志采集策略和清洗策略，創(chuàng)建相應的采集器和過濾器，放到任務隊列中等待執(zhí)行。

任務調度模塊負責讀取采集任務隊列，分配工作線程，調用采集器完成相應類型日志的采集，采集器通過調用過濾器完成日志數(shù)據(jù)的清洗，清洗后的日志數(shù)據(jù)按照主題發(fā)布到日志隊列中。

采集器根據(jù)采集方式不同可以分為主動采集和被動采集。主動采集主要包括FTP、SFTP、SNMP Get、WMI、ODBC/JDBC等協(xié)議的日志采集。被動采集主要包括SYSLOG、HTTP、SNMP Trap等協(xié)議的日志采集。

對于主動日志采集是通過周期輪詢的方式實現(xiàn)日志的采集，任務管理模塊負責周期生成日志采集任務，并寫入采集任務隊列，等待任務調度模塊調度執(zhí)行。

對于被動日志采集，采集器采用監(jiān)聽服務，實現(xiàn)日志數(shù)據(jù)的持續(xù)接收，處理流程如圖4所示。

圖4 被動采集流程圖

過濾器負責根據(jù)系統(tǒng)配置的數(shù)據(jù)清洗策略對采集器獲取到的日志數(shù)據(jù)進行過濾處理。根據(jù)不同的日志源類型和數(shù)據(jù)清洗策略，系統(tǒng)可實現(xiàn)多種類型的過濾器，多個過濾器可以通過組合模式形成新的過濾器。

本系統(tǒng)通過制定標準化的采集器接口和過濾器接口，對于各種數(shù)據(jù)源和日志類型，按照標準接口實現(xiàn)各類采集器和過濾器，并以插件的方式注入系統(tǒng)中，實現(xiàn)日志采集系統(tǒng)整體架構的穩(wěn)定性和可擴展性，靈活支持項目的各種實際需求，如圖5所示。

圖5 采集器和過濾器插件工作原理

2.2 日志數(shù)據(jù)發(fā)布

采集器通過各種采集協(xié)議采集到原始日志后，經(jīng)過清洗、轉換等處理后按照主題發(fā)布到日志隊列中。

主題可采用如下格式：<日志源類型>.<協(xié)議類型>.<日志級別>.<日志源IP>，方便數(shù)據(jù)存儲、數(shù)據(jù)上報等模塊按需進行訂閱。

2.3 數(shù)據(jù)上報

數(shù)據(jù)上報模塊支持通過kafka、MQ、SFTP、FTP等協(xié)議將日志上報到安全運行管理平臺。

本系統(tǒng)通過制定標準化的數(shù)據(jù)上報引擎接口，對于各種上報協(xié)議方式，按照標準接口實現(xiàn)各類數(shù)據(jù)上報引擎，并以插件的方式注入系統(tǒng)中，實現(xiàn)日志采集系統(tǒng)整體架構的穩(wěn)定性和可擴展性，如圖6所示。

圖6 數(shù)據(jù)上報引擎工作原理

數(shù)據(jù)上報模塊根據(jù)系統(tǒng)配置策略，加載指定的數(shù)據(jù)上報引擎，并創(chuàng)建獨立的工作線程，按照主題從日志隊列中訂閱日志消息，將日志數(shù)據(jù)上報到安全運行管理平臺。

系統(tǒng)通過監(jiān)測隊列中的積壓消息數(shù)，動態(tài)調整工作線程數(shù)，實現(xiàn)日志消息傳輸?shù)牡脱舆t和可靠性。

對于MQ、kafka等協(xié)議上報方式，當接收端異常無法上報時，系統(tǒng)將產(chǎn)生告警日志，如果故障未恢復且RabbitMQ中的積壓消息達到配置的最大門限值，為了防止內存耗盡，影響系統(tǒng)的整體性能和運行穩(wěn)定性，系統(tǒng)將啟動本地緩存機制，將日志接收并保存到本地文件中。

在上報故障期間，上報線程定期嘗試將收到的新數(shù)據(jù)發(fā)送到MQ或kafka，以檢測其是否恢復故障，如果未恢復，則繼續(xù)保存到本地文件中。

如果檢測到接收端故障恢復，數(shù)據(jù)上報正常，則原上報線程將接收的新數(shù)據(jù)直接上報給MQ、kafka。同時啟動獨立的線程負責讀取保存在本地緩存中的日志信息并上報，上報成功后刪除本地緩存文件。

對于FTP、SFTP等協(xié)議的處理方式，采集日志數(shù)據(jù)后先保存到本地文件中，然后通過另外的上傳線程負責將本地文件上傳到FTP服務器上。

2.4 數(shù)據(jù)管理

數(shù)據(jù)管理模塊負責實現(xiàn)日志消息的本地存儲、歸檔和檢索等功能。

數(shù)據(jù)管理模塊按照主題訂閱日志，從日志隊列中獲取日志數(shù)據(jù)進行本地存儲或者保存到全文搜索引擎中。

2.4.1 日志存儲

對于日志存儲，日志文件可按照年、月、日分級存儲，即目錄結構為：<根目錄><年><月><日><日志文件>，這樣既方便查找日志文件，又避免同一級目錄下文件數(shù)過多，影響查詢速度。

日志存儲模塊執(zhí)行流程如下所示：

1)查詢數(shù)據(jù)表獲取系統(tǒng)配置的所有已使能的日志存儲策略；

2)對于每條存儲策略，創(chuàng)建一個線程，線程函數(shù)的執(zhí)行邏輯如下：

(1)根據(jù)配置的訂閱主題信息，依次訂閱這些主題的日志消息；

(2)接收日志消息并保存日志到系統(tǒng)配置的文件存儲路徑下；

(3)根據(jù)系統(tǒng)配置的文件切割策略，完成日志文件的切割。

2.4.2 日志歸檔

日志歸檔模塊根據(jù)系統(tǒng)配置的策略，將歷史日志文件壓縮后歸檔。歸檔日志可根據(jù)系統(tǒng)配置的保存時間定期清理。

日志歸檔模塊執(zhí)行流程如下：

1)啟動周期定時器，每天在指定時間(如：凌晨3點)觸發(fā)歸檔操作；

2)歸檔步驟如下：

(1)查詢數(shù)據(jù)表，獲取系統(tǒng)配置的所有已使用的日志存儲策略；

(2)遍歷每條日志存儲策略，執(zhí)行如下流程：

圖7 日志歸檔流程圖

2.4.3 日志查詢

日志查詢模塊通過訂閱機制，獲取日志數(shù)據(jù)保存到全文搜索引擎中，用于支持本地數(shù)據(jù)查詢功能。

日志查詢模塊可根據(jù)系統(tǒng)配置的策略，定期清除過期數(shù)據(jù)。對于已過期的日志，系統(tǒng)提供日志文件下載功能。

日志查詢模塊執(zhí)行流程如下：

1)查詢數(shù)據(jù)表獲取系統(tǒng)配置的所有已使能的日志查詢策略；

2)對于每條策略，創(chuàng)建一個線程，線程執(zhí)行邏輯如下：

(1)根據(jù)配置的訂閱主題信息，依次訂閱這些主題的日志消息；

(2)接收日志消息并保存日志到全文搜索引擎中，并制定相應參數(shù)，實現(xiàn)過期日志的自動刪除功能。

2.5 策略管理

提供日志源、數(shù)據(jù)上報策略、日志存儲策略和日志歸檔策略等管理功能，將配置信息保存到MySQL數(shù)據(jù)庫，然后發(fā)布配置更新消息到RabbitMQ消息隊列中，日志采集、數(shù)據(jù)上報和數(shù)據(jù)管理等模塊通過訂閱相應的配置更新消息，并按照新策略執(zhí)行，流程如圖8所示。

圖8 策略管理模塊結構圖

2.6 系統(tǒng)管理

系統(tǒng)管理模塊提供用戶管理、角色管理、系統(tǒng)登錄、版本管理、備份恢復、系統(tǒng)狀態(tài)監(jiān)控等功能。

2.6.1 用戶管理

用戶管理主要完成用戶的查詢、新增、修改、刪除、導入、登錄IP限制和授權等操作。

2.6.2 角色管理

角色管理主要完成角色的查詢、新增、修改、刪除和授權等操作。

2.6.3 系統(tǒng)登錄

平臺提供登錄頁面，支持使用數(shù)字證書或用戶名密碼方式登錄系統(tǒng)，平臺提供配置方法，可以選擇支持其中的一種或兩種方式登錄系統(tǒng)。為了提高系統(tǒng)的安全性，使用用戶名密碼登錄時，支持字符驗證碼或手機短信動態(tài)驗證碼，使用哪種方式支持可配置。

用戶登錄流程如下：

圖9 用戶登錄流程圖

1)用戶打開登錄頁面，向服務器請求一個驗證碼圖片；

2)服務器生成一個隨機驗證碼圖片返回，并將驗證碼保存到用戶Session中；

3)用戶在瀏覽器中輸入用戶名、密碼和驗證碼信息，并點擊登錄按鈕；

4)服務器驗證收到的用戶名、密碼和驗證碼是否正確，如果不正確提示登錄失敗并返回登錄頁面；等保測試下如果用戶連續(xù)登錄失敗達到一定次數(shù)后，應鎖定賬戶，記錄安全審計事件；

5)如果當前為等保測試狀態(tài)且設置了密碼的最長使用期限，則判斷密碼是否過期，如果密碼過期則跳轉到用戶密碼修改頁面；否則表示登錄成功，跳轉到首頁。

2.6.4 版本管理

提供系統(tǒng)版本升級功能，為了簡化升級流程，最大程度支持向下兼容，系統(tǒng)對軟件部署和升級方式做如下約束：

1)只能從低版本升級到更高版本，支持跨版本升級，任何高版本升級包都能夠升級低版本；

2)除了用到的一些系統(tǒng)級的配置文件，軟件安裝部署后要求其所有的程序文件、數(shù)據(jù)文件和配置文件等都在同一個根目錄下，根目錄下可以包含子目錄。

系統(tǒng)升級流程如圖10所示。

2.6.5 備份恢復

系統(tǒng)備份主要包括配置文件、數(shù)據(jù)文件和數(shù)據(jù)庫的備份，其中對于數(shù)據(jù)庫備份目前先實現(xiàn)全量備份。

備份時可以選擇備份的內容：配置文件、數(shù)據(jù)文件和/或數(shù)據(jù)庫，如果輸入的備份密碼為空，則表示備份包不做加密。

系統(tǒng)備份的執(zhí)行流程如圖11所示。

圖10 系統(tǒng)升級流程圖

圖11 系統(tǒng)備份流程圖

2.6.6 系統(tǒng)狀態(tài)監(jiān)控

系統(tǒng)狀態(tài)監(jiān)控模塊通過向設備狀態(tài)獲取線程訂閱的方式，獲取服務器的CPU、內存、磁盤利用率以及各個網(wǎng)卡接口的數(shù)據(jù)流量等信息，經(jīng)過處理后保存到數(shù)據(jù)庫中。

以圖表的形式展現(xiàn)服務器的內存、磁盤、CPU占用率以及網(wǎng)絡接口流量信息。在首頁和性能監(jiān)控頁面中都可以查看設備的狀態(tài)，首頁由于展示區(qū)域有限應以緊湊的形式進行展示，對于性能監(jiān)控頁面可以詳細地分開展示設備的各種狀態(tài)。

2.7 日志源管理

日志源管理模塊負責管理維護各類日志源屬性信息(如：系統(tǒng)名稱、IP地址、采集協(xié)議、認證憑據(jù)、日志源類型等)，并實現(xiàn)日志源自動發(fā)現(xiàn)功能。

系統(tǒng)支持日志源自動發(fā)現(xiàn)功能。一旦被監(jiān)控設備或系統(tǒng)有信息發(fā)送到統(tǒng)一日志采集系統(tǒng)，系統(tǒng)會根據(jù)信息類型和發(fā)送端IP地址等進行匹配，一旦發(fā)現(xiàn)新的IP地址在監(jiān)控范圍內，且監(jiān)控設備數(shù)量不超過授權許可數(shù)量時，自動產(chǎn)生不同類型的新設備。新發(fā)現(xiàn)的IP如果發(fā)送的是Agent代理發(fā)送的事件信息，系統(tǒng)會自動生成一個主機類型日志源；新發(fā)現(xiàn)的IP如果發(fā)送的是其他類型信息，系統(tǒng)會自動生成一個未分類新日志源，需要管理員定義日志源信息。

3 系統(tǒng)主要功能

本文所研究統(tǒng)一日志采集系統(tǒng)的主要功能模塊包括：日志信息采集、數(shù)據(jù)管理、數(shù)據(jù)上報、Agent管理、日志源管理等功能[11-15]。

3.1 日志采集功能

支持各種數(shù)據(jù)源的運行信息和日志數(shù)據(jù)采集，按數(shù)據(jù)請求方向分為主動采集和被動采集兩類。

主動采集：由統(tǒng)一日志采集系統(tǒng)主動向日志數(shù)據(jù)源請求獲取日志數(shù)據(jù)，日志源設備被動響應請求回應數(shù)據(jù)，采集協(xié)議包括SFTP、SNMP Get、WMI、HTTPS等。

被動采集：統(tǒng)一日志采集系統(tǒng)支持特定協(xié)議監(jiān)聽，被動等待日志數(shù)據(jù)源傳入數(shù)據(jù)，支持的采集協(xié)議有SYSLOG、HTTPS、SNMP Trap等。

系統(tǒng)支持的主要采集協(xié)議參見表1。

3.2 數(shù)據(jù)管理功能

支持采集的數(shù)據(jù)本地分類存儲，提供全文查詢和文件檢索。提供數(shù)據(jù)清洗、壓縮、歸檔等數(shù)據(jù)管理維護功能。

3.3 數(shù)據(jù)上報功能

支持通過kafaka、消息隊列、SFTP、FTP等協(xié)議將數(shù)據(jù)上報到安全數(shù)據(jù)系統(tǒng)、安全審計中心等外部日志分析處理平臺。

3.3.1 本地緩存

在上報故障期間，上報線程應定期嘗試將收到的新數(shù)據(jù)發(fā)送到MQ、kafka，以檢測其是否恢復故障，如果未恢復，則繼續(xù)保存到本地文件中。

表1 采集協(xié)議

如果檢測到接收端故障恢復，數(shù)據(jù)上報正常，則原上報線程將接收的新數(shù)據(jù)直接上報給MQ、kafka。同時啟動獨立的線程負責讀取保存在本地緩存中的日志信息并上報，上報成功后刪除本地緩存文件。

3.3.2 跨邊界級聯(lián)

在跨各類邊界進行日志信息采集時，邊界外側部署一套統(tǒng)一日志采集系統(tǒng)1，采集各類設備運行日志信息，通過FTP協(xié)議將采集的數(shù)據(jù)通過邊界設備傳到邊界內測，該功能同屬數(shù)據(jù)上報模塊，只需要新增一個FTP級聯(lián)上報協(xié)議；邊界內側部署另一套統(tǒng)一日志采集系統(tǒng)2，通過FTP協(xié)議采集外側傳入的文件并解析處理，該功能同屬日志采集模塊，只需要新增一個FTP級聯(lián)數(shù)據(jù)采集協(xié)議。

3.4 策略管理功能

支持數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)上報等策略的配置管理。

3.5 日志源管理

支持對各類日志源信息(日志源類型、系統(tǒng)名稱、系統(tǒng)品牌、系統(tǒng)型號、軟件版本、IPv4地址、IPv6地址、MAC地址、采集協(xié)議、協(xié)議版本、認證憑證)的增加、刪除、修改、查詢、導入、導出等功能，支持日志源自動發(fā)現(xiàn)。

3.6 Agent管理

設置Agent配置策略，包括系統(tǒng)的基本參數(shù)，如：日志采集間隔、本地日志保存時間、文件大小設置、系統(tǒng)登錄密碼、卸載密碼等參數(shù)，服務設置了相關參數(shù)后，主機Agent自動同步該參數(shù)。

監(jiān)控各主機Agent信息及運行狀態(tài)，提供Agent管理操作日志、各模塊的啟停等運行信息查詢、導出、歸檔等操作。

4 實施方式與應用案例

4.1 實施方式

日志采集、數(shù)據(jù)管理、數(shù)據(jù)上報和策略管理作為獨立的模塊進行部署。此外，系統(tǒng)還需要部署RabbitMQ、ElasticSearch和MySQL[16-19]。統(tǒng)一日志采集系統(tǒng)部署框架如圖12所示。

圖12 統(tǒng)一日志采集系統(tǒng)部署圖

圖12中的箭頭表示它們之間的數(shù)據(jù)流向。日志采集模塊從MySQL數(shù)據(jù)庫中讀取日志源、采集策略、清洗策略等配置信息，完成日志的采集后發(fā)布到RabbitMQ消息隊列中。

數(shù)據(jù)上報模塊從MySQL數(shù)據(jù)庫中讀取上報策略信息，然后從RabbitMQ消息隊列中訂閱指定主題的日志消息，按照相應協(xié)議完成日志上報。

數(shù)據(jù)管理模塊從MySQL數(shù)據(jù)庫中讀取日志查詢、日志存儲和日志歸檔等策略信息，從RabbitMQ消息隊列中訂閱指定主題的日志消息，將日志數(shù)據(jù)保存到ElasticSearch全文搜索引擎或本地文件中，并對本地存儲的日志文件進行歸檔處理。

策略管理模塊負責完成日志源管理、數(shù)據(jù)上報策略配置、日志存儲和日志歸檔策略配置等，將配置信息保存到MySQL數(shù)據(jù)庫。系統(tǒng)管理模塊通過查詢ElasticSearch全文搜索引擎提供日志數(shù)據(jù)的查詢功能。

4.2 應用案例

本文所設計系統(tǒng)已在多地泛政府行業(yè)部門進行實際驗證，用于泛政府行業(yè)信息內網(wǎng)和新一代移動警務平臺中應用、云平臺、終端、邊界、網(wǎng)絡、安全基礎設施的全面日志采集，具體方案如下：

圖13 某省泛政府行業(yè)信息網(wǎng)統(tǒng)一日志采集系統(tǒng)部署拓撲

圖14 某省移動警務平臺統(tǒng)一日志采集系統(tǒng)部署拓撲

4.2.1 新一代泛政府行業(yè)信息網(wǎng)部署

如圖13所示，某省泛政府行業(yè)信息網(wǎng)按業(yè)務功能劃分為用戶接入和數(shù)據(jù)接入兩大子網(wǎng)，以及子網(wǎng)和外部網(wǎng)絡之間的用戶訪問和數(shù)據(jù)交換通道，為實現(xiàn)全面日志采集，需要在三個不同網(wǎng)域分別部署一套統(tǒng)一日志采集系統(tǒng)。其中數(shù)據(jù)中心采用云化部署模式，采集數(shù)據(jù)中心內主機、網(wǎng)絡、安全設備和應用系統(tǒng)日志；用戶接入?yún)^(qū)采用軟硬一體部署模式，采集用戶接入?yún)^(qū)內終端、網(wǎng)絡、安全設備和應用系統(tǒng)日志；安全訪問與數(shù)據(jù)交換通道采用軟硬一體部署模式，采集網(wǎng)絡、安全設備和應用系統(tǒng)日志[20-22]。

4.2.2 新一代移動警務平臺部署

如圖14所示，某省新一移動警務平臺按業(yè)務功能劃分移動互聯(lián)網(wǎng)服務子平臺(I區(qū))、聯(lián)網(wǎng)服務子平臺(II區(qū))、泛政府行業(yè)信息網(wǎng)服務子平臺(III區(qū))，以及移動安全接入子平臺、移動互聯(lián)網(wǎng)隔離交換區(qū)。為實現(xiàn)全過程日志采集，需要在三個不同子區(qū)域分別部署一套統(tǒng)一日志采集系統(tǒng)，均采用軟硬一體化部署模式。其中I區(qū)統(tǒng)一采集系統(tǒng)負責，采集I區(qū)內主機、網(wǎng)絡、安全設備和應用系統(tǒng)日志；II區(qū)統(tǒng)一日志采集系統(tǒng)負責采集II區(qū)內終端、網(wǎng)絡、安全設備和應用系統(tǒng)日志，同時采集兩個隔離交換區(qū)內安全設備日志；III區(qū)統(tǒng)一日志采集III區(qū)內網(wǎng)絡、安全設備和應用系統(tǒng)日志[23-25]。

5 結束語

當前，全國泛政府行業(yè)均以習近平總書記“以安全保發(fā)展、以發(fā)展促安全”新時代網(wǎng)絡安全思想為指引，牢固確立以人民為中心的發(fā)展思想，全面貫徹總體國家安全觀，全面實施泛政府行業(yè)大數(shù)據(jù)戰(zhàn)略，堅持大數(shù)據(jù)建設應用與安全防護同步規(guī)劃實施，加快構建大數(shù)據(jù)安全保障體系。本文提出的統(tǒng)一日志采集系統(tǒng)，采用標準化接口和插件技術，全面提升泛政府行業(yè)大數(shù)據(jù)安全運行管理平臺中日志采集的穩(wěn)定性和可擴展性。同時，采用基于消息隊列的流式處理架構，實現(xiàn)日志采集、日志處理、日志上報等各個環(huán)節(jié)的解耦，并支持靈活的功能擴展；通過消息隊列的流量削峰，保證日志傳輸?shù)目煽啃?，有效解決不同網(wǎng)域間海量日志數(shù)據(jù)的統(tǒng)一采集，進而為安全運行管理平臺提供數(shù)據(jù)支撐、安全分析和智能決策。