Rsyslog在IT日志采集中的應(yīng)用

林峰旭 劉金揚 鄭劍 翟宜凱

摘要：隨著我國互聯(lián)網(wǎng)發(fā)展，網(wǎng)絡(luò)安全問題日益嚴(yán)重。校園網(wǎng)出口防火墻、網(wǎng)絡(luò)行為審計等系統(tǒng)在運行過程中產(chǎn)生海量IT日志，這些日志對高校安全管理有著重要意義。但是，校園網(wǎng)IT日志種類繁多、數(shù)量巨大，給采集發(fā)送工作帶來很大困難。文章對校園網(wǎng)IT日志采集的難點進(jìn)行了分析，應(yīng)用Rsyslog到校園網(wǎng)IT日志采集，以較低的運行成本和對現(xiàn)有應(yīng)用最小的影響，解決日志的采集和轉(zhuǎn)發(fā)問題。

關(guān)鍵詞：Syslog;Rsyslog;日志轉(zhuǎn)發(fā);日志提取

中圖分類號：TP391????????? 文獻(xiàn)標(biāo)識碼：A

1 引言

隨著我國互聯(lián)網(wǎng)日益發(fā)展，高校信息化程度逐漸提升，各高校通過建設(shè)信息化基礎(chǔ)設(shè)施和平臺系統(tǒng)提升自己的信息化水平，隨之而來的是成倍增加的網(wǎng)絡(luò)流量。新的互聯(lián)網(wǎng)技術(shù)雖然給高校工作開展帶來了巨大的便利，但是也產(chǎn)生了新的問題。網(wǎng)絡(luò)攻擊、網(wǎng)絡(luò)輿情、網(wǎng)絡(luò)泄密等事件的不斷發(fā)生，給學(xué)校、社會造成了很多不利影響。

為應(yīng)對這些問題，大多數(shù)高校均建設(shè)了校園網(wǎng)出口防火墻、網(wǎng)絡(luò)行為審計等系統(tǒng)，以加強對互聯(lián)網(wǎng)攻擊的防御和互聯(lián)網(wǎng)內(nèi)容訪問的管理[1-3]。這些系統(tǒng)在運行過程中會產(chǎn)生海量的日志數(shù)據(jù)，這些日志對防御外來攻擊、輿情管控和泄密行為及時發(fā)現(xiàn)有著重要作用。通過對這些IT日志的集中分析，可以及時發(fā)現(xiàn)安全事件，能在事件發(fā)生后協(xié)助追蹤溯源，且可協(xié)助用戶掌握網(wǎng)絡(luò)安全態(tài)勢[4，5]。根據(jù)《中華人民共和國網(wǎng)絡(luò)安全法》要求，網(wǎng)絡(luò)運營者的網(wǎng)絡(luò)日志需要留存不少于6個月。

同時，隨著大數(shù)據(jù)技術(shù)的發(fā)展，IT日志分析價值也變得越來越高，其分析結(jié)果對于校園安全管理越來越重要，收集、存儲、運用IT日志，已成為校園信息化建設(shè)的重要一環(huán)。

2 日志采集問題

在高校網(wǎng)絡(luò)中，IT日志主要來自各類網(wǎng)絡(luò)設(shè)備和信息平臺，日志種類繁多、數(shù)量巨大。同時，各廠商一般都有自己的日志服務(wù)器，完成日志的收集和展示，以支持日常運維工作。但是，這些日志平臺大部分注重短期數(shù)據(jù)的統(tǒng)計分析和展示，在日志的長時間留存和大規(guī)模關(guān)聯(lián)分析方面并不擅長。

為了解決這個問題，搭建了基于Hadoop的日志平臺，進(jìn)行IT日志的統(tǒng)一收集和存儲。

在日志采集方面，隨著工作的開展，主要面臨兩大問題。

（1）多需求方問題。部分平臺和系統(tǒng)的廠商有著自己的日志平臺，且其數(shù)據(jù)源無法配置多個Syslog接收端，為了在采集日志的同時不影響現(xiàn)有平臺功能，需要對日志進(jìn)行復(fù)制，分別發(fā)往不同目的平臺。

（2）日志提取問題。對于大部分平臺和系統(tǒng)，日志均可通過Syslog進(jìn)行發(fā)送，但是部分IT系統(tǒng)并不提供Syslog轉(zhuǎn)發(fā)功能，日志以文件形式存儲在操作系統(tǒng)中。

在日志采集領(lǐng)域，目前國內(nèi)外有許多開源工具及解決方案。Logstash工具可從文件或Syslog等數(shù)據(jù)源獲取日志，并對日志進(jìn)行加工轉(zhuǎn)換，將處理后的日志進(jìn)行輸出，是一個功能強大的日志采集工具。但是，Logstash基于JVM，有著較大的運行開銷。Filebeat作為Logstash在日志提取中的替代品，是一個輕量級日志提取工具，有著更小資源占用，用于從文件中提取日志。Flume是Apache基金會的開源項目，支持從文件、Syslog等多種數(shù)據(jù)源收集日志數(shù)據(jù)，并發(fā)送到不同接收方。Kafka是一個開源的流處理平臺，具有高吞吐低延遲的特性，并可以對數(shù)據(jù)進(jìn)行持久化存儲，常被用于日志轉(zhuǎn)發(fā)。

Logstash雖然可以對日志進(jìn)行轉(zhuǎn)發(fā)，并且支持對Syslog日志的轉(zhuǎn)發(fā)，但在日志量較大的時候存在著性能問題。Kafka雖然有著較高的性能，但是并未提供完善的Syslog轉(zhuǎn)發(fā)功能。Logstash、Filebeat和Flume都可以用來提取應(yīng)用系統(tǒng)中的文本日志，但是均需要在數(shù)據(jù)源服務(wù)器安裝額外的軟件，這不僅會有兼容性的問題，還可能影響應(yīng)用服務(wù)器的穩(wěn)定性。

Rsyslog是Unix和類Unix操作系統(tǒng)上的一個開源軟件，支持從文件和Syslog接收日志，并提供日志信息轉(zhuǎn)發(fā)功能。其實現(xiàn)了基本的Syslog協(xié)議，并對其進(jìn)行了擴(kuò)展以支持基于內(nèi)容的過濾，提供了豐富的過濾能力，并支持通過TEP和UDP協(xié)議來傳輸日志數(shù)據(jù)。主流Linux發(fā)行版，如Centos、Ubuntu和Opensuse都預(yù)裝了Rsyslog，并使用該軟件進(jìn)行各類系統(tǒng)日志的處理。

綜合上述因素，本文基于Rsyslog實現(xiàn)校園網(wǎng)日志采集，通過應(yīng)用該工具到日志提取和日志轉(zhuǎn)發(fā)過程，解決日志采集中的轉(zhuǎn)發(fā)和提取問題。

3 Rsyslog的應(yīng)用

3.1 Rsyslog在日志轉(zhuǎn)發(fā)中的應(yīng)用

為解決同一類日志多個需求方的問題，基于Rsyslog搭建了日志中轉(zhuǎn)服務(wù)器。服務(wù)器選用Centos 7作為操作系統(tǒng)，該版本的操作系統(tǒng)內(nèi)置了v7或v8版本Rsyslog，可以快速搭建中轉(zhuǎn)服務(wù)。Rsyslog在v6版本引進(jìn)了高級配置（Advanced Configuration Format）[6]格式，基于高級配置格式，不僅可以更簡單地完成日志復(fù)制轉(zhuǎn)發(fā)，還可以實現(xiàn)清晰的復(fù)制轉(zhuǎn)發(fā)任務(wù)管理。

如圖1所示是Rsyslog日志轉(zhuǎn)發(fā)的一個典型場景。Rsyslog從數(shù)據(jù)源接收日志數(shù)據(jù)，并轉(zhuǎn)發(fā)到多個目的端：廠商日志服務(wù)器不受日志采集工作影響，提供日志分析服務(wù);Hadoop集群作為日志存儲倉庫，負(fù)責(zé)日志的存儲和大規(guī)模關(guān)聯(lián)分析;Elasticsearch集群負(fù)責(zé)對短期內(nèi)的熱數(shù)據(jù)進(jìn)行分析和展示;同時，將日志發(fā)布到Kafka集群，教學(xué)或科研團(tuán)隊可以通過訂閱的方式獲取日志，以此實現(xiàn)數(shù)據(jù)開放。

Rsyslog配置文件示例如下：

$Actionfiledefaulttemplate Rsyslog_Forwardformat

Module（Load="Imudp"）

# Rsyslog監(jiān)控日志

Module（Load="Impstats" Interval="300" Format="Cee" Severity="6"）

Action（Name="Rsyslogstat" Type="Omfwd" Target="192.168.1.5" Port="9514" Protocol="Udp"）

# 轉(zhuǎn)發(fā)任務(wù)A

Ruleset（Name="Rulea"）{

Action（Name="A2file" Type="Omfile" File="/Var/Log/Syslog/Alog.Log"）

Action（Name="A2syslog" Type="Omfwd" Target="10.0.0.5" Port="9001" Protocol="Udp"）

}

Input（Type="Imudp" Port="9000" Ruleset=" Rulea"）

# 轉(zhuǎn)發(fā)任務(wù)B

Ruleset（Name="Ruleb"）{

Action（Name="B2syslog1" Type="Omfwd" Target="10.0.0.5" Port="9002" Protocol="Udp"）

Action（Name="B2syslog2" Type="Omfwd" Target="192.168.2.5" Port="514" Protocol="Udp"）

}

Input（Type="Imudp" Port="9001" Ruleset="Ruleb"）

轉(zhuǎn)發(fā)任務(wù)通過Ruleset和Input兩種要素進(jìn)行組織。Input定義日志監(jiān)聽任務(wù)，通過Imudp模塊實現(xiàn)端口的監(jiān)聽和Syslog數(shù)據(jù)的接收，并將監(jiān)聽任務(wù)關(guān)聯(lián)到Ruleset。Ruleset部分定義日志數(shù)據(jù)的處理方式，主要包括以UDP協(xié)議轉(zhuǎn)發(fā)（基于Omfwd模塊）和存儲到文件（基于Omfile模塊），通過在同一個Ruleset中配置多個Action實現(xiàn)日志的復(fù)制和轉(zhuǎn)發(fā)。

基于Impstats模塊實現(xiàn)對Rsyslog運行情況的監(jiān)控，監(jiān)控日志可通過Syslog發(fā)送到統(tǒng)一的日志服務(wù)器，以此實現(xiàn)對Rsyslog轉(zhuǎn)發(fā)服務(wù)器的集中監(jiān)控，保證日志轉(zhuǎn)發(fā)服務(wù)的穩(wěn)定運行。日志轉(zhuǎn)發(fā)服務(wù)器基于一臺Centos 7.3虛擬機，4核8Gb內(nèi)存，配置一塊千兆以太網(wǎng)卡。使用系統(tǒng)默認(rèn)的Rsyslog 7.4.7搭建日志轉(zhuǎn)發(fā)服務(wù)。截止本文成文，此服務(wù)器已承載5個系統(tǒng)8類日志的轉(zhuǎn)發(fā)任務(wù)，復(fù)制并轉(zhuǎn)發(fā)Syslog日志44.3Tb（上行）。平均下行帶寬19Mbps，上行帶寬70Mbps，每秒收發(fā)報文數(shù)超過30000，丟包率0.00039%。

3.2 Rsyslog在文件日志提取中的應(yīng)用

對于不支持Syslog日志發(fā)送的系統(tǒng)，使用Rsyslog從文件中讀取日志，并通過Syslog協(xié)議進(jìn)行轉(zhuǎn)發(fā)。為了在日志提取過程中最小限度影響現(xiàn)有平臺，使用應(yīng)用服務(wù)器中已有的Rsyslog進(jìn)行日志提取和發(fā)送。部分系統(tǒng)由于建設(shè)較早，Rsyslog版本還在v5或者更早的版本，只支持基本配置（Basic Configuration Format）[6]格式。因此，為了保證兼容性，使用基本配置格式實現(xiàn)日志提取功能。

基于Imfile模塊，Rsyslog可從指定文件中讀取文本數(shù)據(jù)，并將其轉(zhuǎn)換為Syslog消息。文件內(nèi)容讀取通過輪詢實現(xiàn)，Rsyslog通過狀態(tài)文件跟蹤被監(jiān)控文件的處理進(jìn)度，以此實現(xiàn)增量日志提取。為達(dá)到不影響現(xiàn)有Rsyslog功能的目的，需要將日志提取發(fā)送任務(wù)配置在配置文件的頭部，以免和其他配置沖突。

基于Rsyslog實現(xiàn)了Coremail系統(tǒng)日志的提取，具體配置如下：

# 讀取多個文件并轉(zhuǎn)發(fā)到同一個目的地址

$Modload Imfile

$Inputfilename /Home/Coremail/Logs/Imapsvr.Log

$Inputfiletag Imaplog

$Inputfilestatefile /Home/Coremail/Logs/Stat-Imaplog

$Inputfileseverity Info

$Inputfilefacility Local6

$Inputrunfilemonitor

$Inputfilename /Home/Coremail/Logs/Wmsvr.Log

$Inputfiletag Wmlog

$Inputfilestatefile /Home/Coremail/Logs/Stat-Wmlog

$Inputfileseverity Info

$Inputfilefacility Local6

$Inputrunfilemonitor

Local6.Info @10.0.0.5：9004

Local6.* ～

日志提取基于Imfile模塊實現(xiàn)，該模塊通過輪詢實現(xiàn)日志文件內(nèi)容的獲取和對文件修改狀態(tài)的監(jiān)控，將文本日志轉(zhuǎn)換為Syslog消息。Syslog消息中的各種屬性分別由以下幾個配置項給出：$Inputfiletag給從文件中讀取的內(nèi)容加上標(biāo)簽;$Inputfileseverity給出日志的Severity[7]級別，一般取Info即可，也可根據(jù)日志內(nèi)容調(diào)整;$Inputfilefacility給出日志的Syslog Facility[7]，從Local0-Local7[7]中任選，選取時需避免沖突。最后通過日志發(fā)送配置（Local6.Info @10.0.0.5：9004）將Syslog消息發(fā)送到遠(yuǎn)端，并在發(fā)送完成后丟棄Syslog消息（Local6.* ～），不進(jìn)行后續(xù)的處理，防止影響現(xiàn)有應(yīng)用。

在實際應(yīng)用場景中，使用Rsyslog監(jiān)控學(xué)校郵件系統(tǒng)的Deliveragent.Log、Pop3svr.Log、Imapsvr.Log、Wmsvr.Log四個日志文件，并分別轉(zhuǎn)發(fā)到兩臺不同的日志服務(wù)器。應(yīng)用服務(wù)器基于一臺8核心64Gb內(nèi)存的服務(wù)器。獲取了連續(xù)48小時的Rsyslog系統(tǒng)資源占用日志，并對其占用情況進(jìn)行分析：CPU占用情況如圖2所示，其CPU占用最高達(dá)到1.29%;平均內(nèi)存占用11123Kb，最高內(nèi)存占用為12556Kb。截至本文成文，此日志提取服務(wù)已從文件中讀取并發(fā)送文本日志5.5億條，郵件系統(tǒng)服務(wù)未受影響。應(yīng)用表明，Rsyslog可在基本不影響現(xiàn)有平臺的前提下，很好地完成日志的提取任務(wù)。

4 結(jié)束語

本文對校園網(wǎng)IT日志采集中遇到的同一日志多需求方和文件日志提取問題進(jìn)行了分析，并通過使用Rsyslog解決這些問題。實踐證明，通過運用Rsyslog可以有效地解決IT日志采集的問題，協(xié)助進(jìn)行IT日志分析，為網(wǎng)絡(luò)安全管理提供有效手段和技術(shù)支撐。

參考文獻(xiàn)

[1]?睢貴芳.防火墻技術(shù)及其在校園網(wǎng)絡(luò)安全中的應(yīng)用探究[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2019（2）：57-66.

[2]?張新剛，劉妍.防火墻技術(shù)及其在校園網(wǎng)絡(luò)安全中的應(yīng)用[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2006（5）：19-21.

[3]?查貴庭，彭其軍，羅國富.校園網(wǎng)安全威脅及安全系統(tǒng)構(gòu)建[J].計算機應(yīng)用研究，2005（3）：150-152.

[4]?李棟科.一種面向海量網(wǎng)絡(luò)審計日志的敏感用戶挖掘分析架構(gòu)[J].網(wǎng)絡(luò)空間安全，2018，9（4）：84-88.

[5]?萬欣.網(wǎng)絡(luò)日志在網(wǎng)絡(luò)信息安全中的應(yīng)用[J].網(wǎng)絡(luò)空間安全，2018，9（3）：78-81.

[6] ?Rsyslog Documentation[EB＼OL]. Https：//www.rsyslog.com/doc/v8-stable/，2019.

[7] ?Gerhards R. Rfc 5424： The Syslog Protocol[J]. request for comments， Ietf， 2009.