基于Syslog的網(wǎng)絡(luò)日志管理平臺(tái)

劉磊 孫路強(qiáng) 周利霞 許賀

摘要??? 本文基于Syslog的網(wǎng)絡(luò)日志管理平臺(tái)對(duì)海量日志進(jìn)行收集，并通過(guò)模式匹配的方法對(duì)日志進(jìn)行了分析，形成了日志分析告警，有效對(duì)設(shè)備和服務(wù)運(yùn)行狀態(tài)進(jìn)行監(jiān)控，在實(shí)際應(yīng)用中很好的解決了暴力破解發(fā)現(xiàn)，異常操作感知等問(wèn)題。

【關(guān)鍵詞】Syslog 模式匹配 日志分析 告警 監(jiān)控

Syslog是一種工業(yè)標(biāo)準(zhǔn)的協(xié)議，用來(lái)記錄設(shè)備的運(yùn)行日志，在Linux系統(tǒng)、路由器、交換機(jī)等網(wǎng)絡(luò)設(shè)備中日志記錄了系統(tǒng)中發(fā)生的大小事件。運(yùn)維人員通過(guò)審計(jì)日志記錄可以隨時(shí)掌握系統(tǒng)和應(yīng)用程序的狀態(tài)。目前存在RFC3164和RFC5424兩個(gè)規(guī)范，文章主要應(yīng)用RFC3164這個(gè)規(guī)范，其中描述了BSDSyslog協(xié)議，這個(gè)協(xié)議不是強(qiáng)制性的，很多設(shè)備并不完全遵守這個(gè)規(guī)范。實(shí)際運(yùn)維中發(fā)現(xiàn)不同設(shè)備日志格式是不同的，協(xié)議中定義的嚴(yán)重性并不能完全符合運(yùn)維需要，這就需要根據(jù)系統(tǒng)特征定義符合實(shí)際應(yīng)用的規(guī)則對(duì)日志進(jìn)行處理。

1 RFC3164 Syslog協(xié)議

RFC3164規(guī)范中Syslog日志信息發(fā)送使用UDP協(xié)議的514端口，信息長(zhǎng)度不能大于1024字節(jié)，格式如圖1所示由PRI、HEADER、MSG三部分組成，PRI由帶尖括號(hào)的一個(gè)數(shù)字構(gòu)成，這個(gè)數(shù)字包含了日志的程序模塊（Facility）、嚴(yán)重性（Severity）信息，由Facility乘以8加上Severity得來(lái)。Facility如表1所示，Severity如表2所示。HEADER部分包括兩個(gè)字段，Time和Name，Time緊跟在PRI后面中間沒(méi)有空格，格式是“mm dd hh：mm：ss”，不包括年份?！叭铡钡臄?shù)字如果是1～9，前面會(huì)補(bǔ)一個(gè)空格，“小時(shí)”、“分”、“秒”在前面補(bǔ)“0”。HEADER部分后面跟一個(gè)空格，之后是MSG部分。MSG部分有兩個(gè)部分TAG和Content。其中TAG部分是可選的，TAG后面用一個(gè)冒號(hào)隔開(kāi)Content部分，這部分的內(nèi)容是應(yīng)用程序自定義的。一條典型的日志信息如下所示：

<78>Dec 4 17：30：01 nagios /usr/sbin/ cron[5545]： （cactiuser） CMD （/usr/bin/php5 /srv/ www/htdocs/cacti/poller.php > /dev/null 2>&1）

2日志收集系統(tǒng)實(shí)現(xiàn)

2.1 服務(wù)器收集端配置

為了更好的對(duì)系統(tǒng)日志進(jìn)行分析，根據(jù)RFC3164規(guī)范編寫(xiě)了日志收集系統(tǒng)，在收集系統(tǒng)中定義了設(shè)備編號(hào)、嚴(yán)重級(jí)別、日志來(lái)源、接收字節(jié)大小，綁定IPv4網(wǎng)絡(luò)協(xié)議套接字、UPD接口類型，通過(guò)514端口接收數(shù)據(jù)包，對(duì)接收的數(shù)據(jù)包數(shù)據(jù)進(jìn)行分離，分離出設(shè)備名稱、設(shè)備地址、發(fā)生時(shí)間、日志來(lái)源、日志等級(jí)、日志內(nèi)容等信息，插入到Mysql數(shù)據(jù)庫(kù)，實(shí)現(xiàn)了日志信息的集中收集，為了提高檢索效率，對(duì)每一臺(tái)設(shè)備建立了單獨(dú)的數(shù)據(jù)表。

2.2 客戶端系統(tǒng)配置

（1）在suse linux中一般使用syslog-ng，在系統(tǒng)的/etc/syslog-ng下，配置syslog-ng.conf，定義日志來(lái)源source、日志目標(biāo)destination、使用端口port，通過(guò)發(fā)送命令log{source（my_log）;destination（center_log_server）;};發(fā)送到日志收集端。

（2）在centoslinux中，一般使用rsyslog，通過(guò)/etc/rsyslog.conf進(jìn)行配置，通過(guò)命令*.*@remote-host：514進(jìn)行配置，通過(guò)UDP514端口發(fā)送到日志收集端。

（3）在h3c交換機(jī)中，通過(guò)info-center loghost IP port 514命令發(fā)送到日志收集端。

日志收集實(shí)現(xiàn)：日志服務(wù)器實(shí)現(xiàn)了路由器、防火墻、DNS、交換機(jī)、FTP服務(wù)、WEB服務(wù)、NTP服務(wù)、Oracle服務(wù)、Mysql服務(wù)等日志信息的收集，如圖2所示，Mysql數(shù)據(jù)庫(kù)中匯集的日志信息如圖3所示。

通過(guò)日志收集發(fā)現(xiàn)，系統(tǒng)定義的日志事件嚴(yán)重等級(jí)和需要的告警并不是完全匹配的，發(fā)現(xiàn)在已知系統(tǒng)中日志格式是相似的，對(duì)應(yīng)的異常是可知的，當(dāng)未引入新的進(jìn)程或未發(fā)生新的異常時(shí)日志種類是有限的。根據(jù)日志有限的特性可以應(yīng)用統(tǒng)計(jì)規(guī)則對(duì)運(yùn)行日志進(jìn)行精確分類，標(biāo)識(shí)出所有已知的日志，構(gòu)建日志白名單規(guī)則，利用白名單進(jìn)行日志告警。部分告警規(guī)則如表3所示。

2.3 日志統(tǒng)計(jì)告警實(shí)現(xiàn)

通過(guò)告警規(guī)則進(jìn)行字符串匹配和分類，在日志數(shù)量相當(dāng)龐大時(shí)，實(shí)現(xiàn)逐條告警也是不可取的。對(duì)最近10分鐘內(nèi)接收的日志進(jìn)行分析，對(duì)特定日志類型或某類日志達(dá)到一定數(shù)量進(jìn)行告警并對(duì)運(yùn)維人員發(fā)送信息。如圖4所示。

3 日志管理中需要解決的問(wèn)題

（1）日志信息采集系統(tǒng)運(yùn)行半年來(lái)個(gè)別系統(tǒng)日志信息達(dá)到25G，對(duì)數(shù)據(jù)庫(kù)性能造成很大影響，分析發(fā)現(xiàn)很多信息與系統(tǒng)運(yùn)行無(wú)關(guān)，如何剔除這些無(wú)關(guān)信息是以后需要解決的重點(diǎn)。

（2）隨著時(shí)間的推移，日志信息量不斷增加，對(duì)海量日志數(shù)據(jù)進(jìn)行查詢時(shí)，Mysql數(shù)據(jù)庫(kù)的性能瓶頸問(wèn)題顯現(xiàn)，可以考慮使用非關(guān)系型數(shù)據(jù)庫(kù)或者混合型數(shù)據(jù)庫(kù)，解決海量數(shù)據(jù)下傳統(tǒng)數(shù)據(jù)庫(kù)性能上的瓶頸問(wèn)題。

（3）本文的告警規(guī)則是在統(tǒng)計(jì)的基礎(chǔ)通過(guò)人工篩選的方法實(shí)現(xiàn)的，這種方法只適用于小型數(shù)據(jù)中心，在大型數(shù)據(jù)中心或者種類繁多的設(shè)備和服務(wù)下，人工篩選的方法就不適用了，就要引入數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)的方法對(duì)數(shù)據(jù)進(jìn)

行分析。

（4）需要根據(jù)實(shí)際情況建立詳細(xì)告警規(guī)則，特征字符匹配僅能實(shí)現(xiàn)簡(jiǎn)單告警，詳細(xì)的告警規(guī)則需要依靠實(shí)際生產(chǎn)情況進(jìn)行制定，如某個(gè)IP段對(duì)一些服務(wù)區(qū)進(jìn)行訪問(wèn)就可以認(rèn)定為異常、在一定時(shí)間段內(nèi)登錄密碼錯(cuò)誤幾次就可以認(rèn)定為異常等。

4 結(jié)束語(yǔ)

本文實(shí)現(xiàn)了基于Syslog的網(wǎng)絡(luò)日志管理和分析，對(duì)日常網(wǎng)絡(luò)設(shè)備日志進(jìn)行了收集和分析，通過(guò)模式匹配的方法實(shí)現(xiàn)了事件檢測(cè)和告警，但是在檢測(cè)特征字符的選取上更多的是靠人工統(tǒng)計(jì)，在準(zhǔn)確程度和效率上都明顯存在不足，引入人工智能的方法對(duì)已有的日志數(shù)據(jù)進(jìn)行分析，提取特征字符，分析運(yùn)行信息是以后研究的方向。

參考文獻(xiàn)

[1]黃藝海，胡君.日志審計(jì)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J]，計(jì)算機(jī)工程，2014，32（22）：67-93.

[2]IETF RFC 3164，The BSD syslog Protocol[S]， C. Lonvick， August 2001.

[3]劉緒忠，王健.未匹配告警SYSLOG智能標(biāo)準(zhǔn)化研究[J]，山東通信技術(shù)，2012，37（01）：40-43.

[4]張驍，應(yīng)時(shí)，張韜.應(yīng)用軟件運(yùn)行日志的收集與服務(wù)處理框架[J]，計(jì)算機(jī)工程與應(yīng)，2011，54（10）：81-89.

[5]李清，沈彤，關(guān)毅.面向大規(guī)模日志數(shù)據(jù)的聚類算法研究[J].智能計(jì)算機(jī)與應(yīng)用，2002（05）：42-45.

[6]王衛(wèi)華，應(yīng)時(shí)，賈向陽(yáng)等.一種基于日志聚類的多類型故障預(yù)測(cè)方法[J].計(jì)算機(jī)工程，2013，44（07）：67-73.