構(gòu)建Web日志分析服務(wù)器

引言：Web網(wǎng)站日志文件中包含了網(wǎng)站運(yùn)行的大量信息，通過(guò)對(duì)日志進(jìn)行分析和統(tǒng)計(jì)，能夠有效掌握網(wǎng)站系統(tǒng)運(yùn)行情況，能夠加強(qiáng)對(duì)整個(gè)網(wǎng)站及其內(nèi)容的維護(hù)和管理，使網(wǎng)站運(yùn)維工作有的放矢。本文通過(guò)對(duì)基于AWStats的Web日志分析服務(wù)器的搭建，介紹日志分析服務(wù)器部署的基本架構(gòu)和工作原理。

隨著Web網(wǎng)站的發(fā)展和規(guī)模不斷擴(kuò)大，對(duì)于網(wǎng)站日志進(jìn)行分析越來(lái)越重要。在Web服務(wù)器日志中，記錄了Web Server接收請(qǐng)求以及運(yùn)行狀態(tài)的各種原始信息。對(duì)這些信息進(jìn)行統(tǒng)計(jì)和分析，能夠有效地掌握網(wǎng)站的運(yùn)行狀況，了解網(wǎng)站訪問(wèn)量、訪問(wèn)高峰時(shí)段、訪問(wèn)返回錯(cuò)誤等信息，幫助運(yùn)維人員加強(qiáng)對(duì)網(wǎng)站系統(tǒng)的維護(hù)和管理，為網(wǎng)站持續(xù)優(yōu)化和發(fā)展提供準(zhǔn)確的數(shù)據(jù)依據(jù)。

Web日志分析服務(wù)器部署方法

Web日志分析是通過(guò)分析工具的處理，將日志文件中包含的各種原始信息進(jìn)行分析和統(tǒng)計(jì)，最終得到對(duì)運(yùn)維人員有幫助的數(shù)據(jù)。日志分析有兩種架構(gòu)形式，一種是在Web服務(wù)器上安裝日志分析程序，日志分析就在Web服務(wù)器上完成。另一種是將Web Server的日志文件通過(guò)網(wǎng)絡(luò)傳送到專門(mén)的日志分析服務(wù)器上，在日志分析服務(wù)器上進(jìn)行日志分析。

圖1 日志分析服務(wù)器網(wǎng)絡(luò)架構(gòu)

對(duì)于小型網(wǎng)站而言，日志分析工具可以和Web服務(wù)器放在一臺(tái)服務(wù)器上運(yùn)行。但對(duì)于大中型網(wǎng)站，由于網(wǎng)站為了提高并發(fā)服務(wù)能力，都采用前端負(fù)載均衡技術(shù)，并發(fā)的情況會(huì)有多臺(tái)服務(wù)器產(chǎn)生Web日志。對(duì)于Web日志，由一臺(tái)專用的Web日志分析服務(wù)器來(lái)進(jìn)行日志的集中收集和統(tǒng)計(jì)分析比較合適。將日志分析工具安裝在專門(mén)的日志分析服務(wù)器上，也避免了因日志分析給Web服務(wù)器帶來(lái)運(yùn)行負(fù)擔(dān)。

本文將介紹第二種日志分析服務(wù)器的部署方法，即采用一臺(tái)專門(mén)的日志分析服務(wù)器來(lái)進(jìn)行Web日志分析的方式（如圖1）。

Web日志分析原理

Web服務(wù)器日志記錄了Web Server接受請(qǐng)求以及運(yùn)行狀態(tài)的各種原始信息。在WWW服務(wù)中，客戶端訪問(wèn)網(wǎng)站，向Web服務(wù)器發(fā)送請(qǐng)求，根據(jù)HTTP協(xié)議，這個(gè)請(qǐng)求中包含了客戶端的IP地址、瀏覽器的類型、請(qǐng)求的頁(yè)面等一系列信息。Web服務(wù)器端收到客戶端請(qǐng)求后，將其要求的信息返回到客戶端。如果出現(xiàn)錯(cuò)誤，將返回錯(cuò)誤代碼；Web服務(wù)器端將訪問(wèn)信息和錯(cuò)誤信息都記錄到日志文件中。

通過(guò)對(duì)日志文件中所包含的信息進(jìn)行統(tǒng)計(jì)和分析，就能有效地掌握網(wǎng)站的運(yùn)行狀況，了解訪問(wèn)分布，幫助診斷錯(cuò)誤等。對(duì)日志中訪問(wèn)時(shí)間的統(tǒng)計(jì)分析，可以得到網(wǎng)站在某段時(shí)間內(nèi)，訪問(wèn)的高低峰值；對(duì)請(qǐng)求頁(yè)面的統(tǒng)計(jì)分析，可以知道訪問(wèn)者對(duì)哪些頁(yè)面內(nèi)容最感興趣，對(duì)哪些內(nèi)容不感興趣，從而可以對(duì)網(wǎng)站內(nèi)容進(jìn)行相應(yīng)的改善和調(diào)整；對(duì)訪問(wèn)者IP進(jìn)行統(tǒng)計(jì)，可以了解是哪些人在訪問(wèn)網(wǎng)站；對(duì)錯(cuò)誤信息進(jìn)行分析，可以了解網(wǎng)站訪問(wèn)存在哪些問(wèn)題，并予以改正。

對(duì)于搭建Web日志分析服務(wù)器，需要考慮日志提取、定時(shí)執(zhí)行提取任務(wù)、日志分析這三個(gè)方面的問(wèn)題。

日志提取，是指在Web服務(wù)器中的日志文件，需要被傳送到日志分析服務(wù)器上進(jìn)行分析處理。

定時(shí)執(zhí)行，是指網(wǎng)站訪問(wèn)記錄不斷在生成，每天在Web服務(wù)器訪問(wèn)量最低的時(shí)候，定時(shí)執(zhí)行日志提取任務(wù)，既可以滿足日志分析工作的需要，又可以最大限度地減輕日志提取對(duì)服務(wù)器的影響。

日志分析，是指日志分析服務(wù)器上安裝日志分析軟件，日志分析軟件對(duì)從web服務(wù)器上提取來(lái)的Web日志進(jìn)行分析，并用Web頁(yè)面的方式呈現(xiàn)。

圖2 AWStats日志分析拓?fù)鋱D

本 文 采 用rsync、cron和AWStats來(lái)解決Web日志分析服務(wù)器的日志提取、定時(shí)執(zhí)行和日志分析問(wèn)題。為了說(shuō)明原理，這里只以一臺(tái)日志分析服務(wù)器和一臺(tái)Web服務(wù)器的最簡(jiǎn)架構(gòu)為例進(jìn)闡述Web日志服務(wù)器的部署原理（如圖2）。其中，Web服務(wù)器使用Apache服務(wù)器，網(wǎng)站域名為“www.mxctest.com”，IP 地 址 為“192.168.2.1”；日志提取使用rsync軟件，采用文件同步的方式快速有效地實(shí)現(xiàn)日志文件的提取；使用Linux系統(tǒng)自帶的cron服務(wù)定時(shí)執(zhí)行日志提取任務(wù)；日志分析工具以AWStats為例，日志分析服務(wù)器IP地址為“192.168.2.2”。

部署rsync

rsync（remote synchronize）是一款免費(fèi)的能夠?qū)崿F(xiàn)遠(yuǎn)程同步功能的軟件，它在同步文件的同時(shí)，可以保持原來(lái)文件的權(quán)限、時(shí)間、軟硬鏈接等附加信 息。rsync是 用“rsync算法”提供了一個(gè)客戶端和遠(yuǎn)程文件服務(wù)器的文件同步的快速方法，而且可以通過(guò)ssh方式來(lái)傳輸文件，有較高的保密性。

做數(shù)據(jù)分析的前提是獲取日志，AWStats的實(shí)現(xiàn)機(jī)制是將Web上運(yùn)行的日志按照指定的格式傳送到服務(wù)器上進(jìn)行分析。數(shù)據(jù)提取的方法有很多，本文使用同步日志的方法，日志分析服務(wù)器從Web服務(wù)器同步日志文件，達(dá)到日志提取的效果。同步工具采用rsync，在Web服務(wù)器端和日志分析服務(wù)器都需要安裝rsync。其中，日志分析服務(wù)器作為rsync客戶端，Web服務(wù)器作為rsync服務(wù)器端。在日志文件同步過(guò)程中，rysnc客戶端（日志分析服務(wù)器）連接rsync服務(wù)器端（Web服務(wù)器）開(kāi)放的服務(wù)端口，通過(guò)賬號(hào)口令核查后，進(jìn)行指定目錄的文件同步傳輸，最終實(shí)現(xiàn)客戶端與服務(wù)器端日志文件一致。

1.在Web服務(wù)器上安裝rsync

使用yum安裝rsync：yum install -y rsync

創(chuàng)建配置文件/etc/rsyncd.conf，內(nèi)容如下：

uid=nobody

gid=nobody

use chroot=no

max connections=4

pid file = /var/run/rsyncd.pid

lock file = /var/run/rsync.lock

log file = /var/log/rsyncd.log

[httpd]

path = /var/log/httpd

comment = BACKup log

ignore errors

read only = true

list false

auth user = rsyncuser

hosts allow =192.168.2.2

secrets file = /etc/rsyncd.secrets

“rsync.conf” 是 rsync的主配置文件，文件中設(shè)置了模塊，模塊都是以[name]命名。模塊主要定義了哪個(gè)目錄要被同步，授權(quán)用戶名、IP地址，指定登錄密碼文件等，rsync服務(wù)器可以根據(jù)需要定義多個(gè)模塊。rsync客戶端根據(jù)不同模塊名來(lái)訪問(wèn)需要同步的目錄。本例定義了一個(gè)名為“httpd”的模塊，該模塊中的path參數(shù)指定了要被同步的目錄為“/var/log/httpd”， 允許IP地址為192.168.2.2的客戶端能夠同步服務(wù)器端“/var/log/httpd”下 的日志文件。授權(quán)同步的用戶是rsyncuser，并且登錄密碼文件保持在/etc/rsyncd.secrets文件中。

創(chuàng) 建/etc/rsyncd.secrtes文件

rsyncuser.123456

設(shè) 置/etc/rsyncd.secrets文件的權(quán)限（必須是600）。

chmod 600 /etc/rsyncd.secrets

作為rsync服務(wù)器端，需要運(yùn)行在deamon模式：

rsync --deamon

2. 配置日志分析服務(wù)器上的rsync

作為rsync客戶端，使用yum將rsync安裝完成后，只需要?jiǎng)?chuàng)建/etc/rsync.pass文件，設(shè)置內(nèi)容為：123456，這個(gè)密碼對(duì)應(yīng)Web服務(wù)器上/etc/rsync.secrtes文件定義的密碼。rsync.pass文件的權(quán)限也必須設(shè)置為600，于rsync.secrtes文件一致。

rsync客戶端使用如下命令從服務(wù)端同步日志，即客戶端根據(jù)rsync服務(wù)端主配置文件中[httpd]模塊定義的訪問(wèn)授權(quán)參數(shù)，將模塊指定目錄下的文件同步到客戶 端 的“/var/log/httpd”目錄下，實(shí)現(xiàn)日志文件從web服務(wù)器到日志分析服務(wù)器的提?。?/p>

/usr/bin/rsync -vzrtopg--delete --progress rsyncuser@192.168.2.1：：httpd /var/log/httpd--password-file=/etc/rsync.pass

定時(shí)執(zhí)行工具cron

cron是一個(gè)Linux內(nèi)置的定時(shí)執(zhí)行工具，可以在無(wú)需人工干預(yù)的情況下運(yùn)行作業(yè)，類似于Windows系統(tǒng)下的“任務(wù)計(jì)劃”。由于Web服務(wù)器日志文件較大，在網(wǎng)站訪問(wèn)用戶量最低的時(shí)候進(jìn)行日志同步，對(duì)系統(tǒng)的影響最小。

使用cron設(shè)置定時(shí)執(zhí)行日志同步任務(wù)。vi編輯/etc/crontab，寫(xiě) 入 以 下內(nèi)容：

0 3 * * * root runparts /etc/cron.daily/rsynclog.sh

該命令的意思就是每天3點(diǎn)執(zhí)行/etc/cron.daily目錄下的文件名為“rsynclog.sh”腳本。

而”rsynclog.sh”的 腳本文件內(nèi)容如下：

#/!bin/sh

#rsynclog.sh

/usr/bin/rsync -vzrtopg--delete --progress rsyncuser@192.168.2.1：：httpd /var/log/httpd--password-file=/etc/rsync.pass

“rsynclog.sh”文件內(nèi)容其實(shí)就是rsync客戶端從rsync服務(wù)端同步日志的命令。通過(guò)cron工具設(shè)置定時(shí)執(zhí)行該腳本文件，實(shí)現(xiàn)了日志文件的定時(shí)提取。

日志分析工具——AWStats

AWStats（Advanced Web Statistics）是一個(gè)免費(fèi)的功能強(qiáng)大的服務(wù)器日志分析工具，它可以基于服務(wù)器日志，創(chuàng)建Web統(tǒng)計(jì)數(shù)據(jù)動(dòng)態(tài)分析報(bào)告，包括訪問(wèn)量、訪問(wèn)者數(shù)量、頁(yè)面、點(diǎn)擊、高峰時(shí)段、操作系統(tǒng)、瀏覽器版本、搜索引擎、關(guān)鍵字、機(jī)械訪問(wèn)、無(wú)效連接等。數(shù)據(jù)以可讀性強(qiáng)的Web方式呈現(xiàn)。AWStats可以運(yùn)行在多種操作系統(tǒng)下，可以通過(guò)CGI或者命令行方式運(yùn)行。通過(guò)即時(shí)數(shù)據(jù)文件，AWstats可以快速地處理大數(shù)據(jù)量的日志文件。AWStats可支持多種Web服務(wù)器生成的日志格式，包括 IIS，Apache，自定義等。

AWStats功能強(qiáng)大，可以通過(guò)參數(shù)配置實(shí)現(xiàn)強(qiáng)大的日志分析功能。關(guān)于AWStats的安裝和配置，網(wǎng)上有較多的配置實(shí)例。本文限于篇幅，主要從原理分析出發(fā)，僅列出一些基本配置參數(shù)和步驟。

首先將AWStats安裝包解壓后，復(fù)制到/usr/local/awstats目 錄 中。/usr/local/awstats/tools目錄中的”awstats_configure.pl”文件是AWStats的安裝配置文件。由于AWStats是基于perl語(yǔ)言書(shū)寫(xiě)的程序，所以需要perl命令來(lái)執(zhí)行。

執(zhí) 行“perl awstats_configure.pl”命 令 后，將生成AWStats軟件安裝的交互配置向?qū)?，根?jù)該向?qū)У闹甘?，設(shè)置需要進(jìn)行日志分析網(wǎng)站的域名和日志分析配置文件存放路徑等信息。在安裝配置向?qū)瓿珊?，在?etc/awstats” 目錄下會(huì)生成名為“awstats.www.mxctest.com.conf”的文件，該文件就是“www.mxctest.com”這個(gè)網(wǎng)站的日志分析配置文件。AWStats會(huì)根據(jù)這個(gè)配置文件，對(duì)“www.mxctest.com” 網(wǎng)站進(jìn)行日志分析。因此根據(jù)情況，需要對(duì)該文件進(jìn)行一些參數(shù)修改。例如，指定AWStats需要分析的Web日志的位置，本例將配置文件中LogFile的參數(shù)設(shè)置為“/var/log/httpd/access_log”， “access_log”就 是 日志分析服務(wù)器通過(guò)rsync軟件從Web服務(wù)器中提取而來(lái)的Web日志。

AWStats需要httpd服務(wù)的支持，因此，AWStats安裝配置向?qū)?huì)根據(jù)配置情況，對(duì)服務(wù)器的httpd服務(wù)配置文件“httpd.conf”進(jìn)行修改，在該配置文件中添加AWStats相應(yīng)的配置。

將AWStats安 裝設(shè)置完成后，在“/usr/local/awstats/wwwroot/cgi-bin/awstats.pl”目錄下，執(zhí) 行“perl awstats.pl-update -config=www.mxctest.com”命令，通過(guò)該命令對(duì)域名為網(wǎng)站日志數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析。

圖3 AWStats日志分析Web頁(yè)面示例

在客戶機(jī)上，訪問(wèn)http：//192.168.2.2/awstats/awstats.pl？config=www.mxctest.com，可以通過(guò)Web頁(yè)面查看到該網(wǎng)站日志的統(tǒng)計(jì)分析結(jié)果（如圖3）。網(wǎng)站運(yùn)維人員通過(guò)Web頁(yè)面可以直觀地了解網(wǎng)站的運(yùn)行狀況。