WEB服務(wù)器日志分析與可視化研究

鄒衛(wèi)峰

摘要：健全的日志記錄和分析是系統(tǒng)正常運(yùn)行與優(yōu)化以及安全事故響應(yīng)的基礎(chǔ)。日志數(shù)據(jù)龐大且往往以文本形式存在，不容易閱讀和提取關(guān)鍵信息，因此必須對(duì)日志數(shù)據(jù)進(jìn)行適當(dāng)?shù)姆治觯诰蚱渲须[藏的有價(jià)值信息，還可以進(jìn)行可視化表達(dá)，使信息一目了然。該文以常見WEB服務(wù)器日志為對(duì)象，研究了日志分析以及可視化的原理與過程。

關(guān)鍵詞：WEB服務(wù)器；日志分析；可視化

中圖分類號(hào)：TP311 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2016）21-0096-02

隨著互聯(lián)網(wǎng)的不斷發(fā)展，幾乎所有的企事業(yè)單位都有自己的網(wǎng)站，而B/S架構(gòu)逐漸取代傳統(tǒng)C/S架構(gòu)又進(jìn)一步促進(jìn)了網(wǎng)站應(yīng)用的增長，web管理問題日趨重要。管理一個(gè)網(wǎng)站不僅要保證內(nèi)容的豐富度、程序的可靠性，還要不斷提高用戶的訪問質(zhì)量、保證網(wǎng)站的安全，而這后兩項(xiàng)就依賴于WEB日志信息。

WEB日志記錄了服務(wù)器接收并處理請(qǐng)求以及運(yùn)行時(shí)錯(cuò)誤等各種原始信息。通過對(duì)日志進(jìn)行統(tǒng)計(jì)、分析和綜合，就能有效地掌握服務(wù)器的運(yùn)行狀況、發(fā)現(xiàn)和排除錯(cuò)誤原因、了解客戶訪問分布、發(fā)現(xiàn)安全漏洞等，更好地加強(qiáng)系統(tǒng)的維護(hù)和管理[1]。

1 WEB日志

1.1 定義

WEB日志消息就是WEB服務(wù)器在瀏覽器客戶端訪問WEB頁面請(qǐng)求資源（頁面、圖片、文件等等）時(shí)所記錄的一定格式的信息。

1.2 原理

WEB服務(wù)器是如何記錄日志的，記錄什么日志，首先要了解萬維網(wǎng)（WWW）工作模式。萬維網(wǎng)采用客戶機(jī)/服務(wù)器模式，使用HTTP協(xié)議，具體工作流程如下：

1） 建立連接：客戶端的瀏覽器向服務(wù)端發(fā)出建立連接的請(qǐng)求，服務(wù)端給出響應(yīng)就可以建立連接了。

2） 發(fā)送請(qǐng)求：客戶端按照協(xié)議的要求通過連接向服務(wù)端發(fā)送自己的請(qǐng)求。

3） 給出應(yīng)答：服務(wù)端按照客戶端的要求給出應(yīng)答，把結(jié)果（HTML文件）返回給客戶端。

4） 關(guān)閉連接：客戶端接到應(yīng)答后關(guān)閉連接。服務(wù)器端將相應(yīng)的訪問信息和錯(cuò)誤信息寫到日志文件。

1.3 格式

WEB服務(wù)器日志大多以具有一定格式的文本形式存放。本文以APACHE服務(wù)器日志為例。

Apache WEB服務(wù)的日志主要有CommonLog和ErrorLog兩種，分別記錄訪問日志和錯(cuò)誤日志，其格式和含義如表1、表2所示：

2 WEB日志分析

分析日志必須知道日志的核心要素和分析策略。如表3、表4所示。根據(jù)日志要素和可用的策略可以得到日志分析的相關(guān)算法和程序[2-3]。

3 WEB日志可視化

可視化是這樣一個(gè)過程，它將數(shù)據(jù)信息和知識(shí)轉(zhuǎn)化為一種視覺形式，充分利用人們對(duì)可視模式快速識(shí)別的自然能力[4]。WEB日志是一種信息，日志分析結(jié)果是一種知識(shí)，為了更直觀的理解它，可以利用可視化工具對(duì)其進(jìn)行可視化展現(xiàn)。

3.1 信息可視化參考模型[5]

在圖1的信息可視化參考模型中：

1） “原始數(shù)據(jù)”經(jīng)過“數(shù)據(jù)轉(zhuǎn)換”映射為“數(shù)據(jù)表”（數(shù)據(jù)的相關(guān)性描述）；

2） 數(shù)據(jù)表經(jīng)過“可視化映射”轉(zhuǎn)換為“可視化結(jié)構(gòu)”；

3） 可視化結(jié)構(gòu)經(jīng)過“視圖變換”成為“視圖”；

4） “用戶的交互動(dòng)作”用來控制這些變換的參數(shù)；

5） 可視化和它們的控制最終服務(wù)于“任務(wù)”。

3.2 WEB日志可視化探討

WEB日志可視化本質(zhì)上是一種信息可視化，可以利用信息可視化的各種工具。原始數(shù)據(jù)是日志文件，其中包含了時(shí)間信息（訪問日期）、空間信息（訪問地址）、類型信息（訪問頁面分類、錯(cuò)誤分類、來源分類等），按照日志要素，采用一定的策略，經(jīng)過分析后可以轉(zhuǎn)換為數(shù)據(jù)表，使用餅圖、折線圖、樹圖等對(duì)時(shí)間信息進(jìn)行可視化轉(zhuǎn)換，使用樹圖、地圖、熱力圖等對(duì)空間信息進(jìn)行可視化轉(zhuǎn)換，最終得到各種視圖。用戶通過位置探查，即利用一個(gè)時(shí)間或空間位置動(dòng)態(tài)地查看附加的數(shù)據(jù)信息，也可以采用移動(dòng)、放大、縮小、裁剪等視點(diǎn)控制的交互動(dòng)作來服務(wù)于他的任務(wù)。

目前的信息可視化軟件從入門級(jí)的（如EXCEL）到在線的（如FLOT、D3、Visual.ly），還有地圖工具（如Modest Maps、Leaflet），以及科學(xué)計(jì)算所用的專家級(jí)軟件（如R、Mathematica）均可以用來作為WEB日志可視化的工具。

4 結(jié)束語

WEB日志分布廣、數(shù)據(jù)量大，天然地包含時(shí)空信息，對(duì)其進(jìn)行分析與可視化，發(fā)掘其可用價(jià)值是必要的。本文研究了WEB日志生成的原理和格式，給出了對(duì)日志進(jìn)行分析的相關(guān)策略，討論了日志可視化的理論、方法和軟件。

參考文獻(xiàn)：

[1] Chuvakin A A，Schmidt K J， Philips C.日志管理與分析權(quán)威指南[M]. 姚軍， 簡于涵， 劉暉， 等，譯. 北京： 機(jī)械工業(yè)出版社， 2014.

[2] 田昌鵬. 基于Web 日志分析的Web QoS 研究[J]. 計(jì)算機(jī)科學(xué)， 2007， 34（6）： 78-79.

[3] 趙陽. 基于AWStats 的Web 服務(wù)日志分析[J]. 現(xiàn)代情報(bào)， 2006（10）： 139-140.

[4] Gershon N D， Eick S G. Information Visualization[J]. IEEE Computer Graphics and Applications，1997（7-8）： 29-31.

[5] Stuart Card， Jock Mackinlay， Ben Shneiderman. Readings in Information Visualization： Using Vision to Think[M]. Morgan Kaufmann， 1999.

摘要：隨著科學(xué)技術(shù)與人類社會(huì)發(fā)展的日新月異，鐵路行業(yè)在整個(gè)社會(huì)中所扮演的角色也愈發(fā)重要。接入網(wǎng)技術(shù)作為鐵路通信工程的技術(shù)支撐手段，也成為鐵路行業(yè)運(yùn)營過程中舉足輕重的內(nèi)容之一。據(jù)此，該文便從鐵路通信的現(xiàn)狀入手，并就接入網(wǎng)技術(shù)的具體應(yīng)用以及發(fā)展趨勢(shì)作出分析，以期為各位讀者朋友提供參考。

關(guān)鍵詞： 鐵路；通信工程；接入網(wǎng)技術(shù)；應(yīng)用

中圖分類號(hào)：TP3 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2016）21-0059-02

接入網(wǎng)技術(shù)不僅是鐵路信息工程發(fā)展的保障，同時(shí)也是實(shí)現(xiàn)鐵路運(yùn)行安全化、高效化、信息化的題中之義。其技術(shù)內(nèi)涵主要是由計(jì)算機(jī)技術(shù)、數(shù)字技術(shù)、光電子技術(shù)以及微電子技術(shù)等先進(jìn)技術(shù)共同構(gòu)成。接入網(wǎng)技術(shù)有著豐富的內(nèi)容架構(gòu)，因此，本文對(duì)于鐵路通信工程中接入網(wǎng)技術(shù)的應(yīng)用所展開的分析，則具有了十分重要的現(xiàn)實(shí)意義。

1 鐵路通信工程中接入網(wǎng)技術(shù)的含義及應(yīng)用現(xiàn)狀

1.1 鐵路通信工程中接入網(wǎng)技術(shù)的含義

伴隨著人們生活水平的提高與物質(zhì)世界的極大豐富，原有的鐵路通信方式已經(jīng)不能完全適應(yīng)當(dāng)下人們的現(xiàn)代化通信需求。要完善接入網(wǎng)技術(shù)的建設(shè)水平，便要加強(qiáng)對(duì)于先進(jìn)接入方法的探索。

鐵路通信工程中的接入網(wǎng)技術(shù)，主要包括了有線接入與無線接入兩大常見方式。其中，有線接入主要包括了四個(gè)方面的內(nèi)容：第一，不對(duì)稱的數(shù)字用戶環(huán)路技術(shù)，此種技術(shù)能夠向客戶提供低語音和多路數(shù)字圖像的信號(hào)，并且能夠在無需改動(dòng)雙絞線的情形下也可以獲取到高速、優(yōu)質(zhì)的傳輸效率。第二，光釬用戶的環(huán)路技術(shù)，這種技術(shù)也是當(dāng)前鐵路運(yùn)營中，通信工程所使用的最為常見的方法，其連接的方式也較為多樣，利用客戶與光釬之間延伸的距離作為依據(jù)，實(shí)現(xiàn)光釬到接入目標(biāo)之間的連接。第三，混合光釬中有關(guān)同軸電纜的接入技術(shù)，這種技術(shù)方式在于通過光釬連接，使用戶的設(shè)備與光節(jié)點(diǎn)之間形成一個(gè)支持多項(xiàng)通信業(yè)務(wù)且投資量較少的業(yè)務(wù)網(wǎng)絡(luò)，以此實(shí)現(xiàn)接入目的。第四，高速率的數(shù)字用戶環(huán)路技術(shù)，此種技術(shù)主要是通過先進(jìn)的回波抵消，在雙絞線上完成全雙工的傳輸，這種特定的調(diào)制方式和編碼的使用辦法，對(duì)于信息傳輸?shù)馁|(zhì)量、效率的提升也起到了顯著作用。

而無線接入指的是一種無需通過線路則可進(jìn)行的網(wǎng)絡(luò)通信傳輸?shù)姆绞?。具體的操作就是在接入網(wǎng)中，以無線傳輸設(shè)備為媒介，并以此向每位用戶提供專業(yè)的通信及其他相關(guān)業(yè)務(wù)。無線的接入方式又可細(xì)分為移動(dòng)接入和固定接入兩大類別。但這兩種接入方法在內(nèi)部構(gòu)成上也極為相近，主要都由控制裝置、基站、用戶的終端設(shè)備等內(nèi)容組成。無線接入同有線接入相比較來說，其操作方法更為靈活、應(yīng)用的范圍也更加廣泛，具有廣闊的發(fā)展前景。

1.2 接入網(wǎng)技術(shù)在我國的運(yùn)用現(xiàn)狀

接入網(wǎng)技術(shù)的運(yùn)用不僅在鐵路通信工程中承擔(dān)極為重要的環(huán)節(jié)，決定鐵路行業(yè)的工程效益，同時(shí)對(duì)于未來的鐵路交通發(fā)展方向也產(chǎn)生著深刻的影響。由于在鐵路上運(yùn)行的列車會(huì)在較長時(shí)間段里處于高速運(yùn)動(dòng)狀態(tài)，因此，鐵路上的通信接入網(wǎng)則為鐵路通信工程的建立和完善提供了更為便利、完善的途徑。我國目前的鐵路傳輸網(wǎng)分為了長途的干線網(wǎng)、區(qū)段接入網(wǎng)和居間中繼網(wǎng)3層。并且已經(jīng)基本建成了可以對(duì)全國大中型城市的互聯(lián)網(wǎng)覆蓋。

但在現(xiàn)階段的接入技術(shù)實(shí)踐過程中，也時(shí)常面臨一些問題，簡要概括起來，包括了以下幾個(gè)方面：第一，設(shè)計(jì)方面仍有較大缺陷。設(shè)計(jì)問題是具有先決性與中心性的難題，技術(shù)人員在預(yù)先設(shè)計(jì)的過程中也會(huì)因?yàn)槿鄙倏煽康?、全面的技術(shù)材料，而使其所獲得的效果不盡如人意。第二，在技術(shù)性能等方面還存在不足之處。在完成標(biāo)準(zhǔn)的設(shè)計(jì)階段后，技術(shù)人員需要將各項(xiàng)規(guī)劃落到實(shí)處，通過收集資料、安裝配件等步驟中完成操作流程，而在此過程中若出現(xiàn)的錯(cuò)漏，則會(huì)導(dǎo)致通信效果受到不利的影響。第三，在模式方法的使用上也面臨一些困難。在通信工程的適用過程中，使用方法的不合理，不僅直接導(dǎo)致了成本的增加與經(jīng)濟(jì)效益的降低，同時(shí)也會(huì)使得通信工程在運(yùn)行技術(shù)方面不能得到實(shí)現(xiàn)。

2 鐵路通信工程中接入網(wǎng)技術(shù)的運(yùn)用

2.1 鐵路通信工程中接入網(wǎng)技術(shù)的具體運(yùn)用

鐵路通信系統(tǒng)中接入網(wǎng)技術(shù)的應(yīng)用分析，可以簡單分為兩個(gè)部分：第一，在技術(shù)推廣的過程中，應(yīng)當(dāng)嚴(yán)格遵照“大容量”的原則進(jìn)行實(shí)踐。要想最大限度地將接入網(wǎng)技術(shù)的優(yōu)勢(shì)在鐵路通信工程中發(fā)揮出來，便需要嚴(yán)格按照上述的原則進(jìn)行建設(shè)。在施工過程中適當(dāng)減少交換點(diǎn)、延長交換機(jī)的發(fā)布命令范圍，與此同時(shí)盡量減少交換網(wǎng)分級(jí)，對(duì)網(wǎng)絡(luò)的架構(gòu)也進(jìn)行逐步優(yōu)化，以達(dá)到節(jié)約成本和提高交換網(wǎng)實(shí)用性、安全性的目的。除此之外，自動(dòng)交換機(jī)與所有的接口設(shè)備也應(yīng)當(dāng)采取同一批號(hào)的產(chǎn)品，這樣既利于交換機(jī)的升級(jí)方式更加快捷，也保證了設(shè)備功能的齊全。

第二，將有線電視的傳輸也列入接入網(wǎng)的系統(tǒng)之中。鐵路的運(yùn)行因其站線過長、所經(jīng)地理位置條件偏僻以及信號(hào)微弱等原因，容易使得列車上需要利用網(wǎng)絡(luò)信號(hào)與計(jì)算機(jī)、媒體設(shè)備等開展的休閑娛樂活動(dòng)也無法照常進(jìn)行。要解決這一難題，便可將有線電視的傳輸納入到接入網(wǎng)系統(tǒng)之中，例如，利用各個(gè)分局將節(jié)目源一CATV模塊的形式發(fā)送出去，并且在信號(hào)源傳送的過程中，運(yùn)用單一的光釬，使鐵路沿線的每個(gè)站點(diǎn)都可以經(jīng)由分路器設(shè)備，接收到穩(wěn)定的信號(hào)節(jié)目。值得注意的是，列車站點(diǎn)里光分路器應(yīng)當(dāng)布設(shè)在OUN之中，這樣既便于技術(shù)人員統(tǒng)一的開展維護(hù)工作，同時(shí)此種方式與建設(shè)CATV比較而言，又降低了工程量與投資成本，同樣實(shí)現(xiàn)了列車上信號(hào)源接受的目的。

2.2 鐵路接入網(wǎng)技術(shù)的系統(tǒng)應(yīng)用方法

接入網(wǎng)技術(shù)在我國鐵路部門的運(yùn)用，主要體現(xiàn)在為廣大用戶提供數(shù)據(jù)、傳真、話音、圖像、調(diào)度等綜合業(yè)務(wù)的接入上。在初期的建設(shè)中，主要是指鐵路系統(tǒng)中的通信電話、調(diào)度電話、站間電話與專用電話等專用數(shù)據(jù)管理、處理系統(tǒng)以及鐵路客票的預(yù)定系統(tǒng)與聯(lián)網(wǎng)售票系統(tǒng)以及有關(guān)鐵路調(diào)度方面的信息管理系統(tǒng)。后來，鐵路接入網(wǎng)技術(shù)在鐵路通信工程的運(yùn)用，能夠?yàn)殍F路的遠(yuǎn)程監(jiān)控系統(tǒng)與各個(gè)單位的信息管理系統(tǒng)所提供的ISDN、64K數(shù)據(jù)以及自動(dòng)電話與音頻等相關(guān)業(yè)務(wù)，包括了具體的數(shù)字調(diào)度、TDCS、PMIS、TMIS、遠(yuǎn)程中繼、資金結(jié)算、3G網(wǎng)絡(luò)、ZDL、PCM、圖像傳輸、會(huì)議電視等數(shù)據(jù)業(yè)務(wù)，以及無線列調(diào)、電化運(yùn)動(dòng)、信號(hào)微機(jī)監(jiān)測(cè)、光釬監(jiān)測(cè)、氣壓監(jiān)測(cè)、環(huán)境監(jiān)測(cè)、搶險(xiǎn)直通、普?qǐng)?bào)、確報(bào)、人工話路、微機(jī)聯(lián)網(wǎng)、尋呼、數(shù)傳與會(huì)議等業(yè)務(wù)。