面向公安應(yīng)用的Web日志分析工具設(shè)計(jì)與實(shí)現(xiàn)

肖 萍

（中國(guó)刑警學(xué)院網(wǎng)絡(luò)犯罪偵查系 遼寧 110854）

0 引言

在目前大網(wǎng)絡(luò)、大數(shù)據(jù)的環(huán)境下，網(wǎng)站是最為流行的信息發(fā)布平臺(tái)之一，利用網(wǎng)站實(shí)施犯罪成本低、公安機(jī)關(guān)取證困難，犯罪分子選擇網(wǎng)站作為犯罪手段或是犯罪實(shí)施工具。本文研究實(shí)現(xiàn)一種基于用戶(hù)行為的Web日志調(diào)查取證軟件，可以及時(shí)挖掘出網(wǎng)站用戶(hù)的訪問(wèn)行為，也可以挖掘出實(shí)施特定行為的用戶(hù)，無(wú)論從實(shí)際公安業(yè)務(wù)、還是在公安教學(xué)方面，都具有極大的研究意義。

1 Web日志概述

常見(jiàn)的Web服務(wù)器包括IIS、Apache、Tomcat等多種類(lèi)型，其中IIS（Internet Information Server）是目前微軟所推出的主流web服務(wù)器，IIS日志格式可分為IIS名稱(chēng)格式和IIS記錄格式。默認(rèn)情況下，IIS服務(wù)器每天都會(huì)生成一個(gè)日志文件，記錄該日的一切行為。服務(wù)器默認(rèn)文件名為ex+年份的末兩位數(shù)字+月份+日期，如2014年06月20日的日志文件名稱(chēng)為“ex140620.1og”。日志記錄的格式是固定的ASCII格式，開(kāi)頭四行為日志的固定說(shuō)明信息，其中IIS可自定義顯示記錄的格式。舉例說(shuō)明IIS日志格式：

對(duì)以上日志進(jìn)行解析，進(jìn)行訪問(wèn)的時(shí)間：2012-06-07 00：01：24；所訪問(wèn)的服務(wù)器的ip：118.26.226.102；獲取方法：get方法；執(zhí)行訪問(wèn)的文件及附帶參數(shù)是：/90125/stat.ashx aid=100192&adid=362&wid=1&uid=100021&ext1=&ext2=；訪問(wèn)的端口：80；客戶(hù)端ip地址是：124.65.144.2；瀏覽器類(lèi)型：360瀏覽器；系統(tǒng)相關(guān)信息：compatib1e；+MSIE+6.0；+Windows+NT+5.1；+SV1；操作代碼狀態(tài)：302，訪問(wèn)需重定向；處理時(shí)間是：143秒。

2 軟件設(shè)計(jì)與實(shí)現(xiàn)

基于公安機(jī)關(guān)在調(diào)查取證過(guò)程中對(duì)網(wǎng)站用戶(hù)行為分析的需求，整個(gè)系統(tǒng)功能分為三部分：第一部分是定位、挖掘特定用戶(hù)所實(shí)施的訪問(wèn)行為，包括查看了哪些網(wǎng)頁(yè)、網(wǎng)頁(yè)訪問(wèn)軌跡、在每個(gè)頁(yè)面所停留的時(shí)間、所使用的瀏覽器類(lèi)型，及其上傳了哪些圖片文件。第二部分是定位實(shí)施特定行為的用戶(hù)，這些特定行為包括：訪問(wèn)特定頁(yè)面、登錄網(wǎng)站、在網(wǎng)站進(jìn)行注冊(cè)、在什么時(shí)間下載了特定圖片等等。第三部分系統(tǒng)用戶(hù)可以自定義訪問(wèn)行為，包括對(duì)某文件的訪問(wèn)次數(shù)大于10、在某文件的停留時(shí)間超長(zhǎng)一定時(shí)長(zhǎng)等等。

考慮到系統(tǒng)的穩(wěn)定性及可用性，選擇面向?qū)ο蟮慕忉屝陀?jì)算機(jī)程序設(shè)計(jì)語(yǔ)言python作為軟件實(shí)現(xiàn)語(yǔ)言，后臺(tái)采用Mysq1數(shù)據(jù)庫(kù)，對(duì)總體上進(jìn)行模塊劃分，各功能模塊的編碼實(shí)現(xiàn)、測(cè)試。系統(tǒng)流程如圖1所示。

圖1 系統(tǒng)流程圖

（1）數(shù)據(jù)清洗是數(shù)據(jù)分析挖掘的首要任務(wù)，在數(shù)據(jù)清理中要考慮的因素主要有以下幾個(gè)：區(qū)分不同的用戶(hù)需要什么信息；通過(guò)何種信息識(shí)別使用者會(huì)話；與模式發(fā)現(xiàn)和以后數(shù)據(jù)挖掘任務(wù)有關(guān)的數(shù)據(jù)項(xiàng)有那些。根據(jù)以上需求，對(duì)日志記錄清除不相關(guān)的數(shù)據(jù)，檢查URL的后綴，合并某些記錄。對(duì)用戶(hù)請(qǐng)求頁(yè)面時(shí)發(fā)生錯(cuò)誤的記錄進(jìn)行適當(dāng)?shù)奶幚怼＠纾涸谝陨先罩疚募?，需要將客?hù)機(jī)請(qǐng)求的用戶(hù)名和服務(wù)器返回的狀態(tài)去掉。另外，在用戶(hù)請(qǐng)求一個(gè)網(wǎng)頁(yè)時(shí)，與這個(gè)網(wǎng)頁(yè)有關(guān)信息自動(dòng)下載，并記錄在日志文件中。此時(shí)，要根據(jù)以后要進(jìn)行挖掘的目的，刪除那些不是用戶(hù)顯示請(qǐng)求的文件。例如，后綴名是.cgj，.js和 js的腳本文件因?qū)竺娴姆治鎏幚聿辉斐扇魏斡绊?，所以?yīng)該刪除。為了提高系統(tǒng)模型的可擴(kuò)展性，該系統(tǒng)在設(shè)計(jì)時(shí)建立一個(gè)缺省的規(guī)則庫(kù)來(lái)幫助刪除記錄，此規(guī)則庫(kù)可以根據(jù)分析網(wǎng)站的類(lèi)型進(jìn)行修改。例如，對(duì)于其他一般網(wǎng)站日志的數(shù)據(jù)挖掘，當(dāng)用戶(hù)在請(qǐng)求一個(gè)網(wǎng)頁(yè)時(shí)，與網(wǎng)頁(yè)有關(guān)的圖片等信息會(huì)自動(dòng)下載，保存在日志文件中，由于這個(gè)文件不是用戶(hù)顯式請(qǐng)求的，因?yàn)樵谶M(jìn)行數(shù)據(jù)清理的時(shí)候需要將這些記錄刪除，此時(shí)，只需要在規(guī)則庫(kù)中添加后綴為.gif，.jpg，.jpeg，.GIF，.JPG，.JPEG等即可。而在賭博網(wǎng)站日志的數(shù)據(jù)挖掘中，由于網(wǎng)站中大部分信息為圖形文件，用戶(hù)在訪問(wèn)的過(guò)程中極有可能訪問(wèn)這些圖形文件，因此，在規(guī)則庫(kù)中，不需要加入這些后綴名。

（2）數(shù)據(jù)經(jīng)過(guò)清洗后，轉(zhuǎn)換成適合挖掘分析的數(shù)據(jù)后存儲(chǔ)到MYSQL數(shù)據(jù)庫(kù)表中，在數(shù)據(jù)處理模塊中通過(guò)主函數(shù)根據(jù)所接收的用戶(hù)需求跳轉(zhuǎn)到不同的子處理函數(shù)中，在每個(gè)子處理函數(shù)中，對(duì)處理信息細(xì)節(jié)進(jìn)行了封裝，根據(jù)需求參數(shù)構(gòu)建不同的數(shù)據(jù)分析模式語(yǔ)句，輸出結(jié)果。

3 軟件的擴(kuò)展應(yīng)用

（1）死鏈接分析 該軟件能夠在分析 IIS日志，查找網(wǎng)站日志中是否有訪問(wèn)者可以造成的死鏈接，即從數(shù)據(jù)庫(kù)中挖掘如下行為，同一ip地址的訪問(wèn)者對(duì)網(wǎng)站的訪問(wèn)狀態(tài)的結(jié)果連續(xù)是404。

表明IP為180.153.206.22利用了一些掃描工具對(duì)網(wǎng)站進(jìn)行數(shù)據(jù)庫(kù)查找，企圖通過(guò)這種方式猜到網(wǎng)站的數(shù)據(jù)庫(kù)位置和名稱(chēng)，然后進(jìn)一步下載看到更具體的信息。

（2）SQL注入分析 一般的SQL注入都是通過(guò)%20（空格的ASC碼的16進(jìn)制值是20）和半角單引號(hào)進(jìn)行的，可以搜索%20和’單引號(hào)（半角的），查看是否存在相關(guān)結(jié)果。通過(guò)此行為可以判斷出該網(wǎng)站是否曾遭受 SQL注入攻擊，可以對(duì)執(zhí)行SQL注入攻擊的ip的行為進(jìn)行更具體的分析，進(jìn)一步對(duì)攻擊者ip地址進(jìn)行落地。

（3）上傳文件入侵 分析 IIS日志，查找網(wǎng)站是否被上傳文件入侵，上傳的文件是什么。

2012-06-07 06： 32：58 118.26.226.102 POST/1esson_manage/up1oad/40/ASP.asp 80 - 174.44.80.128 Apache-HttpC1ient/4.1.3+（java+1.5）302 0 0 306由上可以看出，用戶(hù)174.44.80.128在2012-06-07 23：16：19成功上傳了一個(gè)文件 ASP.asp 到/1esson_manage/up1oad/40/文件夾下。

4 結(jié)束語(yǔ)

本文研究了Web日志格式及特點(diǎn)，結(jié)合公安機(jī)關(guān)對(duì)web日志的挖掘需求，設(shè)計(jì)并實(shí)現(xiàn)了基于用戶(hù)行為的Web日志分析系統(tǒng)，但隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，Web日志信息量將呈幾何數(shù)增加，Web日志數(shù)據(jù)分析處理效率有待進(jìn)一步提高。

[1]劉建軍,黃政.網(wǎng)站入侵案件中的電子證據(jù)研究[J].信息網(wǎng)絡(luò)安全.2011.

[2]莊建兒.非法入侵網(wǎng)站案件的電子取證分析[J].寧波大學(xué)學(xué)報(bào)(理工版).2012.

[3]李明翠.面向網(wǎng)絡(luò)營(yíng)銷(xiāo)的IIS日志分析系統(tǒng)[J].華東交通大學(xué)學(xué)報(bào).2009.