基于Hadoop的校園網(wǎng)站日志系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

姜開(kāi)達(dá)， 章思宇， 孫 強(qiáng)

（上海交通大學(xué)網(wǎng)絡(luò)信息中心，上海 200240）

0 引 言

隨著云計(jì)算等技術(shù)的興起與發(fā)展，大數(shù)據(jù)正在深刻地影響著人們的工作、學(xué)習(xí)和生活，甚至左右著國(guó)家經(jīng)濟(jì)和社會(huì)發(fā)展，我們已經(jīng)邁入了大數(shù)據(jù)時(shí)代．如何在教育信息化領(lǐng)域充分理解并迎接大數(shù)據(jù)技術(shù)帶來(lái)的機(jī)遇和挑戰(zhàn)，利用海量數(shù)據(jù)來(lái)挖掘信息、判斷趨勢(shì)、提高效率？這是高校信息化部門(mén)未來(lái)建設(shè)數(shù)字化校園過(guò)程中必須面對(duì)的挑戰(zhàn)．

大數(shù)據(jù)作為一門(mén)還在快速發(fā)展中的技術(shù)，在校園網(wǎng)絡(luò)應(yīng)用中的落地需要一個(gè)漸進(jìn)的過(guò)程．上海交通大學(xué)信息化部門(mén)建設(shè)了多個(gè)基于OpenStack和Hadoop的分布式云計(jì)算基礎(chǔ)平臺(tái)，給學(xué)校的科研工作和各類(lèi)校園級(jí)應(yīng)用提供了有力支撐，近年來(lái)也在利用Hadoop平臺(tái)長(zhǎng)期存儲(chǔ)和快速分析海量校園網(wǎng)站訪(fǎng)問(wèn)日志方向進(jìn)行了一系列探索和實(shí)踐．

1 校園網(wǎng)站的日志搜集需求

從IT系統(tǒng)管理運(yùn)維的角度出發(fā)，需要有統(tǒng)一的方案來(lái)監(jiān)控全體服務(wù)器的運(yùn)行數(shù)據(jù)，包括Web應(yīng)用服務(wù)端程序的日志也值得集中分析和處理，以及時(shí)發(fā)現(xiàn)運(yùn)行異常和評(píng)估網(wǎng)站服務(wù)狀況．由于安全投入和重視普遍不足，高校網(wǎng)站一直是受黑客攻擊的重災(zāi)區(qū)，面臨著各種來(lái)源和不同類(lèi)型的漏洞掃描、攻擊入侵以及敏感數(shù)據(jù)泄露的威脅．徹底的網(wǎng)站日志分析可以及時(shí)發(fā)現(xiàn)安全薄弱點(diǎn)和已被入侵的站點(diǎn)，完整的網(wǎng)站日志在出現(xiàn)網(wǎng)絡(luò)安全事件后可能也是回溯追蹤的重要線(xiàn)索．

對(duì)大型互聯(lián)網(wǎng)公司諸多網(wǎng)站產(chǎn)生的海量日志存儲(chǔ)和分析，存在多種成熟的方案．一種流行的架構(gòu)是使用Flume（采集）＋Kafka（接入）＋Storm（分析）＋HDFS（存儲(chǔ)）的組合．Flume是一個(gè)高可靠且分布式的海量日志采集、聚合和傳輸系統(tǒng)，可用于收集數(shù)據(jù)并在進(jìn)行簡(jiǎn)單處理后寫(xiě)到各種數(shù)據(jù)接收方．Apache Kafka是LinkedIn開(kāi)源的高吞吐量分布式發(fā)布訂閱消息系統(tǒng)，主要用于處理活躍的流式數(shù)據(jù)，解決采集速度和處理速度不同步的問(wèn)題．Storm是Twitter開(kāi)源的一個(gè)分布式實(shí)時(shí)計(jì)算系統(tǒng)，支持對(duì)流式數(shù)據(jù)進(jìn)行處理．HDFS（Hadoop分布式文件系統(tǒng)）是一個(gè)高容錯(cuò)性的系統(tǒng)，基于廉價(jià)的硬件來(lái)提供高吞吐量的數(shù)據(jù)訪(fǎng)問(wèn)，非常適合大規(guī)模數(shù)據(jù)的存儲(chǔ)應(yīng)用．

高校校園網(wǎng)站雖然單個(gè)規(guī)模都不大，但是數(shù)量眾多．如上海交通大學(xué)校園網(wǎng)內(nèi)的網(wǎng)站數(shù)量就已過(guò)千，并且極為分散．除了學(xué)校數(shù)據(jù)中心集中了一批重要Web的應(yīng)用服務(wù)器以外，在校內(nèi)機(jī)關(guān)／院系所／實(shí)驗(yàn)室還有大量的各類(lèi)網(wǎng)站應(yīng)用．這些網(wǎng)站服務(wù)器的操作系統(tǒng)和Web服務(wù)程序版本眾多且無(wú)法統(tǒng)一，部分定制化的專(zhuān)業(yè)應(yīng)用無(wú)法升級(jí)；管理人員的能力參差不齊，無(wú)法做到分布式的基于主機(jī)部署Agent的Web日志收集．這些特點(diǎn)決定了高校不能完全照搬互聯(lián)網(wǎng)企業(yè)的模式，而應(yīng)該有自己的創(chuàng)新措施來(lái)滿(mǎn)足Web日志集中搜集的需求．

2 校園網(wǎng)站日志的采集模式

上海交通大學(xué)采取的方案是在校園網(wǎng)邊界出口處分離出外網(wǎng)訪(fǎng)問(wèn)校園網(wǎng)內(nèi)Web信息系統(tǒng)的網(wǎng)絡(luò)流量，以及校內(nèi)數(shù)據(jù)中心出口的訪(fǎng)問(wèn)服務(wù)器網(wǎng)絡(luò)流量，對(duì)其進(jìn)行應(yīng)用層協(xié)議分析，提取完整的HTTP請(qǐng)求header報(bào)文信息（GET／POST）和Response報(bào)文信息，從網(wǎng)絡(luò)流量中而不是主機(jī)上盡可能完整地按需要還原出所有類(lèi)似access．log格式的Web訪(fǎng)問(wèn)日志．這樣既可以集中獲得所有訪(fǎng)問(wèn)日志，也可以跨網(wǎng)站服務(wù)器平臺(tái)來(lái)統(tǒng)一日志格式，同時(shí)避免了某些系統(tǒng)被入侵后產(chǎn)生的日志被刪除的缺陷，唯一的缺點(diǎn)是對(duì)于使用HTTPS類(lèi)型的加密網(wǎng)絡(luò)流量，沒(méi)有SSL證書(shū)的情況下無(wú)法從網(wǎng)絡(luò)流量中還原出原始內(nèi)容，這部分還是需要依賴(lài)相關(guān)主機(jī)的日志系統(tǒng)．

有一些商業(yè)用戶(hù)行為審計(jì)或者流控產(chǎn)品可以通過(guò)Syslog或以其他接口輸出不同類(lèi)型和格式的URL訪(fǎng)問(wèn)日志，但是靈活性和可擴(kuò)展性不足．為了滿(mǎn)足校園網(wǎng)10 Gbps的實(shí)際流量處理需求，我們基于開(kāi)源軟件和開(kāi)源庫(kù)，自行在x86平臺(tái)底層實(shí)現(xiàn)了從高速網(wǎng)絡(luò)流量中提取自定義的Web日志到本地文件，目前的主流服務(wù)器（Xeon E5－2600系列）下可以達(dá)到單機(jī)每日10億字節(jié)量級(jí)的穩(wěn)定日志生成能力．

從上海交通大學(xué)校園網(wǎng)今年前7個(gè)月的統(tǒng)計(jì)來(lái)看，存儲(chǔ)全校一千多個(gè)網(wǎng)站的原始Web訪(fǎng)問(wèn)日志涉及到的數(shù)據(jù)量級(jí)已在百億字節(jié)以上，并且這些數(shù)據(jù)還在隨著時(shí)間的推移而線(xiàn)性增長(zhǎng)．傳統(tǒng)的Oracle、MySQL、SQL Server等關(guān)系型數(shù)據(jù)庫(kù)并不適合海量日志存儲(chǔ)這種低實(shí)時(shí)性要求的小并發(fā)查詢(xún)應(yīng)用場(chǎng)景，并且在數(shù)據(jù)量到達(dá)一定級(jí)別之后會(huì)出現(xiàn)各種瓶頸．如果沒(méi)有合適的手段來(lái)查詢(xún)和分析Web訪(fǎng)問(wèn)日志，這些數(shù)據(jù)中蘊(yùn)含的真正價(jià)值就無(wú)法得到體現(xiàn)，因此把每天生成的海量日志文件定期增量導(dǎo)入到Hadoop大數(shù)據(jù)平臺(tái)就成為必然選擇．

日志文件的格式定義如下表所示，不同字段之間用“｜”來(lái)完成分隔，為了避免文件的無(wú)限增長(zhǎng)，日志文件按小時(shí)滾動(dòng)生成．

表1 日志文件格式定義

3 Hadoop大數(shù)據(jù)平臺(tái)的建立

Hadoop起源于Google，是目前由Apache基金會(huì)維護(hù)的分布式系統(tǒng)基礎(chǔ)架構(gòu)，用戶(hù)可以使用相對(duì)廉價(jià)的分布式硬件系統(tǒng)，通過(guò)MapReduce的技術(shù)，滿(mǎn)足海量數(shù)據(jù)存儲(chǔ)和高性能的分析處理需求．圍繞著Hadoop生態(tài)系統(tǒng)，又有HBase、Hive、Pig、Sqoop等眾多的開(kāi)源項(xiàng)目發(fā)展起來(lái)，形成了一個(gè)完善的、選擇多樣的大數(shù)據(jù)解決方案．在眾多大數(shù)據(jù)解決方案中，Hadoop是實(shí)現(xiàn)企業(yè)級(jí)大數(shù)據(jù)分析平臺(tái)的首選，已經(jīng)在國(guó)內(nèi)外互聯(lián)網(wǎng)領(lǐng)域得到了廣泛使用．

完全手動(dòng)安裝Hadoop平臺(tái)需要集成很多周邊組件，繁瑣且不易于維護(hù)和擴(kuò)展．類(lèi)似于Linux操作系統(tǒng)存在眾多發(fā)行版，Cloudera和Hortonworks等公司推出了集成的Hadoop發(fā)行版（包括開(kāi)源和企業(yè)兩個(gè)版本），極大的簡(jiǎn)化了大數(shù)據(jù)平臺(tái)的部署和維護(hù)流程．

上海交通大學(xué)在校內(nèi)使用了Cloudera的開(kāi)源版本（CDH5．1．0）構(gòu)建了一個(gè)28臺(tái)物理機(jī)節(jié)點(diǎn)組成的Hadoop大數(shù)據(jù)分析平臺(tái)（24個(gè)存儲(chǔ)計(jì)算節(jié)點(diǎn)，4個(gè)管理節(jié)點(diǎn)）．每計(jì)算節(jié)點(diǎn)配128 G內(nèi)存，兩路八核Xeon E5－2670 CPU，兩塊240 GB的SSD硬盤(pán)和12塊2 TB硬盤(pán)，所有節(jié)點(diǎn)之間通過(guò)萬(wàn)M以太網(wǎng)完成高速互聯(lián)，HDFS總?cè)萘砍^(guò)450 TB．

通過(guò)Cloudera Manager，可以方便地使用圖形界面在64位CentOS6．4上部署HDFS、YARN／MapReduce、HBase、Hive、Impala、Spark、Sqoop、Solr等服務(wù)，并且監(jiān)控集群服務(wù)器的狀態(tài)、資源使用情況和運(yùn)行中的數(shù)據(jù)處理任務(wù)．

通過(guò)集中采集得到的網(wǎng)站日志會(huì)利用腳本定期自動(dòng)導(dǎo)入Hadoop平臺(tái)的登錄節(jié)點(diǎn)，再采用Hadoop FS－put命令將文件日志導(dǎo)入進(jìn)HDFS，并且每個(gè)文件導(dǎo)入HDFS時(shí)都可以單獨(dú)選擇分塊尺寸和副本數(shù)，合理調(diào)整這些參數(shù)可以提高存儲(chǔ)效率．創(chuàng)建HIVE表來(lái)定義存儲(chǔ)格式，例如：

然后定期把HDFS上的新日志文件增量導(dǎo)入到HIVE表，例如：

實(shí)際初期使用中對(duì)網(wǎng)站日志進(jìn)行分析時(shí)，發(fā)現(xiàn)硬盤(pán)讀取速度是最大瓶頸，但集群CPU使用率并不高，這時(shí)對(duì)數(shù)據(jù)進(jìn)行壓縮存儲(chǔ)，降低文件大小成為一個(gè)必然的選擇．Hadoop的MapReduce任務(wù)，以及Impala等SQL引擎在讀取HDFS文件時(shí)可自動(dòng)解開(kāi)常用的壓縮格式．將導(dǎo)入到HDFS的文件轉(zhuǎn)換為壓縮格式存儲(chǔ)，一方面提高空間利用率，另一方面在處理日志時(shí)，相同的磁盤(pán)I／O速度讀取的日志量更多，原本閑置的CPU資源用于在線(xiàn)解壓縮，任務(wù)執(zhí)行時(shí)間明顯降低．

要運(yùn)維好一個(gè)Hadoop集群和上面的應(yīng)用，最大化發(fā)揮硬件潛能，需要管理人員在長(zhǎng)期的實(shí)際使用過(guò)程中不斷對(duì)配置進(jìn)行調(diào)整優(yōu)化，積累各方面經(jīng)驗(yàn)．

4 網(wǎng)站日志分析

對(duì)Hadoop中存儲(chǔ)的海量數(shù)據(jù)進(jìn)行分析有多種方法，傳統(tǒng)是編寫(xiě)MapReduce程序來(lái)進(jìn)行處理，這種方式靈活性好，但是開(kāi)發(fā)周期較長(zhǎng)．Pig作為一種編程語(yǔ)言，簡(jiǎn)化了MapReduce的開(kāi)發(fā)，提供了簡(jiǎn)單的編程接口．Hive提供了HiveQL語(yǔ)言接口，將類(lèi)SQL語(yǔ)句翻譯為MapReduce任務(wù)執(zhí)行，對(duì)熟悉關(guān)系型數(shù)據(jù)庫(kù)的使用人員更為友好．Impala是Cloudera公司主導(dǎo)開(kāi)發(fā)的實(shí)時(shí)查詢(xún)引擎，它提供SQL語(yǔ)義，直接跳過(guò)了MapReduce過(guò)程，可以高速查詢(xún)存儲(chǔ)在HDFS中的PB級(jí)大數(shù)據(jù)，給數(shù)據(jù)分析人員提供了快速實(shí)驗(yàn)和驗(yàn)證想法的手段．在我們實(shí)際日志分析過(guò)程中，Impala最快在4 min內(nèi)完成了對(duì)400億條網(wǎng)站日志數(shù)據(jù)的掃描，查詢(xún)速度明顯超過(guò)Hive，因此成為最常用的一種分析工具．Hadoop Streaming支持Shell命令的使用，因此grep／cat／awk等Linux下的分析統(tǒng)計(jì)工具還是可以繼續(xù)針對(duì)HDFS上的數(shù)據(jù)文件來(lái)靈活調(diào)用．

國(guó)家對(duì)非經(jīng)營(yíng)性互聯(lián)網(wǎng)信息服務(wù)實(shí)行備案制度，學(xué)校信息化部門(mén)是否了解校園網(wǎng)內(nèi)有多少個(gè)網(wǎng)站？訪(fǎng)問(wèn)量排名的Top100 Sites是哪些？所有網(wǎng)站的網(wǎng)址分別是什么？不同時(shí)間段的訪(fǎng)問(wèn)量各有多少，來(lái)源如何分布？其中有多少使用了非edu．cn的域名？有多少網(wǎng)站僅使用IP而不是域名提供訪(fǎng)問(wèn)？有多少網(wǎng)站使用了非80端口提供服務(wù)？這些網(wǎng)站分別使用了何種Web服務(wù)端程序？要回答這些問(wèn)題，顯然不能依賴(lài)派發(fā)調(diào)查表這種低效的方式，只要對(duì)Hadoop平臺(tái)的web日志用Impala進(jìn)行各種針對(duì)性的數(shù)據(jù)挖掘，這些答案就全都可以準(zhǔn)確給出．

對(duì)于突發(fā)性的重大安全漏洞，通過(guò)大數(shù)據(jù)分析可以在早期迅速給出安全預(yù)警和大范圍安全評(píng)估．近年來(lái)的Apache Struts2漏洞每次爆發(fā)都在互聯(lián)網(wǎng)上掀起腥風(fēng)血雨，上海交通大學(xué)校園網(wǎng)內(nèi)基于這種Java框架的應(yīng)用信息系統(tǒng)也有近百個(gè)，不及時(shí)處理就難逃一劫．怎么快速的從數(shù)千個(gè)網(wǎng)站之中找出哪些使用了Struts 2開(kāi)發(fā)框架？通過(guò)Impala查詢(xún)HTTP訪(fǎng)問(wèn)URL數(shù)據(jù)中Path的一些特征字段（．a(chǎn)ction和．do等）并配合awk／grep／sed／sort等Linux Shell腳本分析，可以在一小時(shí)內(nèi)給出準(zhǔn)確的答案．從近兩年的網(wǎng)絡(luò)安全發(fā)展態(tài)勢(shì)來(lái)看，發(fā)現(xiàn)并利用類(lèi)似通用型軟件漏洞的攻擊有日益增長(zhǎng)的趨勢(shì)，今年三月份出的DedeCMS注入漏洞，七月份出的Discuz 7．2注入漏洞都給眾多校園網(wǎng)站帶來(lái)了嚴(yán)重影響，而這些受影響網(wǎng)站都可以通過(guò)海量日志數(shù)據(jù)分析快速反查得到．使用Python腳本結(jié)合對(duì)應(yīng)的漏洞POC對(duì)這些可能受影響網(wǎng)站進(jìn)行驗(yàn)證，可以迅速掌握究竟有多少站點(diǎn)中招．

對(duì)于APT（Advanced Persistent Threat，高級(jí)持續(xù)性威脅）類(lèi)型的攻擊，很難立即響應(yīng)并處理，IDS、Firewall、WAF（Web應(yīng)用防火墻）等常規(guī)安全防御體系面對(duì)0Day攻擊可能都是無(wú)效的．這類(lèi)攻擊往往持續(xù)數(shù)月乃至幾年，只有掌握全局且長(zhǎng)期的海量日志并擁有關(guān)聯(lián)分析能力，才可能從蛛絲馬跡中追蹤各類(lèi)APT攻擊和0Day利用行為，進(jìn)行取證分析．

分析Web日志中的GET請(qǐng)求記錄，Referer字段會(huì)顯示用戶(hù)訪(fǎng)問(wèn)流量從何處而轉(zhuǎn)來(lái)，User－Agent字段會(huì)顯示用戶(hù)的操作系統(tǒng)和終端瀏覽器類(lèi)型，SrcIP字段會(huì)顯示用戶(hù)來(lái)源（校內(nèi)／校外／地區(qū)／國(guó)家），如果是由搜索引擎跳轉(zhuǎn)而來(lái)，抽取Referer信息中查詢(xún)字段并對(duì)應(yīng)UTF－8／GB2312解碼，就可以分析出訪(fǎng)問(wèn)者遠(yuǎn)端使用的搜索引擎以及輸入的關(guān)鍵詞．這些長(zhǎng)期統(tǒng)計(jì)分析信息可用于校園網(wǎng)站的用戶(hù)行為分析和針對(duì)性頁(yè)面優(yōu)化，分析用戶(hù)使用的搜索關(guān)鍵詞在安全領(lǐng)域也有著特殊的意義．日志里的HTTP返回狀態(tài)碼如果是4xx或5xx而不是200，也預(yù)示著服務(wù)器出現(xiàn)了某些異常情況．

對(duì)于網(wǎng)站后門(mén)（WebShell），其Web日志某些字段（path或Referer）中的特征比較明顯，可以通過(guò)一系列異常挖掘算法及時(shí)發(fā)現(xiàn)．關(guān)聯(lián)性日志分析可以得出這些木馬是在什么時(shí)間，哪個(gè)源IP放進(jìn)來(lái)的，網(wǎng)站哪些目錄下還可能存在類(lèi)似后門(mén)導(dǎo)致被利用，攻擊者先后入侵了哪些網(wǎng)站，都在一系列深入分析之后得到了解答．很多服務(wù)器被入侵之后，攻擊者會(huì)故意抹去其訪(fǎng)問(wèn)痕跡，不過(guò)基于網(wǎng)絡(luò)流量的日志仍然忠實(shí)記錄了當(dāng)時(shí)發(fā)生的每個(gè)細(xì)節(jié)．一次成功的入侵背后往往伴隨著多次的信息搜集過(guò)程，眾多不成功的掃描和攻擊嘗試會(huì)在一系列日志數(shù)據(jù)記錄中得到印證．很多時(shí)候人們的確無(wú)法實(shí)時(shí)阻斷所有攻擊，但事后的安全應(yīng)急響應(yīng)工作仍然非常有價(jià)值，亡羊補(bǔ)牢，為時(shí)未晚．如果沒(méi)有足夠的日志數(shù)據(jù)積累，缺乏快速的分析平臺(tái)，對(duì)發(fā)生的歷史攻擊就毫無(wú)知曉，更難避免其反復(fù)出現(xiàn)．

5 未來(lái)展望和結(jié)束語(yǔ)

校園網(wǎng)站日志系統(tǒng)只是基于Hadoop平臺(tái)的一個(gè)典型應(yīng)用，在大數(shù)據(jù)平臺(tái)上還可以提供校園云存儲(chǔ)、教學(xué)科研基礎(chǔ)支撐等更多的校園級(jí)應(yīng)用．高校信息化部門(mén)要深入研究大數(shù)據(jù)平臺(tái)的自動(dòng)化靈活部署，做好后期運(yùn)維保障，并且充分理解最終應(yīng)用需求，才能用較少的投入來(lái)獲得最大的收益，挖掘出大數(shù)據(jù)中的信息金礦．

對(duì)大數(shù)據(jù)的搜集、分析、可視化是循序漸進(jìn)的過(guò)程，前兩者在校園網(wǎng)站日志系統(tǒng)的建設(shè)過(guò)程中已經(jīng)做了一系列基礎(chǔ)研究，可視化輸出通過(guò)圖形的形式表現(xiàn)信息的內(nèi)在規(guī)律及其傳遞、表達(dá)的過(guò)程，是詮釋復(fù)雜數(shù)據(jù)的重要手段和途徑．可視化的具體方法和形式多種多樣，目的是使不具備專(zhuān)業(yè)背景的用戶(hù)也可以直觀(guān)理解原始數(shù)據(jù)中隱藏的規(guī)律和潛在關(guān)系，高校在這個(gè)方向上還需要做出更多的努力和進(jìn)一步探索．

［1］ 構(gòu)建大型云計(jì)算平臺(tái)分布式技術(shù)的實(shí)踐［EB／OL］．［2014－07－18］．http：／／www．infoq．com／cn／news／2014／07／aliyun－distributed．

［2］ Linxinsnow．大數(shù)據(jù)安全分析：我們從日志中得到的（一）［EB／OL］．［2014－07－13］．http：／／www．freebuf．com／articles／web／25613．html．

［3］ BigHy．騰訊安全零距離之大眼——大型網(wǎng)絡(luò)流量分析系統(tǒng)［EB／OL］．［2014－12－06］．http：／／security．tencent．com／index．php／blog／msg／33．

［4］ 大數(shù)據(jù)Web日志分析用Hadoop統(tǒng)計(jì)KPI指標(biāo)實(shí)例［EB／OL］．［2014－02－08］．http：／／www．a(chǎn)boutyun．com／thread－6832－1－1．html．

［5］ Flume User Guide［EB／OL］．［2014－10－317］．http：／／flume．a(chǎn)pache．org／FlumeUserGuide．html．

［6］ CDH5．x Documentation［EB／OL］．［2014－10－31］．http：／／www．cloudera．com／content／support／en／documentation／cdh5－documentation／cdh5－documentation－v5－latest．html．