基于Hadoop平臺的Web日志業(yè)務(wù)分析

張俊瑞，代 洋

(1.晉中學院信息技術(shù)與工程學院，山西 晉中 030619；2. 北京易匯眾盟網(wǎng)絡(luò)技術(shù)有限公司，北京 100089)

基于Hadoop平臺的Web日志業(yè)務(wù)分析

張俊瑞1，代 洋2

(1.晉中學院信息技術(shù)與工程學院，山西 晉中 030619；2. 北京易匯眾盟網(wǎng)絡(luò)技術(shù)有限公司，北京 100089)

通過分析網(wǎng)站日志文件，可以清楚地知道一個網(wǎng)站每天的頁面訪問量、用戶訪問量、獨立IP數(shù)、用戶通過什么渠道和設(shè)備訪問網(wǎng)站等，這樣企業(yè)就可以通過對網(wǎng)站日志文件進行數(shù)據(jù)分析進而對網(wǎng)站進行多方面的優(yōu)化建設(shè)。利用Hadoop平臺存儲并計算海量日志文件，利用Hive進行數(shù)據(jù)倉庫建設(shè)和數(shù)據(jù)分析，使得數(shù)據(jù)更具有說服力，真正實現(xiàn)了讓數(shù)據(jù)驅(qū)動業(yè)務(wù)，進而驅(qū)動公司發(fā)展。

大數(shù)據(jù)平臺；日志業(yè)務(wù)分析；數(shù)據(jù)倉庫

Web 2.0時代的到來，使網(wǎng)站日志數(shù)據(jù)的增長速度及交互功能都發(fā)生了很大的變化。利用傳統(tǒng)的日志分析工具很難實現(xiàn)PB數(shù)量級的網(wǎng)站日志的處理，因此需要優(yōu)秀、耐用且時效性強的處理平臺和分析工具來進行數(shù)據(jù)處理和分析，以便更好地完成網(wǎng)站的優(yōu)化，提高網(wǎng)站訪問量，創(chuàng)造更大的商業(yè)價值。

從互聯(lián)網(wǎng)發(fā)展趨勢和行業(yè)內(nèi)成功經(jīng)驗及案例來看，Hadoop+Hive已成為高效處理龐大數(shù)量級數(shù)據(jù)的平臺和分析工具。本文通過Hadoop+Hive實現(xiàn)Web日志業(yè)務(wù)分析及其可視化。首先搭建大數(shù)據(jù)集群平臺Hadoop，其次建設(shè)數(shù)據(jù)倉庫Hive對網(wǎng)絡(luò)日志進行分析，最后將一些業(yè)務(wù)指標通過可視化技術(shù)直觀展示出來。

1 Hadoop集群平臺搭建

1.1 環(huán)境準備

物理機硬件：處理器采用Intel(R) Core (TM) i7-4500u 1.8GHz，內(nèi)存8.0GB，操作系統(tǒng)Windows 8。

虛擬機系統(tǒng)：基于VMware Workstation創(chuàng)建了2臺虛擬機器，每臺的配置為2個單核CPU，2G內(nèi)存，30G硬盤，Ubuntu 14.0.4操作系統(tǒng)。

1.2 平臺規(guī)劃

Hadoop[1]運行在Linux系統(tǒng)上，所以O(shè)S選用Ubuntu 14.0.4，其次Hadoop是基于Java語言開發(fā)的，所以必須安裝JDK 1.7提供Java運行環(huán)境。安裝Hadoop包含HDFS、MapReduce、YARN三部分，其中HDFS提供分布式存儲環(huán)境，MapReduce提供批處理計算，而YARN調(diào)度資源；安裝Hive建設(shè)數(shù)據(jù)倉庫對網(wǎng)站日志進行數(shù)據(jù)分析得出對應的業(yè)務(wù)指標；通過Sqoop將數(shù)據(jù)倉庫中表的數(shù)據(jù)導入到MySQL中。平臺規(guī)劃如表1所示。

表1 平臺規(guī)劃

1.3 平臺架構(gòu)

大數(shù)據(jù)平臺的系統(tǒng)架構(gòu)從底端到上層分為五層，平臺架構(gòu)圖如圖1所示。

1) 數(shù)據(jù)采集層：將原始網(wǎng)站日志通過腳本語言代碼按時從Web服務(wù)器上采集到Linux文件系統(tǒng)中。

2) 數(shù)據(jù)存儲層：在數(shù)據(jù)采集層的基礎(chǔ)上，通過ETL進行數(shù)據(jù)處理，形成供上層進行離線計算和業(yè)務(wù)分析的數(shù)據(jù)集，并最后將其存儲在HDFS分布式文件系統(tǒng)之中。

3) 數(shù)據(jù)分析層：數(shù)據(jù)倉庫是面向業(yè)務(wù)決策的，通過Hive數(shù)據(jù)倉庫對網(wǎng)絡(luò)日志進行離線分析，得出一些業(yè)務(wù)指標用于決策。

4) 數(shù)據(jù)共享層：介于數(shù)據(jù)分析層和數(shù)據(jù)應用層中間的橋梁，通過Sqoop將數(shù)據(jù)分析層的結(jié)果傳輸?shù)組ySQL數(shù)據(jù)庫中，以便于數(shù)據(jù)應用層的使用。

5)數(shù)據(jù)應用層：數(shù)據(jù)產(chǎn)生價值的出口，其將最終的分析結(jié)果通過可視化技術(shù)展示出來，發(fā)揮出數(shù)據(jù)驅(qū)動決策的力量。

圖1 平臺架構(gòu)圖

1.4 集群搭建步驟

1) 創(chuàng)建Hadoop用戶并安裝Java環(huán)境，具體步驟為：

a) 創(chuàng)建用戶名，使用/bin/bash/作為shell。

b) 為Hadoop用戶增加管理員權(quán)限。

c) 對Hadoop用戶設(shè)置密碼。

d) 安裝JDK 1.7版本。

2) 網(wǎng)絡(luò)配置：將集群所有的節(jié)點配置在同一局域網(wǎng)中，才能實現(xiàn)節(jié)點之間的互相連接，所以將Ubuntu的網(wǎng)絡(luò)配置修改為橋接(Bridge)模式。

3) 安裝SSH并配置SSH無密碼登錄節(jié)點，具體步驟為：

a) 安裝SSH，生成Master節(jié)點的公鑰，Master可以無密碼ssh本機。

b) 配置Master節(jié)點，使Master節(jié)點可以無密碼ssh節(jié)點Slave，在Slave節(jié)點上，將ssh公鑰加入授權(quán)。

c) 驗證。在Master節(jié)點上ssh節(jié)點Slave。

4) 安裝Hadoop，配置集群環(huán)境，具體步驟為：

a) 安裝Hadoop，修改文件權(quán)限，配置環(huán)境變量，使環(huán)境變量生效。

b) 修改集群配置文件，配置集群環(huán)境，修改core-site.xml和hdfs-site.xml，設(shè)置備份一份，修改mapred-site.xml和yarn-site.xml。

c) 將Master節(jié)點上的Hadoop文件夾復制到Slave節(jié)點上。

總之，在高中語文教學過程中關(guān)注生命體驗，不僅體現(xiàn)了語文學科的人文性特點，而且有助于學生形成正確的生命價值觀。語文教師應將生命體驗不斷地滲透教學過程中，培養(yǎng)學生的生命情懷，這樣既可以讓他們學到知識，實現(xiàn)既定的教學目標，也能讓他們學會認識生命的價值，獲得生命的成長，不斷向著理想的人生進發(fā)。

5) 啟動Hadoop集群，格式化Master節(jié)點上的namenode，在Master節(jié)點上啟動Hadoop。

2 日志業(yè)務(wù)分析

2.1 網(wǎng)站日志

網(wǎng)站日志又叫做服務(wù)器日志，是記錄web服務(wù)器接收處理請求以及運行時錯誤等各種原始信息的以.log結(jié)尾的文件[2]。網(wǎng)站日志包含9項內(nèi)容，用空格分隔，分別為：IP地址、用戶標識、訪問時間及時區(qū)、請求的頁面、請求狀態(tài)碼、返回文件的大小、鏈接來源、瀏覽器信息。

2.2 日志分析業(yè)務(wù)指標

2.2.1 PV

PV(Page View)是頁面瀏覽次數(shù)，網(wǎng)站每進行一次頁面刷新PV+1。對所有訪問者來說，PV值是指其在一天中訪問頁面的總和，它是衡量網(wǎng)站活躍程度的指標。通過對IP地址進行計數(shù)，從日志中獲取訪問次數(shù)可以得到PV的值。PV是衡量網(wǎng)站流量的兩項最基本指標之一。

2.2.2 UV

UV(Unique Visitor)即獨立訪客數(shù)，指一天內(nèi)訪問網(wǎng)站的人數(shù)。一天之中，UV只記錄進入網(wǎng)站的具備獨立設(shè)備標識的訪問者的數(shù)量，當獨立訪客第二次進行訪問時則不計數(shù)。UV可以體現(xiàn)用戶對網(wǎng)站的關(guān)注程度，是衡量網(wǎng)站流量的兩項最基本指標之一。

2.2.3 獨立IP數(shù)

2.2.4 流量來源

流量來源是指用戶通過什么渠道訪問網(wǎng)站。通過網(wǎng)站日志的referer聚合之后可以分析出網(wǎng)站的流量來源。Referer表示該請求日志從哪里來，它可以分析網(wǎng)站的訪問來源，還可以用于分析用戶偏好等，是網(wǎng)站廣告投放評估的重要指標[4]。網(wǎng)站流量來源反映了用戶通過什么途徑訪問了此網(wǎng)站。

2.2.5 移動設(shè)備類型

該指標統(tǒng)計的是用戶訪問網(wǎng)站所使用的不同設(shè)備的類型，如Android手機、Mac筆記本電腦等。通過對User Agent的匹配得出不同的移動設(shè)備類型，對設(shè)備類型占比進行統(tǒng)計和分析，針對設(shè)備類型占比高的設(shè)備具有的瀏覽器兼容性問題，必須優(yōu)先對其進行處理并優(yōu)化網(wǎng)站。

2.3 數(shù)據(jù)倉庫建設(shè)

2.3.1 前期準備

1) 啟動大數(shù)據(jù)平臺。在Master節(jié)點上啟動NameNode、SecondaryNameNode和ResourceManager，在Slave節(jié)點上啟動DataNode、NodeManager，使集群良好的運行，然后在Master節(jié)點上啟動Hive。

2) 使用Extract.sh腳本文件對原始日志進行數(shù)據(jù)抽樣，得到一周的日志數(shù)據(jù)，將抽樣后的網(wǎng)站日志數(shù)據(jù)的日期通過sed進行日期時間處理。

3) 通過Transform.sh腳本文件對一周的日志數(shù)據(jù)進行清洗，通過Python正則匹配，最終輸出規(guī)范化的日志數(shù)據(jù)格式，提高加載的效率，方便將處理好的規(guī)范化的數(shù)據(jù)加載至數(shù)據(jù)倉庫ODS層中。

2.3.2 數(shù)據(jù)倉庫建設(shè)

數(shù)據(jù)倉庫是一個面向主題的、集成的、相對穩(wěn)定的、反映歷史變化的數(shù)據(jù)集合，用于支持管理決策[5]。本文的數(shù)據(jù)倉庫分為ODS(Operational Data Store)層、DW(Data Warehouse)層和DM(Data Mining)層。

數(shù)據(jù)倉庫的建設(shè)步驟為：

1) 將進行過數(shù)據(jù)清洗后的原始日志進行源數(shù)據(jù)導入。

2)將源數(shù)據(jù)存儲在原始日志表(ods_weblog)，然后對原始日志表進行更深層次的拆解，將request請求進行匹配得出請求路徑，最終得到請求頁面解析表。

3) 在dw_weblog_parser的基礎(chǔ)上，通過對agent字段進行模式匹配，可以得到用戶訪問網(wǎng)站的移動設(shè)備類型。網(wǎng)站的請求包含特定的模板，通過+wp-可以進行過濾，最終得到dw_weblog_info表。

4) 通過對referer進行聚合，可以得到一周之間的流量來源表。

5) 通過對device進行聚合，可以得到一周之間的設(shè)備類型表。

6) 運用業(yè)務(wù)指標定義，對不同設(shè)備標識進行計數(shù)得到UV，對IP地址進行計數(shù)得到PV，對不同的IP地址進行計數(shù)得到IP。通過對一周時間的數(shù)據(jù)進行分析，即可得到一周之中每天的UV、PV、IP，如圖2所示。

圖2 日志KPI分析過程

3 結(jié)束語

基于Hadoop集群平臺，通過HDFS存儲海量日志文件，在Hive上構(gòu)建一個網(wǎng)絡(luò)日志數(shù)據(jù)倉庫是十分高效的，通過MR處理大量數(shù)據(jù)時性能的提高非常可觀。通過數(shù)據(jù)倉庫Hive對網(wǎng)絡(luò)日志文件進行多維度分析，一方面可以提高數(shù)據(jù)分析的效率，另一方面可以通過數(shù)據(jù)挖掘出日志文件隱藏的價值，利用其結(jié)果可以進行網(wǎng)站的數(shù)據(jù)化運營，以便更好地對網(wǎng)站進行優(yōu)化，也有利于網(wǎng)站的長遠發(fā)展。

[1] 程苗,陳華平.基于Hadoop的Web日志挖掘[J].計算機工程,2011,37(11):37-39.

[2] 李鋰.淺議搜索引擎優(yōu)化策略[J].中小企業(yè)管理與科技,2008(30):239-239.

[3] 江三鋒,王元亮.基于Hive的海量web日志分析系統(tǒng)設(shè)計研究[J].軟件,2015,36(04):93-96.

[4] 李妹芳.ODPS權(quán)威指南:阿里大數(shù)據(jù)平臺應用開發(fā)實踐[M].北京：人民郵電出版社,2015.

[5] 朱宏儒.信息技術(shù)在銀行信貸業(yè)務(wù)中的運用[D].上海：華東理工大學,2005.

AnalysisofWebLogServiceBasedonHadoopPlatform

Zhang Junrui1, Dai Yang2

(1.SchoolofInformationTechnologyandEngineering,JinzhongUniversity,JinzhongShanxi030619,China;2.BeijingZMTNetworkTechnologyCo.,Ltd.,Beijing100089,China)

By analyzing the web log file, some data of a website daily could be obtained, such as amount of page visit, independent IP numbers, number of user visiting, what channels and devices users access to the website. In this way, the enterprise could analyze the data of the website log file and optimize the website in many aspects. Hadoop platform is used to store and calculate massive log files, the data warehouse construction and data analysis are carried out by using Hive. which would make data more convincing and results more intuitive. It really enables the realizing of data driven-business and promotes the company's development.

big data platform；log business analysis；visualization；data warehouse

2017-10-30

張俊瑞(1980- )，女，山西襄汾人，講師，碩士研究生，主要研究領(lǐng)域為數(shù)據(jù)挖掘、智能軟件技術(shù)。

1674- 4578(2017)06- 0071- 03

TP311

A