基于Ｗｅｂ日志挖掘的頁面興趣度量方法研究

崔江彥　馬　靜

摘要:本文主要針對電子商務(wù)網(wǎng)站的Web日志進(jìn)行分析和挖掘,提出一種更好的度量頁面興趣度的方法,并在此基礎(chǔ)上對頁面實(shí)現(xiàn)模糊聚類,找到用戶感興趣的頁面類,為用戶提供個性化服務(wù)同時也為電子商務(wù)網(wǎng)站結(jié)構(gòu)設(shè)計提供依據(jù)。

關(guān)鍵詞:電子商務(wù) 頁面興趣度 模糊聚類

一、引言

互聯(lián)網(wǎng)的發(fā)展催生了全新的商業(yè)模式—電子商務(wù),電子商務(wù)改變了廠商和顧客的關(guān)系,也使得經(jīng)濟(jì)模式發(fā)生了變化,由于電子商務(wù)企業(yè)的競爭往往只在鼠標(biāo)的一點(diǎn)之間,因此如何獲取并維護(hù)更多的網(wǎng)絡(luò)用戶成為了各電子商務(wù)企業(yè)之間競爭的焦點(diǎn)。通過對電子商務(wù)網(wǎng)站的Web日志進(jìn)行挖掘可以找到用戶感興趣的內(nèi)容從而為用戶提供個性化服務(wù),同時根據(jù)對網(wǎng)站商品關(guān)聯(lián)分析找出潛在的有關(guān)聯(lián)的商品,從而進(jìn)行“捆綁式”銷售,還可以根據(jù)頁面之間的關(guān)聯(lián)關(guān)系為網(wǎng)站的結(jié)構(gòu)調(diào)整提供依據(jù)。

二、Web日志挖掘

Web日志指的是用戶在訪問網(wǎng)站時在web服務(wù)在里留下的“腳印”,里面包含了用戶的大量信息,如用戶的ip地址、用戶訪問的頁面、瀏覽的時間等。典型的Web服務(wù)器日志包含以下信息:

Date:用戶請求頁面的日期

Time:用戶請求頁面的時間

Client Ip Address:通過身份驗(yàn)證的訪問服務(wù)器的用戶名不包括匿名

Server Ip Address:服務(wù)器端的IP地址

Method:用戶執(zhí)行的方法,如 GET等

URI stem:被訪問的資源

Bytes sent:接受數(shù)據(jù)的字節(jié)數(shù)

Bytes received:接受數(shù)據(jù)的字節(jié)數(shù)

Time taken:瀏覽消耗的時間(以毫秒為單位)

Referral page:用戶瀏覽的前一個網(wǎng)址,當(dāng)前網(wǎng)址是從該網(wǎng)址鏈接過來的

下面的某電子商務(wù)網(wǎng)站的Web日志片段:

2008-10-08 00:00:14 220.181.32.26 172.16.2.197 80 GET HTTP/1.1 200 0 3328 58974 250 0 /buy/results.asp akeyword=禮品工藝品&bodytype;=buy37&nowpage;=6 -

2008-10-08 00:00:14 61.191.92.137 172.16.2.197 80 GET HTTP/1.1 200 0 4140 76867 358 0 /userpic/tianlantian/200773112204011569.jpg - -

2008-10-08 00:00:15 220.181.32.26 172.16.2.197 80 GET HTTP/1.1 200 0 1781 58424 248 0 /buy/results.asp akeyword=個人保養(yǎng)&bodytype;=buy5&nowpage;=11 -

2008-10-08 00:00:15 220.181.32.26 172.16.2.197 80 GET HTTP/1.1 200 0 1812 61659 244 0 /buy/results.asp akeyword=肩章&bodytype;=buy24&nowpage;=3 -

我們看到原始的Web日志中包含了很多我們不需要的信息,預(yù)處理過的web日志才能進(jìn)行下一步的數(shù)據(jù)挖掘。

三、頁面興趣度量的新方法

夏敏捷和張錦歌[1]構(gòu)造了UserID-Url關(guān)聯(lián)矩陣其中矩陣元素為是i用戶在一段時間內(nèi)訪問第j個頁面(Url)的次數(shù);并且認(rèn)為行向量即反映了用戶類型,也勾勒出用戶的個性化訪問。而列向量則代表站點(diǎn)的結(jié)構(gòu),也蘊(yùn)含有用戶共同的訪問模式。

褚紅丹、焦素云和馬威[2]定義了一個四元組

表示用戶對頁面i的興趣,表示瀏覽該頁面的次數(shù),則興趣度定義為:

I值(平均閱讀時間)越大表示用戶對該頁面單位信息量閱讀時間越長,則用戶對該頁面越感興趣,相反,值越小表示當(dāng)訪問到該頁時,用戶平均閱讀的時間短,則對此頁面不感興趣。

李珊、袁方[3]做了頁面改進(jìn)興趣度的計算,用戶興趣度

:用戶i在第j個頁面上花費(fèi)的時間;:用戶i瀏覽第j個頁面的頻度;:用戶i瀏覽第j個頁面發(fā)送的字節(jié)數(shù)。

在頁面興趣度的度量最常用的方法就是用用點(diǎn)擊次數(shù)反映用戶的興趣,這種方法簡單且易于實(shí)現(xiàn),同時web日志中還有其他因素也能反映用戶的興趣,所以應(yīng)該綜合考慮各種影響因素。后兩篇論文中都提到了三種因素可以反映頁面興趣,下面我們對這些因素進(jìn)行分析。

通過查詢電子商務(wù)網(wǎng)站的日志分析,找出用戶對頁面的訪問時間、服務(wù)器發(fā)送字節(jié)數(shù)和接收字節(jié)數(shù)的數(shù)據(jù)記錄,因?yàn)閺目側(cè)〕?5169條數(shù)據(jù)用spss軟件做數(shù)據(jù)相關(guān)性分析,通過Pearson Correlation分析得出如下分析結(jié)果

計算結(jié)果現(xiàn)實(shí)用戶在網(wǎng)頁上的瀏覽時間和服務(wù)器發(fā)送字節(jié)數(shù)的Pearson相關(guān)系數(shù)為0.225,而和服務(wù)器接收字節(jié)數(shù)的Pearson相關(guān)系數(shù)為-0.041。

通過對比Pearson相關(guān)系數(shù)對比,我們發(fā)現(xiàn)瀏覽時間和服務(wù)器發(fā)送字節(jié)數(shù)以及瀏覽時間服務(wù)器接收字節(jié)數(shù)都是微弱相關(guān),所以我們在考慮用戶興趣度量因素的時候可以不再考慮發(fā)送字節(jié)數(shù)和接收字節(jié)數(shù)的對頁面興趣的影響。

因此定義頁面興趣矩陣:

因?yàn)槭怯脩鬷瀏覽頁面j的總時間,為用戶i點(diǎn)擊頁面j的次數(shù),

表示用戶i瀏覽頁面j的平均時間,這樣計算的用戶興趣度更能反映用戶對頁面的興趣。

四、基于頁面興趣度的網(wǎng)頁聚類

頁面進(jìn)行聚類分析,可以找到對于所有用戶訪問情況相同或相似的網(wǎng)頁,把這樣的頁面放在一起可以找到不同頁面之間的聯(lián)系進(jìn)而調(diào)整整體網(wǎng)站拓?fù)浣Y(jié)構(gòu),迎合用戶的訪問偏好。

(1)將數(shù)據(jù)集轉(zhuǎn)化成頁面興趣矩陣,如下所示:

(2)對于頁面興趣矩陣通過模糊距離公式

計算頁面與頁面的之間的相似程度,得到一個對角線為1的對稱方陣

我們只考慮它的下三角部分(不包括1),設(shè)置閾值,我們令

為如果模糊相似矩陣比大那么就將頁面i和頁面j聚在一起。

隨著互聯(lián)網(wǎng)的發(fā)展,Web服務(wù)的個性化趨勢已成必然。本文提出了一個新的頁面興趣方法,雖然日志數(shù)據(jù)能體現(xiàn)用戶的真實(shí)信息,但所包含的信息有限。在以后的研究中應(yīng)考慮利用用戶的背景信息,這樣挖掘出來的用戶興趣模型會更準(zhǔn)確。

參考文獻(xiàn):

[1]夏敏捷、張錦歌,Web日志挖掘中應(yīng)用聚類改進(jìn)網(wǎng)站結(jié)構(gòu)的研究[J].中原工學(xué)院學(xué)報,2005,16(6):39-41.

[2]褚紅丹、焦素云、馬威,用戶訪問興趣路徑挖掘方法[J].計算機(jī)工程與應(yīng)用, 2008,44(35):135-137.

[3]李珊、袁方,基于Web日志挖掘的頁面興趣度方法的改進(jìn)[J].計算機(jī)時代,2007,3:29-31.

[4]李桂英、李吉桂,基于模糊聚類的Web日志挖掘[J].計算機(jī)科學(xué),2004,31(12):130-131.

[5]吳福保、李奇、宋文忠,模糊聚類分析的傳遞方法[J].東南大學(xué)學(xué)報.1999.29(3):105-110.

作者簡介:崔江彥,女(漢),河北保定人,南京航空航天大學(xué)經(jīng)管學(xué)院碩士,主要信息管理與信息系統(tǒng)研究;馬靜,南京航空航天大學(xué)經(jīng)管學(xué)院教授,碩士生導(dǎo)師,研究方向:知識管理,情報學(xué)。

注：本文中所涉及到的圖表、注解、公式等內(nèi)容請以PDF格式閱讀原文