基于文本挖掘技術的電子商務網(wǎng)站個性化推薦分析

張昊

（湖北第二師范學院計算機學院，湖北武漢，430205）

Web文本挖掘主要是為了能夠在Web頁面內(nèi)成功提取關鍵知識信息，個性化推薦就如同“信息找人”這一方式，想要提高個性化推薦的精準率，就要保證信息有效性這一重要基礎，所以文本挖掘作為如今個性化推薦中的熱門研究話題[1]。Web文本挖掘技術作為多樣化的個性化推薦中分支，包括了建立特征表示，提取重要文檔，進行聚類分析以及計算相似性。以往利用空間向量模型表示文本，最終的推薦結(jié)果準確度不高，并且關鍵文本的判斷推理能力不強，無法有效優(yōu)化個性化推薦集[2]。不僅如此用戶在訪問電商網(wǎng)站存在自身興趣愛好改變的可能性，因此需要一種精準性更高的文本挖掘技術，來對用戶的變化及時跟蹤且及時響應。本文就此提出基于文本挖掘技術的電子商務網(wǎng)站個性化推薦技術，提高電商網(wǎng)站的推薦精準性。

1 基于Web文本挖掘推薦模型

自信息運動論在學術界提出后，就上升了“信息”概念至“全信息理論”，一定程度上代表獲取信息資源，完成開發(fā)且加以利用的全過程[3]。在Web訪問的過程中也作為產(chǎn)生信息的運動過程，用戶在每一次訪問過程中都會在Web服務器中留下信息，也就是挖掘?qū)ο笈c傳統(tǒng)推薦模型相結(jié)合，加入Web文本挖掘、BM25F模型內(nèi)，在電商網(wǎng)站平臺構(gòu)建個性化推薦模型（見圖1）。

圖1 基于Web挖掘的個性化推薦模型

根據(jù)上文建立此模型分為上、下兩部分，上面主要為了對Web服務器數(shù)據(jù)結(jié)構(gòu)進行分析，完成服務器日志預處理，成功提取事物集并運用模型計算文本表示與權(quán)重，通過聚類分析得到Web文本文檔集。下面主要經(jīng)Web數(shù)據(jù)預處理，對用戶會話進行分析，對不同會話內(nèi)不同Web頁面中關鍵特征詞條的權(quán)重。之后運用該模型中夾角余弦完成會話和Web文本文檔集的相似性結(jié)果，計算得出個性化推薦集[4]。

2 文本詞條獲取

■2.1 挖掘服務器日志

挖掘文本數(shù)據(jù)作為提取訪客的頁面訪問日志，提取相關頁面的核心關鍵詞，用于對用戶網(wǎng)頁訪問行為興趣的跟蹤依據(jù)。

首先分析電商網(wǎng)站的頁面結(jié)構(gòu)，通常包括了菜單索引、商品詳情、導航欄、服務說明等模塊，其中關聯(lián)個性化推薦的功能即商品信息展示[5]。由于如今提取關鍵詞條技術僅僅能夠獲取文本內(nèi)容，包括了商品詳情，且為了可以更快捷的在平臺網(wǎng)站中成功檢索此商品，多數(shù)內(nèi)容都要利用爬蟲技術優(yōu)化。

再者提取用戶的交易事務，其中包含了過濾數(shù)據(jù)、識別用戶和會話的步驟，數(shù)據(jù)過濾主要是為了對無關、錯誤數(shù)據(jù)進行清洗，通過清洗這些數(shù)據(jù)有助于減少后續(xù)形成個性化推薦的聚類分析負荷。用戶識別文本就是利用cookie技術跟蹤訪客，有著極高的技術可行性，但是不足之處就是存在關閉瀏覽器cookie的可能性。假若發(fā)生此種情況運用SessionID技術，會在訪客訪問中產(chǎn)生動態(tài)化唯一標識，可是無法記錄用戶的重復性訪問行為。會話識別主要用于區(qū)分用戶的單一訪問，用戶登錄電商網(wǎng)站后會自動獲取單一會話，對會話行動進行跟蹤假若30分鐘以上并無任何活動就會自動斷開。

■2.2 提取特征詞條

文本挖掘的首要核心任務即在訪問頁面中提取文本特征詞條，如訪客在網(wǎng)站中產(chǎn)生的一系列頁面訪問A1,A2,A3,...,An，對n個網(wǎng)絡頁面內(nèi)獲取每頁核心詞條，能夠?qū)崟r掌握用戶的不同行為偏好及具體變化情況。需要運用分詞技術來獲取特征詞條，但是難處就在于最大化消除歧義，在中文語法內(nèi)斷句不同歧義就會有所不同[6]。為了對這一問題妥善解決，如今CRFs算法作為常規(guī)中文分詞用法，基于條件隨機域算法CRF基礎上演變形成。此算法居于線性序列，在給定A參數(shù) (λ1,λ2,λ3,...λn)的線性鏈CRFs對應序列X=x1,...xr中Y=y1,...,yr狀態(tài)的條件概率公式如下：

公式（1）內(nèi)XZ作為歸一化因子，能夠?qū)⑷繝顟B(tài)序列概率與均作為二值的特征函數(shù)，相應的權(quán)重為[7]。

此模型算法能夠較好的解決如今中文分詞內(nèi)可能遇到的相關問，那么解決此問題也為后續(xù)特征詞條的提取打下良好基礎。因為發(fā)生此詞條的對應所在位不同，那么重要度也就有較大差別，所以需要對應重要度權(quán)重位進行劃分。本文劃分了網(wǎng)站一個頁面包括標題、內(nèi)容、meta描述標簽以上3個域，權(quán)重分別對應0.5，0.3，0.2。所獲取每個頁面內(nèi)的排名前六詞條，用于表示當前頁面，詞條量過少則代表整體頁面，如果過多就必然加大后續(xù)的聚類分析負荷。

■2.3 特征詞條聚類分析

在提取對應特征詞條后，轉(zhuǎn)變完整交易事務為特征層詞條為表示的詞條組，多個交易事務會形成相關矩陣，對于單一頁面特征詞用T={t1,t2,t3...tn}表示，完整交易事務用Page={p1,p2,p3,...pm}表示，那么表示單一頁面的特征詞條權(quán)重公式如下[8]：

聚類分析算法主要是為了對于特征詞條之間相似基礎上，完成目標數(shù)據(jù)分類，最終成功凝聚接近相似數(shù)據(jù)。本文選用層次聚類分析尋找相似點高的用戶群，以聚類分析結(jié)果為依據(jù)，可以相互推薦相似興趣點的用戶購買行為。對于最后的推薦排序問題，可以對比用戶在電商平臺的購買結(jié)果，以及購物車、收藏夾內(nèi)的清單情況，假若存在重復可以進行清洗。之后依據(jù)用戶的相似群內(nèi)商品相似度作為排序依據(jù)，為了確保用戶最終滿意可以選擇推薦數(shù)量直至恰當。

■2.4 匹配文檔形成個性化推薦

使用Web文本挖掘技術跟蹤網(wǎng)站服務器日志，對跟蹤結(jié)果完成預處理，形成處理后的用戶會話U={u1,u2,u3,...um}，ui表示類似上節(jié)pci，具體的計算公式如下：

計算ui中，wu表示在web頁面內(nèi)pi所處目前用戶會話U內(nèi)的相應權(quán)重情況，通過計算頁面中全部特征詞條總權(quán)重，和頁面集的全部特征詞累計權(quán)重和的比值。

針對聚類分析中所在頁面的交易事務權(quán)重表示公式如下:

對用戶會話U、文本文檔pc之間相似性結(jié)果進行計算，本文使用夾角余弦公式：

根據(jù)以上計算過程可以產(chǎn)生最終的推薦結(jié)果，所得每個頁面推薦值主要包括兩部分，分別是相似值和權(quán)重值。

3 實驗分析

本文為了對比提出基于web文本挖掘技術的個性化推薦模型應用實效，選用某模型Java變成和Apache Tomcat6.0服務器，以及MySQL數(shù)據(jù)庫，所開發(fā)的電商網(wǎng)站為實驗平臺，建立個性化推薦模型。將本文提出此模型對比傳統(tǒng)TF*IDF方法，根據(jù)最終的個性化推薦結(jié)果精準率、召回率，證實本文提出此個性化推薦模型的應用效果。召回率作為推薦結(jié)果內(nèi)包含相關文檔所占整個集合的相關文檔比例，精準率作為在個性化推薦結(jié)果文檔的占比。

運用TF*IDF計算因為Web文本特征為特征詞集合，分析特征詞個數(shù)逐漸增加精準率和召回率比較，實驗由3個特征次數(shù)逐漸增加18個對比精準率與召回率（見圖2、圖3）。

圖2 精準率

圖3 召回率

經(jīng)對比分析兩種模型精準率、召回率逐漸衰減，根據(jù)精準率相較本文建立個性化推薦模型下降率逐漸平緩，最終計算結(jié)果發(fā)現(xiàn)本文該模型較傳統(tǒng)TF*IDF模型的計算結(jié)果明顯優(yōu)，精準率呈平緩下降趨勢，可以很好的解決傳統(tǒng)算法中個性化信息推薦滯后這一問題。在召回率方面隨著詞條量的逐漸增加，最終計算結(jié)果都呈明顯下降趨勢，但是本文提出該模型的結(jié)果始終更高。但是要注意的一點就是需要嚴格控制特征詞條的數(shù)量選擇，假若詞語過多也會一定程度上降低最終結(jié)果的有效性。

4 結(jié)語

總而言之，本文提出基于Web文本挖掘技術的電商網(wǎng)站個性化推薦模型，在實驗中發(fā)現(xiàn)通過挖掘服務器日志、提取特征詞條，并對特征詞條進行聚類分析，最后匹配文檔形成個性化推薦結(jié)果以上過程。在實驗中與TF*IDF相較本文提出的個性化推薦模型，能夠有效解決傳統(tǒng)算法中個性化信息推薦滯后的問題。但是本模型也存在一定不足之處，由于文中劃分電商網(wǎng)頁的3個“域”，所以對模型的計算復雜度進一步加劇，也要增強和解決服務器的日志過濾，都作為后續(xù)要解決的重要問題。