(山東科技大學(xué) 信息科學(xué)與工程學(xué)院,山東 青島 266590)?基于網(wǎng)絡(luò)日志的用戶查詢推薦王靜> (山東科技大學(xué)信息科學(xué)與工程學(xué)院,"/>
王靜>(山東科技大學(xué) 信息科學(xué)與工程學(xué)院,山東 青島 266590)
?
基于網(wǎng)絡(luò)日志的用戶查詢推薦
王靜>
(山東科技大學(xué)信息科學(xué)與工程學(xué)院,山東青島266590)
隨著Internet的迅速發(fā)展,人們面對信息爆炸的現(xiàn)實。因此,需要根據(jù)用戶的查詢意圖進行推薦。基于此,提出一種計算查詢詞相似度的方法,利用K-means對查詢詞進行聚類并計算聚類簇中心,當(dāng)用戶輸入查詢詞后計算該查詢詞與每個聚類簇中心的相似度并降序排列,選取相似度最大的兩個聚類簇對其進行查詢推薦。
查詢意圖;K-means聚類;查詢?nèi)罩荆徊樵兺扑]
Internet的迅速發(fā)展使得人們從未像現(xiàn)如今一樣能夠輕易獲取數(shù)量如此龐大的信息,一方面數(shù)量豐富的信息極大地滿足了人們對知識的渴望,另一方面海量涌現(xiàn)的信息使人們無法直接得到自己真正感興趣的信息[1]。對于普通用戶來說,Internet上的“信息迷航”和“信息過載”已經(jīng)成為日益嚴(yán)重的問題。用戶興趣建模正是在這樣的背景下產(chǎn)生的。
用戶興趣建模的關(guān)鍵是分析用戶在互聯(lián)網(wǎng)上訪問數(shù)據(jù)的歷史信息及行為信息,因為該信息隱藏了用戶的目的與興趣。根據(jù)用戶興趣模型,為其提供個性化、針對性的信息服務(wù)。而如何得到用戶在互聯(lián)網(wǎng)上訪問數(shù)據(jù)的相關(guān)信息也是至關(guān)重要的。
查詢?nèi)罩臼谴罅坑脩糸L期使用搜索引擎產(chǎn)生的用戶行為數(shù)據(jù),在很多研究方向上都有著重要價值。為改善搜索引擎性能,可以在信息檢索過程中進行查詢擴展、查詢推薦等;為加強自然語言理解,可以進行命名實體識別、文本分類等;也可以根據(jù)日志數(shù)據(jù)建立用戶興趣模型,進行個性化服務(wù)等。
近年來,許多研究工作開始使用查詢?nèi)罩局械腸lickthrough data來挖掘查詢之間的語義相關(guān)關(guān)系。例如,段建勇等人[2]提取基于查詢詞的QueryRank算法對網(wǎng)絡(luò)日志的用戶進行興趣建模,缺點是對網(wǎng)絡(luò)日志的處理仍采用傳統(tǒng)的文本處理的方法不具有針對性;Beeferman等人通過對query-URL二部圖上使用凝聚聚類算法來發(fā)現(xiàn)相關(guān)查詢;Wen等人同時考慮使用click-through data和查詢文檔的內(nèi)容信息來確定相似查詢,缺點是工作量比較大且不具有通用性。
在當(dāng)今的搜索引擎中,關(guān)于查詢者和搜索引擎之間的交互關(guān)系會被記錄下來,從而形成了用戶查詢?nèi)罩?。盡管搜索引擎各不相同,但完整的用戶查詢?nèi)罩局辽侔?個方面的信息:用戶標(biāo)識、該查詢提交的時間、用戶輸入的查詢詞、該查詢返回的結(jié)果以及用戶的點擊行為。本文使用搜狗實驗室提供的用戶查詢?nèi)罩?,每條記錄的內(nèi)容如表1所示。
表1 查詢?nèi)罩镜挠涗泝?nèi)容
式(1)中,n(q,lj)表示針對查詢詞q點擊lj的次數(shù)。
根據(jù)該向量形式,定義相似度函數(shù),這里使用余弦相似度,如式(2)所示。
制定基于相似度的相異度(準(zhǔn)則函數(shù)值)計算公式,利用該公式將相似度較高的查詢詞歸到某一個聚類簇中,相異度計算公式如式(3)所示。
式(3)中,sim(q,ci)是聚類簇ci中的任意一個查詢詞q與聚類簇中心ci的相似度。
每次聚類之后聚類簇中心的計算如式(4)所示。
式(4)中,nci是聚類簇ci中包含的query總個數(shù)。
當(dāng)兩次準(zhǔn)則函數(shù)值的差值不超過0.01時,即達到我們的聚類結(jié)果,使用詞頻方法提取每個聚類簇的特征查詢詞,如式(5)所示。
式(5)中,nqi是查詢詞qi在聚類簇ci中出現(xiàn)的總次數(shù),nci是聚類簇ci中所有查詢詞的總個數(shù)。
當(dāng)用戶輸入查詢詞后,計算該查詢詞與每個聚類簇中心ci的相似度如式(6)所示。
根據(jù)相似度大小進行降序排列,選取排在最前面的兩個聚類簇中的查詢詞,實現(xiàn)用戶查詢推薦。
由已有研究可知,在一段時間內(nèi)用戶的興趣是比較穩(wěn)定的,因此可以利用前面建好的查詢詞推薦模型對用戶進行推薦。例如,當(dāng)用戶輸入“數(shù)碼科技”時,計算出與其相似度較高的兩個聚類簇分別是“數(shù)碼家電”和“科技信息”,推薦的序列對比如表2所示。
表2 關(guān)于“數(shù)碼家電”和“科技信息”的查詢推薦序列
為了測試該方法的準(zhǔn)確性,從這150個聚類簇中隨機選取30個,由3位專業(yè)人員對這30個聚類簇中排在前N(這里N取200)的查詢詞進行投票選取,計算其準(zhǔn)確率和召回率,結(jié)果如表3所示。
表3 準(zhǔn)確率和召回率
由表3的結(jié)果可知,該方法提出的查詢推薦模型是可行的,并且推薦效果良好。
本文通過對搜索引擎查詢?nèi)罩镜慕Y(jié)構(gòu)進行分析,挖掘該結(jié)構(gòu)下查詢詞之間的關(guān)系,根據(jù)該關(guān)系對查詢詞進行聚類并提取每個聚類簇的特征詞。針對用戶輸入的查詢詞,利用本文的查詢推薦模型對其進行推薦,更好地服務(wù)于用戶。由于網(wǎng)絡(luò)日志的數(shù)量龐大,所以在未來的工作中需要對聚類算法進行改進,提高聚類的效果和速度。
[1]呂新波,關(guān)毅.基于聚類的隱式用戶興趣建模[J].智能計算機與應(yīng)用,2013(1):17-20.
[2]段建勇,魏曉亮,張梅,等.基于網(wǎng)絡(luò)日志的用戶興趣模型構(gòu)建[J].情報科學(xué),2013(9):78-82.
User Query Recommendation Based on Web Log
Wang Jing
(College of Information Science and Engineering,Shandong University of Science and Technology,Shandong Qingdao 266590)
With the rapid development of Internet,people are facing the reality of information explosion. Therefore,we need to recommend according to the user's query intention.Based on this,a computation methods of query similarity was introduced,which used k-means to query clustering and calculate the clustering center,then calculated the similarity between query and each cluster center when the user input query and ranked in descending order,then selected the queries of the maximum similarity of two clusters to recommendation.
query intention;K-means cluster;query log;query recommendation
TP3
A
1003-5168(2016)04-0050-02
2016-03-23
王靜(1991-),女,碩士,研究方向:人工智能。