基于用戶意圖識別的查詢推薦研究

羅 成，劉奕群，張 敏，馬少平，茹立云，張 闊

(智能技術與系統(tǒng)國家重點實驗室；清華信息科學與技術國家實驗室(籌)；清華大學 計算機系，北京，100084)

1 引言

過去的20年中，World Wide Web(以下簡稱Web)在全球化范圍內獲得了長足的發(fā)展。Web上的信息以傳統(tǒng)網(wǎng)頁、媒體文件(圖片、音頻、視頻)、社區(qū)論壇、郵件列表、微博和博客等多種形式呈現(xiàn)，從數(shù)量上呈現(xiàn)了爆炸的趨勢。面對如此規(guī)模龐大的Web信息，傳統(tǒng)的檢索方法已經(jīng)無法滿足人們的信息需求，給人們的生活和工作帶來了無法想象的困難。

搜索引擎是指自動從Web上搜集信息，經(jīng)過一定的整理以后，提供給用戶進行查詢的系統(tǒng)[1]。它的出現(xiàn)在一定程度上解決了針對海量信息檢索和瀏覽的問題。在短短的20年里，搜索引擎相關的技術進步顯著，同時極大地改變了人們獲取信息的方式。

現(xiàn)有的用戶和搜索引擎的交互過程一般如下：

? 用戶分析自身的信息需求，概括查詢意圖。

? 用戶進一步試圖用一些關鍵字描述查詢意圖，并提交給搜索引擎。這一過程受限于用戶自身的水平，可能發(fā)生信息丟失。

? 搜索引擎將根據(jù)用戶提交的關鍵詞查找索引，將查找結果按照相關性排序后返回給用戶。

在依賴關鍵詞進行檢索的搜索引擎框架中，經(jīng)常無法返回滿足用戶意圖的相關結果。這一方面是因為Web上的信息量非常巨大，另外一方面是用戶提交的查詢意圖通常非常短，所包含的信息量很少。有研究者對某中文搜索引擎大量的查詢日志進行了統(tǒng)計，發(fā)現(xiàn)長度不超過3個詞的查詢數(shù)量占總查詢數(shù)量的93.15%，平均長度僅為1.85個詞[2]。這就使得搜索引擎很難準確地識別用戶的具體查詢意圖，進而提供讓用戶滿意的結果。如何幫助用戶更準確地描述自己的信息需求，或者幫助搜索引擎更充分地理解用戶的查詢意圖，成為搜索引擎重要且關鍵的技術之一。

在近年來的相關研究中，查詢推薦相關技術成為解決這一問題的有效手段之一。在用戶提交查詢后，搜索引擎除了返回相關結果之外，還返回一個相關查詢列表供用戶選擇，可以幫助用戶更準確、更快捷地描述自己的查詢意圖，增加用戶和搜索引擎再次交互的可能。目前幾乎所有的商用搜索引擎都會在搜索結果頁為用戶提供查詢推薦，并且這一方式也被用戶所認同，據(jù)統(tǒng)計，有15.36%的用戶查詢會話中都包含對查詢推薦結果的點擊[3]。

由此可見，查詢推薦相關的技術的研究，具有重要的研究價值和應用前景，吸引了當前學術界和工業(yè)界的廣泛關注。然而，現(xiàn)有的商業(yè)搜索引擎中，大多從查詢文本本身出發(fā)，對其進行同義改寫和替換，或是選擇和原查詢文本類似的熱門查詢作為推薦，并沒有關注原查詢中潛在的用戶意圖。如果給出的查詢推薦可以更準確地描述用戶意圖，搜索引擎就有可能有針對地調整自己的檢索策略，把質量更高的頁面放在相對靠前的位置。作者從用戶意圖識別的角度，就如何給出更加切合用戶信息需求的查詢推薦進行了一些研究，構建了一個完整的查詢推薦流程。

2 相關研究綜述

查詢推薦方法吸引工業(yè)界和學術界關注已經(jīng)有超過10年的時間，形成了一系列的研究成果，可以將其分為查詢層次和詞項層次的查詢推薦方法。

查詢層次的查詢推薦方法通常將查詢看成一個整體，和其他查詢進行某種意義下的相似性度量，將最相似的結果作為查詢推薦。其優(yōu)點在于綜合考慮了原查詢的全部信息，給出的推薦更加可靠。經(jīng)常用到的方法有查詢流圖(Query-Flow Graph)[4]，二部圖上的隨機漫步(Random Walk)[5]等。Zhang等人提出了一種將查詢流圖上的轉移和文本相關性結合的一種查詢推薦方法[6]。在查詢流圖上作者認為從一個節(jié)點到另外一個節(jié)點的轉移可能以一個固定的比例衰減。兩個查詢間的相似性以所有會話中一個節(jié)點到另外一個節(jié)點的所有道路的權重加和來表示。Mei等人在2008年提出的一種在大規(guī)模的“查詢-鏈接”二部圖上基于Hitting Time進行查詢推薦的方法[7]。Hitting Time可以直觀理解為二部圖上從一個查詢頂點跳轉到另外一個查詢頂點的點擊時間。如果將和用戶查詢相關的個性化信息一起放入二部圖中，還可以做個性化的推薦。查詢層次的方法缺陷是通常要求原查詢和給出的推薦必須在之前的用戶日志中出現(xiàn)過，很難對所有的查詢都給出推薦。

詞項層次的查詢推薦通常把查詢視為一個詞的序列，然后對其中的元素進行替換、改寫或者重組織等操作。經(jīng)常用到的模型有詞項轉移圖[8]、概念模式[9]等。詞項層次的查詢推薦優(yōu)點在于幾乎可以為任何查詢給出推薦。Song等人提出了一種在不同的話題分類下基于詞項轉移圖的查詢推薦方法[8]。作者挖掘了用戶查詢行為中對查詢中的詞項進行修改的行為，在不同的分類話題下建立詞項轉移圖，迭代計算每一個頂點的PageRank值。對于一個給定的查詢，首先對其進行話題分類，根據(jù)其類別標簽在相應的短語圖上計算每一個詞的最佳推薦，經(jīng)過排序和過濾給出最終的推薦查詢。概念模式是將用戶給出的查詢轉換成一個概念模板，所謂概念，可以理解為一個類別。Cao等人提出了一種將查詢概念模式和概念后綴樹結合的內容敏感查詢推薦框架[9]。概念模式樹的每一個節(jié)點是一個概念，葉子節(jié)點對應著一個按照熱門程度排序的后綴短語列表。當用戶提交查詢時，找到和其查詢對應的概念模式，在概念后綴樹上從根節(jié)點出發(fā)，找到葉子節(jié)點上最熱門的詞附在原查詢后作為最終的查詢推薦。詞項層次的方法不足之處在于某一個詞項可能只代表原查詢含義的一部分，添加或者替換的詞項可能和原查詢無關。

從用戶意圖識別的角度出發(fā)，也有一些相關的工作。Liu等人在2011年提出了基于摘要點擊模型進行用戶意圖挖掘的方法[3]，基于摘要點擊信息對商業(yè)搜索引擎給出的查詢推薦進行重新排序，從體現(xiàn)用戶意圖的角度取得了提高。Liu等人的嘗試僅從摘要點擊的角度挖掘優(yōu)化商業(yè)搜索引擎提供的查詢推薦結果，并沒有構建完整的查詢推薦流程。Sadikov 等人提出了一種結合文檔點擊和session共現(xiàn)特征，根據(jù)用戶意圖進行查詢修改行為的聚類方法[10]。這樣的聚類可以側面描述用戶的潛在意圖，但是通常用戶在搜索過程中遇到不滿意的結果大多放棄搜索，因此用戶修改查詢的數(shù)據(jù)相對稀疏，該方法很難對大量的查詢給出查詢推薦。Mei等人利用Hitting Time進行查詢推薦的方法[7]，可以加入用戶的個人信息，在一定程度上可以進行用戶信息需求的細化，也是一種間接的利用用戶意圖進行查詢推薦的技術。

在已有的工作中，研究者大多關注查詢之間的相似程度、利用文本、用戶點擊等特征進行推薦，并沒有充分理解用戶的真實查詢意圖，往往無法給出更加清晰表述信息需求的推薦結果。

論文工作的創(chuàng)新之處在于利用二部圖上隨機漫步方法產(chǎn)生規(guī)模較大的候選集合，結合摘要點擊信息充分地考慮用戶意圖，并采用機器學習方法對其中可能的噪聲進行識別，從而提升查詢推薦的性能，協(xié)助用戶更好地完成信息獲取任務。

3 數(shù)據(jù)集合

3.1 用戶行為數(shù)據(jù)

為了實現(xiàn)對大規(guī)模用戶行為進行分析，給出查詢推薦，我們在某商業(yè)搜索引擎公司的協(xié)助下收集了2012年的部分用戶搜索引擎點擊數(shù)據(jù)，總的規(guī)模為19.39億條，選取的時間跨度在1個月之內。

3.2 測試查詢數(shù)據(jù)構建

測試查詢集合選取NTCIR的INTENT-1 和INTENT-2測試集，合并去重后共包含198個互不相同的查詢。

針對查詢意圖的分類，Broder等人提出了導航類、信息類和事務類的分類標準[11]。我們將本文選取的測試查詢集合和Broder等人抽樣統(tǒng)計的結果進行了比較。

圖1 本文查詢數(shù)據(jù)集合分布

由圖1，我們選取的查詢集合與Broder等人的統(tǒng)計結果趨勢基本一致，其中的比例差異可能是由于中英文用戶使用搜索引擎的習慣差異導致，總體而言，可以認為是實際網(wǎng)絡環(huán)境的可靠近似。

4 查詢推薦候選生成

生成候選的查詢推薦有多種方法。在真實的搜索引擎中，可以從文本特征、語義特征等多個角度生成推薦候選。與基于文本相似度給出的推薦候選相比，語義層面上給出的候選推薦與用戶意圖相關的可能性更大。從語義的角度出發(fā)，結合我們擁有的海量用戶行為記錄，建立查詢流圖[4]或者查詢鏈接二部圖[5]等都是常用的查詢推薦的挖掘技術。這里我們采用二部圖上的隨機漫步方法進行候選查詢的挖掘?；炯僭O是點擊了相同或相似鏈接的查詢具有一定的語義層次相關性。二部圖上的隨機漫步方法可以利用大量的真實的用戶查詢作為候選，為大量查詢高效的生成候選推薦。同時，這樣生成的查詢推薦比較接近用戶的意圖；候選列表按照二部圖上的轉移概率排序，本身具有一定的參考意義；同時得到候選集合的規(guī)模大，之后結合用戶意圖信息進行重排序的空間較大。缺點是隨機漫步方法可能無法為全部的查詢給出推薦，我們可以通過擴大數(shù)據(jù)規(guī)模進行改善；可能帶來一些噪音，但之后的重排序過程、機器學習方法噪音識別過程都可以對噪音進行有效地過濾和篩選，對整個查詢推薦流程的影響不大。

4.1 “查詢-鏈接”二部圖

“查詢-鏈接”二部圖的頂點由兩個互不相交的子集構成，一個子集為查詢集合，包含用戶提交的相關查詢，另外一個集合為鏈接集合，為用戶點擊的所有鏈接。從查詢q到鏈接u這條邊的權重表明在用戶行為數(shù)據(jù)集合中提交查詢q，點擊鏈接u的次數(shù)。

4.2 基于隨機漫步的查詢推薦

基于隨機漫步的查詢推薦過程，需要定義不同的查詢節(jié)點間的轉移概率。然后在“查詢-鏈接”二部圖上進行隨機游走，選取到達概率最大的前若干個查詢作為推薦的查詢返回。

在二部圖G=({V1,V2},E)上，首先定義從頂點i到相鄰的頂點j的轉移概率如式(1)所示。

其中，

其中wi,j為二部圖上有向邊(i,j)的權重；di是所有與頂點i相連的邊的權重加和。

在此基礎上，可以定義一個該二部圖上的一個2步長的隨機漫步過程：

這樣，我們就對查詢間的相似度給出了度量。

4.3 查詢推薦結果與分析

通過“查詢-鏈接”二部圖上隨機漫步的方法，對于198個查詢，我們對其中的176個查詢給出了推薦結果，其中161個查詢的推薦結果數(shù)量多于10個。22個查詢沒有得到查詢推薦結果，主要是這些查詢比較冷門，在“查詢-鏈接”二部圖上沒有相應的聯(lián)通分支，這是二部圖上隨機漫步方法的一個局限。

表1 隨機漫步方法查詢推薦結果示例

分析表中的數(shù)據(jù)可以得出，對于“巨人”和“E話通”這兩個查詢，隨機漫步方法可以給出相關的查詢推薦，并且根據(jù)轉移概率進行排序。但是這種方法給出的查詢推薦也存在一些問題： 1)很多推薦的查詢是對原查詢的簡單重復，比如“E話通”的推薦結果“e話通”，對于用戶細化對查詢意圖的描述沒有太大的幫助；2)查詢的質量不穩(wěn)定，例如，“巨人”查詢推薦“juren”，和“E話通”的查詢推薦“doshow”，都可以認為是一些表達模糊的低質量查詢，隨機漫步方法本身不能判斷這種查詢的質量。

針對上面的問題，一方面可以結合用戶意圖，對推薦列表進行重新排序，讓高質量的推薦排在比較前的位置，從而提升推薦查詢的質量；另外一方面可以利用機器學習的方法，訓練模型，對低質量的推薦結果進行過濾。

5 基于用戶意圖的查詢推薦

在用戶和搜索引擎的單次交互中，搜索引擎很難把握用戶的準確意圖。通過對過去提交相同或者相似查詢的用戶行為進行分析，可以盡可能地接近當前用戶的意圖。搜索結果頁上的摘要是用戶進行相關性判斷的依據(jù)，也隱含著迎合了用戶意圖的信息。

5.1 摘要點擊和用戶意圖的關系

現(xiàn)有的通用搜索引擎，通常接受用戶提供的一個查詢詞序列，返回一系列搜索結果，以標題和摘要作為主要的展現(xiàn)內容。

我們不難看出，在用戶點擊某條結果之前，并不能看到這條結果所鏈接到的頁面的具體內容，只能看到結果的標題、摘要、鏈接地址和時間。

圖2 搜索結果呈現(xiàn)方式示例

Liu等人在相關工作中提出以下兩個假設[3]：

相關性的間接判定假設： 認為搜索引擎用戶在點擊結果之前，標題和摘要是用戶判斷相關性的最主要依據(jù)。

用戶的群體智慧假設： 雖然單個用戶的點擊行為不足以判斷查詢和結果間的相關性，但是大量用戶的點擊行為為相關關系提供了可靠反饋。

在此基礎上我們可以進一步假定，在某個查詢的結果中，被較多用戶點擊的結果，其標題和摘要反映用戶意圖的可能性較大；在同一條結果的標題和摘要中，出現(xiàn)較多的詞對用戶的相關性判定發(fā)揮更重要的作用。將標題和摘要切分成詞，不同的詞在標題和摘要中對用戶的吸引程度不同，可如果可以將其量化成一個權重，就可以對推薦的查詢從滿足用戶意圖的角度進行評價，對候選查詢推薦重新排序。

5.2 摘要中詞權重的計算

結合上述的兩點假定，我們提出了一種利用詞頻和點擊分布計算詞得分的方法，同時考慮到了摘要和標題的重要性差異，假定標題在用戶進行相關性判定時更重要一些。

對于一個查詢Q，摘要中每一個詞t的權重按照式(4)算出：

其中N表示從結果頁上解析出的查詢結果的數(shù)量。TF表示該詞在標題和摘要總的詞頻，CDi表示第i條摘要在用戶行為數(shù)據(jù)中的點擊分布，既考慮到了單個搜索結果中，不同詞的詞頻和權重不同，又考慮到了用戶的點擊偏好。為了解決詞項出現(xiàn)的邊際效應，對詞頻取對數(shù)，這也是文本檢索中的常見的做法。

進一步的，需要考慮用戶在瀏覽搜索結果中，對標題與摘要的信任程度可能不同，對摘要和標題的信息進行區(qū)分和整合：

實驗中經(jīng)過多次嘗試，當λ=1.2時效果較好。

利用上面的產(chǎn)生式，我們?yōu)槊恳粋€查詢都計算出了一個詞權重列表，隨機抽取了50個查詢進行統(tǒng)計，平均每一個查詢得到的有效詞項個數(shù)為47.2個。

5.3 利用詞權重列表進行重排序

得到詞權重列表以后，我們可以對隨機漫步方法給出的查詢推薦列表進行重新排序。

對于一個查詢Q，可以得到一個與其相關的詞權重列表D，對于一個查詢推薦QR，我們可以計算其得分，這里采用了線性加和的方法：

即查詢推薦QR的得分等于所有在QR中出現(xiàn)且不在Q中出現(xiàn)的詞權重之和，得分越高，意味著QR包含了越多權重不為0的詞，或者包含了權重越高的詞。按照查詢推薦命中的詞項得分進行重排序。

在表2的結果示例中，存在一些噪聲，例如，查詢“坐上火車去拉薩”中的“傷感唯美歌曲”、“拉薩歌曲”、“坐上火車+去拉薩歌曲”，和查詢“貔貅”中的“開光方法”、“開光”、“pixiujiage”和“淘寶網(wǎng)”等。出現(xiàn)這種噪聲的可能是：

1. 用戶的點擊較為稀疏，計算出的詞項得分偶然性較大；

2. 查詢?yōu)槠匆艋蜴溄?，可讀性較差，并不能描述用戶的信息需求；

表2 基于用戶意圖重排序推薦結果示例

3. 查詢中包含錯別字，不能很好的獲得結果。

綜合以上，如果可以采用機器學習的方法對候選列表進行過濾和篩選，可以進一步提高其質量。

6 基于分類的查詢推薦過濾算法

對于一個給定的查詢，利用“查詢-鏈接”二部圖上的隨機漫步方法挖掘出的查詢推薦中，很有可能包含一些低質量的結果，利用摘要點擊信息依然無法對查詢的質量進行甄別。如果可以構建一個分類器，對查詢推薦的質量進行分類，結合前面的候選查詢生成算法，就可以自動生成查詢推薦。

6.1 特征抽取

對于樣本中的每一個查詢，我們抽取了10個特征：

特征1： 提交過該查詢的獨立用戶數(shù)；

特征2： 查詢結果中，被用戶點擊過的獨立目標地址數(shù)；

特征3： 總共被查詢的次數(shù)；

特征4： 推薦查詢對原查詢的覆蓋率，即原查詢中的字符在推薦查詢中出現(xiàn)的比例；

特征5： 推薦查詢和原查詢的長度比值；

特征6： 推薦查詢比原查詢多出字母數(shù)；

特征7： 推薦查詢比原查詢多出數(shù)字數(shù)；

特征8： 推薦查詢相當于原查詢的轉移概率；

特征9： 推薦查詢命中的原查詢摘要詞項數(shù)目；

特征10： 推薦查詢基于原查詢的摘要詞權重表的得分。

上面提取的10個特征來源于三點考慮：

? 推薦查詢相關的真實用戶行為(特征1、特征2和特征3)： 針對推薦候選中的一些冷門查詢、包含錯別字的查詢等。

? 推薦查詢于原查詢的文本特征(特征4、特征5、特征6、特征7和特征8)： 針對候選推薦中的超鏈接、長串數(shù)字等不可讀的情況，以及和原查詢文本無關等情況。

? 推薦查詢在原查詢的摘要詞權重表上的表現(xiàn)(特征9和特征10)： 針對查詢對用戶意圖的滿足情況。

實際構建數(shù)據(jù)集合時，設計了一些對照實驗，具體如下：

? 不使用摘要詞特征的數(shù)據(jù)集，即在上面的10個特征中，只使用特征1～特征8，不包含特征9和特征10，這樣的設計是想考察有摘要詞特征和無摘要特征帶來的性能差異；

? 使用摘要詞權重表中的前k條結果，這樣設計的考慮主要是，一些查詢的摘要詞權重表可能非常的長，得分越低的詞說明其出現(xiàn)頻度越少，和查詢詞之間的相關度越低，設置這一組實驗可以分析出大概用多少特征是合適的。

綜合以上，我們總共構造了下面17個數(shù)據(jù)集：

? 不使用摘要詞特征；

? 使用摘要詞特征，其中k=1,2,3,4,5,6,7,8,9,10,20,30,40,50,100和使用所有的摘要詞權重。

6.2 利用支持向量機構建分類器

支持向量機(Support Vector Machine)[12]是一種廣泛使用的監(jiān)督式的學習方法，廣泛應用于解決小樣本、非線性和高維模式識別問題。論文工作中選取支持向量機構建分類器。

7 實驗

7.1 基于用戶意圖的查詢推薦

評價指標借鑒了信息檢索相關的評價指標中MAP(Mean Average Precison)和NDCG(Normalized Discounted Cumulative Gain)[13]兩項指標。

MAP的計算公式如式(6)所示：

NDCG的計算公式如式(7)所示：

隨機選取了176個查詢中的50個，對其重排序前后的前10條結果和某商業(yè)搜索引擎結果頁上呈現(xiàn)的查詢推薦采用Pooling[14]方法進行三級手工標注，將標注為“2”的視為“好的查詢標注”，將標注為“1”和“0”的視為“不好的查詢標注”。在上述兩個指標上進行評價，結果如圖3所示。

圖3 查詢推薦結果比較

可以看到，加入摘要點擊特征挖掘用戶行為進行重排序后，在隨機漫步結果與搜索引擎呈現(xiàn)結果兩組數(shù)據(jù)上都取得了不同程度的提高。在某商業(yè)搜索引擎呈現(xiàn)的查詢推薦數(shù)據(jù)上提高有限，主要是搜索引擎呈現(xiàn)數(shù)據(jù)只有9個結果，重排序的提升空間不大。

另外，我們對某搜索引擎2012年1月至3月中用戶點擊查詢推薦的情況進行了統(tǒng)計，并與隨機漫步和重排序后的結果列表進行了匹配，選取了匹配率50%及以上，單個查詢匹配點擊數(shù)20以上的62個查詢，共涵蓋用戶點擊54 424次。經(jīng)過統(tǒng)計，用戶在不同排序位置上的平均點擊分布如圖4所示。

圖4 優(yōu)化前后用戶點擊分布的比較

由上圖可以看出，經(jīng)過重排序后的列表，用戶點擊的分布更加集中在整個列表靠前的位置。這說明利用摘要點擊的信息可以有效地挖掘用戶的潛在意圖。

7.2 基于分類的查詢推薦過濾

實驗中選取了198個查詢中的70個查詢，將他們的候選推薦作為樣例。如果某一個查詢的候選推薦超過30個，只取前30個作為樣例，總共獲得 2 030個樣例。

對于其中的每一個查詢推薦，采取和之前一致的Pooling方法進行手工三級標注。最終得到兩種樣例的比例為1 107∶923，基本平衡。

支持向量機選取臺灣大學林智仁(Lin Chih-Jen)開發(fā)的LIBSVM[15]。

在交叉驗證比為3的前提下，不加摘要點擊特征得到的分類結果為Precision 0.789，Recall 0.686，F(xiàn)-Measure 0.640。在同樣的實驗設置下，加入點擊特征后分類的結果如圖5所示。

圖5 加入點擊特征前后分類性能比較

對比結果我們可以看到，加入摘要點擊特征后，分類器的性能在Recall和F-Measure上獲得較顯著的提升，分析具體結果，主要原因是對于負例(不好的推薦查詢)分類Recall提升明顯。

在加入摘要點擊特征后，在k =9時分類器Precision最好，之后受到影響，這主要是因為摘要此權重表中越靠后的詞可靠性越差，k=50之后分類器Precision獲得了一定的提升，這主要是因為權重詞表中靠后的詞權重值非常小，此時對特征9的影響比較小，反而對特征10的影響顯著，對分類器的性能造成了較大的影響。

8 結論

論文工作采用大規(guī)模“查詢-鏈接”二部圖上隨機漫步的方法生成了查詢推薦候選列表。在此基礎上充分考慮用戶的查詢意圖，結合用戶點擊摘要的信息，為每一個查詢構建一個詞項得分表，以此為依據(jù)進行候選列表重排序。實驗證明該方法可以從迎合用戶意圖的角度提供更高質量的查詢推薦。針對推薦列表中的噪聲，進一步從用戶行為、文本特征和用戶意圖三個角度提取特征，利用支持向量機構造分類器，對噪聲進行識別和過濾，精度較高。從查詢推薦候選生成、根據(jù)用戶意圖進行優(yōu)化到利用分類器進行噪聲識別，形成了一個完整的查詢推薦流程。

回顧整個流程中的一些不足之處，還有很多進一步工作可以繼續(xù)。

首先，可以考慮到結果頁位置的偏執(zhí)，采用點擊模型(Click Model)優(yōu)化用戶意圖識別過程。

其次，可以采取一些規(guī)則，對二部圖上隨機漫步得到的集合進行篩選和過濾，得到質量更高的候選集合。

最后，可以利用網(wǎng)絡百科等知識，對查詢推薦進行多樣化處理，使得查詢推薦覆蓋盡量多的相關子話題。

[1] 維基百科.Web search engine[EB/OL]. [2012年6月5日]. http://en.wikipedia.org/wiki/Web_search_engine.

[2] 余慧佳, 劉奕群, 張敏, 等. 基于大規(guī)模日志分析的網(wǎng)絡搜索引擎用戶行為研究[C].第三屆學生計算語言學研討會, 中國遼寧沈陽, 2006.

[3] Liu Y, Miao J, Zhang M, et al. How do users describe their information need: Query recommendation based on snippet click model. Expert Systems with Applications, 2011,38(11):13847-13856.

[4] Boldi P, Bonchi F, Castillo C, et al. The query-flow graph: model and applications[C]//Proceedings of CIKM ’08, New York, NY, USA, 2008.

[5] Craswell N, Szummer M. Random walks on the click graph[C]//Proceedings of SIGIR ’07, New York, NY, USA, 2007.

[6] Zhang Z, Nasraoui O. Mining search engine query logs for social filtering-based query recommendation[J]. Applied Soft Computing, 2008,8(4):1326-1334.

[7] Mei Q, Zhou D, Church K. Query suggestion using hitting time[C]//Proceedings of CIKM ’08, New York, NY, USA, 2008.

[8] Song Y, Zhou D, He L. Query suggestion by constructing term-transition graphs[C]//Proceedings of WSDM ’12, New York, NY, USA, 2012.

[9] Cao H, Jiang D, Pei J, et al. Context-aware query suggestion by mining click-through and session data[C]//Proceedings of KDD ’08, New York, NY, USA, 2008.

[10] Sadikov E, Madhavan J, Wang L, et al. Clustering query refinements by user intent[C]//Proceedings of the 19th international conference on World wide web. ACM, 2010: 841-850.

[11] Broder A. A taxonomy of web search[C], 2002.

[12] Boser B E, Guyon I M, Vapnik V N. A training algorithm for optimal margin classifiers[C]//Proceedings of COLT ’92, New York, NY, USA, 1992.

[13] Rvelin K J A, Kek A L A， Inen J. Cumulated gain-based evaluation of IR techniques[J]. ACM Transactions on Information Systems (TOIS), 2002,20(4):422-446.

[14] Jones K S, van Rijsbergen C J. Information retrieval test collections[J]. Journal of documentation, 1976,32(1):59-75.

[15] Chang C C, Lin C J. LIBSVM: a library for support vector machines[J]. ACM Transactions on Intelligent Systems and Technology (TIST), 2011,2(3):27.