信息類、導(dǎo)航類與事務(wù)類查詢個性化潛力的對比析究*

張曉娟

（西南大學(xué)計算機(jī)與信息科學(xué)學(xué)院，重慶 400715）

信息類、導(dǎo)航類與事務(wù)類查詢個性化潛力的對比析究*

張曉娟

（西南大學(xué)計算機(jī)與信息科學(xué)學(xué)院，重慶 400715）

首先分別利用顯式與隱式評測指標(biāo)分析信息類、導(dǎo)航類與事務(wù)類查詢的個性化潛力，然后通過對基于人工評測的顯式指標(biāo)與基于用戶點擊行為的隱式指標(biāo)間的相關(guān)性分析，來驗證各隱式指標(biāo)的有效性。在此基礎(chǔ)上，本文針對不同查詢意圖，分析各特征表征個性化潛力的有效性。最后，根據(jù)實驗結(jié)果對搜索引擎性能優(yōu)化提供相關(guān)建議。

信息類查詢；導(dǎo)航類查詢；事務(wù)類查詢；個性化潛力

1 引言

自Broder按照用戶意圖（或用戶任務(wù)）將查詢劃分為信息類、導(dǎo)航類與事務(wù)類三大類別[1]，學(xué)界對如何選取分類特征實現(xiàn)三大查詢類別間的有效區(qū)分進(jìn)行大量研究[2-4]。對查詢進(jìn)行分類的最終目的是使搜索引擎根據(jù)不同類別查詢特征返回不同檢索結(jié)果；而如何對歸類后查詢的特征進(jìn)行分析，并根據(jù)其特征為搜索引擎性能優(yōu)化提供相關(guān)依據(jù)是重要研究方向。

由于網(wǎng)絡(luò)用戶對搜索引擎的返回結(jié)果呈現(xiàn)個性化需求趨勢，基于訪問大眾性的檢索排序方法已不能滿足用戶的信息需求[5]。為更大程度地提高用戶滿意度，搜索引擎嘗試根據(jù)用戶個人背景與興趣愛好提供個性化檢索服務(wù)。但當(dāng)前搜索引擎的個性化檢索建模是對所有檢索詞采用相同的檢索技術(shù)，未考慮某些查詢是否適合個性化檢索。Dou等研究發(fā)現(xiàn)，個性化檢索技術(shù)并非適合所有查詢，某些查詢采用個性化檢索技術(shù)反而會降低檢索結(jié)果的用戶滿意度[6]。如查詢“百度”，用戶更多關(guān)注百度網(wǎng)站主頁，此類查詢適合采用基于大眾訪問的排序方法；查詢“蘋果”，不同用戶對該查詢結(jié)果感興趣的內(nèi)容存在差異，包括“蘋果沙拉”“蘋果手機(jī)6s”“蘋果電腦”等不同方面，此類查詢適合采用個性化的排序方法。Dou等將用戶在查詢中表現(xiàn)的個性化差異稱為查詢的個性化潛力，該差異值表明用戶查詢從個性化中獲益的程度[6]，一般情況下，該差異值越大，查詢越適合個性化檢索排序算法。

在信息檢索中，用戶任務(wù)類別是很重要的情景因素，直接影響用戶獲取信息的途徑以及想要獲取信息的類型。對不同任務(wù)類別查詢的個性潛力進(jìn)行比較分析，有助于搜索引擎判斷用戶在不同任務(wù)情景中的個性化潛力情況，并以此作為優(yōu)化搜索引擎性能的重要依據(jù)，為搜索算法的改進(jìn)和檢索性能測評提供方向。本文嘗試對信息類、導(dǎo)航類和事務(wù)類查詢的個性化潛力進(jìn)行對比分析，并探討三類個性化潛力特征的異同。

2 相關(guān)研究現(xiàn)狀

2.1 查詢意圖相關(guān)研究

Broder依據(jù)用戶查詢過程中可能包含的潛在意圖（或任務(wù)）將查詢分為信息類、導(dǎo)航類和事務(wù)類[1]。信息類查詢指用戶提交此類查詢時想獲得某主題的相關(guān)信息，其信息需求既可以是精確的又可以是模糊的，如查詢“如何網(wǎng)上購物”；導(dǎo)航類查詢指用戶提交此類查詢時想查找特定網(wǎng)站，該網(wǎng)站可以是個人網(wǎng)站也可以是組織網(wǎng)站等，如查詢“武漢大學(xué)主頁”；事務(wù)類查詢指用戶提交此類查詢時想獲取資源或網(wǎng)絡(luò)服務(wù)。在Broder研究基礎(chǔ)上，此領(lǐng)域的主流研究是探討如何選取有效分類特征對三大意圖類別查詢進(jìn)行自動分類[2-4]。

還有學(xué)者嘗試對信息類、導(dǎo)航類和事務(wù)類查詢進(jìn)行比較分析，以此提出各類查詢所適合的檢索模型。如Craswell等通過實證研究發(fā)現(xiàn)導(dǎo)航類查詢更適合基于鏈接排序的檢索模型[7]；Li等研究發(fā)現(xiàn)識別具有事務(wù)意圖的網(wǎng)頁，有利于改善事務(wù)類查詢的檢索結(jié)果[8]；Fujii研究發(fā)現(xiàn)信息類查詢適合基于內(nèi)容的檢索方法，而導(dǎo)航類查詢適合于基于錨文本的檢索方法[9]。

2.2 查詢個性化潛力的相關(guān)研究

Dou等提出“查詢個性化潛力”概念后，如何采用相關(guān)方法來對其進(jìn)行衡量成為熱點研究問題[6]。宋超采用Kappa一致性檢驗衡量查詢詞的個性化潛力，并對查詢詞的個性化潛力分布進(jìn)行分析，結(jié)果表明，大多數(shù)查詢詞的個性化潛力較大[5]；Chen等探討自動分類方法與回歸方法哪種更適合查詢詞的個性化潛力識別研究，結(jié)果表明自動分類方法優(yōu)于回歸方法[10]；陳晨等利用Wikipedia挖掘查詢中的語言學(xué)特征，以此預(yù)測查詢的個性化潛力，降低查詢?nèi)罩緮?shù)據(jù)稀疏帶來的影響[11]；Teevan等提出基于人工評測的顯式指標(biāo)與基于用戶點擊的隱式指標(biāo)，并通過對二者的相關(guān)性分析，探討隱式指標(biāo)的有效性[12]；Liu等提出應(yīng)針對不同用戶任務(wù)構(gòu)建不同的個性化檢索模型[13]；Li等基于中英文查詢?nèi)罩緮?shù)據(jù)集，將用戶重復(fù)提交的查詢分為共同查詢（不同用戶提交同一查詢后點擊相同的URL）與個體查詢（不同用戶提交同一查詢后點擊不同的URL），再計算各類查詢的個性化潛力，結(jié)果表明個體查詢更能從個性化排序算法中獲益[14]。

大多數(shù)情況下，語義模糊（或歧義）查詢更能從個性化中獲益[15]，故查詢模糊性（或歧義性）識別是個性化潛力識別的另一相關(guān)研究。Song等在探討查詢模糊性時，將查詢分為模糊查詢、寬泛查詢以及清晰查詢?nèi)悾以谌斯?biāo)注的250個查詢基礎(chǔ)上，通過采用不同計算方法來衡量查詢文檔間的相似度來獲取相關(guān)分類特征，采用監(jiān)督式學(xué)習(xí)方法實現(xiàn)查詢模糊類與非模糊類（包含寬泛查詢與清晰查詢）的區(qū)分[15-16]；Wang等提出基于點擊熵的相關(guān)特征，分別利用樸素貝葉斯、邏輯回歸支持向量機(jī)模型來訓(xùn)練分類模型識別模糊性查詢[17]；Sanderson等探討Wikipedia與WordNet中模糊性查詢詞的特征，結(jié)果發(fā)現(xiàn)就非模糊性查詢詞而言，Wikipedia中的模糊性查詢包含較多參照網(wǎng)頁，而WordNet中的模糊查詢包含更多的釋義[18]；Luo等提出從查詢表達(dá)式、用戶點擊行為和查詢會話中選取相關(guān)特征，利用SVM分類器訓(xùn)練分類模型來識別模糊性查詢[19]。綜合已有研究可知，目前沒有對信息類、導(dǎo)航類與事務(wù)類查詢的個性化潛力進(jìn)行對比分析的相關(guān)研究。

3 查詢個性化潛力指標(biāo)的操作方法

本文采用兩種方法衡量查詢個性化潛力[12]：顯式評測方法，讓用戶根據(jù)其信息需求來對檢索結(jié)果的相關(guān)性進(jìn)行人工評判；隱式評測方法，即從查詢?nèi)罩局凶詣邮占c用戶興趣相關(guān)的點擊信息，并將其視為用戶對查詢結(jié)果的相關(guān)性評測依據(jù)。

3.1 顯式評測方法

（1）基于人工評測的Potential@N指標(biāo)。Potential@N指標(biāo)的主要思想：首先讓一組人數(shù)為N的評測組對某查詢返回結(jié)果的相關(guān)性進(jìn)行評測，然后利用NDCG指標(biāo)衡量每位評測者的評測結(jié)果，最后計算個體評測者最佳排序的NDCG值與團(tuán)體評測者最佳排序的NDCG值的差值，該差值即Potential@N[12]。NDCG值計算方法參見公式（1）和公式（2）所示。在公式（1）中，i表示文檔在實際結(jié)果集中的排序，G（i）表示評測者對在結(jié)果集中排序為i的文檔給予的相關(guān)性分?jǐn)?shù)，G（i）取值可為2（高度相關(guān)）、1（相關(guān)）與0（不相關(guān)）。1/log（i）表示懲罰因子，如排i=2時，其懲罰因子為1；排序為1 024時，其懲罰因子為1/10。公式（2）中，IDCG（Ideal DCG）表示理想的DCG，即檢索結(jié)果均按照相關(guān)性從高到低進(jìn)行排列，說明該系統(tǒng)取得最優(yōu)排序結(jié)果，并獲得最大DCG值。

（2）基于人工評測的Kappa一致性指標(biāo)。本文采用Fleiss等提出的Kappa指標(biāo)，用于衡量固定個數(shù)評測者間評測結(jié)果一致性[20]，計算方法參見公式（3）。其中，P（O）表示評測者間實際評測結(jié)果的一致性概率，而P（C）表示評測者間評測結(jié)果被期望的一致性概率。k的取值為[-1，1]，1表示二者判斷結(jié)果完全一致，0表示二者判斷結(jié)果是偶然性造成的，-1表示二者判斷結(jié)果完全不一致。Kappa值越大，說明用戶對搜索引擎返回結(jié)果的評價一致程度較高，即用戶在該查詢上的興趣差異較小，查詢的個性化潛力越??；反之，該值越小，查詢的個性化潛力越大。

3.2 隱式評測方法

用戶點擊行為在一定程度上能間接反應(yīng)用戶興趣差異[21]，學(xué)者也提出了基于用戶點擊信用的個性化潛力評測指標(biāo)，此類指標(biāo)被稱為隱式評測指標(biāo)。

（1）Dice指標(biāo)。主要表示兩個集合的重復(fù)情況，計算方法參見公式（4）。其中，URL1表示用戶1的URL點擊集合，URL2表示用戶2的URL點擊集合，URLinte表示兩用戶點擊集合的交集。該公式主要用于衡量兩個用戶對同一查詢結(jié)果的點擊一致性。當(dāng)判斷多個用戶的點擊結(jié)果一致性時，需分別計算任意兩用戶間的Q值，再對其進(jìn)行平均，計算方法參見公式（5）。其中，值越大，表明用戶間興趣一致性越高，該查詢的個性化潛力越小。

（2）點擊熵。本文采用點擊熵來衡量查詢的個性化潛力，計算方法參見公式（6）。其中，P（q）表示用戶提交查詢q后所點擊的文檔集合，P（p｜q）表示用戶提交查詢p后點擊文檔q的概率。某查詢的整體點擊熵值越大，表明該查詢的個性化潛力越大；反之，該查詢的個性化潛力越小。

（3）基于用戶點擊的Potential@N指標(biāo)。用戶點擊行為是對查詢結(jié)果進(jìn)行相關(guān)性評判的過程，鑒于此，本文利用基于點擊行為的Potentail@N（N=10）指標(biāo)計算步驟為：①從查詢?nèi)罩局蝎@得某查詢1天內(nèi)（該查詢當(dāng)天至少被10個用戶提交）點擊量排序前20的網(wǎng)頁，若在查詢?nèi)罩局腥笔撑判蛭恢蒙系腢RL，則認(rèn)為該排序位置上的URL與信息需求無關(guān)；②若用戶點擊某文檔，認(rèn)為該文檔與用戶信息需求相關(guān)，相關(guān)性評分為“1”，反之，則認(rèn)為該文檔與用戶信息需求無關(guān)，相關(guān)性評分為“0”；③利用個人評測結(jié)果最優(yōu)NDCG值與團(tuán)體評測最優(yōu)NDCG值的差值獲得該查詢的Potential@10值。

4 實驗數(shù)據(jù)

本文首先在查詢?nèi)罩緮?shù)據(jù)中選取樣本查詢，再利用樣本查詢獲得能對查詢個性化潛力進(jìn)行顯式與隱式評測的實驗數(shù)據(jù)。

4.1 查詢?nèi)罩緮?shù)據(jù)集

數(shù)據(jù)集采用Sogou實驗室于2008年6月發(fā)布的查詢?nèi)罩緮?shù)據(jù)[22-23]，其數(shù)據(jù)格式如圖1所示。從左到右代表的含義分別為用戶訪問時間、用戶ID、查詢、該URL在返回結(jié)果中的排名、用戶點擊的順序號，以及用戶點擊的URL。

圖1 Sogou查詢?nèi)罩緮?shù)據(jù)格式樣例

受人力及時間限制，本文無法對查詢?nèi)罩緮?shù)據(jù)進(jìn)行逐項分析，故首先利用泊松抽樣方法[24]從Sogou日志數(shù)據(jù)集中抽取3 000個查詢。這些查詢滿足兩個條件：（1）在查詢?nèi)罩局谐霈F(xiàn)頻次不少于2 000；（2）將每個查詢每天所點擊的URL集合求交集，交集中元素個數(shù)不少于15，將交集中的URL稱為“共有URL”。其次，要求3位標(biāo)注者對3 000個查詢應(yīng)屬類別（信息類、導(dǎo)航類與事務(wù)類）進(jìn)行人工標(biāo)注?？紤]到一個查詢可能屬于多種類別，因此，要求標(biāo)注者標(biāo)記出查詢在大多數(shù)情況下應(yīng)該屬于的類別。在標(biāo)注過程中，若某查詢的用戶意圖類別難以判斷，則由三位標(biāo)注者共同商討決定。經(jīng)過人工標(biāo)注，分別獲得305個導(dǎo)航類查詢，752個事務(wù)類查詢和1 943個信息類查詢。最后，通過隨機(jī)抽樣方法分別從每種查詢類別中隨機(jī)抽取100個樣本查詢用于實驗分析。

4.2 人工評測與隱式評測數(shù)據(jù)集

由于用戶的學(xué)科知識背景可能造成其對檢索結(jié)果存在不同偏好，因此本文選取來自化學(xué)、生物、計算機(jī)、圖書情報、法學(xué)以及英語專業(yè)的30名學(xué)生作為評測者（每個專業(yè)各5名）分析不同意圖類別查詢所表現(xiàn)的個性化潛力差異，首先將300個樣本查詢分別提交至Sogou搜索引擎，記錄每次查詢返回的排名前20查詢結(jié)果的網(wǎng)頁標(biāo)題、結(jié)果片段以及URL信息。然后，讓評測者為每次查詢的前20個結(jié)果進(jìn)行相關(guān)性評測打分。其中，相關(guān)性分?jǐn)?shù)可為2（高度相關(guān)）、1（相關(guān)）和0（不相關(guān)）。為使得用戶的評測結(jié)果不受Sogou返回結(jié)果排序的影響，將每次查詢前20個查詢結(jié)果以隨機(jī)順序呈現(xiàn)給評測者。

本文在搜集隱式評測數(shù)據(jù)集時，為探討不同用戶對同一查詢結(jié)果的信息需求差異性，將300個樣本查詢分別從查詢?nèi)罩局蝎@取其點擊信息與用戶信息。顯式與隱式評測數(shù)據(jù)如表1所示。

表1 顯式評測與隱式評測方法中的查詢數(shù)、用戶數(shù)以及相關(guān)性評測指標(biāo)

5 實驗結(jié)果分析

5.1 信息類、導(dǎo)航類與事務(wù)類的個性化潛力分析

首先，比較信息類、導(dǎo)航類與事務(wù)類查詢不同個性化潛力指標(biāo)的平均值（見表2）。在隱式評測指標(biāo)和顯式評測指標(biāo)中（除Kappa值外），信息類查詢的個性化潛力均大于導(dǎo)航類和事務(wù)類兩類查詢，即用戶提交信息類查詢時，更期望獲得個性化的檢索結(jié)果。主要因為用戶提交導(dǎo)航類或者事務(wù)類查詢時，用戶意圖比較單一。如用戶提交導(dǎo)航類查詢時，用戶一般想去訪問網(wǎng)站主頁；用戶提交事務(wù)查詢時，用戶一般想去從事某事務(wù)類查詢，如下載、注冊等；而用戶在提交信息類查詢時，想獲得某個主題所有相關(guān)信息，故不同用戶檢索需求不同，個體興趣差異較大。

為進(jìn)一步探討信息類、導(dǎo)航類與事務(wù)類查詢個性化潛力的差異性，本文采用兩個獨立樣本進(jìn)行t檢驗分析（見表3）。信息類與導(dǎo)航類查詢的個性化潛力在顯式和隱式指標(biāo)中均存在顯著性差異；導(dǎo)航類查詢與事務(wù)類查詢無顯著性差異；事務(wù)類查詢與信息類查詢在顯式指標(biāo)中存在顯著性差異，在隱式指標(biāo)Potential@10中存在顯著性差異。

表2 信息類、導(dǎo)航類與事務(wù)類查詢在不同指標(biāo)下的平均值

表3 信息類、導(dǎo)航類與事務(wù)類查詢的個性化潛力差異性

5.2 顯式評測與隱式評測子指標(biāo)的相關(guān)性分析

顯式評測指標(biāo)雖能真實反映用戶的個性化差異，但需花費大量人力，應(yīng)用范圍具有一定局限性；隱式評測指標(biāo)雖能從更大范圍內(nèi)獲取用戶數(shù)據(jù)，但其合理性還需進(jìn)一步驗證。基于此，本文擬通過對隱式評測指標(biāo)（基于用戶點擊的Dice距離值、點擊熵及其Potential@10）與顯式評測指標(biāo)（基于用戶評測的Potential@10及Kappa值）的相關(guān)性分析來驗證隱式指標(biāo)的有效性（見表4）。三個隱式評測指標(biāo)均與兩個隱式評測指標(biāo)間存在相關(guān)性。其中，基于隱式評測的Potentail@10指標(biāo)與兩個顯式評測指標(biāo)的相關(guān)性強度顯著，用戶點擊熵與顯式評測指標(biāo)的相關(guān)性強度次之。隱式指標(biāo)與Kappa指標(biāo)呈現(xiàn)負(fù)相關(guān)的原因在于Kappa是衡量評測者之間對評測結(jié)果的相同性，而表5中的三種隱式指標(biāo)是用于衡量用戶針對相同查詢結(jié)果的差異性。

表4 顯式指標(biāo)與隱式指標(biāo)的相關(guān)性分析（皮爾遜相關(guān)系數(shù)）

5.3 信息類、導(dǎo)航類與事務(wù)查詢中各特征的個性化潛力分析

本文也嘗試探討能表征查詢個性化潛力的特征，且進(jìn)一步分析針對不同查詢意圖，各特征表征個性化潛力的有效性。個性化檢索的難點在于分辨用戶提交查詢的歧義性（模糊性），以此來確定查詢在哪種程度上獲益于個性化檢索。對于歧義性小的查詢，大多數(shù)關(guān)注信息的興趣差異度小，查詢個性化潛力??；反之，用戶興趣差異大，查詢個性化潛力大。因此，學(xué)者嘗試?yán)靡恍┖饬坎樵兡：缘奶卣鱽砼袛嗖樵儌€性化潛力。本文選取衡量查詢模糊性的常用特征[10]，通過這些特征與兩隱式指標(biāo)間的相關(guān)性獲得各指標(biāo)用于衡量查詢個性化潛力的有效性（見表5）。其獲取查詢清晰度特征，首先將查詢提交至Sogou搜索引擎，獲得每次查詢排名前20結(jié)果的標(biāo)題、摘要信息，利用公式（7）計算其Clarity（q）值。其中，P（t｜q）表示查詢詞t出現(xiàn)在查詢返回結(jié)果集中的頻次，P（t）表示該詞出現(xiàn)在索引中的概率。Clarity（q）值越大，表明該查詢的模糊性越小。

從表5可見，不同查詢特征與隱式指標(biāo)間相關(guān)程度不同，除查詢中詞數(shù)外，其他特征與個性化潛力呈正相關(guān)關(guān)系。查詢中包含的詞數(shù)與查詢個性化潛力成反比關(guān)系，說明查詢中包含的詞越多，其個性化潛力越大。其主要原因在于，包含詞越多的查詢所描述的用戶信息越明確，不同的用戶提交該此類查詢，用戶間信息需求的差異性較小，此類查詢的個性化潛力較小。反之，不同用戶提交此類查詢時，信息需求差異較大，此類查詢的個性化潛力較大。

表5 信息類、導(dǎo)航類與事務(wù)類查詢中，各隱式指標(biāo)與查詢特征的相關(guān)關(guān)系（皮爾遜相關(guān)系數(shù)）

查詢點擊網(wǎng)頁的平均排序與個性化潛力呈正相關(guān)關(guān)系，即不同用戶提交同一查詢后，所點擊網(wǎng)頁的排序值越大，該查詢個性化潛力越大。其主要原因在于，在不考慮相關(guān)性的情況下，用戶傾向于點擊排序靠前的網(wǎng)頁[17]。排序靠前的網(wǎng)頁能滿足與查詢相關(guān)的一般信息需求，而當(dāng)用戶針對查詢有特定信息需求時，通常查看排序靠后的網(wǎng)頁，因此，查詢的個性化潛力越大，用戶越可能點擊排序靠后的網(wǎng)頁。另外，每個用戶平均點擊網(wǎng)頁數(shù)與查詢的個性化潛力呈正相關(guān)關(guān)系，即用戶點擊的網(wǎng)頁數(shù)越多，表明該查詢的個性化潛力越大。點擊熵與Potential@10也存在正相關(guān)關(guān)系。查詢明晰度與隱式指標(biāo)呈負(fù)相關(guān)關(guān)系，說明某查詢結(jié)果質(zhì)量越好，該查詢的個性化潛力越小。

整體而言，各查詢特征在信息類和事務(wù)類查詢中與兩隱式指標(biāo)的相關(guān)性相差不大。而在某些特征中，導(dǎo)航類與信息類和事務(wù)類間存在差異性。針對導(dǎo)航類查詢而言，事務(wù)類和信息類的查詢中詞數(shù)更能表明其個性化潛力；對于提交查詢的不同用戶數(shù)而言，該特征在事務(wù)類和信息類中與兩隱式評測指標(biāo)呈正相關(guān)關(guān)系，而在導(dǎo)航類查詢中呈現(xiàn)負(fù)相關(guān)關(guān)系或無相關(guān)關(guān)系，其主要原因可能是用戶提交導(dǎo)航類查詢的目標(biāo)較單一，用戶對檢索結(jié)果的偏好大體一致。因此，不同用戶數(shù)不能有效表征導(dǎo)航類查詢的個性化潛力。在導(dǎo)航類查詢中，點擊熵與Potential@10的相關(guān)性值高于在其他兩類查詢的相關(guān)性值，其主要原因可能在于，用戶提交導(dǎo)航類查詢的目標(biāo)較明確，點擊穩(wěn)定傾向于與查詢相關(guān)的網(wǎng)頁主頁。計算信息類查詢的點擊熵值時，由于用戶傾向點擊與查詢相關(guān)的不同文檔，若一半用戶點擊某一網(wǎng)頁，而其他用戶點擊另外一網(wǎng)頁時，其點擊熵值與所有用戶點擊同一網(wǎng)頁的點擊熵相等。在這兩個例子中，用戶的相關(guān)性網(wǎng)頁不同，即前一個例子中有兩個不同網(wǎng)頁與用戶信息需求相關(guān)，后一個例子中只有一個網(wǎng)頁與用戶信息需求相關(guān)，故針對信息類查詢，點擊熵值不能完全有效地表明查詢個性化潛力。

點擊網(wǎng)頁的平均排序在導(dǎo)航類中與兩隱式指標(biāo)（用戶點擊熵與Potential@10）的相關(guān)性低于在其他兩類查詢中的相關(guān)性。其主要原因在于，導(dǎo)航類網(wǎng)頁一般在查詢結(jié)果排序靠前，點擊靠后網(wǎng)頁有可能是用戶漫無目的的點擊行為，產(chǎn)生噪聲數(shù)據(jù)，不能有效地描述用戶信息需求。而對于信息類或者事務(wù)類查詢，用戶的信息需求更廣泛，除排序靠前的文檔外，排序靠后的文檔也可能滿足用戶信息需求，因此，即使點擊排序靠后的文檔，也可表明網(wǎng)頁與用戶信息需求相關(guān)。用戶平均點擊網(wǎng)頁數(shù)更能衡量事務(wù)類和信息類的用戶意圖，主要原因在于，用戶提交導(dǎo)航類查詢的目標(biāo)較明確，但不排除存在用戶點擊較多網(wǎng)頁的情況，而對于信息類或事務(wù)類查詢而言，其意圖是多方面的，點擊的網(wǎng)頁能滿足用戶意圖，因此點擊網(wǎng)頁數(shù)與用戶信息需求相關(guān)。

6 總結(jié)與展望

本文首先利用隱式指標(biāo)（基于用戶點擊的Dice值、Potential@10與用戶點擊熵）和顯式指標(biāo)（基于用戶評測的Potential@10與Kappa值）分析信息類、導(dǎo)航類和事務(wù)類查詢的個性化潛力，在此基礎(chǔ)上，分析不同意圖類別查詢中能表征其個性化潛力的有效特征。結(jié)果表明，信息類查詢相對其他兩類查詢的個性化潛力更大；詞數(shù)、用戶平均點擊網(wǎng)頁排序、用戶平均點擊網(wǎng)頁數(shù)以及查詢清晰度都能表征查詢的個性化潛力；各查詢特征在信息類和事務(wù)類查詢中與兩隱式指標(biāo)的相關(guān)性相差不大，而導(dǎo)航類與信息類、事務(wù)類間存在差異性。如查詢中詞個數(shù)更能表征事務(wù)類和信息類查詢的個性化潛力，點擊熵更能表征導(dǎo)航類查詢的個性化潛力，點擊網(wǎng)頁的平均排序特征更能表征信息類查詢的個性化潛力。基于上述結(jié)果，本文對搜索引擎?zhèn)€性化性能優(yōu)化提出建議。（1）導(dǎo)航類查詢更適合共性化的檢索排序。一般可通過用戶對該查詢返回結(jié)果網(wǎng)頁的點擊次數(shù)和停留時間來確定哪些網(wǎng)頁能適合用戶普遍的信息需求，并以此作為排序依據(jù)。（2）信息類查詢一般適合個性化檢索排序，可進(jìn)一步通過查詢的模糊性或歧義性來判斷該查詢適合個性化的可能性大小。（3）搜索引擎在對查詢個性化潛力進(jìn)行判斷時，對信息類和事務(wù)類查詢可從查詢長度、用戶點擊網(wǎng)頁的平均排序來衡量其個性化潛力，對導(dǎo)航類查詢可多從點擊熵和用戶平均點擊網(wǎng)頁數(shù)來衡量其個性化潛力。

本文對信息類、導(dǎo)航類與事務(wù)類查詢的個性化潛力進(jìn)行對比分析，但仍存在不足，未來研究可嘗試采取更多有效的隱式指標(biāo)對查詢個性化潛力進(jìn)行分析；嘗試采用機(jī)器學(xué)習(xí)思想，利用文本查詢分類通過選取特征判斷某查詢是否具有個性化意圖，進(jìn)一步判斷不同特征的有效性。

[1]BRODER A.A taxonomy of web search[J].SIGIR Forum,2002,36(2):3-10.

[2]伍大勇,趙世奇,劉挺,等.融合多類特征的Web查詢意圖識別[J].模式識別與人工智能,2012,25(3):500-505.

[3]BRENES D J,GAYO-AVELLO D,PéREZ-GONZáLEZ K.Survey and evaluation of query intent detection methods[C]//Proceedings of the 2009 Workshop on Web Search Click Data.[S.1.]:[s.n.],2009.

[4]LIU Y,ZHANG M,RU L,et al.Automatic query type identification based on click through information[C]//Asia Conference on Information Retrieval Technology.[S.1.]:Springer Berlin,2006:593-600.

[5]宋超.基于Sogou日志的個性化信息檢索分析與建模[D].哈爾濱:哈爾濱工業(yè)大學(xué),2012.

[6]DOU Z,SONG R,WEN J R.A large-scale evaluation and analysis of personalized search strategies[C]//International Conference on World Wide Web.[S.1.]:[s.n.],2007:581-590.

[7]CRASWELL N,HAWKING D,ROBERTSON S.Effective site finding using link anchor information[C]//Proceedings of the 24th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval.[S.1.]:[s.n.],2001:250-257.

[8]LI Y,KRISHNAMURTHY R,VAITYANATHAN S,et al.Getting work done on the web:supporting transactional queries[C]//Proceedings of the 29th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval.[S.1.]:[s.n.],2006:557-564.

[9]FUJII A.Modeling anchor text and classifying queries to enhance web document retrieval[C]//Proceedings of the 17th International Conference on World Wide Web.[S.1.]:[s.n.],2008:337-346.

[10]CHEN C,YANG M Y,LI S,et al.Predicting query potential for personalization,classification or regression classification or regression?[C]//SIGIR.[S.1.]:[s.n.],2010:725-726.

[11]陳晨,趙鐵軍,李生,等.基于語言學(xué)知識的查詢個性化潛力預(yù)測[J].中文信息學(xué)報,2013,6(11):11-18.

[12]TEEVAN J,DUMAIS S T,LIEBLING D J.To personalize or not to personalize: modeling queries with variation in user intent[C]//Proceedings of the 31st Annual International ACM SIGIR Conference on Research and Development in Information Retrieval.[S.1.]:[s.n.],2008:163-171.

[13]LIU C,BELKIN N,COLE M,et al.Personalization of information retrieval in different types of tasks[C]//SIGIR.[S.1.]:[s.n.],2011:26-33.

[14]LI D,YANG M,QI H,et al.Reexamination on potential for personalization in web search[C]//Proceeding of the 23rd International Conference on Computational Linguistics.[S.1.]:[s.n.],2010:701-709.

[15]SONG R,LUO Z,WEN J R,et al.Identifying ambiguous queries in web search[C]//International Conference on World Wide Web.[S.1.]:[s.n.],2007:1169-1170.

[16]SONG R,LUO Z,NIE J Y,et al.Identification of ambiguous queries in web search[J].Information Processing and Management An International Journal,2009,45(2):216-229.

[17]WANG Y,AGICHTEIN E.Query ambiguity revisited:click through measures for distinguishing informational and ambiguous queries[EB/OL].[2017-08-01].http://www.aclweb.org/anthology/N10-1055.pdf.

[18]SANDERSON M.Ambiguous queries:test collections need more sense[C]//Proceedings of the 31st Annual International ACM SIGIR Conference on Research and Development.[S.1.]:[s.n.],2008:499-506.

[19 ]LUO C,LIU Y,ZHANG M,et al.Query ambiguity identification based on user behavior information[J].Journal of Information Retrieval Technology,2014,8870:36-47.

[20]FLEISS J L.Measuring nominal scale agreement among many raters[J].Psychological Bulletin,1971,76(5):378-382.

[21]KELLY D,TEEVAN J.Implicit feedback for inferring user preference:a bibliography[J].ACM SIGIR Forum,2003,37(2):18-28.

[22]搜狗查詢?nèi)罩綶EB/OL].[2017-09-14].http://www.sogou.com/labs/dl/q.html

[23]LIU Y,XIE X,WANG C,et al.Time-Aware click model[J].ACM Transactions on Information Systems,2016,35(3):16.

[24]MCCREADIE R M C,MACDONALD C,OUNIS I.Crowdsourcing a news query classification dataset[C]//Proceedings of the SIGIR 2010 Workshop on Crowdsourcing for Search Evaluation.[S.1.]:[s.n.],2010:31-38.

Comparative Analysis of the Personalized Potential of Informational, Navigational and Transactional Queries

ZHANG XiaoJuan
(School of Computer and Information Science at Southwest University, Chongqing 400715, China)

The personalized potential of informational, navigational and transcational queries is firstly measured by explicit and implicit measures respectively. And then, the effective implicit measures are obtained by analyzing the correlation between implicit measures and explicit measures. On light of these, for each category of query intent, this paper also analyzes which query feature can effectively characterize their personalized potential. Finally, some suggestions about the performance optimization of search engines are provided according to the experimental results.

Informational Queries; Navigational Queries; Transcational Queries; Personalized Potential

G353.4

10.3772/j.issn.1673-2286.2017.09.006

* 本研究得到國家社會科學(xué)基金青年項目 “融合用戶個性化與實時性意圖的查詢推薦模型研究”（編號：15 CT Q019）資助。

張曉娟，女，1985年生，博士，副教授，研究方向：信息檢索，E-mail：zxj0614@swu.edu.cn。

2017-08-08）