• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于用戶意圖的搜索結(jié)果文本突顯方法

    2020-03-09 01:36:46馬少平
    關(guān)鍵詞:搜索引擎詞語特征

    張 輝, 馬少平

    (清華大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)系; 智能技術(shù)與系統(tǒng)國家重點(diǎn)實(shí)驗(yàn)室, 北京 100084)

    用戶根據(jù)自身的信息需求形成查詢意圖,并將查詢意圖通過關(guān)鍵詞或自然語言的方式提交給搜索引擎;搜索引擎則根據(jù)用戶提交的查詢詞或自然語言,從網(wǎng)絡(luò)上搜集相關(guān)信息整理成與查詢意圖相匹配的搜索引擎結(jié)果頁面(SERP),每條搜索結(jié)果包含了標(biāo)題、摘要、網(wǎng)址等信息[1].從用戶查詢意圖的形成到用戶提交查詢關(guān)鍵詞的整個(gè)過程受限于用戶自身的語言特點(diǎn),可能發(fā)生信息模糊、信息丟失或信息冗余等情況,在這種條件下查詢關(guān)鍵詞通常難以充分并準(zhǔn)確地表達(dá)用戶的查詢意圖[2].

    Clarke等[3]提出相關(guān)性間接判定假設(shè),即用戶主要根據(jù)SERP中的結(jié)果標(biāo)題和結(jié)果摘要判斷搜索結(jié)果與用戶查詢的相關(guān)性,繼而決定是否瀏覽/點(diǎn)擊這一搜索結(jié)果.因此, SERP中所展示的搜索結(jié)果是決定用戶搜索交互行為的關(guān)鍵因素.SERP中所展示的搜索結(jié)果給予用戶的最終感受包括內(nèi)容和展現(xiàn)形式兩方面.目前,商用搜索引擎在SERP的展示形式上,通常采用查詢詞突顯(QTH)策略,即通過變色/加粗等方式突出顯示查詢詞,進(jìn)而達(dá)到吸引用戶注意力的目的.這種策略包含兩個(gè)假設(shè):① 查詢詞是體現(xiàn)用戶查詢信息需求最重要的詞,這一假設(shè)忽略了用戶提交查詢本身的局限性以及用戶意圖和提交查詢詞之間的不一致性;② 搜索引擎的SERP包含合適數(shù)量的查詢詞,這一假設(shè)忽略了結(jié)果摘要的生成方式千差萬別,能同時(shí)滿足代表原始網(wǎng)頁文檔和完美匹配查詢詞這兩個(gè)條件的結(jié)果摘要少之又少.例如,查詢需求為“中秋看望父母,聽說喝紅酒對老年人有好處,想買1瓶千元以內(nèi),適合老年人喝的紅酒”.

    查詢方法1以“老年人紅酒”作為查詢關(guān)鍵詞時(shí),1條SERP中展示的搜索結(jié)果為:老年人可以適當(dāng)飲用葡萄酒,不過應(yīng)該注意的是,如果老年人有三高癥狀就堅(jiān)決不能喝酒.在給老年人選擇葡萄酒時(shí),應(yīng)盡量選擇酒精含量比較低的干型葡萄酒,避免過量……

    查詢方法2以自然語言“我想買適合老年人飲用的千元以內(nèi)的紅酒”作為查詢語句時(shí),1條SERP中展示的搜索結(jié)果為:事實(shí)上葡萄酒并非都很貴,很多葡萄酒都是百元以內(nèi)的,甚至四五十塊的紅酒有很多都很好喝.很多適宜日常飲用的葡萄酒,果香豐富,口感順滑,便宜又好喝.……這些拍賣行的葡萄酒拍品,往往是老年份的葡萄酒,市場上比較少見的酒,……事實(shí)上,新世界的酒,以果味新鮮為主,適合盡早飲用,新西蘭不少走自然風(fēng)格……

    查詢方法1的信息量有限,不能充分地表達(dá)用戶的查詢意圖,存在信息模糊及信息丟失現(xiàn)象,如“葡萄酒”、“干紅”這些對于滿足用戶查詢需求有用的詞語并不會被突出顯示;查詢方法2使用的查詢語句較長,與目前商業(yè)搜索引擎通常采用的關(guān)鍵詞框架設(shè)計(jì)不一致,存在信息冗余現(xiàn)象,搜索引擎容易把“適合”、“飲用”等這些對于滿足用戶信息需求不重要的詞語突出顯示.

    在中文語言環(huán)境下,用戶提交的查詢以關(guān)鍵詞查詢?yōu)橹鳎樵兺^短,含有的信息量有限.余慧佳等[4]統(tǒng)計(jì)了查詢?nèi)罩?,發(fā)現(xiàn)有93%的查詢包含不超過3個(gè)查詢詞,平均長度為1.85個(gè)詞.因此,當(dāng)用戶提交的查詢?yōu)殛P(guān)鍵詞時(shí),將研究對象定為SERP的文本突顯策略.同時(shí),考慮到結(jié)果標(biāo)題和結(jié)果摘要在用戶查詢過程中所承擔(dān)的作用,為了使所研究的問題更有針對性,重點(diǎn)關(guān)注了搜索結(jié)果中結(jié)果摘要的突顯策略.首先基于用戶標(biāo)注的突顯詞,提出一種關(guān)鍵詞突顯策略;然后,基于4種常用的序列標(biāo)注機(jī)器學(xué)習(xí)算法——結(jié)構(gòu)化支持向量機(jī)(SVMStruct)、隱Markov(HMM)、最大間隔Markov網(wǎng)絡(luò)(M3N)和條件隨機(jī)場(CRF)算法,提出一種新的聯(lián)合序列標(biāo)注學(xué)習(xí)(JSL)算法,并利用詞語4個(gè)方面的屬性特征自動(dòng)識別突顯詞;最后,對比分析在2種文本突顯方法下的用戶搜索行為,調(diào)查不同文本突顯方法在整個(gè)用戶搜索交互過程中所承擔(dān)的作用.

    1 相關(guān)研究工作

    研究內(nèi)容主要包括3個(gè)方面:文本突顯對于用戶閱讀、認(rèn)知及搜索行為的影響;查詢擴(kuò)展、查詢縮減和查詢推薦的方法;文本關(guān)鍵詞的提取方法.

    一段文本內(nèi)不同亮度、顏色的文本具有視覺敏感性.文本突顯的目的是通過改變文本的外在展示形式獲取視覺注意,即“吸引注意力”[5-6].Few[7-8]發(fā)現(xiàn)通過在摘要中突顯查詢詞(顏色突顯)可以吸引用戶的注意力,改善用戶搜索中信息的獲取效率.然而,過多的顏色突顯反而會降低用戶的視覺注意力,引起視覺分散的現(xiàn)象.Kickmeier等[9]通過實(shí)驗(yàn)發(fā)現(xiàn)文本突顯的密度對用戶的點(diǎn)擊行為及記憶準(zhǔn)確性都有明顯的影響,文本突顯密度過高或過低都會對用戶造成選擇困擾,從而增加結(jié)果相關(guān)性的判斷時(shí)間.然而,這些實(shí)驗(yàn)都著重于研究突顯查詢詞及文本突顯密度對于用戶行為的影響,并沒有考慮突顯不同的詞語對用戶搜索效率的影響.

    為了解決用戶所提交的查詢與用戶的查詢意圖不一致的問題,查詢擴(kuò)展技術(shù)、查詢縮減技術(shù)和查詢推薦技術(shù)通過一定的方法策略,如增加、減少或更換一些詞或詞語到原查詢中,達(dá)到提高信息檢索的查全率及查準(zhǔn)率的目的[10-11].這些方法從一定程度上解決了查詢信息不足的問題,但其出發(fā)點(diǎn)為查詢詞,被擴(kuò)展或更換的詞語往往是查詢詞的同義詞、近義詞,或來自于搜索引擎公司提供的查詢推薦詞,這些詞語并不一定存在于SERP的結(jié)果摘要中.因此,搜索結(jié)果的展示方式依然是面向查詢、而非面向用戶查詢意圖的.文本關(guān)鍵詞的提取技術(shù)通過一定的方法策略提取能夠體現(xiàn)作者(原始文本)主要思想的重要詞語[12-13],但其僅與文本自身相關(guān).搜索結(jié)果中需要突顯的詞語是由用戶的查詢?nèi)蝿?wù)所決定的,文本的關(guān)鍵詞并不一定是滿足用戶意圖的關(guān)鍵詞.綜上所述,基于查詢的查詢擴(kuò)展技術(shù)、推薦技術(shù)和基于搜索結(jié)果的關(guān)鍵詞提取技術(shù)都不能直接作為SERP的結(jié)果摘要突顯詞.SERP的結(jié)果摘要突顯詞是存在于結(jié)果摘要中、與查詢?nèi)蝿?wù)相關(guān)且對于用戶信息查詢需求最重要的詞或詞語.

    圖1 用戶標(biāo)注前后的SERP示意圖Fig.1 The diagram of SERP before and after highlighting words by users

    2 突顯詞用戶標(biāo)注調(diào)查

    研究由日本國家科學(xué)信息系統(tǒng)中心(NACSIS)策劃主辦的檢索與自然語言處理測試任務(wù)(NTCIR IMine)[14]中的12對中文查詢詞,如表1所示.每組2個(gè)查詢?nèi)蝿?wù)的查詢需求類似、查詢難度相當(dāng),其中包括2組4個(gè)導(dǎo)航(NA)類查詢,2組4個(gè)事務(wù)(TR) 類查詢和8組16個(gè)信息(IN)類查詢.針對每個(gè)查詢?nèi)蝿?wù),利用Google搜索引擎獲取前10個(gè)純文本的搜索結(jié)果,去除SERP中含有圖片、視頻等內(nèi)容的查詢結(jié)果.

    表1 用戶標(biāo)注采用的24個(gè)中文查詢Tab.1 Twenty-four Chinese queries annotated by users

    針對表1中的每個(gè)查詢?nèi)蝿?wù)撰寫相應(yīng)的任務(wù)描述.提供用戶查詢?nèi)蝿?wù)說明、查詢詞以及去除結(jié)果摘要中文本突顯的SERP(形成統(tǒng)一的字體顏色),供用戶進(jìn)行突顯詞的選擇及標(biāo)注,如圖1(a)所示.調(diào)查對突顯文本的內(nèi)容、長短及次數(shù)不進(jìn)行任何限制,只要求用戶根據(jù)自身對任務(wù)描述及查詢(詞)的理解,標(biāo)注出個(gè)人認(rèn)為最重要的、對完成查詢?nèi)蝿?wù)最有價(jià)值的、最應(yīng)該被突顯的詞或詞語,標(biāo)注結(jié)果如圖 1(b) 所示.調(diào)查一共邀請了10個(gè)計(jì)算機(jī)專業(yè)、自述能夠熟練地使用搜索引擎的用戶對24個(gè)任務(wù)的SERP(前10個(gè)結(jié)果)進(jìn)行標(biāo)注,最終產(chǎn)生 2 400 個(gè)搜索結(jié)果的突顯詞標(biāo)注結(jié)果.

    由圖1可知,用戶標(biāo)注的突顯詞(關(guān)鍵詞)與查詢詞并不一致.挑選幾個(gè)用戶標(biāo)注的突現(xiàn)詞進(jìn)行示例,如圖2所示.當(dāng)查詢?yōu)椤鞍滩∑つw癥狀”時(shí),用戶更傾向于將“艾滋病初期皮膚癥狀”作為一個(gè)整體突顯來標(biāo)注,而不是分別標(biāo)注“艾滋病”、“皮膚”、“癥狀”等這些單獨(dú)的詞語;當(dāng)查詢?yōu)椤柏S田銳志”時(shí),用戶除了標(biāo)注“豐田銳志”這個(gè)實(shí)體,還傾向于標(biāo)注“參數(shù)配置”、“報(bào)價(jià)”等與該實(shí)體相對應(yīng)的屬性詞;當(dāng)查詢?yōu)椤爸Ц秾氹娫挕睍r(shí),用戶更傾向于標(biāo)注出可能的答案,如“95188”和“0571-6500-5120”. 綜上所述,在不同的查詢?nèi)蝿?wù)中,用戶更傾向于標(biāo)注較長的突顯詞、更為豐富的關(guān)鍵詞或直接標(biāo)注可能的答案.

    圖2 用戶標(biāo)注突顯詞示例Fig.2 Examples of highlighting words labelled by users

    3 突顯詞自動(dòng)識別算法

    3.1 問題描述

    結(jié)果摘要的文本突顯問題可以看作為一個(gè)序列標(biāo)注任務(wù).如圖3所示,在給定查詢Q、結(jié)果標(biāo)題T和結(jié)果摘要S的情況下,序列標(biāo)注的最終目的是預(yù)測結(jié)果摘要中詞語的突顯標(biāo)簽Y和非突顯標(biāo)簽N.前文的用戶標(biāo)注調(diào)查已經(jīng)得到了 2 400 條用戶的標(biāo)注數(shù)據(jù),因此可以把識別突顯詞任務(wù)看成一個(gè)有監(jiān)督的序列標(biāo)注任務(wù).

    圖3 結(jié)果摘要文本的突顯詞識別問題示例Fig.3 An example of search result snippet highlighting terms tagging

    假定摘要的固定長度為K,則輸出序列為y=[y1y2…yK],其中yk(k=1,2,…,K)為第k個(gè)詞.能夠觀測到的用戶標(biāo)注序列為x=[x1x2…xK].其中:xk,yk∈{N,Y},k=1,2,…,K.突顯詞識別任務(wù)由已經(jīng)觀測到的用戶標(biāo)注序列x對最終的輸出序列y進(jìn)行估計(jì)和推斷[15].在自然語言處理序列標(biāo)注任務(wù)中廣泛應(yīng)用的SVMStruct[16]、M3N[17]和CRF[18]算法選取條件概率P(y|x),而HMM[19]算法選取聯(lián)合概率P(x,y)分布中最大的一個(gè)y*作為輸出序列.在模型訓(xùn)練階段,預(yù)測序列可由下式計(jì)算得出:

    y*=argmaxyP(y|x) 或

    y*=argmaxyP(x,y)

    (1)

    其中:argmax可以通過Viterbi動(dòng)態(tài)規(guī)劃算法獲得.

    3.2 序列標(biāo)注模型

    由于SVMStruct、HMM、M3N和CRF算法在預(yù)測不同標(biāo)簽上的特性不同,將這些機(jī)器學(xué)習(xí)算法聯(lián)合起來提出一種新的JSL算法,用以進(jìn)一步提高算法性能,如圖4所示.

    圖4 JSL算法模型示意圖Fig.4 Schematic diagram of JSL algorithm

    為獲得序列y,構(gòu)造(K-1)個(gè)2×2的轉(zhuǎn)移矩陣Tk(m,n)記為countk(m,n),為k位置上的標(biāo)簽m變換成標(biāo)簽n的次數(shù),其中,k=1,2,…,K-1;m,n∈{N,Y}.定義標(biāo)簽的狀態(tài)權(quán)重為Uk(t)=countk(t),代表位置k上標(biāo)簽t出現(xiàn)的次數(shù),其中,k=1,2,…,K;t∈{N,Y}.預(yù)測序列y的表達(dá)式為

    (2)

    3.3 特征參數(shù)

    采用基于詞匹配、詞信息、詞向量和詞屬性的4類特征預(yù)測一條結(jié)果摘要中哪些詞應(yīng)該被突出顯示為紅色,而哪些詞不需要被突出顯示,表2所示為其特征列表.

    表2 突顯詞識別所用詞語特征列表Tab.2 The features used in tagging of the highlighting words

    基于詞匹配的特征(★):衡量該詞語是否存在于查詢、結(jié)果標(biāo)題、維基百科、百度百科或者搜索推薦之中.

    基于詞信息的特征(■):衡量該詞語與對應(yīng)的詞語之間的距離或者詞頻-逆文本頻率指數(shù)(tf-idf)值.其中:tf值是該詞在維基百科中的數(shù)量;而idf值則是根據(jù)所有查詢詞對應(yīng)的維基百科文本計(jì)算得出的.

    基于詞向量的特征(◆):用詞向量表達(dá)一個(gè)詞,并基于這一向量計(jì)算該詞語與對應(yīng)詞語之間的相似度等特征.其中,詞向量是基于搜狗互聯(lián)網(wǎng)語料庫(SogouT)數(shù)據(jù)集[20]采用詞向量(word2vec)[21]算法預(yù)先訓(xùn)練得到的,并在整個(gè)突顯詞識別算法的訓(xùn)練過程中保持不變.

    基于詞屬性的特征(●):該詞語自身包含的信息包括詞性、情感以及主題特征,這部分特征可以由中科院ICTCLAS系統(tǒng)和MB-PL-ASUM算法得到[22].

    3.4 算法性能

    3.4.1模型性能 通常序列預(yù)測算法的目標(biāo)是所有詞語的標(biāo)簽預(yù)測綜合性能達(dá)到最優(yōu),一般損失函數(shù)(AverageLoss)表示所有詞語的預(yù)測標(biāo)簽與詞語實(shí)際標(biāo)簽之間的差異程度,其表達(dá)式為

    AverageLoss=

    (3)

    為了測試不同算法的綜合性能指標(biāo),采用所有種類的特征信息計(jì)算5種算法在模型準(zhǔn)確度、精度、召回率及F值方面的性能,計(jì)算結(jié)果如表3所示.由表3可知:① SVMstruct算法在模型準(zhǔn)確度及召回率方面的性能較好;而CRF算法在模型精度及F值方面的性能較好.② HMM算法在模型準(zhǔn)確度、召回率及F值3方面的性能都表現(xiàn)得較差,這可能是由于模型本身采用的是聯(lián)合概率而非條件概率所引起的.③ JSL算法在模型準(zhǔn)確度、精度及F值方面的性能都是最優(yōu)的,相較于其他4種算法都有一定程度的提高.但由于數(shù)據(jù)的不均衡性,在提高突顯詞語的預(yù)測比重后導(dǎo)致了更多的非突顯詞不能被識別,故在召回率方面有所降低.各算法在JSL算法中的所占比重分別為:SVMstruct算法占70.1%;CRF算法占16.2%;M3N算法占7.1%;HMM算法占6.6%.SVMstruct算法與CRF算法所占比重較高,這是由于SVMstruct算法和CRF算法解決了M3N算法的標(biāo)簽偏置問題并弱化了HMM算法的獨(dú)立性假設(shè),所以在JSL算法中優(yōu)勢更為突出,獲得了較大的比重.

    表3 各序列標(biāo)簽學(xué)習(xí)模型的性能對比

    Tab.3 The performance comparison of different sequence label learning algorithms

    算法準(zhǔn)確度/%精度/%召回率/%F值/%SVMstruct92.5019.2090.4031.7HMM81.1017.8063.2027.8M3N90.0032.8064.5043.5CRF91.2037.9062.4047.2JSL93.3048.5069.4057.1

    3.4.2不同特征下的JSL算法性能 不同特征下的JSL算法性能如表4所示,其中↑和↓為相比于上一個(gè)數(shù)量較少的特征,F(xiàn)值的變化是增大還是減小.由表4可知:① 當(dāng)僅采用詞匹配和詞屬性信息特征時(shí),查詢效果較差;當(dāng)采用詞信息或詞向量特征時(shí),查詢效果明顯提高,說明用戶需要更多有效的信息為搜索交互過程提供必要的線索.② 當(dāng)將詞向量與詞匹配、詞信息與詞屬性分別組合成2組特征信息時(shí),則算法的F值有所下降,這可能是由于2組特征混合在一起后使得算法出現(xiàn)了過擬合問題,同時(shí)也說明詞向量對于JSL算法而言是作用比較大的一組特征;當(dāng)采用3組特征時(shí),F(xiàn)值有所提高;當(dāng)采用4組特征時(shí),JSL算法性能達(dá)到最優(yōu),說明這4組特征在識別突顯詞這一任務(wù)中都是有效的特征.③ 當(dāng)預(yù)測所有詞語的整體準(zhǔn)確度達(dá)到93%時(shí), JSL算法的F值僅有57%,說明該數(shù)據(jù)集是一個(gè)不均衡的數(shù)據(jù)集,突顯詞數(shù)量非常少,因而出現(xiàn)了過擬合的問題.

    表4 不同特征下的JSL算法性能比較

    Tab.4 The performance comparison of JSL algorithm under different features

    3.4.3不同任務(wù)下的JSL算法性能 不同搜索任務(wù)下,同時(shí)采用4類特征時(shí)的JSL算法性能如表5所示,其中ALL為所有任務(wù).由表5可知:① 當(dāng)搜索任務(wù)為NA類查詢?nèi)蝿?wù)時(shí),JSL算法的預(yù)測性能最優(yōu),這是由于NA類查詢?nèi)蝿?wù)是搜索一個(gè)與查詢高度相關(guān)的網(wǎng)站,此時(shí)預(yù)測算法使用的特征已經(jīng)包含了查詢內(nèi)容;當(dāng)搜索任務(wù)為TR類和IN類查詢?nèi)蝿?wù)時(shí),用戶往往需要更加豐富的線索信息,此時(shí)預(yù)測突顯詞更加困難.② 當(dāng)搜索任務(wù)為ALL時(shí),預(yù)測摘要中的查詢詞性能較好,而預(yù)測摘要中的非查詢詞性能較差, 其F值分別為70.2%和38.7%.這可能是由于所采用的特征大部分是與查詢相關(guān)的特征,所以預(yù)測查詢詞較容易,而預(yù)測非查詢詞較困難.③ 從預(yù)測結(jié)果可以看出,當(dāng)查詢?nèi)蝿?wù)是TR類或IN類時(shí),用戶需要更豐富的線索信息以直接突顯答案,但目前的預(yù)測算法在這方面的性能有待提高,這可能會是下一步的研究重點(diǎn).

    表5 不同搜索任務(wù)下JSL算法的性能

    Tab.5 The performance comparison of JSL algorithm under different search tasks

    搜索任務(wù)突顯詞F值/%NA類全部摘要詞語66.0TR類全部摘要詞語56.4IN類全部摘要詞語53.0ALL查詢詞70.2ALL非查詢詞38.7

    4 用戶實(shí)驗(yàn)

    4.1 實(shí)驗(yàn)流程

    實(shí)驗(yàn)邀請了12名參與者,包括4名女生和8名男生,均為同一所大學(xué)一年級的本科生,就讀專業(yè)包括經(jīng)濟(jì)學(xué)、美學(xué)、法學(xué)、社會科學(xué)等,自我報(bào)告有1年以上的搜索引擎使用經(jīng)驗(yàn).每人需要完成24個(gè)查詢?nèi)蝿?wù),其中12個(gè)任務(wù)采用QTH策略,另外12個(gè)任務(wù)采用關(guān)鍵詞突顯(KTH)策略.實(shí)驗(yàn)采用希臘拉丁方及隨機(jī)序列方法保證每個(gè)任務(wù)以相同的概率展現(xiàn)給用戶.針對每種突顯策略下的每個(gè)查詢?nèi)蝿?wù),收集到6個(gè)用戶的查詢?nèi)蝿?wù)數(shù)據(jù).實(shí)驗(yàn)提供的界面形式采用Google框架的搜索引擎,用戶可通過該搜索引擎完成正常的搜索功能.此外,用戶交互的鼠標(biāo)數(shù)據(jù)和眼動(dòng)數(shù)據(jù)均會被記錄下來.實(shí)驗(yàn)要求參與者必須在90分鐘內(nèi)完成所有查詢?nèi)蝿?wù),完成任務(wù)后通過口頭詢問的方式確保參與者以認(rèn)真的態(tài)度完成任務(wù),同時(shí)搜集用戶關(guān)于頁面突顯感受的反饋.

    4.2 評價(jià)指標(biāo)和實(shí)驗(yàn)結(jié)果

    搜索用戶的交互過程通常采用的是成本-效益框架評價(jià)搜索引擎的性能[23-24],并以商業(yè)搜索引擎采用的QTH策略作為對比基準(zhǔn),與基于JSL算法產(chǎn)生的KTH策略進(jìn)行對比,采用的評價(jià)指標(biāo)如表6所示.

    表6 搜索效益評價(jià)指標(biāo)體系Tab.6 The evaluation index system of search performance

    表7 KTH與QTH策略下的搜索效益對比

    Tab.7 The performance comparison between KTH and QTH highlighting strategies

    指標(biāo)NA/%IN/%TR/%C-CG8.2Δ9.1Δ22.4C-DCG6.2Δ4.820.9DT6.3Δ18.713.0C-RN5.0Δ7.8Δ19.0C-RD26.713.7Δ17.6C-SL5.0Δ8.218.6

    用戶的注視行為熱度如圖5所示.突顯詞可以吸引用戶的注意力,讓用戶“注意看”突顯詞,進(jìn)而使得用戶關(guān)注位置靠后但更為相關(guān)的搜索結(jié)果.當(dāng)查詢詞為“降壓藥種類”時(shí),在QTH策略下(見圖5),突顯詞為“降壓藥”、“種類”等,用戶優(yōu)先關(guān)注排名靠前的結(jié)果,排名靠后的結(jié)果(排名為第7和第8名的結(jié)果)用戶基本不會注意到;在KTH策略下(見圖6),排名為第7和第8名的結(jié)果突顯詞為“6大類”、“5大類”、“利尿藥”、“β受體阻滯藥”和“鈣離子拮抗劑CCB”等,用戶則重點(diǎn)關(guān)注了這些結(jié)果突顯詞,原因是這些結(jié)果突出詞顯示了對于用戶查詢意圖更有價(jià)值的關(guān)鍵詞.

    圖5 用戶注視熱度圖Fig.5 People’s gaze paths in the heat map

    圖6 用戶注視熱度圖Fig.6 People’s gaze paths in the heat map

    5 結(jié)語

    基于用戶標(biāo)注的數(shù)據(jù),提出一種新的突顯策略,以突顯更能滿足用戶查詢意圖的關(guān)鍵詞;采用JSL算法,使用詞匹配、詞信息、詞向量以及詞屬性4個(gè)方面的特征,自動(dòng)識別搜索結(jié)果摘要中的突顯詞,取得了接近于人工標(biāo)注的效果;設(shè)計(jì)用戶搜索實(shí)驗(yàn),并且與目前通用的QTH策略進(jìn)行對比,進(jìn)而分析不同突顯策略對于用戶行為及搜索效益的影響.實(shí)驗(yàn)證明不同突顯詞對于用戶搜索行為有較大的影響,KTH策略明顯優(yōu)于QTH策略,能夠有效地提升搜索效益.

    猜你喜歡
    搜索引擎詞語特征
    容易混淆的詞語
    找詞語
    如何表達(dá)“特征”
    不忠誠的四個(gè)特征
    抓住特征巧觀察
    詞語欣賞
    網(wǎng)絡(luò)搜索引擎亟待規(guī)范
    一枚詞語一門靜
    基于Nutch的醫(yī)療搜索引擎的研究與開發(fā)
    廣告主與搜索引擎的雙向博弈分析
    午夜福利免费观看在线| 成年人免费黄色播放视频| 国产精品国产av在线观看| 精品视频人人做人人爽| 国产av一区二区精品久久| 99re在线观看精品视频| 丝瓜视频免费看黄片| 国产亚洲av高清不卡| 一区二区三区激情视频| 亚洲色图av天堂| 精品少妇一区二区三区视频日本电影| 国产精品熟女久久久久浪| 欧美 亚洲 国产 日韩一| 一本大道久久a久久精品| 国产在视频线精品| 王馨瑶露胸无遮挡在线观看| 美国免费a级毛片| 下体分泌物呈黄色| 老司机在亚洲福利影院| 黄色视频在线播放观看不卡| 一级a爱视频在线免费观看| 中文字幕精品免费在线观看视频| 高清欧美精品videossex| 我要看黄色一级片免费的| 午夜91福利影院| 午夜福利影视在线免费观看| 久久精品亚洲熟妇少妇任你| 亚洲欧美精品综合一区二区三区| 亚洲国产成人一精品久久久| 欧美日韩黄片免| 热re99久久精品国产66热6| 老汉色∧v一级毛片| 不卡一级毛片| 国产欧美日韩一区二区三区在线| 一级黄色大片毛片| 日韩一区二区三区影片| 变态另类成人亚洲欧美熟女 | 黄片小视频在线播放| 亚洲第一av免费看| 国产精品麻豆人妻色哟哟久久| av欧美777| 久久狼人影院| 午夜福利,免费看| 日本黄色日本黄色录像| 性高湖久久久久久久久免费观看| 精品久久久久久久毛片微露脸| 国产男女超爽视频在线观看| 肉色欧美久久久久久久蜜桃| 黄频高清免费视频| 啪啪无遮挡十八禁网站| 欧美日韩成人在线一区二区| 欧美乱妇无乱码| 黑人巨大精品欧美一区二区mp4| 中文亚洲av片在线观看爽 | 老司机靠b影院| 国产成人影院久久av| 1024视频免费在线观看| 青草久久国产| 久久久国产成人免费| 亚洲国产av影院在线观看| av又黄又爽大尺度在线免费看| 美女扒开内裤让男人捅视频| 久久ye,这里只有精品| 啦啦啦在线免费观看视频4| 丰满少妇做爰视频| 亚洲午夜精品一区,二区,三区| 又黄又粗又硬又大视频| 国产精品1区2区在线观看. | 最新的欧美精品一区二区| 欧美乱妇无乱码| 国产97色在线日韩免费| √禁漫天堂资源中文www| 国产一区二区 视频在线| 黄片播放在线免费| 精品少妇久久久久久888优播| 亚洲av片天天在线观看| 两性午夜刺激爽爽歪歪视频在线观看 | 日韩制服丝袜自拍偷拍| 99久久人妻综合| 国产日韩欧美在线精品| 午夜福利一区二区在线看| 午夜免费成人在线视频| 精品人妻在线不人妻| 国产一区二区激情短视频| 久久人妻福利社区极品人妻图片| 男女之事视频高清在线观看| 这个男人来自地球电影免费观看| 菩萨蛮人人尽说江南好唐韦庄| 国产区一区二久久| 欧美中文综合在线视频| 人人澡人人妻人| 啦啦啦视频在线资源免费观看| 国产成人免费无遮挡视频| 一本久久精品| 国产精品1区2区在线观看. | 国产在线精品亚洲第一网站| 久久 成人 亚洲| 一边摸一边抽搐一进一出视频| 老汉色∧v一级毛片| 免费看a级黄色片| 18禁国产床啪视频网站| 成人免费观看视频高清| 交换朋友夫妻互换小说| tocl精华| 18禁裸乳无遮挡动漫免费视频| 黑人猛操日本美女一级片| 国产成人免费无遮挡视频| 老司机亚洲免费影院| 老司机靠b影院| 亚洲成人免费av在线播放| 久久亚洲精品不卡| 老司机影院毛片| 免费人妻精品一区二区三区视频| 国产97色在线日韩免费| 淫妇啪啪啪对白视频| 亚洲专区字幕在线| 不卡一级毛片| 久久国产精品男人的天堂亚洲| 五月开心婷婷网| 69av精品久久久久久 | 老司机靠b影院| 日韩视频在线欧美| 亚洲熟妇熟女久久| 欧美激情高清一区二区三区| 18在线观看网站| 女警被强在线播放| 国产精品欧美亚洲77777| 丝袜美足系列| 激情视频va一区二区三区| 国产精品久久久av美女十八| 人妻一区二区av| 久久人妻福利社区极品人妻图片| 日本一区二区免费在线视频| 高清在线国产一区| 国产精品一区二区免费欧美| 老司机亚洲免费影院| 亚洲国产成人一精品久久久| 欧美变态另类bdsm刘玥| 天天添夜夜摸| 亚洲精华国产精华精| 无人区码免费观看不卡 | 国产xxxxx性猛交| 亚洲熟妇熟女久久| 十八禁人妻一区二区| 国产97色在线日韩免费| 啦啦啦中文免费视频观看日本| 老司机在亚洲福利影院| 丝瓜视频免费看黄片| 人人妻人人爽人人添夜夜欢视频| 性色av乱码一区二区三区2| 国产欧美日韩一区二区精品| 欧美中文综合在线视频| 午夜日韩欧美国产| 亚洲熟女毛片儿| 亚洲美女黄片视频| 国产伦理片在线播放av一区| 久久中文字幕人妻熟女| 日本av免费视频播放| 国产激情久久老熟女| 午夜福利视频精品| 亚洲精品一卡2卡三卡4卡5卡| 美女视频免费永久观看网站| 国产精品久久久av美女十八| 亚洲成av片中文字幕在线观看| 天天操日日干夜夜撸| 国产国语露脸激情在线看| 国产成人av激情在线播放| 在线 av 中文字幕| 国产深夜福利视频在线观看| 欧美老熟妇乱子伦牲交| 亚洲av日韩在线播放| 国产欧美日韩一区二区精品| 亚洲欧洲精品一区二区精品久久久| 国产精品熟女久久久久浪| 三上悠亚av全集在线观看| 天天躁狠狠躁夜夜躁狠狠躁| 亚洲成av片中文字幕在线观看| 中亚洲国语对白在线视频| 国产精品亚洲av一区麻豆| 国精品久久久久久国模美| 丰满饥渴人妻一区二区三| 亚洲精品久久成人aⅴ小说| 国产成人精品在线电影| 91国产中文字幕| 熟女少妇亚洲综合色aaa.| 美女福利国产在线| 日韩一区二区三区影片| avwww免费| 亚洲欧美一区二区三区黑人| 亚洲人成伊人成综合网2020| 黄片播放在线免费| 一级黄色大片毛片| av欧美777| 性色av乱码一区二区三区2| av片东京热男人的天堂| 国产精品电影一区二区三区 | 国产视频一区二区在线看| avwww免费| 狠狠婷婷综合久久久久久88av| tocl精华| 国产精品一区二区在线不卡| 在线 av 中文字幕| 丝瓜视频免费看黄片| 黄色视频不卡| 美女主播在线视频| 精品少妇久久久久久888优播| 久热爱精品视频在线9| 精品国产一区二区三区四区第35| 香蕉丝袜av| 老司机午夜十八禁免费视频| 国产精品电影一区二区三区 | 悠悠久久av| 精品人妻熟女毛片av久久网站| 免费人妻精品一区二区三区视频| 伦理电影免费视频| 精品福利观看| 免费看a级黄色片| 啦啦啦 在线观看视频| 日本av免费视频播放| 丰满人妻熟妇乱又伦精品不卡| 亚洲一区中文字幕在线| 国产亚洲精品第一综合不卡| 国产精品av久久久久免费| 老司机午夜十八禁免费视频| 亚洲国产欧美网| 国产一区二区三区视频了| 一进一出好大好爽视频| 麻豆av在线久日| 国产片内射在线| 在线观看免费视频日本深夜| 久久精品国产亚洲av香蕉五月 | 久久久久国内视频| 欧美国产精品一级二级三级| 757午夜福利合集在线观看| 欧美在线黄色| 日韩欧美免费精品| 亚洲免费av在线视频| 国产精品久久久久成人av| 搡老岳熟女国产| 香蕉丝袜av| 在线av久久热| 一区二区三区乱码不卡18| 自线自在国产av| 露出奶头的视频| 女警被强在线播放| 午夜日韩欧美国产| 亚洲少妇的诱惑av| 极品教师在线免费播放| 亚洲国产av新网站| 黑人操中国人逼视频| 极品少妇高潮喷水抽搐| 丝袜美腿诱惑在线| 一本—道久久a久久精品蜜桃钙片| 王馨瑶露胸无遮挡在线观看| 国产亚洲精品第一综合不卡| 肉色欧美久久久久久久蜜桃| 国产单亲对白刺激| 成年人午夜在线观看视频| 亚洲国产看品久久| 日韩大码丰满熟妇| 久久人妻av系列| 久久久久久久大尺度免费视频| 精品少妇黑人巨大在线播放| 一区在线观看完整版| 脱女人内裤的视频| 久久人人97超碰香蕉20202| 国产三级黄色录像| 日本撒尿小便嘘嘘汇集6| 无限看片的www在线观看| 丝袜喷水一区| 国产成人精品无人区| 国产成人啪精品午夜网站| 亚洲精品成人av观看孕妇| 久久毛片免费看一区二区三区| 欧美精品一区二区大全| 免费av中文字幕在线| 一二三四在线观看免费中文在| 国产不卡一卡二| 亚洲一码二码三码区别大吗| 国产男女内射视频| 一边摸一边做爽爽视频免费| 国产精品免费一区二区三区在线 | 亚洲精品美女久久久久99蜜臀| 别揉我奶头~嗯~啊~动态视频| 一级毛片精品| 精品亚洲成a人片在线观看| 成人亚洲精品一区在线观看| 女人精品久久久久毛片| 午夜福利影视在线免费观看| 国产日韩欧美在线精品| 亚洲av欧美aⅴ国产| 最近最新中文字幕大全电影3 | 亚洲欧美一区二区三区黑人| 欧美精品人与动牲交sv欧美| 狂野欧美激情性xxxx| 精品高清国产在线一区| 亚洲中文字幕日韩| 巨乳人妻的诱惑在线观看| 欧美日韩亚洲综合一区二区三区_| 麻豆国产av国片精品| av又黄又爽大尺度在线免费看| 成人精品一区二区免费| 久久婷婷成人综合色麻豆| 欧美激情 高清一区二区三区| 51午夜福利影视在线观看| 国产欧美日韩一区二区精品| 亚洲精品国产一区二区精华液| 曰老女人黄片| h视频一区二区三区| 大香蕉久久成人网| 看免费av毛片| 国产日韩欧美亚洲二区| 男女免费视频国产| 中文字幕最新亚洲高清| 久久久久久久大尺度免费视频| 日韩视频一区二区在线观看| 久久精品国产99精品国产亚洲性色 | bbb黄色大片| 香蕉久久夜色| 精品国产一区二区三区四区第35| 亚洲av欧美aⅴ国产| 我的亚洲天堂| 嫩草影视91久久| 男女之事视频高清在线观看| 亚洲国产中文字幕在线视频| 黑人巨大精品欧美一区二区mp4| 99re6热这里在线精品视频| 国产麻豆69| 99国产精品一区二区三区| 两个人免费观看高清视频| 久9热在线精品视频| 香蕉久久夜色| 国产av一区二区精品久久| 青草久久国产| 亚洲国产欧美网| 国产淫语在线视频| 日本av免费视频播放| netflix在线观看网站| 日韩欧美一区视频在线观看| 成年人黄色毛片网站| 热re99久久国产66热| 国产又色又爽无遮挡免费看| 欧美乱妇无乱码| 国产成+人综合+亚洲专区| 久久毛片免费看一区二区三区| 免费在线观看黄色视频的| 夜夜骑夜夜射夜夜干| 久久久精品免费免费高清| 操出白浆在线播放| 欧美性长视频在线观看| 精品乱码久久久久久99久播| 亚洲人成伊人成综合网2020| 老熟妇乱子伦视频在线观看| 欧美黄色片欧美黄色片| 99热国产这里只有精品6| 欧美精品啪啪一区二区三区| 国产伦理片在线播放av一区| 亚洲人成伊人成综合网2020| av免费在线观看网站| 深夜精品福利| 日韩一卡2卡3卡4卡2021年| 亚洲精品成人av观看孕妇| 捣出白浆h1v1| 成人国产av品久久久| 两个人免费观看高清视频| 99精品久久久久人妻精品| 热99国产精品久久久久久7| 久久av网站| 桃花免费在线播放| 成年版毛片免费区| 一二三四社区在线视频社区8| 女人精品久久久久毛片| 亚洲精品成人av观看孕妇| 欧美日韩中文字幕国产精品一区二区三区 | 欧美精品高潮呻吟av久久| 久久精品成人免费网站| 窝窝影院91人妻| 久久狼人影院| 嫁个100分男人电影在线观看| 亚洲国产欧美网| 日韩欧美一区视频在线观看| 波多野结衣一区麻豆| 国产精品熟女久久久久浪| 人妻一区二区av| 亚洲成国产人片在线观看| 热re99久久精品国产66热6| 大陆偷拍与自拍| 亚洲欧洲精品一区二区精品久久久| 黄色 视频免费看| 18禁美女被吸乳视频| 色视频在线一区二区三区| 免费黄频网站在线观看国产| 中文欧美无线码| 夜夜骑夜夜射夜夜干| 黄片小视频在线播放| 成年女人毛片免费观看观看9 | 热re99久久国产66热| 久久精品熟女亚洲av麻豆精品| 午夜精品久久久久久毛片777| 亚洲va日本ⅴa欧美va伊人久久| 日本精品一区二区三区蜜桃| 可以免费在线观看a视频的电影网站| 亚洲成人免费电影在线观看| 99精国产麻豆久久婷婷| 久久午夜综合久久蜜桃| 新久久久久国产一级毛片| 十八禁人妻一区二区| 夜夜骑夜夜射夜夜干| 男女床上黄色一级片免费看| 久久久久视频综合| 黄网站色视频无遮挡免费观看| 黄色视频,在线免费观看| 黄色丝袜av网址大全| 精品亚洲乱码少妇综合久久| 最新的欧美精品一区二区| 午夜福利影视在线免费观看| 99re6热这里在线精品视频| 成人三级做爰电影| 天天躁夜夜躁狠狠躁躁| 亚洲精品自拍成人| 亚洲国产欧美网| 一进一出好大好爽视频| 免费不卡黄色视频| 成人特级黄色片久久久久久久 | 亚洲国产欧美在线一区| 日韩免费av在线播放| 久久精品成人免费网站| 午夜福利影视在线免费观看| 亚洲av美国av| 精品久久蜜臀av无| 中文字幕制服av| 国产黄色免费在线视频| 一本大道久久a久久精品| 午夜福利,免费看| 午夜久久久在线观看| 国产精品久久久久久精品古装| 欧美在线一区亚洲| 91精品国产国语对白视频| 一进一出好大好爽视频| 国产成人免费观看mmmm| 丰满饥渴人妻一区二区三| 国产成人精品久久二区二区91| 精品卡一卡二卡四卡免费| 久久久欧美国产精品| 一本—道久久a久久精品蜜桃钙片| 在线亚洲精品国产二区图片欧美| 最近最新免费中文字幕在线| 亚洲av成人一区二区三| 一本一本久久a久久精品综合妖精| 大片电影免费在线观看免费| 嫩草影视91久久| 欧美乱妇无乱码| 九色亚洲精品在线播放| 国产有黄有色有爽视频| 人人妻,人人澡人人爽秒播| 久久狼人影院| 99久久国产精品久久久| 精品一区二区三区视频在线观看免费 | 高清视频免费观看一区二区| 人妻久久中文字幕网| 国产亚洲精品第一综合不卡| 国产熟女午夜一区二区三区| 变态另类成人亚洲欧美熟女 | 午夜精品久久久久久毛片777| 激情在线观看视频在线高清 | 亚洲精品国产精品久久久不卡| √禁漫天堂资源中文www| 日韩欧美国产一区二区入口| 亚洲人成电影观看| 香蕉久久夜色| 捣出白浆h1v1| 夫妻午夜视频| 国产亚洲精品第一综合不卡| 如日韩欧美国产精品一区二区三区| 国产成+人综合+亚洲专区| 美女高潮喷水抽搐中文字幕| 亚洲精品乱久久久久久| 国产成人欧美| 亚洲精华国产精华精| 99九九在线精品视频| 日韩欧美三级三区| 久久久久视频综合| 国产高清视频在线播放一区| a级毛片在线看网站| 美国免费a级毛片| 久久久久国内视频| 香蕉久久夜色| 国产一区二区三区综合在线观看| 2018国产大陆天天弄谢| 欧美 日韩 精品 国产| 久久精品亚洲av国产电影网| 曰老女人黄片| 免费观看人在逋| 脱女人内裤的视频| 他把我摸到了高潮在线观看 | 欧美日韩亚洲高清精品| 久久99一区二区三区| 久久精品国产综合久久久| 久久久久精品人妻al黑| 国产精品 欧美亚洲| 亚洲美女黄片视频| 女警被强在线播放| 精品一区二区三区视频在线观看免费 | 欧美黑人精品巨大| 精品一区二区三区四区五区乱码| 中文亚洲av片在线观看爽 | 大陆偷拍与自拍| 怎么达到女性高潮| 久久久欧美国产精品| 美女扒开内裤让男人捅视频| 亚洲伊人色综图| 制服诱惑二区| 国产亚洲av高清不卡| 99国产精品一区二区蜜桃av | 色视频在线一区二区三区| 国产主播在线观看一区二区| 亚洲成国产人片在线观看| 久久久久久久国产电影| 免费观看a级毛片全部| 精品国产亚洲在线| 18在线观看网站| 九色亚洲精品在线播放| 天天操日日干夜夜撸| 欧美国产精品va在线观看不卡| 免费高清在线观看日韩| 国产免费视频播放在线视频| 精品人妻熟女毛片av久久网站| 黑人欧美特级aaaaaa片| 1024香蕉在线观看| av一本久久久久| 他把我摸到了高潮在线观看 | 国产精品香港三级国产av潘金莲| 国产成人欧美在线观看 | 丝瓜视频免费看黄片| 黄色片一级片一级黄色片| 狠狠精品人妻久久久久久综合| 久久香蕉激情| 纯流量卡能插随身wifi吗| 国产精品美女特级片免费视频播放器 | 久久久国产精品麻豆| 亚洲精品av麻豆狂野| 十八禁网站免费在线| 91大片在线观看| 亚洲视频免费观看视频| www.熟女人妻精品国产| 久久毛片免费看一区二区三区| 法律面前人人平等表现在哪些方面| 久久久国产欧美日韩av| 成人国产av品久久久| 亚洲精华国产精华精| 99国产精品一区二区三区| 精品免费久久久久久久清纯 | 色老头精品视频在线观看| 黄频高清免费视频| 国产成+人综合+亚洲专区| 狠狠婷婷综合久久久久久88av| 免费在线观看视频国产中文字幕亚洲| 久久人妻熟女aⅴ| 色老头精品视频在线观看| a级毛片在线看网站| 国产精品一区二区精品视频观看| 天天操日日干夜夜撸| 国产精品一区二区精品视频观看| 亚洲一区二区三区欧美精品| 动漫黄色视频在线观看| 免费观看a级毛片全部| 亚洲全国av大片| 亚洲成a人片在线一区二区| 国产在线一区二区三区精| 99久久国产精品久久久| 男女午夜视频在线观看| 少妇的丰满在线观看| 日韩 欧美 亚洲 中文字幕| 成人三级做爰电影| h视频一区二区三区| 国产高清国产精品国产三级| 精品乱码久久久久久99久播| 高潮久久久久久久久久久不卡| 国产在线免费精品| 精品国产国语对白av| 国产有黄有色有爽视频| 久久精品亚洲熟妇少妇任你| 欧美精品人与动牲交sv欧美| 亚洲欧美日韩另类电影网站| 99riav亚洲国产免费| 精品国产超薄肉色丝袜足j| 成人黄色视频免费在线看| 狠狠精品人妻久久久久久综合| 99热网站在线观看| 天天躁狠狠躁夜夜躁狠狠躁| 免费久久久久久久精品成人欧美视频| kizo精华| 一级毛片精品| 国产精品av久久久久免费| 久久精品亚洲熟妇少妇任你| 一级,二级,三级黄色视频| 丰满饥渴人妻一区二区三| 99精品久久久久人妻精品| 亚洲精品在线观看二区| 亚洲第一欧美日韩一区二区三区 | 欧美精品人与动牲交sv欧美| 女同久久另类99精品国产91| 久久香蕉激情| 午夜免费成人在线视频| 高清av免费在线| a级片在线免费高清观看视频| 久久久精品免费免费高清| √禁漫天堂资源中文www| 亚洲,欧美精品.| 丁香六月欧美| 男女之事视频高清在线观看| 水蜜桃什么品种好| 波多野结衣一区麻豆| 嫩草影视91久久| 精品午夜福利视频在线观看一区 |