• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于用戶意圖的搜索結(jié)果文本突顯方法

    2020-03-09 01:36:46馬少平
    關(guān)鍵詞:搜索引擎詞語特征

    張 輝, 馬少平

    (清華大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)系; 智能技術(shù)與系統(tǒng)國家重點(diǎn)實(shí)驗(yàn)室, 北京 100084)

    用戶根據(jù)自身的信息需求形成查詢意圖,并將查詢意圖通過關(guān)鍵詞或自然語言的方式提交給搜索引擎;搜索引擎則根據(jù)用戶提交的查詢詞或自然語言,從網(wǎng)絡(luò)上搜集相關(guān)信息整理成與查詢意圖相匹配的搜索引擎結(jié)果頁面(SERP),每條搜索結(jié)果包含了標(biāo)題、摘要、網(wǎng)址等信息[1].從用戶查詢意圖的形成到用戶提交查詢關(guān)鍵詞的整個(gè)過程受限于用戶自身的語言特點(diǎn),可能發(fā)生信息模糊、信息丟失或信息冗余等情況,在這種條件下查詢關(guān)鍵詞通常難以充分并準(zhǔn)確地表達(dá)用戶的查詢意圖[2].

    Clarke等[3]提出相關(guān)性間接判定假設(shè),即用戶主要根據(jù)SERP中的結(jié)果標(biāo)題和結(jié)果摘要判斷搜索結(jié)果與用戶查詢的相關(guān)性,繼而決定是否瀏覽/點(diǎn)擊這一搜索結(jié)果.因此, SERP中所展示的搜索結(jié)果是決定用戶搜索交互行為的關(guān)鍵因素.SERP中所展示的搜索結(jié)果給予用戶的最終感受包括內(nèi)容和展現(xiàn)形式兩方面.目前,商用搜索引擎在SERP的展示形式上,通常采用查詢詞突顯(QTH)策略,即通過變色/加粗等方式突出顯示查詢詞,進(jìn)而達(dá)到吸引用戶注意力的目的.這種策略包含兩個(gè)假設(shè):① 查詢詞是體現(xiàn)用戶查詢信息需求最重要的詞,這一假設(shè)忽略了用戶提交查詢本身的局限性以及用戶意圖和提交查詢詞之間的不一致性;② 搜索引擎的SERP包含合適數(shù)量的查詢詞,這一假設(shè)忽略了結(jié)果摘要的生成方式千差萬別,能同時(shí)滿足代表原始網(wǎng)頁文檔和完美匹配查詢詞這兩個(gè)條件的結(jié)果摘要少之又少.例如,查詢需求為“中秋看望父母,聽說喝紅酒對老年人有好處,想買1瓶千元以內(nèi),適合老年人喝的紅酒”.

    查詢方法1以“老年人紅酒”作為查詢關(guān)鍵詞時(shí),1條SERP中展示的搜索結(jié)果為:老年人可以適當(dāng)飲用葡萄酒,不過應(yīng)該注意的是,如果老年人有三高癥狀就堅(jiān)決不能喝酒.在給老年人選擇葡萄酒時(shí),應(yīng)盡量選擇酒精含量比較低的干型葡萄酒,避免過量……

    查詢方法2以自然語言“我想買適合老年人飲用的千元以內(nèi)的紅酒”作為查詢語句時(shí),1條SERP中展示的搜索結(jié)果為:事實(shí)上葡萄酒并非都很貴,很多葡萄酒都是百元以內(nèi)的,甚至四五十塊的紅酒有很多都很好喝.很多適宜日常飲用的葡萄酒,果香豐富,口感順滑,便宜又好喝.……這些拍賣行的葡萄酒拍品,往往是老年份的葡萄酒,市場上比較少見的酒,……事實(shí)上,新世界的酒,以果味新鮮為主,適合盡早飲用,新西蘭不少走自然風(fēng)格……

    查詢方法1的信息量有限,不能充分地表達(dá)用戶的查詢意圖,存在信息模糊及信息丟失現(xiàn)象,如“葡萄酒”、“干紅”這些對于滿足用戶查詢需求有用的詞語并不會被突出顯示;查詢方法2使用的查詢語句較長,與目前商業(yè)搜索引擎通常采用的關(guān)鍵詞框架設(shè)計(jì)不一致,存在信息冗余現(xiàn)象,搜索引擎容易把“適合”、“飲用”等這些對于滿足用戶信息需求不重要的詞語突出顯示.

    在中文語言環(huán)境下,用戶提交的查詢以關(guān)鍵詞查詢?yōu)橹鳎樵兺^短,含有的信息量有限.余慧佳等[4]統(tǒng)計(jì)了查詢?nèi)罩?,發(fā)現(xiàn)有93%的查詢包含不超過3個(gè)查詢詞,平均長度為1.85個(gè)詞.因此,當(dāng)用戶提交的查詢?yōu)殛P(guān)鍵詞時(shí),將研究對象定為SERP的文本突顯策略.同時(shí),考慮到結(jié)果標(biāo)題和結(jié)果摘要在用戶查詢過程中所承擔(dān)的作用,為了使所研究的問題更有針對性,重點(diǎn)關(guān)注了搜索結(jié)果中結(jié)果摘要的突顯策略.首先基于用戶標(biāo)注的突顯詞,提出一種關(guān)鍵詞突顯策略;然后,基于4種常用的序列標(biāo)注機(jī)器學(xué)習(xí)算法——結(jié)構(gòu)化支持向量機(jī)(SVMStruct)、隱Markov(HMM)、最大間隔Markov網(wǎng)絡(luò)(M3N)和條件隨機(jī)場(CRF)算法,提出一種新的聯(lián)合序列標(biāo)注學(xué)習(xí)(JSL)算法,并利用詞語4個(gè)方面的屬性特征自動(dòng)識別突顯詞;最后,對比分析在2種文本突顯方法下的用戶搜索行為,調(diào)查不同文本突顯方法在整個(gè)用戶搜索交互過程中所承擔(dān)的作用.

    1 相關(guān)研究工作

    研究內(nèi)容主要包括3個(gè)方面:文本突顯對于用戶閱讀、認(rèn)知及搜索行為的影響;查詢擴(kuò)展、查詢縮減和查詢推薦的方法;文本關(guān)鍵詞的提取方法.

    一段文本內(nèi)不同亮度、顏色的文本具有視覺敏感性.文本突顯的目的是通過改變文本的外在展示形式獲取視覺注意,即“吸引注意力”[5-6].Few[7-8]發(fā)現(xiàn)通過在摘要中突顯查詢詞(顏色突顯)可以吸引用戶的注意力,改善用戶搜索中信息的獲取效率.然而,過多的顏色突顯反而會降低用戶的視覺注意力,引起視覺分散的現(xiàn)象.Kickmeier等[9]通過實(shí)驗(yàn)發(fā)現(xiàn)文本突顯的密度對用戶的點(diǎn)擊行為及記憶準(zhǔn)確性都有明顯的影響,文本突顯密度過高或過低都會對用戶造成選擇困擾,從而增加結(jié)果相關(guān)性的判斷時(shí)間.然而,這些實(shí)驗(yàn)都著重于研究突顯查詢詞及文本突顯密度對于用戶行為的影響,并沒有考慮突顯不同的詞語對用戶搜索效率的影響.

    為了解決用戶所提交的查詢與用戶的查詢意圖不一致的問題,查詢擴(kuò)展技術(shù)、查詢縮減技術(shù)和查詢推薦技術(shù)通過一定的方法策略,如增加、減少或更換一些詞或詞語到原查詢中,達(dá)到提高信息檢索的查全率及查準(zhǔn)率的目的[10-11].這些方法從一定程度上解決了查詢信息不足的問題,但其出發(fā)點(diǎn)為查詢詞,被擴(kuò)展或更換的詞語往往是查詢詞的同義詞、近義詞,或來自于搜索引擎公司提供的查詢推薦詞,這些詞語并不一定存在于SERP的結(jié)果摘要中.因此,搜索結(jié)果的展示方式依然是面向查詢、而非面向用戶查詢意圖的.文本關(guān)鍵詞的提取技術(shù)通過一定的方法策略提取能夠體現(xiàn)作者(原始文本)主要思想的重要詞語[12-13],但其僅與文本自身相關(guān).搜索結(jié)果中需要突顯的詞語是由用戶的查詢?nèi)蝿?wù)所決定的,文本的關(guān)鍵詞并不一定是滿足用戶意圖的關(guān)鍵詞.綜上所述,基于查詢的查詢擴(kuò)展技術(shù)、推薦技術(shù)和基于搜索結(jié)果的關(guān)鍵詞提取技術(shù)都不能直接作為SERP的結(jié)果摘要突顯詞.SERP的結(jié)果摘要突顯詞是存在于結(jié)果摘要中、與查詢?nèi)蝿?wù)相關(guān)且對于用戶信息查詢需求最重要的詞或詞語.

    圖1 用戶標(biāo)注前后的SERP示意圖Fig.1 The diagram of SERP before and after highlighting words by users

    2 突顯詞用戶標(biāo)注調(diào)查

    研究由日本國家科學(xué)信息系統(tǒng)中心(NACSIS)策劃主辦的檢索與自然語言處理測試任務(wù)(NTCIR IMine)[14]中的12對中文查詢詞,如表1所示.每組2個(gè)查詢?nèi)蝿?wù)的查詢需求類似、查詢難度相當(dāng),其中包括2組4個(gè)導(dǎo)航(NA)類查詢,2組4個(gè)事務(wù)(TR) 類查詢和8組16個(gè)信息(IN)類查詢.針對每個(gè)查詢?nèi)蝿?wù),利用Google搜索引擎獲取前10個(gè)純文本的搜索結(jié)果,去除SERP中含有圖片、視頻等內(nèi)容的查詢結(jié)果.

    表1 用戶標(biāo)注采用的24個(gè)中文查詢Tab.1 Twenty-four Chinese queries annotated by users

    針對表1中的每個(gè)查詢?nèi)蝿?wù)撰寫相應(yīng)的任務(wù)描述.提供用戶查詢?nèi)蝿?wù)說明、查詢詞以及去除結(jié)果摘要中文本突顯的SERP(形成統(tǒng)一的字體顏色),供用戶進(jìn)行突顯詞的選擇及標(biāo)注,如圖1(a)所示.調(diào)查對突顯文本的內(nèi)容、長短及次數(shù)不進(jìn)行任何限制,只要求用戶根據(jù)自身對任務(wù)描述及查詢(詞)的理解,標(biāo)注出個(gè)人認(rèn)為最重要的、對完成查詢?nèi)蝿?wù)最有價(jià)值的、最應(yīng)該被突顯的詞或詞語,標(biāo)注結(jié)果如圖 1(b) 所示.調(diào)查一共邀請了10個(gè)計(jì)算機(jī)專業(yè)、自述能夠熟練地使用搜索引擎的用戶對24個(gè)任務(wù)的SERP(前10個(gè)結(jié)果)進(jìn)行標(biāo)注,最終產(chǎn)生 2 400 個(gè)搜索結(jié)果的突顯詞標(biāo)注結(jié)果.

    由圖1可知,用戶標(biāo)注的突顯詞(關(guān)鍵詞)與查詢詞并不一致.挑選幾個(gè)用戶標(biāo)注的突現(xiàn)詞進(jìn)行示例,如圖2所示.當(dāng)查詢?yōu)椤鞍滩∑つw癥狀”時(shí),用戶更傾向于將“艾滋病初期皮膚癥狀”作為一個(gè)整體突顯來標(biāo)注,而不是分別標(biāo)注“艾滋病”、“皮膚”、“癥狀”等這些單獨(dú)的詞語;當(dāng)查詢?yōu)椤柏S田銳志”時(shí),用戶除了標(biāo)注“豐田銳志”這個(gè)實(shí)體,還傾向于標(biāo)注“參數(shù)配置”、“報(bào)價(jià)”等與該實(shí)體相對應(yīng)的屬性詞;當(dāng)查詢?yōu)椤爸Ц秾氹娫挕睍r(shí),用戶更傾向于標(biāo)注出可能的答案,如“95188”和“0571-6500-5120”. 綜上所述,在不同的查詢?nèi)蝿?wù)中,用戶更傾向于標(biāo)注較長的突顯詞、更為豐富的關(guān)鍵詞或直接標(biāo)注可能的答案.

    圖2 用戶標(biāo)注突顯詞示例Fig.2 Examples of highlighting words labelled by users

    3 突顯詞自動(dòng)識別算法

    3.1 問題描述

    結(jié)果摘要的文本突顯問題可以看作為一個(gè)序列標(biāo)注任務(wù).如圖3所示,在給定查詢Q、結(jié)果標(biāo)題T和結(jié)果摘要S的情況下,序列標(biāo)注的最終目的是預(yù)測結(jié)果摘要中詞語的突顯標(biāo)簽Y和非突顯標(biāo)簽N.前文的用戶標(biāo)注調(diào)查已經(jīng)得到了 2 400 條用戶的標(biāo)注數(shù)據(jù),因此可以把識別突顯詞任務(wù)看成一個(gè)有監(jiān)督的序列標(biāo)注任務(wù).

    圖3 結(jié)果摘要文本的突顯詞識別問題示例Fig.3 An example of search result snippet highlighting terms tagging

    假定摘要的固定長度為K,則輸出序列為y=[y1y2…yK],其中yk(k=1,2,…,K)為第k個(gè)詞.能夠觀測到的用戶標(biāo)注序列為x=[x1x2…xK].其中:xk,yk∈{N,Y},k=1,2,…,K.突顯詞識別任務(wù)由已經(jīng)觀測到的用戶標(biāo)注序列x對最終的輸出序列y進(jìn)行估計(jì)和推斷[15].在自然語言處理序列標(biāo)注任務(wù)中廣泛應(yīng)用的SVMStruct[16]、M3N[17]和CRF[18]算法選取條件概率P(y|x),而HMM[19]算法選取聯(lián)合概率P(x,y)分布中最大的一個(gè)y*作為輸出序列.在模型訓(xùn)練階段,預(yù)測序列可由下式計(jì)算得出:

    y*=argmaxyP(y|x) 或

    y*=argmaxyP(x,y)

    (1)

    其中:argmax可以通過Viterbi動(dòng)態(tài)規(guī)劃算法獲得.

    3.2 序列標(biāo)注模型

    由于SVMStruct、HMM、M3N和CRF算法在預(yù)測不同標(biāo)簽上的特性不同,將這些機(jī)器學(xué)習(xí)算法聯(lián)合起來提出一種新的JSL算法,用以進(jìn)一步提高算法性能,如圖4所示.

    圖4 JSL算法模型示意圖Fig.4 Schematic diagram of JSL algorithm

    為獲得序列y,構(gòu)造(K-1)個(gè)2×2的轉(zhuǎn)移矩陣Tk(m,n)記為countk(m,n),為k位置上的標(biāo)簽m變換成標(biāo)簽n的次數(shù),其中,k=1,2,…,K-1;m,n∈{N,Y}.定義標(biāo)簽的狀態(tài)權(quán)重為Uk(t)=countk(t),代表位置k上標(biāo)簽t出現(xiàn)的次數(shù),其中,k=1,2,…,K;t∈{N,Y}.預(yù)測序列y的表達(dá)式為

    (2)

    3.3 特征參數(shù)

    采用基于詞匹配、詞信息、詞向量和詞屬性的4類特征預(yù)測一條結(jié)果摘要中哪些詞應(yīng)該被突出顯示為紅色,而哪些詞不需要被突出顯示,表2所示為其特征列表.

    表2 突顯詞識別所用詞語特征列表Tab.2 The features used in tagging of the highlighting words

    基于詞匹配的特征(★):衡量該詞語是否存在于查詢、結(jié)果標(biāo)題、維基百科、百度百科或者搜索推薦之中.

    基于詞信息的特征(■):衡量該詞語與對應(yīng)的詞語之間的距離或者詞頻-逆文本頻率指數(shù)(tf-idf)值.其中:tf值是該詞在維基百科中的數(shù)量;而idf值則是根據(jù)所有查詢詞對應(yīng)的維基百科文本計(jì)算得出的.

    基于詞向量的特征(◆):用詞向量表達(dá)一個(gè)詞,并基于這一向量計(jì)算該詞語與對應(yīng)詞語之間的相似度等特征.其中,詞向量是基于搜狗互聯(lián)網(wǎng)語料庫(SogouT)數(shù)據(jù)集[20]采用詞向量(word2vec)[21]算法預(yù)先訓(xùn)練得到的,并在整個(gè)突顯詞識別算法的訓(xùn)練過程中保持不變.

    基于詞屬性的特征(●):該詞語自身包含的信息包括詞性、情感以及主題特征,這部分特征可以由中科院ICTCLAS系統(tǒng)和MB-PL-ASUM算法得到[22].

    3.4 算法性能

    3.4.1模型性能 通常序列預(yù)測算法的目標(biāo)是所有詞語的標(biāo)簽預(yù)測綜合性能達(dá)到最優(yōu),一般損失函數(shù)(AverageLoss)表示所有詞語的預(yù)測標(biāo)簽與詞語實(shí)際標(biāo)簽之間的差異程度,其表達(dá)式為

    AverageLoss=

    (3)

    為了測試不同算法的綜合性能指標(biāo),采用所有種類的特征信息計(jì)算5種算法在模型準(zhǔn)確度、精度、召回率及F值方面的性能,計(jì)算結(jié)果如表3所示.由表3可知:① SVMstruct算法在模型準(zhǔn)確度及召回率方面的性能較好;而CRF算法在模型精度及F值方面的性能較好.② HMM算法在模型準(zhǔn)確度、召回率及F值3方面的性能都表現(xiàn)得較差,這可能是由于模型本身采用的是聯(lián)合概率而非條件概率所引起的.③ JSL算法在模型準(zhǔn)確度、精度及F值方面的性能都是最優(yōu)的,相較于其他4種算法都有一定程度的提高.但由于數(shù)據(jù)的不均衡性,在提高突顯詞語的預(yù)測比重后導(dǎo)致了更多的非突顯詞不能被識別,故在召回率方面有所降低.各算法在JSL算法中的所占比重分別為:SVMstruct算法占70.1%;CRF算法占16.2%;M3N算法占7.1%;HMM算法占6.6%.SVMstruct算法與CRF算法所占比重較高,這是由于SVMstruct算法和CRF算法解決了M3N算法的標(biāo)簽偏置問題并弱化了HMM算法的獨(dú)立性假設(shè),所以在JSL算法中優(yōu)勢更為突出,獲得了較大的比重.

    表3 各序列標(biāo)簽學(xué)習(xí)模型的性能對比

    Tab.3 The performance comparison of different sequence label learning algorithms

    算法準(zhǔn)確度/%精度/%召回率/%F值/%SVMstruct92.5019.2090.4031.7HMM81.1017.8063.2027.8M3N90.0032.8064.5043.5CRF91.2037.9062.4047.2JSL93.3048.5069.4057.1

    3.4.2不同特征下的JSL算法性能 不同特征下的JSL算法性能如表4所示,其中↑和↓為相比于上一個(gè)數(shù)量較少的特征,F(xiàn)值的變化是增大還是減小.由表4可知:① 當(dāng)僅采用詞匹配和詞屬性信息特征時(shí),查詢效果較差;當(dāng)采用詞信息或詞向量特征時(shí),查詢效果明顯提高,說明用戶需要更多有效的信息為搜索交互過程提供必要的線索.② 當(dāng)將詞向量與詞匹配、詞信息與詞屬性分別組合成2組特征信息時(shí),則算法的F值有所下降,這可能是由于2組特征混合在一起后使得算法出現(xiàn)了過擬合問題,同時(shí)也說明詞向量對于JSL算法而言是作用比較大的一組特征;當(dāng)采用3組特征時(shí),F(xiàn)值有所提高;當(dāng)采用4組特征時(shí),JSL算法性能達(dá)到最優(yōu),說明這4組特征在識別突顯詞這一任務(wù)中都是有效的特征.③ 當(dāng)預(yù)測所有詞語的整體準(zhǔn)確度達(dá)到93%時(shí), JSL算法的F值僅有57%,說明該數(shù)據(jù)集是一個(gè)不均衡的數(shù)據(jù)集,突顯詞數(shù)量非常少,因而出現(xiàn)了過擬合的問題.

    表4 不同特征下的JSL算法性能比較

    Tab.4 The performance comparison of JSL algorithm under different features

    3.4.3不同任務(wù)下的JSL算法性能 不同搜索任務(wù)下,同時(shí)采用4類特征時(shí)的JSL算法性能如表5所示,其中ALL為所有任務(wù).由表5可知:① 當(dāng)搜索任務(wù)為NA類查詢?nèi)蝿?wù)時(shí),JSL算法的預(yù)測性能最優(yōu),這是由于NA類查詢?nèi)蝿?wù)是搜索一個(gè)與查詢高度相關(guān)的網(wǎng)站,此時(shí)預(yù)測算法使用的特征已經(jīng)包含了查詢內(nèi)容;當(dāng)搜索任務(wù)為TR類和IN類查詢?nèi)蝿?wù)時(shí),用戶往往需要更加豐富的線索信息,此時(shí)預(yù)測突顯詞更加困難.② 當(dāng)搜索任務(wù)為ALL時(shí),預(yù)測摘要中的查詢詞性能較好,而預(yù)測摘要中的非查詢詞性能較差, 其F值分別為70.2%和38.7%.這可能是由于所采用的特征大部分是與查詢相關(guān)的特征,所以預(yù)測查詢詞較容易,而預(yù)測非查詢詞較困難.③ 從預(yù)測結(jié)果可以看出,當(dāng)查詢?nèi)蝿?wù)是TR類或IN類時(shí),用戶需要更豐富的線索信息以直接突顯答案,但目前的預(yù)測算法在這方面的性能有待提高,這可能會是下一步的研究重點(diǎn).

    表5 不同搜索任務(wù)下JSL算法的性能

    Tab.5 The performance comparison of JSL algorithm under different search tasks

    搜索任務(wù)突顯詞F值/%NA類全部摘要詞語66.0TR類全部摘要詞語56.4IN類全部摘要詞語53.0ALL查詢詞70.2ALL非查詢詞38.7

    4 用戶實(shí)驗(yàn)

    4.1 實(shí)驗(yàn)流程

    實(shí)驗(yàn)邀請了12名參與者,包括4名女生和8名男生,均為同一所大學(xué)一年級的本科生,就讀專業(yè)包括經(jīng)濟(jì)學(xué)、美學(xué)、法學(xué)、社會科學(xué)等,自我報(bào)告有1年以上的搜索引擎使用經(jīng)驗(yàn).每人需要完成24個(gè)查詢?nèi)蝿?wù),其中12個(gè)任務(wù)采用QTH策略,另外12個(gè)任務(wù)采用關(guān)鍵詞突顯(KTH)策略.實(shí)驗(yàn)采用希臘拉丁方及隨機(jī)序列方法保證每個(gè)任務(wù)以相同的概率展現(xiàn)給用戶.針對每種突顯策略下的每個(gè)查詢?nèi)蝿?wù),收集到6個(gè)用戶的查詢?nèi)蝿?wù)數(shù)據(jù).實(shí)驗(yàn)提供的界面形式采用Google框架的搜索引擎,用戶可通過該搜索引擎完成正常的搜索功能.此外,用戶交互的鼠標(biāo)數(shù)據(jù)和眼動(dòng)數(shù)據(jù)均會被記錄下來.實(shí)驗(yàn)要求參與者必須在90分鐘內(nèi)完成所有查詢?nèi)蝿?wù),完成任務(wù)后通過口頭詢問的方式確保參與者以認(rèn)真的態(tài)度完成任務(wù),同時(shí)搜集用戶關(guān)于頁面突顯感受的反饋.

    4.2 評價(jià)指標(biāo)和實(shí)驗(yàn)結(jié)果

    搜索用戶的交互過程通常采用的是成本-效益框架評價(jià)搜索引擎的性能[23-24],并以商業(yè)搜索引擎采用的QTH策略作為對比基準(zhǔn),與基于JSL算法產(chǎn)生的KTH策略進(jìn)行對比,采用的評價(jià)指標(biāo)如表6所示.

    表6 搜索效益評價(jià)指標(biāo)體系Tab.6 The evaluation index system of search performance

    表7 KTH與QTH策略下的搜索效益對比

    Tab.7 The performance comparison between KTH and QTH highlighting strategies

    指標(biāo)NA/%IN/%TR/%C-CG8.2Δ9.1Δ22.4C-DCG6.2Δ4.820.9DT6.3Δ18.713.0C-RN5.0Δ7.8Δ19.0C-RD26.713.7Δ17.6C-SL5.0Δ8.218.6

    用戶的注視行為熱度如圖5所示.突顯詞可以吸引用戶的注意力,讓用戶“注意看”突顯詞,進(jìn)而使得用戶關(guān)注位置靠后但更為相關(guān)的搜索結(jié)果.當(dāng)查詢詞為“降壓藥種類”時(shí),在QTH策略下(見圖5),突顯詞為“降壓藥”、“種類”等,用戶優(yōu)先關(guān)注排名靠前的結(jié)果,排名靠后的結(jié)果(排名為第7和第8名的結(jié)果)用戶基本不會注意到;在KTH策略下(見圖6),排名為第7和第8名的結(jié)果突顯詞為“6大類”、“5大類”、“利尿藥”、“β受體阻滯藥”和“鈣離子拮抗劑CCB”等,用戶則重點(diǎn)關(guān)注了這些結(jié)果突顯詞,原因是這些結(jié)果突出詞顯示了對于用戶查詢意圖更有價(jià)值的關(guān)鍵詞.

    圖5 用戶注視熱度圖Fig.5 People’s gaze paths in the heat map

    圖6 用戶注視熱度圖Fig.6 People’s gaze paths in the heat map

    5 結(jié)語

    基于用戶標(biāo)注的數(shù)據(jù),提出一種新的突顯策略,以突顯更能滿足用戶查詢意圖的關(guān)鍵詞;采用JSL算法,使用詞匹配、詞信息、詞向量以及詞屬性4個(gè)方面的特征,自動(dòng)識別搜索結(jié)果摘要中的突顯詞,取得了接近于人工標(biāo)注的效果;設(shè)計(jì)用戶搜索實(shí)驗(yàn),并且與目前通用的QTH策略進(jìn)行對比,進(jìn)而分析不同突顯策略對于用戶行為及搜索效益的影響.實(shí)驗(yàn)證明不同突顯詞對于用戶搜索行為有較大的影響,KTH策略明顯優(yōu)于QTH策略,能夠有效地提升搜索效益.

    猜你喜歡
    搜索引擎詞語特征
    容易混淆的詞語
    找詞語
    如何表達(dá)“特征”
    不忠誠的四個(gè)特征
    抓住特征巧觀察
    詞語欣賞
    網(wǎng)絡(luò)搜索引擎亟待規(guī)范
    一枚詞語一門靜
    基于Nutch的醫(yī)療搜索引擎的研究與開發(fā)
    廣告主與搜索引擎的雙向博弈分析
    91午夜精品亚洲一区二区三区| 大香蕉久久网| 免费高清在线观看视频在线观看| 十分钟在线观看高清视频www| 男女国产视频网站| 五月天丁香电影| 另类精品久久| 久久av网站| 久久久亚洲精品成人影院| 亚洲一级一片aⅴ在线观看| 亚洲成人手机| 国产欧美日韩一区二区三区在线| 亚洲在久久综合| 黄色怎么调成土黄色| 两个人看的免费小视频| 搡老乐熟女国产| 一边亲一边摸免费视频| 精品一区二区三区四区五区乱码 | 久久精品久久久久久久性| 亚洲av免费高清在线观看| av电影中文网址| 欧美 亚洲 国产 日韩一| 狂野欧美激情性bbbbbb| 久久国产精品男人的天堂亚洲 | 国产老妇伦熟女老妇高清| 黑人巨大精品欧美一区二区蜜桃 | 男女下面插进去视频免费观看 | 国产欧美另类精品又又久久亚洲欧美| 久久久久久伊人网av| 国产成人免费观看mmmm| 99久久中文字幕三级久久日本| 中国国产av一级| av不卡在线播放| 十八禁高潮呻吟视频| 日韩熟女老妇一区二区性免费视频| 国产熟女午夜一区二区三区| 人人澡人人妻人| 日本欧美国产在线视频| av在线app专区| a 毛片基地| 久久久久久久国产电影| 日韩在线高清观看一区二区三区| 欧美人与善性xxx| 欧美日韩综合久久久久久| 亚洲国产日韩一区二区| 亚洲美女黄色视频免费看| 色婷婷av一区二区三区视频| 有码 亚洲区| 性色avwww在线观看| 青春草国产在线视频| 日本91视频免费播放| 久久这里有精品视频免费| 久久久久久久久久人人人人人人| 久久人妻熟女aⅴ| 午夜av观看不卡| 中国三级夫妇交换| 9色porny在线观看| 午夜福利影视在线免费观看| 99热全是精品| 极品少妇高潮喷水抽搐| 18禁国产床啪视频网站| 人人妻人人澡人人爽人人夜夜| 亚洲av欧美aⅴ国产| 少妇被粗大猛烈的视频| 国产亚洲午夜精品一区二区久久| av在线播放精品| 男人爽女人下面视频在线观看| 如何舔出高潮| 天天影视国产精品| 欧美日本中文国产一区发布| 一级,二级,三级黄色视频| 久久久久视频综合| 精品少妇内射三级| 韩国av在线不卡| 伊人久久国产一区二区| 亚洲精品一二三| 成年美女黄网站色视频大全免费| 2022亚洲国产成人精品| 精品国产乱码久久久久久小说| 一本—道久久a久久精品蜜桃钙片| 欧美另类一区| 青青草视频在线视频观看| 91久久精品国产一区二区三区| 国产av国产精品国产| av电影中文网址| 99热这里只有是精品在线观看| 精品亚洲乱码少妇综合久久| 成年美女黄网站色视频大全免费| 高清av免费在线| 狂野欧美激情性bbbbbb| 欧美激情 高清一区二区三区| 久久99蜜桃精品久久| 观看美女的网站| 久久久久久久大尺度免费视频| www.av在线官网国产| 国产麻豆69| 午夜91福利影院| 97在线人人人人妻| 天天操日日干夜夜撸| 我的女老师完整版在线观看| 亚洲精品国产色婷婷电影| 啦啦啦中文免费视频观看日本| 久久97久久精品| 日日摸夜夜添夜夜爱| 大香蕉97超碰在线| 韩国高清视频一区二区三区| 亚洲第一av免费看| 亚洲中文av在线| 中文欧美无线码| 男女边吃奶边做爰视频| 亚洲精品久久午夜乱码| 国产精品嫩草影院av在线观看| 香蕉精品网在线| 又黄又爽又刺激的免费视频.| 在线观看免费视频网站a站| 午夜日本视频在线| 国产永久视频网站| 又大又黄又爽视频免费| 精品久久国产蜜桃| 日韩免费高清中文字幕av| 久久久久久人妻| 日韩欧美一区视频在线观看| 亚洲天堂av无毛| 又粗又硬又长又爽又黄的视频| 成人无遮挡网站| 午夜精品国产一区二区电影| 18+在线观看网站| 国产免费福利视频在线观看| 一区二区av电影网| 亚洲精品av麻豆狂野| 久久久精品区二区三区| 久久精品aⅴ一区二区三区四区 | 国产亚洲精品第一综合不卡 | 精品国产国语对白av| 中文字幕免费在线视频6| 亚洲性久久影院| 亚洲精品日韩在线中文字幕| 久久久久久伊人网av| 91精品伊人久久大香线蕉| 亚洲av综合色区一区| 欧美激情 高清一区二区三区| 亚洲欧美一区二区三区黑人 | 国产精品一区二区在线不卡| 亚洲欧美中文字幕日韩二区| tube8黄色片| 国产av码专区亚洲av| 99热国产这里只有精品6| 国产综合精华液| 99热全是精品| 天天影视国产精品| 国产福利在线免费观看视频| 国产男人的电影天堂91| 男人爽女人下面视频在线观看| 日韩电影二区| 99精国产麻豆久久婷婷| 免费高清在线观看视频在线观看| 亚洲精品色激情综合| 成人无遮挡网站| 18禁动态无遮挡网站| 亚洲精品一二三| 边亲边吃奶的免费视频| 国产成人91sexporn| 精品少妇久久久久久888优播| 欧美成人午夜精品| 美女中出高潮动态图| 99精国产麻豆久久婷婷| 成人黄色视频免费在线看| 免费久久久久久久精品成人欧美视频 | 日产精品乱码卡一卡2卡三| 国产精品人妻久久久影院| av卡一久久| 婷婷色av中文字幕| 人妻 亚洲 视频| 大话2 男鬼变身卡| 国产一区二区在线观看av| 美女内射精品一级片tv| 男女午夜视频在线观看 | 日日摸夜夜添夜夜爱| 午夜精品国产一区二区电影| 亚洲人成77777在线视频| 精品久久久久久电影网| 男男h啪啪无遮挡| 免费黄网站久久成人精品| 91精品三级在线观看| 亚洲成色77777| 黄片无遮挡物在线观看| 国产精品免费大片| 大片免费播放器 马上看| 欧美 日韩 精品 国产| 亚洲性久久影院| 街头女战士在线观看网站| 亚洲内射少妇av| 少妇人妻精品综合一区二区| 国产精品久久久久久久电影| xxxhd国产人妻xxx| 久久国产精品男人的天堂亚洲 | 亚洲国产欧美日韩在线播放| 一级,二级,三级黄色视频| 午夜福利视频精品| 亚洲,欧美精品.| www.色视频.com| 国产成人aa在线观看| 国产精品.久久久| 国产男女内射视频| 涩涩av久久男人的天堂| 街头女战士在线观看网站| 美国免费a级毛片| 国产精品人妻久久久久久| 久久这里只有精品19| 国产 精品1| 久久久久国产网址| 在线观看国产h片| 成年av动漫网址| av网站免费在线观看视频| 黄色毛片三级朝国网站| 国产毛片在线视频| 国产国拍精品亚洲av在线观看| 香蕉精品网在线| 中文天堂在线官网| 性色avwww在线观看| 欧美老熟妇乱子伦牲交| 少妇的逼好多水| 自线自在国产av| 日韩一本色道免费dvd| 99久久综合免费| 97超碰精品成人国产| 日日撸夜夜添| 久久久久久久国产电影| videosex国产| 街头女战士在线观看网站| 亚洲在久久综合| 婷婷色麻豆天堂久久| 久久久久视频综合| 99久国产av精品国产电影| 国产成人欧美| 久久精品aⅴ一区二区三区四区 | 精品少妇内射三级| 久久精品国产a三级三级三级| 亚洲人成77777在线视频| 国产精品人妻久久久影院| 国产精品嫩草影院av在线观看| 人妻 亚洲 视频| 国产精品国产av在线观看| 人成视频在线观看免费观看| 成人国语在线视频| 国产在视频线精品| 午夜精品国产一区二区电影| 一个人免费看片子| 99国产综合亚洲精品| 国产精品国产三级国产av玫瑰| 99久国产av精品国产电影| tube8黄色片| 永久网站在线| 国精品久久久久久国模美| 国产av一区二区精品久久| 国产成人91sexporn| 激情视频va一区二区三区| 国产精品久久久久久久电影| 久久 成人 亚洲| 久久久欧美国产精品| 亚洲av男天堂| 天天躁夜夜躁狠狠躁躁| 男人操女人黄网站| 一边摸一边做爽爽视频免费| 美女大奶头黄色视频| 王馨瑶露胸无遮挡在线观看| 亚洲在久久综合| 亚洲欧洲日产国产| 涩涩av久久男人的天堂| 国产麻豆69| 婷婷成人精品国产| 国产精品 国内视频| av电影中文网址| 黄色配什么色好看| 亚洲精品国产色婷婷电影| 久久久国产欧美日韩av| 搡女人真爽免费视频火全软件| 国产日韩欧美视频二区| 伊人亚洲综合成人网| 美女内射精品一级片tv| 国产在线视频一区二区| 在线观看美女被高潮喷水网站| 国产淫语在线视频| 中国三级夫妇交换| 极品少妇高潮喷水抽搐| 日韩中字成人| 国产精品久久久久久精品古装| 国产永久视频网站| 婷婷色综合www| 五月开心婷婷网| 欧美性感艳星| 免费看不卡的av| 大片电影免费在线观看免费| 亚洲第一av免费看| 亚洲国产av新网站| 亚洲图色成人| 婷婷色综合大香蕉| 国产精品99久久99久久久不卡 | 深夜精品福利| 久久热在线av| 国产成人午夜福利电影在线观看| 男女高潮啪啪啪动态图| 成人午夜精彩视频在线观看| 国产成人91sexporn| 久久久久久人人人人人| 欧美人与性动交α欧美精品济南到 | 我的女老师完整版在线观看| 18禁动态无遮挡网站| 免费人妻精品一区二区三区视频| 麻豆乱淫一区二区| 男女边摸边吃奶| 久久久久网色| 永久免费av网站大全| 日韩免费高清中文字幕av| 亚洲经典国产精华液单| 中文字幕av电影在线播放| 亚洲国产精品999| 黑人猛操日本美女一级片| 国产日韩欧美在线精品| av免费在线看不卡| 十八禁高潮呻吟视频| 欧美人与性动交α欧美精品济南到 | 我要看黄色一级片免费的| 女性生殖器流出的白浆| 国产av国产精品国产| 一本一本久久a久久精品综合妖精 国产伦在线观看视频一区 | √禁漫天堂资源中文www| 男女午夜视频在线观看 | 日韩电影二区| 国产一区亚洲一区在线观看| 丁香六月天网| 亚洲精品乱久久久久久| 国产成人精品一,二区| 亚洲av男天堂| 一个人免费看片子| 日韩三级伦理在线观看| 欧美精品高潮呻吟av久久| 久久久久久伊人网av| 丝瓜视频免费看黄片| 欧美精品一区二区免费开放| 亚洲精品成人av观看孕妇| 日韩人妻精品一区2区三区| 国产片特级美女逼逼视频| 精品熟女少妇av免费看| 亚洲精品日本国产第一区| 精品熟女少妇av免费看| 夜夜骑夜夜射夜夜干| 大陆偷拍与自拍| 久久国产亚洲av麻豆专区| 成年人免费黄色播放视频| 欧美性感艳星| 国产一区二区三区综合在线观看 | 日韩熟女老妇一区二区性免费视频| 色视频在线一区二区三区| 亚洲精品久久成人aⅴ小说| 啦啦啦在线观看免费高清www| av在线老鸭窝| 久久久久视频综合| 青春草视频在线免费观看| 久久久久视频综合| 日韩视频在线欧美| 亚洲欧洲日产国产| 考比视频在线观看| 中国国产av一级| 宅男免费午夜| 亚洲精品久久午夜乱码| 久久久久精品人妻al黑| 久久国产亚洲av麻豆专区| 黄色一级大片看看| 中文字幕av电影在线播放| 看免费成人av毛片| 亚洲婷婷狠狠爱综合网| 欧美日韩一区二区视频在线观看视频在线| 99久国产av精品国产电影| 日本-黄色视频高清免费观看| av不卡在线播放| 国产免费福利视频在线观看| 人妻少妇偷人精品九色| 日韩一本色道免费dvd| 97精品久久久久久久久久精品| 22中文网久久字幕| a 毛片基地| 国产在线免费精品| 男女边吃奶边做爰视频| 99久国产av精品国产电影| √禁漫天堂资源中文www| 如何舔出高潮| 美女大奶头黄色视频| 丰满迷人的少妇在线观看| 老女人水多毛片| 日韩制服骚丝袜av| 国产亚洲一区二区精品| 宅男免费午夜| 一边亲一边摸免费视频| 久久久久久人妻| 香蕉国产在线看| 99热6这里只有精品| 日韩av在线免费看完整版不卡| 最近手机中文字幕大全| 在线天堂最新版资源| 美国免费a级毛片| 亚洲在久久综合| 少妇的逼好多水| 丝瓜视频免费看黄片| 亚洲美女黄色视频免费看| 97人妻天天添夜夜摸| 插逼视频在线观看| 18禁在线无遮挡免费观看视频| 看免费成人av毛片| 日本av手机在线免费观看| 国产精品人妻久久久久久| 国产精品国产三级国产av玫瑰| 高清毛片免费看| 国产熟女午夜一区二区三区| 国产精品熟女久久久久浪| 欧美日韩综合久久久久久| 久久国产亚洲av麻豆专区| 精品少妇黑人巨大在线播放| 精品熟女少妇av免费看| www.熟女人妻精品国产 | 男女免费视频国产| 亚洲 欧美一区二区三区| 久久亚洲国产成人精品v| 日韩av免费高清视频| 久久久a久久爽久久v久久| 又大又黄又爽视频免费| 97精品久久久久久久久久精品| 波野结衣二区三区在线| 日日摸夜夜添夜夜爱| 欧美人与善性xxx| 精品第一国产精品| 日韩欧美一区视频在线观看| 又大又黄又爽视频免费| 蜜桃国产av成人99| 免费高清在线观看视频在线观看| 亚洲国产精品成人久久小说| 免费高清在线观看日韩| 男男h啪啪无遮挡| 黄色一级大片看看| 精品少妇久久久久久888优播| 人妻一区二区av| 久久久国产一区二区| 亚洲欧美色中文字幕在线| 亚洲欧洲国产日韩| 国产欧美日韩一区二区三区在线| 日韩av在线免费看完整版不卡| 亚洲欧美清纯卡通| 精品少妇黑人巨大在线播放| 中文字幕最新亚洲高清| 日韩在线高清观看一区二区三区| 久久久精品94久久精品| 午夜视频国产福利| 国产精品欧美亚洲77777| 久久这里有精品视频免费| 欧美少妇被猛烈插入视频| 午夜免费男女啪啪视频观看| 在线观看国产h片| a级片在线免费高清观看视频| 9色porny在线观看| 欧美人与善性xxx| 免费观看性生交大片5| 久久久久国产网址| 国产精品免费大片| 国产精品熟女久久久久浪| 亚洲精品久久成人aⅴ小说| 国国产精品蜜臀av免费| 精品视频人人做人人爽| 国产精品免费大片| 精品人妻在线不人妻| 黑人猛操日本美女一级片| 亚洲精华国产精华液的使用体验| 制服人妻中文乱码| 人人妻人人爽人人添夜夜欢视频| 人人澡人人妻人| 久久久久久久久久成人| 亚洲精品久久午夜乱码| 大香蕉久久网| 毛片一级片免费看久久久久| 久久女婷五月综合色啪小说| 国产精品久久久久久av不卡| 国产精品.久久久| 久久国产亚洲av麻豆专区| 国产一区二区三区综合在线观看 | 久久亚洲国产成人精品v| 成人18禁高潮啪啪吃奶动态图| 欧美老熟妇乱子伦牲交| 搡老乐熟女国产| 国产精品不卡视频一区二区| 国国产精品蜜臀av免费| 久久久精品免费免费高清| 国产成人精品婷婷| 国产淫语在线视频| √禁漫天堂资源中文www| 午夜免费观看性视频| 男女国产视频网站| 精品一品国产午夜福利视频| 日本猛色少妇xxxxx猛交久久| 日韩电影二区| 免费av中文字幕在线| 考比视频在线观看| 中国国产av一级| 久久av网站| 黄片播放在线免费| 亚洲国产精品999| 免费av中文字幕在线| 久久狼人影院| 中国三级夫妇交换| 一个人免费看片子| 18禁裸乳无遮挡动漫免费视频| 又黄又爽又刺激的免费视频.| 久久久精品94久久精品| 国产一区二区激情短视频 | 精品亚洲成a人片在线观看| 有码 亚洲区| 十八禁网站网址无遮挡| 国产精品久久久久成人av| av在线观看视频网站免费| 国产乱人偷精品视频| 午夜久久久在线观看| 亚洲国产日韩一区二区| 在现免费观看毛片| 波多野结衣一区麻豆| 国产亚洲av片在线观看秒播厂| 搡老乐熟女国产| 免费av不卡在线播放| 97人妻天天添夜夜摸| 99热国产这里只有精品6| 男人添女人高潮全过程视频| 午夜免费鲁丝| 成年美女黄网站色视频大全免费| 欧美3d第一页| 久久久久视频综合| 精品少妇黑人巨大在线播放| 日韩免费高清中文字幕av| 免费人妻精品一区二区三区视频| 精品亚洲成a人片在线观看| 激情五月婷婷亚洲| 国产免费现黄频在线看| 九色亚洲精品在线播放| 亚洲av成人精品一二三区| 人妻 亚洲 视频| 男男h啪啪无遮挡| 成人毛片a级毛片在线播放| 久久久久久人人人人人| 免费久久久久久久精品成人欧美视频 | 久久久久久久久久久久大奶| 九九爱精品视频在线观看| 欧美另类一区| 色网站视频免费| 久久99热6这里只有精品| 中国三级夫妇交换| 亚洲精品美女久久久久99蜜臀 | 纵有疾风起免费观看全集完整版| 久久久久久久大尺度免费视频| 久久人人爽人人爽人人片va| 免费看光身美女| 男人爽女人下面视频在线观看| 少妇被粗大猛烈的视频| 日韩欧美一区视频在线观看| 热re99久久国产66热| 亚洲精品自拍成人| 丁香六月天网| 人人妻人人添人人爽欧美一区卜| 插逼视频在线观看| 成人二区视频| 日韩av免费高清视频| 成人免费观看视频高清| 久久久久国产精品人妻一区二区| 美女国产视频在线观看| 亚洲,欧美,日韩| www日本在线高清视频| 国产熟女午夜一区二区三区| 亚洲精品久久成人aⅴ小说| 毛片一级片免费看久久久久| 蜜臀久久99精品久久宅男| 少妇精品久久久久久久| 国产亚洲最大av| 国产成人精品在线电影| 国产精品一二三区在线看| xxx大片免费视频| 大香蕉久久网| 99热6这里只有精品| 18禁裸乳无遮挡动漫免费视频| 精品少妇黑人巨大在线播放| 国产精品一区www在线观看| 菩萨蛮人人尽说江南好唐韦庄| 欧美老熟妇乱子伦牲交| 国产精品熟女久久久久浪| 国产极品粉嫩免费观看在线| 在线观看免费视频网站a站| 久久午夜福利片| 两性夫妻黄色片 | 精品国产乱码久久久久久小说| 考比视频在线观看| 亚洲综合精品二区| 99香蕉大伊视频| 亚洲丝袜综合中文字幕| 18禁在线无遮挡免费观看视频| 日本与韩国留学比较| 成人综合一区亚洲| 久久韩国三级中文字幕| 大香蕉久久成人网| 男人添女人高潮全过程视频| 王馨瑶露胸无遮挡在线观看| 亚洲美女黄色视频免费看| 久久精品熟女亚洲av麻豆精品| 午夜91福利影院| 亚洲天堂av无毛| 久久毛片免费看一区二区三区| 春色校园在线视频观看| 国产一区二区在线观看日韩| 18+在线观看网站| 免费日韩欧美在线观看| 最新中文字幕久久久久| 熟女av电影|