• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    對(duì)數(shù)透視法在信息檢索結(jié)果評(píng)價(jià)中的應(yīng)用研究

    2017-02-27 00:31:51楊海鋒
    現(xiàn)代情報(bào) 2017年1期
    關(guān)鍵詞:信息檢索評(píng)價(jià)指標(biāo)

    楊海鋒

    〔摘要〕信息檢索評(píng)價(jià)得到了學(xué)者們的廣泛研究,而從用戶認(rèn)知的角度來(lái)對(duì)其進(jìn)行研究逐漸成為學(xué)者們追捧的熱點(diǎn)。本文從用戶認(rèn)知的角度出發(fā),借助布魯克斯提出的對(duì)數(shù)透視法思想,對(duì)目前比較常用的評(píng)價(jià)指標(biāo)進(jìn)行了改進(jìn),將物理世界(“世界1”)中的評(píng)價(jià)指標(biāo)通過(guò)“對(duì)數(shù)尺”轉(zhuǎn)換到了“世界2”和“世界3”的精神世界,從用戶所獲取的情報(bào)量對(duì)其檢索結(jié)果進(jìn)行了評(píng)價(jià),克服了以文獻(xiàn)數(shù)量為計(jì)量單位評(píng)價(jià)的不足。同時(shí),通過(guò)應(yīng)用分析對(duì)其改進(jìn)的評(píng)價(jià)指標(biāo)進(jìn)行了說(shuō)明。最后提出了本研究的不足和需要改進(jìn)的地方。

    〔關(guān)鍵詞〕對(duì)數(shù)透視法;信息檢索;評(píng)價(jià)指標(biāo);用戶認(rèn)知

    DOI:10.3969/j.issn.1008-0821.2017.01.012

    〔中圖分類號(hào)〕G252.7〔文獻(xiàn)標(biāo)識(shí)碼〕A〔文章編號(hào)〕1008-0821(2017)01-0066-05

    〔Abstract〕Information retrieval evaluation has been widely researched to scholars,the research from the perspective of cognitive has gradually become a hot pursuit of the scholars.Based on logarithmic law proposed by Brooks,this paper made some changes to commonly used evaluation index,from the perspective of user cognition,change evaluation measures in material“world 1”to spiritual“world 2”and“world 3”by logarithmic law,evaluated result by information amount instead of the number of documents.At the same time,the article did a application analysis to explain the changes and pointed out the deficiency and what should do at last.

    〔Key words〕logarithmic law;information retrieval;evaluation measures;user cognition

    信息檢索評(píng)價(jià)得到了學(xué)者們的廣泛研究,最常用的評(píng)價(jià)指標(biāo)包括召回率、準(zhǔn)確率、P@N(Precision at rank N)、AP(Average Precision)、MAP(Mean Average Precision)、NDCG(Normalized Discount Cumulative Gain)等[1-3]。上述評(píng)價(jià)標(biāo)準(zhǔn)大多(除NDCG外)是以所檢索出文獻(xiàn)(檔)的數(shù)量作為計(jì)量單位,并在此基礎(chǔ)上形成常用的評(píng)價(jià)指標(biāo),同時(shí),這些評(píng)價(jià)指標(biāo)僅僅針對(duì)二元相關(guān)性,要么相關(guān),要么不相關(guān)。NDCG方法的出現(xiàn)彌補(bǔ)了二元相關(guān)評(píng)價(jià)方法的不足,它能夠系統(tǒng)地結(jié)合文檔排序和相關(guān)性得分,可以說(shuō)是對(duì)文檔滿足用戶需求的情況進(jìn)行了考慮。用戶在信息檢索過(guò)程的認(rèn)知行為是檢索評(píng)價(jià)的重要依據(jù),但由于認(rèn)知行為的隱蔽性和不確定性,傳統(tǒng)的評(píng)價(jià)指標(biāo)對(duì)其考慮較少。因此,可從用戶認(rèn)知角度出發(fā),對(duì)傳統(tǒng)評(píng)價(jià)指標(biāo)進(jìn)行改進(jìn),力求最大程度衡量用戶檢索過(guò)程的滿足感。布魯克斯情報(bào)學(xué)認(rèn)知觀范式,對(duì)情報(bào)學(xué)發(fā)展起到了重要的影響推動(dòng)作用,其思想不斷地被使用、推廣、延伸和完善。通過(guò)他提出的對(duì)數(shù)透視法,我們將嘗試通過(guò)“對(duì)數(shù)尺”將物理世界的“硬”評(píng)價(jià)轉(zhuǎn)化到精神世界的“軟”評(píng)價(jià)。本文基于此展開(kāi)研究,在相關(guān)研究的基礎(chǔ)上,對(duì)對(duì)數(shù)透視法理論進(jìn)行了較為全面的梳理和分析后,對(duì)傳統(tǒng)的信息檢索評(píng)價(jià)指標(biāo)進(jìn)行了改進(jìn),并通過(guò)相關(guān)的應(yīng)用對(duì)其進(jìn)行了說(shuō)明。

    1相關(guān)研究

    1980年,英國(guó)著名情報(bào)學(xué)家布魯克斯發(fā)表了一組《情報(bào)學(xué)的基礎(chǔ)》論文,提出了當(dāng)前情報(bào)學(xué)研究的現(xiàn)狀和特點(diǎn),并較宏觀地介紹了一些定量性的研究方法。比如,情報(bào)學(xué)的任務(wù)是探索和組織客觀知識(shí)世界(“世界3”),提出了對(duì)數(shù)透視法、情報(bào)學(xué)基本方程等。對(duì)于對(duì)數(shù)透視法,布魯克斯指出解決物理現(xiàn)象所采用的計(jì)算方法,應(yīng)用于精神現(xiàn)象以及情報(bào)過(guò)程的定量化時(shí)要采取修正的方法,這種修正方法就是利用對(duì)數(shù)透視法來(lái)加以變換,不能簡(jiǎn)單地用物理數(shù)據(jù)來(lái)度量認(rèn)知范圍的問(wèn)題,應(yīng)當(dāng)進(jìn)行相應(yīng)的變換[4]。信息檢索結(jié)果評(píng)價(jià)中,傳統(tǒng)的查準(zhǔn)率和查全率衡量指標(biāo)是布魯克斯稱之為物理現(xiàn)象采用的計(jì)算方法,它忽略了不同用戶的信息需求和滿足程度,必須進(jìn)行相關(guān)的修正。因此,嘗試將對(duì)數(shù)透視法則應(yīng)用于信息檢索結(jié)果的評(píng)價(jià)中,將可能更加客觀地衡量不同用戶主體對(duì)檢索結(jié)果的滿意程度。

    關(guān)于對(duì)數(shù)透視法的應(yīng)用,學(xué)者們對(duì)其進(jìn)行了一些研究,但只是提到相關(guān)的現(xiàn)象,沒(méi)有專門以此展開(kāi)討論。馬費(fèi)成在檢索系統(tǒng)的效率評(píng)價(jià)問(wèn)題中指出,人的情報(bào)吸收過(guò)程呈現(xiàn)情報(bào)遞減規(guī)律,傳統(tǒng)的檢全率錯(cuò)誤地認(rèn)為每篇文檔含有等量的情報(bào),計(jì)數(shù)文獻(xiàn)是一種客觀活動(dòng),而情報(bào)檢索過(guò)程是人的主觀活動(dòng)和情報(bào)過(guò)程,同時(shí)舉例說(shuō)明了如何使用對(duì)數(shù)透視原理對(duì)檢全率進(jìn)行了改進(jìn)[5]。馬費(fèi)成提出的情報(bào)學(xué)的6個(gè)原理中,對(duì)數(shù)透視原理便是其中重要的一條原理[6]。婁銀銀等指出,根據(jù)情報(bào)學(xué)基本方程式和對(duì)數(shù)透視法,可構(gòu)建動(dòng)態(tài)認(rèn)知的智能網(wǎng)絡(luò)信息檢索系統(tǒng),并在保證知識(shí)含金量不變的情況下,適當(dāng)降低召回率來(lái)提高準(zhǔn)確率[7]。肖楠等分析了網(wǎng)絡(luò)環(huán)境下的對(duì)數(shù)透視原理,在基于對(duì)數(shù)透視原理的網(wǎng)絡(luò)檢索效率中指出,用戶即使只選擇100條結(jié)果集中的10條,其檢全率是50%而不是10%[8]。鄧慧敏將對(duì)數(shù)透視原理應(yīng)用于網(wǎng)絡(luò)鏈接分析中,驗(yàn)證了對(duì)數(shù)透視原理在銀行網(wǎng)站鏈接中的適用性[9]。同時(shí),從文獻(xiàn)查閱過(guò)程發(fā)現(xiàn),關(guān)于對(duì)數(shù)透視法在信息檢索評(píng)價(jià)中的研究相對(duì)較少,且以理論研究為主。

    在一些檢索結(jié)果評(píng)價(jià)指標(biāo)的研究中,布魯克斯的對(duì)數(shù)透視法思想其實(shí)也已經(jīng)融入其中。歸一化懲罰累積增益(NDCG)評(píng)價(jià)方法,是一種多級(jí)的相關(guān)排序方法,采用了對(duì)數(shù)懲罰函數(shù)對(duì)排名較低的文檔進(jìn)行了懲罰,其實(shí)和布魯克斯對(duì)數(shù)透視原理有非常相似之處[4],即說(shuō)明不同文檔所包含的情報(bào)量不同。對(duì)于AP評(píng)價(jià)指標(biāo)的爭(zhēng)議,比如主題上的AP值不符合正態(tài)分布、邊界0~1情況、對(duì)檢索困難的主題關(guān)注較少等,Robertson[10]對(duì)AP進(jìn)行了修正,涉及到公式轉(zhuǎn)換和平滑,在GMAP(Geometric MAP)的基礎(chǔ)上提出了logAP(即lAP),同時(shí)也關(guān)注到了ltAP(即logitAP=AP1-AP)[11],并對(duì)兩者邊界問(wèn)題進(jìn)行了定義。同時(shí)又從概率的角度解決了0~1邊界問(wèn)題,這里使用到了Laplace平滑,即可得到平滑后的sAP、slAP以及(yet another AP)yaAP=logit(sAP)。最后,在假設(shè)AP概率符合正態(tài)分布的基礎(chǔ),對(duì)上述變換評(píng)價(jià)指標(biāo)進(jìn)行了卡方檢驗(yàn),yaAP取得了較好效果。Kelly[12]認(rèn)為信息檢索評(píng)價(jià)應(yīng)該從檢索背景(包括用戶差異性、信息需求等)、人機(jī)交互、檢索性能(通過(guò)常用評(píng)價(jià)指標(biāo)衡量)、易用性(效果、效率、滿意度等)4個(gè)方面進(jìn)行考慮,常用的量化評(píng)價(jià)僅在檢索性能展開(kāi)。信息量和用戶滿意度也是評(píng)價(jià)的重要指標(biāo),信息量評(píng)價(jià)關(guān)注相關(guān)性的相對(duì)評(píng)價(jià)而不是絕對(duì)衡量,假設(shè)讓用戶從信息量遞減的順序?qū)ξ臋n進(jìn)行排序,而滿意度是用戶檢索過(guò)程中的體驗(yàn)感受,影響下次檢索過(guò)程的執(zhí)行,常通過(guò)用戶的問(wèn)卷或面談獲得。文獻(xiàn)[13]對(duì)信息量在信息搜尋和檢索環(huán)境中的概念進(jìn)行了再討論,認(rèn)為信息量是以用戶為中心的概念,能對(duì)信息檢索過(guò)程的有效性進(jìn)行評(píng)價(jià),能構(gòu)建傳統(tǒng)評(píng)價(jià)到用戶扮演重要評(píng)價(jià)角色的橋梁,并且克服了傳統(tǒng)方法中認(rèn)為排序中文檔之間獨(dú)立性假設(shè)的不足。Tague-Sutcliffe認(rèn)為,信息檢索系統(tǒng)評(píng)價(jià)應(yīng)以檢索過(guò)程的信息量來(lái)進(jìn)行衡量,提出了信息量的估量方法以及數(shù)學(xué)公式的推導(dǎo)過(guò)程,反映了面向用戶、上下文相關(guān)、對(duì)數(shù)響應(yīng)的特性,用檢索到的詞條信息量來(lái)對(duì)檢索結(jié)果排序,并指出詞條信息量的評(píng)價(jià)方法,而且這些詞條信息量滿足對(duì)數(shù)特性[14-15]。

    信息檢索過(guò)程可從系統(tǒng)(算法)觀和認(rèn)知觀進(jìn)行分析[16],系統(tǒng)觀(“世界1”)主要體現(xiàn)在Cranfield和TREC評(píng)價(jià)模型中,它在實(shí)驗(yàn)室環(huán)境中通過(guò)控制實(shí)驗(yàn)變量和重復(fù)實(shí)驗(yàn)達(dá)到結(jié)果的可靠性,這個(gè)觀點(diǎn)關(guān)注系統(tǒng),并對(duì)用戶、用戶需求、用戶行為做了抽樣假設(shè),為了計(jì)算方便,僅僅考慮系統(tǒng)的局部特征而整體考慮不足[12]。信息檢索用戶的認(rèn)知角度,也就是布魯克斯所提出的“世界2”和“世界3”范疇,它在現(xiàn)實(shí)操作環(huán)境進(jìn)行信息檢索研究中,認(rèn)為信息檢索過(guò)程可描述為認(rèn)知任務(wù)的信息搜索過(guò)程,交互過(guò)程涉及因素多且具有內(nèi)在的復(fù)雜性,關(guān)注用戶信息搜索和檢索、用戶信息交互、人機(jī)交互過(guò)程中的認(rèn)知活動(dòng),認(rèn)知角度試圖對(duì)基本的信息檢索現(xiàn)象和概念做一個(gè)全面的理解,比如信息需求的本質(zhì)、認(rèn)知不一致和檢索重疊、邏輯不確定性、“文檔”的概念、相關(guān)性衡量、實(shí)驗(yàn)環(huán)境設(shè)置等,這里面更多的依賴社會(huì)學(xué)和心理學(xué)的研究方法[17-18],它是物質(zhì)世界(系統(tǒng)或算法觀)到精神世界(認(rèn)知觀)的轉(zhuǎn)換。同時(shí),兩種觀點(diǎn)的融合在不斷增強(qiáng),Borlund[19]指出合并兩種觀點(diǎn)的混合方法是必要的,并繼而提出交互式信息檢索評(píng)價(jià)的框架。Ingwersen等[20]暗示兩者研究中的融合,比如評(píng)價(jià)中共同使用標(biāo)準(zhǔn)的TREC數(shù)據(jù)集,對(duì)相關(guān)性假設(shè)進(jìn)行簡(jiǎn)化等。

    總之,將物質(zhì)世界的信息檢索相關(guān)方法改造移植到精神世界范疇的研究中,雖然學(xué)者們所采用的方法和關(guān)注領(lǐng)域不盡相同,但都是對(duì)信息檢索過(guò)程中精神世界知識(shí)的探索,本文也不例外。

    2傳統(tǒng)評(píng)價(jià)指標(biāo)修正

    傳統(tǒng)的信息檢索評(píng)價(jià)指標(biāo)是“硬指標(biāo)”,是布魯克斯所劃分的“世界1”的外在表現(xiàn),而從用戶認(rèn)知角度出發(fā)的檢索評(píng)價(jià)指標(biāo)可稱為“軟指標(biāo)”,是對(duì)布魯克斯所提到的“世界2”的探索,以及最終轉(zhuǎn)變到“世界3“,是對(duì)傳統(tǒng)評(píng)價(jià)“硬指標(biāo)”的修正。

    3應(yīng)用分析

    在對(duì)傳統(tǒng)評(píng)價(jià)指標(biāo)進(jìn)行改進(jìn)的基礎(chǔ)上,本節(jié)對(duì)其進(jìn)行了應(yīng)用分析。圖2顯示了與某查詢相關(guān)的文檔以及檢索結(jié)果排名前10的文檔,表1給出了前10個(gè)排序位置的召回率和準(zhǔn)確率,分為傳統(tǒng)方法和應(yīng)用對(duì)數(shù)透視法后(即公式(5)、(6))的改進(jìn)方法兩種情況。

    從上面的圖表可以發(fā)現(xiàn),對(duì)于文檔列表的每個(gè)位置,改進(jìn)后的召回率升高,但準(zhǔn)確率降低了,這和召回率升高而準(zhǔn)確率下降或不變的現(xiàn)象相符合。

    通常也可以繪制召回率—準(zhǔn)確率圖。定義標(biāo)準(zhǔn)召回率等級(jí)是0.0~1.0,增量為0.1。插值方法為在任何標(biāo)準(zhǔn)召回率等級(jí)R處,定義準(zhǔn)確率P為[21]:

    P(R)=max{P′;R′≥R∧(R′P′)∈S}

    其中,S是觀察點(diǎn)(R,P)的集合。標(biāo)準(zhǔn)召回率等級(jí)上的準(zhǔn)確率如表2所示,其中,準(zhǔn)確率1表示傳統(tǒng)評(píng)價(jià)方法中的插值,而準(zhǔn)確率2描述了使用對(duì)數(shù)透視法后的插值結(jié)果。圖3為表2圖示后的召回率-準(zhǔn)確率折線圖。

    從圖3可以看出,兩個(gè)折線圖的形狀相當(dāng),都產(chǎn)生了一個(gè)單調(diào)遞減的函數(shù),即準(zhǔn)確率的值隨著召回率的升高而下降或者不變。在TREC8中的Ad hoc任務(wù)中,在50個(gè)查詢上對(duì)每個(gè)標(biāo)準(zhǔn)召回率上的準(zhǔn)確率求算數(shù)平均值,某TREC系統(tǒng)的11點(diǎn)插值召回率-準(zhǔn)確率平均曲線逐漸趨于平滑[21]。同理,隨著查詢數(shù)的不斷增加,改進(jìn)后的正確率-召回率平均曲線也會(huì)逐漸趨于平滑。改進(jìn)后的P@N、AP和MAP也可在上述計(jì)算基礎(chǔ)上進(jìn)行,這里不再贅述。

    從上述的分析得出,相對(duì)傳統(tǒng)的評(píng)價(jià)指標(biāo),改進(jìn)后的評(píng)價(jià)指標(biāo)評(píng)價(jià)效果相當(dāng),但評(píng)價(jià)結(jié)果的數(shù)量級(jí)不同,改進(jìn)后的曲線相當(dāng)于從準(zhǔn)確率1曲線的位置向下移動(dòng)到了準(zhǔn)確率2的位置。同時(shí)發(fā)現(xiàn),同樣的召回率,準(zhǔn)確率2比準(zhǔn)確率1要低,這也說(shuō)明檢索結(jié)果中相關(guān)文檔的信息含量不同,靠后的文檔可能會(huì)產(chǎn)生更多的噪聲。

    4評(píng)價(jià)與總結(jié)

    4.1結(jié)論

    將對(duì)數(shù)透視法則應(yīng)用到信息檢索評(píng)價(jià)中,是基于用戶認(rèn)知角度對(duì)信息檢索評(píng)價(jià)的探索,從中得到了一些好的結(jié)論:

    1)能從用戶認(rèn)知的角度出發(fā)來(lái)對(duì)檢索結(jié)果進(jìn)行評(píng)價(jià),是對(duì)信息檢索結(jié)果評(píng)價(jià)方法的提升和改進(jìn),并且提出了量化方法,符合當(dāng)前研究的方向。

    2)對(duì)用戶來(lái)說(shuō),每篇文獻(xiàn)所包含的情報(bào)量是不同的,用戶吸收文獻(xiàn)的內(nèi)容呈現(xiàn)報(bào)酬遞減規(guī)律,即靠前的文獻(xiàn)能吸收更多的情報(bào)內(nèi)容,而對(duì)于后讀的文獻(xiàn),由于其內(nèi)容必然與前面的文獻(xiàn)有重復(fù)之處,所以獲得的新內(nèi)容就不及靠前的文獻(xiàn)[5]。

    3)通過(guò)對(duì)數(shù)透視法,將通常使用的物理評(píng)價(jià)方法轉(zhuǎn)化到了精神世界范疇的量度。

    4)克服了評(píng)價(jià)中以文獻(xiàn)數(shù)量(假設(shè)每篇文獻(xiàn)包含情報(bào)量相同)為計(jì)量單位的不足,通過(guò)用戶所獲得的情報(bào)量來(lái)對(duì)檢索結(jié)果進(jìn)行評(píng)價(jià)。

    4.2不足

    由于對(duì)數(shù)透視法思想提出的年代較早,后續(xù)可借鑒的研究不多,因此本研究相對(duì)簡(jiǎn)單且存在一些不足的地方:

    1)對(duì)傳統(tǒng)的評(píng)價(jià)方法中的準(zhǔn)確率和召回率,兩個(gè)公式中,分母代表的文獻(xiàn)數(shù)量所包含的情報(bào)量前者不高于后者(只要相關(guān)文檔包含情報(bào),非相關(guān)文檔情報(bào)量為零),因此,對(duì)有準(zhǔn)確率來(lái)說(shuō),分母不適合對(duì)數(shù)法則,但分子通過(guò)對(duì)數(shù)法則后,一般情況下準(zhǔn)確率有所下降,召回率會(huì)有較高的提升,這比較符合準(zhǔn)確率和召回率互逆相關(guān)性(通常情況下)的解釋。這種情況類似于評(píng)價(jià)指標(biāo)(R-precision),該評(píng)價(jià)指標(biāo)中召回率和準(zhǔn)確率相同[22]。

    2)對(duì)數(shù)透視法目前適用于二元的相關(guān)性評(píng)價(jià)指標(biāo)中,在按相關(guān)性排序的方法中也用到了對(duì)數(shù)計(jì)算,其過(guò)程可以看作對(duì)數(shù)透視法則思想變換[4,10,13],兩者之間的關(guān)系還有待于進(jìn)一步研究。

    3)對(duì)數(shù)透視法則中,情報(bào)區(qū)間是一片聯(lián)系的平面空間區(qū)域,但對(duì)于檢索結(jié)果無(wú)序排列的情況,顯然不能得到滿足,但不影響最終計(jì)算結(jié)果。如果檢索結(jié)果是按照相關(guān)度由高到底排序的話,那么用戶所獲得的情報(bào)量比無(wú)序結(jié)果要多的多,對(duì)其評(píng)價(jià)可使用兩次對(duì)數(shù)透視法則[5]。

    4)應(yīng)用結(jié)果顯示,改進(jìn)前后的評(píng)價(jià)指標(biāo)評(píng)價(jià)效果類似,只是數(shù)量級(jí)發(fā)生了變化。因此,兩種評(píng)價(jià)指標(biāo)的適用范圍和環(huán)境還不很清楚。

    總之,從用戶角度來(lái)對(duì)信息檢索結(jié)果進(jìn)行評(píng)價(jià)是研究的一個(gè)熱點(diǎn),對(duì)數(shù)透視法只是提供了一種新的研究方法。由于對(duì)數(shù)透視法提出較為宏觀,筆者對(duì)其思想把握深度還不夠,因此,研究過(guò)程中,理論研究擴(kuò)展不強(qiáng),分析方法和數(shù)據(jù)收集還較為簡(jiǎn)單,說(shuō)服力還不夠,對(duì)于其適用性和可靠性還需一定的探索。

    參考文獻(xiàn)

    [1]Voorhees E M.Evaluation by Highly Relevant Documents[C]∥Proceedings of the 24th Annual International ACM SIGIR Conference,New Orleans,Louisiana,2001:74-82.

    [2]Manning C D,Raghavan P,Schutez H,et al.Introduction to Information Retrieval[M].Cambridge University Press,2008.

    [3]Jrvelin K,Keklinen J.Cumulated Gain-based Evaluation of IR Techniques[C]∥ACM Transactions on Information Systems,2002,20(4):422-446.

    [4]Brookes B C.The foundations of information science:Part Ⅲ.Quantitative aspects:objective maps and subjective landscapes[J].Journal of Information Science,1980:269-275.

    [5]馬費(fèi)成.論布魯克斯情報(bào)學(xué)的定量方法[J].情報(bào)科學(xué),1983,(4):1-9.

    [6]馬費(fèi)成.論情報(bào)學(xué)的基本原理及理論體系構(gòu)建[J].情報(bào)學(xué)報(bào),2007,26(1):3-13.

    [7]婁銀銀,劉春茂.布氏情報(bào)學(xué)思想對(duì)網(wǎng)絡(luò)信息檢索結(jié)果的認(rèn)識(shí)優(yōu)化[J].情報(bào)雜志,2008,27(8):61-63.

    [8]肖楠,任全娥,胡鳳.網(wǎng)絡(luò)環(huán)境下的對(duì)數(shù)透視原理[J].圖書情報(bào)知識(shí),2007,(3):60-64.

    [9]鄧慧敏.基于網(wǎng)絡(luò)鏈接分析的對(duì)數(shù)透視原理的適用性探討[J].中山大學(xué)研究生學(xué)刊:社會(huì)科學(xué)版,2013,34(3):51-61.

    [10]Robertson S.On smoothing average precision[M]∥Advances in Information Retrieval.Springer Berlin Heidelberg,2012:158-169.

    [11]Cormack G V,Lynam T R.Statistical precision of information retrieval evaluation[C]∥Proceedings of the 29th annual international ACM SIGIR conference on Research and development in information retrieval.ACM,2006:533-540.

    [12]Kelly D.Methods for evaluating interactive information retrieval systems with users[J].Foundations and Trends in Information Retrieval,2009,3(1-2):1-224.

    [13]Freund L,Toms E G.Revisiting informativeness as a process measure for information interaction[J].Decision Analysis,2004,3(3):70-90.

    [14]Tague-Sutcliffe J.Measuring the informativeness of a retrieval process[C]∥Proceedings of the 15th annual International ACM SIGIR Conference on Research and development in information retrieval.ACM,1992:23-36.

    [15]Tague-Sutcliffe J,Hayes R M.Measuring information:An information services perspective[J].Library Quarterly,1996,66(2):222-222.

    [16]Ingwersen P,Willett P.An introduction to algorithmic and cognitive approaches for information retrieval[J].Libri,1995,45(3-4):160-177.

    [17]Ingwersen P.Cognitive perspectives of information retrieval interaction:elements of a cognitive IR theory[J].Journal of documentation,1996,52(1):3-50.

    [18]Sutcliffe A,Ennis M.Towards a cognitive theory of information retrieval[J].Interacting with computers,1998,10(3):321-351.

    [19]Borlund P.The IIR evaluation model:a framework for evaluation of interactive information retrieval systems[EB/OL].http:∥www.informationr.net/ir/8-3/paper152.html,2016-04-20.

    [20]Ingwersen P,Jrvelin K.The turn:Integration of information seeking and retrieval in context[M].Springer Science & Business Media,2006.

    [21](美)Croft W B,等.搜索引擎-信息檢索實(shí)踐[M].劉挺,等譯.北京:機(jī)械工業(yè)出版社,2010.

    [22]Aslam J A,Yilmaz E,Pavlu V.A geometric interpretation of r-precision and its correlation with average precision[C]∥Proceedings of the 28th annual international ACM SIGIR conference on Research and development in information retrieval.ACM,2005:573-574.

    (本文責(zé)任編輯:郭沫含)

    猜你喜歡
    信息檢索評(píng)價(jià)指標(biāo)
    基于同態(tài)加密支持模糊查詢的高效隱私信息檢索協(xié)議
    旅游產(chǎn)業(yè)與文化產(chǎn)業(yè)融合理論與實(shí)證分析
    中國(guó)藥品安全綜合評(píng)價(jià)指標(biāo)體系研究
    第三方物流企業(yè)績(jī)效評(píng)價(jià)研究綜述
    商(2016年33期)2016-11-24 23:50:25
    基于UML的高校思想政治教育工作評(píng)價(jià)系統(tǒng)的分析與研究
    公共文化服務(wù)體系評(píng)價(jià)指標(biāo)的國(guó)際經(jīng)驗(yàn)與啟示
    資源型企業(yè)財(cái)務(wù)競(jìng)爭(zhēng)力評(píng)價(jià)研究
    醫(yī)學(xué)期刊編輯中文獻(xiàn)信息檢索的應(yīng)用
    新聞傳播(2016年18期)2016-07-19 10:12:06
    在網(wǎng)絡(luò)環(huán)境下高職院校開(kāi)設(shè)信息檢索課的必要性研究
    新聞傳播(2016年11期)2016-07-10 12:04:01
    基于神經(jīng)網(wǎng)絡(luò)的個(gè)性化信息檢索模型研究
    精品国产乱子伦一区二区三区| 精品久久久久久久久久久久久 | 亚洲美女黄片视频| 免费搜索国产男女视频| 久久香蕉精品热| 亚洲一区高清亚洲精品| 在线永久观看黄色视频| 亚洲人成网站高清观看| 久久久久久久午夜电影| 国产精品免费视频内射| 国产成人av教育| 一二三四社区在线视频社区8| 黑人巨大精品欧美一区二区mp4| 别揉我奶头~嗯~啊~动态视频| 久热这里只有精品99| 亚洲av五月六月丁香网| 午夜久久久久精精品| 一个人免费在线观看的高清视频| 香蕉av资源在线| 亚洲自拍偷在线| 久久久久久免费高清国产稀缺| 欧美乱码精品一区二区三区| www.熟女人妻精品国产| 亚洲一区高清亚洲精品| 久9热在线精品视频| 99国产精品一区二区蜜桃av| 91成年电影在线观看| 久久精品夜夜夜夜夜久久蜜豆 | 无人区码免费观看不卡| 视频在线观看一区二区三区| 天天添夜夜摸| 欧美激情 高清一区二区三区| 老汉色∧v一级毛片| 欧美精品啪啪一区二区三区| 精品卡一卡二卡四卡免费| 正在播放国产对白刺激| 亚洲成国产人片在线观看| 亚洲人成电影免费在线| 嫩草影院精品99| 国产午夜精品久久久久久| 国产私拍福利视频在线观看| 一区二区日韩欧美中文字幕| 午夜福利在线在线| 老熟妇仑乱视频hdxx| 白带黄色成豆腐渣| 国产精品一区二区免费欧美| 丰满人妻熟妇乱又伦精品不卡| 高清在线国产一区| 亚洲国产中文字幕在线视频| 午夜久久久在线观看| 国产成人欧美在线观看| 很黄的视频免费| 欧美日韩福利视频一区二区| 人成视频在线观看免费观看| 天天添夜夜摸| www.自偷自拍.com| 免费在线观看视频国产中文字幕亚洲| 国产精品永久免费网站| 国产久久久一区二区三区| 亚洲成国产人片在线观看| 十分钟在线观看高清视频www| 国产熟女午夜一区二区三区| 大型av网站在线播放| 女生性感内裤真人,穿戴方法视频| 波多野结衣高清无吗| 亚洲精品在线美女| 日韩欧美一区视频在线观看| 成人国产综合亚洲| 99国产精品一区二区三区| 中文字幕高清在线视频| 91老司机精品| 最近在线观看免费完整版| 成人免费观看视频高清| 午夜福利一区二区在线看| 免费看a级黄色片| 久久婷婷成人综合色麻豆| 黑人操中国人逼视频| 丰满人妻熟妇乱又伦精品不卡| 午夜福利成人在线免费观看| x7x7x7水蜜桃| 国产成人av教育| 好男人在线观看高清免费视频 | 日韩有码中文字幕| 久久精品91无色码中文字幕| 免费看十八禁软件| 啪啪无遮挡十八禁网站| 欧美黑人巨大hd| 欧美黑人巨大hd| 亚洲国产精品成人综合色| 国产精品av久久久久免费| 美女高潮到喷水免费观看| 亚洲国产欧洲综合997久久, | 99热6这里只有精品| 人人妻人人澡人人看| 别揉我奶头~嗯~啊~动态视频| 欧美日韩一级在线毛片| av福利片在线| 久久香蕉激情| 国产欧美日韩一区二区精品| 亚洲人成电影免费在线| 国产视频内射| 麻豆成人午夜福利视频| 精品欧美国产一区二区三| 91国产中文字幕| 性色av乱码一区二区三区2| 免费高清视频大片| 88av欧美| ponron亚洲| 女同久久另类99精品国产91| 一级毛片精品| 人妻久久中文字幕网| 亚洲欧美激情综合另类| 精品欧美国产一区二区三| 午夜激情福利司机影院| 欧美乱妇无乱码| 午夜福利视频1000在线观看| 在线观看午夜福利视频| 免费搜索国产男女视频| 满18在线观看网站| av视频在线观看入口| 一夜夜www| 国产精品日韩av在线免费观看| 两个人免费观看高清视频| 久久国产乱子伦精品免费另类| 欧美av亚洲av综合av国产av| 日韩成人在线观看一区二区三区| 999久久久国产精品视频| 黄色 视频免费看| 精品国产亚洲在线| 亚洲欧美精品综合一区二区三区| 精品一区二区三区视频在线观看免费| 女同久久另类99精品国产91| 欧美三级亚洲精品| 黄色成人免费大全| 老熟妇乱子伦视频在线观看| 又紧又爽又黄一区二区| 欧美精品啪啪一区二区三区| 岛国在线观看网站| 色婷婷久久久亚洲欧美| 久久久久国产精品人妻aⅴ院| 欧美日韩瑟瑟在线播放| 无限看片的www在线观看| 亚洲一区中文字幕在线| 亚洲国产精品合色在线| 国产精品99久久99久久久不卡| 欧美不卡视频在线免费观看 | 久久国产精品人妻蜜桃| 欧美大码av| 男女那种视频在线观看| 日日爽夜夜爽网站| 国产1区2区3区精品| 免费在线观看视频国产中文字幕亚洲| 欧美性长视频在线观看| 天天一区二区日本电影三级| 热re99久久国产66热| 国产激情欧美一区二区| 国产精品电影一区二区三区| 久久热在线av| 午夜福利成人在线免费观看| 成人三级做爰电影| av有码第一页| 变态另类丝袜制服| 精品国产乱码久久久久久男人| 搡老妇女老女人老熟妇| 视频在线观看一区二区三区| 中国美女看黄片| 免费搜索国产男女视频| 中文字幕另类日韩欧美亚洲嫩草| 午夜亚洲福利在线播放| 啪啪无遮挡十八禁网站| 免费搜索国产男女视频| 精品免费久久久久久久清纯| 久久人妻福利社区极品人妻图片| 丝袜美腿诱惑在线| 国产一区二区在线av高清观看| 国产一区二区激情短视频| 两个人视频免费观看高清| 国产成人精品久久二区二区91| 亚洲七黄色美女视频| 久久精品影院6| 亚洲av成人av| 十八禁网站免费在线| 丝袜美腿诱惑在线| 99国产精品一区二区蜜桃av| 亚洲精品粉嫩美女一区| 中文字幕av电影在线播放| 人人妻人人澡人人看| 黄频高清免费视频| 51午夜福利影视在线观看| 亚洲激情在线av| 久久中文看片网| 1024香蕉在线观看| 国产精品日韩av在线免费观看| 亚洲人成77777在线视频| 久久中文字幕人妻熟女| 精品免费久久久久久久清纯| 好男人在线观看高清免费视频 | 国产精品国产高清国产av| 国产亚洲精品久久久久久毛片| 日韩免费av在线播放| 亚洲美女黄片视频| avwww免费| 午夜免费观看网址| 久久精品国产清高在天天线| 国产午夜精品久久久久久| 90打野战视频偷拍视频| 欧美性猛交╳xxx乱大交人| 最近最新中文字幕大全免费视频| 久久性视频一级片| 无人区码免费观看不卡| 老司机福利观看| 成人精品一区二区免费| 不卡av一区二区三区| 大型黄色视频在线免费观看| 男女下面进入的视频免费午夜 | 久久久久九九精品影院| 国产日本99.免费观看| 一本精品99久久精品77| 中文资源天堂在线| 精品一区二区三区视频在线观看免费| 午夜影院日韩av| 日本精品一区二区三区蜜桃| 成人午夜高清在线视频 | 中文资源天堂在线| av免费在线观看网站| 神马国产精品三级电影在线观看 | 午夜影院日韩av| 国产精品一区二区三区四区久久 | 久久久久久亚洲精品国产蜜桃av| 精品久久久久久成人av| 黑人欧美特级aaaaaa片| 亚洲一区二区三区不卡视频| 亚洲五月色婷婷综合| 久久久久久人人人人人| 国产在线观看jvid| 色综合亚洲欧美另类图片| 欧美激情极品国产一区二区三区| av在线天堂中文字幕| 黄频高清免费视频| 香蕉国产在线看| 国产极品粉嫩免费观看在线| 97超级碰碰碰精品色视频在线观看| 欧美一级毛片孕妇| 亚洲人成网站高清观看| 中文字幕av电影在线播放| 搡老熟女国产l中国老女人| 777久久人妻少妇嫩草av网站| 亚洲人成网站在线播放欧美日韩| 欧美成人午夜精品| 少妇 在线观看| 欧美+亚洲+日韩+国产| 欧美午夜高清在线| 国产男靠女视频免费网站| 免费在线观看影片大全网站| 久久久久久九九精品二区国产 | 久久精品国产综合久久久| 亚洲国产精品sss在线观看| 在线免费观看的www视频| 亚洲中文av在线| 一边摸一边抽搐一进一小说| 国产成人一区二区三区免费视频网站| 亚洲欧美精品综合久久99| 精品国内亚洲2022精品成人| 无限看片的www在线观看| 嫩草影视91久久| avwww免费| 国产成人精品久久二区二区91| 夜夜夜夜夜久久久久| 欧美大码av| 人人澡人人妻人| 精品国产超薄肉色丝袜足j| 大型黄色视频在线免费观看| 国产亚洲精品第一综合不卡| 欧美性猛交黑人性爽| 亚洲成av人片免费观看| 熟女少妇亚洲综合色aaa.| 亚洲中文日韩欧美视频| 日本成人三级电影网站| 欧美av亚洲av综合av国产av| 久久天堂一区二区三区四区| 免费观看人在逋| 亚洲成人久久爱视频| 免费在线观看黄色视频的| 久久九九热精品免费| 欧美中文综合在线视频| 欧美不卡视频在线免费观看 | 免费在线观看视频国产中文字幕亚洲| 亚洲三区欧美一区| 国内揄拍国产精品人妻在线 | 国产成人一区二区三区免费视频网站| 50天的宝宝边吃奶边哭怎么回事| 欧美不卡视频在线免费观看 | 美女大奶头视频| 亚洲精品美女久久久久99蜜臀| 国产成人精品无人区| 国产成人欧美在线观看| 亚洲专区字幕在线| 好男人电影高清在线观看| 国产午夜精品久久久久久| 国产av又大| 久久人妻av系列| 熟女电影av网| 国产精品久久久久久精品电影 | 色婷婷久久久亚洲欧美| 国产av在哪里看| 亚洲狠狠婷婷综合久久图片| 老司机午夜十八禁免费视频| 一级毛片高清免费大全| 999久久久精品免费观看国产| 18禁国产床啪视频网站| a级毛片在线看网站| 午夜福利成人在线免费观看| 欧美性长视频在线观看| 日韩成人在线观看一区二区三区| 国产亚洲欧美在线一区二区| 精品欧美国产一区二区三| 最新美女视频免费是黄的| 午夜激情av网站| 91成人精品电影| 天天添夜夜摸| 国内精品久久久久久久电影| 可以在线观看毛片的网站| 国产一级毛片七仙女欲春2 | 两人在一起打扑克的视频| 波多野结衣巨乳人妻| 女同久久另类99精品国产91| 美女免费视频网站| 免费女性裸体啪啪无遮挡网站| 欧美色欧美亚洲另类二区| 日日爽夜夜爽网站| 欧美三级亚洲精品| 国产不卡一卡二| 亚洲av第一区精品v没综合| 午夜激情福利司机影院| 久久 成人 亚洲| 少妇粗大呻吟视频| 亚洲熟妇熟女久久| 可以在线观看的亚洲视频| 一本精品99久久精品77| 久久香蕉精品热| 亚洲av美国av| 十八禁人妻一区二区| 高潮久久久久久久久久久不卡| 欧美亚洲日本最大视频资源| 日本精品一区二区三区蜜桃| 欧美色视频一区免费| 制服人妻中文乱码| 亚洲中文字幕日韩| 黄片小视频在线播放| 亚洲黑人精品在线| 欧美久久黑人一区二区| 少妇 在线观看| 男女床上黄色一级片免费看| 日韩有码中文字幕| 成人精品一区二区免费| 日韩精品青青久久久久久| 黄色视频,在线免费观看| 亚洲一区高清亚洲精品| 精品高清国产在线一区| 日本五十路高清| 天堂√8在线中文| 欧美人与性动交α欧美精品济南到| 怎么达到女性高潮| 熟女电影av网| 国产成年人精品一区二区| 欧美色视频一区免费| 最近最新中文字幕大全电影3 | 免费看a级黄色片| 免费观看人在逋| 色综合欧美亚洲国产小说| 亚洲国产精品合色在线| 日韩欧美一区二区三区在线观看| 亚洲精品一区av在线观看| 亚洲精品国产精品久久久不卡| 最新在线观看一区二区三区| 日韩国内少妇激情av| 午夜福利欧美成人| 满18在线观看网站| 精品久久久久久久久久久久久 | 国产欧美日韩一区二区三| 丝袜人妻中文字幕| 精品第一国产精品| 999久久久国产精品视频| 免费看美女性在线毛片视频| 国产97色在线日韩免费| 欧美性长视频在线观看| 精品国产美女av久久久久小说| 国产av又大| 欧美乱码精品一区二区三区| 午夜福利欧美成人| 国产精品 国内视频| 国产单亲对白刺激| 在线观看免费视频日本深夜| 亚洲熟妇熟女久久| 精品午夜福利视频在线观看一区| 精品高清国产在线一区| 国产一级毛片七仙女欲春2 | 美女扒开内裤让男人捅视频| 国产精品亚洲一级av第二区| 哪里可以看免费的av片| 99热6这里只有精品| 搞女人的毛片| 黄色女人牲交| 18禁黄网站禁片午夜丰满| 亚洲一区二区三区不卡视频| 99re在线观看精品视频| 久久精品成人免费网站| 人妻丰满熟妇av一区二区三区| 神马国产精品三级电影在线观看 | 宅男免费午夜| 可以在线观看的亚洲视频| 又黄又粗又硬又大视频| 男女下面进入的视频免费午夜 | 亚洲精品国产一区二区精华液| 亚洲中文字幕日韩| 成人免费观看视频高清| 亚洲一区高清亚洲精品| 久久久久国产精品人妻aⅴ院| 国产精品香港三级国产av潘金莲| 俺也久久电影网| 久久 成人 亚洲| 精华霜和精华液先用哪个| 亚洲精品久久国产高清桃花| 亚洲欧洲精品一区二区精品久久久| 亚洲精品国产区一区二| 天天添夜夜摸| 高清在线国产一区| 欧美日韩黄片免| 波多野结衣高清作品| 热99re8久久精品国产| 757午夜福利合集在线观看| 一区二区日韩欧美中文字幕| 国产麻豆成人av免费视频| 欧美性长视频在线观看| 国产精品,欧美在线| 好男人在线观看高清免费视频 | 国产精品国产高清国产av| 少妇被粗大的猛进出69影院| 欧美日韩一级在线毛片| 麻豆一二三区av精品| 国产av在哪里看| cao死你这个sao货| 法律面前人人平等表现在哪些方面| 久久精品91蜜桃| 变态另类丝袜制服| 亚洲人成伊人成综合网2020| 曰老女人黄片| 久久香蕉国产精品| 久久久国产成人精品二区| 欧美不卡视频在线免费观看 | 欧美激情 高清一区二区三区| 亚洲成人久久爱视频| 不卡av一区二区三区| АⅤ资源中文在线天堂| 国产亚洲欧美98| 欧美三级亚洲精品| 久久中文字幕人妻熟女| 日韩欧美在线二视频| 亚洲精品中文字幕在线视频| 视频区欧美日本亚洲| 丰满人妻熟妇乱又伦精品不卡| 999精品在线视频| 亚洲精品美女久久av网站| 久久久久国产一级毛片高清牌| 一进一出抽搐gif免费好疼| av有码第一页| 法律面前人人平等表现在哪些方面| 悠悠久久av| 天天添夜夜摸| 夜夜躁狠狠躁天天躁| 男女下面进入的视频免费午夜 | 国产日本99.免费观看| 男男h啪啪无遮挡| 99re在线观看精品视频| 午夜亚洲福利在线播放| 免费看日本二区| 欧美成人午夜精品| 一夜夜www| 日日爽夜夜爽网站| 黄色女人牲交| 99久久国产精品久久久| 精品国产超薄肉色丝袜足j| 亚洲av熟女| 日韩大尺度精品在线看网址| 欧美av亚洲av综合av国产av| 成年人黄色毛片网站| 女性被躁到高潮视频| 亚洲激情在线av| 免费在线观看亚洲国产| 色哟哟哟哟哟哟| 白带黄色成豆腐渣| 天天添夜夜摸| 亚洲精品av麻豆狂野| 久久精品国产清高在天天线| 免费看日本二区| av天堂在线播放| 国产欧美日韩一区二区精品| 国产精品国产高清国产av| 久久久国产精品麻豆| 我的亚洲天堂| 91麻豆精品激情在线观看国产| 免费看日本二区| 国产精品影院久久| 99riav亚洲国产免费| 亚洲自偷自拍图片 自拍| 天堂√8在线中文| 久久午夜综合久久蜜桃| 色在线成人网| 18禁黄网站禁片午夜丰满| 亚洲中文字幕一区二区三区有码在线看 | 国产亚洲精品久久久久久毛片| 美女高潮到喷水免费观看| svipshipincom国产片| 国产在线观看jvid| 在线看三级毛片| 少妇粗大呻吟视频| 丝袜人妻中文字幕| 精品福利观看| 69av精品久久久久久| 黑人操中国人逼视频| 99在线人妻在线中文字幕| 91大片在线观看| 久热这里只有精品99| 亚洲成国产人片在线观看| 亚洲专区中文字幕在线| 久久亚洲真实| 韩国av一区二区三区四区| 亚洲精品美女久久av网站| 久久久久久久久免费视频了| 国内揄拍国产精品人妻在线 | 免费观看精品视频网站| 18禁国产床啪视频网站| 99热这里只有精品一区 | 十八禁人妻一区二区| 国产免费男女视频| 亚洲人成77777在线视频| 91老司机精品| 岛国视频午夜一区免费看| 亚洲第一电影网av| 国产又爽黄色视频| 狂野欧美激情性xxxx| 日韩精品青青久久久久久| 91国产中文字幕| 亚洲三区欧美一区| 1024视频免费在线观看| 亚洲av五月六月丁香网| 搡老妇女老女人老熟妇| 国产成人精品久久二区二区免费| 亚洲精品美女久久av网站| 成人18禁高潮啪啪吃奶动态图| 国产欧美日韩一区二区三| 亚洲第一欧美日韩一区二区三区| 自线自在国产av| 午夜精品久久久久久毛片777| 成人av一区二区三区在线看| 麻豆成人午夜福利视频| 欧美亚洲日本最大视频资源| 国产欧美日韩一区二区精品| 国产99白浆流出| 给我免费播放毛片高清在线观看| 日本黄色视频三级网站网址| 亚洲国产欧美一区二区综合| 一本大道久久a久久精品| 女性生殖器流出的白浆| 丁香六月欧美| 天堂√8在线中文| 亚洲在线自拍视频| 亚洲av美国av| 脱女人内裤的视频| 久久精品影院6| 亚洲欧洲精品一区二区精品久久久| 一a级毛片在线观看| 老司机福利观看| 少妇被粗大的猛进出69影院| 成人三级做爰电影| av欧美777| www.熟女人妻精品国产| 国产91精品成人一区二区三区| 精品久久久久久久久久久久久 | 欧美激情高清一区二区三区| 99久久99久久久精品蜜桃| 丝袜美腿诱惑在线| 又黄又粗又硬又大视频| 51午夜福利影视在线观看| 老熟妇乱子伦视频在线观看| 最近最新中文字幕大全免费视频| 亚洲午夜精品一区,二区,三区| 视频在线观看一区二区三区| 亚洲人成网站在线播放欧美日韩| 色精品久久人妻99蜜桃| 黄网站色视频无遮挡免费观看| 亚洲五月婷婷丁香| 黄网站色视频无遮挡免费观看| 成人手机av| 欧美日韩黄片免| 一级作爱视频免费观看| 波多野结衣高清无吗| 精品无人区乱码1区二区| 亚洲国产高清在线一区二区三 | 午夜福利一区二区在线看| 精品熟女少妇八av免费久了| 国产亚洲精品一区二区www| 国产主播在线观看一区二区| 非洲黑人性xxxx精品又粗又长| 久久人妻av系列| 精品人妻1区二区| 免费人成视频x8x8入口观看| 欧美性长视频在线观看| 日韩欧美免费精品| 99国产精品一区二区三区| 欧美日韩乱码在线| 亚洲va日本ⅴa欧美va伊人久久| 91成年电影在线观看| 看片在线看免费视频| videosex国产|