推薦系統(tǒng)用于知識(shí)工作者的系統(tǒng)文獻(xiàn)分析

蘇曉勃,丁國棟,張明龍

(1.西安航空學(xué)院 a.電子工程學(xué)院 b.計(jì)算機(jī)學(xué)院，西安 710077； 2.大唐移動(dòng)通信設(shè)備有限公司西安分公司，西安 710061)

0 引言

近年來，協(xié)作性知識(shí)工作正日益成為發(fā)達(dá)國家的主要工作類型。知識(shí)型工作者利用專業(yè)知識(shí)、技能和經(jīng)驗(yàn)，每天都要處理各種要求高、變化多的工作內(nèi)容。“知識(shí)工作者(Knowledge worker)”一詞最早由Peter Drucker提出[1]。后來Thomas Davenport依據(jù)數(shù)字時(shí)代的新特征，對(duì)其含義進(jìn)行了重新提煉。Davenport認(rèn)為，知識(shí)工作者是受過良好教育，具有高度專業(yè)知識(shí)和經(jīng)驗(yàn)的人。他指出，知識(shí)工作者工作的主要目的是創(chuàng)造、傳播或應(yīng)用知識(shí)，知識(shí)工作者以思考為生[2]。知識(shí)工作者在日常生活中比比皆是，例如工程師、顧問、分析師、管理者、科學(xué)家、醫(yī)生、律師、建筑師等。在實(shí)踐中，知識(shí)工作者經(jīng)常會(huì)遇到信息過載的困擾，因?yàn)樗麄儽仨殢拇罅吭鲩L(zhǎng)的信息中手動(dòng)挑選相關(guān)信息[3]。這種情況極大地阻礙了知識(shí)工作者的生產(chǎn)力。

與此同時(shí)，在過去的十幾年里，推薦系統(tǒng)(例如亞馬遜的“買了這個(gè)東西的顧客也買了”)在人們的日常生活中占據(jù)了日益穩(wěn)固的位置，也改變了人們的日常購物習(xí)慣和上網(wǎng)體驗(yàn)。推薦系統(tǒng)被設(shè)計(jì)用來推薦用戶感興趣的項(xiàng)目，越來越多的研究人員開始研究利用推薦系統(tǒng)支持知識(shí)工作者對(duì)信息的需求。也就是說，研究一個(gè)推薦系統(tǒng)，不需要讓知識(shí)工作者手動(dòng)搜索與任務(wù)相關(guān)的信息，就可以主動(dòng)推薦他感興趣的項(xiàng)目。

通過系統(tǒng)的文獻(xiàn)分析對(duì)已有的研究成果進(jìn)行分析總結(jié)，能夠?yàn)楹罄m(xù)研究提供借鑒和指導(dǎo)。系統(tǒng)文獻(xiàn)分析的基本思想是基于出版物的選擇和排除策略，篩選出待進(jìn)一步研究的文檔范圍，并通過提出的研究性問題對(duì)待研究的文獻(xiàn)進(jìn)行分析、整理和總結(jié)，最終得到待研究領(lǐng)域的概況和分析建議。

1 相關(guān)工作

1.1 系統(tǒng)文獻(xiàn)分析方法概述

Anders Kofod Petersen提出并發(fā)展了一套系統(tǒng)的文獻(xiàn)分析方法，即通過有序的系統(tǒng)性的提問在現(xiàn)有的文獻(xiàn)成果中找到需要的信息[4]，稱之為系統(tǒng)性的文獻(xiàn)回顧(Structured Literature Review，SLR)。采用SLR方法可以有效避免方法錯(cuò)誤，并有利于研究者迅速了解相關(guān)研究領(lǐng)域，此外還有助于識(shí)別和標(biāo)注已有研究存在的空白，從而協(xié)助研究者聚焦需要進(jìn)一步研究的領(lǐng)域。

1.1.1 出版物的選擇

為了快速找到與研究?jī)?nèi)容相關(guān)的完整文獻(xiàn)，主要針對(duì)電子文獻(xiàn)庫中的文獻(xiàn)進(jìn)行了檢索，同時(shí)因?yàn)樵谠摻徊骖I(lǐng)域中文資料較少，因此主要針對(duì)外文數(shù)據(jù)庫進(jìn)行了檢索。文獻(xiàn)庫的選擇是基于在信息技術(shù)和推薦系統(tǒng)領(lǐng)域內(nèi)其他權(quán)威機(jī)構(gòu)評(píng)價(jià)和引用的基礎(chǔ)上進(jìn)行的，在其他研究中被引用的頻率越高，文獻(xiàn)庫作為具有專業(yè)影響力的重要角色的可能性就越大。

表1 文獻(xiàn)檢索結(jié)果

選擇的文獻(xiàn)庫有：ACM Digital library CiteSeerX、IEEEXplore、Wiley、Science Direct和Springer。為了找到有價(jià)值的內(nèi)容，使用了不同的關(guān)鍵詞試查，基于試查結(jié)果對(duì)關(guān)鍵詞進(jìn)行反復(fù)分析和重新試查，排除了knowledge work，knowledge management，knowledge mining等詞，因?yàn)榛谶@些詞的檢索結(jié)果集中在與問題無關(guān)或?qū)鉀Q問題貢獻(xiàn)不大的領(lǐng)域，最終選擇了7個(gè)具有代表性的關(guān)鍵詞作為檢索的基礎(chǔ)。這七個(gè)關(guān)鍵詞分別是：information filtering、recommend system、recommendation system、recommendation engine、recommendation platform、knowledge worker和 findability。各個(gè)文獻(xiàn)庫的檢索結(jié)果，共有275篇文獻(xiàn)(見表1)。

為了得到與待解決問題最相關(guān)的文章和研究，對(duì)搜索結(jié)果進(jìn)行了過濾，整套過濾規(guī)則包括了納入標(biāo)準(zhǔn)和質(zhì)量規(guī)則，在本系統(tǒng)文獻(xiàn)分析中，基于SLR的方法和通用準(zhǔn)則對(duì)納入標(biāo)準(zhǔn)和質(zhì)量規(guī)則進(jìn)行了定義。其中納入標(biāo)準(zhǔn)是文獻(xiàn)必須滿足的5個(gè)條件：文獻(xiàn)必須同時(shí)對(duì)推薦系統(tǒng)和知識(shí)工作者進(jìn)行了研究；研究必須至少是一個(gè)完整的章節(jié)；必須用英文或中文編寫；研究具有創(chuàng)新性；研究可以被借鑒。質(zhì)量規(guī)則是論文必須滿足的6個(gè)質(zhì)量條件：研究目的是否明確；是否能證明解決方案的合理性；研究是否可以被重復(fù)；思路是否清晰；結(jié)論是否清楚；采用的測(cè)試技術(shù)是否合理。

通過對(duì)275篇文獻(xiàn)進(jìn)行篩選，選擇符合納入標(biāo)準(zhǔn)和質(zhì)量規(guī)則的結(jié)果，最終篩選出14項(xiàng)研究成果[5]-[18]作為文獻(xiàn)分析的主要基礎(chǔ)。

1.1.2 研究方法

為了便于進(jìn)一步深入研究與分析，通過提問的方式定義了5個(gè)待研究的問題(Research Question，RQ)，通過這些問題對(duì)篩選出的文獻(xiàn)進(jìn)行整理分析，從而得到用于知識(shí)工作者場(chǎng)景的推薦系統(tǒng)的研究概況以及分析建議。

RQ1推薦算法選擇：各研究中采用了哪些推薦算法、其特點(diǎn)是什么？

RQ2推薦依據(jù)：系統(tǒng)基于什么信息來提出建議？

RQ3結(jié)果輸出形式：系統(tǒng)以那種形式呈現(xiàn)推薦結(jié)果？

RQ4測(cè)試方法：系統(tǒng)的測(cè)試方法基于仿真、現(xiàn)有測(cè)試集還是真實(shí)用戶？

RQ5評(píng)估準(zhǔn)則：系統(tǒng)性能的評(píng)估準(zhǔn)則和指標(biāo)？

1.2 現(xiàn)有推薦算法概述

分析篩選出的文獻(xiàn)，主要采用了協(xié)同過濾推薦、基于內(nèi)容的推薦和組合推薦三種主流推薦算法。

協(xié)同過濾推薦(Collaborative Filtering，CF)的基本思想是假設(shè)一組用戶有相同或相似的興趣愛好(例如觀看了相同電影)，那么就可以假設(shè)他們將會(huì)對(duì)相同的事物感興趣?；诖?，該技術(shù)并不需要深入了解研究對(duì)象本身，無需提前在系統(tǒng)中為每個(gè)信息單元手動(dòng)輸入對(duì)應(yīng)的對(duì)象數(shù)據(jù)。CF存在的主要問題之一是冷啟動(dòng)問題， 即當(dāng)用戶第一次進(jìn)入CF系統(tǒng)時(shí)，系統(tǒng)中沒有任何關(guān)于這個(gè)新用戶的信息，也無法判斷誰是相似用戶，因此不能給出任何推薦。

其統(tǒng)計(jì)預(yù)測(cè)方法的計(jì)算公式可用下式表示[19]：

rc,s=aggrrc′,s(c′∈C) (1)

式中，c為新用戶，c′為c的相似用戶，s為評(píng)價(jià)對(duì)象，C是所有用戶(user)的集合。rc′,s是用戶之間相似度的計(jì)算，aggrr為對(duì)所有與用戶c相似的用戶c′對(duì)對(duì)象s的評(píng)分進(jìn)聚合運(yùn)算。

基于內(nèi)容的過濾(Content Based Filtering，CBF)是基于對(duì)象特征的推薦系統(tǒng)，這些特征包含了對(duì)事物的描述以及系統(tǒng)所關(guān)注的重點(diǎn)。如果將其與來自CF描述的電影示例進(jìn)行比較，那么在CBF的情況下，它可能是電影的類型、主題或制片人等。例如，用戶正在觀看喜劇類型的電影，則系統(tǒng)隨后可能也會(huì)推薦此類別的其他電影。這種方法有兩個(gè)明顯的優(yōu)點(diǎn)：首先，它不需要龐大的用戶群來獲得足夠的推薦準(zhǔn)確率；此外，新事物一出現(xiàn)就可以立即推薦。但是其缺點(diǎn)也同樣明顯，即自動(dòng)化的特征提取方法很難應(yīng)用于多媒體數(shù)據(jù)[20]。CBF的效用函數(shù)可以定義為：

u(c,s)=score(ContentBasedProfile(c).Content(s)) (2)

式中，C是所有用戶(user)的集合，c∈C；S是所有可以推薦給用戶的對(duì)象(object)的集合，s∈S；Content(s)為對(duì)象內(nèi)容特征；ContentBasedProfile(c)為用戶的資料模型。

如果使用最簡(jiǎn)單的向量夾角余弦的距離計(jì)算方法，則可以表示為：

組合推薦(Hybrid，H)是由CF和CBF合并組成的系統(tǒng)。因?yàn)镃F和CBF都有各自的優(yōu)缺點(diǎn)，如果有一個(gè)系統(tǒng)能根據(jù)需要選擇對(duì)應(yīng)的方法，那么系統(tǒng)將能夠根據(jù)請(qǐng)求以及系統(tǒng)中存在的信息來選擇最優(yōu)的方法。例如，組合推薦的系統(tǒng)可以對(duì)新事物或新用戶采用CBF來推薦，從而解決CF的冷啟動(dòng)問題，在積累了一定數(shù)量的用戶信息后切換為CF。

2 系統(tǒng)文獻(xiàn)分析

2.1 推薦算法選擇

對(duì)篩選出的14篇文獻(xiàn)進(jìn)行分析，其中6篇研究使用了CF，8篇使用了組合推薦，沒有單獨(dú)使用CBF的技術(shù)方案。CBF沒有被任何研究項(xiàng)目單獨(dú)使用，主要的原因是CBF本質(zhì)上是基于對(duì)象屬性進(jìn)行推薦的，而在知識(shí)工作者的應(yīng)用場(chǎng)景下，獲取對(duì)象屬性存在諸多困難，具體來說，有以下幾點(diǎn)：(1)對(duì)應(yīng)的推薦對(duì)象是復(fù)雜多樣的各種多媒體信息，包括文本、圖紙和流程圖等，完整準(zhǔn)確地構(gòu)建這些信息之間的內(nèi)在聯(lián)系是個(gè)復(fù)雜、繁瑣的過程。(2)詞匯和語句的表達(dá)形式多種多樣，在某些語境下，技術(shù)上的含義和詞語本身所表達(dá)的含義很可能并不相同。(3)考慮到時(shí)效性問題，同一主題在過去與當(dāng)前搜索的實(shí)際含義可能并不完全重合。綜合上述這些問題，使得在知識(shí)工作者的應(yīng)用場(chǎng)景下，很難單獨(dú)采用CBF來進(jìn)行推薦。

采用CF推薦的研究有6篇，它們的思路大體相同，[5]和[10]對(duì)此做出了詳細(xì)說明。通過跟蹤系統(tǒng)鍵入的詞語，在一組有類似行為的用戶間進(jìn)行比較，類似用戶的選擇就作為推薦給用戶的下一個(gè)信息單元。其余的4篇文獻(xiàn)[11]、[13]、[15]和[18]也使用了同樣的方法，這些方法之間的區(qū)別主要集中在對(duì)額外擴(kuò)展信息的獲取上，這些信息是提供更有效的推薦的基礎(chǔ)。[11]使用的額外信息包括用戶在屏幕上點(diǎn)擊和閱讀的上下文，例如菜單標(biāo)題等關(guān)鍵信息。[10]依據(jù)長(zhǎng)尾理論(Long Tail，LT)提出建議， LT理論是指一個(gè)公司或機(jī)構(gòu)所產(chǎn)生的知識(shí)，而這種知識(shí)(潛在的知識(shí))可能在它被整理出來后只使用了一次。[13]介紹了老化函數(shù)(時(shí)效參數(shù))的使用，它針對(duì)文檔的發(fā)布年代提供了一個(gè)參數(shù)，這是因?yàn)橐话闱闆r下新的文檔比舊文檔更具有相關(guān)性。在該項(xiàng)研究中，作者還使用了多種自然語言處理方法來整合和改善搜尋，例如詞性標(biāo)注、去除停用詞、近義詞置換等。[15]使用了信譽(yù)(trust)作為權(quán)重，說明了可以在多大程度上信賴類似用戶產(chǎn)生的推薦。[18] 依托社交媒體上隱形的關(guān)系網(wǎng)(標(biāo)簽和朋友)向用戶推薦信息單元，其基本出發(fā)點(diǎn)是基于這樣的認(rèn)識(shí)，即很大程度上人們會(huì)使用與他們想法相同的人使用過的信息，在社交網(wǎng)絡(luò)快速發(fā)展的時(shí)代，推薦系統(tǒng)結(jié)合社交關(guān)系信息，可以為用戶提供更為準(zhǔn)確的個(gè)性化推薦[20]。

其余8篇研究采用了組合推薦算法，相比純粹CF解決方案，這些系統(tǒng)更能夠適應(yīng)不斷變化的信息需求。[6]基于提供給用戶的案例信息提出推薦，其由許多信息子單元組成，既使用了CF，也使用了基于實(shí)例的推理(Case-Based Reasoning，CBR)[21]。[7]和[8]是一種相對(duì)先進(jìn)的解決方案，它創(chuàng)建了一種基于市場(chǎng)經(jīng)濟(jì)理論的系統(tǒng)，并根據(jù)需求選擇使用CF或CBF技術(shù)，需求則需要由代理人(agents)、拍賣人(auctioneers)通過競(jìng)價(jià)過程確定，最終系統(tǒng)通過迭代學(xué)習(xí)和目標(biāo)評(píng)價(jià)逐漸找到合適的推薦。[9]重點(diǎn)研究了目錄選擇和信息編碼，以解決知識(shí)工作者自主定義主題和類別的需求。[12]介紹了一種將知識(shí)流程挖掘和協(xié)同過濾集于一體的模型。[14]是基于Web2.0原則構(gòu)建的解決方案。它創(chuàng)建了一個(gè)以標(biāo)簽為基礎(chǔ)的基于主題的推薦系統(tǒng)，通過調(diào)整、堵塞和停止機(jī)制來規(guī)范隨機(jī)搜索。[16]使用知識(shí)流建模來創(chuàng)建工作參考行為模型，解決了整個(gè)群體的信息需求而不再僅限于個(gè)人，通過使用知識(shí)流程和主題級(jí)別的編碼知識(shí)來實(shí)現(xiàn)，并將知識(shí)型員工進(jìn)行分組，形成小組簡(jiǎn)介，以作為推薦的基礎(chǔ)。[17]對(duì)群體整體信息需求進(jìn)行了更深入的研究，不僅考慮單個(gè)知識(shí)工作者的信息需求，還兼顧整個(gè)群體的需求，將知識(shí)工作者對(duì)文檔的隱式引用視為知識(shí)流程建模和文檔推薦的基礎(chǔ)。此外，[17]還使用了可靠性權(quán)重 (Reliability Weight)對(duì)推薦結(jié)果集進(jìn)行微調(diào)。

總之，在這些研究中，協(xié)同過濾推薦(CF)和混合推薦(H)的分布在一段時(shí)間內(nèi)相對(duì)均勻。通常而言，CBF是混合推薦的一部分，CBF通常在解決冷起動(dòng)問題時(shí)特別有價(jià)值，CF在用戶第一次使用系統(tǒng)時(shí)有一個(gè)固有的弱點(diǎn)，因?yàn)橄到y(tǒng)沒有用戶愛好的相關(guān)先驗(yàn)知識(shí)，所以不能進(jìn)行任何推薦(冷啟動(dòng)問題)，此時(shí)可以采用CBF基于對(duì)象推薦的特性，來規(guī)避這個(gè)問題。

2.2 推薦依據(jù)

針對(duì)推薦依據(jù)探討，主要試圖總結(jié)各系統(tǒng)基于什么信息來提出推薦建議。為了能夠清楚、明晰地顯示不同類型之間的區(qū)別，將推薦依據(jù)的信息類型分為日志/偏好、主題/類別、隱形行為、標(biāo)簽和知識(shí)流來進(jìn)行具體分析，結(jié)果如表2所示。

表2 推薦依據(jù)分析

[5]和[10]的推薦依據(jù)是日志，主要包含用戶偏好和行為，以[5]為例，其包含Word中的命令或系統(tǒng)細(xì)節(jié)、時(shí)間、序列、文件名等特征。在[6]、[7]和[8]中的依據(jù)也是日志，但相比[5]和[10]更進(jìn)一步，試圖通過分析此用戶之前對(duì)其他對(duì)象的反饋來形成對(duì)該用戶更具體的建模，[7]和[8]分別在個(gè)人、團(tuán)體和專家三個(gè)層面使用了該方法，這就為生成包含整個(gè)案例集的解決方案奠定了基礎(chǔ)。[9]利用用戶選擇的主題/類別為依據(jù)，通過分析那些之前推薦給用戶并且用戶已經(jīng)選擇的文檔名稱的演變，得出對(duì)應(yīng)的主題/類別，作為系統(tǒng)推薦的基礎(chǔ)。[11]使用自動(dòng)獲取用戶隱性的行為作為推薦的依據(jù)，典型的例子如顯示屏活動(dòng)窗口的標(biāo)題。[15]和[18]使用標(biāo)簽作為推薦依據(jù)，主要包含了表征信息單元特征的關(guān)鍵字或短語。更進(jìn)一步，[15]還為其設(shè)置了置信系數(shù)。[18]中的應(yīng)用場(chǎng)景為社交媒體，此時(shí)，利用這些標(biāo)簽就很自然了，因?yàn)檫@是此類媒體應(yīng)用中常用的一項(xiàng)關(guān)鍵技術(shù)，并且便于利用其進(jìn)行搜索。在其余的研究[12]、[13]、[14]、[16]和[17]中，重點(diǎn)研究了依據(jù)知識(shí)流進(jìn)行推薦，除了前面提及的推薦依據(jù)，研究中還進(jìn)一步利用知識(shí)流進(jìn)行建模，并且引入了信息檢索(IR)和過濾(IF)的方法，輔助信息是各種變化的用戶行為數(shù)據(jù)，例如：時(shí)間、名字、閱讀內(nèi)容、主題等。

總體來看，最常見的是基于用戶歷史數(shù)據(jù)的傳統(tǒng)日志，由用戶的愛好和行為數(shù)據(jù)組成，例如命令、系統(tǒng)詳細(xì)信息等；用戶愛好通常比常規(guī)日志更有價(jià)值，基于此可以觀測(cè)到用戶的反饋。另外一些信息，例如基于用戶選擇的主題/類別的變化的活動(dòng)預(yù)測(cè)，基于對(duì)用戶正在瀏覽信息的語義分析(如活動(dòng)窗口標(biāo)題)，也被用做推薦系統(tǒng)的依據(jù)。一些研究特別強(qiáng)調(diào)使用標(biāo)簽，利用其作為推薦條目潛在價(jià)值的補(bǔ)充。近年來，基于知識(shí)流的建模在一些文獻(xiàn)中得到了重點(diǎn)研究，利用其解決知識(shí)工作者在不同工作階段對(duì)信息需求的變化。

2.3 結(jié)果輸出形式

該問題集中在推薦系統(tǒng)的產(chǎn)品上，不同的系統(tǒng)怎樣向用戶呈現(xiàn)結(jié)果，如表3所示。

表3 結(jié)果輸出形式

文本文檔是傳遞知識(shí)/信息的最常見和最簡(jiǎn)單的方式之一，因此，大部分研究如[6]、[9]、[11]、[12]、[13]、[15]、[16]，以該種形式提供結(jié)果。[7]、[8]和[15]的輸出形式更加靈活，只需簡(jiǎn)單的系統(tǒng)設(shè)置，其結(jié)果就可以以文本文檔或其他類型的數(shù)據(jù)輸出。[17]以案例或案例集的形式向用戶提供對(duì)應(yīng)的信息單元或整體結(jié)果，在知識(shí)密集型環(huán)境中，任務(wù)通常由一組具有相應(yīng)知識(shí)和專業(yè)技能的人員執(zhí)行，每個(gè)小組可能需要不同主題和文檔中的相應(yīng)知識(shí)來解決問題。[17]基于這種復(fù)雜的需求，創(chuàng)建了一個(gè)由復(fù)雜的信息單元組成的解決方案，這些信息單元又由一系列的子信息單元組成。[7]、[8]、[10]、[14]和[18]以URL的形式輸出推薦，這些是可點(diǎn)擊的鏈接，并將用戶重定向到某種形式的資源，例如多媒體或文檔。另外在最早的研究[5]的設(shè)計(jì)中，針對(duì)Microsoft Word的命令，在單獨(dú)的屏幕側(cè)邊欄中對(duì)系統(tǒng)指令進(jìn)行推薦，雖然特定用戶以前并沒有使用過這些指令，但具有相似思維方式和歷史的用戶已經(jīng)緊接著使用了這些指令，因此，該用戶也可能從這些推薦中受益。

由于各研究的核心是解決知識(shí)工作者的需要，因此，大部分推薦系統(tǒng)通常以文本的形式輸出。值得進(jìn)一步深入研究的方向是針對(duì)案例或案例整體推薦信息的研究，在知識(shí)密集型環(huán)境中，任務(wù)通常是由一群人共同完成的，每個(gè)參與者都具備相關(guān)的知識(shí)和專業(yè)技能，每個(gè)小組可能需要與任務(wù)有關(guān)的不同專業(yè)和文檔的知識(shí)來完成工作任務(wù)。如何能夠有效地兼顧知識(shí)工作者個(gè)人和項(xiàng)目組整體的知識(shí)需求，是一個(gè)值得深入研究的課題。

2.4 測(cè)試方法

本節(jié)針對(duì)各研究的系統(tǒng)測(cè)試方法進(jìn)行了整理和歸納，具體分析結(jié)果如表4所示。

表4 測(cè)試方法

在研究[7]、[8]、[9]、[13]、[14]、[15]、[16]和[17]中，系統(tǒng)已經(jīng)在具有普通用戶的真實(shí)組織中引入并測(cè)試。其用戶包括開發(fā)該系統(tǒng)或與之相關(guān)的組織或機(jī)構(gòu)的學(xué)者，以及其他雇員。在大多數(shù)場(chǎng)景下，用戶數(shù)目都是非常有限的，例如：[8]有31人參與，[14]只有8個(gè)受試者。

在[6]和[18]中，對(duì)系統(tǒng)進(jìn)行了模擬仿真。主要以公開的公共數(shù)據(jù)集作為運(yùn)行仿真的基礎(chǔ)數(shù)據(jù)。該方法易于獲取龐大且真實(shí)的用戶數(shù)據(jù)，但由于各系統(tǒng)實(shí)際應(yīng)用環(huán)境的不同，以及缺乏針對(duì)各自系統(tǒng)具體特點(diǎn)的考慮，使得準(zhǔn)確性較低。

最后一個(gè)類別是用戶日志，即用戶行為的歷史記錄。與仿真不同，日志是系統(tǒng)在推薦環(huán)境運(yùn)行的直接記錄，并且每天的日志也是新一輪推薦的基礎(chǔ)，因此，這些日志與系統(tǒng)推薦是直接相關(guān)的，例如 [10]，其所用于分析的日志就全部是從自己公司的內(nèi)部門戶提取的。

基于整理的結(jié)果，大多數(shù)系統(tǒng)在真實(shí)的用戶群中進(jìn)行了測(cè)試，測(cè)試用戶就是那些預(yù)期會(huì)使用系統(tǒng)的知識(shí)工作者，但該方法中，較少的測(cè)試用戶是典型的限制因素。其他系統(tǒng)采用的方法有仿真和用戶日志分析，仿真數(shù)據(jù)源自于公開的公共數(shù)據(jù)集，并基于應(yīng)用對(duì)數(shù)據(jù)進(jìn)行了適當(dāng)?shù)恼{(diào)整日志則直接記錄了系統(tǒng)的運(yùn)行情況。

2.5 評(píng)估準(zhǔn)則

針對(duì)推薦結(jié)果有效性的評(píng)估，各系統(tǒng)都采用了哪些指標(biāo)，包括積極和消極的影響，具體結(jié)果如表5所示。

表5 評(píng)估指標(biāo)

準(zhǔn)確率(precision)作為衡量推薦系統(tǒng)效率的最常用的指標(biāo)，通過評(píng)估所有推薦項(xiàng)目中正確推薦的數(shù)量來衡量推薦的準(zhǔn)確性，對(duì)于某一用戶u，其推薦準(zhǔn)確率為系統(tǒng)推薦的L個(gè)商品中用戶喜歡的商品N所占的比例，即：

系統(tǒng)的推薦準(zhǔn)確率為：

式中，M為測(cè)試用戶的數(shù)量，注意，如果不是對(duì)系統(tǒng)的所有用戶都進(jìn)行考察，那么其值將小于系統(tǒng)中實(shí)際用戶的數(shù)目[22]。

準(zhǔn)確率在研究[5]、[9]、[10]、[11]、[13]、[17]和[18]中被采用。

召回率(recall)指標(biāo)也是最常用的方法之一，通過評(píng)估測(cè)試集中所有命中的理論最大值來說明推薦的質(zhì)量，即在所有條目中有多少被準(zhǔn)確地推薦。對(duì)于某一用戶u，定義為推薦列表中該用戶喜歡的商品與系統(tǒng)中該用戶喜歡的所有商品Bu的比例，即：

系統(tǒng)的整體召回率為：

召回率在研究[6]、[9]、[13]、[15]和[18]中被采用。

在對(duì)評(píng)估準(zhǔn)則問題的研究中，除了上述三種評(píng)估指標(biāo)，還引入了一個(gè)稱為“其它”的類別，其采用了不同于上述三種方法的方式來評(píng)估系統(tǒng)性能，包括[7]、[8]、[11]、[13]、[14]和[16]。

[7]主要介紹推薦系統(tǒng)建模原則如何從市場(chǎng)經(jīng)濟(jì)的原則中借鑒。[8]是[7]的下半部分，介紹了這些借鑒于市場(chǎng)經(jīng)濟(jì)原則的自定義評(píng)估指標(biāo)：高品質(zhì)推薦(high quality recommendations)，有效的頂級(jí)性能 (effective top performance)以及無支配性策略(no dominant method)。[11]引入了準(zhǔn)確性的補(bǔ)充、覆蓋率，即與案例數(shù)目相關(guān)的推薦數(shù)目。[13]使用準(zhǔn)確率和召回率的混合，即F-測(cè)度，通過調(diào)整準(zhǔn)確率和召回率的權(quán)重，找到兩者之間的平衡點(diǎn)。之所以提出這一點(diǎn)，核心是發(fā)現(xiàn)那些少數(shù)正確文檔的方法遠(yuǎn)比找到更多文檔的方法重要，這對(duì)于知識(shí)工作者在時(shí)間壓力下尋找關(guān)鍵信息單元時(shí)，非常有借鑒意義。[7]、[8]和[14]在用戶測(cè)試之外，還使用定期問卷調(diào)查，了解系統(tǒng)是否有效果以及改進(jìn)的方向。[16]不僅使用了平均絕對(duì)誤差，另外引入均方誤差(Mean Square Error，MSE)，定義為：

MAE重點(diǎn)關(guān)注預(yù)測(cè)和實(shí)際排名的平均偏差，MSE則是對(duì)應(yīng)偏差的平方和，用于強(qiáng)調(diào)結(jié)果中的主要誤差。

在所有的評(píng)估準(zhǔn)則中，最常見的是準(zhǔn)確率，大多數(shù)研究同時(shí)也利用召回率來評(píng)估推薦的質(zhì)量。部分研究使用了組合評(píng)估指標(biāo)，例如F-測(cè)度、平均絕對(duì)誤差(MAE)和均方誤差(MSE)。此外，一些額外的單元或組合方法也被引入用來評(píng)估系統(tǒng)，例如，有的研究從市場(chǎng)經(jīng)濟(jì)理論中引入評(píng)估準(zhǔn)則，類似的研究值得進(jìn)一步深入分析。最后，還有一些研究采用問卷調(diào)查的方式來確定用戶體驗(yàn)的推薦質(zhì)量，這是一種比較主觀的方法。

3 結(jié)語

有別于傳統(tǒng)的面向消費(fèi)者的推薦系統(tǒng)，用于為知識(shí)工作者服務(wù)的推薦系統(tǒng)有以下幾點(diǎn)需要重點(diǎn)關(guān)注：(1)知識(shí)工作者經(jīng)常在合作和項(xiàng)目中一起工作，相互之間有很強(qiáng)的協(xié)作關(guān)系，因此，知識(shí)工作者的推薦系統(tǒng)需要對(duì)協(xié)作進(jìn)行重點(diǎn)考慮。(2)知識(shí)工作者需要的信息是不同類型的，而且通常彼此之間有著復(fù)雜的關(guān)系(例如，需求規(guī)范可能是設(shè)計(jì)解決方案的指導(dǎo)框架)，因此需要將不同的工作需求作為一個(gè)整體考慮。(3)知識(shí)工作者通常在一個(gè)長(zhǎng)期的過程中工作(對(duì)于消費(fèi)者來說，正常的推薦系統(tǒng)是一個(gè)短暫的一次性事務(wù))，在這個(gè)過程中，項(xiàng)目文檔/材料會(huì)隨著時(shí)間的推移而緩慢變化。因此，必須關(guān)注到，這樣一個(gè)系統(tǒng)中，商品的時(shí)效性與傳統(tǒng)的面向消費(fèi)者的場(chǎng)景有明顯的不同。

基于本文的分析，截止目前，這一領(lǐng)域的研究還很少，結(jié)合上述3個(gè)重點(diǎn)問題，針對(duì)后續(xù)的研究工作提出如下建議：

首先，面向知識(shí)工作者的推薦系統(tǒng)應(yīng)該進(jìn)一步研究如何推薦基于案例的全套解決方案，充分考慮知識(shí)工作者的協(xié)作特點(diǎn)，而不應(yīng)是僅僅局限于單獨(dú)的文本文檔。進(jìn)一步，還可以把基于案例的推薦和長(zhǎng)尾理論結(jié)合起來，以產(chǎn)生更合理的推薦。

重視長(zhǎng)尾理論在面向知識(shí)工作者的推薦系統(tǒng)中的應(yīng)用和研究，任何公司、單位發(fā)掘出來的知識(shí)不應(yīng)該只在產(chǎn)生時(shí)使用一次，一段時(shí)間之后相同的信息可能又被作為新信息創(chuàng)建了，因?yàn)樵撔畔⒁呀?jīng)無法再找到了。這種情況在知識(shí)工作場(chǎng)景中尤為常見，一個(gè)好的推薦系統(tǒng)應(yīng)該可以節(jié)省大量的重復(fù)性勞動(dòng)，為知識(shí)工作者提供有價(jià)值的推薦和重用。