基于腳本分析的數(shù)字參考咨詢問題類型及其答案準(zhǔn)確度研究*

（鄭州大學(xué)信息管理學(xué)院 河南鄭州 450001）

圖書館開展數(shù)字參考咨詢服務(wù)已經(jīng)十多年了，這期間正值因特網(wǎng)快速普及，網(wǎng)絡(luò)服務(wù)商推出的眾多面向用戶的互動問答服務(wù)產(chǎn)品（如百度知道、Google Answers和Yahoo!Answers等）與圖書館構(gòu)成了激烈競爭。本文基于OCLC解密的QuestPoint國際合作數(shù)字參考咨詢聯(lián)盟的咨詢腳本，分別隨機(jī)抽取2005年和2011年樣本，分析兩個(gè)樣本的問題類型及其準(zhǔn)確度，從時(shí)間維度觀察咨詢問題的類型和答案準(zhǔn)確度的變化情況，分析變化的原因，探討因特網(wǎng)的互動問答服務(wù)對圖書館的影響。

1 腳本分析的步驟

1.1 樣本抽取

在QP的2005年實(shí)時(shí)聊天咨詢的記錄中，隨機(jī)抽取850份記錄。為了進(jìn)行對比分析，在QP的2011年實(shí)時(shí)聊天咨詢的記錄中隨機(jī)抽取350份記錄。并在同期的即時(shí)信息（IM）Qwidget服務(wù)（以下簡稱QW）會話咨詢的腳本中隨機(jī)抽取210份腳本。這樣，抽取該年份的咨詢樣本共計(jì)560份。因?yàn)镼W軟件2008年才加入到QP中，所以在2005年沒有出現(xiàn)。為了保護(hù)個(gè)人（包括用戶和咨詢?nèi)藛T）的隱私，OCLC對所有記錄和腳本都已經(jīng)去除了可識別的個(gè)人信息，包括姓名、性別、年齡、工作單位、聯(lián)系電話、EMAIL、IP地址等。

1.2 問題分類

參考Arnold 和Kaske，〔1〕Radford 和Connaway，〔2〕以及Ross et al.〔3〕對參考咨詢問題的分類研究，本研究團(tuán)隊(duì)對抽取的每份聊天記錄和QW腳本進(jìn)行分析，對咨詢的問題類型進(jìn)行了下述分類（見表1）。

表1 咨詢問題的分類

3 方針與程序能否在漫長的暑假中在線續(xù)借圖書？怎樣續(xù)借？4 無實(shí)質(zhì)問題有關(guān)圖書館的方針、政策與程序方面的問題。數(shù)字參考系統(tǒng)的測試對話腳本。沒有可以識別出問題的用戶與咨詢員之間的對話交流。（如，對某個(gè)咨詢員的表揚(yáng)）5 館藏資源有關(guān)圖書館某些特定藏書，包括紙介質(zhì)和數(shù)字介質(zhì)的。貴館是否收藏有對Paris Hilton進(jìn)行評論的圖書？6 研究型問題用戶常常是一個(gè)學(xué)科領(lǐng)域的專家，尋求針對一項(xiàng)特定研究的詳細(xì)資料。咨詢?nèi)藛T常需花費(fèi)較長時(shí)間和精力進(jìn)行回答。請?zhí)峁┤珖秶鷥?nèi)的交通普查和交通事故報(bào)告的資料。7 不合適的問題某某有幾個(gè)私生子，這些私生子的現(xiàn)狀如何？8 指引型問題對于參考咨詢服務(wù)不合適的問題，如涉及個(gè)人隱私的問題。要求提供就某件事情的引導(dǎo)性信息。 暑假青少年閱讀項(xiàng)目的URL是什么？9 用戶所需的建議幫助查找用戶希望閱讀的圖書、希望聽的歌曲、希望獲得愉快感受的信息等。是否能夠提供任何一種科幻方面的圖書？

1.3 答案的準(zhǔn)確度分析

將“簡單問題”型咨詢問題抽取出來，進(jìn)行準(zhǔn)確度分析，結(jié)果是2005年的樣本中“簡單問題”型咨詢243份，2011年的樣本中“簡單問題”型咨詢179份。參考Arnold和Kaske，〔4〕Radford 和 Connaway，〔5〕以及 Radford, Connaway,Confer, Sabolsci-Boros, Kwon〔6〕的研究成果，制定了表 2 所示的“準(zhǔn)確度的類型劃分”作為準(zhǔn)確度分析的框架。雖然在有些樣本中，在咨詢員提供答案之前，用戶中斷了咨詢過程，但對這些咨詢問題和答案也進(jìn)行準(zhǔn)確度分析，因?yàn)橛脩籼峁┝薊mail，答案和咨詢腳本隨后傳到用戶的Email中。另外，同一用戶就相同問題向不同咨詢員進(jìn)行咨詢，后續(xù)咨詢腳本被刪除，這樣，在2005年的243份樣本中刪除63份樣本，剩余180份。2011年的179份樣本中刪除11份樣本，剩余168份。

在進(jìn)行準(zhǔn)確度分析時(shí)，采用了訪問權(quán)威網(wǎng)站、相關(guān)數(shù)據(jù)可檢索、訪問咨詢員提供的參考文獻(xiàn)及網(wǎng)址、咨詢相關(guān)專業(yè)領(lǐng)域?qū)＜覍W(xué)者等方式。每個(gè)問題的答案都由兩位研究人員進(jìn)行準(zhǔn)確度判斷，意見不一致時(shí)，進(jìn)行小組討論。結(jié)果，每個(gè)咨詢問題的答案準(zhǔn)確度情況只歸入表2中的其中一種類型。

表2 準(zhǔn)確度類型劃分

2 腳本分析的結(jié)果

2.1 問題的類型

圖1 2005年樣本的問題類型（850份樣本，915個(gè)問題）

圖1展示的是從2005年的850個(gè)樣本中抽出的915個(gè)問題按照表1進(jìn)行歸類的情況。一些樣本包含有兩個(gè)及其以上可識別的問題，比如，用戶提問中包含有兩個(gè)不同的論題，而不是同一個(gè)問題的不同方面。

圖1中展示了6種問題（占的比例較高）類型，比例較低的沒有展示，包括“研究型問題”（23個(gè)，占3%）、“不合適的問題”（10 個(gè) ,占 1%）、“指引型問題”（2 個(gè)，占 <1%）和“用戶所需建議”型問題（1個(gè)，占<1%），所有這些都?xì)w到了“其他”類。

圖2展示的是從2011年隨機(jī)抽取的560個(gè)樣本中包括的575個(gè)問題的歸類情況。與2005年的樣本一樣，有些樣本也包括多個(gè)問題。同樣，圖2展示的是比例較高的6種問題類型。比例較低的問題類型都?xì)w到“其他”類，其中有：“研究型問題”（19 個(gè)，占 3%）、“指引型問題”（15 個(gè)，占 3%）、“用戶所需建議”（6個(gè)，占1%）、“不合適的問題”（4個(gè),占<1%）。

圖2 2011年樣本的問題類型（560份樣本，575個(gè)問題）

圖3 2005年問題類型與2011年問題類型的對比

圖3對比了2005年與2011年兩個(gè)樣本集中占比例最高的前5種類型問題，可以看出，咨詢問題的類型隨時(shí)間有所變化。在2005年的樣本集中，問題最多的依次為“主題檢索”、“簡單問題”、“方針與程序”，但在2011年的樣本集中，問題最多的依次為“方針與程序”和“簡單問題”（都占31%）、以及“主題檢索”。其中，針對“主題檢索”，2005年所占的比例（占32%）幾乎是2011年（占17%）的翻倍。另外，“簡單問題”型所占比例穩(wěn)中略有上升（從2005年的27%，到2011年的31%）。

圖4展示了2011年抽取樣本的問題類型總量，以及實(shí)時(shí)聊天咨詢（QP）與即時(shí)信息咨詢（QW）問題分別占的比例。當(dāng)聚焦在“簡單問題”型咨詢時(shí)，在QP中的比例（21%）要略低于在QW中的比例（24%）。當(dāng)然，在QP中，占的比例最高的兩類為：“簡單問題”（21%）、“方針與程序”（17%）。但在QW中，這個(gè)順序被顛倒了，最多的是“方針與程序”（39%）和“簡單問題”（24%）。其他類型的問題所占的比例也都有所變化，但變化不很大。

圖4 2011年樣本的問題類型（QP與QW的對比）

2.2 回答的準(zhǔn)確度

根據(jù)1.3所述，在對“簡單問題”型咨詢的準(zhǔn)確度進(jìn)行分析時(shí)，在2005年的243個(gè)樣本中刪除了63個(gè)樣本，剩余180個(gè)樣本，2011年的179個(gè)樣本中刪除了11個(gè)樣本，剩余168個(gè)樣本。圖5展示了正確答案和不正確答案的情況。在2005年的樣本中，正確答案為141個(gè)（占78%），在2011年樣本中，正確答案為151個(gè)（占90%），說明從時(shí)間維度，圖書館提供的數(shù)字參考咨詢服務(wù)的答案正確率逐年上升。圖5也展示了“不正確答案”的情況，分別為：2005年為36個(gè)（占20%），2011年為7個(gè)（占4%），說明從時(shí)間維度，圖書館提供的數(shù)字參考咨詢服務(wù)的答案不正確率逐年下降。

圖5 “簡單問題”的回答正確與否對比（2005年與2011年）

圖6 “簡單問題”回答正確中有關(guān)來源引用情況的對比（2005年與2011年）

圖6展示了“正確答案”的三種情況（見表2中的前三種）分別占的數(shù)量和比例?？傮w上講，雖然從2005年到2011年準(zhǔn)確率有所增加（圖5），但具體到不同類型上有升有降（圖6）。

3 對腳本分析結(jié)果的討論

3.1 咨詢問題的類型

由圖3可以看出，從時(shí)間維度來看，變化最大的是“主題檢索”，從2005年的32%到2011年的17%，幾乎減少了一半，但這個(gè)減少主要增加到了“方針與程序”的問題上（從2005年的18%增加到2011年的31%）。一種可能的解釋是，隨著時(shí)間的推移，用戶更傾向于選擇數(shù)字參考咨詢服務(wù)解決一些簡單問題，而“主題檢索”這類比較專業(yè)的問題則常通過其他方式（如面對面咨詢、電話咨詢）解決?！胺结樑c程序”類問題在圖書館網(wǎng)站上越來越難以找到答案，而這類問題又無法到因特網(wǎng)上找到解答，所以只有尋求圖書館提供的數(shù)字參考咨詢服務(wù)來解決。另外，圖4也驗(yàn)證了這個(gè)判斷，“方針與程序”的咨詢問題出現(xiàn)在IM即時(shí)信息（采用QW軟件）中比出現(xiàn)在實(shí)時(shí)聊天中更為普遍，這也表明咨詢模式正在影響用戶的選擇，Rourke和Lupien〔7〕在比較Guelph大學(xué)的實(shí)時(shí)聊天服務(wù)和IM服務(wù)中也得出了類似的結(jié)論。

Forbes &Brown( 2012)認(rèn)為，因特網(wǎng)上搜索引擎、維基百科和在線幫助（如Springshare's LibGuides）等普及，越來越多用戶選擇這些服務(wù)進(jìn)行“主題檢索”，導(dǎo)致了圖書館數(shù)字參考咨詢服務(wù)的使用數(shù)量減少，這種變化也是虛擬參考咨詢中“主題檢索”咨詢問題數(shù)量降低的原因。本文的調(diào)查也驗(yàn)證了這個(gè)觀點(diǎn)。還有，Allen〔8〕發(fā)現(xiàn)對檢索的主題了解多的用戶（一般為專家級用戶）傾向于采用范圍較廣的檢索，反之，初學(xué)者更傾向于特定檢索，年輕用戶更樂于選擇即時(shí)信息方式進(jìn)行特定咨詢。雖然，本次調(diào)查無法獲得用戶的年齡，但不同年齡段用戶的咨詢行為值得未來研究。

3.2 “簡單問題”型咨詢：仍然存在且持續(xù)增長

美國情報(bào)學(xué)家Janes針對“簡單問題”型咨詢的未來做了如下預(yù)測〔9〕：“作為對特定問題給予快速、事實(shí)型答案的‘簡單問題’型咨詢一直是圖書館參考咨詢工作的一個(gè)部分，但隨著信息技術(shù)的出現(xiàn)，該部分將逐漸消失”。但是，本案例數(shù)據(jù)分析的結(jié)果則相反，這種類型的問題所占比例不僅沒有減少或消失，反而穩(wěn)中有增，從2005年的27%增加到2011年的31%。在另外的一個(gè)案例研究中，Numminen and Vakkari〔10〕針對“簡單問題”型咨詢問題出現(xiàn)的頻率進(jìn)行了統(tǒng)計(jì)，結(jié)論是從1999年的33%上升到2006年的45%，上升了12%，該案例也驗(yàn)證了本文的調(diào)查結(jié)論。

雖然從直覺上講，用戶可以使用瀏覽器、搜索引擎和基于因特網(wǎng)互動問答服務(wù)（如百度知道、Google Answers和Yahoo! Answers等），對于事實(shí)型問題尋求答案。但是，本案例的調(diào)查結(jié)果顯示并非所有用戶都是如此。一些檢索技術(shù)不嫻熟的用戶，缺乏查找正確和權(quán)威信息的能力，不熟悉或不樂意使用因特網(wǎng)上的互動問答服務(wù)。還有一種可能的解釋是用戶擁有使用數(shù)字參考咨詢服務(wù)的愉快經(jīng)歷，相信圖書館員能夠提供準(zhǔn)確答案。本案例顯示，隨著準(zhǔn)確度的提高，數(shù)字參考咨詢服務(wù)仍然是對“簡單問題”的咨詢獲得高質(zhì)量答案的可靠平臺。這也說明，因特網(wǎng)服務(wù)商推出的互動問答服務(wù)產(chǎn)品對圖書館的數(shù)字參考咨詢服務(wù)沒有產(chǎn)生實(shí)質(zhì)性影響。

3.3 “簡單問題”型咨詢的準(zhǔn)確度

圖5顯示，“簡單問題”咨詢的正確率從2005年的78%上升到2011年的90%，這兩個(gè)數(shù)字都遠(yuǎn)遠(yuǎn)高于圖書館界對傳統(tǒng)“面對面”咨詢正確率的最低要求55%?！?1〕圖6顯示，在2005年的腳本集合中隨機(jī)抽取的243個(gè)“簡單問題”型咨詢樣品中，有125個(gè)咨詢問題回答正確且完整并附有來源引用，比例為51%；在2011年的腳本集合中隨機(jī)抽取的168個(gè)“簡單問題”型咨詢樣品中，有114個(gè)咨詢問題回答正確且完整并附有來源引用，比例為68%；兩個(gè)階段相比，正確率增長17%。因此，無論是對“簡單問題”型的咨詢回答正確率還是提供正確答案同時(shí)也提供來源引用的比率都得到了大大提高。

雖然難以準(zhǔn)確地確定原因，但可能的解釋有幾個(gè)。一是隨著數(shù)字參考咨詢服務(wù)的成熟和普及，在聊天和即時(shí)信息環(huán)境中，咨詢員從事這項(xiàng)工作更加?jì)故?。二是咨詢員采用聊天工具進(jìn)行咨詢服務(wù)時(shí)不再那么匆忙，他們認(rèn)識到用戶選擇虛擬參考咨詢服務(wù)是因?yàn)檫@項(xiàng)服務(wù)的便 利性，而不是用戶急于獲得問題的答案。三是咨詢?nèi)藛T可能采納了一些專家提高咨詢準(zhǔn)確度的建議。〔12-13〕

一個(gè)旨在提高咨詢準(zhǔn)確度的被業(yè)界強(qiáng)烈推薦的一項(xiàng)建議是〔14-16〕：當(dāng)咨詢員回答用戶問題的方式是提供一個(gè)包含用戶所需的網(wǎng)頁時(shí)，在提交給用戶之前，確定該網(wǎng)頁包括了能夠解答用戶問題的特定信息。舉一個(gè)簡單例子，一個(gè)2005年的虛擬參考咨詢腳本顯示，用戶的提問是“中國長城的緯度和經(jīng)度以及附近的城市”，而咨詢員提供了一個(gè)有關(guān)中國長城旅游的網(wǎng)址，但是該網(wǎng)址的網(wǎng)頁沒有包含用戶所需的信息，被鑒定為一個(gè)不正確的咨詢答案。在本次腳本分析中，這種類型的錯(cuò)誤在2005年的數(shù)據(jù)樣本中有36個(gè)，但在2011年數(shù)據(jù)樣本中下降到7個(gè)。

4 結(jié)語

本項(xiàng)研究有兩個(gè)局限性。①本案例分析采用的數(shù)據(jù)來自于聊天型咨詢的腳本。正如前所述，由于個(gè)人隱私的原因，QP和QW的會話記錄都進(jìn)行了匿名處理，刪除了所有個(gè)人識別信息。因此，對用戶的不同分布群體使用數(shù)字參考咨詢的特征無法進(jìn)行統(tǒng)計(jì)，如：不同年齡段或不同職業(yè)的用戶群體咨詢問題的類型差別等；也無法統(tǒng)計(jì)不同群體的咨詢員對咨詢問題的回答情況，如：咨詢員的不同學(xué)位、學(xué)歷、專業(yè)背景對用戶咨詢問題的回答正確率的差異等。另外，也無法與用戶和咨詢員取得聯(lián)系，尋求用戶對答案的滿意程度評估和咨詢員對答案的正確度評價(jià)。所有這些統(tǒng)計(jì)都無法僅僅憑借腳本進(jìn)行實(shí)施。②本文選擇的樣本均隨機(jī)抽取自QP的聊天咨詢腳本數(shù)據(jù)庫，我們認(rèn)為抽取的樣本可以代表QP在相應(yīng)期間的整體情況，但并不聲稱本文的統(tǒng)計(jì)結(jié)果能夠反映其他數(shù)字參考咨詢聯(lián)盟或QP的其他年份。

本項(xiàng)研究有兩項(xiàng)后續(xù)內(nèi)容。①本文僅對“簡單問題”型咨詢答案的準(zhǔn)確度進(jìn)行了評估，所以，對其他類型問題答案的準(zhǔn)確度分析是本課題的后續(xù)研究內(nèi)容之一。②向用戶提供參考咨詢，目前除了圖書館開展這項(xiàng)服務(wù)外，越來越多的基于因特網(wǎng)內(nèi)容服務(wù)商也提供互動問答服務(wù)實(shí)現(xiàn)該項(xiàng)功能，并且后者擁有的用戶群體更大。因此，對基于因特網(wǎng)的互動問答服務(wù)的腳本進(jìn)行分析，統(tǒng)計(jì)出問題的類型和準(zhǔn)確度，并與圖書館的數(shù)字參考咨詢服務(wù)進(jìn)行比較，尋求圖書館可以從因特網(wǎng)提供這項(xiàng)服務(wù)中的借鑒之處，是本課題的后續(xù)研究內(nèi)容之二。

1,4.Arnold, J., Kaske, N. K. . Evaluating the quality of a chat service. portal: Libraries and the Academy, 2005(2):177-193

2,5.Radford, M. L., Connaway, L. S. . Seeking synchronicity:Evaluating virtual reference services from user, non-user, and librarian perspectives.〔2013-08-09〕. http://www.oclc.org/research/activities/synchronicity/default.htm

3.Ross, C. S. et. al. Conducting the reference interview: A how-todo-it manual for librarians . New York, NY: Neal-Schuman Press, 2009.5

6,13,16.Radford, M. L. et. al. “Are we getting warmer?” Query clarification in live chat virtual reference. Reference & User Services Quarterly, 2011(3): 259-279

7.Rourke, L., Lupien, P.. Learning from chatting: How our virtual reference questions are giving us answers. Evidence Based Library and Information Practice, 2012(2):63-74

8.Allen, B. . Topic knowledge and online catalog search formulation.The Library Quarterly, 2012(2):188-213

9.Janes, J.. What is reference for? Reference Services Review,2003(1): 22-25

10.Numminen, P., Vakkari, P. . Question types in public libraries’digital reference service in Finland: Comparing 1999 and 2006. Journal of the American Society for Information Science and Technology, 2009(6):1249–1257

11.Hernon, P., McClure, C. R. . Unobtrusive testing and library reference services. Norwood, NJ: Ablex Publishing. 1987. 10

12,14.Connaway, L. S., Radford, M. L. Seeking synchronicity:Revelations and recommendations for virtual reference. [2013-03-09].http://www.oclc.org/reports/synchronicity/full.pdf

15.Radford, M. L., Connaway, L. S.. Getting better all the time:Improving communication and accuracy in virtual reference. NewYork,NY: Neal-Schuman Press, 2010. 7