知網(wǎng)和萬方學位論文數(shù)據(jù)庫可用性測試研究

陳 燕 丁 嵐

（1.江蘇大學雜志社 鎮(zhèn)江 212000；2.江蘇大學科技信息研究所 鎮(zhèn)江 212013）

“可用性”這一概念于20世紀70年代末被提出，主要用來解決用戶與設備、軟件、工具等人工開發(fā)系統(tǒng)之間的關系[1]。ISO 9241-11-1998將可用性定義為“在特定的情境下中，一個產品可以被特定的用戶用于達成特定目標的有效性、效率以及用戶主觀滿意程度”[2]?？捎眯匝芯款I域的專家尼爾森（Jakob Nielsen）1993年在《可用性工程》（Usability Engineering）一書中從用戶操作心理的角度出發(fā)，提出了可用性包括可學習性、效率、可記憶性、出錯頻率和用戶主觀滿意度這5個可以衡量的指標要素。尼爾森的觀點較全面的概括了可用性的內涵，業(yè)界認同度較高，也為之后的可用性分析模型的建立奠定了理論基礎。美國UPA前任主席奎瑟貝利（Whitney Quesenbery）在1998年提出了用5個“E”開頭的單詞來描述可用性的維度，它們分別是有效性、高效率、吸引程度、容錯程度和易于學習[3]。

本文擬將上述兩個關于可用性的評價標準相結合，設置若干一級指標和二級指標，對中國知網(wǎng)的中國優(yōu)秀博碩士學位論文全文數(shù)據(jù)庫（以下簡稱“知網(wǎng)”）和萬方的中國學位論文全文數(shù)據(jù)庫（以下簡稱“萬方”）這兩種知名度較高并且使用頻率也比較高的學位論文數(shù)據(jù)庫進行可用性測試和比較。

1 學位論文數(shù)據(jù)庫可用性測試設定

1.1 測試流程設定

朗道爾和尼爾森的研究結果表明，可用性測試的最佳受測者為5人，5名受測者在首次測試就可以發(fā)現(xiàn)85%的可用性問題[4]，所以本研究隨機選取5名受測者，包括研究生2名，本科生3名。

圖1 學位論文數(shù)據(jù)庫可用性測試流程

1.2 可用性測試指標設定

本文通過對前人的可用性指標研究成果的歸納總結，主要參考尼爾森和瑟貝利的指標，同時結合學位論文數(shù)據(jù)庫本身的特點和可用性特征，最終將可用性的一級測試指標設置為有效性、易用性、易學性、容錯程度和主觀滿意度這5個。一級指標又根據(jù)用戶在實際使用學位論文數(shù)據(jù)庫時的對數(shù)據(jù)庫的具體操作、對所出現(xiàn)信息的理解、獲取和辨別等方面繼續(xù)細分為數(shù)個二級指標，具體設定如表1。

“有效性”是指學位論數(shù)據(jù)庫是否能有效地滿足用戶的使用需求，只有響應速度快、檢索過程順、檢索結果準確，才能決定學位論文數(shù)據(jù)庫是有效的，從而提高用戶的檢索效率?！耙子眯浴笔侵笇W位論文數(shù)據(jù)庫對于用戶來說是否易于使用，數(shù)據(jù)庫應使用方便并且檢索界面術語易于理解?！耙讓W性”是指學位論文數(shù)據(jù)庫是否能讓用戶容易地學會使用方法，包括掌握基本使用方法的難易程度和通過檢索界面幫助信息掌握更復雜使用方法的難易程度?！叭蒎e程度”是指學位論文數(shù)據(jù)庫出錯幾率較低，而且即使出錯也能解決或給出友好的提示，而不是直接需要重新檢索或回到數(shù)據(jù)庫首頁?！爸饔^滿意度”包括了對使用過程的滿意度和再次使用該數(shù)據(jù)庫的意愿。上述指標綜合、全面涵蓋了學位論文數(shù)據(jù)庫可用性的各個方面。

2 可用性測試任務完成情況記錄與分析

圍繞表1中的各項指標，我們共設置10個測試任務，涵蓋了受測者在使用學位論文數(shù)據(jù)庫時的各種操作，每個任務限時5分鐘之內完成。在受測者完成任務測試的同時，筆者觀察他們完成任務的詳情，并及對時出現(xiàn)的問題進行記錄。

任務1“在數(shù)據(jù)庫首頁找到學位論文數(shù)據(jù)庫并進入”，該任務主要測試數(shù)據(jù)庫首頁的導航能力，是最基礎和最簡單的任務，但是仍有部分受測者存在問題。萬方數(shù)據(jù)的首頁檢索框上的醒目位置就有“學位”二字，5位受測者平均用時4秒就順利找到了學位論文數(shù)據(jù)庫，耗時較少。而知網(wǎng)總庫的首頁顯示為“博碩”二字，導致受測試5人中有2人在限定的5分鐘內未能完成該任務，因為這2位受測者均忽略了“博碩”就是博士與碩士學位論文的意思，完成任務的3位受測者平均耗時29.34秒，耗時較長。這說明數(shù)據(jù)庫名稱的用詞會對不是很熟悉學位論文數(shù)據(jù)庫卻想獲取學位論文的用戶造成一定的困擾。

表1 可用性測試指標設定

任務2“在學位論文數(shù)據(jù)庫首頁檢索本專業(yè)相關的任意學位論文”完成得比較好，在知網(wǎng)中受測者平均耗時21.2秒完成任務，在萬方中為19.8秒，5位受測者均能以很快的速度找到檢索框并進行檢索，說明兩家學位論文數(shù)據(jù)庫“一般檢索”功能的友好度較高，新手也能很快上手使用。

任務3“使用‘高級檢索’檢索本校和本專業(yè)近10年來的相關論文”，在知網(wǎng)中受測者平均耗時40秒完成任務，在萬方中為32.2秒。兩家學位論文數(shù)據(jù)庫的“高級檢索”均位于檢索頁面的醒目位置，“高級檢索”頁面的友好度也較高，受測者很輕松地可以發(fā)現(xiàn)檢索項目的下拉箭頭點擊出下拉菜單選擇自己所需要的檢索項目。不過，在檢索過程中萬方會出現(xiàn)一些檢索不出文獻的情況，比如檢索學科-專業(yè)為“情報”（模糊檢索）沒有檢出任何學位論文，但是改為“情報學”（模糊檢索）就能檢出，可以看出萬方對學科專業(yè)名稱的準確性要求比較高，這可能會造成新用戶由于輸入的檢索詞不全，而檢索不出文獻進而降低用戶對學位論文數(shù)據(jù)庫的滿意度。

任務4“參照數(shù)據(jù)庫頁面的幫助信息使用‘專業(yè)檢索’檢索本校和本專業(yè)的近10年來的相關論文，并且關鍵詞包含某個名詞”，這個任務難度最大同時也是完成情況最不理想的。有1位受測者未在5分鐘限時內在知網(wǎng)中完成該任務，耗時最長，而在知網(wǎng)中4位完成的受測者平均耗時3分19秒完成任務，在萬方中為3分22秒，耗時相當。不過由于“專業(yè)檢索”的使用者平時也大多為圖書情報相關的專業(yè)人員，這個任務也僅僅是考察檢索頁面提供的幫助是否能大致讓受測者初步嘗試使用“專業(yè)檢索”。在知網(wǎng)中，受測者們普遍消耗了很多時間去查看檢索框邊的專業(yè)檢索表達語法和可檢索字段，均做出了幾次嘗試才成功，出錯的情況大部分為忘了在檢索字段后加“=”或者忘了加邏輯運算符；而且在知網(wǎng)中使用“專業(yè)檢索”時會出現(xiàn)錯誤彈窗，提醒服務器上不存在該用戶。受測者們表示萬方的“專業(yè)檢索”更為簡便，在檢索框右邊不僅有推薦檢索詞功能，該功能可以根據(jù)輸入的檢索課題文本生成檢索詞，而且有可檢索字段，點擊之后會出現(xiàn)有著檢索字段和邏輯關系的小頁面，直接點擊所需的檢索字段和邏輯關系就會自動在檢索框生成檢索公式，最后只需要填入檢索字段具體的檢索詞，初學者也可以很快的掌握使用方法。

任務5“將任務4的檢索結果按照學位論文的發(fā)布時間進行排序”。該任務的完成情況也較好，受測者只需要在檢索結果的頁面上耐心尋找，5位都找到了排序功能的所在，知網(wǎng)的“按時間排序”功能在檢索結果頁面更為醒目一些，完成該任務平均耗時為18.8秒也比在萬方（平均耗時 32.8秒）少。

傳統(tǒng)的巡檢過程基本上依賴于人的主動性，這種巡檢方式難免存在巡檢人員監(jiān)管問題（如：巡檢人員消極怠工、漏檢、誤檢）、記錄方式問題（如：手工記錄、記錄效率低、記錄漏項或出錯）、維護管理問題（如：管理人員難以準確、全面地了解巡檢狀況，不能及時制定最佳的設備保養(yǎng)和維修方案）以及巡檢工作量問題等[2-4]。因此，非常有必要采取自動化的手段，提升巡檢質量，減少巡檢工作量。

任務6“任意選擇一篇檢索出的學位論文獲取作者的學校和專業(yè)信息”。該任務5位受測者均以很快速度完成，在知網(wǎng)中受測者平均耗時5秒完成該任務，在萬方中為2.4秒，究其原因，筆者認為，萬方不論是精簡模式還是詳細模式都直接將作者的學校和專業(yè)信息列在了文章標題的下方，而知網(wǎng)則需點開具體的文章詳細頁面才能獲取作者的學校和專業(yè)信息。

任務7“根據(jù)任務4的檢索結果，選取前3篇學位論文導出，生成參考文獻格式”，該任務考察的是學位論文數(shù)據(jù)庫的檢索結果導出功能的可用性。受測者只需在頁面上勾選所需要學位論文再在頁面上找到導出功能，選擇導出為參考文獻格式即可。在知網(wǎng)中受測者平均耗時30.8秒完成任務，在萬方中為49.2秒，知網(wǎng)的導出功能比萬方的更為醒目和易用。在萬方中，受測者犯了一些錯誤，例如忘了選擇導出參考文獻的格式，或者直接導出系統(tǒng)默認的查新格式。

任務8“任意選擇一篇被引用過的學位論文，查看有哪些學術論文引用了該學位論文”。在知網(wǎng)中受測者平均耗時36.8秒完成任務，在萬方中為1分56.4秒，耗時是知網(wǎng)的3倍，主要是因為知網(wǎng)在檢索結果頁面就有“被引”這一欄，受測者只要直接找到并點擊就可以獲取引證文獻，但是萬方卻需要點擊出該學位論文的詳細頁面，下拉之后在長長的參考文獻之后才會找到引證文獻。而且5位受測者中有4位完全不知道引證文獻的意思，有的直接把參考文獻當做了引證文獻。如果有可能，在檢索結果的頁面上能簡單標注下引證文獻的意思，可能會減少用戶的誤解。

任務9“請任意選擇一篇學位論文進行下載”。5位受測者均能較快的在頁面中找到下載功能，在知網(wǎng)中受測者平均耗時8.6秒完成任務，在萬方中為3.2秒，萬方耗時遠遠少于知網(wǎng)，因為萬方直接將下載全文超鏈接選項設置在了文章標題和摘要下，十分醒目，而在知網(wǎng)中則需要點擊具體的學位論文標題才能在詳細頁面找到下載選項。

任務10“假設您在學位論文數(shù)據(jù)庫的使用中遇到了自身無法解決的問題，您會如何使用數(shù)據(jù)庫的幫助和咨詢功能”，該任務考察學位論文數(shù)據(jù)幫助功能的友好度。在完成該任務時有2位受測者直接表示不會使用數(shù)據(jù)庫的幫助功能，因為他們在以前使用別的數(shù)據(jù)庫時嘗試使用過，但是都不能及時和滿意的解決遇到的問題，他們遇到問題更傾向于使用百度或者請教同學和老師。在使用知網(wǎng)的在線咨詢功能時，有受測者表示在線咨詢懸浮框雖然出現(xiàn)在頁面的右邊，但是字體還不夠大和醒目，有可能會被用戶忽視，在白天工作時間的知網(wǎng)咨詢服務人員都是在線解答疑問，回復速度較快，但也有咨詢人員解決不了的問題，會讓受測者撥打熱線電話再次進行詢問。萬方有幫助頁面,但只提供了一些基本問題的解答，受測者并沒有順利找到解決問題的方法，接著3位受測者看到了數(shù)據(jù)庫首頁的熱線電話并嘗試撥打，但總是提醒熱線忙無法接通。這些情況的出現(xiàn)會對數(shù)據(jù)庫的可用性造成一定影響。

3 可用性測試調查結果分析

在受測者完成學位論文數(shù)據(jù)庫的可用性任務測試后，又填寫了學位論文數(shù)據(jù)庫可用性測試調查問卷，調查問卷根據(jù)可用性評價指標來設置。受測者會根據(jù)剛剛完成任務的感受來完成對兩種學位論文數(shù)據(jù)庫的主觀滿意度評價。問卷采用1～5級的Likert量化表來表示認可的程度及滿意度，“1”代表非常不滿意、“2”代表不滿意、“3”代表不確定、“4”代表滿意、“5”代表非常滿意。根據(jù)回收的問卷，統(tǒng)計得到以下數(shù)據(jù)。

根據(jù)調查問卷反饋的學位論文數(shù)據(jù)庫可用性得分表可以看出，知網(wǎng)的可用性總得分為4.14分，萬方為4分，總體來說知網(wǎng)的可用性略高于萬方。

在有效性方面，知網(wǎng)的得分為4.4分，略高于萬方的4.27分，說明在有效性方面，受測者對知網(wǎng)的滿意度略高于萬方。在易用性方面，知網(wǎng)的得分為3.8分略低于萬方的4分，表明受測者在使用萬方的過程感覺到更加方便，檢索界面也更易于理解。在易學性方面，兩種學位論文數(shù)據(jù)庫得分一樣均為4.1分，說明兩種數(shù)據(jù)庫均能讓用戶較為簡便地學會數(shù)據(jù)庫的使用方法。在容錯程度方面，兩種學位論文數(shù)據(jù)庫的得分都較低，均為3.2分，可以看出在受測者使用數(shù)據(jù)庫進行檢索時頁面會出現(xiàn)錯誤的情況。在主觀滿意度方面，知網(wǎng)的得分為4.6，略高于萬方，表明了受測者在使用知網(wǎng)數(shù)據(jù)庫時的總體滿意度高于萬方，再次使用知網(wǎng)學位論文數(shù)據(jù)庫的意愿也較強。

接下來，我們對可用性的每項一級指標下的二級指標進行逐項分析。

3.1 學位論文數(shù)據(jù)庫有效性分析

本文中的有效性指標由學位論文數(shù)據(jù)庫的響應速度、檢索過程的順利程度和檢索結果的準確程度3個二級指標構成。兩種數(shù)據(jù)庫具體得分如表4所示。從表中的數(shù)據(jù)可以看出，在學位論文數(shù)據(jù)庫的響應速度這一指標上，知網(wǎng)的得分比萬方高出0.2分，兩家數(shù)據(jù)庫的得分都較高，說明受測者對數(shù)據(jù)庫的響應速度較為滿意，在可用性測試中發(fā)現(xiàn)由于校園網(wǎng)絡的不穩(wěn)定和高峰期登錄數(shù)據(jù)庫用戶過多會造成一定的遲滯現(xiàn)象。在檢索過程的順利程度上，兩種數(shù)據(jù)庫的得分相同，均為4.4分，造成失分的原因主要集中在完成任務4的過程遇到了不小的阻礙，有時會遇到按照頁面要求輸入檢索式之后不能順利檢出所需學位論文，檢索結果為零的情況，影響了檢索的順利進行。在檢索結果的準確程度這一指標上,知網(wǎng)的得分為4分,略高于萬方的3.8分，在受測者完成檢索任務時認為知網(wǎng)給出的檢索結果更符合自己要求，而且知網(wǎng)和萬方在這一項中都失分不少，由此看來在檢索結果的準確度上，兩種數(shù)據(jù)庫庫還有待進一步的改善。

表2 學位論文數(shù)據(jù)庫可用性測試任務完成時間表（秒）

表3 可用性測試調查問卷得分表

3.2 學位論文數(shù)據(jù)庫易用性分析

易用性指標包括使用過程的方便程度和檢索界面術語的易于理解程度兩個二級指標。在使用過程的方便程度方面，知網(wǎng)的分數(shù)為4.2分，略低于萬方的4.4分，造成這一狀況的原因主要是在完成任務4時，知網(wǎng)的“專業(yè)檢索”對于非圖書情報專業(yè)人員的受測者來說難度很大，完成該任務耗時很長而且在嘗試使用的過程中遇到了許多困難，而受測者在使用萬方的“專業(yè)檢索”時則可以直接點擊所需的檢索字段和邏輯關系就會自動在檢索框生成檢索公式，只需要填入檢索字段具體的檢索詞，初學者也可以很快掌握使用方法，其易用性比起知網(wǎng)只能手工輸入復雜檢索式的“專業(yè)檢索”更好。在檢索界面術語的易于理解程度這一指標，知網(wǎng)的得分為3.4分，也低于萬方的3.6分，在對完成任務時的受測者進行訪談時，兩位受測者表示更喜歡萬方的“普通檢索”頁面，因為更加直觀與方便，他們還表示在平常的學習過程中，“普通檢索”基本可以滿足他們的需求，平時用的最多的也是“普通檢索”。

3.3 學位論文數(shù)據(jù)庫易學性分析

學位論文數(shù)據(jù)庫的易學性包括了掌握基本使用方法的難易程度和通過檢索界面幫助信息掌握更復雜使用方法的難易程度兩項指標。對于兩種學位論文數(shù)據(jù)庫來說，都是掌握基本使用方法比通過檢索界面幫助信息掌握更復雜使用方法要更容易。在掌握基本使用方法的難易程度方面，知網(wǎng)的得分比萬方高，是因為在完成對檢索出的學位論文進行排序、導出和找出被引文獻等任務時，知網(wǎng)的耗時比萬方少，知網(wǎng)的檢索結果頁面排序、導出和被引選項較為醒目，易于用戶尋找和使用，而在萬方中則需點擊更多的鏈接，花費更多的時間去尋找功能選項。在通過檢索界面幫助信息掌握更復雜使用方法方面，知網(wǎng)的得分則比萬方低，主要還是因為使用“專業(yè)檢索”這個任務，知網(wǎng)頁面只提供了文字的介紹和實例，對于受測者來說需要多次嘗試才能成功使用，難度很大，而在萬方中有直接點擊所需的檢索字段和邏輯關系就會自動在檢索框生成檢索公式這項功能，用戶只需要在檢索字段填入具體的檢索詞就可以完成專業(yè)檢索式的填寫，更為方便和易學。

3.4 學位論文數(shù)據(jù)的容錯程度分析

學位論文數(shù)據(jù)的容錯程度主要就是指用戶在使用數(shù)據(jù)庫時有著較低錯誤幾率，兩種數(shù)據(jù)庫的得分均為3.2分，分數(shù)都是各項指標中得分最低的，說明受測者在使用學位論文數(shù)據(jù)庫完成測試任務時遇到了不少頁面出錯和無響應的情況。知網(wǎng)的出錯原因主要是用戶在頁面停留時間稍久之后再進行操作，在輸入完檢索詞點擊檢索之后就會彈出出錯窗口，彈窗的說明文字為“對不起，服務器上不存在此用戶。可能已經被剔除或參數(shù)錯誤”，之后再返回檢索頁面，受測者先前填寫的檢索信息就已經清空，會給用戶造成一定的麻煩，影響數(shù)據(jù)庫的可用性。

表4 學位論文數(shù)據(jù)庫有效性得分表

表5 學位論文數(shù)據(jù)庫易用性得分表

表6 學位論文數(shù)據(jù)庫易學性得分表

表7 學位論文數(shù)據(jù)庫容錯程度得分表

3.5 學位論文數(shù)據(jù)庫主觀滿意度分析

學位論文數(shù)據(jù)庫主觀滿意度由對使用過程的滿意程度和再次使用該數(shù)據(jù)庫的意愿兩個指標組成。關于使用過程的滿意程度，知網(wǎng)的得分為4.2分，略高于萬方的4分，說明雖然在數(shù)據(jù)庫的使用中遇到了一些阻礙，但是總體而言，受測者對這兩種數(shù)據(jù)庫還是較為滿意的。關于再次使用數(shù)據(jù)庫的意愿，知網(wǎng)的得分為5分，也略高于萬方的4.8分，受測者表示如果下次在學習和研究過程中需要參考學位論文還是愿意再次使用兩家學位論文數(shù)據(jù)庫，也有受測者表示自己只知道這兩種知名度較高學位論文數(shù)據(jù)庫，不知道其他的學位論文數(shù)據(jù)庫，這也提醒其他的學位論文數(shù)據(jù)庫在增加用戶人數(shù)和提高知名度方面還需要努力。

4 結論及建議

本研究基于可用性的評價指標體系，對知網(wǎng)、萬方的學位論文數(shù)據(jù)庫進行了數(shù)據(jù)庫可用性測試?？傮w來說，知網(wǎng)和萬方的可用性都比較高，兩者差別不太大，主要存在的問題為：①“專業(yè)檢索”難度大，檢索準確率不高；②系統(tǒng)不夠穩(wěn)定，出錯不能恢復；③幫助功能不能高效地解答用戶疑問；④頁面出現(xiàn)專業(yè)詞匯，例如引證文獻等，難以理解。

針對這些問題，筆者對知網(wǎng)和萬方的學位論文數(shù)據(jù)庫提出以下幾點改善的建議：①完善檢索功能，提高檢索準確率；②提升服務器穩(wěn)定性，可學習PQDT學位論文數(shù)據(jù)庫近期檢索的自動保存功能，避免重復檢索；③完善幫助功能，開通多種咨詢模式，加強對咨詢人員的培訓，提升解決疑問的效率；④在頁面中對出現(xiàn)的專業(yè)詞匯進行解釋，提高易用性。

表8 學位論文數(shù)據(jù)庫主觀滿意度得分表

本文所做的可用性測試研究旨在找出學位論文數(shù)據(jù)庫在使用中可能存在的問題，希望能進一步提高學位論文數(shù)據(jù)庫的可用性，為數(shù)據(jù)庫能夠更好地向用戶提供更人性化和優(yōu)質的服務提供依據(jù)。

[1]梁華坤,張麗霞,何志杰,等.可用性測試平臺[J].計算機工程與設計，2010（3）：634-637.

[2]International Organization for Standardization.ISO 9241-11-1998 Ergonomic requirements for office work with visual display terminals-（VDTs）-Part 11：Guidance on usability[S].International Organization for Standardization，1999.

[3]張豪鋒，朱 珂.學習型網(wǎng)站的可用性現(xiàn)狀及對策研究[J].河南師范大學學報（哲學社會科學版），2006（6）：200-202.

[4]Nielsen J，Landauer T K.A mathematical model of the finding of usability problems[C]//Proceedings of the INTERACT’93 and CHI’93 conference on Human factors in computing systems.New York：ACM，1993：206-213.

[5]徐海霞.我國高校圖書館網(wǎng)站可用性分析研究與輔助分析系統(tǒng)設計[D].重慶：西南大學，2006.