“可用性”研究的文獻計量與引文可視化分析

杜 華

（安陽師范學院教育信息技術與傳媒學院，河南安陽 455000）

“可用性”研究的文獻計量與引文可視化分析

杜 華

（安陽師范學院教育信息技術與傳媒學院，河南安陽 455000）

利用HistCite軟件對可用性研究文獻進行了統(tǒng)計分析，理清了過去30多年國際可用性研究文獻的時間分布，可用性研究的活躍地區(qū)、研究機構及載文期刊；通過分析引文編年圖中的核心文獻，揭示了可用性研究的發(fā)展歷程和演進路徑，并在此過程中列舉了可用性研究的熱點、前沿，預測了該領域的發(fā)展趨勢。

可用性；量化分析；可視化分析；引文編年圖；研究熱點；研究趨勢；HistCite

1 引言

“可用性”概念，由上世紀80年代中期出現(xiàn)的“對用戶友好”的口號演變而來?？捎眯员环Q為“以用戶為中心進行設計”的概念，指產(chǎn)品對學習者來說有效、易學、高效、好記、少錯和令人滿意的程度，即用戶能否用產(chǎn)品完成相應任務，效率如何，主觀感受怎樣。實際上，可用性是從用戶角度所看到的產(chǎn)品質量，是交互式IT產(chǎn)品/系統(tǒng)的重要質量指標，更是產(chǎn)品競爭力的核心。近年來，隨著多媒體計算機的快速發(fā)展和人們對軟件產(chǎn)品質量日益關注，有關可用性的研究正逐漸成為人機交互和軟件設計等領域的熱點。

本文以WOS（Web of Science）數(shù)據(jù)庫中的兩個子庫SCI-E和SSCI（SCI-E指科學引文索引擴展版，SSCI為社會科學引文索引）為文獻來源，檢索策略為“主題=Usability”。鑒于2013年的數(shù)據(jù)并不完整，故時間跨度設置為2013年之前的所有年份。結果共檢索到符合條件的文獻記錄1885篇（檢索日期為2013年3月19日），文獻數(shù)據(jù)集出版時間分布為1982-2012年。設置輸出記錄方式為“全記錄（包含引用的參考文獻）”，將結果保存為純文本格式。

本研究采用引文圖譜可視化分析方法，借助HistCite軟件實現(xiàn)。HistCite（History of Cite）意為引文歷史，或叫引文圖譜分析軟件。該軟件系SCI發(fā)明人、美國著名情報學家和科學計量學家尤金·加菲爾德（Eugene Gar f eld）開發(fā)，能夠用圖示方式展示某一領域不同文獻之間的關系，可以快速繪制出一個領域的發(fā)展歷史，定位出該領域的重要文獻以及最新的重要文獻[1]。

將生成的純文本格式數(shù)據(jù)導入HistCite軟件，對1982-2012年可用性研究領域發(fā)表文獻的時間、國家、研究機構、載文期刊的分布和被引頻次、引文編年圖等指標進行統(tǒng)計分析，結果見以下各節(jié)。

2 文獻發(fā)文量

（1） 時間分布

按年產(chǎn)量統(tǒng)計可用性研究文獻的時間分布情況，結果如圖1所示。由圖1可以看出，WOS中對可用性進行學術研究有記載的文獻始于1982年，過去30多年以可用性為主題研究的發(fā)文量總體呈現(xiàn)逐年遞增的趨勢。1994年以前，研究文獻每年發(fā)文量都在10篇以內，1994-2002年維持在百篇以內，2003-2011年差不多每年都有一百多篇，2012年達到一個高峰，有211篇的學術文獻在這一年發(fā)表。研究文獻量的增長在一定程度上說明大家對此研究領域的關注度越來越高。

（2） 國家（地區(qū)）分布

對研究可用性的國家（地區(qū)）進行分析，可以找出該領域研究的活躍地區(qū)。在HistCite中將文獻按國家統(tǒng)計可以發(fā)現(xiàn)，過去31年內以可用性為主題的1885篇研究文獻分布于68個國家（地區(qū)），其中未署國家（地區(qū)）的文獻達314篇，文獻量排名前15的國家（地區(qū)）如表1所示（其中，TLCS：Total Local Citation Score為本數(shù)據(jù)集的總被引次數(shù)，TGLS：Total Global Citation Score為WOS中的總被引次數(shù)）。無論是發(fā)文量還是被引次數(shù)，美國都穩(wěn)居第一，遠超過其他國家，其發(fā)文量甚至超過其后5個國家發(fā)文量的總和，占總發(fā)文量的28.17%。英國和德國分居二、三位，它們的發(fā)文量雖然也都過百，但依然遠不及美國，前15個國家發(fā)文量共計1455篇，占總發(fā)文量的77.19%。中國排第十五位，發(fā)文量和被引次數(shù)都較低。

（3） 研究機構分布

圖1 可用性研究文獻的年度時間分布

進一步對可用性文獻的研究機構進行分析，發(fā)文量靠前的如表2所示（其中未署名研究機構的有123篇）。就發(fā)文量而言，美國的馬里蘭大學（Maryland Univ）和加拿大的多倫多大學（Toronto Univ）旗鼓相當，美國的印第安納大學位列第三，IBM公司緊隨其后。美國的普渡大學（Purdue Univ）和丹麥的哥本哈根大學（Copenhagen Univ）并列，發(fā)文量同為17篇。美國密歇根大學（M ichigan Univ）發(fā)文量排在德克薩斯大學（Texas Univ）之后，與匹茨堡大學（Pittsburgh Univ）和荷蘭的特溫特大學（Twente Univ）均為14篇，3所研究機構并列。就單篇文獻的被引次數(shù)（TLCS/N）而言，IBM公司最高（其TLCS值也最高），這說明IBM公司研究學者的文獻得到了可用性領域內更多學者的肯定和關注，馬里蘭大學的TGCS值最高（其TGCS/N也最高），這說明馬里蘭大學學者發(fā)表的文獻受到了與可用性相關研究領域最多的引用和轉載。

（4） 載文期刊分布

1982-2012年間共有757種期刊發(fā)表過以可用性為主題的文獻，“文獻量（N）≥24”的期刊共計10種，結果見表3。10種期刊合計載文量為418篇，占總量的22.18%。其中，《Behaviour & Information Technology》載文量最高，為82篇，占總發(fā)文量的4.35%，該期刊的TLCS和TGCS值也都最高，這說明在可用性研究領域，該雜志所發(fā)文獻不僅發(fā)文量最大，受認可程度最高，且得到其他相關研究領域專家引用和關注最多。

3 高影響力文獻統(tǒng)計

LCS（Local Citation Score）是某篇文獻在當前數(shù)據(jù)集（也即下載的1885篇文獻）中被引用次數(shù)，它反映了某文獻在某領域的受關注程度，通過文獻的LCS可以快速定位一個領域的經(jīng)典文獻。為了找出可用性研究領域的高影響力重要文獻，利用HistCite的統(tǒng)計功能，將檢索結果按LCS降序排列，其中LCS≥22的17篇文獻如表4所示。其中，GCS（Global Citation Score）表示文獻在WOS中的被引用次數(shù)。

表1 可用性研究文獻量前15名國家分布

表2 文獻量N≥14的研究機構分布

表3 文獻量N≥24的載文期刊分布統(tǒng)計

由表4可知，在所列17篇文獻中，發(fā)表在《Behaviour & Information Technology》上的有4篇，《International Journal of Human-Computer Interaction》上的文獻為3篇，這在一定程度上佐證了表3中對文獻載文期刊分布情況的統(tǒng)計分析。每一篇研究文獻都有一個編號，見表4中的文獻編號列，這在引文編年分析部分會用到。

4 引文編年分析

利用HistCite的Graph Maker功能，以LCS Count為條件，設定節(jié)點數(shù)（Lim it）為62（鑒于時間跨度為31年，故選擇31的倍數(shù)62作為引文編年圖中能出現(xiàn)的節(jié)點數(shù)），繪制可用性研究文獻的引文編年圖，以期找出可用性研究領域的核心文獻、研究演進路徑、熱點，并對該領域的研究前沿和發(fā)展趨勢作出預測，結果如圖2所示。

圖2 可用性研究文獻引文編年圖

表4 當前數(shù)據(jù)集被引頻次（LCS）≥22的文獻

對引文編年圖的進一步分析可以發(fā)現(xiàn)可用性研究在1992年出現(xiàn)一個重要節(jié)點44。它是由美國通用電話電子公司實驗室Virzi RA教授1992年8月發(fā)表在《Human Factors》上的名為《精煉可用性評估的測試階段：多少被試者就足夠了》的文章。Virzi RA教授認為，友好的用戶界面設計和低廉的測試成本有助于提高產(chǎn)品的開發(fā)生存周期。針對可用性問題，他通過3個實驗報告來說明在產(chǎn)品測試評估階段需要多少被試者參與就足夠了的問題，研究有3點基本發(fā)現(xiàn)：80%的可用性問題是由最初的4～5個被試者發(fā)現(xiàn)的；后面的被試者似乎越來越難給出新信息；最初的幾個被試者有可能發(fā)現(xiàn)最嚴重的可用性問題[3]。由于該文獻的研究成果是基于實驗報告，來自產(chǎn)品可用性評估的實踐，得出的結論自然比較有說服力，再加上其發(fā)表時間較早，故其被后來者爭相引用也就不足為奇，這也致使該文的LCS值高達56，成為表4所列17篇文獻中最高的。

按照時間順序梳理，在隨后的1993、1994和1995年又分別出現(xiàn)一個重要節(jié)點。1993年出現(xiàn)的節(jié)點為49號文獻，該文由Kirakowski J和Corbett M共同撰寫，1993年9月發(fā)表在《英國教育技術雜志》上，名為《軟件可用性測量目錄》。軟件可用性測量目錄是從用戶使用滿意程度及遇到的問題角度調查軟件可用性的問卷，它是MUSiC（計算領域可用性標準度量項目的一部分。軟件可用性測量目錄由愛爾蘭科克學院大學人因學研究小組開發(fā)，Jurek Kirakowski正是該研究小組的主管。SUM I采用國際標準化的50個題目問卷，針對每個題目，用戶可以回答：同意、不確定、不同意。SUM I 從以下方面評價用戶對軟件可用性的看法：易學性，即用戶覺得自己能夠開始使用軟件并學習新特性的安心程度；效率，即用戶覺得軟件輔助自己工作的功效；喜歡程度，即用戶對軟件的一般情緒反應，例如：是否喜歡；用戶控制，即用戶覺得自己控制軟件（而非被軟件控制）的程度；對用戶的幫助，即用戶覺得軟件輔助自己使用的程度。SUM I要求至少要有10個用戶參與測試[4]。

1994年的節(jié)點為75號研究文獻。該文由Lew is JR獨著，名為《可用性研究的樣本量：額外注意事項》。Lew is首先回顧了1992年Virzi的研究發(fā)現(xiàn)，也就是上面提到的44號文獻，在此基礎上，他利用一個獨立的可用性研究來驗證Virzi的3個基本發(fā)現(xiàn)，結果顯示第二個基本發(fā)現(xiàn)，也就是后面的被試者似乎越來越不容易提供新信息是完全正確的，但第一個基本發(fā)現(xiàn)并不完全正確，第三個基本發(fā)現(xiàn)根本就沒有證據(jù)支持。Lew is的研究發(fā)現(xiàn)，隨著樣本量增大，收益在遞減。如果32%～42%的數(shù)據(jù)存在錯誤，那么最初的4～5個被試者就可以發(fā)現(xiàn)產(chǎn)品存在的80%的可用性問題，但如果數(shù)據(jù)的出錯率低于32%，那么要發(fā)現(xiàn)產(chǎn)品可用性問題的80%就需要超過5個被試者參與。將發(fā)現(xiàn)的可用性問題按嚴重性分類，并未發(fā)現(xiàn)其與被發(fā)現(xiàn)速率之間存在關聯(lián)。研究數(shù)據(jù)顯示在給定了數(shù)據(jù)出錯率平均估算值的前提下，二項式概率可以為預測問題發(fā)現(xiàn)曲線提供一個很好的模型。最后，作者通過一個經(jīng)濟學模型估算了不同情況下的投資回報率，數(shù)據(jù)顯示具有最大投資回報率的樣本量大小范圍深受測試產(chǎn)品數(shù)據(jù)出錯率的影響[5]。

1995年的節(jié)點85號文獻也是由Lew is JR獨著，名為《IBM電腦可用性滿意度調查表：心理測量評估與使用說明書》。在文中，作者描述了IBM當時正進行的主觀可用性測量研究，該研究的焦點是用心理測量的方法開發(fā)并評估測量用戶對系統(tǒng)可用性滿意度的問卷。文章主要目標有兩個：討論IBM用于測量用戶對電腦系統(tǒng)可用性滿意度的4套問卷的心理特征；提供問卷、實施和評分說明?？捎眯詫嵺`者能很有信心地使用這些問卷幫助其測量用戶對電腦系統(tǒng)可用性的滿意度[6]。

1997年出現(xiàn)了3個重要節(jié)點，分別為154、155和156。154號文獻是John BE和Marks SJ撰寫的名為《追蹤可用性評估方法的有效性》的文章。作者通過一個案例追蹤分析了使用6種不同的可用性評估法方法預測的可用性問題，6種可用性評估方法分別是權益分析、認知過程走查法、GOMS（目標、操作、方法、選擇規(guī)則）、啟發(fā)式評估、用戶行為標注和簡單閱讀說明書。案例通過比較不同方法預言的用戶測試結果評定其預測能力，通過計算引起執(zhí)行代碼改變問題的數(shù)量評定其說服力，通過用戶測試新系統(tǒng)的結果評定設計修改的有效性。結論是，上述可用性評估方法并不像人機交互領域想要的那樣有效果[7]。該文獻借鑒了之前44號和75號文獻的部分結論。節(jié)點155是名為《用于建構可用性問題報告評估方法的比較》的文章。在文中，作者回顧了前幾年人機交互研究提出的用于預測交互系統(tǒng)潛在可用性問題的幾種評價方法，在此基礎上對這些評估方法的有效性提出了質疑。文章指出，由于這些評估方法缺乏嚴密性和普遍性，因此，用它們預測的與有經(jīng)驗的用戶通過實際測試發(fā)現(xiàn)的可用性問題是否一致需要特別注意。該文作者提出了一個新的可用性問題評估的報告框架，用于改善評估方法預測的與有經(jīng)驗用戶測試發(fā)現(xiàn)的可用性問題的一致性，并指出了這種報告格式適用的設計研究情境[8]。節(jié)點156由節(jié)點49和65發(fā)展而來，是名為《一個被推薦的可用性指標：一種用于比較不同軟件系統(tǒng)相對可用性的方法》的文章。該文由美國普渡大學（Purdue Univ）教授撰寫。作者指出，可用性正在成為一個越來越重要的軟件標準，但是當前的可用性測量方法不是難以應用就是過于依賴評估者的專業(yè)知識。文章以人類信息加工理論為基礎，確定了與軟件可用性有關的8個需注意的人為因素，它們分別為兼容性、一致性、適應性、易學性、最少動作、最小記憶負載、知覺限制和用戶指導。普渡大學的可用性測試問卷（PUTQ）正是來自上述8個因素和人類信息加工的3階段。一個旨在測試PUTQ有效性的實驗結果表明PUTQ和用戶交互滿意度調查問卷（QUIS）存在高度相關。另外，PUTQ發(fā)現(xiàn)了在兩個試驗性的交互系統(tǒng)之間用戶績效的差異，但QUIS卻未能發(fā)現(xiàn)[9]。

177是1998年出現(xiàn)的重要節(jié)點，由44和75號節(jié)點發(fā)展而來。該節(jié)點文獻LCS值為49，排在所有可用性文獻的第二位。名為《被損壞的商品？有關可用性評估方法比較實驗的綜述》，由Gray WD和Salzman MC合著。文章指出，在人機交互領域，界面設計已成為研究者和實踐者的一個核心主題，但實驗設計尚未引起大家足夠的重視。然而，在某種程度上，對界面設計可靠與有效的指導卻往往依賴于實驗設計。在文中，作者通過比較檢驗了可用性評估方法的五個實驗設計，它們都對人機交互思想和實踐有著重要的影響。結果顯示，實驗設計中的一個很小的問題都有可能導致軟件致命性的錯誤。實驗的方法可作為一個強有力的工具，不僅可以幫助選擇可用性評估方法，而且可以用于說明人機交互的其他事項。要想獲得想要的結果，就需要加強并密切關注實驗設計[10]。

2001年有342和343兩個重要節(jié)點。342是名為《用于評價可用性評估方法的標準》的文章。在文中，作者指出，可用性是軟件系統(tǒng)質量的重要指標，目前有關可用性評估的方法很多，但卻較少有使用者能夠理解每一種方法的功能和局限，哪一種方法更有效？應如何使用，又該用于什么場合等。然而，由于缺少統(tǒng)一標準，又無法對不同的評估方法進行可靠地評估和比較?；诖?，文章對可用性評估方法的要素、比較準則和績效衡量等進行了討論，這些在比較可用性評估方法的研究中是非常有用的[11]。342節(jié)點文獻借鑒了44、75、154、155和177號文獻的研究成果。343號文獻由Hertzum M和Jacobsen NE合著，名為《評估員的影響：一個關于可用性評估方法令人寒心的事實》。在文中，作者認為計算機專業(yè)人員需要強健易用的可用性評估方法幫助其系統(tǒng)提升計算機人工制品的可用性，但是目前使用最為廣泛的3種可用性評估方法：認知過程走查法、啟發(fā)式評估和出聲思維研究針對相同的系統(tǒng)，如果是不同的人員進行評估，即使是采用同一種方法，得到可用性問題都大不一樣，這充分說明在可用性問題評估過程中，評估人員對結果的影響。作者在分析了11個案例的基礎上，得出以下3點結論：模糊的目標分析導致任務場景的多變性；評價過程的不清楚使得評價缺少抓手；不明確的問題界定標準使得任何事情都可能被當作可用性問題。為了盡量減少評估人員對結果的影響，最簡單的方法就是要讓盡可能多的人員參與到可用性的評估當中[12]。

距今最近的、LCS值又較高的節(jié)點是857。該節(jié)點文獻2006年2月發(fā)表在國際人機研究雜志上，由丹麥哥本哈根大學教授Kasper Hornbaek獨著，名為《可用性測量的最新實踐：可用性研究面臨的挑戰(zhàn)》。文章指出，如何測量可用性是人機交互研究和用戶界面評價中的一個重要問題，作者通過分析發(fā)表在人機交互核心期刊和會議上的180篇有關可用性測量論文并將其分類，回顧了有關可用性測量的最新實踐，區(qū)分了與測量有關的幾個問題，包括這些研究是否確實在測量可用性？測量能否覆蓋足夠大范圍？研究者是如何推理的？結果是否達到了可用性測量的目的？在已有的研究中，對可用性測量的選擇和推理大都缺乏一個有效可靠的，類似在用戶界面研究中使用的對可用性權威性的解釋?；谏鲜鑫墨I綜述，作者討論了可用性研究與如何進行可用性測量研究所面臨的挑戰(zhàn)，主要包括依據(jù)經(jīng)驗區(qū)分和比較可用性的主觀與客觀測量，集中開發(fā)和利用學習與記憶測量工具，研究長期使用與可用性，擴展使用后滿意度測量的范圍，驗證并標準化使用的主觀滿意度問卷，使用微觀和宏觀任務及對應測量工具驗證其與可用性測量的相互關系等等[13]。表4中的其他文獻這里就不再一一贅述。

5 總結

（1）從引文編年圖中可以看出，以“可用性”為主題的研究雖然出現(xiàn)時間不久，但其相關研究發(fā)展較快，并且出現(xiàn)了較為經(jīng)典的綜述性文章。

（2）近幾年高被引文獻表明，研究主要集中在對“可用性”評估、測量方法與標準的討論與比較，以及不同的評估方法、樣本量大小和評估人員對評估結果的影響等。

（3）目前可用性研究領域尚未形成一套最具權威性評估與測量方法及標準。不同“可用性”評估方法的適用場合、如何實施，以及與之相應的個案研究或典型實踐很有可能成為未來的研究熱點，而對權威性可用性評估方法、過程的提煉，對評估人員的專業(yè)培訓等也極有可能成為未來研究的主要趨勢之一。

[1] Garfield E. Historiographic Mapping of Know ledge Domains Literature[J]. Journal of Information Science, 2004,30(2):119-145.

[2] Gould JD, Lew is C. Designing for Usability: Key Principles and What Designers Think[J]. Communications of the Acm, 1985,28(3):300-311.

[3] Virzi RA. Re f ning the Test Phase of Usability Evaluation -How Many Subjects Is Enough[J]. Human Factors, 1992,34(4):457-468.

[4] Kirakowski J, Corbett M. Sumi-the Software Usability Measurement Inventory[J]. British Journal of Educational Technology, 1993,24(3):210-212.

[5] Lew is JR. Sample Sizes for Usability Studies-Additional Considerations[J]. Human Factors, 1994,36(2): 368-378.

[6] Lew is JR. IBM Computer Usability Satisfaction Questionnaires-Psychometric Evaluation and Instructions for Use[J]. International Journal of Human-Computer Interaction, 1995,7(1):57-78.

[7] John BE, Marks SJ. Tracking the Effectiveness of Usability Evaluation Methods[J]. Behaviour & Information Technology, 1997,16(4/5):188-202.

[8] Lavery D, Cockton G. Comparison of Evaluation Methods Using Structured Usability Problem Reports [J]. Behaviour & Information Technology, 1997, 16(4/5): 246-266.

[9] Lin HX,Choong YY.A Proposed Index of Usability: A Method for Comparing the Relative Usability of Different Software Systems[J]. Behaviour & Information Technology,1997,16(4/5):267-278.

[10] Gray WD, Salzman MC. Damaged M erchandise? A Review of Experiments That Compare Usability Evaluation Methods[J]. Human-Computer Interaction, 1998,13(3): 203-261.

[11] Hartson HR, Andre RS. Criteria for Evaluating Usability Evaluation Methods [J]. International Journal of Human-Computer Interaction, 2001,13(4):373-410.

[12] Hertzum M, Jacobsen NE. The Evaluator Effect: A Chilling Fact About Usability Evaluation Methods[J]. International Journal of Human-Computer Interaction. 2001,13(4):421-443.

[13] Hornbaek K. Current Practice in Measuring Usability: Challenges to Usability Studies and Research[J]. International Journal of Human-Computer Studies, 2006, 64(2):79-102.

Quantif cation of Usability Research Literatures and the Analysis of Citation Visualization

Du Hua
(AnYang Normal University Institute of Education Information Technology and Communication, Anyang 455000)

Firstly, this study untangles the temporal distribution, active region, research institution and publishing periodicals through quantitative analysis of past 31 years’ research literatures about usability. Then, the author makes historiographs using Histcite. Finally, the article analyses the major literature and development track of usability research, meanwhile, forecasts the development tendency in this area.

usability, quantitative analysis, visualization analysis, algorithm ic historiography, research hotspot, research trends, Histcite

G350

：ADOI：10.3772/j.issn.1674-1544.2013.04.014

研究文獻引文編年圖中，出現(xiàn)最早的節(jié)點7來自1985年（圖2中的節(jié)點7，節(jié)點號與表4中

相對應）。該節(jié)點是由Gould和Lew is共同撰寫的《為了可用性而設計：關鍵原則與設計師需要考慮的事情》。在文中，兩位作者從理論和實證兩個角度展開論述：在理論上，描述了生產(chǎn)有用且易用的計算機系統(tǒng)需要遵循的三條系統(tǒng)設計原則：提前并持續(xù)關注用戶，基于實證的使用測量，迭代設計。在實證方面，作者用數(shù)據(jù)表明他們提出的設計原則并不總是依靠設計師的直覺，而是有證據(jù)支持的，并且提供了上述設計原則成功應用于實踐的例子[2]。7號文獻的LCS值為37，排在所有可用性研究文獻的第三位。

杜華（1980- ），女，安陽師范學院講師，研究方向：信息技術教育應用。

河南省教育廳人文社會科學2012年重點項目“中國大學視頻公開課的可用性研究”（2012-ZD-003）；河南省教育廳科學技術研究重點項目“知識可視化技術支持的科普教育策略研究”（13A880020）。

2013年5月22日。