一種基于操作軌跡模型的移動應(yīng)用易用性評估方法

成靜, 朱怡安, 張濤, 楊艷麗

(1.西北工業(yè)大學(xué) 計算機(jī)學(xué)院, 陜西 西安　710072; 2.西北工業(yè)大學(xué) 軟件與微電子學(xué)院, 陜西 西安　710072)

?

一種基于操作軌跡模型的移動應(yīng)用易用性評估方法

成靜1,2, 朱怡安1, 張濤2, 楊艷麗2

(1.西北工業(yè)大學(xué) 計算機(jī)學(xué)院, 陜西 西安710072; 2.西北工業(yè)大學(xué) 軟件與微電子學(xué)院, 陜西 西安710072)

摘要：由于各種移動智能設(shè)備特征各異、操作方式多樣、使用環(huán)境復(fù)雜、用戶類型眾多等諸多因素,使得移動應(yīng)用的易用性評估問題非常突出。文章試圖探索基于用戶操作軌跡的移動應(yīng)用易用性評估方法。該方法通過構(gòu)造用戶操作軌跡狀態(tài)機(jī)模型,比較分析用戶真實操作軌跡模型與預(yù)期的標(biāo)準(zhǔn)操作軌跡模型之間區(qū)別,評估和發(fā)現(xiàn)可能的易用性問題。

關(guān)鍵詞：移動應(yīng)用測試;易用性;狀態(tài)機(jī)模型;易用性度量

隨著移動應(yīng)用市場競爭的日益激烈,對移動應(yīng)用的質(zhì)量要求日益苛刻和嚴(yán)格[1]。易用性是評價移動應(yīng)用交互體驗的重要指標(biāo),有助于提升用戶滿意度,增加用戶黏度[2]。與傳統(tǒng)應(yīng)用軟件相比,由于存在交互操作模式較多、使用環(huán)境復(fù)雜、受屏幕大小限制、用戶數(shù)量眾多等特點(diǎn),移動應(yīng)用易用性評估日趨重要和困難[3]。

當(dāng)前易用性評估方法研究仍主要集中在實驗室評測[4]和現(xiàn)場評測方面[5]。但這兩類方法對移動應(yīng)用易用性評測并不充分。首先,移動設(shè)備種類繁多,處理能力不盡相同，且屏幕尺寸、觸屏靈敏度等都會影響移動應(yīng)用易用性。其次,由于移動應(yīng)用使用環(huán)境復(fù)雜多樣,并且可能持續(xù)變化。最后,移動用戶類型眾多,用戶的知識背景、年齡、身體狀況等,也都可能影響移動應(yīng)用易用性。受限于測試成本和時間,傳統(tǒng)實驗室評測和現(xiàn)場評測方法均難以全面、準(zhǔn)確評估移動應(yīng)用易用性。

基于操作軌跡的易用性評估方法,則通過自動收集用戶操作軌跡日志,分析識別用戶使用障礙,研究評估移動應(yīng)用易用性[6]。本文在用戶操作軌跡模型基礎(chǔ)上,定義了一組移動應(yīng)用易用性評估指標(biāo),實現(xiàn)了真實用戶使用場景下的大規(guī)模、自動化的移動應(yīng)用易用性評估,使評估方法更為高效、客觀、準(zhǔn)確和低成本。

1移動應(yīng)用操作軌跡模型

1.1Android操作軌跡日志

在Android的用戶接口系統(tǒng)中,“Activity”定義了用戶交互窗口,通常附有一個視圖(“View”),通過該視圖來響應(yīng)用戶操作事件消息。“Activity”也可以附有對話框“Dialog”或者菜單“Menu”,以接收用戶操作事件。在Android系統(tǒng)中,視圖、對話框、菜單等不同窗口容器允許接收和處理不同類型的消息,如表1所示。

表1　Android事件類型表

Android移動智能設(shè)備有返回鍵、菜單鍵、Home鍵和搜索鍵等系統(tǒng)健,這些系統(tǒng)健對所有移動應(yīng)用都適用。Android圖形接口系統(tǒng)只處理其注冊的事件消息,而忽略未注冊的事件消息。

1.2移動應(yīng)用操作軌跡模型

移動應(yīng)用操作軌跡模型是根據(jù)操作軌跡日志,對用戶的移動應(yīng)用交互操作過程的描述。這里,移動應(yīng)用操作軌跡模型定義為一個擴(kuò)展?fàn)顟B(tài)機(jī)O{S,E,T,I,F}。

S:操作狀態(tài)集。在移動應(yīng)用中,將每個獨(dú)立用戶界面視圖定義為一個操作狀態(tài)。在Android中,“View”、“Dialog”、“Menu”均可定義為操作狀態(tài)。

E:操作事件集。在移動應(yīng)用中,將用戶對移動應(yīng)用的操作事件定義為其操作事件,如“點(diǎn)擊菜單”、“點(diǎn)擊按鈕”等。操作事件屬性包括:事件名稱、參數(shù)、操作對象、觸發(fā)時間等。

T:狀態(tài)轉(zhuǎn)換函數(shù)。狀態(tài)轉(zhuǎn)移函數(shù)用以描述移動應(yīng)用從一個狀態(tài)(視圖),在操作事件觸發(fā)下,遷移到另一個狀態(tài)(視圖),即狀態(tài)轉(zhuǎn)換函數(shù)描述了狀態(tài)之間可能的轉(zhuǎn)換規(guī)則。

I:初始狀態(tài)。通常將移動應(yīng)用啟動后的第一個狀態(tài)稱為其初始狀態(tài)。

F:一組結(jié)束狀態(tài),表示移動應(yīng)用退出或者任務(wù)完成時的狀態(tài)。

移動應(yīng)用操作狀態(tài)機(jī)模型描述了移動應(yīng)用所有可能的操作軌跡。為了分析移動應(yīng)用易用性,針對某個任務(wù),在期望的理想情況下的用戶操作軌跡狀態(tài)機(jī),定義為基本操作狀態(tài)機(jī)。而根據(jù)測試用戶實際操作過程,生成的操作狀態(tài)機(jī)實例,定義為用戶操作狀態(tài)機(jī)。通過對比分析基本操作狀態(tài)機(jī)與用戶操作狀態(tài)機(jī)之間的差別,有助于評估移動應(yīng)用易用性。例如,圖1描述了一個基本操作狀態(tài)機(jī),圖2是用戶操作狀態(tài)機(jī)。二者相比較,基本操作狀態(tài)機(jī)可通過較少的狀態(tài)和操作事件完成任務(wù),而用戶操作狀態(tài)機(jī)則增加了一個新的狀態(tài)S4和多個操作事件。

圖1　基本操作狀態(tài)機(jī)

圖2　用戶操作狀態(tài)機(jī)

2移動應(yīng)用易用性評價模型

在進(jìn)行易用性分析時,首先通過監(jiān)聽用戶操作日志,建立用戶實際操作軌跡狀態(tài)機(jī)模型,然后對比用戶實際操作狀態(tài)機(jī)與基本操作狀態(tài)機(jī)之間的差異,分析和評價移動應(yīng)用的易用性。這里,基于操作效率、正確性、可學(xué)習(xí)性、可記憶性等,定義了如下一組易用性度量指標(biāo):

1) 返回率Rb:用戶退回之前狀態(tài)的概率。返回率描述了針對某個用戶任務(wù),當(dāng)用戶操作失誤時,返回到前一狀態(tài)的頻率。即用戶返回操作數(shù)Cregressive-operation與基本操作數(shù)Cbase-operation之比。這里的返回率特指當(dāng)用戶點(diǎn)擊“返回鍵”而觸發(fā)的用戶操作狀態(tài)回退,即

(1)

2) 偏離率Rd:用戶在任務(wù)執(zhí)行的過程中,偏離預(yù)期操作序列的操作數(shù)與完成該任務(wù)的基本操作數(shù)的比率。其中偏離操作數(shù)可以由用戶操作數(shù)Cuser-operation與基本操作數(shù)Cbase-operation之差計算,即

(2)

3) 首次成功率Rf:是指用戶執(zhí)行任務(wù)時,在各個狀態(tài)下,第一次操作成功的個數(shù)與基本操作數(shù)的比率,它可反映用戶是否能夠快速掌握移動應(yīng)用的操作模式。

(3)

4) 學(xué)習(xí)次數(shù)Co:是指用戶從第一次執(zhí)行任務(wù)開始,平均執(zhí)行多少次任務(wù)后,能夠達(dá)到穩(wěn)定操作狀態(tài),即用戶操作狀態(tài)機(jī)接近或者與基本操作狀態(tài)機(jī)一致。

5) 熟練度Rp:在用戶穩(wěn)定操作狀態(tài)情況下,其任務(wù)平均完成時間Tuser與基本操作模型的任務(wù)預(yù)期完成時間Tbase之比,即

(4)

6) 記憶度Rr:是指用戶在長時間不用的情況下,當(dāng)再次操作時平均完成時間Tuser-re與基本操作模型的任務(wù)預(yù)期完成時間Tbase之比,即

(5)

3實例研究

為了驗證本文所提出方法的有效性,選擇開源的移動應(yīng)用杏林書童作為實例研究對象。招募了20名本科生和研究生作為實驗人員,其中10人來自計算機(jī)相關(guān)專業(yè),10人來自非計算機(jī)專業(yè),有10名男性,10名女性,年齡分布在19到27歲之間。所有測試人員均使用自己的Android智能手機(jī),安裝具有操作軌跡日志監(jiān)聽功能的杏林書童移動應(yīng)用。

杏林書童是一款中醫(yī)方濟(jì)速查移動應(yīng)用,我們設(shè)計了一個用戶操作任務(wù)。該任務(wù)在杏林書童的首頁,選擇辯證類別“氣血雙補(bǔ)”,并在氣血雙補(bǔ)類別中選擇方劑“八珍湯”,然后修改“八珍湯”中人參的藥量為11克。該任務(wù)的具體操作步驟如表2所示,其對應(yīng)的基本操作狀態(tài)機(jī)如圖3所示。然后分別請20名學(xué)生獨(dú)立完成該操作任務(wù),生成每個用戶的操作狀態(tài)機(jī),圖4是其中某一個用戶的操作狀態(tài)機(jī)模型。對比分析發(fā)現(xiàn),該用戶在狀態(tài)S4時,存在操作遲疑、誤操作多等易用性問題。

表2　杏林書童任務(wù)操作描述表

圖3　杏林書童基本操作狀態(tài)機(jī)

圖4　杏林書童用戶操作狀態(tài)機(jī)

通過分析20名學(xué)生的操作軌跡模型與基本操作軌跡模型之間的差異,應(yīng)用所提出的評價模型,評估結(jié)果如表3所示。根據(jù)表3,用戶操作返回率和偏離率較高,首次成功率較低,平均需要3.45次才能熟練操作。熟練操作后平均用戶操作時間接近標(biāo)準(zhǔn)操作時間,并且用戶記憶度較好。

表3　杏林書童易用性評價結(jié)果

4結(jié)論

本文提出的基于軌跡的移動應(yīng)用易用性評測方法,能夠支持大規(guī)模、遠(yuǎn)程、低成本的易用性分析和評估,幫助發(fā)現(xiàn)移動應(yīng)用易用性存在的缺陷和問題。下一步,將基于本文的模型與算法,研究和開發(fā)相關(guān)的工具軟件,開展大規(guī)模實驗,進(jìn)一步驗證所提出方法的有效性。

參考文獻(xiàn)：

[1]Jerry Gao, Bai X, Tsai W T, et al. Mobile Application Testing: A Tutorial[J]. IEEE Trans on Computer, 2014, 47(2): 26-35

[2]Ahmed Seffah,Mohammad Donyaee, Rex B, et al. Usability Measurement and Metrics: A Consolidated Mode[J]. Software Quality Journal, 2006, 14: 159-178

[3]Gafni R. Usability Issues in Mobile-Wireless Information Systems[J]. Issues in Informing Science and Information Technology, 2009, 6: 755-769

[4]Hussain A, Kutar M. Usability Metric Framework for Mobile Phone Application[C]∥The 10th Annual Post Graduate Symposium on The Convergence of Telecommunications, Networking and Broadcasting, 2009: 456-462

[5]Coursaris C K, Kim D J. A Meta-Analytical Review of Empirical Mobile Usability Studies[J]. Journal of Usability Studies, 2011, 6(3): 117-171

[6]Ma Xiaoxiao, Yan Bo, Chen Guanling, et al. Design and Implementation of a Toolkit for Usability Testing of Mobile Apps[J]. Mobile Networks and Applications, 2013, 18: 81-97

Evaluating Usability of Mobile Applications Based on User Operation Track Model

Cheng Jing1,2, Zhu Yian1, Zhang Tao2, Yang Yanli2

1.School of Computer Science, Northwestern Polytechnical University, Xi′an 710072, China 2.School of Software and Microelectronics, Northwestern Polytechnical University, Xi′an 710072, China

Abstract:With the fast evolution in the development of applications for mobile smart devices, the study and adequacy of usability evaluation methodologies in this context is becoming an increasingly demand. Traditional laboratory based usability testing is often tedious, expensive, and does not reflect real use cases. In this paper, a novel remote usability evaluation approach has been proposed for mobile applications. This approach automatically collects user interface events as the user interacts with the applications, and then models user operation tracks using state machine. By analyzing and comparing real user operation state machines with expert operation state machine, we evaluate mobile applications with some proposed usability metrics, and find usability faults.

Keywords:mobile testing; mobile usability; usability testing; usability evaluation

收稿日期：2016-03-20

基金項目：陜西省工業(yè)科技攻關(guān)項目(2016GY-100)資助

作者簡介：成靜(1982—)，女，西北工業(yè)大學(xué)博士研究生，主要從事軟件測試、軟件安全性研究。

中圖分類號：TP311.5

文獻(xiàn)標(biāo)志碼：A

文章編號:1000-2758(2016)04-0720-04