基于屬性重要性的手勢改善方向決策算法

婁澤華　殷繼彬

摘要：為了更有效地改善手勢以延長其生命周期，采用量化指標指導手勢改善方向的決策。基于屬性重要度，給出了復雜人因條件下手勢改善方向的決策算法。根據模糊層次分析法計算指定手勢每個屬性的全局權重，并根據用戶反饋計算指定手勢每個屬性的局部權重，全局權重與局部權重調和得到綜合權值向量。依據用戶對指定手勢的綜合印象，將各屬性評分分為兩類分別進行處理。根據各屬性的正向與負向影響力，得到權值向量中各屬性權值分布。對各屬性評分分別計算標準化評分偏置，各屬性改善需求程度排序通過權值分布與標準化評分偏置進行計算。實驗結果表明，基于該算法比基于問卷調查決策制定的手勢，支持率平均提高了25%，從而得出結論：手勢優(yōu)化過程中各屬性的權值排序是穩(wěn)定的。

關鍵詞：屬性重要性；手勢優(yōu)化；決策算法；人機交互；權值分布

DOIDOI：10.11907/rjdk.181208

中圖分類號：TP301.6

文獻標識碼：A文章編號文章編號：16727800（2018）009001309

英文標題Attribute Importancebased Decision Algorithm for Gesture Direction Improvement

--副標題

英文作者LOU Zehua， YIN Jibin

英文作者單位（Department of Information Engineering and Automation，Kunming University of Science and Technology，Kunming 650500，China）

英文摘要Abstract： In order to improve the gestures more effectively to prolong their life cycle，a quantitative indicator is used to guide the gesture to improve the direction of the decision.Based on attribute importance，an algorithm is proposed to make decision on gesture improvement direction under complex human condition. The global weight for each attribute of the specified gesture is calculated according to the FAHP （Fuzzy Analytic Hierarchy Process） algorithm.The local weight for each attribute of the specified gesture is calculated according to the user feedback.The global weights and the local weights are harmonized into comprehensive weights vector.According to the user's comprehensive impression on the specified gestures，each attribute's score is divided into two classes and processed separately.According to the positive and negative influence degree of each attribute，the weight distribution of each attribute in the weight vector is obtained.Each score of the attributes is calculated by the standardized score bias respectively.The rank of improvement necessity on each attribute is calculated by the weight distribution and the standardized score bias.Experiments show that the support rate of improved gestures achieved through decisionmaking based on this algorithm is 25% higher on average than based on questionnaire.The conclusion is that the weight ranking of each attribute is stable during the process of gesture optimization.

英文關鍵詞Key Words：attribute importance；gesture optimization；decisionmaking algorithm；humancomputer interaction；weight distribution

0引言

手勢是以人因（人為因素）為導向的，其優(yōu)劣程度并沒有精確的評判標準。當前人機交互類產品最具代表性的客觀和主觀評價標準分別是產品可用性與用戶體驗（通常縮寫為UX）。很多從業(yè)者從以下幾方面考慮產品可用性：靈活性[1]、可學習性、可記憶性與安全性。產品可用性在ISO9241 Ergonomics of Human System Interaction標準（1998年第11部分）[2]中被定義為：指定用戶在指定情境中使用指定產品（服務或環(huán)境）實現指定目標時的有效性、效率與滿意程度。該定義表明，產品可用性沒有精確定義，而是相對于特定用戶、特定目標與特定使用情境的適用性。UX則是評估標準中的新術語[3]，使用相關娛樂設備時，用戶不僅要求實現任務，而且要求具有娛樂性。Hassenzahl[4]和Tractinsky[5]描述了UX的3個突出特點：①整體性：UX采取更全面的觀點，旨在平衡面向任務和非任務導向方面（通常稱為享樂方面）的關系；②主觀性：UX更關心用戶主觀反應、用戶對系統(tǒng)的看法及用戶與系統(tǒng)的互動；③積極性：UX更關心用戶使用過程中的積極方面，以及如何最大限度地利用它們，這些積極方面可以是快樂、幸?；騾⑴c。UX同樣沒有給出精確的評判標準。

基于不穩(wěn)定的評判標準，在已有研究中不斷設計出新手勢。當手勢使用群體達到一定規(guī)模，重新設計手勢可能導致失去部分用戶。對于不斷擴大的用戶群體，對手勢的持續(xù)改善顯得越來越重要。然而，設計出的手勢很少得到有效改進，導致這些手勢的生命周期非常短。

為了有效延長手勢生命周期，需要對手勢的改善方向進行決策。目前手勢改善方向可由觀察身邊的可優(yōu)化案例決定，即按需求自適應定制。如梁榮榮[6]對教學場景中引起用戶體驗降低的部分手勢進行改進，改進后的手勢往往能獲得更好的體驗，但優(yōu)化迭代速度慢，且隨著用戶群體擴大，過于個性化的手勢不利于問題交流與后期維護。此外，隨著UX對交互趨勢的影響越來越大，手勢下一步的改善方向通常使用調查問卷（含反饋收集）形式確定。其中用戶直接反饋改進意見的形式雖然比較直接，但易出現用戶意見不一致、手勢語義沖突與手勢集系統(tǒng)性降低的問題，用戶使用目的、用戶對類似手勢的使用經驗以及用戶對手勢設計與自身需求間的偏差等因素皆會對評分造成較大影響。調查問卷形式中依據屬性重要性直接決策是一種比較穩(wěn)定的方法，然而該方法雖然能有效指導手勢的初期設計，卻不能很好地指導手勢改善。手勢改善不僅與某個屬性的重要程度有關，還與當前手勢在該屬性方面表現出的優(yōu)劣程度有關，而且改進手勢時可能會在一定程度上犧牲其它屬性的優(yōu)勢，如何取舍需要一定指導。因此，需要建立新的評價模型指導手勢改善。

為了保證手勢改善方向的穩(wěn)定性，需要一個量化的評判標準。目前國內外專家學者針對手勢評估進行的研究主要分為3類：①根據ISO9241易用性定義中的某一標準對使用過程中收集的數據進行評估。如徐禮爽、程鐵剛、田豐等[7]通過對比記憶實驗進行手勢可用性評估，以被試者是否更容易學習和記憶作為標準，比較3組手勢中哪一組的易學性和易記憶性更高；鄭海彬等[8]在進行無人機手勢動作定義時預先定義了符合直觀感覺的語義列表，以識別準確率為標準，判定手勢識別系統(tǒng)的性能；Panwar M、Mehra P S等[9]為基于形狀特征的手勢檢測設計了一套包含字母A-Z以及數字1-9的符號手勢，以用戶輸入手勢的識別成功率與操作效率為標準，判定手勢的易用性；②專家評估。如Landay J、Myers 等[10]設計一個交互式用戶界面設計工具，參數評估過程涉及6名UI設計師與6名擔任工程師的計算機科學、機器人或語言技術方向研究生；③以調查問卷等主觀形式進行評估。錢堃等[11]設計6組常用手勢，用戶多次使用后以調查問卷形式進行評價，根據評價數據分析手勢效果；吳金鐸等[12]則分別設計2D層面、3D層面的手勢進行實驗，以用戶對手勢的主觀滿意度得分為標準，比較同一交互層面（2D或3D層面）下，不同組手勢集之間的滿意度得分，得出可用性最高的手勢集。此外還有混合評估，如Farzin Farhadi-Niaki、S Ali Etemad等[13]設計了手臂、手指兩個手勢集，每個用戶依次使用兩個手勢集執(zhí)行兩個不同難度級別（簡單和復雜）的任務。依據調查問卷得到的結果與對耗費時間、正確率等數據分析得到的結果相互印證，得到手勢在某方面的重要程度。

以上3種評價標準各有優(yōu)點，但對于指導手勢的改善仍有不足之處：①依據某一標準的數據評估得到的結果是片面的。不同場景下的評估標準注重的任務或享樂方面指標不同，使手勢改善方向的決策易產生片面性；②依據專家評估無法有效處理分歧狀況。手勢改善方向的決策不是衡量手勢某一屬性是否重要，而是衡量哪些屬性更加重要，由于專家之間易出現分歧，可能造成決策困難；③依據用戶調查問卷進行決策受主觀因素影響較大。混合評估方式是通過調查問卷結果與其它方式得到的結果相互印證進行決策，缺點是一旦出現結果不一致的情況則無法決策。

1手勢改善方向評價模型理論依據

本文的解決思路圍繞手勢改善中的評判標準與評價模型展開。

（1）評判標準確立：UX的評判標準雖然不穩(wěn)定，但間接說明了主觀性不完全是隨機的。使用用戶調查問卷方法時可以適當地處理主觀性造成的影響，從中得到需要的穩(wěn)定信息。鄧聚龍[14]在提出灰色關聯分析法（GRA）算法時指出，因素間的關系不可能是一個定值，只可能是某種背景條件下因素間關系的相對主次順序。根據該思想，將手勢屬性之間的相對重要性看作屬性間的一種關系，則屬性相對重要性得分不是一個定值，但其排序是穩(wěn)定的。因此，最終的量化值旨在表征各屬性改善性的排序情況。

（2）評價模型建立：本文以調查問卷為主要評估形式，再對評估數據進行處理，得到引入主觀性的穩(wěn)定排序信息。首先確立屬性（即評價指標）種類，采用專家評估的形式確保全面性，其次通過用戶調查問卷得到手勢的各屬性評分以及綜合評價，最后處理用戶主觀性。本文對主觀性引起的問題作以下處理：①屬性重要性權值在樣本數據稀疏時受主觀因素影響較大。調和指定手勢每個屬性的全局權重與局部權重得到綜合權值向量，其中指定手勢每個屬性的局部權重根據用戶反饋計算得到，全局權重根據模糊層次分析法（Fuzzy Analytic Hierarchy Process，簡稱FAHP）[15]計算得到，以避免評價過少造成的不穩(wěn)定，且一定程度上保留了手勢自身細節(jié)特性；②屬性評分易受指定用戶對手勢的不同印象影響導致指定手勢的所有屬性評分過高或過低。因此，根據S Das[16]在模糊系統(tǒng)中的分類處理思想，按手勢獲得綜合好評與綜合差評的反饋分為兩類分別進行分析；③即使同一手勢的兩個不同屬性評價分數相同，兩個評分對該手勢的影響并不相同。屬性間的差異通過各屬性的綜合權值向量表征，以表示某一屬性對指定手勢綜合評分的綜合影響程度；屬性內差異（多個用戶評分的統(tǒng)計性差異）通過獎勵系數（Reward Coefficient）與懲罰系數（Penalty Coefficient）表征，即某一屬性得到正傾向、負傾向的評分時，該屬性兩種傾向評分分別對指定手勢綜合評分的影響程度占該屬性對指定手勢綜合評分的綜合影響程度比例。這里正傾向指用戶對該屬性持積極態(tài)度或評分較高，通過獎勵系數表征，負傾向指用戶對該屬性持消極態(tài)度或評分較低，通過懲罰系數表征。

2手勢改善方向評價模型構建

如何在復雜人因環(huán)境下，根據用戶評價數據得到較為客觀的手勢改善方向？本文旨在找出各屬性的改進必要程度排序（即屬性的可改善性排序），以指導手勢改善。算法流程如圖1所示。

2.1評價指標種類確立

以“觸控+非接觸手勢”的混合手勢設計為例，經過評估，從人機交互定義出發(fā)，根據研究對象不同確立分層手勢設計原則表，如表1所示，其中手勢屬性為x1—x12。

2.3屬性綜合權值向量計算

2.3.1屬性局部權重

統(tǒng)計屬性在追加問題“評價手勢為偏好/差的主要原因在于屬性？”中被提及的次數，以計算屬性局部權重。countj包含所有好評和差評中屬性xj被提及的次數，表征用戶認為該手勢在此屬性上相對于他們所認知的手勢差異程度大小。屬性xj被提及次數越多，表示該屬性對于手勢改進越重要。因此，將屬性xj被提及的次數countj占所有屬性被提及總次數的比例，視為屬性xj的重要程度，稱為屬性xj的局部權重，記作locweightj。則屬性xj的局部權重locweightj= countj∑nk=1countk，屬性的局部權重向量locweightn×1=（locweight1，locweight2，...， locweightn）T。

2.3.2屬性全局權重

屬性的全局權重通過FAHP算法進行計算。將屬性xj的全局權重記作gloweightj，屬性全局權重向量gloweightn×1=（gloweight1，gloweight2，…，gloweightn）T可按FAHP算法步驟進行計算，建立層次結構模型，構造成對比較矩陣，并得到能通過一致性檢驗的權值向量gloweightn×1。

（1）建立如圖2所示層次結構模型。

（2）建立成對比較矩陣，即模糊互補判斷矩陣（Fuzzy Complementary Judgment Matrix，FCJM）。對于準則層中的每個屬性，用成對比較法與0.1-0.9比較尺度建立模糊判斷矩陣。使用量化的判斷aij描述比較第i個屬性與第j個屬性相對上一層（即目標層）的重要性。第j個屬性相對于第i個屬性的重要性判斷記作aji。假設共有n個屬性參與比較，若A=（aij）n×n具有性質：

aii=0.5aij+aji=1，i，j=1，2，…，n

則稱該判斷矩陣為FCJM矩陣。AHP算法（層次分析法，Analytic Hierarchy Process）中T L Saaty[17]提出的經典0-9比較尺度不利于計算權值。文獻[18]提出的FAHP算法[18]改進了矩陣中aij的取值，采用0.1-0.9比較尺度[1819]，按照表2中的標度進行賦值，提高了決策可靠性。

2.4屬性綜合權值分布矩陣計算

本文借鑒S Das對模糊系統(tǒng)中可觀察隨機變量y的分類處理思想，依據綜合評分分別考慮好評和差評的評分。

分析屬性模型，依據各屬性評分對最終綜合體驗的影響，將屬性評分劃分為以下4種：①某屬性評分突出，用戶強烈地趨于接受手勢集，甚至忽略其它屬性的缺陷，評分低下，用戶強烈地趨于拒絕該手勢集，甚至忽略其它屬性的優(yōu)勢；②某屬性評分突出，用戶并不強烈地趨于接受該手勢集，評分低下，用戶也不強烈地趨于拒絕該手勢集；③某屬性評分突出，用戶強烈地趨于接受該手勢集，甚至忽略其它屬性的缺陷，評分低下，用戶并不強烈地趨于拒絕該手勢集；④某屬性評分突出，用戶并不強烈地趨于接受該手勢集，評分低下，用戶強烈地趨于拒絕該手勢集，甚至忽略其它屬性的優(yōu)勢。

一個屬性xj被評價為偏好或偏差時，對用戶決策造成的影響程度是不同的。好評情況下表示正向影響的傾向，差評情況下表示負向影響的傾向，這兩種情況下該屬性對決策的影響力貢獻分別可以由獎勵系數（Reward Coefficient）與懲罰系數（Penalty Coefficient）兩個向量表征，依次記作rewcoej與pencoej，且rewcoej∈[0，1]， pencoej∈[-1，0]，j=1，2，...，n。假設有n=4個屬性依次分別屬于以上列舉的4個類別，這n個屬性在不同情況下對決策的影響力分布如圖3所示。

3實驗與分析

針對“觸控+非接觸”混合手勢進行設計與改進，實驗分為3個部分：專家評估FAHP算法中的FCJM矩陣、用戶使用指定手勢的問卷調查、用戶使用優(yōu)化后手勢的問卷調查。

實驗環(huán)境：觸控設備為索尼VAIO TAP 20；型號為LM-C01-US 的Leap Motion Controller；型號為5DT Data Glove 14 Ultra 的5DT（Fifth Dimension Technologies）數據手套；軟件環(huán)境版本為Unity3D 5.4.3，代碼環(huán)境為C#。

首先，專家評估FCJM矩陣，根據FAHP算法得到屬性全局權重；其次，用戶使用指定手勢后反饋對各屬性的滿意度評分、對該手勢的綜合評價，并指出導致好評或差評的主要屬性，根據算法求出手勢屬性的可改善性排序；根據算法得到的改善性排序對手勢進行優(yōu)化，得到一組新手勢，并根據用戶反饋中直接建議的屬性改善性排序優(yōu)化手勢，得到另一組新手勢；最后，將兩組手勢進行對比投票，以驗證算法的有效性。

3.1專家評估FCJM矩陣

參與評估的涉及4名研究經驗達到2年或以上，來自計算機科學專業(yè)且研究方向為人機交互的碩士研究生。將其兩兩分組，每組評估出一個判斷矩陣，得到FCJM矩陣A1和A2：

實驗組在手勢G1、G3、G4的優(yōu)化中有較高支持率；在手勢G2的優(yōu)化評價中，實驗組略占優(yōu)勢；對于手勢G5和G6，兩組都建議保留原手勢。綜合以上結果可以看出，實驗組在手勢改善方向的預測上更有優(yōu)勢。

以G1平移手勢為例進行說明：原始手勢為“左手移動，目標跟隨移動”，根據實驗2中實驗組的分析，改善后的手勢主要加強了屬性x10的優(yōu)勢：“右手2指長按觸屏，左手握拳移動，目標跟隨移動，左手張開，目標撤銷移動復位，右手取消選定則固定為當前位置”，犧牲了組合簡單的屬性x12，換取功能的明確性；根據實驗2對照組的分析，得到改善后的手勢：“右手2指長按觸屏，左手握拳移動，目標跟隨移動”。

實驗3中為實驗組與對照組設計了一組相同的指定任務，指定任務中包括3個不同難度的任務，以降低某組手勢對特殊任務適用性差異的影響。實驗組比對照組支持率高出了36%，平均支持率高出25%，表明改善決策算法對手勢G1有效。用戶提出方案不合適的原因主要在于對手勢設計過程了解不足，導致設計出的手勢與其期望有偏差。

得到改進手勢G1-G6如圖9所示（其中G5、G6由于綜合評價的好評比例高于90%，因而未作優(yōu)化）。

4結語

本文基于屬性排序的評判標準，提出一種復雜人因系統(tǒng)中的評價模型以指導手勢改善，并提出一種基于屬性重要度的手勢改善方向決策算法。首先調諧指定手勢每個屬性的全局權重與局部權重，得到指定手勢每個屬性的綜合權值向量。其中，根據FAHP算法的計算保留了穩(wěn)定特性的全局權重，根據用戶對指定手勢的評分計算保留了手勢特性的局部權重；其次，分別計算某一屬性的獎勵和懲罰系數，與手勢屬性的綜合權值向量結合，得出各屬性的綜合權值分布矩陣，并根據用戶對指定手勢每個屬性的評分計算出標準化評分偏置；最后，由綜合權值分布矩陣和標準化評分偏置計算各屬性的改善需求程度得分，并依據得分的高低排序進行優(yōu)化決策。

實驗結果證明，基于該算法比基于問卷調查決策制定的手勢，支持率平均提高了25%，因而得出結論：手勢優(yōu)化過程中各屬性的權值排序是穩(wěn)定的。此外，權值高的屬性雖然不是必須優(yōu)先改善，但與相對不重要的屬性相比，它們常常仍需要首先優(yōu)化。這與本文預期一致，比調查問卷得到的結論更趨于穩(wěn)定。根據屬性的全局權重向量可以看出，在手勢最初設計時需要著重考慮屬性x3、x10、x11和x8：首先，新手勢要對主流手勢保留兼容性；其次，從對“觸控+非接觸手勢”的混合手勢優(yōu)化過程中可以看出，對于引入了非接觸手勢的情景，取代誤操作情況的是操作手勢語義精確度降低與操作疲勞度加大，而x3、x10優(yōu)化時出現的頻率遠大于x8，說明該情景中手勢語義精確度的影響遠大于操作疲勞度，因此引入觸控操作到非接觸手勢中可以有效改善用戶體驗；最后，由于當前階段非接觸手勢精度相對較差，可以預測目前基于混合交互的提供綜合編輯類功能的應用中，非接觸手勢的占比最好不要超過50%。

參考文獻參考文獻：

[1]GOULD J D，LEWIS C.Designing for usability：key principles and what designers think[J].Communications of the Acm，1985，28（3）：300311.

[2]International Standards Organization.ISO 924111：Ergonomic requirements for office work with visual display terminals （VDTs）.Part 11：guidance on usability.geneva：international standards organization [EB/OL].http：//www.iso.org.

[3]PETRIE H，BEVAN N.The evaluation of accessibility，usability and user experience[J].The Universal Access Handbook，2009 （6）：116.

[4]HASSENZAHL M.Hedonic，emotional，and experiential perspectives on product quality[J].Encyclopedia of human computer interaction，2006.

[5]M HASSENZAHL，LC LAW，ET HVANNBERG.User experiencetowards a unified view[C].Proceedings of the 2nd COST294MAUSE International Open Workshop，2006：13.

[6]梁榮榮.教學環(huán)境中多點觸控手寫場景下編輯手勢設計與識別[D].武漢：華中師范大學，2016.

[7]徐禮爽，程鐵剛，田豐，等.意義性筆手勢的分類及其實驗評估[J].軟件學報，2006，17（zk）：4656.

[8]鄭海彬.手勢識別及其應用研究[D].南京：南京航空航天大學，2016.

[9]PANWAR M，MEHRA P S.Hand gesture recognition for human computer interaction[C].International Conference on Image Information Processing.IEEE，2011：17.

[10]LANDAY J，MYERS B.Sketching interfaces：toward more human interface design[J].Computer，2001，34（3）：5664.

[11]錢堃.基于智能手機的3D運動手勢設計方法的研究[D].天津：南開大學，2014.

[12]吳金鐸.2D和3D交互手勢的可用性研究[D].杭州：浙江理工大學，2016.

[13]FARHADINIAKI F，ETEMAD S A，ARYA A.Design and usability analysis of gesturebased control for common desktop tasks[C].International Conference on HumanComputer Interaction.Springer Berlin Heidelberg，2013：215224.

[14]譚學瑞，鄧聚龍.灰色關聯分析：多因素統(tǒng)計分析新方法[J].統(tǒng)計研究，1995，12（3）：4648.

[15]MON D L.Evaluating weapon system using fuzzy analytic hierarchy process based on entropy weight[C].International Joint Conference of the Fourth IEEE International Conference on Fuzzy Systems and The Second International Fuzzy Engineering Symposium，2002：127134.

[16]DAS S.Quantifying fuzziness due to the scale of measurement in response systems[J].Fuzzy Sets & Systems，2002，132（3）：317333.

[17]SAATY T L，HU G.Ranking by eigenvector versus other methods in the analytic hierarchy process[J].Applied Mathematics Letters，1998，11（4）：121125.

[18]張吉軍.模糊層次分析法（FAHP）[J].模糊系統(tǒng)與數學，2000，14（2）：8088.

[19]姚敏，黃燕君.模糊決策方法研究[J].系統(tǒng)工程理論與實踐，1999，19（11）：6164.

[20]徐澤水.模糊互補判斷矩陣排序的一種算法[J].系統(tǒng)工程學報，2001，16（4）：311314.

[21]陳華友，趙佳寶.模糊判斷矩陣的相容性研究[J].運籌與管理，2004，13（1）：4447.

責任編輯（責任編輯：黃?。?/p>