基于表情識別技術(shù)的用戶研究方法

王歡歡，呂紫藤，李現(xiàn)昆

基于表情識別技術(shù)的用戶研究方法

王歡歡1,2，呂紫藤1,2，李現(xiàn)昆1,2

（1.天津科技大學(xué)，天津 300222；2.天津市輕工與食品工程機械裝備集成設(shè)計與在線監(jiān)控重點實驗室，天津 300222）

為了以更加客觀的方式評估用戶體驗，拓展用戶研究的途徑，引入表情識別技術(shù)對已有用戶研究方法進(jìn)行優(yōu)化與探索。以閱讀APP為研究載體，以表情識別與卷積神經(jīng)網(wǎng)絡(luò)算法為技術(shù)手段，通過設(shè)計人機交互實驗將其應(yīng)用于用戶研究過程中，建立用戶面部表情與用戶主觀滿意度的映射關(guān)系。針對閱讀APP“X”，開展了基于表情識別技術(shù)和傳統(tǒng)問卷訪談的雙向設(shè)計研究，并采用對比驗證的方法得出了基于表情識別技術(shù)的用戶滿意度客觀度量方法的有效性和可行性，進(jìn)而挖掘了基于表情識別方法的用戶研究優(yōu)勢?；诒砬樽R別技術(shù)的用戶研究方法在產(chǎn)品交互設(shè)計中具有一定的通用性。通過識別分析用戶與產(chǎn)品進(jìn)行人機交互時的面部表情動態(tài)變化，可以使用戶體驗評估更加客觀并容易解讀，準(zhǔn)確定位產(chǎn)品交互體驗問題，為設(shè)計領(lǐng)域中的用戶研究和認(rèn)識提供了新思路，同時也為表情識別技術(shù)與產(chǎn)品設(shè)計的交叉融合提供了理論和實踐意義的參考。

用戶研究；表情識別；交互設(shè)計；KANO模型

隨著社會經(jīng)濟的迅速發(fā)展和人們生活水平的不斷提高，產(chǎn)品設(shè)計逐漸向用戶體驗驅(qū)動型轉(zhuǎn)變，這加速了設(shè)計本源的回歸，即基于對人類行為、意識與動作反應(yīng)的細(xì)致研究，致力于優(yōu)化一切為人所用的物與環(huán)境的設(shè)計，在使用操作界面上清除那些讓使用者感到困惑、困難的“障礙”，為使用者提供最大可能的方便。HCI（Human-computer Interaction）領(lǐng)域的研究重點也從之前的可用性測試轉(zhuǎn)移到體驗式啟發(fā)，在理解和定義用戶體驗方面設(shè)計了一系列研究活動[1]。西班牙蒙德拉貢大學(xué)學(xué)者LASA G、JUSTEL D和RETEGI A提出了眼動追蹤方法，通過統(tǒng)計積極和消極的情緒比例研究用戶體驗[2]。位于中國臺灣的臺灣義守大學(xué)的CHOU J R提出了基于模糊測度方法的心理測量用戶體驗?zāi)Ｐ蚚3]。韓國BANG G，KO I等學(xué)者建立了一種模擬人類活動的用戶體驗環(huán)境模型，該模型是一個收集用戶體驗信息的空間，由空間模型、用戶活動模型和對象模型組成，通過用戶與對象交互獲得體驗信息[4]。STICKEL C等學(xué)者利用人對不同感覺、運動或認(rèn)知活動產(chǎn)生不同腦電的原理，通過分析人類腦電信號讀取認(rèn)知思維[5]。盡管其研究結(jié)果發(fā)現(xiàn)，腦電監(jiān)測可能是認(rèn)知工作量和情緒狀態(tài)的常見指標(biāo)，但如何在用戶與產(chǎn)品互動時識別情緒效價仍尚未解決。針對體驗評估的用戶研究存在測量手段與心理認(rèn)知映射關(guān)聯(lián)不強、數(shù)據(jù)反饋不夠直觀等問題，本研究借鑒國內(nèi)外生理和心理學(xué)研究中主觀評價與生理測量相結(jié)合的手段，通過記錄被試者在完成特定任務(wù)過程中的面部表情變化[6-7]，對測試任務(wù)的交互滿意度進(jìn)行量化評價[8]。幫助設(shè)計師更加客觀、理性地了解用戶的真實感受，分析用戶行為，從而開展更加符合用戶心理預(yù)期的設(shè)計[9]。

1 基于表情識別技術(shù)的用戶研究

用戶研究是理解用戶、獲取用戶相關(guān)數(shù)據(jù)和信息的重要手段，是一系列方法的統(tǒng)稱。凡是能夠協(xié)助設(shè)計師理解用戶并通過研究得到的結(jié)論，以及能夠指導(dǎo)設(shè)計師設(shè)計產(chǎn)品和優(yōu)化產(chǎn)品的方法或工具都可以算作用戶研究的范疇。將表情識別技術(shù)應(yīng)用到用戶研究的目的是使設(shè)計的產(chǎn)品更加符合用戶心理模型，實現(xiàn)人機之間更為自然的交互，大大提升交互體驗和用戶體驗[10]。美國軟件世界的先驅(qū)COOPER A從不同角色出發(fā)提出了實現(xiàn)模型、心理模型與呈現(xiàn)模型3個概念[11]。其中的實現(xiàn)模型對應(yīng)的是工程師角色，他們必須按照既定的方式開發(fā)軟件，因而軟件如何運作的模型被稱為“實現(xiàn)模型”；用戶認(rèn)為需要用什么方式完成工作，以及應(yīng)用程序如何幫助用戶完成工作的方式被稱為用戶與產(chǎn)品交互的“心理模型”，這種模型是基于用戶自己對產(chǎn)品的理解。而設(shè)計師將軟件運行機制呈現(xiàn)給用戶的方式被稱為“呈現(xiàn)模型”。不同于其他2個模型，設(shè)計師對呈現(xiàn)模型有更大的控制權(quán)。因此，設(shè)計師的一個重要目標(biāo)就是努力讓呈現(xiàn)模型盡可能匹配用戶心理模型，呈現(xiàn)模型越趨近于用戶的心理模型，用戶就會感覺產(chǎn)品越容易被使用和理解，學(xué)習(xí)成本也就越低，隨之用戶體驗自然也會提升。

2 表情識別的關(guān)鍵技術(shù)及實現(xiàn)

表情識別作為一個跨學(xué)科的交叉領(lǐng)域，涉及機器視覺、心理學(xué)、神經(jīng)學(xué)及計算機科學(xué)等多門學(xué)科[12]。隨著深度學(xué)習(xí)的發(fā)展，表情識別逐漸由基于傳統(tǒng)機器學(xué)習(xí)的算法轉(zhuǎn)變?yōu)榛谏疃葘W(xué)習(xí)的算法[13]。將深度學(xué)習(xí)引入表情識別，可以把特征提取和表情識別2個步驟合并共同學(xué)習(xí)，通過自動學(xué)習(xí)選擇與人臉表情相關(guān)的特征來完成表情識別任務(wù)，亦可以使計算機深度理解人臉表情圖像的表達(dá)意義[14]。本次研究主要將深度學(xué)習(xí)應(yīng)用到特征提取與選擇中，然后再連接表情分類器，以此實現(xiàn)對表情的識別及分類。

本研究采用的是基于卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)的表情識別。卷積神經(jīng)網(wǎng)絡(luò)作為目前深度學(xué)習(xí)技術(shù)領(lǐng)域中具有代表性的神經(jīng)網(wǎng)絡(luò)之一，在圖像分析和處理領(lǐng)域取得了眾多突破性的進(jìn)展，尤其是在表情識別領(lǐng)域，卷積神經(jīng)網(wǎng)絡(luò)相較于傳統(tǒng)的圖像處理算法具有易實現(xiàn)且識別度高的優(yōu)勢[15]。其具有自動學(xué)習(xí)特征的能力，可以直接輸入原始圖像進(jìn)行一系列工作，避免了人工參與的圖像前期預(yù)處理過程，因此將其作為本研究中表情識別的神經(jīng)網(wǎng)絡(luò)。卷積神經(jīng)網(wǎng)絡(luò)的框架主要包含卷積層、激活函數(shù)、池化層、全連接層4個方面[16]。

1）卷積層。卷積層主要負(fù)責(zé)提取特征，由于卷積核參數(shù)是隨機初始化的，所以很有可能提取出不同的特征；由低層的卷積層提取簡單特征，然后逐層堆疊卷積層，將簡單特征逐漸抽象為更高層次的語義概念。

2）激活函數(shù)。激活函數(shù)可以避免把大的數(shù)值在高層次處理中進(jìn)行累加。它可以帶來非線性的結(jié)果，進(jìn)而更好地擬合各種函數(shù)。同時，激活函數(shù)對壓縮來自神經(jīng)元的無界線性加權(quán)和也很重要。

3）池化層。池化是一個降采樣、減少輸入維度的過程，通過減少參數(shù)的數(shù)量降低了計算的復(fù)雜度，并為內(nèi)部提供一個基本的不變性轉(zhuǎn)換。

4）全連接層。全連接指先前的層里面的所有的神經(jīng)元都與后一個層里面所有的神經(jīng)元相連。全連接層是一種傳統(tǒng)的多層感知機，在輸出層，全連接后是輸出的結(jié)果。

3 實例研究

3.1 確定研究對象

為集中反映同一類目標(biāo)用戶對某個產(chǎn)品的評價與訴求，保證被試者的背景相似，通過控制變量減少實驗誤差。招募的被試者均為年齡在20～30歲的青年人，并且有使用閱讀APP的習(xí)慣，共計40人，其中男性20人，女性20人。

在選擇實驗所需的閱讀APP時，通過分析調(diào)查市面上各類APP特點，最終選擇“X”閱讀APP作為研究載體。主要原因有3個：首先是功能單一，所有功能都是以閱讀這一功能為核心的，避免被試者因其他功能的操作而影響實驗的有效性；其次是其用戶量較小，實驗過程中被試者均未接觸過此APP，在一定程度上保證了被試者的受試經(jīng)歷相同；最后是其信息架構(gòu)簡單易懂，被試者上手操作較為迅速，從而減少了實驗過程中被試者的學(xué)習(xí)成本。實驗過程中需要被試者按照要求完成以下幾個交互任務(wù)：打開APP—選擇文章—閱讀文章—收藏—評論—退出文章—搜索文章—閱讀文章—退出APP。

3.2 實驗平臺設(shè)備

本研究應(yīng)用的表情識別程序是基于深度學(xué)習(xí)理論和計算機視覺識別技術(shù)自編完成的，實驗選擇CK and CK+作為表情識別程序訓(xùn)練、測試數(shù)據(jù)集，采用Python3.7作為編譯程序語言，Tensor Flow作為程序框架，最終可達(dá)到93%的準(zhǔn)確率，符合實驗要求。該程序可以將實驗對象的表情分為憤怒、恐懼、高興、平靜、悲傷、驚訝和厭惡7種表情標(biāo)簽。表情識別結(jié)果見圖1。

實驗設(shè)備用的是1080p CMOS工業(yè)級相機，用于表情識別的圖像采集軟件是相機自帶的MV viewer，該軟件可以將采集的圖像按照圖像序列進(jìn)行存儲。通過對軟件的調(diào)節(jié)可以控制采集過程中的光線補償、自動白平衡等效果，從而提高后期表情識別效率，保證識別結(jié)果的準(zhǔn)確性。除此之外，通過設(shè)置圖像采集的幀速率（30幀/秒）及圖片格式，可以合理設(shè)置采集圖像文件的大小。

圖1 表情識別結(jié)果

實驗過程中需要采集被試者在使用閱讀APP過程中的交互視頻。為保證被試對象和測試圖像同步采集，在不影響被試者操作過程的前提下，實驗采用便攜錄屏設(shè)備自帶的錄屏軟件。

3.3 實驗過程

為保證被試者心理狀態(tài)平穩(wěn)，實驗前兩天聯(lián)系被試者預(yù)約實驗。實驗選擇在光照充足的時間段進(jìn)行，盡量減少外部環(huán)境對被試者心理的影響。為方便后期實驗分析，提高實驗精確度，在正式實驗開始前，利用已標(biāo)定圖片對每位被試者進(jìn)行測試，確定被試者的情緒處于穩(wěn)定狀態(tài)。正式實驗主要分為實驗準(zhǔn)備、圖像采集、用戶訪談和問卷調(diào)查3個階段。正式實驗流程見圖2，正式實驗場景見圖3。

4 實驗數(shù)據(jù)處理

表情識別作為情感理解的基礎(chǔ)是計算機理解人們情感的前提。本研究通過建立面部表情狀態(tài)與交互流程視頻的對應(yīng)關(guān)系，具體分析被試者在完成交互實驗過程中的情感動態(tài)變化，以期為用戶研究提供有效途徑與方法。

圖2 正式實驗流程

圖3 正式實驗場景

4.1 表情識別結(jié)果的處理

利用MV viewer采集圖像的時間間隔與便攜錄屏設(shè)備的幀率之間的關(guān)系，推導(dǎo)出交互視頻與被試者面部圖像之間的對應(yīng)關(guān)系：

其中，P為第張圖片，為采集的圖片總數(shù)量，t為第張圖片對應(yīng)的交互時間點，為交互總時間。表情變化趨勢見圖4，利用視頻處理軟件并結(jié)合式(1)可以將采集到的面部表情圖像與交互流程對應(yīng)起來。

通過表情識別的結(jié)果圖可以發(fā)現(xiàn)，不僅有識別出來的表情標(biāo)簽，還有其概率分布，利用概率分布數(shù)據(jù)可以繪制出被試者的情感變化曲線，更直觀地反映被試者在交互實驗過程中的心理變化。

4.2 用戶訪談記錄的處理

實驗之后通過問卷和訪談的方式收集45名被試者的主觀感受，完成主觀評價表格，最終收回有效問卷40份。對多種主觀評價方法進(jìn)行比較分析，選取等級評分法作為本實驗的主觀評價方法，該方法不僅能達(dá)到本次主觀評價實驗的實驗?zāi)康?，并且對評價者沒有專業(yè)要求，評價時間也在評價者可接受范圍內(nèi)[17]。將所有被試者的數(shù)據(jù)量化歸一，量化標(biāo)準(zhǔn)按很差、比較差、一般、挺好和很好5個等級，并分別賦值為1、2、3、4、5，量化后匯總主觀評價，見表1。

圖4 表情變化趨勢

表1 被試者主觀評價參數(shù)

注：量化標(biāo)準(zhǔn)（很差：1；比較差：2；一般：3；挺好：4；很好：5）

5 實驗結(jié)果的分析與驗證

5.1 實驗結(jié)果分析

首先，對問卷調(diào)查及用戶訪談結(jié)果進(jìn)行分析。為凸顯被試者的心理情感變化趨勢，將被試者問卷調(diào)查的結(jié)果整合為曲線圖，圖中最高點為體驗最好點，最低點則對應(yīng)體驗最差點，見圖5。

從圖5中可以看出，被試者在“搜索文章”環(huán)節(jié)體驗最差，“收藏文章”環(huán)節(jié)體驗最好。為更好理解被試者心理變化原因，科學(xué)分析情感變化，將用戶訪談結(jié)果與數(shù)據(jù)曲線結(jié)合繪制用戶情感分析曲線，見圖6。

圖5 主觀評價總體變化曲線

圖6 情感曲線

通過兩種方法結(jié)合分析可以得出結(jié)論。首先，被試者對APP“搜索”功能評價較低，這是由于搜索的過程不符合被試者使用習(xí)慣，操作流程不順暢，從而導(dǎo)致被試者在使用過程中無法快速完成交互任務(wù)。其次，“收藏”功能與大部分的閱讀APP交互方式相似，被試者可以快速完成指定的交互任務(wù)。最后，對沒有表現(xiàn)出突出情緒變化的其他任務(wù)，通過訪談被試者認(rèn)為這些交互操作與常見閱讀APP并無明顯差異，不需要太多學(xué)習(xí)成本，基本符合被試者的心理預(yù)期。

分析表情識別結(jié)果。在處理了有效的被試者實驗數(shù)據(jù)后發(fā)現(xiàn)，雖然被試者在完成整個交互流程中表情會有變化，但是并沒有出現(xiàn)較為極端的表情（厭惡和驚訝），因此在處理、分析表情識別結(jié)果時，不再考慮這兩種表情。為實現(xiàn)對所有有效被試者的數(shù)據(jù)的整合分析并將結(jié)果進(jìn)行可視化，在分析階段將5個情緒標(biāo)簽參照問卷調(diào)查的數(shù)據(jù)結(jié)果進(jìn)行賦值，通過此方法可將獨立的被試者數(shù)據(jù)整合為一個整體變化曲線。

將“高興”標(biāo)簽對應(yīng)問卷調(diào)查合計中最高數(shù)值160，“憤怒”標(biāo)簽對應(yīng)最低數(shù)值108，其他按等差數(shù)列依次賦值，即高興、中立、悲傷、恐懼、憤怒5個表情標(biāo)簽對應(yīng)的合計賦值分別為160、147、134、121、108。此方法可以將被試者的每一個交互流程進(jìn)行求和、求均值，將均值按照數(shù)值大小繪制為表情變化曲線，并將問卷調(diào)查及用戶訪談得到的用戶情緒變化繪為曲線，最后將兩個結(jié)果比較，見圖7。

通過兩種方法對比分析可得，除“閱讀文章”這一交互任務(wù)外，表情識別與問卷調(diào)查及用戶訪談得到的用戶情緒變化趨勢大致相同，因此可得出表情識別方法可以實現(xiàn)典型用戶研究方法的效果。然而在“閱讀文章”這一交互任務(wù)的用戶體驗中，表情識別方法與問卷調(diào)查及用戶訪談方法得到的結(jié)果產(chǎn)生了較大差異。為探究其原因，實驗后針對“閱讀文章”這一交互任務(wù)，隨機抽取了6位被試者再次完成正式實驗中的交互操作，并進(jìn)行深度訪談。

圖7 表情總體變化曲線

根據(jù)訪談結(jié)果的分析得出，被試者在“閱讀文章”過程的后期會潛意識尋找當(dāng)前閱讀進(jìn)度，但實驗應(yīng)用的APP中并沒有此功能，致使被試者產(chǎn)生了很多“恐懼”的表情，“恐懼”不僅包含了擔(dān)心、恐懼心理，也包含了疑惑、煩躁不耐的心理。然而由于這些情緒出現(xiàn)的時間極短，所以絕大多數(shù)被試者在后期的問卷調(diào)查及用戶訪談中忽略了這一細(xì)節(jié)。為了驗證分析結(jié)果的正誤，通過KANO模型進(jìn)行了進(jìn)一步的調(diào)查分析。

5.2 KANO模型驗證

通過二次深度訪談了解到“進(jìn)度條指示功能”的設(shè)計是導(dǎo)致差異的主要原因，為驗證這一結(jié)論，利用KANO模型研究“進(jìn)度條”在設(shè)計中的具體功能屬性，通過確定功能屬性判斷其是否為兩種方法產(chǎn)生差異的主要原因，同時驗證表情識別方法的科學(xué)有效性[18-19]。KANO模型的問卷見表2，其次根據(jù)被試者的回答情況統(tǒng)計出答案占比，見表3。根據(jù)KANO模型的圖表可知，調(diào)查統(tǒng)計可疑結(jié)果為0，即表示調(diào)查結(jié)果均有效。

之后根據(jù)KANO模型問卷得到的結(jié)果計算Better系數(shù)B與Worse系數(shù)W：

(2)

(3)

其中：—魅力屬性；—期望屬性；—必備屬性；—無差異屬性；—反向?qū)傩裕弧梢山Y(jié)果。

表2 KANO模型的問卷

表3 KANO模型問卷的結(jié)果

經(jīng)計算得到值為0.65，值為–0.25，即該閱讀APP的Better系數(shù)大于0.5，Worse系數(shù)小于0.5，表示半數(shù)以上的受訪者喜歡閱讀APP具有進(jìn)度條指示功能，可以將其歸為魅力因素。據(jù)KANO模型分析方法的定義，可以將該閱讀APP中進(jìn)度條功能對用戶的影響闡述為如果不提供進(jìn)度條指示功能，用戶的滿意度不會明顯降低，但是如果提供此功能，用戶的滿意度會出現(xiàn)較大提升。

6 結(jié)語

本文采用對比驗證的方法研究了表情識別技術(shù)在用戶研究中的可行性與科學(xué)性，發(fā)現(xiàn)了用戶主觀滿意度與表情波動的關(guān)系。以客觀生理指標(biāo)衡量用戶滿意度，去除了用戶主觀態(tài)度的偏差，并且能方便得到用戶滿意度動態(tài)變化圖，有效滿足了一些不便任務(wù)拆分或交互操作類產(chǎn)品的用戶研究需求。此外，將表情識別技術(shù)應(yīng)用于交互設(shè)計中的用戶研究可以挖掘出傳統(tǒng)研究方法易于忽略的潛在用戶需求，為之后的用戶畫像、用戶行為分析、設(shè)計產(chǎn)品框架等工作奠定基礎(chǔ)。因此，可以將本文研究的方法作為傳統(tǒng)用戶研究方法的一種補充或輔助工具并用，以得到更為科學(xué)的用戶研究結(jié)果。

[1] LALLEMAND C, GRONIER G, KOENIG V. User Experience: A Concept without Consensus? Exploring Practitioners’ Perspectives through an International Survey[J]. Computers in Human Behavior, 2015, 43(43): 35-48.

[2] LASA G, JUSTEL D, RETEGI A. Eyeface: a New Multimethod Tool to Evaluate the Perception of Conceptual User Experiences[J]. Computers in Human Behavior, 2015, 52(8): 359-363.

[3] CHOU J R. A Psychometric User Experience Model Based on Fuzzy Measure Approaches[J]. Advanced Engineering Informatics, 2018, 38(10): 794-810.

[4] BANG G, KO I. A User Empirical Context Model for a Smart Home Simulator[J]. Lecture Notes in Electrical Engineering, 2016. 48(9): 555-560.

[5] STICKEL C, FINK J, HOLZINGER A. Enhancing Universal Access: EEG Based Learnability Assessment[C]. Verlag: International Conference on Universal Access in Human-computer Interaction, 2007.

[6] LI Jing, MI Yang, LI Gong-fa, et al. CNN-Based Facial Expression Recognition from Annotated RGB-D Images for Human-Robot Interaction[J]. International Journal of Humanoid Robotics, 2019, 16(4): 504-505.

[7] TAKALKAR, MADHUMITA, XU, et al. A Survey: Facial Micro-expression Recognition[J]. Multimedia Tools & Applications, 2018, 48(7): 158-162.

[8] CHAPMAN C N, LOVE E, ALFORD J L. Quantitative Early-Phase User Research Methods: Hard Data for Initial Product Design[C]. Waikoloa: 41st Hawaii International International Conference on Systems Science (HICSS-41 2008), 2008.

[9] 徐峰, 張軍平. 人臉微表情識別綜述[J]. 自動化學(xué)報, 2017, 43(3): 333-348.

XU Feng, ZHANG Jun-ping. Facial Microexpression Recognition: a Survey[J]. Zidonghua Xuebao/acta Automatica Sinica, 2017, 43(3): 333-348.

[10] 曾棟, 劉鵬, 于信濤, 等. 用戶心理模型的構(gòu)建方法及滅火器設(shè)計應(yīng)用[J]. 包裝工程, 2019, 40(16): 140- 144.

ZENG Dong, LIU Peng, YU Xin-tao, et al. A Building Method of User Mental Model and Its Application in Fire Extinguisher Design[J]. Packaging Engineering, 2019, 40(16): 140-144.

[11] COOPER A. About Face 3: The Essentials of Interaction Design[M]. London: John Wiley & Sons, Inc, 2007.

[12] PANTIC M. Facial Expression Recognition[M]. New York: Encyclopedia of Biometrics, 2014.

[13] 王劍云, 李小霞. 一種基于深度學(xué)習(xí)的表情識別方法[J]. 計算機與現(xiàn)代化, 2015, 46(1): 84-87.

WANG Jian-yun, LI Xiao-Xia. A Facial Expression Recognition Method Based on Deep Learning[J]. Computer and Modernization, 2015, 46(1): 84-87.

[14] ZHU Yong-pei, FAN Hong-wei, YUAN Ke-hong. Facial Expression Recognition Research Based on Deep Learning[J]. Design Studies, 2019, 48(5): 159-164.

[15] CHEN Xiao-guang, YANG Xuan, WANG Mao-sen, et al. Convolution Neural Network for Automatic Facial Expression Recognition[C]. Sydney: International Conference on Applied System Innovation. IEEE, 2017.

[16] LIU Kuang, ZHANG Ming-min, PAN Zhi-geng. Facial Expression Recognition with CNN Ensemble[C]. Tokyo: International Conference on Cyberworlds. IEEE Computer Society, 2016.

[17] 趙穎, 譚浩, 朱敏, 等. 智能音箱主動交互行為的用戶滿意度研究[J]. 包裝工程, 2021, 42(14): 224-229.

ZHAO Ying, TAN Hao, ZHU Min, et al. User Satisfaction of Proactive Interaction Behavior of Intelligent Speakers[J]. Packaging Engineering, 2021, 42(14): 224-229.

[18] CHEN Chun-chih, CHUANG Ming-chuen. Integrating the Kano Model into a Robust Design Approach to Enhance Customer Satisfaction with Product Design[J]. International Journal of Production Economics, 2008, 114(2): 667-681.

[19] 陸明琦, 周波, 譚敏. 基于Kano模型的城市標(biāo)識系統(tǒng)使用需求研究[J]. 包裝工程, 2021, 42(12): 312-319.

LU Ming-qi, ZHOU Bo, TAN Min. The Use Demand of Urban Signage System Based on the Kano Model[J]. Packaging Engineering, 2021, 42(12): 312-319.

User Research Method Based on Expression Recognition Technology

WANG Huan-huan1,2, LYU Zi-teng1,2, LI Xian-kun1,2

(1.Tianjin University of Science & Technology, Tianjin 300222, China; 2.Tianjin Key Laboratory of Integrated Design and On-line Monitoring for Light Industry & Food Machinery and Equipment, Tianjin 300222, China)

In order to evaluate the user experience more objectively and expand the way of user research, the expression recognition technology is introduced to optimize and explore the existing user research methods. Taking reading app as research carrier, expression recognition and convolution neural network algorithm as technical means, through the design of human-computer interaction experiment, it is applied in the process of user research, and the mapping relationship between user's facial expression and user's subjective satisfaction is established.Aiming at reading app "X", this paper carries out a two-way design research based on facial expression recognition technology and traditional questionnaire interview, and obtains the effectiveness and feasibility of objective measurement method of user satisfaction based on expression recognition technology by using comparative verification method, and then explores the advantages of expression recognition method in user research. The user research method based on expression recognition technology has certain universality in product interaction design. By identifying and analyzing the dynamic changes of facial expressions when users interact with the product, the user experience evaluation can be more objective and easier to interpret, and the product interaction experience problems can be accurately located. In addition, it provides new ideas for user research and understanding in the field of design, and provides theoretical and practical reference for the cross integration of expression recognition technology and product design.

user research; facial expression recognition; interaction design; KANO model

TB472

A

1001-3563(2022)02-0116-06

10.19554/j.cnki.1001-3563.2022.02.015

2021-11-12

國家自然科學(xué)基金（51505333）

王歡歡（1982—），女，天津人，博士，天津科技大學(xué)副教授，主要研究方向為工業(yè)設(shè)計、視覺交互與設(shè)計、體驗設(shè)計和創(chuàng)新設(shè)計方法。