基于機(jī)器學(xué)習(xí)的用戶情感意象多模式測量方法研究

屈慶星，郭伏

(東北大學(xué) 工商管理學(xué)院，沈陽 110167)

1 引言

在市場競爭日趨激烈的環(huán)境下，產(chǎn)品不僅要有好的使用功能，更重要的是能使用戶感到愉悅，能帶給消費(fèi)者良好的心理感受和情感滿足?？紤]消費(fèi)者情感需求的設(shè)計正在成為產(chǎn)品設(shè)計的發(fā)展趨勢[1-4]。在情感需求測量階段，需要準(zhǔn)確獲取用戶的情感需求信息，這是情感設(shè)計的核心步驟[5-6]。現(xiàn)有研究表明，由于用戶情感意象感知過程的復(fù)雜性以及產(chǎn)品形態(tài)本身所蘊(yùn)含意象的豐富性，設(shè)計師要在產(chǎn)品投放市場之前得到目標(biāo)用戶對產(chǎn)品形態(tài)的情感意象感受反饋仍然是一件十分困難的事情[7-8]。

目前，實(shí)體產(chǎn)品設(shè)計領(lǐng)域采用的情感測量方法主要為語義差異法(Semantic Differential Method)、PrEmo等主觀測量方法[9-11]。主觀測量方法雖然應(yīng)用簡單，但由于測試對象心理響應(yīng)的不確定性，情感表達(dá)的動態(tài)性，語言表達(dá)的雙關(guān)性、多義性等特性，會使測量結(jié)果的客觀性和準(zhǔn)確性受到影響。生理測量方法能客觀、動態(tài)反應(yīng)消費(fèi)者的生理喚醒程度，行為測量方法可通過人的行為動作特征反應(yīng)情感狀態(tài)。由于情感是多維結(jié)構(gòu)、多成分的復(fù)合過程，包括主觀體驗(yàn)、生理激活和外部行為表情，具有模糊性、復(fù)雜性、變動性特點(diǎn)，因此，研究用戶情感的多模式測量方法，可以有效彌補(bǔ)單獨(dú)使用主觀情感測量方法測量用戶情感時帶來的不確定性和模糊性。

生理信號是伴隨著情感變化由人體內(nèi)部器官產(chǎn)生的一種生物電信號，生理數(shù)據(jù)能夠以持續(xù)的方式獲得，從而能夠?qū)崟r地評估用戶的情感狀態(tài)。常用的情感生理測量方法有腦電測量技術(shù)[6,12-13]、眼動追蹤技術(shù)[14-15]、心率、皮膚電等外周生理測量技術(shù)[16-17]等。通常采集的生理信號包括腦電(Electroencephalogram，EEG)、眼動(Eye Movements)、面部肌電圖(Facial Electromyography，fEMG)、心電(Electrocardiography，ECG)、心率(Heart Rate，HR)、脈搏數(shù)(Pulse Rate，PR)、呼吸頻率(Respiration Rate，RSP)、皮膚電反應(yīng)(Galvanic Skin Response，GSR)、皮膚溫度(Skin Temperature，SKT)、眼電(Electro-oculogram，EOG)等。生理測量方法能夠客觀地反應(yīng)生理激活水平，實(shí)時記錄用戶情感體驗(yàn)信號，避免干擾用戶體驗(yàn)過程。

近些年來，在多模式情感測量方面，已有學(xué)者對產(chǎn)品設(shè)計中的情感測量進(jìn)行了嘗試。Mandryk等(2006年)通過記錄用戶的生理、語音和面部表情等相關(guān)信號，對情感狀態(tài)進(jìn)行測量，用于評估娛樂交互系統(tǒng)的設(shè)計[18]；Hans等(2011年)在研究人機(jī)交互過程中人對系統(tǒng)信息的情感反應(yīng)時，運(yùn)用主觀情感評估量表和生理測量方法[19]。Tuch等(2011年)測量了用戶觀看不同視覺復(fù)雜度的網(wǎng)頁時的主觀情感體驗(yàn)(愉悅和喚醒)、眼動特征(眼電EOG)和生理反應(yīng)(心率、手指血容量)，結(jié)果表明較少的復(fù)雜度與更積極的情感、減少的眼部運(yùn)動、心率反應(yīng)以及增加的手指血容量幅度有關(guān)[20]。Sheng和Joginapelly(2012年)結(jié)合主觀體驗(yàn)和生理測量來了解電子商務(wù)網(wǎng)站的氛圍(交互性和生動性)對用戶情感體驗(yàn)的影響，結(jié)果表明網(wǎng)站氛圍對用戶的效價和喚醒評估有積極的影響，生理數(shù)據(jù)表明用戶的心率變異與用戶自我報告的效價評估有一致的趨勢，但是喚醒評估與皮電反應(yīng)或者瞳孔直徑值沒有這樣的趨勢[21]。郭伏等(2013年)對用戶在瀏覽電子商務(wù)網(wǎng)站時的生理反應(yīng)、眼動指標(biāo)以及主觀情感體驗(yàn)進(jìn)行測量和分析，結(jié)果表明：用戶瀏覽不同電子商務(wù)網(wǎng)站時的初始情感體驗(yàn)差異主要體現(xiàn)在主觀情感體驗(yàn)及眼動指標(biāo)的差異，情感體驗(yàn)的三個方面相互影響，用戶情感影響用戶行為意圖。Guo等(2016年，2018年)利用主觀情感體驗(yàn)和事件相關(guān)電位(Event-related potential，ERP)分別分析了智能手機(jī)外觀和加濕器外觀的用戶情感偏好和用戶情感的神經(jīng)加工進(jìn)程[12]。Guo等(2019年)結(jié)合眼動追蹤和腦電EEG技術(shù)，測量了用戶在觀看機(jī)器人情緒行為時的情感響應(yīng)。Maffei等(2020年)使用SAM主觀情感測量方法和腦電EEG技術(shù)研究用戶在觀看電影片段時的用戶情感反饋。

文獻(xiàn)研究表明，已有研究中情感測量主要采用語義差異法(SD)、PrEmo法等主觀情感測量方法。產(chǎn)品交互設(shè)計的情感測量雖然使用了部分測量模式的結(jié)合，但主要還是主觀測量方法，綜合運(yùn)用腦電EEG測量技術(shù)、眼動追蹤技術(shù)和外周生理測量技術(shù)開展用戶情感測量的研究較少，而且缺少對不同模式情感測量指標(biāo)有效性的分析。因此，多模式情感測量應(yīng)是情感測量理論研究及實(shí)踐的發(fā)展趨勢。

2 對象與方法

2.1 實(shí)驗(yàn)設(shè)計

2.1.1 實(shí)驗(yàn)?zāi)康?/p>

本研究運(yùn)用主觀情感測量方法、腦電測量技術(shù)、眼動追蹤技術(shù)和外周生理測量技術(shù)，以SUV汽車原型為實(shí)驗(yàn)材料，通過多模式情感測量實(shí)驗(yàn)，同步收集用戶瀏覽不同產(chǎn)品時的用戶情感意象數(shù)據(jù)、腦電數(shù)據(jù)、眼動數(shù)據(jù)和外周生理數(shù)據(jù)。通過對實(shí)驗(yàn)數(shù)據(jù)的分析處理，分別對腦電EEG指標(biāo)、眼動指標(biāo)和外周生理指標(biāo)進(jìn)行提取和選擇，分析用戶情感意象與腦電指標(biāo)、眼動指標(biāo)以及外周生理指標(biāo)之間的關(guān)系，建立用戶情感意象與多模式生理測量指標(biāo)之間的關(guān)系模型。通過多模式情感測量實(shí)驗(yàn)研究適合產(chǎn)品外觀的情感測量方法，探索用戶情感多模式測量的有效性。

2.1.2 實(shí)驗(yàn)材料

實(shí)驗(yàn)材料為通過正交實(shí)驗(yàn)設(shè)計生成的81個SUV汽車產(chǎn)品原型。在本次實(shí)驗(yàn)中，把81款外觀設(shè)計特征存在顯著差異的SUV汽車作為實(shí)驗(yàn)材料。在同一張刺激圖片中需要展示同一款SUV汽車的不同視角圖片，整個實(shí)驗(yàn)需要在實(shí)驗(yàn)編程軟件E-Prime 2.0軟件中設(shè)計，將其添加為Image刺激。

2.1.3 實(shí)驗(yàn)對象

選取東北大學(xué)36名師生作為被試，其中男性被試17名，女性被試19名，被試年齡分布在21-43歲，平均年齡30.5(30.5±5.39)歲，均身體健康，無心血管疾病及神經(jīng)系統(tǒng)疾病，無色覺缺失，視力或矯正視力正常，均右利手。被試實(shí)驗(yàn)前均知曉實(shí)驗(yàn)并同意進(jìn)行實(shí)驗(yàn)。

2.1.4 實(shí)驗(yàn)設(shè)備

本實(shí)驗(yàn)在東北大學(xué)人因工程實(shí)驗(yàn)室中進(jìn)行，實(shí)驗(yàn)室提供的可用于實(shí)驗(yàn)研究的儀器實(shí)驗(yàn)設(shè)備主要包括Neuroscan公司生產(chǎn)的EEG/ERP多導(dǎo)聯(lián)神經(jīng)電生理分析定位系統(tǒng)，德國SMI公司生產(chǎn)的RED桌面型遙測式眼動追蹤系統(tǒng)和美國BIOPAC公司生產(chǎn)的MP150型16通道多導(dǎo)生理記錄儀。

2.1.5 實(shí)驗(yàn)程序

正式實(shí)驗(yàn)前，邀請兩名有效被試(無色盲、散光，且視力矯正或裸眼視力在1.0以上)進(jìn)行預(yù)實(shí)驗(yàn)，以發(fā)現(xiàn)實(shí)驗(yàn)設(shè)計和實(shí)驗(yàn)流程中的問題和不足，并及時修改和完善，保證正式實(shí)驗(yàn)的順利進(jìn)行。實(shí)驗(yàn)開始前，先進(jìn)行實(shí)驗(yàn)前準(zhǔn)備，由主試向被試介紹實(shí)驗(yàn)須知與實(shí)驗(yàn)流程，并讓被試熟悉實(shí)驗(yàn)環(huán)境，然后在征得被試同意的情況下，請被試填寫知情同意書和基本情況調(diào)查表，最后，為避免光線對眼動追蹤系統(tǒng)校正的影響，將實(shí)驗(yàn)環(huán)境光調(diào)為低度照明，被試實(shí)驗(yàn)環(huán)境如圖1所示。

圖1 實(shí)驗(yàn)環(huán)境

在眼動精度達(dá)到目標(biāo)要求后，主試打開Acknowledge 4.2數(shù)據(jù)采集軟件，在觀察到生理信號平穩(wěn)之后，主試點(diǎn)擊Curry 7.0開始記錄腦電信號按鈕，在實(shí)驗(yàn)刺激呈現(xiàn)之前要求被試保持頭腦放松休息三分鐘，在基線測量期間，主試和被試都保持安靜狀態(tài)，保證生理信號不受外界因素的干擾。待被試腦電波形和外周生理信號達(dá)到平穩(wěn)之后，主試點(diǎn)擊鼠標(biāo)左鍵開始腦電Eprime 2.0軟件事先編程并保存好的本研究實(shí)驗(yàn)任務(wù)設(shè)計和流程。當(dāng)被試瀏覽完刺激圖片之后，點(diǎn)擊鼠標(biāo)右鍵，完成用戶情感意象反饋。本實(shí)驗(yàn)操作流程如圖2所示。

圖2 實(shí)驗(yàn)流程

2.2 數(shù)據(jù)收集與處理

用戶情感意象反饋由用戶情感偏好“喜歡的—不喜歡的”(W01)和“笨重的—輕盈的”(W02)、“華麗的—樸素的”(W03)、“細(xì)膩的—粗獷的”(W04)等情感意象詞對組成，使用7級李克特量表(得分從-3到3)進(jìn)行打分。本次實(shí)驗(yàn)共有36名被試參與實(shí)驗(yàn)，由于每名被試需要對81款實(shí)驗(yàn)樣本方案進(jìn)行主觀情感意象評價(實(shí)驗(yàn)過程中會根據(jù)被試的需求安排休息時間)，本次試驗(yàn)共收集有效問卷2916(36×81)份，調(diào)查對象包含在校學(xué)生和教職工。

腦電數(shù)據(jù)使用Neuroscan(Neurosoft Labs Inc)EEG/ERPs多導(dǎo)聯(lián)神經(jīng)電生理分析定位系統(tǒng)持續(xù)記錄，腦電數(shù)據(jù)收集選用的Ag/AgCl電極帽上的電極點(diǎn)一致共包含34個電極點(diǎn)采集腦電信號。參考電極置于左側(cè)乳突，同時記錄右側(cè)乳突電極。接地電極為位于FPZ和FZ中間的GND電極。每個電極與頭皮之間的電阻均<5 kΩ，連續(xù)記錄時濾波帶通為0.05-100 Hz，采樣率為1 000 Hz。使用BeGazeTM3.4眼動數(shù)據(jù)記錄和分析軟件對被試眼動實(shí)驗(yàn)數(shù)據(jù)進(jìn)行持續(xù)記錄，采樣頻率為500 Hz。為準(zhǔn)確收集用戶瀏覽不同產(chǎn)品設(shè)計特征時的眼動數(shù)據(jù)，需要對刺激材料中每一個SUV汽車圖片的興趣區(qū)域(Area of Interests,AOIs)進(jìn)行劃分，從而可以有效避免屏幕中留白空間對實(shí)驗(yàn)數(shù)據(jù)準(zhǔn)確度的影響。使用AcqKnowledge 4.2軟件對外周生理信號進(jìn)行持續(xù)記錄，在數(shù)據(jù)采集時，將RSP，SKT，GSR，ECG，PPG，EMG等模塊信號通道的采樣頻率均設(shè)置為1000 Hz。

2.3 多模式情感測量指標(biāo)選取

(1)腦電EEG指標(biāo)選取

本研究采用Khushaba等人(2013年)和Bigdely-Shamlo等人(2015年)中關(guān)于節(jié)律波相對能量值和樣本熵的計算方法，運(yùn)用腦電EEG信號處理程序?qū)?shí)驗(yàn)中獲取的腦電EEG信號進(jìn)行預(yù)處理，并獲得每個被試各個電極點(diǎn)在相應(yīng)頻段的波形，然后計算各節(jié)律波的能量值和樣本熵。根據(jù)低方差特征過濾原則，依據(jù)用戶情感意象得分高低將樣本分為用戶情感意象高、中、低三組，并將用戶情感意象作為自變量，對EEG指標(biāo)進(jìn)行方差分析，從而將低方差的EEG指標(biāo)過濾掉，篩選出能夠有效反映出用戶情感意象得分差異的EEG指標(biāo)。根據(jù)相關(guān)特征過濾原則，計算EEG指標(biāo)之間的Pearson相關(guān)系數(shù)，其結(jié)果如圖3所示。結(jié)果表明，Delta、Theta、Alpha、Beta、Gamma五種節(jié)律波的相對能量值之間的相關(guān)性較低，而五種節(jié)律波的樣本熵之間的相關(guān)性較高。篩選得到能夠有效反應(yīng)出情感意象詞對得分差異顯著的有效EEG指標(biāo)如表1所示。

圖3 EEG指標(biāo)之間的相關(guān)性分析

表1 EEG指標(biāo)選取

(2)眼動指標(biāo)選取

本文選取的眼動指標(biāo)包括平均瞳孔直徑，注視次數(shù)，平均注視持續(xù)時間，眨眼次數(shù)，平均眨眼持續(xù)時間，眼跳次數(shù)，平均眼跳持續(xù)時間，平均眼跳幅度，平均眼跳速度。根據(jù)低方差特征過濾原則，依據(jù)用戶情感意象得分高低將樣本分為用戶情感意象高、中、低三組，并將用戶情感意象作為自變量，對眼動指標(biāo)進(jìn)行方差分析，從而降低方差的眼動指標(biāo)過濾掉，篩選出能夠有效反映出用戶情感意象得分差異的眼動指標(biāo)。根據(jù)相關(guān)特征過濾原則，計算眼動指標(biāo)之間的Pearson相關(guān)系數(shù)，其結(jié)果如圖4。結(jié)果表明，注視次數(shù)和注視時間的相關(guān)系數(shù)較高(0.755)，并具有顯著性(P<0.001)，篩選得到能夠有效反應(yīng)出情感意象詞對得分差異顯著的有效眼動指標(biāo)如表2所示。

表2 眼動指標(biāo)選取

圖4 眼動指標(biāo)之間的相關(guān)性分析

(3)外周生理指標(biāo)選取

本文選取的外周生理指標(biāo)包括皮膚電導(dǎo)，皮膚溫度，呼吸頻率，呼吸幅度，脈搏頻率，脈搏幅度，心率，心率變異性，積分肌電值。根據(jù)低方差特征過濾原則，依據(jù)用戶情感意象得分高低將樣本分為用戶情感意象高、中、低三組，并將用戶情感意象作為自變量，對外周生理指標(biāo)進(jìn)行方差分析，從而將低方差的外周生理指標(biāo)過濾掉，篩選出能夠有效反映出用戶情感意象得分差異的外周生理指標(biāo)。根據(jù)相關(guān)特征過濾原則，計算外周生理指標(biāo)之間的Pearson相關(guān)系數(shù)，其結(jié)果如圖5所示。結(jié)果表明，脈搏頻率和心率的相關(guān)系數(shù)較高(0.779)，并具有顯著性(P<0.01)，篩選得到能夠有效反應(yīng)出情感意象詞對得分差異顯著的有效外周生理指標(biāo)如表3所示。

表3 外周生理指標(biāo)選取

圖5 外周生理指標(biāo)之間的相關(guān)性分析

3 結(jié)果

(1)用戶情感偏好與多模式生理測量指標(biāo)關(guān)系模型

將腦電指標(biāo)(EEG)，眼動指標(biāo)(EM)，外周生理指標(biāo)(PP)以及它們的組合指標(biāo)分別作為自變量，分別采用偏最小二乘回歸(PLSR)，BP神經(jīng)網(wǎng)絡(luò)(BPNN)和支持向量機(jī)回歸(SVR)等機(jī)器學(xué)習(xí)算法建立用戶情感偏好與多模式生理測量指標(biāo)之間的關(guān)系模型。將訓(xùn)練樣本所得模型的均方根誤差MSE(Mean Squared Error)和擬合優(yōu)度R2(相關(guān)系數(shù)平方)作為評價關(guān)系模型的逼近能力和泛化誤差性能的指標(biāo)，MSE越小，說明關(guān)系模型的預(yù)測精度越高，R2越接近于1表示模型的擬合性和總體預(yù)測精度越好。用戶情感偏好與多模式生理測量指標(biāo)之間的關(guān)系模型如表4所示。

表4 用戶情感偏好與多模式生理測量指標(biāo)之間的關(guān)系模型

由表4可知，對于PLSR，BPNN和SVR算法來講，綜合使用腦電指標(biāo)、眼動指標(biāo)和外周生理指標(biāo)中的兩類或兩類以上指標(biāo)組合的關(guān)系模型預(yù)測效果優(yōu)于單獨(dú)腦電指標(biāo)、眼動指標(biāo)或者生理指標(biāo)關(guān)系模型的預(yù)測效果。綜合使用腦電指標(biāo)、眼動指標(biāo)和生理指標(biāo)的關(guān)系模型效果最佳。具體來講，對于PLSR關(guān)系模型，采用交叉有效性檢驗(yàn)確定偏最小二乘回歸方程中選取成分的個數(shù)，PLSR關(guān)系模型的均方根誤差MSE和擬合優(yōu)度R2分別為0.125和0.665；對于BPNN關(guān)系模型，采用包括輸入層、單一隱含層和輸出層的三級結(jié)構(gòu)，BPNN關(guān)系模型的均方根誤差MSE和擬合優(yōu)度R2分別為0.019和0.931，BPNN迭代過程如圖6所示；對于SVR關(guān)系模型，基于網(wǎng)格化尋優(yōu)參數(shù)方法，用ε-SVR進(jìn)行優(yōu)化后得到模型的最優(yōu)參數(shù)，SVR關(guān)系模型的均方根誤差MSE和擬合優(yōu)度R2分別為0.011和0.962，SVR迭代過程如圖7所示。

圖6 用戶情感偏好與多模式生理測量指標(biāo)關(guān)系模型的BPNN迭代過程

圖7 用戶情感偏好與多模式生理測量指標(biāo)關(guān)系模型的SVR迭代過程

(2)情感意象“笨重的—輕盈的”與多模式生理測量指標(biāo)關(guān)系模型

分別采用偏最小二乘回歸(PLSR)，BP神經(jīng)網(wǎng)絡(luò)(BPNN)和支持向量機(jī)回歸(SVR)等機(jī)器學(xué)習(xí)算法建立情感意象“笨重的—輕盈的”(W02)與多模式生理測量指標(biāo)之間的關(guān)系模型。情感意象W02與多模式生理測量指標(biāo)之間的關(guān)系模型如表5所示。

表5 情感意象W02與多模式生理測量指標(biāo)之間的關(guān)系模型

由表5可知，對于PLSR，BPNN和SVR算法來講，綜合使用腦電指標(biāo)、眼動指標(biāo)和外周生理指標(biāo)中的兩類或兩類以上指標(biāo)組合的關(guān)系模型效果優(yōu)于單獨(dú)腦電指標(biāo)、眼動指標(biāo)或者生理指標(biāo)關(guān)系模型的預(yù)測效果。綜合使用腦電指標(biāo)、眼動指標(biāo)和生理指標(biāo)的關(guān)系模型效果最佳。對于PLSR關(guān)系模型，采用交叉有效性檢驗(yàn)確定偏最小二乘回歸方程中選取成分的個數(shù)，PLSR關(guān)系模型的均方根誤差MSE和擬合優(yōu)度R2分別為0.131和0.741；對于BPNN關(guān)系模型，采用包括輸入層、單一隱含層和輸出層的三級結(jié)構(gòu)，BPNN關(guān)系模型的均方根誤差MSE和擬合優(yōu)度R2分別為0.013和0.913，BPNN迭代過程如圖8所示；對于SVR關(guān)系模型，基于網(wǎng)格化尋優(yōu)參數(shù)方法，用ε-SVR進(jìn)行優(yōu)化后得到模型的最優(yōu)參數(shù)，SVR關(guān)系模型的均方根誤差MSE和擬合優(yōu)度數(shù)R2分別為0.010和0.953，SVR迭代過程如圖9所示。

圖8 情感意象W02與多模式生理測量指標(biāo)關(guān)系模型的BPNN迭代過程

圖9 情感意象W02與多模式生理測量指標(biāo)關(guān)系模型的SVR迭代過程

(3)情感意象“華麗的—樸素的”與多模式生理測量指標(biāo)關(guān)系模型

分別采用偏最小二乘回歸(PLSR)，BP神經(jīng)網(wǎng)絡(luò)(BPNN)和支持向量機(jī)回歸(SVR)等機(jī)器學(xué)習(xí)算法建立情感意象“華麗的—樸素的”(W03)與多模式生理測量指標(biāo)之間的關(guān)系模型。情感意象W03與多模式生理測量指標(biāo)之間的關(guān)系模型如表6所示。

表6 情感意象W02與多模式生理測量指標(biāo)之間的關(guān)系模型

由表6可知，對于PLSR，BPNN和SVR算法來講，綜合使用腦電指標(biāo)、眼動指標(biāo)和外周生理指標(biāo)中的兩類或兩類以上指標(biāo)組合的關(guān)系模型效果優(yōu)于單獨(dú)腦電指標(biāo)、眼動指標(biāo)或者生理指標(biāo)關(guān)系模型預(yù)測效果。綜合使用腦電指標(biāo)、眼動指標(biāo)和生理指標(biāo)的關(guān)系模型效果最佳。具體來講，對于PLSR關(guān)系模型，采用交叉有效性檢驗(yàn)確定偏最小二乘回歸方程中選取成分的個數(shù)，PLSR關(guān)系模型的均方根誤差MSE和擬合優(yōu)度R2分別為0.128和0.702；對于BPNN關(guān)系模型，采用包括輸入層、單一隱含層和輸出層的三級結(jié)構(gòu)，BPNN關(guān)系模型的均方根誤差MSE和擬合優(yōu)度R2分別為0.018和0.899，BPNN迭代過程如圖10所示；對于SVR關(guān)系模型，基于網(wǎng)格化尋優(yōu)參數(shù)方法，用ε-SVR進(jìn)行優(yōu)化后得到模型的最優(yōu)參數(shù)，SVR關(guān)系模型的均方根誤差MSE和擬合優(yōu)度R2分別為0.013和0.939，SVR迭代過程如圖11所示。

圖10 情感意象W03與多模式生理測量指標(biāo)關(guān)系模型的BPNN迭代過程

圖11 情感意象W03與多模式生理測量指標(biāo)關(guān)系模型的SVR迭代過程

(4)情感意象“細(xì)膩的—粗獷的”與多模式生理測量指標(biāo)關(guān)系模型

分別偏最小二乘回歸(PLSR)，BP神經(jīng)網(wǎng)絡(luò)(BPNN)和支持向量機(jī)回歸(SVR)等機(jī)器學(xué)習(xí)算法建立情感意象“細(xì)膩的—粗獷的”(W04)與多模式生理測量指標(biāo)之間的關(guān)系模型。情感意象W04與多模式生理測量指標(biāo)之間的關(guān)系模型如表7所示。

表7 情感意象W04與多模式生理測量指標(biāo)之間的關(guān)系模型

由表7可知，對于PLSR，BPNN和SVR算法來講，綜合使用腦電指標(biāo)、眼動指標(biāo)和外周生理指標(biāo)中的兩類或兩類以上指標(biāo)組合的關(guān)系模型效果優(yōu)于單獨(dú)腦電指標(biāo)、眼動指標(biāo)或者生理指標(biāo)關(guān)系模型預(yù)測效果。綜合使用腦電指標(biāo)、眼動指標(biāo)和生理指標(biāo)的關(guān)系模型效果最佳。對于PLSR關(guān)系模型，采用交叉有效性檢驗(yàn)確定偏最小二乘回歸方程中選取成分的個數(shù)，PLSR關(guān)系模型的均方根誤差MSE和擬合優(yōu)度R2分別為0.137和0.741；對于BPNN關(guān)系模型，采用包括輸入層、單一隱含層和輸出層的三級結(jié)構(gòu)，BPNN關(guān)系模型的均方根誤差MSE和擬合優(yōu)度R2分別為0.021和0.856，BPNN迭代過程如圖12所示；對于SVR關(guān)系模型，基于網(wǎng)格化尋優(yōu)參數(shù)方法，用ε-SVR進(jìn)行優(yōu)化后得到模型的最優(yōu)參數(shù)，SVR關(guān)系模型的均方根誤差MSE和擬合優(yōu)度R2分別為0.007和0.918，SVR迭代過程如圖13所示。

圖12 情感意象W04與多模式生理測量指標(biāo)關(guān)系模型的BPNN迭代過程

圖13 情感意象W04與多模式生理測量指標(biāo)關(guān)系模型的SVR迭代過程

綜上所述，融合腦電指標(biāo)，眼動指標(biāo)和外周生理指標(biāo)的情感意象與多模式生理測量指標(biāo)關(guān)系模型在偏最小二乘回歸(PLSR)，BP神經(jīng)網(wǎng)絡(luò)(BPNN)和支持向量機(jī)回歸(SVR)關(guān)系模型中擁有較低的均方根誤差(MSE)和較高的擬合優(yōu)度(R2)。相較于PLSR和BPNN，在構(gòu)建情感意象W25與多模式生理測量指標(biāo)關(guān)系模型時，SVR算法模型表現(xiàn)出更低的MSE和更高的R2。

4 討論

本研究針對用戶情感意象多模式情感測量方法進(jìn)行探究，并構(gòu)建了用戶情感意象與多模式生理測量指標(biāo)關(guān)系模型。首先，通過多模式情感測量實(shí)驗(yàn)收集用戶瀏覽不同產(chǎn)品時的用戶情感意象數(shù)據(jù)、腦電數(shù)據(jù)、眼動數(shù)據(jù)和外周生理數(shù)據(jù)；其次，對多模式情感測量實(shí)驗(yàn)數(shù)據(jù)進(jìn)行分析處理，提取腦電EEG指標(biāo)、眼動指標(biāo)和外周生理指標(biāo)；第三，運(yùn)用特征工程方法分別篩選出能夠有效反應(yīng)用戶情感意象的腦電EEG指標(biāo)、眼動指標(biāo)和外周生理指標(biāo)；最后，采用機(jī)器學(xué)習(xí)算法分別構(gòu)建了不同測量模式下的用戶情感意象與多模式生理測量指標(biāo)之間的關(guān)系模型。研究結(jié)果表明，融合腦電指標(biāo)，眼動指標(biāo)和外周生理指標(biāo)的用戶情感意象與多模式生理測量指標(biāo)關(guān)系模型在偏最小二乘回歸(PLSR)，BP神經(jīng)網(wǎng)絡(luò)(BPNN)和支持向量機(jī)回歸(SVR)關(guān)系模型中擁有較低的均方根誤差(MSE)和較高的擬合優(yōu)度(R2)。相較于PLSR和BPNN，在構(gòu)建用戶情感意象與多模式生理測量指標(biāo)關(guān)系模型時，SVR算法表現(xiàn)出更低的MSE和更高的R2。

在本研究中發(fā)現(xiàn)，頂區(qū)和中央?yún)^(qū)Delta節(jié)律波的相對能量值，前額區(qū)和額葉區(qū)Theta節(jié)律波的相對能量值，前額區(qū)、額葉區(qū)和中央?yún)^(qū)Alpha節(jié)律波的相對能量值，前額區(qū)、額葉區(qū)和中央?yún)^(qū)Beta節(jié)律波的相對能量值和頂區(qū)和枕區(qū)Gamma節(jié)律波的相對能量值可以用來有效地反映用戶情感意象的變化，這與已有文獻(xiàn)中的研究結(jié)果一致。眼動數(shù)據(jù)分析結(jié)果表明，瞳孔直徑、注視次數(shù)、眨眼次數(shù)和眼跳次數(shù)能有效反映用戶情感意象的變化。瞳孔直徑的變化與認(rèn)知和情感信息處理有關(guān)，對于特定區(qū)域的注視表明用戶對該區(qū)域注意力資源的分配，即對所呈現(xiàn)信息的心理加工，注視次數(shù)反映用戶執(zhí)行某一項(xiàng)任務(wù)時需付出的認(rèn)知努力，注視次數(shù)越多，表明用戶付出的認(rèn)知努力越多，認(rèn)知負(fù)荷越大，更高的注視次數(shù)表明用戶找到相關(guān)信息的搜索效率更低。眨眼次數(shù)與人的情感有密切關(guān)系，眨眼次數(shù)越少，表示用戶越專心，越不想被打擾。眼跳在很大程度上受到多種認(rèn)知因素的影響，涉及情感、注意、記憶、學(xué)習(xí)和決策等。外周生理數(shù)據(jù)分析結(jié)果表明，皮膚電導(dǎo)，皮膚溫度，呼吸頻率，呼吸幅度，脈搏幅度，心率，心率變異性和面部肌電積分肌電值能夠有效反映用戶情感意象的變化。當(dāng)用戶有強(qiáng)烈的情緒反應(yīng)或受到外界聽覺、視覺、觸覺等感官刺激的時候，會導(dǎo)致皮膚表面兩點(diǎn)之間的電阻降低。當(dāng)用戶情緒發(fā)生改變時，用戶的呼吸信號會相應(yīng)地發(fā)生變化，這主要體現(xiàn)在呼吸頻率以及呼吸幅度的改變。當(dāng)用戶處于不同情緒狀態(tài)下，脈搏信號的特征參數(shù)也表現(xiàn)出了差異。相比于積極的情感狀態(tài)，消極的情感狀態(tài)會產(chǎn)生更大的心率值。肌電信號能夠反映出情緒變化的神經(jīng)和肌肉的變化過程，用戶的肌肉會隨著情緒狀態(tài)的變化而變化。

5 小結(jié)

本研究主要從主觀情感測量方法、腦電測量技術(shù)、眼動追蹤技術(shù)以及外周生理測量技術(shù)等幾個方面探索用戶情感測量模式，通過不同模式的情感測量實(shí)驗(yàn)研究適合產(chǎn)品外觀的情感測量方法，研究用戶情感多模式測量的有效性。采用機(jī)器學(xué)習(xí)算法分別構(gòu)建不同測量模式下的用戶情感意象與多模式生理測量指標(biāo)之間的關(guān)系模型，使用戶情感意象測量結(jié)果更加客觀和準(zhǔn)確，避免了主觀情感測量方法帶來的不確定性和模糊性。多模式情感測量反應(yīng)了用戶不同方面的情感體驗(yàn)，該研究構(gòu)建的多模式情感測量模型能夠更加準(zhǔn)確地反映用戶的情感狀態(tài)。研究成果是對產(chǎn)品情感設(shè)計理論與方法的完善和補(bǔ)充。研究成果的應(yīng)用對提高企業(yè)產(chǎn)品情感設(shè)計水平，減少產(chǎn)品市場投入風(fēng)險，提高市場競爭力具有重要意義。