基于眼動(dòng)信號(hào)追蹤技術(shù)的產(chǎn)品情感設(shè)計(jì)系統(tǒng)應(yīng)用實(shí)踐

謝 黎 尹 玲

（東莞理工學(xué)院，廣東 東莞 523808）

0 引言

該文以生理信號(hào)研究理論為基礎(chǔ)，并基于人體眼動(dòng)信號(hào)識(shí)別開展了對(duì)產(chǎn)品情感設(shè)計(jì)系統(tǒng)的研究與實(shí)踐。在該領(lǐng)域的研究中，可以通過非生理信號(hào)（視覺信號(hào)、語音信號(hào)）及生理信號(hào)等手段對(duì)人的情緒進(jìn)行感知[1]。通過使用現(xiàn)代檢測(cè)設(shè)備采集到的生理信號(hào)數(shù)據(jù)（例如眼動(dòng)儀）來搭建數(shù)據(jù)分析及應(yīng)用平臺(tái)，并將該類系統(tǒng)應(yīng)用于銷售場(chǎng)景，用來監(jiān)測(cè)消費(fèi)者在產(chǎn)品選購時(shí)他們喜好的變化情況。利用情感泛化特征分析系統(tǒng)，將數(shù)據(jù)與產(chǎn)品設(shè)計(jì)需求結(jié)合，建立基于人體生理信號(hào)反饋的產(chǎn)品情感設(shè)計(jì)系統(tǒng)，從而為產(chǎn)品開發(fā)及銷售提供有價(jià)值的評(píng)估與判斷。

1 眼動(dòng)生理信號(hào)與情感關(guān)聯(lián)性的理論研究

1.1 理論研究

該研究以非侵入式身體生理信號(hào)檢測(cè)技術(shù)為依托，對(duì)具體的產(chǎn)品情感設(shè)計(jì)系統(tǒng)進(jìn)行研究。目前國內(nèi)外多以非侵入式生理信號(hào)檢測(cè)技術(shù)為研究方向，它的研究?jī)?nèi)容涉及很多領(lǐng)域，例如情感智能與普適計(jì)算、虛擬現(xiàn)實(shí)、情感化設(shè)計(jì)、用戶體驗(yàn)、交互設(shè)計(jì)、情感機(jī)器人、在線教育、情境學(xué)習(xí)、多媒體檢測(cè)、游戲設(shè)計(jì)、駕駛員情感分析以及康復(fù)醫(yī)療等。以眼動(dòng)為代表的基于生理信號(hào)的產(chǎn)品設(shè)計(jì)研究和評(píng)估，是從認(rèn)知科學(xué)、計(jì)算機(jī)科學(xué)以及人工智能的角度去理解的。人體自主神經(jīng)的活動(dòng)，例如隨著1種情感的變化幾種生理特征也會(huì)發(fā)生變化，而有一些自主神經(jīng)，在一般情況不會(huì)受到人的思想的主觀控制。因此，對(duì)該生理信號(hào)進(jìn)行情感分析是具有比較明顯的客觀性和準(zhǔn)確性。相對(duì)來說，眼動(dòng)這類生理信號(hào)對(duì)面部表情和姿態(tài)的識(shí)別具有更明顯的客觀性與準(zhǔn)確性，通過這類客觀反映來評(píng)估人們的情感、狀態(tài)，其結(jié)果更準(zhǔn)確。目前，該定量分析方式的技術(shù)還不成熟，大部分都采用定性分析的方法。在定量分析的基礎(chǔ)上，結(jié)合更多的數(shù)據(jù)研究和有效評(píng)估，對(duì)產(chǎn)品的設(shè)計(jì)進(jìn)行一些相對(duì)客觀和理性的情感化判斷。將情感反饋與用戶體驗(yàn)結(jié)合，從而更好地促進(jìn)產(chǎn)品開發(fā)，還有待于進(jìn)一步研究。浙江大學(xué)研究E-Teatrix中虛擬人物及情感系統(tǒng)的構(gòu)造，根據(jù)該研究可知，情感計(jì)算中的生理信號(hào)是識(shí)別人情緒的1種非常有用的數(shù)據(jù)特征[2]。情感指標(biāo)是相對(duì)廣泛的，基于眼動(dòng)生理信號(hào)帶來的情感指標(biāo)特征可以在產(chǎn)品開發(fā)評(píng)估環(huán)節(jié)中應(yīng)用，也是該文的研究重點(diǎn)。

1.2 國內(nèi)外的情感設(shè)計(jì)研究重點(diǎn)

獲得情感數(shù)據(jù)以及情感測(cè)量的手段是研究中的首要難點(diǎn)，P.J.Lang指出有3種資料可以作為情緒的指標(biāo)，分別是行為、自我報(bào)告以及生理反應(yīng)。基于行為的情感認(rèn)知，隨著傳感器等硬件技術(shù)的發(fā)展，越來越多的研究借助語音、面部表情以及身體姿勢(shì)等多媒體數(shù)據(jù)來完成對(duì)情感的獲取和分析。在實(shí)驗(yàn)室測(cè)量的過程中，除了借助行為來描述情感以外，還可以通過以下2種途徑描述情感：1） 實(shí)驗(yàn)受測(cè)者的自我報(bào)告。用各種量表來評(píng)估受試者的情緒反應(yīng)。2） 生理信號(hào)。眼動(dòng)研究就是其中之一。早在19世紀(jì)，就有科學(xué)家運(yùn)用對(duì)人的眼球運(yùn)動(dòng)分析來解析人的心理活動(dòng)，眼動(dòng)儀的問世為心理學(xué)家提供了強(qiáng)大的工具，利用眼動(dòng)技術(shù)研究人在各種不同條件下的視覺信息加工機(jī)制，分析其與心理活動(dòng)的關(guān)系，為心理學(xué)研究提供了更多寶貴的數(shù)據(jù)。心理學(xué)研究中常用的參數(shù)主要包括眼動(dòng)時(shí)間、注視點(diǎn)軌跡圖、眼跳方向的平均速度、時(shí)間、距離、眨眼和瞳孔大小（面積或直徑描述，單位象）。通過眼動(dòng)監(jiān)測(cè)技術(shù)記錄眼動(dòng)的軌跡，提取對(duì)應(yīng)的視覺信息，并對(duì)其進(jìn)行研究，從而探究個(gè)體的情感變化。

將由人的情感變化所引發(fā)的生理及行為特征信息建立在各類傳感器上，并搭建情感模型，從而創(chuàng)建個(gè)人情感計(jì)算系統(tǒng)。在主流研究中，對(duì)常態(tài)人群的認(rèn)知過程和生理過程進(jìn)行了水平比對(duì)，認(rèn)知過程、生理變化以及情緒是緊密聯(lián)系在一起的，究竟哪個(gè)更能體現(xiàn)情緒的波動(dòng)，一直存在爭(zhēng)論[3]。現(xiàn)有的研究工作主要圍繞情感單模態(tài)理論與相關(guān)技術(shù)的可實(shí)現(xiàn)性而開展。哈爾濱工業(yè)大學(xué)的多功能情感機(jī)研究，主要包括表情識(shí)別、姿態(tài)情感識(shí)別等。清華大學(xué)進(jìn)行了基于人工情感的機(jī)器人控制體系結(jié)構(gòu)及腦機(jī)接口研究。北京交通大學(xué)和北京工業(yè)大學(xué)對(duì)多功能感知機(jī)和情感計(jì)算進(jìn)行了融合研究。中科院軟件所主要研究智能個(gè)體界面。中科院自動(dòng)化研究所則研究了基于生物特征的身份驗(yàn)證。中科院心理學(xué)所、生物所則注重對(duì)情緒心理學(xué)與生理學(xué)關(guān)系的研究。中國科技大學(xué)開展了基于內(nèi)容的交互式情感圖像檢索的研究。浙江大學(xué)、江蘇大學(xué)建立了自己的情感數(shù)據(jù)庫，可以從生物信息中提取特征來對(duì)情感識(shí)別進(jìn)行研究。中科院計(jì)算所開展了對(duì)帶有表情和動(dòng)作的虛擬人的研究。北京科技大學(xué)、東南大學(xué)和南京航空航天大學(xué)主要研究語音情感識(shí)別以及語音情感計(jì)算。重慶大學(xué)致力于智能軟件方面的研究。

2 眼部生理信號(hào)的數(shù)據(jù)處理方法

結(jié)合情感化產(chǎn)品設(shè)計(jì)中關(guān)于眼部生理信號(hào)提取的理論素材，對(duì)其進(jìn)行分析和處理，并結(jié)合不同視角、場(chǎng)景和空間等尋找創(chuàng)新性的設(shè)計(jì)切入點(diǎn)，為后續(xù)系統(tǒng)開發(fā)做進(jìn)一步的積累。可以通過測(cè)量該生理信號(hào)的變化識(shí)別出該信號(hào)中的情緒模式，通過對(duì)應(yīng)的情感計(jì)算情緒模型來對(duì)相應(yīng)的產(chǎn)品進(jìn)行設(shè)計(jì)[4]。結(jié)合眼動(dòng)信號(hào)驅(qū)動(dòng)的產(chǎn)品情感設(shè)計(jì)系統(tǒng)的開發(fā)，通過眼動(dòng)提供的幾類指標(biāo)體系搭建產(chǎn)品設(shè)計(jì)的框架模型，從而設(shè)計(jì)有針對(duì)性的用戶使用產(chǎn)品，并提供使用場(chǎng)景的參照。

2.1 應(yīng)用背景

2.1.1 眼動(dòng)信息反饋的有效性

眼動(dòng)檢測(cè)是非侵入式生理監(jiān)測(cè)中相對(duì)較為客觀的1種手段。眼睛是心靈的窗戶，眼睛有非常多細(xì)小而敏感的生理結(jié)構(gòu)，而眼睛的瞳孔具有非常明顯的意識(shí)，即感覺性的反應(yīng)。瞳孔的大小、變化以及反應(yīng)，都會(huì)受到交感神經(jīng)與副交感神經(jīng)的支配。

2.1.2 以眼動(dòng)儀技術(shù)為載體，基于生理信號(hào)識(shí)別的產(chǎn)品情感設(shè)計(jì)系統(tǒng)

以眼動(dòng)信號(hào)為基礎(chǔ)的研究，作為符合一定設(shè)計(jì)原則的產(chǎn)品情感設(shè)計(jì)系統(tǒng)，其提供的眼動(dòng)信息是反饋內(nèi)心真實(shí)情感的生理性外化渠道。可以通過眼睛捕捉到人們真實(shí)的情感，這就是人們常說的心靈的窗戶，由此得出新的產(chǎn)品設(shè)計(jì)方法。

2.2 技術(shù)背景

2.2.1 瞳孔角膜反射技術(shù) （PCCR）

該技術(shù)的基本理念是使用1種光源對(duì)眼睛進(jìn)行照射，使其產(chǎn)生明顯的反射，并使用1種攝像機(jī)采集帶有這些反射效果的眼睛的圖像；再使用該圖像來識(shí)別光源在角膜（閃爍）和瞳孔上的反射 。這樣就能夠通過角膜與瞳孔之間的反射角度來計(jì)算出眼動(dòng)的向量，然后結(jié)合該向量的方向與其他反射的幾何特征計(jì)算視線的方向。

2.2.2 生理指標(biāo)測(cè)量

生理指標(biāo)測(cè)量是指通過多種傳感器測(cè)得人類身體對(duì)某事物的感知或思維想象的反應(yīng)。該方式能夠直接獲得來自中樞神經(jīng)系統(tǒng)（例如大腦）或與周圍神經(jīng)系統(tǒng)（例如眼球的瞳孔、皮膚的汗腺）相關(guān)的數(shù)據(jù)。通常引入生理指標(biāo)的目的是為了衡量能夠更直接地反映出與情緒相關(guān)的身體反應(yīng)。應(yīng)用另一種常見生理指標(biāo)的目的是為了確定執(zhí)行某項(xiàng)任務(wù)時(shí)的腦力負(fù)荷，該方式是設(shè)計(jì)該項(xiàng)目產(chǎn)品及其衍生產(chǎn)品的出發(fā)點(diǎn)。

3 基于眼動(dòng)信號(hào)的產(chǎn)品情感設(shè)計(jì)系統(tǒng)設(shè)定

3.1 穿戴式用戶信號(hào)儀的產(chǎn)品系統(tǒng)框架及工作邏輯

為了讓收集到的數(shù)據(jù)更接近真實(shí)環(huán)境下人體的真實(shí)數(shù)據(jù)，產(chǎn)品的設(shè)計(jì)規(guī)劃基于非侵入式身體生理信號(hào)檢測(cè)技術(shù)而展開。產(chǎn)品系統(tǒng)由穿戴式眼動(dòng)儀（用戶端）、其他人體生物信息檢測(cè)設(shè)備、數(shù)據(jù)中轉(zhuǎn)站以及后臺(tái)系統(tǒng)組成，系統(tǒng)流程演示圖如圖1所示。

3.1.1 穿戴式眼動(dòng)儀（用戶端）

穿戴式眼動(dòng)儀的主要功能是收集眼動(dòng)數(shù)據(jù)、面部表情圖像數(shù)據(jù)以及使用者視野環(huán)境圖像數(shù)據(jù)。其主要功能硬件模塊有嵌入式微型眼動(dòng)捕捉傳感器、面部表情捕捉傳感器、嵌入式微型攝像頭以及數(shù)據(jù)傳輸器等。功能硬件模塊的工作邏輯是由嵌入式微型眼動(dòng)捕捉傳感器、面部表情捕捉傳感器以及嵌入式微型攝像頭分別收集對(duì)應(yīng)的眼動(dòng)數(shù)據(jù)、面部表情圖像數(shù)據(jù)和使用者視野環(huán)境圖像數(shù)據(jù)，再通過數(shù)據(jù)傳輸器傳輸給數(shù)據(jù)中轉(zhuǎn)站（注：嵌入式微型眼動(dòng)捕捉傳感器收集眼動(dòng)數(shù)據(jù)應(yīng)用的是瞳孔角膜反射技術(shù)）。

3.1.2 其他人體生物信息檢測(cè)設(shè)備

其他人體生物信息檢測(cè)設(shè)備是指在該產(chǎn)品系統(tǒng)的基礎(chǔ)上，衍生出來的收集皮膚電、動(dòng)作檢測(cè)、呼吸以及心率等人體生物信息數(shù)據(jù)的硬件產(chǎn)品，該產(chǎn)品的形式可以是智能手環(huán)等非侵入式的硬件產(chǎn)品，產(chǎn)品的工作邏輯是通過數(shù)據(jù)傳輸器將感應(yīng)器收集的數(shù)據(jù)傳輸給數(shù)據(jù)中轉(zhuǎn)站。

3.1.3 數(shù)據(jù)中轉(zhuǎn)站

數(shù)據(jù)中轉(zhuǎn)站是指專門接收該系統(tǒng)檢測(cè)設(shè)備（包括但不限于穿戴式眼動(dòng)儀）輸出數(shù)據(jù)的終端設(shè)備，該設(shè)備在接受數(shù)據(jù)的同時(shí)，還可以對(duì)數(shù)據(jù)進(jìn)行初步的處理、存儲(chǔ)，并上傳到系統(tǒng)云端。

圖1 基于眼動(dòng)信號(hào)的產(chǎn)品情感設(shè)計(jì)系統(tǒng)流程演示圖

3.1.4 后臺(tái)系統(tǒng)

后臺(tái)系統(tǒng)指對(duì)數(shù)據(jù)進(jìn)行分析的系統(tǒng)，分析者通過后臺(tái)系統(tǒng)下載云端數(shù)據(jù)，設(shè)定對(duì)比算法，對(duì)其進(jìn)行對(duì)比分析，從而形成可視化的分析結(jié)果。

可以針對(duì)不同的實(shí)驗(yàn)?zāi)康暮蛯?shí)驗(yàn)?zāi)繕?biāo)設(shè)定對(duì)比算法，結(jié)合相應(yīng)的圖像數(shù)據(jù)，設(shè)定不同的算法模型，當(dāng)嵌入式微型攝像頭識(shí)別到使用者視野環(huán)境中出現(xiàn)該圖像數(shù)據(jù)時(shí)，將抓取各類人體生理指標(biāo)，通過算法模型對(duì)其進(jìn)行計(jì)算和對(duì)比分析。

其具體的對(duì)比分析方法包括但不限于嵌入式微型眼動(dòng)捕捉傳感器收集的眼動(dòng)數(shù)據(jù)，該數(shù)據(jù)包括眼動(dòng)時(shí)間、注視點(diǎn)軌跡圖、眼跳方向的平均速度、時(shí)間、距離、眨眼和瞳孔大?。娣e或直徑描述，單位象）；將該眼動(dòng)數(shù)據(jù)與使用者視野環(huán)境圖像數(shù)據(jù)進(jìn)行對(duì)比，可以知道用戶對(duì)視野環(huán)境中的目標(biāo)實(shí)驗(yàn)物體的關(guān)注度和其他感受。同理，將面部表情圖像數(shù)據(jù)、其他人體生物信息檢測(cè)設(shè)備測(cè)量的人體生理指標(biāo)與使用者視野環(huán)境圖像數(shù)據(jù)進(jìn)行對(duì)比，可以知道用戶對(duì)視野環(huán)境中的目標(biāo)實(shí)驗(yàn)物體的其他感受。

3.2 該系統(tǒng)在現(xiàn)實(shí)中的應(yīng)用

該系統(tǒng)的類似系統(tǒng)常在觀測(cè)特殊人群中應(yīng)用，用來幫助理解、認(rèn)知以及預(yù)防特殊人群的行為及治療，有學(xué)者通過研究情緒-心智對(duì)比提出了心智理論（ToM）模型，該模型是可以幫助自閉癥患者度過日常生活的系統(tǒng)模型[5]。快消產(chǎn)品的更新迭代速度快，每次產(chǎn)品更新的庫存投資高，通常只能通過銷售數(shù)據(jù)和用戶訪談等方法獲取更新效果的數(shù)據(jù)，數(shù)據(jù)的獲取周期長(zhǎng)且不具有時(shí)效性。品牌方營(yíng)銷人員可以通過該系統(tǒng)在各線下門店賣場(chǎng)分別投放一定數(shù)量的穿戴式眼動(dòng)儀、其他人體生物信息檢測(cè)設(shè)備以及1個(gè)數(shù)據(jù)中轉(zhuǎn)站，引導(dǎo)消費(fèi)者取戴眼動(dòng)儀后再進(jìn)行購物活動(dòng)，結(jié)賬后再歸還眼動(dòng)儀。通過數(shù)據(jù)中轉(zhuǎn)站將消費(fèi)者在購物過程中產(chǎn)生的眼動(dòng)數(shù)據(jù)和人體生理指標(biāo)數(shù)據(jù)上傳云端，由營(yíng)銷人員（分析者）通過后臺(tái)系統(tǒng)設(shè)定新品數(shù)據(jù)（實(shí)驗(yàn)?zāi)繕?biāo)），進(jìn)行對(duì)比分析，得出消費(fèi)者對(duì)新品的用戶情緒數(shù)據(jù)。穿戴式用戶信號(hào)儀如圖2、圖3所示。

圖2 穿戴式用戶信號(hào)儀結(jié)構(gòu)圖

4 結(jié)語

該系統(tǒng)基于對(duì)眼動(dòng)信息的有效采集，收集到賣場(chǎng)目標(biāo)區(qū)域用戶群體的生理數(shù)據(jù)，為研究產(chǎn)品迭代及優(yōu)化提供研究了數(shù)據(jù)基礎(chǔ)。不同的用戶群體可以有相應(yīng)需求的情緒數(shù)據(jù)，當(dāng)該數(shù)據(jù)達(dá)到一定的數(shù)量時(shí)，就可以對(duì)消費(fèi)者行為的大數(shù)據(jù)進(jìn)行分析，從而為產(chǎn)品的更新迭代、庫存的高效周轉(zhuǎn)以及產(chǎn)品的優(yōu)化決策提供充分有效的信息數(shù)據(jù)。

圖3 穿戴式用戶信號(hào)儀三視圖