基于情感識(shí)別的用戶行為研究
——以郵輪空間的信息傳播為例①

席 濤（上海交通大學(xué) 媒體與傳播學(xué)院，上海 200240）

余非石（上海交通大學(xué) 媒體與傳播學(xué)院，上海 200240）

岳鴻雁（上海交通大學(xué) 上海交大-南加州大學(xué)文化創(chuàng)意產(chǎn)業(yè)學(xué)院，上海 200240）

一、緣起

人工智能技術(shù)的發(fā)展，驅(qū)動(dòng)創(chuàng)新設(shè)計(jì)；同時(shí)，對(duì)用戶空間信息傳播方法的有效性提出了挑戰(zhàn)。公共空間信息爆炸、商業(yè)行為模糊、文化傳播遲緩及伴隨高密度經(jīng)濟(jì)體帶來的服務(wù)問題，亟須建設(shè)優(yōu)化公共信息服務(wù)的智能傳播系統(tǒng)。測(cè)量用戶的情感信息，獲得有效準(zhǔn)確的情感反應(yīng)指標(biāo)，將對(duì)信息交互傳播本體方法論研究起到指導(dǎo)性作用。本文以大型郵輪空間的游客信息交互傳播和信息設(shè)計(jì)為例，論述情感識(shí)別在用戶信息交互設(shè)計(jì)中的重要性及情感識(shí)別研究的路徑和方法。

現(xiàn)代城市建設(shè)發(fā)展趨于飽和狀態(tài)，面臨資源枯竭的城市文化和旅游業(yè)亟須轉(zhuǎn)型。隨著郵輪旅游成為人類向往的度假方式，大型郵輪成為“海上移動(dòng)城鎮(zhèn)”。郵輪的空間局限性很大，因此需要考慮在有限的特殊空間，調(diào)整游客情緒，并有效傳播信息。在航行過程中，游客情感、心態(tài)及信息訴求都不斷變化，使得在郵輪這一特殊空間中人們獲取信息的方式更加依賴公共空間體驗(yàn)、認(rèn)知的方式更表現(xiàn)為情感反應(yīng)、信息呈現(xiàn)的方式強(qiáng)調(diào)約束性、系統(tǒng)性。在郵輪空間封閉的傳播環(huán)境內(nèi)，有三種典型的信息傳播方式，一是公共空間內(nèi)信息交互多媒體，二是每日通訊和閉路電視，三是人際傳播，三種信息傳播方式共同作用于游客。在郵輪旅游研究中，基于用戶研究的公共空間的復(fù)雜信息傳播關(guān)系還沒有確立。對(duì)郵輪公共空間的用戶行為和情感識(shí)別進(jìn)行探討，可以對(duì)大型空間的信息交互設(shè)計(jì)傳播提供有效的研究路徑參考。

二、情感識(shí)別是什么

人與空間復(fù)雜性關(guān)系問題，包括復(fù)雜的情感問題，也是信息傳播研究的核心問題之一。情感是人對(duì)客觀事物是否滿足自己的需要而產(chǎn)生的態(tài)度體驗(yàn)（《心理學(xué)大詞典》）。包括道德感和價(jià)值感兩個(gè)方面，具體表現(xiàn)為愛情、幸福、仇恨、厭惡、美感等。情感在用戶的溝通和決策中起著重要作用。

情感識(shí)別，也稱為情感計(jì)算。從生理學(xué)實(shí)驗(yàn)研究角度，主要是對(duì)心率、腦電、肌電、心電、皮電及自主神經(jīng)系統(tǒng)等生理信號(hào)與用戶情感表現(xiàn)的相關(guān)性研究。通過傳感檢測(cè)系統(tǒng)采集人的情感所引起的表情、語氣和生理反應(yīng)等信號(hào)，加以識(shí)別和分析。情感識(shí)別的客觀本質(zhì)和動(dòng)機(jī)是用戶為了解和掌握對(duì)方的價(jià)值關(guān)系，因此具有哲學(xué)本質(zhì)，涉及事物本質(zhì)和定義。情感是基于知覺、信念、欲望，以及個(gè)人情況的；情感的合理性也轉(zhuǎn)移到了貫穿哲學(xué)的情感和倫理問題的中心，情緒的理性可以與體驗(yàn)性、清晰的活動(dòng)評(píng)價(jià)相比較。

國(guó)際標(biāo)準(zhǔn)化組織（ISO9241-210，2008）對(duì)用戶體驗(yàn)的定義是“個(gè)體使用或期望使用某產(chǎn)品、系統(tǒng)和服務(wù)的感受，包括用戶使用前、使用中和使用后的情感、信仰、偏好、感受、生理和心理的反應(yīng)、行為和成就?！庇脩趔w驗(yàn)受三種因素影響，一是人的需求，二是交互的情感因素，三是體驗(yàn)的本質(zhì)。本研究根據(jù)用戶研究的這一經(jīng)典研究范式，將對(duì)用戶行為的情感識(shí)別分為三個(gè)過程加以考察，如使用前的旅游動(dòng)機(jī)理解，旅游需求了解，使用中的生理信號(hào)識(shí)別、心理測(cè)試反映以及使用后的滿意度調(diào)查，從情感的需求、情感的生理信號(hào)識(shí)別和情感的心理反應(yīng)測(cè)試三方面探討用戶研究中情感識(shí)別的方法與路徑。

從情感的需求角度，現(xiàn)有研究從經(jīng)驗(yàn)上證實(shí)了游客情緒在決定其行為意圖方面的重要性，總結(jié)如表1。郵輪游客研究中的情感形成理論，表明多篇研究論文都承認(rèn)情感的多維性，但對(duì)游客行為的理論模型中具體情感的研究很有限。游客情感是多維度的，情緒的維度是“快樂、愛和積極的驚喜”。根據(jù)對(duì)游客感性語義的采集，游客感受到“有序的”認(rèn)知時(shí)，呈現(xiàn)“快樂”的情感維度，其次是安全性認(rèn)知，呈現(xiàn)正驚喜情感維度。將情感測(cè)量指標(biāo)從結(jié)構(gòu)類型、測(cè)量指標(biāo)兩個(gè)方面加以分析測(cè)試，見表2。本研究在此基礎(chǔ)上設(shè)計(jì)了用戶感性分析對(duì)情緒測(cè)量的方法以及用戶情緒和生理反應(yīng)的感性量表，如圖1、圖2。

圖1 用戶感性分析對(duì)情緒測(cè)量（席濤、徐一帆繪）

圖2 用戶情緒和生理反應(yīng)的感性量表（席濤、徐一帆繪）

表1 游客基本動(dòng)機(jī)和示范應(yīng)用[4]

表2 情感測(cè)量指標(biāo)[5]

三、基于生理信號(hào)的情感識(shí)別

生理信號(hào)識(shí)別技術(shù)可以應(yīng)用于情感識(shí)別。許多用來描述情緒的隱喻都涉及身體狀態(tài)。這些隱喻大多特別涉及一般生理過程。心理現(xiàn)象的直覺往往是不精確的，但心理生理學(xué)已經(jīng)證明，以自主（即內(nèi)臟）和軀體（如運(yùn)動(dòng)、表達(dá)）形式出現(xiàn)的外周過程確實(shí)與情緒過程有關(guān)。通過傳感檢測(cè)系統(tǒng)采集人的情感所引起的表情、語氣和生理反應(yīng)等信號(hào)，加以識(shí)別和分析。如圖3所示。

圖3 郵輪游客意念測(cè)試的過程圖

在測(cè)量過程中，用于情感識(shí)別的生理信號(hào)采集技術(shù)主要有：腦電（EEG）、多導(dǎo)儀皮電活動(dòng)（SC/GSR）、面部肌電（EMG）、心電圖（ECG）等，系統(tǒng)準(zhǔn)確性、識(shí)別情緒數(shù)量和移動(dòng)性各不相同。本研究根據(jù)不同項(xiàng)目，整理了其對(duì)應(yīng)功能和情感識(shí)別測(cè)試的方法，如表3所示。

表3 郵輪公共空間的信息設(shè)計(jì)與情感識(shí)別功能區(qū)分表(自繪)

在情感的生理信號(hào)識(shí)別中，腦電圖中的情感識(shí)別研究引起了從心理學(xué)到工程學(xué)等眾多跨學(xué)科領(lǐng)域的廣泛關(guān)注，其中包括情感理論基礎(chǔ)研究和情感腦機(jī)交互affective Brain-Computer Interaction（aBCI）的應(yīng)用，這一研究增強(qiáng)了腦電圖中的情緒識(shí)別能力。BCI系統(tǒng)能夠使用生理信號(hào)檢測(cè)、處理和響應(yīng)提取游客的情感狀態(tài)，獲得影響情緒的設(shè)計(jì)素材。腦電具有混沌和非平穩(wěn)的動(dòng)力學(xué)特性，這表明非線性分析可以更系統(tǒng)地描述這種復(fù)雜的生物信號(hào)。腦電的相空間包含了有關(guān)腦電動(dòng)力學(xué)和轉(zhuǎn)變的可靠信息，其流程如圖4所示。

圖4 腦電信號(hào)的情緒識(shí)別基本流程[8]

日本2010年的一項(xiàng)關(guān)于情緒識(shí)別測(cè)量生理數(shù)據(jù)（心電圖（ECG）、心率變異性（HRV）、腦電圖（EEG）、面部識(shí)別（FR）、前額生物信號(hào)（FBS）、語音識(shí)別（SR）、皮膚電活動(dòng)（EDA）、皮膚溫度（SKT）、血容量脈沖（BVP）、呼吸（RSP）的研究，為交互設(shè)計(jì)提供了快速客觀指導(dǎo)意見和評(píng)價(jià)，如表4、表5所示。其中腦電圖的情緒識(shí)別能力強(qiáng)，使用生理信號(hào)檢測(cè)、處理和響應(yīng)用戶的情感狀態(tài)準(zhǔn)確度較高，將腦電結(jié)合皮膚電活性測(cè)試準(zhǔn)確度達(dá)到89%。通過人工神經(jīng)網(wǎng)絡(luò)方法獲得喚醒效價(jià)的數(shù)據(jù)分析，準(zhǔn)確度達(dá)到89.73%喚醒63.76%效價(jià)，游客的情緒變化與生理體溫成正相關(guān)性；皮膚電活性對(duì)信息圖形的認(rèn)知較為明顯；比較適合在實(shí)驗(yàn)室完成測(cè)試，可以結(jié)合實(shí)地測(cè)試獲得更精確數(shù)據(jù)。

表4 情緒測(cè)量在郵輪旅游的最新代表性研究[10]

表5 游客情緒識(shí)別測(cè)量生理數(shù)據(jù)分析

四、基于心理反應(yīng)測(cè)試的情感識(shí)別

除生理測(cè)試外，還可通過優(yōu)先測(cè)驗(yàn)、判斷和處理游客情緒信息，通過游客自我報(bào)告獲得實(shí)時(shí)信息。常見的方法包括運(yùn)用李克特心理量表，目的地情感量表，運(yùn)用語義差異法過濾感性語義詞匯，最后，應(yīng)用多維標(biāo)度分析法獲得情感識(shí)別特征。此外如游客情感狀態(tài)的PAD測(cè)量以及日內(nèi)瓦情感輪GEW測(cè)量也較常用，本節(jié)以日內(nèi)瓦情感輪GEW測(cè)量為例闡述情感識(shí)別的心理反應(yīng)測(cè)試過程。

日內(nèi)瓦情感輪GEW對(duì)游客情緒測(cè)定是基于潛在維度視覺識(shí)別，從多維度更加準(zhǔn)確描述游客的情緒曲線。GEW的設(shè)計(jì)有自由響應(yīng)格式、離散的情緒響應(yīng)元素、格式和情感的維度方法。自由響應(yīng)格式反映在回答選項(xiàng)“其他情緒”，并給被試者很大的自由表達(dá)空間。純自由響應(yīng)格式可能對(duì)實(shí)驗(yàn)不利，因?yàn)榭赡艽嬖诒辉囌哂米约旱恼Z言表達(dá)自己的方式和差異。離散的情緒反映在GEW周圍的情緒術(shù)語中，如圖5所示。

圖5 術(shù)語配價(jià)和控制等級(jí)散點(diǎn)圖

與其他離散的情緒反應(yīng)形式一樣，被試者在與情緒強(qiáng)度相對(duì)應(yīng)的尺度上表示他們對(duì)有限數(shù)量的離散情緒（如憤怒、幸福）的感受。這種格式很容易使用，因?yàn)殡x散的情緒術(shù)語對(duì)應(yīng)于討論情緒的自然方式，結(jié)果也很容易解釋，如圖6所示。例如讓被試者對(duì)一款情緒游戲產(chǎn)品進(jìn)行3分鐘左右體驗(yàn)，之后對(duì)體驗(yàn)進(jìn)行自我評(píng)價(jià)，并填寫問卷。游客的評(píng)價(jià)會(huì)幫助設(shè)計(jì)師驗(yàn)證一款用戶體驗(yàn)評(píng)價(jià)工具的可行性，從而幫助研究者改善工具設(shè)計(jì)。如圖7所示。

圖6 日內(nèi)瓦情感輪

圖7 情感輪雷達(dá)分析圖（自繪）

日內(nèi)瓦情感輪GEW的20個(gè)情感術(shù)語排列，構(gòu)成情緒的基本結(jié)構(gòu)（通過網(wǎng)站http://www.affective-sciences.org/researchmaterial，2012年3月）。當(dāng)使用GEW作為測(cè)量?jī)x器時(shí)，不可見的化合價(jià)和控制尺寸用黑線表示。40個(gè)GEW情緒術(shù)語的配價(jià)和控制等級(jí)的散點(diǎn)圖，如圖8所示。例如將GEW情感輪理論運(yùn)用在大型郵輪皇家加勒比量子號(hào)的智能信息平臺(tái)APP的情感圖形設(shè)計(jì)上，開發(fā)一個(gè)定制的服務(wù)器端，配置10個(gè)情感術(shù)語將游客拍攝的照片進(jìn)行情感識(shí)別與分析，如圖9所示，軟件能自動(dòng)識(shí)別配置出適合情景的音樂，編輯成電子音樂相冊(cè)，供游客紀(jì)念和收藏。這是一個(gè)人工智能驅(qū)動(dòng)的體驗(yàn)，設(shè)計(jì)、開發(fā)的軟件根據(jù)個(gè)人喜好為圖像分配音樂，用機(jī)器學(xué)習(xí)算法生成的圖像與音樂合成，分析音樂，并用google cloud vision評(píng)估所有圖片。然后將這些圖像的內(nèi)容、原始像素和提取的音樂特征信息輸入到機(jī)器學(xué)習(xí)模型中學(xué)習(xí)。在整體情緒和內(nèi)容方面相匹配；分析游客假期中的情緒反應(yīng)，創(chuàng)建可共享視頻，設(shè)置為自定義的配樂。音樂理論、圖像創(chuàng)作、機(jī)器學(xué)習(xí)、動(dòng)畫和信息與交互設(shè)計(jì)一起合成工作，創(chuàng)造出一個(gè)完全模塊化的系統(tǒng)。通過該實(shí)驗(yàn)，發(fā)現(xiàn)影響用戶情緒反應(yīng)的因素主要為內(nèi)容質(zhì)量、交互體驗(yàn)和視覺傳播設(shè)計(jì)。

圖8 郵輪游客悲傷情感識(shí)別:功能區(qū)劃分及情感圖形設(shè)計(jì)（自繪）

圖9 情感輪理論在皇家加勒比量子號(hào)郵輪的APP應(yīng)用②圖片來源：皇家加勒比郵輪官網(wǎng)https://www.royalcaribbeanpresscenter.com/video/1042/mariner-of-the-seas-aerials-b-roll/

結(jié)語

以上我們總結(jié)了基于情感識(shí)別的用戶行為研究，主要可總結(jié)如下：

（1）情感哲學(xué)理論論證了情感是難以控制的情緒，科學(xué)理性應(yīng)該與情感統(tǒng)一。通過游客行為動(dòng)機(jī)的研究表明，用戶行為的滿意度對(duì)情緒反應(yīng)具有強(qiáng)烈影響；用戶情感是多維度的，“有序的”的認(rèn)知呈現(xiàn)“快樂”的情感維度；

（2）在大型郵輪以及空間的交互設(shè)計(jì)中，用戶生理信號(hào)情感識(shí)別的測(cè)試實(shí)驗(yàn)選擇，獲得腦電圖的情緒識(shí)別能力強(qiáng)，使用生理信號(hào)檢測(cè)、處理和響應(yīng)用戶的情感狀態(tài)準(zhǔn)確度較高；

（3）在信息傳播過程中，內(nèi)容質(zhì)量、交互體驗(yàn)和視覺效果都會(huì)影響用戶的情感，其中內(nèi)容質(zhì)量和交互體驗(yàn)會(huì)影響用戶對(duì)產(chǎn)品的可用性感知，進(jìn)而影響情感?？蛇\(yùn)用多種情感測(cè)試工具探測(cè)用戶情感變化，為交互設(shè)計(jì)作出動(dòng)態(tài)參考。