面向在線學(xué)習(xí)的多模態(tài)情感計算研究

薛耀鋒 楊金朋 郭威 李卓瑋

摘要：隨著計算機網(wǎng)絡(luò)技術(shù)和多媒體技術(shù)的快速發(fā)展，在線學(xué)習(xí)憑借其突破時間和空間限制的優(yōu)勢，越來越受到教育工作者和學(xué)習(xí)者的青睞，但是在線學(xué)習(xí)過程中學(xué)習(xí)者情感交互缺失的弊端也是教育研究中亟待解決的問題。針對此研究困境，在已有情感交互研究的基礎(chǔ)上，結(jié)合情感計算理論，該研究提出了面向在線學(xué)習(xí)的多模態(tài)情感計算模型。該模型包括在線學(xué)習(xí)中學(xué)習(xí)者的情感數(shù)據(jù)收集、情感數(shù)據(jù)處理與分析、情感數(shù)據(jù)可視化以及在線學(xué)習(xí)反饋與干預(yù)等四個模塊?；诖四Ｐ?，研發(fā)了情感計算原型系統(tǒng)，通過記錄和分析在線學(xué)習(xí)者臉部表情、語音和文本等信息，實現(xiàn)在線學(xué)習(xí)過程中的情感測量。在線學(xué)習(xí)實驗中，通過比較和分析情感計算原型系統(tǒng)的測量記錄，驗證了該系統(tǒng)的可行性和有效性。

關(guān)鍵詞：情感計算;在線學(xué)習(xí);情感模型;多模態(tài);學(xué)習(xí)干預(yù)

中圖分類號：G434 文獻標識碼：A

一、引言

隨著信息技術(shù)在教育領(lǐng)域的不斷應(yīng)用，教育模式和教育方法不斷發(fā)生變革。在線學(xué)習(xí)以其獨特的時空優(yōu)勢成為當代眾多學(xué)習(xí)者的選擇。隨著可汗學(xué)院、慕課、網(wǎng)易云課堂等進入大眾視野，在線學(xué)習(xí)平臺如雨后春筍般相繼涌出。但因其缺乏師生與人機之間的情感交互，導(dǎo)致在線學(xué)習(xí)者的情感得不到及時回應(yīng)。很多文獻研究表明，情感計算已成為在線學(xué)習(xí)研究中的重要課題。情感計算在教育中的應(yīng)用可以使用戶更舒適的進行情感交流。

針對在線學(xué)習(xí)過程中，學(xué)習(xí)者情感交互缺失的問題，本研究設(shè)計了面向在線學(xué)習(xí)的多模態(tài)情感計算模型，旨在實時記錄與測量學(xué)習(xí)者的學(xué)習(xí)情感，并根據(jù)對學(xué)習(xí)情感的分析，給予學(xué)習(xí)者恰當?shù)膶W(xué)習(xí)反饋與學(xué)習(xí)干預(yù)，從而提升學(xué)習(xí)者在線學(xué)習(xí)的學(xué)習(xí)效果。該模型在識別學(xué)習(xí)者的臉部表情、眼睛、姿態(tài)、語音和文本等情感信息的基礎(chǔ)上，對學(xué)習(xí)者情感數(shù)據(jù)進行可視化處理，以便在線學(xué)習(xí)者和學(xué)習(xí)平臺教學(xué)管理人員可以實時、直觀地跟蹤學(xué)習(xí)者的情感狀態(tài)，從而為在線學(xué)習(xí)者提供過程性、總結(jié)性學(xué)習(xí)反饋與多種學(xué)習(xí)干預(yù)措施?；诖四Ｐ?，我們開發(fā)了在線學(xué)習(xí)情感計算原型系統(tǒng)。該系統(tǒng)綜合了人臉表情識別、語音識別和文本識別等三種技術(shù)分析在線學(xué)習(xí)者的實時情感狀態(tài)。相較于使用單一識別技術(shù)的情感計算系統(tǒng)，本文所提出的系統(tǒng)具有更好的抗干擾性。

本研究的開展在現(xiàn)有的在線學(xué)習(xí)情感交互研究的基礎(chǔ)上，提出了較為完整的面向在線學(xué)習(xí)的多模態(tài)情感計算模型，將情感計算在在線學(xué)習(xí)中的應(yīng)用過程劃分為學(xué)習(xí)情感測量、學(xué)習(xí)情感分析、情感數(shù)據(jù)可視化和在線學(xué)習(xí)反饋與干預(yù)四個環(huán)節(jié)，并且基于此模型研發(fā)了情感計算原型系統(tǒng)，通過實驗檢驗在線學(xué)習(xí)過程中的情感計算，驗證了該系統(tǒng)的有效性。

二、基于情感計算的在線學(xué)習(xí)系統(tǒng)理論支撐

近年來，情感計算在教育、認知科學(xué)等各大領(lǐng)域逐步受到重視。相關(guān)研究結(jié)果表明，積極的學(xué)習(xí)情感能夠提高學(xué)習(xí)者的創(chuàng)造性水平、記憶以及推理能力等，進而提高在線學(xué)習(xí)者的學(xué)習(xí)效率。為了進一步研究人類情感的識別問題，國內(nèi)外學(xué)者提出了多種情感建模方法，并基于認知生理學(xué)以及腦科學(xué)等多領(lǐng)域研究奠定情感計算的理論基礎(chǔ)。

（一）情感模型

情感模型的建立可以使我們更容易理解情感產(chǎn)生的機制。目前國內(nèi)外已有多種典型的情感模型，比如Picard等提出的隱馬爾科夫模型、Onony等提出的OCC（Onony，Clore，Collins）模型、Roseman等提出的基于事件評價的情感模型、Plutchik提出的情感三維模式、魏哲華等基于人工心理學(xué)提出的狀態(tài)空間情感模型、王巍等基于隱馬爾可夫模型的改進模型以及Russell等提出的環(huán)形情感模型等。Pieard等提出的隱馬爾科夫情感模型，其核心思想是人在任何時刻都會有一種情感狀態(tài)，在不同時刻的情感狀態(tài)能夠以一定的概率進行轉(zhuǎn)換。由于隱馬爾科夫模型可能會因為情境變化而有所不同，所以不同情感狀態(tài)的轉(zhuǎn)變概率也會因為情境、主體和客體等的不同而發(fā)生改變。學(xué)習(xí)情感是特定情境下的一類情感狀態(tài)集，其變化狀態(tài)符合Picard的情感原型。本文以Picard的隱馬爾科夫情感模型為基礎(chǔ)，結(jié)合對學(xué)習(xí)情感特點的分析，提出了學(xué)習(xí)情感的隱馬爾科夫模型（如圖1所示）。伴隨著學(xué)習(xí)過程的進行，不同學(xué)習(xí)情感狀態(tài)以一定的概率進行轉(zhuǎn)變，概率值會因?qū)W習(xí)情境、外界刺激和主體內(nèi)部控制等多種因素發(fā)生變化。

（二）情感類別

學(xué)習(xí)情感是特定情境下的情感集合，實現(xiàn)在線學(xué)習(xí)情感計算的研究，首先要明確研究的情感類別及其特征描述。在情感研究中，不同的學(xué)者提出了很多情感類型，其中包括最常見的四種基本情感：害怕、生氣、悲傷和開心和Ekman等提出的6中基本情感：高興、驚訝、厭煩、悲傷、恐懼和憤怒，以及Plutchik提出的8種基本情感：害怕、生氣、悲傷、開心、厭惡、信任、預(yù)期和驚訝。在學(xué)習(xí)情感研究中，北京師范大學(xué)孫波教授團隊提出了7種基本學(xué)習(xí)情感類型：高興、驚訝、厭煩、困惑、疲勞、專注及自信。本文在前者研究的基礎(chǔ)上，結(jié)合對在線學(xué)習(xí)者的情感狀態(tài)特征分析，以Plutehik和Ekman的情感理論為基礎(chǔ)，將基本學(xué)習(xí)情感分為6類，分別是：高興、驚奇、中性、生氣、疲勞和困惑。

（三）情感識別

美國麻省理工學(xué)院的Picard教授提出，情感計算的流程一般包括情感數(shù)據(jù)獲取、情感特征提取、情感特征分類以及情感識別四大部分。單一情感識別方法一般包括基于人臉表情、或語音語調(diào)、或文本信息、或肢體行為或生理信號識別。人臉表情多是基于人的面部動作進行識別;語音主要通過對人的音質(zhì)、韻律等聲音特征的提取以及分析上下語義等識別;文本識別主要通過關(guān)鍵詞模糊匹配、詞匯關(guān)聯(lián)以及語義理解等技術(shù)實現(xiàn);人的肢體行為（托下巴、擦眼、撓頭、身體前傾等）可以作為肢體情感識別的關(guān)鍵特征。

（四）神經(jīng)生理學(xué)

情感識別的關(guān)鍵是找出人們的情感和生理狀態(tài)之間的聯(lián)系。人類情感由大腦的情感中樞控制，當情感產(chǎn)生與變化時，機體的腦垂體、腎上腺以及甲狀腺會分泌特定的激素，同時與情感相關(guān)的神經(jīng)化學(xué)物質(zhì)也會發(fā)生相應(yīng)的變化。機體產(chǎn)生的情感生理信號相較于人類外顯的情感行為，基本不受人主觀因素的影響，因而能夠更精確、客觀的反映人類真實的情感。

隨著可穿戴設(shè)備在學(xué)習(xí)、生活中的逐步應(yīng)用，在線學(xué)習(xí)者的生理信號獲取成為可能。通過提取、分析生理信號特征，能夠識別多種情感。

三、基于多模態(tài)情感計算的在線學(xué)習(xí)模型

將情感計算嵌入到在線學(xué)習(xí)系統(tǒng)中，可以在一定程度上提高在線學(xué)習(xí)者的學(xué)習(xí)效率。本文從在線學(xué)習(xí)者角度出發(fā)，結(jié)合情感數(shù)據(jù)的采集、處理、分析與可視化，設(shè)計了如下頁圖2所示的面向在線學(xué)習(xí)的多模態(tài)情感計算研究模型。該模型強調(diào)學(xué)習(xí)情感變化路徑對于學(xué)習(xí)干預(yù)的重要性，認為學(xué)習(xí)干預(yù)的存在形式應(yīng)多種多樣，以適應(yīng)在線學(xué)習(xí)者的不同學(xué)習(xí)風(fēng)格。

面向在線學(xué)習(xí)的多模態(tài)情感計算研究模型包括以下幾個模塊：

1.情感數(shù)據(jù)收集模塊：在線學(xué)習(xí)過程中，學(xué)習(xí)者的學(xué)習(xí)情感可以通過多種方式反映出來。傳統(tǒng)課堂教學(xué)中，教師可以通過學(xué)習(xí)者的面部表情、眼神交流、說話的音量音調(diào)、講話內(nèi)容以及身體姿態(tài)來確定學(xué)習(xí)者實時的情感狀態(tài)。在當代技術(shù)和軟硬件設(shè)備的支持下，能夠收集在線學(xué)習(xí)者全方位的情感數(shù)據(jù)：深度攝像頭技術(shù)不僅能夠識別流媒體的彩色和灰度信息，還可以獲得其深度數(shù)據(jù)，從而方便地采集到在線學(xué)習(xí)者的身體姿態(tài)和面部表情數(shù)據(jù)。人在一定的條件下，會做很多無意識的活動，而在進行在線學(xué)習(xí)時，頭部和手臂動作在一定程度上也能反映當前學(xué)習(xí)者的情感狀態(tài);眼神狀態(tài)主要是通過眼動儀等設(shè)備進行采集，采集的數(shù)據(jù)包括在線學(xué)習(xí)者的眼睛焦點等;通過學(xué)習(xí)終端自帶的錄音設(shè)備能夠采集在線學(xué)習(xí)者的語音數(shù)據(jù);在線學(xué)習(xí)者的文本輸入內(nèi)容，既可以通過在線學(xué)習(xí)系統(tǒng)后臺實時監(jiān)測、記錄下每個學(xué)生的活動軌跡及文本信息，也可以通過爬蟲等技術(shù)獲取。而比較容易被忽略的是在線學(xué)習(xí)者的生理情感數(shù)據(jù)，一般來說當人處于愉悅、悲傷或其它情感時，心率等生理信號就會發(fā)生一定的變化，而基于可穿戴設(shè)備能夠?qū)@些數(shù)據(jù)進行實時的收集。近幾年來，可穿戴設(shè)備的快速發(fā)展，也為基于生理信號的情感計算提供可能。

2.情感數(shù)據(jù)處理與分析模塊：根據(jù)情感數(shù)據(jù)的來源，綜合多種途徑對在線學(xué)習(xí)者情感數(shù)據(jù)進行分析與處理。目前在線課程學(xué)習(xí)者的情感識別大多是采用單一識別技術(shù)，其識別精度存在提高空間。為了能夠更準確地識別在線學(xué)習(xí)者的情感類型，本文提出了基于多情感識別技術(shù)的情感類型識別方法，即綜合人的面部表情、眼部狀態(tài)、人體姿態(tài)、語言和文本等多種情感特征識別在線學(xué)習(xí)者情感類型。

3.學(xué)習(xí)情感數(shù)據(jù)可視化模塊：情感數(shù)據(jù)可視化模塊可以幫助學(xué)習(xí)者、教師及相關(guān)教育人員更直觀地了解學(xué)習(xí)者的學(xué)習(xí)情感狀態(tài)?；趩蝹€學(xué)習(xí)者某時間學(xué)習(xí)情感數(shù)據(jù)的可視化圖像，可以直觀地觀察該學(xué)習(xí)者在該時間段每個節(jié)點的學(xué)習(xí)狀態(tài)以及整體的情感變化狀態(tài)，從而了解其學(xué)習(xí)困難點與整體學(xué)習(xí)效果，提供個性化服務(wù)支持;基于多個學(xué)習(xí)者學(xué)習(xí)同一資源的情感數(shù)據(jù)可視化圖像，可以直觀了解該學(xué)習(xí)團體的情感認知變化，從而在對學(xué)習(xí)資源的教學(xué)實用性進行分析與評價的基礎(chǔ)上，調(diào)整教學(xué)策略以適應(yīng)學(xué)習(xí)者整體認知狀態(tài)。

4.學(xué)習(xí)反饋與干預(yù)模塊：學(xué)習(xí)干預(yù)是將情感計算嵌入到在線學(xué)習(xí)系統(tǒng)的最終目的。很多文獻中都采用情感助手（情緒助手1的形式實現(xiàn)在線學(xué)習(xí)中的人機交互，情感助手存在的形式多種多樣，比如以文本對話框、虛擬人物表情變化等形式出現(xiàn)，增強學(xué)習(xí)者學(xué)習(xí)情感交互體驗。本文根據(jù)干預(yù)出現(xiàn)的時間，將學(xué)習(xí)干預(yù)分為過程性干預(yù)和總結(jié)性干預(yù)。過程性干預(yù)是根據(jù)學(xué)習(xí)情感變化路徑，在學(xué)習(xí)過程中實施的干預(yù)。理論上來說，每條學(xué)習(xí)情感路徑，都應(yīng)該有相對應(yīng)的學(xué)習(xí)干預(yù)策略。但鑒于實際的可操作性，可以將基于多種學(xué)習(xí)路徑的學(xué)習(xí)情感分為三種：積極情感、消極情感和中性情感。根據(jù)不同學(xué)習(xí)情感實施相應(yīng)的學(xué)習(xí)干預(yù)，比如積極學(xué)習(xí)情感給予獎賞或不作為、消極情感給予鼓勵，而對長時間處于消極情緒的學(xué)習(xí)者中斷其原有學(xué)習(xí)路徑并給予補償性（替代性）學(xué)習(xí)資源?？偨Y(jié)性干預(yù)是在階段性學(xué)習(xí)結(jié)束后進行的干預(yù)，它主要是通過兩種方式實現(xiàn)：一是對教學(xué)資源、教學(xué)策略等的更替，來適應(yīng)學(xué)習(xí)者之后的學(xué)習(xí);二是對學(xué)習(xí)者進行生理、心理上的教育，它既可以來自虛擬教師，也可以來自現(xiàn)實中的教師、家長和學(xué)習(xí)同伴。無論是過程性干預(yù)還是總結(jié)性干預(yù)，干預(yù)形式都不是一層不變的，它們既可以是文本框和虛擬人物的提示信息，也可以是現(xiàn)實世界的分享交流。

四、原型系統(tǒng)設(shè)計與開發(fā)

為了驗證本文所提出的模型的可行性，我們設(shè)計和開發(fā)了面向在線學(xué)習(xí)的多模態(tài)情感計算原型系統(tǒng)。該原型系統(tǒng)綜合了人臉面部表情識別、在線語音情感識別、文本情感識別三種方式對在線學(xué)習(xí)者6種基本情感進行了研究分析。除了學(xué)生登陸等基本模塊外此原型系統(tǒng)包含四個模塊：在線學(xué)習(xí)者數(shù)據(jù)采集模塊、情感識別模塊、情感數(shù)據(jù)可視化模塊和輔助學(xué)習(xí)反饋/干預(yù)模塊。原型系統(tǒng)的結(jié)構(gòu)框架如圖3所示。

1.在線學(xué)習(xí)者數(shù)據(jù)采集模塊：該模塊主要實現(xiàn)了對在線學(xué)習(xí)者的情感數(shù)據(jù)采集功能。此模塊借助深度攝像頭、語音輸入輸出設(shè)備等捕捉在線學(xué)習(xí)者的臉部表情和語音信息，基于爬蟲技術(shù)采集在線學(xué)習(xí)者在平臺發(fā)布的文本信息。

2.情感識別模塊：原型系統(tǒng)的人臉表情識別是基于深度攝像頭獲取人臉面部運動單元，從而提取情感特征并進行隋感分類;文本情感分析是通過在線文本與情感詞匯庫模糊匹配技術(shù)實現(xiàn);語音情感是基于在線學(xué)習(xí)者發(fā)表的語音內(nèi)容等進行識別。基于文本、語音及人臉表情情感識別結(jié)果，計算在線學(xué)習(xí)者最終情感。

3.情感數(shù)據(jù)可視化模塊：數(shù)據(jù)可視化能夠更直觀的反映在線學(xué)習(xí)者的情感變化狀態(tài)。圖4是一位在線學(xué)習(xí)者的情感數(shù)據(jù)可視化顯示圖。由圖4可以看出，除中性情感狀態(tài)外，該學(xué)習(xí)者的大部分時間的情感狀態(tài)。雖然存在短時間的學(xué)習(xí)疲勞期和困惑期，但總體而言，該學(xué)習(xí)者在進行在線學(xué)習(xí)時，情感狀態(tài)良好。

4.輔助學(xué)習(xí)反饋/干預(yù)模塊：反饋與干預(yù)是面向在線學(xué)習(xí)的多模態(tài)情感計算系統(tǒng)最重要的部分。理想的輔助學(xué)習(xí)反饋/干預(yù)模塊應(yīng)該針對不同學(xué)習(xí)風(fēng)格的在線學(xué)習(xí)者提供個性化的學(xué)習(xí)支持服務(wù)。鑒于系統(tǒng)開發(fā)等方面的因素，本文設(shè)計了兩種學(xué)習(xí)反饋/干預(yù)形式：第一種是在階段性學(xué)習(xí)過程中進行干預(yù)，根據(jù)每個在線學(xué)習(xí)者的實時學(xué)習(xí)情感可視化分析，提供含有文本和圖片因子的個性化提醒服務(wù);第二種是在階段性學(xué)習(xí)過程結(jié)束后，針對在線學(xué)習(xí)者的學(xué)習(xí)情感狀態(tài)分析，在線學(xué)習(xí)平臺智能推送補償性學(xué)習(xí)資源與測試服務(wù)。

最后，為了分析該原型系統(tǒng)的可行性和有效性，我們借助知名慕課平臺的在線學(xué)習(xí)課程開展了實驗研究。實驗過程中，34名志愿者參與了測試，測試人次為643，實驗人員對志愿者進行情感觀察和記錄，同時使用多模態(tài)情感計算原型系統(tǒng)捕捉、記錄、分析被試的學(xué)習(xí)情感。學(xué)習(xí)結(jié)束后，實驗員和多模態(tài)情感計算原型系統(tǒng)分別同步采集到242022條情感記錄。圖4所示是多模態(tài)情感計算原型系統(tǒng)記錄的一位被試人員的學(xué)習(xí)情感數(shù)據(jù)隨時間變化的可視化折線圖。在對其中21名志愿者，測試人次為630的測試記錄結(jié)果進行分析，對比實驗人員的觀察記錄，原型系統(tǒng)的平均識別正確率接近84.33%，如下頁圖5所示。其中高興和驚奇等積極學(xué)習(xí)情感正確率較高，疲勞、困惑等消極學(xué)習(xí)情感識別率相對較低。我們分析可能的原因是，積極情感外顯的表現(xiàn)比較明顯，而消極情感表現(xiàn)形式往往各有不同且變化幅度較小。

五、總結(jié)與展望

目前基于情感計算的在線學(xué)習(xí)系統(tǒng)開發(fā)較其理論研究相對比較匱乏，而將理論轉(zhuǎn)化為實踐是發(fā)揮其價值至關(guān)重要的一步。本文在大量文獻研究的基礎(chǔ)上，設(shè)計了基于隋感計算的在線學(xué)習(xí)系統(tǒng)模型，并在此基礎(chǔ)上開發(fā)了其原型系統(tǒng)，并通過實際測試分析了系統(tǒng)的可行性和有效性，為之后在線學(xué)習(xí)和情感計算的研究人員提供參考。但是，本研究仍然存在一定的不足和需要完善的地方。本研究提出的基于情感計算的在線學(xué)習(xí)系統(tǒng)模型描述了情感計算在在線學(xué)習(xí)中應(yīng)用的完整過程，包括情感測量、情感分析、情感數(shù)據(jù)可視化和學(xué)習(xí)干預(yù)。在實驗過程中所研發(fā)的多模態(tài)情感計算原型系統(tǒng)已初步具備情感測量、情感分析和情感數(shù)據(jù)可視化的功能，但是在語音情感識別、文本情感識別、學(xué)習(xí)干預(yù)等模塊和環(huán)節(jié)，尚需進一步與在線學(xué)習(xí)平臺進行整合，從而構(gòu)建完整的基于情感計算的在線學(xué)習(xí)系統(tǒng)。本研究將針對目前存在的不足之處，繼續(xù)開展相關(guān)研究工作。隨著在線學(xué)習(xí)平臺的廣泛應(yīng)用和教育大數(shù)據(jù)應(yīng)用技術(shù)的不斷發(fā)展，在線學(xué)習(xí)者的學(xué)習(xí)情感將會被更準確地識別和追蹤?；谇楦杏嬎愕脑诰€學(xué)習(xí)平臺將為學(xué)習(xí)者提供更加個性化、全方位的學(xué)習(xí)服務(wù)，實現(xiàn)智慧教育的理想目標。

收稿日期：2017年6月2日

責(zé)任編輯：趙云建