面向在線學(xué)習(xí)的情感計(jì)算研究

張佳慧

摘 要：近年來，在線學(xué)習(xí)作為一種學(xué)習(xí)系統(tǒng)非常流行。但是目前的在線學(xué)習(xí)系統(tǒng)不能有效地指導(dǎo)學(xué)生，因?yàn)樗麄儧]有在教學(xué)的語境中考慮情感狀態(tài)。情感計(jì)算理論的出現(xiàn)可以解決這個(gè)問題，并逐漸涉及至普通教學(xué)領(lǐng)域中，它可以使計(jì)算機(jī)的智能不再是純粹的認(rèn)知智能。本文通過闡述了情感計(jì)算的理論基礎(chǔ)以及目前國內(nèi)外在在線學(xué)習(xí)方面的情感計(jì)算的研究現(xiàn)狀，幫助了解在在線學(xué)習(xí)領(lǐng)域的的情感計(jì)算的情況，從而可以為今后的研究提供理論性基礎(chǔ)。

關(guān)鍵詞：情感計(jì)算；在線學(xué)習(xí)；人臉識(shí)別；多模態(tài)

隨著當(dāng)代信息技術(shù)的不斷發(fā)展與應(yīng)用，教育模式正發(fā)生著不斷的改變，在線學(xué)習(xí)就憑借著它不受時(shí)間、空間約束的的獨(dú)特優(yōu)勢(shì)成為當(dāng)代學(xué)習(xí)者的選擇[1]。隨著慕課、網(wǎng)易公開課、可汗學(xué)院等新型在線學(xué)習(xí)教育方式涌入人們的視線中，在線學(xué)習(xí)的各類網(wǎng)絡(luò)平臺(tái)就噴涌而出。但是由于在在線學(xué)習(xí)中，學(xué)習(xí)者主要通過與計(jì)算機(jī)網(wǎng)絡(luò)進(jìn)行情感交互，從而導(dǎo)致學(xué)習(xí)者無法及時(shí)獲得反饋，從而出現(xiàn)了許多情感缺失等問題[2][3]，情感計(jì)算技術(shù)應(yīng)運(yùn)而生。因此，在當(dāng)代的許多文獻(xiàn)中，情感計(jì)算已經(jīng)成為了一個(gè)極其重要的課題[4][5]。

一、情感計(jì)算理論支撐

近年來，情感計(jì)算的研究在不同領(lǐng)域都受到極大的重視。為了進(jìn)行進(jìn)一步的研究人類感情的識(shí)別的問題，國內(nèi)外的研究學(xué)者們提出了各類情感建模的方式[6]，并基于神經(jīng)科學(xué)、社會(huì)心理學(xué)等領(lǐng)域的研究，奠定了在線學(xué)習(xí)下的情感計(jì)算的理論基礎(chǔ)。

情感計(jì)算的步驟一般包括以下四個(gè)部分，即情感數(shù)據(jù)采集、情感特征提取、情感特征分類和情感識(shí)別（美國麻神理工學(xué)院，Picard）[7]。而情感識(shí)別的方法一般基于以下幾個(gè)方面，包括：人臉表情、人類聲音語調(diào)、傳達(dá)的文本信息或者是人體的肢體語言等信號(hào)信息。

二、情感計(jì)算技術(shù)與應(yīng)用研究現(xiàn)狀

（一）人臉識(shí)別技術(shù)

人臉識(shí)別技術(shù)就是通過一系列方法對(duì)人臉的表情所表現(xiàn)出的各類情感信息進(jìn)行提取與分析，例如，學(xué)習(xí)者通過計(jì)算機(jī)和網(wǎng)絡(luò)進(jìn)行在線學(xué)習(xí)，人臉識(shí)別技術(shù)通過服務(wù)器獲取學(xué)習(xí)者電腦攝像設(shè)備中的內(nèi)容，從而獲取學(xué)習(xí)者的情感的原始數(shù)據(jù)，再進(jìn)一步提取學(xué)習(xí)者的情感特征并進(jìn)行情感分類；緊接著，服務(wù)器將學(xué)習(xí)者的情感信息上傳，系統(tǒng)通過對(duì)比以往所研究出的情感信息，分析出學(xué)習(xí)者所處的情感狀態(tài)（如中性情感、開心、悲傷等），最終將得出的結(jié)果進(jìn)行可視化處理，從而反過來對(duì)學(xué)習(xí)者進(jìn)行學(xué)習(xí)過程的干預(yù)[8]。

而在當(dāng)前的研究中，一般用于識(shí)別系統(tǒng)中的面部表情有三種主要的方法，下文將簡(jiǎn)要介紹這三種方法[9]。

首先是基于模型的方法：一些面部表情識(shí)別系統(tǒng)采用了清晰的面部解剖和物理模型，一個(gè)包含44個(gè)面部的幾何網(wǎng)格肌肉，它們與皮膚的連接點(diǎn)，以及皮膚的彈性特性。根據(jù)人臉上6個(gè)點(diǎn)的位置，通過圖像扭曲將人臉圖像映射到物理模型上。在遞歸情緒控制框架下，利用物理模型對(duì)光流的運(yùn)動(dòng)估計(jì)進(jìn)行了改進(jìn)。那么面部表達(dá)式進(jìn)行分類。在基于模型的系統(tǒng)中，分析精度受到模型有效性的限制。但是有很多因素會(huì)影響肌肉收縮后皮膚的運(yùn)動(dòng)，很難在一個(gè)確定性模型中準(zhǔn)確地解釋所有這些因素。

緊接著是基于特征的方法：這種方法是最常用的。臉可以通過用距離來描述眼睛、鼻子、下巴等特征之間的區(qū)域來表示，也可以通過用運(yùn)動(dòng)不變性來表示。這些參數(shù)是從完整的面部視圖或輪廓中提取出來的，然后將每個(gè)面部作為“特征向量”存儲(chǔ)在內(nèi)存中的某個(gè)位置。表情識(shí)別包括三個(gè)步驟。首先，找出個(gè)人特征（眼睛，鼻子，下巴）；其次，測(cè)量統(tǒng)計(jì)參數(shù)來描述這些特征及其相互關(guān)系；第三提取描述，當(dāng)選擇的特性合適時(shí)，這些方法通常是有效的，但是適當(dāng)?shù)奶匦赃x擇并不總是一項(xiàng)簡(jiǎn)單的任務(wù)。

最后是整體分析：與基于特征的圖像分析不同，整體分析強(qiáng)調(diào)盡可能地保留原始圖像。人臉以二維像素強(qiáng)度數(shù)組的形式表示。而一般關(guān)系可以是采用線性自關(guān)聯(lián)建模，實(shí)現(xiàn)主成分分析；采用非線性三層自關(guān)聯(lián)網(wǎng)絡(luò)建模，或采用反向傳播算法。

（二）情感狀態(tài)跟蹤技術(shù)

在在線學(xué)習(xí)中，對(duì)學(xué)習(xí)者的學(xué)習(xí)情感的關(guān)注往往是較少的，而又由于在在線學(xué)習(xí)中缺乏一定的情感交互，不同學(xué)習(xí)者會(huì)對(duì)相同的一個(gè)學(xué)習(xí)內(nèi)容的學(xué)習(xí)進(jìn)度有所不同。所以，通過在線學(xué)習(xí)的情感計(jì)算，也可以時(shí)刻把握學(xué)習(xí)者的學(xué)習(xí)狀態(tài)，了解學(xué)習(xí)者是否跟上進(jìn)度，是否喜歡目前的學(xué)習(xí)內(nèi)容，又或是對(duì)當(dāng)期的學(xué)習(xí)內(nèi)容存在厭惡的情感。因此，在情感計(jì)算的研究中加入情感狀態(tài)的跟蹤技術(shù)，了解學(xué)習(xí)者不在學(xué)習(xí)狀態(tài)的時(shí)間點(diǎn)，從而及時(shí)對(duì)教學(xué)策略和教學(xué)過程進(jìn)行調(diào)節(jié)，及時(shí)對(duì)學(xué)習(xí)者的學(xué)習(xí)過程進(jìn)行情感方面的干預(yù)，才可以保證學(xué)習(xí)者在一個(gè)適合的狀態(tài)下進(jìn)行學(xué)習(xí)[10]。這就是情感計(jì)算中一個(gè)重要部分，即情感信息處理的其中一個(gè)過程。

而情感信息處理的目的是跟蹤學(xué)習(xí)者的情感和認(rèn)知狀態(tài)，識(shí)別認(rèn)知態(tài)度，通過統(tǒng)計(jì)得出網(wǎng)絡(luò)學(xué)習(xí)過程中整體的情感狀態(tài)并將其傳遞給學(xué)習(xí)者主體學(xué)習(xí)者的情緒狀態(tài)在學(xué)習(xí)過程中是非常復(fù)雜的。積極（興趣）或消極（不感興趣）的變化可能發(fā)生在新的電子課程。在新課開始時(shí)，學(xué)習(xí)者總是感到驚訝或困惑。隨著時(shí)間的推移，他的情緒狀態(tài)會(huì)發(fā)生變化。假使學(xué)習(xí)者總是出現(xiàn)困惑的狀態(tài)，他會(huì)懷疑自己的能力，感到消沉。這種消極的變化會(huì)立即傳遞給教師，并修改教學(xué)策略。當(dāng)采用適當(dāng)?shù)慕虒W(xué)策略時(shí)，學(xué)習(xí)者就會(huì)感到自信，渴望新的知識(shí)。情感信息的處理是個(gè)體教學(xué)的關(guān)鍵，情感信息可以傳遞給學(xué)習(xí)者模型，一旦發(fā)現(xiàn)消極態(tài)度，教師就會(huì)及時(shí)修改教學(xué)策略[11]。

（三）多模態(tài)融合情感計(jì)算技術(shù)

情感計(jì)算和情感分析的另一個(gè)重要任務(wù)是多模態(tài)融合。隨著最終用戶設(shè)備（如智能手機(jī)、觸控板或上網(wǎng)本）上安裝的網(wǎng)絡(luò)攝像頭數(shù)量的增加，越來越多的情感信息正以音頻或視聽格式發(fā)布到社交網(wǎng)絡(luò)服務(wù)上，而不是純粹的文本形式。經(jīng)前人統(tǒng)計(jì)，平均每分鐘有兩天的視頻內(nèi)容被上傳到網(wǎng)絡(luò)上。除了語音到文本的識(shí)別，它還允許對(duì)聲音信息、面部表情和身體運(yùn)動(dòng)分析，甚至背景音樂或彩色濾鏡的“情緒”進(jìn)行額外的利用。

多模態(tài)融合是指將所有的單一模態(tài)集成到一個(gè)組合的單一表示中，采用特征層次要部分和決策層次兩種融合技術(shù)，提高了多模態(tài)信息情感識(shí)別的可靠性[12]。

現(xiàn)有的情感計(jì)算和情感分析方法主要分為三類：基于知識(shí)的技術(shù)、統(tǒng)計(jì)方法和混合方法?；谥R(shí)的技術(shù)因其易用性和經(jīng)濟(jì)性而受到歡迎根據(jù)“快樂”、“悲傷”、“害怕”和“無聊”等情感詞匯的出現(xiàn)，文本被分為情感類別。情感詞或多詞表達(dá)的流行來源包括情感詞匯庫、語言注釋方案、詞網(wǎng)情感、感知詞網(wǎng)情感、概率知識(shí)庫等基于知識(shí)的方法的主要缺點(diǎn)是當(dāng)涉及到語言規(guī)則時(shí)，對(duì)影響的認(rèn)識(shí)不足例如，盡管一個(gè)知識(shí)庫可以正確地將“今天是快樂的一天”這句話歸類為“快樂”，但在“今天根本不是快樂的一天”這句話上，它很可能失敗。為了達(dá)到這個(gè)目的，技術(shù)將會(huì)更加成熟的?；谥R(shí)的方法利用語言學(xué)規(guī)則來區(qū)分文本中每個(gè)特定的知識(shí)庫條目是如何使用的[13]。

（四）基于多Agent的人際和諧交互系統(tǒng)

基于多Agent的人際和諧交互系統(tǒng)，就是指構(gòu)建一個(gè)讓人與機(jī)器進(jìn)行情感交互的一種情感計(jì)算模型。這種模型通過對(duì)情感的特征的明確規(guī)定，以Agent的形式，再通過融合多種Agent機(jī)制，將這些情感信息轉(zhuǎn)變?yōu)榍楦惺侄危瑥亩纬删哂凶赃m應(yīng)能力的Agent，從而使得計(jì)算機(jī)能夠模擬學(xué)習(xí)者內(nèi)心的情感和心理活動(dòng)，并幫助在一些具體實(shí)踐上形成自適應(yīng)功能，進(jìn)而能夠?yàn)閷W(xué)習(xí)者營(yíng)造一種舒適、自在的學(xué)習(xí)環(huán)境，從而提高學(xué)習(xí)者的學(xué)習(xí)能力[14]。這種技術(shù)可以很大程度上幫助計(jì)算機(jī)形成學(xué)習(xí)者的邏輯思維和心理過程，并極大可能提高在線學(xué)習(xí)中人機(jī)交互的和諧性。

（五）可穿戴情感計(jì)算設(shè)備

從2015年起，針對(duì)去可穿戴設(shè)備的數(shù)量就開始不斷增加，佩戴方式也多種多樣，例如：佩戴于頭部的可穿戴設(shè)備（比如GoogleGlass）；佩戴于肩部的可穿戴設(shè)備（比如Straps臂帶）；佩戴于身上的可穿戴設(shè)備；佩戴于手腕的可穿戴設(shè)備（比如Apple Watch）等。這些設(shè)備通過檢測(cè)人體的心率、脈搏、體溫等條件進(jìn)行身體信息的收集，伴隨著科技的不斷進(jìn)步，進(jìn)一步有了3D傳感器設(shè)備等，并且這些設(shè)備已經(jīng)不斷擴(kuò)大了適用范圍，逐漸延伸至醫(yī)療、運(yùn)動(dòng)等方面，現(xiàn)正蔓延至教育領(lǐng)域[15]。伴隨著研究的不斷深入，研究學(xué)者們正將之運(yùn)用于教育領(lǐng)域的情感計(jì)算方面，通過可穿戴設(shè)備的幫助，不斷多學(xué)習(xí)者的學(xué)習(xí)狀態(tài)進(jìn)行情感計(jì)算，了解學(xué)習(xí)者的學(xué)習(xí)情感，從而不斷地對(duì)教學(xué)策略進(jìn)行調(diào)整，進(jìn)而更好地幫助學(xué)習(xí)者們進(jìn)行在線學(xué)習(xí)[16]。

三、總結(jié)

情感計(jì)算的能力是人類發(fā)展并智能化的一個(gè)重要標(biāo)志。在在線學(xué)習(xí)的過程中，情感缺失成為了一個(gè)不可忽視的問題，不但會(huì)影響學(xué)習(xí)者的學(xué)習(xí)質(zhì)量，更甚者會(huì)影響學(xué)習(xí)者的心理健康發(fā)展。通過在在線學(xué)習(xí)中進(jìn)行情感計(jì)算，可以使網(wǎng)絡(luò)學(xué)習(xí)更加人性化。通過對(duì)學(xué)習(xí)者學(xué)習(xí)過程中情感變化的不斷追蹤，也可以幫助計(jì)算機(jī)及時(shí)調(diào)整教學(xué)策略。系統(tǒng)的每個(gè)模塊的分析表明與情感信息的智能反饋測(cè)量通過面部表情和姿勢(shì)，電子學(xué)習(xí)系統(tǒng)可以管理和跟蹤實(shí)時(shí)學(xué)習(xí)過程評(píng)價(jià)學(xué)習(xí)效果制定不同的學(xué)習(xí)方案不同的學(xué)習(xí)者提供反饋和評(píng)估因此設(shè)定個(gè)人學(xué)習(xí)環(huán)境激發(fā)學(xué)習(xí)興趣增強(qiáng)學(xué)習(xí)意識(shí)和學(xué)習(xí)效果，從而提高教學(xué)質(zhì)量。

參考文獻(xiàn)：

[1]約翰·丹尼爾， 李薇. 靈活性：在線學(xué)習(xí)的核心要素[J]. 中國遠(yuǎn)程教育， 2017，（1）：5-14.

[2]李勇帆，李里程.論情感計(jì)算和Web3D技術(shù)支持的網(wǎng)絡(luò)自主在線學(xué)習(xí)模式的設(shè)計(jì)與構(gòu)建[J].中國電化教育，2011，8：129-133.

[3]牟智佳，俞顯等.國際教育數(shù)據(jù)挖掘研究現(xiàn)狀的可視化分析：熱點(diǎn)與趨勢(shì)[J].電化教育研究，2017，（4）：108-114.

[4]賀斌.e-Learning情感計(jì)算模型設(shè)計(jì)研究[J].遠(yuǎn)程教育雜 志，2011，（4）：103-110.

[5]趙慧勤，孫波.虛擬教師情感合成模型的研究[J].中國電化教 育，2012，（1）：121-126.

[6]夏煒，夏洪文，周晶晶.基于情感計(jì)算的情感Agent模型構(gòu)建與應(yīng)用[J].中國電化教育，2008，（10）：112-114.

[7]Picard R W， Picard R. Affective computing[M]. Cambridge： MIT press，1997.

[8]楊金朋，薛耀鋒，李佳璇，等.基于人臉表情識(shí)別的在線學(xué)習(xí)情感計(jì)算研究[J]. 中國教育技術(shù)裝備， 2017 （18）： 35-36.

[9]MS Bartlett， JC Hager， P. Ekman， and TJ Sejnowski. “Measuring facial expressions by computer image analysis”. Psychophysiology， 1999， 36：253--263

[10]羅奇，萬力勇，吳彥文.情感計(jì)算在e-Learning系統(tǒng)中的應(yīng)用探索[J].開放教育研究，2006，12（3）：80-83.

[11]Duo S， Song L X. An e-learning system based on affective computing[J]. physics Procedia， 2012， 24： 1893-1898.

[12]A. Konar and A. Chakraborty， Emotion Recognition： A Pattern Analysis Approach， Wiley & Sons， 2015.

[13]S. Poria et al.，“Sentiment Data Flow Analysis by Means of Dynamic Linguistic Patterns，” IEEE Computational Intelligence， vol. 10， no. 4， 2015， pp. 26–36.

[14]馬希榮，王志良.遠(yuǎn)程教育中和諧人機(jī)情感交互模型的研究[J].計(jì)算機(jī)科學(xué)，2005，32（9）：182-183.

[15]趙楠.針對(duì)在線學(xué)習(xí)的可穿戴式情感計(jì)算設(shè)備的設(shè)計(jì)與研究[D].浙江大學(xué)， 2016.

[16]夏洪文.情感計(jì)算及其在人機(jī)交互設(shè)計(jì)中的應(yīng)用[J].中國電化教育，2008（1）： 106-110.