多模態(tài)學(xué)習(xí)情感計(jì)算：動(dòng)因、框架與建議

周進(jìn)　葉俊民　李超

[摘? ?要] 學(xué)習(xí)情感是影響學(xué)生認(rèn)知加工與學(xué)習(xí)效果的重要因素，如何利用多模態(tài)數(shù)據(jù)開展學(xué)習(xí)情感計(jì)算是當(dāng)前亟待解決的問(wèn)題。文章在分析情感計(jì)算源起與多模態(tài)數(shù)據(jù)融合的基礎(chǔ)上，闡述了多模態(tài)情感計(jì)算的發(fā)展動(dòng)因，構(gòu)建了多模態(tài)學(xué)習(xí)情感計(jì)算的研究框架，包括以教育場(chǎng)景為導(dǎo)向采集情感數(shù)據(jù)、依據(jù)情感模型展開建模與識(shí)別、利用可視化方式表達(dá)與反饋情感、結(jié)合情感歸因來(lái)干預(yù)與調(diào)節(jié)學(xué)習(xí)過(guò)程等?；诂F(xiàn)有研究案例，將多模態(tài)學(xué)習(xí)情感計(jì)算的應(yīng)用歸納為開發(fā)學(xué)習(xí)情感識(shí)別系統(tǒng)、增強(qiáng)智能學(xué)習(xí)工具、支持學(xué)習(xí)干預(yù)與決策、探索學(xué)習(xí)情感的作用機(jī)制等方面。未來(lái)多模態(tài)學(xué)習(xí)情感計(jì)算應(yīng)平衡數(shù)據(jù)采集侵入性與真實(shí)性、提升數(shù)據(jù)模型可解釋性、綜合衡量學(xué)習(xí)狀態(tài)以及拓展教育應(yīng)用探索與創(chuàng)新。

[關(guān)鍵詞] 情感計(jì)算; 多模態(tài); 人工智能; 學(xué)習(xí)情感; 學(xué)習(xí)分析

[中圖分類號(hào)] G434? ? ? ? ? ? [文獻(xiàn)標(biāo)志碼] A

[作者簡(jiǎn)介] 周進(jìn)（1993—），男，湖北鄂州人。博士研究生，主要從事學(xué)習(xí)分析研究。E-mail：jinzhou2019@mails.ccnu.edu.cn。葉俊民為通訊作者，E-mail：jmye@mail.ccnu.edu.cn。

一、引? ?言

人類情感與認(rèn)知加工緊密關(guān)聯(lián)，對(duì)記憶、注意、思維等過(guò)程起調(diào)節(jié)作用，可以顯著影響學(xué)習(xí)結(jié)果[1]。當(dāng)前人工智能與教育深度融合，賦予教學(xué)創(chuàng)新與教育變革前所未有的歷史機(jī)遇，但同時(shí)給學(xué)生社會(huì)情感學(xué)習(xí)帶來(lái)沖擊[2]，情感教育與情感交互的需求日益凸顯。此外，智能教育要實(shí)現(xiàn)全面感知和分析學(xué)習(xí)過(guò)程，情感是不可忽視的重要因素。而情感計(jì)算通過(guò)計(jì)算機(jī)系統(tǒng)識(shí)別、推理與表達(dá)人類情感[3]，是感知與理解學(xué)習(xí)情感、增強(qiáng)情感交互、促進(jìn)人機(jī)協(xié)同的重要途徑，也是當(dāng)前教育研究較為活躍的前沿領(lǐng)域。

教育智能時(shí)代，多模態(tài)數(shù)據(jù)與機(jī)器學(xué)習(xí)融合有助于理解和分析復(fù)雜的學(xué)習(xí)現(xiàn)象，比單一數(shù)據(jù)源更能深入刻畫學(xué)習(xí)者的相關(guān)學(xué)習(xí)行為[4]。從這個(gè)意義上講，多模態(tài)數(shù)據(jù)已成為學(xué)習(xí)分析的必要條件與發(fā)展趨勢(shì)[5]。學(xué)習(xí)情感作為學(xué)習(xí)分析的重要維度，如何利用多模態(tài)數(shù)據(jù)開展情感計(jì)算，以實(shí)現(xiàn)教學(xué)過(guò)程中對(duì)學(xué)習(xí)情感的準(zhǔn)確評(píng)估與跟蹤反饋是當(dāng)下亟待解決的問(wèn)題?；诖耍恼戮劢褂诙嗄B(tài)學(xué)習(xí)情感計(jì)算，從動(dòng)因、研究框架、應(yīng)用案例與發(fā)展建議四個(gè)模塊，探討多模態(tài)數(shù)據(jù)賦能情感計(jì)算的方法與趨勢(shì)，為學(xué)習(xí)情感的相關(guān)研究與實(shí)踐提供參考與借鑒。

二、多模態(tài)學(xué)習(xí)情感計(jì)算及其動(dòng)因

（一）情感計(jì)算的源起

在教育領(lǐng)域中，情感分析研究肇始于20世紀(jì)30年代，研究對(duì)象集中于學(xué)習(xí)過(guò)程中的焦慮情緒[6]。這期間形成了分析焦慮情緒的相關(guān)方法與理論，比如考試成就焦慮的心理學(xué)分析方法、成就動(dòng)機(jī)理論等。經(jīng)過(guò)半個(gè)多世紀(jì)的發(fā)展，情緒動(dòng)機(jī)的學(xué)習(xí)研究引起了教育領(lǐng)域的關(guān)注，隨后學(xué)界逐步拓展與學(xué)習(xí)過(guò)程相關(guān)的情感研究。1997年皮卡德教授的標(biāo)志性著作《情感計(jì)算》正式出版[3]，直接推動(dòng)了情感計(jì)算的發(fā)展及其在各領(lǐng)域的應(yīng)用。相關(guān)研究聚焦于用技術(shù)實(shí)現(xiàn)情感的檢測(cè)、識(shí)別與反饋，試圖在計(jì)算機(jī)與人類情感間建立聯(lián)系，以促進(jìn)人與工具間的情感交互。然而，受限于當(dāng)時(shí)的技術(shù)條件等各方面因素，情感計(jì)算教育應(yīng)用并未引起廣泛關(guān)注。

邁入21世紀(jì)，在智能技術(shù)與教育神經(jīng)科學(xué)推動(dòng)下，學(xué)習(xí)情感計(jì)算的相關(guān)研究與應(yīng)用呈現(xiàn)快速發(fā)展態(tài)勢(shì)。國(guó)際學(xué)術(shù)界加強(qiáng)學(xué)習(xí)情感與認(rèn)知過(guò)程的關(guān)系探索，并繼承與創(chuàng)新已有學(xué)習(xí)理論，形成了多媒體學(xué)習(xí)的認(rèn)知情感理論（CATLM）與成就情緒的控制—價(jià)值理論（CVT）。認(rèn)知情感理論認(rèn)為，多媒體學(xué)習(xí)材料的情緒設(shè)計(jì)能影響學(xué)習(xí)者的認(rèn)知加工、態(tài)度和動(dòng)機(jī)，同時(shí)學(xué)習(xí)者自身特征也是影響多媒體學(xué)習(xí)情感的重要因素[7]。而控制—價(jià)值理論闡述了學(xué)習(xí)過(guò)程中所經(jīng)歷情緒的前因與結(jié)果，能作為技術(shù)賦能環(huán)境下學(xué)習(xí)情感研究的元理論[6]?？梢哉f(shuō)，上述理論進(jìn)一步推動(dòng)了情感計(jì)算在教育領(lǐng)域的發(fā)展與應(yīng)用，為后續(xù)相關(guān)研究提供了理論指導(dǎo)。

進(jìn)入2010年后，情感計(jì)算被廣泛應(yīng)用于教育領(lǐng)域[1]，期間各類學(xué)習(xí)系統(tǒng)利用情感計(jì)算技術(shù)發(fā)展起來(lái)，代表性的有情感導(dǎo)學(xué)系統(tǒng)（ATS）。該類系統(tǒng)通過(guò)采集學(xué)習(xí)者面部、語(yǔ)音等數(shù)據(jù)，利用機(jī)器學(xué)習(xí)算法分析與處理情感信息，以識(shí)別與反饋情感狀態(tài)，進(jìn)而為學(xué)習(xí)者提供個(gè)性化導(dǎo)學(xué)策略。此外，學(xué)習(xí)情感計(jì)算也從單模態(tài)走向多模態(tài)數(shù)據(jù)融合，其中，深度學(xué)習(xí)、便攜式傳感技術(shù)以及多模態(tài)學(xué)習(xí)分析起到了主要助推作用。

（二）多模態(tài)學(xué)習(xí)情感計(jì)算概述

模態(tài)是屬于身體或情境中一種可衡量的屬性，其數(shù)據(jù)獲取與傳遞是以信號(hào)通道的方式實(shí)現(xiàn)，如麥克風(fēng)可以對(duì)聲音（信號(hào)通道）進(jìn)行采樣以檢測(cè)語(yǔ)音（模態(tài)），而多模態(tài)是將多信號(hào)通道的數(shù)據(jù)進(jìn)行融合[8-9]。在教育領(lǐng)域中，將多模態(tài)數(shù)據(jù)應(yīng)用于教育研究更符合人類交流的本質(zhì)，滿足了跨物理與網(wǎng)絡(luò)環(huán)境下的建模需求，且新興技術(shù)的發(fā)展為教育數(shù)據(jù)采集與處理提供了基礎(chǔ)[8]。結(jié)合機(jī)器學(xué)習(xí)算法與豐富的學(xué)習(xí)數(shù)據(jù)，多模態(tài)分析有助于在各類環(huán)境下對(duì)學(xué)習(xí)行為映射的多層次信息進(jìn)行推理與診斷，其中最突出的用途之一是預(yù)測(cè)學(xué)習(xí)情感[10]。一項(xiàng)元分析顯示，基于多模態(tài)數(shù)據(jù)的情感識(shí)別效果優(yōu)于單模態(tài)數(shù)據(jù)，其平均準(zhǔn)確度提升了9.83%[11]，因而利用多模態(tài)數(shù)據(jù)表征學(xué)習(xí)情感已成為情感計(jì)算領(lǐng)域的發(fā)展趨勢(shì)。

多模態(tài)學(xué)習(xí)情感計(jì)算是通過(guò)采集多模態(tài)數(shù)據(jù)，利用數(shù)據(jù)融合與建模方法整合多通道情感信息，發(fā)現(xiàn)學(xué)習(xí)過(guò)程中真實(shí)的情感變化過(guò)程，幫助研究者與實(shí)踐者理解復(fù)雜的學(xué)習(xí)行為，是突破教育發(fā)展瓶頸與優(yōu)化學(xué)習(xí)理論的重要途徑。當(dāng)前，多模態(tài)情感測(cè)量涉及心理、行為和生理層面，涵蓋文本、語(yǔ)音、面部表情、身體姿態(tài)、生理信息等數(shù)據(jù)維度。其中，心理測(cè)量是運(yùn)用自我報(bào)告的方式獲取學(xué)習(xí)者主觀的情感體驗(yàn);行為測(cè)量是利用攝像機(jī)、麥克風(fēng)、鼠標(biāo)、鍵盤等工具采集相關(guān)數(shù)據(jù)來(lái)分析學(xué)習(xí)情感狀態(tài);而生理測(cè)量則是采用傳感器捕捉學(xué)習(xí)者生理反應(yīng)。通過(guò)采用多模態(tài)數(shù)據(jù)融合算法，將多通道信息融合實(shí)現(xiàn)對(duì)學(xué)習(xí)情感的識(shí)別，在此基礎(chǔ)上進(jìn)行情感反饋與學(xué)習(xí)干預(yù)。

（三）多模態(tài)學(xué)習(xí)情感計(jì)算的發(fā)展動(dòng)因

在過(guò)去較長(zhǎng)時(shí)期內(nèi)，教育研究常用自我報(bào)告或行為觀察的方式來(lái)測(cè)量學(xué)習(xí)情感，但分析結(jié)果存在主觀不確定性且準(zhǔn)確率不高。隨著傳感技術(shù)與人工智能的融合應(yīng)用，通過(guò)采集多模態(tài)數(shù)據(jù)來(lái)客觀挖掘?qū)W習(xí)情感已成為教育研究的發(fā)展方向。當(dāng)前，傳感設(shè)備日趨微型化、智能化、集成化[12]，極大地提升了數(shù)據(jù)收集的便捷性。將傳感設(shè)備應(yīng)用于教育研究中，可以實(shí)時(shí)采集學(xué)習(xí)過(guò)程中的生理數(shù)據(jù)，包括腦電、皮膚電、肌電、心率、血氧等，這為多模態(tài)情感計(jì)算提供了更多的數(shù)據(jù)通道。同時(shí)，面對(duì)大規(guī)模的多源異構(gòu)數(shù)據(jù)，深度學(xué)習(xí)算法為數(shù)據(jù)處理與分析提供了技術(shù)支持。通過(guò)特征選擇、數(shù)據(jù)建模與融合策略，進(jìn)一步提升多模態(tài)情感數(shù)據(jù)的識(shí)別性能。換言之，深度學(xué)習(xí)與傳感技術(shù)的發(fā)展是促進(jìn)多模態(tài)學(xué)習(xí)情感計(jì)算發(fā)展的外部動(dòng)因。

20世紀(jì)，受笛卡爾的身心二元論影響，學(xué)者常忽視了學(xué)習(xí)情感在認(rèn)知加工中的調(diào)節(jié)作用[13]，導(dǎo)致教育研究陷入“重認(rèn)知輕情感”的現(xiàn)實(shí)局面。近年來(lái)，學(xué)界逐步認(rèn)識(shí)到學(xué)習(xí)情感的重要價(jià)值，并呼吁關(guān)注學(xué)習(xí)情感與優(yōu)化學(xué)習(xí)理論[14]。在技術(shù)賦能學(xué)習(xí)環(huán)境下，學(xué)習(xí)情感顯著影響學(xué)生的學(xué)習(xí)投入、認(rèn)知加工、學(xué)習(xí)結(jié)果等方面。例如在多媒體環(huán)境中，學(xué)習(xí)材料的情緒設(shè)計(jì)可以提高學(xué)習(xí)投入，有助于學(xué)習(xí)者的深層次加工[15]。在教育神經(jīng)科學(xué)研究中，利用功能性磁共振成像（FMRI）發(fā)現(xiàn)情緒反應(yīng)是通過(guò)激活杏仁核來(lái)增強(qiáng)記憶能力[16]，進(jìn)一步證實(shí)了學(xué)習(xí)情感與認(rèn)知加工存在緊密聯(lián)系。在學(xué)習(xí)結(jié)果方面，情感是影響學(xué)習(xí)的關(guān)鍵因素，尤其在學(xué)習(xí)決策、反思等方面起著重要作用[17]。因此，為進(jìn)一步探尋學(xué)習(xí)情感在學(xué)習(xí)過(guò)程中的作用機(jī)制，真實(shí)學(xué)習(xí)環(huán)境下可靠的情感識(shí)別方法至關(guān)重要，而多模態(tài)情感計(jì)算為教育研究中的情感識(shí)別提供了有力工具與方法?？梢哉f(shuō)，學(xué)習(xí)情感的潛在作用是推動(dòng)多模態(tài)情感計(jì)算發(fā)展的內(nèi)在動(dòng)因。

三、多模態(tài)學(xué)習(xí)情感計(jì)算的研究框架

多模態(tài)數(shù)據(jù)分析遵循數(shù)據(jù)發(fā)現(xiàn)、數(shù)據(jù)融合、數(shù)據(jù)利用三個(gè)關(guān)鍵步驟，涉及數(shù)據(jù)采集與標(biāo)注、數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)組織、數(shù)據(jù)整合、數(shù)據(jù)分析、可視化、決策七個(gè)主要過(guò)程[18]。作為多模態(tài)數(shù)據(jù)分析的應(yīng)用領(lǐng)域，多模態(tài)學(xué)習(xí)情感計(jì)算同樣遵循此過(guò)程。本研究在繼承情感計(jì)算研究框架[19]的基礎(chǔ)上，結(jié)合多模態(tài)數(shù)據(jù)分析過(guò)程，并參考多模態(tài)學(xué)習(xí)分析的概念模型[8]，構(gòu)建了多模態(tài)學(xué)習(xí)情感計(jì)算的研究框架（如圖1所示）。該框架以教育場(chǎng)景為中心，利用相關(guān)工具采集多模態(tài)情感數(shù)據(jù)，根據(jù)情感模型識(shí)別情感狀態(tài)，并以可視化方式反饋情感信息，進(jìn)而提供學(xué)習(xí)干預(yù)與服務(wù)。

（一）以教育場(chǎng)景為導(dǎo)向，采集多模態(tài)情感數(shù)據(jù)

在智能技術(shù)驅(qū)動(dòng)下，情感計(jì)算已由在線場(chǎng)景逐步轉(zhuǎn)向課堂情境，呈現(xiàn)多元化應(yīng)用的趨勢(shì)[20]。不同教育場(chǎng)景中，情感數(shù)據(jù)采集的方式有所差別。根據(jù)語(yǔ)言與非語(yǔ)言表達(dá)方式，結(jié)合教育研究中常用的傳感設(shè)備，多模態(tài)情感數(shù)據(jù)涉及文本、語(yǔ)音、圖像與生理層面。文本信息可以從論壇、社交平臺(tái)、測(cè)驗(yàn)等途徑獲取，并利用情感分析方法[21]挖掘潛在的觀點(diǎn)與情感傾向;語(yǔ)音數(shù)據(jù)能展現(xiàn)教學(xué)情境下學(xué)生自然流暢的內(nèi)容表達(dá)，通過(guò)分析聲學(xué)、語(yǔ)言、上下文信息等特征來(lái)獲取語(yǔ)音情感信息;圖像識(shí)別技術(shù)應(yīng)用于面部表情、身體姿態(tài)、手勢(shì)等維度分析，是多模態(tài)分析中常用的方法，其數(shù)據(jù)來(lái)源是利用攝像頭采集學(xué)習(xí)過(guò)程數(shù)據(jù);生理數(shù)據(jù)主要來(lái)源于心臟、大腦和皮膚，借助傳感設(shè)備采集心率、腦電、皮膚電等信息，獲取身體受到生理刺激時(shí)的情緒反應(yīng)。

在多模態(tài)情感數(shù)據(jù)采集過(guò)程中，相關(guān)數(shù)據(jù)可以源自學(xué)習(xí)行為，也可以從學(xué)習(xí)環(huán)境中提取。比如學(xué)習(xí)過(guò)程中學(xué)生面部朝向、身體位置、注視方向等。數(shù)據(jù)采集過(guò)程需要確定合適的傳感設(shè)備與工具，以捕獲特定學(xué)習(xí)場(chǎng)景中選定的模態(tài)信息，并設(shè)計(jì)用于序列化多個(gè)傳感器數(shù)據(jù)流的軟件體系結(jié)構(gòu)。

（二）依據(jù)情感模型，建模與識(shí)別情感狀態(tài)

情感生成于人與環(huán)境的相互作用過(guò)程，反映在多個(gè)維度的變化（神經(jīng)生物學(xué)變化、生理反應(yīng)、肢體表達(dá)、行為趨向等）中，并且受個(gè)體差異（如情感特質(zhì)）的調(diào)節(jié)。在情感信息采集的基礎(chǔ)上，通過(guò)數(shù)據(jù)標(biāo)注與分類，實(shí)現(xiàn)多模態(tài)學(xué)習(xí)情感識(shí)別，其過(guò)程如圖2所示。從數(shù)據(jù)表征的角度看，學(xué)習(xí)情感標(biāo)簽可以是數(shù)值區(qū)間或離散范疇，這取決于所采納的情感模型。常用的情感模型有基本情感、維度情感與學(xué)業(yè)情感。一般而言，數(shù)據(jù)標(biāo)注有專家觀察、學(xué)習(xí)者自我報(bào)告兩種方法，每種方法都存在各自的優(yōu)點(diǎn)與不足，并且都受到主觀偏見(jiàn)的影響。專家觀察可以不影響學(xué)習(xí)進(jìn)程，但成本高、難組織;而自我報(bào)告會(huì)產(chǎn)生不平衡的情感類別分布，意味著需要壓縮采樣（Down-sampling），可能會(huì)造成數(shù)據(jù)丟失[22]，但該方法即時(shí)報(bào)告的數(shù)據(jù)比回顧評(píng)估數(shù)據(jù)的可信度要高[23]。

從人工標(biāo)注的學(xué)習(xí)標(biāo)簽中建立數(shù)據(jù)模型，需要考慮情感特征、數(shù)據(jù)融合、情感預(yù)測(cè)與結(jié)果驗(yàn)證。由于多模態(tài)數(shù)據(jù)中并非所有特征對(duì)機(jī)器學(xué)習(xí)都有意義，特征選擇與提取是降低數(shù)據(jù)噪音、提高數(shù)據(jù)質(zhì)量的重要途徑，其方法有主成分分析、隨機(jī)深林、貝葉斯方法等;在數(shù)據(jù)融合階段，需要對(duì)不同模態(tài)信息進(jìn)行整合，其策略包括特征融合、決策融合、模型融合等;在此基礎(chǔ)上，運(yùn)用分類算法預(yù)測(cè)學(xué)習(xí)情感結(jié)果;最后驗(yàn)證階段，將預(yù)測(cè)結(jié)果與人工標(biāo)注結(jié)果進(jìn)行比較，以調(diào)整與優(yōu)化訓(xùn)練參數(shù)，進(jìn)而確定所建立的數(shù)據(jù)模型，便于后續(xù)新的原始數(shù)據(jù)的分析與處理。

（三）可視化表達(dá)與反饋學(xué)習(xí)情感

由于學(xué)習(xí)是極為復(fù)雜的過(guò)程，涉及情感、認(rèn)知等層面，以可視化方式表達(dá)學(xué)習(xí)情感有助于研究者理解情感與認(rèn)知的演化機(jī)制。對(duì)于學(xué)習(xí)者而言，可視化反饋能促進(jìn)與學(xué)習(xí)系統(tǒng)的情感交互，提升系統(tǒng)交互友好性與學(xué)習(xí)體驗(yàn)，彌合“情感缺失”的局限;同時(shí)，情感表達(dá)能對(duì)學(xué)習(xí)心理進(jìn)行調(diào)整與優(yōu)化，實(shí)現(xiàn)對(duì)學(xué)習(xí)過(guò)程的自我監(jiān)督、調(diào)控與反省;可視化情感還能培養(yǎng)個(gè)體的情感技能，尤其在自閉癥兒童的情感教育中具有無(wú)法比擬的價(jià)值潛能。

當(dāng)前，學(xué)習(xí)情感可從虛擬與實(shí)體兩個(gè)層面實(shí)現(xiàn)可視化表達(dá)與反饋。虛擬層面主要以儀表盤與擬人表情的方式呈現(xiàn)。儀表盤是采用圖示和文本將情感動(dòng)態(tài)變化過(guò)程呈現(xiàn)出來(lái)，幫助教師全面了解學(xué)習(xí)過(guò)程;擬人表情通過(guò)模擬學(xué)習(xí)過(guò)程中的面部表情，以擬人方式實(shí)時(shí)表達(dá)情感狀態(tài)，能激發(fā)學(xué)生的學(xué)習(xí)興趣與熱情。在實(shí)體層面，教育機(jī)器人將多模態(tài)情感信息以語(yǔ)音和機(jī)器人表情的方式進(jìn)行反饋，以促進(jìn)兒童與機(jī)器人的情感交互[24]?？偟膩?lái)說(shuō)，情感的可視化表達(dá)與反饋，架起了機(jī)器學(xué)習(xí)、情感計(jì)算與學(xué)習(xí)科學(xué)的橋梁，幫助人類理解復(fù)雜的學(xué)習(xí)過(guò)程。

（四）結(jié)合情感歸因，動(dòng)態(tài)干預(yù)與調(diào)節(jié)學(xué)習(xí)過(guò)程

理解特定情感狀態(tài)的觸發(fā)原因，對(duì)于提供精準(zhǔn)的干預(yù)措施至關(guān)重要，而在情感狀態(tài)與潛在原因不匹配的情況下提供學(xué)習(xí)干預(yù)是無(wú)效的，甚至可能起負(fù)面作用[25]。換句話說(shuō)，理解與明確引發(fā)學(xué)習(xí)情感的潛在原因，對(duì)提供學(xué)習(xí)干預(yù)措施極為關(guān)鍵。一般而言，如果學(xué)習(xí)者能管理好自身的消極情感狀態(tài)，其學(xué)習(xí)效果會(huì)顯著提升[26]。因而，干預(yù)與調(diào)節(jié)學(xué)習(xí)者的消極情感，以幫助提升學(xué)習(xí)效率與學(xué)習(xí)表現(xiàn)，是當(dāng)前研究關(guān)注的重要問(wèn)題。

依據(jù)控制—價(jià)值理論，學(xué)習(xí)過(guò)程中涉及的消極情感有焦慮、沮喪、困惑、無(wú)聊等，其情感歸因包括學(xué)習(xí)任務(wù)、學(xué)習(xí)結(jié)果、個(gè)體特征與學(xué)習(xí)環(huán)境四個(gè)層面[14]。同時(shí)，該理論也提供了情感調(diào)節(jié)的常見(jiàn)要素，例如任務(wù)難度、先前知識(shí)、認(rèn)知支持（內(nèi)容提示、同伴幫助、教師輔導(dǎo)）、學(xué)習(xí)材料情緒設(shè)計(jì)、任務(wù)質(zhì)量、歸因反饋等[6]。基于此，本研究設(shè)計(jì)了面向消極情感的學(xué)習(xí)干預(yù)機(jī)制（如圖3所示）。該機(jī)制以調(diào)節(jié)學(xué)習(xí)者消極情感為主要目標(biāo)，通過(guò)情感歸因的方法理解消極情感的觸發(fā)因素，在此基礎(chǔ)上運(yùn)用干預(yù)引擎匹配和選擇合適的干預(yù)策略，實(shí)現(xiàn)動(dòng)態(tài)調(diào)節(jié)學(xué)習(xí)情感與學(xué)習(xí)行為。

四、多模態(tài)學(xué)習(xí)情感計(jì)算的典型應(yīng)用

（一）開發(fā)學(xué)習(xí)情感識(shí)別系統(tǒng)

學(xué)習(xí)情感識(shí)別是多模態(tài)情感計(jì)算教育應(yīng)用的基礎(chǔ)，依據(jù)不同測(cè)量通道與應(yīng)用場(chǎng)景開發(fā)情感識(shí)別系統(tǒng)，能夠?qū)崿F(xiàn)學(xué)習(xí)情感的客觀準(zhǔn)確識(shí)別。在數(shù)字化學(xué)習(xí)環(huán)境中，Ray等人設(shè)計(jì)并開發(fā)了多模態(tài)學(xué)習(xí)情感識(shí)別系統(tǒng)[27]。該系統(tǒng)利用傳感器和攝像頭采集生理信號(hào)（心率、皮膚電、血壓）與面部表情，運(yùn)用人工神經(jīng)網(wǎng)絡(luò)模型與決策級(jí)融合策略對(duì)六種學(xué)習(xí)情感進(jìn)行識(shí)別。數(shù)據(jù)分析顯示，該系統(tǒng)的情感識(shí)別準(zhǔn)確度達(dá)71.38%。隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，課堂環(huán)境下的多模態(tài)情感識(shí)別成為研究新趨向。Ashwin等人通過(guò)攝像頭采集學(xué)生的面部表情、手勢(shì)與身體姿態(tài)數(shù)據(jù)，利用卷積神經(jīng)網(wǎng)絡(luò)算法與特征融合策略，實(shí)現(xiàn)對(duì)投入、無(wú)聊和中立三種情感狀態(tài)的自動(dòng)識(shí)別[28]。結(jié)果發(fā)現(xiàn)，真實(shí)課堂環(huán)境下學(xué)習(xí)情感識(shí)別的準(zhǔn)確度達(dá)70%。上述研究表明，基于多模態(tài)數(shù)據(jù)的學(xué)習(xí)情感識(shí)別系統(tǒng)具有良好的應(yīng)用前景，但其情感識(shí)別的準(zhǔn)確度有待提升。

（二）增強(qiáng)智能學(xué)習(xí)工具

將多模態(tài)情感計(jì)算以模塊化的方式嵌入學(xué)習(xí)系統(tǒng)中，可以增強(qiáng)系統(tǒng)的情感感知能力，進(jìn)一步提升學(xué)習(xí)體驗(yàn)與優(yōu)化學(xué)習(xí)交互。在自適應(yīng)學(xué)習(xí)系統(tǒng)中，Lin等人整合面部表情、語(yǔ)義信息與皮膚電信號(hào)來(lái)提升系統(tǒng)的情感識(shí)別能力，并以學(xué)習(xí)儀表盤的方式呈現(xiàn)情感分析結(jié)果，幫助教師及時(shí)掌握學(xué)習(xí)狀態(tài)與調(diào)整教學(xué)策略[29]。薛耀鋒等人采集在線學(xué)習(xí)過(guò)程中面部表情、文本和語(yǔ)音信息，來(lái)賦能在線學(xué)習(xí)平臺(tái)的情感識(shí)別能力[30]。而在教育機(jī)器人中，通過(guò)采集兒童與機(jī)器人交互過(guò)程中的語(yǔ)言信息（文本、語(yǔ)音）與非語(yǔ)言信息（面部表情、身體位置、頭部姿態(tài)），以實(shí)現(xiàn)對(duì)兒童學(xué)習(xí)情感狀態(tài)的自動(dòng)分析，可提升兒童與機(jī)器人之間的學(xué)習(xí)交互體驗(yàn)[24]?？梢哉f(shuō)，多模態(tài)情感計(jì)算在賦能自適應(yīng)學(xué)習(xí)系統(tǒng)、在線學(xué)習(xí)平臺(tái)、教育機(jī)器人等方面具有可觀的應(yīng)用潛能。

（三）支持學(xué)習(xí)干預(yù)與決策

基于學(xué)習(xí)成績(jī)或?qū)W習(xí)行為展開教學(xué)干預(yù)存在一定局限，諸多研究嘗試從情感角度進(jìn)行學(xué)習(xí)干預(yù)。Ashwin等人通過(guò)采集學(xué)生的面部表情、手勢(shì)和身體姿態(tài)來(lái)分析與預(yù)測(cè)學(xué)生的情感狀態(tài)，在此基礎(chǔ)上實(shí)現(xiàn)學(xué)習(xí)干預(yù)[31]。將該方法應(yīng)用于在線學(xué)習(xí)、翻轉(zhuǎn)教學(xué)、課堂教學(xué)以及網(wǎng)絡(luò)研討中，發(fā)現(xiàn)所提出的干預(yù)策略提高了學(xué)生學(xué)習(xí)成績(jī)，并且無(wú)聊情感分別下降65%、43%、43%與53%。Standen等人利用多模態(tài)情感計(jì)算實(shí)現(xiàn)對(duì)投入、挫折與無(wú)聊情感狀態(tài)的自動(dòng)分析，在此基礎(chǔ)上向?qū)W習(xí)者推薦學(xué)習(xí)內(nèi)容，來(lái)保持學(xué)習(xí)者最優(yōu)的情感狀態(tài)以最大限度提升學(xué)習(xí)效率[32]。結(jié)果表明，結(jié)合學(xué)習(xí)情感的內(nèi)容推薦會(huì)提升學(xué)生學(xué)習(xí)投入，有助于學(xué)習(xí)者保持良好的學(xué)習(xí)狀態(tài)，但對(duì)學(xué)習(xí)成績(jī)的影響還有待證明。類似的，也有研究嘗試探討基于學(xué)習(xí)情感來(lái)制定與選擇教學(xué)策略[33]。總的來(lái)說(shuō)，研究人員逐步意識(shí)到學(xué)習(xí)干預(yù)與教學(xué)決策中結(jié)合學(xué)習(xí)情感的必要性。

（四）探索學(xué)習(xí)情感的作用機(jī)制

近年來(lái)，學(xué)習(xí)理論與實(shí)踐的重大轉(zhuǎn)變是充分融合認(rèn)知與學(xué)習(xí)情感，并積極探索情感在學(xué)習(xí)過(guò)程中的作用機(jī)制。Bahreini等人在教育游戲中通過(guò)識(shí)別面部與語(yǔ)音信號(hào)向玩家反饋情感信息，以訓(xùn)練和提升學(xué)習(xí)者的社交溝通能力[34]。研究發(fā)現(xiàn)，游戲過(guò)程中情感的自動(dòng)反饋可以提升學(xué)習(xí)者的社交溝通能力。另外，Wang 等人利用所開發(fā)的多模態(tài)情感導(dǎo)學(xué)系統(tǒng)，分析情感因素對(duì)學(xué)習(xí)者的交互滿意度與學(xué)習(xí)表現(xiàn)的影響[35]。結(jié)果表明，該系統(tǒng)通過(guò)提供情感感知與反饋提升了學(xué)生學(xué)習(xí)效果與滿意度。該研究還指出，情感計(jì)算教育應(yīng)用能提升學(xué)生學(xué)習(xí)興趣與保持積極學(xué)習(xí)態(tài)度，并有望得到廣泛應(yīng)用。上述研究表明，情感感知與反饋對(duì)促進(jìn)學(xué)生學(xué)習(xí)具有積極作用。而最近一項(xiàng)研究證實(shí)，學(xué)習(xí)情感與學(xué)習(xí)表現(xiàn)間存在正相關(guān)關(guān)系，且相關(guān)系數(shù)為0.74[31]。然而，學(xué)習(xí)情感與認(rèn)知過(guò)程的演化機(jī)制還缺乏探討，后續(xù)相關(guān)研究可圍繞該主題進(jìn)行探索。

五、多模態(tài)學(xué)習(xí)情感計(jì)算的發(fā)展建議

（一）降低數(shù)據(jù)采集的侵入性，平衡數(shù)據(jù)真實(shí)性與準(zhǔn)確性

情感數(shù)據(jù)采集需要借助相關(guān)工具或設(shè)備，如視頻監(jiān)控、生理感知設(shè)備等。有調(diào)查顯示，大部分學(xué)生認(rèn)為課堂環(huán)境下應(yīng)用監(jiān)控設(shè)備是對(duì)隱私的侵犯[36];而生理信息采集需要特定傳感設(shè)備的支持，其侵入性較大，難以保證數(shù)據(jù)的真實(shí)性[20]?？梢哉f(shuō)，相關(guān)設(shè)備的介入會(huì)引發(fā)學(xué)生的不適應(yīng)，降低學(xué)習(xí)者的思維活躍度，數(shù)據(jù)真實(shí)性與準(zhǔn)確性難以平衡，進(jìn)而影響研究結(jié)果的可靠性[37]。在教育研究中，多模態(tài)情感數(shù)據(jù)采集應(yīng)結(jié)合輕量型傳感設(shè)備，進(jìn)行伴隨式采集多通道信息，將設(shè)備引發(fā)的干擾降到最低，力求情感數(shù)據(jù)的真實(shí)性。同時(shí)借助自我報(bào)告或?qū)＜矣^察的方式，收集學(xué)習(xí)過(guò)程中的質(zhì)性數(shù)據(jù)，進(jìn)一步增強(qiáng)分析結(jié)果的準(zhǔn)確性。對(duì)于教育裝備服務(wù)商而言，應(yīng)加大輕量型傳感設(shè)備的研發(fā)，以優(yōu)化情感數(shù)據(jù)采集的設(shè)備與產(chǎn)品。

（二）提升數(shù)據(jù)模型可解釋性，促進(jìn)學(xué)習(xí)情感歸因

由于多模態(tài)數(shù)據(jù)固有的特殊性，研究人員在處理與分析情感數(shù)據(jù)時(shí)常用到機(jī)器學(xué)習(xí)算法。而算法本身存在“黑箱”，即輸入多模態(tài)情感數(shù)據(jù)，輸出是學(xué)習(xí)情感類別，研究者無(wú)法檢視算法模型是如何完成工作的，這也意味著模型的可解釋度不高。因而，無(wú)法確定何種因素是激活消極情感的主導(dǎo)因素，給情感歸因造成一定困難。針對(duì)上述問(wèn)題，相關(guān)研究也不斷探索提升數(shù)據(jù)模型可解釋性的方法。其中，教育領(lǐng)域常用的解決方案是“灰盒”方法[10]。該方法認(rèn)為，首先應(yīng)根據(jù)相關(guān)理論與文獻(xiàn)分析來(lái)確定所要提取的特征，然后利用機(jī)器學(xué)習(xí)進(jìn)行必要的計(jì)算分析，期間嚴(yán)格遵循機(jī)器學(xué)習(xí)的應(yīng)用邊界，從而避免無(wú)法解釋情感分析結(jié)果的局面。換句話說(shuō)，“灰盒”方法旨在幫助研究人員找到最優(yōu)手段（算法），而非最優(yōu)目標(biāo)（輸出）。目前“灰盒”方法已在多模態(tài)學(xué)習(xí)分析中展現(xiàn)出可觀的應(yīng)用潛力，未來(lái)研究可將此方法應(yīng)用于多模態(tài)情感計(jì)算中，以降低學(xué)習(xí)情感歸因的難度。

（三）綜合衡量學(xué)習(xí)狀態(tài)，增強(qiáng)學(xué)習(xí)干預(yù)精準(zhǔn)性

情感支持的學(xué)習(xí)干預(yù)對(duì)學(xué)習(xí)結(jié)果有重要影響。然而，僅從學(xué)習(xí)情感的角度進(jìn)行干預(yù)，沒(méi)有建立學(xué)習(xí)情感與個(gè)體特征、學(xué)習(xí)行為等層面關(guān)聯(lián)，導(dǎo)致無(wú)法全面感知學(xué)習(xí)者的學(xué)習(xí)狀態(tài)，勢(shì)必會(huì)影響學(xué)習(xí)干預(yù)的精準(zhǔn)性。換句話說(shuō)，學(xué)習(xí)情感是學(xué)習(xí)干預(yù)的必要不充分因素，還需綜合衡量學(xué)習(xí)過(guò)程中的其他因素。未來(lái)研究一方面要將學(xué)習(xí)情感與可觀測(cè)、可干預(yù)的個(gè)體特征結(jié)合，如認(rèn)知能力、認(rèn)知結(jié)構(gòu)、學(xué)習(xí)態(tài)度等[38];另一方面需同步情感數(shù)據(jù)與學(xué)習(xí)行為數(shù)據(jù)，構(gòu)建完整的“數(shù)據(jù)鏈條”。以此突破情感或?qū)W習(xí)行為的單一視角，從多方面綜合考慮學(xué)習(xí)干預(yù)措施，以提升干預(yù)的精準(zhǔn)性。

（四）拓展教育應(yīng)用探索，推動(dòng)情感計(jì)算實(shí)踐創(chuàng)新

情感計(jì)算教育應(yīng)用是為解決在線學(xué)習(xí)中“情感缺失”而發(fā)展起來(lái)，其應(yīng)用集中于在線教育場(chǎng)景中。在多模態(tài)分析的推動(dòng)下，學(xué)習(xí)情感計(jì)算的實(shí)踐探索逐步從在線環(huán)境轉(zhuǎn)向課堂環(huán)境。但受“路燈效應(yīng)”影響，多模態(tài)情感計(jì)算的應(yīng)用情境仍然較為局限，其廣泛應(yīng)用還存在一定距離。為滿足情感計(jì)算在多元場(chǎng)景中的應(yīng)用需求，未來(lái)研究應(yīng)嘗試物理情境、混合環(huán)境下情感數(shù)據(jù)的采集與分析，通過(guò)線上行為數(shù)據(jù)與線下情感信息結(jié)合，全面感知與持續(xù)跟蹤學(xué)習(xí)者的學(xué)習(xí)狀態(tài)。另外，多模態(tài)分析也適用于監(jiān)測(cè)和分析兒童的情感反應(yīng)與行為模式[39]，且兒童比成人更傾向于情感表達(dá)[40]，因而相關(guān)研究可探索低年齡段學(xué)習(xí)者的情感狀態(tài)，以充分理解學(xué)習(xí)行為的發(fā)生機(jī)制，為教育改革與創(chuàng)新提供有效參考。

六、結(jié)? ?語(yǔ)

總的來(lái)說(shuō)，本研究從智能技術(shù)發(fā)展與學(xué)習(xí)情感的內(nèi)在價(jià)值出發(fā)，闡述了多模態(tài)學(xué)習(xí)情感計(jì)算的發(fā)展動(dòng)因，并根據(jù)多模態(tài)數(shù)據(jù)分析過(guò)程，構(gòu)建了多模態(tài)學(xué)習(xí)情感計(jì)算的研究框架，為綜合分析學(xué)習(xí)情感與評(píng)估學(xué)習(xí)過(guò)程提供了方向與思路。然而，我國(guó)多模態(tài)學(xué)習(xí)情感計(jì)算尚處于起步階段，相關(guān)研究與實(shí)踐探索任重道遠(yuǎn)。不過(guò)，隨著人工智能與教育的深度融合，多模態(tài)學(xué)習(xí)情感計(jì)算勢(shì)必會(huì)成為推動(dòng)智能教育發(fā)展的中堅(jiān)力量。

[參考文獻(xiàn)]

[1] WU C， HUANG Y， HWANG J. Review of affective computing in education/learning： trends and challenges[J]. British journal of educational technology， 2016， 47（6）： 1304-1323.

[2] 李澤林，陳虹琴.人工智能對(duì)教學(xué)的解放與奴役——兼論教學(xué)發(fā)展的現(xiàn)代性危機(jī)[J].電化教育研究，2020，41（1）：115-121.

[3] PICARD R W. Affective computing[M]. Cambridge： MIT Press， 1997.

[4] GIANNAKOS M N， SHARMA K， PAPPAS I O， et al. Multimodal data as a means to understand the learning experience[J]. International journal of information management， 2019（48）： 108-119.

[5] 張琪，王紅梅.學(xué)習(xí)投入的多模態(tài)數(shù)據(jù)表征：支撐理論、研究框架與關(guān)鍵技術(shù)[J].電化教育研究，2019，40（12）：21-28.

[6] LODERER K， PEKRUN R， LESTER J C. Beyond cold technology： a systematic review and meta-analysis on emotions in technology-based learning environments[J]. Learning and instruction， 2020（70）： 1-15.

[7] MORENO R. Does the modality principle hold for different media？ a test of the method-affects-learning hypothesis： modality principle[J]. Journal of computer assisted learning， 2006， 22（3）： 149-158.

[8] DI MITRI D， SCHNEIDER J， SPECHT M， et al. From signals to knowledge： a conceptual model for multimodal learning analytics[J]. Journal of computer assisted learning， 2018， 34（4）： 338-349.

[9] NIGAY L， COUTAZ J. A design space for multimodal systems： concurrent processing and data fusion[C]//Proceedings of the SIGCHI conference on Human factors in computing systems-CHI '93. Amsterdam， The Netherlands： ACM Press， 1993： 172-178.

[10] SHARMA K， PAPAMITSIOU Z， GIANNAKOS M. Building pipelines for educational data using AI and multimodal analytics： a "grey-box" approach[J]. British journal of educational technology， 2019， 50（6）： 3004-3031.

[11] D'MELLO S K，KORY J. A review and meta-analysis of multimodal affect detection systems[J]. ACM computing surveys，2015，47（3）：1-36.

[12] 李卿，任緣，黃田田，等.基于傳感數(shù)據(jù)的學(xué)習(xí)分析應(yīng)用研究[J].電化教育研究，2019，40（5）：64-71.

[13] JAQUES P A， VICARI R M. A BDI approach to infer students emotions in an intelligent learning environment[J]. Computers & education， 2007， 49（2）： 360-384.

[14] PEKRUN R. The control-value theory of achievement emotions： assumptions， corollaries， and implications for educational research and practice[J]. Educational psychology review， 2006， 18（4）： 315-341.

[15] LEUTNER D. Motivation and emotion as mediators in multimedia learning[J]. Learning and instruction， 2014（29）： 174-175.

[16] MCGAUGH J L. Emotional arousal regulation of memory consolidation[J]. Current opinion in behavioral sciences， 2018（19）： 55-60.

[17] SANDANAYAKE T C， MADURAPPERUMA A P. Affective e-learning model for recognising learner emotions in online learning environment[C]// International Conference on Advances in ICT for Emerging Regions. Colombo， Sri Lanka： IEEE， 2013： 266-271.

[18] 汪維富，毛美娟.多模態(tài)學(xué)習(xí)分析：理解與評(píng)價(jià)真實(shí)學(xué)習(xí)的新路向[J].電化教育研究，2021，42（2）：25-32.

[19] TAO J， TAN T. Affective Computing： A Review[C]// TAO J， TAN T， PICARD R W. Affective Computing and Intelligent Interaction. Berlin： Springer， 2005： 981-995.

[20] 葉俊民，周進(jìn)，李超.情感計(jì)算教育應(yīng)用的多維透視[J].開放教育研究，2020，26（6）：77-88.

[21] 周進(jìn)，葉俊民，王志峰，等.國(guó)外情感分析教育應(yīng)用的進(jìn)展與啟示[J].現(xiàn)代教育技術(shù)，2020，30（12）：34-40.

[22] HUSSAIN MD S， MONKARESI H， CALVO R A. Categorical vs. dimensional representations in multimodal affect detection during learning[G]//CERRI S A， CLANCEY W J， PAPADOURAKIS G， et al. Intelligent Tutoring Systems. Berlin， Heidelberg： Springer Berlin Heidelberg， 2012， 7315： 78-83.

[23] EDWARDS A A， MASSICCI A， SRIDHARAN S， et al. Sensor-based methodological observations for studying online learning[C]//Proceedings of the 2017 ACM Workshop on Intelligent Interfaces for Ubiquitous and Smart Learning. Limassol： ACM Press， 2017： 25-30.

[24] CHEN J， SHE Y， ZHENG M， et al. A multimodal affective computing approach for children companion robots[C]//Proceedings of the Seventh International Symposium of Chinese CHI on - Chinese CHI '19. Xiamen： ACM Press， 2019： 57-64.

[25] D'MELLO S. A selective meta-analysis on the relative incidence of discrete affective states during learning with technology[J]. Journal of educational psychology， 2013， 105（4）： 1082-1099.

[26] D'MELLO S， CALVO R A. Beyond the basic emotions： what should affective computing compute？ [C]//CHI '13 Extended Abstracts on Human Factors in Computing Systems on - CHI EA '13. Paris： ACM Press， 2013： 2287- 2294.

[27] RAY A， CHAKRABARTI A. Design and implementation of technology enabled affective learning using fusion of bio-physical and facial expression[J]. Educational technology & society， 2016， 19（4）： 112-125.

[28] ASHWIN T S， GUDDETI R M R. Automatic detection of students' affective states in classroom environment using hybrid convolutional neural networks[J]. Education and information technologies， 2020， 25（2）： 1387-1415.

[29] LIN H K， SU S， CHAO C， et al. Construction of multi-mode affective learning system： taking affective design as an example[J]. Educational technology & society， 2016， 19（2）： 132-147.

[30] 薛耀鋒，楊金朋，郭威，等.面向在線學(xué)習(xí)的多模態(tài)情感計(jì)算研究[J].中國(guó)電化教育，2018（2）：46-50，83.

[31] ASHWIN T S， GUDDETI R M R. Impact of inquiry interventions on students in e-learning and classroom environments using affective computing framework[J]. User modeling and user-adapted interaction， 2020（30）： 759-801.

[32] STANDEN P J， BROWN D J， TAHERI M， et al. An evaluation of an adaptive learning system based on multimodal affect recognition for learners with intellectual disabilities[J]. British journal of educational technology， 2020， 51（5）： 1748-1765.

[33] LIN H K， WANG C， CHAO C， et al. Employing textual and facial emotion recognition to design an affective tutoring system[J]. The turkish online journal of educational technology， 2012， 11（4）： 418-426.

[34] BAHREINI K， NADOLSKI R， WESTERA W. Communication skills training exploiting multimodal emotion recognition[J]. Interactive learning environments， 2017， 25（8）： 1065-1082.

[35] WANG C， LIN H K. Emotional design tutoring system based on multimodal affective computing techniques[J]. International journal of distance education technologies， 2018， 16（1）： 103-117.

[36] 鄭祖?zhèn)?，曹?yáng).教室里的電子眼在看什么[EB/OL].（2013-05-27）[2020-12-05].http：//edu.people.com.cn/n/2013/0527/c1053-2162 8580.html.

[37] 晉欣泉，王林麗，楊現(xiàn)民.基于大數(shù)據(jù)的在線學(xué)習(xí)情緒測(cè)量模型構(gòu)建[J].現(xiàn)代教育技術(shù)，2016，26（12）：5-11.

[38] 樊敏生，武法提.數(shù)據(jù)驅(qū)動(dòng)的動(dòng)態(tài)學(xué)習(xí)干預(yù)系統(tǒng)設(shè)計(jì)[J].電化教育研究，2020，41（11）：87-93.

[39] CRESCENZI‐LANNA L. Multimodal learning analytics research with young children： a systematic review[J]. British journal of educational technology， 2020， 51（5）： 1485-1504.

[40] BAKER R S J D.， D'MELLO S K， RODRIGO MA M T， et al. Better to be frustrated than bored： the incidence， persistence， and impact of learners' cognitive-affective states during interactions with three different computer-based learning environments[J]. International journal of human-computer studies， 2010， 68（4）： 223-241.