智能時代的學(xué)習(xí)者情緒感知：內(nèi)涵、現(xiàn)狀與趨勢*

王一巖 劉士玉 鄭永和

（北京師范大學(xué) 教育學(xué)部，北京 100875）

以物聯(lián)網(wǎng)、大數(shù)據(jù)、云計算、人工智能為代表的新興智能技術(shù)的快速發(fā)展，為智能教育領(lǐng)域相關(guān)研究的開展帶來了新的發(fā)展契機，有助于實現(xiàn)數(shù)據(jù)賦能的學(xué)習(xí)現(xiàn)象解釋和學(xué)習(xí)規(guī)律的發(fā)現(xiàn)，為學(xué)習(xí)者行為分析、認(rèn)知診斷、情緒感知等前沿研究的開展，提供了充足的理論和技術(shù)支持，以進一步構(gòu)建基于“知識、認(rèn)知、行為、情感”的精準(zhǔn)化學(xué)習(xí)者模型[1]。

學(xué)習(xí)者情緒狀態(tài)的智能感知是近年來智能教育領(lǐng)域研究的重要問題，突出體現(xiàn)在智能導(dǎo)學(xué)系統(tǒng)、自適應(yīng)學(xué)習(xí)支持系統(tǒng)、教育機器人等前沿研究領(lǐng)域，進而對學(xué)習(xí)者情緒狀態(tài)感知和情緒發(fā)生機理進行深入探索。從本質(zhì)上來講，一方面，學(xué)習(xí)者的情緒狀態(tài)能夠反映學(xué)習(xí)者對教學(xué)內(nèi)容、教學(xué)媒體、教學(xué)環(huán)境的偏好，有助于挖掘深層次的認(rèn)知風(fēng)格和學(xué)習(xí)興趣；另一方面，能夠反映學(xué)習(xí)者的知識水平、認(rèn)知結(jié)構(gòu)、學(xué)習(xí)動機對學(xué)習(xí)者主觀學(xué)習(xí)體驗的影響機理，有助于剖析深層次的學(xué)習(xí)發(fā)生機制。

因此，對于學(xué)習(xí)者情緒狀態(tài)的智能感知研究，在智能技術(shù)快速發(fā)展的時代背景下具有重要價值。借助智能感知設(shè)備實現(xiàn)對學(xué)習(xí)者情感數(shù)據(jù)的智能采集，利用自然語言處理、語音識別、計算機視覺、生理信息識別領(lǐng)域的相關(guān)理論和方法，分析學(xué)習(xí)者的情感狀態(tài)，探究外部教育情境要素和內(nèi)部認(rèn)知發(fā)展?fàn)顩r對學(xué)習(xí)者情緒狀態(tài)的影響機理，能夠在更深層次上剖析學(xué)習(xí)者的情感發(fā)生機制，對智能教育領(lǐng)域相關(guān)研究的進一步開展，具有指導(dǎo)意義。為此，本文從智能時代學(xué)習(xí)者情緒感知的動因出發(fā)，對學(xué)習(xí)者情緒感知的內(nèi)涵、現(xiàn)狀與趨勢加以系統(tǒng)分析，以期為后續(xù)相關(guān)研究的開展，理清思路或提供一些參考。

一、學(xué)習(xí)者情緒感知的動因分析

（一）現(xiàn)有相關(guān)研究重視個體情感與變化

人本主義學(xué)習(xí)理論認(rèn)為，學(xué)習(xí)是情感與認(rèn)知相統(tǒng)一的精神活動[2]，學(xué)習(xí)不能脫離學(xué)習(xí)者的情感變化而獨立進行。注重對學(xué)生內(nèi)在心理世界的了解，以順應(yīng)學(xué)生的興趣、需要、經(jīng)驗以及個性差異，激發(fā)其認(rèn)知與情感的相互作用。強調(diào)學(xué)習(xí)者的認(rèn)知、動機、情感等內(nèi)部心理要素對行為的制約作用，重視學(xué)習(xí)過程中學(xué)習(xí)者意愿、情感與需要的滿足[3]。人本主義的代表人物羅杰斯（Rogers）認(rèn)為，學(xué)習(xí)是有意義的心理過程，他將學(xué)習(xí)歸結(jié)為學(xué)習(xí)者行為、認(rèn)知和情感共同作用的結(jié)果，強調(diào)情感對于知識建構(gòu)和認(rèn)知發(fā)展的調(diào)節(jié)作用。

近年來，心理學(xué)與腦科學(xué)的相關(guān)研究也表明，學(xué)習(xí)者的情感狀態(tài)能夠?qū)W(xué)習(xí)過程和學(xué)習(xí)結(jié)果產(chǎn)生深層次的影響，積極的情緒有助于激發(fā)學(xué)習(xí)者對學(xué)習(xí)內(nèi)容的興趣，促進學(xué)生積極主動地進行知識建構(gòu)，提升學(xué)習(xí)的成效。在今天智能教育快速發(fā)展的背景下，對于學(xué)習(xí)者學(xué)習(xí)發(fā)生機理的詮釋，逐漸成為教育科學(xué)研究的重要內(nèi)容。即強調(diào)學(xué)習(xí)者情感狀態(tài)對于內(nèi)在認(rèn)知發(fā)展和外在行為表征的影響機理的詮釋，以實現(xiàn)對學(xué)習(xí)發(fā)展規(guī)律的全方位解析。

（二）智能教育有賴于科學(xué)精準(zhǔn)的學(xué)習(xí)者建模

學(xué)習(xí)者模型的構(gòu)建是學(xué)習(xí)分析領(lǐng)域研究的關(guān)鍵問題，通過對學(xué)習(xí)者知識技能、認(rèn)知行為、情感體驗的抽象表示[4]，實現(xiàn)面向?qū)W習(xí)者知識、技能、情感、態(tài)度等方面的精準(zhǔn)刻畫，可為個性化資源推薦、精準(zhǔn)化教學(xué)干預(yù)和智能教育研究的開展，提供全方位支持。隨著智能技術(shù)的發(fā)展和研究的不斷深入，關(guān)于學(xué)習(xí)者模型的構(gòu)建逐漸向深層次、寬領(lǐng)域、多模態(tài)的方向發(fā)展：（1）在數(shù)據(jù)采集層面，改變傳統(tǒng)以學(xué)生人口統(tǒng)計特征和在線學(xué)習(xí)行為數(shù)據(jù)為主的建構(gòu)模式，實現(xiàn)基于自然語言處理、計算機視覺、語音識別、生理信息識別等智能技術(shù)的全方位挖掘分析，以構(gòu)建面向?qū)W習(xí)者個體的多模態(tài)數(shù)據(jù)集；（2）在學(xué)習(xí)者特征層面，轉(zhuǎn)變傳統(tǒng)以學(xué)生知識水平為核心的模型構(gòu)建理念，重視面向?qū)W習(xí)者知識建構(gòu)過程、認(rèn)知發(fā)展規(guī)律和情感發(fā)生機制的深層次解析，實現(xiàn)對學(xué)習(xí)者個體潛在特征的挖掘分析；（3）在學(xué)習(xí)者模型構(gòu)建層面，強化對學(xué)習(xí)者“認(rèn)知—行為—情感”的聯(lián)動分析，重視學(xué)習(xí)者認(rèn)知和情感之間的協(xié)同發(fā)展機理，探究學(xué)生情緒變化對知識建構(gòu)和認(rèn)知發(fā)展的影響規(guī)律。以實現(xiàn)對完整學(xué)習(xí)周期中學(xué)習(xí)者“認(rèn)知建構(gòu)過程—情感發(fā)生機制—行為表征模式”的全方位建模分析，構(gòu)建深入、全面的學(xué)習(xí)者模型。

（三）智能技術(shù)進步驅(qū)動學(xué)習(xí)情感的量化測評

當(dāng)下，以物聯(lián)網(wǎng)、大數(shù)據(jù)、云計算為代表的新興智能技術(shù)的快速發(fā)展，為學(xué)習(xí)者情緒感知和情感計算研究等開展，帶來全新的發(fā)展契機。主要表現(xiàn)在：第一，利用攝像機、眼動儀、智能手環(huán)、數(shù)據(jù)手套、智能座椅、腦電儀等智能感知設(shè)備，對真實教學(xué)場景中每個學(xué)生的語言、表情、動作、呼吸、心跳、腦電、皮膚電等數(shù)據(jù)進行精準(zhǔn)采集，可構(gòu)建面向智能化情緒感知的多模態(tài)符號表征體系；第二，利用自然語言處理、語音識別、計算機視覺、生理信息識別等技術(shù)，構(gòu)建面向?qū)W習(xí)者和學(xué)習(xí)環(huán)境的多模態(tài)信息感知通道，對多元教學(xué)場景中學(xué)習(xí)者的情感狀態(tài)數(shù)據(jù)進行采集，能夠在最大程度上還原學(xué)習(xí)者個體情感發(fā)生過程；第三，利用多模態(tài)機器學(xué)習(xí)技術(shù)[5]，實現(xiàn)對真實教學(xué)場景中學(xué)習(xí)者情感狀態(tài)的多場景、時序化、全方位的建模分析，結(jié)合認(rèn)知神經(jīng)科學(xué)的相關(guān)理論，對學(xué)習(xí)者情感的發(fā)生機制及其對認(rèn)知發(fā)生過程的影響機理進行深入挖掘，可實現(xiàn)對學(xué)習(xí)者情感狀態(tài)的多元分析?？梢?，智能時代學(xué)習(xí)者情緒感知的研究，基于智能感知設(shè)備和智能計算技術(shù)強化對學(xué)習(xí)者情感信息的獲取和分析，構(gòu)建面向?qū)W習(xí)者個體的情感模型，以實現(xiàn)對學(xué)習(xí)者情感的發(fā)生機理和表達(dá)機制進行深度剖析與量化測評。

二、學(xué)習(xí)者情緒感知的概念、機制與內(nèi)涵

（一）相關(guān)概念詮釋

1.情緒和情感

情緒和情感，是指能夠反映人對客觀事物態(tài)度的主觀體驗和相應(yīng)的行為反應(yīng)。情緒心理學(xué)的相關(guān)研究表明，情緒是人在特定情境中的一種短暫而強烈的情感反應(yīng)，通常表現(xiàn)為“高興、驚訝、厭煩、悲傷、恐懼、憤怒”等瞬時反應(yīng)[6]；情感則是經(jīng)過長時間積累的、具有深沉體驗的感情狀態(tài)，表現(xiàn)為對特定事物穩(wěn)定、持久的心理傾向，如幸福、仇恨、喜愛、厭惡等。在大多數(shù)情況下，情緒和情感的概念可以通用。

2.情緒感知和情感計算

情感和情緒在智能計算領(lǐng)域，主要表征為情感計算和情緒感知兩個方面。情感計算的概念最早由美國麻省理工學(xué)院皮卡德（Picard R.） 教授在1997年提出，他將情感計算界定為“與情感有關(guān)、由情感引發(fā)或者能夠影響情感因素的計算”[7]。近年來，人工智能領(lǐng)域的相關(guān)學(xué)者致力于幫助機器識別和表達(dá)人類的情感，將情感計算定義為“利用機器識別、理解和表達(dá)人類情感的方法和機制”，從而賦予情感計算新的價值內(nèi)涵。從研究的范疇上來講，情感計算包括情感發(fā)生機理的研究、情感信號的獲取、情感建模分析、情感理解、情感表達(dá)、情感生成等方面，囊括了情感和情緒相關(guān)研究的各個層面；而情緒感知主要通過情感數(shù)據(jù)的獲取、情感特征的提取和分類，來識別研究對象的情緒狀態(tài)，是情感計算的重要組成部分。

（二）情緒感知的科學(xué)依據(jù)與機制

1.情緒感知的認(rèn)知心理機制

美國心理學(xué)家沙克特（Schachter） 在上世紀(jì)70年代初，就提出了“情緒三因素說”，他將情緒的產(chǎn)生界定為“外界刺激、機體的生理變化和認(rèn)知過程三者之間相互作用的結(jié)果”，強調(diào)個體的認(rèn)知過程對情緒的調(diào)節(jié)作用。心理學(xué)研究重視情感的個體差異，認(rèn)為情感是外部刺激和個體特征共同作用所引發(fā)的內(nèi)部需要的變化，強調(diào)由個體差異決定的情感主體（一般指人）和情感客體（引發(fā)個體情感狀態(tài)變化的外界刺激因素）之間的相互作用所引發(fā)的情感強度、飽和度和維持度的差異。情緒認(rèn)知理論主張個體情緒的產(chǎn)生受到環(huán)境事件、生理狀況和認(rèn)知過程三種因素的多重或疊加影響，強調(diào)外界刺激和個體內(nèi)部生理和認(rèn)知狀態(tài)對于情緒變化的共同作用。

2.情緒感知的神經(jīng)生理機制

認(rèn)知神經(jīng)科學(xué)領(lǐng)域情緒感知研究的關(guān)鍵，在于通過對人的情感狀態(tài)和生理結(jié)構(gòu)的解析，發(fā)現(xiàn)情緒狀態(tài)變化所引發(fā)的生理反應(yīng)，以揭示情感的神經(jīng)生理機制[8]。James－Lange 理論（又稱情緒的外周理論）認(rèn)為，情緒的產(chǎn)生過程是由外界刺激引起機體的神經(jīng)沖動，進而傳導(dǎo)至中樞神經(jīng)系統(tǒng)產(chǎn)生情緒。James 認(rèn)為，情緒是對身體變化的知覺，機體的生理變化是情緒產(chǎn)生的直接原因；蘭格（Lange）認(rèn)為，情緒變化是器官活動的結(jié)果，強調(diào)情緒變化與內(nèi)臟活動之間的復(fù)雜關(guān)系。而Cannon－Budd 學(xué)說認(rèn)為，情緒的產(chǎn)生是由外界刺激引起感覺器官的神經(jīng)沖動，傳至丘腦，再由丘腦同時向大腦和植物性神經(jīng)系統(tǒng)發(fā)出神經(jīng)沖動，進而在大腦皮層產(chǎn)生情緒體驗，在植物性神經(jīng)系統(tǒng)產(chǎn)生一系列神經(jīng)化學(xué)物質(zhì)的變化[9]。該理論認(rèn)為，情緒的中樞系統(tǒng)是丘腦，而不是外周神經(jīng)系統(tǒng)，強調(diào)生理變化與情緒體驗同時發(fā)生。近年來，認(rèn)知心理學(xué)領(lǐng)域的相關(guān)學(xué)者愈加強調(diào)情緒的產(chǎn)生是大腦皮層和皮層下中樞共同作用的結(jié)果，并通過對腦電和外周生理（呼吸、肌電、皮膚電、心電）信號的采集，分析個體的情緒狀態(tài)[10]。相較于語音、表情、動作等外顯行為，生理信號的測量能更好地排除人類主觀因素的影響，能更準(zhǔn)確地反映真實的情感變化狀況[11]。

3.情緒感知的數(shù)據(jù)科學(xué)機制

傳統(tǒng)的情緒感知方法，包括自我報告法、生理測量法和行為觀察法等。近年來，以人工智能為代表的新興智能技術(shù)的快速發(fā)展與應(yīng)用，已經(jīng)賦予情緒感知研究新的價值內(nèi)涵。即強調(diào)多模態(tài)數(shù)據(jù)驅(qū)動的學(xué)習(xí)者情緒狀態(tài)的智能感知與融合，從而推動情緒感知研究朝著數(shù)據(jù)化、科學(xué)化、智能化的方向發(fā)展。因此，智能時代學(xué)習(xí)者情緒感知研究的關(guān)鍵，在于通過對個體外顯行為和內(nèi)在生理信息的測量，發(fā)現(xiàn)個體的情緒狀態(tài)。前者偏向于利用自然語言處理、計算機視覺、語音識別等技術(shù)構(gòu)建面向真實教學(xué)場景的信息感知通道，對個體的語音、動作、表情等外顯行為數(shù)據(jù)進行采集分析，并利用多模態(tài)數(shù)據(jù)融合的方法分析學(xué)習(xí)者的情緒狀態(tài)；后者偏向于利用呼吸、心跳、體溫、皮膚電、肌電、眼動和腦電數(shù)據(jù)分析學(xué)習(xí)者的生理指標(biāo)變化情況，以挖掘其中潛藏的情感信息，實現(xiàn)基于內(nèi)在生理信息的智能化情緒感知。簡言之，智能時代學(xué)習(xí)者情緒感知的研究，需要參照量化學(xué)習(xí)[12]的思想，對學(xué)習(xí)者外顯行為和內(nèi)在生理信息潛藏的情感狀態(tài)信息進行量化測評，構(gòu)建面向個體情緒感知的多模態(tài)符號表征體系，利用數(shù)據(jù)科學(xué)的方法分析情感的發(fā)生機制，以實現(xiàn)多模態(tài)數(shù)據(jù)賦能的學(xué)習(xí)者情緒的智能化、精準(zhǔn)化感知與識別。

（三）學(xué)習(xí)者情緒感知的內(nèi)涵

1.實現(xiàn)對學(xué)習(xí)者情緒狀態(tài)的智能感知

智能時代的學(xué)習(xí)者情緒感知研究與傳統(tǒng)情緒識別研究的區(qū)別，主要在于改變了傳統(tǒng)基于經(jīng)驗式自我報告和行為觀察的情緒識別方法：一是利用人工智能技術(shù)實現(xiàn)實時、精準(zhǔn)、智能的學(xué)習(xí)者情緒狀態(tài)測評，借助智能感知設(shè)備，實現(xiàn)對學(xué)習(xí)者外在行為表征和內(nèi)在生理信息的智能感知與融合分析，構(gòu)建基于文本、語音、視頻和生理信息的多模態(tài)情感數(shù)據(jù)集；二是利用多模態(tài)機器學(xué)習(xí)技術(shù)，實現(xiàn)對學(xué)習(xí)者情緒狀態(tài)的智能感知與識別，借助多模態(tài)數(shù)據(jù)之間的信息互補機制，不斷提升情緒識別的準(zhǔn)確度。

2.實現(xiàn)對學(xué)習(xí)者情緒發(fā)生機理的深入詮釋

學(xué)習(xí)者情緒感知研究的復(fù)雜性，主要體現(xiàn)在其表征和測量層面以及對其發(fā)生機理的詮釋層面。因此，對于學(xué)習(xí)者情緒發(fā)生機理的研究，不能僅僅局限于單一學(xué)科的范疇，需要借助教育學(xué)、心理學(xué)、腦科學(xué)、認(rèn)知科學(xué)、計算機科學(xué)等多個學(xué)科的理論和方法的綜合，以實現(xiàn)對學(xué)習(xí)者的情緒發(fā)生機理進行深入詮釋：第一，研究教育情境要素對于學(xué)習(xí)者情緒狀態(tài)的影響機理，探究教學(xué)內(nèi)容、教學(xué)媒體、教學(xué)資源以及教師的教學(xué)方法對學(xué)習(xí)者情緒的影響機制；第二，研究學(xué)習(xí)者情緒狀態(tài)與認(rèn)知發(fā)展之間的潛在作用關(guān)系，探究學(xué)習(xí)者的認(rèn)知發(fā)展?fàn)顩r（如，對教學(xué)內(nèi)容的掌握程度等）對學(xué)習(xí)者情緒狀態(tài)的影響機制，進而從更深層次上挖掘?qū)W習(xí)者情緒發(fā)生的根本規(guī)律。

3.實現(xiàn)基于學(xué)習(xí)者情緒感知的智慧化教育應(yīng)用

相關(guān)研究表明，學(xué)習(xí)者情緒狀態(tài)的變化與其內(nèi)在的認(rèn)知發(fā)展?fàn)顩r存在顯著的相關(guān)關(guān)系，學(xué)習(xí)者的情緒狀態(tài)能夠在反映學(xué)習(xí)者在特定教育情景下的學(xué)習(xí)投入、學(xué)習(xí)興趣、學(xué)習(xí)動機、認(rèn)知風(fēng)格等潛在特征。因此，對于學(xué)習(xí)者情緒狀態(tài)的深度剖析，能夠在更深層次上揭示教育情境要素對于學(xué)習(xí)者情緒狀態(tài)的影響機制，進而構(gòu)建基于教育情境感知的動態(tài)化學(xué)習(xí)者模型，為學(xué)習(xí)者提供適切性的教育資源供給和精準(zhǔn)的學(xué)習(xí)路徑規(guī)劃服務(wù)；同時，構(gòu)建自適應(yīng)的課堂教學(xué)調(diào)控模型，以幫助教師及時調(diào)整教學(xué)策略、優(yōu)化教學(xué)設(shè)計，提升課堂教學(xué)的成效。

三、學(xué)習(xí)者情緒感知的研究現(xiàn)狀與評述

（一）學(xué)習(xí)者情感模型

學(xué)習(xí)者情感模型的構(gòu)建，有助于對學(xué)習(xí)者的情緒狀態(tài)進行更加精準(zhǔn)全面的描述，可為情緒識別相關(guān)研究工作的開展，提供一些參照。目前，常用的情感模型有：皮卡德（Picard）等人提出的隱馬爾可夫模型[13]，奧托尼（Ortony）、克洛爾（Clore）、柯林斯（Collins）提出的OCC模型[14]，羅素（Russell）等人提出的環(huán)形情感模型[15]，梅拉比安（Mehrabian）和羅素提出的PAD 三維情感模型[16]，普拉奇克（Plutchik）等人提出的“倒錐體”情感模型[17]等。

皮卡德等人提出的隱馬爾可夫情感模型認(rèn)為，人的情感狀態(tài)受情境和時間的影響，會根據(jù)情境、情感主體和情感客體的不同，而表現(xiàn)出特定的情感差異，個體的情感狀態(tài)會隨時間的推移以一定的概率進行轉(zhuǎn)變，強調(diào)情境要素對學(xué)習(xí)者情緒狀態(tài)的影響機制；OCC 情感模型是認(rèn)知心理學(xué)領(lǐng)域經(jīng)典的情感認(rèn)知結(jié)構(gòu)模型，其描述了22種基本情感類型的認(rèn)知結(jié)構(gòu)，將情感的發(fā)生機制界定為三類事件：事件的結(jié)果、仿生代理的動作和對于對象的觀感，并從這三類事件出發(fā)定義情感的層次關(guān)系；羅素等人將情緒表征為愉悅度和喚醒度兩個維度，構(gòu)建了連續(xù)的環(huán)形情感模型：愉悅維度的負(fù)半軸表示消極情緒，正半軸表示積極情緒，喚醒維度的負(fù)半軸表示平緩的情緒，正半軸表示強烈的情緒；PAD 三維情感模型，將個體的情感分為愉悅度、激活度和優(yōu)勢度三個評價維度，用以表征情感的主觀體驗、外部表現(xiàn)和生理喚醒之間的潛在映射關(guān)系；普拉奇克認(rèn)為，情緒具有強度、兩極性、相似性三個維度，提出了“倒錐體”情感模型，椎體剖面包含八種基本情緒，情緒的強度由錐體自上而下表現(xiàn)出一定的衰減規(guī)律。

（二）基于人工智能技術(shù)的學(xué)習(xí)者情緒感知

當(dāng)前，國內(nèi)外人工智能領(lǐng)域的學(xué)習(xí)者情緒感知研究，主要集中在自然語言處理、計算機視覺、語音識別、生理信息識別等領(lǐng)域?qū)η榫w識別的實踐探索，主要利用文本挖掘、語音識別、面部表情識別、手勢識別、生理信息識別等技術(shù)[18]，構(gòu)建基于文本、語音、視頻、生理信息等數(shù)據(jù)的單模態(tài)和多模態(tài)的情緒感知模型，以實現(xiàn)對個體情緒的智能化測評。

1.基于文本數(shù)據(jù)的學(xué)習(xí)者情緒感知

基于文本數(shù)據(jù)的情緒識別是在線學(xué)習(xí)領(lǐng)域常用的情緒感知方法，它通過學(xué)習(xí)者的論壇評論文本、在線學(xué)習(xí)交互文本等數(shù)據(jù)，對學(xué)習(xí)者的情感狀態(tài)進行精準(zhǔn)識別。相關(guān)研究表明，文本數(shù)據(jù)往往比視頻和語音數(shù)據(jù)具有更高的情感信息價值密度，能夠?qū)€體的情緒狀態(tài)進行更加準(zhǔn)確的表示。具有代表性的研究有：劉智等人以課程評論文本中潛在的情感信息為切入點，提出了一種基于半監(jiān)督機器學(xué)習(xí)算法的智能化情緒感知模型識別待測樣本的情感標(biāo)簽，將其用于提取論壇評論文本的“話題—情感”分布信息，并將該模型分別用于課程單元和學(xué)習(xí)者個體的關(guān)鍵話題情感信息挖掘[19]；田鋒等人在基于在線學(xué)習(xí)交互文本的學(xué)習(xí)者情緒識別方面進行了大量實驗，構(gòu)建了基于交互文本的情緒識別研究與應(yīng)用框架，利用支持向量機（SVM）、樸素貝葉斯（Naive Bayesian）、隨機森林（RandomForest）等機器學(xué)習(xí)算法，對學(xué)習(xí)者情緒進行分類，并提出一種用于情緒識別和調(diào)節(jié)的主動學(xué)習(xí)策略[20]。

2.基于語音數(shù)據(jù)的學(xué)習(xí)者情緒感知

基于語音數(shù)據(jù)的學(xué)習(xí)者情緒感知，通常利用線上或線下學(xué)習(xí)場景中學(xué)習(xí)者的語音數(shù)據(jù)，對學(xué)習(xí)者潛在的情感狀況進行挖掘分析。比如，李武等人以語音特征為輸入數(shù)據(jù)，構(gòu)建了基于語音情感識別的在線學(xué)習(xí)系統(tǒng)，利用人工神經(jīng)網(wǎng)絡(luò)的方法對學(xué)習(xí)者的八種情緒狀態(tài)進行識別[21]；胡封曄等人開發(fā)了一套面向在線學(xué)習(xí)的實時語音情感識別系統(tǒng)，通過語音活動檢測、語音分割、信號預(yù)處理、特征提取、情緒分類以及情緒頻率的統(tǒng)計分析，實現(xiàn)對在線學(xué)習(xí)環(huán)境中學(xué)習(xí)者情緒狀態(tài)的實時監(jiān)測，利用支持向量機（SVM）的方法，對學(xué)習(xí)者的情緒狀態(tài)進行識別，取得了較高的準(zhǔn)確度[22]。目前，在真實的實踐場景中，大多數(shù)研究將語音數(shù)據(jù)和文本、視頻數(shù)據(jù)結(jié)合，對個體的情緒狀態(tài)進行識別。如，陳涵建等人基于學(xué)習(xí)者的語音和文本數(shù)據(jù)，利用深度神經(jīng)網(wǎng)絡(luò)等方法，對移動學(xué)習(xí)中學(xué)習(xí)者的情緒狀態(tài)進行識別[23]；巴林（Bahreini）等人構(gòu)建了一種通過網(wǎng)絡(luò)攝像頭和麥克風(fēng)改善學(xué)習(xí)的框架（FILTWAM），通過網(wǎng)絡(luò)攝像頭和麥克風(fēng)對學(xué)習(xí)者的面部表情和言語信息進行連續(xù)且不干擾的采集分析，開展實時的情感狀態(tài)識別，并為學(xué)習(xí)者提供及時的學(xué)習(xí)反饋[24]。

3.基于視頻數(shù)據(jù)的學(xué)習(xí)者情緒感知

基于視頻數(shù)據(jù)的學(xué)習(xí)者情緒感知是情感計算領(lǐng)域最常用的情緒感知模式，基于學(xué)習(xí)者的面部表情、身體姿態(tài)等數(shù)據(jù)，對學(xué)習(xí)者的情緒狀態(tài)進行智能感知，進而識別出學(xué)習(xí)者真實的情感狀態(tài)。具有代表性的研究有：古普塔（Gupta）等人基于智慧教室環(huán)境下學(xué)生的面部表情數(shù)據(jù)，提出了一種基于Inception-V3的深度學(xué)習(xí)框架，對學(xué)生的高積極情緒、低積極情緒、高消極情緒和低消極情緒進行識別，并在真實課堂環(huán)境中進行了實驗，情緒分類的準(zhǔn)確率達(dá)到了87.65%[25]；徐振國等人構(gòu)建了基于面部表情的學(xué)習(xí)者情感數(shù)據(jù)集，并利用卷積神經(jīng)網(wǎng)絡(luò)（CNN）的方法，對學(xué)習(xí)者的“高興、憤怒、悲傷、中性、驚恐、專注、厭倦”七種情緒狀態(tài)進行識別，實驗結(jié)果顯示，七種面部表情識別的準(zhǔn)確率均高于80%[26]；洪啟舜等人提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）框架，對學(xué)習(xí)者的面部表情數(shù)據(jù)進行處理來識別其情緒狀態(tài)，以臺灣某大學(xué)學(xué)生課堂中的面部表情視頻用作測試數(shù)據(jù)，取得了92.42%的準(zhǔn)確度[27]。

4.基于生理信息的學(xué)習(xí)者情緒感知

基于生理信息數(shù)據(jù)的學(xué)習(xí)者情緒感知是近年情感計算領(lǐng)域研究的熱點問題，旨在利用眼動、腦電、皮膚電、功能性磁共振、近紅外等感知設(shè)備，對學(xué)習(xí)者的生理信息數(shù)據(jù)進行采集，進而分析學(xué)習(xí)者的情緒狀態(tài)。比如，白璐迪等人使用小波變換、樣本熵等技術(shù)進行腦電（EEG） 特征的提取，利用長短時記憶網(wǎng)絡(luò)（LSTM）來提高學(xué)習(xí)者情緒識別的準(zhǔn)確度[28]；申麗萍等人利用學(xué)習(xí)者的心率（HR）、血壓（BVP）、皮膚電導(dǎo)（SC）和腦電（EEG）信號，對學(xué)習(xí)者的四種情緒狀態(tài)進行識別，取得了86.3%的準(zhǔn)確率，并將學(xué)習(xí)者情緒感知模型與在線學(xué)習(xí)學(xué)習(xí)平臺結(jié)合，探索學(xué)習(xí)者情緒的演變規(guī)律以及如何使用情感反饋來改善學(xué)習(xí)體驗[29]；賴槿峰等人構(gòu)建了基于皮膚電（GSR）、腦電（EEG）、心率（HR）、肌電圖（EMG）的學(xué)習(xí)者生理信息數(shù)據(jù)集，利用支持向量機（SVM）模型對學(xué)習(xí)者的情緒狀態(tài)進行識別，取得了比單一模態(tài)數(shù)據(jù)更高的準(zhǔn)確度[30]。

5.基于多模態(tài)數(shù)據(jù)的學(xué)習(xí)者情緒感知

近年來，越來越多學(xué)者將研究重點放在多模態(tài)機器學(xué)習(xí)領(lǐng)域，從而引發(fā)了情緒識別研究領(lǐng)域的深刻變革：強調(diào)利用多種智能傳感設(shè)備對個體的文本、語音、視頻、生理信息等數(shù)據(jù)進行多模態(tài)的采集分析，利用不同模態(tài)數(shù)據(jù)間的信息互補機制，以提升情緒識別的準(zhǔn)確度。比如，羅珍珍等人利用智慧教室環(huán)境下學(xué)習(xí)者的頭部姿勢、面部表情和交互行為數(shù)據(jù)，構(gòu)建了多模態(tài)的情緒識別數(shù)據(jù)集，利用條件隨機森林和分層隨機森林算法，對學(xué)習(xí)者的情緒狀態(tài)進行識別[31]；馬爾姆貝格（Malmberg）等人利用皮膚電數(shù)據(jù)和面部表情數(shù)據(jù)，來探究在協(xié)作學(xué)習(xí)的不同階段學(xué)習(xí)者的情緒狀態(tài)和交互模式對學(xué)習(xí)的調(diào)節(jié)作用[32]；孫波等人構(gòu)建了面向真實課堂教學(xué)環(huán)境的多模態(tài)情感數(shù)據(jù)集，利用學(xué)習(xí)者的面部表情、眼睛動作、頭部姿勢、身體動作和手勢等信息，對學(xué)習(xí)者實時的情緒狀態(tài)進行識別，并采用PAD 情感描述模型對學(xué)習(xí)者的情緒狀態(tài)進行標(biāo)記[33]；阿斯溫（Ashwin）等人構(gòu)建了基于在線學(xué)習(xí)和真實課堂環(huán)境下學(xué)生面部表情、手勢和身體姿態(tài)的多模態(tài)情感數(shù)據(jù)庫，利用Inception-V3模型實現(xiàn)對學(xué)習(xí)者的情緒狀態(tài)進行識別，取得了較高的準(zhǔn)確度[34]?，F(xiàn)有的相關(guān)研究表明，多模態(tài)符號系統(tǒng)的表達(dá)能力要勝過單模態(tài)系統(tǒng)[35]，多模態(tài)數(shù)據(jù)的引入能夠有效提升的學(xué)習(xí)者情緒識別的準(zhǔn)確度[36]，為學(xué)習(xí)者情緒感知研究的開展帶來新的機制。

（三）學(xué)習(xí)者情緒感知的教育應(yīng)用

1.基于情緒感知的學(xué)習(xí)投入測評

學(xué)習(xí)投入是對學(xué)習(xí)者學(xué)習(xí)過程監(jiān)測和學(xué)業(yè)表現(xiàn)測評的重要指標(biāo)，反映了個體學(xué)習(xí)過程中認(rèn)知深度、思維靈活性以及情感體驗的綜合表征[37]。弗雷德里克（Fredricks）在基于“行為投入、認(rèn)知投入”的二維學(xué)習(xí)投入模型的基礎(chǔ)上，增加了情感維度[38]，強調(diào)學(xué)習(xí)者的情感投入與外在行為行為表現(xiàn)和內(nèi)在認(rèn)知發(fā)展之間的潛在作用關(guān)系。隨著情感計算領(lǐng)域相關(guān)研究的開展，對學(xué)習(xí)者情感投入的測評，逐漸成為智能教育領(lǐng)域相關(guān)研究人員關(guān)注的熱點話題。比如，克里西卡（Krithika）提出了一種基于眼睛和頭部運動的在線學(xué)習(xí)情緒識別系統(tǒng)，用于檢測學(xué)習(xí)者的注意力水平，并將學(xué)習(xí)者對主題的參與和興趣進行分類，以改善學(xué)習(xí)者的學(xué)習(xí)體驗[39]；尼納斯（Ninaus）等人利用機器學(xué)習(xí)的方法，對學(xué)習(xí)者的面部表情進行情緒檢測，發(fā)現(xiàn)學(xué)習(xí)者在基于游戲的學(xué)習(xí)任務(wù)中的情感投入高于非游戲任務(wù)[40]；施拉德（Schrader）等人利用平板電腦的筆壓力參數(shù)，測量學(xué)生的愉悅感和沮喪感，并探究了學(xué)習(xí)者情緒與學(xué)習(xí)參與度和學(xué)業(yè)表現(xiàn)之間的關(guān)系[41]；李艷燕等人構(gòu)建了在線協(xié)作學(xué)習(xí)中小組學(xué)習(xí)投入的分析模型，探究學(xué)習(xí)者認(rèn)知、情感投入與學(xué)業(yè)表現(xiàn)之間的作用關(guān)系，發(fā)現(xiàn)積極、消極、困惑三類情感投入與小組成績呈負(fù)相關(guān)關(guān)系[42]。

2.學(xué)習(xí)者情緒感知與學(xué)業(yè)表現(xiàn)的內(nèi)生機理

情緒作為一種與教學(xué)過程密切相關(guān)的非智力因素，能夠影響和調(diào)節(jié)學(xué)習(xí)者的注意、記憶、思維等認(rèn)知活動，并在一定程度上影響教學(xué)活動的開展和教學(xué)目標(biāo)的達(dá)成。大量研究表明，個體的情緒與學(xué)習(xí)動機、學(xué)習(xí)策略、認(rèn)知資源、自我調(diào)節(jié)、學(xué)業(yè)成就等因素間均存在顯著相關(guān)關(guān)系[43]。關(guān)于學(xué)習(xí)者情緒與學(xué)業(yè)表現(xiàn)內(nèi)生機理的詮釋，也逐漸成為情緒識別領(lǐng)域研究的關(guān)鍵問題。如，陶布（Taub）等人探究了在基于智能導(dǎo)師系統(tǒng)的學(xué)習(xí)過程中，學(xué)生的情緒狀態(tài)與認(rèn)知和元認(rèn)知策略之間的復(fù)雜作用關(guān)系，發(fā)現(xiàn)情緒與學(xué)業(yè)成績相關(guān)，但與成比例的學(xué)習(xí)增益無關(guān)[44]；斯特蘭（Strain）等人利用生理信息識別的方法對學(xué)習(xí)者的情緒狀態(tài)進行識別，并探究情緒與元認(rèn)知和學(xué)業(yè)表現(xiàn)之間的關(guān)系，發(fā)現(xiàn)學(xué)習(xí)者在積極的情緒狀態(tài)下，能夠做出更自信的元認(rèn)知判斷，并且取得更好的學(xué)業(yè)表現(xiàn)[45]；劉智等人利用SPOC 論壇中的文本數(shù)據(jù)，探討了學(xué)習(xí)者情緒特征與學(xué)習(xí)效果之間的關(guān)系，研究結(jié)果表明，在特定學(xué)習(xí)進程中學(xué)習(xí)者的積極、困惑情緒與學(xué)習(xí)效果均呈顯著正相關(guān)，在整體學(xué)習(xí)進程中，學(xué)習(xí)者的消極情緒與學(xué)習(xí)效果呈顯著負(fù)相關(guān)[46]；陳志銘等人利用情緒識別技術(shù)，探究了不同多媒體學(xué)習(xí)材料情況下學(xué)習(xí)者情緒與學(xué)業(yè)表現(xiàn)之間的復(fù)雜作用關(guān)系，發(fā)現(xiàn)在基于視頻媒體的學(xué)習(xí)情境中，學(xué)習(xí)者的情緒狀態(tài)更加積極，且能夠取得更好的學(xué)業(yè)表現(xiàn)[47]。

3.基于情緒感知的智能導(dǎo)學(xué)策略改進

自20世紀(jì)90年代以來，智能導(dǎo)師系統(tǒng)開始關(guān)注學(xué)生情緒變化對學(xué)習(xí)過程和學(xué)習(xí)結(jié)果的影響機制，通過對學(xué)習(xí)者行為、表情和生理信息數(shù)據(jù)的采集，實現(xiàn)對學(xué)習(xí)者情緒狀態(tài)的精準(zhǔn)監(jiān)測，并為其制定個性化的智能導(dǎo)學(xué)策略。阿尤茲（Alyuz）等人使用智能導(dǎo)師系統(tǒng)監(jiān)測學(xué)生的生理信號和面部表情，來識別其情感狀態(tài)、發(fā)現(xiàn)潛在的學(xué)困生，并為其提供及時的教學(xué)干預(yù)[48]；薩拉夫扎德（Sarrafzadeh）等人利用學(xué)習(xí)者的面部表情和手勢動作，來識別學(xué)生的“無聊、困惑、沮喪和焦慮”等情感狀態(tài)，為智能導(dǎo)師系統(tǒng)中學(xué)習(xí)者模型的構(gòu)建和教學(xué)策略的制定，提供多源的數(shù)據(jù)支持[49]；扎塔蘭（Zatarain）等人在基于移動設(shè)備的智能導(dǎo)學(xué)系統(tǒng)中，利用深度學(xué)習(xí)算法實現(xiàn)基于學(xué)習(xí)者面部表情數(shù)據(jù)的情緒識別，根據(jù)學(xué)習(xí)者的情感狀態(tài)和知識水平進行個性化教學(xué)[50]；卡克勞斯卡斯（Kaklauskas）等人構(gòu)建了納入自我認(rèn)知和自尊測評的智能導(dǎo)學(xué)系統(tǒng)，利用基于眼動、腦電、血壓、脈搏等數(shù)據(jù)的多模態(tài)生理信息識別方法，對個體的情緒狀態(tài)進行測量，并為學(xué)生制定個性化的學(xué)習(xí)方案，進而激發(fā)學(xué)習(xí)興趣、提高學(xué)業(yè)表現(xiàn)[51]；蘇盛雄等人利用基于面部表情和文本數(shù)據(jù)的多模態(tài)情緒識別方法，對個體的情緒狀態(tài)進行精準(zhǔn)識別，幫助智能導(dǎo)學(xué)系統(tǒng)為學(xué)習(xí)者選擇合適的教學(xué)策略和課程內(nèi)容，從而使學(xué)習(xí)者獲得良好的學(xué)習(xí)效果[52]。隨著情緒感知技術(shù)在智能導(dǎo)師系統(tǒng)中的廣泛應(yīng)用，相關(guān)學(xué)者提出新一代智能教學(xué)系統(tǒng)是基于學(xué)習(xí)者情緒感知的情感導(dǎo)學(xué)系統(tǒng)[53]，通過對學(xué)習(xí)者外在表征數(shù)據(jù)的精準(zhǔn)監(jiān)測，可探究學(xué)習(xí)者情緒狀態(tài)與知識水平、學(xué)習(xí)風(fēng)格、學(xué)習(xí)興趣、學(xué)習(xí)壓力等特征之間的潛在作用關(guān)系，以此為學(xué)習(xí)者提供更加智能化、精準(zhǔn)化的導(dǎo)學(xué)策略。

（四）學(xué)習(xí)者情緒感知的研究現(xiàn)狀評述

從整體來看，學(xué)習(xí)者情緒狀態(tài)感知在智能教育領(lǐng)域具有廣闊的應(yīng)用前景，突出表現(xiàn)在：基于人工智能技術(shù)的單模態(tài)和多模態(tài)的學(xué)習(xí)者情緒感知，以及學(xué)習(xí)者情緒感知與學(xué)習(xí)投入、學(xué)業(yè)表現(xiàn)和智能導(dǎo)學(xué)策略的改進等方面復(fù)雜關(guān)系的詮釋。從技術(shù)層面來看，隨著自然語言處理、計算機視覺、語音識別、生理信息識別領(lǐng)域的快速發(fā)展和多模態(tài)機器學(xué)習(xí)技術(shù)的成熟，將有效破解情緒感知研究的技術(shù)壁壘，在極大程度上推動學(xué)習(xí)者情緒感知研究的開展。從應(yīng)用層面來看，學(xué)習(xí)者情緒感知研究的教育應(yīng)用仍處于起步階段，現(xiàn)有研究較多關(guān)注情感數(shù)據(jù)特征的提取和人工智能技術(shù)模型的創(chuàng)新，對真實教學(xué)情境中的學(xué)習(xí)者情緒感知關(guān)注較少，無法對復(fù)雜教學(xué)情境下學(xué)習(xí)者情緒的發(fā)生機制和演變機理進行深層次詮釋。

這些突出表現(xiàn)在：（1）學(xué)習(xí)者內(nèi)在情緒發(fā)生機理的詮釋?，F(xiàn)有研究大多關(guān)注學(xué)習(xí)者情緒發(fā)展、學(xué)習(xí)投入與學(xué)業(yè)表現(xiàn)之間的潛在作用關(guān)系，無法對學(xué)習(xí)者情緒狀態(tài)與學(xué)習(xí)者個體的知識水平、認(rèn)知發(fā)展、社會交互等因素之間的復(fù)雜作用關(guān)系，進行細(xì)粒度、多層次的深入研究；（2）學(xué)習(xí)者情緒演變機理的詮釋?，F(xiàn)有研究大多關(guān)注對單一時空條件下學(xué)習(xí)者的情緒狀態(tài)的識別，較少關(guān)注動態(tài)學(xué)習(xí)情緒的演變規(guī)律，未能夠?qū)W(xué)習(xí)者情緒的發(fā)展?fàn)顩r進行長周期、時序性的精準(zhǔn)監(jiān)測，無法對學(xué)習(xí)者情緒的發(fā)展規(guī)律和演變機理進行全方位的深入解讀；（3）教育情境要素對學(xué)習(xí)者情緒的作用機理。學(xué)習(xí)者情緒的產(chǎn)生和發(fā)展是內(nèi)在認(rèn)知結(jié)構(gòu)和外在情境要素協(xié)同作用的結(jié)果，現(xiàn)有研究較少關(guān)注學(xué)習(xí)情境要素對學(xué)習(xí)者情緒的影響機理，忽視了教學(xué)媒體、教學(xué)活動、教學(xué)環(huán)境等復(fù)雜情境要素對學(xué)習(xí)者情緒狀態(tài)的影響機理；（4）學(xué)習(xí)者情感發(fā)生規(guī)律的科學(xué)解釋。學(xué)習(xí)者情緒發(fā)生機制和演變規(guī)律的解讀是一個復(fù)雜的研究課題，需要借助教育學(xué)、心理學(xué)、腦科學(xué)、認(rèn)知科學(xué)等多個學(xué)科的理論和方法，對學(xué)習(xí)者的情感發(fā)生機制進行深入解讀，以實現(xiàn)對學(xué)習(xí)者情緒發(fā)生規(guī)律的多學(xué)科、全方位詮釋。

四、當(dāng)前學(xué)習(xí)者情緒感知的研究重點

（一）情感數(shù)據(jù)的多源整合性:基于多模態(tài)數(shù)據(jù)融合的學(xué)習(xí)者情緒智能感知

心理學(xué)家梅拉比安（Mehrabian）研究發(fā)現(xiàn)，人類的情感表達(dá)=7%的言詞+38%的語音表情+55%的面部表情[54]。人工智能領(lǐng)域的研究結(jié)果也表明，個體情緒的表達(dá)依賴語音、表情、肢體等多元信息的協(xié)同作用。因此，對于個體情緒狀態(tài)的監(jiān)測，需要利用學(xué)習(xí)者的“文本、語音、視頻、生理”等多模態(tài)數(shù)據(jù)進行系統(tǒng)化的建模分析，才能實現(xiàn)對個體的情緒狀態(tài)進行精準(zhǔn)測評。情感數(shù)據(jù)的多源整合性是當(dāng)下學(xué)習(xí)者情緒感知研究的重點與關(guān)鍵，旨在對多來源、多通道、多場景的數(shù)據(jù)進行融合分析，并利用多模態(tài)數(shù)據(jù)之間的信息互補機制提升情緒識別的準(zhǔn)確度，從而在更深層次上挖掘?qū)W習(xí)者的情感發(fā)生機制和演變機理。學(xué)習(xí)者情緒狀態(tài)的智能感知，是學(xué)習(xí)者表情、動作、語言等外在行為表征數(shù)據(jù)和眼動、腦電、皮膚電、激素水平等內(nèi)在生理信息數(shù)據(jù)共同作用的結(jié)果?；诙嗄B(tài)數(shù)據(jù)的情緒感知，一方面能夠消除單模態(tài)情感分析帶來的誤差，提高情感識別的準(zhǔn)確度；另一方面能夠突破時間和空間的限制，對不同場景下學(xué)習(xí)者的行為和生理數(shù)據(jù)進行全方位的采集，對學(xué)習(xí)者的情感表征模式和情感發(fā)生機制進行多維度的建模分析，以更好地探索學(xué)習(xí)者的情感變化規(guī)律。

（二）情感發(fā)生的情境依存性:融合教育情境信息的學(xué)習(xí)者情感發(fā)生機制剖析

情境感知（Context-aware）的概念最早來源于普適計算，是通過傳感器及相關(guān)的計算設(shè)備獲取環(huán)境中的情境參數(shù)，通過機器的加工處理，獲取對用戶有用的反饋信息，并借助計算設(shè)備實現(xiàn)用戶和環(huán)境之間的交互融合?；谇榫掣兄膶W(xué)習(xí)者建模也是近年來智能教育領(lǐng)域研究的重點問題，旨在借助情境感知技術(shù)，實現(xiàn)對課堂學(xué)習(xí)過程全方位、多層次的建模分析，分析學(xué)習(xí)者與教師、教學(xué)內(nèi)容、教學(xué)媒體、教學(xué)環(huán)境之間的交互作用模式，探究教學(xué)情境要素對學(xué)習(xí)者認(rèn)知和情感的影響機理。從認(rèn)知心理學(xué)的角度來講，個體情緒的變化是外界環(huán)境刺激和內(nèi)部認(rèn)知結(jié)構(gòu)共同作用的結(jié)果。因此，如何對教學(xué)情境進行全方位、多層次的精準(zhǔn)刻畫，探究情境要素對學(xué)習(xí)者情感狀態(tài)的影響機理，對于智能時代學(xué)習(xí)環(huán)境的創(chuàng)設(shè)和教學(xué)活動的開展，具有重要的研究價值。為此，需要利用智能感知技術(shù)實現(xiàn)面向真實教學(xué)場景的建模分析，對學(xué)習(xí)場景中的物理情境、社會情境、活動情境、心理情境[55]進行全方位的精準(zhǔn)刻畫；分析教學(xué)內(nèi)容、教學(xué)媒體、教學(xué)環(huán)境、教師教學(xué)風(fēng)格、教學(xué)活動、課堂文化氛圍等要素，對學(xué)習(xí)者情感發(fā)生機制的影響機理；進而把握深層次的學(xué)習(xí)者情感變化規(guī)律，探究復(fù)雜情境要素對學(xué)習(xí)者情感發(fā)生的作用機制。

（三）情感狀態(tài)的時序變化性:面向時空融合的動態(tài)學(xué)習(xí)情緒演化規(guī)律詮釋

情感狀態(tài)的時序變化性是對學(xué)習(xí)者情感發(fā)生機制的深度剖析，主要關(guān)注完整學(xué)習(xí)過程中學(xué)習(xí)者情感狀態(tài)的動態(tài)變化規(guī)律，它具有兩方面的價值內(nèi)涵：其一是學(xué)習(xí)者情感狀態(tài)隨教學(xué)過程的遷移變化情況，關(guān)注教學(xué)方法、教學(xué)媒體、教學(xué)內(nèi)容、教學(xué)環(huán)境等要素對學(xué)習(xí)者情感狀態(tài)的影響機制；其二是相同教學(xué)情境下學(xué)習(xí)者情感的保持程度，關(guān)注情感的強度和飽和度隨時間的衰減狀況，用以分析學(xué)習(xí)過程中學(xué)習(xí)者的注意力、學(xué)習(xí)興趣、學(xué)習(xí)動機的保持情況等。在面向?qū)W習(xí)者的動態(tài)學(xué)習(xí)情緒測評方面，具有代表性的研究有：黃昌勤等人利用在線學(xué)習(xí)論壇的文本數(shù)據(jù)，對學(xué)習(xí)者的動態(tài)學(xué)習(xí)情緒進行了深入探究，發(fā)現(xiàn)學(xué)習(xí)情緒在“積極—消極”、“困惑—明白”之間呈周期性變化[56]；王云等利用在線討論的文本數(shù)據(jù)分析學(xué)習(xí)者的動態(tài)學(xué)習(xí)情緒，發(fā)現(xiàn)困惑情緒和消極情緒會轉(zhuǎn)化為積極情緒，但是中性情緒不會轉(zhuǎn)化為積極情緒[57]。情感狀態(tài)的時序變化性也是揭示學(xué)習(xí)者情感發(fā)生機制的重要內(nèi)容，能夠反映學(xué)習(xí)者內(nèi)部認(rèn)知發(fā)展?fàn)顩r和教學(xué)情境的變化對學(xué)習(xí)者情感狀態(tài)的影響機制，挖掘深層次的情緒發(fā)生機制。在此過程中，需要借助多模態(tài)、時序性的情感數(shù)據(jù)采集，構(gòu)建基于時間序列的智能分析模型，以揭示深層次的學(xué)習(xí)者情感變化規(guī)律。

（四）情感模型的層次表征性:基于環(huán)境刺激和內(nèi)部特征的情緒表征機理詮釋

情緒心理學(xué)領(lǐng)域的相關(guān)學(xué)者大多從三個層面來研究情緒的表達(dá)機制：在認(rèn)知層面上的主觀體驗，在生理層面上的生理喚醒，在表達(dá)層面上的外顯行為。相關(guān)學(xué)者認(rèn)為，情緒是學(xué)習(xí)者的個體特征和外部的信息刺激共同作用所引發(fā)的學(xué)習(xí)者內(nèi)部需要的改變。由于學(xué)習(xí)者成長環(huán)境和認(rèn)知結(jié)構(gòu)的不同，在情緒的表達(dá)機制方面存在顯著的個體差異，突出表現(xiàn)為：在相同的教學(xué)情境下，不同學(xué)習(xí)者情緒外在表征模式存在差異。對此詮釋，涉及學(xué)習(xí)者學(xué)習(xí)偏好、學(xué)習(xí)風(fēng)格、領(lǐng)域知識、認(rèn)知水平等深層次的認(rèn)知模式差異，需要進行全方位的學(xué)習(xí)者建模，對學(xué)習(xí)者的個體特征進行量化表征，分析不同成長環(huán)境和認(rèn)知水平的學(xué)生在相同的環(huán)境刺激條件下情感的表征模式，以便實現(xiàn)對學(xué)習(xí)者情緒表征機理的深層次解析。

（五）情感發(fā)展的協(xié)同進化性:探究學(xué)習(xí)者“認(rèn)知、行為、情感”的協(xié)同進化機理

情緒心理學(xué)的研究表明，情緒與認(rèn)知是帶有因果性質(zhì)和互相伴隨而產(chǎn)生，情緒可以發(fā)動、干涉、組織或破壞認(rèn)知過程和行為，認(rèn)知對事物的評價則可以發(fā)動、轉(zhuǎn)移或改變情緒反應(yīng)和體驗。智能時代學(xué)習(xí)者情緒感知研究，需要對學(xué)習(xí)者“認(rèn)知、行為、情感”之間的潛在作用關(guān)系進行深度的挖掘分析，以探究學(xué)習(xí)者的認(rèn)知結(jié)構(gòu)、認(rèn)知過程和信息加工模式與學(xué)習(xí)者情緒狀態(tài)的潛在作用關(guān)系，挖掘?qū)W習(xí)者認(rèn)知發(fā)展和情緒變化對學(xué)習(xí)者行為表達(dá)的影響機理，以對學(xué)習(xí)者“認(rèn)知建構(gòu)過程、情感發(fā)生機制、行為表征模式”進行深度解析。即只有挖掘?qū)W習(xí)者情緒和認(rèn)知發(fā)展的協(xié)同進化機理，才能構(gòu)建深層次的學(xué)習(xí)者模型。

五、學(xué)習(xí)者情緒感知研究的發(fā)展進路與展望

（一）理論層面:實現(xiàn)多學(xué)科融合的學(xué)習(xí)者情緒發(fā)展規(guī)律詮釋

學(xué)習(xí)者情緒感知的相關(guān)研究，涉及教育學(xué)、心理學(xué)、腦科學(xué)、認(rèn)知科學(xué)等諸多學(xué)科，不同學(xué)科的研究從本領(lǐng)域的研究內(nèi)容出發(fā)，對情緒的發(fā)生機制和演化機理進行深層次的挖掘分析，以探究個體情緒的發(fā)展規(guī)律。在多模態(tài)情緒感知研究的開展過程中，相關(guān)研究人員強調(diào)利用多模態(tài)數(shù)據(jù)對學(xué)習(xí)者的情緒進行多元化的精準(zhǔn)建模，以提升情緒識別的準(zhǔn)確度。其本質(zhì)上是一種跨學(xué)科、跨領(lǐng)域的研究方法，旨在對學(xué)習(xí)者的情緒狀態(tài)進行深層次的挖掘分析，以探究深層次的情感發(fā)生機制。因此，對于學(xué)習(xí)者情緒發(fā)展規(guī)律詮釋，需要腦科學(xué)、認(rèn)知科學(xué)、心理學(xué)以及人工智能領(lǐng)域的相關(guān)學(xué)者跨界協(xié)同，在理論層面從多個學(xué)科的角度，對情緒產(chǎn)生的認(rèn)知心理機制、神經(jīng)生理機制、數(shù)據(jù)科學(xué)機制等進行全方位的精準(zhǔn)測評，以更好地探究學(xué)習(xí)者情緒發(fā)生的影響因素。

（二）技術(shù)層面:實現(xiàn)基于人工智能技術(shù)的多模態(tài)數(shù)據(jù)采集與分析

多模態(tài)情感數(shù)據(jù)庫的構(gòu)建是情緒感知領(lǐng)域面臨的關(guān)鍵問題，國外雖然有諸多情緒感知的開源數(shù)據(jù)集，但一方面樣本量偏小，另一方面大多數(shù)業(yè)務(wù)場景不是針對教育領(lǐng)域，嚴(yán)重制約了教育科學(xué)領(lǐng)域情緒感知的研究進程。為此，在后續(xù)相關(guān)研究的開展過程中，應(yīng)在保持?jǐn)?shù)據(jù)真實性和有效性的前提下，構(gòu)建面向真實教學(xué)場景的多模態(tài)情感數(shù)據(jù)庫，并加強情感數(shù)據(jù)庫的開源工作，引導(dǎo)更多研究者參與學(xué)習(xí)者情緒感知相關(guān)研究，在領(lǐng)域內(nèi)形成“輪動效應(yīng)”，以助力于學(xué)習(xí)者情緒感知研究體系的建立。

當(dāng)前，多模態(tài)機器學(xué)習(xí)技術(shù)的發(fā)展，極大地推動了情緒感知領(lǐng)域的研究進展，為學(xué)習(xí)者情緒感知研究的開展，提供了堅實的技術(shù)保障；同時，有助于突破情緒感知研究的技術(shù)壁壘，推動智能教育領(lǐng)域情緒感知研究的長遠(yuǎn)發(fā)展。今后，應(yīng)在多模態(tài)融合技術(shù)的基礎(chǔ)上，進一步挖掘特征級融合和決策級融合的深層次作用機理，構(gòu)建面向機器智能分析的符號表征體系、信息感知通道和意義建構(gòu)模式；能最大化模擬人類情感的感知、理解、表達(dá)機制，強化多模態(tài)融合技術(shù)對人類信息感知、加工和計算模式的分解，更有力地服務(wù)于學(xué)習(xí)者情緒感知研究的開展。

（三）應(yīng)用層面:創(chuàng)設(shè)基于學(xué)習(xí)者情緒感知的智能化學(xué)習(xí)服務(wù)

學(xué)習(xí)者情緒感知研究的根本目標(biāo)，在于借助對學(xué)習(xí)者情緒狀態(tài)的智能感知，揭示學(xué)習(xí)者情緒的發(fā)生機理，進而構(gòu)建智能化的學(xué)習(xí)服務(wù)機制與體系。學(xué)習(xí)者情緒狀態(tài)的變化是學(xué)習(xí)者內(nèi)部的認(rèn)知發(fā)展?fàn)顩r以及外部的教育情境要素共同作用的結(jié)果，能夠在很大程度上反映學(xué)習(xí)者的學(xué)習(xí)風(fēng)格、學(xué)習(xí)偏好、學(xué)習(xí)態(tài)度、學(xué)習(xí)動機、學(xué)習(xí)投入度、學(xué)習(xí)價值觀等潛在特征。因此，智能時代學(xué)習(xí)者情緒感知研究，需要利用情緒感知的理論和方法實現(xiàn)，對學(xué)習(xí)者知識建構(gòu)過程和認(rèn)知發(fā)展規(guī)律進行深度剖析，探究學(xué)習(xí)者情感狀態(tài)背后所潛藏的深層次心理特征，進而構(gòu)建更加完善的學(xué)習(xí)者模型，為個體學(xué)習(xí)者提供智能化的學(xué)習(xí)支持服務(wù)，從而促進學(xué)習(xí)績效的提升和學(xué)習(xí)過程的優(yōu)化，為個性化學(xué)習(xí)的實現(xiàn)提供科學(xué)依據(jù)。

（四）倫理層面:完善面向?qū)W習(xí)者情緒感知的數(shù)據(jù)安全和倫理道德規(guī)范

情緒感知的倫理問題，也是人工智能領(lǐng)域相關(guān)研究開展面臨的關(guān)鍵問題。情緒感知相關(guān)研究開展的關(guān)鍵，在于幫助機器模擬人類的信息感知和加工模式，對學(xué)習(xí)者情感的外在表征機制和內(nèi)部作用機理進行深入分析，構(gòu)建基于機器智能的情緒感知、理解和表達(dá)機制，以數(shù)據(jù)科學(xué)的方法實現(xiàn)學(xué)習(xí)情感的量化測評。由于學(xué)習(xí)者情緒感知研究涉及大量的倫理應(yīng)用和相關(guān)學(xué)習(xí)者的大數(shù)據(jù)安全問題，如何保證學(xué)習(xí)者情感數(shù)據(jù)不被非法獲取，保障學(xué)習(xí)者的信息隱私不被披露，是學(xué)習(xí)者情緒感知研究開展面臨的現(xiàn)實問題。需要加強相關(guān)研究人員的數(shù)據(jù)安全倫理道德規(guī)范，明確教育主體的“數(shù)據(jù)權(quán)力”，出臺相應(yīng)的法律法規(guī)約束相關(guān)研究的應(yīng)用范疇，以保障學(xué)習(xí)者情緒感知的相關(guān)研究，能夠推動教育事業(yè)的良性發(fā)展。