人工智能賦能的多模態(tài)學(xué)習(xí)狀態(tài)研究與分析

摘要：研究了人工智能在多模態(tài)學(xué)習(xí)狀態(tài)中的應(yīng)用，通過(guò)在課堂教學(xué)環(huán)境下拍攝的教學(xué)視頻或圖片進(jìn)行分析，來(lái)了解學(xué)生的學(xué)習(xí)狀態(tài)和情緒，并根據(jù)學(xué)生的學(xué)習(xí)狀態(tài)來(lái)調(diào)整教學(xué)策略。具體方法上，采用了基于決策層融合的方式對(duì)面部情緒和語(yǔ)音情緒進(jìn)行融合，利用PAD情緒量表建立情緒與學(xué)習(xí)狀態(tài)之間的對(duì)應(yīng)關(guān)系，并在此基礎(chǔ)上提出了不同的教學(xué)策略。

關(guān)鍵詞：人工智能；多模態(tài)學(xué)習(xí)狀態(tài)；情緒識(shí)別；PAD情緒量表；教學(xué)策略

一、前言

隨著人工智能技術(shù)的不斷發(fā)展，教育領(lǐng)域也開(kāi)始逐漸應(yīng)用人工智能技術(shù)，其中多模態(tài)學(xué)習(xí)狀態(tài)分析便是其中的一個(gè)研究熱點(diǎn)，其通過(guò)人工智能技術(shù)對(duì)學(xué)生在學(xué)習(xí)過(guò)程中的情緒、認(rèn)知和行為等多維度進(jìn)行感知和分析，從而實(shí)現(xiàn)對(duì)學(xué)生學(xué)習(xí)狀態(tài)的全面監(jiān)測(cè)和識(shí)別。

在課堂教學(xué)中，了解學(xué)生的學(xué)習(xí)狀態(tài)對(duì)教師調(diào)整教學(xué)策略、促進(jìn)學(xué)生學(xué)習(xí)效果和提高教學(xué)質(zhì)量具有重要意義[1]。因此，本文基于多模態(tài)情緒識(shí)別技術(shù)及其應(yīng)用，結(jié)合PAD情緒量表建立學(xué)習(xí)情緒和學(xué)習(xí)狀態(tài)之間的對(duì)應(yīng)關(guān)系，探討如何利用人工智能技術(shù)對(duì)課堂教學(xué)中的學(xué)生學(xué)習(xí)狀態(tài)進(jìn)行分析和調(diào)整教學(xué)策略，以期為教學(xué)實(shí)踐提供有價(jià)值的參考。

二、多模態(tài)學(xué)習(xí)狀態(tài)的定義和應(yīng)用

（一）多模態(tài)學(xué)習(xí)狀態(tài)的概念

多模態(tài)學(xué)習(xí)狀態(tài)研究是指多模態(tài)學(xué)習(xí)情緒分析系統(tǒng)研究，如使用圖片和視頻這兩種模態(tài)分析出學(xué)生的學(xué)習(xí)情緒從而判斷學(xué)生的學(xué)習(xí)狀態(tài)。在學(xué)習(xí)領(lǐng)域運(yùn)用多模態(tài)學(xué)習(xí)情緒分析系統(tǒng)來(lái)分析學(xué)生的學(xué)習(xí)情緒可以獲得更加準(zhǔn)確的情緒識(shí)別結(jié)果。

（二）多模態(tài)學(xué)習(xí)狀態(tài)在教育領(lǐng)域的應(yīng)用案例

在線(xiàn)課堂情緒監(jiān)測(cè)：在在線(xiàn)教育中，多模態(tài)情緒識(shí)別技術(shù)可以識(shí)別學(xué)生的情緒狀態(tài)，如焦慮、沮喪、興奮等，從而即時(shí)反饋給教師，有助于教師調(diào)整課程內(nèi)容和教學(xué)策略。

學(xué)習(xí)狀態(tài)識(shí)別：多模態(tài)情緒識(shí)別技術(shù)可通過(guò)整合多種感知模態(tài)和信息源，如面部表情、聲音、語(yǔ)言、圖像和音頻等，來(lái)識(shí)別學(xué)生的學(xué)習(xí)狀態(tài)，從而優(yōu)化課程設(shè)計(jì)和評(píng)估學(xué)生學(xué)習(xí)成果[1]。

學(xué)習(xí)障礙診斷：多模態(tài)情緒識(shí)別技術(shù)可幫助教師識(shí)別學(xué)生可能存在的學(xué)習(xí)障礙，如閱讀障礙、語(yǔ)言障礙等。通過(guò)檢測(cè)學(xué)生在不同感知模態(tài)下的表現(xiàn)，發(fā)現(xiàn)學(xué)生問(wèn)題并提供有針對(duì)性的輔助。

學(xué)生情感支持：多模態(tài)情緒識(shí)別技術(shù)可為教師提供關(guān)于學(xué)生情感狀態(tài)的即時(shí)反饋，幫助教師更好地理解學(xué)生的需求和情感狀態(tài)。教師利用這些信息幫助學(xué)生建立更健康的情感狀態(tài)和學(xué)習(xí)環(huán)境[2]。

（三）多模態(tài)學(xué)習(xí)狀態(tài)的優(yōu)勢(shì)和挑戰(zhàn)

1.優(yōu)勢(shì)

全面了解學(xué)生學(xué)習(xí)狀態(tài)：多模態(tài)學(xué)習(xí)狀態(tài)識(shí)別技術(shù)可綜合利用多種感知模態(tài)和信息源，幫助教師更全面地了解學(xué)生的學(xué)習(xí)狀態(tài)。

提高學(xué)習(xí)效果：通過(guò)分析學(xué)生的學(xué)習(xí)狀態(tài)，教師根據(jù)學(xué)生的需求和學(xué)習(xí)狀態(tài)，調(diào)整教學(xué)策略和內(nèi)容，從而提高學(xué)生的學(xué)習(xí)效果。

2.挑戰(zhàn)

隱私和倫理問(wèn)題：由于涉及大量學(xué)生的個(gè)人信息和隱私，需要嚴(yán)格保護(hù)學(xué)生的隱私權(quán)和個(gè)人信息安全，同時(shí)需遵守相關(guān)的倫理和法律規(guī)定。

技術(shù)挑戰(zhàn)：為整合多種不同的感知模態(tài)和信息源，涉及復(fù)雜的數(shù)據(jù)處理和分析技術(shù)，需要具備強(qiáng)大的計(jì)算和數(shù)據(jù)處理能力。

三、人工智能在多模態(tài)學(xué)習(xí)狀態(tài)中的應(yīng)用

（一）多模態(tài)情緒識(shí)別技術(shù)及其應(yīng)用

1.多模態(tài)情緒識(shí)別技術(shù)概述

多模態(tài)情緒識(shí)別技術(shù)是指通過(guò)整合多種不同的感知模態(tài)，如面部表情、聲音、語(yǔ)言等，以及多種不同的信息源，如圖像、音頻等，來(lái)識(shí)別和理解人類(lèi)的情感狀態(tài)。在教育領(lǐng)域中，該技術(shù)能夠幫助教師更好地了解學(xué)生的情緒狀態(tài)，為教學(xué)提供更精準(zhǔn)的指導(dǎo)和反饋[2]。

2.基于決策層融合的情緒識(shí)別方法

基于決策層融合的情緒識(shí)別方法是一種常見(jiàn)的多模態(tài)情緒識(shí)別技術(shù)。通過(guò)將多個(gè)模態(tài)的情感特征在決策層進(jìn)行融合，從而得到準(zhǔn)確的情感識(shí)別結(jié)果。在教育領(lǐng)域中，將學(xué)生在課堂上的面部表情和語(yǔ)音情緒特征進(jìn)行融合，從而更好地了解學(xué)生的情感狀態(tài)。

3.在教學(xué)視頻或圖片中應(yīng)用多模態(tài)情緒識(shí)別技術(shù)的內(nèi)容

在教學(xué)視頻或圖片中應(yīng)用多模態(tài)情緒識(shí)別技術(shù)可以通過(guò)以下步驟實(shí)現(xiàn)：

將教學(xué)視頻或圖片分解成為圖像視頻和音頻文件，分別將音頻文件和圖像文件輸入到預(yù)先設(shè)置好的情緒識(shí)別網(wǎng)絡(luò)中，經(jīng)過(guò)情緒識(shí)別網(wǎng)絡(luò)的處理，可以分別獲得語(yǔ)音和圖像所對(duì)應(yīng)的情緒識(shí)別結(jié)果。

利用基于決策層融合的方法，將兩者獲得的情緒特征進(jìn)行融合，從而得到更加精準(zhǔn)的多模態(tài)情緒識(shí)別結(jié)果。將獲得的情緒識(shí)別結(jié)果與學(xué)習(xí)狀態(tài)建立對(duì)應(yīng)關(guān)系，分析學(xué)生的情緒狀態(tài)，并根據(jù)PAD情緒量表對(duì)獲得的多模態(tài)學(xué)習(xí)情緒進(jìn)行分析，得到每一種情緒的PAD值。

在此基礎(chǔ)上，教師根據(jù)學(xué)生的學(xué)習(xí)狀態(tài)及時(shí)調(diào)整教學(xué)，提出不同的教學(xué)策略，以更好地滿(mǎn)足學(xué)生的學(xué)習(xí)需求。

（二）基于PAD情緒量表的學(xué)習(xí)狀態(tài)識(shí)別方法

1.PAD情緒量表介紹

PAD情緒量表是一種廣泛應(yīng)用于情感研究領(lǐng)域的量表，它由3個(gè)維度組成：Pleasure、Arousal和Dominance，用于測(cè)量情緒的不同方面，其中，Pleasure維度表示情緒的愉悅或不愉悅程度，Arousal維度表示情緒的激活程度，Dominance維度表示情緒的控制程度。

2.利用PAD情緒量表識(shí)別學(xué)習(xí)狀態(tài)

利用PAD情緒量表對(duì)學(xué)生在學(xué)習(xí)過(guò)程中的情緒狀態(tài)進(jìn)行識(shí)別和分析。在教學(xué)視頻或圖片中，通過(guò)多模態(tài)情緒識(shí)別技術(shù)獲得的情緒信息可以轉(zhuǎn)化為PAD情緒量表上的數(shù)值，從而確定學(xué)生當(dāng)前的情緒狀態(tài)，進(jìn)一步了解學(xué)生的學(xué)習(xí)動(dòng)機(jī)、能力和興趣等信息。利用PAD情緒量表來(lái)識(shí)別學(xué)習(xí)狀態(tài)可以通過(guò)收集學(xué)生在學(xué)習(xí)過(guò)程中的情緒數(shù)據(jù)，并將其與PAD情緒量表的維度進(jìn)行匹配和比較。根據(jù)學(xué)生在每個(gè)維度上的得分，判斷學(xué)生的學(xué)習(xí)狀態(tài)是否積極、專(zhuān)注或者消極。表1、2、3是一些實(shí)驗(yàn)數(shù)據(jù)，以證明利用PAD情緒量表識(shí)別學(xué)習(xí)狀態(tài)的可行性。

通過(guò)收集大量學(xué)生的情緒數(shù)據(jù)，并結(jié)合實(shí)際學(xué)習(xí)狀態(tài)進(jìn)行標(biāo)注，建立模型來(lái)預(yù)測(cè)學(xué)生的學(xué)習(xí)狀態(tài)。模型可基于機(jī)器學(xué)習(xí)算法，例如決策樹(shù)、支持向量機(jī)或神經(jīng)網(wǎng)絡(luò)等進(jìn)行訓(xùn)練。利用這些實(shí)驗(yàn)數(shù)據(jù)作為訓(xùn)練集，訓(xùn)練出一個(gè)模型來(lái)自動(dòng)識(shí)別學(xué)生的學(xué)習(xí)狀態(tài)，從而為教育者提供有關(guān)學(xué)生情緒和學(xué)習(xí)狀態(tài)的重要信息。

3.建立學(xué)習(xí)情緒和學(xué)習(xí)狀態(tài)之間的對(duì)應(yīng)關(guān)系

學(xué)習(xí)情緒和學(xué)習(xí)狀態(tài)之間的對(duì)應(yīng)關(guān)系可通過(guò)分析不同情緒狀態(tài)下的PAD值的變化趨勢(shì)進(jìn)行建立。例如，在高Pleasure、低Arousal和高Dominance的情緒狀態(tài)下，學(xué)生可能處于一種較為放松和愉悅的學(xué)習(xí)狀態(tài)，適合進(jìn)行知識(shí)的鞏固和復(fù)習(xí)；在高Pleasure、高Arousal和低Dominance的情緒狀態(tài)下，學(xué)生可能處于一種較為興奮和激動(dòng)的學(xué)習(xí)狀態(tài)，適合進(jìn)行新知識(shí)的學(xué)習(xí)和探索。為此設(shè)計(jì)兩個(gè)實(shí)驗(yàn)來(lái)研究：

實(shí)驗(yàn)1：該實(shí)驗(yàn)旨在比較高興和悲傷情緒的PAD值，并觀察其在愉快度、喚起度和優(yōu)勢(shì)度上的差異。

在實(shí)驗(yàn)中，邀請(qǐng)了一組參與者，并通過(guò)一系列的情感誘發(fā)刺激來(lái)引發(fā)不同的情緒。在每個(gè)實(shí)驗(yàn)條件下，參與者被要求評(píng)估他們當(dāng)前的情緒狀態(tài)，并用PAD情緒量表的維度進(jìn)行打分。

在實(shí)驗(yàn)過(guò)程中，使用了經(jīng)過(guò)歸一化的PAD公式來(lái)計(jì)算每個(gè)情緒的PAD值。對(duì)于高興情緒，我們觀察到其PAD值為（0.51，0.39，0.21），而對(duì)于悲傷情緒，PAD值為（-0.61，0.45，-0.31）。通過(guò)比較這兩種情緒的PAD值，發(fā)現(xiàn)它們?cè)谟淇於?、喚起度和?yōu)勢(shì)度上的差異（見(jiàn)表4）。

結(jié)果表明，高興情緒在愉快度（P值）和喚起度（A值）上得分較高，而在優(yōu)勢(shì)度（D值）上得分較低。相反，悲傷情緒在這些方面的得分相對(duì)較低，顯示出較低的愉快度、喚起度和優(yōu)勢(shì)度（見(jiàn)表4）。

實(shí)驗(yàn)2： 該實(shí)驗(yàn)旨在比較害怕和厭惡情緒的PAD值，并觀察其在愉快度、喚起度和優(yōu)勢(shì)度上的差異。

類(lèi)似于實(shí)驗(yàn)1，邀請(qǐng)一組參與者，并使用刺激材料來(lái)誘發(fā)害怕和厭惡情緒。參與者被要求評(píng)估他們當(dāng)前的情緒狀態(tài)，并用PAD情緒量表的維度進(jìn)行打分。通過(guò)對(duì)實(shí)驗(yàn)數(shù)據(jù)分析，得到了害怕情緒的PAD值為（-0.42，0.72，0.31），而厭惡情緒的PAD值為（-0.55，0.63，-0.46）。這些值表明害怕和厭惡情緒在愉快度、喚起度和優(yōu)勢(shì)度上存在差異。

實(shí)驗(yàn)結(jié)果顯示，害怕情緒在喚起度（A值）和優(yōu)勢(shì)度（D值）方面得分較高，而愉快度（P值）較低。相比之下，厭惡情緒在這些方面的得分相對(duì)較低，顯示出較低的喚起度和優(yōu)勢(shì)度，以及較低的愉快度（見(jiàn)表5）。

通過(guò)實(shí)驗(yàn)結(jié)果，深入地了解不同情緒狀態(tài)之間的差異，并使用PAD值來(lái)量化和比較它們的愉快度、喚起度和優(yōu)勢(shì)度。這有助于研究者更準(zhǔn)確地理解和解釋個(gè)體的情緒狀態(tài)，并為情緒調(diào)節(jié)和教育干預(yù)提供更好的指導(dǎo)。

四、人工智能賦能多模態(tài)學(xué)習(xí)狀態(tài)的優(yōu)勢(shì)和挑戰(zhàn)

（一）提高學(xué)習(xí)效率和效果

人工智能賦能的多模態(tài)學(xué)習(xí)狀態(tài)能夠提高學(xué)習(xí)效率和效果，主要得益于人工智能技術(shù)對(duì)學(xué)習(xí)內(nèi)容的自動(dòng)化處理和智能推薦。通過(guò)人工智能的語(yǔ)音識(shí)別、圖像識(shí)別和自然語(yǔ)言處理技術(shù)，學(xué)習(xí)內(nèi)容可以自動(dòng)被轉(zhuǎn)換成多種形式的信息，如文字、語(yǔ)音、圖片等，為學(xué)生提供更豐富、更生動(dòng)、更直觀的學(xué)習(xí)體驗(yàn)。此外，還可基于學(xué)生的學(xué)習(xí)行為和歷史數(shù)據(jù)進(jìn)行數(shù)據(jù)分析和學(xué)習(xí)模式識(shí)別，從而根據(jù)學(xué)生的學(xué)習(xí)情況和學(xué)習(xí)習(xí)慣，智能推薦學(xué)習(xí)資源和內(nèi)容，提高學(xué)習(xí)效率和效果。

（二）促進(jìn)學(xué)習(xí)自主性和個(gè)性化學(xué)習(xí)

為促進(jìn)學(xué)習(xí)自主性和個(gè)性化學(xué)習(xí)，人工智能技術(shù)在多模態(tài)學(xué)習(xí)狀態(tài)中扮演著關(guān)鍵角色。通過(guò)智能化的學(xué)習(xí)推薦系統(tǒng)、學(xué)習(xí)管理系統(tǒng)和學(xué)習(xí)評(píng)估系統(tǒng)，幫助學(xué)生更好地掌握自己的學(xué)習(xí)進(jìn)度和成果，提供更個(gè)性化的學(xué)習(xí)服務(wù)和教學(xué)資源。例如，智能化學(xué)習(xí)推薦系統(tǒng)不僅可以根據(jù)學(xué)生的學(xué)習(xí)歷史和行為，推薦最適合的學(xué)習(xí)資源和路徑，還可以根據(jù)學(xué)生的學(xué)習(xí)進(jìn)度和質(zhì)量，對(duì)學(xué)生進(jìn)行智能化的管理和監(jiān)督，及時(shí)發(fā)現(xiàn)學(xué)生的學(xué)習(xí)問(wèn)題并給出合適的建議和輔導(dǎo)[3]。

（三）隱私保護(hù)和數(shù)據(jù)安全

在多模態(tài)學(xué)習(xí)狀態(tài)中，學(xué)習(xí)者需提供大量個(gè)人信息和學(xué)習(xí)數(shù)據(jù)，以便智能化系統(tǒng)分析學(xué)習(xí)情況并提供個(gè)性化的學(xué)習(xí)服務(wù)。然而，這些信息和數(shù)據(jù)可能包含著學(xué)生的隱私，因此，為保護(hù)隱私和數(shù)據(jù)安全，需要遵循一系列的安全和隱私保護(hù)措施。首先，學(xué)習(xí)者應(yīng)被明確告知其個(gè)人信息和學(xué)習(xí)數(shù)據(jù)的收集和使用方式，學(xué)習(xí)者應(yīng)有權(quán)選擇是否將信息和數(shù)據(jù)提供給智能化系統(tǒng)[3]。其次，在多模態(tài)學(xué)習(xí)狀態(tài)中，應(yīng)采用加密、脫敏等技術(shù)手段來(lái)保護(hù)學(xué)習(xí)者的個(gè)人信息和學(xué)習(xí)數(shù)據(jù)。最后，確保智能化系統(tǒng)的運(yùn)行和數(shù)據(jù)存儲(chǔ)在安全環(huán)境中，并嚴(yán)格控制數(shù)據(jù)訪(fǎng)問(wèn)權(quán)限。

五、未來(lái)多模態(tài)學(xué)習(xí)狀態(tài)中人工智能應(yīng)用的發(fā)展趨勢(shì)和研究方向

（一）融合多種人工智能技術(shù)的發(fā)展

如今，多模態(tài)學(xué)習(xí)狀態(tài)已經(jīng)開(kāi)始應(yīng)用人工智能技術(shù)，如語(yǔ)音識(shí)別、圖像識(shí)別和自然語(yǔ)言處理等，但這些技術(shù)之間的協(xié)同作用還有待進(jìn)一步發(fā)掘。未來(lái)，可通過(guò)融合多種人工智能技術(shù)來(lái)實(shí)現(xiàn)更加智能化的多模態(tài)學(xué)習(xí)狀態(tài)，例如將語(yǔ)音識(shí)別技術(shù)與圖像識(shí)別技術(shù)結(jié)合，實(shí)現(xiàn)基于視聽(tīng)多模態(tài)信息的學(xué)習(xí)輔助系統(tǒng)。

（二）個(gè)性化學(xué)習(xí)和情感計(jì)算的應(yīng)用

在未來(lái)，學(xué)生可通過(guò)多模態(tài)學(xué)習(xí)狀態(tài)獲得更加個(gè)性化和符合自己興趣和需求的學(xué)習(xí)體驗(yàn)。該趨勢(shì)的實(shí)現(xiàn)需情感計(jì)算技術(shù)、推薦算法、智能教練等多種人工智能技術(shù)的支持。例如，情感計(jì)算技術(shù)可通過(guò)對(duì)學(xué)生情感狀態(tài)的感知和分析，為學(xué)生提供更加符合個(gè)人需求的學(xué)習(xí)內(nèi)容和方式[4]。

（三）教育智能化和自適應(yīng)學(xué)習(xí)系統(tǒng)的實(shí)現(xiàn)

教育智能化是指將人工智能技術(shù)應(yīng)用到教育領(lǐng)域中，為學(xué)生提供更加個(gè)性化、高效、優(yōu)質(zhì)的教育服務(wù)。自適應(yīng)學(xué)習(xí)系統(tǒng)是指根據(jù)學(xué)生的學(xué)習(xí)情況和需求，為學(xué)生提供最優(yōu)的學(xué)習(xí)體驗(yàn)和資源。未來(lái)的多模態(tài)學(xué)習(xí)狀態(tài)需要實(shí)現(xiàn)教育智能化和自適應(yīng)學(xué)習(xí)系統(tǒng)，融合多種人工智能技術(shù)，包括機(jī)器學(xué)習(xí)、自然語(yǔ)言處理、情感計(jì)算等，以滿(mǎn)足不同學(xué)生的學(xué)習(xí)需求和提高學(xué)習(xí)效果[5]。

六、結(jié)語(yǔ)

本文探討了基于人工智能的多模態(tài)學(xué)習(xí)狀態(tài)研究與分析。通過(guò)將情緒識(shí)別技術(shù)與PAD情緒量表相結(jié)合，可以有效地識(shí)別學(xué)生的學(xué)習(xí)狀態(tài)，從而實(shí)現(xiàn)針對(duì)性的教學(xué)調(diào)整。此外，本研究還提出了一種基于決策層融合的情緒識(shí)別方法，能夠提高情緒識(shí)別的準(zhǔn)確度，為實(shí)現(xiàn)多模態(tài)學(xué)習(xí)狀態(tài)分析提供了更可靠的技術(shù)支持。

參考文獻(xiàn)

[1]牟智佳.“人工智能+”時(shí)代的個(gè)性化學(xué)習(xí)理論重思與開(kāi)解[J].遠(yuǎn)程教育雜志，2017（03）：22-30.

[2]吳永和，劉博文，馬曉玲.構(gòu)筑“人工智能+教育”的生態(tài)系統(tǒng)[J].遠(yuǎn)程教育雜志，2017（05）：27-39.

[3]董婷婷.智慧教育時(shí)代背景下人工智能如何推動(dòng)教學(xué)變革[J].中國(guó)成人教育，2018（10）：86-88.

[4]余明華，馮翔，祝智庭.人工智能視域下機(jī)器學(xué)習(xí)的教育應(yīng)用與創(chuàng)新探索[J].遠(yuǎn)程教育雜志，2017（03）：11-21.

[5]肖啟榮.人工智能時(shí)代教學(xué)變革的“三維一體”[J].教育理論與實(shí)踐，2020，40（13）：61-64.

基金項(xiàng)目：1.2022年江西省教育廳科技項(xiàng)目“人工智能賦能的多模態(tài)學(xué)習(xí)狀態(tài)研究與分析”（課題編號(hào)：GJJ2202029）；2.2020年南昌師范學(xué)院校級(jí)科研項(xiàng)目“大數(shù)據(jù)背景下大學(xué)生信貸風(fēng)險(xiǎn)評(píng)估系統(tǒng)開(kāi)發(fā)”（課題編號(hào) ：20KJYB02）

作者單位：南昌師范學(xué)院

■ 責(zé)任編輯：尚丹