跨模態(tài)情感計(jì)算在混合式學(xué)習(xí)中的應(yīng)用

摘要：在高校混合式學(xué)習(xí)模式下，線上自主探究結(jié)合線下協(xié)作學(xué)習(xí)能夠收集到學(xué)習(xí)過(guò)程數(shù)據(jù)。這些數(shù)據(jù)對(duì)于分析學(xué)習(xí)者的情感狀態(tài)具有重要意義，而情感狀態(tài)往往是影響學(xué)習(xí)表現(xiàn)和結(jié)果的關(guān)鍵因素。情感計(jì)算基于人工智能技術(shù)，通過(guò)阿里云提供的物聯(lián)網(wǎng)（IoT） 平臺(tái)，將傳感器設(shè)備收集到的學(xué)習(xí)者大數(shù)據(jù)通過(guò)AMQP協(xié)議傳輸?shù)椒?wù)器，再調(diào)用阿里云提供的第三方接口實(shí)現(xiàn)硬件大數(shù)據(jù)收集，如心電圖、腦電圖等，以獲取學(xué)習(xí)者的生理情感狀態(tài)，包括體溫、身體動(dòng)作、語(yǔ)言、心率以及個(gè)性特征等情感大數(shù)據(jù)。卷積神經(jīng)網(wǎng)絡(luò)（CNNs） 適用于視覺(jué)圖像識(shí)別，能夠獲取、分析和計(jì)算學(xué)習(xí)者面部表情情緒數(shù)據(jù)，并針對(duì)采集的文本、圖像、語(yǔ)音及視頻等學(xué)習(xí)大數(shù)據(jù)，提供跨模態(tài)情感數(shù)據(jù)融合方法。

關(guān)鍵詞：情感計(jì)算；跨模態(tài)；物聯(lián)網(wǎng)；CNNs；混合式學(xué)習(xí)

中圖分類號(hào)：TP18 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2024）32-0159-03 開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID） ：

0 引言

在混合模式教學(xué)過(guò)程中，線上學(xué)習(xí)的缺陷是學(xué)習(xí)者容易感到孤獨(dú)，在情緒、態(tài)度、狀態(tài)等學(xué)習(xí)情感狀態(tài)方面往往容易出現(xiàn)消極、負(fù)面的情緒和態(tài)度。研究者發(fā)現(xiàn)，學(xué)習(xí)者在做決策和解決問(wèn)題的過(guò)程中，良好的情感狀態(tài)往往起到關(guān)鍵作用，而不良的情緒或狀態(tài)則會(huì)增加壓力和焦慮，從而影響學(xué)習(xí)者的精神狀態(tài)、學(xué)習(xí)表現(xiàn)和學(xué)習(xí)結(jié)果。在人工智能已經(jīng)對(duì)教育領(lǐng)域產(chǎn)生深遠(yuǎn)影響的時(shí)代背景下，通過(guò)智能識(shí)別等技術(shù)充分挖掘、捕獲學(xué)習(xí)者大數(shù)據(jù)，分析、計(jì)算學(xué)習(xí)大數(shù)據(jù)，從而為學(xué)習(xí)者提供個(gè)性化學(xué)習(xí)服務(wù)，例如提供學(xué)習(xí)預(yù)警、學(xué)習(xí)方向調(diào)整等服務(wù)。為了改善學(xué)習(xí)者的在線學(xué)習(xí)體驗(yàn)和學(xué)習(xí)表現(xiàn)，情感計(jì)算通過(guò)人工智能技術(shù)，例如可穿戴設(shè)備、移動(dòng)設(shè)備嵌入傳感器或非傳感器設(shè)備，獲取學(xué)習(xí)者的情感狀態(tài)，包括面部表情、體溫、身體動(dòng)作、語(yǔ)言、心率以及個(gè)性特征等情感、情緒大數(shù)據(jù)。因此，如何獲取并分析學(xué)習(xí)者的跨模態(tài)情感數(shù)據(jù)，幫助其調(diào)整良好的學(xué)習(xí)情緒，改善線上線下學(xué)習(xí)體驗(yàn)，是目前亟待解決的重要問(wèn)題。

1 物聯(lián)網(wǎng)IOT 學(xué)習(xí)大數(shù)據(jù)管理

情感計(jì)算通過(guò)人工智能技術(shù)，例如可穿戴設(shè)備、移動(dòng)設(shè)備嵌入傳感器或非傳感器設(shè)備，獲取學(xué)習(xí)者的情感狀態(tài)，包括面部表情、體溫、身體動(dòng)作、語(yǔ)言、心率以及個(gè)性特征等情感、情緒大數(shù)據(jù)。IOT學(xué)習(xí)大數(shù)據(jù)管理包含設(shè)備管理和預(yù)警管理。

1.1 學(xué)習(xí)大數(shù)據(jù)的管理

根據(jù)阿里云提供的SDK接口實(shí)現(xiàn)對(duì)產(chǎn)品的注冊(cè)和查看等功能，產(chǎn)品是傳感器設(shè)備的集合，相同功能的設(shè)備通常綁定到同一產(chǎn)品，通過(guò)物聯(lián)網(wǎng)IOT平臺(tái)注冊(cè)產(chǎn)品信息，在平臺(tái)產(chǎn)品里綁定設(shè)備集，IOT平臺(tái)為每個(gè)產(chǎn)品頒發(fā)全局唯一的產(chǎn)品密鑰，從而保證數(shù)據(jù)采集和接收的準(zhǔn)確有效[1]。利用阿里云提供的物聯(lián)網(wǎng)平臺(tái)IOT實(shí)現(xiàn)將傳感器設(shè)備收集到的學(xué)習(xí)者大數(shù)據(jù)通過(guò)AMQP協(xié)議傳輸?shù)椒?wù)器，再調(diào)用阿里云提供的第三方接口實(shí)現(xiàn)硬件大數(shù)據(jù)收集，學(xué)習(xí)者傳感器設(shè)備包括手表、ECG心電圖檢測(cè)儀、腦電圖等。IOT物聯(lián)網(wǎng)數(shù)據(jù)采集流程如圖1所示。

1.2 學(xué)習(xí)數(shù)據(jù)預(yù)警規(guī)則

在Spring框架下，使用Spring Task多線程技術(shù)來(lái)實(shí)現(xiàn)定時(shí)任務(wù)調(diào)度，配置掃描數(shù)據(jù)的頻度為每次/N秒。根據(jù)規(guī)則，當(dāng)判斷確認(rèn)需要預(yù)警時(shí)，利用基于HTML5的TCP連接進(jìn)行全雙工通訊的網(wǎng)絡(luò)通信協(xié)議WebSocket向?qū)W習(xí)者和老師發(fā)出預(yù)警信息。學(xué)習(xí)者和教師收到預(yù)警信息后，能夠及時(shí)獲悉學(xué)習(xí)者的狀態(tài)，并及時(shí)調(diào)整學(xué)習(xí)進(jìn)度、教學(xué)內(nèi)容等。以下是預(yù)警定時(shí)任務(wù)的流程圖展示，如圖2所示[1]。

2 表情數(shù)據(jù)圖像識(shí)別

基于卷積神經(jīng)網(wǎng)絡(luò)的情感計(jì)算架構(gòu)包括幾個(gè)關(guān)鍵步驟。首先是收集情感表情數(shù)據(jù)圖像，并對(duì)其進(jìn)行向量化；然后提取特征，對(duì)龐大的矩陣進(jìn)行數(shù)據(jù)清洗；最后進(jìn)行激活匹配，檢驗(yàn)識(shí)別準(zhǔn)確率。其過(guò)程如圖3 所示[2]。

在卷積神經(jīng)網(wǎng)絡(luò)中，通過(guò)收集學(xué)習(xí)過(guò)程中的視頻幀畫面，提取特征向量，并與數(shù)據(jù)訓(xùn)練集進(jìn)行匹配。通過(guò)優(yōu)化算法、設(shè)置不同權(quán)重和閾值等方法，不斷測(cè)試以降低誤差值。

3lMr38ZRM4kdG+Df28ZA6ZA== 多模態(tài)情感計(jì)算與識(shí)別提升

許多研究表明，多模態(tài)情感數(shù)據(jù)的采集、分析和計(jì)算能夠促進(jìn)機(jī)器的深度學(xué)習(xí)，并在一定程度上提高情感狀態(tài)的辨別準(zhǔn)確率，通常比單模態(tài)的分析更為準(zhǔn)確。多模態(tài)、跨模態(tài)情感數(shù)據(jù)計(jì)算是當(dāng)前研究的重點(diǎn)和難點(diǎn)方向。多模態(tài)關(guān)聯(lián)具體包括時(shí)間、空間及語(yǔ)義等對(duì)齊，以及多模態(tài)協(xié)同；跨模態(tài)則涉及跨模態(tài)檢索、跨模態(tài)生成、跨模態(tài)合成及跨模態(tài)轉(zhuǎn)換等[3]。此外，模態(tài)融合等技術(shù)也是關(guān)鍵問(wèn)題。通過(guò)對(duì)學(xué)習(xí)者的文本、語(yǔ)音、表情圖像、姿態(tài)、心跳等多模態(tài)、跨模態(tài)大數(shù)據(jù)進(jìn)行融合和對(duì)齊，能夠提高機(jī)器的情感識(shí)別能力和智能計(jì)算水平。其中，文本與圖像的跨模態(tài)對(duì)齊模型和案例如圖4所示[4]。

如圖4所示，單模態(tài)文本數(shù)據(jù)生成的情感分析可能會(huì)導(dǎo)致機(jī)器判斷錯(cuò)誤。例如，對(duì)已知的一句文本“好棒的作品！”附帶一個(gè)笑臉進(jìn)行單模態(tài)情感分析時(shí)，很容易直接輸出積極情緒。然而，由于圖像的內(nèi)容是一位兒童的胡亂涂鴉，當(dāng)對(duì)文本和圖像兩種模態(tài)數(shù)據(jù)進(jìn)行語(yǔ)義對(duì)齊后，輸出的情感分類則是消極情緒[5]。該情緒分類案例說(shuō)明多模態(tài)語(yǔ)義對(duì)齊能提高機(jī)器的情緒識(shí)別能力。

4 混合式協(xié)作學(xué)習(xí)策略

研究和實(shí)踐表明，在混合式學(xué)習(xí)模式中，線上較適合開(kāi)展自主探究學(xué)習(xí)，而線下通過(guò)開(kāi)展協(xié)作、合作學(xué)習(xí)，能夠促進(jìn)學(xué)習(xí)者的協(xié)作、溝通等綜合能力，有效激發(fā)學(xué)習(xí)興趣，發(fā)展批判性思維。線下的學(xué)習(xí)過(guò)程同樣可通過(guò)穿戴設(shè)備獲取學(xué)習(xí)行為大數(shù)據(jù)，如學(xué)習(xí)者的語(yǔ)言語(yǔ)音、姿態(tài)、動(dòng)作（運(yùn)動(dòng)）、心率等信息，在小組討論過(guò)程中能夠產(chǎn)生更多有價(jià)值的學(xué)習(xí)過(guò)程數(shù)據(jù)。

此外，協(xié)作學(xué)習(xí)模式實(shí)施的關(guān)鍵環(huán)節(jié)是根據(jù)學(xué)習(xí)目標(biāo)和任務(wù)選擇合適的學(xué)習(xí)策略。策略是教學(xué)者將思路轉(zhuǎn)變?yōu)閷?shí)施的唯一途徑，學(xué)習(xí)策略本身與學(xué)習(xí)內(nèi)容無(wú)關(guān)。例如，頭腦風(fēng)暴策略可以應(yīng)用到不同的學(xué)習(xí)目標(biāo)和學(xué)習(xí)任務(wù)中，當(dāng)學(xué)習(xí)任務(wù)融合到某種學(xué)習(xí)策略后，即可產(chǎn)生具體的協(xié)作學(xué)習(xí)活動(dòng)。Elezabeth整理了35種協(xié)作學(xué)習(xí)策略以及詳細(xì)應(yīng)用案例，并將學(xué)習(xí)策略分為6類：討論、同伴互教、問(wèn)題解決；圖形化信息組織；寫作；游戲[6]。根據(jù)不同的實(shí)施難度，即對(duì)師生知識(shí)能力和經(jīng)驗(yàn)的不同要求，分析以下13種典型的學(xué)習(xí)策略。

在確定了各種協(xié)作學(xué)習(xí)策略的特點(diǎn)后，筆者進(jìn)一步探討如何根據(jù)不同的學(xué)習(xí)目標(biāo)和知識(shí)類型，選擇恰當(dāng)?shù)膶W(xué)習(xí)策略。表2 給出了Elezabeth 提出的參考建議。

5 總結(jié)和展望

本文利用先進(jìn)的人工智能技術(shù)，通過(guò)可穿戴設(shè)備和物聯(lián)網(wǎng)平臺(tái)，采集學(xué)習(xí)者在線學(xué)習(xí)過(guò)程中產(chǎn)生的多模態(tài)數(shù)據(jù)。獲取的數(shù)據(jù)包括生理情感狀態(tài)（如心電圖、腦電圖）和行為特征（如體溫、身體動(dòng)作、語(yǔ)言、心率等）。

基于卷積神經(jīng)網(wǎng)絡(luò)（CNNs） 算法，采用視覺(jué)圖像識(shí)別技術(shù)，收集學(xué)習(xí)者情感表情數(shù)據(jù)圖像，并對(duì)其進(jìn)行向量化；然后提取特征，對(duì)龐大的矩陣進(jìn)行數(shù)據(jù)清洗；最后進(jìn)行激活匹配，檢驗(yàn)識(shí)別準(zhǔn)確率。

總體而言，由于多模態(tài)數(shù)據(jù)的數(shù)據(jù)類型較復(fù)雜，涉及文本、語(yǔ)音、圖像、視頻等，多模態(tài)關(guān)聯(lián)、跨模態(tài)生成、多模態(tài)協(xié)同都是當(dāng)前深度學(xué)習(xí)面臨的難題。基于認(rèn)知科學(xué)理論，利用集成傳感器完成多模態(tài)數(shù)據(jù)的感算一體，實(shí)現(xiàn)從信息量、數(shù)據(jù)、融合機(jī)制和任務(wù)四個(gè)方面提升機(jī)器情感分析水平[3]。

同時(shí)，高?；旌鲜綄W(xué)習(xí)模式的實(shí)施也存在困難。線上資源和平臺(tái)需要豐富，應(yīng)為一線教師提供有效使用途徑，提供便捷的資源使用，鼓勵(lì)和促進(jìn)教學(xué)模式改革和創(chuàng)新，從而更好地實(shí)現(xiàn)個(gè)性化學(xué)習(xí)。此外，教育數(shù)據(jù)采集在數(shù)據(jù)采集粒度、倫理道德邊界、數(shù)據(jù)連續(xù)性和規(guī)范性等方面也面臨諸多挑戰(zhàn)。

參考文獻(xiàn)：

[1] 張悅. 基于SpringBoot養(yǎng)老院健康智能監(jiān)測(cè)的設(shè)計(jì)與實(shí)現(xiàn)[D].三亞：海南熱帶海洋學(xué)院， 2024.

[2] 孫珠婷.基于深度學(xué)習(xí)的情感計(jì)算模型算法研究[J].電腦知識(shí)與技術(shù)，2024，20（4）：40-42.

[3] 李學(xué)龍.多模態(tài)認(rèn)知計(jì)算[J].中國(guó)科學(xué)：信息科學(xué)，2023，53（1）：1-32.

[4] LI X L. Multi-modal cognitive computing[J]. Scientia Sinica In?formationis， 2023（53）： 1-32.

[5] ZHAO S C，JIA G L，YANG J F，et al.Emotion recognition from multiple modalities： fundamentals and methodologies[J]. IEEESignal Processing Magazine，2021，38（6）：59-73.

[6] BARKLEY E F， MAJOR C H， CROSS K P. Collaborative learn?ing techniques[M]. San Francisco： Jossey-Bass，2014：18-139.

【通聯(lián)編輯：唐一東】

基金項(xiàng)目： 海南省高等學(xué)校教育教學(xué)改革項(xiàng)目（項(xiàng)目編號(hào)：Hnjgzc2023-28、Hnjg2022-90）；三亞市院地科技合作項(xiàng)目（項(xiàng)目編號(hào)：2017YD12） ；2023 年海南熱帶海洋學(xué)院校級(jí)教育教學(xué)改革項(xiàng)目（項(xiàng)目編號(hào)：RHYjg2023-24）