基于多模態(tài)數(shù)據(jù)融合的課堂教學行為分析研究

陸燕 楊秋芬

摘要：課堂教學行為是影響課堂教學效果的重要因素，然而現(xiàn)有研究在分析課堂教學行為方面存在一些問題，例如數(shù)據(jù)類型單一、編碼復雜以及難以發(fā)現(xiàn)課堂運轉(zhuǎn)規(guī)律等。人工智能技術為課堂教學行為數(shù)據(jù)的大規(guī)模采集和處理提供了全新的機會。通過運用人工智能技術對某省的10所學校917個智慧課堂教學視頻進行了分析，并揭示了課堂教學行為的一些特征。研究結果表明：課堂教學行為的頻率和類型存在較大差異，不同教學行為之間存在相關性，同時教師行為和學生行為也不完全獨立。這些研究結果為人工智能時代的課堂教學規(guī)律挖掘、課堂教學改進以及教研活動的開展提供了重要的參考依據(jù)。

關鍵詞：多模態(tài)數(shù)據(jù)??課堂教學行為??人工智能技術??智慧課堂

中圖分類號：G434

Research?on?the?Analysis?of?Classroom?Teaching?Behaviors?Based?on?Multimodal?Data?Fusion

LU?Yan??YANG?Qiufen

（Hunan?Open?University，?Changsha，?Hunan?Province，?410004?China）

Abstract：?The?classroom?teaching?behavior?is?an?important?factor?affecting?classroom?teaching?effects.?However，?existing?research?has?some?problems?in?the?analysis?of?classroom?teaching?behaviors，?such?as?the?single?data?type，?complex?coding?and?the?difficulty?in?discovering?classroom?operation?rules.?Artificial?intelligence?technology?provides?a?new?opportunity?for?the?large-scale?collection?and?processing?of?classroom?teaching?behavior?data.?In?this?study，?artificial?intelligence?technology?is?used?to?analyze?917?smart?classroom?teaching?videos?from?10?schools?in?a?certain?province，?revealing?some?characteristics?of?classroom?teaching?behaviors.?Research?results?show?that?there?are?great?differences?in?the?frequency?and?types?of?classroom?teaching?behaviors，?there?is?correlation?among?different?teaching?behaviors，?and?that?teacher?behaviors?and?student?behaviors?are?not?completely?independent.?These?research?results?provide?important?reference?for?the?mining?of?classroom?teaching?rules，?the?improvement?of?classroom?teaching，?and?the?development?of?teaching?and?research?activities?in?the?era?of?artificial?intelligence.

Key?Words：?Multimodal?data;?Classroom?teaching?behavior;?Artificial?intelligence?technology;?Smart?classroom

課堂是教育教學的主戰(zhàn)場、人才培養(yǎng)的主陣地，課堂教學行為是影響課堂教學效果的重要因素。隨著人工智能技術、可穿戴傳感設備的發(fā)展，課堂教學多模態(tài)數(shù)據(jù)的獲取和分析成為可能，加速了課堂教學從數(shù)字化向智能化的轉(zhuǎn)型升級。目前，通過深入的數(shù)據(jù)挖掘和課堂教學行為分析，可以解決課堂教學行為的復雜性并發(fā)現(xiàn)課堂的運作方式。為教育教學部門及相關人員提供了技術支持。

目前，國內(nèi)外許多研究都集中在利用大數(shù)據(jù)技術分析課堂教學行為，挖掘教師和學生的教學行為特征，這是改進教學過程、優(yōu)化教學評價的重要依據(jù)。然而，目前的研究在數(shù)據(jù)類型分析、編碼復雜度以及課堂規(guī)則的進一步研究等方面還存在差距。智能時代，智慧課堂為多模態(tài)數(shù)據(jù)采集和教學行為分析提供了機會。那么如何利用智能技術來收集課堂上的多模態(tài)教學行為數(shù)據(jù)呢？用什么方法從多模態(tài)數(shù)據(jù)特征中挖掘課堂教學的特征以及這些特征之間的聯(lián)系？這已成為分析智慧課堂教學行為的難點、教育研究的重點和解決智慧教學關鍵問題的核心力量。

1文獻綜述

1.1多模態(tài)教學行為數(shù)據(jù)采集分析方法

Tan，?S.等人[1]利用360度視頻技術采集課堂活動的多模態(tài)數(shù)據(jù)，如師生對話、動作、表情、姿勢、設備使用等，支持教師精準教學；陳雅淑[2]通過對課堂語音文件的降噪、特征提取，判斷學生上課的情緒狀態(tài)：振奮、淡然、無聊；宋宇等人[3]提出了基于音視頻轉(zhuǎn)錄文本的課堂教學自動標注方法，針對以思維培養(yǎng)為導向的課堂教學評價體系，采用卷積神經(jīng)網(wǎng)絡與雙向長短期相結合的混合神經(jīng)網(wǎng)絡技術記憶網(wǎng)絡可以實現(xiàn)大規(guī)模課堂數(shù)據(jù)的快速準確標注，可以有效提煉課堂教學中的思維特征；炕留一等人[4]利用可穿戴設備和植入設備自動采集、編碼和處理教師和學生的情緒和表情數(shù)據(jù)，可以識別情緒和神經(jīng)腦網(wǎng)絡，表征學生的情緒和表情。學習情緒，預測教師的某些教學活動。

1.2多模態(tài)課堂情緒感知與行為分析

張樂樂等人[5]利用深度學習算法，分析學生的行為、生理、心理等數(shù)據(jù)，全面、科學地反映學生的學習情況、教師的教學行為和教學風格，幫助教師優(yōu)化教學過程、從而提高教學質(zhì)量。顧小清等人[6]認為，多模態(tài)課堂教學行為數(shù)據(jù)不僅能夠反映學習者的基礎認知、深度思考、學習持續(xù)力等特征，還可以如實記錄教師教學情況。盧國慶等人[7]根據(jù)智慧課堂數(shù)據(jù)，利用機器學習算法，識別和提取課堂教與學中師生的行為特征，并利用人工智能引擎自動標記課堂教學行為，發(fā)現(xiàn)教師的講、演、評等較多，師生、生生互動不足。

1.3多模態(tài)課堂教學行為分析的結果應用

童慧等人[8]研究表明，多模態(tài)分析方法能夠更有效、更全面地呈現(xiàn)智慧課堂教學互動場景；馬曉鈺等人[9]開發(fā)的系統(tǒng)能支持教學視頻處理、人體骨骼檢測、教師行為識別、結果可視化展示等核心功能，能夠?qū)崿F(xiàn)對課堂教學視頻的實時分析，為教學評價智能化提供有效手段；?Dillenbourg?P?[10]使用眼動追蹤、視頻、音頻和加速器來提取學習者特征，并構建簡單且具有教學意義的布局圖，以支持教師的教學反思。

綜上所述，多模態(tài)數(shù)據(jù)支持的課堂教學行為分析能為教研人員提供全面方位的課堂教學實踐和分析方法。然而，受限于數(shù)據(jù)采集設備、教師信息技術應用能力、數(shù)據(jù)分析能力，多模態(tài)數(shù)據(jù)支持的課堂教學實踐尚未實現(xiàn)常態(tài)化和規(guī)?；瘧?。

2?研究內(nèi)容

2.1構建多模態(tài)教學行為分析模型

基于深度混合判別受限玻爾茲曼機（Hybrid?Deep?Restricted?Boltzmann?Machine，HDRBM）神經(jīng)網(wǎng)絡模型的優(yōu)點是降維、分類、回歸、協(xié)同過濾、特征學習和主題建模以及當前的深度學習特征提取、精度高、速度快。本研究選擇HDRBM神經(jīng)網(wǎng)絡作為多模態(tài)數(shù)據(jù)處理的深度學習框架。在智慧教學環(huán)境中，我們利用HDRBM神經(jīng)網(wǎng)絡處理多模態(tài)課堂教學行為數(shù)據(jù)，通過建立多模態(tài)教學行為分析模型來分析教師和學生的行為特征（如圖1所示）。

2.1.1多模態(tài)數(shù)據(jù)采集

這項研究以教育心理學和行為科學為基礎，通過多種渠道收集信息，例如來自智慧教室的視頻信息和各種傳感器數(shù)據(jù)。數(shù)據(jù)包括師生互動行為數(shù)據(jù)、談話交流數(shù)據(jù)、課堂測試數(shù)據(jù)、師生情緒觀察數(shù)據(jù)、人機交互數(shù)據(jù)等。通過采集更接近實際教學情況的教學行為數(shù)據(jù)，結合可以最大化分離在不同時間和空間維度的教學行為數(shù)據(jù)的關聯(lián)性。

2.1.2教學行為分析過程

該項研究使用深度學習算法基于收集的多模態(tài)數(shù)據(jù)來分析課堂教學行為，包括淺層特征分析和隱式特征分析。首先，對多模態(tài)數(shù)據(jù)進行預處理，并使用BP神經(jīng)網(wǎng)絡和LSTM等深度學習算法來提取淺層特征；其次，從多維多模態(tài)數(shù)據(jù)特征中挖掘師生隱藏的心理情感特征，分析行為模式之間的相關性。

2.2多模態(tài)教學行為分析的算法設計與實現(xiàn)

2.2.1模態(tài)數(shù)據(jù)的獲取與歸一化

預處理后的數(shù)據(jù)通過各自的深度學習網(wǎng)絡映射到同一個融合層中，對不同模態(tài)數(shù)據(jù)的淺層特征進行歸一化，然后采用特征堆疊方式融合各個模態(tài)的局部特征，以得到更魯棒和有區(qū)分性的全局淺層特征表達。

將預處理后的數(shù)據(jù)通過相應的深度學習網(wǎng)絡映射到同一融合層，對不同模態(tài)數(shù)據(jù)的淺層特征進行歸一化，然后利用特征疊加的方式融合各模態(tài)的局部特征，獲得更高的魯棒性和判別性全局淺層特征。

2.2.2基于HDRBM的教學行為特征

本研究采用生成式約束玻爾茲曼機和判別式約束玻爾茲曼機相結合的方式，創(chuàng)建混合判別式約束玻爾茲曼機損失函數(shù)。

通過結合約束玻爾茲曼機和判別約束玻爾茲曼機的損失函數(shù)，形成混合判別約束玻爾茲曼機的損失函數(shù)，并制定相應的多模態(tài)神經(jīng)網(wǎng)絡目標函數(shù)和優(yōu)化路徑以實現(xiàn)高維特征提取。

2.3多模態(tài)教學行為分析與結果應用

基于深度學習的多模態(tài)教學行為分析可以保證分析結果的高精度。當執(zhí)行需要解釋的工作（如相關性分析）時，需要額外的規(guī)劃。這樣可以強化教學行為與特征之間的因果關系，了解不同行為對特征的貢獻，提高結果的準確性和師生滿意度。為了進行影響因素分析，本研究進行了一系列實驗，從收集到的多模態(tài)數(shù)據(jù)中分析影響教學效果的因素，得出教學行為對教學效果的影響程度。最終目標是確定影響教學效果的關鍵要素。

3數(shù)據(jù)分析與結果

3.1研究對象與樣本

本研究采用了10所高職院校的917份普通智慧課堂教學視頻作為樣本。每個課例大約為40分鐘，教學場景配備了智慧課堂教學系統(tǒng)和智能設備如電子白板和學生平板。同時，教師和學生在數(shù)字化信息方面有一定的能力，這樣符合了多模態(tài)數(shù)據(jù)采集的條件。

3.2智慧課堂教學行為分類與編碼

為了準確收集課堂行為數(shù)據(jù)，本研究采用HDRBM教學行為分析模型。通過提取教學視頻樣本中的圖像、音頻/文本特征，創(chuàng)建行為特征矩陣，并利用深度神經(jīng)網(wǎng)絡教學行為預測模型計算10個課堂行為的時間序列矩陣。這10個課堂行為以3?s的間隔進行編碼和采樣，以獲得行為序列樣本。每類抽樣結果約為600～700個，總共獲得了6?100多個有效行為序列樣本。詳細信息如表1所示。

3.3課堂教學行為關聯(lián)分析

本研究通過Pearson相關性和單樣本t檢驗進行分析，結果如表2所示。從均值的描述性統(tǒng)計結果來看，課堂教學行為出現(xiàn)頻率從高到低依次為講授、聽講、演示、練習、師生互動、討論、回答、提問、表揚?？傮w來看，在規(guī)范化、智能化的課堂教學過程中，批評和表揚的情況相對較少。根據(jù)標準差排名，演示、應答和表揚是波動較大的三類教學行為，而師生互動、傾聽和討論是波動較小的三類教學行為。

相關性統(tǒng)計結果顯示，課堂上大多數(shù)教學行為之間存在關聯(lián)性。特別是教師演示、提問和學生練習呈現(xiàn)出顯著的負相關。而且，學生的練習行為與師生互動之間具有最高的相關性，說明師生互動可能會促進學生的練習行為。因此，教師可以通過設計課堂教學活動來促進師生互動，從而提高學生練習行為的頻率。

3.4課堂行為的主成分分析

本研究采用主成分分析法對10種課堂教學行為數(shù)據(jù)進行處理，提取了3個主成分，代表了課堂行為特征的降維，這些主成分的累積解釋方差達到總方差的90.31%。

研究結果表明：與主成分1相關性較高的行為是學生的討論、練習以及師生互動；與主成分2相關性較高的行為是表揚、演示和聽講；與主成分?3?相關性較高的行為包括提問、聽講和師生互動。這說明教學是一個有機系統(tǒng)，教師行為與學生行為相互聯(lián)系，有時形成教講授與演示、生生互動與師生互動等成對的教學行為。同時，教師行為和學生行為也具有一定程度的獨立性，如學生的應答、討論等，具體結果可見表3。

4結論

研究結果表明：教學行為之間存在一定的相關性。大多數(shù)課堂教學行為之間存在負相關，但講授、練習和討論之間存在負相關，講授對學生的練習和討論行為有一定的抑制作用。練習與討論、應答行為之間也存在負相關關系。教師行為與學生行為相互影響和促進，如果簡單地將教學行為分為教師行為和學生行為，就會忽視兩者之間的相關性和復雜性。

然而，這項研究也有一些局限性。在技術上，教學行為分析模型的識別精準率有待提高。在多模態(tài)數(shù)據(jù)采集及處理方面，本研究主要分析學生的課堂行為類型，并未涉及師生的認知、情感或其他內(nèi)部心理狀態(tài)。因此，未來的研究可以考慮認知、情感和心理數(shù)據(jù)，以對課堂教學行為提供更全面的分析。此外，人工智能應用于教育時，還涉及大量敏感數(shù)據(jù)，需要關注隱私保護和數(shù)據(jù)安全，以及倫理、利益和安全問題。

參考文獻

[1] TAN?S?，WIEBRANDS?M?，O?HALLORAN?K?，?et?al.?Analysing?student?engagement?with?360-degree?videos?through?multimodal?data?analytics?and?user?annotations[J].Technology，Pedagogy?and?Education.?2020，29（5）：593-612.

[2] 陳雅淑.基于語音識別的多維課堂交互分析[D].武漢：華中師范大學，2021.

[3] 宋宇，許昌良，朱佳，等.面向思維培養(yǎng)：基于精準標注技術的智能化課堂教學分析及應用[J].華東師范大學學報（教育科學版），2023，41（8）：79-89.

[4] 炕留一，葉海智，張瑾，等.基于多維數(shù)據(jù)的課堂教學行為評價研究[J].現(xiàn)代教育技術，2022，32（4）：68-77.

[5] 張樂樂，顧小清.多模態(tài)數(shù)據(jù)支持的課堂教學行為分析模型與實踐框架[J].開放教育研究，2022，28（6）：101-

110.

[6] 顧小清，王超.?打開技術創(chuàng)新課堂教學的新窗：刻畫AIoT課堂應用場景[J].現(xiàn)代遠程教育研究，2021，33（2）：?3-12.

[7] 盧國慶，謝魁，劉清堂，等.基于人工智能引擎自動標注的課堂教學行為分析[J].開放教育研究，2021，27（6）：?97-107.

[8] 童慧，楊彥軍.基于多模態(tài)數(shù)據(jù)的智慧課堂教學互動研究[J].電化教育研究，2022，43（3）：60-68.

[9] 馬曉鈺.面向智慧課堂的教師教學行為識別研究與應用[D].昆明：云南師范大學，?2023.

[10]? DILLENBOURG?P.Orchestration?Graphs：Modeling?Scalable?education[M].?Lausanne：EPFL?Press，2015.