基于多模態(tài)數(shù)據(jù)構(gòu)建教師課堂教學(xué)畫(huà)像模型

梁馨予

關(guān)鍵詞 多模態(tài)數(shù)據(jù) 教師課堂教學(xué) 精準(zhǔn)畫(huà)像

1引言

隨著高校信息化建設(shè)的逐步完善，特別是在疫情防控期間，網(wǎng)絡(luò)教學(xué)和線上教學(xué)已趨于成熟，給師生教學(xué)方面帶來(lái)了很大的便利。但是，線上教學(xué)依然存在一些問(wèn)題，由于教師和學(xué)生不是面對(duì)面地交流、互動(dòng)，使教師不易掌握學(xué)生的學(xué)習(xí)動(dòng)態(tài)，不能及時(shí)地根據(jù)實(shí)際教學(xué)情況做出教學(xué)進(jìn)度的調(diào)整，因而可能出現(xiàn)時(shí)間分配不合理、教學(xué)重難點(diǎn)沒(méi)有得到及時(shí)鞏固的情況。

另外，教學(xué)評(píng)價(jià)的方式單一使學(xué)生學(xué)習(xí)的積極性不高，因?yàn)檫M(jìn)行線上教學(xué)可能會(huì)因?yàn)榫W(wǎng)速及學(xué)習(xí)平臺(tái)的穩(wěn)定性影響學(xué)生的學(xué)習(xí)體驗(yàn)，所以大多數(shù)教師會(huì)通過(guò)布置課后作業(yè)的方式來(lái)得知教學(xué)效果，這種評(píng)價(jià)方式使學(xué)生容易出現(xiàn)為了完成作業(yè)而完成的心理，不利于自身綜合素質(zhì)的提升。因?yàn)閷W(xué)生在家中的學(xué)習(xí)環(huán)境不同，相比較傳統(tǒng)的上課模式，教師對(duì)學(xué)生的監(jiān)管難度增大，使一些自控力差學(xué)生與和意志力強(qiáng)的學(xué)生的差距越來(lái)越大，不利于形成良好的班級(jí)學(xué)習(xí)氛圍。那么利用新技術(shù)收集教師課堂教學(xué)的常態(tài)數(shù)據(jù)（如伴隨數(shù)據(jù)），刻畫(huà)教師課堂教學(xué)畫(huà)像，成為提高精準(zhǔn)診斷、及時(shí)干預(yù)和個(gè)性化服務(wù)水平的重要舉措。

從起源上講，畫(huà)像的概念最早來(lái)源于用戶畫(huà)像，用戶畫(huà)像的概念源于企業(yè)。交互設(shè)計(jì)之父AlanCooper最早提出用戶畫(huà)像的概念。而精準(zhǔn)教學(xué)這一概念最早由Lindsley 最早提出[1] ，他認(rèn)為精準(zhǔn)教學(xué)是指學(xué)習(xí)者利用標(biāo)準(zhǔn)化工具持續(xù)記錄和監(jiān)控自身的學(xué)業(yè)成就變化，為教師決策提供數(shù)據(jù)支持的過(guò)程。

國(guó)內(nèi)研究者紛紛在不同領(lǐng)域提出了針對(duì)教師畫(huà)像的概念，陳海建等人構(gòu)建了遠(yuǎn)程學(xué)習(xí)者畫(huà)像并證明這對(duì)個(gè)性化教學(xué)有積極作用[2] 。在技術(shù)實(shí)現(xiàn)方面，陳堯通過(guò)學(xué)生評(píng)教數(shù)據(jù)構(gòu)建了教師畫(huà)像模塊[3] 。胡小勇聚焦的領(lǐng)域是精準(zhǔn)教研環(huán)境下的教師畫(huà)像研究[4] 。在教師課堂教學(xué)領(lǐng)域的精準(zhǔn)畫(huà)像研究尚屬空白。而國(guó)外針對(duì)教師畫(huà)像的研究主要是集中在針對(duì)某一個(gè)特定環(huán)境下的教師特征去采取的一些特定行為。鮮有從多模態(tài)數(shù)據(jù)的角度，針對(duì)教師教學(xué)課堂的教師精準(zhǔn)畫(huà)像的研究。

本文從多模態(tài)數(shù)據(jù)的內(nèi)涵出發(fā)，基于以往的關(guān)于教師畫(huà)像的文獻(xiàn)研究，提出了基于多模態(tài)數(shù)據(jù)的教師課堂教學(xué)畫(huà)像模型，利用多模態(tài)數(shù)據(jù)的特點(diǎn)來(lái)進(jìn)行精準(zhǔn)教學(xué)以及提供教師個(gè)性化教學(xué)服務(wù)。

2多模態(tài)數(shù)據(jù)

（1）多模態(tài)數(shù)據(jù)內(nèi)涵

隨著神經(jīng)科學(xué)、腦科學(xué)、學(xué)習(xí)科學(xué)研究成果的常態(tài)化應(yīng)用以及腦電、多導(dǎo)生理儀等非侵入傳感設(shè)備便攜式、可穿戴式的發(fā)展，以生理數(shù)據(jù)為重要組分的多模態(tài)數(shù)據(jù)成為精準(zhǔn)描繪個(gè)體畫(huà)像的新研究取向[5] 。上述數(shù)據(jù)往往來(lái)源于不同渠道，具有不同樣態(tài)，一般統(tǒng)稱為多模態(tài)數(shù)據(jù)。根據(jù)數(shù)據(jù)中所攜帶信息的特性，可將多模態(tài)數(shù)據(jù)分為生理層數(shù)據(jù)、心理層數(shù)據(jù)、行為層數(shù)據(jù)和基本信息數(shù)據(jù)四類，如圖1 所示。生理層數(shù)據(jù)是最底層的數(shù)據(jù)，反映了人體內(nèi)受到刺激時(shí)的生理活動(dòng)及其變化;心理層數(shù)據(jù)是人體內(nèi)的心理活動(dòng)數(shù)據(jù);行為層數(shù)據(jù)是指人的外在行為表現(xiàn);基本信息數(shù)據(jù)主要指的是人口統(tǒng)計(jì)學(xué)數(shù)據(jù)，數(shù)據(jù)中最基礎(chǔ)的組成部分。

（2）數(shù)據(jù)特點(diǎn)

與單模態(tài)數(shù)據(jù)相比，多模態(tài)數(shù)據(jù)能夠全方位、多視角、高效、真實(shí)的構(gòu)建教師教學(xué)畫(huà)像，具有情境性、時(shí)序性、層級(jí)性和互補(bǔ)性等特點(diǎn)。

情境性：多模態(tài)數(shù)據(jù)的情境性可以更加準(zhǔn)確地、真實(shí)地還原教學(xué)情境，能夠有效發(fā)揮出情境的多維性，使得模型的構(gòu)建更加真實(shí)立體。

時(shí)序性：由于教師課堂教學(xué)是按照一定的時(shí)序來(lái)進(jìn)行的，那記錄教師課堂教學(xué)的多模態(tài)數(shù)據(jù)也具有時(shí)序性，體現(xiàn)在教師和學(xué)習(xí)者的行為、學(xué)習(xí)資源的屬性隨著時(shí)間的變化而變化。

層級(jí)性：在教學(xué)過(guò)程中，人的認(rèn)知能力和情感的變化是具有層級(jí)性的，基于此，教學(xué)也應(yīng)該由淺入深、循序漸進(jìn);多模態(tài)數(shù)據(jù)的層級(jí)性還體現(xiàn)在對(duì)于不同年級(jí)、班級(jí)和小組的教學(xué)應(yīng)該有一定的層級(jí)性。

互補(bǔ)性：?jiǎn)文B(tài)數(shù)據(jù)能夠解釋某一現(xiàn)象或過(guò)程，而多模態(tài)數(shù)據(jù)能夠?qū)δ骋粚?duì)象進(jìn)行更加全面而系統(tǒng)的解釋，彌補(bǔ)單模態(tài)數(shù)據(jù)的單一性。

3教師課堂教學(xué)畫(huà)像的構(gòu)建流程

構(gòu)建教師課堂教學(xué)畫(huà)像需要用到的技術(shù)之一就是畫(huà)像技術(shù)。畫(huà)像技術(shù)是在大數(shù)據(jù)背景下產(chǎn)生的，目前已廣泛應(yīng)用于企業(yè)的運(yùn)營(yíng)管理中。大數(shù)據(jù)時(shí)代用戶的信息和行為都被系統(tǒng)平臺(tái)記錄下來(lái)，這些數(shù)據(jù)背后隱藏著用戶的習(xí)慣、態(tài)度等特征，也是企業(yè)運(yùn)營(yíng)活動(dòng)的真實(shí)記錄，如何將這些碎片化數(shù)據(jù)收集起來(lái)，通過(guò)對(duì)數(shù)據(jù)的分析，將用戶的某些特征通過(guò)可視化方式形象地展示出來(lái)，實(shí)現(xiàn)精細(xì)化運(yùn)營(yíng)和精準(zhǔn)推送服務(wù)，這就是建立畫(huà)像的初衷。根據(jù)華東師范大學(xué)所構(gòu)建的智能課堂的邏輯框架[6] ，基于多模態(tài)數(shù)據(jù)構(gòu)建的教師課堂教學(xué)畫(huà)像需要遵循如圖2 所示的實(shí)現(xiàn)步驟。

需要明確數(shù)據(jù)獲取的來(lái)源，可以應(yīng)用物聯(lián)網(wǎng)感知技術(shù)從教師信息管理系統(tǒng)、話筒、錄音筆、眼動(dòng)儀等設(shè)備及課堂教學(xué)錄屏軟卷中進(jìn)行獲取。記錄課堂教學(xué)的多模態(tài)數(shù)據(jù)分為很多方面，有表現(xiàn)教師特征的數(shù)據(jù)，包括教師的年齡、性別、所教授的學(xué)科及學(xué)段等信息;有教學(xué)行為數(shù)據(jù)，這些數(shù)據(jù)一般來(lái)源于教師的言語(yǔ)行為，非言語(yǔ)外顯行為，如進(jìn)行板書(shū)以及通過(guò)多媒體來(lái)呈現(xiàn)教學(xué)內(nèi)容，這些數(shù)據(jù)可以通過(guò)視頻的形式進(jìn)行記錄;有教學(xué)心理數(shù)據(jù)，這些數(shù)據(jù)一般通過(guò)教師的面部表情，眼動(dòng)蹤跡以及通過(guò)可穿戴設(shè)備獲取的生理信號(hào)等方面來(lái)呈現(xiàn)。在教師進(jìn)行實(shí)際教學(xué)中需要考慮實(shí)際的教學(xué)環(huán)境條件是否能夠準(zhǔn)確捕獲所需數(shù)據(jù)。

在采集到教師課堂教學(xué)多模態(tài)數(shù)據(jù)之后，要對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，因?yàn)樗@取的數(shù)據(jù)不一定全都是符合規(guī)范并且是有價(jià)值的，首先依據(jù)不同的標(biāo)準(zhǔn)對(duì)數(shù)據(jù)進(jìn)行審核，篩選出符合規(guī)范的數(shù)據(jù)，之后進(jìn)行數(shù)據(jù)清洗、數(shù)據(jù)集成、數(shù)據(jù)變換和數(shù)據(jù)歸約。數(shù)據(jù)清洗需要用專業(yè)的清理工具來(lái)對(duì)數(shù)據(jù)處理，是為了去除一些不完整的數(shù)據(jù);數(shù)據(jù)集成是指把來(lái)自不同渠道收集到的教學(xué)數(shù)據(jù)整合至相同的邏輯視圖中;數(shù)據(jù)規(guī)約是對(duì)數(shù)量多且非常龐大的數(shù)據(jù)集進(jìn)行歸約。由于數(shù)據(jù)有不同的類型和格式，數(shù)據(jù)變換能將數(shù)據(jù)變換統(tǒng)一成適合畫(huà)像構(gòu)建的格式。通過(guò)數(shù)據(jù)清洗和預(yù)處理，可以提高數(shù)據(jù)的有效性，為后續(xù)數(shù)據(jù)特征模型的構(gòu)建提供數(shù)據(jù)基礎(chǔ)。對(duì)教師課堂教學(xué)構(gòu)建標(biāo)簽體系是非常關(guān)鍵的一部分，包括教師的教學(xué)行為、教學(xué)體驗(yàn)和能力水平，每個(gè)標(biāo)簽下細(xì)分為不同的標(biāo)簽，如能力水平下有教學(xué)成績(jī)和答疑解惑的標(biāo)簽。最后一步是根據(jù)標(biāo)簽體系從三個(gè)層面構(gòu)建教師課堂教學(xué)畫(huà)像模型。

4多模態(tài)數(shù)據(jù)構(gòu)建教學(xué)畫(huà)像模型

大數(shù)據(jù)、人工智能以及云計(jì)算等高新技術(shù)的發(fā)展使得全面刻畫(huà)教師課堂教學(xué)畫(huà)像成為可能。依據(jù)華東師范大學(xué)開(kāi)放教育學(xué)院構(gòu)建的教師全息數(shù)字畫(huà)像，對(duì)于教師課堂教學(xué)畫(huà)像可以從屬性層、教學(xué)層、愿景層來(lái)構(gòu)建模型。屬性層負(fù)責(zé)刻畫(huà)教師的本體特征;教學(xué)層負(fù)責(zé)描繪教師課堂教學(xué)過(guò)程中教師的教學(xué)行為、生理反應(yīng)、心理活動(dòng)以及能力的發(fā)展變化;愿景層負(fù)責(zé)勾勒學(xué)校對(duì)教師以及教師對(duì)學(xué)生的發(fā)展期望。

（1）屬性層

教師課堂教學(xué)畫(huà)像模型的屬性層包括教師的基本特征與生命體征、教學(xué)風(fēng)格與偏好、教學(xué)效能感等方面。基本特征主要指的是人口學(xué)特征和社會(huì)學(xué)特征。人口學(xué)特征包括教師的性別、年齡等屬性;社會(huì)學(xué)特征主要是指教師工作場(chǎng)所以及所教科目及所教學(xué)段。這類多模態(tài)數(shù)據(jù)是比較固定的，通?？梢栽诮處熑肆Y源管理系統(tǒng)中來(lái)獲得。生命體征包括體溫、脈搏、心率、血壓等，這類多模態(tài)數(shù)據(jù)是用來(lái)反映教師的健康指數(shù)的，主要是用腕表監(jiān)測(cè)得到。

教師的教學(xué)風(fēng)格與偏好對(duì)教師課堂教學(xué)過(guò)程有著重要影響，這一類模態(tài)數(shù)據(jù)可以通過(guò)可穿戴設(shè)備來(lái)進(jìn)行獲取，同時(shí)需要對(duì)上一層教學(xué)數(shù)據(jù)進(jìn)行智能計(jì)算，從而為教師課堂教學(xué)提供更加精準(zhǔn)地個(gè)性化教學(xué)服務(wù)。

教師的教學(xué)效能感是指教師對(duì)自己影響學(xué)生學(xué)習(xí)行為和學(xué)習(xí)成績(jī)能力的主觀判斷。這種判斷會(huì)影響教師對(duì)學(xué)生的期待、對(duì)學(xué)生的指導(dǎo)等行為，從而影響教師的教學(xué)表現(xiàn)。效能感的高低往往會(huì)影響一個(gè)人的認(rèn)知和行為，這是一種比較積極的心理狀態(tài)，通過(guò)他人或自己的評(píng)價(jià)后而獲取的數(shù)據(jù)有較強(qiáng)的主觀性，因此這一類多模態(tài)數(shù)據(jù)可以通過(guò)腦電設(shè)備進(jìn)行實(shí)時(shí)監(jiān)測(cè)，這樣使獲取的數(shù)據(jù)更具有說(shuō)服力。

（2）教學(xué)層

教學(xué)層是教師課堂教學(xué)畫(huà)像的主要組成部分，并且是核心部，主要包括教師的教學(xué)行為、教學(xué)體驗(yàn)、能力水平等方面。

教學(xué)行為包括課堂中通過(guò)多媒體設(shè)備對(duì)所設(shè)計(jì)的教學(xué)內(nèi)容的呈現(xiàn)、攝像機(jī)等攝錄的言談舉止（含筆跡）以及眼動(dòng)儀追蹤的眼動(dòng)數(shù)據(jù)三個(gè)方面。由于目前科技的快速發(fā)展，技術(shù)的不斷進(jìn)步，使得教學(xué)行為的記錄和監(jiān)測(cè)變得簡(jiǎn)單。教學(xué)內(nèi)容的呈現(xiàn)可以通過(guò)錄制視頻的方式進(jìn)行記錄，筆記數(shù)據(jù)可以通過(guò)數(shù)碼筆來(lái)進(jìn)行超聲追蹤定位，這種新型輸入設(shè)備可以精準(zhǔn)感受到筆尖的運(yùn)動(dòng)軌跡、速度與壓力變化，最為真實(shí)的還原筆跡[7] 。基于眼動(dòng)儀追蹤的眼動(dòng)數(shù)據(jù)也是刻畫(huà)教師課堂教學(xué)畫(huà)像的重要模態(tài)數(shù)據(jù)，眼動(dòng)儀可以記錄人在處理視覺(jué)信息時(shí)的眼動(dòng)軌跡特征以及注視某一事物的時(shí)間和次數(shù)，甚至可以捕捉到使用者的瞳孔變化。

教學(xué)體驗(yàn)是教師在教學(xué)過(guò)程中流露出的情感、認(rèn)知等心理反應(yīng)與感受，如教學(xué)情緒、認(rèn)知負(fù)荷、注意力水平等。對(duì)于心理活動(dòng)數(shù)據(jù)，我們可以用便攜式的生理儀實(shí)時(shí)監(jiān)測(cè)，比如腦電儀、心電儀和皮電儀等。對(duì)于面部表情數(shù)據(jù)，可以使用面部識(shí)別系統(tǒng)進(jìn)行精準(zhǔn)識(shí)別面部特征，并記錄下多種表情之間的變換情況[8] 。

能力水平也是描繪教師課堂教學(xué)畫(huà)像的重要模態(tài)數(shù)據(jù)，所以可以通過(guò)一些練習(xí)和測(cè)試的成績(jī)來(lái)作為教師課堂教學(xué)畫(huà)像數(shù)據(jù)。同時(shí)，可以通過(guò)大數(shù)據(jù)技術(shù)來(lái)分析教學(xué)過(guò)程中的行為和情感等，從而更加精準(zhǔn)地展現(xiàn)教師解決問(wèn)題的能力[9] 。對(duì)于難以用練習(xí)來(lái)進(jìn)行測(cè)評(píng)的能力，如學(xué)習(xí)力和創(chuàng)造力等，則可以采取問(wèn)卷的形式來(lái)定期監(jiān)測(cè)。

（3）愿景層

教師課堂教學(xué)是以學(xué)校教學(xué)計(jì)劃為導(dǎo)向的，同時(shí)教師的個(gè)人發(fā)展目標(biāo)也將為課堂教學(xué)提供動(dòng)力。將兩者的目標(biāo)結(jié)合起來(lái)可以使課堂教學(xué)計(jì)劃發(fā)揮最大效用，同時(shí)使教師的教學(xué)能力得到提升。愿景層是對(duì)教師課堂教學(xué)的發(fā)展期望，關(guān)于學(xué)校以及教師的發(fā)展數(shù)據(jù)需要通過(guò)教師的自我報(bào)告數(shù)據(jù)以表單的形式進(jìn)行錄入。

教師教學(xué)需求也是教學(xué)畫(huà)像愿景層的組成部分，對(duì)教師的教學(xué)需求進(jìn)行分析，可以讓教師更好地做到精準(zhǔn)教學(xué)，從而解決教師“教什么”的問(wèn)題，但是“怎么教”還需進(jìn)一步通過(guò)教學(xué)層和屬性層的多模態(tài)數(shù)據(jù)進(jìn)行技術(shù)分析，以達(dá)到教師的個(gè)性化教學(xué)目標(biāo)。

5總結(jié)

教師教學(xué)課堂畫(huà)像雖然是一個(gè)新的概念，但是其前身是對(duì)教師在課堂上教學(xué)過(guò)程和教學(xué)效果的歸納和總結(jié)，是評(píng)價(jià)教學(xué)效果和提高教學(xué)水平的一個(gè)重要方法， 這是教學(xué)過(guò)程中非常重要的一個(gè)環(huán)節(jié)。但是，傳統(tǒng)方法中大都是基于問(wèn)卷或者聽(tīng)課等方式進(jìn)行，具有較強(qiáng)的主觀性，不能客觀記錄和評(píng)價(jià)教學(xué)過(guò)程。隨著神經(jīng)科學(xué)、腦科學(xué)、學(xué)習(xí)科學(xué)研究成果的常態(tài)化應(yīng)用以及腦電、多導(dǎo)生理儀等非侵入傳感設(shè)備便攜式、可穿戴式的發(fā)展，以生理數(shù)據(jù)為重要組分的多模態(tài)數(shù)據(jù)成為記錄教學(xué)過(guò)程的新的范式。通過(guò)多模態(tài)數(shù)據(jù)的廣泛使用，從客觀的角度對(duì)教師教學(xué)課堂畫(huà)像進(jìn)行刻畫(huà)成為現(xiàn)實(shí)，從而能夠更加細(xì)致和真實(shí)的記錄課堂教學(xué)的過(guò)程。多模態(tài)數(shù)據(jù)能夠更清晰地揭示教師的教學(xué)機(jī)理與狀態(tài)，幫助教師了解自己教學(xué)過(guò)程中無(wú)形的心理認(rèn)知與元認(rèn)知過(guò)程。此類數(shù)據(jù)作為反饋信息反饋給教師，或許可增強(qiáng)教師自我調(diào)節(jié)的能力與意識(shí)，提高教學(xué)成效?；诙嗄B(tài)數(shù)據(jù)構(gòu)建的教師課堂教學(xué)畫(huà)像模型對(duì)于課堂教學(xué)來(lái)說(shuō)是一個(gè)很好的嘗試，為實(shí)施精準(zhǔn)教學(xué)以及提供個(gè)性化教學(xué)服務(wù)開(kāi)辟了新方向。