一種基于姿勢(shì)識(shí)別的教師教學(xué)行為評(píng)價(jià)方法

摘? 要：隨著智慧教室的不斷普及，采用傳統(tǒng)人工評(píng)教方法已經(jīng)不能滿足評(píng)估教師在這些教室教學(xué)視頻中教學(xué)行為的需要。針對(duì)這些教學(xué)視頻，建立了智能化評(píng)價(jià)教師教學(xué)行為的框架。這個(gè)框架首先基于HRNet深度學(xué)習(xí)網(wǎng)絡(luò)獲得教師人體姿態(tài)信息，然后根據(jù)教師的姿態(tài)信息建立了評(píng)價(jià)其教學(xué)行為的指標(biāo)，最后采用模糊綜合評(píng)價(jià)的方法實(shí)現(xiàn)了對(duì)教師教學(xué)行為的綜合評(píng)分。實(shí)驗(yàn)表明，本框架的評(píng)價(jià)結(jié)果總體和傳統(tǒng)的人工評(píng)價(jià)結(jié)果是一致的。

關(guān)鍵詞：教師教學(xué)行為;深度學(xué)習(xí);模糊綜合評(píng)價(jià);HRNet模型;姿勢(shì)識(shí)別

中圖分類號(hào)：TP391.41? ? ?文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：2096-1472（2021）-04-06-04

Abstract： With the continuous popularity of smart classrooms， traditional manual evaluation methods are far from meeting the needs of evaluating teaching behaviors in teaching videos of smart classrooms. In view of this problem， this paper proposes a framework for intelligently evaluating teaching behaviors. In the framework， teachers' body posture information is first obtained though HRNet （High Resolution Net） deep learning network. Then an index to evaluate their teaching behavior is established according to the teachers' posture information. Finally， comprehensive scoring of the teachers' teaching behavior is achieved by using the fuzzy comprehensive evaluation method. Experiments show that the overall evaluation results of the proposed framework are consistent with traditional manual evaluation results.

Keywords： teaching behaviors; deep learning; fuzzy comprehensive evaluation; HRNet model; posture recognition

1? ?引言（Introduction）

教師教學(xué)行為評(píng)價(jià)是指學(xué)校對(duì)教師在課堂上的教學(xué)行為有效性進(jìn)行評(píng)價(jià)的過(guò)程。將評(píng)價(jià)結(jié)果反饋給相關(guān)教師，可以指導(dǎo)他們課堂教學(xué)能力的提升。當(dāng)前，教師教學(xué)行為評(píng)價(jià)在很大程度上依賴于學(xué)校管理人員、教學(xué)督導(dǎo)或其他專業(yè)教師的課堂觀察。這種評(píng)價(jià)方法只能對(duì)教師具體的一節(jié)課堂教學(xué)進(jìn)行評(píng)價(jià)，卻難以對(duì)教師在整個(gè)學(xué)期的全部課堂教學(xué)進(jìn)行觀察，不能對(duì)教師的課堂教學(xué)形成客觀和長(zhǎng)期的分析。研究新的教師評(píng)價(jià)方法和框架成為推動(dòng)教學(xué)改革的新動(dòng)力之一。當(dāng)前，人工智能在教育領(lǐng)域的應(yīng)用成為教育技術(shù)領(lǐng)域的新興研究課題之一。將人工智能技術(shù)應(yīng)用于教師教學(xué)行為評(píng)價(jià)，更是一個(gè)新興的研究領(lǐng)域。隨著智能教室等教育信息基礎(chǔ)設(shè)施不斷投入使用，實(shí)時(shí)和全教學(xué)過(guò)程地獲取教師教學(xué)行為成為可能。利用人工智能技術(shù)實(shí)現(xiàn)對(duì)教師教學(xué)行為的全教學(xué)過(guò)程智能化分析，為教師提供客觀的課堂評(píng)價(jià)數(shù)據(jù)，對(duì)促進(jìn)教師課堂高效教學(xué)和提高課堂教學(xué)質(zhì)量具有重要的意義[1]。

2? ?相關(guān)研究（Related works）

2.1? ?教師教學(xué)行為的視頻分析與評(píng)估

視頻分析法是采用智能化的手段跟蹤視頻的目標(biāo)對(duì)象，并獲得目標(biāo)數(shù)據(jù)的運(yùn)動(dòng)數(shù)據(jù)。HUANG等[2]提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)和級(jí)聯(lián)的人臉特征點(diǎn)定位方法，分析和識(shí)別學(xué)生頭部姿態(tài)和面部表情，獲取學(xué)生的課堂行為，從而評(píng)估教師上課效果。閆曉煒等[3]基于yolo算法完成了教師上課時(shí)兩種肢體動(dòng)作的識(shí)別，周鵬霄等[4]基于OpenCV的幀差面積法分析教師上課時(shí)提問(wèn)和板書兩種行為。視頻運(yùn)動(dòng)目標(biāo)分析法采用非接觸式的運(yùn)動(dòng)分析法，對(duì)被檢測(cè)對(duì)象沒(méi)有產(chǎn)生額外干擾，非常適合應(yīng)用在課堂教學(xué)環(huán)境中，在運(yùn)動(dòng)教學(xué)中得到一定的運(yùn)用，然而當(dāng)前教師課堂教學(xué)中能識(shí)別的動(dòng)作比較少。

獲得教師教學(xué)行為數(shù)據(jù)后，需要評(píng)估這些行為反映的教師教學(xué)狀態(tài)和教學(xué)效果，不少最新研究都集中在建立各種教學(xué)評(píng)估模型上。BLACKWELL[5]采取專家組和非專家組觀看及評(píng)價(jià)樂(lè)器教學(xué)演奏視頻的方法，研究發(fā)現(xiàn)專家組和非專家組的評(píng)價(jià)結(jié)果總體是匹配的，而且不隨教學(xué)經(jīng)驗(yàn)的變化而變化。GREVE等[6]提出了一個(gè)用于分析課堂視頻的評(píng)分系統(tǒng)，然而評(píng)分來(lái)自被授權(quán)的觀察員對(duì)教師的主觀評(píng)估。上述研究存在無(wú)法提供定量分析結(jié)果的問(wèn)題，而且有些定量數(shù)據(jù)的來(lái)源也是通過(guò)其他人員的主觀評(píng)估而得。教師教學(xué)行為的評(píng)估還需進(jìn)一步和教師教學(xué)行為數(shù)據(jù)自動(dòng)對(duì)接，才能發(fā)揮信息技術(shù)的巨大優(yōu)勢(shì)，實(shí)現(xiàn)教師教學(xué)行為分析與評(píng)估全程自動(dòng)化。

2.2? ?項(xiàng)目的研究框架

人體姿勢(shì)反映了人體運(yùn)動(dòng)特征、人的情緒等綜合信息。在教學(xué)中，教師的肢體語(yǔ)言充分反映了教師的教學(xué)狀態(tài)，對(duì)學(xué)生學(xué)習(xí)興趣具有重大的影響。本研究建立了基于深度學(xué)習(xí)技術(shù)的課堂教學(xué)行為的分析和評(píng)估框架，這個(gè)框架采用HRNet深度學(xué)習(xí)網(wǎng)絡(luò)建立教師課堂教學(xué)行為的人體姿態(tài)估計(jì)模型，從而獲取教師上課時(shí)的人體關(guān)鍵點(diǎn);分析這些人體關(guān)鍵點(diǎn)與教師課堂教學(xué)行為的對(duì)應(yīng)關(guān)系，建立評(píng)價(jià)教師教學(xué)行為的指標(biāo);采用模糊綜合評(píng)價(jià)法對(duì)這些指標(biāo)進(jìn)行綜合評(píng)估，從而判斷教師教學(xué)效果。本研究成果能做到教師全過(guò)程教學(xué)評(píng)估，提高評(píng)價(jià)效率，對(duì)有效規(guī)范教師教學(xué)行為、促進(jìn)教師教學(xué)能力提升，從而提升教學(xué)質(zhì)量具有一定的幫助。

本項(xiàng)目的14 個(gè)測(cè)試視頻來(lái)源于視頻網(wǎng)站haokan.baidu.com公開的教學(xué)示范課，每個(gè)示范課時(shí)長(zhǎng)為8—12 分鐘，視頻展示了教師在黑板前的教學(xué)活動(dòng)情況。這些視頻覆蓋了小學(xué)和初中的語(yǔ)文、數(shù)學(xué)、英語(yǔ)等主干課程，部分視頻還展現(xiàn)了一些教師容易出現(xiàn)的負(fù)面教學(xué)行為。文獻(xiàn)[5]的研究方法，本項(xiàng)目組還邀請(qǐng)了三位資深教師對(duì)每個(gè)視頻獨(dú)立打分，評(píng)估視頻中教師教學(xué)效果，重點(diǎn)考查教師教學(xué)行為。對(duì)比教師們的評(píng)估結(jié)果與本文算法的分析結(jié)果，從而驗(yàn)證本算法的有效性。

實(shí)驗(yàn)平臺(tái)的硬件環(huán)境：Intel i7-8750H@2.20 GHz CPU，32 GB內(nèi)存，Nvidia RTX 2070 GPU，8 GB顯存;軟件環(huán)境：CUDA Toolkit V10.0，CUDNN V7.0，基于Anaconda 3的Python V3.7，PyTorch 1.6深度學(xué)習(xí)框架，Windows 10 64 bit操作系統(tǒng)。HRNet模型權(quán)重采用精度最高的官方預(yù)訓(xùn)練權(quán)重COCO w48 384×288，HRNet模型計(jì)算通過(guò)GPU加速。

3? 人體姿勢(shì)識(shí)別算法（Human posture recognition algorithm）

3.1? ?項(xiàng)目的研究框架

人體姿態(tài)估計(jì)被定義為圖像或視頻中人體關(guān)節(jié)（也被稱為關(guān)鍵點(diǎn)，例如肘部、手腕等）的定位問(wèn)題。人體骨骼關(guān)鍵點(diǎn)的識(shí)別在人體姿勢(shì)識(shí)別的應(yīng)用中有著舉足輕重的理論價(jià)值，它是該任務(wù)的基礎(chǔ)方法之一[7]。姿勢(shì)識(shí)別主要基于骨骼關(guān)鍵點(diǎn)檢測(cè)來(lái)實(shí)現(xiàn)，因?yàn)楣趋狸P(guān)鍵點(diǎn)的檢測(cè)更能精確地描述人體姿勢(shì)?；谏疃葘W(xué)習(xí)的人體姿勢(shì)估計(jì)核心在于提高人體骨骼關(guān)鍵點(diǎn)檢測(cè)精確度。在當(dāng)前眾多人體姿勢(shì)識(shí)別模型中，HRNet模型的精度是最高的[8]。

HRNet模型是中國(guó)科學(xué)技術(shù)大學(xué)和微軟亞洲研究院共同研究并發(fā)布的人體姿態(tài)估計(jì)模型，是CVPR 2019（Conference on Computer Vision and Pattern Recognition， 國(guó)際計(jì)算機(jī)視覺(jué)與模式識(shí)別會(huì)議）影響力最大的10篇論文之一。HRNet模型采用與眾不同的并聯(lián)結(jié)構(gòu)，可以隨時(shí)保持高分辨率表征，保證姿勢(shì)識(shí)別的效果穩(wěn)定輸出，在COCO公開數(shù)據(jù)集的關(guān)鍵點(diǎn)檢測(cè)、姿態(tài)估計(jì)、多人姿態(tài)估計(jì)這三項(xiàng)任務(wù)里，HRNet模型都超越了現(xiàn)有的人體姿態(tài)估計(jì)模型。因此本文采用HRNet模型作為人體姿態(tài)估計(jì)算法核心，算法原理如圖1所示。

HRNet模型結(jié)構(gòu)如圖1虛線部分所示，橫向表示模型深度變化，縱向表示特征圖尺度變化。第一、第二、第三行分別負(fù)責(zé)高、中、低分辨率特征圖的多層卷積運(yùn)算，每行在適當(dāng)?shù)木矸e運(yùn)算單位之間分別進(jìn)行上、下采樣運(yùn)算，以此相互交換信息，實(shí)現(xiàn)多尺度融合與特征提取。最終所估計(jì)的人體骨骼關(guān)鍵點(diǎn)是通過(guò)高分辨率的卷積運(yùn)算，形成輸入人體圖的骨骼關(guān)鍵點(diǎn)熱力圖。根據(jù)熱力圖，可以獲得鼻子、左右眼、左右耳、左右肩、左右肘、左右手、左右臀、左右膝、左右腳，共17個(gè)骨骼關(guān)鍵點(diǎn)的位置信息和最優(yōu)估計(jì)概率。教師的手勢(shì)和臉部對(duì)教學(xué)效果影響最大，因此本研究著重分析鼻子和左右手這三個(gè)骨骼關(guān)鍵點(diǎn)，如圖2中黑色方塊所示。

給定一段教學(xué)視頻，可定義為由幀率為的幅圖片集組成的集合。把HRNet模型作為一個(gè)算子，第幀圖片中的鼻子（nose）、左手（left_hand）和右手（right_hand）估計(jì)概率和位置信息，如公式（1）所示：

3.2? ?有效關(guān)鍵點(diǎn)的選擇

教師在教學(xué)過(guò)程中，肢體動(dòng)作不停地變化，姿勢(shì)不停地變換，例如轉(zhuǎn)身、遮擋、肢體交互等，導(dǎo)致鼻子和左右手可能在圖像中暫時(shí)消失，這三個(gè)關(guān)鍵點(diǎn)的對(duì)應(yīng)估計(jì)概率比較低。設(shè)判斷鼻子消失的關(guān)鍵點(diǎn)概率閾值為，則全部滿足的鼻子位置數(shù)據(jù)組成一個(gè)有效顯示鼻子關(guān)鍵點(diǎn)的定位序列。

同理，設(shè)判斷左右手消失的關(guān)鍵點(diǎn)概率閾值分別為、，可得有效顯示左右手關(guān)鍵點(diǎn)的定位序列、。一般地，取、、均為0.7，以保證關(guān)鍵點(diǎn)能被正確識(shí)別。圖3是測(cè)試視頻1的鼻子和左右手定位信息展示。

4? 教學(xué)行為狀態(tài)的評(píng)價(jià)指標(biāo)（Evaluation criteria of teaching behaviors）

根據(jù)上節(jié)所獲得的測(cè)試視頻鼻子、左右手定位序列、、，進(jìn)一步定義教師教學(xué)行為狀態(tài)的評(píng)價(jià)指標(biāo)。

4.1? ?教師板書的評(píng)價(jià)指標(biāo)

對(duì)于一個(gè)測(cè)試視頻序列，若相鄰的兩個(gè)元素的幀序數(shù)差大于等于兩倍的幀率，即滿足公式（2）條件，則記為教師完成一次有效板書：

按此定義，教師一次連續(xù)板書時(shí)間要超過(guò)2秒或以上才能算是完成一次有效板書。這次的有效板書時(shí)長(zhǎng)如公式（3）所示：

設(shè)這個(gè)測(cè)試視頻的有效板書時(shí)長(zhǎng)序列為，可得評(píng)價(jià)指標(biāo)1—3如下：

指標(biāo)1：有效板書次數(shù)。

指標(biāo)2：最長(zhǎng)有效板書時(shí)長(zhǎng)。

指標(biāo)3：平均有效板書時(shí)長(zhǎng)如公式（4）所示。

4.2? ?教師頭部與手部的評(píng)價(jià)指標(biāo)

對(duì)于一個(gè)測(cè)試視頻序列，設(shè)鼻子的平均水平位置是，平均垂直位置是，則頭部偏向左邊時(shí)間是，頭部偏向右邊時(shí)間是，可得指標(biāo)4。

指標(biāo)4：頭部左右偏差時(shí)間如公式（5）所示。

教師在教學(xué)中手部超過(guò)胸口以上位置的手勢(shì)，稱為上區(qū)手勢(shì)[9]。手勢(shì)在這一區(qū)域活動(dòng)，一般表示教師基本進(jìn)入教學(xué)狀態(tài)，而且情緒比較激昂。設(shè)左右手的平均垂直擺幅為，則上區(qū)手勢(shì)閾值定義如公式（6）所示。

指標(biāo)5：左手屬于上區(qū)手勢(shì)的幀數(shù)

指標(biāo)6：右手屬于上區(qū)手勢(shì)的幀數(shù) 。

5? ?教學(xué)行為綜合評(píng)價(jià)（Comprehensive evaluation of teaching behaviors）

運(yùn)用上述教師教學(xué)行為評(píng)價(jià)指標(biāo)，對(duì)本文的14 個(gè)教師教學(xué)視頻進(jìn)行綜合評(píng)價(jià)，以評(píng)估視頻中教師的教學(xué)行為。本研究采用模糊綜合評(píng)價(jià)法[10]，此方法以模糊數(shù)學(xué)為理論基礎(chǔ)，它既可以把對(duì)象的多個(gè)評(píng)價(jià)指標(biāo)融合分析獲得其綜合分值，還可以把綜合分值按最大隸屬度原則去評(píng)定對(duì)象的等級(jí)，尤其適于教師教學(xué)的評(píng)價(jià)。

模糊綜合評(píng)價(jià)法包括確定因素集、權(quán)重集，計(jì)算因素評(píng)判矩陣，綜合評(píng)價(jià)計(jì)算。

本項(xiàng)目中，因素集即指標(biāo)1—6，其對(duì)應(yīng)權(quán)重集是{0.2，0.2，0.2，0.2，0.1，0.1}。權(quán)重集是因素集中每個(gè)指標(biāo)在綜合評(píng)價(jià)里面所占的權(quán)重。由于教師板書時(shí)包含了一部分上區(qū)手勢(shì)，因此左右手的上區(qū)手勢(shì)權(quán)重應(yīng)適當(dāng)降低。

設(shè)某一個(gè)評(píng)價(jià)指標(biāo)在14 個(gè)測(cè)試視頻中的平均值是，最大值是，最小值是，則取平均值作為“最優(yōu)秀”，建立公式（7）的三角形隸屬度函數(shù)。這個(gè)隸屬度函數(shù)體現(xiàn)了該指標(biāo)越接近平均評(píng)價(jià)水平，教師教學(xué)行為就越好。根據(jù)公式（7），計(jì)算14 個(gè)測(cè)試視頻中指標(biāo)1—6的隸屬度，形成因素評(píng)判矩陣。

因素評(píng)判矩陣乘以權(quán)重集即可得到最后的綜合評(píng)價(jià)，如表1所示。計(jì)算綜合評(píng)價(jià)與三位專家評(píng)分均值之間的相關(guān)系數(shù)，可得相關(guān)系數(shù)是0.99，即兩者的相關(guān)程度非常大，表明本算法對(duì)教師教學(xué)行為的評(píng)價(jià)和專家的評(píng)價(jià)基本一致?？梢?jiàn)，本算法是有效的。

6? ?結(jié)論（Conclusion）

本研究針對(duì)教師課堂教學(xué)視頻，建立全自動(dòng)評(píng)價(jià)教師教學(xué)行為的框架。這個(gè)框架基于人體姿勢(shì)識(shí)別模型HRNet獲得了教師的鼻子、左手和右手的關(guān)鍵點(diǎn)信息，在這些關(guān)鍵點(diǎn)信息的基礎(chǔ)上進(jìn)一步建立描述教師教學(xué)行為狀態(tài)的評(píng)價(jià)指標(biāo)，將這些評(píng)價(jià)指標(biāo)依據(jù)模糊評(píng)價(jià)綜合算法，獲得了教學(xué)視頻的綜合評(píng)分。在14 個(gè)教學(xué)演示視頻中，證實(shí)了本框架是可行的，為實(shí)現(xiàn)教師全教學(xué)過(guò)程的智能化分析和自動(dòng)化評(píng)價(jià)提供了有益的參考。而且本算法框架具有較好的魯棒性，例如關(guān)鍵點(diǎn)概率閾值的取值范圍比較廣。第3節(jié)中取閾值是0.7，而實(shí)際上，閾值取值為[0.6，0.8]并不影響最后的綜合評(píng)價(jià)結(jié)果，只是個(gè)別評(píng)價(jià)指標(biāo)數(shù)值略有變化。

然而教師教學(xué)的視頻行為分析是一個(gè)新穎的研究領(lǐng)域，還有很多值得深入研究的問(wèn)題，主要包括：

（1）目前本研究的教學(xué)視頻是教師在黑板前的教學(xué)行為，而教師不在黑板前的教學(xué)行為需要進(jìn)一步深入研究;

（2）目前本研究是完全依據(jù)視頻進(jìn)行分析，沒(méi)有結(jié)合教師的授課語(yǔ)音綜合分析，教師授課語(yǔ)音和教學(xué)行為的信息融合分析有待突破，評(píng)價(jià)指標(biāo)需要進(jìn)一步增加;

（3）教師的教學(xué)視頻樣本量還不夠大，今后需要建立一個(gè)覆蓋各學(xué)段、各學(xué)科、各年級(jí)，以及不同教師的教齡、職稱、學(xué)歷等方面的教師教學(xué)視頻庫(kù)。

參考文獻(xiàn)（References）

[1] DOHMS M C， COLLARES C F，TIBERIO I C. Video-based feedback using real consultations for a formative assessment in communication skills[J]. BMC Med Educ， 2020， 20（1）：1-9.

[2] HUANG W， LI N， QIU Z J， et al. An automatic recognition method for students' classroom behaviors based on image processing[J]. Trait Signal， 2020， 37（3）：503-509.

[3] 閆曉煒，張朝暉，趙小燕，等.用于課堂教學(xué)評(píng)估的教師肢體動(dòng)作檢測(cè)[J].中國(guó)教育信息化，2019，16（8）：88-91.

[4] 周鵬霄，鄧偉，郭培育，等.課堂教學(xué)視頻中的S-T行為智能識(shí)別研究[J].現(xiàn)代教育技術(shù)，2018，28（06）：54-59.

[5] BLACKWELL J. Differentiating between teaching experience and expertise in the music studio： A pilot study[J]. Res Stud Music Educ， 2020， 14（4）：1-13.

[6] GREVE S， WEBER K E， BRANDES B， et al. Development of pre-service teachers' teaching performance in physical education during a long-term internship analysis of classroom videos using the Classroom Assessment Scoring System K-3[J]. Ger J Exerc Sport Res， 2020， 11（3）：343-353.

[7] XU X X， ZOU Q， LIN X， et al. Integral knowledge distillation for multi-person pose estimation[J]. IEEE Signal Process Lett， 2020， 27（2）：436-440.

[8] SUN K， XIAO B， LIU D， et al. Deep high-resolution representation learning for human pose estimation[C]. 2019 IEEE Conference on Computer Vision and Pattern Recognition. Long Beach， 2019：5686-5696.

[9]李鵬.電視節(jié)目主持人的手勢(shì)語(yǔ)淺析[J].中國(guó)廣播電視學(xué)刊，2019（08）：100-102.

[10] 何梅.基于模糊綜合評(píng)價(jià)法的本科教學(xué)評(píng)價(jià)[J].中國(guó)多媒體與網(wǎng)絡(luò)教學(xué)學(xué)報(bào)（上旬刊），2020（07）：34-36.

作者簡(jiǎn)介：

鄭譽(yù)煌（1979-），男，博士，副教授.研究領(lǐng)域：機(jī)械電子工程.