基于視頻關(guān)鍵幀分析的課堂教學(xué)效果研究

孫元 陳立軍 吳慶妍

摘要：目前針對(duì)課堂教學(xué)效果的研究很多，大多依據(jù)源于問卷調(diào)查之類的主觀數(shù)據(jù)，但是將主觀數(shù)據(jù)作為依據(jù)得到的結(jié)果是否準(zhǔn)確有待商榷。本文針對(duì)學(xué)生上課期間的姿態(tài)、表情等視頻信息進(jìn)行提取的關(guān)鍵幀進(jìn)行分析，客觀地直接獲得學(xué)生上課期間的學(xué)習(xí)狀態(tài)信息，以該表現(xiàn)為依據(jù)，針對(duì)教師整個(gè)授課期間或者部分授課時(shí)間或者某一個(gè)知識(shí)點(diǎn)的學(xué)生表現(xiàn)提醒教師繼續(xù)沿用或者改進(jìn)授課方式、方法，從而達(dá)到更好的授課效果。

關(guān)鍵詞：課堂教學(xué)；視頻；關(guān)鍵幀

中圖分類號(hào)：G642.0 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1674-9324（2018）38-0184-02

目前針對(duì)課堂教學(xué)效果的研究很多，比如：馮利英等教師發(fā)表的“高校教師課堂教學(xué)效果評(píng)價(jià)研究綜述”建立了科學(xué)系統(tǒng)、操作性強(qiáng)的評(píng)價(jià)指標(biāo)體系[1]；劉堅(jiān)等教師發(fā)表的“基于多元統(tǒng)計(jì)分析的高校課堂教學(xué)質(zhì)量評(píng)價(jià)研究”針對(duì)高校課堂教學(xué)質(zhì)量評(píng)價(jià)進(jìn)行了主成分分析及聚類分析。聚類分析對(duì)各個(gè)教師進(jìn)行了有效分類，使得評(píng)價(jià)結(jié)果更加科學(xué)[2]；吳國譽(yù)等教師發(fā)表的“以學(xué)生為本的高校課堂教學(xué)評(píng)價(jià)指標(biāo)體系研究”從學(xué)術(shù)性、互動(dòng)性、成長性、差異性、導(dǎo)向性和可測(cè)性等多方面構(gòu)建“以學(xué)生為本”的教學(xué)評(píng)價(jià)指標(biāo)體系[3]。

以上研究大多依據(jù)于問卷調(diào)查之類的主觀數(shù)據(jù)得來，雖然分析的方法很多，但是將主觀數(shù)據(jù)作為依據(jù)得到的結(jié)果是否準(zhǔn)確有待商榷。目前需要有更為客觀的學(xué)生課堂數(shù)據(jù)作為依據(jù)，在此基礎(chǔ)上再進(jìn)行的各種方法分析才具有更為客觀的意義。本論文就是客觀地針對(duì)如何提取授課過程中學(xué)生學(xué)習(xí)狀態(tài)來進(jìn)行的，進(jìn)而依據(jù)學(xué)生聽課狀態(tài)分析教學(xué)效果，從而進(jìn)一步延續(xù)或者改進(jìn)教學(xué)方式、方法。

本論文中所使用的視頻關(guān)鍵幀處理方法主要利用深度學(xué)習(xí)來實(shí)現(xiàn)，深度學(xué)習(xí)使用了分層抽象的思想，高層的概念通過低層的概念學(xué)習(xí)得到。這一分層結(jié)構(gòu)通常使用逐層訓(xùn)練算法構(gòu)建而成，并從中選取有助于機(jī)器學(xué)習(xí)的有效特征，很多深度學(xué)習(xí)算法都是以無監(jiān)督學(xué)習(xí)的形式出現(xiàn)的，因此這些算法能被應(yīng)用于其他算法無法企及的無標(biāo)簽數(shù)據(jù)，這一類數(shù)據(jù)比有標(biāo)簽的數(shù)據(jù)更為豐富，也更容易獲得，這一點(diǎn)成為深度學(xué)習(xí)的重要優(yōu)勢(shì)。下面就本論文實(shí)施過程進(jìn)行重點(diǎn)論述。

一、標(biāo)準(zhǔn)學(xué)生上課狀態(tài)入庫

基于大數(shù)據(jù)思維，采集學(xué)生上課過程中狀態(tài)視頻信息，提取出其中標(biāo)準(zhǔn)的學(xué)生上課狀態(tài)：學(xué)生姿態(tài)以及面目表情。其中學(xué)生姿態(tài)包含：認(rèn)真聽講、舉手、低頭、看手機(jī)、睡覺、長時(shí)間寫字不抬頭、同學(xué)兩兩之間側(cè)頭交頭接耳等；如果采集的數(shù)據(jù)足夠清晰，可以采集聽課過程中的學(xué)生面目表情進(jìn)行各種聽課狀態(tài)的分析。學(xué)生面目表情包含：睜眼、皺眉、閉眼、用手支撐頭部并眼部斜視、同學(xué)兩兩之間側(cè)頭交頭接耳等。

利用視頻關(guān)鍵幀的顏色、紋理、形狀等多維度特征將這些學(xué)生上課期間的標(biāo)準(zhǔn)狀態(tài)信息錄入數(shù)據(jù)庫。

1.基于視頻提取關(guān)鍵幀。由于整個(gè)上課過程都是基于一個(gè)鏡頭進(jìn)行的，所以不需要鏡頭切換的算法。首先把視頻的第一個(gè)關(guān)鍵幀作為基本關(guān)鍵幀，確定學(xué)生所在位置，提取相關(guān)狀態(tài)，將各個(gè)學(xué)生的狀態(tài)和標(biāo)準(zhǔn)庫中的學(xué)生狀態(tài)進(jìn)行比較，分析確定剛剛上課時(shí)學(xué)生的基本狀態(tài)，如果聽課比例較低，則說明需要調(diào)動(dòng)積極性，或者說明學(xué)生上堂課精力消耗過多。為了避免整個(gè)上課過程中提取關(guān)鍵幀缺失的問題，利用漸變提取關(guān)鍵幀的方式。漸變提取關(guān)鍵幀的方法就是在提取一個(gè)關(guān)鍵幀之后一段時(shí)間內(nèi)播放的視頻中和最近一個(gè)提取的關(guān)鍵幀的多維度特征計(jì)算的差值沒有達(dá)到給定的閾值，那么就按照時(shí)間間隔經(jīng)驗(yàn)值在視頻中提取一個(gè)關(guān)鍵幀，比如：間隔5秒或者10秒等提取一個(gè)漸變關(guān)鍵幀。針對(duì)于切變的關(guān)鍵幀提取方法：當(dāng)前一個(gè)關(guān)鍵幀與后一關(guān)鍵幀多維度特征比較結(jié)果高于給定的閾值時(shí)，需要提取這一變化較大的關(guān)鍵幀作為下一個(gè)視頻關(guān)鍵幀。該閾值的設(shè)定依據(jù)于學(xué)生姿態(tài)以及面目表情在聽課期間的變化比例，對(duì)于該變化與前一提取關(guān)鍵幀學(xué)生聽課狀態(tài)比值高出或低于5%，那么就提取；當(dāng)然這一經(jīng)驗(yàn)值的設(shè)定需要在實(shí)踐過程中進(jìn)行總結(jié)而得，目前暫定為5%。

2.針對(duì)于關(guān)鍵幀的處理。視頻關(guān)鍵幀的處理有多種方式，首先提取相關(guān)的多維度特征，即提取顏色、紋理、形狀等特征進(jìn)行比對(duì)，如果學(xué)生位置不變化，那么整個(gè)身體的顏色基調(diào)基本一致，如果學(xué)生的姿態(tài)發(fā)生變化：（1）由坐姿變成趴在桌子上，那么顏色特征的提取比對(duì)就具有非常大的意義，當(dāng)然針對(duì)以上情況，形狀特征的提取和比較也非常有意義，這是一種針對(duì)坐姿變化的特征比對(duì)方法。學(xué)生從抬頭到低頭的變化可以利用將頭部顏色和紋理進(jìn)行結(jié)合對(duì)比進(jìn)行獲取。（2）學(xué)生將手機(jī)拿到桌面上看的時(shí)候頭部不會(huì)是直視前方，關(guān)鍵幀中獲取的是一部分頭頂、一部分臉部，和標(biāo)準(zhǔn)的聽課姿態(tài)中頭部信息比較，頭部要比顯示的比例要更多，當(dāng)然也可以加入眼睛部分的特征，因?yàn)槠溲劬Σ糠植粫?huì)直視前方，而是直視前方座椅后背或者直視桌面，這樣就可以根據(jù)顏色和紋理兩個(gè)特征的結(jié)合與標(biāo)準(zhǔn)聽課姿態(tài)進(jìn)行比對(duì)。（3）睡覺的姿態(tài)可以通過形狀特征比對(duì)即可，由于睡覺姿態(tài)沒有學(xué)生坐姿的形狀特征，只有座椅，所以簡(jiǎn)單地通過分析關(guān)鍵幀的形狀特征就可以達(dá)到目的。（4）長時(shí)間寫字不抬頭：由于該姿態(tài)頭部不是被前面的座椅后背完全擋住，所以長時(shí)間低頭，手臂不在頭部下面，說明是在寫東西，不是睡覺。由于是長時(shí)間處于該姿態(tài)，說明這段時(shí)間沒有抬頭聽課，所以分類到不認(rèn)真聽課類別中。

以上屬于面目表情的分析，由于上課學(xué)生可能人數(shù)眾多，所以需要對(duì)提取的關(guān)鍵幀進(jìn)行分塊處理：首先將視頻關(guān)鍵幀按照座位或者按照學(xué)生的形狀特征進(jìn)行分塊處理，在獲得了學(xué)生上課位置信息之后，再定位頭部所在位置，進(jìn)一步對(duì)頭部幾個(gè)主要區(qū)域進(jìn)行分塊處理，比如提取學(xué)生的眼睛狀態(tài)、眉毛狀態(tài)等多種面部器官的特征，為分析面目表情信息做好前期鋪墊。利用深度學(xué)習(xí)與面目表情相結(jié)合是將特征提取和模式分類在同一個(gè)模型中依次實(shí)現(xiàn)，利用它特殊的結(jié)構(gòu)特點(diǎn)，先逐層地進(jìn)行特征學(xué)習(xí)，以得到類似人腦認(rèn)知的抽象特征，然后在模型中直接用于分類。

以下的幾種表情屬于比較細(xì)小的特征，需要有清晰程度較高的攝像設(shè)備才可以做到：（1）睜眼或閉眼：主要分為兩種狀態(tài)，一種是睜眼，一種是閉眼。利用人臉識(shí)別算法中針對(duì)眼睛的瞳孔位置以及大小來判定是否處于睜眼的狀態(tài)，否則就屬于閉眼。（2）皺眉：首先定位該位置在兩眉之間，平滑和褶皺的比較。（3）用手支撐頭部并眼部斜視：該姿態(tài)可以利用形狀特征與學(xué)生正常聽課姿態(tài)比較即可獲得。（4）同學(xué)兩兩之間側(cè)頭交頭接耳：該姿態(tài)主要從頭部角度分析，由于側(cè)頭說話，面部特征與頭頂特征比例不同，同時(shí)鄰座兩個(gè)人相向側(cè)身，將兩個(gè)側(cè)身相對(duì)作為一個(gè)整體分析。

二、采集學(xué)生上課狀態(tài)并比對(duì)

采集學(xué)生上課過程中狀態(tài)視頻和教師的板書或者演示文稿，基于漸變和切變等原理提取學(xué)生狀態(tài)的視頻關(guān)鍵幀，針對(duì)學(xué)生聽課狀態(tài)、基于計(jì)算機(jī)視覺提取關(guān)鍵幀的多維度特征，將特征結(jié)果與數(shù)據(jù)庫中的標(biāo)準(zhǔn)學(xué)生上課狀態(tài)進(jìn)行比對(duì)，得到學(xué)生上課各種狀態(tài)。

1.分析學(xué)生上課狀態(tài)數(shù)據(jù)。分析依據(jù)如下：姿態(tài)中認(rèn)真聽講、舉手表明學(xué)生認(rèn)真聽課；低頭、看手機(jī)、睡覺、長時(shí)間寫字不抬頭等說明學(xué)生沒有認(rèn)真聽課。針對(duì)面目表情：皺眉，說明可能有難度，沒有聽懂；點(diǎn)頭，說明學(xué)生已經(jīng)領(lǐng)悟了所講授的知識(shí)；睜眼，說明認(rèn)真聽講；閉眼，說明雖然抬頭了，但是比較疲倦，沒有聽課；用手支撐頭部并眼部斜視，說明沒有認(rèn)真聽講；同學(xué)兩兩之間側(cè)頭交頭接耳，說明學(xué)生對(duì)講解的知識(shí)點(diǎn)有疑問或者沒有認(rèn)真聽課。基于以上學(xué)生狀態(tài)分析出絕大部分、部分、少部分等多種比例學(xué)生屬于認(rèn)真或不認(rèn)真聽課，進(jìn)而作為教師改進(jìn)或延續(xù)授課方式、方法的依據(jù)。

2.分析數(shù)據(jù)結(jié)果更改或延續(xù)教師授課方式、方法。在分析出絕大部分、部分、少部分等多種比例學(xué)生屬于認(rèn)真或不認(rèn)真聽課之后，對(duì)于學(xué)生認(rèn)真聽課時(shí)段的授課內(nèi)容以及授課方式，授課教師要總結(jié)是何種原因讓大部分學(xué)生能夠認(rèn)真聽講，比如：授課內(nèi)容、授課方式、案例生動(dòng)程度、與現(xiàn)實(shí)產(chǎn)品結(jié)合的情況等多種原因，在今后的授課過程中要延續(xù)該方式、方法；對(duì)于一部分學(xué)生上課期間認(rèn)真聽講而另一部分不認(rèn)真聽講的，需要分析是不是方式、方法有問題，做出適當(dāng)?shù)恼{(diào)整；如果大部分學(xué)生上課期間不認(rèn)真聽講，那么要改進(jìn)教學(xué)方式、方法。

三、總結(jié)

通過本論文的相關(guān)想法以及實(shí)現(xiàn)，可以利用課堂上學(xué)生的狀態(tài)以及表情信息作為判斷學(xué)生學(xué)習(xí)狀態(tài)的標(biāo)準(zhǔn)，由此授課教師可以繼續(xù)保持或者改變授課方式、方法，最終達(dá)到講授的知識(shí)點(diǎn)被學(xué)生吸收的目的。

參考文獻(xiàn)：

[1]馮利英，等.高校教師課堂教學(xué)效果評(píng)價(jià)研究綜述[J].內(nèi)蒙古工業(yè)大學(xué)學(xué)報(bào)（社會(huì)科學(xué)版），2014：81-85.

[2]劉堅(jiān)，等.基于多元統(tǒng)計(jì)分析的高校課堂教學(xué)質(zhì)量評(píng)價(jià)研究[J].保險(xiǎn)職業(yè)學(xué)院學(xué)報(bào)（雙月刊），2012：84-87.

[3]吳國譽(yù)，等.以學(xué)生為本的高校課堂教學(xué)評(píng)價(jià)指標(biāo)體系研究[J].教育探索，2015，（10）：19-23.