行為識別技術(shù)在教學中應用的探討

金瑭

摘要；隨著國家對教育重視力度的不斷加大，教育質(zhì)量成為一個關(guān)鍵問題，而如何評判教育質(zhì)量也成為一個課題，傳統(tǒng)的評判方法過于強調(diào)應試選拔的功效，過于注重量化和傳統(tǒng)的筆試測驗方法，已不能適應時代的進步要求，并不能全面的反應教學質(zhì)量。當代的教學應更加注重學生和教師的全面綜合素質(zhì)，教學中的互動及學生給予的課堂現(xiàn)場反饋往往更能反映教學質(zhì)量的高低，對于人才的培養(yǎng)及學生個人思維模式的形成，學習方法的掌握更有幫助。為了將教學質(zhì)量提升一個更高的層次，提高學生的個人及教師的綜合素質(zhì)全面發(fā)展，應引人更為科學，高效，準確的評判方法，本文將探討如何運用行為識別技術(shù)對教學質(zhì)量進行評判，通過教師在課堂上的最真實的語言動作表現(xiàn)，與學生的互動頻率及學生給予的最直觀學習狀態(tài)的反饋，建立一套新穎的評估體系，打破傳統(tǒng)固有的應試教學評判思路，從而得出更為科學的分析結(jié)果，為改善及提高教學質(zhì)量提供數(shù)據(jù)依據(jù)，更好地建立科學的教學評價體系，為評判教育質(zhì)量注入新的元素。

關(guān)鍵詞：行為識別技術(shù)；流程；應用

中圖分類號；G424 文獻標識碼；A 文章編號：1009-3044（2017）07-0168-03

1傳統(tǒng)教學評價方法的利弊

教學評價是依據(jù)教學目標對教學過程及結(jié)果進行價值判斷并為教學決策服務的活動，是對教學活動現(xiàn)實的或潛在的價值做出判斷的過程。教學評價是研究教師的教和學生的學的價值的過程。

目前傳統(tǒng)的教學評價方法主要為：

1）對學生來說，考試成績及名次排名成為唯一判別教學質(zhì)量的標準。對于一直以崇尚應試教育的中國來說，能夠比較好地反映學生的學習成效。此種方法固然好，但是卻忽略了對學生學習過程中的考察，忽視了學生的自我思考，自我學習的能力培養(yǎng)，成為了只會考試的“考試機器”。對于學生的教育，應更加強調(diào)個人的實踐能力，創(chuàng)新精神，心理素質(zhì)的培養(yǎng)。學生如能夠獨立思考，舉一反三，掌握學習的方法，能夠快速領會知識點，抓住核心重點，這對其的成長及發(fā)展將是一生受用的，同事也能幫助學生樹立一個正確的價值觀。

2）對教師來說，通過公開課集體評審打分或制定關(guān)于教學課件制作質(zhì)量，教學過程中語言的運用，板書的工整，教學內(nèi)容的完整性及準確性等一系列指標形成的評分表，以人為方式打分判定。該方式具有一定的合理陲，同事也具有很大的主觀性和片面性，往往無法量化，不能最客觀的真實地反映教師的教學水平，這種評判方式也讓許多教師怨聲載道。

因此有必要引入更為合理，科學的評價方法，以提高教師及學生的主觀能動性，全面提高教學質(zhì)量。

2行為識別技術(shù)的基本流程

行為識別技術(shù)是目前比較新興及熱門的技術(shù)，它可被廣泛用于公安，城市交通，安保，影視，考勤，信息錄入等多方面。我們經(jīng)常能從美國大片中看到這樣的場景，要從人海中搜索識別某人，并精準地確定某人位置或識別某人的聲音及圖像，確定某人的身份，這些都是使用行為識別技術(shù)的范例。行為識別技術(shù)是通過分析持續(xù)的一段時間內(nèi)獲得的目標特征數(shù)據(jù)，判別是否發(fā)生空間，位移，頻率等變化，并對這些數(shù)據(jù)加以匯總提煉和重新封裝，從而獲得有用的數(shù)據(jù)后展現(xiàn)在不同應用領域中。

行為識別的基本流程為；

1）由高清攝像機拍攝高清視頻后，通過濾波降噪及圖像增強對所拍攝視頻圖像進行預處理，將視頻分為多個幀序列圖像。

2）實時的建立不含運動物體的基準背景模型，將當前幀圖像與上一幀基準背景模型進行相減，提取出前景圖像，檢測出運動的目標。

3）將檢測出的圖像區(qū)域的面積變化，分散度變化，像素變化等信息進行保存歸類并逐一定義，將某一類特定范圍內(nèi)的變化定義為不同的特征庫模板，并用自然語言將各特征模板進行分類，如“跑，跳，站立，行走”等。

4）當檢測出運動目標后，將獲取的數(shù)據(jù)與特征模板進行比對，進行行為識別，判斷出運動的類型。

5）識別出結(jié)果后，將這些數(shù)據(jù)應用于各種應用中。

3行為識別技術(shù)在教學中的應用

現(xiàn)有的對教學行為的識別評估更多的是依賴人工進行。使用人工方式對行為進行識別，需要投入大量的時間和精力。對一節(jié)課的行為進行標記，通常需要一個專職人員耗費一節(jié)半課的時間。因此自動化的機器識別方式是提高行為識別效率的優(yōu)選方案。同時人工行為識別方式，由于需要控制整體識別時間，難以針對每一個學生個體的行為進行記錄。如學生在聽講時，坐姿的規(guī)范程度與專心程度存在關(guān)聯(lián)，具備統(tǒng)計價值，但用人工方式去統(tǒng)計每一個學生的坐姿的工作量過高，且還面臨標準是否統(tǒng)一的問題。此外如學生回答教師提問時，每一次提問時學生的舉手人數(shù)，和累計舉手學生的人數(shù)（同意學生會多次舉手），都會帶來大量的統(tǒng)計量，這些數(shù)據(jù)都更適合使用機器方式來統(tǒng)計。試想如引入了計算機對整個課堂的教師和學生行為進行檢測，歸類，將會用更客觀的數(shù)據(jù)反映教師的授課模式，學生的反應等，幫助教師改進教學方式，同時也能找出教學的一般規(guī)律，尋求到更能調(diào)動學生積極性和主觀能動性的教學方法，大大提高教學質(zhì)量。為此建立一個以行為識別技術(shù)為基礎的計算機自動教學評價方式，能夠以量化的方式自動識別大量視頻教學課件的教學過程，代替繁重的人工識別方式，同時還可以隨時根據(jù)需要將識別數(shù)據(jù)對應的行為截圖，達到良好的教學評價追蹤是有討論和研究價值的。在教學過程中，可將教師和學生的行為分別進行獨立識別統(tǒng)計，將結(jié)果的數(shù)據(jù)以各種獨立或者聯(lián)動的方式展現(xiàn)出來。

3.1基于行為識別的教學評估總體結(jié)構(gòu)

在該設想結(jié)構(gòu)中主要包含教師行為識別和學生行為識別兩大部分，從這兩部分獲得的數(shù)據(jù)保存在教學過程行為識別結(jié)果數(shù)據(jù)庫中，并充分地被運用，封裝，重組聚合并直觀的展現(xiàn)出來，可成為評估教學質(zhì)量的利器。

3.2教師行為識別系統(tǒng)設想

教師行為識別主要是對課堂上教師的課堂教學過程進行行為及語音情感識別，以便統(tǒng)計課堂過程中教師的整體教學情況，如教師哪些時間面朝學生，哪些時間面朝黑板，在教室內(nèi)來回走動了多少步或走動距離估計，以及教師說話時的語調(diào)，語速等。將這些數(shù)據(jù)提供給以后的評估系統(tǒng)做統(tǒng)計分析使用。

教師行為識別的內(nèi)容可以包括：

1）人體檢測：對教師視頻進行人體檢測，將人體區(qū)域框選出來。

2）運動檢測：運用目標跟蹤技術(shù)跟蹤教師在教室內(nèi)走動的軌跡。

3）跟蹤檢測：根據(jù)教師的運動軌跡估計教師的運動距離。

4）面部朝向檢測：對視頻中的幀圖像數(shù)據(jù)進行視頻識別，對老師視頻進行人臉檢測，如果檢測到人臉，則判定教師此時面部朝向?qū)W生，否則判定教師面部朝向黑板。

5）語音情感識別：對視頻中的語音信號進行識別，判斷教師當前說話的語速和語調(diào)等。

整個教師行為識別系統(tǒng)由上述的各個子模塊依次組成，首先老師檢測模塊將檢測到的老師信息記錄（此時的位置、時間點）下來，老師跟蹤模塊將根據(jù)檢測到的老師的位置和時間信息作為跟蹤的上下文，建立跟蹤過程。

人臉檢測子模塊是通過檢測老師的人臉是否面對鏡頭，或者面對黑板，以此來統(tǒng)計整個課程中教師面對學生和面對黑板的時間。

語音情感識別將老師的語音信息作為輸入，識別老師講課的語速語調(diào)等情感因素。

在上述檢測到的信息的基礎上，將這些信息通過教師行為及語音情感識別數(shù)據(jù)訪問子模塊寫入到數(shù)據(jù)庫供以后的管理平臺進行查詢。

針對每個課程進行教師行為及語音情感識別，得出課堂教學期間老師的動作及語音情感數(shù)據(jù)等，在數(shù)據(jù)展示層進行展示。初步效果草圖如圖所示：

將教師行為及語音情感識別初步分為六種狀態(tài)：情感溫和、負面情緒、語速合適、語速過快、面朝學生、背朝學生。用基于時間線的方式展示老師在某個時間段的情感及行為狀態(tài)。

3.3學生行為識別系統(tǒng)設想

學生行為識別主要是對課堂上每個學生的課堂學習過程進行姿態(tài)及動作識別，統(tǒng)計課堂的一些活動參與情況，如典型的提問問答環(huán)節(jié)。教師提出問題后，較為積極的學生將會參與舉手回答，被點上名字的同學將會站立回答問題等。每個學生在不同時刻的臉部朝向也會作為學生上課專注度的一個度量。同時也可加入對課堂上每個學生的課堂學習過程進行表情識別，將每個學生在不同時刻的學習表情分為專注、疑惑、三心二意三種狀態(tài)。將每個時刻檢測到的人臉進行識別、獲取每個人臉所對應的學生信息，并同時需要對人臉進行表情識別，將不同學生、不同時刻的表情狀態(tài)寫入到數(shù)據(jù)庫。將這些數(shù)據(jù)提供給以后的評估系統(tǒng)做統(tǒng)計分析使用。

學生行為識別的內(nèi)容可以包括：

1）人臉檢測：根據(jù)教學視頻中抽取的視頻幀對圖像中的人臉進行檢測，將每個圖像中檢測到的多個人臉的信息進行記錄（包括人臉區(qū)域的圖像數(shù)據(jù)、位置、大小、角度、時間點等信息）。

2）人臉跟蹤：將教學視頻中連續(xù)檢測到的人臉建立軌跡跟蹤，形成一個個tracldet（視頻中同一人臉在連續(xù)的不同的時刻檢測到的關(guān)聯(lián)集合）。將每一個tracldet的信息進行記錄，tracklet中每個條信息即為人臉檢測中的信息。

3）人臉識別；基于每一個tracklet進行人臉識別，得出tracklet的人臉是屬于班級的哪一個學生。

4）人臉特征點檢測：基于每一個檢測出的人臉圖像，運用人臉特征點檢測算法得出人臉的特征點位置（如眼睛，眉毛、鼻子，嘴巴的特征點位置）。

5）表情識別：在特征點定位的基礎上，進行人臉特征提取，將特征作為表情識別器的輸入，將當前的人臉圖像識別為專注、疑惑、三心二意三種狀態(tài)之一。

6）舉手檢測：對視頻中的幀圖像數(shù)據(jù)進行視頻識別，將人臉檢測識別和舉手檢測相結(jié)合，得出在某個時刻誰舉了手。

7）站立檢測；對視頻中的幀圖像數(shù)據(jù)進行視頻識別，將人臉檢測識和舉手檢測相結(jié)合，得出在某個時刻誰站立回答了問題。

8）臉部朝向檢測：對視頻中的幀圖像數(shù)據(jù)進行視頻識別，將人臉檢測識別和臉部朝向檢測相結(jié)合，得出在某個時刻誰的人臉朝向數(shù)據(jù)。

整個學生人臉識別識別及表情識別系統(tǒng)由上述的各個子模塊依次組成，首先人臉檢測模塊將檢測到的人臉信息記錄下來后將信息作為目標跟蹤子模塊的信息輸入，目標跟蹤模塊根據(jù)人臉出現(xiàn)的位置和時間信息對人臉進行跟蹤，并形成一個個tracklet（每一個trackelet是同一個人臉在連續(xù)視頻幀中出現(xiàn)的情況）。人臉特征點檢測在檢測到的人臉的圖像數(shù)據(jù)上采用特征檢測點算法來對人臉的特征點進行標記，標記的特征點及其他人臉特征信息作為表情識別的輸入信息，經(jīng)過表情識別算法輸出了特定的表情狀態(tài)。

在人臉跟蹤的基礎上，采用基于track[et以及基于視頻人臉的約束信息（時間和位置信息），用聚類算法進行人臉聚類，并根據(jù)最終的聚類結(jié)果對檢測到的人臉進行識別。

在表情識別和人臉識別的基礎上，可以得出每個人臉的表情狀態(tài)，通過人臉信息及表情狀態(tài)數(shù)據(jù)訪問模塊記錄到對應的數(shù)據(jù)庫中供以后的評估系統(tǒng)訪問查詢。

針對每個課程進行學生人臉識別和表情識別，得出課堂教學期間學生們的情感數(shù)據(jù)，在數(shù)據(jù)展示層進行展示。初步效果草圖如圖所示。初步效果草圖如圖6所示；

將學生的表情狀態(tài)分為三種狀態(tài)：專注、有疑惑、三心二意。用基于時間線的方式展示學生在某個時間段的情感狀態(tài)，綠色表示表示在專心聽講狀態(tài)，黃色表示處于疑惑狀態(tài)，紅色表示三心二意狀態(tài)。每個班級的學生可以統(tǒng)一展示，也可以查詢單個學生進行展示。

整個學生姿態(tài)及動作識別系統(tǒng)由上述的各個子模塊依次組成，首先舉手檢測模塊將檢測到的舉手信息記錄（舉手的位置、時間點、所關(guān)聯(lián)的人臉）下來，站立檢測模塊將檢測到的站立信息記錄（站立的位置、時間點、所關(guān)聯(lián)的人臉），頭部朝向檢測模塊將檢測到的頭部朝向信息記錄（頭部的朝向角度、時間點、所關(guān)聯(lián)的人臉）。

在上述檢測到的信息的基礎上，對關(guān)聯(lián)的人臉進行識別，得出檢測的信息屬于班級里的某個（些）同學，將這些信息通過姿態(tài)及動作識別數(shù)據(jù)訪問子模塊寫入到對應的數(shù)據(jù)庫中供以后的評估系統(tǒng)訪問查詢。

針對每個課程進行學生姿態(tài)及動作識別，得出課堂教學期間學生的姿態(tài)及動作數(shù)據(jù)，在數(shù)據(jù)展示層進行展示。初步效果草圖如圖8所示；將學生的上課姿態(tài)及動作分為四種狀態(tài)：正常狀態(tài)、舉手、站立、朝向角度特殊。用基于時間線的方式展示學生在某個時間段的姿態(tài)及動作，綠色表示在正常狀態(tài)，紫色表示處于舉手參與問題回答狀態(tài)、黃色表示處于站立回答問題狀態(tài)，紅色表示朝向角度特殊狀態(tài)。每個班級的學生可以統(tǒng)一展示，也可以查詢單個學生進行展示。

4總結(jié)

課堂教學質(zhì)量與其活躍程度密不可分，主要體現(xiàn)在師生動態(tài)體感行為變化，包括學生的舉手、站立、頭部朝向和教師的活動范圍及距離、面向黑板及學生等不同狀態(tài)。此外，師生的情感變化也影響著教學質(zhì)量，如教師的情感與其上課投入程度相關(guān)，學生的情感與其知識的掌握相關(guān)。因此，體感與情感特征的融合不僅客觀地反映了整個課堂的教學質(zhì)量，同時可識別每個學生的上課狀態(tài)，實現(xiàn)個性化的輔導。引入行為識別的教學評估系統(tǒng)可以實現(xiàn)對整個課堂乃至整門課程的教學行為評估，也可實現(xiàn)基于學生個體以及基于班級學生全體的學習行為評估。

該評估系統(tǒng)所獲取的數(shù)據(jù)是非常科學和絕對客觀的，將這些數(shù)據(jù)加以合理的利用，將會起到提高教學質(zhì)量的根本作用，為我國的教育事業(yè)的騰飛和更上一層樓添磚加瓦。