廖恩紅,李偉林,蔡曉斌
(廣東工程職業(yè)技術(shù)學(xué)院,廣東 廣州 510520)
《教育信息化2.0行動計劃》提出持續(xù)推動信息技術(shù)與教育深度融合,推動教學(xué)改進(jìn)、提升教學(xué)質(zhì)量和效果,構(gòu)建“用數(shù)據(jù)說話、用數(shù)據(jù)管理、用數(shù)據(jù)決策、用數(shù)據(jù)創(chuàng)新”的管理機(jī)制,以形成現(xiàn)代化的教育管理與監(jiān)測體系,實現(xiàn)教育教學(xué)管理精準(zhǔn)化和決策科學(xué)化。
傳統(tǒng)的教學(xué)評價主流方式是采用課堂點名和課堂測試等,從而獲取學(xué)生課堂出勤率和課堂學(xué)習(xí)效果數(shù)據(jù),這種方式人工參與度高、客觀性難以把控,難以在課堂上實現(xiàn)自動化、常態(tài)化的教學(xué)數(shù)據(jù)分析與教學(xué)決策。隨著信息技術(shù)迅速發(fā)展,研究者將教學(xué)信息與計算機(jī)技術(shù)融合,實現(xiàn)數(shù)據(jù)的自動化采集和分析,包括采用刷卡、刷指紋、刷臉等進(jìn)行學(xué)生課堂出勤率考查,而這種只實現(xiàn)了半自動化的數(shù)據(jù)采集,并未能實現(xiàn)有效的課堂教學(xué)效果分析,難以做到個性化培養(yǎng),存在較大的監(jiān)測漏洞,課堂教學(xué)效果無法得到全面反映。
隨著信息技術(shù)快速發(fā)展,將信息技術(shù)引入課堂教學(xué)評價中,可以實現(xiàn)課堂教學(xué)信息自動化采集,針對教學(xué)信息化改革建設(shè),提出一種視像行為識別的大數(shù)據(jù)分析與教學(xué)決策方案,實現(xiàn)課堂教學(xué)過程中視頻信息自動采集到自動化處理、分析。利用人臉識別、姿態(tài)識別、面部表情識別、深度學(xué)習(xí)等信息技術(shù)對課堂教學(xué)進(jìn)行分析與決策,建設(shè)自動化課堂教學(xué)評價系統(tǒng)。通過對學(xué)生進(jìn)行實時人臉識別與姿態(tài)識別,進(jìn)行課堂教學(xué)全過程、多指標(biāo)的實時自動考勤,包括遲到、曠課或早退等不良行為。使用面部表情識別、姿態(tài)識別技術(shù)對課堂學(xué)生進(jìn)行聽課注意力、姿態(tài)等進(jìn)行自動化分析與評價,不僅能合理分析課堂教學(xué)的整體狀態(tài)和教學(xué)的過程,而且還可以統(tǒng)計分析課堂學(xué)生不同狀態(tài)的數(shù)據(jù),方便教師實時了解自己課堂教學(xué)效果,為往后教學(xué)決策和提高教學(xué)質(zhì)量奠定有效數(shù)據(jù)基礎(chǔ)。
視像行為識別的大數(shù)據(jù)分析與教學(xué)決策系統(tǒng),主要進(jìn)行如下研究工作。
(1)學(xué)生個人數(shù)據(jù)的自動分析處理。通過對教務(wù)管理平臺、網(wǎng)絡(luò)管理平臺、一卡通管理平臺等大量的學(xué)生數(shù)據(jù)進(jìn)行信息采集、抽取、加工處理之后運用大數(shù)據(jù)分析方法挖掘個人有效信息,如臉部特征信息、個人學(xué)號等。
(2)智能監(jiān)控設(shè)備的視像采集。通過安裝在課堂上的智能高清設(shè)備,自動進(jìn)行視像采集,并傳輸?shù)街醒胂到y(tǒng)處理。
(3)深度學(xué)習(xí)的課堂自動考勤。通過深度學(xué)習(xí)、人臉識別信息技術(shù)對智能監(jiān)控設(shè)備采集到的視像數(shù)據(jù)進(jìn)行有效的人臉自動檢測,實現(xiàn)課堂的多時間段自動考勤,包括遲到、曠課、早退等不良行為。
(4)學(xué)生學(xué)習(xí)注意力分析。通過學(xué)生面部表情識別、姿態(tài)識別等信息技術(shù),分析學(xué)生課堂學(xué)習(xí)的注意力狀態(tài),包括專注、疑惑、睡覺等,通過對學(xué)生的面部表情測量與分析,研究出學(xué)生的情緒變化。在課堂教學(xué)中通過分析學(xué)生面部表情和行為了解學(xué)生學(xué)習(xí)的狀態(tài),可分為傾聽、專注、愉悅、走神、困惑等不同心理狀態(tài)。系統(tǒng)研究表明通過結(jié)合人多姿態(tài)檢測技術(shù)和人臉部表情識別技術(shù),通過分析這些細(xì)微變化,得到學(xué)生課堂學(xué)習(xí)狀態(tài)的心理狀態(tài)變化。如一個學(xué)生在傾聽時,其面部表情是愉悅的,身體也會自覺的往前傾斜,這些狀態(tài)信息表明該學(xué)生對當(dāng)前課堂的知識點感興趣,理解知識點。當(dāng)學(xué)生出現(xiàn)長時間低頭、玩手機(jī)、睡覺等行為信息狀態(tài)時,表明該學(xué)生對該課程內(nèi)容有抗拒的心理。通過統(tǒng)計分析學(xué)生對課堂教學(xué)內(nèi)容的參與度、關(guān)注度,以便教師把控教學(xué)過程并準(zhǔn)確了解學(xué)生學(xué)習(xí)狀態(tài)。
(5)學(xué)生課堂學(xué)習(xí)數(shù)據(jù)的教學(xué)決策。通過對課堂采取的有效數(shù)據(jù)進(jìn)行分析、處理、統(tǒng)計,為教師提供有效的關(guān)于學(xué)生對知識點的關(guān)注度、理解程度等信息,以便教師可以以這些數(shù)據(jù)為基礎(chǔ),在往后的教學(xué)中采取適當(dāng)?shù)慕虒W(xué)調(diào)控,有效掌控課堂教學(xué)過程,提高課堂教學(xué)效率和質(zhì)量。
具體研究:對正在課堂上課的學(xué)生進(jìn)行實時的視頻圖像采集,然后進(jìn)行表情和行為識別,如學(xué)生表情為愉悅和專注,表明該學(xué)生對該課程有較好的學(xué)習(xí)興趣,精神比較集中。隨著教師新知識點的講解,學(xué)生流露出困惑、走神表情,表明該學(xué)生對新知識點理解不透徹。如果接下來教師對新知識點進(jìn)行鞏固時,學(xué)生的困惑表情減弱,并出現(xiàn)專注、愉悅表情,表明該學(xué)生學(xué)習(xí)、掌握了新知識點。
視像行為識別的大數(shù)據(jù)分析與教學(xué)決策系統(tǒng)主要包含視像采集、圖像獲取處理模塊、人臉特征提取與特征識別和建立學(xué)生個人數(shù)據(jù)庫等模塊及云計算大數(shù)據(jù)存儲處理引擎和大數(shù)據(jù)行為分析模塊等信息技術(shù)。
(1)視像采集模塊。利用智能視頻監(jiān)控設(shè)備,對各個教室進(jìn)行實時無盲區(qū)攝像,圖像和視頻清晰度達(dá)到高清,將采集到的課堂學(xué)生視頻信號傳輸?shù)街骺卦O(shè)備,可以通過設(shè)置抓拍圖像的頻率,自動進(jìn)行視像信息采集,并傳輸?shù)綀D像處理模塊,圖像處理模塊進(jìn)行多目標(biāo)學(xué)生人臉檢測,提取學(xué)生臉部特征數(shù)據(jù),建立學(xué)生人臉特征庫。通過人臉表情分析統(tǒng)計,分析學(xué)生的出勤率和學(xué)生對課程學(xué)習(xí)狀態(tài)。
(2)圖像獲取處理模塊。采用數(shù)據(jù)漂白算法對采集的視像數(shù)據(jù)進(jìn)行加工、處理、篩選,采用匿名保護(hù)技術(shù)發(fā)布相關(guān)數(shù)據(jù),保證數(shù)據(jù)的安全性,避免泄露學(xué)生隱私信息等相關(guān)問題,通過圖像識別算法對視像數(shù)據(jù)進(jìn)行加工處理、分析研究以及深度自我學(xué)習(xí),包括對系統(tǒng)獲取的原始圖像進(jìn)行早期階段的噪聲過濾和灰度矯正、圖像預(yù)處理等,得到學(xué)生個人圖像信息庫。
(3)人臉特征提取。對人臉的某些特征進(jìn)行提取,建立人臉特征模,對于一個靜態(tài)圖像或視頻,要定位和檢測出一個或者多個的人臉特征,需要分為三個步驟進(jìn)行,分別是圖像分割、人臉和人臉特征提取,其人臉特征點獲取框架如圖1所示。
圖1 人臉特征點獲取架構(gòu)
(4)人臉特征識別。通過模型定位法實現(xiàn)人臉多姿態(tài)特征的提取。標(biāo)記訓(xùn)練圖像的關(guān)鍵點,提取點分布模型、正確和錯誤樣本,點分布模型利用主成分分析來降低維度提取平均形狀模型。其中,提取訓(xùn)練圖像關(guān)鍵點的局部紋理形成正確樣本,提取偏離關(guān)鍵點一定距離的區(qū)域紋理形成錯誤樣本,正確樣本和錯誤樣本通過線性支撐向量機(jī)進(jìn)行訓(xùn)練得到局部紋理模型。對人臉特征進(jìn)行識別時,通過局部紋理模型和結(jié)合形狀模型對特征點進(jìn)行定位分析,以得到最終的人臉特征值。
(5)建立學(xué)生個人數(shù)據(jù)庫模塊。通過研究人臉面部表情、姿態(tài)信息的有效提取、分析,建立一個完整的情緒狀態(tài)庫和個人信息庫。從測試圖像庫、訓(xùn)練圖像庫或視頻數(shù)據(jù)庫中獲取圖像數(shù)據(jù),以進(jìn)行處理和分析。學(xué)生個人數(shù)據(jù)建立分析技術(shù)架構(gòu)如圖2所示。
圖2 學(xué)生個人數(shù)據(jù)建立分析技術(shù)架構(gòu)
(6)構(gòu)建云計算大數(shù)據(jù)存儲和處理引擎。依托華云的CU+Cloudylab搭建擁有基于大數(shù)據(jù)分析的計算機(jī)集群和大數(shù)據(jù)存儲和處理引擎。每臺計算機(jī)中都部署HDFS文件系統(tǒng),實現(xiàn)系統(tǒng)文件互聯(lián)與數(shù)據(jù)共享功能,設(shè)計異構(gòu)數(shù)據(jù)源類型、接口類型、存儲格式和分析所需要的算法模型,搭建基于Hadoop技術(shù)平臺的視像行為識別的大數(shù)據(jù)分析與教學(xué)決策系統(tǒng)所需要的大數(shù)據(jù)存儲以及處理引擎總體技術(shù)架構(gòu),如圖3所示。
圖3 大數(shù)據(jù)存儲和處理引擎總體技術(shù)架構(gòu)
視像行為識別的大數(shù)據(jù)分析與教學(xué)決策系統(tǒng)實現(xiàn)步驟:(1)提取目標(biāo)學(xué)生人臉,對學(xué)生人臉面部特征進(jìn)行檢測,檢測目標(biāo)學(xué)生的人臉、眼睛等。(2)以學(xué)生人眼的狀態(tài)特征、鼻子為輔助區(qū)域來分析判斷專注度。(3)從學(xué)生抬頭低頭姿態(tài)、側(cè)臉專注度和眼睛張合度來綜合判斷學(xué)生聽課是否專注。(4)根據(jù)在教室中學(xué)生表現(xiàn)出的人臉神情、坐姿狀態(tài)、動作形態(tài)等特征轉(zhuǎn)換為算法進(jìn)行運算,來判斷學(xué)生上課的專注度。另外,根據(jù)視頻監(jiān)控錄像系統(tǒng),可以實時監(jiān)看查詢學(xué)生出勤情況。
通過圖像識別算法對視像數(shù)據(jù)進(jìn)行加工、處理、分析以及深度自我學(xué)習(xí),得到一個學(xué)生個人圖像信息庫;對采集的數(shù)據(jù)進(jìn)行加工處理得到清洗后的學(xué)生個人信息數(shù)據(jù)。以廣東工程職業(yè)技術(shù)學(xué)院信息工程學(xué)院課堂試驗點實訓(xùn)室為例利用圖像識別算法對視像數(shù)據(jù)進(jìn)行加工、處理、分析以及深度自我學(xué)習(xí),得到學(xué)生個人圖像信息庫,并在課堂試驗點的建立與測試,從學(xué)生側(cè)臉專注度、學(xué)生抬頭低頭專注度、眼睛張合度專注度等特征進(jìn)行檢測,分析學(xué)生在上課過程中出現(xiàn)一些異常情況,將按設(shè)定的情況做出報警,以便教師及時提醒學(xué)生,系統(tǒng)運行取得了較好的效果。多媒體課室學(xué)生視像行為分析處理模型如圖4所示。
圖4 多媒體課室學(xué)生視像行為分析處理模型
通過分析課堂到課率、課堂秩序、課堂互動、學(xué)生成績和評價數(shù)據(jù)等指標(biāo),對課堂教學(xué)質(zhì)量進(jìn)行及時有效的監(jiān)測、把控、診斷和反饋,為課堂教學(xué)評價和調(diào)控提供依據(jù),如圖5所示。
隨著信息技術(shù)快速發(fā)展,人才培養(yǎng)模式不斷創(chuàng)新,通過視像行為識別的大數(shù)據(jù)分析提升高校課堂授課效率,具有實際應(yīng)用價值和深遠(yuǎn)意義。教師可以根據(jù)學(xué)生視像行為及時了解到課堂學(xué)生的學(xué)習(xí)情緒變化和姿態(tài),評估學(xué)生的上課學(xué)習(xí)效果,協(xié)助教師掌握學(xué)生對課程知識點的關(guān)注度、理解程度等信息,采取有效的教學(xué)調(diào)控措施以提高教學(xué)效果和教學(xué)質(zhì)量,實現(xiàn)課堂教學(xué)實時考勤,為課堂教學(xué)評價提供依據(jù),促進(jìn)學(xué)生課堂學(xué)習(xí)自覺、自律,實現(xiàn)自動、高效、客觀和常態(tài)化的課堂分析,有助于教育決策者發(fā)現(xiàn)并及時解決問題,推進(jìn)管理精準(zhǔn)化和決策科學(xué)化。
圖5 數(shù)據(jù)分析及決策