基于LabVIEW和深度視覺傳感器的課堂智能管理系統(tǒng)①

朱 艷,謝忠志,王 成,覃偉芳,方肅賢

(泰州職業(yè)技術(shù)學(xué)院 機(jī)電技術(shù)學(xué)院,泰州 225300)

隨著社會的發(fā)展和教育改革的不斷推進(jìn),我國的教育事業(yè)取得了巨大的進(jìn)步,但是在教學(xué)管理過程中仍然存在明顯的不足[1,2]. 現(xiàn)有的教學(xué)評價(jià)方法主要集中在課程考核結(jié)果分析方面,即通過學(xué)生的考試成績來反映學(xué)習(xí)和教學(xué)效果,而對教學(xué)過程的監(jiān)控和反饋較少. 課堂教學(xué)作為教學(xué)過程的主要手段,如何有效的記錄學(xué)生的學(xué)習(xí)行為、學(xué)習(xí)熱情和學(xué)習(xí)狀態(tài)對于教師評估教學(xué)效果和提高教學(xué)方法異常重要. 近年來,隨著計(jì)算機(jī)技術(shù)和人工智能的快速發(fā)展,基于視覺傳感器的人臉識別和人體行為識別應(yīng)用日益廣泛[3–5]. 如何將視覺識別技術(shù)應(yīng)用于課堂管理中,對于實(shí)現(xiàn)自動化、智能化和精準(zhǔn)化的教學(xué)過程評價(jià)具有重要的意義[6,7].

目前,已經(jīng)出現(xiàn)了一些應(yīng)用于課堂教學(xué)過程管理的系統(tǒng),主要集中在學(xué)生的課堂行為識別上,即通過人臉識別和人體行為識別來反映學(xué)生的學(xué)習(xí)專注度和課堂教學(xué)效果. 國內(nèi)方面,王竑喜提出了基于圖像采集和處理的學(xué)生課堂行為識別方法,研究了學(xué)生學(xué)習(xí)專注度與課堂行為之間的關(guān)系[8]. 廖鵬等人設(shè)計(jì)了基于深度學(xué)習(xí)的課堂異常行為識別系統(tǒng),通過VGG 模型,對課堂上學(xué)生玩手機(jī)、睡覺、說話等注意力不集中行為進(jìn)行了識別,得到了較高的檢測精度[9]. 黨冬利構(gòu)建了基于機(jī)器學(xué)習(xí)的課堂行為識別模型,對課堂上學(xué)生的舉手、站立和聽講3 種動作進(jìn)行了識別,得到了較高的識別精度[10]. 何秀玲等人從人體骨架數(shù)據(jù)中提取特征向量,通過深度學(xué)習(xí)算法進(jìn)行課堂行為識別,得到了97%的識別精度[11]. 國外方面,Wang 等人提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的人體動作識別方法,該方法通過生成的深度運(yùn)動映射圖提取識別特征數(shù)據(jù),輸入CNN 識別模型進(jìn)行動作識別,識別精度達(dá)到了85%[12].Shi 等人提出了基于L2EMG 特征融合的學(xué)生課堂動作識別方法,對課堂上7 類常見動作進(jìn)行了識別,得到了82%的識別精度[13]. 綜上所述,首先,現(xiàn)有的課堂管理系統(tǒng)主要以課堂行為識別為目標(biāo),沒有將課堂考勤、教師教學(xué)管理以及學(xué)生自主學(xué)習(xí)管理融入其中,功能比較單一. 其次,現(xiàn)有的課堂行為識別大多采用RGB 傳感器進(jìn)行圖像采集,行為特征提取困難,動作識別范圍較窄,識別精度不高. 因此現(xiàn)有的課堂管理系統(tǒng)滿足不了現(xiàn)代教學(xué)管理智能化、自動化、精確化和集成化的需求. 本文選用Kinect V2 深度攝像頭作為監(jiān)控設(shè)備,采用LabVIEW 虛擬儀器作為軟件開發(fā)平臺,設(shè)計(jì)了一種集課堂考勤、課堂行為識別和管理、自主學(xué)習(xí)管理于一體的智能課堂管理系統(tǒng).

1 系統(tǒng)結(jié)構(gòu)和功能組成

1.1 系統(tǒng)結(jié)構(gòu)組成

系統(tǒng)結(jié)構(gòu)如圖1 所示,課堂智能管理系統(tǒng)主要由硬件部分和軟件部分組成. 硬件部分包括深度視覺傳感器Kinect V2、計(jì)算機(jī)、移動設(shè)備和USB 電纜,其中,Kinect V2 用于實(shí)時(shí)采集人體彩色和深度圖像,計(jì)算機(jī)用于安裝系統(tǒng)所需的各種軟件,移動設(shè)備用于學(xué)生課堂考勤和課外訪問系統(tǒng)數(shù)據(jù)庫進(jìn)行自主學(xué)習(xí),USB 通訊電纜用于Kinect V2 和計(jì)算機(jī)的連接. 軟件部分主要包括Kinect developer toolkit、LabVIEW、Matlab 和MySQL. 其中,Kinect developer toolkit作為Kinect V2 傳感器開發(fā)工具包,用于完成人臉跟蹤和人體骨架提取. LabVIEW 作為系統(tǒng)軟件開發(fā)平臺,用于完成系統(tǒng)的各種功能開發(fā). Matlab 主要用于完成機(jī)器學(xué)習(xí)算法的編制,從而實(shí)現(xiàn)人臉識別和學(xué)生課堂行為識別. MySQL 作為數(shù)據(jù)庫開發(fā)軟件,用于完成系統(tǒng)所需各種數(shù)據(jù)的管理. MyEclipse 用于實(shí)現(xiàn)移動設(shè)備和系統(tǒng)數(shù)據(jù)庫的連接.

圖1 系統(tǒng)結(jié)構(gòu)組成

1.2 系統(tǒng)功能組成

系統(tǒng)功能如圖2 所示,主要由課堂考勤模塊、課堂行為識別和管理模塊和自主學(xué)習(xí)管理模塊3 部分組成. 課堂考勤模塊包括人臉識別簽到功能和移動設(shè)備定位功能,其中,人臉識別簽到功能可以防止學(xué)生找人替代簽到,移動設(shè)備定位功能可以防止學(xué)生簽到以后中途離場. 課堂行為識別和管理模塊包括課堂行為識別功能和課堂過程分析功能,其中課堂行為識別功能通過識別舉手、起立、低頭、趴桌、聽講等課堂動作來監(jiān)控和記錄學(xué)生的學(xué)習(xí)狀態(tài),課堂過程分析功能通過對記錄的學(xué)習(xí)狀態(tài)數(shù)據(jù)進(jìn)行分析,來評價(jià)課堂教學(xué)質(zhì)量和學(xué)習(xí)效果. 自主學(xué)習(xí)模塊包括學(xué)習(xí)資料上傳功能、課后復(fù)習(xí)預(yù)習(xí)功能和學(xué)生作業(yè)管理功能3 部分,其中,學(xué)習(xí)資料上傳功能用于教師將課件、視頻和習(xí)題等資料上傳到數(shù)據(jù)庫,課外復(fù)習(xí)預(yù)習(xí)功能用于課外時(shí)間學(xué)生根據(jù)自身需求自主選擇所需的學(xué)習(xí)資料,學(xué)生作業(yè)管理功能用于學(xué)生課后作業(yè)的提交和批改.

圖2 系統(tǒng)功能組成

2 數(shù)據(jù)采集程序設(shè)計(jì)

在電腦上安裝Kinect SDK 和Kinect driver 后,LabVIEW 即可通過調(diào)用DLL 文件的方式調(diào)用Kinect V2 攝像頭采集到的各種圖像信息. 圖3 為數(shù)據(jù)采集程序框圖,可以獲取人體25 個(gè)骨架節(jié)點(diǎn)以及3 個(gè)頭部轉(zhuǎn)角數(shù)據(jù). 初始化.vi 為初始化函數(shù),用于初始化外部DLL接口,調(diào)用Kinect developer toolkit 中的圖像數(shù)據(jù),并返回一個(gè)引用句柄. 配置.vi 為采樣配置函數(shù),用于設(shè)置圖像類型、分辨率、幀率、平滑類型等. 坐標(biāo)初始化.vi函數(shù)用于建立骨架顯示的三維坐標(biāo)系. 數(shù)據(jù)讀取.vi 用于讀取二維彩色圖像和三維深度圖像數(shù)據(jù). 骨架重構(gòu).vi 為渲染輸出函數(shù),用于更新骨架節(jié)點(diǎn)三維顯示. 設(shè)備關(guān)閉.vi 用于關(guān)閉Kinect V2 的外部DLL 調(diào)用接口.

圖3 圖像采集程序框圖

3 系統(tǒng)功能設(shè)計(jì)

3.1 課堂考勤

課堂考勤可以有效提高學(xué)生的到課率,幫助班級形成良好的學(xué)習(xí)氛圍,增強(qiáng)學(xué)生的組織性和紀(jì)律性. 現(xiàn)有的考勤措施大多采用教師點(diǎn)名的方式進(jìn)行,這樣不僅會浪費(fèi)大量的教學(xué)時(shí)間,而且學(xué)生可以通過人員替代或中途離場的方法蒙混過關(guān). 本文采用人臉識別簽到[14,15]和移動設(shè)備定位相結(jié)合的方式來實(shí)現(xiàn)課堂考勤,可以有效解決上述問題.

3.1.1 人臉識別簽到

人臉識別簽到流程如圖4 所示,Kinect SDK 中提供了用于人臉跟蹤的功能模塊(face tracking),該模塊通過AAM 算法可以實(shí)現(xiàn)人臉實(shí)時(shí)跟蹤并提取121 個(gè)臉部特征點(diǎn). 本文選取其中的10 個(gè)面部特征點(diǎn)如表1所示,并將10 個(gè)點(diǎn)的最大外接矩形用來分割圖像中的人臉部分如圖5 所示,然后采用局部二值式(LBP)方法提取面部局部特征向量,最后輸入最近鄰算法模型進(jìn)行身份識別. LBP 算子提取面部特征程序和直方圖最近鄰算法識別通過Matlab 軟件編程完成,LabVIEW提供了專門用于和Matlab 通訊的Matlab script 節(jié)點(diǎn),通過該節(jié)點(diǎn)可以很靈活的在LabVIEW 中調(diào)用Matlab 程序.

圖5 臉部特征點(diǎn)分布和人臉分割效果

表1 用于人臉分割的10 個(gè)面部特征點(diǎn)標(biāo)號和名稱

圖4 人臉識別簽到流程圖

在不同的表情,光照和角度下,攝像頭采集到的人臉圖像變化較大,若直接使用線性方法對原始圖像進(jìn)行特征提取,則識別精度和穩(wěn)定性會大大降低. 由于臉部局部特征受外部條件的影響較小,為此本文選取等價(jià)模式LBP 算子提取面部識別特征,選取基于直方圖的最近鄰分類算法進(jìn)行身份識別. 由于圖像中信息的分布不均勻,因此本文選取加權(quán)卡方統(tǒng)計(jì)方法對直方圖進(jìn)行度量,這樣可以有效解決圖像信息不均勻造成的影響,提高識別精度. 算法流程如下:

(1)將檢測窗口劃分為16×16 的小區(qū)域.

(2)對于任一小區(qū)域中的像素,將相鄰的8 個(gè)像素的灰度值與其進(jìn)行比較,若周圍像素值大于中心像素值,則該像素點(diǎn)的位置被標(biāo)記為1,否則為0. 這樣,3×3 鄰域內(nèi)的8 個(gè)點(diǎn)經(jīng)比較可產(chǎn)生8 位二進(jìn)制數(shù),即得到該窗口中心像素點(diǎn)的LBP 值.

(3)計(jì)算每個(gè)小區(qū)域的直方圖,即每個(gè)數(shù)字出現(xiàn)的頻率.

(4)采用加權(quán)卡方統(tǒng)計(jì)方法對直方圖進(jìn)行度量,如式(1)所示,式中,Si和Mi為兩個(gè)不同樣本的直方圖,兩個(gè)樣本之間的χ2(S,M)越小,那么這兩個(gè)樣本之間的相似度就會越高. 計(jì)算分塊處理后的測試樣本LBP 直方圖特征和訓(xùn)練樣本LBP 直方圖特征的χ2(S,M)值,根據(jù)最近鄰準(zhǔn)則,將其劃分為χ2(S,M)值最小的那一類.

識別結(jié)果如表2 所示,可以發(fā)現(xiàn),LBP 算子尺度增大,人臉識別精度變高,但是消耗的識別時(shí)間越長. 為同時(shí)保證識別精度和系統(tǒng)實(shí)時(shí)性要求,本文選取尺度進(jìn)行計(jì)算,其識別精度達(dá)到97%,識別時(shí)間為96.7 ms. 相對于現(xiàn)有識別技術(shù),本文采用的基于深度視覺傳感器的人臉識別方法,可以實(shí)現(xiàn)更好的人臉跟蹤效果,更快的跟蹤速度和更高的人臉識別精度.

表2 不同LBP 算子尺度時(shí)人臉識別結(jié)果比較

3.1.2 移動設(shè)備定位

移動設(shè)備定位流程如圖6 所示,學(xué)生通過人臉識別簽到進(jìn)入教室后,將隨時(shí)攜帶的移動設(shè)備(手機(jī))的WiFi 打開,系統(tǒng)開始搜索每臺移動設(shè)備的AP 信息,并且獲取無線信號強(qiáng)度值,將獲取的強(qiáng)度值和所設(shè)置的閾值大小進(jìn)行比較,判斷該移動設(shè)備是否處于有效范圍內(nèi),進(jìn)而判斷攜帶該設(shè)備的學(xué)生是否在教室聽課,這樣可以有效防止學(xué)生簽到后中途離開教室.

圖6 移動設(shè)備定位流程圖

3.2 課堂行為識別和管理

3.2.1 課堂行為識別

現(xiàn)有的課堂行為識別大多是采用RGB 攝像頭來進(jìn)行圖像采集,圖像質(zhì)量受光線、視角、距離影響較大,魯棒性和識別精度較差[16,17]. 深度攝像頭可以采集到人體的三維坐標(biāo)數(shù)據(jù),并且提取出人體骨架信息,對光線、視角、距離變化不敏感,而人體骨架數(shù)據(jù)對于人體動作又具有極好的識別性,因此本文選取深度攝像頭Kinect V2 進(jìn)行圖像采集,提取到的人體骨架節(jié)點(diǎn)分布如圖7 所示.

圖7 人體骨架節(jié)點(diǎn)分布圖

由于課桌的遮擋,1 號節(jié)點(diǎn)(人體中心)以下的9 個(gè)節(jié)點(diǎn)不在視野范圍之內(nèi),因此忽略掉. 21、22、23、24 號4 個(gè)節(jié)點(diǎn)為手指節(jié)點(diǎn),對于學(xué)生課堂動作識別性不高,因此也忽略掉. 剩下的12 個(gè)節(jié)點(diǎn)中,相鄰的兩個(gè)節(jié)點(diǎn)可以組成一個(gè)動作結(jié)構(gòu)向量,這樣得到11 個(gè)動作結(jié)構(gòu)向量. 相鄰的兩個(gè)動作結(jié)構(gòu)向量可以形成一個(gè)向量角,這樣得到9 個(gè)向量角. 人體的動作變化和這9 個(gè)向量角息息相關(guān),因此選取9 個(gè)向量角作為學(xué)生課堂行為識別特征數(shù)據(jù). 11 個(gè)動作結(jié)構(gòu)向量的組成節(jié)點(diǎn)和9 個(gè)向量角的組成向量,如表3 所示.

表3 動作結(jié)構(gòu)向量和向量角的組成

學(xué)生上課注意力是否集中很大一部分可以通過頭部動作來體現(xiàn),但是抬頭、低頭、偏頭和搖頭動作對9 個(gè)特征向量角的變化并不明顯,很容易引起誤判. 本文引入face tracking SDK 中提供的頭部轉(zhuǎn)角識別功能,如圖8 所示,其中Pitch 為低頭和抬頭角度 θP識別,識別角度范圍–45°至45°,Roll 為左右偏頭角度 θR識別,識別角度范圍–90°至90°,Yaw 為左右搖頭角度 θY識別,識別角度范圍–45°至45°. 將 θP、 θR、和 θY作為行為識別特征數(shù)據(jù).

圖8 Kinect V2 頭部識別示意圖

如果學(xué)生的手部動作和頭部角度變換不大,則很難正確識別出學(xué)生處于站立狀態(tài)還是坐立狀態(tài),但此時(shí)學(xué)生頭部節(jié)點(diǎn)(3 號)距離地面的高度dh的變化卻非常明顯,因此選取dh作為行為識別特征數(shù)據(jù). 由于Kinect V2 不直接提供dh的大小,因此需要自行計(jì)算. 人體的左右腳掌骨架節(jié)點(diǎn)15,19 和地面接觸,因此將這兩個(gè)節(jié)點(diǎn)的高度默認(rèn)為零,并以此建立地面方程. 首先將15 和19 節(jié)點(diǎn)的坐標(biāo)代入式(2),先計(jì)算出地面方程和Kinect 之間的傾角θ,進(jìn)而確定出地面方程.

地面方程確定以后,將3 號頭部節(jié)點(diǎn)坐標(biāo)代入式(3)即可計(jì)算出頭部距離地面的高度dh.

構(gòu)建課堂行為識別特征向量G=(θ1,θ2,θ3,θ4,θ5,θ6,θ7,θ8,θ9,θP,θR,θY,dh),并將其輸入基于徑向基核函數(shù)(RBF)的支持向量機(jī)分類器(SVM)[18],因?yàn)镽BF 核可以將樣本映射到一個(gè)更高維的空間,可以處理當(dāng)類標(biāo)簽(class labels)和特征之間的關(guān)系是非線性時(shí)的樣例,因此非常適用于課堂行為識別這類復(fù)雜的非線性分類問題. 核函數(shù)可由式(4)表示,式中δ為函數(shù)的寬度參數(shù) ,用來控制函數(shù)的徑向作用范圍. 對趴桌、低頭、站立、舉手、聽課5 類課堂行為樣本數(shù)據(jù)進(jìn)行訓(xùn)練識別,各類動作樣本個(gè)數(shù)均為200,訓(xùn)練樣本所占比例分別為0.2、0.4、0.6 和0.8,其余作為測試樣本. 各類動作識別精度如表4 所示,可以發(fā)現(xiàn)隨著訓(xùn)練樣本所占比例的增大,識別精度會隨之增加,本文方法對5 種動作的識別精度都在92.5%以上,其中站立和舉手動作的識別精度達(dá)到100%. 本文采用基于深度視覺傳感器的課堂行為識別,以提取的人體骨架節(jié)點(diǎn)和頭部轉(zhuǎn)角數(shù)據(jù)為基礎(chǔ)構(gòu)建行為識別特征向量,通過徑向基核函數(shù)的支持向量機(jī)構(gòu)建識別模型,其魯棒性、識別精度和識別速度都優(yōu)于現(xiàn)有課堂行為識別技術(shù).

表4 不同樣本比例時(shí)各種課堂行為的識別精度

3.2.2 課堂過程分析

每個(gè)學(xué)生的課堂活躍度是衡量課堂教學(xué)效果的一個(gè)重要指標(biāo)[19],系統(tǒng)自動記錄每個(gè)學(xué)生課堂舉手次數(shù)fh和起立回答問題次數(shù)fa,每次回答問題后,教師會根據(jù)回答情況給出滿意度系數(shù) ωa,根據(jù)式(5)計(jì)算出學(xué)生課堂活躍度P,式中,ωp為活躍度加權(quán)系數(shù),其值越大表示舉手對于課堂活躍度影響越大. 本文選取ωp=0.4.

課堂整體學(xué)習(xí)態(tài)勢是對每個(gè)學(xué)生學(xué)習(xí)專注度進(jìn)行分析,對于教師評估教學(xué)效果具有重要意義. 系統(tǒng)選取10 s 作為一個(gè)記錄區(qū)間,記錄每個(gè)學(xué)生趴桌和低頭的時(shí)長,如果多于3 s 則認(rèn)定該生處于非專注狀態(tài),記錄每個(gè)學(xué)生的非專注時(shí)間長度ta. 通過式(6)計(jì)算課堂整體專注度C,式中,k表示課堂中學(xué)生的個(gè)數(shù),t表示每節(jié)課時(shí)長,表示所有學(xué)生的非專注時(shí)間總和.

3.3 自主學(xué)習(xí)管理

自主學(xué)習(xí)管理[20]包括學(xué)習(xí)資料上傳、課后復(fù)習(xí)預(yù)習(xí)和學(xué)生作業(yè)管理3 部分. 教師通過學(xué)習(xí)資料上傳功能,可以將上課所需的視頻或者文檔資料上傳到服務(wù)器,并保存到相應(yīng)目錄的數(shù)據(jù)庫中,方便學(xué)生課前預(yù)習(xí)或課后復(fù)習(xí). 學(xué)生可以通過作業(yè)管理功能提交老師布置的作業(yè),教師也可以通過該功能實(shí)現(xiàn)作業(yè)在線批改和答疑. 學(xué)習(xí)資料上傳功能和作業(yè)管理功能中的文件上傳流程如圖9 所示,瀏覽文件選擇需要上傳的文件,通過斷點(diǎn)傳輸方式上傳資料到服務(wù)器,如果文件類型為Excel 格式,則系統(tǒng)讀取表格內(nèi)容并保存至數(shù)據(jù)庫,如果文件格式為視頻或文檔,則直接保存文件路徑至數(shù)據(jù)庫.

圖9 學(xué)習(xí)資料上傳和作業(yè)管理功能中的文件上傳流程

課后復(fù)習(xí)預(yù)習(xí)功能主要為了滿足課外時(shí)間學(xué)生自主學(xué)習(xí)需要,學(xué)生可以通過服務(wù)器自由選擇系統(tǒng)數(shù)據(jù)庫中的視頻和文檔資料,自主學(xué)習(xí)流程如圖10 所示,如果選擇的學(xué)習(xí)內(nèi)容為文檔形式,學(xué)生可以根據(jù)需要選擇在線學(xué)習(xí)或者離線學(xué)習(xí),在線學(xué)習(xí)直接使用外部應(yīng)用程序加載文檔內(nèi)容,離線學(xué)習(xí)是通過斷點(diǎn)傳輸方式將文檔資料下載到移動設(shè)備. 如果選擇的學(xué)習(xí)內(nèi)容為視頻形式,則通過移動設(shè)備中的多媒體播放器加載并播放視頻內(nèi)容.

圖10 學(xué)生自主學(xué)習(xí)流程

4 數(shù)據(jù)庫設(shè)計(jì)

系統(tǒng)運(yùn)行過程中涉及到大量數(shù)據(jù)的查詢和存儲,因此數(shù)據(jù)庫的設(shè)計(jì)對系統(tǒng)正常運(yùn)行起著至關(guān)重要的作用,本文設(shè)計(jì)的MySQL 數(shù)據(jù)庫中的部分?jǐn)?shù)據(jù)表結(jié)構(gòu)如表5 所示,主要包括學(xué)生信息字段、學(xué)習(xí)資料信息字段、考勤記錄信息字段和課堂行為管理信息字段.

表5 系統(tǒng)數(shù)據(jù)庫結(jié)構(gòu)表

系統(tǒng)通過LabSQL 實(shí)現(xiàn)LabVIEW 和MySQL 數(shù)據(jù)庫之間的連接,LabSQL 是一個(gè)免費(fèi)的、多數(shù)據(jù)庫、跨平臺的LabVIEW 數(shù)據(jù)庫訪問工具包,LabSQL 利用Microsoft ADO 對象和SQL 語言來完成數(shù)據(jù)庫訪問,將復(fù)雜的底層ADO 及SQL 操作封裝成一系列的LabSQL VIs,簡單易用. 首先建立與數(shù)據(jù)庫的連接,然后生成SQL命令,執(zhí)行命令,最后斷開與數(shù)據(jù)庫之間的連接.

移動設(shè)備端采用Android 平臺進(jìn)行開發(fā),但是Android 移動客戶端沒辦法直接訪問MySQL 中的數(shù)據(jù),因此系統(tǒng)通過MyEclipse 作為“中轉(zhuǎn)”實(shí)現(xiàn)兩者之間的連接. MyEclipse 作為企業(yè)級工作平臺,內(nèi)置所有的Web 開發(fā)技術(shù),支持快速添加技術(shù)功能到Web 項(xiàng)目中.系統(tǒng)通過MyEclipse 開發(fā)Web 程序,通過共用Android SOAP 方法來訪問數(shù)據(jù)庫.

5 結(jié)論

教育的不斷發(fā)展對教學(xué)評價(jià)體系和教學(xué)管理體系提出了更高的要求,現(xiàn)有的評價(jià)體系和管理體系已成為阻礙教育發(fā)展的一大因素. 雖然出現(xiàn)了一些課堂智能管理系統(tǒng),但是功能比較單一,適應(yīng)性不強(qiáng). 本文提出了一種集課堂考勤、課堂行為識別和管理、自主學(xué)習(xí)管理于一體的課堂智能管理系統(tǒng). 通過人臉識別和移動設(shè)備定位相結(jié)合的方式實(shí)現(xiàn)了97%的課堂考勤精度. 通過骨架節(jié)點(diǎn)數(shù)據(jù)提取識別特征向量,并輸入SVM 分類器實(shí)現(xiàn)了95%以上的課堂行為識別精度,并給出了課堂活躍度P和專注度C的評估方法. 通過MyEclipse 和MySQL 數(shù)據(jù)庫完成了自主學(xué)習(xí)功能開發(fā),方便了學(xué)生課堂學(xué)習(xí)和課外學(xué)習(xí)有機(jī)結(jié)合,且系統(tǒng)運(yùn)行穩(wěn)定可靠. 本文設(shè)計(jì)的課堂智能管理系統(tǒng)對教學(xué)過程的科學(xué)評價(jià)以及課堂管理的智能化和自動化具有重要意義.