智能課堂監(jiān)控與分析系統(tǒng)

戴振澤　施艷　鄭少偉　郭梓文　丁王斌

摘 要：為解決傳統(tǒng)監(jiān)控系統(tǒng)耗時(shí)長(zhǎng)，效率低，可靠性差等問(wèn)題，本文基于人工智能技術(shù)，對(duì)傳統(tǒng)監(jiān)控系統(tǒng)進(jìn)行改進(jìn)提升，設(shè)計(jì)一個(gè)智能課堂監(jiān)控與分析系統(tǒng)。該系統(tǒng)綜合使用Java編程技術(shù)、圖像視頻處理技術(shù)、機(jī)器學(xué)習(xí)技術(shù)，對(duì)學(xué)生在課堂上的行為表現(xiàn)進(jìn)行智能地識(shí)別與分析，實(shí)現(xiàn)從人工監(jiān)控到智能監(jiān)控的轉(zhuǎn)變，從而大幅提升課堂質(zhì)量管控。

關(guān)鍵詞：智能課堂；視頻監(jiān)控；人工智能

中圖分類(lèi)號(hào)：TP319 文獻(xiàn)標(biāo)識(shí)碼：A

1 引言（Introduction）

課堂監(jiān)控系統(tǒng)是記錄和重現(xiàn)課堂教學(xué)的重要工具[1]，是一種采用跟蹤技術(shù)來(lái)記錄課堂教學(xué)活動(dòng)的系統(tǒng)。

智能課堂監(jiān)控與分析系統(tǒng)的創(chuàng)建，是為了更好的提高學(xué)校對(duì)課堂教學(xué)質(zhì)量的管控的重要舉措，而傳統(tǒng)課堂監(jiān)控系統(tǒng)一般由人工監(jiān)控，用于實(shí)時(shí)監(jiān)視課堂教學(xué)情況與突發(fā)事件，無(wú)法有效的對(duì)課堂教學(xué)質(zhì)量進(jìn)行評(píng)估。智能課堂監(jiān)控與分析系統(tǒng)以其全新的“主動(dòng)監(jiān)控”模式，從根本上解決了傳統(tǒng)課堂監(jiān)控系統(tǒng)的完全依賴(lài)人工監(jiān)控的局限性，大幅提升了課堂監(jiān)控系統(tǒng)的工作效率，節(jié)省了人力資源。通過(guò)監(jiān)控視頻中的圖像進(jìn)行自動(dòng)智能分析來(lái)對(duì)監(jiān)控進(jìn)行識(shí)別，分類(lèi)，在此基礎(chǔ)上來(lái)分析判斷，從而完成日常管理，做出反饋。

2 智能課堂監(jiān)控現(xiàn)狀（Intelligent classroom

monitoring）

據(jù)調(diào)查顯示，很多高校的課堂監(jiān)控還停留在手工統(tǒng)計(jì)數(shù)據(jù)、手工計(jì)算分析數(shù)據(jù)的層次上，缺乏實(shí)效性的反饋。當(dāng)前很多發(fā)達(dá)國(guó)家高校也建立了相對(duì)完善的課堂監(jiān)控系統(tǒng)，對(duì)課堂教學(xué)活動(dòng)進(jìn)行了深入研究。

例如：澳大利亞昆士蘭大學(xué)（The University of Queensland）課堂監(jiān)控系統(tǒng)是對(duì)教師教學(xué)進(jìn)行監(jiān)督，由教學(xué)委員會(huì)進(jìn)行綜合加工、整理評(píng)價(jià)，并對(duì)教師進(jìn)行相應(yīng)指導(dǎo)；美國(guó)耶魯大學(xué)（Yale University）課堂監(jiān)控以考察學(xué)校教學(xué)目標(biāo)、計(jì)劃、大綱、學(xué)生管理等工作，由第三方鑒定機(jī)構(gòu)進(jìn)行考評(píng)；英國(guó)的圣安德魯斯大學(xué)（University of St Andrews）課堂監(jiān)控主要側(cè)重教學(xué)過(guò)程，全過(guò)程、全方位、全員性監(jiān)控評(píng)估，即教師質(zhì)量監(jiān)控評(píng)估，學(xué)生質(zhì)量監(jiān)控評(píng)估，教學(xué)效果監(jiān)控評(píng)估等[2]。

當(dāng)然，國(guó)內(nèi)高校也有課堂監(jiān)控體系，但以人工為主，對(duì)于數(shù)據(jù)采集統(tǒng)計(jì)，往往消耗數(shù)據(jù)處理時(shí)間，失去時(shí)效性，降低教學(xué)監(jiān)控效果。例如：蘇州市職業(yè)大學(xué)課堂監(jiān)控系統(tǒng)是對(duì)教師行為、學(xué)生行為、教學(xué)特色等內(nèi)容進(jìn)行監(jiān)控分析，只是重點(diǎn)分析課堂教學(xué)，對(duì)教師監(jiān)控、對(duì)板書(shū)監(jiān)控、對(duì)多媒體教學(xué)進(jìn)行監(jiān)控、對(duì)學(xué)生活動(dòng)監(jiān)控，但是只能監(jiān)控而已并不能形成智能的分析系統(tǒng)，會(huì)造成評(píng)價(jià)的偏差[1]；無(wú)錫職業(yè)技術(shù)學(xué)院課堂監(jiān)控系統(tǒng)只是對(duì)“學(xué)生信息反饋”“聽(tīng)評(píng)課反饋”“課堂考勤”等主要功能模塊進(jìn)行整合，實(shí)現(xiàn)了教學(xué)信息實(shí)時(shí)采集、實(shí)時(shí)反饋，動(dòng)態(tài)數(shù)據(jù)智能匯總，同樣也無(wú)法做出智能的評(píng)定[3]；山東技師學(xué)院課堂監(jiān)控系統(tǒng)是通過(guò)校園網(wǎng)對(duì)教學(xué)樓課堂實(shí)行有效地監(jiān)控，能夠根據(jù)需要對(duì)存儲(chǔ)圖像時(shí)間進(jìn)行設(shè)定，實(shí)現(xiàn)實(shí)時(shí)錄像、錄像存放、回放、錄像檢索等管理。通過(guò)設(shè)計(jì)，輔導(dǎo)員可以不受時(shí)間空間的限制，方便的使用手機(jī)、電腦等終端設(shè)備對(duì)自己所帶班級(jí)進(jìn)行遠(yuǎn)程的紀(jì)律和學(xué)習(xí)督導(dǎo)[4]。但是實(shí)現(xiàn)對(duì)課堂信息的提取、基礎(chǔ)數(shù)據(jù)的匯總需要人員增添，統(tǒng)計(jì)分析可比性不強(qiáng)，沒(méi)有實(shí)現(xiàn)實(shí)時(shí)監(jiān)控[1]。

2.1 傳統(tǒng)視頻監(jiān)控系統(tǒng)的不足

目前視頻監(jiān)控已經(jīng)普遍存在，但往往并沒(méi)有充分發(fā)揮它實(shí)時(shí)主動(dòng)監(jiān)督的作用?，F(xiàn)存的大部分視頻監(jiān)控系統(tǒng)一般都是通過(guò)兩種方法運(yùn)用監(jiān)控的結(jié)果：

（1）將攝像機(jī)的拍攝的視頻記錄下來(lái)，當(dāng)突發(fā)異常事件之時(shí)，才通過(guò)回放所保存的視頻，觀察所發(fā)生的事實(shí)。但是，這時(shí)往往為時(shí)已晚，不利于進(jìn)行預(yù)防和調(diào)整。

（2）把多個(gè)視頻監(jiān)控畫(huà)面集中到一個(gè)監(jiān)控室內(nèi)，通過(guò)監(jiān)控室內(nèi)數(shù)十個(gè)顯示器同時(shí)顯示各個(gè)場(chǎng)景畫(huà)面，以供監(jiān)控人員觀看。當(dāng)監(jiān)控人員通過(guò)顯示畫(huà)而發(fā)現(xiàn)某些異常時(shí)，人工通知相關(guān)人員前去處理。但是，據(jù)調(diào)查顯示，每小時(shí)一個(gè)人能集中注意力的時(shí)間低于20分鐘，另外由于攝像頭較多，往往每個(gè)顯示器都是輪流顯示多個(gè)攝像頭的畫(huà)面。因此，通常監(jiān)控人員平均觀看每個(gè)攝像頭的時(shí)間低于每小時(shí)5分鐘，無(wú)法有效地進(jìn)行管理[5]。

龐大的視頻數(shù)據(jù)量，由人工實(shí)時(shí)監(jiān)控，所花費(fèi)的代價(jià)是驚人的，效率是非常低下的?？傊?，裝備帶有一定智能的視頻監(jiān)控系統(tǒng)已經(jīng)是很多行業(yè)的迫切要求。

2.2 智能視頻監(jiān)控系統(tǒng)的定義及其優(yōu)點(diǎn)

智能視頻監(jiān)控就是在不需要人工干預(yù)情況下，利用計(jì)算機(jī)視覺(jué)、數(shù)字圖像處理和視頻圖像分析的方法，對(duì)攝像機(jī)拍攝的視頻圖像序列進(jìn)行自動(dòng)分析，實(shí)現(xiàn)系統(tǒng)對(duì)場(chǎng)景中的舉動(dòng)進(jìn)行識(shí)別判斷。

智能視頻監(jiān)控系統(tǒng)和傳統(tǒng)的視頻監(jiān)控系統(tǒng)比較，具有很多的優(yōu)點(diǎn)：

（1）無(wú)限監(jiān)控。智能視頻監(jiān)控系統(tǒng)能對(duì)所監(jiān)控的畫(huà)面進(jìn)行一天24小時(shí)無(wú)止息的監(jiān)控，并自動(dòng)分析，提高事件分析的效率并及時(shí)反饋，可及時(shí)查看。

（2）提升準(zhǔn)度。智能視頻監(jiān)控系統(tǒng)可以借助強(qiáng)大的視頻處理、分析模塊，能有效地降低漏查和誤查概率。

總之，智能化一直是計(jì)算機(jī)視覺(jué)的熱點(diǎn)研究問(wèn)題之一，也是時(shí)代發(fā)展的必然。

建設(shè)“智慧課堂”是提升教學(xué)質(zhì)量的新支點(diǎn)和新動(dòng)力，隨著人工智能技術(shù)的迅猛發(fā)展，傳統(tǒng)視頻監(jiān)控系統(tǒng)與人工智能的結(jié)合是大勢(shì)所趨，因此發(fā)展課堂智能監(jiān)控技術(shù)也勢(shì)在必行。傳統(tǒng)課堂監(jiān)控系統(tǒng)由于海量視頻數(shù)據(jù)在人力監(jiān)控資源上的局限性，這種“被動(dòng)式，忽略式”的視頻監(jiān)控模式難以滿(mǎn)足當(dāng)今學(xué)校對(duì)教學(xué)的管控服務(wù)。本文旨在設(shè)計(jì)一個(gè)智能課堂監(jiān)控與分析系統(tǒng)，以建設(shè)高效課堂為中心，利用最新的圖像視頻處理與機(jī)器學(xué)習(xí)技術(shù)對(duì)學(xué)生在課堂上的行為表現(xiàn)進(jìn)行智能地識(shí)別與分析，讓監(jiān)控智能化，讓課堂智慧化。

3 智能課堂監(jiān)控與分析系統(tǒng)設(shè)計(jì)（Design of intelligent

classroom monitoring and analysis system）

3.1 系統(tǒng)方案總括

現(xiàn)如今，教室里安裝的視頻監(jiān)控除了對(duì)課堂教學(xué)情況進(jìn)行監(jiān)控與記錄以外，并不能對(duì)其進(jìn)行有效地分析，在反饋整合上沒(méi)有實(shí)現(xiàn)智能化。本文設(shè)計(jì)的智能課堂監(jiān)控與分析系統(tǒng)是一個(gè)結(jié)構(gòu)嚴(yán)謹(jǐn)，時(shí)效性強(qiáng)的系統(tǒng)[6]，其方案流程為：教室攝像頭定時(shí)截取課堂學(xué)生行為照片并傳入系統(tǒng)后臺(tái)，系統(tǒng)按照以時(shí)間命名的文件夾將其提取、存檔，通過(guò)樣本訓(xùn)練的方式得到符合的構(gòu)造方式，智能地對(duì)圖像進(jìn)行自動(dòng)識(shí)別分析，從而對(duì)數(shù)據(jù)進(jìn)行整合，得出一張課堂反饋表，減少人力長(zhǎng)時(shí)間監(jiān)控疲勞的弊端，有助于數(shù)字化校園的建設(shè)與發(fā)展，能有效的提高學(xué)校對(duì)課堂教學(xué)質(zhì)量的管控，推動(dòng)“智慧課堂”的發(fā)展。設(shè)計(jì)了如圖1所示的結(jié)構(gòu)圖。

3.2 軟件結(jié)構(gòu)設(shè)計(jì)及功能簡(jiǎn)介

系統(tǒng)軟件采用數(shù)據(jù)庫(kù)作為管理系統(tǒng)的后臺(tái)，采用Java開(kāi)發(fā)工具軟件作為數(shù)據(jù)操作的前臺(tái)，是用戶(hù)和計(jì)算機(jī)交流的人-機(jī)接口管理軟件[7]。按照智能課堂監(jiān)控與分析系統(tǒng)的架構(gòu)，設(shè)計(jì)了如圖2所示的功能模塊。

由圖可知，智能課堂監(jiān)控與分析系統(tǒng)是依托監(jiān)控系統(tǒng)對(duì)學(xué)生在課堂上課行為表現(xiàn)（如睡覺(jué)、玩手機(jī)、認(rèn)真聽(tīng)課等）的海量數(shù)據(jù)的采集，通過(guò)課堂行為動(dòng)作識(shí)別模塊中的機(jī)器學(xué)習(xí)的方法對(duì)采集的圖像進(jìn)行智能的識(shí)別與分類(lèi)，并在此基礎(chǔ)上對(duì)數(shù)據(jù)進(jìn)行智能的評(píng)估，實(shí)時(shí)數(shù)字化反饋學(xué)生課堂行為，不受時(shí)間空間的限制，提高信息整合能力。

（1）課堂行為監(jiān)控模塊

實(shí)時(shí)監(jiān)控是對(duì)學(xué)生課堂行為的一個(gè)提醒，能夠起到一個(gè)督促的作用。教學(xué)檢查中教務(wù)處、系部檢查人員可以不受地點(diǎn)限制地完成對(duì)課堂的檢查，完成對(duì)課堂狀況的判斷，可以更加如實(shí)掌握學(xué)生的課堂表現(xiàn)，對(duì)學(xué)生和學(xué)校都能有促進(jìn)作用。

（2）課堂行為動(dòng)作識(shí)別模塊

作為系統(tǒng)的核心模塊，該模塊顯得尤為重要。通常所說(shuō)的圖像識(shí)別，是指利用計(jì)算機(jī)對(duì)圖像進(jìn)行處理、分析和理解，以識(shí)別各種不同模式的目標(biāo)和對(duì)象的技術(shù)。但是在實(shí)際行為圖像處理過(guò)程中，經(jīng)常會(huì)出現(xiàn)奇怪現(xiàn)象，如端正坐姿的睡覺(jué)、遮擋性的玩手機(jī)等行為都對(duì)系統(tǒng)識(shí)別有很大的影響，圖像與現(xiàn)實(shí)所出現(xiàn)的差異也在所難免，通過(guò)海量原型的比對(duì)，從而得出較為正確可靠的信息資源。

實(shí)現(xiàn)課堂行為識(shí)別的方法多樣，我們選擇的是基于人工智能行為識(shí)別的條件下利用Python進(jìn)行深度學(xué)習(xí)設(shè)計(jì)、開(kāi)發(fā)，封裝圖像數(shù)據(jù)庫(kù)，對(duì)其進(jìn)行檢測(cè)分析，判斷學(xué)生課堂的行為舉動(dòng)，通過(guò)機(jī)器學(xué)習(xí)的方法能有效地做出反饋，改進(jìn)學(xué)校管理學(xué)生的模式，提升學(xué)校的教學(xué)質(zhì)量。借助計(jì)算機(jī)強(qiáng)大的數(shù)據(jù)處理功能，反饋出各個(gè)班級(jí)學(xué)生的上課狀態(tài)、上課風(fēng)貌，快速分析識(shí)別更準(zhǔn)確地得出數(shù)據(jù)結(jié)論，使得圖像信息數(shù)字化，從而可以更方便地理解判斷。

（3）智能評(píng)價(jià)模塊

將一節(jié)課45分鐘分為三段（每15分鐘一段），每一段進(jìn)行單獨(dú)評(píng)分。設(shè)定各個(gè)時(shí)段聽(tīng)課效率占比大于75%為優(yōu)秀，占比大于50%小于75%的為良好，占比小于50%的為聽(tīng)課效率較差的狀況（聽(tīng)課效率=認(rèn)真聽(tīng)課的人數(shù)/班級(jí)總?cè)藬?shù)）。最后依據(jù)分段評(píng)分情況，按照一時(shí)段前15分鐘占比三成，二時(shí)段中間15分鐘占比四成，三時(shí)段末15分鐘占比三成的評(píng)分標(biāo)準(zhǔn)累加完成對(duì)各班該節(jié)課最后得分的評(píng)估（設(shè)一時(shí)段、二時(shí)段、三時(shí)段聽(tīng)課率分別為X1、X2、X3，則最后評(píng)

分=X3*30%+X2*40%+X3*30%）。

學(xué)?？梢曰诜治鼋Y(jié)果在后期的探討中給予各個(gè)班教學(xué)更中肯的評(píng)價(jià)，也可以以此作為評(píng)優(yōu)的考核標(biāo)準(zhǔn)。

本文重點(diǎn)是將人工智能技術(shù)應(yīng)用于智能課堂監(jiān)控與分析系統(tǒng)中，該系統(tǒng)源于計(jì)算機(jī)視覺(jué)，融合了圖像處理技術(shù)，模式識(shí)別等技術(shù)，這些技術(shù)已經(jīng)越來(lái)越受到外界的關(guān)注。同時(shí)，利用已有的教室監(jiān)控資源，降低成本，發(fā)揮團(tuán)隊(duì)和師資的強(qiáng)大力量去努力實(shí)現(xiàn)教育教學(xué)的可視化管理。

4 實(shí)現(xiàn)效果（Achieved results）

4.1 系統(tǒng)主界面

當(dāng)用戶(hù)啟動(dòng)軟件后，進(jìn)入智能課堂監(jiān)控與分析系統(tǒng)主界面，主界面設(shè)置了四個(gè)窗口（實(shí)時(shí)監(jiān)控、信息管理、數(shù)據(jù)查詢(xún)、設(shè)置），可以根據(jù)不同的需求開(kāi)啟不同的窗口，如圖3所示。

4.2 實(shí)時(shí)監(jiān)控

軟件對(duì)攝像頭所監(jiān)控的數(shù)據(jù)進(jìn)行同步傳輸，直接成像進(jìn)入系統(tǒng)，可以隨時(shí)了解各班學(xué)生課堂表現(xiàn)，從而可以及時(shí)的做出提醒和改進(jìn)，如圖4所示。

4.3 自動(dòng)截圖與分類(lèi)

軟件對(duì)該攝像頭下產(chǎn)生的數(shù)據(jù)進(jìn)行分類(lèi)并自動(dòng)截圖保存至本地，系統(tǒng)可以根據(jù)圖片顯示進(jìn)行管理，也可方便有據(jù)查看課堂行為，如圖5所示。

4.4 數(shù)據(jù)查詢(xún)

用戶(hù)可以選擇性地對(duì)各個(gè)年級(jí)、各個(gè)專(zhuān)業(yè)、各個(gè)班級(jí)進(jìn)行課堂行為表現(xiàn)查詢(xún)，依據(jù)自由選擇導(dǎo)出各班的課堂結(jié)果分析，如圖7所示。

5 結(jié)論（Conclusion）

課堂教學(xué)是素質(zhì)教育的主要陣地，是教師和學(xué)生教與學(xué)活動(dòng)相互的直接表現(xiàn)。課堂行為動(dòng)作監(jiān)控可以全方位跟蹤學(xué)生學(xué)習(xí)，本文智能課堂監(jiān)控與分析系統(tǒng)充分結(jié)合了智能識(shí)別技術(shù)、計(jì)算機(jī)技術(shù)和網(wǎng)絡(luò)技術(shù)，為教學(xué)質(zhì)量提供真實(shí)有效的依據(jù)。本文所涉及的人工智能機(jī)器識(shí)別中的行為識(shí)別作為當(dāng)下最熱門(mén)的技術(shù)之一，應(yīng)用層面廣博。本文的研究和設(shè)計(jì)成果可以為各個(gè)高校課堂學(xué)生行為管理提供有益的借鑒和參考。但是行為識(shí)別程序在實(shí)際應(yīng)用時(shí)，識(shí)別準(zhǔn)確率還有待提高，需要進(jìn)一步研究完善。

參考文獻(xiàn)（References）

[1] 樊凌，戴雯惠，唐寅.基于智能跟蹤的課堂教學(xué)監(jiān)控系統(tǒng)的探索與研究[C].International Conference on Education Technology & Training，2010.

[2] 黃健榮.梧州學(xué)院課堂教學(xué)質(zhì)量監(jiān)控系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].電子科技大學(xué)，2013.

[3] 徐金鳳，張路遙.高職院校教學(xué)質(zhì)量監(jiān)控信息化平臺(tái)的設(shè)計(jì)——以無(wú)錫職業(yè)技術(shù)學(xué)院為例[J].無(wú)錫職業(yè)技術(shù)學(xué)院學(xué)報(bào)，2017，16（3）：41-44.

[4] 李霞.校園視頻監(jiān)控系統(tǒng)的研究與實(shí)現(xiàn)[D].山東大學(xué)，2015.

[5] 袁國(guó)武.智能視頻監(jiān)控中的運(yùn)動(dòng)目標(biāo)檢測(cè)和跟蹤算法研究[D].云南大學(xué)，2012.

[6] 荊洲，權(quán)偉，唐杰，等.基于人臉識(shí)別的智能課堂點(diǎn)名系統(tǒng)[J].軟件工程，2017，20（5）：43-46.

[7] 王云良，湯慧芹，顧衛(wèi)杰.高職院校智能化課堂教學(xué)質(zhì)量監(jiān)控系統(tǒng)研究[J].軟件工程，2015（3）：28-29.

作者簡(jiǎn)介：

戴振澤（1998-），男，本科生.研究領(lǐng)域：物聯(lián)網(wǎng)工程.

施 艷（1998-），女，本科生.研究領(lǐng)域：物聯(lián)網(wǎng)工程.

鄭少偉（1998-），男，本科生.研究領(lǐng)域：軟件工程.

郭梓文（1999-），男，本科生.研究領(lǐng)域：圖像處理.

丁王斌（1990-），男，碩士，助教.研究領(lǐng)域：軟件工程.本文通訊作者.