基于教室監(jiān)控視頻的課堂行為計(jì)數(shù)分析

歐溫暖 ， 田緒紅， 朱同林

（1. 華南農(nóng)業(yè)大學(xué)農(nóng)業(yè)多媒體技術(shù)研究所，廣東 廣州 510642；2. 華南農(nóng)業(yè)大學(xué)信息學(xué)院，廣東 廣州 510642）

隨著科技的進(jìn)步和經(jīng)濟(jì)的發(fā)展，人們的社會(huì)生活水平不斷提高，校園的教學(xué)、管理等方式也發(fā)生了很大的變化。其中，大多數(shù)學(xué)校出于對(duì)教學(xué)場(chǎng)所中多媒體設(shè)備、教學(xué)狀況、公共教室利用情況、考試等原因，都在教室安裝了視頻監(jiān)控系統(tǒng)，并進(jìn)行視頻錄制與存儲(chǔ)，為監(jiān)督教室安全、教學(xué)質(zhì)量評(píng)估及監(jiān)考考場(chǎng)等提供一種嶄新的手段。

基于視頻圖像的分析一直是計(jì)算機(jī)視覺(jué)和數(shù)字圖像處理領(lǐng)域研究的熱點(diǎn)和難點(diǎn)。近年來(lái)，國(guó)內(nèi)外涌現(xiàn)許多基于視頻分析的研究成果[1-3]，但大多數(shù)都局限于對(duì)運(yùn)動(dòng)目標(biāo)的檢測(cè)與跟蹤，在行為統(tǒng)計(jì)方面卻很少涉及。閆敬文等人提出的基于視頻圖像處理的人數(shù)統(tǒng)計(jì)方法[4]，使得人數(shù)統(tǒng)計(jì)技術(shù)有望從實(shí)驗(yàn)室進(jìn)入實(shí)際應(yīng)用領(lǐng)域；但由于該方法是根據(jù)人的頭發(fā)顏色進(jìn)行識(shí)別，只能應(yīng)用在某些特定的場(chǎng)合。鄭澤文等提出的基于運(yùn)動(dòng)信息的教師到課情況檢測(cè)[5]，雖然較好地檢測(cè)教師到課情況，但課堂行為統(tǒng)計(jì)方面同樣沒(méi)有涉及。

課堂教學(xué)監(jiān)控是課堂教學(xué)管理的重要環(huán)節(jié)，學(xué)生的課堂問(wèn)題行為將直接影響著教學(xué)效果[6-7]?？紤]到教室視頻可獲取及時(shí)、準(zhǔn)確、具體、直觀的信息，而目前對(duì)這些信息基本上只是進(jìn)行存儲(chǔ)，僅在出現(xiàn)異?；蛘哂袪?zhēng)議情況下才調(diào)出來(lái)進(jìn)一步求證。基于上述考慮，本文嘗試?yán)糜?jì)算機(jī)對(duì)教室監(jiān)控視頻中容易被察覺(jué)的外在行為進(jìn)行分析，進(jìn)而統(tǒng)計(jì)出課堂上出現(xiàn)訪問(wèn)講臺(tái)和出入教室的人數(shù)。這不僅能夠很好地利用計(jì)算機(jī)協(xié)助開展課堂教學(xué)監(jiān)控任務(wù)，而且大大地減少監(jiān)控所需的物力和人力。通過(guò)分析計(jì)算機(jī)的統(tǒng)計(jì)結(jié)果，學(xué)校相關(guān)部門可以及時(shí)了解并掌握課堂教學(xué)的情況，并采取相應(yīng)措施對(duì)課堂教學(xué)現(xiàn)場(chǎng)實(shí)施有效的監(jiān)控，具有一定的現(xiàn)實(shí)意義和應(yīng)用價(jià)值。

1 教室監(jiān)控視頻運(yùn)動(dòng)目標(biāo)檢測(cè)

視頻中的運(yùn)動(dòng)目標(biāo)只有在連續(xù)的圖像序列中才能體現(xiàn)出來(lái)，故運(yùn)動(dòng)目標(biāo)檢測(cè)過(guò)程其實(shí)就是在連續(xù)圖像序列中尋找差異，并將其提取出來(lái)。實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)完整檢測(cè)的流程圖如圖1所示。

圖1 運(yùn)動(dòng)目標(biāo)檢測(cè)流程圖

1.1 圖像預(yù)處理

1.1.1 圖像灰度化

為了統(tǒng)一進(jìn)行處理和節(jié)省存儲(chǔ)空間和圖像處理時(shí)間，通常需要將索引圖、真彩色圖轉(zhuǎn)換為256級(jí)灰度圖像，灰度值范圍為0～255。

1.1.2 圖像分割

圖像分割的主要目的是將圖像劃分為與其中含有的真實(shí)世界的物體或區(qū)域有強(qiáng)相關(guān)性的各個(gè)組成部分[8]。圖像二值化可以將圖像中目標(biāo)和背景分離出來(lái)，用公式表示為

1.2 運(yùn)動(dòng)目標(biāo)檢測(cè)

目前常用的運(yùn)動(dòng)目標(biāo)檢測(cè)方法主要有3種：幀差法[10]、背景差法[11]和光流法[12-13]。實(shí)驗(yàn)給出幀差法和背景差法的檢測(cè)結(jié)果，如圖2、3所示。

圖2 幀差運(yùn)動(dòng)目標(biāo)檢測(cè)

圖3 背景差運(yùn)動(dòng)目標(biāo)檢測(cè)

從檢測(cè)結(jié)果可以看到，背景差法可獲得關(guān)于運(yùn)動(dòng)目標(biāo)區(qū)域的完整而精確的描述，定位準(zhǔn)確，不會(huì)擴(kuò)大運(yùn)動(dòng)區(qū)域；但算法的不足之處體現(xiàn)在對(duì)光線、天氣等環(huán)境條件的變化十分敏感。幀差法對(duì)環(huán)境和光線變化有很強(qiáng)的適應(yīng)性，并且算法原理簡(jiǎn)單，易于實(shí)現(xiàn)；但幀差法進(jìn)行目標(biāo)檢測(cè)和分割精度較低，容易產(chǎn)生“空洞”現(xiàn)象，后續(xù)結(jié)合圖像去噪和數(shù)學(xué)形態(tài)學(xué)處理，獲得比較滿意的檢測(cè)效果，從而彌補(bǔ)該方法的不足。本文采用幀差法對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行檢測(cè)，并利用連續(xù)的兩次閉運(yùn)算消除運(yùn)動(dòng)目標(biāo)所產(chǎn)生的“空洞”現(xiàn)象。

1.3 運(yùn)動(dòng)目標(biāo)標(biāo)記

實(shí)際中檢測(cè)到的運(yùn)動(dòng)目標(biāo)有可能被分割成彼此分離的連通區(qū)域，我們需要尋找圖像中所有目標(biāo)對(duì)象，并且將屬于同一目標(biāo)對(duì)象的所有像素用唯一的標(biāo)記值進(jìn)行標(biāo)記，把各個(gè)連通區(qū)域區(qū)分出來(lái)。利用該標(biāo)記算法我們能夠準(zhǔn)確識(shí)別每個(gè)目標(biāo)，并求出每個(gè)連通區(qū)域各自的參數(shù)（面積、周長(zhǎng)等），然后根據(jù)各個(gè)區(qū)域的幾何特征剔除一些在面積和形狀上不符合實(shí)際跟蹤目標(biāo)條件的區(qū)域，保留可能的運(yùn)動(dòng)目標(biāo)區(qū)域。對(duì)運(yùn)動(dòng)目標(biāo)的標(biāo)記結(jié)果如圖4所示。

圖4 運(yùn)動(dòng)目標(biāo)標(biāo)記結(jié)果

2 基于視頻分析的課堂行為統(tǒng)計(jì)

為了對(duì)在課堂上進(jìn)出教室、出入講臺(tái)這兩種行為進(jìn)行分析統(tǒng)計(jì)，本文提出一種基于視頻分析的課堂行為統(tǒng)計(jì)方法，通過(guò)對(duì)跟蹤目標(biāo)和監(jiān)控區(qū)域的位置狀態(tài)信息進(jìn)行建模，給出了4種不同的位移模型。

2.1 監(jiān)控區(qū)域設(shè)定

由于不同教室中的攝像頭的分布位置不同，因而在采集到的視頻中靜態(tài)背景也會(huì)有所差異。圖5給出在不同的視頻中設(shè)置教室中的門作為監(jiān)控區(qū)域的情況。

圖5 監(jiān)控區(qū)域設(shè)置

2.2 運(yùn)動(dòng)目標(biāo)移動(dòng)情況分析

考慮運(yùn)動(dòng)目標(biāo)相對(duì)監(jiān)控區(qū)域的移動(dòng)情況，我們將運(yùn)動(dòng)目標(biāo)的中心位置（即矩形的中心位置）當(dāng)作運(yùn)動(dòng)目標(biāo)所在的位置，記為運(yùn)動(dòng)點(diǎn)。當(dāng)運(yùn)動(dòng)點(diǎn)出現(xiàn)在監(jiān)控區(qū)域內(nèi)時(shí)，我們認(rèn)為運(yùn)動(dòng)目標(biāo)進(jìn)入監(jiān)控區(qū)域；否則認(rèn)為運(yùn)動(dòng)目標(biāo)在監(jiān)控區(qū)域外，如圖6、圖7所示。其中綠色框代表監(jiān)控區(qū)域，紅色框代表運(yùn)動(dòng)目標(biāo)，圓心黑點(diǎn)表示運(yùn)動(dòng)點(diǎn)，箭頭表示移動(dòng)路徑。

圖6 運(yùn)動(dòng)目標(biāo)相對(duì)監(jiān)控區(qū)域的位置

圖7 運(yùn)動(dòng)目標(biāo)相對(duì)監(jiān)控區(qū)域的移動(dòng)情況

針對(duì)運(yùn)動(dòng)點(diǎn)的起始位置b和終止位置e兩個(gè)狀態(tài)，可確定運(yùn)動(dòng)目標(biāo)相對(duì)監(jiān)控區(qū)域Z的移動(dòng)情況，共有如下4種位移模型，并分別給出判定條件：

· 當(dāng)起始點(diǎn)b和終止點(diǎn)e都出現(xiàn)在監(jiān)控區(qū)域內(nèi)，認(rèn)為運(yùn)動(dòng)目標(biāo)在監(jiān)控區(qū)域內(nèi)移動(dòng)，如圖7(a)所示，滿足判定條件

· 當(dāng)起始點(diǎn)b出現(xiàn)在監(jiān)控區(qū)域內(nèi)，終止點(diǎn)e出現(xiàn)在區(qū)域外，認(rèn)為運(yùn)動(dòng)目標(biāo)從監(jiān)控區(qū)域內(nèi)移動(dòng)到區(qū)域外，如圖7(b)所示，滿足判定條件

· 當(dāng)起始點(diǎn)b出現(xiàn)在監(jiān)控區(qū)域外，終止點(diǎn)e出現(xiàn)在區(qū)域內(nèi)，認(rèn)為運(yùn)動(dòng)目標(biāo)從監(jiān)控區(qū)域外移動(dòng)到區(qū)域內(nèi)，如圖7(c)所示，滿足判斷條件

· 當(dāng)起始點(diǎn)b和終止點(diǎn)e都出現(xiàn)在監(jiān)控區(qū)域外，認(rèn)為運(yùn)動(dòng)目標(biāo)在監(jiān)控區(qū)域外移動(dòng)，如圖7(d)所示，滿足判斷條件

2.3 課堂行為計(jì)數(shù)分析

結(jié)合上述4種不同的位移模型，實(shí)驗(yàn)對(duì)采集的課堂監(jiān)控視頻進(jìn)行分析，并對(duì)在課堂上進(jìn)出教室和上講臺(tái)的行為進(jìn)行統(tǒng)計(jì)。

2.3.1 課堂上進(jìn)出教室的人數(shù)計(jì)數(shù)

· 運(yùn)動(dòng)目標(biāo)進(jìn)入教室

圖8所示為運(yùn)動(dòng)目標(biāo)進(jìn)入教室的視頻監(jiān)控過(guò)程。當(dāng)對(duì)運(yùn)動(dòng)目標(biāo)的標(biāo)記首次出現(xiàn)在監(jiān)控區(qū)域范圍內(nèi)，并逐漸移動(dòng)到監(jiān)控區(qū)域范圍外，到最后在監(jiān)控區(qū)域范圍外消失，此時(shí)判定運(yùn)動(dòng)目標(biāo)進(jìn)入了教室。

圖8 運(yùn)動(dòng)目標(biāo)進(jìn)入教室視頻監(jiān)控過(guò)程

· 運(yùn)動(dòng)目標(biāo)走出教室

圖9所示為運(yùn)動(dòng)目標(biāo)走出教室的視頻監(jiān)控過(guò)程。當(dāng)對(duì)運(yùn)動(dòng)目標(biāo)的標(biāo)記首次出現(xiàn)在監(jiān)控區(qū)域范圍外，并漸漸移動(dòng)到監(jiān)控區(qū)域范圍內(nèi)，到最后在監(jiān)控區(qū)域范圍內(nèi)消失，此時(shí)判定運(yùn)動(dòng)目標(biāo)走出教室。

圖9 運(yùn)動(dòng)目標(biāo)離開教室的視頻監(jiān)控過(guò)程

· 運(yùn)動(dòng)目標(biāo)沒(méi)有進(jìn)出教室

圖10所示為運(yùn)動(dòng)目標(biāo)從教室門口走過(guò)的視頻監(jiān)控過(guò)程。當(dāng)對(duì)運(yùn)動(dòng)目標(biāo)的標(biāo)記首次出現(xiàn)在監(jiān)控區(qū)域范圍內(nèi)，到最后在監(jiān)控區(qū)域范圍內(nèi)消失；或者，當(dāng)對(duì)運(yùn)動(dòng)目標(biāo)的標(biāo)記首次出現(xiàn)在監(jiān)控區(qū)域范圍外，到最后在監(jiān)控區(qū)域范圍外消失；對(duì)于上述兩種情況，則判定運(yùn)動(dòng)目標(biāo)沒(méi)有進(jìn)出教室。

圖10 運(yùn)動(dòng)目標(biāo)從教室門口走過(guò)的視頻監(jiān)控過(guò)程

2.3.2 課堂上走上講臺(tái)的人數(shù)計(jì)數(shù)

圖11所示為運(yùn)動(dòng)目標(biāo)上講臺(tái)的視頻監(jiān)控過(guò)程。在對(duì)課堂上上講臺(tái)的人數(shù)進(jìn)行統(tǒng)計(jì)之前，同樣需要將教室中講臺(tái)所在的區(qū)域設(shè)置為監(jiān)控區(qū)域。

圖11 運(yùn)動(dòng)目標(biāo)上講臺(tái)的視頻監(jiān)控過(guò)程

2.3.3 多運(yùn)動(dòng)目標(biāo)情況分析

在實(shí)際的環(huán)境當(dāng)中，有可能出現(xiàn)連續(xù)多個(gè)人一起進(jìn)出教室或上講臺(tái)的情況。對(duì)于出現(xiàn)這種情況，利用本文的檢測(cè)方法檢測(cè)到的多個(gè)運(yùn)動(dòng)目標(biāo)會(huì)構(gòu)成同一個(gè)連通域，此時(shí)的多個(gè)運(yùn)動(dòng)目標(biāo)只會(huì)形成一個(gè)標(biāo)記，如圖12所示。

圖12 出現(xiàn)連續(xù)多個(gè)運(yùn)動(dòng)目標(biāo)的情況

從上圖可以看出，當(dāng)連續(xù)出現(xiàn)多個(gè)運(yùn)動(dòng)目標(biāo)時(shí)，標(biāo)記運(yùn)動(dòng)目標(biāo)的矩形框?qū)挾劝l(fā)生了明顯的變化。針對(duì)上述情況，可以根據(jù)矩形框的實(shí)際寬度值判定所監(jiān)控到的運(yùn)動(dòng)目標(biāo)個(gè)數(shù)，這里根據(jù)實(shí)際采集的視頻情況，只考慮最多連續(xù)出現(xiàn)3個(gè)運(yùn)動(dòng)目標(biāo)的情形。實(shí)驗(yàn)對(duì)連續(xù)出現(xiàn)多個(gè)運(yùn)動(dòng)目標(biāo)的情況進(jìn)行采樣學(xué)習(xí)。表1列出不同目標(biāo)個(gè)數(shù)的出現(xiàn)同所標(biāo)記矩形框的寬度值d的之間的關(guān)系。

表1 連續(xù)出現(xiàn)多個(gè)運(yùn)動(dòng)目標(biāo)判定條件表（單位：像素）

3 實(shí)驗(yàn)結(jié)果及分析

本文所用的實(shí)驗(yàn)數(shù)據(jù)來(lái)自華南農(nóng)業(yè)大學(xué)第3教學(xué)樓的課堂教學(xué)監(jiān)控錄像，用到的攝像機(jī)和圖像參數(shù)如下：

· 有效像素：PAL:752×582 NTSC:768×494

· 最低照度：彩色0.1/0.14Lux

黑白0.01/0.014Lux

· 水平解析度：540TVL(彩色)

600TVL(黑白)

· 信噪比：大于50dB

· 鏡頭：2.1-11mm Φ14

· 圖像寬度：240像素

· 圖像高度：192像素

· 圖像水平分辨率：96DPI

· 圖像垂直分辨率：96DPI

· 圖像位深度：24

實(shí)驗(yàn)對(duì)采集到的10個(gè)視頻錄像（圖13所示）進(jìn)行分析，并統(tǒng)計(jì)出課堂上進(jìn)出課室的人數(shù)和上講臺(tái)的人數(shù)。所得到的實(shí)際值和測(cè)得值如表2、表3所示。

圖13 實(shí)驗(yàn)采集的10個(gè)視頻錄像數(shù)據(jù)

表2 課堂上進(jìn)出課室的人數(shù)統(tǒng)計(jì)結(jié)果表

表3 課堂上訪問(wèn)講臺(tái)的人數(shù)計(jì)數(shù)結(jié)果表

從對(duì)課堂上進(jìn)出課教室人數(shù)進(jìn)行統(tǒng)計(jì)的結(jié)果可以發(fā)現(xiàn)，視頻2中進(jìn)出教室人數(shù)的測(cè)得值比實(shí)際值都少了1人，原因是在視頻2中，監(jiān)控區(qū)域同時(shí)出現(xiàn)了進(jìn)出教室的運(yùn)動(dòng)目標(biāo)，即一個(gè)人正走出教室，一個(gè)人正進(jìn)入教室。對(duì)于這種情況，兩個(gè)人會(huì)走在一起然后分開，因而影響統(tǒng)計(jì)結(jié)果。本文目前沒(méi)能對(duì)該情況進(jìn)行處理，有待后續(xù)進(jìn)一步研究處理。但排除視頻2中出現(xiàn)的情況，其他的視頻的測(cè)得值和實(shí)際值完全吻合。

針對(duì)課堂上訪問(wèn)講臺(tái)的人數(shù)的計(jì)數(shù)結(jié)果，情況同對(duì)課堂上進(jìn)出課室的人數(shù)計(jì)數(shù)情況類似。當(dāng)剛好出現(xiàn)兩個(gè)人同時(shí)上下講臺(tái)的時(shí)候，也會(huì)對(duì)實(shí)驗(yàn)的結(jié)果產(chǎn)生影響，如視頻5、視頻10統(tǒng)計(jì)得到的結(jié)果。

但從實(shí)驗(yàn)的總體分析結(jié)果可知，實(shí)驗(yàn)中所采集到的教學(xué)視頻監(jiān)控錄像普遍適合用本方法進(jìn)行分析處理。

4 結(jié) 論

針對(duì)教室監(jiān)控視頻中出現(xiàn)的課堂走動(dòng)行為，本文提出了一種基于視頻分析的課堂行為統(tǒng)計(jì)方法，通過(guò)對(duì)跟蹤目標(biāo)和監(jiān)控區(qū)域的位置狀態(tài)信息進(jìn)行建模，實(shí)現(xiàn)對(duì)在教堂上進(jìn)出課室人數(shù)和上講臺(tái)人數(shù)進(jìn)行統(tǒng)計(jì)。實(shí)驗(yàn)分析結(jié)果驗(yàn)證了算法的有效性，對(duì)教學(xué)視頻監(jiān)控，具有一定的應(yīng)用價(jià)值。

針對(duì)算法存在的不足，本文將在接下來(lái)的工作中進(jìn)一步考慮對(duì)同時(shí)出現(xiàn)往相反方向運(yùn)動(dòng)的多目標(biāo)情況進(jìn)行處理，以期能達(dá)到更大的應(yīng)用范圍和價(jià)值。

[1]Behrad L, Shahrokni A, Motamedi S A, et al. A robust vision-based moving target detection and tracking system[C]//Proceedings of Image and Vision Computing Conference, Dunedin, New Zealand, 2001: 26-28.

[2]伏思華, 張小虎. 基于序列圖像的運(yùn)動(dòng)目標(biāo)實(shí)驗(yàn)檢測(cè)方法[J]. 光學(xué)技術(shù), 2004, (4): 215-217.

[3]舒 恒. 基于視頻的人體運(yùn)動(dòng)檢測(cè)與跟蹤[D]. 北京:北京理工大學(xué), 2008.

[4]閆敬文, 樊秋月. 基于視頻圖像處理的人數(shù)統(tǒng)計(jì)方法[J]. 汕頭大學(xué)學(xué)報(bào)(自然科學(xué)版), 2008, (2): 69-73.

[5]鄭澤文, 陳慶章. 基于運(yùn)動(dòng)信息的教師到課情況檢測(cè)[J]. 浙江工業(yè)大學(xué)學(xué)報(bào), 2010, (4): 420-425.

[6]陳 美. 淺論課堂教學(xué)監(jiān)控[J]. 吉林教育, 2011, 14: 48.

[7]張偉靜. 如何有效的應(yīng)對(duì)課堂問(wèn)題行為[EB/OL].http://www.qtedu.net/eduzl/jsgd/200711/81923.html.(2007-11-22).

[8][美]Sonka M, Hlavac V, Boyle R. 圖像處理、分析與機(jī)器視覺(jué)(第 2版)[M]. 艾海舟, 武 勃, 譯. 北京:人民郵電出版社, 2003: 83-144.

[9]賈永紅, 崔衛(wèi)紅, 余 卉. 數(shù)字圖像處理實(shí)習(xí)教程[M].武漢: 武漢大學(xué)出版社, 2007: 75-76.

[10]Liption A, Fujiyoshi H, Patil R S. Moving target detection and classification from real-time video[C]//Fourth IEEE Workshop Application of Computer Vision, 1998: 8-14.

[11]Nir F, Stuart R. Image segmetation in video sequence:a probabilistic approach[C]//International Conference on Uncertainty in Artificial Intelligence, 1997:175-181.

[12]Tekalp A M. Digital video processing [M]. Beijing:Tsinghua University Press, 1998: 181-186.

[13]Horn B, Schunch B, Detemining. Optical flow [J].Artificial Intelligence, 1981, 17: 185-203.