基于深度學習的教室人數(shù)統(tǒng)計系統(tǒng)設計

陳久紅 張海玉

摘要：教室是學生上課和自習的主要場所，由于學校教室有限，尋找無課或人少的教室往往需要花費學生較多時間。開發(fā)一個教室人數(shù)統(tǒng)計系統(tǒng)，幫助學生快速找到一個合適的自習室很有意義。在教室監(jiān)控圖像中學生個體是小目標，而現(xiàn)有基于卷積神經(jīng)網(wǎng)絡的R-FCN目標檢測算法對小目標檢測困難。針對這一問題，在R-FCN基礎上進行一系列改進，大大提高了R-FCN目標檢測算法對小目標的識別能力。在自制的數(shù)據(jù)集上進行驗證，準確率達到了89.4%。

關鍵詞：人數(shù)統(tǒng)計;人頭檢測;R-FCN;卷積神經(jīng)網(wǎng)絡

DOI：10.11907/rjdL.182682開放科學（資源服務）標識碼（OSID）：

中圖分類號：TP301文獻標識碼：A 文章編號：1672-7800（2019）010-0027-03

0引言

基于深度學習的教室人數(shù)統(tǒng)計系統(tǒng)成本低，學生通過查看此系統(tǒng)可快速找到空閑教室進行學習，從而節(jié)省大量時間。除此之外，該系統(tǒng)還可用在許多公共場合，如大型會議場所、商場超市的出入口等，用于統(tǒng)計場內(nèi)人數(shù)情況;在城市交通運輸中進行人數(shù)統(tǒng)計可更好地管理和調(diào)配資源。

近年來，基于深度學習的目標檢測領域取得了很大突破，從R_CNNE到Fast R_CNNE，再從Faster R_CNNt到R_FCNE，使得某些任務如人臉檢測、行人檢測得以輕松實現(xiàn)。文獻采用人臉檢測作為教室人數(shù)統(tǒng)計依據(jù)，使用一系列預先設定的具有不同尺度和寬高比的anchor來檢測人臉。這種基于人臉檢測的人數(shù)統(tǒng)計方法使用方便、便于部署，缺點是如果學生低頭記筆記或看書，就會檢測不到人臉，人數(shù)統(tǒng)計準確度得不到保證;文獻設計一種基于人頭檢測的實時人數(shù)統(tǒng)計方法，采用SSD目標檢測算法檢測人頭，這種統(tǒng)計方法比人臉計數(shù)更加穩(wěn)定，對人體姿態(tài)沒有特殊要求，具有很強的魯棒性。缺點是通用型目標檢測算法對小目標不敏感，在監(jiān)測視頻中人體一般很小，人頭在整個圖像的占比更小，運用SSD目標檢測算法進行人頭檢測會出現(xiàn)較嚴重的漏檢。

綜上，采用人頭檢測進行人數(shù)統(tǒng)計方法較好，因此本文采用人頭檢測進行教室人數(shù)統(tǒng)計。本文使用R-FCN目標檢測框架進行檢測。教室中的學生在監(jiān)控圖片中相當于一個個小目標，而通用的目標檢測網(wǎng)絡對小目標不是很敏感。本文對R-FCN目標檢測框架的訓練機制進行一系列優(yōu)化，增強對小目標的識別能力，從而解決基于人頭檢測的方法無法檢測小目標的問題。

1R-FCN簡介

R-FCN是一種全新的目標檢測架構，由微軟亞洲研究院的代季峰研究員于2016年提出。R-FCN對傳統(tǒng)的Faster R-CNN目標檢測架構內(nèi)部進行了改造，將FasterR-CNN的RoI Pooling層后的所有全連接層移除，并利用一種位置敏感特征圖評估各個類別概率，在保持較高定位準確度的同時大幅提高檢測速率。

R-FCN是基于VGG的分類網(wǎng)絡，在其基礎上進行目標檢測分為兩個步驟：①定位目標;②對定位目標進行具體的類別分類。R-FCN目標檢測框架如圖l所示。首先利用卷積網(wǎng)絡進行特征提取，生成一系列特征映射圖;再利用RPN區(qū)域網(wǎng)絡，在生成的特征映射圖上進行滑窗操作，生成一系列anchors，然后對anchors進行回歸和分類操作，最終確定目標候選框。在此基礎上，再利用R-FCN提出的位置敏感得分圖對目標候選框進行分類和回歸。

目標檢測解決最小化預測區(qū)域與真實區(qū)域之間的誤差和最小化分類誤差，一般用損失函數(shù)衡量。神經(jīng)網(wǎng)絡的優(yōu)化目標就是最小化損失函數(shù)，通常使用隨機梯度下降法對網(wǎng)絡中的參數(shù)值進行更新，使損失函數(shù)最小化。R-FCN目標檢測框架中的損失函數(shù)由分類誤差L_cls和回歸誤差L_reg兩部分組成，損失函數(shù)為：

2教室檢測器

在教室場景下本文對R-FCN目標檢測框架采用了如下幾種優(yōu)化方法。

2.1roi-align

在常見的兩級目標檢測框架中，全連接層是基本組成結構，但是全連接層只接受固定尺寸輸入，而卷積層操作產(chǎn)生的特征圖大小完全由輸入圖片大小決定，因此卷積操作產(chǎn)生的特征圖不能直接作為全連接層輸入。2015年Ross Girshick在Faster R-CNN目標檢測框架中提出了RoI Pooling層。RoI Pooling層的核心作用是將預選框的坐標映射到最后一個卷積層產(chǎn)生的特征圖中，然后采用最大池化或平均池化方式產(chǎn)生新的特征圖，此時新的特征圖擁有固定尺寸，可以作為全連接層的輸入，以便進行后續(xù)的分類和回歸操作。預選框的位置由目標檢測模型中的區(qū)域推薦網(wǎng)絡RPN回歸得到，在進行預選框映射和池化操作過程中，RoI Pooling層存在兩次量化過程：①將候選框的邊界坐標映射到最后一個卷積層產(chǎn)生的特征圖中，將映射后的邊界浮點數(shù)坐標變成整數(shù)坐標值，這樣映射區(qū)域就會變小;②在RoI Pooling層中，由于池化操作，將映射區(qū)域平均分割成k*k個單元，對每一個單元的邊界進行整數(shù)量化。經(jīng)過上述兩次量化，此時的RoI pooling層產(chǎn)生的特征圖出現(xiàn)了一定的信息丟失，影響到檢測準確度。

為解決Roi Pooling的上述缺點，本文使用RoI Align代替RoI Pooling。RoI Align的思路是取消量化操作，使用雙線性內(nèi)插方法獲得坐標真實值，從而將整個映射和池化過程轉(zhuǎn)化為一個連續(xù)的操作，使特征信息得以完整保留。而兩者在各自的反向傳播上有著巨大差異，常規(guī)的RoIPooling反向傳播公式如下：

式（5）中，x_i代表池化操作前特征圖上的點，y_rj代表池化操作后第r個候選區(qū)域的第j個點。由式（5）可以看出，只有當某個候選區(qū)域上的某個點在池化操作過程中采用了x_i值，也就是滿足i=i^*（r，j）時，才在x_i點處進行梯度回傳。

Rol Align的反向傳播公式如式（6）所示。

其中，y_ri代表池化操作后的第r個候選區(qū)域的第j個點，x_i是某個候選區(qū)域在池化操作過程中采用的一個點，i^*（r，j）表示與x_i的橫縱坐標都小于1的點，d（·）表示兩點之間的距離符號，△h和△w表示x_i與i^*（r，j）橫縱坐標差值的絕對值，這里作為雙線性內(nèi)插系數(shù)乘在原始的梯度上。兩者的最大區(qū)別是：RoI Pooling只是在池化操作中被選用的點才有梯度值，其余點的梯度都為零;而在RoI Align中，不僅在池化操作中選用的點有梯度值，而且與x_i的橫縱坐標都小于1的點也有梯度值。而候選區(qū)域是候選框在高維特征圖上的映射，候選區(qū)域的梯度值對卷積層的權重更新有直接關系，因此候選區(qū)域的梯度值包含越少的零值，權重更新就越快，模型收斂也越快。

2.2OHEM算法

OHEM（online hard example miniing）算法的核心思想是根據(jù)輸入樣本損失篩選出hard example（對分類和檢測影響較大的樣本），然后將篩選得到的這些樣本在隨機梯度下降法中進行訓練。OHEM算法對于數(shù)據(jù)的類別不平衡問題不需要采用設置正負樣本比例的方式解決，因為這種在線選擇方式針對性更強。而且隨著數(shù)據(jù)集的增大，算法的提升會更明顯。因此本文采用OHEM算法，使負樣本更具有針對性，更能代表整個負樣本空間集，能提升分類器的分類效果。OHEM算法在R-FCN網(wǎng)絡的位置如圖2所示。

2.3ResNet殘差網(wǎng)絡

學生在教室監(jiān)控圖片中是一個個小目標，經(jīng)過一系列卷積層后，在高語義低分辨率的特征映射圖中就不存在學生的高維特征。如果有一種融合方式將低語義高分辨率的特征映射圖融合進高語義低分辨特征映射圖，這樣高語義低分辨率的特征映射圖就有了低語義高分辨率的特征映射圖信息，就可保證在以后的特征提取過程中不會丟失小目標信息，增強模型對小目標的檢測能力。ResNe網(wǎng)絡采用shortcut恒等連接，結構如圖3所示。前一層特征映射圖可通過shortcut恒等連接直接作用于后一層的特征映射圖，這樣就可將低語義高分辨率特征映射圖融合進高語義低分辨率的特征映射圖中，保證了高維特征圖不會丟失小目標。本文將基于VGG分類網(wǎng)絡的目標檢測框架改成基于ResNet殘差分類網(wǎng)絡框架，使得高語義低分辨率的特征映射圖存在小目標特征，使整個網(wǎng)絡對小目標有較好的檢測能力。

2.4anchor尺寸分配

在使用RPN區(qū)域提取網(wǎng)絡目標檢測框架中，anchor通常設置為128、256和512三個基本尺度，而教室中學生的尺寸遠小于anchor尺寸，此時anchor與真實目標框不滿足線性回歸關系，導致檢測效果不好，模型失效。

本文將anchor尺度設為8、16、32三個尺度，此時小目標和anchor尺度較接近，滿足線性回歸關系。

3實驗

為驗證本文改進架構的實際效果，采集不同狀態(tài)下的教室圖片共2533張，包含6339個學生個體的目標數(shù)據(jù)集。對監(jiān)控圖片中的學生個體進行標簽標注，作為真實標簽進行訓練，最終檢測結果如圖4所示。

4結語

本文通過對人數(shù)統(tǒng)計方法和通用型目標檢測框架的深研究，發(fā)現(xiàn)基于人頭檢測的人數(shù)統(tǒng)計方法遠好于基于人臉檢測的人數(shù)統(tǒng)計方法，對R-FCN目標檢測框架進行相關優(yōu)化，增強了R-FCN目標檢測算法對小目標的識別能力。