基于多任務(wù)CNN的監(jiān)控視頻中異常行人快速檢測①

李俊杰,劉成林,朱 明

(中國科學(xué)技術(shù)大學(xué) 信息科學(xué)技術(shù)學(xué)院,合肥 230027)

隨著社會(huì)經(jīng)濟(jì)水平和人們安全意識(shí)的提高,視頻監(jiān)控的使用已經(jīng)變得越來越普及,如今在商場、校園、街道等公共區(qū)域,我們能夠很輕易的發(fā)現(xiàn)很多監(jiān)控探頭.與此同時(shí),近年來人們對(duì)社會(huì)公共安全的關(guān)注度越來越高,每當(dāng)發(fā)生公共場所傷害事件都會(huì)在社會(huì)上引起廣泛討論.在這種情況下,以監(jiān)控視頻為載體的異常行人檢測技術(shù)就成為了一個(gè)熱門且重要的課題.異常行人檢測技術(shù)是指通過圖像處理、機(jī)器學(xué)習(xí)等方法在視頻中檢測是否有異常行人的存在并給出其位置,其中異常行人是指與普通行人在外觀上有明顯異常性區(qū)別的人,例如低頭躲避攝像頭或用帽子口罩等物品大面積遮擋住面部,如圖1所示.該技術(shù)能夠讓管理者更容易的注意到監(jiān)控視頻中的異常行人,更好的預(yù)防和應(yīng)對(duì)各種突發(fā)情況,同時(shí)節(jié)省了人力成本,減輕了管理者的工作負(fù)擔(dān).

圖1 監(jiān)控場景中的異常行人示例

1 異常行人檢測概述

考慮到異常行人的異常特征大都集中在頭面部,本文針對(duì)頭面部區(qū)域進(jìn)行討論,提出了一個(gè)異常行人快速檢測方法,首先檢測監(jiān)控視頻中的頭面部區(qū)域,然后使用多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)提取頭面部區(qū)域的特征,最后用單類支持向量機(jī)進(jìn)行異常行人的判別.檢測系統(tǒng)整體架構(gòu)如圖2所示.

圖2 異常行人檢測系統(tǒng)架構(gòu)

本文提出的異常行人檢測方法可分為以下兩步:(1)確定行人頭面部區(qū)域位置,(2)判斷每個(gè)位置對(duì)應(yīng)的行人是否為異常行人.

1.1 頭面部區(qū)域檢測

行人頭面部區(qū)域檢測的方法有兩種: (1)通過人臉檢測得到人臉位置,進(jìn)一步擴(kuò)充得到頭面部區(qū)域,(2)直接進(jìn)行頭面部區(qū)域檢測.

人臉檢測方法很多,最經(jīng)典的是Viola和Jones提出的基于Haar-like特征和級(jí)聯(lián)AdaBoost分類器的方法[1],但在實(shí)際場景中由于表情、遮擋、光照等因素的影響,很多傳統(tǒng)檢測方法效果并不理想,近年來針對(duì)非約束人臉提出了很多新的方法,如基于NPD特征的方法[2]以及基于深度學(xué)習(xí)的方法[3,4],這些方法都取得了很好的效果.與人臉檢測相比,頭面部區(qū)域檢測的研究較少,現(xiàn)有的一些方法如基于FDF特征[5]以及基于HOG特征[6]的方法,在實(shí)際場景中效果也往往并不十分理想.

綜合考慮,本文選擇了適用范圍廣、準(zhǔn)確率高且檢測速度快的NPD特征方法進(jìn)行頭面部區(qū)域的檢測.通過NPD特征方法獲得人臉位置,進(jìn)而得到頭面部區(qū)域位置.

1.2 異常行人判別

異常行人判別的研究主要有三個(gè)難點(diǎn): (1) 異常行人樣本非常稀少; (2) 可能出現(xiàn)的異常情況無法窮舉;(3) 應(yīng)用于實(shí)際場景中需要保證算法的實(shí)時(shí)性.

目前對(duì)頭面部區(qū)域異常情況的討論主要集中在遮擋問題上,提出了很多面部遮擋檢測方法,例如用膚色比例判斷遮擋[7,8],或通過檢測眼睛、嘴巴來間接判斷遮擋情況[9–11].但是基于膚色比例的方法受光照等環(huán)境因素的影響較大,而對(duì)眼睛、嘴巴的檢測對(duì)圖像的分辨率要求又很高,此外實(shí)際場景中的異常情況也無法窮舉,因此這些針對(duì)性的方法用于實(shí)際場景中的異常行人檢測往往無法取得令人滿意的效果.

考慮到異常行人樣本較少且無法列舉出所有可能情況,傳統(tǒng)的分類模型無法應(yīng)用于該問題,本文針對(duì)性的使用了圖像特征與單分類算法相結(jié)合的方法進(jìn)行異常行人的判別.

常見的圖像特征,如LBP[7],Haar-like[1],HOG[12]都經(jīng)常用于行人相關(guān)的研究,此外近年來隨著深度學(xué)習(xí)方法的興起,用卷積神經(jīng)網(wǎng)絡(luò)提取圖像特征也成為了一種有效手段[13].

單分類算法是指只用一類樣本訓(xùn)練分類器,進(jìn)而該分類器能夠判斷輸入是否屬于該類.本文中使用正常行人的頭面部樣本訓(xùn)練單分類器,進(jìn)而實(shí)現(xiàn)對(duì)異常行人的判別.常見的單分類算法有單類支持向量機(jī)[14]、FAST-MCD算法[15]和孤立森林算法[16].

2 算法設(shè)計(jì)與實(shí)現(xiàn)

2.1 多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)

本文設(shè)計(jì)了一個(gè)多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)用于行人頭面部區(qū)域的特征提取,該網(wǎng)絡(luò)初級(jí)模型如圖3所示.

圖3 多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)初級(jí)模型(輸入以120×100為例)

該網(wǎng)絡(luò)包括數(shù)據(jù)輸入部分、三個(gè)卷積層模塊、一個(gè)全連接層和數(shù)據(jù)輸出部分.其中全連接層即作為輸入圖像的特征向量表示,用于后續(xù)進(jìn)一步操作.

上述卷積層模塊是由一個(gè)卷積層、一個(gè)池化層和一個(gè)ReLU激活函數(shù)層組成,其中前兩個(gè)使用了最大值池化,而第三個(gè)使用了空間金字塔池化(SPP)[17],通過使用空間金字塔池化層,網(wǎng)絡(luò)輸入不再要求大小相同,不需對(duì)輸入圖片進(jìn)行剪切或非等比縮放,可以盡可能的保留圖像特征,提高網(wǎng)絡(luò)的特征提取能力.

與普通網(wǎng)絡(luò)相比,多任務(wù)網(wǎng)絡(luò)在全連接層之后連接了多個(gè)不同的分類任務(wù),這些分類任務(wù)共同使用卷積網(wǎng)絡(luò)輸出的特征向量,在訓(xùn)練過程中聯(lián)合更新網(wǎng)絡(luò)參數(shù).因此多任務(wù)網(wǎng)絡(luò)提取出的特征向量對(duì)所有輸出屬性都有很好的代表性,具體到頭面部特征提取問題,將是否戴眼鏡、是否戴帽子等多個(gè)任務(wù)作為網(wǎng)絡(luò)輸出,可以讓該網(wǎng)絡(luò)提取出的特征向量對(duì)整個(gè)頭面部各部分細(xì)節(jié)都能進(jìn)行很好的描述.此外,在網(wǎng)絡(luò)訓(xùn)練過程中,每一個(gè)頭面部樣本都對(duì)應(yīng)多個(gè)標(biāo)簽,如戴眼鏡、不戴帽子等,這種多標(biāo)簽樣本也更適合多任務(wù)網(wǎng)絡(luò).因此,多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)是最合適有效的頭面部特征提取模型.

2.2 卷積核拆分

為了保證算法的實(shí)時(shí)性,本文通過拆分卷積核的方法減少卷積網(wǎng)絡(luò)的參數(shù)和計(jì)算次數(shù),加快特征提取速度.

本文參考GoogLeNet[18]和MobileNets[19]對(duì)卷積核進(jìn)行了多個(gè)維度上的拆分,示意圖如圖4所示.

圖4中M為輸入特征圖通道數(shù),N為輸出特征圖通道數(shù),拆分前共有N個(gè)維度為k×k×M的卷積核,將其拆分成兩個(gè)深度卷積和一個(gè)點(diǎn)卷積.深度卷積將卷積核分別應(yīng)用到單個(gè)輸入通道,點(diǎn)卷積對(duì)不同通道進(jìn)行組合,顯然最終輸出維度不會(huì)發(fā)生改變.

圖4 卷積核拆分

假定特征圖尺寸在卷積前后不變,始終為n×n,因?yàn)槊看尉矸e操作特征圖尺寸減小量為k–1,遠(yuǎn)遠(yuǎn)小于特征圖大小,且在實(shí)際工程中可以通過像素填充方法實(shí)現(xiàn),故該假定不影響對(duì)計(jì)算代價(jià)的討論.

卷積核拆分后各層的計(jì)算代價(jià)依次為n×n×M×1×k×1、n×n×M×k×1×1 和n×n×N×1×1×M,與拆分前相比得:

相比結(jié)果小于1,拆分操作成功降低了計(jì)算代價(jià).以初級(jí)網(wǎng)絡(luò)模型中k為3,N依次為16、32和64為例,三個(gè)卷積層的計(jì)算代價(jià)分別降低為拆分前的15.3%、13.2%和12.2%.最終得到網(wǎng)絡(luò)模型如圖5所示.

2.3 訓(xùn)練數(shù)據(jù)集

該網(wǎng)絡(luò)的訓(xùn)練過程分為兩步:

圖5 改進(jìn)后的多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)模型

1) 使用公開人臉屬性數(shù)據(jù)集CelebA[20]進(jìn)行網(wǎng)絡(luò)預(yù)訓(xùn)練,選用了其中十二個(gè)屬性作為多任務(wù)網(wǎng)絡(luò)模型的輸出屬性,分別為眼袋、光頭、劉海、黑發(fā)、金發(fā)、眼鏡、性別、年齡段、嘴巴張開、胡子、帽子和領(lǐng)帶.部分屬性及對(duì)應(yīng)樣本如圖6所示.

2) 在預(yù)訓(xùn)練得到的參數(shù)基礎(chǔ)上,用實(shí)際監(jiān)控視頻中的樣本進(jìn)行微調(diào),多任務(wù)網(wǎng)絡(luò)的輸出部分改為如下四個(gè)分類任務(wù): 是否戴眼鏡、是否戴帽子、是否露出嘴巴和人臉方位(正面、側(cè)面和背面),如圖7所示.

圖6 CelebA數(shù)據(jù)集部分樣本示例

圖7 實(shí)際監(jiān)控視頻部分樣本示例

2.4 單分類算法

單分類算法中應(yīng)用最廣泛的是單類支持向量機(jī).單類支持向量機(jī)是基于支持向量機(jī)提出的算法,與支持向量機(jī)相同,核函數(shù)[21]的選擇是影響其性能的關(guān)鍵.

目前常用的核函數(shù)有高斯核函數(shù)、Sigmoid核函數(shù)、多項(xiàng)式核函數(shù)、線性核函數(shù)和三角核函數(shù)[22]等.本文實(shí)驗(yàn)部分將對(duì)不同單分類算法以及不同核函數(shù)的性能進(jìn)行詳細(xì)的比較.

3 實(shí)驗(yàn)與分析

本文系統(tǒng)實(shí)現(xiàn)部分使用了深度學(xué)習(xí)框架Caffe[23]和基于Python的機(jī)器學(xué)習(xí)工具sklearn[24].

3.1 多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練與評(píng)估

首先,我們?cè)贑elebA人臉屬性數(shù)據(jù)集上進(jìn)行網(wǎng)絡(luò)預(yù)訓(xùn)練,該數(shù)據(jù)集包含202 599張人臉圖片,并為每張圖片提供了多達(dá)40種屬性的標(biāo)注.在進(jìn)行了一定程度的等比例縮放后,隨機(jī)選取2萬張作為測試集,其他作為訓(xùn)練集.之后,我們?cè)趯?shí)際監(jiān)控場景的頭面部樣本集上進(jìn)行參數(shù)微調(diào),共使用了1萬張圖片,人工對(duì)分類屬性進(jìn)行標(biāo)注后,隨機(jī)選取其中2千張作為測試集,其他作為訓(xùn)練集.

我們分別訓(xùn)練了卷積核拆分前后的網(wǎng)絡(luò)模型,計(jì)算了所有分類任務(wù)的平均準(zhǔn)確率和處理100張圖片所需的平均耗時(shí),結(jié)果如表1所示.

表1 卷積核拆分前后效果對(duì)比

實(shí)驗(yàn)結(jié)果表明,本文設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)在多分類問題上有較高的準(zhǔn)確率,提出的卷積核拆分方法也明顯的降低了計(jì)算代價(jià),減少了網(wǎng)絡(luò)分類耗時(shí).此外我們發(fā)現(xiàn)隨著進(jìn)行微調(diào)時(shí)分類任務(wù)數(shù)的減少,耗時(shí)也會(huì)相應(yīng)減少,因此用該網(wǎng)絡(luò)提取特征時(shí)只計(jì)算到全連接層會(huì)進(jìn)一步降低耗時(shí).

3.2 圖像特征與單分類器的組合

我們?cè)趯?shí)際監(jiān)控場景的樣本集上評(píng)估了不同圖像特征與不同單分類器的組合效果.我們使用了1萬張正常行人頭面部樣本進(jìn)行訓(xùn)練,各2千張正常樣本和異常樣本進(jìn)行測試.準(zhǔn)確率對(duì)比如表2所示.

表2 不同組合準(zhǔn)確率對(duì)比(%)

可以看出,本文提出的多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)特征提取模型與單類支持向量機(jī)的組合準(zhǔn)確率明顯高于其他方法.

在此基礎(chǔ)上,我們?cè)u(píng)估了不同核函數(shù)的分類速度(Frames Per Second,FPS)和召回率,這兩者很大程度上影響著系統(tǒng)的實(shí)用性.其中,召回率是指單分類器正確判別為異常行人的樣本在總異常行人樣本中的比例,在異常檢測問題中是一個(gè)十分重要的性能指標(biāo).結(jié)果如表3所示.

表3 不同核函數(shù)相應(yīng)分類速度和召回率

表3中,線性核的分類速度和召回率都明顯好于其他核函數(shù),并且準(zhǔn)確率只略低于高斯核和三角核.因此,我們選擇基于線性核的單類支持向量機(jī)作為異常行人檢測系統(tǒng)的單分類器.

3.3 異常行人檢測系統(tǒng)

如前文所述,本文設(shè)計(jì)的異常行人檢測系統(tǒng)的實(shí)現(xiàn)主要依賴于人臉檢測、多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)特征提取模型和單類支持向量機(jī)三個(gè)算法.

我們?cè)u(píng)估了三個(gè)典型的人臉檢測算法在本系統(tǒng)中的效果.在分辨率為960×540的監(jiān)控視頻中測試,相應(yīng)檢測速度(FPS)和異常行人召回率如表4所示.

表4 異常行人檢測系統(tǒng)性能

綜合考慮檢測速度和召回率,我們選擇了基于NPD特征的人臉檢測算法來實(shí)現(xiàn)頭面部區(qū)域的檢測.最終異常行人檢測效果如圖8所示.

圖8 異常行人檢測示例

4 總結(jié)與展望

本文設(shè)計(jì)了一個(gè)用于快速提取頭面部特征的多任務(wù)卷積神經(jīng)網(wǎng)絡(luò),并結(jié)合NPD人臉檢測算法和基于線性核的單類支持向量機(jī),實(shí)現(xiàn)了監(jiān)控視頻場景中異常行人的快速檢測,取得了令人滿意的效果.

下一步的研究工作將致力于設(shè)計(jì)召回率高且檢測速度快的頭面部檢測算法,以使得整個(gè)異常行人檢測系統(tǒng)更加的快速且有效.