基于卷積神經(jīng)網(wǎng)絡(luò)的固定群體中目標(biāo)人物分類

劉惠彬,陳 強(qiáng),吳 飛,趙 毅

隨著視頻監(jiān)控的普及,利用計(jì)算機(jī)技術(shù)實(shí)現(xiàn)人物分類的方法在社會安全、生產(chǎn)生活等方面發(fā)揮了重要的作用.近年來,很多基于圖像特征的人物分類方法被提出.例如通過直方圖、尺度不變特征變換(scale-invariant feature transform,SIFT)等方法提取圖像特征,然后計(jì)算圖像間的相似度來實(shí)現(xiàn)人物的分類[1-2],以及通過人臉識別技術(shù)實(shí)現(xiàn)對監(jiān)控視頻中人物的分類[3-4].但是,上述方法都需要對分類圖像進(jìn)行大量的前期處理,并且對圖像的質(zhì)量有較高的要求.為了解決上述問題,本工作提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的人物分類方法.

神經(jīng)網(wǎng)絡(luò)[5]是一種模仿生物神經(jīng)網(wǎng)絡(luò)進(jìn)行分布式并行信息處理的數(shù)學(xué)模型,通常用于解決分類和回歸問題.反向傳播(back propagation,BP)神經(jīng)網(wǎng)絡(luò)在1986年被提出,但由于當(dāng)時沒有無監(jiān)督的預(yù)訓(xùn)練,其性能比淺層神經(jīng)網(wǎng)絡(luò)差,而且受到當(dāng)時軟硬件條件的限制,隱層的數(shù)量被限制在1～2層.2006年加拿大多倫多大學(xué)的Hinton教授[6-8]指出:多隱層的人工神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的特征學(xué)習(xí)能力,學(xué)習(xí)得到的特征對數(shù)據(jù)有更本質(zhì)的刻畫,有利于可視化或分類;深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練上的難度可以通過“逐層初始化”來有效地克服,且逐層初始化可通過無監(jiān)督學(xué)習(xí)實(shí)現(xiàn).實(shí)質(zhì)上,深度學(xué)習(xí)就是一種基于無監(jiān)督特征學(xué)習(xí)和特征層次結(jié)構(gòu)的機(jī)器學(xué)習(xí)方法,該方法通過構(gòu)建包含多個隱含層的模型和海量訓(xùn)練數(shù)據(jù),來學(xué)習(xí)更有用的特征,從而最終提升分類或預(yù)測的準(zhǔn)確性.近年來,大數(shù)據(jù)技術(shù)的飛速發(fā)展使深度學(xué)習(xí)成為研究熱點(diǎn).作為深度學(xué)習(xí)的重要分支,卷積神經(jīng)網(wǎng)絡(luò)在圖像識別、圖像分類等方面應(yīng)用廣泛,并且取得了重大成功[9].

本工作對固定人物群體中的個體目標(biāo)進(jìn)行視頻采集,然后利用直方圖的歸一化互相關(guān)方法從視頻中截取幀間差超過閾值的圖片,并將這些圖片作為進(jìn)入卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練圖片,再用未參加訓(xùn)練的圖片與訓(xùn)練模型匹配,得到其與每個人匹配的相似度,其中預(yù)訓(xùn)練和目標(biāo)匹配都在快速特征嵌入卷積神經(jīng)網(wǎng)絡(luò)框架Caあe中實(shí)現(xiàn).將人物個體作為分類目標(biāo)在深度神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練,避免了傳統(tǒng)圖像處理技術(shù)的弊端,這里因?yàn)閭鹘y(tǒng)技術(shù)在分類前需要對原始圖像的視覺特征進(jìn)行采集,而且選取的特征對分類的準(zhǔn)確率起關(guān)鍵性作用.沒有選擇人臉識別技術(shù),則是因?yàn)槿四樧R別需要的訓(xùn)練圖片是人臉數(shù)據(jù)[3],要求將采集到的視頻圖像進(jìn)行分割,而且實(shí)驗(yàn)用攝像頭的性能無法保證人類圖像的清晰度.

1 卷積神經(jīng)網(wǎng)絡(luò)及其工具

1.1 神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)

一個神經(jīng)網(wǎng)絡(luò)由多個神經(jīng)元連接組成.神經(jīng)網(wǎng)絡(luò)的整體功能不僅取決于單個神經(jīng)元的特征,更取決于神經(jīng)元之間的相互作用和相互連接.神經(jīng)元可以表示不同的對象,例如特征、字母、概念等.神經(jīng)網(wǎng)絡(luò)的處理單元可以分為3類,其中輸入層單元連接外部的信號和數(shù)據(jù),輸出層單元實(shí)現(xiàn)系統(tǒng)處理結(jié)果的輸出,隱含層單元則處于輸入層和輸出層之間,系統(tǒng)外部無法觀察.神經(jīng)元之間的連接權(quán)重控制單元間的連接強(qiáng)度,而整個系統(tǒng)的信息處理過程就體現(xiàn)在神經(jīng)網(wǎng)絡(luò)各處理單元的連接關(guān)系中.圖1為包含一個隱含層的神經(jīng)網(wǎng)絡(luò)示意圖.

神經(jīng)網(wǎng)絡(luò)是機(jī)器學(xué)習(xí)的一個龐大的分支,有幾百種不同的算法,深度學(xué)習(xí)就是其中的一類算法.深度學(xué)習(xí)的訓(xùn)練過程分為兩個階段.

(1)自下而上的無監(jiān)督學(xué)習(xí).圖2為深度學(xué)習(xí)的逐層調(diào)參過程.由圖可以看出,在這一階段,從輸入層開始逐層構(gòu)建單層神經(jīng)元,每層采用認(rèn)知和生成兩個階段對算法進(jìn)行調(diào)優(yōu),每次僅調(diào)整一層,逐層調(diào)整.在認(rèn)知階段,通過下層的輸入特征和向上的編碼器權(quán)重初始值產(chǎn)生初始抽象表示,再通過解碼器權(quán)重的初始值產(chǎn)生一個重建信息,然后計(jì)算輸入信息和重建信息殘差,并使用梯度下降修改層間的解碼器權(quán)重值.在生成階段,首先通過初始抽象表示和向下的解碼器權(quán)重修改值,生成下層的狀態(tài),再利用編碼器權(quán)重初始值產(chǎn)生一個新的抽象表示;然后利用初始抽象表示和新建抽象表示的殘差,并利用梯度下降修改層間向上的編碼器權(quán)重;最后利用修改后的編碼器權(quán)重得到輸入層的抽象表示(即隱含層).由上可知,在深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)中每個隱含層可以看作下一個隱含層的輸入.

圖1 包含一個隱含層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.1 Structure diagram of neural network with one hidden layer

圖2 深度學(xué)習(xí)的逐層調(diào)參過程Fig.2 Process of tuning parameters layer by layer for deep learing

(2)自頂向下的監(jiān)督學(xué)習(xí).深度學(xué)習(xí)的第一階段實(shí)質(zhì)上是一個網(wǎng)絡(luò)參數(shù)初始化過程.第二個階段是在第一階段學(xué)習(xí)獲得各層參數(shù)的基礎(chǔ)上,在最頂?shù)木幋a層添加一個分類器,然后通過帶標(biāo)簽數(shù)據(jù)進(jìn)行有監(jiān)督的學(xué)習(xí),并利用梯度下降法微調(diào)整個網(wǎng)絡(luò)參數(shù),即自頂向下重新調(diào)整所有層間的編碼器權(quán)重.

與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)初值隨機(jī)初始化不同,深度學(xué)習(xí)模型通過無監(jiān)督學(xué)習(xí)輸入數(shù)據(jù)的結(jié)構(gòu)得到,因而這個初值更接近全局最優(yōu),因而能夠取得更好的效果.典型的深度學(xué)習(xí)結(jié)構(gòu)有卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)、遞歸神經(jīng)網(wǎng)絡(luò)(recursive neural network RNN)和長短時記憶單元(long short-term memory,LSTM),其中卷積神經(jīng)網(wǎng)絡(luò)在圖像識別和目標(biāo)檢測領(lǐng)域中的應(yīng)用非常成功[10].

1.2 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)[11]是為識別二維形狀而設(shè)計(jì)的一個多層神經(jīng)網(wǎng)絡(luò),主要有5個特征.

(1)局部感知.在圖像的空間聯(lián)系中,距離較近的像素聯(lián)系較為緊密,而距離較遠(yuǎn)的像素相關(guān)性比較弱.因此,神經(jīng)元沒有必要對全局圖像進(jìn)行感知,而只需要感知相鄰的局部圖像,然后在更高層進(jìn)行全連接得到全局信息.

(2)權(quán)值共享.在局部連接中,每個神經(jīng)元與上一層的連接方式可以看作特征提取的方式,且該方式與位置無關(guān).因此,在某部分學(xué)習(xí)的方式可以用在該圖像所有位置上,實(shí)現(xiàn)權(quán)值共享,即利用同一個卷積核在圖像上做卷積,如圖3所示.權(quán)值共享和局部感知均可以使CNN模型參數(shù)的數(shù)量大幅減少.

(3)多卷積核.只用一個卷積核進(jìn)行特征提取是不充分的,可以通過增加卷積核的個數(shù)使網(wǎng)絡(luò)學(xué)習(xí)更多的特征,其中每個卷積核都會將圖像生成為另一幅圖像.

(4)池化.卷積之后得到的卷積特征向量較多,而在一個圖像區(qū)域有用的特征極有可能同樣適用于另一個區(qū)域.因此為了描述較大的圖像,可以對不同位置的特征進(jìn)行聚合統(tǒng)計(jì),既可以降低統(tǒng)計(jì)特征的維度,又不容易過擬合.池化分為平均池化和最大池化兩種方式.

(5)多個卷積層.一個卷積層學(xué)到的特征往往是局部的,層數(shù)越高學(xué)到的特征越全局化,因此,在實(shí)際應(yīng)用中通常采用在網(wǎng)絡(luò)中添加多個卷積層,然后再使用全連接層進(jìn)行訓(xùn)練的方法.

圖3 卷積神經(jīng)網(wǎng)絡(luò)中的卷積過程Fig.3 Convolution process of convolutional neural network

1.3 Caあe框架

快速特征嵌入卷積神經(jīng)網(wǎng)絡(luò)框架(convolutional architecture for fast feature embedding,Caあe)[12]由畢業(yè)于加州大學(xué)伯克利分校的賈揚(yáng)清博士開發(fā),具有快速、可擴(kuò)展、開放性等特征,是目前炙手可熱的一個深度學(xué)習(xí)工具.Caあe是純粹的C++/CUDA架構(gòu),支持命令行、Python和Matlab接口,可以在CPU和GPU之間無縫切換.本工作在進(jìn)行目標(biāo)匹配時直接通過Caあe的Python接口實(shí)現(xiàn).在Caあe中,層的定義由層屬性與層參數(shù)兩部分組成.層屬性包括層名稱、層類型以及層連接結(jié)構(gòu)(輸入和輸出).層參數(shù)的定義非常方便,可以隨意設(shè)置相應(yīng)參數(shù),例如調(diào)用GPU進(jìn)行計(jì)算時,只需要將solver mode直接設(shè)置成GPU.安裝Caあe前,需要先安裝Cuda,VS以及Opencv,Boost,Protobuf等第三方庫.

在Caあe中實(shí)現(xiàn)目標(biāo)匹配需要按以下步驟操作.

第1步 利用convert imageset命令調(diào)整圖片大小,并生成leveldb格式或lmdb格式訓(xùn)練文件.

第2步 根據(jù)模型要求選擇是否需要利用computeimage mean命令生成圖像的均值文件.

第3步 根據(jù)訓(xùn)練圖片個數(shù)和訓(xùn)練周期的要求,在solver和train val中調(diào)整訓(xùn)練參數(shù).

第4步 利用Caあe的train命令進(jìn)行訓(xùn)練,產(chǎn)生訓(xùn)練模型caあemodel文件.

第5步 利用Caあe的Python或者M(jìn)atlab接口實(shí)現(xiàn)目標(biāo)圖片的匹配,并給出目標(biāo)圖片與每一類圖片的相似度.

2 固定群體中的個體目標(biāo)匹配

本工作的研究對象限定于固定人物群體,首先將某個辦公室中的所有人物圖片進(jìn)行訓(xùn)練,產(chǎn)生訓(xùn)練模型,然后將群體中某個人物的圖片在模型中進(jìn)行匹配,并通過匹配結(jié)果得出該人物的身份,最后對多次匹配的結(jié)果進(jìn)行統(tǒng)計(jì),得出該人物的出現(xiàn)頻率.

2.1 固定群體中訓(xùn)練模型的產(chǎn)生

(1)采集固定群體視頻.本工作涉及的實(shí)驗(yàn)都是在固定單源攝像頭拍攝的情況下獲得的固定群體人物的視頻,在Python中調(diào)用OpenCV的VideoCapture函數(shù)獲取,并將實(shí)時視頻寫入文件.

(2)構(gòu)建訓(xùn)練圖片集.在視頻采集過程中,首先將第一幀圖像保存為關(guān)鍵圖片,然后以此為基準(zhǔn)依次計(jì)算新的視頻幀與關(guān)鍵圖片的幀間差,當(dāng)幀間差超過一定閾值后將當(dāng)前幀保存為下一個關(guān)鍵圖片.循環(huán)計(jì)算得到所有滿足與當(dāng)前關(guān)鍵圖片幀間差超過閾值的下一個關(guān)鍵圖片,直到視頻采集結(jié)束.

關(guān)鍵圖片的幀間差通過比較直方圖的相關(guān)性得到,其中直方圖利用OpenCV的calcHist函數(shù)得到.幀間差通過cv2.compareHist(hist1,hist2,cv2.cv.CVCOMP CORREL)實(shí)現(xiàn),其中第三個參數(shù)CVCOMP CORREL控制用直方圖的歸一化互相關(guān)方法計(jì)算幀間差,且有

圖4 固定群體中目標(biāo)人物的部分關(guān)鍵圖片F(xiàn)ig.4 Key Frames of individual object

(3)產(chǎn)生訓(xùn)練模型.CNN中典型的圖像分類模型有AlexNet,GoogleNet等.實(shí)驗(yàn)證明,在訓(xùn)練數(shù)據(jù)有限的情況下,利用GoogleNet模型訓(xùn)練得到的準(zhǔn)確率并不優(yōu)于AlexNet模型,并且當(dāng)卷積神經(jīng)網(wǎng)絡(luò)規(guī)模變大時,需要對網(wǎng)絡(luò)進(jìn)行壓縮以解決參數(shù)量大和計(jì)算復(fù)雜度高等問題[13].因此,本工作采用AlexNet模型產(chǎn)生訓(xùn)練模型.AlexNet模型有5個卷積層和3個全連接層,如圖5所示[14].

通過卷積(Conv)和池化(Pool)降低網(wǎng)絡(luò)參數(shù),并利用激活函數(shù)(ReLu)縮小無監(jiān)督學(xué)習(xí)和監(jiān)督學(xué)習(xí)之間的差距,不僅提高訓(xùn)練速度,也進(jìn)一步通過局部響應(yīng)標(biāo)準(zhǔn)化(local response normalization,LRN)和Dropout層提高了網(wǎng)絡(luò)的泛化能力.為了減少訓(xùn)練時間,本工作利用較少的訓(xùn)練圖片快速產(chǎn)生訓(xùn)練模型,同時在調(diào)參時將訓(xùn)練網(wǎng)絡(luò)的最大迭代次數(shù)由450 000降低到250 000,在保證訓(xùn)練質(zhì)量的情況下,縮短訓(xùn)練時長,并根據(jù)圖片數(shù)量和機(jī)器配置設(shè)置base lr,testiter和batchsize等參數(shù).

2.2 目標(biāo)分類

(1)選取驗(yàn)證圖片.驗(yàn)證圖片一部分從參與訓(xùn)練的監(jiān)控視頻截取圖片中選取驗(yàn)證圖片,另一部分從重新拍攝的監(jiān)控視頻中獲得,且在進(jìn)行驗(yàn)證前將圖片尺寸調(diào)整為256×256像素.

(2)目標(biāo)分類.利用Caあe提供的Python接口,調(diào)用classify.py將jpg格式的驗(yàn)證圖片在前期預(yù)訓(xùn)練產(chǎn)生的訓(xùn)練模型中進(jìn)行匹配,并給出該目標(biāo)匹配固定群體中每個目標(biāo)的相似度.

(3)行為統(tǒng)計(jì).目標(biāo)匹配后,根據(jù)需求可在較大的時間周期(以周或月為單位)內(nèi)給出個體目標(biāo)的行為統(tǒng)計(jì)報(bào)告,如每周出勤情況、非工作時間返回辦公室的次數(shù)及時間、單獨(dú)進(jìn)入機(jī)要室的次數(shù)及時間、黑名單人物進(jìn)入場景的報(bào)警等.

圖5 AlexNet模型結(jié)構(gòu)Fig.5 Architecture of AlexNet model

3 實(shí)驗(yàn)結(jié)果與分析

采用戴爾n5110筆記本電腦(內(nèi)存8 GB,主頻2.10 GHz)進(jìn)行視頻采集和圖片分類,在臺式機(jī)內(nèi)存4 GB,NVIDIA GTX 960顯卡,顯存4 GB上進(jìn)行訓(xùn)練,訓(xùn)練時間為30 h.圖片分類時間毫秒級別,而訓(xùn)練時間則主要依賴于顯卡顯存的容量.固定群體中個人目標(biāo)為4人,其中成人3人,幼兒1人,每個目標(biāo)訓(xùn)練圖片400張,測試圖片50張,驗(yàn)證圖片10張.

另外,本工作還構(gòu)建了其他兩種驗(yàn)證圖片集:同一環(huán)境不同拍攝角度下的目標(biāo)人物照片(圖片集2)和不同環(huán)境下不同季節(jié)的目標(biāo)人物照片(圖片集3),并將這兩種驗(yàn)證圖片集與第一種圖片集的準(zhǔn)確率進(jìn)行比較,結(jié)果如表1所示.

表1 目標(biāo)人物驗(yàn)證圖片集的準(zhǔn)確率Table 1 Accuracy of diあerent verif i ed image sets for individual object %

實(shí)驗(yàn)結(jié)果表明,利用卷積神經(jīng)網(wǎng)絡(luò)框架Caあe能夠?qū)崿F(xiàn)固定群體中的目標(biāo)人物分類.當(dāng)訓(xùn)練圖片和分類圖片由同一拍攝源得到時,成人的分類準(zhǔn)確率達(dá)到100%,而幼兒的準(zhǔn)確率僅為50%.究其原因可能有兩種:①攝像頭固定的情況下,幼兒目標(biāo)較小,占據(jù)圖片的比例較小,不能較好地參與訓(xùn)練;②幼兒受控性較差,在拍攝硬件條件不高的情況下,幼兒圖片質(zhì)量不高.為了提高幼兒圖片的分類準(zhǔn)確率,根據(jù)拍攝環(huán)境特點(diǎn),利用imcrop函數(shù)從圖片的左、上、右3個方向?qū)D片進(jìn)行裁剪,增大幼兒占整幅圖片的比例.經(jīng)過多次實(shí)驗(yàn)發(fā)現(xiàn),當(dāng)幼兒占圖片的比例達(dá)到20%以上時,準(zhǔn)確率可達(dá)到90%.綜上可以推斷,當(dāng)目標(biāo)人物占據(jù)圖片的比例增大時,準(zhǔn)確率將提高.由表1可知,通過擴(kuò)大訓(xùn)練圖片的數(shù)量或在訓(xùn)練圖片中添加更多環(huán)境下的目標(biāo)人物照片,將大幅提高圖片集2和圖片集3的準(zhǔn)確率.

本工作中的目標(biāo)人物分類方法在圖像預(yù)處理、分類時間周期兩方面與傳統(tǒng)的方法不同,具體如表2表示.

表2 兩種目標(biāo)人物分類方法的比較Table 2 Comparison of two kinds of classif i cation methods for individual object

4 結(jié)束語

深度學(xué)習(xí)在2006年之后得到了非常廣泛的應(yīng)用,包括谷歌、百度、臉書等大型技術(shù)公司都成立了相應(yīng)的研發(fā)部門,力求在深度學(xué)習(xí)領(lǐng)域提高自身的技術(shù)性能,并將其應(yīng)用到實(shí)際工作中.特別是在2015年ImageNet計(jì)算機(jī)識別挑戰(zhàn)賽(ImageNet large scale visual recognition competition,ILSVRC)期間,微軟亞洲研究院視覺計(jì)算組[15]將對象識別分類錯誤率降低至3.570%,超越了人眼辨識的錯誤率5.100%,而在ILSVRC 2016期間,對象識別分類錯誤率又被刷新到2.991%.這預(yù)示著深度學(xué)習(xí)已從理論成熟走向?qū)嵺`成熟,未來幾年將會大放異彩.

[1]明安龍,馬華東,傅慧源.多攝像機(jī)監(jiān)控中基于貝葉斯因果網(wǎng)的人物角色識別[J].計(jì)算機(jī)學(xué)報(bào),2010,33(12):2378-2386.

[2]寧波,宋硯.基于無監(jiān)督方法的視頻中的人物識別[J].計(jì)算機(jī)與現(xiàn)代化,2014(12):49-53.

[3]ZHONG Y,SULLIVAN J,LI H B.Face attribute prediction with classif i cation CNN[EB/OL].(2016-02-04)[2017-09-01].https://arxiv.org/abs/1602.01827v2.

[4]尹萍,趙亞麗.視頻監(jiān)控中人臉識別現(xiàn)狀與關(guān)鍵技術(shù)課題[J].警察技術(shù),2016(3):77-80.

[5]聞新,李新,張興旺.應(yīng)用MATLAB實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)[M].北京:國防工業(yè)出版社,2015.

[6]HINTON G E,SALAkHUTDINOV R R.Reducing the dimensionality of data with neural networks[J].Science,2006,313(5786):504-507.

[7]BENGIO Y,LAMBLIN P,POPOVICI D,et al.Training of deep networks[M].Massachusetts:MIT Press,2007:153-160.

[8]RANZATO M A,POULTNEY C,CHOPRA S,et al.Eきcient learning of sparse representations with an energy-based model[C]//Advances in Neural Information Processing Systems.2006.

[9]KRIZHEVSkY A,SUTSkEVER I,HINTON G E.ImageNet classif i cation with deep convolutional neural networks[C]//Advances in Neural Information Processing Systems.2012.

[10]LI D,DONG Y.Deep learning:methods and applications[M].Boston:Now Publishers,2014.

[11]LECUN Y,BENGIO Y,HINTON G.Deep learning[J].Nature,2015,521(7553):436-444.

[12]Caあe[EB/OL].(2017-08-30)[2017-10-10].http://caあe.berkeleyvision.org.

[13]LIN S H,JI R R,GUO X W,et al.Towards convolutional neural networks compressing via global error reconstruction[C]//Preceedings of the 25thInternational Joint Conference on Artif i cial Intelligence.2016.

[14]KRIZHEVSkY A,SUTSkEVER I,HINTON G E.Imagenet classif i cation with deep convolutional neural networks[C]//Proceedings of the 25thInternational Conference on Neural Information Processing Systems.2012.

[15]HE K,ZHANG X,REN S,et al.Deep residual learning for image recognition[EB/OL].(2015-12-10)[2017-09-21].https://arxiv.org/abs/1512.03385.