定點(diǎn)視頻監(jiān)控系統(tǒng)中行人檢測平臺設(shè)計與實(shí)現(xiàn)

楊 姝, 于 闖, 蔣 寧

(1. 沈陽師范大學(xué) 教育技術(shù)學(xué)院, 沈陽 110034; 2. 沈陽師范大學(xué) 計算機(jī)與數(shù)學(xué)基礎(chǔ)教學(xué)部, 沈陽 110034; 3. 沈陽航空航天大學(xué) 計算機(jī)學(xué)院, 沈陽 110136)

0 引 言

定點(diǎn)視頻監(jiān)控是視頻監(jiān)控系統(tǒng)的一種主要應(yīng)用模式,在人們的日常生活中發(fā)揮著越來越大的作用[1]。在定點(diǎn)視頻監(jiān)控系統(tǒng)中,對運(yùn)動行人進(jìn)行自動檢測與識別,有著非常重要的意義。由于監(jiān)控視頻中的遠(yuǎn)景區(qū)域運(yùn)動行人目標(biāo)相對過小,所以對監(jiān)控視頻遠(yuǎn)景區(qū)域中的運(yùn)動行人的檢測在實(shí)際應(yīng)用場景中存在漏檢和誤檢的問題。解決這個問題的一種方法是設(shè)置輔助變焦攝像頭,使得遠(yuǎn)景區(qū)域中監(jiān)控視頻的圖像分辨率得到提高[2]。本文基于運(yùn)動特征的目標(biāo)檢測算法和卷積神經(jīng)網(wǎng)絡(luò)模型,設(shè)計并開發(fā)了配置輔助變焦攝像頭的定點(diǎn)視頻監(jiān)控系統(tǒng)行人檢測平臺,實(shí)現(xiàn)了對運(yùn)動行人的有效自動檢測[3-6]。首先,對行人檢測平臺進(jìn)行模塊化設(shè)計,設(shè)計出主要功能模塊;其次,設(shè)計并完成行人檢測平臺各組成功能模塊,在運(yùn)動目標(biāo)檢測模塊中配置并使用輔助變焦攝像頭,完成遠(yuǎn)景區(qū)域數(shù)據(jù)處理。將主監(jiān)控畫面平均分割為4等份,其中左上與右上2部分定義為遠(yuǎn)景區(qū)域,實(shí)驗測試對象選取為右上區(qū)域;最后,根據(jù)搭建出的行人檢測平臺進(jìn)行行人檢測,統(tǒng)計分析實(shí)驗數(shù)據(jù)。實(shí)驗結(jié)果表明,本文設(shè)計的平臺有效地提高了對行人檢測的準(zhǔn)確率,可以滿足實(shí)際應(yīng)用需求。

1 定點(diǎn)視頻監(jiān)控系統(tǒng)中運(yùn)動行人檢測平臺的模塊設(shè)計

本文的主要目標(biāo)是實(shí)現(xiàn)對定點(diǎn)視頻監(jiān)控中的運(yùn)動行人檢測,因此,可將行人檢測平臺分為3個功能模塊,即運(yùn)動目標(biāo)檢測模塊、行人分類模塊和數(shù)據(jù)分析模塊。其中,運(yùn)動目標(biāo)檢測模塊主要完成運(yùn)動目標(biāo)的提取;行人分類模塊主要對提取出的運(yùn)動目標(biāo)進(jìn)行分類,即提取出運(yùn)動行人和非運(yùn)動行人2類;數(shù)據(jù)分析模塊主要完成數(shù)據(jù)的記錄、對比與分析,從而得出實(shí)驗結(jié)果。運(yùn)動行人檢測平臺的功能模塊的設(shè)計如圖1所示,運(yùn)行過程如圖2所示。

圖1 平臺功能模塊設(shè)計Fig.1 Functional module design of the platform

圖2 平臺運(yùn)行過程Fig.2 Operation process of the platform

運(yùn)動目標(biāo)檢測模塊分為運(yùn)動目標(biāo)檢測、目標(biāo)分割和目標(biāo)保存3個子模塊。首先,將定點(diǎn)視頻監(jiān)控中錄制的視頻文件輸入到運(yùn)動目標(biāo)檢測子模塊中,為有效避免重復(fù)數(shù)據(jù)對統(tǒng)計結(jié)果的影響,按照每間隔15 s的速度提取1幀監(jiān)控畫面,并作標(biāo)記幀序號處理;通過高斯背景建模算法對幀中的運(yùn)動目標(biāo)進(jìn)行檢測和提取,并作圖像二值化處理;其次,在目標(biāo)分割子模塊中,對目標(biāo)幀中所檢測到的運(yùn)動目標(biāo)進(jìn)行分割,得到二值化處理后的運(yùn)動目標(biāo)檢測結(jié)果,確定出這些運(yùn)動目標(biāo)的坐標(biāo)、寬度、高度以及解決噪聲、影子等因素對目標(biāo)分割的影響,如頭腳斷裂、陰影干擾等問題;最后,在目標(biāo)保存子模塊中,保存已分割好的各運(yùn)動目標(biāo)圖片,這些圖片數(shù)據(jù)作為該子模塊的數(shù)據(jù)輸出。

行人分類模塊的主要功能是完成對運(yùn)動目標(biāo)檢測模塊中得到的運(yùn)動目標(biāo)進(jìn)行分類,即從提取出的運(yùn)動目標(biāo)中檢測出運(yùn)動行人,然后為數(shù)據(jù)分析模塊提供接口調(diào)用。該子模塊由卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練與生成和卷積神經(jīng)網(wǎng)絡(luò)模型接口調(diào)用2個子模塊構(gòu)成。首先對卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,然后使用接口調(diào)用卷積神經(jīng)網(wǎng)絡(luò)對分割好的圖片進(jìn)行分類。該模塊的輸入為已分割好的運(yùn)動目標(biāo)圖片,輸出為各已分割目標(biāo)圖片的分類結(jié)果。

數(shù)據(jù)分析模塊主要完成平臺中相關(guān)數(shù)據(jù)的記錄、對比與分析。記錄的數(shù)據(jù)包括主攝像頭與輔助攝像頭2種情況下分別錄制的視頻文件對應(yīng)的批次序號、分割出的文件名稱、分類結(jié)果、分類概率值、結(jié)果核對值等原始數(shù)據(jù)。根據(jù)這些原始數(shù)據(jù)進(jìn)行統(tǒng)計分析,得出實(shí)驗結(jié)果。數(shù)據(jù)分析模塊的輸入為行人分類模塊輸出的相關(guān)分類數(shù)據(jù),輸出為數(shù)據(jù)分析匯總表。

2 定點(diǎn)視頻監(jiān)控系統(tǒng)中行人檢測平臺各模塊的設(shè)計與實(shí)現(xiàn)

2.1 運(yùn)動目標(biāo)檢測模塊

2.1.1 運(yùn)動目標(biāo)檢測模塊的算法設(shè)計

在運(yùn)動目標(biāo)檢測模塊中,主要需要完成的任務(wù)是對視頻文件中的運(yùn)動目標(biāo)進(jìn)行檢測并提取,最后生成各運(yùn)動目標(biāo)圖片。模塊的運(yùn)動目標(biāo)檢測、提取與保存關(guān)鍵算法設(shè)計如圖3和圖4所示。

圖3 運(yùn)動目標(biāo)檢測模塊的算法Fig.3 Algorithm of moving target detection module

圖4 目標(biāo)提取與保存函數(shù)算法Fig.4 Object extraction and preservation function algorithm

通過高斯背景建模算法對運(yùn)動目標(biāo)進(jìn)行檢測,然后進(jìn)行前景二值化、去陰影、膨脹處理,再調(diào)用頭腳斷裂問題處理、陰影處理、圖片標(biāo)記、保存處理、結(jié)果顯示等函數(shù)[7-10],檢測效果如圖5所示。

(a) 主攝像頭遠(yuǎn)景區(qū)域檢測結(jié)果; (b) 輔助攝像頭檢測結(jié)果圖5 檢測效果Fig.5 Detection result

2.1.2 運(yùn)動目標(biāo)檢測模塊運(yùn)行環(huán)境的搭建

為了實(shí)現(xiàn)運(yùn)動目標(biāo)檢測模塊的功能,主要應(yīng)用到的操作系統(tǒng)和軟件開發(fā)工具等如表1所示。

表1 運(yùn)動目標(biāo)檢測模塊的開發(fā)運(yùn)行環(huán)境

2.1.3 運(yùn)動目標(biāo)檢測算法的實(shí)現(xiàn)

根據(jù)算法設(shè)計流程圖,逐步完成各功能函數(shù)的測試應(yīng)用,確定相關(guān)參數(shù)設(shè)置,最后輸出各運(yùn)動目標(biāo)所對應(yīng)的圖像文件,實(shí)現(xiàn)運(yùn)動目標(biāo)檢測模塊的功能。在輸入的監(jiān)控視頻中通過調(diào)用各功能函數(shù),進(jìn)行運(yùn)動目標(biāo)的提取。在運(yùn)動目標(biāo)檢測過程中,主要涉及到的實(shí)際問題有畫面噪聲的影響、行人影子的影響等。

2.2 行人分類模塊

2.2.1 行人分類模塊的算法設(shè)計

圖6 行人分類過程Fig.6 Pedestrian classification process

2.2.2 行人分類模塊運(yùn)行環(huán)境的搭建

在此模塊中,主要完成卷積神經(jīng)網(wǎng)絡(luò)的構(gòu)造、訓(xùn)練和調(diào)用,同時采用可視化的形式管理數(shù)據(jù)和顯示結(jié)果,選擇的操作系統(tǒng)、軟件及工具包等如表2所示。

表2 行人分類模塊的運(yùn)行環(huán)境Table 2 Operating environment of pedestrian classification module

2.2.3 行人分類模塊的實(shí)現(xiàn)

1) caffe框架的運(yùn)行環(huán)境測試

運(yùn)行環(huán)境搭建好后,先對環(huán)境進(jìn)行功能測試。選擇經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)模型LeNet,測試數(shù)據(jù)集采用MNIST,測試模型的識別準(zhǔn)確率為98.99%,符合實(shí)驗要求,caffe框架運(yùn)行環(huán)境配置正確[11-12]。

2) 行人數(shù)據(jù)集的建立

利用運(yùn)動目標(biāo)檢測模塊中所提取的運(yùn)動行人樣本圖片,建立行人數(shù)據(jù)集,作為網(wǎng)絡(luò)訓(xùn)練的數(shù)據(jù)源。經(jīng)過人工篩選建立的數(shù)據(jù)集行人正樣本1 451個,負(fù)樣本1 085個。建立數(shù)據(jù)集正負(fù)樣本的工作區(qū)和數(shù)據(jù)集的標(biāo)簽文件,標(biāo)簽與分類序號的對應(yīng)關(guān)系如表3所示,數(shù)據(jù)集的名稱設(shè)置為person_2。

表3 分類序號與標(biāo)簽Table 3 Classification number and label

3) 卷積神經(jīng)網(wǎng)絡(luò)的構(gòu)建和訓(xùn)練

采用13層的AlexNet卷積神經(jīng)網(wǎng)絡(luò),用所建立出的數(shù)據(jù)集進(jìn)行網(wǎng)絡(luò)訓(xùn)練[13]。訓(xùn)練初期設(shè)定一個較大的學(xué)習(xí)率0.01,訓(xùn)練一段時間后,網(wǎng)絡(luò)跳出局部最小值,然后逐步調(diào)小學(xué)習(xí)率,直到達(dá)到0.001,使得網(wǎng)絡(luò)參數(shù)得到優(yōu)化調(diào)整。訓(xùn)練精確度達(dá)到95.16%時,網(wǎng)絡(luò)分類效果較好。

4) 卷積神經(jīng)網(wǎng)絡(luò)接口調(diào)用

卷積神經(jīng)網(wǎng)絡(luò)經(jīng)過行人數(shù)據(jù)集對其訓(xùn)練,得到分類效果良好的網(wǎng)絡(luò)模型參數(shù)。使用Python對網(wǎng)絡(luò)模型接口調(diào)用,并將分類結(jié)果數(shù)據(jù)送入數(shù)據(jù)分析模塊[14]。

2.3 數(shù)據(jù)分析模塊

2.3.1 數(shù)據(jù)分析模塊的算法設(shè)計

表4 基礎(chǔ)信息表Table 4 Basic information table

表5 結(jié)果統(tǒng)計表Table 5 Results table

上述行人分類模塊對目標(biāo)進(jìn)行分類時,由于目標(biāo)分類數(shù)據(jù)數(shù)量較多,且需要統(tǒng)計每一目標(biāo)的文件名、分類結(jié)果、屬于行人的概率值、不屬于行人的概率值及目標(biāo)檢測所屬監(jiān)控視頻文件的批次序號等多項數(shù)據(jù)值,數(shù)據(jù)分析模塊采用數(shù)據(jù)庫進(jìn)行相關(guān)數(shù)據(jù)的存儲與統(tǒng)計分析,使用MYSQL數(shù)據(jù)庫建立基本信息表和結(jié)果統(tǒng)計分析表[15]。設(shè)計records表用于存儲基礎(chǔ)數(shù)據(jù)信息,結(jié)構(gòu)如表4所示,結(jié)果分析表結(jié)構(gòu)如表5所示。

2.3.2 數(shù)據(jù)統(tǒng)計分析的實(shí)現(xiàn)

使用可視化數(shù)據(jù)庫工具執(zhí)行數(shù)據(jù)統(tǒng)計計算命令,對records表中的基礎(chǔ)實(shí)驗數(shù)據(jù)進(jìn)行統(tǒng)計分析,并將實(shí)驗結(jié)果數(shù)據(jù)保存到results表中。

3 結(jié) 論

在行人檢測平臺中,采用輔助變焦攝像頭對遠(yuǎn)景區(qū)域內(nèi)行人檢測的方法,有效地降低了遠(yuǎn)景區(qū)域中行人的檢測誤差,使得整個行人檢測平臺的行人檢測準(zhǔn)確率得到提高,行人目標(biāo)在運(yùn)動目標(biāo)檢測模塊中的相對檢出率提高到了95.29%。在輔助攝像頭中檢測到的運(yùn)動目標(biāo)解析度也得到提高,有利于后續(xù)目標(biāo)的分類和分析處理。在行人分類模塊中,遠(yuǎn)景區(qū)域行人分類準(zhǔn)確率由80.43%提升至92.61%,行人分類準(zhǔn)確率與分類平均概率所提高的相對比率分別為15.14%和3.75%,取得了較好的檢測效果。