基于視頻圖像處理的人員在崗檢測(cè)技術(shù)

李 釗，王元紅

（山東科技大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，山東 青島 266510）

0 引言

近年來，隨著監(jiān)視電子設(shè)備在各個(gè)領(lǐng)域的不斷普及，需要對(duì)大量監(jiān)視視頻和圖像進(jìn)行有效處理。同時(shí)，社會(huì)上的公司（例如銀行，證券交易所等）和營(yíng)業(yè)所需要確保員工因業(yè)務(wù)需要而到達(dá)的比率。為了便于對(duì)員工準(zhǔn)時(shí)到達(dá)或隨意離值的監(jiān)控，有必要在監(jiān)控的幫助下實(shí)時(shí)了解，以便對(duì)員工的出勤情況進(jìn)行準(zhǔn)確的評(píng)估[1]。除此之外，在一些場(chǎng)景中常常由于人員的擅自離崗，視頻監(jiān)控區(qū)域發(fā)生事故沒有及時(shí)發(fā)現(xiàn)，導(dǎo)致不能及時(shí)有效的處理問題，造成較大損失或安全問題，因此，對(duì)于這些場(chǎng)景需要對(duì)人員在崗情況進(jìn)行實(shí)時(shí)的監(jiān)控，以避免因人員非法離崗而存在安全漏洞[2]。

現(xiàn)有的查崗，包括人工查崗、指紋查崗、RFID查崗和智能監(jiān)控查崗等，但因這些脫崗查崗的方法都有不同程度的局限性，存在很多問題。

在以往的監(jiān)測(cè)方法中大多采用員工觀看攝像頭以完成檢測(cè)，但是這種監(jiān)測(cè)方法效率太低、也無法在準(zhǔn)確度上到達(dá)一定水平，當(dāng)缺崗、換班或值班出現(xiàn)瞌睡時(shí)，漏檢、誤報(bào)等現(xiàn)象就會(huì)發(fā)生，則需要再打開監(jiān)控錄像確認(rèn)情況，并且在攝像頭過多、監(jiān)控畫面復(fù)雜，當(dāng)出現(xiàn)監(jiān)察人數(shù)無法滿足需求的的情況時(shí)，滿意保證能夠?qū)θ繊徫簧系囊曨l數(shù)據(jù)有效的監(jiān)測(cè)。另外他不能給出實(shí)時(shí)警告并完全避免在職員離崗的情況；指紋和 RFID技術(shù)雖然先進(jìn)可靠，但是投入成本過高，效率也達(dá)不到應(yīng)有的效果。智能監(jiān)控查崗的方法，即在計(jì)算機(jī)視覺領(lǐng)域，通過位置檢測(cè)、目標(biāo)檢測(cè)和圖像區(qū)域的面積變化對(duì)人員在崗情況進(jìn)行監(jiān)測(cè)，但是諸多情況下，背景建模和前景目標(biāo)檢測(cè)的實(shí)時(shí)性和準(zhǔn)確性無法達(dá)到要求，圖像區(qū)域受外部環(huán)境影響，導(dǎo)致面積發(fā)生變化，造成監(jiān)測(cè)的準(zhǔn)確率不高。因此，迫切需要一種能夠準(zhǔn)確并及時(shí)判別監(jiān)控中人員在崗情況的技術(shù)。

1 在崗檢測(cè)技術(shù)

1.1 在崗檢測(cè)技術(shù)簡(jiǎn)介

在崗檢測(cè)是指在監(jiān)控錄像中監(jiān)控值班人員[3]。視頻分析在現(xiàn)代安全領(lǐng)域中起著重要作用，并被廣泛使用。隨著行為檢測(cè)算法技術(shù)的不斷進(jìn)步，在崗監(jiān)測(cè)技術(shù)可以完全通過計(jì)算機(jī)代替人員進(jìn)行實(shí)時(shí)監(jiān)控。當(dāng)計(jì)算機(jī)在監(jiān)控中識(shí)別出在職人員的異常情況，或值班室中沒有值班人員時(shí)，計(jì)算機(jī)將直接發(fā)出警報(bào)，與傳統(tǒng)的人工檢測(cè)相比，具有明顯的優(yōu)勢(shì)，與指紋檢測(cè)和RFID檢測(cè)相比，可以做到24小時(shí)實(shí)時(shí)監(jiān)測(cè)，操作簡(jiǎn)單，實(shí)施成本低。 目前，它已被廣泛應(yīng)用于銀行，證券交易所，營(yíng)業(yè)廳等許多領(lǐng)域。

1.2 目前在崗檢測(cè)技術(shù)分析

在崗檢測(cè)的核心技術(shù)就是行為檢測(cè)，國(guó)內(nèi)外皆有研究。例如，文獻(xiàn)[4]提出了一種基于關(guān)節(jié)點(diǎn)信息的人體行為識(shí)別的新方法，采用Kinect技術(shù)提取人體關(guān)節(jié)點(diǎn)坐標(biāo)，以此構(gòu)造3維空間向量，然后通過計(jì)算結(jié)構(gòu)向量之間的角度和向量模的比值來分析人體姿態(tài)，同時(shí)以階段時(shí)間的連續(xù)的姿態(tài)序列作為行為表示特征量，最終判別測(cè)試行為模板和參考行為模板的相似情況，完成行為識(shí)別。文獻(xiàn)[5]提出了一種基于時(shí)間段網(wǎng)絡(luò)的深度行為識(shí)別算法，它結(jié)合了稀疏時(shí)間采樣策略和視頻等級(jí)監(jiān)督方法，可以對(duì)整體的動(dòng)作視頻有效快捷的學(xué)習(xí)。文獻(xiàn)[6]提出了一種基于魯棒且有效的視頻表示的動(dòng)作識(shí)別方法，利用顯式相機(jī)運(yùn)動(dòng)估計(jì)進(jìn)行改善流行密集軌跡特征，使用 SURF（Speeded up robust features）描述符[7]和密集光流提取幀之間的特征點(diǎn)進(jìn)行匹配。

文獻(xiàn)[8]設(shè)計(jì)實(shí)現(xiàn)了一個(gè)嵌入式系統(tǒng)下的行為檢測(cè)系統(tǒng)，因采用的硬件平臺(tái)性能受限，僅僅使用硬件要求較低的的傳統(tǒng)檢測(cè)方法，在崗檢測(cè)系統(tǒng)通過定位人的頭部區(qū)域進(jìn)行檢測(cè)，從人臉特征點(diǎn)（Facial landmarks）檢測(cè)入手，通過人臉的特征點(diǎn)分析人員的具體行為。除此之外，現(xiàn)在也可使用一些公開檢測(cè)算法，例如Dlib庫(kù)的人臉特征點(diǎn)檢測(cè)[9-10]、Seeta Face人臉特征點(diǎn)檢測(cè)[11-12]，以及劍橋大學(xué)的CLM-framework人臉跟蹤器[13]等。

2 算法總體框架

該算法的應(yīng)用場(chǎng)景可以是值班室或辦公區(qū)域里，由攝像頭對(duì)進(jìn)出值班室或辦公區(qū)域的人員進(jìn)行攝像記錄，再將得到的數(shù)據(jù)流傳到計(jì)算機(jī)端，由計(jì)算機(jī)端進(jìn)行處理并對(duì)值班室或辦公區(qū)域的人員在崗情況進(jìn)行相應(yīng)判斷，圖1實(shí)物模擬圖為實(shí)物模擬圖。

圖1 實(shí)物模擬圖Fig.1 Physical simulation diagram

計(jì)算機(jī)端的處理流程包括調(diào)用攝像頭拍攝圖像、圖像預(yù)處理、行人目標(biāo)檢測(cè)、行人目標(biāo)跟蹤及人數(shù)統(tǒng)計(jì)等多個(gè)部分。本文算法的總體框圖如圖 2算法總體框圖所示。

圖2 算法總體框圖Fig.2 General block diagram of the algorithm

3 實(shí)驗(yàn)過程及結(jié)果分析

3.1 平臺(tái)選用

本文采取的是用OpenCV的工作平臺(tái)來進(jìn)行算法的設(shè)計(jì)，OpenCV[14-16]是在1999年由英特爾公司開發(fā)實(shí)現(xiàn)的一個(gè)開源的計(jì)算機(jī)視覺庫(kù)，它能夠?qū)崿F(xiàn)視覺和圖像處理方面的很多算法，并且它為圖像處理、模式識(shí)別、三維重建、物體跟蹤、機(jī)器學(xué)習(xí)和線性代數(shù)提供了各種各樣的算法[17]。OpenCV具有以下幾個(gè)特點(diǎn)：

（1）OpenCV采用 C/C++語言編寫，使得用戶能夠快速的獲取所需要的函數(shù)，幾乎支 持所有的圖片格式而且可以運(yùn)行在多種主流操作系統(tǒng)，比如說Linux/Windows/Mac等。

（2）OpenCV作為一個(gè)開源庫(kù)可以與很多其他的開發(fā)平臺(tái)相兼容，比如說Python、Ruby、MATLAB等均可以與OpenCV相結(jié)合來實(shí)現(xiàn)對(duì)圖像的處理。

（3）它采用優(yōu)化的C代碼編寫，能夠充分利用多核處理器的優(yōu)勢(shì)。

（4）具有良好的可移植性。

3.2 實(shí)驗(yàn)過程

3.2.1 圖像預(yù)處理

圖像預(yù)處理是所有視頻圖像后續(xù)工作的基礎(chǔ)。由于光照、陰影等多個(gè)不穩(wěn)定因素的影響，采用攝像頭拍攝的視頻序列總會(huì)有噪聲的存在，而可以運(yùn)用圖像的預(yù)處理技術(shù)抑制噪聲。

圖像預(yù)處理就是先讀取攝像頭所傳遞的的每一幀圖像，進(jìn)而將圖像灰度化，濾波處理得到的灰度圖像。圖像預(yù)處理是進(jìn)行過濾圖像的邊緣信息，更易于檢測(cè)每個(gè)圖像，這也被稱為圖像的濾波。圖像濾波的主要作用是除去光照等與檢測(cè)不相關(guān)的信息，在圖像預(yù)處理中非常重要。目前有很多濾波方法，下面主要介紹本文中所使用的高斯濾波方法，Python中OpenCV主要調(diào)用GaussianBlur函數(shù)，如下：

dst = cv2.GaussianBlur(src, ksize, sigmaX)

其中，dst表示濾波后的圖像，src表示原始圖像，ksize表示核大小，sigmaX表示X方向方差。

本算法的實(shí)現(xiàn)所用到的圖像預(yù)處理操作主要是引入Background Subtractor的KNN背景分割器進(jìn)行背景分割，通過KNN算法從視頻流中分離出運(yùn)動(dòng)的物體前景；然后對(duì)分離出的運(yùn)動(dòng)物體前景，根據(jù)人員在監(jiān)控視頻中的具體位置劃定一個(gè)ROI區(qū)域作為人員在崗情況檢測(cè)的檢測(cè)區(qū)域，并對(duì)其進(jìn)行單閾值OTSU（Nobuyuki Otsu, 大津法）二值化處理、形態(tài)學(xué)處理，實(shí)時(shí)檢測(cè)動(dòng)態(tài)前景。單閾值OTSU二值化處理的計(jì)算方式如下：

設(shè)一幅圖像的像素點(diǎn)數(shù)為N，它有L個(gè)灰度級(jí)(0,1,,1) L-…，灰度級(jí)為i的像素點(diǎn)數(shù)為in，那么直方圖表示為概率密度分布：

假設(shè)閾值t將圖像分成兩類 C0和 C1（物體和背景），即C0和C1分別對(duì)應(yīng)具有灰度級(jí){0,1,…,t}和的像素。設(shè)σ2B( t)表示直方圖中閾值為 t時(shí)的類間方差，那么最優(yōu)閾值可以通過求σ2B ( t)的最大值而得到，即：

3.2.2 行人目標(biāo)檢測(cè)

行人目標(biāo)檢測(cè)部分主要分為兩個(gè)階段：

第一階段采用BING方法，運(yùn)用分類器一生成候選區(qū)域，其中分類器一由NG特征和SVM訓(xùn)練得到；第二階段是在候選區(qū)域中，運(yùn)用分類器二來分類并定位行人，從而完成行人目標(biāo)檢測(cè)，其中分類器二由俯視行人頭部HOG特征和SVM訓(xùn)練得到。

3.2.3 行人目標(biāo)跟蹤

行人目標(biāo)跟蹤部分分為兩個(gè)階段：行人運(yùn)動(dòng)軌跡跟蹤和數(shù)據(jù)關(guān)聯(lián)。

行人運(yùn)動(dòng)軌跡跟蹤就是在監(jiān)控區(qū)域內(nèi)對(duì)行人檢測(cè)的結(jié)果進(jìn)行跟蹤，即對(duì)第k幀已存在的行人軌跡進(jìn)行跟蹤，得到它們?cè)诘趉+g幀（g≥1）的跟蹤結(jié)果；然后運(yùn)用數(shù)據(jù)關(guān)聯(lián)算法，對(duì)已存在的行人軌跡的跟蹤結(jié)果和當(dāng)前幀的行人檢測(cè)結(jié)果進(jìn)行數(shù)據(jù)關(guān)聯(lián)，從而確定當(dāng)前幀的行人軌跡。

此處的數(shù)據(jù)關(guān)聯(lián)算法即是根據(jù)視頻開始處的檢測(cè)結(jié)果建立初始行人軌跡。由于任意時(shí)刻都可能有行人進(jìn)出監(jiān)控區(qū)域，需要對(duì)已存在的行人軌跡和當(dāng)前幀的檢測(cè)結(jié)果進(jìn)行數(shù)據(jù)關(guān)聯(lián)，判斷是否有行人進(jìn)出監(jiān)控區(qū)域；為進(jìn)入的行人建立軌跡，并將走出的行人對(duì)應(yīng)的軌跡刪除。將當(dāng)前幀中一個(gè)假設(shè)的行人軌跡，用一組｛DK,TL｝進(jìn)行組合（或關(guān)聯(lián)）。其中DK為當(dāng)前幀的檢測(cè)結(jié)果，TL已存在的行人軌跡在當(dāng)前幀的跟蹤結(jié)果。

根據(jù)空間最近鄰原則，采用歐式距離對(duì)DK與TL進(jìn)行數(shù)據(jù)關(guān)聯(lián)，DK與TL的歐式距離為：其中：kx和ky、lx和ly分別表示KD和LT的窗口中心坐標(biāo)。

據(jù)行人在監(jiān)控區(qū)域中的實(shí)際運(yùn)動(dòng)速度，設(shè)定一個(gè)距離閾值eT，當(dāng)edT＞時(shí)判定當(dāng)前行人運(yùn)動(dòng)軌跡不成立，重新建立一條新的運(yùn)動(dòng)軌跡，結(jié)束當(dāng)前的目標(biāo)跟蹤；反之，認(rèn)為當(dāng)前行人運(yùn)動(dòng)軌跡成立，則繼續(xù)認(rèn)為連續(xù)兩幀中的運(yùn)動(dòng)行人為同一人，繼續(xù)行人目標(biāo)跟蹤。

3.2.4 人員在崗情況檢測(cè)

進(jìn)行人員在崗情況檢測(cè)，首先對(duì)值班室或者辦公區(qū)域的人員進(jìn)行計(jì)數(shù)，分別判斷出進(jìn)入、離開值班室或者辦公區(qū)域的人員數(shù)目，然后進(jìn)行一個(gè)差值計(jì)算，只要進(jìn)入的人員數(shù)目大于離開的人員數(shù)目路，或者說只要進(jìn)入、離開的數(shù)目不相等，則判定人員在崗，反之認(rèn)為人員不在崗，并進(jìn)行報(bào)警。

期指其中計(jì)數(shù)部分采用虛擬線設(shè)置技術(shù)，在監(jiān)控區(qū)域內(nèi)合理設(shè)置虛擬計(jì)數(shù)線，通過分析行人軌跡是否越過虛擬計(jì)數(shù)線，來對(duì)行人進(jìn)行計(jì)數(shù)。由于行人在監(jiān)控區(qū)域內(nèi)行為的隨意性，如果采用單虛擬線計(jì)數(shù)，則無法對(duì)行人的運(yùn)動(dòng)方向、行人在監(jiān)控區(qū)域內(nèi)滯留等情況進(jìn)行準(zhǔn)確判斷，因此，本文提出采用雙虛擬線計(jì)數(shù)方法，虛擬線設(shè)置如圖3雙虛擬計(jì)數(shù)線示意圖所示。

圖3 雙虛擬計(jì)數(shù)線示意圖Fig.3 Schematic diagram of double virtual counting lines

本文規(guī)定當(dāng)值班室或者辦公區(qū)域的人員運(yùn)動(dòng)軌跡依次越過計(jì)數(shù)線A、B，則對(duì)人員進(jìn)行“進(jìn)入”人數(shù)統(tǒng)計(jì)；當(dāng)值班室或者辦公區(qū)域的人員運(yùn)動(dòng)軌跡依次越過計(jì)數(shù)線B、A，則對(duì)人員進(jìn)行“離開”人數(shù)統(tǒng)計(jì)；當(dāng)值班室或者辦公區(qū)域的人員運(yùn)動(dòng)軌跡出現(xiàn)在監(jiān)控區(qū)域，卻連續(xù)多幀未跨過兩條計(jì)數(shù)線，則不做相應(yīng)處理。

3.3 實(shí)驗(yàn)結(jié)果

本文設(shè)計(jì)的在崗檢測(cè)算法，對(duì)通過對(duì)攝像頭拍攝的圖像中的行人分別檢測(cè)以及跟蹤，完成進(jìn)入、離開值班室或者辦公區(qū)域的人員數(shù)目的統(tǒng)計(jì)計(jì)數(shù)，對(duì)這兩個(gè)數(shù)據(jù)作差即為值班室或者辦公區(qū)域的人員在崗數(shù)目，進(jìn)而判斷其人員在崗情況。

通過實(shí)驗(yàn)仿真，采用某間宿舍作為模擬值班室或者辦公區(qū)域的場(chǎng)所，得到其中某一幀的截圖結(jié)果，如圖4實(shí)驗(yàn)結(jié)果圖所示。

圖4 實(shí)驗(yàn)結(jié)果圖Fig.4 Experimental results

經(jīng)過一段時(shí)間的監(jiān)測(cè)結(jié)果如表1所示。由此可以判斷，通過本文的在崗檢測(cè)方法得到的結(jié)果與實(shí)際的情況相差不大，能夠很好地代替工作人員的職責(zé)。

表1 檢測(cè)情況Tab.1 Test situation

4 總結(jié)

在一些特定場(chǎng)景及時(shí)發(fā)現(xiàn)人員擅自離崗情況，既可以監(jiān)督員工的工作狀況，更可以及時(shí)發(fā)現(xiàn)視頻監(jiān)控區(qū)域發(fā)生的事故，并及時(shí)有效的處理問題，避免造成較大損失或安全問題。為此，本文設(shè)計(jì)提出一種基于視頻圖像處理的人員在崗檢測(cè)技術(shù)，通過對(duì)值班室監(jiān)控視頻中的人員進(jìn)行運(yùn)動(dòng)跟蹤檢測(cè)，提出了基于歐式距離的數(shù)據(jù)關(guān)聯(lián)算法，建立當(dāng)前幀的人員運(yùn)動(dòng)軌跡，進(jìn)而判斷出進(jìn)入和離開值班室的人員數(shù)目，二者做差進(jìn)而對(duì)值班室里的人員在崗情況進(jìn)行判斷，檢測(cè)效率和準(zhǔn)確度高，具有良好的實(shí)時(shí)性能。雖然該方法還存在一些缺陷，比如對(duì)遮擋人員的檢測(cè)效果不是很理想，但是對(duì)檢測(cè)人員的在崗情況也起到了很好的作用，能夠很好地避免產(chǎn)生較大損失或安全問題。