人臉識(shí)別視頻壓縮感知跟蹤算法

宋 強(qiáng)，張 穎

（遼寧科技大學(xué) 電子與信息工程學(xué)院，遼寧 鞍山 114051）

視頻壓縮感知的目標(biāo)跟蹤技術(shù)是計(jì)算機(jī)視覺領(lǐng)域的重要研究方向之一，廣泛應(yīng)用于人員定位、智能交通、智慧城市等人工智能領(lǐng)域［1］。將視頻壓縮感知的目標(biāo)跟蹤技術(shù)應(yīng)用到動(dòng)態(tài)人臉識(shí)別上，能夠提高人臉識(shí)別的自動(dòng)化、信息化、智能化水平，分析目標(biāo)行程軌跡，確定目標(biāo)信息［2］。視頻監(jiān)控下環(huán)境因素多變，如光照不均、人臉圖像存在遮擋、目標(biāo)運(yùn)動(dòng)速度過快等，直接應(yīng)用目標(biāo)跟蹤方法無法捕獲目標(biāo)，軌跡分析效果也不夠理想。

視頻目標(biāo)跟蹤算法根據(jù)網(wǎng)絡(luò)結(jié)構(gòu)將任務(wù)分解成跟蹤、檢測(cè)和學(xué)習(xí)3個(gè)部分［3］。跟蹤部分根據(jù)提取到的目標(biāo)人臉特征，建立幀之間的數(shù)據(jù)模型，用于在視頻中跟蹤目標(biāo)；檢測(cè)部分通過訓(xùn)練分類器，用于檢測(cè)視頻中目標(biāo)出現(xiàn)的下一幀圖像位置；學(xué)習(xí)部分進(jìn)行評(píng)估更新。目標(biāo)跟蹤算法中，特征越多準(zhǔn)確率越高，但過多的特征提取運(yùn)算會(huì)增加復(fù)雜度。視頻壓縮感知方法以低通帶限實(shí)現(xiàn)數(shù)據(jù)采樣，并從采樣數(shù)據(jù)中精準(zhǔn)恢復(fù)原始信號(hào)，提高運(yùn)算效率。視覺目標(biāo)跟蹤算法主要分為生成式跟蹤算法和判別式跟蹤算法。生成式跟蹤算法以當(dāng)前幀為基礎(chǔ)建立目標(biāo)匹配模型，在下一幀圖像的相關(guān)范圍內(nèi)尋找與目標(biāo)模型匹配效果最優(yōu)的區(qū)域；判別式跟蹤算法提取的圖像特征具有判別性，根據(jù)特征尋找目標(biāo)區(qū)域的邊緣，將其從背景中分離出來，反映異類數(shù)據(jù)間的差異。在監(jiān)控視頻環(huán)境中，判別式跟蹤算法利用人臉圖像信息與背景信息進(jìn)行圖像跟蹤。Bewley等［4］提出SORT算法，利用卡爾曼濾波［5］進(jìn)行目標(biāo)的運(yùn)動(dòng)信息預(yù)測(cè)。周平平等［6］采用粒子濾波算法進(jìn)行跟蹤，融合人臉膚色和邊緣特征，具有自適應(yīng)性。已有的跟蹤算法雖針對(duì)人臉識(shí)別視頻跟蹤具有較好的效果，但對(duì)監(jiān)控視頻的數(shù)據(jù)處理時(shí)間較長(zhǎng)，分析較慢，跟蹤不穩(wěn)定。本文針對(duì)視頻監(jiān)控下的目標(biāo)跟蹤問題，為了加快視頻數(shù)據(jù)處理的速度，提升目標(biāo)圖像跟蹤的穩(wěn)定性和精確性，提出一種人臉識(shí)別視頻壓縮感知跟蹤算法，依據(jù)動(dòng)態(tài)壓縮感知（Dynamic compressive sensing，DCS）理論，采用貝葉斯壓縮感知（Bayesian compressive sensing，BCS）算法，根據(jù)人臉信息的特征實(shí)現(xiàn)對(duì)目標(biāo)圖像信息的動(dòng)態(tài)跟蹤。

1 動(dòng)態(tài)視頻壓縮感知算法

壓縮感知理論是一種新的數(shù)據(jù)處理模式，在采樣過程中實(shí)現(xiàn)數(shù)據(jù)壓縮，并使用低秩隨機(jī)測(cè)量矩陣壓縮稀疏信號(hào)。傳統(tǒng)的壓縮感知理論通過分割的手段將動(dòng)態(tài)信號(hào)轉(zhuǎn)化為靜態(tài)信號(hào)，忽略視頻信號(hào)在時(shí)間維度上的特性，缺乏實(shí)時(shí)性。為此，本文選用動(dòng)態(tài)壓縮感知理論框架。動(dòng)態(tài)壓縮感知理論主要包括動(dòng)態(tài)信號(hào)的稀疏表示、隨機(jī)測(cè)量矩陣的選取以及信號(hào)重構(gòu)。采用Ji等［7］提出的貝葉斯壓縮感知（Bayesian compressive sensing，BCS）算法，利用統(tǒng)計(jì)學(xué)中的稀疏樸素貝葉斯分類學(xué)習(xí)方法進(jìn)行信號(hào)重構(gòu)，實(shí)現(xiàn)動(dòng)態(tài)壓縮感知的建模過程。

動(dòng)態(tài)信號(hào)具有時(shí)變性，設(shè)Xt為經(jīng)過稀疏矩陣投影的稀疏信號(hào)，則動(dòng)態(tài)壓縮感知模型的狀態(tài)空間方程為

式中：Yt表示觀測(cè)方程；ft表示狀態(tài)空間方程中的狀態(tài)轉(zhuǎn)移函數(shù)；At為觀測(cè)矩陣；vt為過程噪聲；ωt為觀測(cè)噪聲，通常默認(rèn)成均值為0的高斯白噪聲。

動(dòng)態(tài)視頻壓縮感知采用少量采樣觀測(cè)信號(hào)表示原始信號(hào)所包含的所有信息，實(shí)現(xiàn)對(duì)信號(hào)的降維處理，減少計(jì)算量。利用隨機(jī)測(cè)量矩陣P對(duì)高維原始信號(hào)的特征空間向量X向低維空間進(jìn)行壓縮投影，獲取低維壓縮特征空間向量。動(dòng)態(tài)壓縮感知跟蹤算法模型如圖1所示。

圖1 動(dòng)態(tài)壓縮感知跟蹤算法模型圖Fig.1 Model diagram of dynamic compressed sensing tracking algorithm

2 圖像預(yù)處理

為了更易提取目標(biāo)圖像，采用圖像尖銳化處理，提升人臉圖像邊緣及紋理對(duì)比度，使亮度增加，突出更多細(xì)節(jié)［8］。事實(shí)上，由于環(huán)境因素影響，圖像可能不清楚，識(shí)別效果不明顯，但圖像細(xì)節(jié)在經(jīng)過尖銳化處理后更突出，便于后續(xù)的人臉識(shí)別。圖像尖銳化計(jì)算式

式中：?2f為二元圖像函數(shù)的拉普拉斯變換。

因此

為了避免顆粒擴(kuò)散導(dǎo)致的模糊問題，將圖像降解。把圖像邊緣線和突出點(diǎn)堆疊處理，生成銳化圖像。將處理前和處理后的圖像疊加，突出銳化效果，同時(shí)又能恢復(fù)背景信息。降解函數(shù)為

將原圖像轉(zhuǎn)化成灰度二值化圖像，再對(duì)四鄰域和八鄰域的二值圖像銳化處理，使邊界特征突出，效果如圖2所示。

圖2 四鄰域與八鄰域銳化效果圖Fig.2 Sharpening renderings of 4 neighborhoods and 8 neighborhoods

光照強(qiáng)度不均勻?qū)θ四樧R(shí)別準(zhǔn)確率的影響較大，需要對(duì)銳化處理后的圖像歸一化處理，消除光照強(qiáng)度的影響，即光照修正處理方法。歸一化處理修正式為

式中：(m，n)為圖像像素坐標(biāo)；S為原始圖像；S′為歸一化處理后的圖像；μ為圖像均值；σ為圖像標(biāo)準(zhǔn)差；c為常數(shù)，一般取為1。

提取圖像的距離不同，識(shí)別準(zhǔn)確率也存在差異。為了減小差異，選取一組尺寸不同的矩形濾波器，對(duì)歸一化后的樣本圖像分別進(jìn)行卷積運(yùn)算，提取樣本特征，獲取處理后的圖像

式中：Ld，h(m，n)為濾波器形式；(m，n)為圖像像素坐標(biāo)；d，h分別為濾波器的寬度和高度。歸一化矩形濾波器形式為

將通過矩形濾波器處理后的樣本圖像依次展開成一個(gè)M·N維的列向量X(m，n)，其中X=(X1，X2，…，XM)T是樣本歸一化后的特征向量。

濾波器銳化歸一化可以讓圖像更光滑，效果如圖3所示。

3 Haar-like特征提取

Haar-like特征又稱矩形特征，在特定范圍內(nèi)，利用小塊區(qū)域表示圖像特征。Haar-like特征根據(jù)目標(biāo)區(qū)域的圖像顏色深淺不同來描述人臉特征，對(duì)圖像的邊緣和線條比較敏感。Haar-like特征值數(shù)學(xué)表達(dá)式為

圖3 圖像預(yù)處理過程效果圖Fig.3 Effect images of image preprocessing

式中：ωi表示權(quán)值矩陣；N表示矩形特征值的個(gè)數(shù)；RectSum(γi)表示樣本圖像所有矩形特征值之和。

通過掃描大量的樣本窗口，計(jì)算所有樣本窗口的子圖像特征值，其特征值為所檢測(cè)圖像中的矩形灰度像素差。該過程會(huì)產(chǎn)生大量的運(yùn)算。與此同時(shí)，為了保持圖像尺度不變性，會(huì)進(jìn)一步增加計(jì)算量，使人臉檢測(cè)速度及分類器訓(xùn)練效率降低。為了在壓縮投影中提高特征向量值的運(yùn)算效率，采用積分圖算法快速計(jì)算矩形區(qū)域之和及其平方和，降低運(yùn)算量，提高運(yùn)算速率［9］。積分圖運(yùn)算式為

式中：J(m，n)表示圖像在像素為(m，n)處的積分值；H(m′，n′)表示圖像在像素為(m′，n′)處的灰度值。

積分圖為每一幅圖像建立專屬查找表，在積分計(jì)算階段可直接查找并完成卷積線性時(shí)間運(yùn)算，使卷積運(yùn)算的時(shí)間與矩形區(qū)域窗口大小沒有關(guān)聯(lián)。

計(jì)算初始圖像積分，并在后續(xù)的跟蹤過程中，通過行的累積求和的形式完成積分運(yùn)算。積分運(yùn)算公式為

其中，初始圖像積分中，S(0，-1)=0，J(-1，0)=0。先計(jì)算S(m，n)，再計(jì)算J(m，n)。

4 級(jí)聯(lián)分類器構(gòu)建及更新

在視頻監(jiān)控下目標(biāo)跟蹤過程中，動(dòng)態(tài)目標(biāo)跟蹤具有比靜態(tài)目標(biāo)跟蹤更穩(wěn)定、更精準(zhǔn)定位的優(yōu)點(diǎn)。本文以正負(fù)樣本的數(shù)據(jù)特征構(gòu)建目標(biāo)模型，通過及時(shí)更新圖像識(shí)別分類器，實(shí)現(xiàn)動(dòng)態(tài)目標(biāo)跟蹤過程，并對(duì)目標(biāo)實(shí)現(xiàn)軌跡分析。

通過監(jiān)控視頻的幀截取，選用第i幀圖像中目標(biāo)人臉作為樣本圖像，采集目標(biāo)人臉圖像區(qū)域內(nèi)和區(qū)域外的圖像作為正負(fù)樣本并進(jìn)行特征提取，構(gòu)建多維度圖像特征向量，并通過稀疏隨機(jī)矩陣降維。再利用降維后的向量構(gòu)建目標(biāo)模型，實(shí)現(xiàn)分類器的構(gòu)建，并對(duì)分類器進(jìn)行學(xué)習(xí)訓(xùn)練。在i+1幀圖像中，對(duì)跟蹤到的目標(biāo)圖像采樣，并通過若干矩形窗口提取目標(biāo)區(qū)域特征，將高維多尺度特征向量通過稀疏隨機(jī)矩陣降維處理，最后利用訓(xùn)練好的分類器對(duì)特征向量分類，將最符合的矩形掃描窗口作為跟蹤目標(biāo)圖像的具體位置，并更新分類器。重復(fù)操作，實(shí)現(xiàn)分類器的構(gòu)建及更新。

4.1 樸素貝葉斯分類器的應(yīng)用

貝葉斯分類是一種歸納推理的理論，樸素貝葉斯模型是基于貝葉斯理論且應(yīng)用最為廣泛的分類模型之一［10］。在概率圖模型中，樸素貝葉斯模型被劃分為判別模型，具有堅(jiān)實(shí)的數(shù)學(xué)基礎(chǔ)和穩(wěn)定的分類效率。該分類器模型的估計(jì)參數(shù)少，針對(duì)缺失數(shù)據(jù)具有良好的魯棒性。本文采用目標(biāo)樣本與背景樣本的特征作為分類器模型構(gòu)建訓(xùn)練的數(shù)據(jù)向量，屬性相關(guān)性小，使樸素貝葉斯模型的算法簡(jiǎn)單，降低分類誤差率，提升總體性能。樸素貝葉斯分類器模型的數(shù)學(xué)表達(dá)式為

式中：Ci為數(shù)據(jù)屬性類別；XA為測(cè)試樣本。

高維隨機(jī)向量的投影服從高斯分布［11］，設(shè)樣本XA中的低維特征向量為μ，且各個(gè)元素都獨(dú)立分布。假定正負(fù)樣本的先驗(yàn)概率相等，通過樸素貝葉斯對(duì)特征向量分類。設(shè)a為樣本標(biāo)簽，正樣本用a=1表示，負(fù)樣本用a=0表示。獲取貝葉斯分類器響應(yīng)為

式中：H(u)表示低維特征向量為μ時(shí)的貝葉斯分類器響應(yīng)；a為樣本標(biāo)簽，且a∈{0，1}；P(a=1)和P(a=0)分別表示正負(fù)樣本先驗(yàn)概率；μj為樣本圖像XA中的第j個(gè)特征。

4.2 Adaboost算法與分類器級(jí)聯(lián)

在樸素貝葉斯分類器模型的基礎(chǔ)上，引入Boosting技術(shù)［12］中的Adaboost算法，組合若干個(gè)樸素貝葉斯分類器模型。Adaboost算法自適應(yīng)能力強(qiáng)，把強(qiáng)分類器分解成若干個(gè)弱分類器的線性組合，并通過不同的訓(xùn)練集樣本對(duì)每個(gè)貝葉斯弱分類器學(xué)習(xí)訓(xùn)練，提高Adaboost算法貝葉斯級(jí)聯(lián)分類器的識(shí)別精度。

Adaboost算法中，弱分類器表達(dá)式為

式中：h(x，f，p，θ)表示弱分類器；x表示為子窗口圖像；f(x)為子窗口的特征函數(shù)；θ表示為f(x)函數(shù)的闕值，弱分類過程就是得出該函數(shù)闕值的過程。

由弱分類器構(gòu)建強(qiáng)分類器的步驟如下。

圖像樣本為XA，則n個(gè)訓(xùn)練集樣本表示為，則Xi為樣本圖像，ai表示為正或負(fù)樣本，且ai∈{0，1}。初始化操作，令t=1，對(duì)每個(gè)樣本權(quán)重ωt，i初始化，再將權(quán)重歸一化處理，數(shù)學(xué)表達(dá)式為

式中：ωt，i表示第t次迭代中第i個(gè)樣本的權(quán)重。

對(duì)弱分類器訓(xùn)練，計(jì)算弱分類器上對(duì)應(yīng)特征的加權(quán)錯(cuò)誤率，數(shù)學(xué)表達(dá)式為

式中：εt為弱分類器錯(cuò)誤率；Xi為圖像樣本；yi∈(-1，1)。

經(jīng)過對(duì)比，εt為錯(cuò)誤率最小的弱分類器，即為最佳弱分類器。通過弱分類器εt更新樣本的分布，數(shù)學(xué)表達(dá)式為

式中：ωt+1表示t+1時(shí)刻權(quán)重；βt是一個(gè)迭代系數(shù)。

若測(cè)試樣本Xi分類正確，則有εt=0；若分類錯(cuò)誤，則有

結(jié)合上述運(yùn)算，得到級(jí)聯(lián)強(qiáng)分類器數(shù)學(xué)表達(dá)式

其中α

采用級(jí)聯(lián)Adaboost算法的樸素貝葉斯分類器根據(jù)各個(gè)強(qiáng)分類器的復(fù)雜程度由低到高進(jìn)行排序。若窗口判定圖像信息為非人臉圖像，則將其排除，提高檢測(cè)效率。運(yùn)算流程如圖4表示。

圖4 樸素貝葉斯級(jí)聯(lián)分類器結(jié)構(gòu)圖Fig.4 Structure diagram of Naive Bayesian cascade classifier

分類器響應(yīng)H(u)中的條件概率為

在i+1幀圖像中的目標(biāo)周圍采樣若干個(gè)正負(fù)樣本，并進(jìn)行特征提取，根據(jù)運(yùn)算獲取所有正負(fù)樣本的均值u1和方差σ1。利用分類更新對(duì)目標(biāo)模型更新，實(shí)現(xiàn)目標(biāo)動(dòng)態(tài)跟蹤。分類更新數(shù)學(xué)表達(dá)式為

式中：λ為學(xué)習(xí)因子，λ＞0；M為正負(fù)樣本總數(shù)；uj(i)表示為第i幀樣本圖像的第j個(gè)特征。

5 仿真實(shí)驗(yàn)

采用MATLAB調(diào)用OpenCV中的模塊進(jìn)行系統(tǒng)仿真。根據(jù)監(jiān)控視頻中的人物目標(biāo)圖像，通過圖像處理模仿不同環(huán)境下的目標(biāo)人物圖像狀態(tài)，再將若干張圖片組合成監(jiān)控小視頻。然后采用軟件中的GUI功能模塊設(shè)計(jì)視頻壓縮感知目標(biāo)跟蹤系統(tǒng)，對(duì)視頻幀截取。最后通過人臉圖像識(shí)別，實(shí)現(xiàn)目標(biāo)跟蹤，并進(jìn)行目標(biāo)運(yùn)動(dòng)軌跡分析。

為了測(cè)試該算法針對(duì)視頻中目標(biāo)移動(dòng)、遮擋、光照不均等狀態(tài)下的處理效果，選用某車站視頻監(jiān)控下的人物目標(biāo)圖像的某一幀圖像具體分析，如圖5所示。在光照較亮、較暗、人臉有口罩遮擋和人臉圖像信息移動(dòng)到邊界這四種條件下，本文算法都可以捕捉人臉信息，并對(duì)目標(biāo)人物進(jìn)行軌跡分析，如圖6所示。

圖5 不同環(huán)境下目標(biāo)跟蹤分析Fig.5 Target tracking analysis in different environments

圖6 目標(biāo)軌跡分析Fig.6 Target trajectory analysis

針對(duì)上述處理后的監(jiān)控小視頻，將本文算法與現(xiàn)有的人臉識(shí)別視頻目標(biāo)跟蹤算法進(jìn)行對(duì)比，跟蹤漏檢率如表1所示。本文算法在這四種環(huán)境下的跟蹤漏檢率均為最低，表明該算法的目標(biāo)跟蹤穩(wěn)定性和準(zhǔn)確性較好。

6 結(jié)論

本文提出人臉識(shí)別視頻壓縮感知跟蹤算法，用以處理視頻監(jiān)控中光照強(qiáng)度不同、遮擋、快速移動(dòng)的人臉圖像。將動(dòng)態(tài)壓縮感知算法應(yīng)用在人臉識(shí)別監(jiān)控視頻中，根據(jù)提取的人臉Haar-like特征構(gòu)建級(jí)聯(lián)分類器進(jìn)行人臉識(shí)別，進(jìn)而實(shí)現(xiàn)動(dòng)態(tài)的目標(biāo)人臉跟蹤。與現(xiàn)有的人臉識(shí)別視頻目標(biāo)跟蹤算法相比，本文算法跟蹤漏檢率較低，對(duì)視頻中人臉圖像移動(dòng)、遮擋及光照強(qiáng)度度不均勻、快速變化等情況具有一定的魯棒性，可以實(shí)現(xiàn)有效的目標(biāo)軌跡分析。適合應(yīng)用在刑偵以及疫情防控等領(lǐng)域。

表1 不同環(huán)境下目標(biāo)人臉跟蹤算法的跟蹤漏檢率，%Tab.1 Omission ratio of target face tracking algorithm in different environments，%