基于NTSS和壓縮感知的人臉跟蹤算法

徐 杰， 郭春赫， 孫 超， 鄧湘奇

(黑龍江科技大學電子與信息工程學院，哈爾濱150022)

0 引言

目標跟蹤應(yīng)用的領(lǐng)域十分廣泛。例如，目標跟蹤是無人駕駛汽車的核心系統(tǒng)，大部分無人駕駛汽車出現(xiàn)安全風險事故的原因是由于強光的干擾和行人與背景信息顏色相近導(dǎo)致誤判，最終釀成車禍。

目前，大部分的跟蹤算法是基于外觀特征模板的。一種有效的外觀模型在跟蹤算法中是很重要的，并且在近些年受到了極大的關(guān)注［1-2］。基于線性隨機測量的實時目標跟蹤算法具有較好的實時性優(yōu)勢，一經(jīng)提出就得到了眾多相關(guān)領(lǐng)域研究者的關(guān)注［3-8］。但是，以上算法在目標受到光照干擾或者對目標進行實時跟蹤時仍然存在目標漂移的現(xiàn)象，不能達到跟蹤目標的實時性和魯棒性。文獻［9-10］中提出了對壓縮感知跟蹤算法在這種情況下的改進。傳統(tǒng)的跟蹤算法大部分利用全局搜索，遍歷整張圖片，這樣會加大計算的復(fù)雜度，提取目標特征的速度會大大降低。在行人跟蹤方面，由于人的非剛性變化，在長時間跟蹤目標狀態(tài)下仍然具有較弱的跟蹤效果，容易發(fā)生漂移現(xiàn)象。本文提出的基于NTSS和壓縮感知的人臉跟蹤算法是利用雙重采樣方法，并結(jié)合NTSS搜索方法遍歷輸入圖像，最終能夠有效地解決目標發(fā)生局部遮擋和強光干擾的問題。

1 壓縮感知理論

壓縮感知是近年來發(fā)展最為前沿的理論之一。壓縮傳感指出信號是可壓縮的，其在某個變化范圍內(nèi)是稀疏的，這樣就可以通過特定的方法，將高維信號降到低維空間上以方便求解，再把原始信號從低維空間中還原出來，保證信號的全部信息。圖1給出了壓縮感知理論的整個操作流程。

圖1 壓縮感知理論框架

1.1 信號的稀疏表示方法

信號并不是絕對稀疏的。從理論意義上理解，如能找到信號稀疏表達空間，任何信號都具有可壓縮性的。壓縮感知數(shù)學模型表示如下:

假設(shè)1個長度為N的一維信號x在某個正交基上能夠進行稀疏表示，則有

式中:x為信號在時域中的表示;k(稀疏系數(shù))為信號在頻域中的表示，其與x是同一個信號的等價表示，其中k中有K個系數(shù)不為0，則稱x在頻域是可壓縮的或者是K-稀疏的。

1.2 滿足RIP條件的測量矩陣

信號無失真的恢復(fù)原始信號，這里采用壓縮感知的方法將處在高維的原始圖像信號降低到低維度的測量矩陣，其數(shù)學模型表示如下:

式中:k稱為CS信息算子［11］;測量值Y是一個M維的向量，實現(xiàn)了降維的過程。在將高維信號x轉(zhuǎn)換為低維信號Y的過程中，信號能夠無失真地還原出來要確保矩陣 滿足RIP準則［12］，RIP準則的數(shù)學描述為:

1.3 恢復(fù)信號

當矩陣 滿足RIP準則時，求解稀疏系數(shù)k，再通過x=θk重構(gòu)原始信號x。最后將x從M維的測量值中構(gòu)造出來。其數(shù)學模型為:

2 NTSS和壓縮感知的人臉跟蹤算法

2.1 NTSS 算法

NTSS是根據(jù)上1幀目標框的位置來尋找下1幀目標框位置的搜索算法。其實現(xiàn)過程如下，將目標框的質(zhì)心位置作為最小誤差(MAD)位置，同時取距離質(zhì)心位置步長為4和2的各8個點計算最小誤差點作為下一個中心點，再距離這個中心點取步長為1的8個點計算MAD，找到最終的目標子窗口。NTSS搜索跟蹤目標的過程如圖2所示。符號表示各個步驟搜索過程的候選點，此候選點用于下1幀目標跟蹤框的確定。

圖2 NTSS搜索目標過程

MAD平均絕對誤差函數(shù)計算過程如下:

式中:M×N表示當前幀中與目標塊最佳匹配塊的大小;f(m，n)表示目標的灰度值。多種搜索算法在執(zhí)行時間和恢復(fù)圖像質(zhì)量上進行了對比，如表1所示。

表1 多種匹配算法的Matlab執(zhí)行時間和重構(gòu)圖像PSNR值

由表1可知，在恢復(fù)圖像質(zhì)量上雖然全局搜索算法FS恢復(fù)圖像的質(zhì)量上最佳，但在運行速率上，F(xiàn)S所運行的時間要比其他算法長，NTSS執(zhí)行時間最短，所以在考慮檢測圖像速率方面NTSS搜索算法最佳。

2.2 NTSS和壓縮感知的人臉跟蹤過程

利用NTSS和壓縮感知算法處理第1幀目標的流程圖如圖3所示。l1紅色矩形框為目標的初始位置，此算法的目標初始位置l1是事先給定的。初始化稀疏測量矩陣M定義為:

式中:rij為矩陣M中的元素。通過初始化稀疏測量矩陣可大幅度降低計算速度，且數(shù)據(jù)存儲空間可以有效地利用，大大節(jié)省了樣本存儲空間。M中每行非零項保存的是在輸入圖像中的矩形過濾器的位置。

圖3 第1幀的處理流程(圖中的數(shù)字表示的是先后順序)

此后在與目標位置l1相距

的區(qū)域內(nèi)取正樣本(見圖3中第②步取樣本中的紅色矩形框)，在與l1相距

的區(qū)域內(nèi)取負樣本(見圖3中第②步取樣本中的黃色矩形框)。用不同尺度的矩形濾波器對所有正負樣本進行卷積得到高緯度的特征向量x，它是每個尺度下過濾的圖像所連成的高維度的向量。最后用稀疏隨機測量矩陣M對高緯度的特征向量進行降維，得到低維的特征向量v，有

由于M是一個巨大的稀疏矩陣，并由許多小的矩陣濾波器組成，如果使用稀疏測量矩陣會消耗相當大的存儲空間。如圖3中的第3步和第4步，此算法巧妙地使用M矩陣對正負樣本直接提取低維特征向量v，特征提取示意圖如圖4所示，其特征提取過程如下式所示:

圖4 特征生成示意圖

經(jīng)過式(7)特征提取后，計算提取的低維特征并更新樸素貝葉斯分類器［13］的參數(shù)，得到分類器1。

式中:y=0表示正樣本，y=1表示負樣本，且p(y=0)=p(y=1);μ1和σ1分別為正樣本均值和方差，且它們的更新過程如下:

式中，λ為學習率。

隨著第1幀處理完成后，此時的分類器1的參數(shù)得到了更新，開始處理第2幀圖像，如圖5所示。將目標框l1的質(zhì)心位置作為最小誤差(MAD)位置，同時取距離質(zhì)心位置步長為4和2的各8個點計算最小誤差點作為下一個中心點，再距離這個中心點取步長為1的8個點計算MAD，找到最終的目標子窗口。

圖5 第2幀尋找跟蹤目標位置的處理流程(圖中的數(shù)字表示的是先后順序)

當?shù)?幀圖像來時，以經(jīng)過NTSS檢測得到的候選目標子窗口的質(zhì)心(見圖6中的黃色虛線框)為圓心，以半徑為α范圍內(nèi)的區(qū)域采集若干正樣本Bα=

根據(jù)以上介紹的視頻第1幀和第2幀處理方法，后面每幀的處理和這兩幀類似。

圖6 第2幀更新分類器的處理流程(圖中的數(shù)字表示的是先后順序)

3 實驗結(jié)果分析

通過國際標準數(shù)據(jù)庫中的視頻序列對壓縮感知算法和基于NTSS壓縮感知人臉跟蹤算法分別得到的目標位置進行了比較，圖7所示為壓縮感知算法得到的目標位置(紅色框)。由圖7可見，在182幀和213幀，當人臉經(jīng)過90°旋轉(zhuǎn)后再復(fù)原得到的目標框已經(jīng)發(fā)生了漂移。而基于NTSS和壓縮感知算法實現(xiàn)人臉跟蹤的結(jié)果如圖8所示，在182幀和213幀中得到的目標框更具有較強的魯棒性。

圖7 壓縮感知算法實現(xiàn)的人臉跟蹤

圖8 基于NTSS和壓縮感知算法實現(xiàn)人臉跟蹤

利用國際標準的人臉數(shù)據(jù)庫AFW和MALF視頻序列分別在暗光、臉部旋轉(zhuǎn)、尺度變換和局部遮擋等影響條件下進行算法的測試，針對壓縮感知算法和基于NTSS壓縮感知算法運用中心距離均值［14-15］進行了比對，如表2所示。

表2 中心距離均值/像素

從表2可見，本文算法最大可降低59.01%的誤差。最后得出以下結(jié)論，基于NTSS和壓縮感知的人臉跟蹤算法不受目標發(fā)生遮擋、臉部90°旋轉(zhuǎn)和光照的影響，對人臉的跟蹤具有較強的穩(wěn)定性和實時性。中心距離均值為

4 結(jié)語

本文提出了基于NTSS雙重采樣壓縮感知人臉跟蹤算法。此算法通過選用不同的半徑和步長進行正負樣本的雙重采樣。并運用NTSS搜索方法作為目標的檢測方法，根據(jù)測試的國際標準視頻序列所得出的跟蹤結(jié)果表明，本文提出的基于NTSS和壓縮感知的人臉跟蹤算法在人臉發(fā)生尺度變換、人臉90°旋轉(zhuǎn)和暗光條件下更具有魯棒性，有效提高了目標跟蹤的準確性。