使用頻譜詞包的接力跟蹤目標交接方法

張小駿,劉志鏡,薛鴻民

(西安電子科技大學計算機學院,陜西西安 710071)

使用頻譜詞包的接力跟蹤目標交接方法

張小駿,劉志鏡,薛鴻民

(西安電子科技大學計算機學院,陜西西安 710071)

針對接力跟蹤中目標跨攝像機交接困難問題,提出了使用頻譜詞包的目標交接方法.首先對第1攝像機的兩幅或多幅目標圖像分塊提取傅里葉特征;再對特征集進行K均值聚類,選擇其中緊密類的質(zhì)心特征作為正常單詞,另引入一個異常單詞,與正常單詞一起共同構成詞包;最后用詞包分別描述兩攝像機的目標,以歐氏距離度量相似性.實驗表明,該方法的目標識別性能和魯棒性比目前幾種常見的基于紋理的方法有一定的提高.

多攝像機;接力跟蹤;目標交接;傅里葉頻譜;頻譜詞包

智能視頻監(jiān)控網(wǎng)絡中目標的接力跟蹤具有很強的應用需求,其中目標在攝像機之間的交接是一項關鍵的技術,即在第2攝像機中識別出來自第1攝像機的目標并啟動繼續(xù)跟蹤的過程.目標的跨攝像機交接分為兩種情況:一種情況是相鄰攝像機之間存在視場重疊,此時可以通過視場的重疊部分得出攝像機之間的三維幾何關系,進而通過坐標匹配來識別目標并完成交接[1].但這往往對攝像機的布局和標定有一定要求,在實際應用中局限較大.另一種情況是相鄰攝像機之間不存在視場重疊,此時目標的交接主要依靠特征匹配.這種交接方法靈活方便,特別切合監(jiān)控應用的實際需要,但難點是目標跨攝像機時,其特征往往變化很大,難以用于匹配.比如人體跟蹤最常用的顏色特征,跨機時的魯棒性就不好,而現(xiàn)有的跨機顏色校正方法都還不夠成熟[2].運動特征雖不受跨機顏色變化的影響,但目標識別能力還不夠強,無法快速識別目標,如步態(tài)特征[3].相對而言,目標圖像的頻譜特征在目標識別和魯棒性兩方面均有較大潛力可挖,因為頻譜不僅信息量大,而且可分別反映對亮度、顏色變化具有較高魯棒性的表面結構性信息(交流信息).比如用Gabor或小波變換結果構造的特征[4-6],在圖像識別與檢索方面就取得了很好的效果,但這往往需要使用多尺度、多方向的模板進行多次濾波,用時過長.相比之下,傅里葉變換則簡單快速得多,比如用于描述形狀特征的傅里葉描述子[7-8].但由于傅里葉頻譜不能提取空間結構信息,并且現(xiàn)有的傅里葉特征往往過度降維,因此目標識別能力一般不強.有鑒于此,筆者提出一種頻譜詞包法來實現(xiàn)目標的跨攝像機識別.該方法借助詞包模型的思想,以一種新的傅里葉特征構造對來自第1攝像機中的兩張(或多張)目標圖像進行分塊特征提取,融合塊位置特征后對兩圖共同的特征集進行K均值聚類,以緊密聚類(類內(nèi)平均距離小)的質(zhì)心特征作為詞包,對第1、第2攝像機中的目標進行描述及相似性比較.由于該方法重點考查目標的相對穩(wěn)定部位的特征,并且考查大量塊圖像特征匹配的宏觀統(tǒng)計效果,彌補了傅里葉特征本身識別能力的不足,因此收到了較好的目標識別效果.

1　傅里葉特征構造

圖像的傅里葉變換離散形式如下:

其中,M、N為圖像f(x,y)的寬與高;F(u,v)為圖像的傅里葉頻譜,其圖像化顯示即頻譜圖.筆者使用直流點移至中心后的頻譜幅值圖提取特征.

1.1頻譜預處理

頻譜預處理包括兩步:第1步,對頻譜圖的寬度進行適當縮放,且其與高度一致,使頻譜橫縱坐標統(tǒng)一;第2步,對頻譜圖進行適當?shù)木禐V波,使非剛性目標頻譜穩(wěn)定.

下面對第2步的原理進行分析.非剛性目標可視為由多個相對剛性的子部分組成的變形體,以兩個子部分為例.設全圖頻譜為F,子部分的頻譜為F1、F2,則有

其中,θ1-θ2為子部分頻譜間的相位差.由于非剛性體子部分間極易發(fā)生相對位移、旋轉(zhuǎn)或其他仿射變化,相位差會劇烈變動,故頻譜幅值極不穩(wěn)定.

為消除相位的影響,在頻譜圖各點對式(2)進行小范圍平均.由于自然圖像頻譜的相位隨頻點變化很快,可視為是隨機分布的,相位差θ1-θ2也呈隨機分布,故有

其中,σ為標準差;模板高度和寬度為Δu和Δv,Δu∈[-3σ,+3σ],Δv∈[-3σ,+3σ].

1.2傅里葉頻譜特征構造

如圖1所示,使用預處理后的頻譜圖的直流點1及其4個鄰域點2、3、4、5的幅值以及此外的多個方形環(huán)內(nèi)(單點寬度)點的幅值和組成歸一化p維傅里葉特征向量.

圖1　頻譜特征構造

該特征反映了圖像大致的粗細紋理信號(即交直流信號強度)的分布,因此對于圖像的亮度及色彩變化有一定的魯棒性.另外,由于圖像或其各子部分發(fā)生仿射變化時,其對應的頻譜圖會發(fā)生類似的仿射變化或不變(平移),而預處理后的頻譜在幅值上近似為各子部分頻譜的簡單求和,故該特征具有如下不變性:當目標圖像整體縮放或部分發(fā)生相對位移時,特征不變;當目標圖像整體或部分發(fā)生旋轉(zhuǎn)時,特征基本不變(除2、3、4、5維外);當整體或部分發(fā)生少量錯切、橫縱不等比縮放時,特征基本不變.

2　使用頻譜詞包的目標識別

詞包模型最初應用于文本識別,其核心思想是:忽略單詞之間的順序關系,通過文本中各個單詞出現(xiàn)的頻率分布來描述文本特征.近年來,該思想引入計算視覺和模式識別領域,用于圖像分類和檢索[9-12],收到了較好的效果.頻譜詞包法的主要步驟為:

步驟1 使用第1攝像機的目標圖像2張(或多張,下面以2張為例),分塊提取特征并合并特征集后,通過K均值聚類找到目標上特征相對穩(wěn)定的K-2個部位,使用這些部位各自的平均特征作為正常單詞;另引入一個異常特征(各維均為1)作為異常單詞,建立頻譜詞包.

步驟2 使用頻譜詞包分別描述來自第1和第2攝像機的目標,即將目標圖像分塊提取的特征向詞包單詞歸類計算分布,歸一化后形成各自的詞包描述子.

步驟3 使用第2與第1攝像機目標的詞包描述子之間的最小歐氏距離判斷目標相似度.

圖2　頻譜詞包法工作流程

頻譜詞包法的詳細工作流程如圖2所示,有關說明如下:

(1)目標圖像均使用目標去除陰影后的最窄外接矩形區(qū)域圖像,以減小目標變化.

(2)塊取樣窗掃描目標全圖取得塊圖像集.取樣窗與目標圖像同寬,窗高為目標圖像高的1/h,掃描間隔為窗高的1/s,h、s均為統(tǒng)一整數(shù),因此相鄰塊間有重疊.

(3)一維的坐標維組合到傅里葉特征向量左端構成特征向量,其作用是保證各塊只和類似位置的其他塊聚類,避免混亂.z取值應盡量小,以免聚類退化為坐標聚類.

(4)第1攝像機2張目標圖像的特征集是合并在一起聚類的.由于目標的穩(wěn)定部位在2圖上變化相對較小,聚類時類內(nèi)平均距離也會小,因此可通過類內(nèi)平均距離判斷對應部位的特征穩(wěn)定性.另外,由于類內(nèi)平均距離不同,特征穩(wěn)定程度不同,故用其t倍作為相應單詞的閾值.

(5)待識別特征集來自第2攝像機的1張待識別目標圖像,產(chǎn)生方法與第1攝像機的相同.

(6)異常單詞的作用:一是容納所有不能良好匹配的特征向量,使不同目標的區(qū)別鮮明化;二是避免相同目標的不穩(wěn)定部位的特征向量被強制分配給正常單詞,使描述子產(chǎn)生混亂.

(7)第1攝像機的2個詞包描述子可直接利用聚類結果計算.

(8)使用第1攝像機的2個詞包描述子之間的歐氏距離的T倍作為相似性距離閾值.

1.4 統(tǒng)計學方法 采用SPSS 13.0統(tǒng)計學軟件進行數(shù)據(jù)分析，計量資料以表示，治療前后自身對照均數(shù)比較采用配對t檢驗，2組間均數(shù)比較采用獨立樣本t檢驗，檢驗水平α=0.05。

3　實驗與結論

首先通過大量的實驗,包括大量的單元實驗確定上述方法的參數(shù);然后再使用不變場景下的視頻驗證原理,使用多場景下的視頻考查實際效果,并與多種現(xiàn)有方法進行比較.在實驗中,視頻拍攝時攝像機的增益、曝光和白平衡均處于自動狀態(tài).

3.1參數(shù)的選定

通過單元實驗結合統(tǒng)調(diào)實測效果選定參數(shù),如表1所示.表中,σ為高斯濾波的標準差,p為傅里葉特征維數(shù),h為塊窗高參數(shù),s為塊掃描間隔參數(shù),z為塊坐標折算系數(shù),K為聚類個數(shù),t為單詞的閾值倍數(shù),T為描述子的相似性閾值倍數(shù).

表1　參數(shù)的選定與方法

3.2原理驗證

在同一場景下的連續(xù)視頻中為兩個目標各獲得5個目標圖像,分為2組,如圖3所示.各組以前2幅圖為基礎建立頻譜詞包A、B,再按詞包模型計算各幅圖分別與A1或B1的相似性距離,考查距離差異,結果如表2.表中,@A或@B表示按照詞包A或B對圖像進行描述.由表2可見,目標相同與不同時距離差異普遍明顯.

表2　基于詞包模型的圖像間相似性距離

圖3　兩組目標圖像

圖4　塊窗口和聚類范圍

圖4為用于建立詞包的目標圖像B2的塊窗口和B詞包的各正常單詞對應的聚類范圍.由圖4可見,這些范圍恰是目標變化相對較小的中上部,即目標的穩(wěn)定部位.

圖5　目標按B詞包的描述子

圖5為相同與不同目標按照B詞包的描述子.第5維為異常單詞的出現(xiàn)頻次,由圖5可見,目標不同時(A1),大量的待識別特征被歸入詞包描述子的第5維,目標的區(qū)別明顯.

3.3不同解析尺度下的目標識別能力

在圖6場景C中,目標1(左)與目標2身高類似,調(diào)節(jié)其至攝像機的距離,為兩目標在3個解析尺度下各獲得5張最窄目標圖像,計算各尺度下目標之間的相似性距離,結果列于表3.表3中目標1(2)與2(1)的距離按目標2(1)的圖像形成的詞包計算.

可以看到,解析尺度對筆者提出的方法有一定影響.當尺度下降時,相同與不同目標之間的平均距離差異有較明顯縮短,但在200像素以上的圖像高度下,仍可識別目標.

圖6　6種不同光照場景

表3　不同解析尺度下相同與不同目標之間的平均距離

3.4跨場景下的目標識別

在圖6的場景C中,使用3.3節(jié)中為目標1、2在200像素和300像素尺度下建立的詞包及相應詞包描述子,作為來自第1攝像機的目標信息.另外使用6個不同目標(包含目標1、2)各自分別在場景D、E、F、G、H中獲得最窄目標圖像1張,尺度均約為300像素.6個目標共30張目標圖像(圖中未全部列出),作為第2攝像機的待識別目標.

按筆者提出的方法分別計算第1與第2攝像機目標圖像的相似性距離,共有120個結果.將結果按第1攝像機目標的2個尺度分組計算均值,分列于表4,其中后1組(尺度為200像素)為跨尺度比較.另外,為考查筆者提出方法的有效性,使用目前紋理描述常用的特征進行同樣的相似性距離計算,結果列于表4中供比較.

表4　各方法在不同解析度下的目標識別性能對比

表4中,經(jīng)典傅里葉分區(qū)方法[13]將頻譜幅值圖分成6個扇形區(qū)(0°～180°),使用各區(qū)內(nèi)的幅度均值及標準差組成歸一化特征向量;Gabor方法[4-6]使用4個波長尺度(以目標窗高為統(tǒng)一折算單位)和6個方向(0°～180°)的Gabor模板對目標圖像進行濾波,使用各次濾波的幅度均值及標準差組成歸一化特征向量;LBP方法[14]使用具有旋轉(zhuǎn)不變性的等價LBP值組成歸一化特征向量.傅里葉和Gabor特征使用Canberra距離, LBP特征使用歐氏距離.Q值用于評價各種方法的性能:

Q值越高,區(qū)分目標的能力越強.

從表4可以看到,在跨場景的情況下,筆者提出的方法能較好地識別目標,對光照亮度、色溫及攝像機變化有較強的魯棒性,比使用Gabor特征的效果略強.筆者構造的傅里葉特征與經(jīng)典傅里葉分區(qū)方法類似,但由于使用聚類找到了特征穩(wěn)定點,并通過詞包模型使目標之間的差異鮮明化,提高了目標識別性能.從跨尺度比較的結果看,上述各種方法的目標識別效果均受限于小目標的尺度,但筆者提出的方法受到的影響相對較小.

3.5筆者提出的方法的運行速度

筆者提出的方法使用Matlab2010b編程,在32位Windows XP下運行,硬件環(huán)境為:64位雙核AMD AthlonⅡCPU,主頻3.1 GHz,一級緩存128 kB×2,二級緩存2 MB,內(nèi)存3.25 GB.完成兩幅300×100尺寸圖像的頻譜詞包建立及詞包描述子計算的時間為0.281 9 s(第1攝像機),完成一幅300×100尺寸圖像的識別僅需0.062 6 s(第2攝像機),這對于跟蹤目標的跨攝像機交接已經(jīng)足夠了.而識別效果相對較好的Gabor方法在第2攝像機的識別時間則長達3.632 1 s,這一速度是不夠的.

4　結束語

筆者提出的方法的特點在于不過度依賴某種特征單次使用的目標識別性能,而是通過聚類發(fā)現(xiàn)該特征相對于目標的穩(wěn)定點,再以穩(wěn)定點處的特征為參照,使用詞包模型,考查大量使用該特征時表現(xiàn)出來的整體統(tǒng)計特點,提高了目標識別性能.作為一種基于表面結構性信息的方法,筆者提出的方法對目標尺度有一定要求,這是下一步需要進一步研究的方面.同時,如何根據(jù)目標的尺度和表面信息的豐富程度選擇最合適的模型參數(shù)也值得深入研究.

[1]FEI Y,MAKRIS D,VELASTIN S A,et al.Calibration and Object Correspondence in Camera Networks with Widely Separated Overlapping Views[J].IET Computer Vision,2015,9(3):354-367.

[2]WANG X G.Intelligent Multi-camera Video Surveillance:a View[J].Pattern Recognition Letters,2013,34:3-19.

[3]LüZ,XING X,WANG K,et al.Class Energy Image Analysis for Video Sensor-based Gait Recognition:a Review[J]. Sensors,2015,15(1):932-964.

[4]閆允一,姜帥,郭寶龍.結合穩(wěn)定興趣點和Gabor小波的圖像檢索[J].西安電子科技大學學報,2014,41(5): 118-123. YAN Yunyi,JIANG Shuai,GUO Baolong.Image Retrieval Using Stable Interest Points and Gabor Wavelet[J].Journal of Xidian University,2014,41(5):118-123.

[5]ARIVAZHAGAN S,NIRMALA S.Rotation and Scale Invariant Texture Classification Using Gabor and Curvelet Transforms[J].International Journal of Tomography and Simulation,2015,28(2):94-105.

[6]劉麗,匡綱要.圖像紋理特征提取方法綜述[J].中國圖象圖形學報,2009,14(4):622-635. LIU Li,KUANG Gangyao.Overview of Image Textural Feature Extraction Methods[J].Journal of Image and Graphics,2009,14(4):622-635.

[7]MENNESSONA J,JEANB C S,MASCARILLA L.Color Fourier-Mellin Descriptors for Image Recognition[J].Pattern Recognition Letters,2014,40:27-35.

[8]ALTANTSETSEG E,KATSUTSUGU M,KOUICHI K.Pairwise matching of 3D Fragments Using Fast Fourier Transform[J].The Visual Computer,2014,30(6/8):929-938.

[9]趙理君,唐娉,霍連志,等.圖像場景分類中視覺詞包模型方法綜述[J].中國圖象圖形學報,2014,19(3):333-343. ZHAO Lijun,TANG Ping,HUO Lianzhi,et al.Review of the Bag of Visual Words Models in Image Scene Classification[J].Journal of Image and Graphics,2014,19(3):333-343.

[10]KHAN R,BARAT C,MUSELET D,et al.Spatial Histograms of Soft Pairwise Similar Patches to Improve the Bag of Words Model[J].Computer Vision and Image Understanding,2015,132:102-112.

[11]FARAJI M,SHANBEHZADEH J.Bag of Visual Words,its Detectors and Descriptors:a Survey in Detail[J].Advances in Computer Science an International Journal,2015,4(2):8-12.

[12]IONESCU R T,POPESCU M,KERNEL P Q.A Rank Correlation Kernel for Visual Word Histograms[J].Pattern Recognition Letters,2015,55:51-57.

[13]閆晶瑩,王成儒.一種新的紋理特征提取算法[J].西安郵電學院學報,2011,16(1):49-53. YAN Jingying,WANG Chengru.A New Method for Texture Feature Extraction[J].Journal o Xi’an University of Posts and Telecommunications,2011,16(1):49-53.

[14]劉麗,謝毓湘,魏迎梅,等.局部二進制模式方法綜述[J].中國圖象圖形學報,2014,19(12):1696-1720. LIU Li,XIE Yuxiang,WEI Yingmei,et al.Survey of Local Binary Pattern Method[J].Journal of Image and Graphics, 2014,19(12):1696-1720.

(編輯:郭 華)

Method for relay tracked target handover using the spectrum bag of words

ZH ANG Xiaojun,LIU Zhijing,XUE Hongmin
(School of Computer Science and Technology,Xidian Univ.,Xi’an 710071,China)

Aiming at the difficulty of the relay-tracked target handover across cameras,a method using the spectrum Bag Of Words(BOW)is proposed.Firstly,2 or more target images from the first camera are divided into blocks.The Fourier features of the blocks are extracted and then clustered by Kmeans.The averaged vectors of the compact clusters are used as the normal words of the BOW,while an abnormal vector is used as the abnormal word.The targets from the first and second cameras are described in BOW words.The Euclidean distance between the BOW descriptions is used as the target similarity metrics. Experiments show that the proposed method has some definite improvement in target recognition and robustness compared with several common methods based on the texture.

multiple cameras;relay tracking;target handover;Fourier spectrum;spectrum bag of words

TP391.4

A

1001-2400(2016)04-0191-06

10.3969/j.issn.1001-2400.2016.04.033

2016-01-19

國家自然科學基金資助項目(61173091)

張小駿(1964-),男,西安電子科技大學博士研究生,E-mail:1479781033@qq.com.