基于形變輪廓模型的視頻圖像中人物領(lǐng)域的追蹤*

朱洪錦,范洪輝,葉飛躍，朱世松

(1.江蘇理工學(xué)院 計算機工程學(xué)院,江蘇 常州213001;2.常州市云計算與智能信息處理重點實驗室,江蘇 常州213001;3.河南理工大學(xué) 計算機科學(xué)與技術(shù)學(xué)院,河南 焦作454003)

近年來，隨著網(wǎng)絡(luò)和數(shù)字廣播傳輸信道的增加，在海量信息中實現(xiàn)視頻內(nèi)容的分析與檢索是計算機視覺領(lǐng)域的研究熱點。在視頻圖像處理中圖像序列運動目標(biāo)跟蹤技術(shù)得了到廣泛的研究和應(yīng)用，尤其在視頻監(jiān)控、視頻編碼、智能機器、圖像恢復(fù)等領(lǐng)域都具有廣泛的應(yīng)用前景。許多研究者對運動目標(biāo)跟蹤問題進行了深入研究，提出了基于目標(biāo)特征的跟蹤、基于模型匹配的跟蹤以及基于目標(biāo)輪廓的跟蹤等方法[1]。目標(biāo)特征的跟蹤技術(shù)需要解決復(fù)雜場景下多特征跟蹤算法的適應(yīng)性問題及實現(xiàn)有效特征的提取的連續(xù)性，基于模型匹配需要準(zhǔn)確建立視頻前后幀之間運動對象的對應(yīng)匹配關(guān)系，同時對跟蹤分割的精度有較高的要求[2]。對于這兩種目標(biāo)跟蹤方法，基于輪廓的方法可單純利用人物輪廓實現(xiàn)視頻中人物領(lǐng)域的抽取與追蹤，簡化其余特征計算數(shù)量及匹配難度，可實現(xiàn)視頻中多人物的連續(xù)跟蹤[3]。

基于輪廓模型的目標(biāo)跟蹤算法中參數(shù)活動輪廓模型和非參數(shù)活動輪廓模型是圖像處理中最具代表的算法[4]。參數(shù)化輪廓使用離散的點表示目標(biāo)的輪廓，采用目標(biāo)的邊緣作為跟蹤的特征,該方法計算效率高,實現(xiàn)手段靈活,但難以克服跟蹤過程中輪廓線拓撲結(jié)構(gòu)改變的情況,不利于高維拓展和多目標(biāo)跟蹤[5]。非參數(shù)輪廓模型通常將輪廓表示為區(qū)域的邊界，其優(yōu)點是對輪廓的拓撲形狀的改變?nèi)菀卓刂?，但是計算相對?fù)雜[6]，并且現(xiàn)存算法大多是以攝像頭固定、背景圖像無變動、背景相對簡單為前提條件，較難應(yīng)用于動態(tài)實時監(jiān)控系統(tǒng)[7]。

本文提出基于人物頭部輪廓的形變輪廓模型追蹤視頻圖像中人物領(lǐng)域，研究基于形變輪廓模型算法，實現(xiàn)攝像頭轉(zhuǎn)動或背景變動，且在背景較復(fù)雜的情況下，實現(xiàn)視頻圖像中移動人物的檢測與追蹤。

1 輪廓特征提取

檢測的對象圖像背景復(fù)雜時，圖像分割后具有較高的邊緣特征，為降低移動輪廓模型線分割的難度，采用分水嶺算法、中值濾波及顏色相近區(qū)域統(tǒng)合作為圖像分割的前期處理。

本文在視頻圖像中人臉檢測研究的基礎(chǔ)上展開進一步研究，故在視頻圖像第一幀的人物頭部處設(shè)定控制點后,基于B-Spline函數(shù)生成頭部輪廓模型，利用人物頭部輪廓信息建立人物領(lǐng)域輪廓概要模型，基于高斯函數(shù)的卷積運算生成人物領(lǐng)域的對象模板[8]。即基于人臉檢測的結(jié)果設(shè)定控制點，生成人物領(lǐng)域輪廓概要模型，完成視頻圖像中人物領(lǐng)域的抽取。

1.1 高斯函數(shù)卷積運算

對人物領(lǐng)域邊界線生成的初步輪廓模型進行高斯函數(shù)的卷積運算，生成形態(tài)輪廓模型的有效對象模板。將初始模型邊界線的內(nèi)側(cè)設(shè)定為1，外側(cè)設(shè)定為0(1表示人物領(lǐng)域，0表示背景)?；谑?1)和式(2)對二值化后的圖像x(i,j)進行高斯函數(shù)卷積運算，生成白色部分與人物領(lǐng)域高度接近的初步模型，即為輪廓邊緣模糊的對象模板圖像y(i,j)。

其中,m和n分別為高斯卷積運算的模板大小參數(shù)，σ為尺度參數(shù)。

將二值信息用于人物領(lǐng)域模板的判斷時，如果模板位置與實際邊界線位置不吻合，實際的人物領(lǐng)域會被錯誤地判定為背景領(lǐng)域。但經(jīng)過高斯函數(shù)的卷積運算、明暗界線的模糊處理后，人物領(lǐng)域的推定和判斷具有較強的魯棒性。人物領(lǐng)域的相似度分布在數(shù)值0～1之間，使人物領(lǐng)域的判定具有高度的柔韌性。

1.2 人物領(lǐng)域判定

人物領(lǐng)域判定的準(zhǔn)確度直接影響圖像中移動物體抽出的準(zhǔn)確與否，故領(lǐng)域判定規(guī)則以與人物領(lǐng)域相似度的高低為判定基準(zhǔn)。領(lǐng)域判定規(guī)則設(shè)為如下2個條件:

條件1：相鄰領(lǐng)域?qū)ο髿w屬度M值較大;

條件2：相鄰領(lǐng)域的色差△E值較小。

條件1表明相鄰領(lǐng)域同屬于人物領(lǐng)域的可能性高。另外，也可防止以輪廓邊界線為邊界的相鄰領(lǐng)域錯誤合并情況的發(fā)生。條件2表明相鄰兩領(lǐng)域的色差較小的情況下，兩領(lǐng)域為同一領(lǐng)域的可能性較高。同時滿足上述2個條件的領(lǐng)域是人物領(lǐng)域的可能性較高。圖1為條件1和條件2的正規(guī)化函數(shù)示意圖,圖中 f1(M)、f2(△E)用式(3)取加權(quán)平均值計算領(lǐng)域判定規(guī)則的“度”μ。

圖1 正規(guī)化函數(shù)示意圖

其中m1,m2為條件1與條件2的權(quán)重。合并圖像中相鄰領(lǐng)域同時計算μ值，并將其與最大的相鄰領(lǐng)域合并。反復(fù)進行合并操作，直到μ高度接近閾值Tμ。合并結(jié)束后，所得領(lǐng)域的集合即為對象領(lǐng)域。

2 基于Condensation的頭部輪廓追蹤

2.1 頭部輪廓模型

頭部輪廓追蹤是基于形變輪廓模型實現(xiàn)視頻圖像中人物領(lǐng)域抽取連續(xù)性的關(guān)鍵。采用Condensation粒子追蹤算法預(yù)先生成追蹤對象模型，將模型在被檢測圖像的不同位置進行匹配運算，最后從中選取最合適的模型追蹤移動對象。結(jié)合可學(xué)習(xí)的動態(tài)模型，完成具有魯棒性的運動追蹤。其中需要設(shè)定模型的位置和形狀的相關(guān)參數(shù)。追蹤對象的頭部輪廓模型r(s)(r(s)=(x(s),y(s))T)可由N個控制點與 B-Spline函數(shù)，基于式(4)求得迎合人物頭部輪廓位移的移動輪廓模型r(s)。

2.2 基于仿射變換的模型更新

模型r(s)的移動是基于控制點Q的更新實現(xiàn)，控制點是2N次元，故增加控制點數(shù)量的同時,也增加了數(shù)據(jù)更新的難度。原控制點qx、qy經(jīng)仿射變換可得到變換后的控制點

其中，s、t為位移參數(shù)，a、b、c、d 為形變參數(shù)。

2.3 預(yù)測分析中模型的drift與diffuse

人物頭部領(lǐng)域的追蹤過程中，基于對象的移動對模型進行預(yù)測分析。式(6)預(yù)測了模型下一時刻的狀態(tài)。

其中,A為模型狀態(tài)X的形變量,與移動類型的狀態(tài)遷移模型;w為高斯噪音，用于狀態(tài)X的擴散，即為基于前一時間狀態(tài)模型的AXt-1位移(drift)和 w擴散(diffuse)對下一時刻的模型進行預(yù)測。圖2為預(yù)測分析示例。

3 對象模板位移量計算

3.1 基于當(dāng)前處理結(jié)果的人物輪廓模型更新

圖2 對象模型中位移與擴散

基于人臉領(lǐng)域的追蹤結(jié)果，計算對象模板的位移量。在圖像中分布的多個模型中選擇觀測概率最高的一個。使用選中模型第一幀對應(yīng)的仿射變換中的變換參數(shù)(s、t)的值計算對象模板位移量。然后移動對象模板，并將其與領(lǐng)域分割結(jié)果圖像進行疊加，檢測當(dāng)前時刻的人物領(lǐng)域。圖3為幀間人臉領(lǐng)域追蹤結(jié)果與模板移動示意圖。為進一步提高人物領(lǐng)域檢測精度，采用基于當(dāng)前所得人物領(lǐng)域的檢測結(jié)果來提高當(dāng)前幀以后的人物領(lǐng)域檢測精度算法。假定當(dāng)前所得各幀的檢測結(jié)果為真，將各幀中的人物領(lǐng)域內(nèi)側(cè)設(shè)定為1，外側(cè)設(shè)定為0，并將其重疊。然后將1累計，累計結(jié)果大于閾值Tb的領(lǐng)域則判定為人物領(lǐng)域，并將其所對應(yīng)輪廓線作為下一幀的輪廓模型。

圖3 基于人臉領(lǐng)域模板位移示意圖

3.2 視頻圖像中人物領(lǐng)域的抽取

檢測實驗的處理對象視頻分別為攝像頭固定人物左右晃動、人物固定攝像頭轉(zhuǎn)動、人物和攝像頭都移動3種視頻圖像。圖4是3種圖像的人臉定位追蹤結(jié)果圖像，追蹤過程中生成的模型的數(shù)量為50個，模型監(jiān)測計算過程中設(shè)定σc=1.0,Ti=0.95。圖5所示結(jié)果為基于對象模板位移量計算所得3種視頻類型中人物領(lǐng)域檢測結(jié)果。

圖4 基于頭部追蹤的形變輪廓模板

圖5 人物領(lǐng)域抽取結(jié)果

對實驗結(jié)果基于式(7)進行定量評價分析。評定方法為標(biāo)準(zhǔn)判定圖像(正確人物領(lǐng)域圖像)，將檢測結(jié)果圖像與其進行比較分析。其中，Atest為t時刻的檢測結(jié)果二值圖像(人物領(lǐng)域為 1，非人物領(lǐng)域為 0);判定 Atref為 t時刻的值采用標(biāo)準(zhǔn)二值圖像，⊕為“異或”運算。所得評價值表示評定對象與評定標(biāo)準(zhǔn)的差異值，分母是檢測對象面積，當(dāng)分子的數(shù)值較大時則表示檢測的誤差較大。對圖5所示3種檢測結(jié)果各取130幀進行定量評價分析，評定的對比結(jié)果如圖6所示，3種移動情況的平均誤差分別為14.9%、16.7%和17.7%，3種視頻圖像都達到了較好的檢測結(jié)果。

本論提出了在背景相對復(fù)雜的人物領(lǐng)域檢測算法，拓寬了檢測系統(tǒng)的使用范圍，提高了檢測系統(tǒng)在實際應(yīng)用中的可靠性。提出基于高斯函數(shù)處理輪廓概要模型生成具有魯棒性的對象模板，使得人物領(lǐng)域判斷具有高度柔韌性?；贑ondensation預(yù)測及分析人物頭部輪廓模型的位移和擴散，提出基于當(dāng)前處理結(jié)果更新人物輪廓模型，進一步提高了檢測精度。

圖6 人物領(lǐng)域追蹤結(jié)果評價圖

[1]羅嘉,韋志輝.基于幾何活動輪廓模型的目標(biāo)跟蹤與快速運動估計[J].中國圖像圖形學(xué)報,2009,14(7):1361-1368.

[2]MAKOTO M,MASAHIDE Y,KATSUHIKO S.Extraction of human face and transformable region by facial expression based on extended labeled graph matching[J].Electronics and Communications in Japan,2013,87(10):35-43.

[3]高頌,李富棟.圖像邊緣提取的區(qū)域聯(lián)合分割與主動輪廓模型[J].激光與紅外,2013,43(1):94-97.

[4]喬磊,李存華,仲兆滿,等.基于規(guī)則的人物信息抽取算法的研究[J].南京師范大學(xué)學(xué)報（自然科學(xué)版）,2012,35(4):134-139.

[5]潘改,高立群,趙爽.基于局部熵的主動輪廓模型[J].中國圖象圖形學(xué)報,2013,18(1):78-85.

[6]顧裕豐,劉國棟.一種復(fù)雜場景下的運動目標(biāo)跟蹤算法[J].電子技術(shù)應(yīng)用[J].2012,38(1):122-124,127.

[7]朱洪錦，范洪輝，陳興瑞，等.基于局部自我相關(guān)函數(shù)光線照明變化下的人臉檢測[J].山東大學(xué)學(xué)報:工學(xué)版,2012,42(5):36-40.

[8]李昌盛，王亞娟，黃啟俊，等.基于 FPGA的人臉檢測系統(tǒng)設(shè)計[J].電子技術(shù)應(yīng)用,2011,37(10):13-16.