蘇 潔,印桂生,魏振華,劉亞輝
(1.哈爾濱工程大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,黑龍江 哈爾濱150001;2.哈爾濱理工大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,黑龍江哈爾濱150080;3.華北電力大學(xué)控制與計(jì)算機(jī)工程學(xué)院,北京102206;4.北京信息科技大學(xué)計(jì)算中心,北京100085)
由于視覺跟蹤對于噪聲和光照環(huán)境的變化非常敏感,許多視覺跟蹤算法,包括基于顏色的視覺跟蹤算法在有噪聲和光照環(huán)境變化情況下對目標(biāo)的跟蹤往往失敗.為了實(shí)現(xiàn)復(fù)雜環(huán)境變化下的魯棒視覺跟蹤,Collins等[1-2]通過在線選取最能區(qū)分跟蹤目標(biāo)和背景的特征用于描述跟蹤目標(biāo)的表面模型,克服目標(biāo)表面改變以及背景干擾對跟蹤的影響,但不能很好地克服目標(biāo)表面特征快速變化帶來的影響,跟蹤不穩(wěn)定.Freedman等[3]通過計(jì)算目標(biāo)的光照不變光流場,可以實(shí)現(xiàn)目標(biāo)在劇烈光照變化情況下的跟蹤,但計(jì)算量較大,難以實(shí)現(xiàn)實(shí)時(shí)跟蹤.Han等[4]在圖像檢索中利用模糊C-均值聚類方法建立目標(biāo)的模糊顏色直方圖,克服了傳統(tǒng)顏色直方圖對光照變化及噪聲較敏感的缺點(diǎn),但是會(huì)減弱目標(biāo)模型對前景及背景的可分性,無法實(shí)現(xiàn)對目標(biāo)的穩(wěn)定跟蹤.基于邊緣特征的視覺跟蹤方法可以避免光照變化的影響,但是準(zhǔn)確獲取多目標(biāo)的邊緣特征是非常困難的,在邊緣模糊和高噪聲的圖像序列中準(zhǔn)確獲取邊緣特征更為困難.此外,多運(yùn)動(dòng)目標(biāo)跟蹤過程中的目標(biāo)準(zhǔn)確識(shí)別、目標(biāo)相互遮擋以及定義目標(biāo)的特征集等,都是目前研究多運(yùn)動(dòng)目標(biāo)跟蹤所存在的難題.基于優(yōu)化M-S模型的多運(yùn)動(dòng)目標(biāo)視覺跟蹤方法是一種光照變化情況下實(shí)現(xiàn)多運(yùn)動(dòng)目標(biāo)準(zhǔn)確跟蹤的新方法,通過精確提取每個(gè)目標(biāo)的邊緣特征、在復(fù)雜環(huán)境中準(zhǔn)確定義和修正邊緣特征實(shí)現(xiàn)聯(lián)合粒子濾波框架下魯棒的、精確的多運(yùn)動(dòng)目標(biāo)跟蹤[5].
Mumford和 Shah在20世紀(jì)80年代提出的Mumford-Shah模型是一種曲線演化拓?fù)涞淖哉{(diào)整分析模型,簡稱為M-S模型,能夠通過局部邊緣信息與整體均勻區(qū)域信息結(jié)合實(shí)現(xiàn)曲線邊界的精確定位、抑制噪聲[6].M-S模型如下:
式中:α和β為非負(fù)整數(shù),u0為定義在開集Ω∈R2的初始圖像,閉集C∈R2為不連續(xù)集,表示區(qū)域界線的不連續(xù)點(diǎn),如邊緣和角點(diǎn).u是一個(gè)逼近初始圖像u0的平滑分段圖像,M-S模型是尋找適當(dāng)?shù)膗和C使得E(u,C)逼近最小值.
使用M-S模型求取數(shù)字解、進(jìn)行逼近是困難的.C-V模型是M-S模型的簡化模型:
式中:u、v、α和β為權(quán)值,滿足u≥0,v≥0,α≥0,β≥ 0.圖像u0被閉合曲線C分為內(nèi)區(qū)域和外區(qū)域,c1和c2分別為2個(gè)區(qū)域的灰度均值.當(dāng)C逼近均值區(qū)域u0的邊界時(shí),E(C,c1,c2)逼近最小值.
優(yōu)化M-S模型可用于復(fù)雜環(huán)境下多目標(biāo)準(zhǔn)確識(shí)別,降低模糊邊緣、噪聲的影響.模型滿足初始條件如下:
1)圖像序列包含多個(gè)目標(biāo)并且初始目標(biāo)區(qū)域和背景區(qū)域沒有相互重疊.
2)曲線C是由許多閉合曲線組成,將圖像分成M個(gè)目標(biāo)區(qū)域N個(gè)背景區(qū)域.
3)目標(biāo)區(qū)域滿足f(x,y)>0,M個(gè)目標(biāo)區(qū)域記為Ci,tar(i=1,2,…,M),ci,tar為Ci,tar的特征值.
4)背景區(qū)域滿足f(x,y)<0,N個(gè)背景區(qū)域記為Cj,back(j=1,2,…,N),cj,back為Cj,back的特征值.
ci,tar和cj,back是區(qū)域亮度值,優(yōu)化的M-S模型如下:
優(yōu)化M-S模型完成迭代計(jì)算后,為了標(biāo)記圖像序列中的多個(gè)運(yùn)動(dòng)目標(biāo),采用像素標(biāo)記法標(biāo)記區(qū)域[7],如圖1所示.
圖1 區(qū)域標(biāo)記Fig.1 Region marks
設(shè)M和N的初值為0,搜索規(guī)則從圖像的左上點(diǎn)出發(fā),從左到右,從上到下順序進(jìn)行掃描,對圖像像素判別,若為目標(biāo)區(qū)域像素,從該像素出發(fā),執(zhí)行區(qū)域生長,用變量M標(biāo)記,區(qū)域生長結(jié)束后M+= 1;若為背景區(qū)域像素,執(zhí)行區(qū)域生長,用變量N標(biāo)記,區(qū)域生長結(jié)束后,N-=1.
優(yōu)化M-S模型完成迭代計(jì)算后,執(zhí)行區(qū)域標(biāo)記.對于圖像中的像素,執(zhí)行上述操作直至圖像掃描結(jié)束.
利用區(qū)域標(biāo)記的多目標(biāo)輪廓提取方法簡單、有效,降低了計(jì)算復(fù)雜性.假定圖像序列中包含的多個(gè)目標(biāo)在初始情況下目標(biāo)區(qū)域沒有相互重疊部分,提取多目標(biāo)輪廓方法如下:
1)定義距離函數(shù)為水平集函數(shù),記為f(x,y);
2)初始目標(biāo)數(shù)M和初始背景數(shù)N設(shè)定為0;
3)按照模型3所示的優(yōu)化M-S模型迭代計(jì)算;
4)用區(qū)域像素標(biāo)記法標(biāo)記目標(biāo)邊界,如圖2所示;
5)掃描邊緣標(biāo)記,記錄多目標(biāo)邊緣點(diǎn)集.
圖2 多目標(biāo)邊緣標(biāo)記Fig.2 Mark of multi-target edges
邊緣特征向量的正確定義可以簡化計(jì)算,降低采樣粒子數(shù),提高跟蹤的實(shí)時(shí)性.二值差分圖像點(diǎn)集定義為D={d1,d2,…,dm}.采用區(qū)域像素標(biāo)記法,多目標(biāo)的初始邊緣點(diǎn)集定義為
對于目標(biāo)邊緣點(diǎn)集,采用Canny算子提取每個(gè)目標(biāo)的邊緣特征,采用Susan算子提取每個(gè)目標(biāo)的角點(diǎn)信息.多目標(biāo)邊緣特征集定義為
運(yùn)動(dòng)目標(biāo)跟蹤過程中的目標(biāo)遮擋問題是視覺跟蹤研究的難點(diǎn).在跟蹤過程中采用修正邊緣特征集的方法可以解決目標(biāo)部分遮擋問題,獲取目標(biāo)獨(dú)立的、完備的邊緣特征.實(shí)際場景中的目標(biāo)數(shù)目固定不變,目標(biāo)姿態(tài)只發(fā)生微小改變時(shí),部分遮擋的目標(biāo)在標(biāo)記模版中體現(xiàn)為2種狀態(tài):1)標(biāo)記模版中的目標(biāo)數(shù)目不變,某些目標(biāo)的輪廓發(fā)生改變;2)標(biāo)記模版中的目標(biāo)數(shù)目減少,某些目標(biāo)的輪廓發(fā)生改變.
第1種狀態(tài)證明沒有發(fā)生多目標(biāo)相互遮擋,輪廓變化的目標(biāo)可以參照初始目標(biāo)標(biāo)記,采用對圖像噪聲不敏感的Hough變換方法和膨脹方法恢復(fù)其輪廓,提取其完備的邊緣特征.第2種狀態(tài)說明在運(yùn)動(dòng)過程中至少有2個(gè)目標(biāo)相互遮擋,采取如下所示分裂方法識(shí)別目標(biāo)、提取目標(biāo)特征集:
1)當(dāng)前目標(biāo)標(biāo)記與初始目標(biāo)標(biāo)記對照,利用邊緣特征檢測相互遮擋的目標(biāo);
2)根據(jù)初始目標(biāo)標(biāo)記,在當(dāng)前模版中標(biāo)記目標(biāo)未遮擋部分,如圖3所示;
3)采用Hough變換和膨脹方法獨(dú)立恢復(fù)遮擋目標(biāo)的輪廓;
4)重標(biāo)記每個(gè)目標(biāo)的遮擋部分.
采用定義目標(biāo)特征集的方法,根據(jù)重目標(biāo)標(biāo)記模版定義每個(gè)目標(biāo)的獨(dú)立邊緣特征集.
圖3 標(biāo)記目標(biāo)未遮擋部分Fig.3 Unshielded part of the marked targets
目標(biāo)跟蹤被看作是連續(xù)狀態(tài)估計(jì)問題.經(jīng)典的卡爾曼濾波只能夠處理線性、高斯和單模態(tài)問題,而實(shí)際的后驗(yàn)概率通常為非線性、非高斯、多模態(tài)問題.利用粒子濾波方法可以解決運(yùn)動(dòng)目標(biāo)跟蹤的非線性、非高斯、多模態(tài)問題[8].
根據(jù)粒子濾波理論,如果目標(biāo)狀態(tài)已知xk-1,后續(xù)狀態(tài)xk可以利用下式通過計(jì)算后驗(yàn)概率密度獲得
p(xk|zk)用加權(quán)的后驗(yàn)采樣粒子集合表示:
1)估計(jì)前驗(yàn)分布p(x0).采用優(yōu)化M-S模型的方法獲取運(yùn)動(dòng)目標(biāo)的輪廓,建立目標(biāo)特征集.定義初始分布為p(x0).
2)定義預(yù)測模型p(xk|xk-1).
3)定義p(zk|xk)以估計(jì)
使用一個(gè)濾波器完成多目標(biāo)跟蹤時(shí),對每個(gè)目標(biāo)的跟蹤可以看作估計(jì)該濾波器的聯(lián)合配置分布問題.該方法雖然有效,但是會(huì)導(dǎo)致昂貴的計(jì)算代價(jià),其計(jì)算復(fù)雜度與更新遞歸的計(jì)算復(fù)雜度一樣,計(jì)算量隨著目標(biāo)數(shù)指數(shù)倍增長[9-10].
為了降低計(jì)算復(fù)雜度,用簡化的聯(lián)合多濾波方法替代上述方法.使用多個(gè)濾波器,每個(gè)跟蹤器跟蹤一個(gè)目標(biāo),估計(jì)跟蹤目標(biāo)的演化.在動(dòng)態(tài)模型和觀測模型是可分的前提下,當(dāng)初始目標(biāo)分布可分時(shí),后驗(yàn)概率是可分項(xiàng).應(yīng)用該法方法執(zhí)行多目標(biāo)跟蹤降低了計(jì)算復(fù)雜度,使計(jì)算量隨著目標(biāo)數(shù)目的增長而線性增長,使計(jì)算由指數(shù)級(jí)復(fù)雜度降低為線性復(fù)雜度.
簡化聯(lián)合多濾波方法的關(guān)鍵問題是如何提取多個(gè)運(yùn)動(dòng)目標(biāo)的獨(dú)立邊緣特征,尤其是在多個(gè)目標(biāo)運(yùn)動(dòng)過程中出現(xiàn)遮擋情況下如何建立目標(biāo)獨(dú)立、完備的邊緣特征集.由于初始情況下的多個(gè)目標(biāo)無相互遮擋,目標(biāo)邊緣點(diǎn)集相互獨(dú)立,可以利用區(qū)域標(biāo)記模板建立獨(dú)立的目標(biāo)邊緣特征集.目標(biāo)在運(yùn)動(dòng)過程中出現(xiàn)遮擋情況時(shí),在區(qū)域標(biāo)記模板上執(zhí)行遮擋目標(biāo)分裂,利用Hough變換、膨脹算法恢復(fù)目標(biāo)輪廓,在區(qū)域標(biāo)記模板上獨(dú)立標(biāo)記各個(gè)目標(biāo),提取目標(biāo)獨(dú)立的邊緣點(diǎn)集,建立目標(biāo)獨(dú)立的、完備的邊緣特征集.
多目標(biāo)邊緣點(diǎn)集記為E=E1∪E2∪…∪EM,由于可以提取獨(dú)立的目標(biāo)邊緣點(diǎn)集,利用目標(biāo)點(diǎn)集獨(dú)立濾波事件的相互獨(dú)立性可證,即利用各目標(biāo)點(diǎn)集獨(dú)立濾波的事件記為Ai(i=1,2,…M),A1,A2,…,AM相互獨(dú)立,則有多目標(biāo)聯(lián)合濾波事件概率滿足:
多目標(biāo)聯(lián)合濾波的目標(biāo)集用向量X描述,xit表示目標(biāo)i在t時(shí)刻的狀態(tài),i=1,2,…,M.多目標(biāo)的聯(lián)合分布近似表示為如下:
式中:Xi為多目標(biāo)在t時(shí)刻的狀態(tài),zt-1為t-1時(shí)刻的觀測值)為目標(biāo)i在t=0時(shí)刻的分布,為已知值,p(X0)為多目標(biāo)在t=0時(shí)刻的分布,描述為獨(dú)立的初始分布.對于合理觀測率,p(xt|xt-1)下的演化操作動(dòng)態(tài)部件由獨(dú)立的單一目標(biāo)重要性分布q控制,在此基礎(chǔ)上增加聯(lián)合因子.定義的模型如下
采用優(yōu)化的M-S模型,利用區(qū)域標(biāo)記模版可以識(shí)別目標(biāo)區(qū)域,區(qū)域不再相互依賴,圖像序列中的觀測模型為可分項(xiàng),如下:
上述定義的觀測模型對于部分和完全干擾具有魯棒性,符合目標(biāo)塊的統(tǒng)計(jì)獨(dú)立性.
基于目標(biāo)邊緣特征的聯(lián)合濾波多目標(biāo)跟蹤的實(shí)施方案如下:
1)識(shí)別目標(biāo),用區(qū)域像素標(biāo)記法標(biāo)記目標(biāo).在圖像序列中檢測目標(biāo)遮擋情況,如果存在目標(biāo)遮擋問題,執(zhí)行目標(biāo)分裂,在模版上重標(biāo)記目標(biāo).
2)定義邊緣特征向量,利用標(biāo)記模版建立多目標(biāo)特征集.
3)在聯(lián)合粒子濾波多目標(biāo)跟蹤框架下實(shí)施多目標(biāo)跟蹤.
在復(fù)雜環(huán)境中選取不同對象作為跟蹤目標(biāo).測試使用的視頻序列為380×240像素.為了給出清晰的實(shí)驗(yàn)結(jié)果,實(shí)驗(yàn)1與實(shí)驗(yàn)2使用Bk={ux,uy,W,H}給出跟蹤實(shí)驗(yàn)結(jié)果,ux和uy為目標(biāo)中心的二維坐標(biāo),H和W分別為矩形區(qū)域的高和寬,如圖4、5所示.實(shí)驗(yàn)3對于形狀規(guī)則運(yùn)動(dòng)目標(biāo)跟蹤,在利用目標(biāo)邊緣特征點(diǎn)集聯(lián)合濾波計(jì)算之后,使用擬合的曲線給出目標(biāo)近似邊緣,表示跟蹤的實(shí)驗(yàn)結(jié)果,如圖6所示.
圖4給出了真實(shí)視頻中的目標(biāo)跟蹤結(jié)果.實(shí)驗(yàn)表明該方法能夠在復(fù)雜環(huán)境中識(shí)別多個(gè)運(yùn)動(dòng)目標(biāo)的輪廓,在噪聲情況下對于運(yùn)動(dòng)的多目標(biāo)可以準(zhǔn)確跟蹤.圖5是在光照條件較差情況下的實(shí)驗(yàn)結(jié)果.
圖4 跟蹤緩慢運(yùn)動(dòng)的多目標(biāo)Fig.4 Track slowly moving multi-targets
圖5 光照環(huán)境較差情況跟蹤緩慢運(yùn)動(dòng)多目標(biāo)Fig.5 Track slowly moving multi-targets while illumination environments are bad
在光照條件較差情況下,采用基于顏色特征、文理特征的跟蹤方法往往會(huì)失效;采用基于模型的跟蹤方法可以取得較好效果,但是模型的建立較為困難;采用基于邊緣特征的跟蹤方法不會(huì)受到光照影響.實(shí)驗(yàn)證明,基于優(yōu)化M-S模型的魯棒多目標(biāo)跟蹤方法取得了較為理想的實(shí)驗(yàn)結(jié)果.
圖6 跟蹤形狀規(guī)則運(yùn)動(dòng)目標(biāo)Fig.6 Track moving targets with normal shape
對于圖6所示形狀規(guī)則運(yùn)動(dòng)目標(biāo),使用優(yōu)化MS模型和標(biāo)記模板準(zhǔn)確提取了目標(biāo)邊界和邊緣特征,目標(biāo)姿態(tài)在運(yùn)動(dòng)過程中發(fā)生輕微改變,但是跟蹤結(jié)果顯示該方法能夠?qū)崿F(xiàn)實(shí)時(shí)的、準(zhǔn)確的跟蹤.
用目標(biāo)跟蹤有效率η驗(yàn)證跟蹤算法的性能.η定義為
式中:Ne為準(zhǔn)確跟蹤幀數(shù),N有效跟蹤幀數(shù).從跟蹤算法的實(shí)時(shí)性、準(zhǔn)確性和魯棒性分析,在噪聲增大、光照變化和運(yùn)動(dòng)目標(biāo)相互遮擋情況下分別使用經(jīng)典的差分跟蹤算法、基于顏色特征的跟蹤算法和基于優(yōu)化M-S模型的魯棒跟蹤算法分別對同一視頻序列中的目標(biāo)在40 s內(nèi)跟蹤,圖7給出了3種算法的跟蹤效率.
圖7 經(jīng)典跟蹤算法性能比較Fig.7 Performance comparison of classic tracking methods
由圖7(a)可以看出基于優(yōu)化M-S模型的魯棒跟蹤算法對環(huán)境噪聲的影響較小,實(shí)驗(yàn)中的跟蹤有效率控制在95%以上.圖7(b)可以看出基于優(yōu)化M-S模型的魯棒跟蹤算法使用邊緣特征跟蹤,對光照變化不敏感.圖7(c)可以看出基于優(yōu)化M-S模型的魯棒跟蹤算法出現(xiàn)丟失目標(biāo)情況,這是由算法本身迭代計(jì)算復(fù)雜性決定的.影響跟蹤的實(shí)時(shí)性的因素主要有2個(gè):M-S模型本身的計(jì)算復(fù)雜性、粒子濾波中的冗余粒子.運(yùn)動(dòng)目標(biāo)在20 s出現(xiàn)相互遮擋,基于差分方法的跟蹤算法和基于顏色特征的跟蹤算法跟蹤有效率不穩(wěn)定,出現(xiàn)明顯降低,而基于優(yōu)化M-S模型的跟蹤算法跟蹤有效率相對穩(wěn)定.
理論上采樣數(shù)越多,跟蹤越有效和準(zhǔn)確,等價(jià)表示為所需的概率密度函數(shù).實(shí)際中,選擇太多的采樣粒子會(huì)降低跟蹤的實(shí)時(shí)性.基于優(yōu)化M-S模型的魯棒多目標(biāo)跟蹤方法選擇多目標(biāo)的邊緣特征集作為粒子采樣區(qū),有效降低了冗余粒子數(shù),提高跟蹤的實(shí)時(shí)性.另一方面,簡化的聯(lián)合粒子濾波方法利用標(biāo)記模板將每個(gè)目標(biāo)看作獨(dú)立的個(gè)體實(shí)現(xiàn)濾波計(jì)算,使得算法復(fù)雜度由指數(shù)復(fù)雜度降低為線性復(fù)雜度,提高了跟蹤的實(shí)時(shí)性.2種解決方案使得方法最終獲得折衷的實(shí)時(shí)跟蹤效果.
1)利用M-S模型,通過合理定義多目標(biāo)的邊緣特征集和多目標(biāo)標(biāo)記模板方法實(shí)現(xiàn)了多遮擋運(yùn)動(dòng)目標(biāo)的精確識(shí)別;
2)利用聯(lián)合濾波框的多目標(biāo)跟蹤方法降低了計(jì)算復(fù)雜度,使跟蹤復(fù)雜度隨跟蹤目標(biāo)數(shù)目線性增加;
3)利用目標(biāo)邊緣特征和標(biāo)記模板的跟蹤降低了光照變化的敏感性;
4)在多個(gè)真實(shí)場景中的實(shí)驗(yàn)結(jié)果表明:較差分跟蹤算法、基于顏色特征的跟蹤算法,該方法具有簡單、快速、準(zhǔn)確的優(yōu)點(diǎn),在自然光照變化環(huán)境中和較大噪聲情況下,能夠準(zhǔn)確識(shí)別多目標(biāo),克服了光照變化環(huán)境和噪聲對視覺跟蹤算法的影響.
在此基礎(chǔ)上,如何進(jìn)一步提高多運(yùn)動(dòng)目標(biāo)跟蹤方法的實(shí)時(shí)性是今后研究工作的重點(diǎn).
[1]DORIN C,VISVANATHAN R,PETER M.Kernel-based tracking[J].IEEE Trans on Pattern Analysis and Machine Intelligence,2003,25(5):564-577.
[2]COLLINS R T,LIU Y.On-line selection of discriminative tracking features[C]//Proc of IEEE Conference on Computer Vision.Nice,F(xiàn)rance,2003:346-352.
[3]FREEDMAN D,TUREK M.Illumination-invariant tracking via graph cuts[C]//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Los Alamitos,USA,2005: 10-17.
[4]HAN J and MA K.Fuzzy color histogram and its use in color image retrieval[J].IEEE Trans on Image Processing,2002,11(8):944-952.
[5]ZHOU S K,CHELLAPPA R,MOGHADDAN B.Visual tracking and recognition using appearance-adaptive models in particle filter[J].IEEE Transaction on Image Processing,2004,13(11):1491-1506.
[6]原達(dá),張彩明,李晉江,劉曉華.基于Mumford-Shah模型的高精度MR圖像輪廓提取算法[J].計(jì)算機(jī)學(xué)報(bào),2009,32(2):269-274.
YUAN Da,ZHANG Caiming,LI Jinjiang,LIU Xiaohua.A high-accuracy contour extraction algorithm for MR image based on Mumford-Shah model[J].Chinese Journal of Computers,2009,32(2):269-274.
[7]章毓晉.圖像處理和分析[M].北京:清華大學(xué)出版社,1999:195-207.
ZHANG Yujin.Image process and analysis[M].Beijing: Tsinghua University Press,1999:195-207.
[8]劉洋,李玉山,張大樸.基于動(dòng)態(tài)目標(biāo)建模的粒子濾波視覺跟蹤算法[J].光子學(xué)報(bào),2008,37(2):375-380.
LIU Yang,LI Yushan,ZHANG Dapu.Visual tracking based on dynamic object modeling in particle filter[J].Acta Photonica Sinica,2008,37(2):375-380.
[9]LANZ O.Approximate Bayesian multibody tracking[J].IEEE Trans on Pattern Analysis and Machine Intelligence,2006,9(28):1436-1450.
[10]LANZ O,MANDUCHI R.Hybrid joint-separable multibody tracking[C]//Proc Int'l Conf Computer Vision and Pattern Recognition.San Diego,USA,2005:413-420.