基于均值漂移的立體視頻對象分割*

沈縈華，呂朝輝

（中國傳媒大學(xué) 信息工程學(xué)院，北京 100024）

責(zé)任編輯:哈宏疆

1 引言

視頻分割是指將圖像或視頻序列按一定的準(zhǔn)則分割成區(qū)域，目的是為了從視頻序列中分離出視頻對象。立體視頻對象分割技術(shù)是從靜態(tài)圖像分割技術(shù)和單通道視頻分割技術(shù)的基礎(chǔ)上發(fā)展起來的。進(jìn)行立體視頻對象分割[1-3]，可以利用靜態(tài)圖像分割技術(shù)和單通道視頻分割技術(shù)中的分割方法，先提取一路通道視頻的目標(biāo)，然后根據(jù)視差估計(jì)提取另一通道的相應(yīng)目標(biāo)。立體圖像對中的深度信息指示了三維對象的空間位置，可以直接利用視差圖來提取出不同深度層面的物體。

根據(jù)視差圖的特性，筆者提出了利用改進(jìn)的均值漂移算法與視差圖相結(jié)合的方法對立體視頻對象進(jìn)行分割。通過實(shí)驗(yàn)驗(yàn)證，這種分割方法可以取得很好的分割效果。

2 視差估計(jì)

所謂視差是指同一個(gè)點(diǎn)在兩幅圖像中投影點(diǎn)之間的位置偏差，定義P點(diǎn)在左右成像平面的投影點(diǎn)離各自平面中心的位移之差為視差dv，即:

式（1）把物體與像平面的距離z（即三維世界中的深度）及視差d直接聯(lián)系了起來。視差包含了三維場景物體的空間信息，可以用來描述相對深度。處在同一目標(biāo)對象上的點(diǎn)，由于它們與攝像機(jī)之間的距離相近，其視差也相近，具有連續(xù)性；但在對象邊界處，由于不同對象離攝像機(jī)的距離不同，故視差不同，具有間斷性。離攝像機(jī)較近的物體，產(chǎn)生較小的立體視差；而離攝像機(jī)較遠(yuǎn)的物體則產(chǎn)生較大的立體視差。

筆者使用的是一種基于自適應(yīng)權(quán)值的視差估計(jì)方法[4]。

3 立體視頻對象的分割

3.1 分割前的預(yù)處理

為了抑制視差圖中的噪聲，采用3×3模板的中值濾波方法對視差圖進(jìn)行濾波。由連續(xù)性約束可知，除了對象邊界處深度間斷的地方，物體的視差變化是連續(xù)的。根據(jù)這個(gè)約束條件可以對立體圖像對的視差圖中處于不同視差平面的物體使用改進(jìn)的mean shift方法對視頻對象進(jìn)行提取。

3.2 改進(jìn)的mean shift算法

mean shift是一種非參數(shù)密度估計(jì)的方法[5]。算法的核心是對特征空間的樣本點(diǎn)進(jìn)行聚類，得到密度梯度為零的點(diǎn)。在d維歐氏空間Rd中，有n維樣本點(diǎn)組成的集合 S=｛xi，1≤i≤n｝，點(diǎn) x 估計(jì)的密度概率值為

將g（x）作為G（x）輪廓函數(shù)，將（4）代入（3），得

mean shift向量 mh，G（x）總是指向密度大的方向，即密度梯度增加的方向。

筆者基于視差圖的分割，對mean shift向量進(jìn)行了改進(jìn)

式中:d（x）代表灰度值。由于視差圖具有不同層次的灰度值，通過不同的灰度值可以確定不同的對象，在mean shift向量中通過加入灰度權(quán)值，可以更準(zhǔn)確地區(qū)分不同層次的對象。

3.3 基于改進(jìn)的mean shift的視頻對象的分割

筆者是通過對視差圖使用改進(jìn)的均值漂移聚類的方法得到視頻對象的分割。聚類是按照事物間的相似性進(jìn)行分類的過程，聚類過程中聚類中心點(diǎn)的尋找是關(guān)鍵，聚類中心點(diǎn)是特征空間中密度的局部最大值點(diǎn)。mean shift方法是通過mean shift矢量迭代來定位密度的模式點(diǎn)，mean shift方法對圖像進(jìn)行聚類時(shí)，迭代計(jì)算每一個(gè)像素點(diǎn)的mean shift矢量，來確定相應(yīng)的密度模式點(diǎn)，并準(zhǔn)確的將像素點(diǎn)歸到對應(yīng)的區(qū)域內(nèi)。如果對圖像中的每一個(gè)像素點(diǎn)都進(jìn)行迭代計(jì)算，則計(jì)算量較大，為提高分割算法的效率，筆者利用視差圖的特性對mean shift算法進(jìn)行了改進(jìn)，改進(jìn)的mean shift的算法步驟如下:

1）根據(jù)灰度值的不同對視差圖中的所有像素進(jìn)行分類，屬于同一灰度級的像素進(jìn)行標(biāo)記Mi；

2）窗口中心處于當(dāng)前某一像素的位置；

3）檢查當(dāng)前像素的4鄰域，如果其中某個(gè)像素與當(dāng)前像素處于同一灰度級，則用鄰域像素取代當(dāng)前像素，返回 3），否則 4）；

4）計(jì)算mean shift向量，將窗口中心移至鄰域的像素的位置，直到mean shift向量小于某一閾值時(shí)停止；

5）通過聚類，合并小于某一閾值的區(qū)域，進(jìn)行分割。

4 實(shí)驗(yàn)結(jié)果

為驗(yàn)證算法的有效性，選取了人工合成圖像和自然圖像進(jìn)行實(shí)驗(yàn)。人工合成圖像的分割結(jié)果如圖1所示。選取的人工合成圖像包含有灰度值及形狀不同的區(qū)域。可以看出，筆者所采用的方法能夠準(zhǔn)確分割出不同灰度層次的區(qū)域。

圖1 人工圖像的分割結(jié)果

自然圖像的分割如圖2所示，原始圖像采用了Tsukuba立體視頻序列對。圖2a和圖2b為原始的左圖像和右圖像，圖2c為求得的視差圖，圖2d為使用改進(jìn)的mean shift算法分割的視差圖，圖2e和圖2g為燈和雕塑對象區(qū)域的二值掩模圖像，圖2f為對象燈的分割結(jié)果，圖2h為對象雕塑的分割結(jié)果。通過實(shí)驗(yàn)結(jié)果可知，對圖像中前景的兩個(gè)對象可以取得很好的分割效果，分割對象的邊緣比較平滑準(zhǔn)確。

5 結(jié)論

筆者提出了一種利用改進(jìn)的mean shift算法分割視差圖的立體視頻對象提取方法。首先利用自適應(yīng)權(quán)值的視差估計(jì)方法得到立體視頻對象的視差圖，然后使用改進(jìn)的mean shift算法對獲得的視差圖進(jìn)行分割，實(shí)驗(yàn)結(jié)果表明這種方法可以準(zhǔn)確的提取視頻中具有語義信息的對象。進(jìn)一步的工作可以結(jié)合對象的運(yùn)動(dòng)信息，修正單獨(dú)依賴深度信息進(jìn)行分割的不足，以普遍適應(yīng)對各種場景立體視頻序列對象的分割。

[1]朱仲杰，郁梅，蔣剛毅.用于立體視頻會(huì)議系統(tǒng)的立體對象分割和跟蹤算法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)報(bào)，2004，16（3）:16-20.

[2]DOULAMIS A D，DOULAMIS N D，NTALIANIS K S，etal.Unsupervised semantic object segmentation of stereoscopic video sequences[C]//Proc.IEEE International Conference on Intelligence,Information and Systems.Washington D.C.:IEEE Press，1999:527-533.

[3]袁惇，呂朝輝.立體視頻對象分割綜述[J].電視技術(shù)，2006，30（S1）:123-124.

[4]呂朝輝，袁惇.一種基于自適應(yīng)權(quán)值的立體匹配方法[J].光學(xué)技術(shù)，2007，33（4）:501-504.

[5]COMANICI D，MEER P.Mean shift:a robust approach toward feature space analysis[J]. IEEE Trans. Pattern Analysis and Machine Intelligence，2002，24（5）:603-619.