利用運(yùn)動(dòng)紋理差異的運(yùn)動(dòng)目標(biāo)分割無監(jiān)督評(píng)價(jià)方法

涂晶潔，張維朋，田 思，閔超波，張俊舉,

?

利用運(yùn)動(dòng)紋理差異的運(yùn)動(dòng)目標(biāo)分割無監(jiān)督評(píng)價(jià)方法

涂晶潔1，張維朋1，田 思1，閔超波2，張俊舉1,2

（1.寧波大紅鷹學(xué)院 機(jī)械與電氣工程學(xué)院，浙江 寧波 315175；2.南京理工大學(xué) 電子工程與光電技術(shù)學(xué)院，江蘇 南京 210094）

運(yùn)動(dòng)紋理差異；無監(jiān)督評(píng)價(jià)；分割掩膜；紅外視頻

0 引言

運(yùn)動(dòng)目標(biāo)的檢測(cè)與分割技術(shù)在機(jī)器視覺的研究中尤為重要，可在視頻中提取人們感興趣的部分，為后續(xù)的視頻編碼、視頻檢索、圖像理解和模式識(shí)別等提供可靠的數(shù)據(jù)[1]。近年來，國(guó)內(nèi)外的研究人員對(duì)視頻序列中運(yùn)動(dòng)目標(biāo)的分割技術(shù)進(jìn)行了深入研究，并獲得了不錯(cuò)的成效，提出了很多視頻運(yùn)動(dòng)目標(biāo)分割算法[2-4]。運(yùn)動(dòng)分割質(zhì)量與性能的客觀評(píng)價(jià)，對(duì)實(shí)現(xiàn)更加精確的運(yùn)動(dòng)目標(biāo)分割有著重要的意義。

客觀評(píng)價(jià)主要分為兩類：有監(jiān)督的評(píng)價(jià)方法和無監(jiān)督的評(píng)價(jià)方法。有監(jiān)督的評(píng)價(jià)方法主要通過比較分割圖像與參考圖像，按照分割掩膜與參考圖像的差異水平來定量地衡量分割的性能[5]。參考圖像即為先驗(yàn)知識(shí)，可以通過手工標(biāo)注和多人投票的方式來確定，有些方法中參考圖像就是指運(yùn)動(dòng)目標(biāo)的真實(shí)情況。無監(jiān)督評(píng)價(jià)方法的主要原理是在沒有先驗(yàn)知識(shí)的情況下，提取出分割圖像中的某些特征，以此來衡量整個(gè)分割的性能效果。無監(jiān)督的評(píng)價(jià)方法大大彌補(bǔ)了需要先驗(yàn)知識(shí)的評(píng)價(jià)方法的不足，而且，此類方法可以作為分割算法中的一個(gè)評(píng)價(jià)環(huán)節(jié)，在線地對(duì)分割算法的輸出結(jié)果進(jìn)行量化評(píng)價(jià)，進(jìn)而實(shí)時(shí)地調(diào)整算法參數(shù)，獲得最優(yōu)的分割結(jié)果。因此，無監(jiān)督分割評(píng)價(jià)對(duì)于分割算法的開發(fā)和改進(jìn)具有重大的意義。常見的無監(jiān)督評(píng)價(jià)方法有區(qū)域間對(duì)比度、區(qū)域內(nèi)部均勻性、基于信息理論和最短描述長(zhǎng)度理論（minimum description length principle，MDL）的評(píng)價(jià)準(zhǔn)則[6]。Correia和Pereira提出了一種目標(biāo)內(nèi)部一致性準(zhǔn)則和目標(biāo)相互差異準(zhǔn)則CP[7]。目標(biāo)內(nèi)部一致性準(zhǔn)則由4個(gè)部分組成，分別為：外形規(guī)則性（基于致密性、圓度性和延伸性），空間一致性（基于空間感知信息和紋理方差），時(shí)域穩(wěn)定性（基于大小、延伸和紋理的差分）以及運(yùn)動(dòng)一致性（基于運(yùn)動(dòng)向量和臨界點(diǎn)的方差）。目標(biāo)相互差異包括與鄰域的局部顏色和運(yùn)動(dòng)對(duì)比度，鄰域?qū)比度用來衡量目標(biāo)內(nèi)外特征的差異，并且對(duì)于圖像中每一個(gè)目標(biāo)計(jì)算相應(yīng)的關(guān)聯(lián)度來估計(jì)目標(biāo)對(duì)人眼的吸引程度。如何將視頻序列的時(shí)域特征與空域特征更好地聯(lián)系以準(zhǔn)確表征運(yùn)動(dòng)目標(biāo)分割的品質(zhì)，是未來運(yùn)動(dòng)目標(biāo)分割無監(jiān)督評(píng)價(jià)的發(fā)展方向。

本文提出了一種利用運(yùn)動(dòng)紋理差異的運(yùn)動(dòng)目標(biāo)分割無監(jiān)督評(píng)價(jià)方法。該方法利用基于貝葉斯決策的精確量化準(zhǔn)則對(duì)差分圖像進(jìn)行精確量化，形成運(yùn)動(dòng)紋理的類別映射圖。然后，將Fisher多級(jí)線性判別[8]應(yīng)用于類別映射圖，以分割前景和背景之間的運(yùn)動(dòng)紋理差異來表征分割掩膜的性能。

1 基于貝葉斯決策的精確量化準(zhǔn)則

假設(shè)f為紅外視頻序列中第幀圖像，d為差分圖像，即d＝f－f－1。差分圖像包含了第幀圖像中的變化像素，反映了第幀圖像中的時(shí)域信息。

首先對(duì)差分圖像進(jìn)行粗略的量化處理。利用閾值法對(duì)差分圖像進(jìn)行二值化，提取出變化顯著的像素，降低噪聲的影響，形成變化檢測(cè)掩膜。在這里，二值化閾值＝mean(f)/4，其中mean(f)表示f中像素的灰度平均值，常數(shù)4是經(jīng)過大量實(shí)驗(yàn)之后確定的系數(shù)。然后，利用8鄰域模型在變化檢測(cè)掩膜中進(jìn)行連通域檢測(cè)，形成連通域映射圖W，其中每個(gè)像素點(diǎn)都為該像素點(diǎn)所屬連通域的標(biāo)記，用（＝1,2,3,…）表示，每個(gè)連通域也可表示為R。另外，靜止像素標(biāo)記為0。連通域映射圖W反映了變化像素的連通關(guān)系，但這只是粗略地量化。為了更加精確地表述變化像素連通區(qū)域之間的關(guān)系，需要建立更加精確的量化規(guī)則。

令a和b表示兩個(gè)不同的連通區(qū)域。它們兩者之間的關(guān)系只有兩種：屬于同一類別（用0表示）和屬于不同類別（用1表示）。令表示a和b之間的特征向量：

＝(SP)T(1)

根據(jù)貝葉斯理論，建立后驗(yàn)概率模型如下：

式中：由于S和P相互獨(dú)立，所以(S,P|x)＝(S|x)×(P|x)（＝0,1）。為了簡(jiǎn)化模型，不妨假設(shè)(0)＝(1)＝0.5。后驗(yàn)概率模型的核心是似然比模型，因此，可根據(jù)區(qū)域之間的特征向量，構(gòu)建似然比模型：

式中：S和P為量化尺度系數(shù)；S和P分別表示S和P的歸一化形式，定義：

式中：和分別表示輸入圖像的行數(shù)和列數(shù)。

于是，似然比模型可以寫成：

構(gòu)建可以反映兩連通區(qū)域之間特征的表達(dá)，其目的是判斷兩者之間的真實(shí)關(guān)系，即進(jìn)行決策。由于紅外圖像中目標(biāo)和背景的灰度一致性較好，因此將空間距離和灰度距離皆滿足一定條件的連通區(qū)域進(jìn)行聚類，可以更為清晰地反映紅外圖像中變化像素之間的聯(lián)系。根據(jù)似然比估計(jì)原理，決策準(zhǔn)則可定義為：

根據(jù)貝葉斯決策的最小風(fēng)險(xiǎn)準(zhǔn)則，決策閾值可依據(jù)下式進(jìn)行計(jì)算：

式中：C定義為決策代價(jià)。在本文中，假設(shè)所有決策的代價(jià)是相等的。圖1顯示了在S＝0.8和P＝0.8情況下的似然比估計(jì)概率密度分布情況。

接下來，需要對(duì)所提出的量化準(zhǔn)則進(jìn)行理論檢驗(yàn)，以驗(yàn)證其有效性。由于量化準(zhǔn)則的功能為決策，因此可以用誤差概率E對(duì)其性能進(jìn)行刻畫，誤差概率E定義如下：

E＝(0)fa＋(1)(1－d) (10)

式中：(x)表示先驗(yàn)概率；fa表示將原本屬于不同類的區(qū)域分在同一類別的概率；d表示將原本屬于同一類的區(qū)域分在同一類的概率。

2 精確量化方法

根據(jù)所提出基于貝葉斯的量化準(zhǔn)則，設(shè)計(jì)一套精確量化的方法流程，具體算法如算法1：

define an empty matrix

while 1

for every connect regionRsuch that≥1

for every connect regionRsuch that≠

ifS(R,R)＞(2P－1)×S/Pthen(,)＝(R,R)

end for

end for

find out the maximum of

cluster the corresponding two regions into the same class and updateW

if the maximum ofis bigger thanthen break and returnW

end while

算法1中的(2P－1)×S/P是有可能屬于同一類的兩個(gè)連通區(qū)域之間S的最大值。令：

當(dāng)P＝1且＝1時(shí)，即可得到(2P－1)×S/P。即對(duì)于任意兩個(gè)連通區(qū)域，當(dāng)S＜(2P－1)×S/P時(shí)，這兩個(gè)連通區(qū)域就不可能屬于同一類別。

算法1最終輸出的W可以稱為第幀差分圖像的類別映射圖，用C表示。在類別映射圖中，標(biāo)記為0的數(shù)據(jù)點(diǎn)代表靜止像素，其余的點(diǎn)代表變化像素。

3 運(yùn)動(dòng)紋理差異評(píng)價(jià)模型

令表示類別映射圖C中所有個(gè)數(shù)據(jù)點(diǎn)的集合。令表示任意一數(shù)據(jù)點(diǎn)的二維坐標(biāo)向量，＝(,),?。為的平均坐標(biāo)向量：

假設(shè)類別映射圖中包含no＋1個(gè)不同的類別，包含Nl個(gè)數(shù)據(jù)點(diǎn)的類別表示為Zl，l＝0,1,…,no。令ml表示Zl的評(píng)價(jià)坐標(biāo)向量：

令：

式中：w是同一類別內(nèi)部數(shù)據(jù)點(diǎn)坐標(biāo)的總方差，其反應(yīng)了每個(gè)類別內(nèi)部數(shù)據(jù)點(diǎn)的分布情況；B反應(yīng)了類別映射圖中不同類別的分布情況。

定義：

值可以綜合反映差分圖像紋理的空間分布情況。若類別之間分布的越松散，類別內(nèi)部越緊密，值越大。針對(duì)待評(píng)價(jià)的運(yùn)動(dòng)目標(biāo)分割掩膜m，我們分別計(jì)算前景的值（f）和背景的值（b），再對(duì)這兩個(gè)值進(jìn)行比較。f和b的差異越大，則說明分割掩膜中前景的運(yùn)動(dòng)紋理與背景的運(yùn)動(dòng)紋理差異越大，進(jìn)而說明分割掩膜越接近真實(shí)情況，其性能越好。

分割掩膜中前景區(qū)域可能包含多個(gè)獨(dú)立的連通區(qū)域，因此f具體定義如下：

式中：J為分割掩膜中前景內(nèi)部某個(gè)連通區(qū)域的值；M為連通區(qū)域包含的數(shù)據(jù)點(diǎn)數(shù)量；f為前景中包含的數(shù)據(jù)點(diǎn)總數(shù)。

根據(jù)上述參數(shù)，定義利用運(yùn)動(dòng)紋理差異的評(píng)價(jià)準(zhǔn)則d：

式中：max(f,b)表示f和b中的最大值；min(f,b)表示f和b中的最小值。f為0表示場(chǎng)景中沒有運(yùn)動(dòng)目標(biāo)，因此對(duì)這種情況不予考慮。但是，b也有可能會(huì)出現(xiàn)等于0的情況，為了避免無意義的計(jì)算，經(jīng)過大量實(shí)驗(yàn)，規(guī)定了b的最小值。d越大，說明分割掩膜的性能越好。

4 實(shí)驗(yàn)結(jié)果與分析

利用3組紅外視頻序列對(duì)評(píng)價(jià)準(zhǔn)則進(jìn)行實(shí)驗(yàn)，分別命名為“船只”、“野外單人”和“戶外雙人”?！按弧焙汀耙巴鈫稳恕币曨l的圖像大小為400×512，是由本課題組研究人員利用中波紅外熱像儀拍攝的。“戶外雙人”視頻圖像大小為240×320，其來自O(shè)TCBVS數(shù)據(jù)庫(kù)[9]。

從圖3和表1中可以看出，(f)具有最低的ME，(i)具有最高的ME，而(f)的d值為最大，(i)的d值為最小，這說明d的評(píng)價(jià)結(jié)果與客觀實(shí)際是相符的。從主觀上來看，(c)、(d)和(e)中分別提取出了2個(gè)、3個(gè)和4個(gè)運(yùn)動(dòng)船只，雖然是欠分割現(xiàn)象，但其相對(duì)的準(zhǔn)確性是在依次提高的，而(c)、(d)和(e)相對(duì)應(yīng)的d值也是依次增大；(f)中完整地包含了5個(gè)運(yùn)動(dòng)船只，且沒有將背景錯(cuò)分為前景，而(f)的d值是最大的；(g)、(h)和(i)中都屬于過分割，分割效果依次降低，而所對(duì)應(yīng)的d值也是依次減少的。在表2和表3的實(shí)驗(yàn)中，d的評(píng)價(jià)結(jié)果都與ME完全一致，也與主觀評(píng)價(jià)結(jié)果完全吻合。

圖3 “船只”視頻第50幀不同分割結(jié)果

Fig.3 The different segmentation results of the fiftieth frame of thevideo

圖4 “戶外雙人”視頻第20幀不同分割結(jié)果

圖5 “野外單人”視頻第49幀不同分割結(jié)果

表1 “船只”視頻第50幀不同分割掩膜的評(píng)價(jià)結(jié)果對(duì)比

表2 “戶外雙人”視頻第20幀不同分割掩膜的評(píng)價(jià)結(jié)果對(duì)比

表3 “野外單人”視頻第49幀不同分割掩膜的評(píng)價(jià)結(jié)果

從上述實(shí)驗(yàn)結(jié)果與分析可知，d的評(píng)價(jià)結(jié)果與人類主觀感知和客觀實(shí)際吻合地很好，可有效地對(duì)紅外視頻運(yùn)動(dòng)目標(biāo)分割性能進(jìn)行無監(jiān)督評(píng)價(jià)。

5 結(jié)論

針對(duì)目前缺少紅外視頻運(yùn)動(dòng)目標(biāo)分割的無監(jiān)督評(píng)價(jià)準(zhǔn)則的問題，設(shè)計(jì)了一種基于利用運(yùn)動(dòng)紋理差異的無監(jiān)督評(píng)價(jià)方法，利用運(yùn)動(dòng)紋理差異的無監(jiān)督評(píng)價(jià)方法提取紋理特征，采取類間差與類內(nèi)差的關(guān)系來表征分割掩膜中前景與背景內(nèi)部的運(yùn)動(dòng)紋理特征，該評(píng)價(jià)準(zhǔn)則與現(xiàn)有優(yōu)秀的無監(jiān)督評(píng)價(jià)方法相比，復(fù)雜度較低，利用較少的計(jì)算成本即可獲得與現(xiàn)有優(yōu)秀算法相近的評(píng)價(jià)性能。實(shí)驗(yàn)結(jié)果充分證明了所提出的評(píng)價(jià)方法與主觀感受基本一致，可以有效地對(duì)紅外視頻運(yùn)動(dòng)目標(biāo)分割進(jìn)行無監(jiān)督評(píng)價(jià)。

[1] Yong W, Bhandarkar S M, Kang L. Semantics-based video indexing using a stochastic modeling approach[C]//, 2007, 4: 313-316.

[2] 云紅全, 徐力, 孫驍, 等. 基于超像素時(shí)空顯著性的運(yùn)動(dòng)目標(biāo)檢測(cè)算法[J]. 紅外技術(shù), 2015, 37(5): 404-410.

YUN Hongquan, XU Li, SUN Xiao, et al. Moving target detection algorithm based on superpixel spatio temporal saliency[J]., 2015, 37(5): 404-410.

[3] 胡柳, 解梅. 基于時(shí)空聯(lián)合的紅外運(yùn)動(dòng)目標(biāo)分割算法[J]. 紅外技術(shù), 2006, 8(5): 271-274.

HU Liu, XIE Mei. Moving infrared object segmentation based on spatio-temporal information[J]., 2006, 8(5): 271-274.

[4] 張強(qiáng), 蔡敬菊, 張啟衡, 等. 基于局部極大值的紅外弱小目標(biāo)分割方法[J]. 紅外技術(shù), 2011, 33(1): 44-47.

ZHANG Qiang, CAI Jingju, ZHANG Qiheng, et al. Small dim infrared targets segmentation method based on local maximum[J]., 2011, 33(1): 44-47.

[5] Unnikrishnan R, Pantofaru C, Hebert M. Toward objective evaluation of image segmentation algorithms[J]., 2007, 29(6): 929-944.

[6] ZHANG H, Fritts J, Goldman S. An entropy-based objective evaluation method for image segmentation[C]//, 2004, 5307: doi:10.1117/12.527167.

[7] Paulo Lobato Correia, Fernando Pereira. Objective evaluation of video segmentation quality[J]., 2003, 12(2): 186-200.

[8] DENG Yining, Manjunath B S. Unsupervised segmentation of color-texture regions in images and video[J]., 2001, 23(8): 800-810.

[9] Goyette N, Jodoin P M, F Porikli, et al. A new change detection benchmark dataset[C]//, 2012: 16-21.

[10] 張俊舉, 常本康, 張寶輝, 等. 遠(yuǎn)距離紅外與微光/可見光融合成像系統(tǒng)[J]. 紅外與激光工程, 2012, 41(1):20-24.

ZHANG Junju, CHANG Benkang, ZHANG Baohui, et al. Remote infrared and low light level/visible light fusion imaging system[J]., 2012, 41(1): 20-24.

Unsupervised Evaluation Method for Moving Object Segmentation Based on Motion Texture Difference

TU Jingjie1，ZHANG Weipeng1，TIAN Si1，MIN Chaobo2，ZHANG Junju1,2

(1.,,315175,; 2.,,210094,)

An unsupervised evaluation method for moving object segmentation based on motion texture difference was proposed in this paper.Aclass map of the difference image was obtainedusing the exact quantization criterion based on the Bayesian decision. Moving object segmentation masks with different effects were obtained using the region growing method.An evaluation criterion for identifying the difference between the motion textureswas defined. Moreover,evaluation criteria were used to verify the validity of the evaluation results. The results were compared with two other evaluation criteria to accurately measure the performance of the proposed criterion.The two other criteria were as follows: the supervised evaluation criterion,ME;and the unsupervised evaluation criterion based on the unsupervised color texture evaluation method, JSEG. The experimental results showed that unsupervised evaluation based on the difference between motion textureswas in agreement with human subjective perception and objective reality;this couldbe used to evaluate the performance of moving object segmentation for infrared video effectively.

motion texture difference，unsupervised evaluation，segmentation mask，infrared video

TP391

A

1001-8891(2017)06-0541-07

2017-02-13；

2017-05-24.

涂晶潔（1963-），女，浙江省寧波市，副教授，碩士，研究方向?yàn)楣鈾C(jī)電一體化。E-mail：tujj@163.com。

浙江省工藝項(xiàng)目（2014C31163），江蘇省自然基金項(xiàng)目（BK20130775），寧波市科技項(xiàng)目（2015C10043）。