基于特征點(diǎn)和區(qū)域生長(zhǎng)的目標(biāo)圖像分割方法

許 敬，張 合，王曉鋒

（南京理工大學(xué)智能彈藥技術(shù)國防重點(diǎn)學(xué)科實(shí)驗(yàn)室，江蘇 南京 210094）

0 引言

現(xiàn)代武器系統(tǒng)正朝著高抗干擾性和精確打擊技術(shù)方向發(fā)展，為獲取及利用更多的目標(biāo)和環(huán)境信息，成像探測(cè)已經(jīng)成為當(dāng)代軍事技術(shù)的研究熱點(diǎn)，成像探測(cè)獲取的圖像序列中的運(yùn)動(dòng)目標(biāo)的檢測(cè)、識(shí)別和跟蹤等問題是研究的重點(diǎn)內(nèi)容。

針對(duì)圖像序列，運(yùn)動(dòng)目標(biāo)的檢測(cè)方法主要有背景減法［1］、幀間差分法［2］和光流法［3］。背景減法是利用當(dāng)前幀圖像與背景圖像的差分來檢測(cè)運(yùn)動(dòng)區(qū)域。背景減法能夠得到比較精確的運(yùn)動(dòng)目標(biāo)區(qū)域，但是各種背景模型均對(duì)光照變化和外部條件造成的場(chǎng)景變化等特別敏感，在非受控環(huán)境下需要加入背景圖像更新機(jī)制，且不適用于背景灰度變化很大的情況［4－5］。幀間差分法是最簡(jiǎn)單的背景估計(jì)方法，利用序列圖像中相鄰幀的像素灰度值的差分的閾值化分割來提取運(yùn)動(dòng)區(qū)域［6］。此方法的最大特點(diǎn)是速度快，適用于實(shí)時(shí)性要求較高的應(yīng)用場(chǎng)合，且對(duì)環(huán)境整體光照變換不敏感，但當(dāng)運(yùn)動(dòng)物體在成像平面有重疊時(shí)不能得到所檢測(cè)目標(biāo)的完整信息。光流法是利用運(yùn)動(dòng)目標(biāo)隨時(shí)間變化的光流特性進(jìn)行運(yùn)動(dòng)檢測(cè)，它不需要預(yù)先知道任何背景的信息，但計(jì)算復(fù)雜，且抗噪性能差。

針對(duì)圖像序列中運(yùn)動(dòng)目標(biāo)的檢測(cè)和分割問題，研究人員在上述三種基本算法的基礎(chǔ)上進(jìn)行改進(jìn)或通過與其他算法的融合達(dá)到更好的效果。薛麗霞［5］等人提出一種基于幀間差分的自適應(yīng)運(yùn)動(dòng)目標(biāo)檢測(cè)算法，利用直方圖統(tǒng)計(jì)圖像序列中相應(yīng)像素點(diǎn)處最大概率灰度的方法提取出連續(xù)視頻的背景圖像，該算法能夠較好地提取背景圖像，但在背景場(chǎng)景發(fā)生變化時(shí)，不能夠及時(shí)更新背景。Russo［7］等人提出了兩種基于光流法的運(yùn)動(dòng)目標(biāo)檢測(cè)算法，但是只能檢測(cè)出運(yùn)動(dòng)目標(biāo)的大致區(qū)域，不能進(jìn)行目標(biāo)的精確定位。李平岐［8］等人提出了一種基于LK光流柱狀圖和Canny邊緣檢測(cè)相融合的方法，雖然該方法能夠得到目標(biāo)完整的邊緣信息，并計(jì)算出目標(biāo)的形心，但僅僅利用LK光流柱狀圖完成對(duì)運(yùn)動(dòng)目標(biāo)的檢測(cè)和分割在目標(biāo)背景較為復(fù)雜的情況下，會(huì)造成大量的虛假目標(biāo)，增加了假陽性的發(fā)生概率。Antonio［9］等人提出了一種結(jié)合閾值分割和光流估計(jì)相結(jié)合的運(yùn)動(dòng)目標(biāo)檢測(cè)算法，該算法分別使用閾值分割和光流估計(jì)進(jìn)行目標(biāo)的提取，對(duì)結(jié)果圖像進(jìn)行相與計(jì)算，提高對(duì)目標(biāo)檢測(cè)的準(zhǔn)確度。但是在亮度閾值分割和光流估計(jì)中大量使用了經(jīng)驗(yàn)值。

針對(duì)上述問題，本文提出了基于特征點(diǎn)和區(qū)域生長(zhǎng)的運(yùn)動(dòng)目標(biāo)圖像分割方法。

1 特征檢測(cè)理論

在基于特征的圖像序列中關(guān)鍵的步驟是如何選擇特征點(diǎn)。盡管已經(jīng)存在很多目標(biāo)分割和跟蹤方法，但是選擇好的特征仍舊是一件困難的事情。本文采用 KLT［10－11］角點(diǎn)檢測(cè)方法進(jìn)行運(yùn)動(dòng)目標(biāo)中特征點(diǎn)的提取。

KLT角點(diǎn)檢測(cè)算法是一種非常適用于圖像序列的角點(diǎn)檢測(cè)方法，源于LK［12］光流法，它利用連續(xù)兩幀中兩個(gè)固定大小的特征窗口，通過窗口的灰度差的平方和作為匹配的度量，并計(jì)算窗口內(nèi)的特征，來判斷其是否為角點(diǎn)。

對(duì)灰度圖像，t＋τ時(shí)刻的圖像J可以通過將時(shí)間t的圖像I中的每個(gè)點(diǎn)進(jìn)行適當(dāng)?shù)囊苿?dòng)來得到表達(dá)式為：

定義J（x）＝I（x，y，t＋τ），I（x－d）＝I（x－ξ，y－η，t）。當(dāng)時(shí)間變量t很小時(shí)，局部圖像模型為：

式（2）中，n（x）為時(shí)間τ內(nèi)由于光照條件變化等因素產(chǎn)生的噪聲。

將n（x）平方并在窗口W 上積分，得到窗口的SSD，這里用殘差ε表示：

式（3）中，W 是給定的特征窗口，w是加權(quán)函數(shù)。最簡(jiǎn)單的情況，w＝1。另外，w也可以是類高斯函數(shù)用來強(qiáng)調(diào)窗口的中央?yún)^(qū)域。

當(dāng)d為一個(gè)和x比起來可忽略的小量時(shí)，將J（x＋d）泰勒展開，并去除高次項(xiàng)，得到：

將式（5）代入式（4）得：

式（5）中，h＝I（x）－J（x），g＝ （Ix，Iy）T。

為了最小化ε，位移矢量d對(duì)式（5）求導(dǎo)，并置結(jié)果為0，得到：

式（6）中，

對(duì)于每?jī)蓭瑘D像可求出特征窗口的位移d。

在KLT算法中，并不是所有包含紋理信息的特征窗口都適合跟蹤。為了評(píng)價(jià)窗口的好壞，計(jì)算2×2系數(shù)矩陣G的特征值。兩個(gè)小的特征值是指在一個(gè)窗口內(nèi)亮度大致不變。一個(gè)大特征值和一個(gè)小特征值對(duì)應(yīng)著單向模式，即指窗口橫跨邊界。兩個(gè)大的特征值可以代表角點(diǎn)、椒鹽和胡椒紋理，或其它模式，能夠可靠跟蹤。設(shè)G的兩個(gè)特征值λ1和λ2，當(dāng)式（7）滿足時(shí)，接受該窗口作為跟蹤窗口，即可靠的角點(diǎn)特征。

式（7）中，λ為預(yù)定義閾值。

2 運(yùn)動(dòng)目標(biāo)圖像分割方法

本文提出的基于特征提取和區(qū)域生長(zhǎng)的復(fù)雜場(chǎng)景中運(yùn)動(dòng)目標(biāo)的分割方法的實(shí)現(xiàn)分為3個(gè)步驟，整個(gè)方法的流程如圖1所示。

圖1 運(yùn)動(dòng)目標(biāo)分割算法Fig.1 Moving target segmentation algorithm

首先在視頻中提取基于時(shí)間順序的圖像序列，為了能夠較好地尋找適于分割的運(yùn)動(dòng)目標(biāo)的特征點(diǎn)，本文不直接對(duì)圖像序列中的幀進(jìn)行特征點(diǎn)的檢測(cè)，而是先計(jì)算差分圖像，得到大概的運(yùn)動(dòng)目標(biāo)區(qū)域，然后再尋找特征點(diǎn)，這樣得到的特征更加可靠。對(duì)特征點(diǎn)進(jìn)行非最大值抑制，減少特征點(diǎn)的數(shù)量，從而降低了后面步驟的計(jì)算復(fù)雜性。對(duì)好的特征點(diǎn)進(jìn)行區(qū)域生長(zhǎng)，并對(duì)得到的連通區(qū)域進(jìn)行后處理，從而分割出完整的運(yùn)動(dòng)目標(biāo)。下面對(duì)這3個(gè)步驟進(jìn)行詳細(xì)的介紹。

2.1 差分圖像

幀間差分法是最為簡(jiǎn)單和快速的運(yùn)動(dòng)區(qū)域的提取方法，但是對(duì)于運(yùn)動(dòng)目標(biāo)在幀序列中有重疊時(shí)不能完整地提取目標(biāo)，并且在差分圖像中含有較多的噪聲干擾。因此在本文中，在計(jì)算得到連續(xù)兩幀圖像的絕對(duì)差值圖像后，設(shè)定閾值ε，去除小于該閾值的差異像素值。

設(shè)相鄰兩幀圖像為ft（x，y）和ft－1（x，y），它們的絕對(duì)差分圖像g（x，y）的表達(dá)式為：

即使兩幀圖像取自同一場(chǎng)景的極小的時(shí)間間隔，但是由于光照的變化以及微風(fēng)的吹動(dòng)等因素的影響，兩幀圖像的相應(yīng)像素之間除了由運(yùn)動(dòng)目標(biāo)引起的像素值的變化外，還有大量的噪聲所引起的像素灰度值的變化。設(shè)定閾值ε，在絕對(duì)差分圖像g（x，y）中若像素值小于ε，則置為0，即：

閾值ε的選取依賴于所拍攝的場(chǎng)景，一般取值可設(shè)置為10～30，若ε太小，則不能很好地濾除噪聲；ε太大，則容易丟失目標(biāo)細(xì)節(jié)。

2.2 提取特征點(diǎn)

對(duì)差分圖像，按照式（6）和式（7）進(jìn)行計(jì)算，并選擇合適的λ，得到可靠的特征點(diǎn)。雖然這樣計(jì)算出來的特征點(diǎn)適于可靠地跟蹤運(yùn)動(dòng)目標(biāo)，但是由于特征點(diǎn)的數(shù)量直接決定著后面算法的計(jì)算復(fù)雜性，為了提高分割速度，必須嚴(yán)格控制特征點(diǎn)的數(shù)量，可通過一定的準(zhǔn)則評(píng)價(jià)特征點(diǎn)的篩選。

為此，本文采用一種自適應(yīng)非最大值抑制［13］（non－maximal suppression，ANMS）策略來選擇出一定數(shù)量的特征點(diǎn)。感興趣的點(diǎn)由鄰域中的像素點(diǎn)的灰度值得到抑制，它必須是半徑為r的鄰域內(nèi)最大值，而且排除靠近圖像邊界的點(diǎn)。初始化r＝0，并逐漸增大r直到感興趣的特征點(diǎn)的限制數(shù)量N。在實(shí)際的運(yùn)算中，可通過在特征點(diǎn)的鄰域中進(jìn)行像素的灰度值的升序排列，判斷該特征點(diǎn)的灰度值是否為該鄰域內(nèi)的最大值，若是，則接受該點(diǎn)為好的特征點(diǎn)，否則丟棄該特征點(diǎn)。

2.3 區(qū)域生長(zhǎng)

把KLT角點(diǎn)檢測(cè)和非最大值抑制共同作用后保留下來的特征點(diǎn)作為原始的種子點(diǎn)，把種子點(diǎn)的坐標(biāo)映射到差分圖像g（x，y）中，進(jìn)行區(qū)域生長(zhǎng)。

區(qū)域生長(zhǎng)［14］是根據(jù)預(yù)先定義的生長(zhǎng)準(zhǔn)則把像素或子區(qū)域集合成較大區(qū)域的處理方法。它由一組“種子”點(diǎn)開始，將與種子性質(zhì)相似（諸如灰度級(jí)或顏色的特定方位）的相鄰像素附加到生長(zhǎng)區(qū)域的每個(gè)種子上。

區(qū)域生長(zhǎng)的步驟：

1）種子點(diǎn)的選取KLT角點(diǎn)檢測(cè)和非最大值抑制共同作用結(jié)果的特征點(diǎn)作為種子點(diǎn)。

2）生長(zhǎng)準(zhǔn)則：定義一個(gè)全局閾值，若像素和種子之間的灰度差的絕對(duì)值小于或等于該閾值，則認(rèn)為該像素類似于種子點(diǎn)。并定義區(qū)域生長(zhǎng)的連通性為8連接。

3）終止準(zhǔn)則：通過第2條中生長(zhǎng)準(zhǔn)則限定的同時(shí)也限定了終止準(zhǔn)則，灰度差大于閾值的像素點(diǎn)拒絕進(jìn)入生長(zhǎng)區(qū)域。

3 實(shí)驗(yàn)仿真和分析

為了驗(yàn)證算法的優(yōu)劣，本文通過拍攝一系列的圖像序列并對(duì)其中的運(yùn)動(dòng)目標(biāo)進(jìn)行分割。圖2為拍攝的汽車行駛的圖像序列中的132～134幀。背景中含有大量的樹木，在拍攝的過程中，由于微風(fēng)的擾動(dòng)以及光線的變化等干擾會(huì)產(chǎn)生大量的噪聲。

圖2 汽車行駛圖像序列Fig.2 Moving car image sequence

圖3為中分別為133幀和132幀的差值圖像和134幀和133幀的差值圖像。圖4是對(duì)圖3中的圖像序列直接采用KLT角點(diǎn)檢測(cè)方法得到的角點(diǎn)，其中“＋”表示角點(diǎn)即特征點(diǎn)。這些特征角點(diǎn)的密度較大，若直接利用這些角點(diǎn)進(jìn)行區(qū)域生長(zhǎng)，會(huì)導(dǎo)致大量重疊的區(qū)域，不但造成計(jì)算量的增大和計(jì)算成本的浪費(fèi)，而且得不到所期望的區(qū)域分割效果。

圖3 差值圖像Fig.3 Difference image

圖4 KLT角點(diǎn)檢測(cè)及區(qū)域生長(zhǎng)結(jié)果Fig.4 KLT corner detection and region growing

圖5左圖為對(duì)圖4中左圖進(jìn)行自適應(yīng)非最大值抑制的結(jié)果。右圖為對(duì)特征點(diǎn)進(jìn)行區(qū)域生長(zhǎng)得到的區(qū)域分割結(jié)果。

從圖3和圖4中可以清楚地看出，通過對(duì)圖像序列中的相鄰幀進(jìn)行差值圖像，然后再進(jìn)行特征點(diǎn)的檢測(cè)，可以較為準(zhǔn)確地對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行定位。對(duì)比圖5和圖4可看出，通過非最大值抑制方法可有效地減少特征點(diǎn)的數(shù)量，從而能夠大大地減少區(qū)域生長(zhǎng)過程中的計(jì)算量。

圖5 KLT＋ANMS角點(diǎn)檢測(cè)及區(qū)域生長(zhǎng)結(jié)果Fig.5 KLT＋ANMS corner detection and region growing

4 結(jié)論

本文提出了一種基于特征點(diǎn)和區(qū)域生長(zhǎng)目標(biāo)分割方法，通過相鄰圖像幀的絕對(duì)值差分圖像得到運(yùn)動(dòng)目標(biāo)的大致區(qū)域，利用KLT角點(diǎn)檢測(cè)方法提取差值圖像中的特征點(diǎn)，采用非最大值抑制對(duì)特征點(diǎn)的優(yōu)劣性進(jìn)行評(píng)估，對(duì)好的特征點(diǎn)進(jìn)行區(qū)域生長(zhǎng)，從而分割出完整的運(yùn)動(dòng)目標(biāo)。通過對(duì)復(fù)雜背景中的行駛汽車圖像序列進(jìn)行實(shí)驗(yàn)仿真，結(jié)果表明該方法能夠?qū)?fù)雜圖像序列中的運(yùn)動(dòng)目標(biāo)進(jìn)行準(zhǔn)確定位，得到較好的目標(biāo)分割結(jié)果，并且計(jì)算量小，具有較高的魯棒性。文中采用KLT方法進(jìn)行特征點(diǎn)的檢測(cè)，較為適用于下一步的目標(biāo)的識(shí)別或跟蹤處理。

［1］Piccardi M.Background subtraction techniques：a review［C］／／Systems，Man，Cybernetics.Sydney，Australia：IEEE Press，2004：3 099－3 104.

［2］Alard C，Robert H Lupton.A method for optimal image subtraction［J］.The Astrophysical Journal，1998，4（503）：325－331.

［3］Siddhartha Bhattacharyya，Ujjwal Maulik，Paramartha Dutta.High－speed target tracking by fuzzy hostility－induced segmentation of optical flow field［J］.Applied Soft Computing，2009，9（1）：126－134.

［4］李毅，孫正興，遠(yuǎn)博，等.一種改進(jìn)的幀差和背景減相結(jié)合的運(yùn)動(dòng)檢測(cè)方法［J］.中國圖像圖形學(xué)報(bào)，2009，14（6）：1 163－1 168.LI Yi，SUN Zhengxing，YUAN Bo，et al.An improved method for motion detection by frame difference and background subtraction［J］.Journal of Image and Graphics，2009，14（6）：1 163－1 168.

［5］薛麗霞，羅艷麗，王佐成.基于幀間差分的自適應(yīng)運(yùn)動(dòng)目標(biāo)檢測(cè)方法［J］.計(jì)算機(jī)應(yīng)用研究，2011，4（28）：1 551－1 553.XUE Lixia，LUO Yanli，WANG Zuocheng.Detection algorithm of adaptive moving objects based on frame difference method［J］.Application Research of Computers，2011，4（28）：1 551－1 553.

［6］陳邦忠，王秀壇，涂建平，等.紅外圖象序列的運(yùn)動(dòng)目標(biāo)檢測(cè)［J］.探測(cè)與控制學(xué)報(bào)，2002，9（24）：11－14.CHENG Bangzhong，WANG Xiutan，TU Jianping，et al.Moving target detection from infrared image sequences［J］.Journal of Detection ＆ Control，2002，9（24）：11－14.

［7］RUSSO P，MARKANDEY V，BUI T，et al.Optical flow techniques for moving target detection［J］.SPIE Press，1990，1（383）：62－71.

［8］李平岐，陳萬春，邢曉嵐.復(fù)雜背景下運(yùn)動(dòng)目標(biāo)的檢測(cè)與跟蹤［J］.紅外與激光工程，2007，36（9）：182－186.LI Pingqi，CHEN Wanchun，XING Xiaolan.Detection and tracking of moving object in complex background［J］.Infrared and Laser Engineering，2007，36（9）：182－186.

［9］Antonio Fernández－Caballero，JoséCarlos Castilloa，Javier Martínez－Cantos.Optical flow or image subtraction in human detection from infrared camera on mobile robot［J］.Robotics and Autonomous Systems，2010，12（58）：1 273－1 281.

［10］Tomasi C，Kanade T.Detection and tracking of Point features［R］.US：Carnegie Mellon University：1991.

［11］Shi J，Tomasi C.Good features to track［C］／／Proeeedings of IEEE computer society conference on computer vision and pattern recognition.US：IEEE，1994：593－600.

［12］Lucas B，Kanade T.An iterative image registration technique with an application to stereo vision［C］／／Proceedings of the 7th International Joint Conference on Artificial Intelligence.US：IJCAI，1981：674－679.

［13］Matthew Brown，Richard Szeliski，Simon Winder.Multiimage matching using multi－scale oriented patches［C］／／Computer Vision and Pattern Recognition.US：IEEE，2005：510–517.

［14］Rafael C Gonzalez，Richard E Woods.Digital image processing third edition［M］.US：Publishing house of electronics industry，2010.