帶邊界項(xiàng)的結(jié)構(gòu)敏感性超像素圖像分割方法研究

張建宇，張榮國，胡 靜，劉小君，王 芳，李曉明

(1.太原科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，太原 030024；2.合肥工業(yè)大學(xué)機(jī)械工程學(xué)院，合肥 230009)

Ren等人[1]于2003年提出超像素是具有相似顏色、紋理、亮度等特征的空間上相鄰的像素組成的像素塊。將圖像預(yù)處理為具有意義的超像素，可降低圖像后續(xù)處理的復(fù)雜度，顯著提高了計(jì)算效率。超像素分割作為圖像處理的重要預(yù)處理步驟，已被廣泛的應(yīng)用于圖像分割[2]、計(jì)算機(jī)視覺[3-4]等領(lǐng)域，如：顯著性檢測(cè)[5-6]、圖像分割[7-8]、視頻分割[9-10]等。

現(xiàn)存的超像素分割方法很多，其中結(jié)構(gòu)敏感性超像素分割方法有SSS算法[11]和MSLIC算法[12]，MSLIC算法繼承了SLIC算法[13]的所有優(yōu)點(diǎn)，如簡(jiǎn)單高效等，分割速度是SSS算法的十倍左右，并且在結(jié)構(gòu)敏感性圖像分割方面表現(xiàn)的非常好，但是基于歐式距離的RCVT[14]和正方形的搜索框，難以適應(yīng)多樣圖像，所以在原有的基礎(chǔ)上加入了邊界特征，對(duì)單個(gè)像素在8領(lǐng)域檢測(cè)超像素邊界在真實(shí)圖像邊界的度量來進(jìn)一步的優(yōu)化提高分割的超像素質(zhì)量，保證生成超像素更加貼合真實(shí)圖像邊界。實(shí)驗(yàn)證明加入邊界項(xiàng)之后的算法生成的超像素在多個(gè)測(cè)量指標(biāo)下的表現(xiàn)良好。

1 SLIC方法

2 MSLIC方法

MSLIC擴(kuò)展了SLIC以計(jì)算結(jié)構(gòu)敏感的超像素，同時(shí)它繼承了SLIC的所有優(yōu)點(diǎn)，例如簡(jiǎn)單性和高性能。MSLIC使用CIELAB顏色空間，將圖像l中像素p=(u,v)的顏色表示為c(u,v)=(l(u,v),a(u,v),b(u,v))，定義了一個(gè)伸縮圖Φ:l→5，將像素映射到包含顏色和空間5維向量的2維流形M[16]中,流型M中兩點(diǎn)間的距離度量為:

(1)

通過平面三角形區(qū)域△Φ(p1)Φ(p2)Φ(p3)估算曲面三角形區(qū)域Φ(△p1p2p3):

Area(Φ(△p1p2p3))≈

(2)

對(duì)于區(qū)域Ω?I?2，M上相應(yīng)區(qū)域Φ(Ω)?M的面積取決于Ω的面積和Ω的強(qiáng)度或顏色變化。Ω中顏色的變化越大，Φ(Ω)的面積就越大，反之亦然。在M上計(jì)算統(tǒng)一的曲面細(xì)分，反映射Φ-1到圖像l中就是結(jié)構(gòu)敏感性超像素。

3 帶邊界項(xiàng)的結(jié)構(gòu)敏感性超像素分割方法

MSLIC在2維流形M和輸出結(jié)構(gòu)敏感的超像素上生成統(tǒng)一的曲面細(xì)分。而根據(jù)Φ(Ω)的面積大小來衡量是否存在結(jié)構(gòu)敏感性區(qū)域。能夠高效快速的生成結(jié)構(gòu)敏感性超像素，而基于顏色和歐氏距離的度量不能很好的保證超像素邊界在真實(shí)圖像的邊界上[17]，為進(jìn)一步保證結(jié)構(gòu)敏感性超像素的邊界更加貼合真實(shí)圖像邊緣，故引入了新的測(cè)量，以p為中心的8連通領(lǐng)域上計(jì)算像素在真實(shí)圖像邊界上的可能性，其計(jì)算式為：

(3)

其中：R3(x)是以像素p為中心的8連通領(lǐng)域的所有像素的集合，并且pi∈R3(x),|R3(x)|是R3(x)中的像素總數(shù)，g(p)是像素p的梯度，γ是變化因子，Gδ是高斯系數(shù)。

如果像素p四周的像素pi的強(qiáng)度均勻的區(qū)域中，則g(pi)的值小并且與g(p)非常相似。如果像素p在圖像邊界上，則圍繞它的像素的強(qiáng)度沿邊界的正交方向變化極大，并且邊界附近的像素的梯度值大，而其他像素的梯度值小。因此，w(p)變大。w(p)的值越大，對(duì)象邊界上的像素p的概率越高。設(shè)計(jì)了一個(gè)邊界項(xiàng)，使超像素的邊緣與圖像中的對(duì)象邊界對(duì)齊：

(4)

其中：μ1和μ2是參數(shù)因子，δ2是ηkp的數(shù)學(xué)期望，ξ2是圖像中w(p)的平均值。在以像素p為中心的局部窗口中，ηkp是其標(biāo)簽不等于k的像素?cái)?shù)，該像素由該窗口中的像素總數(shù)歸一化。ηkp計(jì)算為：

(5)

R3(x)′={p|p∈R3(x)}，并且|R3(x)′|是集合R3(x)′中的元素的數(shù)量。在某種程度上，ηkp的值表示像素x是否在超像素的邊緣上的概率。等式(5)由兩個(gè)項(xiàng)組成，而第二個(gè)是每個(gè)像素的常數(shù)。因?yàn)闊o論像素是在圖像中的物體邊界上還是位于先前的超像素邊緣上，它都可能在下一次迭代中屬于超像素邊緣。 這意味著只要B(p)和ηkp之間的一個(gè)值很大，ηkp的值就應(yīng)該很大。因此，ηkp的公式應(yīng)該是這兩個(gè)部分的總和。邊界項(xiàng)是為了確保超像素的邊緣盡可能好地粘附到圖像中的對(duì)象邊界。該算法時(shí)間復(fù)雜度為O(N)，其中N為像素個(gè)數(shù)。

4 實(shí)驗(yàn)結(jié)果對(duì)比分析

對(duì)算法進(jìn)行評(píng)估的實(shí)驗(yàn)圖片來自Berkeley標(biāo)準(zhǔn)數(shù)據(jù)集[18]，為了驗(yàn)證改進(jìn)算法的有效性，將其與現(xiàn)存的SLIC算法、LSC算法[19]、SEEDS算法[20]和MSLIC算法進(jìn)行比較。接下來用召回率[21]、欠分割誤差[21]和緊湊性[22]對(duì)算法分割效果進(jìn)行了評(píng)估。實(shí)驗(yàn)表明改進(jìn)后的分割方法表現(xiàn)良好。

表1 算法步驟及流程Tab.1 The algorithm steps and processes

實(shí)驗(yàn)環(huán)境：本算法實(shí)驗(yàn)在windows10，CPU 3.0 GHz，4 GB RAM的計(jì)算機(jī)上通過visual studio 2015來運(yùn)行實(shí)現(xiàn)，通過使用matlab來進(jìn)行實(shí)驗(yàn)評(píng)估。

①召回率：是測(cè)量邊界貼合度的重要評(píng)估指標(biāo)，廣泛的應(yīng)用于超像素分割來評(píng)估分割質(zhì)量，召回率表示真實(shí)分割中邊界的像素被檢測(cè)到是否在超像素中。

②欠分割誤差：測(cè)量與真實(shí)圖像分割重疊的超像素的緊密度分割錯(cuò)誤描述了真實(shí)圖像分割重疊的超像素的緊密度。

③緊湊性：是緊湊性是規(guī)則邊界的理想特性，對(duì)于給定區(qū)域邊界長(zhǎng)度，其面積形狀越大，緊湊性越好。

因篇幅所限，本文僅展示兩張分割效果圖1和圖2.兩張?jiān)瓐D是Berkeley數(shù)據(jù)集中481*321圖像。

圖1 人物圖像分割Fig.1 Character image segmentation

圖2 風(fēng)景圖像分割Fig.2 Scenery image segmentation

從上看出改進(jìn)方法的分割表現(xiàn)非常的好，但為了進(jìn)一步評(píng)估算法性能的真實(shí)情況，我們使用以上六種評(píng)估指標(biāo)，選取Berkeley數(shù)據(jù)集中編號(hào)為6046的動(dòng)物圖像在不改變?cè)紖?shù)的情況下，將LSC算法、SEEDS算法、SLIC算法、MSLIC算法和改進(jìn)算法，每個(gè)算法迭代五次生成實(shí)驗(yàn)數(shù)據(jù)來進(jìn)行試驗(yàn)評(píng)估。

其中圖3為召回率對(duì)比曲線圖，圖4欠分割誤差對(duì)比曲線圖，可以從對(duì)比曲線圖中看出，改進(jìn)的方法有著明顯的優(yōu)勢(shì)，改進(jìn)的方法的各方面表現(xiàn)明顯好于原MSLIC方法，邊界貼合度得到了明顯的提升，證明了改進(jìn)算法的可行性，加入邊界項(xiàng)度量對(duì)生成超像素的表現(xiàn)有著明顯的影響。

圖3 召回率對(duì)比曲線圖Fig.3 The comparison of recall

圖4 欠分割誤差對(duì)比曲線圖Fig.4 The comparison of under-segmentation errors

圖5為緊湊性分割對(duì)比圖，從對(duì)比曲線圖可以看出改進(jìn)的算法緊湊性方面所下降，這是因?yàn)榧尤脒吔珥?xiàng)度量所導(dǎo)致的，然而對(duì)原MSLIC算法進(jìn)行改進(jìn)便是為了提高算法的邊界貼合度，以便提高后續(xù)圖像處理的準(zhǔn)確度，緊湊性的下降同樣在預(yù)期之中。

圖5 緊湊性對(duì)比曲線圖Fig.5 The comparison of compactness

表2給出Berkeley數(shù)據(jù)集編號(hào)為3063、368037、5096數(shù)據(jù)的評(píng)估結(jié)果，將LSC、SEEDS、SLIC、MSLIC和改進(jìn)算法均預(yù)分割200個(gè)超像素。給出了欠分割誤差，召回率、緊湊性的具體評(píng)估結(jié)果。

表2 三種算法在評(píng)估指標(biāo)下的評(píng)估結(jié)果Tab.2 Evaluation results of five algorithms under evaluation indicators

5 結(jié)論

結(jié)構(gòu)敏感性超像素可以生成大小不一的超像素，更加能夠保證生成超像素內(nèi)部信息一致。在原有的MSLIC算法的基礎(chǔ)上加入邊界項(xiàng)來判別像素是否在真實(shí)圖像邊界上的，從而進(jìn)一步優(yōu)化生成超像素。實(shí)驗(yàn)對(duì)比了LSC算法、SEEDS算法、SLIC算法、MSLIC算法。結(jié)構(gòu)表明改進(jìn)方法在邊界貼合度和可實(shí)現(xiàn)分割準(zhǔn)確度上更具有優(yōu)勢(shì)，更加有利于后續(xù)圖像處理。雖然算法在運(yùn)行速度上要低于原算法，但在保證其他性能提高的情況下可以接受。