基于超像素分割及區(qū)域聚類的單主體圖像感興趣區(qū)域提取方法

賈永鑫

摘要：圖像檢索是在圖像數(shù)據(jù)庫(kù)中快速查找用戶需求目標(biāo)圖像的有效方法。為了提高圖像檢索效率，針對(duì)單主體圖像的感興趣區(qū)域進(jìn)行研究，提出了一種基于超像素分割與區(qū)域聚類相結(jié)合的圖像感興趣區(qū)域提取方法，首先對(duì)所給圖像做灰度化處理，對(duì)灰度圖像進(jìn)行超像素分割，再對(duì)分割后的各超像素進(jìn)行處理，形成超像素均值矩陣，最后對(duì)超像素均值矩陣進(jìn)行聚類，提出感興趣區(qū)域。此法可快速而精確地提取出圖像的感興趣區(qū)域，且相較于其他感興趣區(qū)域提取方法，此算法在提取結(jié)果方面更優(yōu)，感興趣區(qū)域的提取結(jié)果更完整。

關(guān)鍵詞：圖像檢索;超像素分割;單主體圖像;區(qū)域聚類

中圖分類號(hào)：TP391? ? ?文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2022）22-0080-03

1 概述

圖像檢索[1]是在圖像庫(kù)中通過(guò)檢索圖像標(biāo)注的文本或者內(nèi)容特征，為用戶提供相關(guān)圖像資料檢索服務(wù)的搜索技術(shù)。隨著大數(shù)據(jù)時(shí)代的來(lái)臨，圖像數(shù)據(jù)呈指數(shù)增長(zhǎng)。傳統(tǒng)的基于圖像全局處理的檢索方法，處理海量數(shù)據(jù)的效率大大降低[2-3]。如何有效地提高圖像檢索的能力，加快檢索效率，已成為當(dāng)下圖像檢索研究的熱點(diǎn)話題。

人類視覺(jué)通過(guò)快速掃描全局圖像，注意力焦點(diǎn)會(huì)落在重點(diǎn)關(guān)注的目標(biāo)區(qū)域，而后對(duì)這一區(qū)域投入更多注意力資源，以獲取更多關(guān)注目標(biāo)的細(xì)節(jié)信息，并抑制其他無(wú)用信息。針對(duì)此現(xiàn)象，一些學(xué)者提出了感興趣區(qū)域的概念[4]，感興趣區(qū)域首先使用在機(jī)器人研究領(lǐng)域，并取得較好發(fā)展。隨后感興趣區(qū)域便被引入圖像檢索領(lǐng)域，用于圖像預(yù)處理。對(duì)感興趣區(qū)域進(jìn)行識(shí)別，忽略掉圖像不感興趣區(qū)域，只保留感興趣的部分，便于更好地提取圖像感興趣區(qū)域的相關(guān)特征，提高圖像檢索的效率。

如何在一幅圖像中快速準(zhǔn)確地找到感興趣區(qū)域，超像素分割（simple linear iterative clustering，SLIC） [5]方法有較為明顯的優(yōu)勢(shì)。利用超像素分割方法可以將圖像分割成一個(gè)個(gè)相對(duì)規(guī)則的超像素塊，超像素塊內(nèi)部像素點(diǎn)特征相似，超像素塊之間邊界明顯且連接緊密，之后利用聚類方法即可實(shí)現(xiàn)對(duì)圖像感興趣區(qū)域的提取。

近年來(lái)，許多國(guó)內(nèi)外學(xué)者對(duì)利用超像素方法提取感興趣區(qū)域進(jìn)行了研究。姜全春等人[6]提出一種基于密度的聚類方法對(duì)超像素分割的結(jié)果進(jìn)行聚類，提高感興趣區(qū)域提取的準(zhǔn)確性。郭偉等人[7]針對(duì)圖像多個(gè)主體的分割問(wèn)題提出一種基于超像素的DBSCAN[8]（Density-Based Spatial Clustering of Applications with Noise） 自適應(yīng)圖像感興趣區(qū)域分割算法。劉洋等人[9]針對(duì)Grab Cut分割算法時(shí)間復(fù)雜度高且分割效果較差的問(wèn)題提出了一種基于超像素的Grab Cut分割方法。蘇建菖等人[10]針對(duì)傳統(tǒng)的超像素聚類算法做圖像分割時(shí)造成的欠分割現(xiàn)象進(jìn)行研究，提出了一種基于超像素和k均值聚類算法相結(jié)合的圖像感興趣區(qū)域提取方法。目前由于圖像內(nèi)容的復(fù)雜性及感興趣區(qū)域提取方法的不完善，使得感興趣區(qū)區(qū)域提取效果欠佳，無(wú)法令人滿意。

圖像本身具有直觀、生動(dòng)的特點(diǎn)。從圖像中主體數(shù)量的特點(diǎn)出發(fā)對(duì)圖像進(jìn)行劃分，可以將圖像分為無(wú)主體、單主體和多主體圖像三類。例如圖1～圖3中，圖1前后背景無(wú)明顯的差異，因此沒(méi)有明確的主體，屬于無(wú)主體圖像;圖2中花朵相較于其他部分顏色較為突出，且主體輪廓邊界明顯，屬于單主體圖像;圖3中馬匹作為圖像主體，但是在圖像中多個(gè)位置都有分布，且較為分散，屬于多主體圖像。通常，用戶主要的關(guān)注點(diǎn)就是圖像的主體，主體也是我們要提取感興趣區(qū)域的核心部分。

單主體圖像主體明確，易于發(fā)現(xiàn)，主體像素點(diǎn)更為集中，與圖像的背景色差較大，與多主體圖像相比，更容易找出圖像的感興趣區(qū)域。鑒于此，本文僅針對(duì)單主體圖像，研究感興趣區(qū)域的提取方法。

2 基于超像素分割與區(qū)域聚類相結(jié)合的圖像感興趣區(qū)域提取方法

本文針對(duì)圖像感興趣區(qū)域提取不精確的問(wèn)題，利用圖像感興趣區(qū)域的特點(diǎn)提出一種區(qū)域聚類方法，并將其與超像素分割方法結(jié)合，提出一種針對(duì)單主體圖像的基于超像素及區(qū)域聚類相結(jié)合的圖像感興趣區(qū)域提取方法。具體流程如下：首先對(duì)讀入的單主體圖像進(jìn)行超像素分割，形成超像素塊;再對(duì)分割后的超像素塊進(jìn)行整合處理，將其轉(zhuǎn)化成數(shù)字矩陣;然后利用區(qū)域聚類的方法對(duì)數(shù)字矩陣進(jìn)行聚類;最后在聚類的結(jié)果中選出感興趣區(qū)域部分，算法結(jié)構(gòu)如圖4所示。

算法思想：

從圖像顏色特征的角度看，單主體圖像的感興趣區(qū)域部分與其他區(qū)域相比，色差較大，像素點(diǎn)相對(duì)集中，且與背景之間有明顯的輪廓邊界。針對(duì)圖像感興趣區(qū)域的這些特性，可以采用超像素分割方法將圖像分成多個(gè)緊密且各自獨(dú)立的小區(qū)域——超像素塊。超像素塊內(nèi)部像素點(diǎn)特征相似，可用像素均值代替超像素塊。超像素塊之間邊界明確，便于感興趣區(qū)域與非感興趣區(qū)域的區(qū)分。對(duì)處理后的超像素塊通過(guò)合適的距離度量方法進(jìn)行聚類，必定可以實(shí)現(xiàn)圖像感興趣區(qū)域的精確提取。

2.1 超像素分割

超像素分割將圖像分成多個(gè)相對(duì)規(guī)則的如細(xì)胞狀的超像素塊，這些超像素塊連接緊密，特征相對(duì)明顯，超像素間的界限比較明確。在進(jìn)行分割操作時(shí)，只需規(guī)定超像素的數(shù)量這一參數(shù)，相比其他分割方法，超像素分割更自動(dòng)化，運(yùn)算更高效。超像素分割后的超像素特征明顯，自成一體，相比原圖像維度大大減少，在進(jìn)行聚類操作時(shí)，可減少大量計(jì)算，提高運(yùn)算效率。

分割步驟如下：

假設(shè)圖像[I]大小為[m*n]，像素點(diǎn)[x，y]相對(duì)應(yīng)的灰度值為：

[px，y x=1，2，...m;y=1，2，...n]

（1） 初始化規(guī)則超像素。給定圖像合適的中心點(diǎn)個(gè)數(shù)[k]，則初始化的規(guī)則超像素是邊界長(zhǎng)度為[s=m*nk]的正方形。

（2） 選取新的中心點(diǎn)。在給定中心點(diǎn)的[2s*2s]鄰域內(nèi)找到梯度值最小的像素點(diǎn)代替原先的中心點(diǎn)。

（3） 分配像素點(diǎn)。計(jì)算像素點(diǎn)與鄰近中心點(diǎn)的距離，將所有像素點(diǎn)分配到最近的中心點(diǎn)所屬的超像素中。

（4） 距離度量。計(jì)算像素點(diǎn)與中心點(diǎn)之間由[L，a，b]代表的顏色值特征及[x，y] 表示的空間特征兩者組成的特征向量的距離。像素點(diǎn)屬于與其距離最小的中心點(diǎn)。

（5） 算法迭代優(yōu)化。重復(fù)步驟（2）-（4），直到中心點(diǎn)不再變化，分割完成。

2.2 超像素塊處理

進(jìn)行區(qū)域聚類之前，需要對(duì)超像素分割后的結(jié)果進(jìn)行預(yù)處理。每一個(gè)超像素都有自己特有的標(biāo)簽，在1.1中每個(gè)像素點(diǎn)依照自身所屬標(biāo)簽歸屬到相應(yīng)的超像素中，完成了分類。對(duì)每一個(gè)超像素塊計(jì)算其所有像素的均值，用像素均值代替超像素。再將所有的超像素均值按照該超像素所在原圖像的位置進(jìn)行排列，得到超像素均值矩陣[Mr*c; r=ms，c=ns]，即矩陣的每個(gè)位置對(duì)應(yīng)超像素分割后的各超像素塊，每個(gè)位置上的像素值對(duì)應(yīng)各超像素塊的像素均值。

2.3 區(qū)域聚類

區(qū)域聚類是通過(guò)聚類的思想將超像素均值矩陣[Mr*c]中像素值距離相近的點(diǎn)進(jìn)行聚類，最后將聚類的結(jié)果組合并顯示。通過(guò)對(duì)圖像的感興趣區(qū)域研究發(fā)現(xiàn)，感興趣區(qū)域一般在圖像的中心部分，且圖像邊角的四個(gè)區(qū)域不含有感興趣區(qū)域。因此，可設(shè)置聚類個(gè)數(shù)為5，再對(duì)超像素均值矩陣[Mr*c]進(jìn)行區(qū)域聚類。用超像素均值矩陣代替原圖像進(jìn)行聚類，不僅縮小了像素矩陣，計(jì)算量也大大減少，有效提升運(yùn)算效率。

聚類步驟如下：

超像素塊均值矩陣[Mr*c]的大小為[ms*ns]，像素點(diǎn)[x，y]對(duì)應(yīng)的像素值為：

[Spx，yx=1，2，…ms;y=1，2，…ns]

（1） 初始化聚類中心。在圖像的中心區(qū)域及四個(gè)邊角合適大小的區(qū)域各自選定一個(gè)聚類中心[ckxk，yk]，[k=1，2，3，4，5]。

（2） 分配像素值點(diǎn)。遍歷矩陣[Mr*c]中所有的點(diǎn)[Spx，y]，計(jì)算每個(gè)點(diǎn)與各聚類中心[ckxk，yk]的距離[dk]，構(gòu)成向量[v]。將該點(diǎn)的空間坐標(biāo)歸屬到與[v]的最小值[min_dk]相對(duì)應(yīng)集合[Gk]中。

（3） 距離度量。定義聚類中心與矩陣中各點(diǎn)的距離[dk]為空間距離[ds]和顏色距離[dc]的加權(quán)和。空間距離和顏色距離分別如式（1） 和式（2） 所示：

[ ds=xi-Xk2+yi-Yk2] （1）

[ dc=pxi，yi-pXk，Yk2] （2）

同時(shí)，為避免不同特征距離之間單位的不統(tǒng)一，便于不同單位的指標(biāo)進(jìn)行計(jì)算和比較，需要對(duì)兩種距離進(jìn)行標(biāo)準(zhǔn)化。方法如下：

min-max標(biāo)準(zhǔn)化：線性變換公式如式（3） 所示：

[ d'=d-mindmaxd-mind] （3）

對(duì)于空間距離[ds]，最大值[maxds=r2+c2]，最小值[minds=0]。

對(duì)于像素距離[dc]，最大值[maxdc=255]，最小值[mindc=0]。

最終像素點(diǎn)與聚類中心的距離如式（4） 所示：

[ dk=ds'2+dc'2 =ds-mindsmaxds-minds2+dc-mindcmaxdc-mindc2] （4）

（4） 更新聚類中心。遍歷所有點(diǎn)歸到所屬的集合[Gk]中。在每個(gè)集合中，將所有點(diǎn)的橫縱坐標(biāo)的均值取整，作為新的聚類中心的坐標(biāo)，像素值為該坐標(biāo)點(diǎn)在原超像素均值矩陣中所對(duì)應(yīng)的像素值。

（5） 算法迭代。計(jì)算新聚類中心與原聚類中心的距離，當(dāng)二者的距離小于預(yù)先設(shè)定的閾值T，說(shuō)明聚類中心沒(méi)有明顯的變化，否則迭代步驟（2）-（4）。

2.4 提取感興趣區(qū)域

比較2.3中5個(gè)集合聚類中心的位置，選取聚類中心在圖像中心部位的集合。將該集合中各個(gè)坐標(biāo)所對(duì)應(yīng)的超像素塊進(jìn)行組合，其他的區(qū)域灰度值全都設(shè)為0，作為背景。最終組合得出的結(jié)果即為圖像的感興趣區(qū)域。

3 實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證本文算法的有效性，選取經(jīng)典數(shù)據(jù)庫(kù)Corel-5k中的恐龍、狐貍、老虎、熊等背景復(fù)雜度不等的圖像數(shù)據(jù)，利用基于局部閾值的分割方法、分水嶺法、超像素分割+K-means及本文提出的算法對(duì)圖像進(jìn)行感興趣區(qū)域提取，并對(duì)提取結(jié)果進(jìn)行比較。提取過(guò)程都是在灰度圖像中進(jìn)行處理，結(jié)果如圖5～圖10所示：

以上提取結(jié)果圖中，灰色部分為提取出的感興趣區(qū)域，黑色部分為圖像背景區(qū)域，通過(guò)對(duì)上述結(jié)果進(jìn)行比較，可以得出以下結(jié)論：

（1） 基于局部閾值的分割方法無(wú)法確定圖像的主體，易造成感興趣區(qū)域提取錯(cuò)誤、提取不完整等問(wèn)題。

（2） 分水嶺法相比較前一種方法，大致提取出了感興趣區(qū)域，但是也存在主體不明確的問(wèn)題，且最終的提取結(jié)果噪聲較大，效果較差。

（3） 超像素分割與K-means相結(jié)合的方法能準(zhǔn)確地找出圖像主體的相對(duì)位置，大致提取出了感興趣區(qū)域，但是對(duì)于背景比較復(fù)雜的圖像，提取效果較差，容易出現(xiàn)欠分割的現(xiàn)象。

（4） 本文提出的基于超像素及區(qū)域聚類算法在準(zhǔn)確找出圖像主體的同時(shí)，既實(shí)現(xiàn)了超像素分割方法對(duì)圖像的邊緣特征的提取，又體現(xiàn)了聚類算法對(duì)圖像整體的把握，極大程度上避免了圖像的漏割，較為完整地提取出了感興趣區(qū)域，且大大減少了干擾因素，使得提取結(jié)果符合預(yù)期。

4 結(jié)束語(yǔ)

為了更好地解決圖像感興趣區(qū)域的提取問(wèn)題，本文對(duì)圖像的感興趣區(qū)域進(jìn)行研究，提出了一種基于超像素分割與區(qū)域聚類相結(jié)合的針對(duì)單主體圖像的感興趣區(qū)域提取方法。算法使用超像素分割先將圖像分割成超像素塊，再對(duì)分割后的超像素塊進(jìn)行整合處理，通過(guò)區(qū)域聚類方法對(duì)處理后的超像素塊進(jìn)行聚類，得到最終結(jié)果。本文算法實(shí)用性強(qiáng)，無(wú)需人工操作，且相比較其他算法，提取結(jié)果更優(yōu)，效率也更高。但是由于多主體圖像的主體較為分散，不易準(zhǔn)確查找，因此該算法對(duì)于多主體圖像的提取效果不盡如人意，在提取過(guò)程中容易漏掉部分主體。因而在后續(xù)的工作中應(yīng)繼續(xù)研究，使得在提取多主體圖像的感興趣區(qū)域之前自動(dòng)確定主體數(shù)目，且能保持精準(zhǔn)提取。

參考文獻(xiàn)：

[1] 王拓.基于內(nèi)容的圖像檢索技術(shù)研究與應(yīng)用[D].貴陽(yáng)：貴州師范大學(xué)，2017.

[2] 田原嫄，譚慶昌.亞像素邊緣定位算法過(guò)濾噪聲的分析[J].東北電力大學(xué)學(xué)報(bào)，2016，36（5）：43-47.

[3] 胡建平，李玲，謝琪，等.一種新的航拍玻璃絕緣子圖像分割方法[J].東北電力大學(xué)學(xué)報(bào)，2018，38（2）：87-92.

[4] 汪輝.圖像分割及其感興趣區(qū)域提取方法的研究[D].安慶：安慶師范大學(xué)，2017.

[5] 羅學(xué)剛，呂俊瑞，彭真明.超像素分割及評(píng)價(jià)的最新研究進(jìn)展[J].激光與光電子學(xué)進(jìn)展，2019，56（9）：53-63.

[6] 姜全春，王寧，李雷，等.一種新的基于超像素聚類的圖像分割算法[J].軟件，2019，40（6）：44-48.

[7] 郭偉，李紅達(dá)，邢宇哲.基于SLIC的自適應(yīng)多主體圖像分割算法[J].計(jì)算機(jī)工程與科學(xué)，2018，40（8）：1459-1467.

[8] Mihael Ankerst， Markus M. Breunig， Hans-Peter Kriegel， and J?rg Sander. OPTICS： ordering points to identify the clustering structure[J]. Proceedings ACM SIGMOD international conference on Management of data， 1999， 28（2）： 49-60.

[9] 劉洋，周寧寧.基于SLIC的圖像分割方法研究[J].計(jì)算機(jī)技術(shù)與發(fā)展，2019，29（1）：75-79.

[10] 蘇建菖，馬燕.基于超像素和K-means的圖像分割算法[J].計(jì)算機(jī)時(shí)代，2019（2）：58-60，66.

【通聯(lián)編輯：唐一東】