基于遺傳機(jī)制和高斯變差的自動(dòng)前景提取方法

陳凱星，劉 赟，王金海，袁玉波

(華東理工大學(xué) 信息科學(xué)與工程學(xué)院, 上海 200237)

基于遺傳機(jī)制和高斯變差的自動(dòng)前景提取方法

陳凱星，劉 赟，王金海，袁玉波*

(華東理工大學(xué) 信息科學(xué)與工程學(xué)院, 上海 200237)

針對(duì)無(wú)監(jiān)督或全自動(dòng)前景提取這一技術(shù)難點(diǎn)問(wèn)題，提出了一種基于遺傳機(jī)制和高斯變差的自動(dòng)前景提取(GFO)方法。首先，利用高斯變差提取圖像中的相對(duì)重要區(qū)域，定義為候選種子前景；之后，利用原始圖像和候選種子前景的邊沿信息，根據(jù)連通性和凸球原則生成前景目標(biāo)區(qū)域輪廓, 稱之為星凸輪廓；最后,構(gòu)造適應(yīng)性函數(shù)，選擇種子前景，利用選擇、交叉及變異的遺傳機(jī)制，得到精確且有效的最終前景。在Achanta數(shù)據(jù)庫(kù)和多個(gè)視頻上的實(shí)驗(yàn)結(jié)果表明，GFO方法的性能優(yōu)于已有的基于高斯變差的自動(dòng)前景提取(FMDOG)方法，且在識(shí)別的準(zhǔn)確率、召回率以及Fβ指標(biāo)上都取得了較好的抽取效果。

圖像處理；視頻監(jiān)控；前景提取；高斯變差；遺傳算法

0 引言

智能視覺系統(tǒng)是機(jī)器人技術(shù)的關(guān)鍵之一，而圖像與視頻處理技術(shù)是視覺系統(tǒng)研究的基礎(chǔ)工作。隨著機(jī)器人在中國(guó)境內(nèi)的大規(guī)模應(yīng)用，人工智能已經(jīng)成為“工業(yè)3.0”和“智能制造2015”的關(guān)鍵核心技術(shù)之一。在圖像和視頻處理的研究問(wèn)題中，前景提取是最重要的核心問(wèn)題之一[1]。

前景是相對(duì)于背景的概念，指的是圖像或者單幀視頻中信息的主要部分。有效提取前景是目標(biāo)分割[2]、識(shí)別[3]和行為理解[4]等應(yīng)用任務(wù)的基礎(chǔ)。前景提取的有效性直接影響到各種仿生視覺系統(tǒng)的性能。

到目前為止，前景提取方法大致可以分為兩類:一種是交互式的前景提取[5-6]，另一種是全自動(dòng)的前景提取[7-9]。這兩種方法側(cè)重點(diǎn)并不相同，交互式前景提取方法側(cè)重于目標(biāo)邊沿細(xì)節(jié)，并精準(zhǔn)地分離目標(biāo)與背景，在提取過(guò)程中需要人工對(duì)圖像進(jìn)行標(biāo)注；而全自動(dòng)的前景提取方法并不考慮邊沿細(xì)節(jié)，側(cè)重于對(duì)圖像目標(biāo)區(qū)域的快速定位，全程無(wú)需人工交互。因此，在這個(gè)圖像數(shù)量爆炸式增長(zhǎng)的時(shí)代，人工標(biāo)注的交互式前景提取方法顯然無(wú)法有效處理海量的數(shù)據(jù)，探索全自動(dòng)的前景提取方法進(jìn)行快速有效地處理海量數(shù)據(jù)已是當(dāng)前圖像領(lǐng)域研究的趨勢(shì)。全自動(dòng)的前景提取方法的應(yīng)用前景非常廣，比如運(yùn)動(dòng)捕捉、目標(biāo)識(shí)別[10]、圖像剪輯[11]、基于內(nèi)容的檢索[12]等方面。

自動(dòng)前景提取技術(shù)由于難度較高，盡管有不少專家學(xué)者在努力探索和研究，但是所取得的效果往往不佳，主要原因是沒有目標(biāo)的先驗(yàn)知識(shí)，提取到的前景目標(biāo)常常殘缺與期望的結(jié)果大相徑庭。2013年, Zou等[13]使用基于圖分割和條件隨機(jī)場(chǎng)嘗試建立自動(dòng)分割模型，并在PASCAL VOC 2010圖像數(shù)據(jù)集合上完成前景分割工作，驗(yàn)證了他們提出的算法的有效性。2014年，Yuan等[14]嘗試使用基于圖像分割算子(Nomalized cut, Ncut)分割，使用高斯變差提取關(guān)鍵點(diǎn)，構(gòu)建自動(dòng)前景目標(biāo)提取模型，是一個(gè)基于視覺機(jī)制的全新的前景提取技術(shù)，稱為基于高斯變差的自動(dòng)前景提取(automatic foreground extraction based on difference of Gaussian, FMDOG)技術(shù)。對(duì)于圖像目標(biāo)相對(duì)顯著的圖像來(lái)說(shuō)，該算法還是相當(dāng)有效的，但是算法對(duì)于部分圖像仍然出現(xiàn)“過(guò)提取”和“前景目標(biāo)殘缺”現(xiàn)象。

為了解決“過(guò)提取”和“前景目標(biāo)殘缺”的問(wèn)題，本文提出了一種新的方法。該方法的技術(shù)基礎(chǔ)是模擬視覺機(jī)制，第一眼看到是候選前景區(qū)域，然后擴(kuò)大重要候選，過(guò)濾掉次要候選，根據(jù)連通性和凸球原則生成有效前景目標(biāo)輪廓；然后利用遺傳的機(jī)制，構(gòu)造適應(yīng)性函數(shù)，利用選擇、交叉及變異的遺傳機(jī)制，得到精確且有效的最終前景。從實(shí)驗(yàn)結(jié)果可以看出，本文方法非常有效。

1 基于遺傳機(jī)制和高斯變差的前景提取模型

本文技術(shù)框架見圖1，提出一種基于遺傳機(jī)制和高斯變差的前景目標(biāo)提取(Foreground Extraction with Genetic Mechanism and Difference of Guassian, GFO)方法，其關(guān)鍵思想在于用遺傳的機(jī)制，在已有種子前景的基礎(chǔ)上，擴(kuò)展性地得到較為完整的圖像前景。

圖1 GFO算法流程Fig. 1 Flow chart of GFO algorithm

首先對(duì)輸入的原始圖像進(jìn)行三個(gè)重要運(yùn)算，分別是圖像分割算子(Ncut)、圖像邊沿檢測(cè)算子Canny、圖像關(guān)鍵點(diǎn)檢測(cè)算子(Difference of Guassian, DoG)；在此基礎(chǔ)上，結(jié)合Ncut分割的區(qū)域和DoG得到的關(guān)鍵點(diǎn)數(shù)量，得出初始種群，然后結(jié)合邊沿信息利用星凸的概念得到目標(biāo)輪廓，在構(gòu)造的適應(yīng)性選擇函數(shù)的保證下，在輪廓范圍內(nèi)執(zhí)行遺傳機(jī)制，提取出更加完整的前景目標(biāo)。

1.1 初始種群確定

在基于GFO算法的圖像目標(biāo)區(qū)域生長(zhǎng)的過(guò)程中，假定圖像中像素點(diǎn)的集合當(dāng)成是生物的種群，那么圖像中的每一個(gè)像素點(diǎn)就是種群中的個(gè)體GA(x,y)。在初始種群的選擇中，以高斯變差前景提取技術(shù)得到的圖像前景區(qū)域?yàn)槌跏挤N群，并將落在這些區(qū)域中的像素點(diǎn)定義為初始種子點(diǎn)。

1.2 目標(biāo)輪廓構(gòu)造

通過(guò)對(duì)各種邊沿檢測(cè)算法的分析，本文選用邊沿檢測(cè)結(jié)果較為完整的Canny算子進(jìn)行邊沿檢測(cè)，并利用得到的邊沿信息逐步地構(gòu)造出圖像中前景目標(biāo)的輪廓。

首先，分析利用Canny算子提取原始圖像中的邊沿曲線，結(jié)果如圖2所示，圖2(a)是原始圖像，圖2(b)是使用Canny算子提取出的原始圖像的邊沿信息。

圖2 原始圖像邊沿信息Fig. 2 Edge information of original image

從圖2(b)中可以明顯看到，通過(guò)Canny算子雖然得到比較完整的圖像前景的邊沿信息，但還存在兩個(gè)問(wèn)題：

1) Canny算子的主要優(yōu)點(diǎn)在于可以比較完整地獲得圖像的邊沿信息，但同時(shí)也會(huì)產(chǎn)生一些偽邊沿點(diǎn)。以圖2為例，圖(b)中定位的邊沿包含了地面與天空交界的邊沿信息，這一信息對(duì)圖中前景的定位會(huì)產(chǎn)生一定的干擾。

2)圖2(b)中獲得的邊沿并不是一個(gè)封閉的輪廓，無(wú)法作為一個(gè)限制條件限制遺傳算法對(duì)區(qū)域的再生。

為了解決上述的兩個(gè)問(wèn)題，本文提出在通過(guò)高斯變差獲得的初步前景區(qū)域中再次用Canny算子提取邊沿信息，結(jié)果如圖3所示，圖3(a)為高斯變差分離出的圖像前景目標(biāo)，圖3(b)為前景目標(biāo)中的邊沿信息。

圖3 初步前景邊沿信息Fig. 3 Edge information of preliminary foreground

然后，結(jié)合原始圖像邊沿信息eI和圖像初步前景的邊沿信息eF，利用圖像邊沿的連通性和像素點(diǎn)之間的顏色相似性獲得較為完整的圖像前景目標(biāo)的邊沿信息b(x,y)，具體過(guò)程如下公式所示:

es=eI∩eF

(1)

R′=R(x,y)-R(x0,y0)

(2)

G′=G(x,y)-G(x0,y0)

(3)

B′=B(x,y)-B(x0,y0)

(4)

(5)

(6)

式(6)中：b(x,y)的初始值為es(x,y)，可以表示為式(1)；ρ((x,y),(x0,y0))代表圖像中相鄰像素點(diǎn)的相似性；R(x,y)、G(x,y)、B(x,y)分別代表像素點(diǎn)在紅層、綠層和藍(lán)層的像素值；如式(6)所示，δ為閾值，經(jīng)過(guò)大量的實(shí)驗(yàn)，選取為5最適合。

經(jīng)過(guò)以上步驟獲得了較為精確和完整的邊沿信息b(x,y)，結(jié)果如圖4所示，其中，圖4(a)為原始圖像，圖4(b)為原始圖像邊沿信息eI和圖像初步前景的邊沿信息eF的交集，圖4(c)為提取出的圖像中的邊沿信息。下一步的工作就是將獲得的邊沿信息b(x,y)連接成為一個(gè)閉合的輪廓。

圖4 處理后圖像邊沿信息Fig. 4 Edge information of image after processing

定義1 給定一個(gè)目標(biāo)前景F，O是其幾何中心，星凸輪廓指的是以O(shè)為中心做星型射線與邊沿的最遠(yuǎn)交點(diǎn)或者球形封閉邊界點(diǎn)的并集。

圖5 輪廓封閉示意圖Fig. 5 Closed contour diagram

輪廓封閉操作具體步驟如下：

1)計(jì)算抽取得到前景的中心點(diǎn)O；

2)以中心點(diǎn)為起點(diǎn)在圖像范圍內(nèi)做射線，相鄰射線間的夾角均為α；

3)記錄與目標(biāo)邊沿有交點(diǎn)的射線，并保留交點(diǎn)，如果存在多個(gè)交點(diǎn)，則只保留離中心點(diǎn)最遠(yuǎn)的那個(gè)；

4)依次計(jì)算出離各個(gè)交點(diǎn)最近的交點(diǎn)；

5)在計(jì)算出的距離最近的兩交點(diǎn)間構(gòu)造橢圓凸包將兩點(diǎn)進(jìn)行連接；

6)直到所有相鄰交點(diǎn)連接完成，得到封閉的輪廓。

圖6顯示的是經(jīng)過(guò)以上過(guò)程獲得的圖像的前景輪廓信息，其中圖6(a)為原始圖像，圖6(b)為圖像中的輪廓信息。

圖6 圖像前景輪廓Fig. 6 Contour of image foreground

1.3 適應(yīng)性選擇

依據(jù)原圖Ncut分割得到的區(qū)域分布，統(tǒng)計(jì)閉合輪廓內(nèi)各個(gè)區(qū)域的區(qū)域連續(xù)種子數(shù)量，然后將統(tǒng)計(jì)得到的各個(gè)區(qū)域連續(xù)種子數(shù)量進(jìn)行排序，區(qū)域連續(xù)種子數(shù)量最多的區(qū)域就作為適應(yīng)度強(qiáng)的種群，由于新增區(qū)域是由圖像的前景區(qū)域向外生成的，因此定義前景區(qū)域的邊界部分為適應(yīng)度強(qiáng)的種群。優(yōu)先選擇這些點(diǎn)去產(chǎn)生新的像素點(diǎn)可以有效提高遺傳的效率和質(zhì)量。

圖7展示了GFO算法選種的過(guò)程，其中，圖7(a)為適應(yīng)性強(qiáng)的種群區(qū)域，圖7(b)中種群區(qū)域邊沿上的點(diǎn)為適應(yīng)性強(qiáng)的種子點(diǎn)，本文優(yōu)先選擇這些點(diǎn)去產(chǎn)生新的像素點(diǎn)。

圖7 適應(yīng)性種子點(diǎn)Fig. 7 Adaptive seed points

1.4 遺傳選擇

在GFO算法的使用過(guò)程中，首先把種群中每一個(gè)個(gè)體的基因序列定義成一個(gè)4維的向量(H,S,V,S_RGB)，其中H、S和V分別代表HSV空間中的色度、飽和度和明度，S_RGB代表RGB空間中紅綠藍(lán)三層值得總和。由此可知，所定義的像素點(diǎn)的基因序列涵蓋了HSV和 RGB兩個(gè)顏色空間的色彩信息，這使得圖像區(qū)域的遺傳增長(zhǎng)不僅具有合理性，而且更具有可靠性。

對(duì)于初始種群中的每一個(gè)個(gè)體GA(x,y)，值為1表示該像素點(diǎn)在種群中，0表示不在種群中。其次定義適應(yīng)度強(qiáng)的種子點(diǎn)為父節(jié)點(diǎn)Fa，在父節(jié)點(diǎn)的八鄰域內(nèi)隨機(jī)定義一個(gè)在種群中的種子點(diǎn)為母節(jié)點(diǎn)Ma，如果沒有找到母節(jié)點(diǎn)Ma，則該像素點(diǎn)不能產(chǎn)生新的個(gè)體，如果找到母節(jié)點(diǎn)Ma，則通過(guò)后續(xù)的遺傳機(jī)制產(chǎn)生一個(gè)新的個(gè)體。

圖8 選擇過(guò)程Fig. 8 Selecting process

1.5 遺傳交叉

首先執(zhí)行選擇過(guò)程得到父節(jié)點(diǎn)Fa和母節(jié)點(diǎn)Ma，然后將得到的父節(jié)點(diǎn)Fa基因序列與母節(jié)點(diǎn)Ma基因序列進(jìn)行交叉，也就是將父節(jié)點(diǎn)Fa基因序列中的前兩項(xiàng)和母節(jié)點(diǎn)基因中的后兩項(xiàng)來(lái)組成子節(jié)點(diǎn)Child，交叉過(guò)程如式(7)所示:

(7)

圖9形象地展示了交叉的過(guò)程，子節(jié)點(diǎn)Child的前兩個(gè)基因序列來(lái)自父節(jié)點(diǎn)Fa，后兩個(gè)基因序列來(lái)自母節(jié)點(diǎn)Ma，最后把經(jīng)過(guò)交叉生成的子節(jié)點(diǎn)Child與父節(jié)點(diǎn)Fa八鄰域內(nèi)的非種群內(nèi)的且在前景目標(biāo)閉合輪廓內(nèi)的點(diǎn)進(jìn)行比較，如果它們的基因序列的相似度在范圍內(nèi)，就把該點(diǎn)加入到種群中。

1.6 遺傳變異

定義2 如果一個(gè)種群內(nèi)的像素點(diǎn)的八鄰域內(nèi)的所有點(diǎn)都是非種群內(nèi)的，則將此像素點(diǎn)變異為種群外的像素點(diǎn); 相反，如果一個(gè)種群外的像素點(diǎn)的八鄰域內(nèi)的所有像素點(diǎn)都是鄰域內(nèi)的，則將此像素點(diǎn)也變?yōu)榉N群內(nèi)的點(diǎn)。此即為遺傳變異過(guò)程，如式(8)所示:

(8)

圖10形象地描述了變異的過(guò)程，圖10(a)表示非種群內(nèi)的點(diǎn)變異成為種群內(nèi)的點(diǎn)的過(guò)程，圖10(b)表示種群內(nèi)的點(diǎn)變異成為非種群內(nèi)的點(diǎn)的過(guò)程。

圖10 變異過(guò)程Fig. 10 Variation process

1.7 遺傳終止

當(dāng)圖像中的像素點(diǎn)變化小于閾值時(shí)，停止區(qū)域增長(zhǎng)。經(jīng)過(guò)大量的實(shí)驗(yàn)，最佳閾值為 0.000 2，它定義為遺傳增長(zhǎng)得到的點(diǎn)數(shù)占圖像總點(diǎn)數(shù)的比例。

2 算法復(fù)雜性分析

2.1 算法結(jié)構(gòu)

算法1 基于遺傳和高斯變差的自動(dòng)前景提取算法。

1)輸入：原始圖像I。

2)輸出：前景目標(biāo)IGFO。

3)獲取初步前景區(qū)域IFMDOG=FMDOG(I)。

4)利用Canny算子獲得原始圖像邊沿信息eI和圖像初步前景的邊沿信息eF，并通過(guò)式(1)和式(6)得到前景邊沿輪廓集合，最終根據(jù)星凸定義計(jì)算得到閉合輪廓集合。

5)在前景區(qū)域IFMDOG內(nèi)選擇父節(jié)點(diǎn)和母節(jié)點(diǎn)。

6)根據(jù)式(7)得到子節(jié)點(diǎn)。

7)在父節(jié)點(diǎn)的八鄰域內(nèi)按如下規(guī)則選擇子節(jié)點(diǎn)：a)非種群內(nèi);b)在前景目標(biāo)閉合輪廓集合內(nèi)；c)按照相似性閾值確定是否前景遺傳。

8)根據(jù)式(8)完成像素點(diǎn)變異。

9)判斷遺傳條件是否成立，如果成立執(zhí)行第2)步；否則執(zhí)行第5)步。

2.2 時(shí)間復(fù)雜度分析

本算法復(fù)雜性主要由兩個(gè)部分組成: 第一部分是種子前景區(qū)域獲取, 第二部分是遺傳生成前景目標(biāo)。

第一部分需要完成兩個(gè)重要的步驟，它們分別是對(duì)圖像進(jìn)行高斯差分處理和關(guān)鍵點(diǎn)過(guò)濾,則第一部分的復(fù)雜度為:

T1(N0,m,n)=O(N0×(m×n)2)

(9)

其中:參數(shù)N0為輸入圖像的總數(shù)，m×n為每幅圖像的大小。

第二部分中時(shí)間復(fù)雜度主要來(lái)源于適應(yīng)性種子點(diǎn)交叉再生,則第二部分的復(fù)雜度為:

T2(N0,p,k)=O(N0×pk)

(10)

其中: 參數(shù)p為適應(yīng)性種子點(diǎn)個(gè)數(shù)，k為適應(yīng)性種子點(diǎn)交叉再生像素點(diǎn)的迭代次數(shù)。

最終，算法總的時(shí)間復(fù)雜度為:

T=T1+T2

(11)

3 Achanta圖像集前景抽取實(shí)驗(yàn)

本章將在現(xiàn)有公開的Achanta圖像集[15]上進(jìn)行FMDOG算法和提出的GFO算法的性能對(duì)比。在顯著性檢測(cè)鄰域，Achanta的圖像集已經(jīng)被廣泛使用。通過(guò)主觀視覺及三個(gè)客觀指標(biāo)對(duì)比這兩種算法的性能，從而證明本文提出的GFO算法性能上的優(yōu)越性。

3.1 實(shí)驗(yàn)結(jié)果對(duì)比分析

圖11展示了GFO算法的實(shí)驗(yàn)結(jié)果，其中，圖11(a)為原始圖像，圖11(b)為使用FMDOG算法的結(jié)果，圖11(c)為GFO方法的實(shí)驗(yàn)結(jié)果?？梢钥闯?，本文方法基本上比FMDOG方法效果好。

圖11 目標(biāo)提取對(duì)比實(shí)驗(yàn)Fig. 11 Object extraction contrast experiment

3.2 評(píng)價(jià)指標(biāo)對(duì)比分析

本文采用準(zhǔn)確率(Precision)、召回率(Recall)和Fβ三個(gè)評(píng)價(jià)指標(biāo)將提出的算法與FMDOG算法進(jìn)行對(duì)比。準(zhǔn)確率(Precision)、召回率(Recall)定義公式如下：

(12)

(13)

其中：GT表示人工標(biāo)注圖中的目標(biāo)點(diǎn),SO表示前景提取算法檢測(cè)出的目標(biāo)點(diǎn)。

還有一個(gè)評(píng)價(jià)指標(biāo)是Fβ，F(xiàn)β能夠很好地評(píng)估分割結(jié)果的整體性能，它是由準(zhǔn)確率和召回率綜合計(jì)算而得到的，定義公式如下：

(14)

因?yàn)榍熬澳繕?biāo)提取中正確率重要程度要高于召回率，因此這里定義值β2為1，確保準(zhǔn)確率的權(quán)值要高于召回率。

實(shí)驗(yàn)結(jié)果如圖12所示，從實(shí)驗(yàn)結(jié)果可以看出，GFO算法在這三種評(píng)價(jià)指標(biāo)上的表現(xiàn)都要優(yōu)于FMDOG算法。。

圖12 各評(píng)價(jià)指標(biāo)在Achanta數(shù)據(jù)集上對(duì)比Fig. 12 Experimental results of evaluation indicators on Achanta

3.3 總體評(píng)價(jià)

從表1的展示可以更直觀地從總體上對(duì)GFO方法與FMDOG方法在3類指標(biāo)上的表現(xiàn)進(jìn)行對(duì)比。從召回率、準(zhǔn)確率及Fβ指標(biāo)的結(jié)果數(shù)據(jù)上看，在Achanta圖像集目標(biāo)提取上，GFO方法提取效果優(yōu)于FMDOG方法。

表1 在Achanta數(shù)據(jù)集上各評(píng)價(jià)指標(biāo)均值Tab. 1 Mean values of evaluation indicators on Achanta

4 視頻前景抽取實(shí)驗(yàn)

4.1 視頻數(shù)據(jù)庫(kù)

本次實(shí)驗(yàn)選取的視頻序列來(lái)自公開的Fukuchi視頻數(shù)據(jù)庫(kù)[16]，此數(shù)據(jù)庫(kù)包含有10個(gè)非壓縮AVI剪輯的自然場(chǎng)景，及每個(gè)視頻對(duì)應(yīng)的Groung-truth圖像。本文從中選取4個(gè)具有代表性的視頻序列應(yīng)用于實(shí)驗(yàn)，有視頻1(狐貍(Fox))、視頻2(貓(Cat))、視頻3(犀牛(Rhino))和視頻4(單人滑雪(Ski))。選取的視頻分辨率都為352×288。

表2 視頻數(shù)據(jù)庫(kù)信息Tab. 2 Video dataset information

圖13 Fukuchi中實(shí)驗(yàn)視頻幀序列Fig. 13 Experimental video sequences on Fukuchi

4.2 部分實(shí)驗(yàn)結(jié)果展示

從圖14視頻數(shù)據(jù)庫(kù)部分實(shí)驗(yàn)結(jié)果可以看出: FMDOG提取的目標(biāo)存在目標(biāo)缺損或者冗余等問(wèn)題; 本文提出的GFO方法是對(duì)FMDOG方法的改進(jìn)，它可以很好地解決FMDOG方法存在的問(wèn)題。相比FMDOG方法，GFO提取到的目標(biāo)更加完整和精確。

圖14 Fukuchi視頻數(shù)據(jù)庫(kù)部分實(shí)驗(yàn)結(jié)果Fig. 14 Part experimental results on Fukuchi

4.3 評(píng)價(jià)指標(biāo)對(duì)比分析

將視頻數(shù)據(jù)庫(kù)運(yùn)用召回率、準(zhǔn)確率及Fβ這三類指標(biāo)進(jìn)行評(píng)價(jià)，其結(jié)果如圖15所示。對(duì)于本實(shí)驗(yàn)選取的視頻，雖然GFO方法和FMDOG方法在召回率上的表現(xiàn)相差甚小，但是在準(zhǔn)確率和Fβ指標(biāo)上GFO方法明顯更優(yōu)于FMDOG方法，體現(xiàn)了較好的抽取效果。

4.4 總體評(píng)價(jià)

表3數(shù)據(jù)說(shuō)明從總體上對(duì)GFO方法與FMDOG方法在3類指標(biāo)上的表現(xiàn)進(jìn)行對(duì)比。從召回率、準(zhǔn)確率及Fβ指標(biāo)的結(jié)果數(shù)據(jù)上看，對(duì)于本文選取的4種視頻，GFO方法抽取目標(biāo)的效果要優(yōu)于FMDOG方法。

圖15 在Fukuchi數(shù)據(jù)庫(kù)上各評(píng)價(jià)指標(biāo)實(shí)驗(yàn)結(jié)果Fig. 15 Experimental results of evaluation indicators on Fukuchi表3 在Fukuchi數(shù)據(jù)庫(kù)上評(píng)價(jià)指標(biāo)均值Tab. 3 Mean of evaluation indicators on Fukuchi

算法Fox視頻評(píng)價(jià)指標(biāo)RecallPrecisionFβCat視頻評(píng)價(jià)指標(biāo)RecallPrecisionFβRhino視頻評(píng)價(jià)指標(biāo)RecallPrecisionFβSki視頻評(píng)價(jià)指標(biāo)RecallPrecisionFβFMDOG0.88180.34090.47010.88200.34850.42640.96310.54310.69140.75730.51830.5939GFO0.88170.54450.66660.89210.45520.53980.97770.70180.81470.74540.62390.6610

5 結(jié)語(yǔ)

本文借助遺傳思想提出一種基于像素遺傳的前景目標(biāo)提取方法。由于像素的遺傳需要限定其遺傳范圍，可通過(guò)構(gòu)造目標(biāo)輪廓對(duì)遺傳進(jìn)行限定，使其在輪廓內(nèi)最大化目標(biāo)的完整性。相比FMDOG方法，本文方法雖然具有較高的復(fù)雜性，但其召回率和準(zhǔn)確率都有明顯的提高。

References)

[1] ZHANG J, FENG S W, LI D, et al. Image retrieval using the extended salient region [J]. Information Sciences, 2017, 399(C): 154-182.

[2] 王丹丹,徐越,宋懷波,等.融合 K-means 與 Ncut 算法的無(wú)遮擋雙重疊蘋果目標(biāo)分割與重建[J]. 農(nóng)業(yè)工程學(xué)報(bào),2015,31(10):227-234.(WANG D D, XU Y, SONG H B, et al. Fusion of K-means and Ncut algorithm to realize segmentation and reconstruction of two overlapped apples without blocking by branches and leaves [J]. Transactions of the Chinese Society of Agricultural Engineering, 2015, 31(10):227-234.)

[3] 王海英,郭志芬.一種復(fù)雜圖像目標(biāo)的分割與識(shí)別[J]. 北京理工大學(xué)學(xué)報(bào),2000,20(2): 224-228. (WANG H Y, GUO Z F. An approach to complex target segmentation and recognition [J]. Journal of Beijing Institute of Technology, 2000, 20(2): 224-228.)

[4] 張?bào)@雷,張?jiān)骑w.基于改進(jìn)分水嶺算法的運(yùn)動(dòng)目標(biāo)行為理解[J]. 計(jì)算機(jī)工程與設(shè)計(jì),2015,36(7): 1840-1844. (ZHANG J L, ZHANG Y F. Behavior understanding of moving objects based on improved watershed algorithm[J]. Computer Engineering and Design, 2015, 36(7): 1880-1844.)

[5] PRICE B L, MORSE B S, COHEN S. Simultaneous foreground, background, and alpha estimation for image matting[C]// Proceedings of the 2010 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2010: 2157-2164.

[6] CHEN Y T, SHENG J W. Learning-based hierarchical graph for unsupervised matting and foreground estimation[J]. IEEE Transactions on Image Processing, 2014, 23(12): 4941-4953.

[7] HASSAN M A, MALIK A S, NICOLAS W, et al. Foreground extraction for real-time crowd analytics in surveillance system[C]// Proceedings of the 18th International Symposium on Consumer Electronics. Piscataway, NJ: IEEE, 2014: 1-2.

[8] WANG M, SHEN L, YUAN Y. Automatic foreground extraction of clothing images based on GrabCut in massive images[C]// Proceedings of the 2012 Information Science and Technology. Piscataway, NJ: IEEE, 2012: 238-242.

[9] LEI B, XU L Q. Real-time outdoor video surveillance with robust foreground extraction and object tracking via multi-state transition management[J]. Pattern Recognition Letters, 2006, 27(15): 1816-1825.

[10] ROSENFELD A, WEINSHALL D. Extracting foreground masks towards object recognition [C]// Proceedings of the 2011 International Conference on Computer Vision. Piscataway, NJ: IEEE, 2011: 1371-1378.

[11] LEVIN A, LISCHINSKI D, WEISS Y A. Closed-form solution to natural image matting[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2008, 30(2): 228-242.

[12] SHEKHAR R, CHAUDHURI S. Content-based image retrieval in presence of foreground disturbances[J]. IEE Proceedings — Vision, Image and Signal Processing, 2006, 153(5): 625-638.

[13] ZOU W, KPALMA K, RONSIN J. Automatic foreground extraction via joint CRF and online learning[J]. Electronics Letters, 2013, 49(18):1140-1142.

[14] YUAN Y B, LIU Y, DAI G H, et al. Automatic foreground extraction based on difference of Gaussian[J]. The Scientific World Journal, 2014, 2014: 29074.

[15] ACHANTA R, HEMAMI S, ESTRADA F, et al. Frequency-tuned salient region detection [C]// Proceedings of the 2009 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2009: 1597-1604.

[16] FUKUCHI K, MIYAZATO K, KIMURA A, et al. Saliency-based video segmentation with graph cuts and sequentially updated priors [C]// Proceedings of the 2009 International Conference on Multimedia and Expo. Piscataway, NJ: IEEE, 2009: 638-641.

This work is partially supported by the National High Technology Research and Development Program (863 Program) of China (2014AA020107).

CHENKaixing, born in 1992, M. S. candidate. His research interests include computer vision, intelligent monitoring, data mining.

LIUYun, born in 1989, M. S. candidate. His research interests include computer vision, intelligent monitoring, data mining.

WANGJinhai, born in 1995, M. S. candidate. His research interests include computer vision, intelligent monitoring, data mining.

YUANYubo, born in 1976, Ph. D., professor. His research interests include intelligent monitoring, robot vision, large data analysis and optimization modeling, machine learning.

ForegroundextractionwithgeneticmechanismanddifferenceofGuassian

CHEN Kaixing, LIU Yun, WANG Jinhai, YUAN Yubo*

(CollegeofInformationScienceandEngineering,EastChinaUniversityofScienceandTechnology,Shanghai200237,China)

Aiming at the difficult problem of unsupervised or automatic foreground extraction, an automatic foreground extraction method based on genetic mechanism and difference of Gaussian, named GFO, was proposed. Firstly, Gaussian variation was used to extract the relative important regions in the image, which were defined as candidate seed foregrounds. Secondly, based on the edge information of the original image and the candidate seed foregrounds, the contour of foreground object contour was generated according to connectivity and convex sphere principle, called star convex contour. Thirdly, the adaptive function was constructed, the seed foreground was selected, and the genetic mechanism of selection, crossover and mutation was used to obtain the accurate and valid final foreground. The experimental results on the Achanta database and multiple videos show that the performance of the GFO method is superior to the existing automatic foreground extraction based on difference of Gaussian (FMDOG) method, and have achieved a good extraction effect in recognition accuracy, recall rate andFβindex.

image processing; video surveillance; foreground extraction; difference of Gaussian; genetic algorithm

2017- 05- 11;

2017- 05- 26。

國(guó)家863計(jì)劃項(xiàng)目(2014AA020107)。

陳凱星(1992—)，男，福建福安人，碩士研究生，主要研究方向：計(jì)算機(jī)視覺、智能監(jiān)控、數(shù)據(jù)挖掘； 劉赟(1989—)，男，山西太原人，碩士研究生，主要研究方向：計(jì)算機(jī)視覺、智能監(jiān)控、數(shù)據(jù)挖掘； 王金海(1995—)，男，河南信陽(yáng)人，碩士研究生，主要研究方向：計(jì)算機(jī)視覺、智能監(jiān)控、數(shù)據(jù)挖掘； 袁玉波(1976—)，男，云南宣威人,教授，博士生導(dǎo)師，博士，主要研究方向：智能監(jiān)控、機(jī)器人視覺、大數(shù)據(jù)分析與優(yōu)化建模、機(jī)器學(xué)習(xí)。

1001- 9081(2017)11- 3231- 07

10.11772/j.issn.1001- 9081.2017.11.3231

(*通信作者電子郵箱ybyuan@ecust.edu.cn)

TP391

A