劉松濤, 劉振興, 姜康輝
(海軍大連艦艇學(xué)院信息系統(tǒng)系, 遼寧 大連 116018)
隨著各種偵察衛(wèi)星和飛機(jī)的發(fā)展,在實(shí)際偵察活動(dòng)中,尤其是航空偵察,會(huì)得到大量的圖像信息,如何從這些圖像信息中快速精確地分割出感興趣目標(biāo),顯得至關(guān)重要[1-3]。
常見(jiàn)的圖像分割方法包括4類(lèi):邊緣檢測(cè)法、區(qū)域增長(zhǎng)和分裂合并法、閾值分割法及統(tǒng)計(jì)學(xué)分割法[4]。圖像分割通常是把圖像分成各具特性的區(qū)域,但并沒(méi)有提取出感興趣目標(biāo)。本文將閾值分割和區(qū)域增長(zhǎng)方法結(jié)合,提出感興趣圖像目標(biāo)分割方法?;赗enyi熵的圖像分割算法是閾值分割方法中運(yùn)用比較普遍的一種,經(jīng)過(guò)多年的發(fā)展,產(chǎn)生了一維Renyi熵算法[5]、二維Renyi熵算法[6]、基于分解的二維Renyi熵算法[7]等。二維Renyi熵算法與一維Renyi熵算法相比,考慮了空間分布情況,分割效果更好,但是計(jì)算復(fù)雜度增大。鑒于本文的閾值分割只是得到初步圖像分割結(jié)果,實(shí)時(shí)性更加重要,同時(shí)借鑒文獻(xiàn)[8],本文將模糊隸屬度函數(shù)(fuzzy membership fuction,FMF)引入到一維Renyi熵分割算法,實(shí)現(xiàn)圖像分割。區(qū)域增長(zhǎng)方法的核心是種子點(diǎn)的選取和增長(zhǎng)準(zhǔn)則的設(shè)計(jì)[9]。種子點(diǎn)通常人工選擇。為了實(shí)現(xiàn)自動(dòng)選取,經(jīng)典方法是首先對(duì)圖像進(jìn)行顯著性檢測(cè),然后用勝者為王(winner-take-all, WTA)機(jī)制來(lái)提取種子點(diǎn)[10]。與種子點(diǎn)獲取類(lèi)似,也可在顯著圖上進(jìn)行目標(biāo)分割[11-12]。文獻(xiàn)[13]用自適應(yīng)閾值分割來(lái)獲取目標(biāo)模板。為了得到更加精確的目標(biāo)分割,文獻(xiàn)[14]將目標(biāo)分割變?yōu)閮刹?第1步在顯著圖上進(jìn)行初始分割,第2步用自適應(yīng)種子點(diǎn)調(diào)整和參數(shù)優(yōu)化的迭代圖割來(lái)實(shí)現(xiàn)目標(biāo)分割。然而,由于顯著圖分辨率較低,將其直接作為目標(biāo)分割結(jié)果是不合適的。理想的做法應(yīng)該是以種子點(diǎn)或目標(biāo)模板為基礎(chǔ),在原圖進(jìn)行區(qū)域增長(zhǎng)。但是,傳統(tǒng)的區(qū)域增長(zhǎng)時(shí),容易受到噪聲的影響,增長(zhǎng)閾值的設(shè)定也是難點(diǎn)。
為了克服上述不足,本文提出了基于雙金字塔和特征融合的顯著性檢測(cè)方法,通過(guò)形態(tài)學(xué)重構(gòu)開(kāi)運(yùn)算和區(qū)域極大值生成目標(biāo)核心區(qū)域,然后,增長(zhǎng)準(zhǔn)則設(shè)計(jì)為將模糊Renyi熵的圖像分割結(jié)果進(jìn)行二值標(biāo)記,最后選取與目標(biāo)核心區(qū)域重疊最多的區(qū)域塊為目標(biāo)分割結(jié)果。新方法將閾值分割和區(qū)域增長(zhǎng)融為一體,種子點(diǎn)區(qū)域的確定更加可靠,增長(zhǎng)準(zhǔn)則的設(shè)計(jì)更加合理,目標(biāo)區(qū)域的提取更加精確和完整,計(jì)算效率也非常高。
基于Shannon熵的閾值分割法實(shí)現(xiàn)簡(jiǎn)單、性能穩(wěn)定,被廣泛應(yīng)用,而Renyi熵是Shannon熵的廣義形式,效果更好。針對(duì)數(shù)字圖像的模糊特性,應(yīng)用FMF把圖像灰度直方圖映射到模糊域,并在圖像模糊域中定義一種新的Renyi熵(模糊Renyi熵),再根據(jù)最大熵原理確定分割閾值[8],具體步驟如下:
步驟1構(gòu)建圖像直方圖。令圖像大小為m×n,灰度等級(jí)l∈{0,1,…,L-1},則歸一化直方圖為
(1)
式中,n1表示圖像中具有l(wèi)級(jí)灰度的像素?cái)?shù)。
步驟2設(shè)計(jì)FMF。應(yīng)用模糊集理論進(jìn)行圖像閾值分割時(shí),把數(shù)字圖像看作一個(gè)模糊集,圖像中目標(biāo)與背景的灰度級(jí)FMF滿足條件
μO(píng)(l)+μB(l)=1
(2)
式中,μO(píng)、μB分別表示目標(biāo)和背景的隸屬度函數(shù)。將一幅圖像映射到模糊域,有很多函數(shù)可供選擇,如三角函數(shù)、S函數(shù)、Z函數(shù)及π函數(shù)等。本文選擇三角函數(shù)作為FMF,即
(4)
式中,變量a、c是決定模糊區(qū)間寬度的參數(shù)。當(dāng)找到一個(gè)最佳的模糊區(qū)間(aopt,copt)時(shí),最佳分割閾值為
(5)
步驟3模糊Renyi熵
根據(jù)FMF,得到圖像目標(biāo)與背景的分布為
(6)
根據(jù)Renyi熵定義,圖像目標(biāo)O與背景B的模糊Renyi熵為
(7)
式中,α參數(shù)對(duì)分割結(jié)果影響較大。
步驟4最大模糊Renyi熵分割。根據(jù)定義的模糊Renyi熵使用最大熵原則進(jìn)行閾值分割,即
(8)
模糊Renyi熵的圖像分割結(jié)果除了目標(biāo)區(qū)域外,還有許多雜波和干擾。為了去除雜波和干擾,本文提出了基于顯著性檢測(cè)和區(qū)域極大值的目標(biāo)核心區(qū)域提取方法。顯著性檢測(cè)時(shí),對(duì)傳統(tǒng)的Itti模型進(jìn)行改進(jìn),構(gòu)建了雙金字塔結(jié)構(gòu)[15],新的尺度空間結(jié)構(gòu)更加合理,既保持了Itti模型的高效,又能更好地凸顯整個(gè)目標(biāo)區(qū)域,有利于提取目標(biāo)核心區(qū)域。
圖1是改進(jìn)后顯著圖模型的流程圖。輸入圖像首先轉(zhuǎn)換為獨(dú)立的顏色通道:黑-白亮度通道(I)、紅-綠顏色通道(red-green,RG)和藍(lán)-黃顏色通道(blue-yellow,BY),然后對(duì)于每一個(gè)通道,計(jì)算2個(gè)圖像金字塔(1個(gè)中心金字塔,一個(gè)周?chē)鹱炙?,從而得到中心-周?chē)鷮?duì)比金字塔,最后,融合不同尺度和特征的關(guān)注圖,生成最終的顯著圖。雙金字塔的優(yōu)點(diǎn)是生成周?chē)鷮訒r(shí)可以靈活調(diào)整中心-周?chē)嚷?有利于凸顯目標(biāo)和周?chē)徲虻牟町愋?特征融合是將不同特征通道和不同尺度空間的關(guān)注圖進(jìn)行算術(shù)平均,有利于體現(xiàn)不同大小和顏色的目標(biāo)顯著性。
圖1 改進(jìn)后顯著圖模型的流程圖Fig.1 Flow chart of improved saliency detection model
2.1.1 特征通道
新模型主要基于強(qiáng)度和顏色特征進(jìn)行計(jì)算,采用的顏色通道為黑與白(I)、紅與綠(RG)、藍(lán)與黃(BY),定義為
(9)
2.1.2 雙金字塔
形成顏色通道后,在空間結(jié)構(gòu)上,新模型的空間結(jié)構(gòu)與傳統(tǒng)的Itti模型有兩方面的不同,如圖2所示。
圖2 雙金字塔Fig.2 Dual pyramids
(1)設(shè)計(jì)了新的尺度空間。每個(gè)金字塔共有5層,每層金字塔包含2個(gè)尺度。
(2)構(gòu)建雙金字塔,包括中心金字塔Cf和周?chē)鹱炙f,f代表{I,RG,BY}中的一個(gè)顏色通道。
周?chē)鹱炙母鲗印⒏鞒叨扔煽烧{(diào)整的中心-周?chē)嚷蕪呐c之對(duì)應(yīng)的中心金字塔的各層、各尺度平滑產(chǎn)生。Itti算法的中心-周?chē)嚷手荒苁?的次冪,不可能為1∶5或1∶12。而新模型中,周?chē)鷪D像根據(jù)所需的中心-周?chē)嚷手苯訌闹行膱D像獲得,這種改變能夠有效地提高顯著圖檢測(cè)效果。
2.1.3 對(duì)比金字塔
(10)
式中,i代表金字塔層數(shù),i=1,2,3,4,5。
2.1.4 尺度和特征融合
對(duì)比金字塔圖像每層的2個(gè)尺度首先融合,再將金字塔的5層通過(guò)跨越尺度融合獲得特征圖Ff,如圖3所示。
圖3 對(duì)比金字塔跨越尺度融合生成關(guān)注圖Fig.3 Fusion to generate conspicuity map of contrast pyramid spanning scale
(11)
然后,2個(gè)金字塔的特征圖融合成本特征通道的關(guān)注圖為
(12)
最終,3個(gè)特征通道(I,RG,BY)的關(guān)注圖融合生成顯著圖為
S=g(CI,CRG,CBY)
(13)
式中,f和g是融合操作,采用算術(shù)平均進(jìn)行融合,即可獲得良好的結(jié)果。
在顯著圖計(jì)算的基礎(chǔ)上,為了獲取種子點(diǎn),借鑒文獻(xiàn)[16],設(shè)計(jì)了目標(biāo)核心區(qū)域提取算法,主要步驟如下:
步驟1對(duì)顯著圖實(shí)施形態(tài)學(xué)重構(gòu)開(kāi)運(yùn)算??梢匀コ∶娣e的區(qū)域和噪聲點(diǎn),比普通形態(tài)學(xué)開(kāi)運(yùn)算能夠更加精確地恢復(fù)目標(biāo)的形狀。
步驟2提取局部極大值并進(jìn)行二值標(biāo)記,構(gòu)成區(qū)域塊。
步驟3計(jì)算區(qū)域塊對(duì)應(yīng)顯著圖部分的平均值,該值表示區(qū)域塊的顯著性大小。
步驟4根據(jù)目標(biāo)個(gè)數(shù),提取顯著值靠前的區(qū)域塊,得到目標(biāo)核心區(qū)域。
目標(biāo)核心區(qū)域確定后,需要在原圖像上進(jìn)行區(qū)域增長(zhǎng),才能獲得精確和完整的目標(biāo)分割結(jié)果。本文將模糊Renyi熵圖像分割結(jié)果與目標(biāo)核心區(qū)域結(jié)合實(shí)現(xiàn)目標(biāo)分割,具體步驟如下:
步驟1對(duì)圖像分割結(jié)果實(shí)施形態(tài)學(xué)重構(gòu)開(kāi)運(yùn)算,消除雜波、平滑目標(biāo)邊界;
步驟2對(duì)二值圖像進(jìn)行標(biāo)記,生成區(qū)域塊;
步驟3選取與目標(biāo)核心區(qū)域重疊最多的區(qū)域塊為目標(biāo)分割結(jié)果。
將模糊Renyi熵閾值分割、顯著性檢測(cè)、目標(biāo)核心區(qū)域提取和區(qū)域增長(zhǎng)準(zhǔn)則設(shè)計(jì)進(jìn)行綜合,形成目標(biāo)分割算法。完整的目標(biāo)分割算法流程如圖4所示。
圖4 圖像目標(biāo)分割算法流程圖Fig.4 Flow chart of image target segmentation algorithm
針對(duì)課題組搜集的航空偵察圖像進(jìn)行目標(biāo)分割實(shí)驗(yàn),首先通過(guò)目標(biāo)分割算法的關(guān)鍵輸出說(shuō)明算法的主要步驟,然后通過(guò)局部性能分析說(shuō)明目標(biāo)分割算法核心模塊設(shè)計(jì)的效果,最后從整體性能分析角度,比較新方法與經(jīng)典目標(biāo)分割方法的優(yōu)越性。算法參數(shù)主要有2個(gè):α和num,α是Renyi熵參數(shù),num是目標(biāo)個(gè)數(shù)。實(shí)驗(yàn)時(shí),α=0.5,num=1。如果是多目標(biāo)分割,可人工調(diào)整目標(biāo)個(gè)數(shù)。
與圖像目標(biāo)分割算法流程圖相對(duì)應(yīng),目標(biāo)分割算法的關(guān)鍵輸出如圖5所示。圖5(a)為艦船目標(biāo)原始圖像;圖5(b)為模糊Renyi熵分割結(jié)果,艦船目標(biāo)信息精確且完整,但是存在雜波和浪花干擾;圖5(c)為顯著性檢測(cè)結(jié)果,艦船目標(biāo)整體比較顯著;圖5(d)是目標(biāo)核心區(qū)域提取結(jié)果,準(zhǔn)確無(wú)誤;圖5(e)是利用設(shè)計(jì)的區(qū)域增長(zhǎng)準(zhǔn)則所獲取的目標(biāo)分割結(jié)果,有效去除了雜波和浪花干擾,目標(biāo)分割精確且完整。
圖5 目標(biāo)分割算法的關(guān)鍵輸出Fig.5 Key output of target segmentation algorithm
(1)將模糊Renyi最大熵分割與Renyi最大熵分割進(jìn)行比較,結(jié)果如圖6所示。圖6(a)是艦船目標(biāo)原始圖像;圖6(b)是Renyi熵分割結(jié)果;圖6(c)是模糊Renyi熵分割結(jié)果;很明顯,圖6(c)的艦船目標(biāo)部分更加精確和完整,但是雜波和干擾也更加明顯,不過(guò),雜波和干擾可以通過(guò)后續(xù)的區(qū)域增長(zhǎng)算法有效濾除,因此,針對(duì)本文的目標(biāo)分割,模糊Renyi熵的分割效果更好。
圖6 比較模糊Renyi熵分割和Renyi熵分割Fig.6 Comparison of fuzzy Renyi entropy and Renyi entropy segmentation
(2) 區(qū)域塊標(biāo)記之前用形態(tài)學(xué)重構(gòu)開(kāi)運(yùn)算去除雜波影響,結(jié)果如圖7所示。圖7(a)是艦船目標(biāo)原始圖像;圖7(b)是模糊Renyi熵分割結(jié)果;圖7(c)是形態(tài)學(xué)重構(gòu)開(kāi)運(yùn)算的雜波濾除結(jié)果,實(shí)現(xiàn)了消除雜波、平滑目標(biāo)邊界的目的。
圖7 形態(tài)學(xué)重構(gòu)開(kāi)運(yùn)算Fig.7 Morphological open operation using reconstruction
(3) 改進(jìn)算法顯著圖和Itti顯著圖的對(duì)比效果,如圖8所示。圖8(c)是Itti顯著圖效果,岸邊建筑物的顯著性更加突出,導(dǎo)致目標(biāo)核心區(qū)域提取失敗和目標(biāo)分割錯(cuò)誤,如圖8(d)和8(e)所示;圖8(f)是改進(jìn)算法的顯著圖效果,整個(gè)艦船目標(biāo)的顯著性都比較明顯,后續(xù)的目標(biāo)核心區(qū)域提取和艦船目標(biāo)分割均正確無(wú)誤,如圖8(g)和圖8(h)所示。因此,改進(jìn)的顯著性檢測(cè)算法能更好地實(shí)現(xiàn)目標(biāo)核心區(qū)域提取和目標(biāo)分割。
圖8 改進(jìn)算法顯著圖和Itti顯著圖的對(duì)比Fig.8 Comparison of improved algorithm’s saliency map and Itti’s saliency map
(4) 圖9體現(xiàn)了形態(tài)學(xué)重構(gòu)開(kāi)運(yùn)算對(duì)目標(biāo)核心區(qū)域提取的重要性。如果直接在圖9(a)顯著圖上進(jìn)行區(qū)域極大值檢測(cè),容易受到雜波和干擾的影響,導(dǎo)致目標(biāo)核心區(qū)域過(guò)小如圖9(b)所示,正好匹配艦船目標(biāo)內(nèi)部的空洞區(qū)域如圖10(c)所示,導(dǎo)致無(wú)法檢測(cè)到目標(biāo)。圖9(c)為形態(tài)學(xué)重構(gòu)開(kāi)運(yùn)算后的顯著圖,有效去除了小面積的區(qū)域和噪聲點(diǎn),目標(biāo)核心區(qū)域提取和目標(biāo)分割結(jié)果如圖9(d)和圖10(c)所示。顯然,形態(tài)學(xué)重構(gòu)開(kāi)運(yùn)算可有效避免小面積區(qū)域和噪聲點(diǎn)對(duì)目標(biāo)分割的影響。
圖9 顯著圖實(shí)施形態(tài)學(xué)重構(gòu)開(kāi)運(yùn)算Fig.9 Saliency map on morphological open operation using reconstruction
(5)比較目標(biāo)核心區(qū)域提取方法、文獻(xiàn)[16]方法和WTA種子點(diǎn)提取方法。原始的WTA用于注意焦點(diǎn)選擇,然后用返回抑制功能(inhibition of return, IR)抑制當(dāng)前區(qū)域,使注意焦點(diǎn)轉(zhuǎn)向下一個(gè)區(qū)域[10]。本文將注意焦點(diǎn)的選擇與轉(zhuǎn)移用于種子點(diǎn)選擇。原始的WTA返回單個(gè)種子點(diǎn),可能正好匹配圖10(c)艦船內(nèi)部的空洞區(qū)域,造成目標(biāo)分割失誤,如圖10(a)所示;本文將單點(diǎn)改進(jìn)后形成目標(biāo)模板,如圖10(b)所示;利用此模板進(jìn)行本文設(shè)計(jì)的區(qū)域增長(zhǎng),結(jié)果為圖10(c),目標(biāo)分割正確??梢?jiàn),針對(duì)單目標(biāo)核心區(qū)域提取,目標(biāo)核心區(qū)域提取方法與改進(jìn)的WTA方法效果相當(dāng)。
然而,改進(jìn)的WTA方法提取多目標(biāo)種子點(diǎn)時(shí)容易陷入大目標(biāo)區(qū)域,IR功能失效,無(wú)法實(shí)現(xiàn)多目標(biāo)分割,如圖11(d)和圖11(e)所示。而目標(biāo)核心區(qū)域提取方法采用形態(tài)學(xué)重構(gòu)開(kāi)運(yùn)算和局部極大值提取,可有效提取出多個(gè)目標(biāo)核心區(qū)域,從而分割出多目標(biāo)。多目標(biāo)分割時(shí),目標(biāo)數(shù)為6,區(qū)域1和區(qū)域2對(duì)應(yīng)為同一個(gè)目標(biāo),第4個(gè)區(qū)域?qū)?yīng)為背景,故沒(méi)有輸出。目標(biāo)核心區(qū)域提取方法與文獻(xiàn)[16]方法的主要區(qū)別是采用顯著性排序的方法提取目標(biāo),避免了顯著性閾值難以確定的不足,但核心區(qū)域提取效果是一致的。
圖10 改進(jìn)的WTA種子點(diǎn)提取效果Fig.10 Seed points extraction effect of improved WTA
圖11 本文方法和改進(jìn)WTA方法的多目標(biāo)核心區(qū)域提取效果比較Fig.11 Comparison of the multi-target core region extraction effects between the proposed method and improved WTA method
為了考察本文方法的適應(yīng)性,對(duì)多幅航空偵察圖像進(jìn)行目標(biāo)分割實(shí)驗(yàn),并與經(jīng)典目標(biāo)分割方法、文獻(xiàn)[13]方法和文獻(xiàn)[17]方法進(jìn)行對(duì)比,結(jié)果如圖12所示。經(jīng)典目標(biāo)分割方法除采用改進(jìn)WTA提取種子點(diǎn)外,其他部分和本文方法均保持一致。
圖12 不同目標(biāo)分割方法比較Fig.12 Comparison of different target segmentation method
圖12的第3行和第6行為經(jīng)典目標(biāo)分割方法和本文方法的分割結(jié)果,單目標(biāo)分割時(shí)2種算法的分割結(jié)果都非常好,但是,針對(duì)多目標(biāo)分割問(wèn)題,從圖11即可發(fā)現(xiàn),經(jīng)典目標(biāo)分割方法容易陷入大目標(biāo)區(qū)域,不能分割出多目標(biāo),而本文方法可有效分割出多目標(biāo)。但是對(duì)多目標(biāo)灰度等級(jí)不一致的情況,本文方法也將失效,如圖13所示。
圖13 本文方法多目標(biāo)分割失效的情況Fig.13 Situation of multi-target segmentation errors of the proposed method
僅分割出一個(gè)目標(biāo),其他目標(biāo)均沒(méi)能正確分割。后續(xù)工作考慮采取自適應(yīng)多閾值圖像分割代替模糊Renyi熵閾值分割來(lái)克服[18-19]。圖12的第4行為文獻(xiàn)[13]方法的分割結(jié)果,多目標(biāo)分割效果較好,但是無(wú)論多目標(biāo)圖像還是單目標(biāo)圖像,雜波干擾嚴(yán)重。圖12的第5行為文獻(xiàn)[17]方法的分割結(jié)果,目標(biāo)分割比較完整,且雜波抑制好,但是多目標(biāo)分割效果較差。
至于算法的計(jì)算量,對(duì)文中涉及的9幅圖像進(jìn)行目標(biāo)分割,每幅圖像分割10次,統(tǒng)計(jì)計(jì)算耗時(shí)的平均值,如表1所示。新方法計(jì)算量比較小。
表1 不同目標(biāo)分割方法的計(jì)算耗時(shí)
上述實(shí)驗(yàn)表明,本文方法不僅可以實(shí)現(xiàn)復(fù)雜場(chǎng)景(沿岸干擾、海雜波干擾和多目標(biāo))航空偵察圖像艦船目標(biāo)的精確分割,同時(shí)計(jì)算效率也非常高。仿真時(shí),圖像大小為256×256,兼容機(jī)配置為3.6 GHz CPU,8 G內(nèi)存;操作系統(tǒng)為win7 64,開(kāi)發(fā)軟件為matlab 2012,代碼未優(yōu)化。
為了實(shí)現(xiàn)快速精確的航空偵察圖像目標(biāo)分割,將模糊Renyi熵和區(qū)域增長(zhǎng)結(jié)合,提出了新的目標(biāo)分割方法。首先應(yīng)用模糊Renyi熵進(jìn)行圖像分割,可以保證艦船目標(biāo)信息的精確和完整,然后提出基于雙金字塔和特征融合的顯著性檢測(cè)方法,有利于凸顯艦船目標(biāo)的整體顯著性,接著設(shè)計(jì)形態(tài)學(xué)重構(gòu)開(kāi)運(yùn)算和區(qū)域極大值生成目標(biāo)核心區(qū)域,不僅種子點(diǎn)提取更加可靠,而且能適應(yīng)多目標(biāo)情況,最后利用設(shè)計(jì)的增長(zhǎng)準(zhǔn)則將圖像分割結(jié)果和目標(biāo)核心區(qū)域進(jìn)行融合,實(shí)現(xiàn)目標(biāo)分割。實(shí)驗(yàn)結(jié)果表明,新方法是一種非常高效的航空偵察圖像艦船目標(biāo)精確分割方法。主要不足是針對(duì)灰度等級(jí)不一致的多目標(biāo)圖像,難以有效分割出全部目標(biāo)。下一步工作考慮采用自適應(yīng)多閾值圖像分割來(lái)克服該不足。