基于改進(jìn)OSV分解模型的圖像分割

郭雨瑩，許建樓,尚婉清，尤少培，王海軍

(河南科技大學(xué) 數(shù)學(xué)與統(tǒng)計(jì)學(xué)院，河南 洛陽(yáng) 471023)

0 引 言

圖像分割是計(jì)算機(jī)視覺和圖像處理中一個(gè)基本但仍然具有挑戰(zhàn)性的問(wèn)題。一般來(lái)說(shuō)，圖像分割是基于相似的屬性(如強(qiáng)度、顏色和紋理)將圖像分成一定數(shù)量的互不相交有不同特點(diǎn)的區(qū)域的過(guò)程,它在生物醫(yī)學(xué)[1]和深度學(xué)習(xí)[2]等領(lǐng)域有著廣泛的應(yīng)用。通常，自然圖像中的顏色和紋理特征非常復(fù)雜，因此從背景中完全分割對(duì)象非常困難。到目前為止，人們已經(jīng)提出了很多圖像分割模型。大體上，求解分割模型的方法分為基于模型[3-9]和基于學(xué)習(xí)[10-12]2大類。然而，由于圖像的多樣性和復(fù)雜性，使得統(tǒng)一的網(wǎng)絡(luò)架構(gòu)不能令大量圖像產(chǎn)生一致最優(yōu)分割效果。在訓(xùn)練網(wǎng)絡(luò)過(guò)程中表現(xiàn)就是雖然所有訓(xùn)練樣本的總的損失函數(shù)很好地達(dá)到極小值，但對(duì)于單個(gè)圖像，損耗可能會(huì)隨著訓(xùn)練的繼續(xù)而增加。由于這種不穩(wěn)定性以及深度學(xué)習(xí)的方法涉及大量數(shù)據(jù)，本文選擇用基于模型的方式進(jìn)行圖像分割。

在已經(jīng)提出的各種基于模型的圖像分割方法中，最有效的方法是基于變分的分割方法。它利用原始圖像定義一個(gè)體現(xiàn)分割區(qū)域的內(nèi)部特點(diǎn)及邊界的能量泛函，然后最小化該能量泛函實(shí)現(xiàn)圖像分割。Mumford-Shah[3]模型是在每個(gè)區(qū)域內(nèi)使用平滑函數(shù)進(jìn)行近似，相當(dāng)于將圖像分割成不同的同質(zhì)區(qū)域，但其非凸的能量泛函使得極小化問(wèn)題難以用數(shù)值方法分析和求解。文獻(xiàn)[4]提出了用每個(gè)區(qū)域內(nèi)的常值函數(shù)來(lái)近似圖像的活動(dòng)輪廓模型。文獻(xiàn)[5]將圖像分割和圖像去噪任務(wù)統(tǒng)一到一個(gè)全局最小化框架中，避免了水平集方法中初始化距離函數(shù)中的活動(dòng)輪廓以及在進(jìn)化過(guò)程中周期性地重新初始化距離函數(shù)中的活動(dòng)輪廓。文獻(xiàn)[6]為了能夠處理分割中的灰度不均勻性，提出了一種新的圖像分割的水平集方法。文獻(xiàn)[7]在隸屬函數(shù)上引入了一個(gè)非凸正則化，提出了一種新的用于軟多相圖像分割的變分模型。文獻(xiàn)[8]采用一個(gè)多層水平集函數(shù)的N層水平集隱式曲面，將圖像劃分為N個(gè)區(qū)域，通過(guò)對(duì)一個(gè)水平集函數(shù)求極值，實(shí)現(xiàn)三維多相分段常值圖像的快速分割與重建。與圖像分割不同，圖像分解技術(shù)是通過(guò)設(shè)計(jì)模型和算法，提取圖像中的主要特征或者有用的信息，其主要目標(biāo)是把一個(gè)給定的原始圖像分解為卡通部分和紋理部分?，F(xiàn)有的部分圖像分解變分模型中使用了OSV模型中的H-1泛函[13-15]。由于在測(cè)量振蕩分量時(shí)使用了H-1(Ω)中的弱范數(shù)，這些模型可以有效地從輸入圖像中提取紋理(詳細(xì)介紹參見文獻(xiàn)[16]第3節(jié))。雖然這些方法在視覺上都取得了很好的分解效果，但是這些模型在求解過(guò)程時(shí)都忽略了Hodge分解得到的向量函數(shù)q。從數(shù)學(xué)的意義上來(lái)說(shuō)，若忽略向量函數(shù)q包含的向量信息，則模型的能量泛函出現(xiàn)偏差，影響結(jié)構(gòu)紋理分解。因此，文獻(xiàn)[17]保留了向量函數(shù)q，同時(shí)讓紋理對(duì)應(yīng)的向量場(chǎng)屬于L1空間，提出了加權(quán)曲率驅(qū)動(dòng)的卡通紋理圖像分解。

由于自然圖像不符合分片常數(shù)的假設(shè)，文獻(xiàn)[18]將圖像分解技術(shù)引入圖像分割模型中，使用結(jié)構(gòu)部分代替分割模型中的原始圖像。文獻(xiàn)[15]遵循織物圖像可以分解為卡通和紋理成分的假設(shè)，在圖像分割階段結(jié)合了圖像分解過(guò)程。文獻(xiàn)[19]將圖像分割和卡通紋理分解相結(jié)合提出了一種新的模糊分割模型?？紤]到OSV分解變分模型中零散度向量函數(shù)被忽略的問(wèn)題，本文保留了OSV模型中的零散度向量函數(shù)，將改進(jìn)后的圖像分解項(xiàng)加入分割模型，給出了一種更合理、更有效的圖像分割模型和分割算法。由于新模型保留了圖像分解變分模型中的零散度向量函數(shù)，使得本文方法能夠正確分割較復(fù)雜的自然圖像。

1 模型準(zhǔn)備

1.1 圖像分割模型

給定原始圖像f(x):Ω→R+∪{0}，假定圖像分割區(qū)域數(shù)為N已知，文獻(xiàn)[20]提出以下的基于模糊區(qū)域的多相圖像分割模型:

(1)

1.2 圖像分解模型

文獻(xiàn)[21]提出了一個(gè)在圖像分解中廣泛應(yīng)用的變分模型，簡(jiǎn)稱OSV模型：

(2)

1.3 基于圖像分解的分割模型

由于自然圖像通常有結(jié)構(gòu)和紋理2種成分，文獻(xiàn)[18]將分解模型(2)加入分割模型，提出了基于圖像分解的稀疏正則化多區(qū)域圖像分割方法：

(3)

式中：第1項(xiàng)是正則項(xiàng);第2項(xiàng)是保真項(xiàng);第3、4項(xiàng)為圖像分解項(xiàng);(Ii)γ表示隸屬度函數(shù)Ii(x)的多尺度小波分解系數(shù);λ、α、β是正的平衡參數(shù)。該模型將分解模型與分割模型相結(jié)合，在圖像分解的同時(shí)進(jìn)行圖像分割，從而得到較好的分割結(jié)果。

2 本文模型及算法

2.1 新模型

在式(2)第2項(xiàng)的推導(dǎo)過(guò)程中，作者在文獻(xiàn)[21]中假設(shè)圖像的紋理v=f-u=divg，然后利用g的Hodge分解g=?p+q，忽略q并令g屬于L2空間而得到，其中div是散度算子，p是標(biāo)量函數(shù)，q是零散度向量函數(shù)。然而忽略q，則g的向量信息被改變，進(jìn)而改變了紋理的特性[17]。

自然圖像一般有結(jié)構(gòu)和紋理2種成分，使用分塊常值函數(shù)并不能很好地逼近原始圖像?？紤]到現(xiàn)有的使用H-1泛函的模型在求解過(guò)程中都忽略了Hodge分解得到的零散度向量函數(shù)，本文提出了保留零散度向量場(chǎng)約束的多區(qū)域圖像分割模型：

(4)

注意到，與模型(3)不同，新模型(4)中圖像分解項(xiàng)保留了無(wú)散度向量場(chǎng)q，這是本文的主要貢獻(xiàn)。首先，新模型(4)中第四項(xiàng)是g屬于L2空間，不同于文獻(xiàn)[17]讓g屬于L1空間。其次，新模型(4)和模型(3)雖然從表達(dá)式v=divg的形式上看是一樣的，但是在式(3)中g(shù)是與結(jié)構(gòu)部分u直接相關(guān)的。事實(shí)上，由于忽略無(wú)散度向量函數(shù)q使得g=?(Δ-1(f-u))不準(zhǔn)確，則由模型(3)所得的結(jié)構(gòu)部分u不準(zhǔn)確，而本文提出的模型(4)保留了零散度向量場(chǎng)q，保證了向量場(chǎng)g的準(zhǔn)確性，從而得到更準(zhǔn)確的結(jié)構(gòu)部分u，因此得到的分割結(jié)果更好。

2.2 模型算法

對(duì)模型(4)，采用增廣拉格朗日乘子法和交替方向法。首先引入2個(gè)輔助變量hi、z，令hi(x)=Ii(x)，z=Δ-1(f-u)，則模型(4)變成以下最小化問(wèn)題：

(5)

(6)

(7)

(8)

(9)

(10)

(11)

(12)

(13)

(14)

(15)

(16)

對(duì)u子問(wèn)題，用直接變分法得到它的Euler-Lagrange方程，再利用梯度擴(kuò)散流得：

(17)

對(duì)mi子問(wèn)題，這是一個(gè)關(guān)于mi的可微優(yōu)化問(wèn)題，可得到解的顯示表達(dá)式：

(18)

對(duì)Ii-子問(wèn)題，這是一個(gè)關(guān)于Ii的可微優(yōu)化問(wèn)題，可得到解的顯示表達(dá)式：

(19)

對(duì)q子問(wèn)題，利用直接變分法的下面方程并用快速傅里葉變換求解：

(20)

對(duì)z子問(wèn)題，用直接變分法的如下方程并用快速傅里葉變換求解：

(2βΔ-μ3Δ2)z=-2βdivqk+1-

(21)

(22)

3 實(shí)驗(yàn)結(jié)果及分析

(a) 自然圖像 (b) Fish圖像 (c) 織物圖像 (d) Plaid圖像

為了說(shuō)明本文模型的可行性和有效性，對(duì)以上測(cè)試圖像進(jìn)行仿真實(shí)驗(yàn)。參與實(shí)驗(yàn)的其他模型主要有文獻(xiàn)[6]、[22]，基于圖像分解使用了H-1泛函的分割模型文獻(xiàn)[15]以及[18]。每個(gè)模型均通過(guò)人工調(diào)整參數(shù)達(dá)到最好的分割效果。在數(shù)值實(shí)驗(yàn)中，直觀地給出紋理所對(duì)應(yīng)的向量場(chǎng)g以及向量場(chǎng)q，同時(shí)進(jìn)行定量分析來(lái)說(shuō)明本文模型的創(chuàng)新。

3.1 兩相分割實(shí)驗(yàn)

圖2為自然圖像在文獻(xiàn)[15]、[18]以及本文模型上的分割實(shí)驗(yàn)結(jié)果。其中，Ii,i=1,2指示圖像的分割子區(qū)域。

(a) 文獻(xiàn)[15] (b)文獻(xiàn) [18] (c) 本文模型

從圖2可以看出，其他對(duì)比模型的分割子區(qū)域I2包含一些不需要的紋理信息。這是因?yàn)楸M管文獻(xiàn)[15]和[18]引入OSV分解項(xiàng)得到了相對(duì)較好的圖像分割結(jié)果，但OSV分解項(xiàng)忽略了零散度向量場(chǎng)，使得分解不準(zhǔn)確，進(jìn)而導(dǎo)致分割結(jié)果I2中仍包含部分紋理信息。而本文模型保留了被忽略的零散度向量函數(shù)q，使得紋理對(duì)應(yīng)的向量場(chǎng)更準(zhǔn)確，從而通過(guò)求解模型得到了更加準(zhǔn)確的結(jié)構(gòu)和紋理圖像，因此分割結(jié)果I2較為理想。另外，由于零散度向量場(chǎng)還包含很多向量信息(如圖4)，與其他忽略q的模型相比，本文模型的向量場(chǎng)g更加清晰準(zhǔn)確，包含更完整的紋理信息，故本文模型的分解結(jié)果較為理想。

同樣地，為了進(jìn)一步驗(yàn)證本文模型的有效性，文獻(xiàn)[6]、[22]、[18]以及本文模型在Fish圖像上進(jìn)行對(duì)比分割實(shí)驗(yàn)，得到的結(jié)果見OSID“開放科學(xué)數(shù)據(jù)與內(nèi)容”中“補(bǔ)充材料.docx”的圖1。

3.2 三相分割實(shí)驗(yàn)

圖3選擇織物圖像作為測(cè)試圖像對(duì)文獻(xiàn)[15]、[18]的模型和本文模型進(jìn)行實(shí)驗(yàn)，展示了相應(yīng)的分割結(jié)果、分解結(jié)果及其對(duì)應(yīng)的向量場(chǎng)g。其中，Ii,i=1,2,3指示圖像的分割子區(qū)域。由于文獻(xiàn)[6]、[22]直接對(duì)織物圖像進(jìn)行分割，且實(shí)驗(yàn)結(jié)果相對(duì)較差，具體分割結(jié)果見OSID“開放科學(xué)數(shù)據(jù)與內(nèi)容”中“補(bǔ)充材料.docx”的圖2。

(a)文獻(xiàn) [15] (b) 文獻(xiàn)[18] (c) 本文模型

從圖3可以看出，相較于其他對(duì)比模型，本文模型的分割結(jié)果更準(zhǔn)確。由于織物圖像含有大量紋理成分不利于分割，文獻(xiàn)[15]和[18]在分解的同時(shí)也進(jìn)行了分割從而得到了較為準(zhǔn)確的分割結(jié)果，但其分解過(guò)程忽略了零散度向量函數(shù)q，導(dǎo)致紋理所對(duì)應(yīng)的g向量場(chǎng)不正確，使得通過(guò)求解模型得到的結(jié)構(gòu)成分和紋理成分不準(zhǔn)確，因此得到的分割子區(qū)域L1包含一些屬于子區(qū)域L3的線條。而本文模型的向量場(chǎng)g保留了零散度向量場(chǎng)q(如圖4)，?z向量方向與q向量方向相互抵消合并，使得紋理部分提取得比較徹底，卡通部分更加符合分段常數(shù)的假設(shè)，進(jìn)而得到了更好的分割結(jié)果。

類似地，文獻(xiàn)[15]、[18]、[6]以及本文模型在Plaid圖像上進(jìn)行分割實(shí)驗(yàn)，得到的結(jié)果見OSID碼“開放科學(xué)數(shù)據(jù)與內(nèi)容”中“補(bǔ)充材料.docx”的圖3。

(a) 自然圖像 (b) Fish圖像 (c) 織物圖 (d) Plaid圖

從圖4可以看出，q向量場(chǎng)包含了很多向量信息。如果q被忽略，那么得到的g向量場(chǎng)就不正確，從而影響通過(guò)模型求解得到的結(jié)構(gòu)部分和紋理部分的準(zhǔn)確性，進(jìn)而影響圖像分割的結(jié)果，因此保留q是有必要的。

3.3 分割結(jié)果的客觀評(píng)價(jià)

為了進(jìn)一步說(shuō)明新模型的優(yōu)勢(shì)，采用精確率[23]、召回率[24]以及Jaccard相似系數(shù)[25]來(lái)評(píng)估分割結(jié)果，如表1所示。

表 1 客觀評(píng)價(jià)結(jié)果

表1中的指標(biāo)越接近1，說(shuō)明分割越準(zhǔn)確。從表1可以看出，文獻(xiàn)[6]、[22]的3種評(píng)價(jià)指標(biāo)數(shù)值上表現(xiàn)較差，由于OSV分解項(xiàng)的加入，文獻(xiàn)[15]、[18]的3種評(píng)價(jià)指標(biāo)數(shù)值上表現(xiàn)較好，而本文模型保留了OSV分解項(xiàng)忽略的q，在數(shù)值上表現(xiàn)更好。與其他模型相比，本文模型在測(cè)試圖像上精確率、召回率以及Jaccard相似系數(shù)的平均值至少分別提高了3.42%、0.77%、4.89%。這與本文模型的理論分析和直觀視覺結(jié)果一致。

4 結(jié) 語(yǔ)

為了得到更好的分割結(jié)果，本文通過(guò)分析無(wú)散度向量場(chǎng)理論，提出了一個(gè)新的帶有零散度向量場(chǎng)約束的基于圖像分解的多區(qū)域分割模型并采用交替方向法求解新模型。實(shí)驗(yàn)結(jié)果表明，對(duì)于紋理圖像，由于耦合圖像分割與圖像分解使得分割不易受紋理影響，從而新模型的分割結(jié)果在精確率、召回率、Jaccard相似系數(shù)上有明顯提升，由于保留了使用H-1泛函度量振蕩成分時(shí)忽略的無(wú)散度向量場(chǎng)q，無(wú)論從理論還是數(shù)值實(shí)驗(yàn)，向量信息都更加完整。