基于廣義全變分正則項(xiàng)的圖像填補(bǔ)技術(shù)

陳穎頻，柯素玲，黃慧瀅，吳日盛，王靈芝

(閩南師范大學(xué)物理與信息工程學(xué)院電子工程系，福建 漳州 363000)

0 引 言

圖像填補(bǔ)技術(shù)廣泛應(yīng)用于圖像遮擋物體去除、古籍圖像恢復(fù)等[1-2]。圖像填補(bǔ)通常有2種方法，一種是通過偏微分方程的填補(bǔ)方法，另一種是通過全變分(Total Variation， TV)約束的方法填補(bǔ)圖像[3-4]?；赥V約束的圖像填補(bǔ)方法假定圖像由分片常數(shù)組成，其一階梯度具有稀疏先驗(yàn)特性，因此通過約束圖像一階梯度的稀疏性來實(shí)現(xiàn)圖像修補(bǔ)工作[5-6]。與基于變分偏微分方程[7-8]的修復(fù)模型相比，TV修復(fù)方法具有更好的收斂性，在修復(fù)圖像的同時，保持圖像的邊緣，并能有效壓制噪聲。值得指出的是，TV方法假定圖像由分片常數(shù)組成[9-11]，在其修復(fù)結(jié)果中常常會出現(xiàn)階梯效應(yīng)。二階廣義全變分(Total Generalized Variation， TGV)正則項(xiàng)具有TV模型全部的優(yōu)點(diǎn)，并考慮了圖像的二階梯度稀疏性，從而有效去除TV約束正則項(xiàng)導(dǎo)致的階梯效應(yīng)[12-19]。綜上所述，本文引入二階TGV正則項(xiàng)，提出一種新的圖像修復(fù)模型，緩解TV模型在圖像填補(bǔ)過程中產(chǎn)生的階梯效應(yīng)。然后采用一階原始對偶算法[20-21]對提出的模型加以求解，該算法能有效地收斂并獲得較好的恢復(fù)圖像。在后續(xù)數(shù)值實(shí)驗(yàn)中可以看到，提出的方法能有效進(jìn)行圖像修復(fù)工作，同時又解決了TV圖像修復(fù)模型的階梯效應(yīng)問題，并指出TGV在圖像修復(fù)過程中存在的不足。

1 預(yù)備知識

1.1 全變分圖像填補(bǔ)模型

一階TV修復(fù)模型為：

(1)

1.2 一階原始對偶方法

本文引入一階原始對偶算法求解提出模型，現(xiàn)在簡要介紹該方法。假定求解問題的原始模型為：

(2)

其中,K表示某種算子，如模糊算子、欠采樣算子等；O和G表示2個不同的函數(shù)；u為式(2)的變量。

對式(2)引入共軛變換，轉(zhuǎn)化為一階原始對偶問題[20]，即：

(3)

其中，表示Ku和p的內(nèi)積；p為對偶變量；O*(p)表示原始函數(shù)O對應(yīng)的共軛變換函數(shù)。O*(p)定義如下：

O*(p)=sup{-O(u)}

(4)

其中，sup表示函數(shù)的上確界。

2 提出的圖像填補(bǔ)模型與求解

2.1 二階的廣義全變分圖像填補(bǔ)模型

二階TGV正則項(xiàng)同時約束了圖像的一階梯度與二階梯度，因此能有效緩解全變分模型的階梯效應(yīng)?；诙ATGV正則項(xiàng)，本文提出一種新的廣義全變分模型為：

(5)

式(5)中的對稱梯度算子定義如下：

其中，?x+和?y+分別表示橫方向的前向差分和縱方向的前向差分。

2.2 提出模型的求解

對式(5)運(yùn)用一階原始對偶算法進(jìn)行求解，引入對偶變量，則式(5)的一階原始對偶形式為：

(7)

其中，M和F表示原始變量F和V的對偶變量；集合A和B表示M和F的可行域，定義如式(8)～式(9)：

A={M=(M1,M2),‖M‖∞≤λ1}

(8)

(9)

對于F變量，需要將填補(bǔ)區(qū)域和非填補(bǔ)區(qū)域分開求解。對于E區(qū)域，將式(7)中關(guān)于F變量在E區(qū)域的目標(biāo)函數(shù)對F變量求導(dǎo)得：

(10)

利用半隱式梯度下降法得到E區(qū)域F變量的更新公式為：

=F(k)|E+τ[div(M(k))+β(G-F(k+1)|E)]

=F(k)|E+τ[div(M(k))+βG-βF(k+1)|E]

(11)

根據(jù)式(11)得E區(qū)域F變量的更新公式為：

(12)

對于D區(qū)域，將式(7)中關(guān)于F變量在D區(qū)域的目標(biāo)函數(shù)對F變量求導(dǎo)，并利用梯度下降法，得F變量在D區(qū)域的更新公式為：

=F(k)|D-μ(-div(M(k))|D)

=F(k)|D+μdiv(M(k))|D

(13)

綜合式(11)和式(13)可得F變量的更新公式為：

(F(k)+μdiv(M(k))|D

(14)

對于V變量，采取梯度下降法求解，得：

V(k+1)=V(k)+τ(M(k)+divh(F(k)))

(15)

對于M變量，利用前向后向映射法求解，即：

(16)

對于F變量，利用前向后向映射法求解，即：

提出算法如算法1所示，算法1中的tol表示算法迭代停止閾值。

算法1基于TGV的圖像填補(bǔ)算法。

Input:觀測圖像G

Output:修復(fù)圖像F

Initialize:β,λ0,λ1,k=0,tol=10-4,T=1,F(k)=G,V(k),M(k),F(k)=0

1:WhileT>tol do

2:利用式(14)更新F(k+1);

3:利用式(15)更新V(k+1);

4:根據(jù)式(16)更新M(k+1);

5:根據(jù)式(17)更新F(k+1);

6:T=‖F(xiàn)(k+1)-F(k)‖2/‖F(xiàn)(k)‖2;

7:k=k+1;

8:End While

9:ReturnF(k)asF

3 實(shí) 驗(yàn)

本文使用6幅圖像來做實(shí)驗(yàn)，用來驗(yàn)證提出算法的效果，如圖1所示，圖像的大小都是256×256。主要對比參數(shù)包括結(jié)構(gòu)相似性(Structural Similarity， SSIM)[22]和峰值信噪比(Peak Signal to Noise Ratio， PSNR)。實(shí)驗(yàn)中的PSNR定義為式(18)，SSIM定義為式(19)。

(18)

其中，X表示原圖，Y表示修復(fù)的圖像，max(X)表示X中的最大像素值。

(19)

圖1 測試圖片

為了觀察提出算法的圖像填補(bǔ)效果，圖2以Cameraman為處理圖像，展示各種算法的圖像恢復(fù)細(xì)節(jié)。對比圖2(a)實(shí)線框框出區(qū)域，可以看到，圖2(c)和圖2(d)在該區(qū)域呈分片狀，存在明顯的階梯效應(yīng)，而本文方法的恢復(fù)圖像(圖2(e))在該區(qū)域的紋理細(xì)節(jié)恢復(fù)得更好，與原圖更接近，這表明本文方法能有效緩解TV模型的階梯效應(yīng)，獲得更好的視覺效果。

圖2 基于Cameraman的算法對比圖

實(shí)驗(yàn)中,將本文算法(簡稱為TGV)與TV方法、基于Lp偽范數(shù)的各向異性TV正則約束方法[23](簡稱為TpV)進(jìn)行對比，對測試圖片在不同損壞程度(損壞程度分別為10%、20%、30%，損壞程度表示像素點(diǎn)缺失的個數(shù)與圖像像素個數(shù)的比例)前提下進(jìn)行圖像恢復(fù)，并將比較結(jié)果記錄于表1。表1中，黑體加粗的指標(biāo)表示比較算法中最高的指標(biāo)，可以看到，本文方法獲得最好的圖像恢復(fù)指標(biāo)。

表1 算法性能對比表

值得指出的是，TGV方法也僅僅對局部損傷較少的圖像有比較好的修復(fù)效果，當(dāng)局部區(qū)域被大面積損壞的時候，TGV在這種區(qū)域上的填補(bǔ)效果并不佳。圖3反映了TGV方法的這一缺點(diǎn)，本文在損壞圖像的過程中，特意在Lena的帽子上增加了一塊集中損壞的區(qū)域(詳見圖3(b)中由虛線框框出的區(qū)域)，這部分的圖像恢復(fù)質(zhì)量其實(shí)是不好的，可見基于TGV正則項(xiàng)的圖像修補(bǔ)對于大范圍損壞的區(qū)域的修復(fù)能力是有限的。相比而言，圖3中實(shí)線框框出區(qū)域中，損壞區(qū)域不像虛線框框出區(qū)域中黑色塊那么集中。從圖3(e)可以觀察到，TGV方法在實(shí)線框出區(qū)域的圖像恢復(fù)質(zhì)量就比虛線框出區(qū)域的恢復(fù)質(zhì)量好得多。這說明，TGV方法需要依賴鄰域信息來恢復(fù)損失的圖像信息，如果鄰域信息丟失得過多，那么TGV方法就無法有效恢復(fù)這個區(qū)域的圖像。

圖3 基于Lena的算法對比圖

4 結(jié)束語

本文提出一種基于TGV正則約束的圖像填補(bǔ)方法，充分挖掘圖像二階梯度的稀疏性，從而彌補(bǔ)了TV圖像填補(bǔ)模型僅考慮圖像一階梯度稀疏性的局限。從實(shí)施的實(shí)驗(yàn)中可以得出如下認(rèn)識：

1)實(shí)驗(yàn)結(jié)果表明，利用一階原始對偶方法能有效求解基于TGV的圖像填補(bǔ)問題，且基于一階原始對偶的TGV填補(bǔ)方法相比于TV和TpV方法在視覺和客觀評價指標(biāo)方面都獲得較好的效果，有效緩解了TV圖像修復(fù)帶來的階梯效應(yīng)。

2)基于廣義全變分的圖像修復(fù)技術(shù)也只能對輕微損壞的圖像區(qū)域進(jìn)行有效修復(fù)，然而，對于大規(guī)模的損壞區(qū)域，TGV方法也無法有效獲得良好的圖像修復(fù)效果。在未來的研究中，筆者將針對這一問題開展深入的討論。