基于法矢量雅可比的總廣義變差圖像修復模型

翟 艷，潘振寬，魏偉波

(青島大學計算機科學技術學院，山東 青島 266071)

1 引言

圖像修復又稱圖像修補、圖像補全、圖像插值，是圖像處理的最基本問題之一[1]。變分方法是圖像處理、圖像分析的重要方法，可有效實現(xiàn)圖像修復、分割、重建等[2-4]。圖像修復是根據(jù)圖像中存在的信息恢復出破損圖像丟失的信息，其變分模型[5]通常借助預先定義的掩模函數(shù)標記破損區(qū)域以構造能量泛函，利用圖像擴散機制[6]將已有的圖像信息擴散到破損區(qū)域，能量泛函中的規(guī)則項決定著恢復后圖像的質(zhì)量[7-8]。

針對小破損非紋理圖像的修復問題，Chan等[9]將經(jīng)典的總變差模型(TV， Total Variation)推廣為變分圖像修復模型，該模型繼承了TV模型的邊緣保持特點，但也使得恢復后的圖像呈現(xiàn)階梯效應。自然的改進方法是引入高階導數(shù)的變分模型，如Chan 等[10]提出的基于曲率驅動擴散(Curvature-Driven Diffusions，CDD)的高階變分模型，和基于歐拉彈性能(Euler’s Elastica，EE)的圖像修復變分模型[11-12]。Lysaker等[13]則提出了基于Bounded Hessian (BH)的二階變分模型可同時保持圖像邊緣與光滑特征，可用于圖像噪聲去除[14]及圖像修復[15]。作為對BH模型的拓展，Bredies、Kunisch和Pock[16]提出了總廣義變差變分模型(Total Generalized Variation，TGV)，進一步提高了恢復圖像質(zhì)量，并應用于大破損圖像的修復[17]。

TGV模型以Hessian矩陣為基礎，該矩陣是梯度的雅可比矩陣。本文擬將TGV模型的Hessian矩陣修改為單位法矢量的雅可比矩陣，使得圖像邊緣處擴散系數(shù)接近零，從而達到圖像光滑與邊緣的同時保持的目的。為此，本文在分析BH模型和TGV模型[18]基礎上提出了基于單位法矢量雅可比的總廣義變差圖像修復模型(Total Generalized Variation Based on Jacobian of Normal，TGVJN)來提升大破損圖像的修復精度。模型采用的交替方向乘子法是求解具有可分結構的凸優(yōu)化問題的重要方法，近年來大量應用在數(shù)據(jù)分析處理領域。通過引入多個輔助變量、拉格朗日乘子及懲罰參數(shù)設計相應的交替方向乘子法(ADMM， Alternating Direction Method of Multipliers)實現(xiàn)模型快速求解。最后，對所提出模型進行一系列數(shù)值實驗來驗證其圖像修復效果。

2 相關研究工作基礎

2.1 BH模型

BH模型利用圖像強度Hessian矩陣的Frobenius范數(shù)對圖像進行去噪或修復處理。該模型的能量泛函可以寫成如下形式

(1)

其中f代表輸入的圖像，u代表恢復后的圖像，α是懲罰參數(shù)，且必須滿足條件α>0。對于二維圖像，采用dx來代表dx1dx2，圖像強度u的Hessian矩陣為

?(?u)

(2)

2.2 TGV模型

總廣義變差模型的二階規(guī)則項形式為

(3)

(4)

總廣義變差模型可以推廣應用于圖像修復等方面，該模型利用破損區(qū)域的邊緣信息沿梯度方向擴散對破損區(qū)域內(nèi)部進行修復[19]。二階TGV修復模型的能量泛函極值問題為

(5)

?為梯度算子，α，β是懲罰參數(shù)。該能量泛函中的第二項和第三項分別作為一階和二階規(guī)范，這使得模型具有良好的邊緣保持特性和光滑性。

3 基于法矢量雅可比的總廣義變差模型-TGVJN

(6)

α，β是兩個懲罰參數(shù)，χD作為掩模函數(shù)用來標記破損區(qū)域。圖像中破損區(qū)域D標記為0，非破損區(qū)域Ω/D標記為1 ?？紤]到高階模型的計算復雜性，采用交替方向乘子法來提高計算效率，下面引入一些輔助變量對其進行求解

w=?u

(7)

(8)

q=ε(p)

(9)

v=p-n

(10)

為了避免計算中直接使用約束(8)帶來的復雜性，可將其松弛為如下格式

|w|-w·n≥0

(11)

通過引入拉格朗日乘子λ1，λ2，λ3，λ4和懲罰參數(shù)μ1，μ2，μ3，μ4，能量泛函可以寫成増廣拉格朗日泛函形式

(12)

在此基礎上，通過設計交替方向乘子法來優(yōu)化迭代方案，并將原泛函分解為一系列的最小化子問題。在每次循環(huán)迭代中，依次考慮變量u，p，w，n，q，v最小化問題。各變量依次迭代結束之后，拉格朗日乘子會進行更新

(13)

(14)

(15)

(16)

在交替求解變量的極小值過程中，變量u，p，n采用高斯-賽德爾迭代方法求解子問題得到對應的歐拉-拉格朗日方程，而w，v，q的子問題具有相同的格式，可以通過廣義軟閾值公式直接得到計算結果。

通過求解u的子問題，得到的歐拉-拉格朗日方程可以寫成以下形式

(17)

計算變量w的子問題，采用廣義軟閾值公式可以得到如下形式的解

(18)

通過變分方法可以求解得到關于變量p的歐拉-拉格朗日方程

(19)

變量v，q可以分別通過廣義軟閾值公式計算得到，結果如下所示

(20)

(21)

由于變量n還需要滿足約束|n|≤1，所以在得到歐拉-拉格朗日方程之后要對其進行一次投影來提高精確度

(22)

本文算法求解步驟如下：

輸入：原始破損圖像f

輸出：修復圖像u

1)初始化，將變量u，p，w，n，q，v值設為0，拉格朗日乘子λ1，λ2，λ3，λ4值設置為0，懲罰參數(shù)α，β，μ1，μ2，μ3，μ4>0。

2)在每步迭代中交替計算變量并更新拉格朗日乘子。

3)迭代直至滿足收斂條件，得到u。

其算法流程圖如圖1所示。

圖1 算法流程圖

4 實驗結果與分析

本文所有實驗在PC(Intel Core i5-6500 CPU @3.20GHz，4.00GB內(nèi)存)上完成，編程環(huán)境為 MATLAB R2016a。為了驗證提出模型的有效性，下面將給出經(jīng)典BH模型與TGV模型及本文改進的TGVJN模型的去噪及破損圖像修復的實驗對比，三種模型都采用交替方向乘子法設計實現(xiàn)。利用峰值信噪比(PSNR)、結構相似性指數(shù)(SSIM)和均方根誤差(RMSE)三個參數(shù)對去噪和修復模型進行了客觀的比較，其中PSNR和SSIM越高表明處理后的圖像越接近原始圖像，RMSE則相反。拐角、邊緣保持及對比度等特性在下方實驗中給出了詳細展示。

在實驗分析之前，先給出本文模型的主要參數(shù)取值范圍。α，β是模型參數(shù)，范圍約在：1-1000。其中α作為懲罰參數(shù)將當前項值近似為0，β約束模型中的規(guī)則項，控制圖像擴散強度。μ1，μ2，μ3，μ4是算法設計中引入的懲罰參數(shù)，一般情況下需要設置較大的值，但實驗分析后發(fā)現(xiàn)將其設置的過大容易弱化模型中其它項的影響。故在此模型設置懲罰參數(shù)μ1：1-100，μ2=1，μ3=1，μ4=0.1。

4.1 去噪實驗結果與分析

圖2直觀地展示了各個模型保持分段常值圖像的邊緣效果。(a)是加入了0.01方差的高斯噪聲圖像，(d)，(f)和(h)是各模型去噪結果同原圖的誤差圖。理想狀態(tài)下誤差圖中不應該包含任何圖像信息，這組實驗直觀展示了模型對圖像對比度的保留能力。與其它兩個模型相比，BH模型的去噪效果并不理想，且邊緣模糊。(d)圖條形邊界處存在的豎線證明BH模型在去噪過程中會丟失一些邊緣信息。(e)和(g)直觀說明TGV模型和本文提出的TGVJN模型都能夠有效的去除噪聲且平滑效果顯著，(f)和(h)的誤差分析說明本文提出的TGVJN模型的誤差圖包含了較少的邊緣信息和圖像結構信息，驗證了TGVJN模型在邊緣保持方面更具有優(yōu)勢。

圖3給出了圖像的中間部分切線圖和能量收斂圖，該實驗中添加0.005的高斯噪聲。BH模型的去噪結果切線與原圖切線整體貼合度較低且不平滑，TGV模型的去噪結果切線在跳變處平滑了拐角，側面印證了該模型存在的邊緣模糊現(xiàn)象。而本文提出的TGVJN模型去噪結果切線在跳變處保持了拐角與原圖切線擬合較好。本實驗將能量誤差設定為0.001，能量收斂圖展示了各模型的收斂速度。其中BH模型的收斂速度最慢，TGVJN模型比TGV模型收斂速度略快。表1比較了在圖2 (b)中加入不同噪聲方差后各模型去噪結果的參數(shù)。

圖3 去噪結果中間切線及能量圖

表1 去噪實驗客觀參數(shù)比較

4.2 大尺度破損修復實驗結果與分析

圖4(a)破損區(qū)域寬度為40像素點，分別用三種模型對其進行修復。BH模型不能完全修復好這樣的大尺度破損，在圖5 (a)局部放大圖中破損區(qū)域中心與周圍存在明顯誤差。TGV與TGVJN模型在非邊界區(qū)域修復效果顯著，但從圖5中可以看出TGV模型在邊界處的模糊區(qū)域較大，本文提出的TGVJN模型雖然不能完全復原出邊界線但大大縮減了模糊區(qū)域。

圖4 Bar圖像修復結果對比

圖5 圖4 (b)-(d)的部分放大圖

圖6(a)破損區(qū)域寬度為20像素點，分別用三種模型對其修復處理，再將各模型結果圖與原圖做差得出誤差圖。BH模型在橢圓的破損邊界處產(chǎn)生了明顯的模糊區(qū)域，而TGV和TGVJN模型更好的修復出了橢圓邊界。直觀視覺上難以區(qū)分出哪個修復結果更加精確，但(d)，(f)誤差圖說明TGVJN模型修復結果誤差較小，更加貼合原圖。

圖6 Circle修復結果和誤差對比

4.3 小尺度破損修復實驗結果與分析

圖7(a)中添加了大面積的文字水印，該實驗比較了三種模型對小尺度但大面積破損圖像的修復能力。其中TGVJN模型表現(xiàn)最好，BH和TGV模型都不能完全修復破損區(qū)域，BH模型甚至出現(xiàn)了破損區(qū)域圖像強度增強的問題。

圖7 Turtle修復結果對比

圖8(a)破損交叉處丟失信息較多， BH模型沒有完全修復破損區(qū)域，圖8(b)中出現(xiàn)了斑點，且在帽沿等邊緣處邊界不清晰，有模糊現(xiàn)象。在圖9局部放大圖中，TGV模型在頭發(fā)等一些局部破損處不能修復完整，但BH模型和TGVJN模型包含的規(guī)則項具有增強線性結構的特性，在這方面優(yōu)勢明顯?？傮w來說，TGVJN模型展現(xiàn)了更好的修復效果。最后表2中列出了三種模型修復實驗的客觀評價參數(shù)。

圖8 Lena修復結果對比

圖9 圖8 (b)-(d)的部分放大圖

表2 修復實驗客觀參數(shù)比較

5 結束語

為了復原更多的圖像信息，提高圖像修復的精度，本文提出了基于法矢量雅可比的總廣義變差模型，并設計了相應的ADMM算法。通過對噪聲圖像設計去噪實驗，對不同尺度破損圖像進行修復實驗，來對比本文提出的模型與之前的模型的去噪和修復效果及客觀參數(shù)。去噪實驗結果表明，本文提出的模型具有提升圖像對比度、保持邊緣清晰的性質(zhì)。在修復實驗中，相比于BH和TGV模型，本文模型能夠更好地修復大尺度破損區(qū)域，同時可以兼顧圖像中的線性結構和邊界信息，減小邊界模糊區(qū)域，提升了修復的精確度。本文模型采用ADMM方法求解，涉及到的參數(shù)較多，可以采用更加快速的求解算法來提升計算效率。今后可以將本文的模型應用于彩色圖像修復和3維重建等方面的研究。