基于非凸低秩約束的圖像修復(fù)方法

孫艷敏，郭 強(qiáng)，張彩明

基于非凸低秩約束的圖像修復(fù)方法

孫艷敏1,2，郭 強(qiáng)1,2，張彩明2,3

(1. 山東財(cái)經(jīng)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，山東 濟(jì)南 250014；2.山東省數(shù)字媒體技術(shù)重點(diǎn)實(shí)驗(yàn)室，山東 濟(jì)南 250014；3. 山東大學(xué)軟件學(xué)院，山東 濟(jì)南 250101)

受傳輸干擾或存儲(chǔ)不當(dāng)?shù)纫蛩氐挠绊?，現(xiàn)實(shí)應(yīng)用中獲取的某些圖像通常會(huì)存在像素缺失現(xiàn)象，這給圖像的后續(xù)分析與處理帶來(lái)了一定影響。解決該問(wèn)題的常用方法是對(duì)圖像進(jìn)行低秩修復(fù)。利用低秩特性進(jìn)行修復(fù)的方法大多以秩函數(shù)建模，由于矩陣秩函數(shù)是非凸離散的，該模型的求解是一個(gè)NP難問(wèn)題，所以通常利用核范數(shù)對(duì)矩陣的秩進(jìn)行凸松弛。但是，基于核范數(shù)的修復(fù)方法與基于秩函數(shù)極小化的方法之間存在一定偏差，因此提出非凸低秩約束的圖像修復(fù)方法。即采用log函數(shù)代替核范數(shù)對(duì)秩進(jìn)行約束，能夠克服核范數(shù)無(wú)法很好逼近秩最小化的問(wèn)題。此外，為有效求解上述非凸模型，將目標(biāo)函數(shù)轉(zhuǎn)化為增廣拉格朗日函數(shù)，利用交替方向乘子法求解圖像修復(fù)模型。實(shí)驗(yàn)結(jié)果表明，該修復(fù)方法能夠處理不同情況下的像素缺失問(wèn)題，且修復(fù)性能明顯好于現(xiàn)有低秩修復(fù)方法。

圖像修復(fù)；核范數(shù)；交替方向乘子法；非凸低秩約束；增廣拉格朗日函數(shù)

圖像修復(fù)是圖像處理和計(jì)算機(jī)視覺(jué)領(lǐng)域研究的熱點(diǎn)問(wèn)題[1]，其目標(biāo)是根據(jù)圖像中的已知區(qū)域提取可用圖像信息來(lái)恢復(fù)破損區(qū)域或去除圖像中的多余物體，以便獲得符合人眼視覺(jué)要求或接近真實(shí)圖像[2]。該技術(shù)在物體移除、影視特效以及藝術(shù)作品修復(fù)等領(lǐng)域具有廣泛的應(yīng)用。

圖像修復(fù)方法通常是在修復(fù)過(guò)程中引入關(guān)于圖像內(nèi)在的結(jié)構(gòu)信息和先驗(yàn)屬性，利用數(shù)學(xué)理論建立先驗(yàn)?zāi)Ｐ?，并依?jù)先驗(yàn)?zāi)Ｐ颓蠼馊笔^(qū)域的像素。常用的修復(fù)算法大致可分為4類(lèi)：基于偏微分方程(partial differential equations，PDE)的修復(fù)算法[3-5]、基于樣本塊的修復(fù)算法[6]、基于稀疏表示的修復(fù)算法[7]以及基于深度學(xué)習(xí)的修復(fù)算法[8-9]?；谄⒎值男迯?fù)算法的主要思想是利用物理學(xué)中的擴(kuò)散方程將待修復(fù)區(qū)域周?chē)男畔鞑サ叫迯?fù)區(qū)域中，從而達(dá)到修復(fù)的目的。該方法主要適用于修復(fù)包含小尺度破損區(qū)域的圖像如劃痕和文字等，但當(dāng)修復(fù)的面積較大時(shí)，修復(fù)效果會(huì)明顯變差。其代表性算法包括TV算法[3]，BSCB算法[4]和CDD算法[5]等。為了彌補(bǔ)PDE修復(fù)算法的不足，基于樣本塊的修復(fù)算法應(yīng)運(yùn)而生。其實(shí)現(xiàn)修復(fù)的原理是在待修復(fù)圖像的已知像素區(qū)域內(nèi)按照某種規(guī)則搜索一個(gè)或多個(gè)圖像塊，將得到的圖像塊作為待修復(fù)塊的估計(jì)進(jìn)行填補(bǔ)，如此往復(fù)直到待修復(fù)區(qū)域填充完畢。這種方法雖然在較大區(qū)域的修復(fù)上較前者效果更好，但當(dāng)圖像本身的紋理特征不規(guī)則時(shí)，修復(fù)效果會(huì)明顯下降。不同于以上2種方法，基于稀疏表示的修復(fù)算法則假定圖像待修復(fù)區(qū)域和完好無(wú)損區(qū)域具備相同稀疏特性，對(duì)完好區(qū)域進(jìn)行稀疏表示獲得表示系數(shù)，再通過(guò)重構(gòu)算法對(duì)圖像破損區(qū)域進(jìn)行重構(gòu)，進(jìn)而恢復(fù)成完整的圖像。在修復(fù)過(guò)程中這類(lèi)算法不僅能夠改善圖像修復(fù)質(zhì)量，而且能夠使修補(bǔ)的圖像更加清晰。此外，深度學(xué)習(xí)近來(lái)也被應(yīng)用到圖像修復(fù)中。借助于深度學(xué)習(xí)較強(qiáng)的特征學(xué)習(xí)能力，在海量圖像數(shù)據(jù)的支撐下，通過(guò)學(xué)習(xí)可對(duì)一些大尺度破損的圖像進(jìn)行較好的修復(fù)。但其存在訓(xùn)練時(shí)間長(zhǎng)，且對(duì)計(jì)算機(jī)的硬件配置要求較高，網(wǎng)絡(luò)模型缺乏理論解釋等問(wèn)題。

隨著稀疏表示理論的發(fā)展，低秩表示成為近年來(lái)學(xué)術(shù)界研究的熱點(diǎn)[10-11]。其是稀疏表示在矩陣上的擴(kuò)展[12]，能夠利用矩陣內(nèi)樣本點(diǎn)之間的內(nèi)在關(guān)系[13-15]獲得數(shù)據(jù)的全局性特征。受到低秩表示在挖掘數(shù)據(jù)全局信息方面具有很大優(yōu)勢(shì)的啟發(fā)，以及圖像本身具有的近似低秩特性[16-18]，本文假設(shè)原始圖像可以由一個(gè)低秩矩陣表示[19]?；谠摷僭O(shè)，圖像修復(fù)的過(guò)程可以轉(zhuǎn)換為一個(gè)低秩矩陣填充問(wèn)題。

低秩矩陣填充可采用矩陣雙線性因子分解[20-24]和矩陣秩最小化[25-29]2種策略進(jìn)行。假設(shè)破損的矩陣為∈×n，為已知元素的位置構(gòu)成的集合?；陔p線性因子分解的填充算法通過(guò)求解以下模型可對(duì)缺失元素進(jìn)行估計(jì)，即

其中，為矩陣的秩。該方法將目標(biāo)矩陣分解為2個(gè)低秩矩陣的乘積形式，求解過(guò)程中可避免復(fù)雜的矩陣奇異值分解，從而使得算法具有較低的計(jì)算復(fù)雜度。但是其必須預(yù)先估計(jì)矩陣的秩，這在一定程度上限制了該方法的可用性。

與基于雙線性因子分解算法不同的是，基于秩最小化的填充算法通過(guò)式(2)得到矩陣的近似低秩估計(jì)

其中，()為矩陣的秩，即非零奇異值的個(gè)數(shù)。該方法無(wú)需知道矩陣的具體結(jié)構(gòu)信息。因?yàn)楫?dāng)矩陣滿(mǎn)足強(qiáng)不相干性且符合隨機(jī)一致采樣時(shí)，通過(guò)極小化矩陣的秩，能夠以大概率對(duì)矩陣進(jìn)行復(fù)原[25]。但是由于秩函數(shù)()的離散特性，矩陣的秩極小化是一個(gè)NP-hard問(wèn)題。通常用求解核范數(shù)最小化(nuclear norm minimization，NNM)問(wèn)題的方法來(lái)對(duì)其進(jìn)行凸松弛[14,23,30]，進(jìn)而式(2)可以轉(zhuǎn)化為

其中，||||*表示矩陣的核范數(shù)，即矩陣的所有奇異值之和。為了求解該模型，文獻(xiàn)[31]提出了一種奇異值閾值方法(singular value thresholding，SVT)。但是該方法在求解NNM問(wèn)題時(shí)，忽略了奇異值的物理意義而同等地收縮處理所有奇異值，導(dǎo)致在求解NNM問(wèn)題時(shí)通常得到的是對(duì)原始秩最小化問(wèn)題的次優(yōu)解。事實(shí)上大的奇異值通常對(duì)應(yīng)于數(shù)據(jù)的主要信息，應(yīng)該被較小地收縮來(lái)保持?jǐn)?shù)據(jù)的主要內(nèi)容。文獻(xiàn)[32]中的加權(quán)核范數(shù)極小化法(weighted nuclear norm minimization，WNNM)則根據(jù)奇異值的物理意義，通過(guò)賦予奇異值不同的權(quán)重來(lái)提高矩陣填充精度，但需要根據(jù)經(jīng)驗(yàn)手動(dòng)確定權(quán)重，使得該方法不能精確近似矩陣的秩函數(shù)。為了避免耗時(shí)的迭代收縮，文獻(xiàn)[33]提出了一種利用低秩近似(low rank approximation，LRA)和截?cái)嗥娈愔档暮?jiǎn)單圖像修復(fù)方法。此外，文獻(xiàn)[34]認(rèn)為基于矩陣NNM方法在求解過(guò)程中往往會(huì)更多地關(guān)注較大的奇異值，忽略較小的奇異值，這將導(dǎo)致所得到的矩陣雖然具有低秩性但卻不能很好地逼近真實(shí)解。因此，上文提出了基于截?cái)嗍骄仃嚭朔稊?shù)正則化(TNNR)的矩陣填充算法，其僅懲罰最小的-個(gè)奇異值(其中是矩陣的秩)。雖然TNNR在數(shù)據(jù)集上取得了很好的效果，但其在建立模型的過(guò)程中需要對(duì)矩陣的秩進(jìn)行預(yù)估計(jì)，這一過(guò)程在真實(shí)場(chǎng)景中難以實(shí)現(xiàn)。

盡管核范數(shù)能夠較好地逼近非凸的秩函數(shù)，且文獻(xiàn)[25]給出了一定的理論保證，但其與秩函數(shù)的最佳逼近函數(shù)仍有一定差距，這使得在實(shí)際應(yīng)用中其所獲結(jié)果往往不是最優(yōu)的。其原因?yàn)榫仃嚨拿恳粋€(gè)非零奇異值對(duì)秩函數(shù)來(lái)說(shuō)是同等重要的，而核范數(shù)定義為全部非零奇異值之和，并且同時(shí)最小化，這樣就使得每一個(gè)奇異值具有了不相同的貢獻(xiàn)。為了克服上述問(wèn)題，本文提出了一種非凸矩陣填充算法來(lái)進(jìn)行圖像修復(fù)。與基于核范數(shù)的模型相比，其能夠更好地逼近原始的秩極小化問(wèn)題，這是因?yàn)榉峭顾沙诳梢詫?duì)不同奇異值進(jìn)行不平衡懲罰，從而有利于對(duì)數(shù)據(jù)中主要信息的度量和刻畫(huà)。此外，為了求得算法的一個(gè)最優(yōu)解，本文采用了交替方向乘子法來(lái)求解該模型。

1 相關(guān)工作

為了更精準(zhǔn)地逼近秩函數(shù)，學(xué)者們提出引入一些更加緊致的非凸函數(shù)來(lái)松弛秩函數(shù)。文獻(xiàn)[26]采用Schatten-p(0<≤1)范數(shù)來(lái)作為秩函數(shù)的逼近函數(shù)，將低秩矩陣填充問(wèn)題建模為

其中

當(dāng)參數(shù)=1時(shí)，Schatten-p范數(shù)等價(jià)于核范數(shù)，即核范數(shù)是Schatten-p范數(shù)的一個(gè)特例。當(dāng)越趨近于0時(shí)，Schatten-p范數(shù)對(duì)秩函數(shù)的逼近能力越強(qiáng)。該模型可以采用拉格朗日乘子法進(jìn)行求解。數(shù)值實(shí)驗(yàn)結(jié)果表明，采用Schatten-p范數(shù)比采用核范數(shù)進(jìn)行矩陣填充獲得的效果更好。

文獻(xiàn)[35]則用高斯函數(shù)

來(lái)逼近秩函數(shù)，其中，s為變量；為參數(shù)。將低秩矩陣填充問(wèn)題建模為

該模型可充分利用高斯函數(shù)可微的性質(zhì)，采用梯度投影算法進(jìn)行求解。受高斯函數(shù)的啟發(fā)，文獻(xiàn)[36]則利用光滑雙曲正切函數(shù)

建立光滑非凸優(yōu)化模型，同樣可采用梯度投影算法進(jìn)行求解。對(duì)低秩矩陣填充問(wèn)題和圖像修復(fù)問(wèn)題的實(shí)驗(yàn)結(jié)果表明，該算法取得了更好的結(jié)果。此外，也可采用非凸光滑的logdet(+T)函數(shù)作為秩函數(shù)()的包絡(luò)來(lái)對(duì)矩陣填充問(wèn)題建模[37]，該模型求解可以采用交替方向乘子法。

不同于上述非凸矩陣填充模型的圖像修復(fù)方法，本文基于log函數(shù)的放縮性和泰勒展開(kāi)函數(shù)的逼近性導(dǎo)出了一種簡(jiǎn)單有效的方法。

2 本文方法

2.1 動(dòng)機(jī)分析

本文采用log函數(shù)近似秩函數(shù)主要從以下2個(gè)方面考慮：

(1) 從物理意義上講，圖像中較大的奇異值與圖像的主要成分相關(guān)，因此較大奇異值需要被較小地約束以保留主要成分。但是矩陣核范數(shù)卻將具有不同重要性的奇異值同等對(duì)待，這導(dǎo)致基于矩陣核范數(shù)的修復(fù)方法不能很好地保留圖像主要成分。直觀上的做法是，不同的奇異值應(yīng)該根據(jù)重要性被不同程度地約束。一種策略是用加權(quán)核范數(shù)的形式，但是這種形式會(huì)引入更多的權(quán)重參數(shù)且需要手動(dòng)確定權(quán)重，這使得加權(quán)核范數(shù)不能更精確近似秩函數(shù)。而本文采用奇異值的對(duì)數(shù)來(lái)保證較大奇異值的重要性，其在求解時(shí)對(duì)奇異值的收縮值僅與各個(gè)奇異值相關(guān)，這是更加合理的。

(2) 從數(shù)學(xué)意義上講，由于秩函數(shù)是奇異值的0范數(shù)，是非凸不連續(xù)的函數(shù)，而核范數(shù)是奇異值的1范數(shù)，其最小化容易導(dǎo)致過(guò)懲罰的問(wèn)題。于是，出現(xiàn)了許多利用非凸連續(xù)函數(shù)來(lái)逼近0范數(shù)的方法，例如：l范數(shù)[38-39](0<<1)、平滑截?cái)嘟^對(duì)值偏差[40]、MCP函數(shù)[41]以及指數(shù)型罰函數(shù)[42]等。這些非凸近似函數(shù)較1范數(shù)具有更好的性能，且更適合用于圖像修復(fù)。

圖1 l1范數(shù)和函數(shù)對(duì)l0范數(shù)逼近程度比較

2.2 基于log函數(shù)的修復(fù)模型

通過(guò)以上分析，理論上可采用以下非凸低秩的正則化模型對(duì)圖像進(jìn)行修復(fù)

其中

>1為常數(shù)；()為矩陣的第個(gè)奇異值?？紤]到自然圖像會(huì)受到噪聲干擾，需引入噪聲正則項(xiàng)以增加模型魯棒性，即

其中，為正則化參數(shù)；為數(shù)據(jù)的噪聲矩陣。

2.3 模型的優(yōu)化求解過(guò)程

由于||||log的非凸性，式(11)難以直接求解，因此本文利用一階泰勒展開(kāi)式[43]來(lái)線性逼近式||||log，將其代入泰勒展開(kāi)式()=(0)+?(0) (-0)，得

通過(guò)引入輔助變量=及拉格朗日乘子矩陣和，將式(11)轉(zhuǎn)換為有關(guān)增廣拉格朗日函數(shù)的無(wú)約束最小化模型，即

其中，和為正的懲罰權(quán)重參數(shù)。此外，為了方便起見(jiàn)，記

由于式(13)中的變量是可分離的，所以利用交替最小化方法[44]來(lái)求解。具體地，在一次迭代中，首先固定，，，，，并利用式(15)更新，得

由于式(15)的目標(biāo)函數(shù)是可微的，因此+1有如下閉式解

然后，固定，，，，，利用下式更新，得

根據(jù)文獻(xiàn)[43]引理1，可得

類(lèi)似地，固定，，，，，利用式(19)更新，則有

由于式(19)中的目標(biāo)函數(shù)是可微的，故通過(guò)使其一階導(dǎo)數(shù)等于零可得

其中，是指標(biāo)集的補(bǔ)集。

其次，固定，，，，，利用式(20)更新，有

由于式(21)的目標(biāo)函數(shù)是可微的，易得+1的解為

最后，固定，，，，利用下式更新增廣拉格朗日乘子，為

根據(jù)上述的求解過(guò)程，可得本文算法：

輸入：破損圖像Y，指標(biāo)集W。初始化：X=0，N=0，Z=0，P=0，Q=0和m=b=1e-8，k=100。輸出：修復(fù)圖像X。步驟1. 通過(guò)式(15)更新Xk+1。步驟2. 通過(guò)式(17)更新Zk+1。步驟3. 通過(guò)式(19)更新Yk+1。步驟4. 通過(guò)式(21)更新Nk+1。步驟5. 通過(guò)式(23)更新pk+1。步驟6. 通過(guò)式(24)更新Qk+1。步驟7. 通過(guò)m=tm，b=tb更新乘數(shù)m和b。步驟8. 重復(fù)執(zhí)行步驟1～7，直到滿(mǎn)足收斂條件：。步驟9. 結(jié)束。

需要說(shuō)明的是，為避免迭代收斂過(guò)程過(guò)于緩慢，本文通過(guò)利用文獻(xiàn)[45]的方法來(lái)加速收斂過(guò)程，即每一次迭代中的和分別是上一次迭代的倍，即=，=，其中?[1.1, 1.2]。

3 實(shí)驗(yàn)結(jié)果與分析

通過(guò)將本文方法與WNNM-MC[32]，TCTR[45]，MC-NC[46]，LRMC[47]和LRTC-TNN[47]5種方法進(jìn)行比較分析，以驗(yàn)證本文方法的有效性。實(shí)驗(yàn)所用計(jì)算機(jī)配置為：Intel Core i7-6700 CPU @3.40 GHz，8 GB內(nèi)存，軟件平臺(tái)為MATLAB R2018a。

參數(shù)設(shè)置下：=0.01max(((T)))，=1。其他5種修復(fù)算法的實(shí)現(xiàn)代碼均從作者主頁(yè)上獲取，相關(guān)參數(shù)采用默認(rèn)值。對(duì)修復(fù)后圖像的質(zhì)量從主觀的視覺(jué)效果以及客觀的量化指標(biāo)2方面進(jìn)行評(píng)價(jià)。本文采用峰值信噪比(peak signal-to-noise ratio，PSNR)和特征相似度均值(feature similarity index mersure，F(xiàn)SIM)這2種常用的定量標(biāo)準(zhǔn)來(lái)量化修復(fù)后圖像的質(zhì)量。原始測(cè)試圖像如圖2所示。

①②③ ④⑤⑥ ⑦⑧⑨

3.1 隨機(jī)丟失像素修復(fù)性能比較

3.1.1 無(wú)噪聲數(shù)據(jù)的實(shí)驗(yàn)結(jié)果

表1為在不同像素缺失率(=0.1, 0.3, 0.5)下，采用不同方法所得修復(fù)圖像的PSNR和FSIM值。從中可以看出，本文方法的量化性能明顯優(yōu)于WNNM-MC和MC-NC，略好于LRMC，LRTC-TNN和TCTR。本文方法的平均PSNR值分別比WNNM-MC，MC-NC，LRMC，LRTC-TNN和TCTR高出2.56 dB，3.17 dB，1.17 dB，0.14 dB和0.12 dB。

為比較不同方法修復(fù)圖像的視覺(jué)效果，圖3為在像素缺失率(=0.5)的情況下，各種修復(fù)方法對(duì)圖2中不同測(cè)試圖像的修復(fù)結(jié)果?？梢钥闯觯捎肨CTR方法修復(fù)后的圖像含有非常明顯的瑕疵點(diǎn)，尤其是圖像的邊緣部分，未能將圖像邊緣信息有效地恢復(fù)，而本文方法的視覺(jué)效果則明顯好于TCTR。產(chǎn)生上述問(wèn)題的原因在于，TCTR每次對(duì)固定秩為的矩陣執(zhí)行SVD。雖然該算法可以縮短運(yùn)行時(shí)間，但其忽略了現(xiàn)實(shí)圖像的秩是一變量的事實(shí)。

表1 不同方法修復(fù)結(jié)果PSNR/FSIM比較(無(wú)噪聲)

圖3 不同算法對(duì)缺失率a=0.5的圖像修復(fù)效果圖

3.1.2 含噪聲數(shù)據(jù)的實(shí)驗(yàn)結(jié)果

表2為在不同噪聲水平(=5,10,15)下，采用不同方法所得修復(fù)圖像的PSNR和FSIM值。從表2可以發(fā)現(xiàn)，噪聲降低了所有方法的性能，而且在大多數(shù)情況下，基于非凸松弛的方法可獲得較好的結(jié)果。

表2 不同方法修復(fù)結(jié)果PSNR/FSIM比較(有噪聲)

為進(jìn)一步比較修復(fù)圖像的視覺(jué)效果，圖4為在=0.5，=15情況下，不同修復(fù)方法對(duì)測(cè)試圖像的修復(fù)結(jié)果。由于實(shí)驗(yàn)使用的圖片分辨率較低，因此無(wú)法較好地觀察到復(fù)原區(qū)域與原始圖片對(duì)應(yīng)區(qū)域之間的細(xì)節(jié)差異，于是圖5給出了不同修復(fù)方法對(duì)測(cè)試圖像的局部細(xì)節(jié)修復(fù)結(jié)果。不難看出，采用LRMC修復(fù)后的圖像整體過(guò)于模糊。如圖5(f)的第3行圖像所示，圖像細(xì)節(jié)特征丟失嚴(yán)重。產(chǎn)生上述問(wèn)題的原因在于，基于NNM模型的算法忽略了奇異值的物理意義而同等地收縮所有奇異值。此外采用WNNM算法進(jìn)行圖像修復(fù)雖然效果較好，但需要引入額外的權(quán)重參數(shù)。而本文利用奇異值的對(duì)數(shù)來(lái)保證較大奇異值的重要性，并在求解時(shí)要求奇異值的收縮值僅與各個(gè)奇異值相關(guān)，沒(méi)有引入額外的權(quán)重參數(shù)，這是更加合理的收縮算法。

3.2 像素塊丟失修復(fù)性能比較

3.2.1 無(wú)噪聲數(shù)據(jù)的實(shí)驗(yàn)結(jié)果

本文隨機(jī)選取圖像的某一個(gè)30×30的方形區(qū)域作為缺失區(qū)域，將其數(shù)量定義為，并將處理后得到的圖像作為破損圖像來(lái)驗(yàn)證本文算法的有效性。各方法的FSIM和PSNR見(jiàn)表3，以及相應(yīng)的視覺(jué)效果如圖6所示。根據(jù)表中相應(yīng)的PSNR和FSIM值可以看出，MC-NC在PSNR平均值方面優(yōu)于本文算法0.13 dB，而在FSIM平均值方面則兩者相同，說(shuō)明從客觀的量化指標(biāo)進(jìn)行評(píng)價(jià)，本文方法與MC-NC相當(dāng)。

圖4 不同算法對(duì)缺失率a=0.5，噪聲水平t=15的圖像修復(fù)效果圖

圖5 不同算法對(duì)缺失率a=0.5，噪聲水平t=15的圖像修復(fù)細(xì)節(jié)效果圖

表3 不同方法修復(fù)結(jié)果PSNR/FSIM比較(無(wú)噪聲，30×30)

圖6 不同算法對(duì)缺失率k=2的圖像修復(fù)效果圖

從圖6主觀視覺(jué)效果方面而言，本文方法所獲得的修復(fù)結(jié)果不僅與MC-NC相當(dāng)，并且明顯優(yōu)于其他相關(guān)方法，尤其是對(duì)于含有大量冗余信息的圖像，本文方法的修復(fù)效果較好。需要說(shuō)明的是，如圖6(c)所示，盡管MC-NC方法可以獲得最佳的視覺(jué)效果，但在實(shí)際運(yùn)行中需要進(jìn)行耗時(shí)的逐行更新。此外，TCTR不適合修復(fù)隨機(jī)丟失像素以及丟失較大區(qū)域的圖像，從定量標(biāo)準(zhǔn)和視覺(jué)效果兩方面來(lái)說(shuō)，TCTR的修復(fù)性能最差。

3.2.2 含噪聲數(shù)據(jù)的實(shí)驗(yàn)結(jié)果

表4為固定=2時(shí)，在不同噪聲水平(=5,10,15)下，不同算法取得的PSNR和FSIM值?？梢钥闯?，平均MC-NC取得了最高的PSNR值，而本文算法取得了最高的FSIM值?？傮w而言，本文算法具有相對(duì)較好的修復(fù)果。

表4 不同方法修復(fù)結(jié)果PSNR/FSIM比較(有噪聲，30×30，k=2)

圖7為在=2，=10的情況下，各種修復(fù)方法對(duì)不同測(cè)試圖像的修復(fù)結(jié)果，為進(jìn)一步從視覺(jué)上觀察到補(bǔ)全區(qū)域與原始圖片對(duì)應(yīng)區(qū)域之間的細(xì)節(jié)差異，圖8給出了圖像的局部細(xì)節(jié)修復(fù)結(jié)果。從圖8中不難看出，本文方法和MC-NC的視覺(jué)效果要遠(yuǎn)好于TCTR，LRMC和LRTC-TNN，略好于WNNM-MC。WNNM-MC盡管具有較高的量化指標(biāo)，但其結(jié)果存在一定程度的模糊，如圖8(e)所示。此外，從圖8(g)中可以發(fā)現(xiàn)，LRTC-TNN無(wú)法有效地修復(fù)缺失的像素塊，這是由于其對(duì)參數(shù)較為敏感。

綜上所述，本文方法不僅具有較高的PSNR和FSIM，以及較強(qiáng)的魯棒性，而且其修復(fù)的圖像具有很好的視覺(jué)效果，能夠有效地保持圖像細(xì)節(jié)。

4 結(jié) 論

本文提出了一種基于非凸正則化項(xiàng)的矩陣填充模型，并結(jié)合交替方向乘子法對(duì)其進(jìn)行求解，實(shí)驗(yàn)結(jié)果表明，在不同缺失率下以及不同噪聲影響下，本文算法均能獲得較好的修復(fù)效果。由于迭代過(guò)程中涉及到矩陣的奇異值分解，使得算法的計(jì)算復(fù)雜度較高，如何提高算法的計(jì)算效率是下一步研究工作的主要內(nèi)容。

圖7 不同算法對(duì)缺失率k=2，噪聲水平t=10的圖像修復(fù)效果圖

圖8 不同算法對(duì)缺失率k=2，噪聲水平t=10的圖像修復(fù)細(xì)節(jié)效果圖

[1] GUILLEMOT C, LE M O. Image inpainting: overview and recent advances[J]. IEEE Signal Processing Magazine, 2014, 31(1): 127-144.

[2] 馮象初, 王斯琪, 李小平. 圖像修復(fù)問(wèn)題的低秩對(duì)偶逼近算法[J]. 西安電子科技大學(xué)學(xué)報(bào), 2016, 43(4): 172-177.

FENG X C, WANG S Q, LI X P. Low-rank and dual approximation method for image inpainting problems[J]. Journal of Xidian University, 2016, 43(4): 172-177 (in Chinese).

[3] 張桂梅, 李艷兵. 結(jié)合紋理結(jié)構(gòu)的分?jǐn)?shù)階TV模型的圖像修復(fù)[J]. 中國(guó)圖象圖形學(xué)報(bào), 2019, 24(5): 700-713.

ZHANG G M, LI Y B. Image inpainting of fractional TV model combined with texture structure[J]. Journal of Image and Graphics, 2019, 24(5): 700-713 (in Chinese).

[4] 尹芳, 陳田田. 均場(chǎng)退火算法在單幅灰度圖像高光檢測(cè)與恢復(fù)中的應(yīng)用[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2017, 29(5): 829-837.

YI F, CHEN T T. Application of mean field annealing in specular detection and recovery for a grayscale image[J]. Journal of Computer-Aided Design & Computer Graphics, 2017, 29(5): 829-837 (in Chinese).

[5] 竇立云, 徐丹, 李杰, 等. 基于雙樹(shù)復(fù)小波的圖像修復(fù)[J]. 計(jì)算機(jī)科學(xué), 2017, 44(S1): 179-182, 191.

DOU L Y, XU D, LI J, et al. Image inpainting based on dual-tree complex wavelet transform[J]. Computer Science, 2017, 44(S1): 179-182, 191 (in Chinese).

[6] 陶兆勝, 張敬寒, 王磊, 等. 基于邊緣特征和像素結(jié)構(gòu)相似度的圖像修復(fù)算法[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2019, 31(10): 1768-1776.

TAO Z S, ZHANG J H, WANG L, et al. Image inpainting algorithm based on edge feature and pixel structure similarity[J]. Journal of Computer-Aided Design & Computer Graphics, 2019, 31(10): 1768-1776 (in Chinese).

[7] 高成英, 徐仙兒, 羅燕媚, 等. 基于稀疏表示的物體圖像修復(fù)[J]. 計(jì)算機(jī)學(xué)報(bào), 2019, 42(9): 1953-1965.

GAO C Y, XU X E, LUO Y M, et al. Object image inpainting based on sparse representation[J]. Chinese Journal of Computers, 2019, 42(9): 1953-1965 (in Chinese).

[8] LI J Y, WANG N, ZHANG L F, et al. Recurrent feature reasoning for image inpainting[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2020: 7760-7768.

[9] ZHAO L, MO Q H, LIN S H，et al. UCTGAN: diverse image inpainting based on unsupervised cross-space translation[C]// 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2020: 5741-5750.

[10] UDELL M, HORN C, ZADEH R B, et al. Generalized low rank models[J]. Foundations and Trends in Machine Learning, 2016, 9(1): 1-118.

[11] 郭強(qiáng), 張彩明, 張?jiān)品? 等. 基于最小方差估計(jì)的圖像低秩去噪[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2015, 27(12): 2237-2246.

GUO Q, ZHANG C M, ZHANG Y F, et al. Low-rank image denoising based on minimum variance estimator[J]. Journal of Computer-Aided Design & Computer Graphics, 2015, 27(12): 2237-2246 (in Chinese).

[12] CAI T T, ZHANG A. Sparse representation of a polytope and recovery of sparse signals and low-rank matrices[J]. IEEE Transactions on Information Theory, 2014, 60(1): 122-132.

[13] 張倩侃, 計(jì)忠平, 付曉峰. 二次聯(lián)合稀疏表示和低秩近似的淺浮雕優(yōu)化[J]. 中國(guó)圖象圖形學(xué)報(bào), 2020, 25(6): 1245-1259.

ZHANG Q K, JI Z P, FU X F. Bas-relief optimization based on twice-joint sparse representation and low-rank approximation[J]. Journal of Image and Graphics, 2020, 25(6): 1245-1259 (in Chinese).

[14] LIU G C, LIN Z C, YAN S C, et al. Robust recovery of subspace structures by low-rank representation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(1): 171-184.

[15] LU X Q, WANG Y L, YUAN Y, et al. Graph-regularized low-rank representation for destriping of hyperspectral images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2013, 51(7): 4009-4018.

[16] 劉成士, 趙志剛, 李強(qiáng), 等. 加強(qiáng)的低秩表示圖像去噪算法[J]. 計(jì)算機(jī)工程與應(yīng)用, 2020, 56(2): 216-225.

LIU C S, Z Z G, LI Q, et al. Enhanced low-rank representation image denoising algorithm[J]. Computer Engineering and Applications, 2020, 56(2): 216-225 (in Chinese).

[17] 白宏陽(yáng), 馬軍勇, 熊凱, 等. 圖像修復(fù)中的加權(quán)矩陣補(bǔ)全模型設(shè)計(jì)[J]. 系統(tǒng)工程與電子技術(shù), 2016, 38(7): 1703-1708.

BAI H Y, MA J Y, XIONG K, et al. Design of weighted matrix completion model in image inpainting[J]. Systems Engineering and Electronics, 2016, 38(7): 1703-1708 (in Chinese).

[18] HE W, ZHANG H Y, ZHANG L P, et al. Hyperspectral image denoising via noise-adjusted iterative low-rank matrix approximation[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2015, 8(6): 3050-3061.

[19] JI H, LIU C Q, SHEN Z W, et al. Robust video denoising using low rank matrix completion[C]//2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, New York: IEEE Press, 2010: 1791-1798.

[20] WEN Z W, YIN W T, ZHANG Y. Solving a low-rank factorization model for matrix completion by a nonlinear successive over relaxation algorithm[J]. Mathematical Programming Computation, 2012, 4(4): 333-361.

[21] HE W, ZHANG H Y, ZHANG L P, et al. Total-Variation-Regularized low-rank matrix factorization for hyperspectral image restoration[J]. IEEE Transactions on Geoscience and Remote Sensing, 2016, 54(1): 178-188.

[22] XU Y Y, YIN W T, WEN Z W, et al. An alternating direction algorithm for matrix completion with nonnegative factors[J]. Frontiers of Mathematics in China, 2012, 7(2): 365-384.

[23] ZHOU P , LU C Y, LIN Z C , et al. Tensor factorization for low-rank tensor completion[J]. IEEE Transactions on Image Process, 2018, 27(3): 1152-1163.

[24] SHANG F H, CHENG J, LIU Y Y, et al. Bilinear factor matrix norm minimization for robust PCA: Algorithms and applications[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 40(9): 2066-2080.

[25] CANDES E J, RECHT B. Exact matrix completion via convex optimization[J]. Foundations of Computational Mathematics, 2009, 9(6): 717-772.

[26] NIE F P, WANG H, HUANG H, et al. Joint schatten p-norm and lp-norm robust matrix completion for missing value recovery[J]. Knowledge and Information Systems, 2015, 42(3): 525-544.

[27] NIE F, HUANG H, DING C, et al. Low-rank matrix recovery via efficient schatten p-norm minimization[C]//The 26th AAAI Conference on Artificial Intelligence. Palo Alto: AAAI Press, 2012: 655-661.

[28] LU C Y, ZHU C B, XU C Y, et al. Generalized singular value thresholding[C]//The 29th AAAI Conference on Artificial Intelligence. Palo Alto: AAAI Press, 2015: 1805-1811.

[29] LARSSON V, OLSSON C. Convex low rank approximation[J]. International Journal of Computer Vision, 2016, 120(2): 194-214.

[30] DAI Y H, LI H D, HE M Y, et al. A simple prior-free method for non-rigid structure-from-motion factorization[J]. International Journal of Computer Vision, 2014, 107(2): 101-122.

[31] CAI J F, CANDèS E J, SHEN Z W, et al. A singular value thresholding algorithm for matrix completion[J]. SIAM Journal on Optimization, 2010, 20(4): 1956-1982.

[32] GU S H, XIE Q, MENG D Y, et al. Weighted nuclear norm minimization and its applications to low level vision[J]. International Journal of Computer Vision, 2017, 121(2): 183-208.

[33] GUO Q, GAO S S, ZHANG X F, et al. Patch-based image inpainting via two-stage low rank approximation[J]. IEEE Transactions on Visualization and Computer Graphics, 2018, 24(6): 2023-2036.

[34] LIU Q, LAI Z H, ZHOU Z W, et al. A truncated nuclear norm regularization method based on weighted residual error for matrix completion[J]. IEEE Transactions on Image Processing, 2015, 25(1): 316-330.

[35] GHASMEI H, MALEK M M, BABAIE Z M, et al. SRF: matrix completion based on smoothed rank function[C]//2011 IEEE International Conference on Acoustics, Speech and Signal Processing. New York: IEEE Press, 2011: 3672-3675.

[36] GENG J, WANG L S, WANG Y F, et al. A non-convex algorithm framework based on DC programming and DCA for matrix completion[J]. Numerical Algorithms, 2015, 68(4): 903-921.

[37] KANG Z, PENG C, CHENG J, et al. LogDet rank minimization with application to subspace clustering[EB/OL]. [2020-09-11]. https://www.hindawi.com/journals/cin/2015/824289/.

[38] TAHERI O, VOROBYOV S A. Sparse channel estimation with lp-norm and reweighted l1-norm penalized least mean squares[C]//2011 IEEE International Conference on Acoustics, Speech, and Signal Processing. New York: IEEE Press, 2011:2864-2867.

[39] XU Z B, ZHANG H, WANG Y, et al. L1/2 regularization[J]. Science China (Information Sciences), 2010, 53(6): 1159-1169.

[40] FAN J, LI R. Variable selection via nonconcave penalized likelihood and its oracle properties[J]. Journal of the American Statistical Association, 2001, 96(456): 1348-1360.

[41] CAO W F, WANG Y, YANG C, et al. Folded-concave penalization approaches to tensor completion[J]. Neurocomputing, 2015, 152(25): 261-273.

[42] GAO C X, WANG N Y, YU Q R, et al. A feasible nonconvex relaxation approach to feature selection[C]//The 25th AAAI Conference on Artificial Intelligence. Palo Alto: AAAI Press, 2011: 356-361.

[43] DONG W S, SHI G M, LI X, et al. Compressive sensing via nonlocal low-rank regularization[J]. IEEE Transactions on Image Processing, 2014, 23(8): 3618-3632.

[44] LU C Y, FENG J S, YAN S C, et al. A unified alternating direction method of multipliers by majorization minimization[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 40(3): 527-541.

[45] LU C Y, FENG J S, LIN Z C, et al. Exact low tubal rank tensor recovery from Gaussian measurements[C]//The 27th International Joint Conference on Artificial Intelligence. Palo Alto: AAAI Press, 2018: 2504-2510.

[46] NIE F P, HU Z X, LI X L. Matrix completion based on non-convex low-rank approximation[J], IEEE Transactions on Image Processing, 2019, 28(5): 2378-2388.

[47] LU C. A library of ADMM for sparse and low-rank Optimization. National University of Singapore, June 2016[EB/OL]. [2020-10-15]. https://github.com/canyilu/ LibADMM-toolbox.

Image inpainting using non-convex and low-rank constraint

SUN Yan-min1,2, GUO Qiang1,2, ZHANG Cai-ming2,3

(1. School of Computer Science and Technology, Shandong University of Finance and Economics, JinanShandong 250014, China; 2. Shandong Key Laboratory of Digital Media Technology, JinanShandong 250014, China; 3. School of Software, Shandong UniversityJinanShandong 250101, China)

Due to transmission interference or improper storage, there exist some missing pixels in the images obtained in the real scene, which causes obstacles to the subsequent processing and analysis of the images. The key solution for missing pixels is to recover the image with low rank prior. However, since the rank function is discrete, the model that minimizes the rank is an NP-hard problem. In order to address this issue, a commonly used method is to employ an image-inpainting algorithm based on the nuclear norm. Unlike the methods based on the nuclear norm minimization, this paper proposed an image-inpainting algorithm using non-convex low-rank constraints, which replaced the traditional nuclear norm with a log function and overcame the inability of the nuclear norm to approach the rank minimization. In addition, to optimize the non-convex model, the augmented Lagrangian multiplier method was adopted to derive an alternating minimization algorithm. Experimental results demonstrate that the proposed method can deal with different missing pixel rates, and can far outperform other low-rank inpainting methods in inpainting.

image inpainting; nuclear norm; alternating direction method of multiplier; non-convex and low-rank constraints; augmented Lagrangian method

TP 391

10.11996/JG.j.2095-302X.2021030414

A

2095-302X(2021)03-0414-12

2020-12-02；

2020-12-26

2 December，2020；

26 December，2020

國(guó)家自然科學(xué)基金項(xiàng)目(61873145，U1609218)；山東省省屬高校優(yōu)秀青年人才聯(lián)合基金(ZR2017JL029)

National Natural Science Foundation of China (61873145, U1609218);Supported by Youth Foundation of Shandong Province of China (ZR2017JL029)

孫艷敏(1993-)，女，山東濟(jì)南人，碩士研究生。主要研究方向?yàn)閿?shù)字圖像修復(fù)。E-mail：1689980961@qq.com

SUN Yan-min (1993-), female, master student. Her main research interest covers digital image inpainting. E-mail：1689980961@qq.com

郭 強(qiáng)(1979–)，男，山東濟(jì)南人，教授，博士。主要研究方向?yàn)閳D形圖像處理、計(jì)算機(jī)視覺(jué)等。E-mail：guoqiang@sdufe.edu.cnE-mail：guoqiang@sdufe.edu.cn

GUO Qiang(1979-), male, professor, Ph.D. His main research interests cover graphic image processing, computer vision, etc.