吳瑞平,蔣紅星,葉修梓
(溫州大學(xué)數(shù)學(xué)與信息科學(xué)學(xué)院,浙江溫州 325035)
基于圖像潛在低秩結(jié)構(gòu)的去噪方法
吳瑞平,蔣紅星,葉修梓
(溫州大學(xué)數(shù)學(xué)與信息科學(xué)學(xué)院,浙江溫州 325035)
提出了一種基于圖像潛在低秩結(jié)構(gòu)的去噪方法.該方法首先對(duì)原始圖像的子塊進(jìn)行空間變換從而獲得它們的低秩紋理,然后再利用SVD方法來(lái)壓縮這個(gè)低秩紋理,從而得到最終的去噪結(jié)果.實(shí)驗(yàn)結(jié)果表明,該方法的去噪結(jié)果是干凈、清晰的,并且該方法甚至可以對(duì)輸入圖像中的很小的污點(diǎn)進(jìn)行修復(fù).與非局部均值濾波算法相比,本文所給方法的去噪性能、尤其是對(duì)特征信息的保持性能均有顯著提高.
圖像去噪;非局部均值;低秩結(jié)構(gòu);旋轉(zhuǎn);凸優(yōu)化
圖像去噪是圖像處理的一個(gè)重要環(huán)節(jié),目的是去除圖像中的各種噪聲污染,同時(shí)又能保持圖像的結(jié)構(gòu)特征如邊緣、紋理等.圖像去噪效果的好壞直接影響著后續(xù)圖像處理工作的進(jìn)行,消除圖像噪聲對(duì)于圖像處理的研究有著非常重要的意義.目前,圖像去噪算法總的來(lái)說(shuō)可以分為兩類(lèi):局部的方法和非局部的方法.局部的方法就是用某種核與圖像做卷積運(yùn)算,用當(dāng)前像素所在鄰域內(nèi)的所有像素去估計(jì)該像素以實(shí)現(xiàn)去噪,主要有鄰域平均去噪法,基于小波、多小波、輪廓波等變換域以及基于過(guò)完備字典的稀疏表示圖像去噪法,局部自適應(yīng)方法.因局部的方法沒(méi)有利用圖像的全局結(jié)構(gòu)信息,所以去噪后圖像會(huì)出現(xiàn)過(guò)于模糊、細(xì)節(jié)丟失的現(xiàn)象.非局部方法就是像素之間在空間位置上不存在實(shí)質(zhì)性關(guān)系,只與用來(lái)度量像素之間相似性的圖像片有關(guān),是一種基于圖像塊相似性度量的去噪方法.2005年,Buades等人①Buades A,Coll B,Morel J M. A non-local algorithm for image denoising [C] // 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05). IEEE,2005,2: 60-65.提出了一種非局部均值(Nonlocal Means,NLM)圖像去噪方法,該方法通過(guò)加權(quán)平均一些相似像素值來(lái)估計(jì)當(dāng)前像素的真實(shí)值.NLM方法的提出為圖像去噪領(lǐng)域開(kāi)辟了一個(gè)新的空間,將圖像去噪的研究推向了一個(gè)新的高潮,一系列對(duì)NLM方法的改進(jìn)算法被相繼提出.對(duì)NLM方法有效的改進(jìn)算法主要有:Kervrann等[1]提出的優(yōu)化的空間自適應(yīng)(Optimal Spatial Adaptation,OSA)NLM方法(OSA-NLM),該方法從相似性度量和參數(shù)優(yōu)化兩個(gè)方面對(duì)NLM方法進(jìn)行了改進(jìn),實(shí)現(xiàn)了有效的圖像去噪;2011年,Deledalle等人[2]提出的一種形狀自適應(yīng)的NLM方法(SA-NLM),該方法能夠較好地保持弱梯度信息,避免在圖像產(chǎn)生“偽影”的問(wèn)題;對(duì)NLM方法最有效的改進(jìn)是2007年Dabov等人[3]提出的塊匹配三維(BlockMactching3D,BM3D)協(xié)同濾波方法.在NLM方法中,相似權(quán)系數(shù)由以當(dāng)前像素點(diǎn)與其鄰域內(nèi)其它像素點(diǎn)為中心的圖像塊之間的相似性來(lái)決定.圖像塊比單個(gè)像素點(diǎn)蘊(yùn)含的信息更加豐富,能更好地描述圖像的特征,因此能夠更好地度量像素之間的相似性,在去除噪聲的同時(shí)也能有效地保持紋理等具有重復(fù)結(jié)構(gòu)的特征.然而,由于NLM方法中的權(quán)重難以選擇,Rajwade等人[4]提出了一種對(duì)相似圖像塊所組成矩陣進(jìn)行奇異值分解并截?cái)嗟娜ピ敕椒?,該方法能夠有效地處理高斯噪聲.盡管上述基于圖像塊相似性的非局部去噪方法的去噪效果較好,但還是存在著明顯的不足,主要表現(xiàn)在:1)圖像塊內(nèi)部的結(jié)構(gòu)沒(méi)有被有效地利用;2)只能處理高斯噪聲.基于此,本文提出了一種新的基于圖像潛在低秩結(jié)構(gòu)的去噪方法.首先,對(duì)圖像進(jìn)行旋轉(zhuǎn)變換以獲取圖像的低秩紋理,再利用SVD的方法對(duì)這個(gè)低秩紋理進(jìn)行壓縮,就可以得到非常好的去噪效果.對(duì)比NLM算法,本文的低秩壓縮算法去噪效果更佳顯著.由于低秩紋理的規(guī)則或?qū)ΨQ(chēng)的結(jié)構(gòu)特征用局部的像素點(diǎn)是無(wú)法描述的,只能從圖像的較大范圍區(qū)域中獲取,所以獲取的圖像特征具有很好的整體性,包含的特征信息也更為豐富.
1.1 噪聲模型
假設(shè)噪聲信號(hào)為與圖像無(wú)關(guān)的加性高斯白噪聲,噪聲模型為:
其中,Y(i)為受污染的噪聲圖像,X(i)為未受噪聲干擾的原始圖像,N(i)為均值為0、方差為σ2的高斯白噪聲.圖像去噪的目的是從噪聲圖像Y(i)中獲取原始圖像X(i)的最優(yōu)估計(jì)值X~(i),使其盡可能地接近原始圖像X(i).
1.2 非局部均值濾波算法
其中權(quán)重值w(i,j)是由像素點(diǎn)i和像素點(diǎn)j之間的相似度決定的,滿(mǎn)足條件:0≤w(i,j)≤1,且∑jw(i,j)=1,而像素點(diǎn)i和像素點(diǎn)j之間的相似度由它們的灰度值矩陣Ni與Nj之間的相似度決定,其中Ni表示以像素點(diǎn)i為中心的圖像子塊區(qū)域,Nj表示以像素點(diǎn)j為中心的圖像子塊區(qū)域.各區(qū)域之間的相似度由它們的高斯加權(quán)歐氏距離d(i,j)來(lái)度量,其定義為:,其中β為高斯核的標(biāo)準(zhǔn)差.鄰域之間灰度值矩陣越相似,相應(yīng)的像素點(diǎn)平均權(quán)重就越大,權(quán)重w(i,j)定義為:為歸一化因子,h為指數(shù)函數(shù)的衰減因子,控制指數(shù)函數(shù)的衰減速度,也影響濾波的程度和去噪性能.
2.1 低秩紋理的定義
本文中,考慮一個(gè)定義在平面空間R2上的2D紋理圖像,其矩陣表示為I0(x,y),當(dāng)一維函數(shù)族張成一個(gè)有限的低維線(xiàn)性子空間時(shí),則稱(chēng)0I是一個(gè)低秩紋理.即:
對(duì)于一個(gè)較小的正整數(shù)k,若r存在,則可稱(chēng)0I為一個(gè)秩為r的紋理.通過(guò)該定義,可以很容易地發(fā)現(xiàn),規(guī)則或?qū)ΨQ(chēng)的模型通常具有低秩紋理.
2.2 變換的低秩紋理
雖然在3D空間中許多平坦的表面或者結(jié)構(gòu)模型呈現(xiàn)的是低秩紋理,但它們的圖像卻不一定具有低秩性.假設(shè)一個(gè)位于平面空間的低秩紋理圖像為A(x,y),在一定的視角下觀察所獲取的圖像為I(x,y),用數(shù)學(xué)公式表示為:
其中τ為一個(gè)22R→R的空間旋轉(zhuǎn)變換函數(shù),在本文中,假設(shè)變換τ為2D仿射或投影變換.通常情況下,經(jīng)過(guò)變換后的紋理I(x,y)不再是低秩的了,例如,一個(gè)水平邊界的秩為1,當(dāng)把它旋轉(zhuǎn)45°時(shí),它就變成了一個(gè)滿(mǎn)秩的對(duì)角線(xiàn)邊界.
觀察到的圖像除了旋轉(zhuǎn)變換的干擾外,還會(huì)受到周?chē)h(huán)境的噪聲污染或遮擋的影響,因此,對(duì)于觀測(cè)圖像可以建立如下模型:
其中,矩陣E為圖像中的噪聲、遮擋等干擾量.在本文中,假設(shè)低秩紋理圖像只有很小一部分受到噪聲污染,因此,噪聲矩陣E是一個(gè)稀疏矩陣.我們的目的是從觀測(cè)圖像中恢復(fù)低秩紋理圖像A,得到變換變量τ并且去除噪聲變量.
上述問(wèn)題可以轉(zhuǎn)化為優(yōu)化問(wèn)題:
文獻(xiàn)[5]中提出,通常情況下,公式(6)中的優(yōu)化問(wèn)題在求解關(guān)于矩陣A的秩和E的零范數(shù)時(shí)是NP-難的,但是,基于矩陣的稀疏表示和低秩恢復(fù)的迅猛發(fā)展,在適當(dāng)條件下,上述問(wèn)題可以替換為求解它們的凸包,可參考Candès[6]和Chandrasekaran[7]以及Xiaoqin Zhang[8-9]的論文,即:用矩陣的核范數(shù)替換rank( A),矩陣E的1-范數(shù)替換,其中核范數(shù)為矩陣的所有奇異值之和,1-范數(shù)為矩陣中所有元素絕對(duì)值之和.因此公式(6)可轉(zhuǎn)化為如下優(yōu)化問(wèn)題:
式中的λ與公式(6)中的γ意義相同.對(duì)于公式(7),前面的目標(biāo)函數(shù)已經(jīng)是凸問(wèn)題,但是,約束條件I?τ=A+E 仍是非線(xiàn)性的,因此公式(7)中的問(wèn)題仍然是非凸的.針對(duì)這一難題,可參照Baker[10]等人的論文,將約束條件線(xiàn)性化為:
其中▽I為雅可比矩陣,它的元素為變換函數(shù)上各變換參數(shù)的增量,則式(7)中的問(wèn)題可轉(zhuǎn)化為:
經(jīng)過(guò)線(xiàn)性化后,公式(6)中的問(wèn)題最終轉(zhuǎn)化為公式(9)中的凸優(yōu)化問(wèn)題.由于線(xiàn)性化后的問(wèn)題僅僅是原始非線(xiàn)性問(wèn)題的一個(gè)局部近似,因此,為了使原始的非凸問(wèn)題收斂到(局部)最小值,本文用迭代的方法來(lái)解決這個(gè)問(wèn)題.根據(jù)迭代凸優(yōu)化的方法可得出針對(duì)該問(wèn)題的算法,如下:
算法1
輸入:原始紋理圖像I∈Rw×h,初始化的變換函數(shù)τ(仿射或投影變換),權(quán)重參數(shù)λ>0.
迭代循環(huán):當(dāng)目標(biāo)函數(shù)值達(dá)到收斂時(shí)結(jié)束循環(huán),循環(huán)過(guò)程分為4步:
第二步(內(nèi)循環(huán)):解決線(xiàn)性化問(wèn)題:
第三步:更新轉(zhuǎn)換函數(shù):τ←τ+Δτ*;
第四步:用得到的優(yōu)化結(jié)果A*,E*,τ*重新初始化參量并進(jìn)入第二步的內(nèi)循環(huán);保存結(jié)果,循環(huán)結(jié)束;
輸出:優(yōu)化解A*,E*,τ*.
算法1描述了本文提出的算法的整體算法結(jié)構(gòu),下面將針對(duì)該算法進(jìn)行詳細(xì)的分析,并對(duì)算法中的計(jì)算過(guò)程進(jìn)行優(yōu)化.
2.3 基于增廣的拉格朗日乘數(shù)方法(ALM)的快速算法
觀察算法1可以看出,整個(gè)算法中計(jì)算量最大的部分為解決第二步內(nèi)循環(huán)中的凸優(yōu)化.幸運(yùn)的是,關(guān)于核范數(shù)最小化的算法已經(jīng)有了很快的發(fā)展.為了解決公式(9)中的線(xiàn)性化問(wèn)題,我們利用增廣的拉格朗日乘數(shù)法對(duì)算法1進(jìn)行優(yōu)化處理.
將公式(9)轉(zhuǎn)化為增廣拉格朗日方程為:
式中,μ>0表示附加在不可行點(diǎn)上的懲罰量,Y為拉格朗日乘數(shù)矩陣,表示矩陣的內(nèi)積,f表示目標(biāo)函數(shù),R表示約束條件的函數(shù),并且
根據(jù)ALM基本迭代方法,我們的問(wèn)題的ALM基本迭代方法由下式給出:
除非特別指出,本文以下部分都假設(shè)μ=ρkμ0,且滿(mǎn)足μ0>0,ρ>1.
現(xiàn)在主要集中于如何有效地解決上述迭代方法的第一步.通常情況下,同時(shí)關(guān)于所有變量A,E和Δτ對(duì)目標(biāo)函數(shù)取最小值的計(jì)算量是非常大的,因此,本文采用迭代最小方法近似地解決這個(gè)問(wèn)題,即對(duì)變量A,E和Δτ一次選取一個(gè)變量關(guān)于目標(biāo)函數(shù)取最小值:
由于問(wèn)題的特殊結(jié)構(gòu),上述的每一個(gè)優(yōu)化問(wèn)題都是一個(gè)簡(jiǎn)單的形式解,因此,可以一步解出.更精確地說(shuō),公式(14)的解可用收縮算子的方法明確地表示如下:
綜合以上分析過(guò)程,再結(jié)合交互式方向方法可將算法1中的內(nèi)循環(huán)過(guò)程優(yōu)化為下面的算法:
算法2
輸入:當(dāng)前經(jīng)過(guò)轉(zhuǎn)化和標(biāo)準(zhǔn)化處理后的圖像I?τ∈Rm×n,該圖像關(guān)于變換向量τ的雅可比矩陣▽I,權(quán)重參數(shù)λ>0.
初始化變量:k=0,Y0=0,E0=0,Δτ0=0,μ0?0,ρ?1.
迭代循環(huán):當(dāng)目標(biāo)函數(shù)值達(dá)到收斂時(shí)循環(huán)結(jié)束,循環(huán)的主要過(guò)程為使用交互式方向方法逐個(gè)求各個(gè)變量的優(yōu)化值:
用每次循環(huán)求得的參數(shù)值重新初始化變量,然后再次進(jìn)入循環(huán)求最優(yōu)值.
保存結(jié)果,循環(huán)結(jié)束.
輸出:公式(9)中未知參數(shù)的優(yōu)化解A,E,Δτ.
算法在實(shí)際應(yīng)用中,設(shè)定參數(shù)μk為滿(mǎn)足條件μk+1=ρμk且ρ>1的一個(gè)實(shí)數(shù)序列{μk}.
從算法2中可以觀察到,算法中計(jì)算量較大的部分都被近似轉(zhuǎn)化為簡(jiǎn)單的求奇異值分解的過(guò)程,因此算法的計(jì)算復(fù)雜度隨之有了很大程度的降低.算法1和算法2共同組成了本文提出的基于矩陣低秩結(jié)構(gòu)提取旋轉(zhuǎn)不變紋理特征從而消除圖像噪聲的完整算法.
3.1 圖像切片上的結(jié)果
從上述算法分析可知,只要圖像的切片適當(dāng)大并包含有效的紋理,就能通過(guò)解決公式(9)中的優(yōu)化問(wèn)題得到低秩的紋理圖像A和旋轉(zhuǎn)變換向量τ.
圖1是SVD得到的近似解圖像.從圖1可以看出,取前兩個(gè)奇異值時(shí)就可以得到D的近似解,并且近似解圖像不僅是干凈清晰的,而且還去除了原始圖片中所有損壞的部分,因此還可以用這個(gè)方法來(lái)改進(jìn)低質(zhì)量的圖像.
圖1 SVD得到的近似解圖像 (I,D∈R289×349)Fig 1 Image of Approximate Solution from SVD (I,D∈R289×349)
對(duì)比本文方法與非局部均值濾波方法的去噪能力,結(jié)果如圖2所示.從圖2可以看出,本文算法的去噪能力顯然要比非局部均值濾波方法的要好.
圖2 本文方法與非局部均值方法去噪能力的對(duì)比Fig 2 Comparison of the De-noising Ability and the Non-local Means
3.2 圖像整體上的結(jié)果
本文的秩壓縮方法不僅對(duì)像建筑物表面這樣有規(guī)則結(jié)構(gòu)的圖像適用,而且對(duì)像樹(shù)和花這樣的自然圖像也適用.為了測(cè)試算法在整體圖像上的效果,把圖像切片以一定程度的重疊連在一起作為輸入圖像運(yùn)行算法,然后對(duì)重疊部分取平均就得到了整體圖像的去噪結(jié)果.去噪過(guò)程如圖3.
圖3 去噪過(guò)程Fig 3 De-noising Process
按圖3的去噪過(guò)程,對(duì)輸入圖像(大小為629 × 659),切成10 × 10的切片.首先用空間旋轉(zhuǎn)變換將傾斜的切片矯正,然后對(duì)這些矯正過(guò)的低秩切片去噪,通過(guò)空間變換把去噪后的切片旋轉(zhuǎn)成和原始圖像一樣的傾斜圖像,對(duì)重疊部分取平均值,就得到輸出的結(jié)果圖像.
輸入圖像,大小分別為629 × 659和915 × 952,均切片,重疊部分大約為8個(gè)像素,以80 × 80的方格網(wǎng)運(yùn)行算法,實(shí)驗(yàn)中所有的δ取值都是20.結(jié)果見(jiàn)圖4和圖5.
圖4 不同算法對(duì)圖像的去噪結(jié)果的比較 (629 × 659)Fig 4 Comparison of different algorithms for image and de-noising result (629 × 659)
圖5 不同算法對(duì)圖像的去噪結(jié)果的比較 (915 × 952)Fig 5 Comparison of different algorithms for image and de-noising result (915 × 952)
對(duì)于δ取值的選擇還需要進(jìn)一步探究.大部分δ的取值都是在一定經(jīng)驗(yàn)的基礎(chǔ)上選擇的,當(dāng)然,還有其他的選取方法,例如利用魯棒的RPCA方法得到輸入圖像切片的秩,把這個(gè)秩作為δ的取值等.
圖6 SVD的殘差Fig 6 Residual error of SVD
從圖6可看出,即使對(duì)于沒(méi)有矯正過(guò)的圖像I,當(dāng)取δ>40時(shí),殘差項(xiàng)都可以近似為高斯噪聲.對(duì)于利用空間旋轉(zhuǎn)變換矯正過(guò)的圖像,只要取前兩個(gè)奇異值時(shí),殘差就可以很快地收斂到高斯噪聲,且逐個(gè)地增加了圖像的不同的部分,因此本算法還可以用來(lái)處理圖像的反射和遮擋問(wèn)題.
本文所提出的基于圖像潛在低秩結(jié)構(gòu)去噪方法,首先將目標(biāo)圖像分成具有重疊結(jié)構(gòu)的子塊,然后通過(guò)仿射變換將圖像子塊分解成一個(gè)低秩矩陣加上一個(gè)稀疏矩陣,搜索與低秩矩陣相似的其它圖像子塊,從而得到一個(gè)數(shù)據(jù)矩陣,對(duì)數(shù)據(jù)矩陣的秩進(jìn)行凸松弛:利用矩陣的核范數(shù)來(lái)近似代替矩陣的秩,并采用快速奇異值截?cái)喾椒ǐ@得上述矩陣的低秩結(jié)構(gòu),最后對(duì)得到的低秩數(shù)據(jù)矩陣進(jìn)行仿射逆變換,得到原圖像子塊去噪后的結(jié)果.對(duì)圖像整體而言,對(duì)不同圖像子塊重疊區(qū)域求均值,從而得到整體圖像的去噪結(jié)果.本算法有效地利用了圖像子塊內(nèi)部的隱性低秩結(jié)構(gòu),使得非局部相似圖像塊的匹配更為準(zhǔn)確,通過(guò)將其與圖像子塊間的低秩結(jié)構(gòu)相融合,實(shí)現(xiàn)了信噪比更高的去噪效果.實(shí)驗(yàn)結(jié)果表明,相對(duì)于其它的經(jīng)典圖像去噪算法,本文算法魯棒性更強(qiáng),更有效,具有很好的應(yīng)用前景.
我們還可以嘗試進(jìn)一步提高圖像的質(zhì)量,例如,利用超分辨率來(lái)矯正圖像,甚至,還可以試著采用該算法來(lái)處理多個(gè)圖像的反射或者遮擋問(wèn)題.由于整個(gè)算法是基于低秩結(jié)構(gòu)的,所以也將會(huì)導(dǎo)致圖像被壓縮.
[1] Kervrann C,Boulanger J. Optimal spatial adaptation for patch-based image denoising [J]. IEEE T Image Process,2006,15(10): 2866.
[2] Deledalle C A,Duval V,Salmon J. Non-local methods with shape-adaptive patches (NLM-SAP) [J]. J Math Imaging Vis,2012,43(2): 103-120.
[3] Dabov K,Foi A,Katkovnik V,et al. Image denoising by sparse 3-D transform-domain collaborative filtering [J]. IEEE T Image Process,2007,16(8): 2080-2095.
[4] Rajwade A,Rangarajan A,Banerjee A. Image denoising using the higher order singular value decomposition [J]. IEEE T Pattern Anal,2013,35(4): 849-862.
[5] Peng Y,Ganesh A,Wright J,et al. RASL: Robust alignment by sparse and low-rank decomposition for linearly correlated images [J]. IEEE T Pattern Anal,2012,34(11): 2233-2246.
[6] Candès E J,Li X,Ma Y,et al. Robust principal component analysis? [J]. J ACM,2011,58(3): 11.
[7] Chandrasekaran V,Sanghavi S,Parrilo P A,et al. Rank-sparsity incoherence for matrix decomposition [J]. SIAM J Optimiz,2011,21(2): 572-596.
[8] Zhang X Q. Hybrid singular value thresholding for tensor completion [EB/OL]. [2014-12-15]. https://www. engineeringvillage.com/search/quick.url?searchid=327927acMcb95M4282M8213M1155de4f3990&count=1.
[9] Zhang X Q. Simultaneous rectification and alignment via robust recovery of low-rank tensors [EB/OL]. [2013-11-10]. https://www.engineeringvillage.com/search/quick.url?searchid=c8d82221Me7ebM4e1fM9737M4b97efee95f0&coun t=1.
[10] Baker S,Matthews I. Lucas-kanade 20 years on: a unifying framework [J]. Int J Comput Vision,2004,56(3): 221-255.
The Study of Image De-noise Method Based on Potential Low-rank Texture
WU Ruiping,JIANG Hongxing,YE Xiuzi
(School of Mathematics and Information Science,Wenzhou University,Wenzhou,China 325035)
In A new image de-noising method is introduced in this paper,which is based on the potential low-rank texture. First step,the sub block of the original image is transformed to get its low-rank texture. Second step,the low-rank texture is compressed via SVD approach to obtain the final de-noising result. The result of experiment indicates that the result of such a de-noising method is clean and sharp. Furthermore,this method is even able to repair tiny stains of the input image. Compared with the non-local means algorithm,the proposed algorithm improves the de-noising performance as well as the preservation of feature information.
Image de-noising; Non-local Means; Low-rank Texture; Revolution; Convex Optimization
TP391.41
:A
:1674-3563(2017)02-0016-09
10.3875/j.issn.1674-3563.2017.02.003 本文的PDF文件可以從xuebao.wzu.edu.cn獲得
(編輯:王一芳)
2016-04-21
浙江省自然科學(xué)基金(LY16F020023;LY12F03016)
吳瑞平(1988-),男,江西余江人,碩士研究生,研究方向:智能系統(tǒng)與控制