梁 猛,雷雨濛
(西安郵電大學(xué) 電子工程學(xué)院,陜西 西安 710121)
數(shù)碼相機(jī)在拍攝帶有網(wǎng)格織物或柵欄結(jié)構(gòu)的規(guī)則性場(chǎng)景時(shí),由于相機(jī)傳感器采樣頻率與場(chǎng)景信息頻率的相近疊加,圖像出現(xiàn)彩色波紋圖案,即莫爾條紋[1],嚴(yán)重影響圖像質(zhì)量和圖像分析處理。
莫爾條紋的結(jié)構(gòu)在某種意義上與圖像紋理相似,因此很難有效地從紋理圖像中去除莫爾條紋。常用的莫爾條紋去除方法是在相機(jī)鏡頭前引入低通濾波器,雖然能夠在一定程度上避免莫爾條紋干擾,但會(huì)造成圖像細(xì)節(jié)的丟失。
目前的莫爾條紋消除方法主要有基于彩色濾波陣列(CFA)的插值算法[1-3]和基于濾波的處理算法[4-5]等。其中,雙線性插值及最近鄰插值等是傳統(tǒng)插值算法,去除效果依賴于圖像質(zhì)量。
近年來許多學(xué)者對(duì)圖像插值算法進(jìn)一步研究。文獻(xiàn)[6]提出了一種基于殘差插值的改進(jìn)算法,通過在每個(gè)像素上選擇合適的迭代次數(shù)且組合兩種不同類型的自適應(yīng)殘差插值來改進(jìn)算法的性能。文獻(xiàn)[7]中提出一種基于色彩通道與插值方向結(jié)合的低復(fù)雜度Bayer 圖像色彩重建算法。除此之外,基于低秩矩陣恢復(fù)的圖像重建方法也逐漸被廣泛應(yīng)用。文獻(xiàn)[8]提出了基于核范數(shù)與?1范數(shù)優(yōu)化模型的低秩矩陣恢復(fù)算法,并應(yīng)用于監(jiān)控視頻的背景恢復(fù)?;谇叭颂岢龅闹丶訖?quán)?1范數(shù)的思想,文獻(xiàn)[9]提出了重加權(quán)核范數(shù)的算法模型以增強(qiáng)矩陣低秩性,并將這一方法應(yīng)用于圖像重建,最后得到了更好的恢復(fù)結(jié)果。
基于上述圖像恢復(fù)算法,本文針對(duì)紋理圖像莫爾條紋消除問題進(jìn)行研究,將問題簡(jiǎn)化為莫爾條紋與圖像結(jié)構(gòu)信息的圖像分解問題,提出應(yīng)用稀疏表示與低秩矩陣分解模型相結(jié)合的莫爾條紋消除方法。根據(jù)紋理圖像低秩性與莫爾條紋的稀疏性,通過小波變化字典對(duì)莫爾條紋成分進(jìn)行稀疏表示,并對(duì)圖像分塊處理構(gòu)建低秩性的相似矩陣,最后建立分解模型對(duì)圖像塊相似矩陣進(jìn)行低秩與稀疏矩陣分解,實(shí)現(xiàn)紋理圖像與莫爾條紋的分離。
在莫爾條紋的成因分析過程中可以將其看作是一種混疊造成的噪聲干擾,且具有寬度與方向不斷變化、條紋間邊緣不連續(xù)的分布特點(diǎn),結(jié)構(gòu)特性與自然圖像信息特性比較接近。
為了簡(jiǎn)化圖像矩陣的運(yùn)算規(guī)模,優(yōu)化整體算法,在基于塊的情況下結(jié)構(gòu)信息會(huì)更加簡(jiǎn)單,因本文需要對(duì)輸入圖像進(jìn)行預(yù)處理,將圖像進(jìn)行單通道提取并根據(jù)實(shí)際情況分割為重疊的矩形圖像塊,基于圖像塊建立低秩分解模型來實(shí)現(xiàn)圖像分解。
不同尺寸的圖像塊處理效果不同,圖1 是不同尺寸的莫爾條紋圖像塊。
圖1 不同尺寸的莫爾條紋圖像塊
由圖1 可以看出,尺寸較大的圖像塊包含的莫爾條紋圖案過于復(fù)雜,而尺寸較小的圖像塊內(nèi)莫爾條紋結(jié)構(gòu)被破壞,缺少足夠的特征信息。結(jié)合統(tǒng)計(jì)實(shí)驗(yàn)與分析,將圖像塊的大小設(shè)置為64×64,且重疊分塊的步長(zhǎng)為32,將圖像塊X 分解為紋理層A 和莫爾條紋層E,則基于圖像塊的觀測(cè)模型為:
稀疏表示理論首先被應(yīng)用于信號(hào)處理領(lǐng)域,通過建立簡(jiǎn)單的稀疏表示模型,使得原始信號(hào)由其稀疏逼近形式代替,從而更容易地獲得信號(hào)中包含的有效信息。類似地,圖像的稀疏表示通常將原始圖像用若干基函數(shù)的線性組合表示,且線性表示的編碼系數(shù)要求具有較高的稀疏性。圖像經(jīng)過稀疏表示后,依然保留了原有圖像的關(guān)鍵特征信息,減少了冗余信息。
圖像塊內(nèi)的莫爾條紋圖案呈現(xiàn)近似周期性的特點(diǎn),通過一組基函數(shù)對(duì)其進(jìn)行稀疏描述。常用的字典基函數(shù)有離散余弦變換[10]、小波變換及傅里葉變換等正交基。
首先對(duì)莫爾條紋圖像基于塊進(jìn)行頻譜分析,可以看出莫爾條紋主要集中在低頻部分且僅落在極少數(shù)位置。因此基于小波變換函數(shù)原子的字典可以稀疏地表示圖像塊內(nèi)的莫爾條紋成分。對(duì)于給定圖像集訓(xùn)練出完備的小波字典D= [ d1,d2,…,dn],D ∈Rm×n,圖像集包含n個(gè)訓(xùn)練圖像,其中di∈Rm×1表示維數(shù)為m×1 的圖像特征原子。
莫爾條紋成分E 在完備小波字典D 下的稀疏表示系數(shù)為α ∈R1×n,因此稀疏表示模型可以表示為:
式中‖ ? ‖0表示向量的?0范數(shù)。為求解稀疏系數(shù)向量,可轉(zhuǎn)化為如下求解優(yōu)化問題:
此時(shí),稀疏向量α 為莫爾條紋成分E 在字典D 下的逼近形式,因此其誤差應(yīng)足夠小,滿足‖ E -Dα ‖2≤ε,ε為逼近誤差,通過?0范數(shù)計(jì)算向量α 中非零值個(gè)數(shù),從而測(cè)試其稀疏性。
在字典構(gòu)造過程中,為了構(gòu)建性能良好的字典并節(jié)省計(jì)算資源,選擇小波變換基函數(shù)建立稀疏表示中的字典,通過小波變換對(duì)莫爾條紋進(jìn)行頻域分析,并且提取出其特征信息構(gòu)成字典。
小波稀疏字典主要利用具有良好正交性的小波系數(shù),為精確稀疏表示莫爾條紋成分做準(zhǔn)備,因此選擇Haar小波基函數(shù)對(duì)圖像進(jìn)行字典構(gòu)建,莫爾條紋可以由Haar小波正交字典中的原子進(jìn)行線性表示,從而使莫爾條紋成分稀疏化。根據(jù)小波變換理論,有:
式中:i 為尺度;j 為位移;ψ 是小波基函數(shù)。Haar 小波基函數(shù)是一個(gè)具有緊支撐的正交小波函數(shù),它的支撐域是t ∈[ 0,1 ],在支撐域內(nèi)表現(xiàn)為單個(gè)矩形波。Haar 小波函數(shù)的表現(xiàn)形式如下:
基于上述小波變換理論,將莫爾條紋圖像進(jìn)行分塊處理,選取64×64 且步長(zhǎng)為32 的重疊圖像塊,對(duì)圖像塊進(jìn)行小波變換提取莫爾條紋的頻域系數(shù),并將所有圖像塊的系數(shù)矩陣?yán)瓰榱邢蛄繕?gòu)成小波字典D,通過稀疏表示模型對(duì)莫爾條紋進(jìn)行稀疏表示。
由于自然圖像的紋理成分具有非局部相似特性,因此相似圖像塊矩陣具有低秩性[11]。在空域上,將輸入圖像分割成k×k 的重疊塊,且觀察到這些塊是相似的,從而構(gòu)成相似矩陣C。
根據(jù)低秩性可定義:
式中:rank(?)表示矩陣的秩;λ 是正的實(shí)常數(shù),作為權(quán)衡低秩項(xiàng)和稀疏項(xiàng)的權(quán)重系數(shù);‖ ? ‖0表示向量的零范數(shù),即向量中非零元素的數(shù)量。矩陣C =[c1,c2,…,cn],ci∈Rk2是一個(gè)圖像塊的向量形式,n是圖像塊的數(shù)量。
由于?0范數(shù)的最優(yōu)化問題是一個(gè)NP-hard 問題,較難直接求解,而?1范數(shù)是?0范數(shù)的最優(yōu)凸近似,因此將rank(?)函數(shù)松弛為核函數(shù)‖ ? ‖*,將‖ ? ‖0函數(shù)松弛為[7]?1范數(shù)‖ ? ‖1,則模型可以改變?yōu)椋?/p>
根據(jù)模型求解的需要,引入兩種優(yōu)化算子對(duì)矩陣進(jìn)行優(yōu)化,從而求解模型。
若矩陣C=[c1,c2,…,cn]為m×n 的實(shí)矩陣,X 為待求解的矩陣,則矩陣分解的優(yōu)化問題表示為:
式中:ε 是加權(quán)因子,且ε >0;‖ ? ‖F(xiàn)表示矩陣的Frobenius范數(shù)。
式(8)的最優(yōu)解X*=Sε(C),其中,Sε(?)為收縮算子,定義為:
式(9)的 最 優(yōu) 解 為X*=Dε(C),其 中,Dε(C)=USε(Λ)VT。而U (Λ)VT為矩陣C 的奇異值分解。U,V分別為奇異值分解得到的左、右矩陣,Λ 表示對(duì)角元素為奇異值,其他元素為零的對(duì)角陣,即:
對(duì)于式(7)中等式約束下的最小化問題,目前的多種求解算法有迭代閾值法[12]、加速近端梯度法[13]及增廣拉格朗日乘子法[14]等。本文采用增廣拉格朗日乘子(ALM)算法框架將該問題轉(zhuǎn)換為非約束問題[10-11]。式(3)模型對(duì)應(yīng)的增廣拉格朗日函數(shù)形式如下:
式中ρ >1,為常數(shù)。
為了使算法更快速地達(dá)到收斂求解,在過程中采用交替方向法(ADM)[12]優(yōu)化A,E,Q,μ這些參數(shù),即在每次迭代過程中固定其他參數(shù)的同時(shí),對(duì)某個(gè)參數(shù)進(jìn)行優(yōu)化更新。根據(jù)式(6)等價(jià)于求解如下最小化問題:
且低秩矩陣A 子問題通過奇異值閾化分解可得到如下封閉解:
其中U,S,V 矩陣可通過奇異值分解獲得:
通過稀疏矩陣E 子問題求解得到:
通過若干次的迭代達(dá)到ADM-ALM 算法的收斂條件,將所有圖像塊進(jìn)行處理,分別得到處理后的低秩成分A及稀疏成分E,還原處理后的圖像得到干凈的紋理圖像。
為了驗(yàn)證算法的改進(jìn)效果,將本文算法與其他算法對(duì)于莫爾條紋圖像的處理效果進(jìn)行比較。實(shí)驗(yàn)過程中需進(jìn)行基本的參數(shù)設(shè)置,例如選取像素為512×512 的莫爾條紋紋理圖像進(jìn)行實(shí)驗(yàn),對(duì)實(shí)驗(yàn)圖像進(jìn)行預(yù)處理,圖像取塊大小為64×64的重疊圖像,且步長(zhǎng)為32,小波字典D 的大小為4 096×4 096。分解模型中參數(shù)權(quán)重因子λ 設(shè)置為0.015,意義是平衡低秩項(xiàng)和稀疏項(xiàng)的重要性,λ 值越大意味著稀疏性越強(qiáng)。ALM 算法求解部分,將最大迭代次數(shù)設(shè)置為1 000,算法采用Matlab 軟件進(jìn)行仿真實(shí)驗(yàn),其中,核心步驟是采用奇異值收縮算子和軟閾值收縮算子對(duì)低秩分解模型中的核函數(shù)和?1范數(shù)進(jìn)行求解。
對(duì)于所比較的算法,本文選擇了具有代表性的插值算法及濾波算法對(duì)莫爾條紋圖像進(jìn)行處理,結(jié)果如圖2所示。其中,圖2a)~圖2d)分別表示莫爾條紋圖像、雙線性插值算法、高斯陷波濾波(GNF)算法及本文算法的處理結(jié)果。
從圖2 中的主觀視覺效果來看,所采用的幾種方法對(duì)于去除莫爾條紋都有一定的實(shí)際效果。在所選擇的方法中,插值法雖然對(duì)于圖像的細(xì)節(jié)信息保留較好,但對(duì)莫爾條紋的去除效果并不明顯;而GNF 方法對(duì)莫爾條紋去除效果較好,但會(huì)造成圖像紋理信息的損失,導(dǎo)致圖像失真。因此,相比較而言,本文算法能夠在較好地去除莫爾條紋的同時(shí)保留了圖像的細(xì)節(jié)信息,盡量避免了圖像的失真現(xiàn)象,更加清晰且保持了原圖的完整性。
針對(duì)數(shù)碼拍攝中由于CFA 彩色濾鏡陣列采樣頻率與場(chǎng)景信息頻率相近,導(dǎo)致輸出圖像具有莫爾條紋干擾的問題,本文研究了莫爾條紋的成因及其去除方法。在分析色彩濾鏡陣列的排列特性和莫爾條紋產(chǎn)生原因的基礎(chǔ)上,結(jié)合對(duì)現(xiàn)有圖像去噪算法的研究,提出了一種利用稀疏表示與低秩分解相結(jié)合的處理算法。
圖2 不同方法的實(shí)驗(yàn)結(jié)果圖
對(duì)紋理圖像的低秩性和莫爾條紋的稀疏性進(jìn)行分析,通過稀疏字典對(duì)圖像莫爾條紋部分進(jìn)行特征信息提取,基于低秩稀疏模型進(jìn)行求解,將低秩部分與稀疏部分分離,達(dá)到去除莫爾條紋的效果。通過與不同算法的處理效果進(jìn)行比較,結(jié)果表明本文算法相比帶阻濾波器、雙線性插值算法等方法,能夠更好地保留圖像信息,同時(shí)有效地去除莫爾條紋干擾。
本文方法可以應(yīng)用于其他領(lǐng)域,如圖像的去雨線去噪、遙感圖像的去云霧等場(chǎng)景,均可用該方法對(duì)圖像進(jìn)行前期處理,下一步的研究工作將對(duì)稀疏表示部分進(jìn)一步優(yōu)化。