基于跨尺度低秩約束的圖像盲解卷積算法

彭天奇 禹晶 肖創(chuàng)柏

圖像復原旨在對圖像降質(zhì)過程進行建模,求解降質(zhì)模型的逆過程,從降質(zhì)圖像中恢復出原始的清晰圖像.模糊是一種常見的圖像降質(zhì)現(xiàn)象,通常由于相機的抖動、散焦以及物體的運動造成.單幅圖像去模糊問題研究如何從一幅模糊圖像中恢復出原始的清晰圖像.根據(jù)模糊核是否已知,去模糊方法可分為兩類: 1)若模糊核已知,則稱為非盲復原方法;2)若模糊核未知,則稱為盲復原方法.

對于均勻模糊圖像的形成過程可以表示為如下卷積模型

其中,y表示模糊圖像,x表示清晰圖像,?表示卷積運算,h為模糊核,n為噪聲.在卷積模型下,圖像盲復原即研究如何從模糊圖像中同時估計出模糊核h和清晰圖像x.由于將模糊過程建模為卷積的形式,因此盲復原問題也稱為盲解卷積問題.

圖像盲解卷積是一個嚴重的欠定逆問題,待求解的未知變量數(shù)目大于已知方程的數(shù)目,解不唯一.現(xiàn)有的大部分方法通過引入模糊核和圖像的先驗知識來約束問題的解空間.

一類為基于顯著邊緣的方法,此類方法充分利用圖像中的顯著邊緣結(jié)構(gòu)對模糊核進行估計.Jia等[1]首先利用圖像邊緣進行運動模糊核的估計,其邊緣的選取是通過手工摳圖完成的,這一方法非常依賴摳圖的準確性.Joshi等[2]直接從模糊圖像中提取出顯著邊緣,并根據(jù)提取的邊緣估計模糊核,然而,由于很難直接從大模糊圖像中提取顯著性邊緣,此方法僅對于小模糊圖像較為有效.Cho等[3]利用沖擊濾波器(Shock filter)對圖像進行邊緣的選擇并用于模糊核估計;Xu等[4]在該方法的基礎(chǔ)上驗證了不同寬度的邊緣對于模糊核估計的影響.這種方法由于增強模糊圖像的邊緣,在迭代求解的過程中,為了避免出現(xiàn)邊緣過增強等現(xiàn)象,一般需要根據(jù)迭代次數(shù)不斷調(diào)節(jié)邊緣增強算法的參數(shù),因而對參數(shù)設(shè)置較為敏感.

另一類為基于最大后驗概率(Maximum a posteriori estimation,MAP)估計或其變分模型的方法[5?18].基于MAP 估計的方法在條件概率服從某一種噪聲模型,結(jié)合清晰圖像和模糊核的先驗概率模型的假設(shè)條件下,通過最大化后驗概率來估計清晰圖像和模糊核,而變分模型則是在噪聲概率模型服從高斯分布的條件下,通過負對數(shù)函數(shù)將最大化后驗概率問題轉(zhuǎn)換為最小二乘問題.早期,Chan等[5]利用全變分的方法來約束清晰圖像的梯度.Levin等[6]提出了一種超拉普拉斯先驗建模圖像的梯度來估計模糊核.Fergus等[7]假設(shè)清晰圖像的梯度服從拖尾分布(Heavy-tailed distribution),結(jié)合高斯分布模型利用變分貝葉斯方法和期望最大化求解最大后驗概率問題.Levin等[8]證明直接求解最大后驗概率問題偏向獲得平凡解,即模糊圖像本身和二維狄拉克函數(shù),這是因為圖像梯度先驗在很多情況下偏向于模糊圖像,而不是清晰圖像.Perrone等[9]利用全變分正則化進行模糊核的估計,并且證明了投影交替最小化(Projected alternating minimization,PAM)方法可以有效避免平凡解.圖像梯度表示鄰域內(nèi)像素之間的關(guān)系,由于自然圖像包含復雜的結(jié)構(gòu),僅利用相鄰像素之間的關(guān)系很難清楚地描述這種復雜的結(jié)構(gòu),基于圖像塊的先驗可以表示更大更復雜的圖像結(jié)構(gòu).Michaeli等[10]利用不同尺度圖像之間圖像塊的相似性作為先驗來估計模糊核.Zhang等[11]將圖像塊的稀疏表示作為先驗進行模糊估計,并利用K-SVD (K-singular value decomposition)算法[19]通過其他自然圖像或模糊圖像本身訓練字典.Ren等[12]構(gòu)造了圖像亮度和梯度的低秩約束先驗用于模糊核的估計.Pan等[13]在模糊核的估計中引入了暗通道先驗,即圖像塊中不同通道的最小像素值,但是這種方法不適用于缺乏暗像素以及有噪的圖像,這是因為在這種情況下,無法保證暗通道的稀疏性.在Pan等[13]方法的基礎(chǔ)上,Yan等[14]結(jié)合亮通道先驗與暗通道先驗作為約束項以提高算法的魯棒性.常振春等[15]將圖像塊的稀疏表示和非局部(Non-local)自相似模型作為先驗進行模糊核的估計.Chen等[16]利用?1范數(shù)約束局部最大梯度值作為正則化項來估計模糊核.

本文將上述方法統(tǒng)稱為基于模型的方法.近些年,基于深度學習的方法[20?23]逐漸廣泛應(yīng)用于圖像去模糊領(lǐng)域.最初,此類方法主要是采用深度卷積神經(jīng)網(wǎng)絡(luò)(Convolution neural network,CNN)模型實現(xiàn)對清晰圖像的估計或者對模糊核的估計.Su等[20]首先提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的視頻去模糊算法,該方法通過卷積神經(jīng)網(wǎng)絡(luò)模型端到端地學習多幀模糊圖像與清晰圖像之間的關(guān)系并用于清晰圖像的復原.Yan等[21]利用深度卷積神經(jīng)網(wǎng)絡(luò)進行模糊核分類并利用廣義回歸神經(jīng)網(wǎng)絡(luò)(General regression neural network,GRNN)進行模糊核參數(shù)的估計.Sun等[22]設(shè)計了一種基于馬爾科夫隨機場(Markov random field,MRF)的卷積神經(jīng)網(wǎng)絡(luò)用于非均勻模糊核的估計.從卷積神經(jīng)網(wǎng)絡(luò)到近期提出的生成式對抗網(wǎng)絡(luò)(Generative adversarial network,GAN)[24],基于深度學習的方法取得了更好的去模糊效果.Kupyn等[23]利用條件生成式對抗網(wǎng)絡(luò)(Conditional generative adversarial network,cGAN)進行去模糊,使網(wǎng)絡(luò)直接輸出清晰圖像.然而,基于深度學習的方法主要有3 個方面的問題: 1) 網(wǎng)絡(luò)很難訓練,需要大量的訓練數(shù)據(jù),而且對參數(shù)的設(shè)置非常敏感;2)網(wǎng)絡(luò)無法保證輸出的結(jié)果符合數(shù)據(jù)保真項,雖然在訓練過程中可以產(chǎn)生較好的效果,但是在不同于訓練數(shù)據(jù)特征的圖像上可能會失效;3) 對于估計不同類型的模糊核,需要用不同的模糊圖像訓練網(wǎng)絡(luò),且很難獲取真實模糊訓練數(shù)據(jù)集.綜上所述,基于深度學習的方法受到了一定程度的限制.

目前大部分的盲解卷積算法對噪聲較為敏感,尤其對于大模糊有噪圖像,無法準確估計模糊核.本文的算法旨在構(gòu)造基于圖像塊的先驗模型,解決大模糊有噪圖像的模糊核估計問題.本文提出了一種基于跨尺度低秩約束的單幅圖像盲解卷積算法,利用跨尺度自相似性,在降采樣圖像中搜索相似的圖像塊,構(gòu)成相似塊圖像組矩陣,通過對相似圖像塊組矩陣進行低秩約束,迫使當前圖像在迭代中更加清晰,使重建圖像接近清晰圖像.一方面,模糊降低了圖像的跨尺度自相似性,清晰圖像的跨尺度自相似性強于模糊圖像的跨尺度自相似性,因此圖像跨尺度低秩先驗使解偏向清晰圖像而不是模糊圖像;另一方面,降采樣減弱了圖像的模糊程度,與模糊圖像相比,其降采樣圖像與清晰圖像具有更強的相似性,迫使模糊圖像更加接近清晰圖像.文獻[10]在上述兩點結(jié)論的基礎(chǔ)上,通過約束相似圖像塊與清晰圖像塊之間的相似性來估計模糊核,該算法與本文的算法均利用跨尺度自相似性提供的附加信息進行模糊核估計,不同之處在于該算法將圖像中的各個圖像塊與其每一個相似圖像塊進行單獨比較,相似圖像塊之間是相互獨立的,通過最小化清晰圖像塊與相似圖像塊之間的均方誤差來約束清晰圖像塊.為了更好地利用相似圖像塊之間的相關(guān)性,本文的算法將降采樣圖像中的相似圖像塊構(gòu)造為一個相似圖像塊組,并對該組進行整體的低秩約束,一是非局部相似圖像塊引入了附加的空間結(jié)構(gòu)信息,更有利于圖像塊空間結(jié)構(gòu)的重建,二是噪聲數(shù)據(jù)在相似圖像塊組數(shù)據(jù)中更加稀疏,更有利于從稀疏噪聲中恢復潛在的圖像數(shù)據(jù),因此,本文的算法能夠解決大尺寸模糊核的盲解卷積問題,并且避免盲解卷積過程受噪聲的干擾.

本文后續(xù)結(jié)構(gòu)組織如下: 第1 節(jié)描述本文提出的圖像跨尺度低秩先驗模型;第2 節(jié)闡述本文提出的基于跨尺度低秩先驗的圖像盲解卷積模型以及求解過程;第3 節(jié)通過定量和定性實驗驗證本文算法的有效性;第4 節(jié)分析跨尺度低秩先驗的有效性與局限性;第5 節(jié)為全文的總結(jié).

1 圖像跨尺度低秩先驗

跨尺度自相似性普遍存在于自然圖像中,本文從模糊圖像的降采樣圖像中搜索相似圖像塊組成相似塊組矩陣,對跨尺度相似圖像塊組矩陣進行低秩約束.

1.1 圖像跨尺度自相似性

多尺度自相似性是指在同一場景中存在著相同尺度以及不同尺度的相似結(jié)構(gòu).這種多尺度自相似性具體表現(xiàn)為圖像中所具有的相同尺度以及不同尺度的相似圖像塊[25],即從圖像中提取一個圖像塊,可在原尺度圖像及其他尺度的圖像中找到相似的圖像塊.相機的透視投影是圖像的多尺度自相似性普遍存在的主要原因.Glasner等[26]通過大量圖像的實驗證明了相似圖像塊普遍存在于同一場景的相同尺度以及不同尺度圖像中,由于小尺寸的圖像塊只含有少量信息,通常只包含一個邊緣、角點等,因此,即使人類視覺不易察覺小尺寸的相似圖像塊,但這些圖像塊普遍存在于自然圖像的多尺度圖像中.不同尺度的圖像自相似性簡稱為跨尺度自相似性.

圖1 展示了自然圖像的多尺度自相似性.圖1(a)為一幅清晰的自然圖像,對于紅色方框標記的一個7×7 的圖像塊,在該圖像中搜索同尺度相似圖像塊,用藍色方框標記,圖1(b)為清晰圖像中給定圖像塊及其同尺度相似圖像塊的細節(jié)放大圖.對圖1(a)進行2 倍降采樣,如圖1(c)所示,圖中藍色方框標記的圖像塊為在該圖像中搜索的跨尺度相似圖像塊,圖1(d)為清晰圖像中給定圖像塊及其跨尺度相似圖像塊的細節(jié)放大圖,其中,紅色方框為原尺度圖像中給定的圖像塊.跨尺度自相似性存在于不同尺度的圖像中,而模糊圖像的模糊核會隨著圖像尺度的變化而發(fā)生尺度變換,即同一幅模糊圖像的不同尺度圖像的模糊程度不同,從而導致模糊圖像的跨尺度自相似性減弱,如圖2 所示.圖2(a)為圖1(a)對應(yīng)的模糊圖像,紅色方框標記了模糊圖像中對應(yīng)的7×7 圖像塊,藍色方框標記了該圖像中的同尺度相似圖像塊,圖2(b)為模糊圖像中給定圖像塊及其同尺度相似圖像塊的細節(jié)放大圖.同樣地,對圖2(a)進行2 倍降采樣,如圖2(c)所示,圖中藍色方框標記了在降采樣模糊圖像中搜索的跨尺度相似圖像塊,圖2(d)為模糊圖像中給定圖像塊及其跨尺度相似圖像塊的細節(jié)放大圖.通過觀察圖2(b)和圖2(d)可以發(fā)現(xiàn),對于模糊圖像,同尺度相似圖像塊有著較強的相似性,而跨尺度相似圖像塊的相似性明顯減弱.通過觀察圖1和圖2 說明了清晰圖像的跨尺度自相似性強于模糊圖像的跨尺度自相似性.

圖1 清晰圖像的多尺度自相似性Fig.1 Multi-scale self-similarity of the sharp image

圖2 模糊圖像的多尺度自相似性Fig.2 Multi-scale self-similarity of the blurry image

圖3 說明了降采樣模糊圖像比模糊圖像本身與清晰圖像的相似性更強.對于圖1(b)中紅色方框標記的清晰圖像塊,在圖3(a)所示的模糊圖像和圖3(c)所示降采樣模糊圖像中搜索其相似圖像塊并用藍色方框標記,圖3(b)和圖3(d)分別為搜索的相似圖像塊的細節(jié)放大圖.通過比較圖3(b)和圖3(d)可以看出,由于降采樣模糊圖像的模糊程度減弱,從降采樣模糊圖像中搜索的相似塊相比從模糊圖像本身搜索的相似塊,與清晰圖像塊具有更強的相似性.

圖3 模糊圖像和降采樣模糊圖像分別與清晰圖像的相似性比較Fig.3 Comparison of similarities between the blurry image and the down-sampled blurry image related the sharp image

跨尺度自相似性可以為圖像盲復原提供必要的附加信息.圖4 給出了跨尺度自相似性在圖像復原應(yīng)用中的解釋,圖中左邊為清晰圖像及其降采樣圖像,右邊為模糊圖像及其降采樣圖像.參照Michaeli等[10]通過一維信號對模糊信號的降采樣信號與清晰信號相似性的證明,本文利用二維信號進行簡要證明,記二維坐標為ξ和η.由于跨尺度自相似性普遍存在于自然場景中,在圖中左邊,假設(shè)p1(ξ,η)、p2(ξ,η)為同一場景中不同尺寸的相似結(jié)構(gòu),忽略采樣問題的影響,p2(ξ,η) 的尺寸為p1(ξ,η)的a倍,可表示為的降采樣版本,即

圖4 跨尺度自相似性用于圖像盲復原的解釋Fig.4 Interpretation of cross-scale self-similarity for blind image restoration

其中,h(ξ,η) 為模糊核.(ξ,η)為p4(ξ,η) 的降采樣版本,由式(4)可得

(ξ,η)與p3(ξ,η) 具有相同的尺寸.根據(jù)式(5),(ξ,η)可認為是由清晰結(jié)構(gòu)p1(ξ,η)與模糊核h(aξ,aη) 卷積的結(jié)果,由于h(aξ,aη) 的尺寸是h(ξ,η)的 1 /a倍,因此,相比于h(ξ,η),h(aξ,aη) 對圖像造成的模糊程度更小.

1.2 跨尺度低秩先驗模型

設(shè)清晰圖像x∈RN的降采樣圖像表示為xa∈1后面的內(nèi)容涉及到范數(shù)的表示和導數(shù)計算,為了方便表達,需要將公式寫為矩陣向量的形式,因此,對于空域卷積,本文近似使用列向量的形式表示.,其中 N 為清晰圖像的像素數(shù),a 為降采樣因子.從清晰圖像x及其降采樣圖像xa中抽取的圖像塊分別表示為Qjx和Rixa,其中Qj∈Rn×N和為抽取矩陣,分別用于從清晰圖像及其降采樣圖像中抽取第j個和第i個圖像塊,抽取的圖像塊尺寸為n.對于圖像中的任意圖像塊Qjx,在降采樣圖像xa中搜索其相似圖像塊Rixa.由于圖像的不同尺度間廣泛存在著跨尺度相似圖像塊,即對于Qjx,可以在降采樣圖像xa中尋找多個與其相似的圖像塊.設(shè)在xa中搜索m ?1 個與Qjx最相似的圖像塊,并按列表示為,i=1,···,m ?1,Qjx與這些在降采樣圖像中的相似圖像塊聚合構(gòu)成一個跨尺度相似圖像塊組Pj,可表示為

其中,n為圖像塊的尺寸,m為圖像塊的個數(shù).

本文提出了一種基于跨尺度自相似性的低秩先驗模型,利用低秩矩陣估計(Low rank matrix approximation,LRMA)對跨尺度相似圖像塊組矩陣進行低秩約束,該先驗模型如下所示

式中,Pj表示圖像塊Qjx與其在降采樣圖像中搜索的相似圖像塊構(gòu)成的組矩陣,Lj表示觀測矩陣Pj中潛在的低秩結(jié)構(gòu),∥·∥F表示矩陣Frobenius范數(shù),r ank(·)為秩函數(shù),t為限制矩陣秩的常數(shù).跨尺度低秩先驗模型的有效性體現(xiàn)在如下兩點: 1)由于模糊的作用,清晰圖像的跨尺度自相似性強于模糊圖像的跨尺度自相似性,此先驗使目標函數(shù)的解偏向于清晰圖像而不是模糊圖像;2)由于降采樣降低了圖像的模糊程度,從降采樣模糊圖像中找到的相似塊比模糊圖像中找到的相似塊,與清晰圖像具有更強的相似性,所以利用從降采樣模糊圖像中搜索的相似塊構(gòu)成相似圖像塊組,通過對相似圖像塊組的低秩約束迫使重建圖像更加接近清晰圖像.此外,低秩結(jié)構(gòu)更好地表示了數(shù)據(jù)的全局結(jié)構(gòu),提高了對噪聲的魯棒性.

盡管圖像跨尺度自相似性廣泛存在,然而,并不是所有的圖像塊都能為圖像復原提供有效的附加信息.顯著邊緣的圖像塊對模糊核的估計起著關(guān)鍵的作用,而灰度平坦的圖像塊對模糊核估計幾乎不起作用,例如若某一圖像區(qū)域的像素值為常數(shù),則該區(qū)域經(jīng)過模糊后的像素值仍為同一常數(shù),在該區(qū)域清晰圖像與模糊圖像完全相同,因此這一區(qū)域并不能為模糊核的估計提供有效的信息.本文將灰度值變化較小的圖像塊稱為平坦塊,灰度值變化較大的圖像塊稱為細節(jié)塊,在跨尺度低秩先驗模型中,僅將細節(jié)塊用于模糊核的估計.本文考慮了兩種篩選圖像中細節(jié)塊的方案: 1)計算圖像塊的方差,方差較大的圖像塊說明圖像塊中灰度變化較為劇烈;2)計算像素的梯度,較大的梯度表明鄰域內(nèi)像素灰度變化明顯,即對應(yīng)顯著邊緣的區(qū)域.前者需要對圖像中的每一個圖像塊計算方差,計算量大;后者可以利用模板卷積的邊緣檢測實現(xiàn),速度快,且通常圖像塊的尺寸很小,圖像塊的灰度變化基本上等效于鄰域內(nèi)的灰度變化.因此,本文利用圖像邊緣檢測確定細節(jié)塊.

由于相似圖像塊經(jīng)常出現(xiàn)在鄰近區(qū)域,因而在降采樣圖像中一定尺寸的搜索窗口內(nèi)通過圖像塊匹配搜索相似圖像塊.圖像塊相似性的判據(jù)有多種度量準則,如歐氏距離、相關(guān)系數(shù)等,本文采用歐氏距離作為圖像塊相似性的度量依據(jù).對于不同程度的細節(jié)塊,所搜索相似圖像塊的個數(shù)不同,即對于不同細節(jié)塊,其相似圖像塊組矩陣的列數(shù)不同.本文采用一種自適應(yīng)方法[26]確定圖像塊相似性判斷的閾值,對原始圖像x進行插值移位,生成具有 1 /2 亞像素位移的圖像,對于每一個輸入圖像塊Qjx,在x?中找到對應(yīng)位置的圖像塊Qj,閾值δd的計算式為

其中,γ為控制系數(shù).選取歐氏距離小于δd的圖像塊作為原圖像塊的相似塊.由式(8)可知,圖像塊灰度變化越劇烈,閾值δd越大;反之,圖像塊灰度變化越平緩,閾值δd則越小.與此同時,設(shè)置相似塊搜索個數(shù)的下限 ?l和上限 ?h,即相似塊個數(shù)滿足?l ≤m ≤?h.如果搜索到的相似塊個數(shù)小于 ?l,則不采用此圖像塊;如果搜索到的相似塊個數(shù)大于?h,那么僅選取前 ?h個相似圖像塊.

2 基于跨尺度低秩約束的盲解卷積算法

在上一節(jié)提出的跨尺度低秩先驗模型的基礎(chǔ)上,本節(jié)給出了本文圖像盲解卷積算法的數(shù)學模型及求解過程.

2.1 圖像盲解卷積算法數(shù)學模型

本文結(jié)合跨尺度自相似性與低秩矩陣估計,將式(7)中的圖像跨尺度低秩先驗作為正則化約束,提出的單幅圖像盲解卷積算法可表示為如下約束最優(yōu)化問題:

其中,y為模糊圖像,x為清晰圖像,h為模糊核,?={?x,?y}為圖像的梯度算子,?x和?y分別表示x方向和y方向的一階差分算子,?表示卷積操作,∥·∥2表示?2范數(shù),M為二值標記矩陣,用于標記細節(jié)塊的位置,|M|為M中非零元素的個數(shù),λg,λs,λh為正則化參數(shù).式(9)中第1 項為數(shù)據(jù)保真項,保證復原結(jié)果符合圖像的降質(zhì)模型;第2項為跨尺度低秩約束正則項,迫使重建圖像的邊緣接近清晰圖像的邊緣,j∈M表示將跨尺度低秩先驗僅限制在標記矩陣M中值為1 的細節(jié)塊;第3項為梯度約束項,采用?2范數(shù)對圖像梯度進行約束,能夠減小基于圖像塊先驗引入的邊緣 “棱角”效應(yīng),保持圖像邊緣的平滑性;第4 項為模糊核的正則化約束項,保證了模糊核的稀疏性.

2.2 數(shù)學模型求解

由于式(9)是非凸的,沒有閉合解,本文采取交替迭代求解的方法對式(9)所示的最優(yōu)化問題進行求解,即先固定對清晰圖像的估計求解模糊核,再固定模糊核更新對清晰圖像的估計每一次迭代,更新標記矩陣M,通過對圖像塊進行篩選,從而排除平坦塊對模糊核估計的干擾.

1)篩選圖像塊

對清晰圖像的當前估計結(jié)果進行邊緣估計,邊緣像素對應(yīng)的圖像塊即為細節(jié)塊,參與模糊核的估計.引入二值標記矩陣M,若M中對應(yīng)的圖像塊為細節(jié)塊,則該位置的元素值為1,否則該位置的元素值為0.本文利用Sun等[27]的邊緣檢測算法確定當前圖像估計中的邊緣像素,該算法對于每一個像素,利用方向算子選取8 個方向模板中的最大響應(yīng)幅度作為該像素的邊緣強度.

由于本文僅將跨尺度低秩正則化約束限制在圖像的細節(jié)塊,導致當前估計的圖像中平坦塊受到的約束較少,從而可能導致復原圖像的平滑區(qū)域含有較多的噪聲,為了減小噪聲對邊緣估計造成的干擾,本文首先對當前估計的圖像進行高斯濾波,然后對濾波后的圖像進行邊緣估計.

2)估計模糊核

式中,⊙為哈達瑪積 (Hadamard product).在估計模糊核時,僅利用圖像中的細節(jié)塊,避免了平坦塊對模糊核估計的影響,有利于準確地估計模糊核.式(10) 為關(guān)于h的二次函數(shù),因此存在閉合解,令式(10)對h的導數(shù)為零,可得

其中,?表示相關(guān)運算.根據(jù)卷積定理可知,空域中圖像的卷積等效于頻域中傅里葉變換的乘積,本文將式(11)轉(zhuǎn)換到頻域求解:

由式(12)可得h的閉合解如式(13)所示

式中,表示將重建圖像塊Qj根據(jù)抽取的位置放回圖像中對應(yīng)位置,從而獲得重建圖像zk.一方面,清晰圖像的跨尺度自相似性強于模糊圖像的跨尺度自相似性,通過跨尺度自相似性組成相似圖像塊組,使得目標函數(shù)的解偏向清晰圖像;另一方面,由于降采樣模糊圖像中圖像塊的邊緣更加清晰,與清晰圖像具有更強的相似性,通過約束相似圖像塊組的矩陣秩,迫使當前圖像估計的邊緣更接近清晰圖像的邊緣.

2.3 本文算法整體流程

本文算法的整體流程包括模糊核估計和清晰圖像估計兩個階段,如圖5 所示.第1 階段中通過對式(9)的交替求解來對模糊核進行估計.首先初始化清晰圖像,對當前估計的清晰圖像進行細節(jié)塊篩選構(gòu)造標記矩陣,在標記矩陣的指導下更新模糊核,然后通過跨尺度低秩約束正則項重建圖像,重建圖像可視為下一次迭代更新估計清晰圖像的參考圖像.通過對相似圖像塊組進行整體的低秩約束,迫使重建圖像的邊緣更加清晰,用模糊程度更小的重建圖像作為參考圖像,可使下一次迭代得到更清晰的圖像.通過式(9)交替求解出的清晰圖像僅是清晰圖像的中間結(jié)果,進一步利用非盲解卷積方法最終可得對清晰圖像的估計.第2 階段在第1 階段估計的模糊核的基礎(chǔ)上,選擇合適的非盲卷積方法從模糊圖像中恢復出清晰圖像,例如Richardson-Lucy 算法及其變形[29?32]、EPLL (Expected patch log likelihood)算法[33]、全變分正則化方法[4,34]、稀疏非盲解卷積方法[8]和雙邊濾波殘差消除法[13]等.

圖5 本文算法流程Fig.5 The pipeline of our method

為了加速算法的收斂和處理大尺寸模糊,與目前大部分算法相同,本文通過構(gòu)建圖像金字塔模型由粗到細地估計模糊核.在金字塔的每一層求解式(9)所示的目標函數(shù),在跨尺度相似圖像塊搜索的實際實現(xiàn)時,直接在上一層估計的清晰圖像中搜索相似圖像塊構(gòu)造相似圖像塊組.本文將當前層對清晰圖像估計的插值圖像作為下一層金字塔估計的初始清晰圖像,則下一層金字塔中對清晰圖像的初始估計更接近真實的清晰圖像,從而加快了模糊核的估計過程并且提高了估計結(jié)果的準確性.

算法1 總結(jié)了基于跨尺度低秩約束的圖像盲解卷積算法的偽代碼,根據(jù)輸入的模糊圖像y,構(gòu)建K層的圖像金字塔,若當前層為金字塔的第1 層(l=1),則將模糊圖像y作為清晰圖像初始估計設(shè)置=y,否則將上一層 (l ?1) 金字塔估計的清晰圖像的插值結(jié)果作為當前層 (l) 清晰圖像的初始估計在每一層 (l) 中,利用交替迭代求解式(9)估計出模糊核和清晰圖像,這里上標表示圖像金字塔的層數(shù),下標表示在每一層金字塔上迭代的次數(shù),直到迭代收斂或者達到預設(shè)的最大迭代次數(shù).

算法1 的時間復雜度主要由內(nèi)循環(huán)的4 個步驟決定.步驟1 中采用邊緣檢測篩選細節(jié)塊,這種方法通過空域卷積實現(xiàn),空域卷積的時間復雜度為O(Ns),其中,N為圖像的尺寸,s為卷積核的尺寸.空域濾波的卷積核通常很小,因此,卷積操作的時間復雜度可近似記為 O (N).步驟2 直接在頻域中計算模糊核的閉合解,其中,傅里葉變換的時間復雜度為 O (NlogN),逐元素操作的時間復雜度為O(N),因此,步驟2 的時間復雜度可以記為 O (NlogN).步驟3 中,對于所有細節(jié)塊在搜索窗口內(nèi)計算圖像中塊匹配誤差的時間復雜度為 O (Ntwn);查找搜索窗口內(nèi)m個最相似圖像塊的時間復雜度為O(Ntwlogw);完全奇異值分解的時間復雜度為O(Nt×min(mn2,m2n)),其中,Nt為標記矩陣M中對應(yīng)的細節(jié)塊數(shù)目1根據(jù)統(tǒng)計,細節(jié)塊約占圖像塊總數(shù)的10%.,w為搜索窗口的尺寸,n為圖像塊的尺寸,m為選取的相似圖像塊數(shù)目.由于奇異值分解的運行時間遠小于塊匹配誤差計算和排序兩部分的運行時間之和,因此,步驟3 的時間復雜度可以記為O(Ntw(n+logw)).步驟4 中BICG 算法的時間復雜度為 O (ζ+N)[35],加上傅里葉變換的運行時間,總的時間復雜度可記為 O (ζ+NlogN),其中,ζ為系數(shù)矩陣的非零項個數(shù).

算法1.基于跨尺度低秩約束的圖像盲解卷積算法

從上述時間復雜度的分析可以看出,步驟1和2 的時間復雜度均不超過 O (NlogN),步驟4 中系數(shù)矩陣是稀疏的,時間復雜度可近似為線性對數(shù)階,而步驟3 為立方階時間復雜度.于是,本文的算法如同一般使用相似圖像塊搜索的算法,例如經(jīng)典的BM3D 算法[36],主要耗時在相似圖像塊的遍歷搜索上.目前快速相似圖像塊搜索算法的研究不多,未來快速算法的普遍研究將會為以相似圖像塊搜索為基礎(chǔ)的算法提供速度上升的空間.

3 實驗結(jié)果與分析

本文設(shè)置圖像塊尺寸為n=5×5,奇異值閾值β為0.2,相似圖像塊個數(shù)的上限 ?h為19,下限?l為5,搜索窗口的尺寸為w=25×25.由于大多數(shù)真實圖像的模糊核尺寸小于 5 1×51,參照Sun等[27]和Michaeli等[10]的方式,若無特殊說明,本文設(shè)置模糊核的尺寸為s=51×51.降采樣因子a越大,降采樣模糊圖像中的圖像塊越清晰,但同時不同尺度圖像之間的相似圖像塊的個數(shù)越少[26],因此需要綜合考慮設(shè)置降采樣因子的取值,本文參照Michaeli等[10]將金字塔之間的縮放因子設(shè)置為 4 /3,圖像金字塔不同層對應(yīng)的模糊核尺寸不同,在構(gòu)建金字塔模型時,若當前層對應(yīng)的模糊核尺寸小于 3×3,則停止降采樣的過程.

3.1 Kohler 數(shù)據(jù)集上的實驗

本文在Kohler等[37]公開的數(shù)據(jù)集上驗證算法的有效性,此數(shù)據(jù)集包括4 幅圖像,有12種模糊核(后5 個為大尺寸模糊核),共產(chǎn)生48 幅模糊圖像.該數(shù)據(jù)集是由相機記錄的六維自由度運動軌跡合成的非均勻模糊數(shù)據(jù)集.在Kohler 數(shù)據(jù)集實驗中,將本文的算法與Pan等[13]、Yan等[14]、常振春等[15]、Chen等[16]提出的算法進行比較,本文算法的正則化參數(shù)設(shè)置為λs=0.0008,λg=0.002,λh=0.0003N.該數(shù)據(jù)集中的模糊圖像是由真實記錄的三維空間運動軌跡而合成的,屬于非均勻模糊,上述算法均利用線性卷積模型對非均勻模糊進行近似建模.為了公平比較,本文的算法也根據(jù)模糊程度的不同,將初始模糊核尺寸設(shè)置為 2 1×21 到 1 51×151 不等.Pan等[13]、Yan等[14]、常振春等[15]和Chen等[16]的結(jié)果均是由作者本人提供.通過比較每一幅圖像的去模糊結(jié)果與沿著相機運動軌跡捕獲的199 個未模糊圖像的峰值信噪比(Peak signal-to-noise ratio,PSNR),將最大的PSNR 作為定量評估的指標.復原圖像與真值圖像之間的PSNR 越大,表明復原圖像與真值圖像越接近.

圖6 比較了各個算法在Kohler 數(shù)據(jù)集上PSNR的均值及標準差.從圖中可以看出,本文的算法在四幅圖像上的平均PSNR 均高于常振春等[15]的去模糊結(jié)果;在后兩幅圖像上的平均PSNR 高于Pan等[13]的結(jié)果,在第四幅圖像上的平均PSNR 高于Yan等[14]和Chen等[16]的結(jié)果.該數(shù)據(jù)集中的前3 幅圖像含有足夠多的暗像素,符合Pan等[13]所提出的暗通道先驗,本文的算法在Kohler 數(shù)據(jù)集上達到了與Pan等[13]方法相當?shù)慕Y(jié)果.該方法對于缺乏暗像素的情況會失效,Yan等[14]提出了亮通道先驗,并結(jié)合暗通道先驗共同建模圖像先驗,提高了PSNR.盡管Yan等[14]和Chen等[16]方法在Kohler數(shù)據(jù)集上獲得了更高的PSNR,然而他們的方法恢復細節(jié)的能力仍有限.由于該數(shù)據(jù)集是對印刷照片進行成像,圖像較為平滑,并不能很好地用于評價算法對細節(jié)的恢復能力.此外,從圖中的垂直誤差條可見,本文算法在各幅圖像上均取得最小的標準差,說明本文算法具有更好的魯棒性.

圖6 Kohler 數(shù)據(jù)集PSNR 的平均值與標準差Fig.6 Mean and standard deviation of PSNR on Kohler dataset

圖7和圖8 給出各個算法在Kohler 數(shù)據(jù)集中兩幅圖像上的復原結(jié)果,圖像中左上角為各算法估計出的模糊核.對于圖7(a) 所示的小模糊圖像,圖7(b)～7(f)分別為Pan等[13]、Yan等[14]、常振春等[15]、Chen等[16]以及本文算法的去模糊結(jié)果,圖像的下方為局部區(qū)域的細節(jié)放大圖.圖7(b)～7(f)與真值圖像之間的PSNR 依次為 2 9.31 ,2 9.74 ,2 8.95,29.54和31.53.從細節(jié)放大圖中可以看出,常振春等[15]的復原結(jié)果中產(chǎn)生了一定程度的噪聲,Pan等[13]、Yan等[14]和Chen等[16]的方法在某些區(qū)域缺乏對細節(jié)的恢復,本文的算法能夠更好地恢復圖像的細節(jié).大尺寸模糊核更難估計,對于圖8(a)所示的大模糊圖像,圖8(b)～8(f)分別為Pan等[13]、Yan等[14]、常振春等[15]、Chen等[16]以及本文算法的去模糊結(jié)果,它們與真值圖像的PSNR 依次為22.30,22.32,22.94,22.37和27.51.根據(jù)去模糊圖像和真值圖像之間的PSNR,本文算法在這兩幅圖像上估計出更準確的模糊核,復原圖像更接近真值圖像;根據(jù)視覺效果,本文算法能夠恢復出更多的細節(jié)且失真更小.

圖7 各個算法對Kohler 數(shù)據(jù)集中一幅小模糊圖像復原結(jié)果的比較Fig.7 Comparison of the results deblurred by some state-of-the-art methods on a weakly blurred image from Kohler dataset

圖8 各個算法對Kohler 數(shù)據(jù)集中一幅大模糊圖像復原結(jié)果的比較Fig.8 Comparison of the results deblurred by some state-of-the-art methods on a severely blurred image from Kohler dataset

3.2 加噪Kohler 數(shù)據(jù)集上的實驗

本文的算法沒有對噪聲進行特殊處理,利用低秩模型對跨尺度相似圖像塊組進行整體約束,使得算法具有一定的抗噪能力.本文在Kohler 數(shù)據(jù)集中加入了標準差為0.01 的高斯噪聲模擬模糊有噪圖像.在加噪Kohler 數(shù)據(jù)集實驗中,將本文的算法與Pan等[13]、Yan等[14]、常振春等[15]和Chen等[16]的算法進行比較,本文的算法將正則化參數(shù)設(shè)置為λs=0.0008 ,λg=0.002,λh=0.0003N.Pan等[13]、Yan等[14]、常振春等[15]和Chen等[16]的結(jié)果均由作者提供的程序運行得到.圖9 給出了各算法在加噪Kohler 數(shù)據(jù)集上PSNR 的均值及標準差,由圖中可見,與Pan等[13]、Yan等[14]、常振春等[15]和Chen等[16]算法相比,本文算法在各幅圖像中均取得了最高的平均PSNR 及最小的標準差,充分說明本文算法對噪聲具有很好的魯棒性.

圖9 加噪Kohler 數(shù)據(jù)集PSNR 的平均值與標準差Fig.9 Mean and standard deviation of PSNR on noisy Kohler dataset

圖10和圖11 比較了各個算法在加噪Kohler數(shù)據(jù)集中兩幅圖像上的復原結(jié)果.對于圖(a)所示的模糊有噪圖像,圖(b)～(f)分別為各個算法的去模糊結(jié)果.計算去模糊圖像與真值圖像之間的PSNR,在圖10 中Pan等[13]、Yan等[14]、常振春等[15]、Chen等[16]以及本文算法PSNR 依次為 1 9.95,17.11,2 1.60,16.38和2 6.85,在圖11 中PSNR 依次為 2 4.72 ,24.80,27.51,2 4.79和2 8.23.由圖10 可見,由于噪聲的干擾,Pan等[13]、Yan等[14]、常振春等[15]和Chen等[16]算法都無法準確地估計出模糊核,進而無法復原出清晰的結(jié)果,本文算法能夠準確地復原出圖像的邊緣和細節(jié),獲得清晰的復原圖像.本文算法在這兩幅圖像上均取得了最高的PSNR 均值,表明更接近真值圖像,并且展現(xiàn)了更好的視覺效果.

圖10 各個算法對加噪Kohler 數(shù)據(jù)集中一幅圖像復原結(jié)果的比較Fig.10 Comparison of the results deblurred by some state-of-the-art methods on a blurred-noisy image from noisy Kohler dataset

圖11 各個算法對加噪Kohler 數(shù)據(jù)集中另一幅圖像復原結(jié)果的比較Fig.11 Comparison of the results deblurred by some state-of-the-art methods on another blurred-noisy image from noisy Kohler dataset

3.3 真實模糊圖像實驗

在真實模糊圖像實驗中,將本文的算法與Michaeli等[10]、Perrone等[9]、常振春等[15]、Pan等[13]、Yan等[14]和Chen等[16]的算法進行比較,本文算法的正則化參數(shù)設(shè)置為λs=0.004,λg=0.006,λh=0.003N.Michaeli等[10]、Pan等[13]、Yan等[14]、Chen等[16]的結(jié)果均是由作者提供的程序運行得到,Perrone等[9]、常振春等[15]的復原結(jié)果由作者直接提供.真實模糊圖像一般為非均勻模糊,上述算法均利用線性卷積模型對非均勻模糊進行近似建模.

圖12和圖13 比較了各個算法在兩幅真實模糊圖像上的復原結(jié)果,對于圖(a)所示真實模糊圖像,圖(b)～(h)為各個算法的復原結(jié)果,圖像左上角為估計的模糊核,圖像下方為圖像中局部區(qū)域的細節(jié)圖.從這些細節(jié)區(qū)域以及整體復原結(jié)果可以看出本文的算法在有效減少振鈴效應(yīng)的同時,能夠很好地恢復出圖像的細節(jié),使邊緣更加清晰.

圖12 各個算法對一幅真實模糊圖像復原結(jié)果的比較Fig.12 Visual comparisons with some state-of-the-art methods on one real-world photo

圖13 各個算法對另一幅真實模糊圖像復原結(jié)果的比較Fig.13 Visual comparisons with some state-of-the-art methods on another real-world photo

3.4 真實模糊有噪圖像實驗

在真實模糊有噪圖像實驗中,將本文的算法與Michaeli等[10]、Perrone等[9]、Pan等[13]、Yan等[14]、常振春等[15]、Chen等[16]的算法進行比較,本文算法的正則化參數(shù)設(shè)置為λs=0.004,λg=0.006,λh=0.003N.Michaeli等[10]、Perrone等[9]、Pan等[13]、Yan等[14]、常振春等[15]、Chen等[16]的結(jié)果均是由作者提供的程序運行得到.

圖14和圖15 比較了各個算法在兩幅真實模糊有噪圖像上的復原結(jié)果.圖(a)為在低光照環(huán)境中獲取的真實圖像,當光線不充足時圖像容易產(chǎn)生噪聲,圖14(b)～14(h)分別為Michaeli等[10]、Perrone等[9]、Pan等[13]、Yan等[14]、常振春等[15]、Chen等[16]以及本文算法的去模糊結(jié)果,圖15(b)～15(f)分別為Perrone等[9]、Pan等[13]、Yan等[14]、Chen等[16]以及本文算法的去模糊結(jié)果,在圖像的左上角為各個算法估計的模糊核,在每幅圖像的下方是局部區(qū)域的細節(jié)圖.由圖中可見,本文算法很大程度上減小了振鈴效應(yīng)和噪聲的影響,恢復出更加清晰的結(jié)果.特別地,從圖14 的細節(jié)放大圖可以看出,Perrone等[9]、Pan等[13]、Yan等[14]、常振春等[15]的復原結(jié)果均放大了噪聲并且存在明顯的振鈴效應(yīng),Michaeli等[10]、Chen等[16]減小了振鈴效應(yīng),但復原結(jié)果仍存在噪聲放大的情況.可見,本文算法對于噪聲具有良好的魯棒性.

圖14 各個算法在一幅真實模糊有噪圖像上的實驗結(jié)果Fig.14 Visual comparisons with state-of-the-art some methods on a real blurred-noisy image

圖15 各個算法在另一幅真實模糊有噪圖像上的實驗結(jié)果Fig.15 Visual comparisons with some state-of-the-art methods on another real blurred-noisy image

4 分析與討論

本節(jié)對跨尺度低秩先驗的有效性和局限性進行分析和討論.

4.1 圖像跨尺度自相似性的分析

本文通過在大量圖像上對圖像跨尺度自相似性的統(tǒng)計分析來驗證跨尺度低秩先驗的有效性.在本實驗中,從Sun等[27]數(shù)據(jù)集提供的80 幅清晰圖像中抽取尺寸為 5×5 的細節(jié)塊,對于每一個細節(jié)塊,在降采樣圖像中搜索m個相似圖像塊,降采樣因子a分別設(shè)置為 4 /3、5 /3和2,降采樣圖像的尺度分別為原來的0.75、0.6和0.5 倍.采用均方誤差(Mean squared difference,MSD)度量圖像塊之間的相似性,M SD 的數(shù)值越小,表明圖像塊之間的相似性越強.設(shè)清晰圖像x中抽取的圖像塊為Qjx,在其降采樣圖像xa中搜索相似圖像塊Rixa,i= 1,···,m,則清晰圖像的跨尺度自相似性用均方誤差度量可表示為

其中,Nt為圖像中細節(jié)塊的個數(shù),m為相似圖像塊的個數(shù).對于每一個細節(jié)塊自適應(yīng)地搜索m個相似圖像塊,然后計算m個相似圖像塊的均值.根據(jù)式(8)計算自適應(yīng)閾值,其中,控制系數(shù)γ值越大,閾值δd越大,選取該細節(jié)塊的相似圖像塊個數(shù)越多,這里設(shè)置相似塊搜索個數(shù)的下限 ?l=1,上限?h=5,則m滿足 1≤m ≤5.由于各幅圖像中通過邊緣檢測確定的細節(jié)塊個數(shù)不同,因此,對于每幅圖像利用均方誤差來度量相似性.同理,MSD(x,y)度量清晰圖像與模糊圖像的相似性,MSD(x,ya)度量清晰圖像與降采樣模糊圖像的相似性,MSD(y,ya)度量模糊圖像的跨尺度自相似性.對于Sun 數(shù)據(jù)集中的每幅圖像各自計算均方誤差,然后統(tǒng)計所有圖像(80 幅圖像)的均方誤差之和.

圖16 展示了降采樣因子a為 4 /3、5 /3和2,控制系數(shù)γ為1、1.5、2和2.5 時80 幅圖像的均方誤差之和,圖中,橫坐標為控制系數(shù)γ,縱坐標為均方誤差之和.圖16(a)比較了模糊圖像y及其降采樣圖像ya與清晰圖像x的相似性,圖中實線表示清晰圖像與降采樣模糊圖像之間的相似性,虛線表示清晰圖像與模糊圖像之間的相似性,由圖中可見,選取適合的參數(shù)可以保證MSD(x,ya)

圖16 圖像跨尺度自相似性的分析Fig.16 Analysis of cross-scale self-similarity of images

4.2 跨尺度低秩先驗的局限性分析

本文提出的跨尺度低秩先驗依賴于跨尺度相似圖像塊的冗余性.自然圖像中跨尺度相似圖像塊越多,它們之間的相關(guān)性能夠提供更充分的附加信息,則該先驗的魯棒性越強.對于自相似性較弱的圖像,由于僅能搜索少量的相似圖像塊,其復原能力受到了一定的限制.

圖17 展示了本文的算法在Sun等[27]數(shù)據(jù)集中三幅自相似性較弱圖像上的復原結(jié)果,圖17(a)為模糊圖像,圖17(b)為真值圖像,圖17(c)為Cho等[3]、Xu等[4]和Levin等[6]算法的復原結(jié)果,圖17(d)為本文算法的復原結(jié)果,圖像左上角為估計的模糊核.通過觀察模糊核以及復原結(jié)果可以看出,本文的算法并沒有準確地估計出模糊核,導致無法完全去除圖像中的模糊或產(chǎn)生halo 效應(yīng).但是,跨尺度低秩先驗是一種魯棒的先驗模型,對于不同的模糊核或圖像內(nèi)容,本文的算法能夠獲得較為穩(wěn)定的復原結(jié)果.當模糊核或圖像內(nèi)容不符合先驗假設(shè)時,部分算法的復原結(jié)果會產(chǎn)生較大的波動,如圖17(c)所示的失效圖例產(chǎn)生明顯的振鈴效應(yīng),而本文的算法即使對于自相似性較弱的圖像,依然能夠達到一定的去模糊效果,不會產(chǎn)生明顯的振鈴效應(yīng).

圖17 本文算法對Sun 數(shù)據(jù)集中三幅自相似性較弱圖像的復原結(jié)果Fig.17 Visual display of proposed method on three weak self-similarity blurred images from Sun dataset

5 結(jié)束語

由于跨尺度自相似性普遍存在于自然圖像中,本文提出了一種跨尺度低秩先驗模型,在當前估計的降采樣圖像中搜索相似圖像塊構(gòu)成相似圖像塊組,對相似圖像塊組構(gòu)造低秩約束正則項,加入到目標函數(shù)中,使目標函數(shù)的解偏向于清晰圖像.在金字塔的逐層迭代中,通過對跨尺度相似圖像塊組進行低秩約束,迫使當前估計的清晰圖像邊緣越來越清晰,細節(jié)越來越豐富.在大量模糊圖像以及模糊有噪圖像上的實驗驗證了本文算法的有效性.本文的算法沒有對噪聲進行特殊處理,由于低秩約束很好地表示了數(shù)據(jù)的全局結(jié)構(gòu)特性,因此對噪聲具有良好的魯棒性,能夠從大模糊有噪圖像中有效地估計出模糊核.