非盲圖像復(fù)原綜述

楊 航

（中國(guó)科學(xué)院長(zhǎng)春光學(xué)精密機(jī)械與物理研究所, 吉林 長(zhǎng)春 130033）

1 引 言

在圖像的獲取和傳輸過程中，受各種因素影響，如大氣的湍流效應(yīng)、攝像設(shè)備中光學(xué)系統(tǒng)的衍射、光學(xué)系統(tǒng)的像差、 成像設(shè)備與物體之間的相對(duì)運(yùn)動(dòng)、離焦等問題，都難免會(huì)造成圖像的失真，由這些因素引起的質(zhì)量下降通常稱為圖像退化。由于圖像的退化，觀測(cè)到的圖像會(huì)丟失很多有價(jià)值的信息，同時(shí)對(duì)比度會(huì)變差，其典型表現(xiàn)是圖像出現(xiàn)模糊失真以及附加噪聲。為此，必須對(duì)退化的圖像進(jìn)行處理，估計(jì)出真實(shí)的原始圖像，這一過程就稱為圖像復(fù)原。

在數(shù)字圖像處理領(lǐng)域，圖像復(fù)原算法的研究是一個(gè)重要但又難以解決的問題。近半個(gè)世紀(jì)以來，圖像復(fù)原問題始終是相關(guān)領(lǐng)域研究的熱點(diǎn)之一，不僅具有理論挑戰(zhàn)性也具有重要的實(shí)際應(yīng)用價(jià)值。圖像復(fù)原作為一種改善圖像質(zhì)量的技術(shù)，從失真和降質(zhì)的觀測(cè)量來估計(jì)原始圖像，盡量降低和消除圖像的失真和噪聲。這對(duì)于圖像的進(jìn)一步研究和應(yīng)用，諸如特征提取、自動(dòng)識(shí)別和圖像分析等都是極具價(jià)值的。近50 年來，圖像復(fù)原的應(yīng)用范圍已經(jīng)涵蓋了諸如天文觀測(cè)[1]、醫(yī)學(xué)影像[2]、空間探索[3]、軍事科學(xué)[3]、遙感遙測(cè)[4]、生物科學(xué)[5]及工業(yè)視覺[6]等眾多科學(xué)和技術(shù)領(lǐng)域。

在實(shí)際問題中，點(diǎn)擴(kuò)散函數(shù)是一個(gè)低通濾波器，其會(huì)使輸入圖像的高頻成分受到抑制甚至丟失，圖像復(fù)原是一個(gè)數(shù)學(xué)反問題，其目的是要“找回”丟失的成分。在圖像復(fù)原過程中，觀測(cè)圖像中的噪聲往往會(huì)被放大，這意味著圖像復(fù)原的結(jié)果可能偏離真實(shí)的解。為了盡可能獲得真實(shí)的解，圖像復(fù)原要考慮對(duì)噪聲的抑制，這就需要在清晰度和噪聲放大之間做出適當(dāng)?shù)钠胶狻?/p>

圖像復(fù)原問題根據(jù)已知條件的不同可以分為兩類：非盲圖像復(fù)原（點(diǎn)擴(kuò)散函數(shù)已知）和盲圖像復(fù)原（點(diǎn)擴(kuò)散函數(shù)未知）。 非盲圖像復(fù)原，也稱之為反卷積（deconvolution），是在點(diǎn)擴(kuò)散函數(shù)已知的情況下，由觀測(cè)圖像（模糊圖像），通過數(shù)學(xué)運(yùn)算，估計(jì)出清晰圖像的方法，非盲復(fù)原更關(guān)注的是如何在噪聲干擾的情況下，能夠有效地恢復(fù)出清晰圖像。 與非盲圖像復(fù)原不同的是，盲圖像復(fù)原是在點(diǎn)擴(kuò)散函數(shù)未知的情況下，關(guān)注如何能夠快速有效地估計(jì)出點(diǎn)擴(kuò)散函數(shù)和清晰圖像。

生活中常見的模糊圖像都是點(diǎn)擴(kuò)散函數(shù)未知的情況，大多采用盲復(fù)原方法進(jìn)行處理。從問題表面上看，盲復(fù)原的難度更大，因?yàn)榍逦鷪D像未知，點(diǎn)擴(kuò)散函數(shù)也未知，但是因此斷言非盲圖像復(fù)原的研究?jī)r(jià)值沒有盲復(fù)原的高是片面的，恰恰相反，這更能說明非盲復(fù)原的重要性，因?yàn)榉敲?fù)原才是盲復(fù)原的核心內(nèi)容。絕大多數(shù)的盲復(fù)原方法是交替求解點(diǎn)擴(kuò)散函數(shù)和圖像，從而逐步恢復(fù)原始圖像，即先固定點(diǎn)擴(kuò)散函數(shù)估計(jì)圖像（非盲圖像復(fù)原問題），然后固定圖像求解點(diǎn)擴(kuò)散函數(shù)。由此可以看出，非盲復(fù)原算法是盲圖像復(fù)原方法中不可或缺的步驟。當(dāng)然隨著深度學(xué)習(xí)的發(fā)展，也出現(xiàn)了一些由端到端網(wǎng)絡(luò)直接獲取清晰圖像的盲圖像復(fù)原方法，但若能估計(jì)出來點(diǎn)擴(kuò)散函數(shù)，采用非盲圖像復(fù)原的方法則要優(yōu)于端到端、由模糊圖像直接生成清晰圖像的深度學(xué)習(xí)方法。另外，在很多研究領(lǐng)域，圖像的降質(zhì)過程有較好的理論模型支撐（例如光學(xué)稀疏孔徑成像[7]等），即在這種情況下，點(diǎn)擴(kuò)散函數(shù)可以通過理論分析和計(jì)算得到，因此就省略了盲復(fù)原中點(diǎn)擴(kuò)散函數(shù)估計(jì)過程，使得這些問題直接簡(jiǎn)化為一個(gè)非盲圖像復(fù)原問題。

綜上可知，研究非盲圖像復(fù)原方法在實(shí)際應(yīng)用和理論研究中都具有很高價(jià)值和意義。

本文將非盲圖像復(fù)原方法分為傳統(tǒng)方法和深度學(xué)習(xí)方法進(jìn)行闡述。在傳統(tǒng)方法中，又將其分為兩大類：直接反卷積法和迭代法，最后，探討了圖像復(fù)原中的一些其他問題。

2 非盲圖像復(fù)原中的傳統(tǒng)方法

如果不考慮非線性退化的影響，由模糊造成的圖像降質(zhì)是一個(gè)線性時(shí)不變系統(tǒng)，其數(shù)學(xué)模型為：

其中B為觀測(cè)圖像（模糊圖像），k為點(diǎn)擴(kuò)散函數(shù)（又稱為模糊核），L為清晰圖像，γ為加性噪聲，“*”表示循環(huán)卷積，圖像模糊的基本過程如圖1所示：

圖1 線性時(shí)不變系統(tǒng)示意圖Fig. 1 Diagram of linear time invariant system

2.1 直接法

根據(jù)卷積定理，式（1）可以在傅立葉（Fourier）域?qū)懗梢环N更加適合計(jì)算的形式：

吉洪諾夫（Tikhonov）正則化[9]采用頻域截?cái)嗟姆绞?，抑制點(diǎn)擴(kuò)散函數(shù)在高頻處的能量衰減造成的噪聲能量放大，其復(fù)原公式為：

吉洪諾夫正則化將圖像平滑的性質(zhì)作為約束，會(huì)導(dǎo)致復(fù)原圖像的邊緣不清晰，當(dāng)正則化參數(shù)選取不當(dāng)時(shí)，會(huì)產(chǎn)生較嚴(yán)重的振鈴效應(yīng)。但是因其計(jì)算效率較高，在噪聲水平不高的情況下，應(yīng)用廣泛。

維納（Wiener）濾波[9]是基于最小均方誤差準(zhǔn)則的一種線性濾波方法，其表達(dá)式為：

其中SL和Sγ分別為清晰圖像和噪聲的功率譜，顯然這在實(shí)際問題中是無法得到的，因此在具體應(yīng)用時(shí)常用額外的手段去獲取的近似值。維納濾波依然不能有效處理噪聲放大問題。

隨著多尺度分析，特別是小波分析的發(fā)展，采用小波分解進(jìn)行非盲圖像復(fù)原成為熱點(diǎn)[10-13]， 例如，Donoho 等人[13]提出一種小波漣漪卷積方法，通過引入一個(gè)與尺度相關(guān)的漣漪函數(shù)來參與解卷積，Kalifa 等人[14]提出了一種匹配卷積核頻域性質(zhì)的鏡像小波，進(jìn)而通過閾值收縮來達(dá)到抑制噪聲的目的。這些方法都是通過將小波技術(shù)融合到解卷積的過程中，沒有達(dá)到去卷積和抑制噪聲兩者之間的平衡，噪聲去除效果不佳，而且算法的步驟較為復(fù)雜，數(shù)學(xué)推導(dǎo)繁瑣，在實(shí)踐中不易執(zhí)行。

在2004 年，Neelamani 等人[15]提出了一種將去卷積和去噪分離的方法，其思想較直接：首先采用吉洪諾夫正則化進(jìn)行解卷積，此時(shí)選擇一個(gè)較小的正則化參數(shù)，目的是保留絕大部分圖像信息，但是遺留下的噪聲也較多， 然后，再使用小波分析對(duì)解卷積之后的圖像進(jìn)行去噪，得到最終的復(fù)原圖像，這個(gè)方法稱之為ForWaRD，其流程圖如圖2 所示。值得注意的是：其小波去噪方法不是通過簡(jiǎn)單的小波系數(shù)閾值收縮實(shí)現(xiàn)的，而是采用兩步法。首先，對(duì)解卷積圖像進(jìn)行小波系數(shù)硬閾值收縮，得到預(yù)估計(jì)圖像，然后，再依靠預(yù)估計(jì)圖像構(gòu)造小波域維納收縮因子，接著，再對(duì)解卷積圖像的小波系數(shù)進(jìn)行維納濾波，最后，通過逆小波變換得到復(fù)原后的圖像。ForWaRD 方法不僅在當(dāng)時(shí)取得了較好的處理效果，更重要的是其引領(lǐng)了非盲圖像復(fù)原的一次重要革新，其后絕大多數(shù)直接法都采用了類似的思路，即先解卷積，然后再去噪。

圖2 ForWaRD 算法流程圖Fig. 2 Flow chart of ForWaRD algorithm

雖然ForWaRD 算法在非盲圖像復(fù)原思路轉(zhuǎn)變上起到了很大的作用，但是由于二維張量小波只能有效地處理圖像中各向同性的奇異對(duì)象，對(duì)于不規(guī)則邊緣和紋理等各項(xiàng)異性特征沒有較好的非線性擬合能力，因此，學(xué)者們用更加有效的圖像分析工具來替代小波變換，由此產(chǎn)生了很多新的方法。

隨著小波熱潮發(fā)展起來的多尺度幾何分析，逐步成為了圖像處理的有效工具，例如曲波[16]（curvelet）、輪廓波[17]（contourlet），剪切波[18]（shearlet）和波原子[19]（wave atom）等，這些變換本質(zhì)上和小波變換一樣，是一種人為構(gòu)造出來的固定基底，用以對(duì)二維圖像進(jìn)行稀疏化表示，他們的優(yōu)勢(shì)在于可以對(duì)圖像的邊緣/紋理有較強(qiáng)的非線性逼近能力，因此，在各類圖像問題中得到了廣泛應(yīng)用。在非盲圖像復(fù)原領(lǐng)域，也得到了較ForWaRD 更有效的擴(kuò)展算法[20-22]。每種多尺度方法都在某一方面具備較好的圖像信息表達(dá)能力，但也有各自的局限，例如曲波[20]能夠?qū)D像中的邊緣有效的稀疏表示，而對(duì)紋理等信息不能很好處理，反之，波原子[22]雖然對(duì)模式化的紋理有最有效的非線性逼近能力，但是對(duì)普通曲線的處理要弱于其他多尺度變換。

基于多尺度變換域的高斯混合模型（Gaussian Scale Mixtures, GSM）[23-24]在圖像復(fù)原方面也取得了不錯(cuò)的效果，基本思想是先對(duì)模糊圖像進(jìn)行解卷積，然后對(duì)解卷積圖像進(jìn)行多尺度分解，最后在多尺度金字塔和完備（或超完備）基底系數(shù)中應(yīng)用高斯混合模型，對(duì)變換系數(shù)進(jìn)行濾波，進(jìn)而達(dá)到抑制噪聲的效果。這類方法的代表：SV-GSM[24]（Space Variant GSM）方法是當(dāng)時(shí)最好的圖像復(fù)原方法之一。Xue 等人[25]提出了一種基于正則化的Stein 無偏風(fēng)險(xiǎn)估計(jì)（SURE）的最小化方法，稱之為SURE-LET 方法。該方法首先使用多個(gè)維納濾波器作為基本函數(shù)，然后，使用非抽取的Haar 小波閾值，線性地參數(shù)化復(fù)原過程，利用SURE 的二次性和線性參數(shù)化，將復(fù)原問題最終歸結(jié)為求解一個(gè)線性方程組，而這個(gè)線性方程組的解即為真實(shí)圖像的最優(yōu)無偏估計(jì)。SURE-LET方法有著獨(dú)特的濾波手段，因此在小波類方法中取得了最佳結(jié)果，類似的思想也可以推廣到其他多尺度分析方法中。

與固定基底不同，文獻(xiàn)[26-27]提出了依據(jù)圖像內(nèi)容自適應(yīng)構(gòu)造基底的方法，例如基于形狀自適應(yīng)離散余弦變換的SA-DCT 方法[27]。在圖像局部使用非參數(shù)局部多項(xiàng)式來逼近圖像，雖然處理效果受限于表示工具，但是也為圖像分析的自適應(yīng)基底提供了思路。遺漏噪聲與普通的高斯加性白噪聲不同，其隨機(jī)變量的概率分布不具備相同的方差，因此普通的去噪方法無法直接應(yīng)用到非盲圖像復(fù)原中， 而非局部均值濾波[28]（Non Local Means Filter，NLMF）因?yàn)榫哂休^強(qiáng)的紋理保護(hù)能力和濾波能力，獲得了學(xué)者的重視，并將其用于解決圖像復(fù)原問題[29]，有效恢復(fù)模糊圖像中的紋理信息。

在圖像處理領(lǐng)域，自適應(yīng)基底和非局部特征被廣泛關(guān)注，一種將二者有機(jī)結(jié)合的圖像處理技術(shù)應(yīng)運(yùn)而生—三維塊匹配濾波[30]（Block Matching 3D filtering，BM3D）。該方法是傳統(tǒng)方法中去噪效果最好的算法之一。該算法的思想與NLMeans 類似，也是在圖像中尋找相似塊進(jìn)行濾波，不同的是，在得到足夠多的相似塊之后，將其堆成一個(gè)三維數(shù)據(jù)（一個(gè)組），并對(duì)這個(gè)三維數(shù)據(jù)進(jìn)行三維（3D）濾波，之后將濾波后的數(shù)據(jù)返回到各自的圖像位置并融合（因?yàn)橐粋€(gè)像素點(diǎn)可以多次被匹配到不同的組中）。

BM3D 算法在圖像去噪領(lǐng)域均取得了巨大的成功，因此將BM3D 方法用于遺漏噪聲的濾除也成為了很自然的做法。學(xué)者們提出了BM3DDEB[31]用于圖像反卷積，該算法至今也是圖像復(fù)原問題首選方法之一，其流程圖如圖3 所示。

圖3 基于BM3D 的圖像復(fù)原方法流程圖[31]Fig. 3 Flow chart of image restoration method based on BM3D[31]

直接圖像復(fù)原法，其重點(diǎn)在于遺漏噪聲的去除，但并不是所有去噪的方法都是固定模式，每種方法都有自己獨(dú)特的去噪技巧，從而才能獲得最佳的復(fù)原效果。

為了對(duì)直接法的復(fù)原效果進(jìn)行更好地總結(jié)，采用6 組標(biāo)準(zhǔn)實(shí)驗(yàn)設(shè)置，對(duì)8 種代表性直接法進(jìn)行實(shí)驗(yàn)對(duì)比，8 種算法分別為：ForWaRD[15]、Shear-Dec[21]、 GSM[23]、 SV-GSM[24]、 LPA-ICI[26]、 SADCT[27]、SURE-LET[25]以及BM3DDEB[31]。采用改進(jìn)的信噪比[32]（Improvement in Signal-to-Noise Ratio，ISNR）作為算法的評(píng)價(jià)標(biāo)準(zhǔn)，單位是分貝（dB）。ISNR 的計(jì)算公式為：

由式（7）可看出，相對(duì)于峰值信噪比（PSNR）的計(jì)算公式，ISNR 的計(jì)算增加了模糊圖像B信息，這樣更能反映復(fù)原圖像對(duì)模糊圖像的改善程度。

表1 給出了每組實(shí)驗(yàn)的參數(shù)設(shè)置，其中BSNR（Blurred Signal-to-Noise Ratio）表示模糊信噪比，其計(jì)算公式為：

表1 實(shí)驗(yàn)設(shè)置Tab.1 Experimental settings

其中，Var(B)表示模糊圖像B的方差，H和W分別表示圖像的高和寬，σ表示噪聲的標(biāo)準(zhǔn)差。

表2 顯示了8 種算法的復(fù)原結(jié)果，其中標(biāo)下劃線數(shù)值表示該組實(shí)驗(yàn)中最優(yōu)的結(jié)果，加粗?jǐn)?shù)值表述次最優(yōu)的結(jié)果，從表2 可以明顯看出，BM3DDEB[31]具有最大的優(yōu)勢(shì)。表2 中的數(shù)據(jù)來源于文獻(xiàn)[21,25,31,33]。

表2 8 種直接法輸出ISNR 的對(duì)比Tab.2 Comparison of ISNR output by eight methods

直接法的優(yōu)點(diǎn)在于其思想簡(jiǎn)潔，計(jì)算復(fù)雜度較低，便于應(yīng)用；缺點(diǎn)是由于遺漏噪聲不同于高斯白噪聲。因此，單獨(dú)去噪無法達(dá)到滿意的效果，常常伴有振鈴效應(yīng)或者噪聲濾波不完全的情況。因此，很多學(xué)者把提升非盲圖像復(fù)原效果的重點(diǎn)放在了迭代法上。

2.2 迭代法

非盲圖像復(fù)原的迭代求解法的核心思想是將清晰圖像的估計(jì)視作一個(gè)優(yōu)化問題的最優(yōu)解， 通過設(shè)計(jì)一種迭代格式來求解該最優(yōu)化問題，進(jìn)而達(dá)到圖像復(fù)原的目的[34-38]。

Lucy- Richardson (LR)法[39]是迭代法的早期代表之一，其假設(shè)圖像服從泊松（Possion）分布，采用最大似然估計(jì)，得到如下一種迭代格式：

其中“ ?”表示相關(guān)運(yùn)算。LR 方法容易受到噪聲的影響，同時(shí)復(fù)原圖像往往會(huì)進(jìn)一步放大噪聲，不適用于低信噪比的情況。Whyte 等人[40]針對(duì)部分飽和的模糊圖像，引入一個(gè)響應(yīng)函數(shù)用來辨識(shí)飽和與非飽和像素點(diǎn)，進(jìn)而提出了一種改進(jìn)型的LR 迭代法。

全變差（Total Variation，TV）正則化是另一種重要的圖像處理模型[41]，在圖像去噪[42]，圖像復(fù)原[43]，圖像分割[44]，圖像超分辨[45]等領(lǐng)域都有著廣泛的應(yīng)用。全變差模型本質(zhì)上是一種對(duì)圖像的梯度進(jìn)行約束（或者也可以稱為將圖像的梯度信息作為先驗(yàn)）的一種最優(yōu)化問題，在圖像復(fù)原問題上的數(shù)學(xué)表達(dá)式為:

其中 ?表示梯度算子，?L=(?xL,?yL)，?x和?y分別表示x和y方向的偏導(dǎo)算子，‖·‖def表示自定義的范數(shù)，λ＞0稱 為正則化參數(shù)， 而亦稱作正則項(xiàng)，稱為保真項(xiàng)。

1994 年，Osher 團(tuán)隊(duì)[46]提出了求解圖像復(fù)原問題的ROF (Rudin-Osher-Fatemi)模型，即基于全變差范數(shù)的最優(yōu)化模型。為了求解這種全變差圖像復(fù)原模型，早期的求解方法采用了偏微分方程的求解模式，將優(yōu)化問題轉(zhuǎn)化為Euler Lagrange方程，進(jìn)行求解[47]。這類方法計(jì)算復(fù)雜度高，迭代收斂慢。隨著壓縮感知帶來的熱潮，學(xué)者們提出了大量的最優(yōu)化方法來求解這類模型， 進(jìn)而也推動(dòng)了全變差模型在圖像復(fù)原領(lǐng)域的發(fā)展。以美國(guó)學(xué)者Osher 團(tuán)隊(duì)為首，率先提出了分離變量的思想[48]，使用Bregman 迭代方法，開創(chuàng)了一種快速求解全變差優(yōu)化模型的理論，大大推動(dòng)了迭代法的發(fā)展。這類算法包括Split Bregman 法[49]， 閾值收縮法[42,50-51]，Landweber 法[52]，ADMM[53](Alternating Direction Method of Multipliers)法等。分離變量的核心思想是通過引入一組中間變量，將不易直接求解的問題轉(zhuǎn)化為交替迭代求解多個(gè)易求解的子問題，例如在文獻(xiàn)[34]中，作者提出了一種快速求解全變差圖像復(fù)原模型方法（FTVd），通過引入一組中間變量 ，將式（10）改寫為：

之后采用交替迭代法，得到兩個(gè)子優(yōu)化問題：

這兩個(gè)子問題在數(shù)學(xué)上都有解析解（closed form解），即：

通過式（14）～式（15）的交替迭代，就可以較容易得到最后的復(fù)原結(jié)果。

對(duì)于式（10）中的正則項(xiàng)，可以根據(jù)需要定義不同的范數(shù)，例如l1范數(shù)[49](各向異性全變差)，l2范數(shù)[34,54]（各向同性全變差），也可以是非凸正則項(xiàng)[55]：，甚至可以是“l(fā)0” 范數(shù)[56-57]。這種分離變量的優(yōu)化技巧大大提高了全變差模型的求解速度和收斂性，受到了學(xué)者們的持續(xù)關(guān)注，但是全變差最優(yōu)化模型的本質(zhì)問題沒有得到改變，即該模型期望問題的最優(yōu)解具有最小的梯度能量。這就會(huì)導(dǎo)致圖像中細(xì)節(jié)信息丟失、紋理信息損失、圖像過于平滑等問題。

從理論上分析，基于全變差的圖像約束利用了圖像中大部分是平滑區(qū)域的性質(zhì)，對(duì)梯度進(jìn)行約束，可以使獲取的圖像盡可能的平滑，進(jìn)而抑制噪聲。同理，如果期望獲取的圖像具有某一方面特殊的性質(zhì)，那么就可以提出相應(yīng)的正則項(xiàng)（圖像先驗(yàn)）。

隨著壓縮感知[56]的提出，圖像稀疏性的研究進(jìn)入了一個(gè)高峰期。壓縮感知理論表明，如果一個(gè)信號(hào)（圖像）是稀疏的（非零元素較少），那么該信號(hào)（圖像）就是可以壓縮采樣的，即通過壓縮采樣后是可以精確復(fù)原的。雖然圖像本身并不稀疏，但是在一些特定的變換下，其變換系數(shù)可以是稀疏的。這一理論對(duì)圖像復(fù)原問題提供了新的思路，同時(shí)基于稀疏性的各種優(yōu)化模型和迭代格式不斷提出，大大豐富了圖像復(fù)原的研究。

因此，在全變差模型取得成功的同時(shí)，用于圖像稀疏性表達(dá)的多尺度分析方法，例如小波、曲波等，也被應(yīng)用到迭代法中，即作為對(duì)圖像的特征約束，構(gòu)造相應(yīng)的最優(yōu)化問題，例如：在文獻(xiàn)[58]中提出一種基于小波正則化的快速迭代閾值方法，其最優(yōu)化問題表達(dá)式為:

其中W表示正交小波變換。類似的方法還有很多，可以參考文獻(xiàn)[59-63]。同時(shí)，也有將小波、曲波和全變差組合在一起構(gòu)造的新方法[64-65]，其基本思想是將圖像分成多個(gè)部分，每個(gè)部分用特定的先驗(yàn)進(jìn)行約束，例如可以將圖像分成紋理部分和平滑部分，紋理部分可以采用波原子先驗(yàn)，而平滑部分可以采用全變差先驗(yàn)。

從迭代法的迭代格式可以發(fā)現(xiàn)，大多數(shù)迭代法的核心主要包含兩個(gè)步驟：一個(gè)是對(duì)卷積的處理（式（15）），一個(gè)是濾波處理（式（14）），這和直接法相似，其本質(zhì)的不同在于迭代法將前一次濾波的結(jié)果，反饋到下一次的解卷積中，讓解卷積的結(jié)果不僅僅取決于模糊圖像，也更加貼近前一次濾波（去噪）的結(jié)果。經(jīng)過反復(fù)多次迭代，最終收斂到的結(jié)果能夠在解卷積和去噪之間達(dá)到平衡。

經(jīng)此分析，很多對(duì)噪聲具有較好濾除性能的方法均可能在迭代法中得到應(yīng)用，這些濾波或者去噪方法的引入也提升了非盲圖像復(fù)原的效果。

字典學(xué)習(xí)[66-67]（dictionary learning）是一種針對(duì)單幅圖像構(gòu)造自適應(yīng)基底的方法，即字典為一組通過當(dāng)前圖像自適應(yīng)學(xué)習(xí)出來的基底，最早用于圖像的稀疏表示，其求解字典的模型為：

其中 Φ表示需要求解的字典，其需要通過圖像L和求解最優(yōu)化問題得到，c是圖像L相對(duì)于字典表示的系數(shù)，目的是要求c是稀疏的（元素盡可能為0 或者接近0）。圖4 顯示了圖像復(fù)原算法中學(xué)習(xí)到的字典[68]。Elad 等人[67]采用KSVD（Kmeans Singular Value Decomposition）的方法獲得了較好的冗余字典，并在圖像去噪、圖像修補(bǔ)、圖像復(fù)原等領(lǐng)域都受到了關(guān)注。在非盲圖像復(fù)原中， CSR[69]、NCSR[70]、GSR[71]等為最具代表性的字典學(xué)習(xí)類方法，其一般最優(yōu)化模型為：

圖4 非盲圖像復(fù)原算法中學(xué)習(xí)到的字典[68]。（a）Barbara 圖像復(fù)原局部圖；（b）學(xué)習(xí)到的字典。Fig. 4 Learned dictionary from non-blind image restoration algorithm[68]. (a) Partial restoration image for Barbara image; (b) the learned dictionary

對(duì)于不同的字典學(xué)習(xí)類算法，主要是對(duì)正則項(xiàng)進(jìn)行改進(jìn)，例如中心稀疏表示[69]（Centralized Sparse Representation，CSR）模型在式（18）的基礎(chǔ)上添加了中心約束項(xiàng)：

其中p為1 或者2， β為c的較好估計(jì)[69]，新增加的約束項(xiàng)可以在有噪聲干擾的情況下，使學(xué)習(xí)到的字典更魯棒。在CSR 的基礎(chǔ)上進(jìn)一步改善正則項(xiàng)，得到NCSR[70]：

NSCR 算法雖然刪除了系數(shù)稀疏約束項(xiàng)，但是在字典學(xué)習(xí)方法上通過K均值（K-means）聚類和主成分分析（PCA）對(duì)學(xué)習(xí)到的字典進(jìn)行聚類，并采用非局部思想對(duì)β 進(jìn)行更新，能夠取得更優(yōu)的復(fù)原效果。GSR[71]算法提出了一種新的約束，將塊相似和自適應(yīng)字典學(xué)習(xí)相結(jié)合，構(gòu)建相似組（圖5（彩圖見期刊電子版）給出了相似組構(gòu)建的圖示），對(duì)圖像進(jìn)行稀疏編碼，進(jìn)而提升圖像的表示能力，并取得了當(dāng)時(shí)最優(yōu)的復(fù)原效果。

圖5 組建構(gòu)的圖解[71]Fig. 5 Illustration of group construction[71]

塊相似的方法也很自然地應(yīng)用到了圖像復(fù)原中[72-73]，特別是基于BM3D 的IDDBM3D[73]算法，更是取得了當(dāng)時(shí)最高水平的結(jié)果（目前也是傳統(tǒng)方法中最好的方法之一）。該方法將BM3D 濾波融入到一個(gè)兩步迭代格式中，一個(gè)子問題用于去噪，一個(gè)子問題用于解卷積，將解卷積和去噪解耦，交替迭代。文獻(xiàn)[73]證明了該迭代格式是收斂的。IDDBM3D 對(duì)各類點(diǎn)擴(kuò)散函數(shù)和各種噪聲水平都有著很強(qiáng)的適應(yīng)性，同時(shí)計(jì)算復(fù)雜度不高，能夠廣泛應(yīng)用到各種實(shí)際問題中。

低秩（low rank）方法是在塊匹配的基礎(chǔ)上發(fā)展起來的，其思想是將匹配到的相似塊轉(zhuǎn)換成一維向量（與圖5 中堆棧部分類似），然后進(jìn)行奇異值分解，并對(duì)奇異值進(jìn)行抑制（軟閾值或者硬閾值），進(jìn)而達(dá)到濾波的效果。這種方法雖然與BM3D在某種程度上相似，但是基于SVD 的方法比3D濾波更能發(fā)揮圖像塊之間的相似性作用，因此取得了更好的處理效果[74]。低秩方法可以認(rèn)為是核范數(shù)[75]（nuclear norm）約束的一種形式（一個(gè)矩陣的核范數(shù)定義為該矩陣的所有奇異值的和）。 將低秩方法用于圖像復(fù)原的數(shù)學(xué)模型可以寫為：

其中U和V是正交矩陣， Σ為奇異值矩陣。基于低秩的復(fù)原方法（Low Rank based Deconvolution，LRD）[76]通過設(shè)計(jì)一種交替迭代法，將低秩濾波有效地整合到圖像復(fù)原問題中，并在正則化參數(shù)的選取上采用自適應(yīng)方法，取得了與GSR[71]算法同等效果。

無論是字典學(xué)習(xí)還是塊匹配（包括低秩）等，都需要較大的計(jì)算量，再加上迭代法需要這些過程多次反復(fù)，所以要花費(fèi)大量的計(jì)算時(shí)間。為了降低計(jì)算復(fù)雜度，同時(shí)又能夠使其達(dá)到可接受的復(fù)原效果，一些快速濾波方法被引入到圖像復(fù)原中。 邊緣保持濾波器一直是計(jì)算機(jī)圖形圖像領(lǐng)域最受重視的研究之一，其目的是對(duì)圖像進(jìn)行平滑并且要保持邊緣不模糊。雙邊濾波[77]、非局部均值濾波[28]、引導(dǎo)濾波等[78]都是這類濾波器的典型代表。但是由于快速邊緣保持濾波器去除遺漏噪聲的能力相對(duì)較弱， 因此不適于用直接法進(jìn)行圖像復(fù)原，而迭代法則能夠通過循環(huán)反饋，層層遞進(jìn)的方式，讓快速邊緣保持濾波器在圖像復(fù)原中發(fā)揮作用[33,79]。基于邊緣保持濾波器的非盲圖像復(fù)原模型一般可以寫為：

其中EWF（Edge Ware Filter）表示邊緣保持濾波器。

該模型可轉(zhuǎn)化為如下迭代格式進(jìn)行求解：

當(dāng)然，迭代方式也可以采用其他分離變量的迭代格式，如Landweber[52]、ADMM[52]等。

在傳統(tǒng)方法中，機(jī)器學(xué)習(xí)的方法[80-81]也占有一席之地。不同于深度學(xué)習(xí)技術(shù)，這類方法主要使用傳統(tǒng)的機(jī)器學(xué)習(xí)技術(shù)，例如高斯混合模型[82]、隨機(jī)場(chǎng)[83]等。Roth 和Black[83]最先通過學(xué)習(xí)表達(dá)性強(qiáng)的高階馬爾科夫隨機(jī)場(chǎng)（Markov Random Field，MRF）先驗(yàn)對(duì)圖像建模，提出了專家場(chǎng)（Fields of Experts，F(xiàn)oE）框架。該框架下MRF 中所有的濾波器參數(shù)均由訓(xùn)練數(shù)據(jù)得到，但該方法由于目標(biāo)函數(shù)的難解性，學(xué)習(xí)過程中使用了對(duì)比散度，導(dǎo)致該模型學(xué)習(xí)非常困難。Zoran 和Weiss 等人[82]提出了期望塊對(duì)數(shù)似然（Expected Patch Log Likelihood，EPLL）模型。該模型首先使用高斯混合模型從大量自然圖像塊中學(xué)習(xí)到圖像的先驗(yàn)，并采用最大后驗(yàn)（Maximum A-Posteriori，MAP）估計(jì)來對(duì)圖像進(jìn)行濾波，通過EM 迭代來求解。EPLL方法最大的特點(diǎn)是不對(duì)整幅圖像進(jìn)行全局對(duì)數(shù)似然近似，而是對(duì)局部圖像塊（patch）進(jìn)行建模，不僅降低了學(xué)習(xí)難度同時(shí)也提升了復(fù)原效果。該方法也是比較常用的學(xué)習(xí)類方法之一。收縮場(chǎng)[84]（Shrinkage fields）方法將隨機(jī)場(chǎng)與最優(yōu)化方法相結(jié)合，提出了級(jí)聯(lián)收縮場(chǎng)模型，學(xué)習(xí)出用于圖像恢復(fù)的有效圖像濾波器和收縮函數(shù)。Chen等[85]通過參數(shù)化線性濾波器和訓(xùn)練非線性反應(yīng)擴(kuò)散模型來實(shí)現(xiàn)圖像復(fù)原。雖然這些方法獲得了不錯(cuò)的圖像質(zhì)量，但這些學(xué)習(xí)到的先驗(yàn)知識(shí)或懲罰函數(shù)通常需要設(shè)計(jì)復(fù)雜的數(shù)值算法。

迭代法的復(fù)原效果主要取決于3 個(gè)因素：（1） 正則項(xiàng)（圖像先驗(yàn)）的選取；（2） 迭代格式的設(shè)計(jì)（關(guān)系到是否收斂、收斂精度和速度）；（3） 正則化參數(shù)的選取。其中正則化參數(shù)十分重要，首先迭代法的收斂性需要依靠正則化參數(shù)，在正則化參數(shù)超出某個(gè)范圍時(shí)，迭代法是不收斂的或者說最優(yōu)化問題本身將是不適定的，其次，正則化參數(shù)直接關(guān)系到迭代法是否能收斂到最優(yōu)結(jié)果，即能否獲得與真實(shí)清晰圖像最接近的結(jié)果。正則化參數(shù)選取方面的研究相對(duì)較少，雖然有一些論文給出了一些準(zhǔn)則，例如NSCR[70]、GFD[33]等，但是到現(xiàn)今為止，并沒有一種通用的理論或者方法能自適應(yīng)計(jì)算出正則化參數(shù)。因?yàn)檎齽t化參數(shù)涉及到清晰圖像、噪聲以及點(diǎn)擴(kuò)散函數(shù)3 方面綜合影響，具有較高的復(fù)雜性。

與直接法類似，為了對(duì)迭代法的復(fù)原效果進(jìn)行更好的總結(jié)，采用6 組標(biāo)準(zhǔn)實(shí)驗(yàn)設(shè)置（見表3），分別對(duì)4 幅標(biāo)準(zhǔn)圖像：Cameraman、House、Lena 和Barbara 進(jìn)行實(shí)驗(yàn)，對(duì)8 種代表性迭代法進(jìn)行實(shí)驗(yàn)對(duì)比：L0-Abs[62]、 CGMK[36]、 TVMM[34]、 GFD[33]、NCSR[70]、 GSR[71]、 IDDBM3D[73]、 LRD[76]，另外，為了與直接法進(jìn)行一定的比較，在對(duì)比中加入了BM3DDEB[31]算法的結(jié)果，算法的評(píng)價(jià)標(biāo)準(zhǔn)依然采用ISNR。

表3 迭代法實(shí)驗(yàn)設(shè)置Tab.3 Experimental setup for iterative methods

表4 給出了以上9 種算法的復(fù)原結(jié)果，其中標(biāo)下劃線數(shù)值表示該組實(shí)驗(yàn)中最優(yōu)的結(jié)果，加粗?jǐn)?shù)值表示次最優(yōu)的結(jié)果，從中可以明顯看出，GSR[71]和LRD[76]算法具有較大的優(yōu)勢(shì)。表4中的數(shù)據(jù)來源于文獻(xiàn)[33,71,73,76]。

表4 迭代法實(shí)驗(yàn)對(duì)比 ISNRTab.4 Experimental comparison of ISNR (單位:dB)

3 非盲圖像復(fù)原中的深度學(xué)習(xí)方法

近年來， 深度學(xué)習(xí)技術(shù)為計(jì)算機(jī)視覺各個(gè)領(lǐng)域帶來了巨大的變革。深度學(xué)習(xí)能夠使用高度非線性的復(fù)雜結(jié)構(gòu)學(xué)習(xí)出需要的圖像特征，大大提升了圖像理解的能力。不同于依賴物理模型的傳統(tǒng)方法，深度學(xué)習(xí)是一類由數(shù)據(jù)驅(qū)動(dòng)的方法，其通過訓(xùn)練找到輸入與輸出之間的映射關(guān)系，解決了許多傳統(tǒng)方法很難處理的問題，并在核心指標(biāo)上帶來了質(zhì)的提升。因此用深度學(xué)習(xí)技術(shù)進(jìn)行圖像復(fù)原已經(jīng)成為主流，越來越多的學(xué)者專注于研究利用深度網(wǎng)絡(luò)模型來提升圖像的復(fù)原效果[86-88]。

多層感知機(jī)方法[89]（Multi-Layer Perceptron，MLP）是較早采用深度網(wǎng)絡(luò)進(jìn)行非盲圖像復(fù)原的方法，但并不適用于圖像處理的卷積網(wǎng)絡(luò)，而是適用于帶有多個(gè)隱層的全連接網(wǎng)絡(luò)。該方法首先用吉洪諾夫正則化解卷積，然后對(duì)解卷積之后的圖像利用MLP 進(jìn)行去噪。學(xué)習(xí)過程中，將解卷積之后的圖像和清晰圖像作為訓(xùn)練集，取得了和IDDBM3D 同等水平的效果。但是MLP方法存在一個(gè)問題：對(duì)于每一個(gè)點(diǎn)擴(kuò)散函數(shù)和噪聲水平，都要單獨(dú)訓(xùn)練一個(gè)網(wǎng)絡(luò)，這大大限制了其應(yīng)用性，Xu 等人[90]也采用多層感知機(jī)的方法進(jìn)行圖像復(fù)原。與MLP 方法不同的是，該方法中使用一個(gè)解卷積網(wǎng)絡(luò)來代替吉洪諾夫正則化，并將解卷積的結(jié)果輸入到一個(gè)去噪網(wǎng)絡(luò)中。以上利用深度網(wǎng)絡(luò)進(jìn)行非盲圖像復(fù)原的方法可以歸類為直接法。

目前基于深度學(xué)習(xí)的非盲圖像復(fù)原方法以迭代法[91-93]為主。2017 年，Kai Zhang 團(tuán)隊(duì)[93]和Jinshan Pan 團(tuán)隊(duì)[94]先后將卷積深度網(wǎng)絡(luò)與傳統(tǒng)迭代方法相結(jié)合，將深度網(wǎng)絡(luò)作為去噪工具，構(gòu)造非盲圖像復(fù)原方法。這類方法與傳統(tǒng)的迭代法屬于同一種思路，優(yōu)點(diǎn)是通過端到端的卷積網(wǎng)絡(luò)的非線性擬合能力提升整體復(fù)原效果，去噪網(wǎng)絡(luò)均采用全卷積結(jié)構(gòu)，由卷積層，整流線性單元（Rectified Linear Unit，ReLU）層和批量標(biāo)準(zhǔn)化（Batch Normalization，BN）層組成，例如，在文獻(xiàn)[93]中，作者使用一個(gè)端到端的殘差卷積網(wǎng)絡(luò)完成解卷之后的去噪，其去噪網(wǎng)絡(luò)結(jié)構(gòu)如圖6 所示。

圖6 文獻(xiàn)[93]中使用的去噪網(wǎng)絡(luò)結(jié)構(gòu)Fig. 6 Denoising Network structure[93]

Weisheng Dong 團(tuán)隊(duì)[95]在2019 年提出了采用Unet[96]結(jié)構(gòu)的濾波網(wǎng)絡(luò)進(jìn)行反卷積，核心思想是將Unet 網(wǎng)絡(luò)整合到一種迭代格式中，但每層迭代中的Unet 網(wǎng)絡(luò)單獨(dú)訓(xùn)練參數(shù)，進(jìn)而達(dá)到提升圖像復(fù)原效果的目的。絕大多數(shù)的卷積網(wǎng)絡(luò)參數(shù)都是實(shí)數(shù)，而Quan 等人[97]首次提出一種復(fù)值（Complex Value，CV）卷積網(wǎng)絡(luò)作為去噪方法（CV-CNN）。結(jié)合逆濾波和最優(yōu)化格式獲得復(fù)原圖像，是當(dāng)前復(fù)原效果最好的算法之一，其算法流程如圖7 所示。

圖7 基于CV-CNN 網(wǎng)絡(luò)的圖像復(fù)原框架[97]Fig. 7 The image restoration framework based on CV-CNN network[97]

Chen 等人[98]提出一種處理夜景模糊圖像的非盲復(fù)原方法，核心是提出一個(gè)深度卷積網(wǎng)絡(luò)學(xué)習(xí)置信度圖（confidence map）。該置信圖表示每個(gè)像素點(diǎn)對(duì)復(fù)原的影響程度，并利用共軛梯度法進(jìn)行解卷積，然后再用一個(gè)深度卷積網(wǎng)絡(luò)抑制解卷積后的噪聲和振鈴。另一個(gè)值得注意的是，這篇論文還提出了一種通過深度網(wǎng)絡(luò)自適應(yīng)學(xué)習(xí)正則化參數(shù)的方法，這為參數(shù)的自適應(yīng)確定提供了一種研究思路。以上介紹的深度學(xué)習(xí)方法和傳統(tǒng)迭代法本質(zhì)上類似，都是將深度網(wǎng)絡(luò)作為遺漏噪聲濾波器來使用， 運(yùn)用卷積網(wǎng)絡(luò)強(qiáng)大的非線性擬合能力，結(jié)合傳統(tǒng)的迭代格式，在復(fù)原效果的提升上取得了長(zhǎng)足的進(jìn)步。

另外，很多非盲圖像問題是在對(duì)噪聲水平有一定認(rèn)知的情況下進(jìn)行的，而VEM 方法[99]提出了一種能處理噪聲強(qiáng)度不確定（也稱之為盲噪聲）的深度學(xué)習(xí)方法。該方法基于變分期望最大化框架，將噪聲強(qiáng)度估計(jì)與圖像先驗(yàn)不確定性量化進(jìn)行整合。而文獻(xiàn)[97,100]中的方法同樣適用于這種盲噪聲的復(fù)原問題。 DWDN[101]方法在深層特征空間中探索維納（Wiener）反卷積，并根據(jù)模糊特征自適應(yīng)估計(jì)噪聲水平，確保訓(xùn)練單個(gè)模型能夠處理不同級(jí)別的噪聲。該方法首先從模糊圖像中提取有用的特征信息，然后在（深層）特征空間中進(jìn)行維納反卷積，最后再使用一個(gè)多尺度的端到端網(wǎng)絡(luò)進(jìn)行圖像的復(fù)原（非迭代法），DWDN 方法取得了非常好的復(fù)原效果。

深度圖像先驗(yàn)[102]（deep image prior）是一種對(duì)深度網(wǎng)絡(luò)本質(zhì)的探索，認(rèn)為圖像的統(tǒng)計(jì)學(xué)信息是被卷積的圖像產(chǎn)生的而不是被網(wǎng)絡(luò)學(xué)習(xí)得到的，因此能夠利用未被訓(xùn)練的卷積網(wǎng)絡(luò)來處理圖像復(fù)原問題[103-105]。 該模型不需要訓(xùn)練數(shù)據(jù), 只需要一張模糊圖像和一個(gè)合適的網(wǎng)絡(luò)即可，通過對(duì)目標(biāo)函數(shù)的迭代來優(yōu)化網(wǎng)絡(luò)參數(shù)，最終達(dá)到復(fù)原目的。該類方法最大的問題是迭代次數(shù)多，速度慢，且何時(shí)迭代終止沒有理論依據(jù)[106-108]。

在傳統(tǒng)方法中，利用機(jī)器學(xué)習(xí)方法的復(fù)原思想，例如 EPLL[82]、CSF[84]等，在深度學(xué)習(xí)領(lǐng)域也得到了進(jìn)一步的延伸，如文獻(xiàn)[109-111]等方法，通過深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)一系列的濾波器、懲罰函數(shù)（正則項(xiàng)），以及保真項(xiàng)等來進(jìn)一步降低圖像的重構(gòu)誤差，提升圖像復(fù)原效果。特別是SV-MAP[110]方法是當(dāng)前圖像復(fù)原領(lǐng)域中最好的方法之一。與現(xiàn)有的專注于改進(jìn)保真項(xiàng)或正則化項(xiàng)的方法不同，SV-MAP 方法是在統(tǒng)一的MAP 框架中聯(lián)合學(xué)習(xí)這兩個(gè)項(xiàng)。為了增強(qiáng)模型的性能，作者提出了針對(duì)每一個(gè)圖像像素的自適應(yīng)保真網(wǎng)絡(luò)Ds和自適應(yīng)正則項(xiàng)網(wǎng)絡(luò)Rs：

通過實(shí)驗(yàn)表明，聯(lián)合學(xué)習(xí)保真項(xiàng)和正則化項(xiàng)比單獨(dú)學(xué)習(xí)其中一項(xiàng)更有效，特別是在具有挑戰(zhàn)性的情況下，效果更加明顯。

為了比較各種深度學(xué)習(xí)方法在非盲圖像復(fù)原中的效果，進(jìn)行了8 組實(shí)驗(yàn)對(duì)比。利用3 個(gè)被廣泛采用的數(shù)據(jù)集作對(duì)比實(shí)驗(yàn)，分別是Levin 數(shù)據(jù)集[106]、Sun 數(shù)據(jù)集[107]和Martin 數(shù)據(jù)集[108]。這3 個(gè)數(shù)據(jù)集包括多種類型的清晰圖像和點(diǎn)擴(kuò)散函數(shù)。與絕大多數(shù)文獻(xiàn)的對(duì)比實(shí)驗(yàn)配準(zhǔn)相同，設(shè)置加性噪聲的標(biāo)準(zhǔn)差如下：針對(duì)Levin 數(shù)據(jù)集[106]，標(biāo)準(zhǔn)差水平分別設(shè)置為1%、3%和5%， 針對(duì)Sun數(shù)據(jù)集[107]和Martin 數(shù)據(jù)集[108]，標(biāo)準(zhǔn)差水平分別設(shè) 置為1%和5%。

對(duì)比實(shí)驗(yàn)包括11 種基于深度學(xué)習(xí)的圖像復(fù)原方法，分別是：MLP[89]、LDT[109]、FCN[94]、IRCNN[93]、FDN[87]、FNBD[88]、RGDN[92]、VEM[99]、DWDN[101]、CV-CNN[97]以及SV-MAP[110]，另外為了能夠和傳統(tǒng)方法進(jìn)行比較，在對(duì)比實(shí)驗(yàn)中也加入了兩種機(jī)器學(xué)習(xí)類的傳統(tǒng)方法：EPLL[82]和CSF[84]。

對(duì)比實(shí)驗(yàn)采用的評(píng)價(jià)指標(biāo)是PSNR 和SSIM[112]，表5 中每一種方法實(shí)驗(yàn)結(jié)果的第一行是PSNR值，單位是分貝（dB），第二行是SSIM 值（無單位）。依然將每組實(shí)驗(yàn)中最好的結(jié)果標(biāo)記為下劃線，次最優(yōu)的結(jié)果標(biāo)記為加粗。(表5 中的數(shù)據(jù)來源于文獻(xiàn)[97,101,110])。

表5 深度學(xué)習(xí)方法的實(shí)驗(yàn)對(duì)比Tab.5 Experimental comparison of deep learning of different methods

4 其他非盲圖像復(fù)原方法

針對(duì)非盲圖像復(fù)原的一些特殊問題，如點(diǎn)擴(kuò)散函數(shù)不確定、點(diǎn)擴(kuò)散函數(shù)全局不一致等問題，也產(chǎn)生了一些相應(yīng)的非盲圖像復(fù)原算法。

4.1 點(diǎn)擴(kuò)散函數(shù)不確定問題

絕大多數(shù)非盲圖像復(fù)原都是在點(diǎn)擴(kuò)散函數(shù)準(zhǔn)確獲得的前提下進(jìn)行的，但是在很多實(shí)際應(yīng)用中，已知的點(diǎn)擴(kuò)散函數(shù)與真實(shí)點(diǎn)擴(kuò)散函數(shù)存在偏差，例如在盲復(fù)原過程中，估計(jì)出的點(diǎn)擴(kuò)散函數(shù)與真實(shí)值是有誤差的，因此在這種情況下如何能夠更準(zhǔn)確地估計(jì)清晰圖像，是一個(gè)值得思考的問題。目前這方面的算法并不多，文獻(xiàn)[113-116]是其中具有代表性的論文。其中Ji 等人[114]利用傳統(tǒng)迭代方法，利用框架波（framelet）和離散余弦變換（Discrete Cosine Transform，DCT）對(duì)圖像和振鈴分別進(jìn)行稀疏表示，進(jìn)而達(dá)到抑制點(diǎn)擴(kuò)散函數(shù)誤差的目的。但是受制于傳統(tǒng)先驗(yàn)的局限性，該方法的適用性受到限制。Vasu 等人[115]首先使用多組正則化參數(shù)，利用全變差模型對(duì)模糊圖像進(jìn)行非盲圖像復(fù)原，然后構(gòu)建一個(gè)深度融合網(wǎng)絡(luò)，將這些全變差模型復(fù)原后的圖像作為輸入，輸出圖像為清晰圖像，其核心思想是利用不同正則化參數(shù)獲取的初始圖像在頻域信息上具有互補(bǔ)性。該方法的流程圖見圖8。

圖8 Vasu 等人提出的網(wǎng)絡(luò)結(jié)構(gòu)[115]Fig. 8 The network structure proposed by Vasu[115]

Nan 等人[116]，通過構(gòu)造一個(gè)最優(yōu)化模型，設(shè)置兩個(gè)正則項(xiàng)，分別對(duì)應(yīng)清晰圖像的先驗(yàn)和由點(diǎn)擴(kuò)散函數(shù)誤差引起的校正項(xiàng)先驗(yàn)（在思想上和文獻(xiàn)[114]有一定的相似）：

其中L為清晰圖像，u為校正圖像，表示帶有誤差的點(diǎn)擴(kuò)散函數(shù)， ? 和 φ均采用了深度特征先驗(yàn)。該模型通過分離變量法，構(gòu)建多個(gè)子優(yōu)化問題來求解，特別是在求解校正圖像時(shí)，采用了雙通道的Unet[96]模型。

以上兩種基于深度學(xué)習(xí)的方法各有優(yōu)點(diǎn)，Vasu 等人[115]的方法簡(jiǎn)潔明確易懂，但缺少足夠的理論支撐，而Nan 等人[116]的方法通過迭代求解，雖然效果較好，但是復(fù)雜度相對(duì)較高。

4.2 全局非一致模糊問題

絕大多數(shù)非盲復(fù)原問題都是一致模糊問題，即對(duì)于所有像素而言，點(diǎn)擴(kuò)散函數(shù)是相同的。而在一些實(shí)際問題中，點(diǎn)擴(kuò)散函數(shù)隨著空間位置的不同而不同，這種問題稱之為全局非一致模糊問題。實(shí)際上很多全局一致模糊復(fù)原方法都可以擴(kuò)展到全局非一致問題中，特別是圖像的迭代格式、圖像的正則項(xiàng)（包括圖像先驗(yàn)）等，都具有可擴(kuò)展性，最大的差別在于解卷積時(shí)，不再采用類似吉洪諾夫正則化或者維納正則化這種基于傅立葉變換的快速計(jì)算模式，而是需要較為復(fù)雜的一些矩陣運(yùn)算[117-119]。例如Tai 等人[118]在傳統(tǒng)的LR迭代基礎(chǔ)上添加新的正則項(xiàng)，并改進(jìn)LR 的迭代格式以適應(yīng)這種空間變化點(diǎn)擴(kuò)散函數(shù)的圖像復(fù)原。這種非一致點(diǎn)擴(kuò)散復(fù)原問題在盲圖像復(fù)原中討論較多[120-121]，特別是隨著深度學(xué)習(xí)的發(fā)展，采用生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Net，GAN)[121]處理這類問題成為主流，即不再需要估計(jì)點(diǎn)擴(kuò)散函數(shù)，而是直接由模糊圖像生成清晰圖像。對(duì)于GAN 等相關(guān)的生成網(wǎng)絡(luò)，在非盲圖像復(fù)原的實(shí)際應(yīng)用中有著重要的價(jià)值，當(dāng)光學(xué)系統(tǒng)和觀測(cè)場(chǎng)景較為穩(wěn)定時(shí)，點(diǎn)擴(kuò)散函數(shù)形式較為固定，因此可以通過針對(duì)性的端到端訓(xùn)練，將點(diǎn)擴(kuò)散函數(shù)的信息融合到網(wǎng)絡(luò)中，從而避免了傳統(tǒng)方法中的反卷積運(yùn)算，降低運(yùn)算量，同時(shí)能夠獲得復(fù)原質(zhì)量較高的圖像。另外，依靠生成網(wǎng)絡(luò)的泛化能力，也可以應(yīng)對(duì)點(diǎn)擴(kuò)散函數(shù)有限變化的情況，這相對(duì)于其他依賴反卷積的方法具有很大的優(yōu)勢(shì)。

4.3 其他

值得注意的是，在盲圖像復(fù)原中也有一些新穎的先驗(yàn)，例如暗通道先驗(yàn)[122]、L0先驗(yàn)[57]、局部最大梯度先驗(yàn)[123](Local Maximum Gradient Prior)等，雖然沒有單獨(dú)提出作為非盲圖像復(fù)原算法，但是也具有一定的參考價(jià)值。

5 總結(jié)與展望

本文依據(jù)非盲圖像復(fù)原的發(fā)展脈絡(luò)，將主要的復(fù)原方法按照傳統(tǒng)方法和深度學(xué)習(xí)方法分別進(jìn)行概括總結(jié)。在傳統(tǒng)方法中，按照算法的特點(diǎn)分為直接法和迭代法，描述并分析了主要算法的優(yōu)缺點(diǎn)并給出實(shí)驗(yàn)對(duì)比。從中可以看出，全變差模型、小波模型、自適應(yīng)基底模型（包括字典學(xué)習(xí)模型）、塊相似模型和機(jī)器學(xué)習(xí)模型是學(xué)者們研究的重點(diǎn)，也能夠代表主要的非盲圖像復(fù)原方法。在深度學(xué)習(xí)方法中，主要總結(jié)了近年來具有代表性的一些網(wǎng)絡(luò)結(jié)構(gòu)和模型，并同樣給出了實(shí)驗(yàn)對(duì)比。從深度學(xué)習(xí)算法總結(jié)中可以發(fā)現(xiàn)，一部分深度學(xué)習(xí)方法是傳統(tǒng)方法在深度學(xué)習(xí)領(lǐng)域的延伸，例如MLP 方法是直接法的延伸、FCN 和IRCNN是迭代法的延伸、SV-MAP 是機(jī)器學(xué)習(xí)方法的延伸，等。由此可以看出，基于深度學(xué)習(xí)的圖像復(fù)原方法并不是獨(dú)立于傳統(tǒng)方法存在的，而是與傳統(tǒng)方法有著千絲萬縷的聯(lián)系，掌握好傳統(tǒng)方法的精髓，也可以在深度學(xué)習(xí)領(lǐng)域有較大的施展空間。

對(duì)于非盲圖像復(fù)原而言，解卷積和抑制噪聲是一對(duì)矛盾體，如何平衡好這兩者，構(gòu)造合適的算法結(jié)構(gòu)是研究的重點(diǎn)。 同時(shí)遺漏噪聲的處理能力是一個(gè)算法能否取得較高評(píng)價(jià)指標(biāo)的核心因素，正則化參數(shù)選取也是影響算法的重要因素，需要將一些研究注意力放在這幾個(gè)方面。

現(xiàn)在絕大多數(shù)方法（包括一部分深度學(xué)習(xí)方法）依賴于圖像模糊的物理模型，而物理模型往往是實(shí)際問題的簡(jiǎn)化，具有一定的局限性，因此解決如何面向?qū)嶋H問題的應(yīng)用是非盲圖像復(fù)原算法研究的一個(gè)重要問題，即在物理模型存在一定誤差的情況下，圖像復(fù)原方法依然有效。

隨著計(jì)算機(jī)視覺的迅猛發(fā)展，深度學(xué)習(xí)技術(shù)也發(fā)揮著越來越重要的作用，很多傳統(tǒng)方法很難處理的問題，深度學(xué)習(xí)方法都能夠給出一定的解答。從以上實(shí)驗(yàn)對(duì)比可以發(fā)現(xiàn)，在一些標(biāo)準(zhǔn)數(shù)據(jù)庫上，深度學(xué)習(xí)方法在效果上已經(jīng)大大領(lǐng)先傳統(tǒng)方法，而其泛化性也在隨著網(wǎng)絡(luò)模型的更新，不斷改善。這種由數(shù)據(jù)驅(qū)動(dòng)的處理思想，已經(jīng)成為非盲圖像復(fù)原發(fā)展的主流，也給一些傳統(tǒng)思路難以解決的問題帶來了新的希望，例如基于傳統(tǒng)圖像復(fù)原思想進(jìn)行深度學(xué)習(xí)“升級(jí)”的方法取得了高質(zhì)量的復(fù)原效果，在天文、生物醫(yī)藥等需要高精度圖像的領(lǐng)域可以獲得較大的關(guān)注，基于生成對(duì)抗網(wǎng)絡(luò)及其相關(guān)網(wǎng)絡(luò)可以在視頻監(jiān)控等環(huán)境較為單一，但實(shí)時(shí)度需求較高的問題中得到廣泛的應(yīng)用。