深度特征維納反卷積用于均勻離焦盲去模糊

王成曦， 羅晨， 周江澔， 鄒浪， 賈磊

（1.東南大學軟件學院，江蘇 蘇州 215123；2.東南大學機械工程學院，江蘇 南京 211189；3.無錫尚實電子科技有限公司，江蘇 無錫 200240）

1 引 言

物體到攝像機焦平面的場景距離是決定相機所拍攝圖像清晰度的主要因素。遠離相機焦平面的光線會聚到成像平面上時是一個類似圓形的區(qū)域而不是點，該區(qū)域被稱為彌散圓（Circle of confusion）。當彌散圓的尺寸大過成像傳感器單元的尺寸時，相機成像就會產(chǎn)生離焦模糊現(xiàn)象［1］。離焦模糊會導致視覺信息丟失，嚴重影響圖像分類，目標檢測以及語義分割等視覺任務(wù)的精度［2］。因此，單幅離焦圖片去模糊研究在機器視覺的多個應(yīng)用領(lǐng)域都有實用價值。

機器視覺領(lǐng)域，自動光學檢測設(shè)備的成像系統(tǒng)往往景深較小，容易產(chǎn)生離焦模糊，嚴重影響視覺檢測效果。為了簡化研究，將工業(yè)成像系統(tǒng)近似看作一個空間不變的線性系統(tǒng)，將這種離焦模糊近似看作均勻離焦模糊。均勻離焦模糊圖像的退化過程可以近似看作清晰原圖與一個高斯或者圓盤模糊核卷積的過程，即高斯離焦模型和圓盤離焦模型［3］。

圖像去模糊的方法一般分為兩種，非盲去模糊［4］和盲去模糊［5-6］。早期關(guān)于圖像去模糊的研究主要集中在相對簡單的非盲去模糊問題上。非盲去模糊是一個病態(tài)問題，因為在圖像退化的過程中，丟失大量視覺信息是不可避免的［7］。所以，后續(xù)大部分研究都致力于構(gòu)造各種圖像先驗來約束解空間，如總變分［8］、超拉普拉斯先驗［9］、局部顏色先驗［10］等。經(jīng)典的盲去模糊算法［11-13］同樣是依靠手工制作圖像先驗作為圖像去模糊目標函數(shù)的正則化項，然后通過設(shè)計有效的迭代算法逐步估計出模糊核以及清晰圖像。經(jīng)典的圖像去模糊算法雖然可以通過嚴格的數(shù)學模型進行解釋，但是也存在著計算量太大，比較耗時，且容易出現(xiàn)偽影和振鈴現(xiàn)象等問題［14］。

由于難以從模糊圖像中獲得關(guān)于模糊核的信息，大多數(shù)基于深度學習的去模糊方法都采用了端到端網(wǎng)絡(luò)模型來解決盲去模糊的。Nah等人［15］提出一種稱為DeepDeblur的端到端多尺度去模糊網(wǎng)絡(luò)，無須估計模糊核，直接由模糊圖像估計清晰的圖像；Tao等人［16］提出了一種多尺度遞歸網(wǎng)絡(luò)，利用金字塔形式逐漸恢復出清晰圖像，實現(xiàn)更好的去模糊效果；Chen等人［17］提出了專用于圖像復原的簡單基線（Simple Baseline），驗證了圖像復原網(wǎng)絡(luò)不需要很復雜的網(wǎng)絡(luò)結(jié)構(gòu)，一個非線性的，無激活函數(shù)的簡單網(wǎng)絡(luò)模塊（Nonlinear Activation Free Network Block，NAFNet-Block）在圖像復原任務(wù)中也可以達到當時SOTA（State-of-the-art）的效果。然而，這些基于直接預測的方法過于依賴訓練數(shù)據(jù)，反而容易丟失圖像的高頻信息，導致去模糊的結(jié)果細節(jié)不足。所以，如果能夠準確地預測模糊圖像的模糊核，則可以進一步提高去模糊算法的性能。從這個角度出發(fā)，文獻［18-19］中提出了基于深度學習的兩階段圖像盲去模糊算法。

不同于上述的基于監(jiān)督學習的方法，Ren等人［20］提出了一種基于自監(jiān)督方法的盲去模糊網(wǎng)絡(luò)SelfDeblur，該算法包含兩個生成網(wǎng)絡(luò)，深度圖像先驗網(wǎng)絡(luò)（Deep Image Prior，DIP）［21］和全連接網(wǎng)絡(luò)（Full Connect Network，F(xiàn)CN），它們分別用于估計去模糊圖像和估計模糊核。該網(wǎng)絡(luò)采用自監(jiān)督的方法，所以不需要依賴海量的訓練數(shù)據(jù)。但是，該算法復原一張模糊圖像需要數(shù)千次的迭代，計算成本極大，非常耗時。

為了解決以往算法的局限性以及改善離焦去模糊的效果，本文提出了一種針對于均勻離焦圖像的盲去模糊網(wǎng)絡(luò)（Uniform Defocus Blind Deblur Net，UDBD-Net）。首先，采用兩階段網(wǎng)絡(luò)，先準確估計出離焦模糊核，并且在反卷積網(wǎng)絡(luò)中充分利用估計出的模糊核信息，以獲得更優(yōu)的去模糊效果。其次，在非盲反卷積網(wǎng)絡(luò)中，將經(jīng)典維納反卷積融入深度神經(jīng)網(wǎng)絡(luò)中，組成深度特征維納反卷積模塊（Deeper Feature-based Wiener Deconvolution，DFWD），增強網(wǎng)絡(luò)的可解釋性，然后使用一個基于編解碼網(wǎng)絡(luò)的特征強化模塊（Feature Reinforcement Module，F(xiàn)RM）來增強復原圖像的細節(jié)，同時去除偽影和振鈴現(xiàn)象。

2 均勻離焦去模糊方法

針對現(xiàn)有盲去模糊網(wǎng)絡(luò)的細節(jié)特征恢復較差，本文構(gòu)建一個針對均勻離焦模糊有效的盲去模糊網(wǎng)絡(luò)（UDBD-Net）。如圖1所示，均勻離焦盲去模糊網(wǎng)絡(luò)UDBD-Net主要包括一個離焦模糊核估計網(wǎng)絡(luò)和一個非盲反卷積的復原網(wǎng)絡(luò)。

圖1 均勻離焦去模糊網(wǎng)絡(luò)的整體結(jié)構(gòu)Fig.1 Overview architecture of uniform defocusing deblurring network

2.1 均勻離焦模糊核估計網(wǎng)絡(luò)

為了預先獲得模糊圖像的模糊信息，以便于得到更好地去模糊結(jié)果，模糊核估計通常是兩階段盲去模糊算法的第一步。受到Luo等人［22］提出的深度動態(tài)線性核估計器的啟發(fā)，本文提出一種均勻離焦模糊核估計網(wǎng)絡(luò)，其結(jié)構(gòu)如圖2所示。首先，使用一個11×11大小的卷積核以及Res-Block模塊進行特征提取。大的卷積核可以獲取大的視野，以捕捉模糊圖像整體的離焦信息。由于模糊核本身包含的信息有限，所以使用全局平均池化將特征圖壓縮為一維，以減少學習的參數(shù)并提高速度。然后，使用1×1的卷積核進行維度轉(zhuǎn)換，然后通過Reshape操作將一維的特征圖分別轉(zhuǎn)換成11×11，7×7，5×5和1×1的二維濾波核。最后，將二維濾波核依次卷積，得到一個21×21的離焦模糊核。

圖2 模糊核估計網(wǎng)絡(luò)的結(jié)構(gòu)Fig.2 Architecture of blur kernel estimation network

2.2 非盲反卷積網(wǎng)絡(luò)

首先，為了讓估計出來的模糊核得到充分利用的同時，能夠從模糊圖像中提取到更加有用的信息，所以將基于特征空間上的維納反卷積模塊（Feature-based Wiener Deconvolution，F(xiàn)WD）［23］引入模型當中。FWD算子公式如式（1）所示：

式（1）是特征空間下圖像退化過程的表達式。其中Fi(?)和Fi(y)分別表示清晰圖像x以及模糊圖像y的在特征圖空間中第i通道的張量，Hi表示FWD算子。式（2）是計算FWD算子的表達式。其中變量k表示模糊核，F(xiàn)表示離散的傅里葉變換表示F(k)的復共軛。和圖像空間中的維納反卷積一樣，式（2）中分別表示清晰圖像期望和加性噪聲期望的sxi和sni都是未知的。FWD模型中將sxi近似看作模糊特征（Blurred Feature）的標準差，并將sni近似看作模糊特征與其均值濾波結(jié)果之間的偏差。

為了更加準確地估計sxi以及sni的值，本文提出將FWD算子公式簡化：

不同于在標準的圖像空間中的維納反卷積簡化公式，式（3）中的Ci不是一個簡單的規(guī)定常數(shù)，而是可以被神經(jīng)網(wǎng)絡(luò)估計的數(shù)值，而且在特征空間中每個通道都會估計一個Ci。式（3）在簡化FWD算子公式的同時，也實現(xiàn)了維納反卷積與神經(jīng)網(wǎng)絡(luò)更深層次的融合，因此將該模塊稱為深度特征維納反卷積（Deeper Feature-based Wiener Deconvolution，DFWD）。DFWD模塊的結(jié)構(gòu)示意圖如圖3所示。

圖3 深度特征維納反卷積模塊結(jié)構(gòu)圖Fig.3 Architecture of deeper feature-based wiener deconvolution module

模糊圖像經(jīng)過特征提取，得到模糊特征（Blurred Feature），在DFWD模塊的幫助下，生成去模糊圖像的潛在特征（Deblur Feature）。為了從潛在的特征中復原出高質(zhì)量的去模糊圖像，本文基于Chen等人［17］提出的NAFNet-Block模塊，搭建了特征增強模塊（Featuree Refinement Module，F(xiàn)RM）。FRM可以從反卷積模塊得到的去模糊圖像潛在特征（Deblur Feature）中復原出去模糊后的清晰圖像。

2.3 損失函數(shù)

為了讓網(wǎng)絡(luò)更好地收斂，采取兩階段訓練法訓練UDBD-Net。

第一階段中，核估計網(wǎng)絡(luò)和反卷積網(wǎng)絡(luò)各自單獨訓練，真實的模糊核作為去模糊網(wǎng)絡(luò)的輸入，核估計網(wǎng)絡(luò)損失函數(shù)和反卷積網(wǎng)絡(luò)的損失函數(shù)如式（4）和式（5）所示：

其中：式（4）中的LE表示核估計網(wǎng)絡(luò)損失函數(shù)，k和?分別表示真實的模糊核以及模糊核估計網(wǎng)絡(luò)預測的模糊核；式（5）中LD表示反卷積網(wǎng)絡(luò)的損失函數(shù)，x和?分別表示真實的清晰圖像和反卷積網(wǎng)絡(luò)輸出的去模糊圖像。

第二階段中，將核估計網(wǎng)絡(luò)的輸出作為反卷積網(wǎng)絡(luò)的輸入，進行聯(lián)合訓練。這一階段損失函數(shù)LE+D的表達式如式（6）所示：

3 實驗與結(jié)果分析

3.1 數(shù)據(jù)集生成方法

由于UDBD-Net的目標是構(gòu)建一個有效的均勻離焦圖像去模糊網(wǎng)絡(luò)，然而大部分現(xiàn)存的去模糊數(shù)據(jù)集都是關(guān)于運動模糊的，所以采用人工合成的離焦圖像作為對比實驗和消融實驗的訓練集和驗證集。首先，分別從GOPRO［15］數(shù)據(jù)集和DIV2K［24］數(shù)據(jù)集中的訓練集圖片選取800張清晰的原始圖片作為實驗訓練集的原始圖片。在模型訓練中，訓練集中的大圖裁剪成256×256的小圖，同時生成大小為21×21的高斯離焦模糊核，其中每個高斯核的寬度值σ為1~4之間的隨機數(shù)。然后將剪切好的圖片和生成的高斯核進行卷積，得到模糊程度不同的離焦模糊圖片。測試集是選用GOPRO和DIV2K數(shù)據(jù)集中的測試集圖片，并選用Gaussian8［25］模糊核作為合成模糊測試圖片的模糊核，其中Gaussian8模糊核是指核寬度σ在1.8~3.2之間間隔0.2取樣的8個高斯模糊核。實驗測試結(jié)果使用的客觀評價指標是均方誤差（Mean Square Error，MSE）、峰值信噪比（Peak Signal to Noise Ratio，PSNR）和結(jié)構(gòu)相似性度（Structural Similarity Index Measure，SSIM）［26］。

3.2 離焦模糊核估計實驗

在模型訓練的第一階段，模糊核估計網(wǎng)絡(luò)單獨進行訓練。為了驗證估計出的模糊核作為非盲復原網(wǎng)絡(luò)輸入的有效性，選擇基于總有界變分模型的FTVD算法［27］對模糊核估計網(wǎng)絡(luò)的結(jié)果進行實驗。如下圖4所示，圖4（a）是使用寬度σ=3.5的高斯核生成的離焦模糊圖；圖4（b）、圖4（c）和圖4（d）是使用FTVD非盲去模糊算法的結(jié)果，其中模糊核分別使用的是寬度σ=3.5的真實模糊核、寬度σ=3.7的不準確模糊核以及離焦模糊核網(wǎng)絡(luò)估計出的模糊核。對比圖4（b）與圖4（d）的去模糊結(jié)果，可以看出模糊核估計網(wǎng)絡(luò)估計出的模糊核用在傳統(tǒng)反卷積方法中可以達到與真實模糊核相近的效果。此外從圖4（c）可以看出，傳統(tǒng)反卷積算法對于模糊核的準確性非常敏感。由此可以說明模糊核估計網(wǎng)絡(luò)的結(jié)果準確性非常高。

圖4 FTVD非盲去模糊算法的結(jié)果Fig.4 Results of the non-blind deblurring algorithm FTVD

3.3 合成圖像去模糊實驗

為了驗證UDBD-Net在均勻離焦去模糊問題上的優(yōu)異性能，選擇與近幾年提出的圖像去模糊算法進行對比實驗，主要包括采用自監(jiān)督策略的SelfBlur算法［20］、基于端到端網(wǎng)絡(luò)實現(xiàn)的DeepDeblur算法［15］、SRN算法［16］、NAFNet算法［17］以及非盲反卷積算法FWD［23］。其中非盲反卷積算法FWD［23］在對比實驗中使用本文模糊核估計網(wǎng)絡(luò)的結(jié)果作為網(wǎng)絡(luò)的輸入。此外，選用的對比實驗的算法都使用本文所用的訓練集進行重新訓練。

關(guān)于均勻離焦去模糊模型定量的評價指標，主要關(guān)注平均PSNR以及算法的平均推理時間。如表1所示，對比其他算法這三個指標的結(jié)果后，可以明顯地發(fā)現(xiàn)本文提出的均勻離焦盲去模糊算法可以在沒有明顯增加推理時間的情況下，獲得最好的去模糊效果。SelfDeblur［20］是一個基于深度圖像先驗（Deep Image Prior，DIP）的自監(jiān)督算法，不需要海量成對的模糊和清晰的圖片進行訓練，直接進行優(yōu)化推理。該算法對于運動模糊的效果很顯著，但是對于本文中的均勻離焦模糊，不管是去模糊效果還是算法推理速度方面都遠遠落后于本文的算法。DeepDeblur［15］，SRN［16］和NAFNet［17］都是端到端去模糊網(wǎng)絡(luò)模型，不需要額外估計模糊核的信息，且得益于其簡單的網(wǎng)絡(luò)結(jié)構(gòu)，這些模型有著非?？斓耐评硭俣龋鏢RN［16］的算法預測單張DIV2K測試集圖像（2 040×1 560 pixels）或者單張GOPRO測試集圖片（1 280×720 pixels）都僅需要0.05 s左右。本文提出的UDBD-Net網(wǎng)絡(luò)是一個兩階段的去模糊網(wǎng)絡(luò)，需要準確估計模糊核信息，以輔助圖像去模糊，所以要比一般的端到端模型更為復雜。雖然UDBD-Net模型由于更復雜的網(wǎng)絡(luò)結(jié)構(gòu)以及頻域轉(zhuǎn)換操作使得模型推理速度變慢，但是推理速度仍然在可以接受的范圍內(nèi)，且算法的性能與端到端網(wǎng)絡(luò)相比得到了很大的提升。尤其在GOPRO數(shù)據(jù)集圖片上，UDBD-Net去模糊結(jié)果的PSNR值比SRN［16］中的算法提高了4.12 dB。圖5表示DIV2K數(shù)據(jù)集和GOPRO數(shù)據(jù)集在模糊寬度σ在1.8~3.2之間不同模糊程度的平均PSNR值折線圖。從圖5中也可以看出提出的UDBD-Net在不同離焦模糊程度下的去模糊結(jié)果都是最好的。

表1 不同算法的去模糊客觀性能指標對比Tab.1 Comparison of objective performance indicators of different algorithms

圖5 不同模糊程度下PSNR值對比Fig.5 Comparison of PSNR under different blurring degrees

關(guān)于均勻離焦去模糊模型主觀的評價指標，主要關(guān)注模型去模糊結(jié)果的細節(jié)性和自然性。圖6和圖7分別是UDBD-Net與其他模型在DIV2K數(shù)據(jù)集和GOPRO數(shù)據(jù)集上的均勻離焦去模糊結(jié)果對比圖，從圖中可以看出UDBD-Net對比其他去模糊算法，獲得了最好的結(jié)果。從圖6和圖7中可以看出，SelfDeblur［20］算法結(jié)果都存在明顯的模糊以及大量的噪點。從圖6中的部分建筑的放大圖可以看出，DeepDeblur［15］，SRN［16］和NAFNet［17］三個端到端網(wǎng)絡(luò)都能夠去除部分的噪點和偽影等錯誤信息，但同時也丟失了部分高頻信息，導致出現(xiàn)細節(jié)紋理消失的現(xiàn)象；而FWD［23］去模糊的結(jié)果保留了更多的圖像紋理細節(jié)，但同時也存在明顯的偽影和振鈴現(xiàn)象。在圖6和圖7中，對比UDBD-Net去模糊結(jié)果與其他算法的結(jié)果，可以明顯發(fā)現(xiàn)本文提出的UDBDNet模型，能夠還原出了圖像更多細節(jié)紋理的信息，并且能夠去除偽影、振鈴以及噪點等錯誤信息，使得復原的圖像更加清晰自然。此外，結(jié)果最好的兩個模型UDBD-Net以及FWD［23］算法都是兩階段去模糊算法，由此可以推出在能夠準確地估計并充分利用輸入圖像的模糊核信息的情況下，兩階段的去模糊網(wǎng)絡(luò)的效果要優(yōu)于端到端的網(wǎng)絡(luò)。

圖6 DIV2K數(shù)據(jù)集中測試圖片的去模糊視覺結(jié)果Fig.6 Visual results of a test image in DIV2K

圖7 GOPRO數(shù)據(jù)集中測試圖片的去模糊視覺結(jié)果Fig.7 Visual results of a test image in GOPRO

3.4 真實圖像去模糊實驗

為了進一步驗證UDBD-Net模型的性能，使用真實的離焦模糊圖像進行去模糊實驗。實驗中使用的真實模糊圖像是半導體顯示面板真實產(chǎn)線上，導電粒子檢測過程中線掃相機所拍攝到的離焦模糊圖像。圖8是UDBD-Net與其他模型對真實模糊圖像的去模糊結(jié)果對比圖。如圖8（e）所示，本文所提出的UDBD-Net對于真實均勻離焦模糊圖像具有較好的去模糊效果，復原的圖像自然，幾乎沒有偽影。圖8中（f）UDBD*表示使用UDBD-Net模型迭代3次的結(jié)果，從圖中可以明顯看出，迭代3次后的去模糊圖像更加清晰，且沒有增加明顯的偽影。對圖8中各模型的去模糊圖像進行導電粒子檢測實驗，實驗中導電粒子檢測算法采用相同的參數(shù)，最終實驗結(jié)果如圖9所示。從圖9（e）和圖9（f）可以看出，經(jīng)過UDBD-Net去模糊之后的圖像在導電粒子檢測中的表現(xiàn)要好于去模糊之前的模糊圖像；經(jīng)過UDBD-Net迭代3次后的去模糊圖像相較于只迭代1次的圖像，其粒子檢測結(jié)果有大幅提升。DeepDeblur［15］，SRN［16］和FWD［23］三個模型的去模糊結(jié)果都存在嚴重的偽影問題，所以在導電粒子檢測中出現(xiàn)大量誤檢，無法在實際生產(chǎn)中使用。

圖8 真實模糊圖像的去模糊視覺結(jié)果Fig.8 Visual results of a true blurred image

3.5 消融實驗

消融實驗固定模糊核估計網(wǎng)絡(luò)，對UDBDNet網(wǎng)絡(luò)中的DFWD模塊、FRM模塊的有效性進行研究。首先分別用移除FRM模塊、替換DFWD模塊為FWD模塊等方式對UDBD-Net網(wǎng)絡(luò)進行改造。對改造后的模型進行重新訓練，并對訓練好的模型進行去模糊測試，其中測試圖片是應(yīng)用了Gaussian8［25］模糊核的GOPRO測試集圖片。本文在消融實驗中依然使用PSNR和SSIM作為去模糊模型的評價指標。

如表2所示，將DFWD模塊換成FWD模塊之后，模型的測試結(jié)果的PSNR比完整的的UDBD-Net網(wǎng)絡(luò)下降1.27 dB；將FRM中上下采樣操作去除后模型去模糊結(jié)果的PSNR下降6 dB左右。SSIM指標在網(wǎng)絡(luò)改造后都有輕微的下降。綜上所述，UDBD-Net網(wǎng)絡(luò)中的DFWD模塊，F(xiàn)RM模塊都對提升UDBD-Net的去模糊性能有很大幫助。

表2 消融實驗結(jié)果Tab.2 Results of ablation experiment

4 結(jié) 論

本文的工作主要是提出一個針對于均勻離焦模糊的圖像的兩階段去模糊網(wǎng)絡(luò)UDBDNet。該網(wǎng)絡(luò)使用深度回歸網(wǎng)絡(luò)準確估計均勻離焦圖像的模糊核，并通過神經(jīng)網(wǎng)絡(luò)估計特征維納反卷積公式中的未知量，改進反卷積網(wǎng)絡(luò)的性能，最后通過編碼解碼網(wǎng)絡(luò)進一步去除錯誤信息，復原出清晰的圖像。通過實驗表明，UDBD-Net對于不同離焦程度的合成圖像下都能獲得清晰自然，偽影少的結(jié)果，在DIV2K和GOPRO測試集圖片上的PSNR分別達到31.16 dB和36.16 dB。對于真實離焦圖像而言，需要使用UDBD-Net模型迭代推理三次，才能得到較理想的去模糊效果。在未來的工作中，將改善網(wǎng)絡(luò)結(jié)構(gòu)，以提高模型對于真實模糊圖像的單次復原能力，并且嘗試研究非均勻離焦模糊圖像復原。