基于多尺度卷積和超分辨率分頻模型圖像去模糊算法研究

劉婷 張辰 章宜玉

摘要：由于盲去模糊任務(wù)中存在模糊信息和內(nèi)容信息的糾纏，因此從模糊圖像中直接恢復(fù)尖銳的潛圖像具有很大的挑戰(zhàn)性。考慮到在高維特征圖中，模糊信息主要存在于低頻區(qū)域，而內(nèi)容信息存在于高頻區(qū)域。該文研究一種從頻率的角度實(shí)現(xiàn)解糾纏的編解碼器模型，并將其命名為頻率解糾纏蒸餾圖像去模糊網(wǎng)絡(luò)（FDDN）。首先，對(duì)傳統(tǒng)的蒸餾塊進(jìn)行了改進(jìn)，將頻率分割塊（FSB）嵌入到蒸餾塊中，以分離出低頻和高頻區(qū)域。其次，改進(jìn)后的蒸餾塊稱為頻率蒸餾塊（FDB），可以遞歸地提取低頻特征，將模糊信息從內(nèi)容信息中分離出來(lái)，從而提高恢復(fù)后的圖像質(zhì)量。此外，為了降低網(wǎng)絡(luò)的復(fù)雜度，保證特征圖的高維性，將頻率蒸餾塊（FDB）放置在編碼的終端。

關(guān)鍵詞：去模糊;超分辨率;分頻

中圖分類號(hào)：TP3? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2022）19-0079-03

1引言

日常生活中存在很多圖像模糊類型，如運(yùn)動(dòng)模糊、高斯模糊、散焦模糊等。在進(jìn)行圖像的拍攝時(shí)，一般很難長(zhǎng)時(shí)間保持?jǐn)z像設(shè)備的穩(wěn)定，一般會(huì)存在抖動(dòng)等現(xiàn)象。道路上的交通電子抓拍違規(guī)車輛、拍攝抓拍嫌疑人等場(chǎng)景領(lǐng)域，圖像的運(yùn)動(dòng)模糊進(jìn)行圖像復(fù)原是具有非常重要的意義。在進(jìn)行圖像去模糊時(shí)，一般可以用公式（1）表示[1];B表示模糊的圖像，i表示清晰的圖像，k表示模糊因子，n表示隨機(jī)噪聲。不同的場(chǎng)景下K的形式不同，因此可以將其分為兩個(gè)大的分支：圖像非盲去模糊和圖像盲去模糊。非盲去模糊是在已知K和B的情況下反解出清晰的圖像I，這是一個(gè)較為容易的過(guò)程。而圖像盲去模糊是在僅知模糊圖像的情況下估計(jì)出清晰圖像I， 由此可見非盲去模糊顯然是一個(gè)計(jì)算機(jī)視覺(jué)中的不適定問(wèn)題[2]。較為傳統(tǒng)的方法就是同時(shí)估計(jì)模糊核與清晰圖像，這些方法借助一些假定的先驗(yàn)知識(shí)來(lái)限制模糊因子的不確定性，這樣就把盲去模糊問(wèn)題轉(zhuǎn)化成了非盲問(wèn)題。比如，Chen L認(rèn)為模糊會(huì)導(dǎo)致圖像的梯度改變，因此不斷地更新梯度來(lái)恢復(fù)清晰圖像。但很顯然這些假定的先驗(yàn)知識(shí)很有局限性，很難完整地表達(dá)真實(shí)場(chǎng)景下的模糊情況。因此不具備泛化能力。

B = K*I +n? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （1）

科研工作人員近十幾年在模糊處理問(wèn)題的研究中，大多數(shù)情況下都是利用模糊核估計(jì)和能量函數(shù)最小化兩步，并且對(duì)于這一研究付出了很多努力。盡管如此，把模糊圖像中的模糊處理掉，變成清晰程度很高的圖像，仍然還是比較困難的。由于多目標(biāo)運(yùn)動(dòng)、拍攝時(shí)抖動(dòng)、場(chǎng)景的變化等問(wèn)題導(dǎo)致模糊還原這個(gè)問(wèn)題是很不適定的。故而計(jì)算機(jī)視覺(jué)在模糊還原問(wèn)題上的研究仍然還是一個(gè)熱點(diǎn)[3]。

綜上所述，卷積神經(jīng)網(wǎng)絡(luò)在解決去模糊取得了不錯(cuò)的效果，在一定程度上解決了圖像復(fù)原所面臨的一些難題，但是還有許多地方需要進(jìn)一步探討和研究。隨著深度學(xué)習(xí)的發(fā)展，諸多方法則不再預(yù)測(cè)模糊核，而是直接通過(guò)構(gòu)建一個(gè)編碼到解碼結(jié)構(gòu)的端到端恢復(fù)清晰圖像。

2算法研究

2.1 多尺度卷積分頻模塊降低卷積神經(jīng)網(wǎng)絡(luò)中的空間冗余算法研究

隨著深度學(xué)習(xí)的發(fā)展，圖像去模糊也得到了很大的效果提升。并且隨著網(wǎng)絡(luò)深度的增加以及多尺度圖像的輸入，是非常有效果的。雖然增加網(wǎng)絡(luò)深度和采用多尺度圖像輸入網(wǎng)絡(luò)可以顯著提高性能，但也會(huì)導(dǎo)致問(wèn)題。首先，隨著參數(shù)數(shù)量的增加，加深的網(wǎng)絡(luò)會(huì)出現(xiàn)訓(xùn)練困難。其次，過(guò)度密集的跳過(guò)連接會(huì)使網(wǎng)絡(luò)變得過(guò)于復(fù)雜，從而導(dǎo)致速度變慢和內(nèi)存負(fù)擔(dān)過(guò)重。因此為了做到輕量級(jí)的實(shí)時(shí)去模糊算法，通過(guò)RFDN、LMFN等諸多算法表明在圖像修復(fù)任務(wù)中蒸餾塊級(jí)通過(guò)將特征分成多個(gè)支流的并逐步集成，以協(xié)同工作，該多流結(jié)構(gòu)通過(guò)將重要的通道從主干道直接傳輸?shù)教卣魅诤喜糠?，將不重要的通道特征通過(guò)支流繼續(xù)進(jìn)行特征提取，最后到達(dá)特征融合部分，這種多流的結(jié)構(gòu)能夠更全面地保留住圖像的原始細(xì)節(jié)信息，并有助于降低網(wǎng)絡(luò)復(fù)雜度，加快模型訓(xùn)練速度。但是在分流引導(dǎo)中，這只是簡(jiǎn)單地通過(guò)設(shè)定固定的參數(shù)，對(duì)將特征從通道的維度進(jìn)行分流，這很明顯是不靈活的，對(duì)更偏向保留哪一部分通道的特征也是不可解釋的，完全靠實(shí)驗(yàn)效果來(lái)驗(yàn)證有效性[4]。在模糊圖像中，大部分的模糊信息都存在圖像的低頻區(qū)域;而大部分的輪廓信息、結(jié)構(gòu)信息則存在于圖像的高頻區(qū)域。那么如果在蒸餾的過(guò)程中，主動(dòng)保留的通道部分是高頻區(qū)域，并將低頻區(qū)域繼續(xù)送到其他支流繼續(xù)進(jìn)行特征提取，不僅可以增大這部分特征的感受野，而且可以在特征提取下采樣的過(guò)程中弱化模糊現(xiàn)象。因此我們將特征在通道維度上進(jìn)行高低頻的篩選來(lái)決定蒸餾的特征傳送方式。通過(guò)分頻篩選方式進(jìn)行圖像去模糊，分頻篩選是提高圖像清晰度的一種比較有效的方式[5]。在實(shí)際應(yīng)用場(chǎng)景中，我們都是試圖采用實(shí)時(shí)性和可靠性比較高的算法，而分頻篩選的處理方式恰好在這兩個(gè)方面有一定優(yōu)勢(shì)。此算法縮短了運(yùn)動(dòng)圖像模糊還原的計(jì)算時(shí)間，提高了時(shí)效性，也豐富了計(jì)算機(jī)視覺(jué)在實(shí)際問(wèn)題中的解決方法。同時(shí)，我們可提出根據(jù)混合特征圖的頻率進(jìn)行分解，并設(shè)計(jì)一種新的多尺度卷積操作來(lái)存儲(chǔ)和處理以較低空間分辨率的空間“較慢”變化的特征圖，降低了內(nèi)存和計(jì)算成本。與現(xiàn)有的方法不同，它被表現(xiàn)為一個(gè)單一的、通用的、即插即用的卷積單元，可以用來(lái)直接替代（普通的）卷積，而無(wú)須在網(wǎng)絡(luò)體系結(jié)構(gòu)中進(jìn)行任何調(diào)整，它也是正交和互補(bǔ)的方法，同時(shí)可以有更好的拓?fù)浠驕p少通道冗余，如群或深度卷積。實(shí)驗(yàn)表明，通過(guò)簡(jiǎn)單地用多尺度替換卷積，可以提高圖像和視頻識(shí)別任務(wù)的準(zhǔn)確性，降低內(nèi)存和計(jì)算成本[6]。

一般，用[X∈Rc*h*w]表示輸入的特征向量，其中X可分解為高頻部分和低頻部分，可表示為[{XH，XL}]。低頻的部分[XL∈Rα*c*h*w]表示整體的架構(gòu)，高頻部分[XH∈R（1-α）c*h*w]表示細(xì)節(jié)部分，其中[α∈[0，1]]表示通道被分配到低頻部分的比率[7]。

其設(shè)計(jì)的目標(biāo)是有效地處理相應(yīng)頻張量中的低頻和高頻，同時(shí)實(shí)現(xiàn)有效的頻間通信。設(shè)X，Y是分解的輸入和輸出張量，然后輸出Y={Y，[YH]，[YL]}的高頻和低頻特征圖，[YL]分別由[YH=YH->H+YL->H]和[YL=YH->L+YL->L]給出。

2.2 關(guān)于輕量型超分辨率模型算法研究

圖像超分取得了極大的進(jìn)展，盡管基于CNN的方法取得了極好的性能與視覺(jué)效果，但是這些模型難以部署到端側(cè)設(shè)備（高計(jì)算量、高內(nèi)存占用）。為解決上述問(wèn)題，已有各種不同的快速而輕量型的CNN模型提出，IDN（Information Distillation Network， IDN）是其中的佼佼者，它采用通道分離的方式提取蒸餾特征。然而，我們并不知道這個(gè)操作是如何有利于高效單圖超分（SISR）的[8];單圖像超分辨率（SISR）的最新進(jìn)展探索了卷積神經(jīng)網(wǎng)絡(luò)（CNN）的力量，以獲得更好的性能。盡管基于CNN的方法取得了巨大的成功，但由于需要大量的計(jì)算，要將這些方法應(yīng)用于邊緣設(shè)備并不容易。為了解決這一問(wèn)題，人們提出了各種快速和輕量級(jí)的CNN模型。信息蒸餾網(wǎng)絡(luò)是最先進(jìn)的方法之一，它采用信道分割操作來(lái)提取蒸餾后的特征。然而，該算法[8]對(duì)于如何設(shè)計(jì)出高效SISR模型暫未提出，后續(xù)論文提出了特征蒸餾連接（FDC）[9]，它在功能上等同于通道分裂操作，同時(shí)更輕量級(jí)和靈活。在FDC的基礎(chǔ)上，我們可以重新考慮信息多蒸餾網(wǎng)絡(luò)（IMDN），并提出了一個(gè)輕量級(jí)和精確的SISR模型，稱為殘余特征蒸餾網(wǎng)絡(luò)（RFDN）[10]。

3實(shí)驗(yàn)結(jié)果

為了更有力地證明頻率解糾纏蒸餾圖像去模糊網(wǎng)絡(luò)（FDDN）的有效性并避免該網(wǎng)絡(luò)由于過(guò)擬合而僅在特定數(shù)據(jù)集上具有優(yōu)異性能的情況，我們將在三個(gè)不同的數(shù)據(jù)集上進(jìn)行比較實(shí)驗(yàn)。GoPro數(shù)據(jù)集使用GoProHero4相機(jī)以每秒240幀（fps）的速度捕捉視頻序列[11]。該數(shù)據(jù)集由3214對(duì)模糊和尖銳的圖像組成，分辨率為1280×720。其中，有1111對(duì)作為測(cè)試集。不同于使用模糊核對(duì)一個(gè)清晰的圖像進(jìn)行卷積以獲得一個(gè)模糊的圖像，GoPro遵循在模糊的圖像生成過(guò)程中的近似相機(jī)成像過(guò)程，并在一定的曝光時(shí)間內(nèi)集成連續(xù)的幀，以突出顯示曝光時(shí)間。物體內(nèi)部的運(yùn)動(dòng)是由位移引起的偽影引起的，從而產(chǎn)生一個(gè)模糊的圖像，而不是假設(shè)一個(gè)特定的運(yùn)動(dòng)并設(shè)計(jì)一個(gè)復(fù)雜的模糊核。因此，在數(shù)據(jù)集中只有成對(duì)的尖銳/模糊的圖像對(duì)，并且沒(méi)有模糊核。這種無(wú)核估計(jì)的去模糊數(shù)據(jù)集與傳統(tǒng)的具有均勻模糊核的合成去模糊數(shù)據(jù)集相比，出現(xiàn)在前景中，靜態(tài)背景顯示出更真實(shí)的空間模糊變化。HIDE數(shù)據(jù)集是精心構(gòu)建的人類感知的圖像去模糊，涵蓋了廣泛的場(chǎng)景運(yùn)動(dòng)。HIDE數(shù)據(jù)集有8422對(duì)尖銳和模糊的圖像對(duì)，廣泛地注釋了65784個(gè)人類邊界框。為了評(píng)估的目的，這些圖像被分成單獨(dú)的訓(xùn)練集和測(cè)試集。經(jīng)過(guò)隨機(jī)選擇，我們得到了一個(gè)包含6397個(gè)訓(xùn)練圖像和2025個(gè)測(cè)試圖像的獨(dú)特分割，圖3中最后一列去模糊算法為本文研究算法結(jié)果展示。

4總結(jié)

圖像去模糊處理是保證圖像質(zhì)量的重要技術(shù)手段。本文希望從頻率的角度實(shí)現(xiàn)模糊信息和內(nèi)容信息的解糾纏。因此，我們提出了頻率解糾纏蒸餾圖像去模糊網(wǎng)絡(luò)（FDDN），它有三個(gè)貢獻(xiàn)：首先，提出了頻率分割塊（FSB），它可以在消音通道中提取高頻和低頻。第二，頻率蒸餾塊（FDB），它是頻率分割塊（FSB）和蒸餾塊的組合。FDB可以看作是一種基于頻率的解糾纏方法。FDB通過(guò)直接保持高頻特征，并將低頻特征發(fā)送到遞歸蒸餾過(guò)程中，從而逐步蒸餾出有用的特征。第三，利用合成數(shù)據(jù)集和真實(shí)圖像對(duì)運(yùn)動(dòng)去模糊的任務(wù)進(jìn)行了廣泛的實(shí)驗(yàn)，并取得了有效的結(jié)果。我們發(fā)現(xiàn)FDDN具有良好的泛化能力，可以有效地恢復(fù)模糊區(qū)域的細(xì)節(jié)。

參考文獻(xiàn)：

[1] 吳慶，肖力，孫志剛.基于運(yùn)動(dòng)檢測(cè)的圖像去模糊算法[J].計(jì)算機(jī)與現(xiàn)代化，2013（12）：4.

[2] 張磊，王廣生.運(yùn)動(dòng)模糊圖像重構(gòu)的算法及其并行化處理研究[J].現(xiàn)代電子技術(shù)，2008（10）：153-155+158.

[3] 吉訓(xùn)生，滕彬.基于生成對(duì)抗網(wǎng)絡(luò)的行人異常行為圖像去模糊算法研究[J].光電工程， 2021，48（6）：11.

[4] 蘇秉華，金偉其，牛麗紅，等.超分辨率圖像復(fù)原及其進(jìn)展[J].光學(xué)技術(shù)，2001，27（1）：4.

[5] Liu Y， GuoJ，Yang S， et al. Frequency Disentanglement Distillation Image Deblurring Network[J].Sensors， 2021，21（14）：4702.

[6] 劉微.運(yùn)動(dòng)模糊圖像恢復(fù)算法的研究與實(shí)現(xiàn)[D].中國(guó)科學(xué)院長(zhǎng)春光學(xué)精密機(jī)械與物理研究所，2006.

[7] 洪漢玉， 張?zhí)煨? 基于多分辨率盲目去卷積的氣動(dòng)光學(xué)效應(yīng)退化圖像復(fù)原算法[J].計(jì)算機(jī)學(xué)報(bào)，2004，27（7）：12.

[8] 張曉玲，沈蘭蓀.超分辨率圖像復(fù)原技術(shù)的研究進(jìn)展[J].測(cè)控技術(shù)， 2005， 24（5）：1-5.

[9] Nah S， Hyun Kim T， Mu Lee K. Deep multi-scale convolutional neural network for dynamic scene deblurring[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2017： 3883-3891.

[10] Aittala M， Durand F. Burst image deblurring using permutation invariant convolutional neural networks[C]. Proceedings of the European Conference on Computer Vision （ECCV）， 2018： 731-747.

[11] 王輝，楊杰，黎明，等.一種基于神經(jīng)網(wǎng)絡(luò)的圖像復(fù)原方法[J].紅外與激光工程，2006（z4）：5.

收稿日期：2022-03-20

基金項(xiàng)目：該文系2021年度湖南省教育廳科學(xué)研究項(xiàng)目：基于多尺度卷積和超分辨率分頻模型圖像去模糊算法研究（項(xiàng)目編號(hào)：21C1366）

作者簡(jiǎn)介：劉婷（1990—），女，湖南婁底人，助教，碩士，主要從事人工智能、數(shù)據(jù)分析、軟件技術(shù)方面研究。