針對(duì)圖像盲去模糊的可微分神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索方法

繆 斯，祝永新

（中國(guó)科學(xué)院上海高等研究院，上海 201210）

0 概述

圖像盲去模糊是在運(yùn)動(dòng)軌跡未知的情況下將模糊圖像轉(zhuǎn)變?yōu)榍逦鷪D像的過(guò)程，在生活和安防等領(lǐng)域有廣泛的應(yīng)用，例如修復(fù)拍攝時(shí)因手抖而模糊的照片，以及去除監(jiān)控中物體的運(yùn)動(dòng)模糊，提升監(jiān)控清晰度。圖像模糊分為兩種：均勻模糊和非均勻模糊。若圖像的各個(gè)像素運(yùn)動(dòng)軌跡相同（例如相機(jī)抖動(dòng)），則稱為均勻模糊，反之若像素的運(yùn)動(dòng)軌跡不同（例如物體移動(dòng)），則稱為非均勻模糊。

傳統(tǒng)的圖像去模糊方法，例如基于零范數(shù)先驗(yàn)［1-2］、暗通道先驗(yàn)［3-4］和LMS 自適應(yīng)［5］的算法，通過(guò)交替估計(jì)清晰圖像和模糊軌跡去模糊。其中，模糊軌跡通常使用一個(gè)二維的卷積核表示。這種方法去除大面積的均勻模糊有很好的效果。然而，真實(shí)世界中的模糊大部分是非均勻的，使用二維的卷積核表示非均勻的模糊軌跡會(huì)有較大的誤差，因此傳統(tǒng)算法在去除非均勻模糊時(shí)表現(xiàn)欠佳。

近年來(lái)，神經(jīng)網(wǎng)絡(luò)的方法在圖像復(fù)原領(lǐng)域的應(yīng)用取得了較大進(jìn)展。文獻(xiàn)［6］提出使用深度學(xué)習(xí)的方法提取特征圖，再利用模糊圖像和清晰圖像的特征圖估算模糊核。此后一些研究者開(kāi)始探索不需要模糊核估計(jì)的端到端卷積神經(jīng)網(wǎng)絡(luò)。文獻(xiàn)［7］提出了一個(gè)簡(jiǎn)單的全卷積網(wǎng)絡(luò)用于去除文本圖像的模糊。文獻(xiàn)［8］提出了一個(gè)多層的神經(jīng)網(wǎng)絡(luò)并將其運(yùn)用于自然圖像處理。文獻(xiàn)［9］提出了基于LSTM［10］的多層神經(jīng)網(wǎng)絡(luò)。文獻(xiàn)［11］提出了DeblurGAN，一種基于對(duì)抗生成網(wǎng)絡(luò)（GAN）［12］的去模糊神經(jīng)網(wǎng)絡(luò)。盡管這些研究取得了不錯(cuò)的實(shí)驗(yàn)結(jié)果，但神經(jīng)網(wǎng)絡(luò)的訓(xùn)練仍然是一個(gè)難題，研究人員必須通過(guò)海量實(shí)驗(yàn)選取最優(yōu)的網(wǎng)絡(luò)結(jié)構(gòu)。為解決該問(wèn)題，一些研究者開(kāi)始探索通過(guò)神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索技術(shù)自動(dòng)搜索出一個(gè)優(yōu)質(zhì)的去模糊神經(jīng)網(wǎng)絡(luò)。

Google公司最早提出基于強(qiáng)化學(xué)習(xí)的NASNet［13］用于神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索。NASNet 使用LSTM 作為控制器用于生成目標(biāo)的網(wǎng)絡(luò)結(jié)構(gòu)，并用目標(biāo)網(wǎng)絡(luò)在驗(yàn)證集上的誤差作為損失函數(shù)訓(xùn)練控制器。然而，NASNet 每生成一個(gè)目標(biāo)網(wǎng)絡(luò)都必須通過(guò)完整訓(xùn)練并測(cè)試該目標(biāo)網(wǎng)絡(luò)來(lái)評(píng)價(jià)該網(wǎng)絡(luò)的質(zhì)量，這嚴(yán)重降低了NASNet 的搜索速度。NASNet 需要500 塊GPU訓(xùn)練28 天才能在CIFAR10 數(shù)據(jù)集上取得不錯(cuò)的實(shí)驗(yàn)結(jié)果。為了加快訓(xùn)練速度，文獻(xiàn)［14］提出可微分神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索（DARTS）。DARTS 將網(wǎng)絡(luò)結(jié)構(gòu)變?yōu)榭晌⒎值膮?shù)，使得網(wǎng)絡(luò)的訓(xùn)練和架構(gòu)的調(diào)優(yōu)能夠同時(shí)進(jìn)行，能夠一邊訓(xùn)練一邊評(píng)價(jià)直至收斂，因此DARTS 可以在4 小時(shí)內(nèi)在CIFAR10 上搜索出性能超過(guò)ResNet［15］的網(wǎng)絡(luò)。

目前，DARTS 多用于圖像分類問(wèn)題，如行為識(shí)別［16］，圖像識(shí)別［17-19］等，尚未應(yīng)用于圖像去模糊領(lǐng)域。這是因?yàn)榉诸悊?wèn)題輸出的維度較少（僅為類別數(shù)），使用少于20 個(gè)卷積層的神經(jīng)網(wǎng)絡(luò)（如VGG16［20］）就可以取得不錯(cuò)的效果，使用過(guò)深的神經(jīng)網(wǎng)絡(luò)反而容易過(guò)擬合。而圖像去模糊問(wèn)題對(duì)圖像細(xì)節(jié)要求高，淺層神經(jīng)網(wǎng)絡(luò)無(wú)法清晰地恢復(fù)模糊圖像的細(xì)節(jié)，因此圖像去模糊一般使用超深的神經(jīng)網(wǎng)絡(luò)，例如SRN-DeblurNet［9］和DeblurGAN［11］都擁有超過(guò)60 個(gè)卷積層。因此，將可微分神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索技術(shù)應(yīng)用于圖像去模糊領(lǐng)域的難度顯著大于應(yīng)用于分類問(wèn)題。此外，由于最初的DARTS 只考慮了分類問(wèn)題，其搜索空間是專門為分類問(wèn)題而設(shè)計(jì)的，輸出是維度等于類別數(shù)的向量而不是圖像，因此，DARTS 的搜索空間不能直接用于圖像去模糊。

本文將DARTS 應(yīng)用于圖像去模糊領(lǐng)域，提出U型殘差搜索空間，并將搜索空間分割為9 個(gè)不同分辨率的單元，通過(guò)多尺度結(jié)構(gòu)有效地提取圖像在不同分辨率上的特征，并通過(guò)殘差結(jié)構(gòu)加快訓(xùn)練和搜索的速度。最終將本文方法與UNet［21］、DeblurGAN等模型進(jìn)行對(duì)比實(shí)驗(yàn)驗(yàn)證。

1 可微分神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索

超邊結(jié)構(gòu)是可微分神經(jīng)網(wǎng)絡(luò)（DARTS）算法的核心，其基本結(jié)構(gòu)如圖1 所示。

圖1 超邊結(jié)構(gòu)的抽象圖Fig.1 Illustration of the superedge structure

超邊結(jié)構(gòu)包括n種可能的操作和n個(gè)結(jié)構(gòu)參數(shù)。假設(shè)x為張量，θ為神經(jīng)網(wǎng)絡(luò)的參數(shù)，簡(jiǎn)稱“網(wǎng)絡(luò)參數(shù)”（如卷積核張量或全連接層矩陣），f1（x，θ），f2（x，θ），…，fn（x，θ）為n種可微分的運(yùn)算（如普通卷積，空洞卷積和恒同映射），DARTS 的目標(biāo)是在這n個(gè)運(yùn)算中選取最優(yōu)的操作。DARTS 引入n個(gè)結(jié)構(gòu)參數(shù)a1，a2，…，an并用Softmax 函數(shù)歸一化，如式（1）所示：

定義輸出y為f1（x，θ），f2（x，θ），…，fn（x，θ）的凸組合如式（2）所示：

DARTS 的搜索策略如圖2 所示。

圖2 DARTS 的搜索流程Fig.2 Overview of the searching process of DARTS

由圖2 可以看出，DARTS 算法的優(yōu)點(diǎn)是可以一邊訓(xùn)練網(wǎng)絡(luò)參數(shù)，一邊優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，而無(wú)需等到訓(xùn)練完成后再調(diào)優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)，這顯著減少了優(yōu)化時(shí)間。

2 基于DARTS 的圖像盲去模糊方法

2.1 U 型殘差搜索空間

結(jié)合式（1）與式（2）定義超邊，再將這些超邊組成一個(gè)神經(jīng)網(wǎng)絡(luò)，這個(gè)由超邊組成的神經(jīng)網(wǎng)絡(luò)稱為“搜索空間”。如圖3 所示。

圖3 提出的U 型殘差搜索空間Fig.3 The proposed U-Shape search space

每條超邊包括多種運(yùn)算，因此，DARTS 算法比較消耗內(nèi)存。和圖像分類不同的是，為了達(dá)到較好的實(shí)驗(yàn)效果，圖像去模糊的神經(jīng)網(wǎng)絡(luò)一般比較大，因此無(wú)法做到神經(jīng)網(wǎng)絡(luò)的每?jī)蓚€(gè)數(shù)據(jù)節(jié)點(diǎn)都有超邊連接，搜索一個(gè)圖像去模糊的神經(jīng)網(wǎng)絡(luò)難度也遠(yuǎn)大于搜索一個(gè)分類網(wǎng)絡(luò)。

基于分治的思路，本文將搜索空間分為9 個(gè)單元3 個(gè)分辨率尺度，每個(gè)分辨率尺度由3 個(gè)單元組成，不同分辨率尺度之間使用圖3 所示U 型殘差結(jié)構(gòu)串聯(lián)。單元內(nèi)部使用自定義的搜索空間。這樣設(shè)計(jì)充分考慮了各分辨率尺度的信息。最高分辨率尺度中的3 個(gè)單元C1、C2、C3 有64 個(gè)特征圖，中等分辨率尺度的3 個(gè)單元C4、C5、C6 有128 個(gè)特征圖，最低分辨率尺度中的三個(gè)單元有C7、C8、C9 有256 個(gè)特征圖。較高分辨率的圖像長(zhǎng)寬均為較低分辨率圖像的2 倍。在相同分辨率的張量之間使用跳躍連接。每個(gè)單元后都使用ReLU激活函數(shù)。盡管9 個(gè)單元的搜索空間是相似的，但訓(xùn)練完成后每條超邊的結(jié)構(gòu)參數(shù)可能互不相同，因此，訓(xùn)練結(jié)束后，即使在同一分辨率上，不同的單元可能搜索到不同的網(wǎng)絡(luò)結(jié)構(gòu)。

每個(gè)單元包括6 個(gè)數(shù)據(jù)節(jié)點(diǎn)和8 條超邊。每條超邊有5 種可能的操作：1）恒同連接；2）普通卷積，卷積核尺寸3×3；3）普通卷積，卷積核尺寸5×5；4）空洞卷積，卷積核尺寸3×3，膨脹系數(shù)為1；5）普通卷積，卷積核尺寸1×1。由于內(nèi)存限制，本文所選用的大多數(shù)為小卷積核。每個(gè)單元的設(shè)計(jì)如圖4 所示。

圖4 搜索單元的定義Fig.4 Definition of our proposed search cell

x是單元的輸入，E1～E8為該單元的8 條超邊，輸出y如式（3）所示。

2.2 損失函數(shù)和訓(xùn)練過(guò)程

本文使用均方損失函數(shù)，即比較復(fù)原后圖像和基準(zhǔn)圖像的均方誤差。設(shè)模糊圖像為B，結(jié)構(gòu)參數(shù)為a，網(wǎng)絡(luò)參數(shù)為θ，復(fù)原后圖像為I，基準(zhǔn)圖像為Igt，神經(jīng)網(wǎng)絡(luò)為f，則損失函數(shù)Loss 如式（4）所示：

基于本文提出的U 型殘差搜索空間可以在顯存僅8GB 的NVIDIA GPU 上訓(xùn)練，所選用的優(yōu)化器為Adam［22］。結(jié)構(gòu)參數(shù)和網(wǎng)絡(luò)參數(shù)采用不同的學(xué)習(xí)率。結(jié)構(gòu)參數(shù)的初始學(xué)習(xí)率為0.002 5，網(wǎng)絡(luò)參數(shù)的初始學(xué)習(xí)率為0.000 1。訓(xùn)練總共進(jìn)行50 輪，每輪訓(xùn)練完畢后網(wǎng)絡(luò)參數(shù)和結(jié)構(gòu)參數(shù)的學(xué)習(xí)率均變?yōu)樯弦惠唽W(xué)習(xí)率的0.96，訓(xùn)練神經(jīng)網(wǎng)絡(luò)的框架是PyTorch 1.0。

由于圖像去模糊的公開(kāi)訓(xùn)練集較少（例如GOPRO 數(shù)據(jù)集只包括2 103 張訓(xùn)練圖像），圖2 所示的訓(xùn)練流程在GOPRO 數(shù)據(jù)集上收斂到的結(jié)果較差，因此本文使用自己生成的模糊圖像作為訓(xùn)練集和驗(yàn)證 集。從MSCOCO［23］數(shù) 據(jù)集中選取 了56 000 張 圖像，40 000 張作為訓(xùn)練集，16 000 張作為驗(yàn)證集。對(duì)每一張圖像I，采用基于隨機(jī)游走的算法（算法1）隨機(jī)生成正方形模糊核k，k的邊長(zhǎng)從［7，75］中的奇數(shù)隨機(jī)采樣。算法1 的思路是，定義一個(gè)游標(biāo)（x，y），從模糊核中的任意一點(diǎn)出發(fā)，隨機(jī)選取運(yùn)動(dòng)角度α并更新游標(biāo)位置（算法1 第4 步）。在游標(biāo)所在的位置處，使用雙線性插值更新模糊核（算法1 第5 步）。最后更新運(yùn)動(dòng)角度α（算法1 第6 步）。生成模糊核后，使用式（5）生成模糊圖像B：

其中：?為卷積運(yùn)算。

算法1基于隨機(jī)游走的模糊核生成算法

輸入模糊核邊長(zhǎng)N（N是奇數(shù)），步長(zhǎng)S

輸出模糊核k（N×N二維矩陣）

使得模糊核k 中的元素和為1

由算法1 生成的模糊核和得到的模糊圖像如圖5所示。

圖5 由算法1 生成的模糊核和模糊圖像Fig.5 The blur kernel and the blurred image generated by algorithm1

在算法1 中，步長(zhǎng)S是一個(gè)［300，500］之間的隨機(jī)整數(shù)。算法1 采取雙線性插值時(shí)在一臺(tái)I7 CPU的PC 機(jī)上生成一張256×256 的圖像平均耗時(shí)約0.50 s。通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，使用最近鄰插值取代算法1 步驟5 中的雙線性插值可以將生成時(shí)間從0.50 s降到約0.40 s，且兩種插值之間的訓(xùn)練效果差別可以忽略不計(jì)。最近鄰插值法在GOPRO 數(shù)據(jù)集上PSNR 為28.56/0.871，和雙線性插值的28.55/0.873較為接近。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集

為了客觀評(píng)價(jià)本文的方法，使用兩個(gè)公開(kāi)的數(shù)據(jù)集Kohler［24］和GOPRO［8］作為測(cè)試集。Kohler 是一個(gè)仿真數(shù)據(jù)集，數(shù)據(jù)集包括由4 個(gè)原始圖像和12 個(gè)卷積核生成的48 張分辨率為800 像素×800 像素的模糊圖像，模糊類型均為均勻模糊。GOPRO 數(shù)據(jù)集包括真實(shí)拍攝的1 111 個(gè)分辨率為1 280 像素×720 像素的模糊圖像，模糊類型為非均勻模糊。

本文采用兩種客觀的圖像評(píng)價(jià)指標(biāo)：峰值信噪比PSNR 和結(jié)構(gòu)相似度SSIM［25］。為充分體現(xiàn)搜索得到的網(wǎng)絡(luò)的性能，本文選取了近年來(lái)在頂級(jí)會(huì)議/期刊上發(fā)表的論文中具有較高PSNR 與SSIM 的模型作為比較對(duì)象。此外，文獻(xiàn)［26］指出，雖然這兩個(gè)評(píng)價(jià)指標(biāo)在絕大多數(shù)情況下非常重要，但有時(shí)具有較好視覺(jué)效果的圖像未必在PSNR 和SSIM 指標(biāo)上表現(xiàn)出色。因此，本文也和一些經(jīng)典算法比較了去模糊的視覺(jué)效果。

3.2 實(shí)驗(yàn)結(jié)果

在GOPRO 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如表1 所示。在Kohler 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如表2 所示。

表1 GOPRO 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果Table 1 Experimental results on the GORPO dataset

表2 Kohler 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果Table 2 Experimental results on the Kohler dataset

在GOPRO 數(shù)據(jù)集上，本文方法和UNet、暗通道先驗(yàn)的去模糊效果比較如圖6 所示。在Kohler數(shù)據(jù)集上，本文方法和UNet、DeblurGAN的去模糊效果比較如圖7 所示。為了增加實(shí)驗(yàn)效果的說(shuō)服力，本文方法和當(dāng)前最好的模型DeblurGAN 的比較結(jié)果如圖8所示。使用算法1 對(duì)數(shù)據(jù)集擴(kuò)增前的視覺(jué)效果對(duì)比如圖9 所示。本文方法相對(duì)于UNet，在性能與搜索過(guò)程的自動(dòng)化程度方面有巨大提升，同時(shí)運(yùn)行速度與LINet 只相差0.02 s。本文方法與UNet方法的視覺(jué)效果對(duì)比如圖10 所示。

圖6 GOPRO 數(shù)據(jù)集上的視覺(jué)效果比較Fig.6 Visual quality comparisons on the GOPRO dataset

圖7 Kohler 數(shù)據(jù)集上的視覺(jué)效果比較Fig.7 Visual quality comparisons on the Kohler dataset

圖8 本文方法與DeblurGAN 的視覺(jué)效果對(duì)比Fig.8 Visual comparisons between the proposed method and DeblurGAN

圖9 使用算法1 進(jìn)行數(shù)據(jù)集擴(kuò)增前后視覺(jué)效果對(duì)比Fig.9 Effectiveness of data augmentation using algorithm 1

圖10 本文方法與UNet 的視覺(jué)效果對(duì)比Fig.10 Visual comparisons between the proposed method and UNet

本文搜索得出的網(wǎng)絡(luò)和開(kāi)源模型的運(yùn)行時(shí)間比較結(jié)果如表3 所示。

表3 模型在分辨率為800 像素×800 像素的圖像上的運(yùn)行時(shí)間Table 3 Running time on an image of resolution 800×800 pixel

3.3 實(shí)驗(yàn)結(jié)果分析

從表1 和表2 可以看出，基于可微分神經(jīng)網(wǎng)絡(luò)搜索技術(shù)（DARTS）搜索得到的神經(jīng)網(wǎng)絡(luò)，在去模糊領(lǐng)域兩個(gè)知名公開(kāi)數(shù)據(jù)集GOPRO 和Kohler 上的表現(xiàn)優(yōu)于基于暗通道先驗(yàn)的經(jīng)典方法，峰值信噪比相對(duì)于基線模型UNet 分別提升3.10 dB 和1.17 dB，與當(dāng)前最先進(jìn)的DeblurGAN 性能基本相當(dāng)。

從圖6 和圖7 看出，本文提出的方法有較好的視覺(jué)效果。如圖6 的第1 行所示，原始圖像文字部分的模糊非常嚴(yán)重，使用UNet［21］和暗通道先驗(yàn)［4］算法，均無(wú)法看清圖像中的文字，使用本文的算法，圖像中的“ISTANBUL”和“SANAT”字樣依稀可見(jiàn)。圖6的第2行展示了一個(gè)模糊的車輛，使用文獻(xiàn)［21］和［4］算法均產(chǎn)生了明顯的振鈴偽影，而使用本文的算法可以較清晰地恢復(fù)出車輛的輪廓和車牌信息。從圖7 可以看出，使用本文的算法可以更清晰地恢復(fù)教堂的細(xì)節(jié)。從圖8第2 行可以看出，本文的算法可以從非常模糊的圖像中部分恢復(fù)出人臉，而DeblurGAN 完全無(wú)法恢復(fù)鏡頭前的人臉。

由表3 可知，本文搜索得到的網(wǎng)絡(luò)測(cè)試一張分辨率為800 像素×800 像素的圖像僅需要0.40 s，顯著小于DeblurGAN［28］。這表明本文的結(jié)構(gòu)不僅有不錯(cuò)的去模糊效果，而且具有較快的運(yùn)行速度。

雖然DeepDeblur［8］和暗通道先驗(yàn)方法［4］在Kohler數(shù)據(jù)集上的PSNR 超過(guò)了本文的算法，但它們的運(yùn)算時(shí)間分別是本文算法的7.175 倍和2 700 倍，由于DeepDeblur 使用了金字塔結(jié)構(gòu)，其測(cè)試時(shí)間較長(zhǎng)。文獻(xiàn)［4］不僅使用了金字塔結(jié)構(gòu)，而且還采用了迭代優(yōu)化，因此很難在GPU 上并行優(yōu)化，只能在CPU 上串行解決，這使得文獻(xiàn)［4］的方法幾乎不可能做到實(shí)時(shí)。此外，文獻(xiàn)［4］的迭代算法是基于均勻模糊的數(shù)學(xué)模型，而在實(shí)際應(yīng)用中模糊一般是非均勻的，因此文獻(xiàn)［4］的實(shí)用性并不強(qiáng)。

采用本文方法，搜索得到神經(jīng)網(wǎng)絡(luò)后，重新訓(xùn)練這個(gè)神經(jīng)網(wǎng)絡(luò)大概需要一天時(shí)間。根據(jù)開(kāi)發(fā)經(jīng)驗(yàn)，傳統(tǒng)設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)很難一次成功，調(diào)試出一個(gè)既好又快的神經(jīng)網(wǎng)絡(luò)大約需要10-15 次嘗試，這需要花費(fèi)研究人員大量的時(shí)間和計(jì)算資源。顯然，本文方法對(duì)開(kāi)發(fā)效率有顯著的提升。此外，前人已經(jīng)探索得到了大量的結(jié)構(gòu)（如基于多尺度特征的DeepDeblur［8］，基于對(duì)抗生成網(wǎng)絡(luò)的DeblurGAN［11］），然而，通過(guò)引入當(dāng)前最先進(jìn)的可微分神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索技術(shù)（DARTS［14］），并結(jié)合本文設(shè)計(jì)的搜索空間，能夠在不經(jīng)過(guò)人為干預(yù)的情況下在兩天內(nèi)搜索得到性能和速度不遜于DeepDeblur 和DeblurGAN 的神經(jīng)網(wǎng)絡(luò)，這充分體現(xiàn)了可微分神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索技術(shù)的強(qiáng)大潛力：只要搜索空間的定義合理，可微分神經(jīng)網(wǎng)絡(luò)搜索技術(shù)就可以遷移到圖像分類、分割以外的領(lǐng)域。

3.4 搜索結(jié)果

以圖3 中搜索單元C1 為例，本文方法搜索得到的C1 的結(jié)構(gòu)如圖11 所示。

圖11 搜索得出的單元C1 的結(jié)構(gòu)Fig.11 The structure of C1 searched by the proposed method

圖11 中，超 邊E1、E5、E6為3×3 卷積，超邊E2為5×5 卷積，超邊E3為3×3 空洞卷積，超邊E4為1×1 卷積，超邊E7、E8均為恒同連接（skip-connect）。

在單元C1～C9 中，5 種運(yùn)算的分布如圖12 所示。

圖12 5 種候選操作的比重分布圖Fig.12 Distribution of the five candidate operations

本文提出的搜索空間總共包括9 個(gè)單元，每個(gè)單元8 條超邊共計(jì)72 條超邊。其中，有2 條恒同連接，11 個(gè)3×3 空洞卷積，22 個(gè)5×5 卷積，20 個(gè)3×3 卷積和17 個(gè)1×1 卷積。從圖12 可以看出，5×5 普通卷積占了很大的比重，這是符合預(yù)期的。文獻(xiàn)［29］表明，增大感受野對(duì)圖像去模糊等復(fù)原問(wèn)題有重要作用，而5×5 卷積的感受野較大。恒同連接只有兩個(gè)且全部出現(xiàn)在單元C1 中，這也同樣符合預(yù)期，因?yàn)楹阃B接不能提取特征。

4 結(jié)束語(yǔ)

本文將可微分神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索技術(shù)（DARTS）引入圖像去模糊領(lǐng)域，提出了U 型殘差搜索空間，基于分治的思路，將搜索空間劃分為9 個(gè)搜索單元，顯著降低了搜索的計(jì)算難度。在不需要人工調(diào)參的情況下搜索得出的網(wǎng)絡(luò)，在GOPRO 和Kohler 數(shù)據(jù)集上，峰值信噪比相對(duì)于基準(zhǔn)網(wǎng)絡(luò)UNet分別提升3.10 dB和1.17 dB，與當(dāng)前最先進(jìn)的DeblurGAN 性能基本相當(dāng)。本文提出的搜索方法簡(jiǎn)化了繁重的調(diào)參工作，使得研究人員可以更加集中精力于算法和整體架構(gòu)的設(shè)計(jì)。目前，搜索得到的神經(jīng)網(wǎng)絡(luò)較深，只能在性能強(qiáng)大的服務(wù)器上實(shí)驗(yàn)，難以在移動(dòng)設(shè)備上測(cè)試。下一步將結(jié)合神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索與神經(jīng)網(wǎng)絡(luò)量化、剪枝等技術(shù)，同時(shí)引入低延遲模塊，以搜索出一個(gè)可在移動(dòng)端使用的輕量去模糊神經(jīng)網(wǎng)絡(luò)。