一種改進(jìn)的快速深度圖像先驗(yàn)降噪模型

摘 要：相較于有監(jiān)督深度降噪模型，僅利用給定的噪聲圖像本身就能完成降噪任務(wù)的無(wú)監(jiān)督深度圖像先驗(yàn)（deep image prior，DIP）降噪模型沒(méi)有數(shù)據(jù)偏向（data bias）問(wèn)題，具有更好的泛化能力。然而，DIP降噪模型較長(zhǎng)的迭代訓(xùn)練步數(shù)導(dǎo)致其在執(zhí)行效率方面仍有較大提升空間。為此，提出了一種改進(jìn)的增速深度圖像先驗(yàn)降噪模型（improved accelerated deep image prior-based denoising model，IADIP）。首先，使用多個(gè)主流有監(jiān)督降噪模型處理輸入的噪聲圖像，得到多個(gè)互補(bǔ)的初步降噪圖像（稱為預(yù)處理圖像）。其次，以預(yù)處理圖像作為網(wǎng)絡(luò)輸入并同時(shí)將預(yù)處理圖像和噪聲圖像共同作為目標(biāo)圖像以降低DIP網(wǎng)絡(luò)映射難度，為將DIP默認(rèn)的4層UNet骨干網(wǎng)絡(luò)簡(jiǎn)化為1層結(jié)構(gòu)打下基礎(chǔ)，從而大量減少迭代更新網(wǎng)絡(luò)參數(shù)的計(jì)算代價(jià)。最后，在IADIP無(wú)監(jiān)督迭代訓(xùn)練中，提出一種采用下采樣技術(shù)實(shí)現(xiàn)的偽有參考圖像質(zhì)量度量，并基于該度量監(jiān)控迭代過(guò)程中網(wǎng)絡(luò)輸出圖像的圖像質(zhì)量，適時(shí)終止迭代訓(xùn)練以實(shí)現(xiàn)自動(dòng)早停并確保網(wǎng)絡(luò)輸出圖像的圖像質(zhì)量。當(dāng)?shù)K止時(shí)，IADIP網(wǎng)絡(luò)輸出圖像即為最終的降噪后圖像。大量實(shí)驗(yàn)表明：改進(jìn)后的IADIP降噪模型的執(zhí)行效率顯著優(yōu)于原DIP降噪模型，而其降噪效果也超過(guò)了當(dāng)前主流的降噪算法。

關(guān)鍵詞：圖像降噪；深度圖像先驗(yàn)；性能提升；簡(jiǎn)化網(wǎng)絡(luò)；下采樣；自動(dòng)早停

中圖分類號(hào)：TP391.4"" 文獻(xiàn)標(biāo)志碼：A"" 文章編號(hào)：1001-3695（2025）03-036-0920-07

doi：10.19734/j.issn.1001-3695.2024.05.0225

Improved accelerated deep image prior-based denoising model

Zhang Rui1，Cheng Xiaohui2，3

（1.Wuxi Vocational Institute of Commerce，Wuxi Jiangsu 214000，China;2.School of Computer Information Engineering，Nanchang Institute of Technology，Nanchang 330044，China;3.School of Mathematics amp; Computer Sciences，Nanchang University，Nanchang 330031，China）

Abstract：

Compared to supervised deep denoising models，the unsupervised deep image prior（DIP）denoising model，which only utilizes the given noisy image itself to perform denoising，does not suffer from the problem of training data bias and exhibits better generalization capability.However，the longer training iterations of the DIP denoising model still leave room for significant improvement in terms of execution efficiency.Therefore，it proposed an improved accelerated deep image prior-based denoising model（IADIP）.Firstly，it used multiple mainstream supervised denoising models to process the input noisy image，resulting in multiple complementary preliminary denoised images（referred to as preprocessed images）.Then，the DIP network reduced the mapping difficulty by utilizing the preprocessed images as network inputs and simultaneously utilizing both the preprocessed images and the noisy image as target images.This set the foundation for simplifying the default 4-layer UNet backbone network of DIP into a 1-layer structure，thereby significantly reducing the computational cost of iterative parameter updates.Finally，in the unsupervised iterative training of IADIP，it proposed a pseudo full-reference image quality metric based on downsampling technique to monitor the quality of network output images during the iteration process，and timely terminated iteration training to achieve automatic early stopping.When the iteration stops，the IADIP network output image becomes the final denoised image.Extensive experiments demonstrate that the improved IADIP denoising model exhibits significantly improved execution efficiency compared to the original DIP denoising model，while also surpassing the performance of current state-of-the-art denoising algorithms.

Key words：image denoising;deep image prior;boosting performance;simplified network;downsampling;automatic early stopping

0 引言

圖像在生成、存儲(chǔ)和傳輸過(guò)程中不可避免地會(huì)引入噪聲而導(dǎo)致圖像失真，從而影響后繼關(guān)鍵性的各類圖像分析任務(wù)［1～8］。為解決此問(wèn)題，研究者在過(guò)去幾十年當(dāng)中提出了一系列的降噪算法。其中，不乏以濾波和模型優(yōu)化技術(shù)為代表的成功算法［9～12］。近十年來(lái)，以深度學(xué)習(xí)技術(shù)為基礎(chǔ)構(gòu)建的各類降噪模型相較于傳統(tǒng)圖像降噪算法展現(xiàn)出強(qiáng)大的處理能力，在提升圖像清晰度和真實(shí)感方面具有顯著的優(yōu)勢(shì)，

已成為該領(lǐng)域的主流實(shí)現(xiàn)方式［13～22］。根據(jù)在訓(xùn)練學(xué)習(xí)中是否需要參考圖像（清晰圖像），現(xiàn)有的深度學(xué)習(xí)降噪模型可以大致分為有監(jiān)督和無(wú)監(jiān)督學(xué)習(xí)兩種類型。

現(xiàn)有的有監(jiān)督降噪模型多以卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）為基礎(chǔ)構(gòu)建。Zhang等人［13］在2017年提出的降噪卷積神經(jīng)網(wǎng)絡(luò)（denoising convolutional neural network，DnCNN），將深度網(wǎng)絡(luò)架構(gòu)（deep architecture）、

殘差學(xué)習(xí)（resi-dual learning）［23］和批量歸一化（batch normalization）［24］三者融合到一個(gè)深度學(xué)習(xí)網(wǎng)絡(luò)中。與傳統(tǒng)的圖像降噪算法相比，在降噪性能上有大幅度的提升，被認(rèn)為是基于CNN構(gòu)建降噪模型里程碑式的工作。2021年，Zhang等人［25］基于殘差網(wǎng)絡(luò)（residual network，ResNet）與U型網(wǎng)絡(luò)（UNet）提出DRUNet降噪網(wǎng)絡(luò)，同時(shí)也將噪聲水平映射圖融入到網(wǎng)絡(luò)的輸入中，使得網(wǎng)絡(luò)處理不同噪聲水平圖像更具靈活性。近幾年來(lái)，首次在自然語(yǔ)言處理領(lǐng)域提出，擁有更大感受視野、能夠捕獲長(zhǎng)距離像素點(diǎn)之間信息的Transformer網(wǎng)絡(luò)結(jié)構(gòu)在引入到圖像處理領(lǐng)域后迅速取得了巨大成功［15，16］。例如，Liang等人［15］提出的SwinIR降噪網(wǎng)絡(luò)，其主要由淺層特征提取、深度特征提取和高質(zhì)量圖像重建三個(gè)主要部分構(gòu)成。其中：淺層特征提取部分采用卷積層對(duì)輸入圖像提取淺層特征并直接傳輸?shù)街亟K，以保留低頻信息；深度特征提取部分則主要由殘差Swin-Transformer塊（residual Swin-Transformer block，RSTB）組成，每個(gè)RSTB塊又利用多個(gè)Swin-Transformer層進(jìn)行局部注意和跨窗口交互，以增強(qiáng)特征表示能力；在高質(zhì)量圖像重建部分對(duì)淺層特征和深度特征進(jìn)行融合，得到降噪圖像。SwinIR具有優(yōu)秀的性能和廣泛的運(yùn)用場(chǎng)景，在圖像降噪任務(wù)中取得了較好的效果，但由于需要進(jìn)行跨窗口交互，導(dǎo)致該網(wǎng)絡(luò)的執(zhí)行時(shí)間較長(zhǎng)。Zamir等人［16］提出的Restormer降噪網(wǎng)絡(luò)則以其高效性著稱，該網(wǎng)絡(luò)采用多深度可分離卷積頭轉(zhuǎn)換注意力（multi-dconv head transposed attention，MDTA）與門(mén)深度可分離卷積前向反饋網(wǎng)絡(luò)（gated-dconv feed-forward network，GDFN）組成Transformer模塊，并采用U型網(wǎng)絡(luò)結(jié)構(gòu)搭建網(wǎng)絡(luò)。Restormer網(wǎng)絡(luò)在執(zhí)行效率上遠(yuǎn)超SwinIR網(wǎng)絡(luò)，并且在網(wǎng)絡(luò)性能上也領(lǐng)先于大部分降噪網(wǎng)絡(luò)。除此之外，文獻(xiàn)［26］提出了采用編碼解碼器（encoder-decoder）結(jié)構(gòu)的Uformer網(wǎng)絡(luò)，該網(wǎng)絡(luò)的基本模塊是局部加強(qiáng)窗口（local-enhanced window）Transformer，其由非重疊窗口自注意力模塊（non-overlapping window-based self-attention module）與加入了深度卷積（depth-wise convolution，Dwconv）層的前向反饋網(wǎng)絡(luò)（feed-forward network，F(xiàn)FN）組成，取得了較好的降噪效果?？偟膩?lái)說(shuō)，相較于傳統(tǒng)降噪算法，基于深度學(xué)習(xí)實(shí)現(xiàn)的有監(jiān)督降噪模型雖然有性能優(yōu)勢(shì)，但其需要海量的噪聲-清晰圖像數(shù)據(jù)集訓(xùn)練才能保障其泛化能力，而獲取訓(xùn)練模型所需的數(shù)據(jù)集是一項(xiàng)非常耗時(shí)且單調(diào)的工作。因此，有監(jiān)督降噪模型大多在有限規(guī)模的數(shù)據(jù)集合上完成訓(xùn)練，這導(dǎo)致這類降噪模型一般存在所謂的數(shù)據(jù)偏向（data bias）問(wèn)題，即其在處理與訓(xùn)練時(shí)使用噪聲圖像類型或噪聲強(qiáng)度不同的噪聲圖像時(shí)性能會(huì)有所降低。

為了解決有監(jiān)督圖像降噪模型的數(shù)據(jù)集依賴與靈活性較差等問(wèn)題，許多無(wú)監(jiān)督深度學(xué)習(xí)降噪模型被提出。例如2018年Lehtinen等人［17］提出的Noise2Noise降噪模型就是早期代表性工作之一。Noise2Noise擺脫了使用大量清晰-噪聲圖像對(duì)作為網(wǎng)絡(luò)訓(xùn)練圖像的約束，提出僅需大量不同的噪聲-噪聲（noise-noise）圖像對(duì)就可以完成網(wǎng)絡(luò)的訓(xùn)練。雖然Noise2Noise降噪模型無(wú)須清晰圖像就可以完成網(wǎng)絡(luò)訓(xùn)練，但其依然需要大量不同的噪聲圖像。在某些情況下，例如樣本圖像較少或獲取當(dāng)前場(chǎng)景下的噪聲圖像存在一定困難時(shí)，Noise2Noise模型的性能就會(huì)受到限制。受Noise2Noise啟發(fā)，2019年Krull等人［18］提出Noise2Void降噪模型，在卷積模塊上添加盲點(diǎn)（blind-spot），在計(jì)算卷積結(jié)果時(shí)忽略掉像素中心點(diǎn)值，無(wú)須噪聲圖像對(duì)，僅利用噪聲圖像就可以完成訓(xùn)練，進(jìn)一步降低了對(duì)數(shù)據(jù)集的依賴性。2022年Huang等人［21］提出的Neighbor2Neighbor方法則進(jìn)一步對(duì)Noise2Void方法進(jìn)行了改進(jìn)，雖然也是僅利用噪聲圖像就可以完成訓(xùn)練，但其通過(guò)基于相鄰像素點(diǎn)實(shí)現(xiàn)的下采樣方法得到子圖像，并使用子圖像構(gòu)造損失函數(shù)完成網(wǎng)絡(luò)訓(xùn)練，獲得了比Noise2Void更好的性能。Ulyanov等人［22］提出的深度圖像先驗(yàn)（deep image prior，DIP）降噪模型則與上述降噪模型不同，雖然DIP與上述降噪模型都是無(wú)監(jiān)督深度學(xué)習(xí)降噪模型，但DIP模型開(kāi)創(chuàng)性地利用深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)本身作為隱式正則約束，僅將需要處理的單張?jiān)肼晥D像作為網(wǎng)絡(luò)學(xué)習(xí)的目標(biāo)圖像（target image），就可以完成圖像降噪。DIP模型在處理降噪問(wèn)題時(shí)非常靈活，其網(wǎng)絡(luò)輸入是隨機(jī)生成的，降噪過(guò)程是通過(guò)不斷迭代調(diào)整網(wǎng)絡(luò)參數(shù)，利用深度網(wǎng)絡(luò)強(qiáng)大的非線性映射能力讓網(wǎng)絡(luò)輸出圖像逼近給定的噪聲圖像。因此，所獲得的降噪模型其實(shí)是與給定單張?jiān)肼晥D像特定相關(guān)的。這種降噪網(wǎng)絡(luò)在圖像的一些區(qū)域能夠更好地保護(hù)細(xì)節(jié)信息，泛化能力強(qiáng)，特別適合缺乏訓(xùn)練數(shù)據(jù)的應(yīng)用場(chǎng)景。然而，由于其網(wǎng)絡(luò)模型正是與噪聲圖像特定相關(guān)，故其模型參數(shù)是不能復(fù)用的，每次降噪均需要重新訓(xùn)練。一般情況下，需要經(jīng)過(guò)至少上千次的迭代才能達(dá)到最優(yōu)的降噪效果，且如果不及時(shí)終止迭代進(jìn)程，網(wǎng)絡(luò)輸出圖像最終將與目標(biāo)圖像相同，從而導(dǎo)致出現(xiàn)過(guò)擬合的問(wèn)題。

為解決上述問(wèn)題，近年來(lái)研究者們提出了一系列DIP改進(jìn)算法。例如，徐少平等人［27］在2022年提出了一種名為IDIP的改進(jìn)算法，對(duì)DIP的網(wǎng)絡(luò)結(jié)構(gòu)、網(wǎng)絡(luò)輸入和Loss函數(shù)三個(gè)方面進(jìn)行了改進(jìn)。具體來(lái)說(shuō)，將網(wǎng)絡(luò)結(jié)構(gòu)中的簡(jiǎn)單連接改進(jìn)為復(fù)雜連接，有利于特征信息的調(diào)制與傳遞；將網(wǎng)絡(luò)輸入的隨機(jī)張量改進(jìn)為初始降噪圖像，有利于加快網(wǎng)絡(luò)的收斂速度；在只有噪聲圖像的Loss函數(shù)上增加了初始降噪圖像作為第二目標(biāo)圖像，有利于提升Loss函數(shù)的導(dǎo)向能力。經(jīng)過(guò)這些改進(jìn)，IDIP降噪模型的降噪性能和執(zhí)行效率已經(jīng)有了一定的提高。為了進(jìn)一步提升IDIP的性能，徐少平等人［28］在2024年提出了一種更為高效的名為DCDIP的改進(jìn)降噪模型，與IDIP僅僅新增了一張初始降噪圖像作為目標(biāo)圖像不同，DCDIP改進(jìn)為雙通道的模型，并選擇了FFDNet和BM3D兩張初始降噪圖像參與目標(biāo)圖像的構(gòu)建，進(jìn)一步提高目標(biāo)圖像之間的互補(bǔ)性。其中，第一通道的目標(biāo)圖像為FFDNet初始降噪圖像和噪聲圖像，第二通道的目標(biāo)圖像為BM3D初始降噪圖像和噪聲圖像，讓DIP在迭代的過(guò)程中分別逼近兩個(gè)通道的目標(biāo)圖像，再將兩張生成圖像進(jìn)行融合，從而進(jìn)一步提升了DIP的降噪效果。盡管如此，DIP降噪算法采用固定迭代步數(shù)的問(wèn)題仍然沒(méi)有解決。為此，本文提出了一種改進(jìn)的快速的深度圖像先驗(yàn)降噪模型（improved accelerated deep image prior-based denoising model，IADIP）。具體地，首先利用若干主流降噪算法處理給定的噪聲圖像獲得多個(gè)降噪后圖像（稱為預(yù)處理圖像），然后將預(yù)處理圖像聯(lián)接后用于替換DIP降噪模型的原本的隨機(jī)輸入張量，并且這些預(yù)處理圖像配合噪聲圖像同時(shí)作為DIP降噪模型的目標(biāo)圖像（構(gòu)成多目標(biāo)圖像）。由于預(yù)處理圖像聯(lián)接后的圖像與目標(biāo)圖像之間的差距相對(duì)較小，網(wǎng)絡(luò)在收斂迭代時(shí)能夠展現(xiàn)出更快的速度，所以直接使用初始降噪圖像作為網(wǎng)絡(luò)輸入能夠提升網(wǎng)絡(luò)執(zhí)行效率。其次，將DIP降噪模型中的4層UNet骨干網(wǎng)絡(luò)簡(jiǎn)化為1層結(jié)構(gòu)，以減少單此迭代訓(xùn)練所需要的時(shí)間，由于網(wǎng)絡(luò)的輸入選用的是高質(zhì)量的多個(gè)初始降噪圖像的融合圖像，與目標(biāo)圖像之間的差距較小，所以淺層次的網(wǎng)絡(luò)就足以完成降噪任務(wù)。最后，提出一種快速偽有參考圖像質(zhì)量度量用于監(jiān)測(cè)DIP迭代訓(xùn)練降噪過(guò)程中網(wǎng)絡(luò)輸出圖像的圖像質(zhì)量變化，根據(jù)預(yù)設(shè)條件自適應(yīng)終止迭代訓(xùn)練過(guò)程，以期達(dá)到在最短時(shí)間內(nèi)獲得最優(yōu)降噪效果的目標(biāo)。大量的實(shí)驗(yàn)結(jié)果表明：在各類基準(zhǔn)測(cè)試圖像集合上，所提出的IADIP降噪模型的降噪效果優(yōu)于當(dāng)前主流的降噪模型，在繼續(xù)保留原DIP模型泛化能力強(qiáng)、實(shí)用性好的基礎(chǔ)上，顯著地提升了執(zhí)行效率。

1 DIP降噪模型

1.1 DIP模型簡(jiǎn)介

DIP降噪模型是Ulyanov等人［22］在2018年提出的一種基于深度學(xué)習(xí)的無(wú)監(jiān)督圖像降噪算法。一般而言，基于給定的噪聲圖像y來(lái)獲取關(guān)于無(wú)失真圖像x的最佳估計(jì)圖像的問(wèn)題可以轉(zhuǎn)換為求解以下定義的最小化問(wèn)題：

=minx E（x，y）+R（x）

（1）

其中：E（x，y）是保真項(xiàng)；R（x）是正則項(xiàng)。保真項(xiàng)E（·，·）主要用于確保圖像與噪聲圖像y接近，從而限定圖像搜索的圖像空間范圍。正則項(xiàng)R（·）則通過(guò)利用圖像的各種先驗(yàn)知識(shí)來(lái)構(gòu)建約束條件，使得圖像在具有較少噪聲的同時(shí)保持其最佳的自然性。在DIP降噪算法中，其關(guān)鍵技術(shù)在于利用深度卷積神經(jīng)網(wǎng)絡(luò)fθ（·）對(duì)圖像I進(jìn)行參數(shù)化處理，即I=fθ（z）。其中，z代表隨機(jī)生成的張量，它作為神經(jīng)網(wǎng)絡(luò)的輸入，I代表待參數(shù)化的圖像，θ是網(wǎng)絡(luò)參數(shù)值的集合。具體而言，DIP降噪模型通過(guò)以下公式實(shí)現(xiàn)對(duì)式（1）的近似求解（舍去了R（x）正則項(xiàng)）：

θ*=argminθ E（fθ（z）;y），=fθ（z）

（2）

深度網(wǎng)絡(luò)模型f通過(guò)不斷地調(diào)整網(wǎng)絡(luò)參數(shù)值θ，使得網(wǎng)絡(luò)的輸出圖像fθ（z）不斷逼近噪聲圖像y。在某一個(gè)迭代步數(shù)所對(duì)應(yīng)網(wǎng)絡(luò)參數(shù)θ*的作用下，輸出圖像=fθ（z）不僅與噪聲圖像y保持較高的相似度，而且圖像中的噪聲得到了有效抑制。此時(shí)，以隨機(jī)張量z在f（網(wǎng)絡(luò)參數(shù)值θ*）的作用下所得到的網(wǎng)絡(luò)輸出圖像，被視為對(duì)無(wú)失真圖像的最佳估計(jì)。總的來(lái)說(shuō)，DIP降噪模型默認(rèn)采用4層上下采樣的UNet結(jié)構(gòu)，以隨機(jī)噪聲z作為網(wǎng)絡(luò)輸入，將噪聲圖像y作為網(wǎng)絡(luò)輸出圖像擬合的目標(biāo)圖像。如圖1所示，DIP降噪模型是在逼近目標(biāo)圖像y的迭代訓(xùn)練過(guò)程中實(shí)現(xiàn)降噪的，它無(wú)須依賴大量數(shù)據(jù)進(jìn)行訓(xùn)練，采用早停策略獲得關(guān)于無(wú)失真圖像x的最佳估計(jì)圖像（即早停時(shí)的網(wǎng)絡(luò)輸出圖像）。

1.2 缺陷分析

DIP降噪模型僅用單張?jiān)肼晥D像即可完成降噪任務(wù)，很大程度上緩解了有監(jiān)督降噪模型所固有的數(shù)據(jù)偏向問(wèn)題，這賦予了它較高的靈活性。同時(shí)，DIP無(wú)須大量噪聲圖像構(gòu)成訓(xùn)練集，從而顯著降低了實(shí)際應(yīng)用數(shù)據(jù)的收集難度，更具實(shí)用性。然而，DIP降噪模型的降噪性能存在較大的改進(jìn)空間。主要體現(xiàn)在以下三個(gè)方面：

a）以低質(zhì)的噪聲圖像作為目標(biāo)圖像，嚴(yán)重制約了降噪性能。DIP降噪模型是以噪聲圖像作為目標(biāo)圖像，在持續(xù)逼近目標(biāo)圖像的迭代訓(xùn)練過(guò)程中實(shí)現(xiàn)對(duì)圖像的降噪。因噪聲圖像自身所含噪聲較多（偏離清晰圖像較遠(yuǎn)），使得DIP網(wǎng)絡(luò)輸出圖像搜索的圖像空間（image space）范圍過(guò)大，這不但降低了模型的執(zhí)行效率，而且導(dǎo)致網(wǎng)絡(luò)輸出圖像往往含有噪聲成分，從而導(dǎo)致降噪效果下降。所以本文提出將高質(zhì)量的預(yù)處理圖像也作為目標(biāo)圖像的一部分，增強(qiáng)對(duì)輸出圖像的約束，從而縮小圖像空間搜索范圍。

b）DIP網(wǎng)絡(luò)默認(rèn)采用4層上下采樣UNet，通常完成一張圖像的降噪至少需要迭代幾千次，因此網(wǎng)絡(luò)參數(shù)迭代更新的代價(jià)較高，其執(zhí)行時(shí)間遠(yuǎn)超有監(jiān)督降噪模型定長(zhǎng)的執(zhí)行時(shí)間。所以本文在3.2節(jié)中針對(duì)不同網(wǎng)絡(luò)層數(shù)對(duì)IADIP算法的降噪效果和執(zhí)行效率進(jìn)行了消融實(shí)驗(yàn)，并依據(jù)消融實(shí)驗(yàn)結(jié)果決定將4層的UNet簡(jiǎn)化為1層的UNet。

c）DIP降噪模型中采用固定迭代次數(shù)早停機(jī)制，在處理不同噪聲特征的圖像時(shí)，并不能確?？偰苓_(dá)到最佳的降噪效果。這一局限性源于每張?jiān)肼晥D像的內(nèi)容和噪聲模式并無(wú)共性內(nèi)容。DIP在迭代訓(xùn)練過(guò)程中，若迭代被過(guò)早終止，可能導(dǎo)致輸出圖像中高頻噪聲未被充分抑制。若迭代過(guò)程持續(xù)過(guò)長(zhǎng)，模型可能會(huì)過(guò)度擬合噪聲。因此，采用固定的迭代步數(shù)并不總能獲得最佳的降噪效果。有時(shí)，過(guò)多的迭代次數(shù)不但使得降噪效果變差，而且所需的執(zhí)行時(shí)間也變長(zhǎng)。所以本文在2.5節(jié)中提出了一種對(duì)于不同圖像均能實(shí)現(xiàn)自動(dòng)早停的度量，從而在獲得最優(yōu)降噪效果的情況下進(jìn)一步縮短了執(zhí)行時(shí)間。

2 IADIP降噪模型

2.1 實(shí)驗(yàn)觀察

經(jīng)典的DIP降噪模型采用固定的迭代步數(shù)實(shí)現(xiàn)早停。這一策略雖然實(shí)現(xiàn)簡(jiǎn)單，但不能保證降噪模型獲得最佳的降噪效果，并且有可能導(dǎo)致執(zhí)行效率降低。這里可能出現(xiàn)兩種情況：a）過(guò)迭代，在固定迭代步數(shù)之前，DIP模型已經(jīng)達(dá)到最佳的效果，故采用固定迭代步數(shù)導(dǎo)致了不必要的迭代更新，不但執(zhí)行效率降低，降噪效果也降低了（已經(jīng)過(guò)擬合了）；b）欠迭代，DIP模型在未達(dá)到最優(yōu)的效果的情況下，就因采用固定迭代次數(shù)的早停策略而退出迭代更新過(guò)程，這會(huì)導(dǎo)致降噪效果不是最優(yōu)的。為了更好地說(shuō)明這一問(wèn)題，在經(jīng)典的Set12數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)。實(shí)驗(yàn)選用了DIP降噪模型，并設(shè)定了足夠多的迭代步數(shù)（8 000步）。在此范圍內(nèi)，以1 000步為間隔，詳細(xì)記錄了從1 000～8 000步不同迭代步數(shù)下12張降噪后圖像的平均PSNR值。同時(shí)，還特別記錄了迭代過(guò)程中各張圖像所能獲得的PSNR最優(yōu)值，如表1所示。由表1中的數(shù)據(jù)可以發(fā)現(xiàn)，若采用固定迭代步數(shù)的早停策略，應(yīng)采用2 000步作為終止迭代步數(shù)。其實(shí)，在實(shí)際應(yīng)用中，因各個(gè)圖像集合存在差異性，并不是在所有的圖像集合上，將迭代步數(shù)設(shè)置為2 000總能獲得最優(yōu)的降噪結(jié)果。另外，整個(gè)迭代過(guò)程中，所能獲得的最優(yōu)降噪效果卻能達(dá)到28.95 dB，高出采用固定迭代步數(shù)早停策略0.61 dB，差距顯著。這一結(jié)果表明：在DIP降噪模型中，固定迭代步數(shù)的方法與理想最優(yōu)迭代步數(shù)下的降噪效果存在顯著差異。鑒于此，有必要設(shè)計(jì)一種更為靈活的早停機(jī)制，以便在優(yōu)化訓(xùn)練過(guò)程中能夠自動(dòng)判斷并選擇在適當(dāng)?shù)牟綌?shù)停止迭代。這種機(jī)制將有助于提高DIP降噪算法的性能和效率，使其在實(shí)際應(yīng)用中能夠更好地適應(yīng)不同圖像和噪聲條件。

2.2 基本思想

之前的研究工作已經(jīng)表明，網(wǎng)絡(luò)輸入、網(wǎng)絡(luò)和損失函數(shù)三個(gè)方面均對(duì)DIP網(wǎng)絡(luò)的降噪效果有影響［27］。本文在之前的研究基礎(chǔ)上，基于上文對(duì)DIP降噪模型的缺陷分析以及實(shí)驗(yàn)觀察，為提升DIP模型的降噪性能（其中，著力顯著提升其執(zhí)行效率，進(jìn)一步提升降噪效果），具體從以下兩個(gè)方面提升其降噪效率：a）使用具有較高圖像質(zhì)量的預(yù)處理圖像同時(shí)作為網(wǎng)絡(luò)輸入和目標(biāo)圖像。與之前的工作［27］不同，本文提出將DIP網(wǎng)絡(luò)輸出也改為多個(gè)預(yù)處理圖像。這樣可以使得DIP骨干網(wǎng)絡(luò)輸入和目標(biāo)圖像之間的差異不大，網(wǎng)絡(luò)映射難度顯著降低。這樣，僅需要1層上下采樣的UNet就可以完成映射任務(wù)，從而在長(zhǎng)達(dá)數(shù)千次的迭代訓(xùn)練中能極大減少參數(shù)更新所需的計(jì)算代價(jià)，進(jìn)而提升降噪效率。這是改善DIP降噪模型執(zhí)行效率的主要手段。b）設(shè)計(jì)DIP專業(yè)的自動(dòng)早停機(jī)制。本文致力于探索一種新的非固定迭代步數(shù)的自動(dòng)早停機(jī)制。從理論上講，確定哪一步停止的降噪效果最佳，關(guān)鍵在于對(duì)網(wǎng)絡(luò)輸出圖像質(zhì)量進(jìn)行檢測(cè)。若能精準(zhǔn)評(píng)估每一步輸出圖像的質(zhì)量，便可根據(jù)這些評(píng)價(jià)結(jié)果來(lái)確定最佳的迭代步數(shù)。在實(shí)際應(yīng)用場(chǎng)景中，因無(wú)參考（清晰）圖像可用，所以各種有參考的圖像質(zhì)量評(píng)價(jià)度量是無(wú)法使用的，只能選擇無(wú)參考圖像質(zhì)量評(píng)價(jià)度量。然而，現(xiàn)有的大多數(shù)無(wú)參考圖像質(zhì)量評(píng)價(jià)算法均不是為DIP降噪而設(shè)計(jì)的，執(zhí)行一次的時(shí)間非常長(zhǎng)，并不適合應(yīng)用在DIP長(zhǎng)達(dá)數(shù)千次的迭代訓(xùn)練中。為解決這個(gè)問(wèn)題，本文提出下采樣技術(shù)生成偽參考圖像，進(jìn)而構(gòu)建偽有參考圖像質(zhì)量評(píng)價(jià)度量，基于此度量可實(shí)現(xiàn)DIP降噪模型的自動(dòng)優(yōu)化早停。這是改善DIP降噪模型執(zhí)行效率的輔助手段。需要特別說(shuō)明的是：由于網(wǎng)絡(luò)的輸入和目標(biāo)圖像采用了多個(gè)具有較高圖像質(zhì)量的預(yù)處理圖像，使得DIP模型能在更小的圖像空間內(nèi)完成網(wǎng)絡(luò)輸出圖像搜索任務(wù)，從而為進(jìn)一步提升降噪效果打下基礎(chǔ)，能獲得比之前研究工作更好的降噪效果［27］。

2.3 網(wǎng)絡(luò)架構(gòu)

基于改進(jìn)思想，IADIP降噪模型整體網(wǎng)絡(luò)架構(gòu)的設(shè)計(jì)如圖2所示。首先，使用多個(gè)已有的主流互補(bǔ)的降噪算法對(duì)噪聲圖像y進(jìn)行降噪，獲得多個(gè)預(yù)處理圖像i（i=1，2，…，n），并通過(guò)concate操作對(duì)這些預(yù)處理圖像進(jìn)行拼接，作為網(wǎng)絡(luò)的輸入。隨后，使用1層UNet接收輸入圖像，并通過(guò)一次下采樣操作提取圖像中的有效信息，再通過(guò)一次上采樣操作重構(gòu)圖像。最后，通過(guò)損失函數(shù)對(duì)輸出圖像進(jìn)行調(diào)整，使其在迭代的過(guò)程中不斷逼近多個(gè)預(yù)處理降噪圖像與噪聲圖像，學(xué)習(xí)其中的有效信息。在迭代過(guò)程中，基于偽有參考圖像質(zhì)量評(píng)價(jià)度量的檢測(cè)結(jié)果，在達(dá)到合適的步數(shù)時(shí)（度量值不再降低時(shí)）及時(shí)停止迭代，以獲得最終的網(wǎng)絡(luò)輸出圖像作為降噪后圖像。

DIP降噪模型默認(rèn)以隨機(jī)張量作為網(wǎng)絡(luò)輸入，但這種隨機(jī)生成的張量缺乏關(guān)于降噪的先驗(yàn)信息，導(dǎo)致網(wǎng)絡(luò)在迭代更新參數(shù)以映射為高質(zhì)量輸出圖像時(shí)，搜索范圍相對(duì)較廣。若是以質(zhì)量更高的預(yù)處理圖像直接作為輸入，鑒于其與目標(biāo)圖像之間的差距相對(duì)較小，網(wǎng)絡(luò)在收斂迭代時(shí)能夠展現(xiàn)出更快的速度，因而直接使用預(yù)處理圖像作為網(wǎng)絡(luò)輸入能夠提升網(wǎng)絡(luò)執(zhí)行效率?？紤]到不同的圖像降噪方法在設(shè)計(jì)上所采用的策略不同，它們?cè)趫D像信息提取方面展現(xiàn)出互補(bǔ)性，這種互補(bǔ)性為降噪性能的提升提供了可能［27］。為了充分利用這種互補(bǔ)優(yōu)勢(shì)，本文在選擇輸入圖像時(shí)，采用了將多個(gè)預(yù)處理圖像提供給IADIP網(wǎng)絡(luò)的策略。該策略不僅能夠有效綜合多種降噪算法所得預(yù)處理圖像的優(yōu)點(diǎn)，還能夠更全面地提取和保留圖像的關(guān)鍵信息。因此，以多個(gè)預(yù)處理圖像（連接后）作為輸入圖像，不僅比使用隨機(jī)張量z縮短了迭代時(shí)間，還可以向網(wǎng)絡(luò)提供先驗(yàn)信息，為后續(xù)的圖像降噪處理奠定了堅(jiān)實(shí)基礎(chǔ)。

2.4 損失函數(shù)

IADIP降噪模型使用的損失函數(shù)為以下三個(gè)損失函數(shù)組合而成的混合損失函數(shù)Ltotal：a）使用其他降噪算法處理后的預(yù)處理圖像與輸出圖像之間的均方誤差構(gòu)建的Loss1；b）輸出圖像與噪聲圖像之間的均方誤差構(gòu)建的Loss2；c）輸出圖像的IE（information entropy）損失函數(shù)Loss3?；旌蠐p失函數(shù)Ltotal定義為

其中：Fout=F（X，θ）；p（Fout（i））是輸出圖像Fout中亮度值為i的概率。本文所使用的混合損失函數(shù)主要設(shè)計(jì)原理如下：a）為保留多個(gè)預(yù)處理圖像中共性的內(nèi)容（類似于投票機(jī)制），引入了第一個(gè)損失函數(shù)，其衡量了使用其他降噪算法處理后的預(yù)處理圖像與輸出圖像之間的均方誤差。通過(guò)最小化這個(gè)損失函數(shù)，能夠確保輸出圖像盡可能地同時(shí)接近多個(gè)預(yù)處理圖像，從而保留了共性內(nèi)容。因?yàn)檫@些共性內(nèi)容通常包含重要的圖像細(xì)節(jié)和結(jié)構(gòu)信息，為保障輸出圖像的圖像質(zhì)量打下了基礎(chǔ)。b）在獲得預(yù)處理圖像過(guò)程中，圖像部分內(nèi)容因降噪算法的原因，某些像素點(diǎn)的信息可能已經(jīng)模糊或丟失。為此，引入了第二個(gè)損失函數(shù)，它基于輸出圖像與噪聲圖像之間的均方誤差。噪聲圖像中并不是所有的像素點(diǎn)均受到破壞，其中一些像素點(diǎn)可能并沒(méi)有受到噪聲的破壞（或者破壞得不是很嚴(yán)重，甚至優(yōu)于預(yù)處理圖像中的像素點(diǎn)質(zhì)量），通過(guò)在輸出圖像與噪聲圖像之間構(gòu)建損失項(xiàng)，可以充分利用噪聲圖像中有用的信息，從而提高降噪效果。c）MSE損失函數(shù)無(wú)法考慮到人眼對(duì)圖像的感知特性，它僅僅關(guān)注像素值之間的差異，而不考慮圖像的結(jié)構(gòu)、紋理等因素。IE損失函數(shù)更加關(guān)注蘊(yùn)藏在圖像紋理特征中的信息。所以引入了第三個(gè)損失函數(shù)，促使降噪算法保留圖像的細(xì)節(jié)和紋理信息，從而產(chǎn)生更具視覺(jué)效果的降噪結(jié)果。

2.5 自動(dòng)早停

為解決圖像質(zhì)量評(píng)價(jià)時(shí)缺乏參考圖像的問(wèn)題，本文采用下采樣技術(shù)試圖解決這一問(wèn)題，以實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)輸出圖像的質(zhì)量評(píng)估。其工作原理在于：若圖像存在較多噪聲，則會(huì)導(dǎo)致相鄰像素點(diǎn)亮度值之間存在差異，從而在下采樣后，兩張圖像之間的差異比較明顯；反之，則下采樣后的兩張圖像近似于相同。所以，僅需要利用一張給定的待度量的網(wǎng)絡(luò)輸出圖像，可以采用下采樣技術(shù)，通過(guò)比較其兩張下采樣圖像之間的差異程度來(lái)度量其噪聲殘留情況，從而實(shí)現(xiàn)對(duì)其圖像質(zhì)量的評(píng)價(jià)。具體地，使用的下采樣操作可以將某迭代步數(shù)時(shí)DIP網(wǎng)絡(luò)輸出圖像Fout分為兩個(gè)子圖像S1（Fout）和S2（Fout）。具體來(lái)說(shuō)：S1（Fout）是圖像Fout與k1卷積核進(jìn)行卷積操作得到的，即S1（Fout）=Foutk1；S2（Fout）是圖像Fout與k2卷積核進(jìn)行卷積操作得到的，即S2（Fout）=Foutk2。其中：

k1=120110

（7）

k2=121001

（8）

所提出的下采樣器結(jié)構(gòu)如圖3所示，通過(guò)將輸出圖像分別與卷積核k1、k2進(jìn)行卷積操作，得到兩個(gè)子采樣圖像S1（Fout）和S2（Fout），根據(jù)卷積核的定義，子采樣圖像上的像素是輸出圖像每個(gè)2×2區(qū)域?qū)蔷€像素的平均值。例如，輸出圖像右上角的像素A、B映射到子采樣圖像S1（Fout）中的右上角像素（A+B）/2。

理論上，所采用的下采樣技術(shù)僅涉及固定掩碼的卷積計(jì)算，這一特性賦予了其非常高的執(zhí)行效率?；诰W(wǎng)絡(luò)輸出圖像，可獲取兩張子圖像S1（Fout）和S2（Fout）。其中一張圖像可以認(rèn)為是參考圖像，這樣就可以構(gòu)建所提出的偽有參考圖像評(píng)價(jià)度量。為計(jì)算這兩張子圖像間的差異，本文直接選取了簡(jiǎn)潔且高效的MSE誤差，旨在避免不必要的時(shí)間開(kāi)銷。由此，本文所提出的早停度量（early stopping metric，ESM）定義如下：

ESM=MSE（S1（Fout），S2（Fout））

（9）

ESM度量可以用于量化降噪后圖像中殘留的噪聲水平。在每次迭代后，該度量值都會(huì)被計(jì)算并記錄下來(lái)，形成一個(gè)圖像質(zhì)量變化序列。經(jīng)過(guò)大量實(shí)驗(yàn)證明，當(dāng)ESM值在連續(xù)50步內(nèi)保持穩(wěn)定而不再降低時(shí)，迭代過(guò)程即被判定為可以停止。通過(guò)引入ESM作為DIP降噪模型的早停判斷依據(jù)，自動(dòng)早停策略得以實(shí)現(xiàn)。簡(jiǎn)而言之，ESM的提出使得針對(duì)不同噪聲圖像，均能夠自動(dòng)調(diào)整迭代次數(shù)，從而確保達(dá)到最佳的降噪效果，并且計(jì)算代價(jià)遠(yuǎn)小于主流的無(wú)參考圖像質(zhì)量評(píng)價(jià)算法［29～33］。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)內(nèi)容與配置

首先，為了測(cè)試IADIP降噪模型的執(zhí)行效率，本研究比較了采用不同層數(shù)UNet在固定迭代步數(shù)下的執(zhí)行效率，以驗(yàn)證采用1層的UNet是否能滿足降噪效果的前提下提升降噪效率，實(shí)驗(yàn)結(jié)果如表2所示。其次，為了全面評(píng)估所提出的早停度量ESM的性能，將其與5個(gè)廣泛使用的無(wú)參考圖像質(zhì)量評(píng)價(jià)度量（包括BRISQUE［29］、NIQE［30］、NRQM［31］、PI［32］和TReS［33］）進(jìn)行比較。最后，為了衡量IADIP降噪模型整體的降噪效果，在多個(gè)不同的基準(zhǔn)數(shù)據(jù)集（包括Set12、BSD68和Urban100）上進(jìn)行了全面的降噪效果對(duì)比，參與的主流圖像降噪算法包括BM3D［10］、DnCNN［13］、FFDNet［14］、DIP［22］、DAGL［34］、DeamNet［35］、SwinIR［15］和Restormer［16］共8種進(jìn)行對(duì)比分析。需要說(shuō)明的是：本文直接采用了5種降噪算法（BM3D、DnCNN、DAGL、DeamNet和Restormer）作為IADIP模型的預(yù)處理算法，所得到預(yù)處理圖像作為網(wǎng)絡(luò)輸入并參與損失函數(shù)的構(gòu)建。限于論文篇幅，本文不討論具體預(yù)處理降噪算法的選擇與組合優(yōu)化過(guò)程。此外，所有方法的實(shí)驗(yàn)均在相同的硬件平臺(tái)（IntelCoreTM i7-11700 @ 2.50 GHz，RAM 32.0 GB）和軟件環(huán)境（Windows 10操作系統(tǒng)）上完成，確保了實(shí)驗(yàn)條件的一致性和公平性。在代碼的運(yùn)行過(guò)程中，確保學(xué)習(xí)率恒定設(shè)置為0.01以保持優(yōu)化過(guò)程的穩(wěn)定性，損失函數(shù)中的超參數(shù)λ設(shè)置為0.06。

3.2 執(zhí)行時(shí)間比較

首先，為了測(cè)試使用不同層數(shù)的UNet作為骨干網(wǎng)絡(luò)，在Set12數(shù)據(jù)集合上采用固定迭代次數(shù)（迭代步數(shù)為3 000步）完成了實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明：采用1層網(wǎng)絡(luò)可以極大地提高執(zhí)行效率（提升了50%以上），而不影響其降噪效果。這主要得益于本文將網(wǎng)絡(luò)輸入和目標(biāo)圖像均改為具有較高圖像質(zhì)量的預(yù)處理圖像，這樣IADIP網(wǎng)絡(luò)完成網(wǎng)絡(luò)輸入與輸出之間的非線性映射難度大為降低，只用1層網(wǎng)絡(luò)結(jié)構(gòu)就可以完成映射任務(wù)，從而降低了網(wǎng)絡(luò)參數(shù)更新的計(jì)算代價(jià)，進(jìn)而提升了執(zhí)行效率。

其次，為了探究使用不同無(wú)參考圖像質(zhì)量評(píng)估度量與所提出ESM度量作為早停度量之間的差異，本文將ESM與一系列經(jīng)典的無(wú)參考圖像質(zhì)量評(píng)價(jià)度量進(jìn)行了對(duì)比分析。為了量化各度量在自動(dòng)早停策略下對(duì)最終輸出圖像性能的影響，本文統(tǒng)計(jì)了使用各度量用于早停后得到的輸出圖像的PSNR值，并整理于表3中。

根據(jù)表3中的數(shù)據(jù)可以觀察到，所提出的ESM評(píng)價(jià)度量與現(xiàn)有無(wú)參考評(píng)價(jià)度量在早停效果上沒(méi)有顯著差異。為了進(jìn)一步探究不同度量的執(zhí)行效率，本文對(duì)各個(gè)度量的計(jì)算時(shí)間進(jìn)行了測(cè)量。在測(cè)試過(guò)程中，選用了Set12數(shù)據(jù)集中大小為256×256（Monarch）和512×512（Lena）的兩張圖像，并將ESM度量與其他圖像質(zhì)量評(píng)價(jià)度量所需的時(shí)間列在表4中。由表4可知，NIQE、BRISQUE、NRQM、PI和TReS度量所需的時(shí)間顯著長(zhǎng)于ESM度量。其中，NRQM和PI度量所需的時(shí)間更是達(dá)到了ESM度量的上千倍。因此，使用通用的無(wú)參考圖像質(zhì)量評(píng)價(jià)度量作為早停度量會(huì)極大地降低DIP降噪算法的執(zhí)行效率。相比之下，所提出的ESM度量采用的實(shí)現(xiàn)策略則非常簡(jiǎn)潔，執(zhí)行時(shí)間非常短，適用于DIP多達(dá)數(shù)千次的迭代更新的應(yīng)用場(chǎng)景。因自動(dòng)早停策略而引入的額外計(jì)算量與網(wǎng)絡(luò)參數(shù)更新的計(jì)算代價(jià)相比，占比不大。需要說(shuō)明的是：盡管PSNR在實(shí)際應(yīng)用場(chǎng)景中無(wú)法使用，但在實(shí)驗(yàn)環(huán)境下可以衡量各種度量降噪性能。綜合考慮執(zhí)行效率和實(shí)際應(yīng)用需求，ESM度量應(yīng)用于DIP早停具有更好的潛力和實(shí)用性。另外，由于DIP輸出圖像的圖像質(zhì)量在迭代早期階段比較差，在實(shí)際應(yīng)用中，可以設(shè)置啟動(dòng)計(jì)算ESM值的迭代步數(shù)，早于該步驟的迭代過(guò)程中不進(jìn)行ESM度量值的計(jì)算，即在所謂初始（burn-in）階段不計(jì)算ESM，這樣可進(jìn)一步提升IADIP整體的執(zhí)行效率。

3.3 實(shí)際降噪效果對(duì)比

為了充分驗(yàn)證IADIP模型降噪效果的有效性，本文在主流數(shù)據(jù)集Set12和BSD68上進(jìn)行了全面的對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果已詳細(xì)列于表5和6中。表5詳細(xì)展示了在Set12數(shù)據(jù)集上，IADIP降噪模型與經(jīng)典降噪算法以及近期提出的降噪算法之間的性能對(duì)比。該表給出了在σ=15，σ=25，σ=50不同噪聲水平值下的實(shí)驗(yàn)結(jié)果。由表5中的數(shù)據(jù)可知：與經(jīng)典的BM3D算法相比，IADIP降噪模型的平均性能提升了約3.2 dB。同時(shí)，與新近提出的主流Restormer模型相比，IADIP模型也展現(xiàn)出了約2 dB的性能優(yōu)勢(shì)。這些結(jié)果充分證明了IADIP降噪模型的有效性。

除了對(duì)Set12圖像數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，還進(jìn)一步在經(jīng)典的BSD68數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果列于表6中。具體而言，在BSD68數(shù)據(jù)集上，與經(jīng)典的BM3D算法相比，IADIP降噪模型在平均性能上實(shí)現(xiàn)了約2.7 dB的顯著提升。與此同時(shí)，與主流Restormer降噪模型相比，IADIP模型也展現(xiàn)出了約1.9 dB的性能優(yōu)勢(shì)。實(shí)驗(yàn)結(jié)果進(jìn)一步驗(yàn)證了IADIP模型降噪效果的有效性，并展示了其在不同數(shù)據(jù)集上的泛化能力?？傊捎帽疚乃岢龅母倪M(jìn)措施，DIP降噪模型的執(zhí)行效率得到了顯著的提升，而降噪效果也達(dá)到并超過(guò)了當(dāng)前主流的降噪模型。

3.4 可視化效果對(duì)比

為了更直觀地展現(xiàn)IADIP算法與對(duì)比算法在降噪效果上的差異，本文對(duì)Set12數(shù)據(jù)集中的Couple圖像進(jìn)行了不同算法之間的視覺(jué)比較，并將結(jié)果展示在圖4中（見(jiàn)電子版）。圖中選取了兩個(gè)區(qū)域進(jìn)行放大展示。在紅框所示的女主人面部區(qū)域，DnCNN、FFDNet和DeamNet等算法的處理結(jié)果導(dǎo)致面部發(fā)生了扭曲，與原圖存在顯著差異。BM3D和DAGL算法雖然在一定程度上保持了面部結(jié)構(gòu)，但仍然存在局部失真的情況。而IADIP算法則能夠更準(zhǔn)確地恢復(fù)出與原圖相接近的面部細(xì)節(jié)，呈現(xiàn)出更為自然的視覺(jué)效果。另外，在藍(lán)框所示的計(jì)算器區(qū)域，原圖中的按鍵之間存在明顯的間隔。然而，在FFDNet、SwinIR和Restormer等多數(shù)對(duì)比算法中，這些間隔被模糊化，呈現(xiàn)出整片按鍵的視覺(jué)效果。相比之下，DAGL、DeamNet和IADIP算法能夠更好地保留這些間隔，使得圖像細(xì)節(jié)更為清晰。

此外，為了證明IADIP算法的可擴(kuò)展性，本文在Urban100數(shù)據(jù)集上隨機(jī)選取了一張圖像進(jìn)行視覺(jué)比較，并將結(jié)果展示在圖5中（見(jiàn)電子版）。圖中選取了兩個(gè)區(qū)域進(jìn)行放大展示。在紅框區(qū)域?yàn)榉孔油鈮γ娌糠?，BM3D、DnCNN和DIP等早期算法在處理過(guò)程中未能有效恢復(fù)出細(xì)節(jié)信息，導(dǎo)致圖像顯得較為模糊。DAGL和DeamNet算法雖然在一定程度上有所改進(jìn)，但仍存在局部失真的情況。相比之下，SwinIR和Restormer算法能夠恢復(fù)出一些細(xì)節(jié)，但有時(shí)會(huì)引入原圖中并不存在的線條，影響了圖像的準(zhǔn)確性。IADIP算法則能夠更為準(zhǔn)確地恢復(fù)出與原圖最接近的結(jié)果。在藍(lán)框所示的陽(yáng)臺(tái)護(hù)欄部分，原圖中清晰展示了U型的立體結(jié)構(gòu)。然而，在DnCNN和Restormer等多數(shù)對(duì)比算法中，這一區(qū)域的右側(cè)短欄桿并不清晰，使得整個(gè)結(jié)構(gòu)看起來(lái)更像是平面而非立體。在DAGL、DeamNet和IADIP算法中，則能夠更為清晰地呈現(xiàn)出護(hù)欄的立體結(jié)構(gòu)，使得圖像更為真實(shí)和準(zhǔn)確。綜上所述可以明顯看出，IADIP算法能夠更好地保留圖像細(xì)節(jié)并減少失真現(xiàn)象。

4 結(jié)束語(yǔ)

本文提出了一種被稱為IADIP的深度圖像先驗(yàn)改進(jìn)降噪模型。相較于傳統(tǒng)的DIP模型，通過(guò)改變網(wǎng)絡(luò)的輸入與輸出，顯著提升了整體的降噪性能。同時(shí)，通過(guò)網(wǎng)絡(luò)結(jié)構(gòu)的簡(jiǎn)化和引入自動(dòng)早停技術(shù)，不僅實(shí)現(xiàn)了降噪效果的提升，還顯著提高了模型的執(zhí)行效率。該模型執(zhí)行效率的提升主要?dú)w功于網(wǎng)絡(luò)結(jié)構(gòu)的簡(jiǎn)化，而其降噪效果的提升則源自多目標(biāo)圖像和自動(dòng)早停技術(shù)。未來(lái)，將探索改進(jìn)方法在諸如圖像超分辨率、去模糊等其他圖像處理任務(wù)中的應(yīng)用潛力。

參考文獻(xiàn)：

［1］Zhang Jie，Wang Fengxian，Zhang Huanlong，et al.Compressive sen-sing spatially adaptive total variation method for high-noise astronomical image denoising［J］.Visual Computer，2024，40（2）：1215-1227.

［2］Yang Chuansheng，Zhang Chao，Shen Haozhen，et al.HFAN：high-frequency attention network for hyperspectral image denoising［J］.International Journal of Machine Learning and Cybernetics，2024，15（3）：837-851.

［3］Jain A，Jalal A S.An effective image denoising approach based on denoising with image interpolation［C］//Proc of IEEE World Conference on Applied Intelligence and Computing.Piscataway，NJ：IEEE Press，2023：698-702.

［4］Feng Hansen，Wang Lizhi，Wang Yuzhi，et al.Learnability enhancement for low-light raw image denoising：a data perspective［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2024，46（1）：370-387.

［5］Ben-loghfyry A，Hakim A.A bilevel optimization problem with deep learning based on fractional total variation for image denoising［J］.Multimedia Tools and Applications，2024，83（10）：28595-28614.

［6］Shen Weihong.A novel conditional generative adversarial network based on graph attention network for moving image denoising［J］.Journal of Applied Science and Engineering，2023，26（6）：831-841.

［7］Gustafson L，Rolland C，Ravi N，et al.Facet：fairness in computer vision evaluation benchmark［C］//Proc of IEEE International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2023：20313-20325.

［8］Cai Ruojin，Tung J，Wang Qianqian，et al.Doppelgangers：learning to disambiguate images of similar structures［C］//Proc of IEEE International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2023：34-44.

［9］Buades A，Coll B，Morel J M.A non-local algorithm for image denoising［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2005：60-65.

［10］Dabov K，F(xiàn)oi A，Katkovnik V，et al.Image denoising by sparse 3-D transform-domain collaborative filtering［J］.IEEE Trans on Image Processing，2007，16（8）：2080-2095.

［11］Dong Weisheng，Zhang Lei，Shi Guangming，et al.Nonlocally centrali-zed sparse representation for image restoration［J］.IEEE Trans on Image Processing，2012，22（4）：1620-1630.

［12］Selesnick I，F(xiàn)arshchian M.Sparse signal approximation via nonseparable regularization［J］.IEEE Trans on Signal Processing，2017，65（10）：2561-2575.

［13］Zhang Kai，Zuo Wangmeng，Chen Yunjin，et al.Beyond a gaussian denoiser：residual learning of deep CNN for image denoising［J］.IEEE Trans on Image Processing，2017，26（7）：3142-3155.

［14］Zhang Kai，Zuo Wangmeng，Zhang Lei.FFDNet：toward a fast and flexible solution for CNN-based image denoising［J］.IEEE Trans on Image Processing，2018，27（9）：4608-4622.

［15］Liang Jingyun，Cao Jiezhang，Sun Guolei，et al.SwinIR：image restoration using swin transformer［C］//Proc of International Conference on Computer Vision Workshops.2021：1833-1844.

［16］Zamir S W，Arora A，Khan S，et al.Restormer：efficient transformer for high-resolution image restoration［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2022：5718-5729.

［17］Lehtinen J，Munkberg J，Hasselgren J，et al.Noise2Noise：learning image restoration without clean data［C］//Proc of the 35th International Conference on Machine Learning.2018：4620-4631.

［18］Krull A，Buchholz T O，Jug F.Noise2Void-learning denoising from single noisy images［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2019：2129-2137.

［19］Xu Jun，Huang Yuan，Cheng Ming ming，et al.Noisy-as-clean：lear-ning self-supervised denoising from corrupted image［J］.IEEE Trans on Image Processing，2020，29：9316-9329.

［20］Pang Tongyao，Zheng Huan，Quan Yuhui，et al.Recorrupted-to-Recorrupted：unsupervised deep learning for image denoising［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscata-way，NJ：IEEE Press，2021：2043-2052.

［21］Huang Tao，Li Songjiang，Jia Xu，et al.Neighbor2Neighbor：self-supervised denoising from single noisy images［C］//Proc of IEEE Confe-rence on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2021：14781-14790.

［22］Ulyanov D，Vedaldi A，Lempitsky V.Deep image prior［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Pisca-taway，NJ：IEEE Press，2018：9446-9454.

［23］He Kaiming，Zhang Xiangyu，Ren Shaoqing，et al.Deep residual lear-ning for image recognition［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2016：770-778.

［24］Li Yanghao，Wang Naiyan，Shi Jianping，et al.Adaptive batch normalization for practical domain adaptation［J］.Pattern Recognition，2018，80：109-117.

［25］Zhang Kai，Li Yawei，Zuo Wangmeng，et al.Plug-and-play image restoration with deep denoiser prior［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2021，44（10）：6360-6376.

［26］Wang Zhendong，Cun Xiaodong，Bao Jianmin，et al.Uformer：a general U-shaped transformer for image restoration［C］//Proc of IEEE Confe-rence on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2022：17662-17672.

［27］徐少平，李芬，陳孝國(guó)，等.一種利用改進(jìn)深度圖像先驗(yàn)構(gòu)建的圖像降噪模型［J］.電子學(xué)報(bào)，2022，50（7）：1573-1578.（Xu Shao-ping，Li Fen，Chen Xiaoguo，et al.An image denoising model using the improved deep image prior［J］.Acta Electronica Sinica，2022，50（7）：1573-1578.）

［28］徐少平，肖楠，羅潔，等.雙通道深度圖像先驗(yàn)降噪模型［J］.電子學(xué)報(bào)，2024，52（1）：58-68.（Xu Shaoping，Xiao Nan，Luo Jie，et al.Dual-channel deep image prior for image denoising［J］.Acta Electronica Sinica，2024，52（1）：58-68.）

［29］Mittal A，Moorthy A K，Bovik A C.No-reference image quality assessment in the spatial domain［J］.IEEE Trans on Image Processing，2012，21（12）：4695-4708.

［30］Mittal A，Soundararajan R，Bovik A C.Making a “completely blind” image quality analyzer［J］.IEEE Signal Processing Letters，2012，20（3）：209-212.

［31］Ma Chao，Yang C Y，Yang Xiaokang，et al.Learning a no-reference quality metric for single-image super-resolution［J］.Computer Vision and Image Understanding，2017，158：1-16.

［32］Blau Y，Mechrez R，Timofte R，et al.The 2018 PIRM challenge on perceptual image super-resolution［C］//Proc of European Conference on Computer Vision.2018.

［33］Golestaneh S A，Dadsetan S，Kitani K M.No-reference image quality assessment via transformers，relative ranking，and self-consistency［C］//Proc of IEEE Winter Conference on Applications of Computer Vision.Piscataway，NJ：IEEE Press，2022：3989-3999.

［34］Mou Chong，Zhang Jian，Wu Zhuoyuan.Dynamic attentive graph learning for image restoration［C］//Proc of IEEE International Confe-rence on Computer Vision.2021：4328-4337.

［35］Ren Chao，He Xiaohai，Wang Chuncheng，et al.Adaptive consistency prior based deep network for image denoising［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2021：8592-8602.