雙通道四元數(shù)卷積網(wǎng)絡(luò)去噪方法

曹義親，饒哲初，朱志亮,2+，萬 穗

1.華東交通大學(xué) 軟件學(xué)院，南昌330013

2.中國科學(xué)院 軟件研究所 計(jì)算機(jī)科學(xué)國家重點(diǎn)實(shí)驗(yàn)室，北京100190

3.重慶交通大學(xué) 交通運(yùn)輸學(xué)院，重慶400074

數(shù)碼相機(jī)拍攝的彩色圖像特別容易受到脈沖噪聲的污染。脈沖噪聲通常是由于相機(jī)傳感器在記錄過程中發(fā)生故障、光照變化、輸入異常、通信錯誤以及采集過程中的人為因素產(chǎn)生。噪聲可以理解為阻礙圖像觀測和信息提取的一種信號失真[1]，因此，有必要對圖像中的噪聲進(jìn)行去除和復(fù)原，以便對圖像進(jìn)行進(jìn)一步的處理和分析。脈沖噪聲可以分為兩大類[2]：定值噪聲（salt-pepper noise，SPN）[3]和隨機(jī)脈沖噪聲（random-valued impulse noise，RVIN）[4]。由于RVIN 會將圖像中的隨機(jī)像素替換為不包含任何原始像素信息[5]的隨機(jī)值，去除RVIN 比去除SPN 更具挑戰(zhàn)性。本文的研究重點(diǎn)是消除彩色圖像中的RVIN。

目前，去除彩色圖像中的RVIN方法大致有矢量濾波法、機(jī)器學(xué)習(xí)法和其他相關(guān)技術(shù)，如偏微分方程（partial differential equations，PDE）方法[6]、小波域方法[7]。

經(jīng)典的矢量濾波器有矢量中值濾波器（vector median filters，VMF）[8]、基本矢量方向?yàn)V波器（basic vector direction filter，BVDF）[9]和距離方向?yàn)V波器（directional distance filter，DDF）[10]。這些濾波器采用不同的矢量距離度量機(jī)制來對濾波窗口內(nèi)的彩色像素進(jìn)行排序后求中值，并用該中值對應(yīng)的彩色像素來代替濾波窗口中心的像素。很顯然，這種方式?jīng)]有考慮待處理像素是否被噪聲污染的問題，因此很容易導(dǎo)致圖像邊緣細(xì)節(jié)的丟失。針對這個問題，很多學(xué)者提出開關(guān)矢量中值濾波技術(shù)[11-13]，即先檢測像素是否被噪聲污染，再對噪聲像素進(jìn)行濾波處理。

由于計(jì)算機(jī)硬件在儲存和算力方面有了很大的提升，各類機(jī)器學(xué)習(xí)算法被用于圖像去噪，傳統(tǒng)的機(jī)器學(xué)習(xí)方法大部分使用支持向量機(jī)作為噪聲分類器[14]。其中，脈沖噪聲檢測依賴于支持向量機(jī)分類的性能。神經(jīng)網(wǎng)絡(luò)是另一種用于脈沖噪聲檢測的機(jī)器學(xué)習(xí)算法。Sa等人[15]首先計(jì)算PWMAD（pixel-wise median absolute deviation）特征和ROAD（rank-ordered absolute difference）特征，然后利用人工神經(jīng)網(wǎng)絡(luò)對這兩個統(tǒng)計(jì)特征組成的參數(shù)對進(jìn)行訓(xùn)練，得到最終的隨機(jī)脈沖噪聲分類器；Turkmen[16]使用ROAD（rapid object application development）和ROLD（rank-ordered logarithmic difference）作為人工神經(jīng)網(wǎng)絡(luò)的輸入來訓(xùn)練神經(jīng)脈沖噪聲檢測器。這些算法在圖像去噪方面有著較好的表現(xiàn)，但也存在缺陷，如測試階段需要優(yōu)化算法，需要手工選取特征、設(shè)置參數(shù)，不同去噪任務(wù)需要特定的模型。

隨著深度學(xué)習(xí)的快速發(fā)展，網(wǎng)絡(luò)結(jié)構(gòu)變得越來越靈活，許多基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法被提出用于圖像去噪，如DnCNN（denoising convolutional neural network）[17]、FFDNet（fast and flexible denoising network）[18]、UDNet（unprocessing denoising network）[19]和CBDNet（convolutional block-based denoising network）[20]。其中最具代表性的是DnCNN，結(jié)合了殘差學(xué)習(xí)和批量歸一化來恢復(fù)受損圖像。雖然DnCNN 是一種處理高斯噪聲的去噪模型，但它也可以用于處理其他的噪聲圖像。Radlak 等人[21]利用DnCNN 對彩色隨機(jī)脈沖噪聲圖像進(jìn)行降噪，實(shí)驗(yàn)結(jié)果表明，可以取得明顯優(yōu)于傳統(tǒng)濾波器的去噪效果。但DnCNN 在去噪過程中會處理圖像中的每個像素，即使部分像素是純凈像素，這就可能會在圖像中引入視覺偽影。為了克服這一缺陷，Radlak等人[22]進(jìn)一步提出一種使用深度學(xué)習(xí)（iterated dilated convolutional neural network，IDCNN）去除脈沖噪聲的開關(guān)濾波技術(shù)。與DnCNN不同的是，此方法使用改進(jìn)的DnCNN對噪聲像素進(jìn)行檢測，然后采用快速自適應(yīng)均值濾波器進(jìn)行恢復(fù)。Zhang 等人[23]也在DnCNN 的啟發(fā)下提出了一種深度CNN 去噪框架。這些基于CNN的方法都沒有有效地利用圖像的淺層卷積特征。基于此，Zhang等人[24]設(shè)計(jì)了迭代和跳躍的連接方式，并提出了殘差密集塊（residual dense block，RDB），通過密集連接卷積層提取豐富的局部特征?；跉埐蠲芗瘔K的圖像恢復(fù)方法雖然具有很好的視覺效果，但忽略了復(fù)雜背景中隱藏的關(guān)鍵特征。針對這一問題，Tian 等人[25]利用注意力機(jī)制對隱藏在復(fù)雜背景中的噪聲信息進(jìn)行深度挖掘，提出了一種基于注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)（attentionguided deformable convolutional network，ADNet）。

在彩色圖像處理任務(wù)時，CNN 中的卷積層一般采用多通道卷積核，通過將每個卷積核輸出的單通道卷積結(jié)果相加，得到多通道卷積結(jié)果。這種處理方式?jīng)]有充分考慮到色彩通道之間的光譜相關(guān)性，而四元數(shù)技術(shù)能很好地解決這個問題。Geng等人[26]和Wang等人[27]分別提出了四元數(shù)開關(guān)濾波器用于抑制脈沖噪聲，Jin 等人[28]提出了一種基于彩色距離度量機(jī)制的自適應(yīng)四元數(shù)矢量濾波器。

四元數(shù)卷積網(wǎng)絡(luò)雖然已有部分研究成果，但其在圖像去噪方面的作用還尚未被探索。受Radlak等人[21]的結(jié)論啟發(fā)，本文提出了一種雙通道四元數(shù)卷積網(wǎng)絡(luò)（dual-channel quaternion convolutional network，DQNet），用于去除彩色隨機(jī)脈沖噪聲。網(wǎng)絡(luò)首先利用基于擴(kuò)張卷積的結(jié)構(gòu)細(xì)節(jié)還原模塊從噪聲圖像中提取圖像的結(jié)構(gòu)和邊緣特征，其次利用基于四元數(shù)卷積的色彩信息保留模塊獲得跨通道的色彩信息。隨后將雙通道提取出的特征融合。最后本文設(shè)計(jì)了一種基于注意力機(jī)制的特征增強(qiáng)模塊來指導(dǎo)網(wǎng)絡(luò)去噪。實(shí)驗(yàn)結(jié)果表明，所提出的算法既可以較好地還原圖像結(jié)構(gòu)細(xì)節(jié)，又可以極大地保留色彩信息。

本文的主要貢獻(xiàn)在于：

（1）提出了一種基于擴(kuò)張卷積的結(jié)構(gòu)細(xì)節(jié)還原模塊，從給定的噪聲圖像中提取圖像的結(jié)構(gòu)和細(xì)節(jié)特征。

（2）提出了一種基于四元數(shù)卷積的色彩信息保留模塊，用于跨通道提取色彩信息。

（3）提出了一種雙通道四元數(shù)卷積網(wǎng)絡(luò)（DQNet）用于去除彩色隨機(jī)脈沖噪聲。

（4）在三個基準(zhǔn)數(shù)據(jù)集上證明了所提出的DQNet具有明顯優(yōu)于現(xiàn)有方法的去噪能力。

1 四元數(shù)卷積

四元數(shù)是Hamilton[29]提出的一種超復(fù)數(shù)。四元數(shù)可以用下面的公式表示：

式中，Q為四元數(shù)矩陣，r、x、y和z為實(shí)系數(shù)，i、j和k 為虛分量。r為實(shí)部，xi+yj+zk(i2=j2=k2=ijk=-1)為虛部。在四元數(shù)卷積中，兩個四元數(shù)矩陣的卷積計(jì)算可以表示為：

此公式也可用類似于矩陣乘法的方式來表示：

假設(shè)大小為L×L的彩色圖像，色彩空間為ZL×L。結(jié)合四元數(shù)的旋轉(zhuǎn)性質(zhì)，設(shè)計(jì)了四元數(shù)卷積核W=[]∈ZL×L用于色彩向量的縮放和旋轉(zhuǎn)，從而找到色彩空間的最佳表示。卷積核中的元素用公式表示為：

式中，θll′∈[-π,π]，sll′∈ZL×L，μ為具有單位長度的灰度軸。與四元數(shù)矩陣Qin的卷積過程如圖1所示。很顯然，四元數(shù)卷積充分考慮了通道之間的相關(guān)性，因此能夠用于彩色圖像色彩特征的提取。

圖1 四元數(shù)卷積層Fig. 1 Quaternion convolution layer

圖2為實(shí)值卷積和四元數(shù)卷積的區(qū)別[30]。如圖2所示，實(shí)值卷積將彩色圖像劃分為三個通道，并簡單地將卷積核輸出的對應(yīng)通道進(jìn)行合并。這種處理雖然在結(jié)構(gòu)細(xì)節(jié)還原方面表現(xiàn)良好，但沒有充分考慮到色彩通道之間的光譜相關(guān)性。而四元數(shù)卷積用四元數(shù)矩陣表示彩色圖像，將每個彩色像素視為一個四元數(shù)，以四元數(shù)矩陣作為卷積輸入，統(tǒng)一處理圖像的彩色三通道，使四元數(shù)卷積保持了色彩分量的完整性，自然地處理了色彩通道之間的復(fù)雜耦合。但是，由于四元數(shù)卷積是統(tǒng)一處理彩色三通道，對單個通道的結(jié)構(gòu)信息和邊緣細(xì)節(jié)的還原能力不如實(shí)值卷積。本文將充分利用四元數(shù)卷積和實(shí)值卷積的優(yōu)點(diǎn)，設(shè)計(jì)雙通道網(wǎng)絡(luò)結(jié)構(gòu)，將實(shí)值卷積和四元數(shù)卷積提取出的特征融合后用于后期的進(jìn)一步處理。

圖2 CNN和QCNN中卷積層的區(qū)別Fig. 2 Differences between CNN and QCNN on convolution layers

2 雙通道四元數(shù)卷積網(wǎng)絡(luò)

2.1 設(shè)計(jì)思路

本文提出的DQNet，由結(jié)構(gòu)細(xì)節(jié)還原模塊（structure detail restoration block，SDRB）、色彩信息保留模塊（color information retention block，CIRB）和基于注意力機(jī)制的特征增強(qiáng)模塊（feature enhancement block based on an attention mechanism，AFEB）組成，如圖3所示?；卩徲蛳袼赜兄谠肼晱?fù)原的先驗(yàn)知識，結(jié)合擴(kuò)張卷積[31]可以通過擴(kuò)大感受野的大小來提取像素的鄰域信息的優(yōu)勢，本文利用擴(kuò)張卷積構(gòu)造SDRB 來提取重要的結(jié)構(gòu)和邊緣特征。但由于其主要部分為實(shí)值卷積，丟失了大量的色彩信息。為此，本文提出了CIRB來進(jìn)一步提取色彩特征。CIRB主要由四元數(shù)卷積構(gòu)成。然而，四元數(shù)卷積將彩色三通道整合作為四元數(shù)矩陣統(tǒng)一處理，不能較好地還原圖像結(jié)構(gòu)細(xì)節(jié)信息。針對這一問題，本文提出使用雙通道網(wǎng)絡(luò)結(jié)構(gòu)，將色彩通道內(nèi)CIRB與結(jié)構(gòu)通道內(nèi)SDRB 提取出的特征融合。之后，本文提出使用AFEB來指導(dǎo)網(wǎng)絡(luò)進(jìn)行圖像去噪。AFEB通過長線連接充分利用網(wǎng)絡(luò)的全局與局部特征，并利用注意力機(jī)制提取隱藏在復(fù)雜背景中的潛在噪聲特征。最后，通過殘差學(xué)習(xí)完成整個去噪過程。

圖3 DQNet網(wǎng)絡(luò)結(jié)構(gòu)Fig. 3 Network architecture of proposed DQNet

2.2 網(wǎng)絡(luò)結(jié)構(gòu)

本文提出的網(wǎng)絡(luò)結(jié)構(gòu)具有34 層，如圖3 所示。假設(shè)IN、IR和ILC分別代表輸入的噪聲圖像、輸出的殘差圖像和潛在的干凈圖像。CIRB 可以用公式表示為：

式中，fCIRB表示的是CIRB的功能，OCIRB為CIRB的輸出。SDRB可以定義為：

式中，fSDRB表示的是SDRB的功能，OSDRB為SDRB的輸出。AFEB 的設(shè)計(jì)目的為結(jié)合網(wǎng)絡(luò)的全局和局部特征，其可用公示表示為：

式中，fAFEB表示的是AFEB 的功能。最后得到去噪結(jié)果的過程可用公式表示為：

2.3 色彩信息保留模塊

為了提取色彩信息，本文設(shè)計(jì)了CIRB 模塊，其主要組成部分為四元數(shù)卷積，具有較強(qiáng)的色彩特征提取能力。CIRB 共16 層，有Conv、QConv 和Dilated QConv+BN+ReLU三種類型。Dilated QConv為擴(kuò)張因子為2 的擴(kuò)張四元數(shù)卷積。CIRB 的第16 層為Conv，第2 層、第5 層、第9 層和第12 層為Dilated QConv+BN+ReLU，其余層為QConv。CIRB 中第1～15層的四元數(shù)卷積核大小為3×3×64，而第16層實(shí)值卷積核大小設(shè)置為3×3×3，目的是為了壓縮網(wǎng)絡(luò)參數(shù)，降低特征維度，便于后續(xù)的融合特征處理。通過使用四元數(shù)卷積和擴(kuò)張四元數(shù)卷積，CIRB 可以提高網(wǎng)絡(luò)保持色彩通道間光譜相關(guān)性的能力，極大地減少色彩信息的丟失。

2.4 結(jié)構(gòu)細(xì)節(jié)還原模塊

SDRB模塊共有16層，主要有Conv、Dilated Conv+BN+ReLU 和Conv+BN+ReLU三種類型。其中所有卷積層、卷積核的設(shè)置都與CIRB 相同。SDRB主要利用擴(kuò)張卷積與實(shí)值卷積相結(jié)合，在不增加網(wǎng)絡(luò)計(jì)算復(fù)雜度的同時，擴(kuò)大網(wǎng)絡(luò)的感受野，更好地從圖像中提取結(jié)構(gòu)和邊緣特征。

2.5 基于注意力機(jī)制的特征增強(qiáng)模塊

隨著網(wǎng)絡(luò)深度的增加，深層網(wǎng)絡(luò)的影響會逐漸減弱。為了解決這一問題，DQNet中使用了AFEB模塊進(jìn)行圖像去噪。在AFEB 中只有兩層卷積，首先，將雙通道網(wǎng)絡(luò)結(jié)構(gòu)輸出的6 維特征輸入卷積核設(shè)置為1×1×3 的第1 層Conv 中，目的是為了將其維度壓縮融合至三維，使特征既具有色彩信息，又含有結(jié)構(gòu)信息。隨后，通過長線連接將輸入噪聲圖像與第1層Conv 的輸出特征進(jìn)行矩陣拼接，充分利用全局和局部特征來增強(qiáng)去噪模型的表達(dá)能力。再利用激活函數(shù)Tanh 將得到的特征轉(zhuǎn)化為非線性特征，便于網(wǎng)絡(luò)訓(xùn)練收斂。最后，由于復(fù)雜圖像背景中容易隱藏噪聲的關(guān)鍵特征，可能會導(dǎo)致網(wǎng)絡(luò)收斂困難，去噪性能不佳。因此，采用注意力機(jī)制來指導(dǎo)網(wǎng)絡(luò)進(jìn)行圖像去噪。通過使用卷積層Conv 得到前33 層的輸出權(quán)重。權(quán)值越高，代表此特征對去噪網(wǎng)絡(luò)的作用越大。然后，利用得到的權(quán)值乘以第33層的輸出，提取更關(guān)鍵的潛在噪聲特征。

2.6 損失函數(shù)

提出的DQNet采用均方誤差（mean square error，MSE）訓(xùn)練去噪網(wǎng)絡(luò)。損失函數(shù)表達(dá)式如下：

式中，IN為噪聲圖像，IC為純凈圖像，IN-IC為噪聲分布，fDQNet(IN)為DQNet 預(yù)測的噪聲分布。n為每個訓(xùn)練輪次輸入的樣本數(shù)。

3 實(shí)驗(yàn)及結(jié)果分析

3.1 數(shù)據(jù)集設(shè)置

實(shí)驗(yàn)的訓(xùn)練集為Berkeley Segmentation Dataset（BSD500）[32]，隨機(jī)選取400張大小為481×321的圖像作為訓(xùn)練集，其余100張圖像作為驗(yàn)證集。訓(xùn)練集和驗(yàn)證集中的代表圖像如圖4所示。數(shù)據(jù)集Kodak24[33]、McMaster[34]和PolyU[35]則用作測試集。

圖4 訓(xùn)練集和驗(yàn)證集中的代表圖像Fig. 4 Representative images for training set and validation set

實(shí)驗(yàn)參數(shù)設(shè)定：批處理大小為64，epoch 為150，優(yōu)化器為Adam Optimizer。在訓(xùn)練期間，學(xué)習(xí)率設(shè)置為：0.001 00（1～30 epoch）、0.000 10（31～60 epoch）、0.000 01（61～150 epoch）。計(jì)算機(jī)的CPU配置為Intel Corei7，GPU 為GTX1080Ti*2，運(yùn)行內(nèi)存為11 GB，操作系統(tǒng)為Windows 10，在python3.6和pytorch深度學(xué)習(xí)框架上進(jìn)行實(shí)驗(yàn)。

3.2 噪聲模型及評價指標(biāo)

為了評價不同去噪方法的性能，需要對人工脈沖噪聲進(jìn)行建模，以模擬真實(shí)的脈沖噪聲。常用的脈沖噪聲模型是[36]：

式中，p表示像素被脈沖噪聲污染的概率，即噪聲等級。o(i,j)和x(i,j)分別為在(i,j)位置的純凈像素和像素值。n(i,j)是用0～255的隨機(jī)值替換原始像素中至少1 個色彩分量得到的噪聲像素。在本文實(shí)驗(yàn)中3個色彩分量都是獨(dú)立地受到脈沖噪聲的干擾。

為了評價去噪效果，本文使用了4種客觀數(shù)值測量準(zhǔn)則[35-37]，對所提出的算法和其他用于比較的算法進(jìn)行客觀評價。這4個指標(biāo)分別是峰值信噪比（peak signal-to-noise ratio，PSNR）、平均絕對誤差（mean absolute error，MAE）、歸一化色差（normalized color difference，NCD）和特征相似度（feature similarity index for image quality assessment，F(xiàn)SIMc）指數(shù)[38]。PSNR和MAE用于測量噪聲抑制和細(xì)節(jié)保留性能，而NCD用于量化色彩失真。這3個標(biāo)準(zhǔn)的計(jì)算公式為：

式中，H和W分別為圖像的高度和寬度，o(i,j)和y(i,j)分別代表純凈像素和處理后的(i,j)像素。oLAB(i,j)和yLAB(i,j)則分別為o(i,j)和y(i,j)在CIELAB 色彩空間內(nèi)的值。||·||2則代表L2正則化，||·||1即為L1正則化。而FSIMc 是一種基于特征相似性的度量方法。PSNR 越大，MAE、NCD 越小，F(xiàn)SIMc 值越接近1，表示該去噪方法去噪性能越好。

3.3 實(shí)驗(yàn)結(jié)果對比與分析

本文選擇在最接近人眼視覺感知的PSNR 和FSIMc 兩個指標(biāo)上與其他方法進(jìn)行定量分析。為了客觀地評價算法的去噪效果，選取了傳統(tǒng)濾波算法VMF（vector median filter）[8]、FPGFvmf（fast pixelwise guided filter with vector median filter）[11]、RSVMF（regularized subspace vector median filter）[12]、EDSVMF（edge-directed subspace vector median filter）[13]、HVF（hybrid vector filters）[39]、L0TV（L0 total variation）[40]、QDSVMF（quadratic data-driven subspace vector median filter）[41]、QBSF（quadratic bilevel sparse filtering）[27]、TSQSVF（two-stage quadratic sparse and smooth vector field）[42]、QLRD（quadratic low-rank decomposition）[43]、AWQD（adaptive weighted quantized decomposition）[28]和深度學(xué)習(xí)算法DnCNN（denoising convolutional neural network）[17]、FFDNet（fast and flexible denoising network）[18]、ADNet（attention-guided denoising network）[25]來進(jìn)行對比實(shí)驗(yàn)。

表1～表3 給出了當(dāng)隨機(jī)脈沖噪聲等級為0.15、0.25、0.35、0.50 時，在Kodak24、McMaster 和PolyU 上不同方法的PSNR 和FSIMc 平均值。從表中可以看出，在Kodak24 和McMaster 數(shù)據(jù)集上，DQNet 在PSNR和FSIMc方面相較于其他方法的去噪效果，表現(xiàn)最為優(yōu)異。在PolyU 數(shù)據(jù)集上，F(xiàn)FDNet 在噪聲等級為0.25時可以獲得最佳的PSNR值，而在其他噪聲等級的情況下，本文算法在PSNR和FSIMc上都達(dá)到了最佳值。通過總結(jié)表中給出的數(shù)值結(jié)果，可以得到以下結(jié)論：

表1 各算法在Kodak24數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果Table 1 Experimental results of each algorithm on Kodak24 dataset

（1）開關(guān)矢量濾波器（FPGFvmf、EDSVMF）、基于四元數(shù)的方法（QLRD、AWQD）、深度學(xué)習(xí)方法（DnCNN、FFDNet、ADNet）以及DQNet 均具有魯棒性，且優(yōu)于VMF等經(jīng)典濾波器。

（2）在所有方法中，L0TV 在p=0.15 和p=0.25之間的PSNR 差值最小，說明L0TV 對噪聲密度的敏感性低于其他方法。原因是L0TV 為基于數(shù)據(jù)保真度的正則化模型。雖然其他方法對噪聲密度更敏感，但它們均可以獲得比L0TV更好的效果值。

（3）基于四元數(shù)的QLRD、AWQD 濾波器的性能優(yōu)于其他濾波器。與基于四元數(shù)的方法相比，本文方法有明顯的改進(jìn)。這是因?yàn)镈QNet結(jié)合了深度學(xué)習(xí)技術(shù)和四元數(shù)理論，對彩色圖像處理更有效。

（4）深度學(xué)習(xí)方法（DnCNN、FFDNet、ADNet）和本文算法相較于其他傳統(tǒng)方法在中度或高度噪聲污染下獲得了更高的PSNR 和FSIMc 值。結(jié)果表明，神經(jīng)網(wǎng)絡(luò)在圖像去噪方面具有良好的性能。此外，本文方法優(yōu)于深度學(xué)習(xí)方法。這表明，該方法能有效提取通道間的色彩特征、結(jié)構(gòu)特征和邊緣特征。

（5）綜上所述，在PSNR 和FSIMc 這兩個客觀指標(biāo)上，與其他方法相比，所提方法具有明顯的性能改進(jìn)。

在定性分析方面，圖5～圖8給出了不同算法對4幅損壞圖像的恢復(fù)結(jié)果。圖像選自Kodak24 和Mc-Master 數(shù)據(jù)集，噪聲等級分別為0.15、0.35、0.50 和0.50。放大后的圖像越清晰，相應(yīng)的去噪算法就越有效。由于空間的限制，本文僅從性能良好的傳統(tǒng)方法中選擇了AWQD和TSQSVF。在低噪聲污染的情況下（圖5），所有深度學(xué)習(xí)方法都有很好的視覺效果。但AWQD和TSQSVF方法在籃筐邊緣細(xì)節(jié)處理方面較其他方法表現(xiàn)更差。在中等噪聲污染（p=0.35）的情況下（圖6），很明顯AWQD 和TSQSVF 是所有方法中邊緣細(xì)節(jié)處理最差的兩種方法。此外，還觀察到ADNet 的去噪圖像中存在彩色偽影的問題。在高噪聲污染（p=0.50）的情況下（圖7），提出的方法可以較好地去除噪聲，同時保留了圖像的邊緣、紋理和結(jié)構(gòu)細(xì)節(jié)，得到了最好的圖像質(zhì)量和視覺效果。圖8給出了本文方法與QDSVMF、QBSF、TSQSVF、QLRD和AWQD等傳統(tǒng)四元數(shù)去噪方法在處理被噪聲密度為0.50的隨機(jī)脈沖噪聲污染的鸚鵡圖像時的結(jié)果，該圖片來自Kodak24 數(shù)據(jù)庫。從圖8 可以看出，傳統(tǒng)四元數(shù)去噪方法得到的結(jié)果中仍然含有部分明顯的噪聲，并且細(xì)節(jié)保持得不是很好；DQNet能在很好地去除噪聲的同時保留圖像的邊緣和紋理等細(xì)節(jié)特征，去噪性能明顯優(yōu)于傳統(tǒng)四元數(shù)去噪方法。從圖中可以看出，DQNet 相較于對比算法更為出色，去噪圖像更接近原圖像，并且在高噪聲強(qiáng)度下最為明顯。在對比實(shí)驗(yàn)中使用的其他算法，去噪圖像中均存在偽影、失真以及殘余噪聲等各種不利情況。基于以上分析，可以得出DQNet 非常適合于彩色隨機(jī)脈沖噪聲圖像去噪。

圖5 Fruits圖像去噪結(jié)果Fig. 5 Denoised results on Fruits image

圖6 Woman圖像去噪結(jié)果Fig. 6 Denoised results on Woman image

圖7 Hats圖像去噪結(jié)果Fig. 7 Denoised results on Hats image

圖8 傳統(tǒng)四元數(shù)方法與本文方法的去噪結(jié)果Fig. 8 Denoised results gained by traditional quaternion methods and proposed method

在運(yùn)行時間方面，本文在實(shí)驗(yàn)中選取6種去噪方法測試在相同硬件環(huán)境下處理大小為481×321 和大小為500×500 的不同大小噪聲圖像的運(yùn)行時間。從表4 可以看出，本文算法的去噪速度位于第三，與DnCNN 和ADNet 算法的去噪耗時差別不大。結(jié)合上述分析數(shù)據(jù)，DQNet 在圖像去噪定量分析和定性分析中是非常突出的。與其他比較算法相比，在兩種不同圖像類型的數(shù)據(jù)集上的測試結(jié)果有了明顯的改善，具有更強(qiáng)的魯棒性。

表4 6種去噪算法的運(yùn)行時間Table 4 Running time of 6 denoising methods

3.4 消融實(shí)驗(yàn)

為了驗(yàn)證雙通道網(wǎng)絡(luò)結(jié)構(gòu)對噪聲去除是否具有改善效果，本文設(shè)計(jì)了僅含有CIRB的QANet（quaternionattention network）、僅含有SDRB 的ANet（AFEB network）和去除了AFEB 的CSNet（CIRB-SDRB network），如圖9、圖10 所示。QANet 和ANet 的實(shí)驗(yàn)訓(xùn)練設(shè)置與DQNet 相同，使用了Kodak24 和McMaster這兩個數(shù)據(jù)集作為測試集，根據(jù)PSNR和FSIMc這兩個客觀標(biāo)準(zhǔn)來測量ANet、QANet、CSNet 和提出的DQNet 的去噪性能。表5 給出了4 個網(wǎng)絡(luò)在測試集上的PSNR和FSIMc的平均值。

表5 在數(shù)據(jù)集Kodak24、McMaster上進(jìn)行消融實(shí)驗(yàn)的結(jié)果Table 5 Results of ablation experiments on Kodak24 and McMaster datasets

圖9 QANet網(wǎng)絡(luò)結(jié)構(gòu)Fig. 9 Network architecture of proposed QANet

圖10 ANet網(wǎng)絡(luò)結(jié)構(gòu)Fig. 10 Network architecture of proposed ANet

從實(shí)驗(yàn)結(jié)果可以看出，在不同的噪聲等級情況下，DQNet在PSNR和FSIMc評價指標(biāo)方面優(yōu)于ANet和QANet，這表明本文提出的基于結(jié)構(gòu)通道和色彩通道融合的策略是有效的。而對于CSNet，DQNet 在PSNR評價指標(biāo)方面得到的結(jié)果較低，但是DQNet在FSIMc評價指標(biāo)方面能夠取得更好的結(jié)果。這表明，AFEB 模塊能夠捕獲隱藏在復(fù)雜背景中的關(guān)鍵噪聲特征，進(jìn)一步有效地增強(qiáng)圖像的結(jié)構(gòu)特征。但是該模塊同時也會將部分噪聲像素當(dāng)作邊緣特征來進(jìn)行增強(qiáng)，從而降低網(wǎng)絡(luò)對噪聲抑制的性能，因此DQNet在PSNR 評價指標(biāo)方面的表現(xiàn)比沒有AFEB 模塊的CSNet差。

圖11 給出了Lena 和Door 圖片在噪聲等級p=0.50 時，不同消融實(shí)驗(yàn)的去噪結(jié)果。該結(jié)果可以進(jìn)一步在視覺分析方面驗(yàn)證本文提出網(wǎng)絡(luò)的有效性。從圖中可以看出，僅僅去除CIRB 模塊的ANet 網(wǎng)絡(luò)產(chǎn)生了許多明顯的色彩失真；僅僅去除了SDRB模塊的QANet 網(wǎng)絡(luò)丟失了邊緣細(xì)節(jié)和結(jié)構(gòu)信息，如Lena 上的睫毛和Door 上的紋路；本文提出的DQNet 明顯解決了這些問題，可以獲得最佳的去噪結(jié)果。這也證明采用基于結(jié)構(gòu)通道和色彩通道融合的策略設(shè)計(jì)的彩色隨機(jī)脈沖噪聲去噪網(wǎng)絡(luò)DQNet，可以在高噪聲密度的條件下保持較高的色彩還原能力和結(jié)構(gòu)細(xì)節(jié)保留能力。

4 結(jié)束語

為了更好去除隨機(jī)脈沖噪聲，本文結(jié)合實(shí)值卷積和四元數(shù)卷積的優(yōu)點(diǎn)，提出了一種基于注意力機(jī)制的雙通道去噪網(wǎng)絡(luò)模型DQNet。該模型能充分提取圖像的結(jié)構(gòu)和邊緣特征，并保留圖像色彩通道之間的光譜相關(guān)性。實(shí)驗(yàn)結(jié)果表明，所提出的DQNet對彩色圖像隨機(jī)脈沖噪聲去噪有很好的定量和定性評價效果。但是，與其他先進(jìn)算法相比，由于網(wǎng)絡(luò)深度過深，去噪耗時有待縮短。將在今后的工作中繼續(xù)研究這些問題，優(yōu)化模型結(jié)構(gòu)，調(diào)整參數(shù)設(shè)置，進(jìn)一步訓(xùn)練網(wǎng)絡(luò)模型，以達(dá)到更好的去噪性能。