基于雙殘差注意力網(wǎng)絡(luò)的ICMOS圖像去噪算法

王霞，張?chǎng)?，焦崗成，楊曄，程宏昌，延?/p>

（1 微光夜視技術(shù)重點(diǎn)實(shí)驗(yàn)室，西安 710065）

（2 北京理工大學(xué)光電學(xué)院光電成像技術(shù)與系統(tǒng)教育部重點(diǎn)實(shí)驗(yàn)室，北京 100081）

0 引言

微光夜視技術(shù)是為了研究在較低光照的條件下，將所采集到的圖像進(jìn)行增強(qiáng)，傳輸，儲(chǔ)存以及復(fù)現(xiàn)和應(yīng)用的光電技術(shù)，是近代光電子技術(shù)的重要組成部分。由于人眼的固有特性，當(dāng)環(huán)境的光照度比較低的時(shí)候，人眼只能觀察到物體的輪廓，對(duì)細(xì)節(jié)特征無法精確識(shí)別。增強(qiáng)型CCD/CMOS（Intensified CCD/CMOS，ICCD/ICMOS）是現(xiàn)有的應(yīng)用廣泛、工作照度很低的固體微光成像器件。ICCD/ICMOS 是由像增強(qiáng)器和CCD/CMOS 耦合而成。

雖然ICMOS 可以在微光夜視條件下成像，但像增強(qiáng)器在增強(qiáng)信號(hào)的同時(shí)也放大了噪聲的強(qiáng)度，導(dǎo)致獲取到的圖像隨機(jī)噪聲明顯，并且噪聲特性相較于傳統(tǒng)CMOS 成像的噪聲更為復(fù)雜。由于微通道板的引入，ICMOS 圖像噪聲并不是獨(dú)立同分布的，而是具有空間相關(guān)性的聚合狀隨機(jī)噪聲［1］。聚合狀噪聲破壞了圖像原有的結(jié)構(gòu)特征，這極大地增加了去噪的難度。

圖像去噪是底層計(jì)算機(jī)視覺領(lǐng)域研究的熱點(diǎn)問題?，F(xiàn)有的去噪算法可以分為以下幾大類：空域去噪算法、變換域去噪算法、基于稀疏表示的去噪算法、基于深度學(xué)習(xí)的去噪算法。空域去噪算法主要針對(duì)自然圖像噪聲在空間獨(dú)立同分布的特性，采用濾波的方式去除噪聲，如均值濾波、雙邊濾波［2］、非局部均值（Non-Local Median，NLM）［3］等，但這些方法并不適用于ICMOS 圖像中空間聚合狀的隨機(jī)噪聲。變換域去噪算法首先對(duì)噪聲圖像進(jìn)行特定的變換，然后根據(jù)變換域的特征以及噪聲的性質(zhì)，在變換域中對(duì)變換系數(shù)進(jìn)行處理，去除噪聲分量，保留信號(hào)分量，如傅里葉變換、小波變換［4］，塊匹配3D 濾波（Block-Matching and 3D filtering，BM3D）［5］等，其中BM3D 是公認(rèn)的效果最好的傳統(tǒng)去噪算法。這類方法通常認(rèn)為噪聲為高頻信息，圖像信號(hào)為低頻信息，但空間聚合噪聲不僅僅包括高頻信息，也存在低頻分量，所以變換域方法很難對(duì)該噪聲圖像進(jìn)行分離。稀疏表示的方法是將噪聲圖像通過某個(gè)過完備原子庫(kù)進(jìn)行稀疏表示，用若干個(gè)大信號(hào)來表示原始信號(hào)，利用稀疏性來將圖像和噪聲分離開，如奇異值分解［6］、可學(xué)習(xí)同步稀疏編碼（Learned Simultaneous Sparse Coding，LSSC）［7］、非局部集中稀疏表示（Nonlocally Centralized Sparse Representation，NCSR）［8］等。但這些方法在生成字典庫(kù)時(shí)計(jì)算量很大，效率很低。近年來，深度學(xué)習(xí)方法已經(jīng)廣泛應(yīng)用于圖像去噪領(lǐng)域。深度學(xué)習(xí)方法通過從大量的噪聲數(shù)據(jù)樣本中學(xué)習(xí)噪聲的分布特征，從而將噪聲和圖像信號(hào)分離。2012年，BURGER H C 等［9］發(fā)現(xiàn)簡(jiǎn)單的多層感知機(jī)就可以媲美BM3D 算法；ZHANG Kai 等［10］在2016年提出了一個(gè)端到端的去噪卷積神經(jīng)網(wǎng)絡(luò)（Denoising Convolutional Neural Networks，DnCNN），該網(wǎng)絡(luò)引入了殘差學(xué)習(xí)，從輸入圖像估計(jì)對(duì)應(yīng)的噪聲分布。隨后，在DnCNN 的基礎(chǔ)上，又提出了快速靈活的去噪網(wǎng)絡(luò)（Fast and Flexible Denoising Convolutional Neural Network，F(xiàn)FDNet）［11］，可以實(shí)現(xiàn)對(duì)多個(gè)噪聲模型同時(shí)去噪。TAI Ying 等［12］提出了一個(gè)深層記憶網(wǎng)絡(luò)（Memory Network，MemNet），但網(wǎng)絡(luò)結(jié)構(gòu)比較復(fù)雜，難以訓(xùn)練。CHENG Shen 等［13］通過圖像自適應(yīng)映射的方法實(shí)現(xiàn)了去噪效果（Noise Basis Network，NBNet）。YUE Zongsheng 等［14］提出了新的變分推理的方法（Variational Denoising Network，VDN），并把生成對(duì)抗網(wǎng)絡(luò)引入去噪模型［15］。ZAMIR S W 等［16］將多尺度注意力模型引入了圖像去噪領(lǐng)域。GUO Shi 等［17］針對(duì)真實(shí)場(chǎng)景噪聲進(jìn)行仿真，并實(shí)現(xiàn)了真實(shí)噪聲數(shù)據(jù)的盲去噪處理（Convolutional Blind Denoising，

CBDnet）。

至今為止，現(xiàn)有的噪聲圖像數(shù)據(jù)集大都是基于仿真的高斯噪聲和泊松噪聲模型，也有一些真實(shí)場(chǎng)景下的可見光圖像噪聲數(shù)據(jù)，并沒有基于ICMOS 成像設(shè)備的圖像數(shù)據(jù)集；其次，對(duì)ICMOS 圖像去噪的研究也很少，目前并沒有基于深度學(xué)習(xí)的ICMOS 圖像去噪算法的相關(guān)研究。因此，本文首先基于實(shí)驗(yàn)室的直耦型ICMOS 微光相機(jī)［18］在不同照度下采集了幾組暗室場(chǎng)景視頻序列制作了ICMOS 圖像數(shù)據(jù)集，由于監(jiān)督學(xué)習(xí)對(duì)數(shù)據(jù)的需求，訓(xùn)練樣本中需要與噪聲圖像相對(duì)應(yīng)的無噪聲真值圖像作為標(biāo)簽，而真實(shí)場(chǎng)景中很難直接獲取到無噪聲的標(biāo)簽圖像，因此，本文采用了多幀平均的方法：對(duì)特定照度下的一個(gè)靜態(tài)場(chǎng)景獲取大量噪聲圖像序列并做多幀平均，就可以得到對(duì)應(yīng)場(chǎng)景的無噪標(biāo)簽圖像。其次，本文結(jié)合ICMOS 的噪聲分布特征設(shè)計(jì)了一個(gè)針對(duì)ICMOS 圖像的雙殘差注意力網(wǎng)絡(luò)模型，其中，網(wǎng)絡(luò)采用噪聲殘差學(xué)習(xí)策略以及殘差網(wǎng)絡(luò)模塊提升網(wǎng)絡(luò)對(duì)圖像中的噪聲特征提取的性能，同時(shí)，引入通道注意力機(jī)制進(jìn)一步優(yōu)化模型參數(shù)。實(shí)驗(yàn)表明，本文算法能在10-1～10-3lx 照度條件下較好地去除ICMOS 圖像中的噪聲，并還原圖像細(xì)節(jié)。

1 基于ICMOS 的去噪算法模型

微光ICMOS 圖像是在微光場(chǎng)景中經(jīng)過多次光電轉(zhuǎn)換以及能量倍增之后獲取的圖像，與正常照度下獲取的自然圖像有較大差異性，信噪比較低，隨機(jī)噪聲明顯，極大降低了圖像整體的觀感，不利于人眼的觀察和識(shí)別。因此，對(duì)ICMOS 圖像進(jìn)行噪聲去除，提高圖像信噪比，有利于進(jìn)一步提升ICMOS 成像的性能，拓寬其應(yīng)用領(lǐng)域。

1.1 噪聲原理分析

ICMOS 成像的原理相較于普通的CMOS 成像更加復(fù)雜，像增強(qiáng)器由光陰極、微通道板和熒光屏三部分組成［19］，如圖1所示。首先，鏡頭接收?qǐng)鼍爸械墓庾咏?jīng)過光陰極光電轉(zhuǎn)換后將接收到的微弱的光信號(hào)轉(zhuǎn)換成電子圖像，生成的電子隨后被注入到微通道板中使得電子圖像聚焦成像并獲得能量倍增，其次，所有電子被投射到熒光屏上轉(zhuǎn)換成可見的光學(xué)圖像，最后由CMOS 傳感器捕捉熒光屏上的光信號(hào)生成圖像。

圖1 ICMOS 原理圖Fig.1 The pipeline of ICMOS

由于ICMOS 結(jié)構(gòu)的復(fù)雜性，使得ICMOS 噪聲與自然圖像噪聲分布截然不同，其噪聲模型由四個(gè)部分的噪聲疊加而成：光陰極噪聲、MCP 噪聲、熒光屏噪聲以及最后的CMOS 噪聲。WANG Fei 等［1］對(duì)ICMOS的噪聲進(jìn)行了分析：1）ICMOS 噪聲呈現(xiàn)空間聚合狀，與自然圖像獨(dú)立同分布的噪聲不同，ICMOS 圖像噪聲由于微通道板的引入具有一定的空間相關(guān)性，每一個(gè)像素點(diǎn)的強(qiáng)度都會(huì)受到周圍像素點(diǎn)的干擾，這種噪聲破壞了圖像本身的結(jié)構(gòu)特征，同時(shí)引入了大量無效特征；2）ICMOS 噪聲具有很強(qiáng)的隨機(jī)性，低照度條件下，成像器件的顆粒噪聲非常明顯，整個(gè)ICMOS 圖像呈現(xiàn)閃爍噪聲，與傳統(tǒng)固定模式噪聲不同，這些顆粒噪聲隨機(jī)性很強(qiáng)，大大增加了去噪的難度。

假設(shè)y表示獲取到的ICMOS 圖像，x表示與y對(duì)應(yīng)的干凈無噪聲圖像，n代表圖像噪聲，F(xiàn)代表ICMOS成像退化函數(shù)。那么ICMOS 成像模型可以表示為

因此，針對(duì)ICMOS 圖像去噪的模型可以表示為

式中，F(xiàn)-1為退化逆函數(shù)，即去噪模型。同時(shí)，從式（2）可以看出只要從圖像中提取出噪聲分量就可以通過殘差學(xué)習(xí)策略計(jì)算出干凈的無噪聲圖像。

1.2 雙殘差注意力網(wǎng)絡(luò)模型

現(xiàn)有的深度學(xué)習(xí)去噪算法如DnCNN、CBDnet 等，大都針對(duì)仿真的高斯-泊松分布噪聲以及一些自然圖像的真實(shí)噪聲數(shù)據(jù)進(jìn)行網(wǎng)絡(luò)設(shè)計(jì)和模型訓(xùn)練，這些算法并不適合直接運(yùn)用于ICMOS 圖像。本文針對(duì)ICMOS 圖像空間聚合狀隨機(jī)噪聲設(shè)計(jì)了一個(gè)雙殘差注意力網(wǎng)絡(luò)模型，如圖2所示。

圖2 算法結(jié)構(gòu)圖Fig.2 The overview of the method

這里簡(jiǎn)單介紹一下網(wǎng)絡(luò)結(jié)構(gòu)，從圖2可以看出，網(wǎng)絡(luò)結(jié)構(gòu)可以分為三個(gè)部分，首先第一部分為輸入部分的卷積層和ReLU 激活單元，這一部分負(fù)責(zé)將輸入的三通道或者單通道圖像轉(zhuǎn)換到更高維度的特征空間從而為之后的特征提取做鋪墊；第二部分是4 個(gè)殘差注意力模塊，并且每一個(gè)模塊的特征圖的數(shù)量在不斷減少，從殘差注意力模塊的組成可以看出，該模塊由4 個(gè)殘差單元、1 個(gè)通道注意力層以及1 個(gè)卷積層組成，每一個(gè)單元的具體結(jié)構(gòu)會(huì)在后面介紹，這里引入了通道注意力機(jī)制，可以賦予中間層輸出特征圖不同的權(quán)重，自動(dòng)獲取到每個(gè)特征通道的重要程度，然后依照這個(gè)重要程度去提升有用的特征并抑制對(duì)當(dāng)前任務(wù)用處不大的特征，并引導(dǎo)網(wǎng)絡(luò)不斷縮減特征圖維度。最后一部分為輸出部分的卷積層，該部分負(fù)責(zé)將殘差注意力模塊輸出的高維度的代表噪聲分量的特征圖轉(zhuǎn)換成與輸入維度相同的噪聲圖像。由于ICMOS 圖像噪聲具有一定的空間相關(guān)性，而下采樣會(huì)導(dǎo)致空間信息的丟失。為了最大程度地保真圖像本身的結(jié)構(gòu)特征，整個(gè)網(wǎng)絡(luò)模型并不會(huì)改變中間特征層的尺度，保證了空間分辨率的一致性。網(wǎng)絡(luò)所采用的卷積層都是3×3 大小的卷積核，中間特征層的維度從前至后分別為256、128、64、32 維。

傳統(tǒng)的去噪算法模型大都是直接通過網(wǎng)絡(luò)學(xué)習(xí)噪聲圖像y到真值圖像x的端到端映射，也就是網(wǎng)絡(luò)直接輸出去噪后的圖像。而本文提出的雙殘差注意力網(wǎng)絡(luò)的任務(wù)是輸入ICMOS 圖像y，輸出圖像中的噪聲n，三者的關(guān)系如式（3）所示。

式中，y表示輸入的ICMOS 圖像，x表示與y對(duì)應(yīng)的干凈無噪聲圖像，即標(biāo)簽真值圖像，n表示圖像噪聲。算法模型采用噪聲殘差學(xué)習(xí)的策略，使得網(wǎng)絡(luò)只需要著力于提取圖像中的噪聲分量，而不用復(fù)原原始圖像的細(xì)節(jié)以及邊緣信息，這樣可以最大程度地減小網(wǎng)絡(luò)的訓(xùn)練難度，同時(shí)在一定參數(shù)條件下提升網(wǎng)絡(luò)的性能。最后，將網(wǎng)絡(luò)訓(xùn)練的輸出φ(y)和輸入y兩者相加即可得到去噪后的圖像x，此為雙殘差模型中的第一層殘差。

為了進(jìn)一步提高網(wǎng)絡(luò)模型的性能，本文的主干網(wǎng)絡(luò)中引入了大量的殘差模塊［20］，如圖3所示。殘差模塊的映射函數(shù)表示為

圖3 殘差塊結(jié)構(gòu)圖Fig.3 The structure of the residual block

式中，s代表殘差模塊輸入的特征圖，F(xiàn)res(s)表示整個(gè)殘差模塊的映射函數(shù)，ReLU 表示非線性激活單元，f(s)表示中間層輸出的結(jié)果。殘差模塊通過簡(jiǎn)單的跳躍連接實(shí)現(xiàn)，不會(huì)額外增加模型參數(shù)，相當(dāng)于網(wǎng)絡(luò)只學(xué)習(xí)到了輸入與輸出之間的殘差特征，降低了網(wǎng)絡(luò)訓(xùn)練的難度，同時(shí)，殘差模塊的引入可以較好地解決梯度彌散、梯度爆炸以及梯度退化等問題。此為雙殘差模型中的第二層殘差。

為了進(jìn)一步提升模型去噪性能，本文引入了通道注意力機(jī)制［21］，結(jié)構(gòu)如圖4所示。

圖4 通道注意力模塊結(jié)構(gòu)圖Fig.4 The structure of channel attention block

式中，s表示輸入特征圖，Hmax(s)表示最大池化經(jīng)過全連接層后的輸出，Havg(s)表示均值池化經(jīng)過全連接層后的輸出，F(xiàn)channel(s)表示注意力模塊的輸出。輸入的特征圖經(jīng)過最大池化和均值池化生成兩個(gè)維度向量，分別經(jīng)過全連接層線性優(yōu)化之后相加得到輸入特征圖的通道注意力向量，最后與輸入特征圖相乘獲得模塊的輸出特征圖。通道注意力機(jī)制也就是給網(wǎng)絡(luò)中間層特征圖的不同維度賦予不同的權(quán)重，使得網(wǎng)絡(luò)在參數(shù)優(yōu)化過程中提升對(duì)重要維度的注意力，減弱對(duì)不重要維度的注意力。由于本文的特征圖維度在不斷縮減，通道注意力也可以引導(dǎo)網(wǎng)絡(luò)在維度縮減過程中對(duì)重要特征的保留以及對(duì)冗余特征的舍棄。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 數(shù)據(jù)集的建立

現(xiàn)有的真實(shí)場(chǎng)景噪聲數(shù)據(jù)大多通過調(diào)整相機(jī)ISO 參數(shù)來控制噪聲。比如RENOIR［22］、DND［23］、Nam［24］、PolyU［25］等數(shù)據(jù)集都是針對(duì)同一場(chǎng)景，拍攝低ISO 圖像作為真值圖像，高ISO 圖像作為噪聲圖像，并調(diào)整曝光時(shí)間等相機(jī)參數(shù)使得兩張圖像亮度一致。但這種方法顯然不適用于ICMOS 圖像的采集，低ISO 只會(huì)讓圖像亮度過低從而丟失圖像信息，因此，本文考慮采用多幀平均的方法，在暗室某一固定照度下對(duì)靜態(tài)場(chǎng)景采集圖像序列，然后多幀加權(quán)平均的方法合成真值圖像。

實(shí)驗(yàn)在暗室環(huán)境下進(jìn)行，并采用照度計(jì)對(duì)微光場(chǎng)景照度進(jìn)行精確測(cè)量。本文數(shù)據(jù)集主要基于2×10-1、3×10-2、2×10-3lx 三種照度下采用直耦型ICMOS 相機(jī)進(jìn)行圖像序列的采集，每一個(gè)照度下采集7 個(gè)場(chǎng)景的圖像序列并做幀平均得到對(duì)應(yīng)場(chǎng)景的真值圖像。采集到的圖像如圖5所示，這里展示了一組靜態(tài)場(chǎng)景的示意圖，可以看出，隨著照度的降低，圖像的噪聲強(qiáng)度在不斷增加，亮度也在不斷降低，而對(duì)應(yīng)的幀平均圖像可以比較好地去除圖像的噪聲，保留圖像的細(xì)節(jié)信息，同時(shí)，能夠與噪聲圖像的亮度保持一致。

圖5 不同照度下訓(xùn)練數(shù)據(jù)示例圖Fig.5 Examples under different illumination in the datasets

由于不同照度下的噪聲強(qiáng)度和亮度不統(tǒng)一，所以本文針對(duì)不同照度下的圖像分別進(jìn)行訓(xùn)練，每種照度下采用兩種靜態(tài)場(chǎng)景作為訓(xùn)練集，每一個(gè)場(chǎng)景下采集1 000 張?jiān)肼晥D像，并與幀平均圖像一一對(duì)應(yīng)。

2.2 實(shí)驗(yàn)參數(shù)設(shè)置

由于本文去噪算法的任務(wù)為圖像到圖像的端到端映射，所以，本文采用的損失函數(shù)為基于圖像評(píng)價(jià)指標(biāo)的MSE 損失和SSIM 損失，具體表示為

式中，N表示訓(xùn)練樣本數(shù)，φ(y)為網(wǎng)絡(luò)輸出結(jié)果，x為標(biāo)簽真值圖像。網(wǎng)絡(luò)采用Adam 優(yōu)化方法進(jìn)行參數(shù)的優(yōu)化，其中β1=0.9，β1=0.999。網(wǎng)絡(luò)權(quán)重采用Kaiming 初始化，學(xué)習(xí)率的初始值為1×10-3，并隨著訓(xùn)練次數(shù)的增加不斷衰減，每增加200 輪則衰減為之前的0.9。所有圖像大小統(tǒng)一為1 920×1 080，但圖像在輸入時(shí)經(jīng)過隨機(jī)裁剪處理，每次輸入為256×256 大小的圖像塊。本文實(shí)驗(yàn)采用的CPU 為Intel（R）Xeon（R）CPU E5-1603 v4，GPU 為NVIDIA RTX3090，內(nèi)存為32G。為了對(duì)比算法的性能，本文采用峰值信噪比（Peak Signal to Noise Ratio，PSNR）和結(jié)構(gòu)相似度（Structural Similarity Index Measure，SSIM）客觀評(píng)價(jià)指標(biāo)進(jìn)行估計(jì)。

2.3 實(shí)驗(yàn)對(duì)比效果

為了更好地評(píng)價(jià)雙殘差注意力網(wǎng)絡(luò)去噪算法的優(yōu)越性，本文采用幾種主流的圖像去噪算法與本文算法進(jìn)行了對(duì)比實(shí)驗(yàn)，包括BM3D、非局部均值（NLM）、CBDnet、DnCNN 和VDN。其中DnCNN、CBDnet 以及VDN 算法是基于深度學(xué)習(xí)的適用于真實(shí)圖像盲去噪的主流方法，本文采用作者提供的開源代碼以及預(yù)訓(xùn)練好的盲去噪模型參數(shù)進(jìn)行對(duì)比試驗(yàn)。在測(cè)試時(shí)，雖然網(wǎng)絡(luò)訓(xùn)練對(duì)輸入圖像進(jìn)行了分塊操作，但由于卷積網(wǎng)絡(luò)的內(nèi)在特性，訓(xùn)練好的模型可以處理任意大小的輸入圖像。圖6～11 展示了本文算法基于測(cè)試集中不同照度下的圖像的去噪效果以及與主流算法的對(duì)比圖。

圖6 2×10-1 lx 下鸚鵡圖像的去噪效果Fig.6 Denoising results of parrot image under 2×10-1 lx

從圖中可以看出，非局部均值法（NLM）和基于深度學(xué)習(xí)的三種算法處理后圖像仍然帶有很嚴(yán)重的噪聲干擾，主要因?yàn)檫@些算法對(duì)于ICMOS 圖像空間相關(guān)性的聚合狀噪聲泛化性較差，無法從輸入圖像中區(qū)分出噪聲分量。而BM3D 經(jīng)典算法能夠一定程度上去除圖像的噪聲，在2×10-1lx 下效果比較好，但圖像細(xì)節(jié)過于平滑，導(dǎo)致部分細(xì)節(jié)丟失；而在照度更低的情況下，BM3D 算法處理后圖像會(huì)出現(xiàn)有比較明顯的條紋狀偽影，雖然圖像的亮度有一定的提升，但這也比較影響圖像的觀感，其次，BM3D 算法的時(shí)間成本非常高，計(jì)算量很大。相比較來看，本文算法在三種不同的照度下都保持著比較好地去噪效果，在最大限度地去除噪聲的同時(shí)，也保留了圖像的細(xì)節(jié)特征，而且，本文算法的時(shí)間成本低，效率比較高。

圖7 2×10-1 lx 下蝴蝶圖像的去噪效果Fig.7 Denoising results of butterfly image under 2×10-1 lx

表1是本文算法與其他主流算法的客觀評(píng)價(jià)指標(biāo)數(shù)據(jù)對(duì)比，這里同樣采用幀平均圖像作為對(duì)比的真值圖像?？梢钥闯?，本文算法在不同照度條件以及不同指標(biāo)下都取得了最優(yōu)越的效果。在PSNR 方面，本文算法隨著照度的降低始終保持著比較高的指標(biāo)，而其他算法的PSNR 則隨著照度降低不斷下降，本文算法基于所有測(cè)試圖像的PSNR 指標(biāo)比輸入噪聲圖像提升了56%，相比于BM3D 算法領(lǐng)先了9.56 dB，而SSIM指標(biāo)的結(jié)果也很類似，BM3D 算法的SSIM 指標(biāo)相對(duì)于其他對(duì)比算法有比較大的領(lǐng)先，但仍然稍遜于本文算法，基于所有圖像測(cè)試圖像的SSIM 指標(biāo)比輸入圖像提升了106%，領(lǐng)先了BM3D 算法0.050 3。為了更好地驗(yàn)證本文算法的運(yùn)行效率，表2是不同算法處理單幅1 920×1 080 大小圖像的運(yùn)行時(shí)間，可以看出基于深度學(xué)習(xí)的算法的運(yùn)行時(shí)間要遠(yuǎn)遠(yuǎn)低于傳統(tǒng)算法，而本文的算法速度最快，只需要0.005 s。

表1 不同算法客觀評(píng)價(jià)指標(biāo)對(duì)比Table 1 Comparison of objective evaluation indicators of different methods

表2 不同算法處理單幅1 920×1 080 圖像的運(yùn)行時(shí)間Table 2 The running time of different methods for processing a single 1 920×1 080 image

圖8 3×10-2 lx 鸚鵡圖像的去噪效果Fig.8 Denoising results of parrot image under 3×10-2 lx

圖9 3×10-2 lx 蝴蝶圖像的去噪效果Fig.9 Denoising results of butterfly image under 3×10-2 lx

圖10 2×10-3 lx 鸚鵡圖像的去噪效果Fig.10 Denoising results of parrot image under 2×10-3 lx

圖11 2×10-3 lx 蝴蝶圖像的去噪效果Fig.11 Denoising results of butterfly image under 2×10-3 lx

3 結(jié)論

ICMOS 是現(xiàn)有的應(yīng)用廣泛、工作照度最低的固體微光成像器件，但由于像增強(qiáng)器的引入，拍攝到的圖像信噪比較低，隨機(jī)噪聲明顯，極大降低了圖像整體的觀感，不利于人眼的觀察和識(shí)別。本文設(shè)計(jì)了一個(gè)雙殘差注意力網(wǎng)絡(luò)模型，并基于暗室環(huán)境下拍攝的不同照度下的靜態(tài)場(chǎng)景數(shù)據(jù)建立了專門的ICMOS 微光數(shù)據(jù)集。大量的實(shí)驗(yàn)結(jié)果表明，本文的算法能夠有效地去除ICMOS 圖像中的隨機(jī)噪聲，而其他主流的去噪算法效果較差。下一步可以考慮噪聲的時(shí)域特性，采用多幀融合的處理方式對(duì)ICMOS 視頻序列進(jìn)行去噪算法的研究。