基于注意力機(jī)制的多階段低照度圖像增強(qiáng)方法

李健　成雅清

關(guān)鍵詞：低照度圖像；多階段；注意力機(jī)制；特征提??；特征融合

中圖分類號(hào)：TP391.4 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1006-8228（2023）11-83-07

0 引言

低照度圖像增強(qiáng)是一項(xiàng)重要的圖像處理技術(shù)，旨通過增強(qiáng)低照度條件下的圖像質(zhì)量來解決圖像的可視化效果差和信息傳遞效率低的問題。隨著計(jì)算機(jī)視覺和圖像處理技術(shù)的不斷發(fā)展，越來越多的低照度圖像增強(qiáng)算法被提出并得到了廣泛應(yīng)用，如視頻監(jiān)控、車載導(dǎo)航、夜間拍攝、醫(yī)療影像等。

傳統(tǒng)低照度圖像增強(qiáng)方法包括基于直方圖均衡化的算法[1]、Retinex（Retinacortex）理論的算法[2-5]。其中，基于直方圖均衡化的方法是旨通過調(diào)整圖像的灰度值分布，使得整張圖像的像素灰度值盡可能地分布在整個(gè)灰度值范圍內(nèi)，從而提高圖像的對(duì)比度和亮度。基于Retinex 理論的方法是旨通過將圖像分解為反射和亮度兩部分，從而增強(qiáng)圖像的對(duì)比度和亮度。

近年來，隨著人工智能的發(fā)展，利用深度學(xué)習(xí)對(duì)低照度圖像進(jìn)行增強(qiáng)的方法逐漸取代了傳統(tǒng)方法。如Lore 等[6]最早運(yùn)用深度學(xué)習(xí)的方法實(shí)現(xiàn)了低光照?qǐng)D像增強(qiáng)LLNet（Low-light Net），提出了一種基于深度自動(dòng)編碼器的方法來識(shí)別弱光圖像中的信號(hào)特征，在不過度放大飽和高動(dòng)態(tài)范圍圖像的較亮部分的情況下自適應(yīng)地使圖像變亮。Wei 等[7]提出了一種基于Retinex 理論與深度學(xué)習(xí)方法相結(jié)合的網(wǎng)絡(luò)Retinex-Net （Retinacortex Net），該網(wǎng)絡(luò)利用三個(gè)模塊（分解模塊、增強(qiáng)模塊和重建模塊）去約束低照度圖像的反射光和照射光之間的關(guān)系，從而增強(qiáng)圖像效果。Jiang 等[8]提出了一種高效的無監(jiān)督生成對(duì)抗網(wǎng)絡(luò)EnlightenGAN （Enlighten Generative Adversarial Networks），其主要思想是利用生成器和判別器兩個(gè)網(wǎng)絡(luò)相互博弈以生成更加逼真的圖像。Guo 等[9]提出了一種無需參考圖像的網(wǎng)絡(luò)Zero-Dce（Zero-Reference Deep CurveEstimation），該方法通過深度學(xué)習(xí)模型自適應(yīng)地學(xué)習(xí)每張圖像的曲線，可以將輸入圖像的暗部分和明部分分別映射到對(duì)應(yīng)的輸出空間中。通過對(duì)這兩個(gè)部分的增強(qiáng)，將增強(qiáng)后的圖像進(jìn)行合成，得到最終的增強(qiáng)結(jié)果。Ma 等[10]提出了一個(gè)輕量級(jí)的自校準(zhǔn)照明框架SCI（Self-Calibrated Illumination），建立了一個(gè)具有權(quán)重共享的級(jí)聯(lián)光照學(xué)習(xí)過程，用于針對(duì)不同的現(xiàn)實(shí)世界場景進(jìn)行低光照?qǐng)D像增強(qiáng)。

基于深度學(xué)習(xí)的方法相比于傳統(tǒng)方法在結(jié)果上有顯著的提升，但是，目前所提出的基于深度學(xué)習(xí)的方法需要更多計(jì)算資源和訓(xùn)練時(shí)間，并且還存在顏色失真、細(xì)節(jié)恢復(fù)能力差和整體主觀視覺質(zhì)量低等問題。針對(duì)上述問題本文提出一種基于注意力機(jī)制的多階段低照度圖像增強(qiáng)方法，能夠有效解決局部噪聲、顏色失真、細(xì)節(jié)紋理丟失等問題。

本文的貢獻(xiàn)：①提出了一個(gè)基于注意力機(jī)制的特征提取模塊，來解決圖像局部增強(qiáng)能力弱、語義特征提取效果差的問題；②提出了一個(gè)基于上下文學(xué)習(xí)的細(xì)節(jié)恢復(fù)模塊，來解決紋理細(xì)節(jié)恢復(fù)能力差的問題；③在公開數(shù)據(jù)集LOL 上進(jìn)行實(shí)驗(yàn)，采用峰值信噪比（PSNR）和結(jié)構(gòu)相似性（SSIM）[11]作為客觀評(píng)價(jià)指標(biāo)，實(shí)驗(yàn)結(jié)果的主觀視覺效果、客觀評(píng)價(jià)指標(biāo)優(yōu)于其他大多數(shù)方法，證明了本文模型的有效性。

1 網(wǎng)絡(luò)構(gòu)架設(shè)計(jì)本

文提出一種基于注意力機(jī)制的多階段低照度圖像增強(qiáng)網(wǎng)絡(luò)AMS-Net（Attention Multi-Stage network）。網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。該網(wǎng)絡(luò)共分為三個(gè)階段，將原始圖片分別分割為不重疊的1/4 尺寸，1/2 尺寸和原始尺寸作為各階段的輸入信息，實(shí)現(xiàn)從“粗”到“細(xì)”的恢復(fù)方法，在增強(qiáng)圖像亮度的同時(shí)注重圖像細(xì)節(jié)的恢復(fù)。

在該模型的各個(gè)階段中，首先通過一個(gè)卷積和注意力機(jī)制模塊PSA（Pyramid Split Attention）[12]進(jìn)行初步特征提取；然后，利用編碼器-解碼器完成更多的細(xì)節(jié)特征提取，并將前兩個(gè)階段的特征圖在空間維度上兩兩拼接；接著，由上下文學(xué)習(xí)模塊ACCA（AggregatedContextual Channel Attention）對(duì)局部特征進(jìn)行細(xì)節(jié)恢復(fù)；最后，利用監(jiān)督注意力模塊SAM（SupervisedAttention Module）[13]對(duì)相鄰階段進(jìn)行特征融合。經(jīng)過以上三個(gè)增強(qiáng)階段的處理，最終將低照度圖像還原出與原始清晰圖像亮度、紋理清晰度接近的高質(zhì)量圖像。

1.1 特征提取模塊

特征提取部分是低照度圖像增強(qiáng)模型中的一個(gè)重要組成部分，其作用是從輸入圖像中提取有用的特征以便后續(xù)的處理。AMS-Net 的特征提取分為兩步：首先通過一個(gè)卷積和注意力機(jī)制模塊對(duì)輸入圖像的重要特征信息進(jìn)行提取，得到初步的特征圖；隨后使用編碼器-解碼器模塊，進(jìn)一步提取不同大小和形狀的物體語義特征。

1.1.1 注意力機(jī)制特征提取模塊

為了增強(qiáng)低照度圖像重要的空間位置信息并抑制不重要的背景信息，以提高模型對(duì)目標(biāo)的定位準(zhǔn)確性和語義信息的利用，本文采用注意力機(jī)制PSA（Pyramid Spatial Attention）模塊[12]對(duì)低照度圖像中重要的信息進(jìn)行提取。該模塊利用金字塔形特征提取和空間注意力機(jī)制提高網(wǎng)絡(luò)對(duì)不同尺度低照度圖像特征的感知能力和重要區(qū)域關(guān)注度。

PSA 模塊構(gòu)造如圖2 所示。主要分為以下四個(gè)步驟：首先，通過實(shí)現(xiàn)分裂與拼接SPC（Split and Concat）模塊[12]，獲得多尺度特征圖；其次，使seweight 模塊[12，14]提取具有不同尺度特征圖的通道注意力向量；然后，使用Softmax 函數(shù)重新校準(zhǔn)多尺度通道的注意力向量，得到多尺度通道的權(quán)重；最后，將重新校準(zhǔn)的權(quán)重和相應(yīng)的特征圖進(jìn)行逐元素乘積的運(yùn)算。通過以上操作，可以得到一個(gè)經(jīng)過細(xì)化的特征圖，該特征圖中包含更豐富的多尺度特征信息。

1.1.2 編碼器-解碼器模塊

為了提取不同大小和形狀的物體語義特征，本文采用編碼器和解碼器網(wǎng)絡(luò)。網(wǎng)絡(luò)基于U-Net 結(jié)構(gòu)，通過編碼器進(jìn)行下采樣獲得多尺度的圖像特征，然后解碼器對(duì)多尺度圖像進(jìn)行上采樣來恢復(fù)圖像原有的分辨率。

其網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示。具體結(jié)構(gòu)信息如下：首先，添加了通道注意力CAB（Channel AttentionBlocks）模塊[12]以提取每個(gè)尺度的特征；其次，對(duì)于編碼器-解碼器模塊中跳轉(zhuǎn)連接部分（Skip Connections）的特征圖也使用CAB 模塊處理；最后，使用雙線性上采樣加一個(gè)卷積層進(jìn)行處理，而不是使用轉(zhuǎn)置卷積，來提高解碼器處理后特征圖的分辨率，有助于減少輸出圖像中由于轉(zhuǎn)置卷積而出現(xiàn)的棋盤效應(yīng)。

1.2 細(xì)節(jié)恢復(fù)模塊

由于特征提取階段采用下采樣和上采樣的操作，會(huì)導(dǎo)致圖像細(xì)節(jié)的模糊和丟失。因此，受ACT（Aggregated Contextual Transformations）[15]啟發(fā)，本節(jié)提出一種上下文注意力ACCA 模塊，模型結(jié)構(gòu)如圖4所示。該模塊利用遙遠(yuǎn)空間位置信息，來恢復(fù)圖像細(xì)節(jié)，同時(shí)避免過度增加網(wǎng)絡(luò)層次。ACCA 模塊采用多級(jí)注意力機(jī)制，提升了特征圖的表達(dá)能力，并通過操作不同尺度的注意力圖增強(qiáng)了網(wǎng)絡(luò)對(duì)特定區(qū)域的感知能力。具體流程如下。

⑴ 接收上一層提取出來特征圖，將256 個(gè)通道的內(nèi)核拆分為四個(gè)子內(nèi)核，使每個(gè)子內(nèi)核具有64 個(gè)輸出通道。子內(nèi)核使用不同的膨脹率來執(zhí)行輸入特征X1的不同變換，使用較大的膨脹率專注感受野大的全局區(qū)域，使用較小膨脹率專注感受野小的局部區(qū)域。

⑵ 將每個(gè)子內(nèi)核輸出的特征圖分別經(jīng)過Mish 激活函數(shù)后，輸入到通道注意力EAC（Efficient ChannelAttention）[16]模塊中，對(duì)其進(jìn)行通道特征加強(qiáng)。EAC 模塊可以提供更精細(xì)的特征表示，并且其參數(shù)和計(jì)算量的需求也小，因此使用ECA 模塊可以優(yōu)化模型結(jié)構(gòu)、減少模型計(jì)算量、提高模型的訓(xùn)練效率。

⑶ 將來自不同感受野的上下文信息通過級(jí)聯(lián)依次進(jìn)行聚合，然后通過3 × 3的卷積進(jìn)行特征融合。

⑷ 此外，通常使用殘差連接[17]方式提高模型的準(zhǔn)確性，其通過以空間不變的方式逐元素求和來聚合輸入特征X₁和殘差特征X₂，但是此操作忽略了缺失區(qū)域內(nèi)外像素值的差異，導(dǎo)致修復(fù)圖像中出現(xiàn)顏色差異問題。為了解決這一問題，本文采用一種新的門控殘差連接，門控殘差連接先通過標(biāo)準(zhǔn)卷積和Mish 激活函數(shù)運(yùn)算從X₁計(jì)算空間變化的門值g，然后ACCA 模塊通過與g 的加權(quán)和來聚合輸入特征X₁和殘差特征X₂。

通過門控殘差連接的特征聚合在恢復(fù)缺失區(qū)域內(nèi)特征的同時(shí)，并保留缺失區(qū)域外的已知特征。

2.4 對(duì)比實(shí)驗(yàn)

2.4.1 主觀分析

本節(jié)對(duì)不同的低照度圖像增強(qiáng)方法進(jìn)行對(duì)比實(shí)驗(yàn)，可以更好地評(píng)估和比較它們的性能和優(yōu)劣之處，選取的經(jīng)典傳統(tǒng)方法有LIME（Low-light Image Enhancement）[20]，具有代表性的深度學(xué)習(xí)方法有Zero-Dec（Zero-Reference Deep Curve Estimation）， RetinexNet（Retinacortex Net），Kind（Kindling the Darkness） [21]，HWMNet（Half Wavelet Attention on M-Net+）[22]。將以上實(shí)驗(yàn)置于統(tǒng)一實(shí)驗(yàn)環(huán)境，實(shí)驗(yàn)結(jié)果如圖6 所示。

相較于本文提出方法的實(shí)驗(yàn)結(jié)果，LIME 方法整體亮度恢復(fù)偏暗，視覺效果不真實(shí)，并且會(huì)出現(xiàn)顏色失真；RetinexNet 方法會(huì)出現(xiàn)過度增強(qiáng)的情況，導(dǎo)致圖像的細(xì)節(jié)損失和顏色失真，并且恢復(fù)后的圖像噪聲也特別多；Zero-Dec 方法相比于RetinexNet 算法在圖像整體感知質(zhì)量上表現(xiàn)略有提升，但在亮度增強(qiáng)方面存在不足，同時(shí)可能會(huì)引入偽影和失真，且噪聲抑制效果不佳，影響圖像的視覺效果；Kind 方法在亮度和飽和度方面表現(xiàn)不錯(cuò)，但是對(duì)于局部細(xì)節(jié)紋理的恢復(fù)不夠清晰，且恢復(fù)過度容易引起顏色失真現(xiàn)象；HWMNet 方法在圖像的細(xì)節(jié)和紋理恢復(fù)的不錯(cuò)，但在噪聲抑制方面效果不佳，并且圖像整體亮度過亮。本文提出的低照度圖像增強(qiáng)方法在亮度、對(duì)比度和噪聲抑制方面均表現(xiàn)出色，整體視覺效果相對(duì)于其他方法更佳，且主觀視覺效果更接近于真實(shí)清晰圖像。

2.4.2 客觀分析

為進(jìn)一步驗(yàn)證本文提出方法的有效性，本節(jié)實(shí)驗(yàn)采用PSNR 和SSIM 的指標(biāo)作為參考，分別對(duì)不同的低照度圖像增強(qiáng)方法進(jìn)行定量分析。實(shí)驗(yàn)結(jié)果如表1所示，黑色加粗表示對(duì)比實(shí)驗(yàn)中單項(xiàng)指標(biāo)的最優(yōu)值。本文方法在指標(biāo)PRSN，SSIM 的指標(biāo)都為最優(yōu)，分別為26.31，0.921。

從表1 中可以看出，AMS-Net 網(wǎng)絡(luò)在PRSN，SSIM指標(biāo)上遠(yuǎn)超于LIME、RetinexNet、Zero-Dce 網(wǎng)絡(luò)；相比于Kind 在PRSN 指標(biāo)上提升了26.12%，在SSIM 指標(biāo)上提升了14.40%；相比與HWMNet 在PRSN 指標(biāo)上提升了8.53%，在SSIM 指標(biāo)上提升了8.09%。實(shí)驗(yàn)結(jié)果表明，AMS-Net 網(wǎng)絡(luò)在客觀評(píng)價(jià)指標(biāo)方面相比于其他主流網(wǎng)絡(luò)具備顯著的優(yōu)勢，且在主觀視覺質(zhì)量方面更接近于原始高清圖像。

2.5 消融實(shí)驗(yàn)

為了驗(yàn)證本文網(wǎng)絡(luò)中局部特征提取模塊和細(xì)節(jié)恢復(fù)模塊的作用和效果，本文進(jìn)行以下的消融實(shí)驗(yàn)：分別刪減AMS-Net 的局部特征提?。≒SA）模塊和細(xì)節(jié)恢復(fù)（ACCA）模塊，以及同時(shí)刪減這兩個(gè)模塊，并與完整AMS-Net 進(jìn)行對(duì)比。消融實(shí)驗(yàn)結(jié)果如圖7 所示。其中，圖7（a）為低照度圖像，圖7（b）為原始的清晰圖像，圖7（c）為AMS-Net 去除ACCA 模塊和PSA 模塊的生成圖，圖7（d）為AMS-Net只去除ACCA 模塊的生成圖，圖7（e）為AMS-Net 只去除PSA 模塊的生成圖，圖7（f）為本文提出的完整AMS-Net 的生成圖。

可以看出，同時(shí)去除PSA 模塊和ACCA 模塊的增強(qiáng)結(jié)果，整體效果不錯(cuò)，但是圖7（c）色彩盤處可以看到明顯的噪聲，圖片的整體亮度也偏暗；當(dāng)只去除ACCA模塊時(shí)，增強(qiáng)結(jié)果相比于同時(shí)刪減兩個(gè)模塊顏色亮度有所提升，圖7（d）中公仔顏色更接近真實(shí)清晰圖像；當(dāng)只去除PSA 模塊時(shí)，實(shí)驗(yàn)結(jié)果相比只去除ACCA 模塊圖像細(xì)節(jié)恢復(fù)的更加完整，但還是存在失真和噪聲，圖7（e）中非洲鼓上花紋顏色偏淡；而使用完整MMFNet的結(jié)果可以看出，本文設(shè)計(jì)的完整網(wǎng)絡(luò)不僅能夠有效地提高圖像亮度，在色彩飽和度，噪聲抑制，圖像細(xì)節(jié)恢復(fù)都表現(xiàn)出很好的結(jié)果。

模塊消融實(shí)驗(yàn)的客觀評(píng)價(jià)如表2 所示。使用完整AMS-Net 模型的結(jié)果表現(xiàn)最優(yōu)，相比于同時(shí)刪除兩個(gè)模塊，PSNR 指標(biāo)上升了3.3%，SSIM 指標(biāo)上升了1.6%。PSNR，SSIM 指標(biāo)越高意味著圖像恢復(fù)的質(zhì)量越好，此消融實(shí)驗(yàn)客觀結(jié)果表明，PSA 模塊與ACCA 模塊對(duì)低照度圖像有良好的增強(qiáng)效果。

3 結(jié)束語

本文提出了一種基于注意力機(jī)制的多尺度低照度圖像增強(qiáng)的方法，該方法能夠在不影響圖像質(zhì)量的情況下有效地對(duì)低照度圖像進(jìn)行增強(qiáng)。此網(wǎng)絡(luò)結(jié)構(gòu)分為三個(gè)階段，三個(gè)階段的輸入分別為不同尺寸的低照度圖像，其中每個(gè)階段首先經(jīng)過特征提取模塊，以提取圖像中重要特征信息；隨后，由一個(gè)聯(lián)系上下文學(xué)習(xí)模塊進(jìn)行細(xì)節(jié)恢復(fù)；最后進(jìn)行特征融合，使得每個(gè)階段的聯(lián)系更緊密。通過與主流的低照度圖像增強(qiáng)方法的對(duì)比可以看出，本文方法在主觀視覺和客觀數(shù)據(jù)上均為最優(yōu)。然而，低照度圖像增強(qiáng)在噪聲抑制、信息丟失等問題上仍然具有挑戰(zhàn)性，需要進(jìn)一步研究和探索。