基于Retinex-Net改進(jìn)的室外場(chǎng)景低照度圖像增強(qiáng)算法*

魯鑫鑫，張榮芬，劉宇紅，李 寬，韓云杰

（1.貴州大學(xué)大數(shù)據(jù)與信息工程學(xué)院，貴陽(yáng) 550025；2.貴陽(yáng)信息技術(shù)研究院，貴陽(yáng) 550081）

1 引言

在室外目標(biāo)檢測(cè)過程中，環(huán)境光的影響給計(jì)算機(jī)視覺帶來巨大挑戰(zhàn)。例如在夜間進(jìn)行室外目標(biāo)檢測(cè)任務(wù)時(shí)，由于環(huán)境光偏暗或光線亮暗不均，采集到的圖片信息亮度不足、包含大量噪聲，致使部分細(xì)節(jié)無法分辨。這種低照度圖片不僅觀賞質(zhì)量不佳，也無法給計(jì)算機(jī)視覺系統(tǒng)提供有效信息，給后續(xù)進(jìn)行的目標(biāo)檢測(cè)、目標(biāo)追蹤等計(jì)算機(jī)視覺領(lǐng)域關(guān)鍵技術(shù)的研究也造成阻礙。因此，對(duì)低照度圖像增強(qiáng)技術(shù)的研究紛紛出現(xiàn)。目前常見的技術(shù)主要有空間域增強(qiáng)和頻率域增強(qiáng)兩種?？臻g域增強(qiáng)技術(shù)目前已較為成熟，其中的Retinex理論最為常見。Retinex是基于視網(wǎng)膜與大腦皮層的算法，該理論認(rèn)為：人眼對(duì)于物體表面顏色的感知與物體表面的反射特性相關(guān)，不受場(chǎng)景中的光源變化而變化[1]。基于Retinex理論[2]的算法將原始圖像分解為反射圖和光照?qǐng)D[3]進(jìn)行處理，將原始圖片中的反射圖作為描述圖片實(shí)質(zhì)的特征圖像，分解后用于消除光照?qǐng)D像對(duì)原始圖像的影響。Retinex算法分為不同種類，較為常見的有：?jiǎn)纬叨人惴⊿SR（Single-Scale Retinex)[4]，但其并不能同時(shí)兼顧圖像的色彩和細(xì)節(jié)；多尺度算法MSR（Multi-Scale Retinex)[5]，其在顏色上存在一定程度的失真。帶有顏色恢復(fù)的多尺度算法MSRCR（Multi-Scale Retinex with Color Restoration)[6]，但它易于將圖像亮度提升偏高，使結(jié)果圖亮度失真。Retinex系列算法對(duì)圖片處理是分別對(duì)R、G、B三個(gè)通道單獨(dú)進(jìn)行，會(huì)破壞RGB三通道間的聯(lián)系，以致處理后的圖片在顏色方面出現(xiàn)失真。針對(duì)存在的問題，基于基礎(chǔ)理論，在此設(shè)計(jì)一套改進(jìn)算法，利用HSV空間下V通道分解[7]提高增強(qiáng)圖片的效果。

2 基礎(chǔ)理論與改進(jìn)

2.1 Retinex模型

Retinex一詞由retina（視網(wǎng)膜）和cortex（皮層）合成而來。該理論認(rèn)為人眼所觀察到的圖像物體的色彩具有常定性，物體的色彩是由物體自身確定的，與光照強(qiáng)度以及光照色彩無關(guān)。原始圖像由反射圖和光照?qǐng)D相乘所得，以公式表達(dá)如下：

式中，L(x,y)為太陽(yáng)光照的照射分量；R(x,y)為物體自身的反射分量；S(x,y)為成像結(jié)果。這一過程對(duì)應(yīng)的物理模型示意圖如圖1所示。

圖1 Retinex物理模型圖

在Retinex模型中，光照分量L是自然場(chǎng)景中光線對(duì)人眼觀察物體時(shí)所產(chǎn)生的干擾；反射分量R則是由受觀察物體本身特質(zhì)決定的。

2.2 改進(jìn)模型

Retinex-Net[8]是一種端到端的可訓(xùn)練的低亮度圖像增強(qiáng)網(wǎng)絡(luò)。該網(wǎng)絡(luò)框架由三部分構(gòu)成，即：分解網(wǎng)絡(luò)（Decom-Net）、增強(qiáng)網(wǎng)絡(luò)（Enhance-Net）和圖像重建（Reconstruction）。Decom-Net包含兩條共享參數(shù)的網(wǎng)絡(luò)，分別以低照度圖像和正常光圖像作為輸入，得到低照度圖像和正常光圖像的反射圖和光照?qǐng)D，最終根據(jù)Retinex理論重建正常光照下的圖像。

對(duì)Retinex-Net網(wǎng)絡(luò)進(jìn)行改進(jìn)的方案如下：將原始圖片由RGB空間域轉(zhuǎn)換到HSV（即色調(diào)H、飽和度S、明度V）空間域，對(duì)其中的V分量進(jìn)行處理；將V分量輸入Retinex-Net的分解網(wǎng)絡(luò)獲得反射圖和光照?qǐng)D，對(duì)光照?qǐng)D中光照不足的情況添加注意力機(jī)制進(jìn)行提亮；對(duì)反射圖中噪聲偏多的情況用Deam-Net網(wǎng)絡(luò)進(jìn)行去噪；將分別處理過的光照?qǐng)D和反射圖與原來的H分量和S分量進(jìn)行圖像融合，最后將融合后的圖片的空間域從HSV轉(zhuǎn)回RGB后輸出，得到增強(qiáng)后的圖片。改進(jìn)算法流程如圖2所示。

圖2 改進(jìn)算法流程圖

3 改進(jìn)算法實(shí)現(xiàn)

3.1 分解網(wǎng)絡(luò)改進(jìn)

對(duì)Retinex-Net的分解網(wǎng)絡(luò)進(jìn)行改進(jìn)，用Leaky ReLu激活函數(shù)對(duì)ReLU激活函數(shù)進(jìn)行替換[9]。ReLU激活函數(shù)針對(duì)負(fù)數(shù)部分會(huì)直接將其置0，會(huì)造成梯度消失；而Leaky ReLU函數(shù)針對(duì)負(fù)數(shù)部分會(huì)對(duì)其進(jìn)行f(yi)=aiyi計(jì)算，可以杜絕梯度消失的發(fā)生。改進(jìn)后的分解網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 Retinex-Net分解網(wǎng)絡(luò)改進(jìn)圖

分解網(wǎng)絡(luò)對(duì)低照?qǐng)D與清晰圖片同時(shí)進(jìn)行分解，首先將圖片由RGB空間域轉(zhuǎn)化為HSV空間域，使用一層Conv從輸入的V分量中提取特征，然后以Leaky ReLU激活函數(shù)的5層Conv卷積將提取到的特征映射到反射分量R和光照分量L，最后使用Sigmoid函數(shù)將R和L的范圍約束在[0,1]之間。改進(jìn)模型用Leaky ReLU激活函數(shù)替換原模型ReLU激活函數(shù)，有助于通過Leaky擴(kuò)大ReLU函數(shù)的范圍。Leaky ReLU激活函數(shù)公式表達(dá)為：

其中ai是一個(gè)固定值，通常為0.01左右。

3.2 增強(qiáng)網(wǎng)絡(luò)改進(jìn)

從分解網(wǎng)絡(luò)分解出來的光照?qǐng)D亮度相對(duì)較低，信息量不夠充足，細(xì)節(jié)也不夠明顯。為確保獲得較為理想的光照?qǐng)D，需要對(duì)獲得的分量圖進(jìn)行修正。在此對(duì)Retinex-Net中的Enhance-Net增強(qiáng)網(wǎng)絡(luò)進(jìn)行改進(jìn)，在其中添加空間注意力機(jī)制以及通道注意力機(jī)制，進(jìn)行細(xì)節(jié)增強(qiáng)并指導(dǎo)網(wǎng)絡(luò)進(jìn)行光照?qǐng)D的修正。將光照?qǐng)D輸入空間注意力模塊之后再輸入通道注意力模塊[10]，與直接將光照?qǐng)D分別輸入這兩個(gè)注意力模塊后再融合相比，資源消耗更少。光照?qǐng)D通過注意力模塊后生成新的注意力權(quán)重再分配特征圖，接著指導(dǎo)修正網(wǎng)絡(luò)對(duì)光照不足的光照分量圖進(jìn)行修正。改進(jìn)后的結(jié)構(gòu)如圖4所示。

圖4 添加注意力機(jī)制的改進(jìn)

空間注意力模塊如圖4上方虛線框所示。假設(shè)輸入特征圖為F'，分別經(jīng)過最大池化和平均池化后得到兩個(gè)通道描述。最大池化和平均池化能夠?qū)⑻卣饔成涞目臻g信息聚合，接著將兩個(gè)通道描述通過一個(gè)7×7的卷積降維融合在一起，再通過激活函數(shù)得到空間注意力的權(quán)重系數(shù)MS。最后將輸入的特征圖F與權(quán)重系數(shù)相乘，即可得到經(jīng)過空間注意力模塊的輸出，如下式所示：

通道注意力模塊如圖4下方虛線框所示。光照特征圖從空間注意力模塊輸出后進(jìn)入到通道注意力模塊。輸入特征先分別經(jīng)過平均池化和最大池化，得到兩個(gè)通道描述，再輸入到一個(gè)有兩層共享權(quán)重的神經(jīng)網(wǎng)絡(luò)。其中激活函數(shù)為L(zhǎng)eaky ReLU。將輸出的兩個(gè)特征相加后再經(jīng)過一個(gè)激活函數(shù)，便可得到通道注意力權(quán)重系數(shù)MC，將其與從空間注意力輸出的特征圖相乘即得到從通道注意力模塊輸出的光照?qǐng)D，如下式：

綜上所述，空間注意力與通道注意力的總的處理流程可歸納如下式：

3.3 反射圖去噪改進(jìn)

由于采集設(shè)備或外界自然環(huán)境等因素的影響，低照度圖像在暗光區(qū)域存在大量噪聲，造成圖像信息減少和圖像質(zhì)量下降。反射分量反映物體特征且包含大量細(xì)節(jié)信息，因此，為了對(duì)反射圖進(jìn)行更好的處理，更好地去噪和保持細(xì)節(jié)效果，用Deam-Net網(wǎng)絡(luò)[11]對(duì)低照度圖的反射圖進(jìn)行去噪處理。

Deam-Net網(wǎng)絡(luò)是一種新穎的端到端可訓(xùn)練可解釋的深度去噪網(wǎng)絡(luò)，是通過可解釋性來設(shè)計(jì)的網(wǎng)絡(luò)。首先，在傳統(tǒng)一致性先驗(yàn)中引入非線性濾波算子、可靠性矩陣和高維特征變換函數(shù)，使用了一種新的自適應(yīng)一致性先驗(yàn)（ACP）算法；其次，將ACP項(xiàng)引入最大后驗(yàn)框架，提出一種基于模型的去噪方法。Deam-Net的具體網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

圖5 Deam-Net網(wǎng)絡(luò)結(jié)構(gòu)圖

Deam-Net網(wǎng)絡(luò)主要分為三個(gè)部分，分別為特征區(qū)域、去噪模型和重構(gòu)模塊。其中去噪模塊由n個(gè)NLO+DEAM模塊組成；NLO由特征編碼模塊FED（Feature Encoding Part)、特征解碼模塊FDP（Feature Decording Part）、雙元素注意力機(jī)制DEAM模塊三部分構(gòu)成。DEAM模塊能起到加權(quán)平均的作用，主要作用于跨尺度特征重新校準(zhǔn)和交互。

4 實(shí)驗(yàn)與結(jié)果分析

實(shí)驗(yàn)環(huán)境具體構(gòu)建為：數(shù)據(jù)集選用LOL（Low-Light）；CPU為AMD 3900X;GPU為NVIDIA GTX 3090；內(nèi)存為32GB；操作系統(tǒng)為Ubuntu20.04；編程語言選用Python3.6；開源框架為Pytorch。

所選用LOL數(shù)據(jù)集[12]是一種能夠滿足網(wǎng)絡(luò)對(duì)暗圖片增強(qiáng)任務(wù)學(xué)習(xí)的具有正常光照?qǐng)D和低光照?qǐng)D成對(duì)訓(xùn)練的數(shù)據(jù)集。

為驗(yàn)證基于Retinex-Net改進(jìn)的算法效果，選取MSRCR與Retinex-Net算法作為對(duì)比，從視覺主觀效果與客觀評(píng)價(jià)指標(biāo)兩個(gè)方面進(jìn)行分析。為了更清晰的展示出算法效果，同時(shí)附上原始圖。

首先從視覺主觀效果方面進(jìn)行評(píng)價(jià)，不同算法對(duì)比效果圖如圖6所示。選取5組不同場(chǎng)景圖片，其中第一組為室外陽(yáng)臺(tái)場(chǎng)景；第二、三組為室外小區(qū)場(chǎng)景；第四、五組為人文街景。從左到右依次為原始低光照?qǐng)D片、MSRCR算法、Retinex-Net算法以及本改進(jìn)算法的增強(qiáng)效果圖。

圖6 不同算法增強(qiáng)效果對(duì)比

從圖中可以看出，MSRCR算法增強(qiáng)圖像的整體清晰度不足，在圖片顏色保留上也存在一定缺失，諸多物體的色澤泛白，有明顯的褪色現(xiàn)象，視覺效果較差。雖然該算法亮度提升效果顯著，但是由于缺少一致性的約束，增強(qiáng)輸出后圖片的亮度與原始圖片的亮度分布特征無法保持一致，部分區(qū)域出現(xiàn)了亮度失真，如圖片中的天空區(qū)域。

Retinex-Net算法并未考慮到RGB三通道之間的關(guān)聯(lián)性，因此導(dǎo)致了算法增強(qiáng)過程中自然的色彩特性無法被保存，圖像邊緣部分陰影的存在即是算法進(jìn)行細(xì)節(jié)增強(qiáng)過度所造成的。經(jīng)過Retinex-Net算法增強(qiáng)的圖片色彩失真顯著，部分圖像存在較為明顯的油墨感。

本改進(jìn)增強(qiáng)算法處理結(jié)果圖整體輪廓清晰，噪點(diǎn)較少，說明反射圖去噪的有效性，光亮提升也具有明顯效果。與其他算法相比，本改進(jìn)算法增強(qiáng)效果更加可靠，整體視覺效果也更為自然。

基于Retinex-Net改進(jìn)的低照?qǐng)D增強(qiáng)算法借助了HSV色彩空間的優(yōu)勢(shì)，在保持結(jié)構(gòu)的同時(shí)，保留了圖像原本的大部分信息，最大程度避免了色彩失真，在亮度、顏色、對(duì)比度以及自然性方面都達(dá)到了更為良好的視覺效果。

為更加全面衡量改進(jìn)算法的整體性能，在100對(duì)低照度圖像集對(duì)上進(jìn)行實(shí)驗(yàn)，采用NIQE（自然圖像品質(zhì)評(píng)價(jià)）[13]、SD（標(biāo)準(zhǔn)差）、SSIM（結(jié)構(gòu)相似度）、IQA（圖像質(zhì)量評(píng)價(jià))[14]這四個(gè)指標(biāo)來作為圖片增強(qiáng)效果的客觀評(píng)價(jià)標(biāo)準(zhǔn)。其中NIQE值越小代表著圖片擁有越好的視覺效果，越適合人眼視覺習(xí)慣；SD是圖片對(duì)比度的判定標(biāo)準(zhǔn)，主要針對(duì)光照強(qiáng)度，正常光照?qǐng)D片的對(duì)比度比光照不足圖片的對(duì)比度更高；SSIM為經(jīng)過增強(qiáng)算法后輸出的圖片與原圖的高亮圖做對(duì)比，數(shù)值越高說明相似度越高；IQA是針對(duì)輸出后增強(qiáng)圖片質(zhì)量評(píng)價(jià)，指標(biāo)越高說明圖片質(zhì)量越高，圖片增強(qiáng)過程中對(duì)圖片造成的損失越小。

不同算法在100張低照度圖像上的各指標(biāo)的平均值如表1所示。從數(shù)據(jù)可以看出，改進(jìn)算法的NIQE平均值與原圖相比降低2.09%，與MSRCR算法相比降低0.51%；對(duì)于SD，改進(jìn)算法較Retinex-Net算法提高17.25%。改進(jìn)后模型輸出的圖片與原圖的相似度指標(biāo)提高大于10%，圖片質(zhì)量在原圖的基礎(chǔ)上也提高了21%。綜上所述，通過四個(gè)客觀指標(biāo)數(shù)據(jù)的對(duì)比，能夠證明，所提出的基于Retinex-Net算法改進(jìn)的低照度圖像增強(qiáng)算法在光照不足圖片的自然特征屬性、圖像對(duì)比度以及保留自然增強(qiáng)的效果等方面均有較為明顯的提高。

表1 各算法100張低照度圖像指標(biāo)平均值單位：%

5 結(jié)束語

研究是在Retinex-Net算法的基礎(chǔ)上加以改進(jìn)，通過將RGB圖片轉(zhuǎn)換到HSV色彩空間進(jìn)行處理，重建后的圖像亮度均勻、細(xì)節(jié)突出、色彩失真小且真實(shí)自然，實(shí)現(xiàn)了提高低光照?qǐng)D像增強(qiáng)效果以及對(duì)結(jié)果圖像的色彩維護(hù)。通過實(shí)驗(yàn)分析，也證明了改進(jìn)算法在光照不足圖片的亮度增強(qiáng)與色彩恢復(fù)等方面的明顯提升，具有很大的實(shí)用價(jià)值。在后續(xù)研究中還將繼續(xù)優(yōu)化算法，進(jìn)一步提高算法對(duì)色彩增強(qiáng)等方面的保持能力。