基于深度學(xué)習(xí)的低照度圖像增強(qiáng)

仇瑞陽　吳章銘　王宇辰

摘要：該文以深度學(xué)習(xí)為基礎(chǔ)，以增強(qiáng)低照度圖像為背景，對圖像處理技術(shù)展開了研究。在對已有的比較流行的增強(qiáng)技術(shù)的研究基礎(chǔ)上，對一些步驟進(jìn)行改善，提出了改進(jìn)的RetinexNet算法。傳統(tǒng)的Retinex算法在處理單張圖像時(shí)比較好用，但是運(yùn)算速度比較慢，沒辦法批量快速處理圖像。在對RetinexNet改進(jìn)之后，該算法能對低照度圖像進(jìn)行較為快速的優(yōu)化，在增強(qiáng)圖像質(zhì)量的同時(shí)改善了圖像細(xì)節(jié)和色彩失真，控制了圖像的噪聲。

關(guān)鍵詞：低照度圖像;圖像增強(qiáng);RetinexNet改進(jìn)算法

中圖分類號：TP3? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號：1009-3044（2022）07-0076-02

近年來，圖像處理技術(shù)發(fā)展迅速。圖像處理是指對圖像進(jìn)行分析、加工和處理，使其滿足視覺方面需求的一種技術(shù)，它也是信號處理在圖像領(lǐng)域的一種重要應(yīng)用。隨著計(jì)算機(jī)技術(shù)、人工智能和思維科學(xué)研究的迅速發(fā)展，圖像處理向更高、更深的層次發(fā)展。近年來Retinex理論被廣泛應(yīng)用于低照度圖像增強(qiáng)領(lǐng)域，同時(shí)，借助深度學(xué)習(xí)這一工具，用Retinex原理設(shè)計(jì)大規(guī)模數(shù)據(jù)驅(qū)動(dòng)訓(xùn)練模型，可以發(fā)揮出“1+1>2”效果。

1 經(jīng)典理論

1.1 Retinex理論

Retinex[1]理論包括兩方面內(nèi)容：物體對外呈現(xiàn)出的顏色主要由物體的反射性質(zhì)決定，而與對物體的光照無關(guān);光的照射不均不會(huì)影響到物體對外呈現(xiàn)出的顏色，即自然界中的物體顏色具有恒常性。

該理論的基本假設(shè)是任何一幅圖像都可以分解為反射圖像[R]和入射圖像[L]，其中入射圖像[L]決定了圖中像素所能達(dá)到的動(dòng)態(tài)范圍，而反射圖像[R]包含了圖像的內(nèi)在屬性，所以Retinex算法的核心就是從圖像S中估測并去除L分量，得到原始反射分量R。

比較經(jīng)典的Retinex算法有單尺度Retinex算法（SSR）和多尺度Retinex算法（MSR）。SSR[2]中將低通高斯濾波器與原來的圖像卷積的結(jié)果視為原圖像的光照分量，而參數(shù)[σ]的選擇是一個(gè)問題，通過實(shí)驗(yàn)可以發(fā)現(xiàn)，如果[σ]的選值較大，雖然會(huì)使得它作用的動(dòng)態(tài)范圍較大，但會(huì)影響圖像的細(xì)節(jié)信息，使得處理后的圖像較為模糊，如果[σ]較小，可以保留圖像的細(xì)節(jié)，但會(huì)使得顏色失真。為了彌補(bǔ)SSR算法的不足，MSR算法被提出，該算法能夠兼顧動(dòng)態(tài)壓縮范圍和顏色保真兩個(gè)要求。

1.2 卷積神經(jīng)網(wǎng)絡(luò)與圖像處理[3]

深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)常用于計(jì)算機(jī)視覺領(lǐng)域，該網(wǎng)絡(luò)是一類包含卷積計(jì)算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)，對圖像和濾波矩陣做內(nèi)積的操作就是所謂的卷積操作。卷積神經(jīng)網(wǎng)絡(luò)利用了輸入圖像的局部空間結(jié)構(gòu)，很好地保持了像素的空間關(guān)系，在它使用時(shí)無須人工對圖像進(jìn)行預(yù)處理和特征抽取等復(fù)雜操作，并且與普通神經(jīng)網(wǎng)絡(luò)相比，[4]它的優(yōu)點(diǎn)在輸入是多維圖像時(shí)表現(xiàn)得更為明顯，它可以使圖像直接作為網(wǎng)絡(luò)的輸入，避免了傳統(tǒng)識(shí)別算法中復(fù)雜的特征提取和數(shù)據(jù)重建過程。目前在圖像處理和圖像識(shí)別等領(lǐng)域卷積神經(jīng)網(wǎng)絡(luò)都有非常廣的應(yīng)用。實(shí)際上，將卷積神經(jīng)網(wǎng)絡(luò)與低照度圖像相結(jié)合的技術(shù)也不在少數(shù)，多數(shù)技術(shù)雖然能夠?qū)崿F(xiàn)低照度的增強(qiáng)，但是會(huì)出現(xiàn)色彩失真、邊緣模糊等問題。

2 基本模型

2.1 RetinexNet網(wǎng)絡(luò)構(gòu)架

傳統(tǒng)的基于Retinex理論的算法處理圖像耗時(shí)較長，無法實(shí)現(xiàn)批量處理低照度圖像，2018年發(fā)表在BMVC的論文中[5]提出了一種基于Retinex理論的卷積神經(jīng)網(wǎng)絡(luò)模型——RetinexNet，解決了相關(guān)問題。

RetinexNet可分為分解模型、調(diào)整模型和重建三部分，如圖1所示。

分解模型實(shí)現(xiàn)的是反射分量[R]和光照分量[I]的分解。該模型由5個(gè)帶ReLU的卷積層構(gòu)成，輸入低/正常光照圖像對并共享網(wǎng)絡(luò)參數(shù)，得到低光照圖像的反射分量[ Rlow] 和光照分量[ Ilow]以及正常光照圖像的反射分量[ Rnormal]和光照分量 [ Inormal]，引入了重建損失、反射分量一致性損失和光照分量平滑損失來構(gòu)建損失函數(shù)。

調(diào)整模型主要對低光照圖像的反射分量[ Rlow]進(jìn)行噪聲抑制及其光照分量[? Ilow]進(jìn)行校正，用EnhanceNet增強(qiáng)入射光圖像，網(wǎng)絡(luò)采用編碼-解碼的整體框架，用多尺度級聯(lián)方式保持全局光照和上下文信息的一致性，同時(shí)對局部光照分布進(jìn)行重點(diǎn)調(diào)整。此外對反射率圖像進(jìn)行去噪，采用了聯(lián)合去噪BM3D算法對[ Rlow]中被放大的噪聲進(jìn)行抑制。損失函數(shù)同樣也由重建損失和光照分量平滑損失構(gòu)成。

重建模型則是根據(jù)處理后的反射分量[ Rlow]和光照分量[? Ilow]逐元素相乘恢復(fù)出正常光照圖像。

2.2 RetinexNet的不足

實(shí)際上，在經(jīng)過多次試驗(yàn)之后，本文發(fā)現(xiàn)該網(wǎng)絡(luò)存在較為嚴(yán)重的色彩失真問題。此外，Retinex理論假設(shè)光照在整個(gè)圖像內(nèi)平緩變化，而實(shí)際圖像中邊緣區(qū)域光照變化比較強(qiáng)烈，導(dǎo)致邊緣區(qū)域出現(xiàn)光暈現(xiàn)象。同時(shí)增強(qiáng)后的圖像會(huì)出現(xiàn)邊緣模糊問題，原因是算法對反射率圖像進(jìn)行平滑濾噪時(shí)，損失了細(xì)節(jié)信息，不能充分提取圖像的邊緣信息。

3 模型改進(jìn)

3.1 激活函數(shù)改進(jìn)

分解低照度圖像與正常圖像時(shí)，本算法選擇leaky ReLU作為激活函數(shù)可以減少靜默神經(jīng)元的出現(xiàn)，允許基于梯度的學(xué)習(xí)，較好地解決了ReLU函數(shù)進(jìn)入負(fù)區(qū)間后，導(dǎo)致神經(jīng)元不學(xué)習(xí)的問題，這樣提高了學(xué)習(xí)的準(zhǔn)確性，Leaky ReLU函數(shù)及其導(dǎo)數(shù)如下：

本算法a選取0.5。

3.2 損失函數(shù)的重構(gòu)

原網(wǎng)絡(luò)DecomNet分解網(wǎng)絡(luò)的損失函數(shù)由重建損失、反射分量一致性損失和光照分量平滑損失三部分組成：

其中，重建損失旨在使模型分解出來的反射分量R和光照分量I能夠盡可能重建出對應(yīng)的原圖;反射分量一致性損失確保了成對的低/正常光照圖像的反射分量R應(yīng)該盡可能一致;光照分量平滑損失使得光照分量在紋理細(xì)節(jié)上做到盡可能平滑，同時(shí)在整體結(jié)構(gòu)上應(yīng)該得到較好的保留。

但實(shí)際上這樣的損失函數(shù)對于細(xì)節(jié)和清晰度的處理較差，且很容易出現(xiàn)失真和噪點(diǎn)過多的問題，因此本算法引入了L1損失函數(shù)與MS-SSIM損失函數(shù)，并以一定的權(quán)重加以約束，得到MS-SSIM+L1混合損失函數(shù)，其中MS-SSIM容易導(dǎo)致亮度的改變和顏色的偏差，但它能保留高頻信息（圖像的邊緣和細(xì)節(jié)），而L1損失函數(shù)則能較好地保持亮度和顏色不變化，具體表達(dá)式如下：

經(jīng)過多次實(shí)驗(yàn)，a取0.75時(shí)效果較好，所以改進(jìn)后的網(wǎng)絡(luò)損失函數(shù)由[LMix]和[L]共同組成。

3.3 學(xué)習(xí)率衰減

通過優(yōu)化器和圖像梯度下降法減小損失函數(shù)的值實(shí)現(xiàn)對模型進(jìn)行優(yōu)化，利用adam優(yōu)化器對損失函數(shù)優(yōu)化，減小損失函數(shù)的值，在迭代過程中選擇學(xué)習(xí)率衰減方式，公式如下：

本算法k選擇2，迭代數(shù)選擇每20次迭代進(jìn)行一次學(xué)習(xí)率衰減，初始學(xué)習(xí)率[α0]=0.001。

3.4 反射分量增強(qiáng)

RetinexNet算法對反射率圖像進(jìn)行平滑去噪時(shí)，使用了BM3D算法，一定程度上模糊了圖像的邊緣。為了增強(qiáng)圖像的邊緣特征信息并還原圖像細(xì)節(jié)，本算法采用圖像銳化算法對反射分量進(jìn)行處理。在眾多圖像銳化算法中，Laplace算法效果較好，其使用了Laplace算子尋找圖像灰度值中二階微分的過零點(diǎn)檢測邊緣點(diǎn)。因此，本算法使用Laplace算法對已經(jīng)進(jìn)行去噪后的圖像做進(jìn)一步的銳化處理。實(shí)驗(yàn)中使用的二維拉普拉絲算法表達(dá)式如下：

4 實(shí)驗(yàn)結(jié)果及分析

如圖2所示，經(jīng)過對比可以發(fā)現(xiàn)，在色彩上，改進(jìn)的網(wǎng)絡(luò)有著更為良好的照度且色彩失真的問題能夠得到一定的改善，使得圖像更加貼近原圖像，同時(shí)在圖像細(xì)節(jié)方面，明顯可以發(fā)現(xiàn)改進(jìn)后的網(wǎng)絡(luò)處理出來的圖像噪點(diǎn)下降，對紋理細(xì)節(jié)和清晰度的還原程度也更高。

5 結(jié)束語

RetinexNet在真實(shí)場景中捕獲的成對的低/正常光圖像來構(gòu)建一個(gè)大型數(shù)據(jù)集，構(gòu)建了基于Retinex模型的深度學(xué)習(xí)圖像增強(qiáng)模型。通過連續(xù)的弱光增強(qiáng)網(wǎng)絡(luò)對去合成網(wǎng)絡(luò)進(jìn)行端到端的訓(xùn)練，使得該框架具有良好的光狀態(tài)調(diào)節(jié)能力。

本文所提算法在實(shí)驗(yàn)中實(shí)現(xiàn)了對于RetinexNet的改進(jìn)，減少了該模型出現(xiàn)色彩失真的概率，同時(shí)經(jīng)過增強(qiáng)后的圖像除圖像照度提高外，清晰度和紋理細(xì)節(jié)也得到了顯著的提升。

參考文獻(xiàn)：

[1] 李勇.基于Retinex理論的低照度圖像增強(qiáng)算法研究與實(shí)現(xiàn)[D].西安：西安電子科技大學(xué)，2018.

[2] 王彥林，張進(jìn).改進(jìn)成像模型的單尺度Retinex彩色圖像增強(qiáng)算法[J].計(jì)算機(jī)工程與設(shè)計(jì)，2018，39（11）：3511-3515.

[3] 王彬，高嘉平，司聳濤.基于卷積神經(jīng)網(wǎng)絡(luò)的圖像分類及應(yīng)用[J].電子與封裝，2021，21（5）：76-80.

[4] 胡伏原，李林燕，尚欣茹，等.基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測算法綜述[J].蘇州科技大學(xué)學(xué)報(bào)（自然科學(xué)版），2020，37（2）：1-10，25.

[5] Wei C，Wang W J，Yang W H，et al.Deep retinex decomposition for low-ligh tenhancement[EB/OL].2018：arXiv：1808.04560[cs.CV].https：//arxiv.org/abs/1808.04560

【通聯(lián)編輯：代影】

收稿日期：2021-09-06

基金項(xiàng)目：2020年江蘇省大學(xué)生創(chuàng)新訓(xùn)練計(jì)劃項(xiàng)目（SYB2020001）

作者簡介：仇瑞陽（2000—），男，江蘇南京人，南京郵電大學(xué)本科在讀，主要研究方向?yàn)橥ㄐ殴こ獭?/p>