基于Retinex 理論的低照度圖像增強技術(shù)研究

楊微，姚冰瑩，朱曉鳳

（廣州大學華軟軟件學院軟件工程系，廣州 510990）

0 引言

隨著技術(shù)的進步，高質(zhì)量的圖像采集設備獲取的圖像分辨率能夠更高，獲取的圖像質(zhì)量能夠更好，但是實際獲取圖像的質(zhì)量除取決于圖像采集設備之外，有一個關(guān)鍵影響因素——光線?，F(xiàn)實中，良好的光線有助于獲得高質(zhì)量的圖像，相反光線不好會導致圖像成像出現(xiàn)亮度低、圖像模糊、對比度低、偽影、顏色失真等整體質(zhì)量偏低的情況。一般將圖像成像過程中，由于周圍環(huán)境光照強度不足或是照射到物體上的光線不均勻等情況采集的圖像稱為低照度圖像，例如逆光圖像成像、夜間圖像成像、光線遮擋的非一致光照圖像成像、霧天等光線不足的圖像成像等。圖像或視頻影像是計算機視覺任務的輸入，如“無人駕駛”、“醫(yī)療影像診斷”、“工業(yè)視覺”、“圖像檢索”、“圖像識別”“視頻內(nèi)容理解”等多個視覺應用領域，主要任務就是通過對采集的圖片或視頻進行處理以進一步完成相應的視覺任務，高質(zhì)量的圖像是計算機視覺任務處理獲得更好結(jié)果的重要保證[15]。因此，對獲取的低照度圖像執(zhí)行增強處理是計算機視覺研究領域的一個重要領域，低照度圖像增強也被廣泛應用于各類計算機視覺任務的預處理中。

1 研究問題定義與分析

低照度圖像增強是針對照明不足的圖像存在的低亮度、低對比度、噪聲、偽影等問題進行處理，將原來不清晰的圖像變得清晰或者強調(diào)某些感興趣的特征，改善圖像質(zhì)量、豐富圖像信息量，提高采集圖像的視覺質(zhì)量，使得增強后的圖像利于后續(xù)的分析處理。低照度圖像增強對其進行數(shù)學建模，如公式（1）所示：

通常處理圖像一般是空間二維數(shù)字圖像，(x,y) 表示空間位置，S(x,y)表示像素值，c 指圖像不同的通道（R、G、B）。公式（1）中，S表示原始低照度圖像，S～ 表示經(jīng)過低照度增強處理后的圖像，T表示低照度圖像增強處理操作。低照度圖像增強技術(shù)包括直方圖均衡化（HE）及其系列算法[19，27，30]，通過累積分布函數(shù)映射變換圖像直方圖，拉伸了圖像灰度的動態(tài)范圍，適合處理整體灰度較均勻偏低的圖像，處理后對比度得到增強，但對非均勻圖像中亮度區(qū)域存在過曝光現(xiàn)象；基于非線性變換的算法，通過非線性變換函數(shù)對圖像各個像素點執(zhí)行變換操作，增強圖像亮度，如伽馬變換、對數(shù)變換，常和其他算法結(jié)合使用作為圖像增強的后處理[9，16，30]；基于去霧模型算法[28-29]，依據(jù)反轉(zhuǎn)后圖像和帶霧圖像的相似性，使用去霧算法處理反轉(zhuǎn)后的圖像再反轉(zhuǎn)得到增強圖像。

1963 年E.Land 研究人類視覺系統(tǒng)發(fā)現(xiàn)人類視覺系統(tǒng)能夠在各種不同的照明條件下實際識別和匹配顏色，物體的顏色是由物體構(gòu)成反射不同光照的能力決定的，與光密度關(guān)系不大，這一特性通常被稱為顏色恒常性現(xiàn)象[1]，基于該特性提出視網(wǎng)膜皮層（Retinex）理論。Horn 等人[2]基于人眼感知到的物體的亮度和色彩是由環(huán)境的照度和物體對表面的反射光決定的思想，將Retinex 理論用照明-反射Retinex 模型來表征，即觀察圖像可以表達為反射圖和光照圖L兩部分按像素乘*作用得到，并運用該理論到低照度圖像處理中。Retinex 模型如公式（2）所示，S為觀察圖像，R是由反射圖，L為光照圖，*為像素乘。

當光照不理想時就會導致低照度成像的噪聲、整體灰度暗、對比度清晰度不足等問題，基于Retinex 模型低照度圖像增強建模如公式（3）所示，T 指基于Retinex 模型的低照度圖像增強算法，隨著Retinex 理論的不斷發(fā)展，基于Retinex 理論的低照度圖像增強技術(shù)分支凸顯其旺盛的生命力，吸引了眾多相關(guān)領域的研究者，出現(xiàn)了系列的“基于Retinex 理論的低照度圖像增強算法”。本文在對研究問題分析的基礎上，對基于Retinex 理論的低照度圖像增強主要技術(shù)分支進行研究，最后給出基于Retinex 的低照度圖像增強未來發(fā)展方向的分析。

2 “Retinex模型+傳統(tǒng)數(shù)學運算”低照度圖像增強

2.1 Retinex模型“光照圖”去除圖像增強

基于Retinex 模型，研究者認為圖像的本質(zhì)是“反射圖”，提出“光照圖”去除圖像增強算法，即從低照度圖像S中估計“光照圖”并通過運算去除它，得到圖像本質(zhì)“反射圖”為增強后的圖像S～（S～=S÷L）。基于Retinex 理論從觀察圖像S中估計L分離出R是不適定問題，光照圖估計都是不完全準確的，低照度圖像增強就轉(zhuǎn)換成如何更準確從S中估計L并分離得到R的問題。研究者通過log 運算將除法（S～=S÷L）運算變?yōu)闇p法運算（logS～=logS-logL）完成S中L和R的分離。如圖1 所示，S表示輸入圖像，s為Log 變換后圖像，l為估計得到光照圖，r 和R 分別表示Log 變換后反射圖及EXP 變換后的反射圖。

圖1 “光照圖”去除圖像增強

圍繞光照圖估計研究者提出多種策略，包括基于路徑思想（path-based）[33]、基于偏微分方程思想（PDE-based）[32]、基于中心環(huán)繞思想（center/surround）[4-6]。其中“中心環(huán)繞”思想最經(jīng)典，將圖像與具有“徑向遞減”特性的徑向基函數(shù)（RBF）為核做卷積運算估算光照圖[3]，不同核函數(shù)得到不同算法和性能，代表算法是單尺度Retinex 算法（SSR）及其改進算法。1997 年 Jobson 提出單尺度Retinex 算法（SSR）[4]，認為光照圖代表了圖像中的低頻分量，具有空間平滑的特性，以高斯環(huán)繞函數(shù)F(x,y)作為低通濾波進行光照圖估計核函數(shù)。如公式（4-6）所示：r(x,y)表示log 變換后的反射圖，F(xiàn)(x,y)為高斯核函數(shù)，c為高斯函數(shù)的標準變差，取值大小對圖像增強的效果影響關(guān)鍵，K 為使得F(x,y)滿足公式6的值。

單尺度SSR 算法圖處理細節(jié)增強和顏色保真受c選擇影響且兩者矛盾，Jobson 等人基于SSR 提出基于線性加權(quán)平均的折中策略—多尺度Retinex 算法（MSR）[5]，通過對不同尺度核處理的結(jié)果進行加權(quán)求和，平衡不同尺度的c對顏色保真和細節(jié)增強的綜合效果，如公式（7）所示。為了緩解不加區(qū)別處理彩色圖像R、G、B 三個通道導致增強圖像色彩失真，Jobson 等人進一步提出MSRCR 算法[6]，通過引入色彩恢復因子等一系列參數(shù)確保增強圖像的色彩保真度更好。

單尺度Retinex 算法及其改進系列算法基于全局光照變化平滑的假設與圖像由于自身結(jié)構(gòu)光照圖實際是分段光滑的事實不一致，導致處理后的增強圖像常出現(xiàn)光暈（holo）現(xiàn)象。文獻[22-23]采用雙邊濾波器作為核函數(shù)替代高斯濾波器，同時考慮領域的距離和像素變化情況，符合光照平滑特性同時更好地保護圖像邊緣結(jié)構(gòu)。He 等人提出一種局部線性濾波器[24]，平滑圖像和保留邊緣的同時能夠一定程度上保留圖像細節(jié)信息，后方帥等人在文獻[24]研究基礎上提出一種基于兩次圖像引導濾波的Retinex 算法，通過實驗證明能有效抑制圖像偽影[25]。

基于“光照圖”去除圖像增強算法能夠在一定程度上增強圖像，但忽略了光照圖對圖像自然度及紋理細節(jié)保持的作用，導致圖像丟失紋理細節(jié)；沒有考慮圖像反射率為[0，1]的范圍的事實，導致增強圖像出現(xiàn)過增強等不自然的情況。

2.2 Retinex模型“光照圖”改善圖像增強

“光照圖”反映圖像低頻部分與圖像的全局特征相關(guān)，也是圖像自然保持度的重要因素，基于“光照圖去除”思想只保留反射圖會導致增強的圖像出現(xiàn)過增強、光暈、顏色失真、圖像場景失真等非自然現(xiàn)象[7-8]。基于此研究學者提出“光照圖”改善Retinex 模型低照度圖像增強，認為好的光照圖低照度圖像增強的關(guān)鍵，通過直接或設計算法估計得到初始光照圖Linit，對Linit執(zhí)行增強處理后得到Lfinal后與反射圖R得到增強圖像S～[7-9]。如公式（8）所示，S～ 為增強后圖像，R為反射圖，f(L) 代表對圖像中的光照圖進行“修復”增強處理，算法流程圖如圖2 所示。

Wang 等人[7]研究圖像的自然度和圖像的光照順序，認為增強后的圖像光照順序應該保持不變，提出NPEA 算法，設計LOE 用于評價增強圖像的光照順序一致性，濾波器BPF 對以R、G、B 三通道最大值作為光照值的光照圖進行濾波得到Linit后，采用“l(fā)og+直方圖均衡化思想”處理得到“修復的光照圖”Lfinal與反射圖形作用得到增強圖像，NPEA[7]算法流程如下：

1）獲取初始光照圖：以圖像R、G、B 三通道每個位置最大值作為該位置像素值，獲得初始光照圖；

2）圖像光照圖估計：精心設計“亮度濾波器BPF”如公式（9），Q(L(x,y),L(i,j))表示在局部區(qū)域 Ω 中，（x，y）位置像素和（i，j）位置像素相鄰的評率，反映像素之間關(guān)系的強弱，U(L(x,y),L(i,j))只有（i，j）位置像素值大于（x，y）位置像素值時，L(i,j)參與影響（x，y）光照，W（x，y）為歸一化權(quán)重值，保證權(quán)重和為1，通過濾波器BPF 濾波后得到得到估計的光照圖Lr(x,y)；

3）增強光照圖：對估計光照圖Lr(x,y)采用“l(fā)og+直方圖均衡化思想”處理得到“修復的光照圖”，即增強光照圖f(Lc(x,y))；

4）基于Retinex 理論，利用通過公式（10）變換后獲得反射圖Rc(x,y)；

5）最后基于公式（8），將增強后光照圖和反射圖合成得到增強后的圖像S～ 。

圖2 “光照圖”改善圖像增強

基于Retinex 理論對觀察圖像分離是不適定向問題，研究學者提出不同算法用于求解該不適定向問題。其中普遍采用的方法是正則化方法，利用對解和光照圖空間光滑性、反射率小于1 等先驗估計設計目標函數(shù)，并基于目標函數(shù)把求解限定在某個較小范圍內(nèi)，將原本不適定的問題就轉(zhuǎn)化為適定的最優(yōu)化問題求解。Kimmel 等人[21]提出變分模型（VM），基于結(jié)合光照的空間平滑、圖像反射率的范圍為[0，1]等先驗建立目標函數(shù)，將光照圖和反射圖分離問題轉(zhuǎn)化為二次規(guī)劃優(yōu)化問題進行求解并證明其有效性。Guo 等人[9]融合變分法和Retinex 理論提出LIME 算法，在光照圖結(jié)構(gòu)光滑的先驗的基礎上對目標函數(shù)加入結(jié)構(gòu)先驗，通過二次規(guī)劃最優(yōu)求解方法進行求解。LIME 運用gamma變換提升光照圖L的亮度；增強圖像運用數(shù)學運算變換而沒有進行實際光照圖和反射圖的分離降低了算法的計算量；針對低照度導致反射圖中遺留的噪聲及去噪操作引起圖像顏色失真則將增強圖像轉(zhuǎn)換到Y(jié)UV 空間域并利用BM3D 算法[10]對獨立的Y 亮度分量進行去噪增強處理再變換到RGB 空間的后操作處理。Fu 等人[20]針對傳統(tǒng)的加權(quán)變分模型中l(wèi)og 變換導致懲罰項引入誤差問題提出新的加權(quán)變分模型（WVM），運用帶近似策略的交替極小化算法求解進行光照圖和反射圖同時估計，證明能夠較好保留圖像細節(jié)抑制噪聲。Ren 等人[31]認為基于正則化方法同步進行反射圖和光照圖分解會導致反射圖保留較多的噪聲，雖然可以通過后處理進行去噪但是會破壞反射圖細節(jié)，提出采用相繼優(yōu)化手段進行光照圖和反射圖分解，按順序估計分段平滑照明和噪聲抑制反射率，能夠有效抑制噪聲提高增強圖像對比度。

表2 Retinex-Net[13]網(wǎng)絡結(jié)構(gòu)

基于數(shù)學運算Retinex 低照度增強模型，通過設計優(yōu)化濾波器、構(gòu)建變分函數(shù)等方式獲得光照圖和反射圖，最后獲得增強后的圖像，算法具有完善數(shù)學體系支撐，能夠獲得較好的增強效果。但隨著數(shù)學模型越來越復雜，涉及的參數(shù)多，且實驗過程需要通過反復試驗（trial and error）進行參數(shù)取值，算法執(zhí)行處理時間長。

3 “Retinex模型+卷積神經(jīng)網(wǎng)絡”低照度圖像增強

隨著數(shù)據(jù)和計算資源的廉價化，基于數(shù)據(jù)驅(qū)動的機器學習相關(guān)技術(shù)不斷發(fā)展被運用到低照度圖像增強處理任務中[11-15，27]。Liang 等人[11]基于 MSR 算法模型[5]，將多尺度加權(quán)高斯環(huán)繞處理轉(zhuǎn)化為等價的“高斯差分”結(jié)構(gòu)，設計帶殘差結(jié)構(gòu)卷積神經(jīng)網(wǎng)絡“MSR-Net”，基于端到端數(shù)據(jù)驅(qū)動學習“差分高斯環(huán)繞函數(shù)卷積核”參數(shù)進行低照度圖像增強，并在網(wǎng)絡結(jié)構(gòu)加入了顏色恢復模塊，取得了較好的增強效果。Kin 等人[27]設計深度自編碼器從合成的低光照及噪聲圖像中學習到稀疏編碼，能夠用于自然場景下低光照圖像的增強，并且視覺及定量效果分析較好。隨著卷積神經(jīng)網(wǎng)絡的發(fā)展，尤其是 AlexNet、VGG、ResNet、U-Net[18]等優(yōu)秀網(wǎng)絡結(jié)構(gòu)的出現(xiàn)，結(jié)合卷積神經(jīng)網(wǎng)絡和Retinex 理論的低照度圖像增強成為端到端低照度圖像增強模型的熱門研究方向，稱之為基于卷積神經(jīng)網(wǎng)絡Retinex 模型?；诰矸e神經(jīng)網(wǎng)絡的Retinex 圖像增強算法流程是：基于“先驗”理論設計網(wǎng)絡損失函數(shù)，通過數(shù)據(jù)驅(qū)動訓練網(wǎng)絡，采用機器學習優(yōu)化方法指定網(wǎng)絡訓練策略求解損失函數(shù)求最優(yōu)值求解為目標，學習數(shù)據(jù)特征，最終獲得具有圖像分解、圖像增強等表征能力的網(wǎng)絡結(jié)構(gòu)，測試驗證網(wǎng)絡模型能力后運用到新的數(shù)據(jù)中。算法運用的先驗理論主要有：①圖像可以分解成光照圖和反射圖，從圖像中分離光照圖和反射圖是屬于典型的不適定問題；②圖像光照圖是圖像的低頻部分，具有空間光滑性、一致性，但局部如邊緣部分光照應保留強灰度變化；③反射圖是圖像高頻部分，和圖像呈現(xiàn)的細節(jié)紋理相關(guān)；④不同光照環(huán)境下同一個場景中反射圖應該趨于一致。

Shi 等人[12]結(jié)合Retinex 理論與生成對抗網(wǎng)絡設計了Retinex-GAN 網(wǎng)絡，采用U-Net[18]網(wǎng)絡結(jié)構(gòu)進行圖像分解，采用卷積神經(jīng)網(wǎng)絡在對抗網(wǎng)絡結(jié)構(gòu)中獲得較好實驗效果。Chen 等人[13]基于卷積神經(jīng)網(wǎng)絡技術(shù)和自建數(shù)據(jù)集LOL 設計訓練了深度學習網(wǎng)絡Retinex-Net 進行低照度圖像增強。如表1 所示，Retinex-Net 由“Decom-Net”和“Enhance-Net”兩個階段組成，基于 1、2、4先驗構(gòu)建損失函數(shù)，輸入低照度/正常圖像對訓練網(wǎng)絡，通過“Decom-Net”結(jié)構(gòu)中分解為光照圖和反射圖，光照圖經(jīng)過“Enhance-Net”網(wǎng)絡增強得到“修復”的光照圖再和經(jīng)過BM3D[10]算法去噪處理的反射圖按像素做乘運算得到增強后得到增強圖像。

Zhang 等人[14]指出降質(zhì)的光線會導致反射圖每個像素非一致性地受到噪音的影響，基于卷積神經(jīng)網(wǎng)絡設計了側(cè)重于光照圖像的靈活調(diào)整和反射圖像細節(jié)增強的網(wǎng)絡結(jié)構(gòu)KinD network。不同于Retinex-Net：①以光照條件好的圖像的反射圖作為低照度反射圖的參照標簽，進行低照度反射圖的增強網(wǎng)絡的訓練，增強低照度反射的紋理細節(jié)；②在圖像分解階段，光照圖和反射圖分離設計兩條不同分支網(wǎng)絡結(jié)構(gòu)，為了避免光照圖中丟失紋理信息光照圖分支結(jié)構(gòu)中融入了反射圖的featuremap 以補償光照圖的細節(jié)部分；③對優(yōu)質(zhì)“參考圖像”要求不高，只需要輸入不同光照條件下的圖像對；④用戶可以控制目標光照和源光照比例（Lt/Ls）值，達到自適應調(diào)節(jié)目標光照程度的目的；⑤在實驗分析階段使用了多個圖像質(zhì)量評價指標評價。如表3 所示，通過實驗指出該算法性能優(yōu)于目前其他算法。

表3 KinD network[14]結(jié)構(gòu)

基于卷積神經(jīng)網(wǎng)絡Retinex 低照度圖像增強算法圖像增強效果和訓練數(shù)據(jù)高度相關(guān)，對數(shù)據(jù)完備性要求高。現(xiàn)實中數(shù)據(jù)完備性不足成為限制算法性能的一個關(guān)鍵因素。對此，有研究者依據(jù)低照度圖像成因，分析低照度圖像特點，利用合成低照度圖像進行數(shù)據(jù)增強。但是由于圖像成像的復雜性過程，難以模擬真實的低照度圖像，這會帶來處理誤差。

4 “Retinex模型+圖像融合”低照度圖像增強

單獨采用一種低照度圖像增強算法無法獲得低對比度增強、噪聲抑制、顏色自然性等綜合性能更優(yōu)解，研究學者提出融合多種成熟低照度增強技術(shù)的基于圖像融合的Retinex 低照度增強模型?；趫D像融合的Retinex 理論的低照度圖像增強技術(shù)提升圖像處理粒度到圖像的層面，在圖像層面設計合適的加權(quán)系數(shù)是算法性能的關(guān)鍵問題。針對各種單一方法都不能獲取綜合性能效果的問題，F(xiàn)u 等人[16]基于Retinex 理論提出融合多種方法的低照度圖像增強算法，在算法中作者研究認為好的光照圖是提高照度圖像的關(guān)鍵，因此先采用形態(tài)學閉合算法進行“光照圖”的估計，再采用多種成熟的圖像增強方法對“光照圖進行增強”得到各自對應的光照圖Li，設計亮度權(quán)重、對比度權(quán)重得到綜合權(quán)重系數(shù)對不同“光照圖”Li進行加權(quán)獲得“好的光照圖”L。實驗發(fā)現(xiàn)處理后圖像的陰影問題，對此作者引入多尺度高斯金字塔和拉普拉斯金字塔對光照圖和權(quán)重系數(shù)再上采樣得到Lfinal，實現(xiàn)光照圖細節(jié)融合及平滑減少圖像陰影，最后將反射圖R 和光照圖Lfinal按像素乘后得到增強的圖像。馮維等人[17]為解決弱光圖像增強過程中對比度增強和自然度保持問題，針對文獻[16]中由于沒有考慮融合圖像結(jié)構(gòu)信息引起的局部光照突變處細節(jié)信息不清晰問題提出一種基于Retinex的多圖像自適應加權(quán)最小二乘濾波算法，通過加權(quán)最小二乘濾波方法對多幅照明圖進行加權(quán)估計。由于傳統(tǒng)RGB 圖像的光照和顏色融合在一起，為了圖像的顏色保真常采用變換圖像的空間域，如轉(zhuǎn)換圖像的處理域到Y(jié)CrYCb 空間或HSV 空間分離出獨立的光照通道進行增強處理[10，30]。

5 結(jié)語

Retinex 理論應用到低照度圖像增強，衍生出基于傳統(tǒng)數(shù)學運算Retinex 模型算法、基于卷積神經(jīng)網(wǎng)絡Retinex 模型、基于圖像融合Retinex 模型等，彰顯出Retinex 理論的旺盛生命力。基于傳統(tǒng)數(shù)學運算Retinex 模型是結(jié)合低照度圖像增強問題域先驗與數(shù)學工具，將低照度圖像增強轉(zhuǎn)變?yōu)閿?shù)學領域問題進行求解，具有完善的數(shù)學體系支撐，但模型中包含多個超參數(shù)，算法復雜度高，尤其隨著圖像分辨率越來越高，算法執(zhí)行時間長。對此，尋找更符合最優(yōu)解的先驗，設計更科學正則化模型，獲得細節(jié)豐富、噪聲少的反射圖和圖像結(jié)構(gòu)關(guān)聯(lián)的空間光滑的光照圖，降低算法復雜度、提高算法執(zhí)行效率是基于傳統(tǒng)數(shù)學運算Retinex 模型的研究方向。基于卷積神經(jīng)網(wǎng)絡Retinex 模型以數(shù)據(jù)集作為驅(qū)動取得可喜的增強效果，但是利用卷積網(wǎng)絡的特征表達能力對低照度圖像進行增強缺少嚴謹?shù)慕忉屝裕敯粜圆粡??；诰矸e神經(jīng)網(wǎng)絡Retinex 模型需要解決的問題包括：如何構(gòu)建更完備領域數(shù)據(jù)集；如何優(yōu)化卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)獲得更強大網(wǎng)絡表征能力；挖掘生物視覺理論指導設計先驗提升模型的魯棒性；聯(lián)合終端計算機視覺處理任務驅(qū)動引導針對性低照度圖像增強等。而在單一低照度增強算法不能很好取得綜合優(yōu)解的情況下，基于圖像融合的Retinex 模型獲取綜合性能也成為一個重要研究方向。此外，基于Retinex 模型低照度圖像增強需要針對不同場景的低照度圖設計適應不同場景的、具有魯棒性、算法的執(zhí)行時間效率高的算法。