改進Retinex的低光照圖像增強

黃 慧，董林鷺，劉小芳，趙良軍

(1.人工智能四川省重點實驗室，自貢 643000；2.四川輕化工大學 自動化與信息工程學院，自貢 643000；3.四川輕化工大學 計算機科學與工程學院，自貢 643000)

1 引 言

高可見度圖像能夠更清楚地反映目標場景中的細節(jié)，在目標識別[1]、跟蹤[2]以及醫(yī)學[3]研究等計算機視覺技術方向起著重要的作用。但是受攝像頭系統(tǒng)成本高，拍攝技術人員的技巧等因素的限制，多數(shù)情況下選用相對便宜的傳感器進行圖像的采集。低光照圖像在拍攝過程中受到光照不足、噪聲等因素影響，圖像的視覺質量無法令人滿意，可能損害主要用于高可見度輸入的算法性能[4]，圖片的重要信息被隱藏或忽略。圖像增強的主要想法是只突出顯示圖像中人們感興趣的部分或特征，為提高低光照圖像的視覺質量，發(fā)掘出被掩藏的有效信息，低光照圖像增強技術具有重要價值和現(xiàn)實意義。

經典的圖像增強技術主要可以分為：空間域法和頻域法[5]?？臻g域法直接對圖像的像素進行處理，不進行其他域變換，常見方法的有線性增強(Linear Enhancement， LE)[6]和直方圖均衡(Histogram Equalization，HE)[7-8]處理。多研究人員試圖根據原始輸入圖像的統(tǒng)計信息，直接將被埋沒的結構放大到可見狀態(tài)，例如線性變換對圖像中的像素值進行增大，是調出暗區(qū)可見性的最直觀和簡單的方法，但是帶來的問題是若存在已飽和的較亮的區(qū)域，反而會過度增強丟失相應的細節(jié)，原本的區(qū)域的紋理特征可能變得不可見[9]。HE策略通過歸一化迫使輸出圖像落在[0,1]之間，使原始圖像中較集中的某個灰度區(qū)間在全范圍內均勻分布。頻域法將圖像輸入到頻域中，計算圖像的傅里葉變換，對特定圖像的每一個傅里葉變換執(zhí)行增強操作，隨后執(zhí)行逆傅里葉變換從而獲取伴隨圖像，主要有高通濾波、同態(tài)濾波等方法。以上的算法都是簡單且易實現(xiàn)的，但在低光照的情況下，圖像的信息不規(guī)則被隱藏在黑暗中在，簡單的增強的效果并不理想，不能得到較高品質的圖像。研究人員在經典算法上提出許多改進，如通過變分法在直方圖上加入不同的正則化項，從而改善HE的性能。其中通過尋找二維直方圖的分層差異[10]，上下文差異對比增強算法[11]試圖找到差異直方圖映射，雖然在一定程度上避免像素的溢出和過度增壓強制像素值在[0,1]范圍內，但是本質上它們關注于對比度增強，而不是利用真實照明的原因，存在過度增強和增強不足等風險，無法解決色彩飽和度的問題。Retinex理論基于視覺系統(tǒng)，主要假設(彩色)圖像可以分解為反射率和照明度兩個因素。在邊緣增強和保護紋理的過程中，黑暗區(qū)域中重疊的成像和噪聲可能同時被放大[12]；針對光線不平衡的情況，需要一個自適應的模型根據不同區(qū)域動態(tài)的增強圖像；盡量保證圖像的自然性，如果圖像的場景特征在增強后與視覺上失去一致性，那么這樣的算法是失敗的；但是傳統(tǒng)的HE方法和Retinex理論很難同時滿足上述所有要求。

基于Retinex算法又衍生出單尺度Retinex(Single Scale Retinex，SSR)、多尺度Retinex(Multi-Scale Retinex，MSR)[13-14]、多尺度彩色恢復算法(Multi-Scale Retinex with Color Restoration，MSRCR)[15-16]、多尺度色彩保護算法(Multi-Scale Retinex with Color Protection，MSRCP)[17]，將反射率作為最終增強的結果，經常顯得過度增強，反射率看起來不自然。Zhang等[18]提出運用動態(tài)隨機共振算法增強非均勻光照圖像，該算法通過隨機共振原理模擬自然情況，解決了弱光問題，但是面臨增強不足和顏色失真的問題。Fu 等[19]提出一種通過多種融合最初估計的照明圖來調節(jié)照明的方法，使照明更為自然，但由于照明結構的盲目性，照明圖可能使紋理豐富的區(qū)域失真，并且計算復雜度較高。Dong等[20]注意到倒置的弱光圖像視覺上與霧度圖像很相似，由此提出一種將低光照圖片倒置后霧化，去霧后獲得不真實圖像，再將不真實圖像倒置獲得增強圖像，這種方法雖然視覺質量不錯，但是其理論模型缺乏物理解釋。近年來隨著深度學習的發(fā)展，一些研究人員期望通過深度學習的方式更高效的實現(xiàn)低光照圖像增強，Chen等[21]在Retinex基礎上建立RetinexNet模型，其模型包括用于分解的Decom-Net和用于調整照明的Enhance-Net兩個部分。本文提出的方法基于Retinex做出改進，通過平滑聚類的方法獲取基礎層，由輸入圖像與基礎層的差異得到細節(jié)層。通過估計低照度圖像的照明圖來增強圖像，初始化照明圖后，結合局部一致性和交替方向最小化技術優(yōu)化照明圖。常見Retinex算法進行Gamma矯正(Gamma Correction，GC)[22]時都是采用固定值或手動調整參數(shù)。本文采用自適應Gamma矯正同時本文僅估算照明圖，利用自適應Gamma 矯正可以更好適應圖像的變化，通過對優(yōu)化的照明圖進行非線性重標，調整較暗區(qū)域圖像亮度減小噪聲的影響。僅估算照明圖可以大大縮小求解空間和計算量，最后加入細節(jié)融合的步驟。在實驗結果表明與其他幾種經典算法相比較，本文算法獲得的增強圖像細節(jié)方面更為豐富，圖像的清晰度高。

2 提出算法

經典的Retinex模型在增強微光圖像方面取得了良好的效果，其主要思想是將圖像I分解為[23]：

L=R°T,

(1)

提出的模型[20]反轉的低光照圖像1-L與霧度圖十分相似，表示為：

(2)

圖1 本文方法結構圖Fig.1 Structure of the method in this paper

2.1 圖像的平滑聚類獲取細節(jié)圖

第一階段對低光照圖像進行平滑聚類去除紋理，主要為兩個步驟：式(1)圖像I中像素的檢測，式(2)平滑聚類各區(qū)域內的像素點。該窗口中心的像素點(i,j)的灰度值為f(i,j)。窗口內像素點構成的集Si,j和窗口內所有像素值的平均值Avg(Si,j)分別為：

Si,j={f(i+k,j+r)|k,r=-1,0,1},

(3)

(4)

對濾波窗口中心像素點(i,j)做中值平滑，得到的灰度值為：

g(i,j)=med{f(i-n,j-n),

f(i-n+1,j-n+1),...,

f(i,j),...,f(i+n,j+n)}.

(5)

濾波操作使邊界模糊，利用平滑聚類后的圖像Lbase作為基礎層，可以提取出低光照圖像中的細節(jié)層Ldetail, 單獨保存圖像的細節(jié)層在最后的融合時加入。

Ldetail=L-Lbase，

(6)

2.2 初始化照明圖

(7)

其中c屬于R，G，B三個顏色通道，在這個方程式中，假設每個像素的照度至少是其中三通道中的最大值。根據Retinex理論得到增強的低光照圖像為：

Rc(x)=Ic(x)/(T(x)+∈),

(8)

(9)

將式(9)代入式(2)解出[8]：

(10)

可以看到當a取值為1時，式(8)和式(10)結果相同。但如果a遠離1時，式(8)和式(10)之間的等價性就會打破[26]。

2.3 優(yōu)化照明圖

由上述可知光照估計從局部一致性中受益，可以使不同區(qū)域的增強效果有所不同，代表方式為：

(11)

(12)

(13)

其中：α是使式(13)中兩個項保持平衡的系數(shù),‖·‖F(xiàn)和‖·‖1表示標準范數(shù)和1范數(shù)，W表示權重矩陣，T代表一個包含水平方向光照hT和垂直關照vT的一階濾波期。在優(yōu)化式(13)中，第一項考慮到了初始映射和修正映射T間的差異，第二項考慮了平滑度。由此看出在權重矩陣W設置為1會導致式(13)中損耗總變量最小化問題[29]，同時也缺少區(qū)分強結構邊緣和紋理的能力[30]。

由此可見，權值矩陣設置非常重要，引出對每一個位置通過如式(14)所示的方式設置權重[26]：

Wh(x)←

(14)

式(13)可以通過交替方向最小化技術有效解決，為加快計算的速率，通過式(14)近似計算式(13)：

(15)

由此看出這個問題只涉及二次項，故可以直接計算解決方案，而不需要任何迭代。以圖像OnGra為例，對比多種算法的照明圖像以及對相應增強后的結果如圖2所示。

圖2 對比多種算法對光照圖像的優(yōu)化以及對相應增強后的結果Fig.2 Compare the optimization of the illumination image and the corresponding enhanced results by multiple algorithms

圖2中(a)通過max-RGB初始化的照明圖，該方法下光照圖是非常均勻的，只能提高全局照明度，對非均勻照明圖像處理的能力有限；圖2(b)表示利用雙邊濾波對光照圖進行優(yōu)化，增強結果顯示出不錯的色彩豐富度，但調色板顏色被模糊并且損失了調色板和植物的細節(jié)信息；圖2(c)表示用總變分最小法調整照明圖，調色板的細節(jié)紋理和清晰程度較高，但是對背景信息造成了明顯的影響，花盆后的場景信息基本丟失；盡管圖2(b)和圖2(c)在一定程度上解決了對非均勻圖像處理的問題，但兩種方法增強后造成不同位置的細節(jié)信息的丟失。圖2(d)代表的本文方法，能直觀地感受到增強后的圖像中調色板色彩鮮艷，花盆中的植物栩栩如生，細節(jié)豐富，紋理清晰，充分顯示出本文方法的優(yōu)勢。

2.4 自適應Gamma矯正

傳統(tǒng)Retinex算法使用Gamma矯正用于對改進后的光照圖進行非線性重標，經典的Gamma矯正如下：

(16)

其中：Iin和Iout分別表示輸入圖像的強度和輸出圖像強度，c和γ為控制變換曲線狀態(tài)的兩個參數(shù)，c是用來提高或降低輸出圖像的亮度，γ控制變換函數(shù)的斜率，γ值越大變換曲線越陡，相應的強度分布就越多。但傳統(tǒng)的Gamma矯正靈活性有所欠，針對不同光照情況的參數(shù)分類種類繁多，手動設置增大了計算的工作量，并且浪費時間。

引理1中、高對比度圖像，其γ∈[0.9，1.65]范圍內[31]。

由引理1可知在圖像的γ值在1附近范圍，圖像的對比對變化不明顯。在低光照圖像中調高亮度常比對比度增強更為重要，于本文使用自適應Gamma矯正算法[31]，這是一種去除噪聲、增強所有類型圖像的有效方法。

2.5 融合策略

在圖像嚴重曝光不足、低光照的情況下獲取的圖像可見度低，導致很多有效信息被埋藏在黑暗中，成像的效果影響到人的視覺體驗，為更好地提取出隱藏的信息，本文提出以下融合方法：

Lresult=L+Ldetail，

(17)

其中L代表根據最終照圖增強后的低光照圖像。

3 仿真實驗

3.1 對比方法及參數(shù)設置

本文所有實驗都建立在windows 10操作系統(tǒng)下的Matlab R2018a平臺，為保證實驗效果的可靠性，所選取的圖像均選自Exclusively Dark數(shù)據集[32]，該數(shù)據集是從極弱光環(huán)境到微光(即10種不同條件下)的7 363幅弱光圖像的集合。為充分評價本文提出方法的性能，更好地體現(xiàn)改進后方法的優(yōu)勢，實驗會在不同場景的低光照圖像上測試本文方法與經典增強算法：線性增強(LE),Gamma矯正(GC)，HE，SSR，MSR，MSRCR，MSRCP，RetinexNet并在主觀和客觀兩方面進行對比。實驗參數(shù)設置及特點如表1所示。

表1 實驗參數(shù)設置及特點

表2 方法特點

3.2 確定濾波算法

在本文中對原圖進行預處理分離出細節(jié)層也是非常重要的一個步驟，使圖像增強后在保護細節(jié)紋理方面有很大提升。實驗選用9×9窗口模板的均值、最大值、最小值、高斯及中值濾波5種濾波方式對圖WaterC進行細節(jié)層分離，細節(jié)層分離結果如圖 3所示。使用不同濾波算法對圖WaterC，HighB，StreetN，AI，SuburbanB，IndoorT細節(jié)層分離，不同濾波算法耗時結果如表3所示。

圖3 細節(jié)層分離結果Fig.3 Detail layer separation results

從圖3中看出細節(jié)圖(a)未能有效分離出細節(jié)信息，包含背景成分過多，細節(jié)圖(b)幾乎沒有細節(jié)成分，細節(jié)圖(c)中雖然包含細節(jié)信息豐富，但同時包含大量的背景信息，而且強光區(qū)域出現(xiàn)模糊情況，很容易使疊加后的圖像出現(xiàn)過度增強顯現(xiàn)，(d)中僅包含部分強光區(qū)域的細節(jié)，細節(jié)圖(e)保存大量有效信息，并且邊緣輪廓清晰，含有背景成分少。

表3 不同濾波算法耗時結果

表3可以看出，中值濾波在各個算法中表現(xiàn)穩(wěn)定，時耗上總體僅落后于高斯濾波，結合表3和圖3，從提取效果和時耗兩個因素考慮，本文選用中值濾波作為提取細節(jié)層的濾波算法。

3.3 確定濾波模板

由式(1)和式(2)可知對圖像進行平滑操作時，模板窗口的選擇十分重要，平滑窗口越大，平滑效果越明顯。對圖WaterC，HighB，StreetN，AI，SuburbanB，IndoorT分別使用3×3，5×5，7×7，9×9，11×11，13×13平滑提取細節(jié)層，并選用邊緣強度(EI)對獲取到的細節(jié)層進行質量評估，提取細節(jié)層耗時、細節(jié)層質量結果分別如表4、表5所示。

盡管中值濾波的運行時間與窗口大小沒有直接聯(lián)系，但是一個算法好壞從時間效率上也有所體現(xiàn)，結合表4可知在多個窗口模板中9×9的窗口值是最為穩(wěn)定的，比另外兩個窗口值較大的模板在耗時上差距較小。

表4 提取細節(jié)層耗時

從表5中可知，窗口模板的值越大，圖像的邊緣信息越豐富，實際導致這一現(xiàn)象的原因是：窗口值選擇較小時，平滑力度不夠無法較為完整的獲取細節(jié)信息，模板窗口選擇過大時，但輸入圖片與平滑結果差值不僅包含細節(jié)信息還包括很多背景信息。綜合上述表4和表5，本文選擇窗口為9*9的模板。

3.4 主觀評價

WaterC增強圖如圖4所示。由這一組圖片可以很明顯感受到，(b)LE的效果并不明顯，統(tǒng)一的增強圖像中的所有像素，雖然能使圖片整體明亮一些，但是不能使黑暗區(qū)域中的信息更好的顯示；(c)，(d)，(e)，(f)從視覺效果上已經有明顯提升，能顯示出黑暗區(qū)域中建筑物的信息，并且在原圖中肉眼無法看到的空中的云朵能夠較為完整的顯示，但是整體顯得有些假白，不是十分自然；(g)和(h)在本組實驗中未能顯示出算法優(yōu)勢，閃電對云朵區(qū)域的像素點造成影響，遠處的像素點對中心像素點依賴度過高，顯得增強過度；(i)增強后的圖像細節(jié)信息豐富，但失真的情況較為嚴重，畫面十分不自然；本文方法(j)呈現(xiàn)的效果較為自然，細節(jié)信息明顯，閃電和云朵的層次感分明。

圖4 圖WaterC增強圖Fig.4 WaterC Enhancement map

為驗證本文方法效果的穩(wěn)定性以及對細節(jié)等方面保存性能的優(yōu)勢，對高山夜景圖進行增強，更直觀地從視覺效果上感受本算法的優(yōu)勢，圖HighB增強圖如圖5所示。

圖5中的(c)，(d)，(e)，(g)表現(xiàn)的效果還是比較令人滿意，(c)，(d)增強的結果已經能看出是夜晚，但是在云彩的細節(jié)上有所欠缺；(e)，(f)在細節(jié)上在建筑物的細節(jié)上比較有優(yōu)勢，但是增強后更像是白天，和實際上的光照差距較大，減小了周圍與建筑物周圍的燈光的對比度；(h)效果失真，并未展現(xiàn)其算法優(yōu)勢；(i)在懸崖的細節(jié)上有所模糊，而且植物的顏色存在失真的現(xiàn)象。本文算法效果穩(wěn)定不僅能較為完整呈現(xiàn)建筑五和云朵等細節(jié)信息，還能看出是夜晚的效果。

圖6～圖9列舉出更多的圖片的實驗數(shù)據。

圖5 圖HighB增強圖Fig.5 HighB Enhancement map

圖6 圖StreetN增強圖Fig.6 StreetN enhancement map

圖7 圖AI增強圖Fig.7 AI Enhancement map

圖8 圖SuburbanB增強圖Fig.8 SuburbanB Enhancement map

圖9 圖 IndoorT增強圖Fig.9 IndoorT Enhancement map

由圖4～圖9發(fā)現(xiàn)其余幾種算法均存在不同程度的增強不足或增強過度的情況，通過這幾組圖片能在視覺上感覺到本文方法的優(yōu)勢，即使針對不同類型的低光照圖像，它也能揮發(fā)穩(wěn)定的功效，增強后的圖片十分自然，并且細節(jié)效果展示充分。

3.5 客觀評價

單從視覺效果或評價指標數(shù)值中的一個有時不能完全判定一個圖像增強后的質量，故本文采用EI、平均梯度(AG)、空間頻率(SF)、能量梯度(EG)等4個圖像質量評估函數(shù)來對以上幾組增強后的數(shù)據進行評估，綜合評價本文方法。各組數(shù)據EI質量評估函數(shù)結果如表6所示。

表6 EI評估質量函數(shù)結果

邊緣作為圖像最基本的特征，指的是周圍像素弧度又節(jié)約變化的那些像素的集合，邊緣強度是評價圖像質量重要的指標之一。從表6看出在多幅圖像的實驗中，雖然本文方法在圖HighB，IndoorT中次于RetinexNet算，結合對應圖像可以看出RetinexNet增強后的圖像加強了陰影部分的提取，雖然保留下很多邊緣信息，但也給邊緣附近留下很多噪聲，效果并不理想。本文指標優(yōu)于其余算法，在圖像的邊緣保護方面表現(xiàn)良好。

平均梯度指圖像邊界或影線兩側的灰度值變化的差異，即表示灰度變化率的大小，它反映了圖像為小細節(jié)反差變化，表征圖像的相對清晰程度。表7中指標總體良好，雖然RetinexNet在圖2～圖7的指標表現(xiàn)十分出色，但原因是背景信息與細節(jié)信息過度區(qū)域發(fā)生了光的發(fā)散，導致增強后圖像不自然。圖AI中次于HE和MSCRP，原因結合圖7發(fā)現(xiàn)HE和MSCRP過度增強，導致背景墻上亮度過高甚至出現(xiàn)光點，本文方法在增強的效果細節(jié)上勝過其余算法。

表7 AG評估質量函數(shù)結果

空間頻率函數(shù)是每度視角內圖像或刺激圖形的明暗度作正弦調制的柵條周數(shù)，應用在視覺系統(tǒng)中，為對比感受性函數(shù)。是評價圖像在視覺上敏銳度的指標。表8上看出，本文方法在圖SuburbanB上次于MSCRP算法，在結合圖8發(fā)現(xiàn)MSCRP顏色保護過度，導致增強后顏色失真。而本文方法增強效果自然，顏色表現(xiàn)良好。

能量梯度函數(shù)常被用來提取邊緣信息，對焦良好的圖像，邊緣更尖銳，有更大的梯度值。表9中指標在圖WaterC，HighB中次于RetinexNet算法，在圖AI中次于HE和MSCRP，RetinexNet算法，在圖SuburbanB和IndoorT中次于MSCRP和RetinexNet算法，由圖3～圖9看出都是圖像過度增強導致的。在其余圖像上，本文方法均表現(xiàn)良好。

表8 SF評估質量函數(shù)結果

綜上所述可以看出本文方法在各個性能指標上表現(xiàn)良好，比常見的幾種Retinex算法，本文方法類比其他算法具有一定的穩(wěn)定性，優(yōu)勢明顯。盡管不是所有的評價函數(shù)指標都是最高值，但是指標的數(shù)值都在正常范圍內。再結合視覺效果，可以感受到本文方法在對圖像細節(jié)信息保留方面有很大提升。

4 結 論

針對低光照情況下獲取的圖像的，本文提出一種結合平滑聚類和改進的Retinex算法的低光照圖像增強方法，運用多種技術盡量多的保存圖像細節(jié)，從而達到圖像增強的目的。本方法主要包含四步：第一步對輸入圖像進行分層處理，將輸入圖像進行平滑聚類得到基礎層，通過輸入圖像與基礎層的差異分離出細節(jié)層；第二步通過max-RGB技術對輸入圖像的光照圖進行初始化。利用圖像的局部一致性及交替方向最小化技術再優(yōu)化初始的照明圖；第三步運用自適應Gamma矯正對優(yōu)化后的照明圖進行重標，平滑曲線自動增強圖像對比度。根據最終的照明圖增強輸入圖像；第四步將增強后的圖像與細節(jié)層疊加，使圖像細節(jié)更加豐富。低光照圖像經本文方法增強后色彩自然，清晰度高，與其他經典方法相比，在保證增強質量的同時評價指標都相對較高，提出的方法在現(xiàn)實生活和研究中可以廣泛使用。