基于L0矩陣范數(shù)正則化的自然圖像去反光算法

丁鳳，夏又生，2

(1.福州大學數(shù)學與統(tǒng)計學院，福建 福州 350108；2.南京信息工程大學人工智能學院，江蘇 南京 210044)

0 引言

由于太陽光在大氣中發(fā)生反射等光學現(xiàn)象，采集的圖像不可避免地受到逆光現(xiàn)象干擾，產(chǎn)生圖像鏡面反射現(xiàn)象.鏡面反射往往會對視覺質(zhì)量產(chǎn)生一些負面影響，降低計算機視覺算法性能和圖像識別的準確性，影響圖像分割、顏色識別、目標檢測、視覺跟蹤和車牌自動識別等.因此，有必要對鏡面反射和漫反射進行分離，去除圖像的反光.大多數(shù)鏡面反射分離方法都是基于雙色反射模型來分離鏡面反射.這些方法首先在圖像塊中尋找一個近似的漫反射色度，然后將漫反射色度傳播到整個圖像中，并計算鏡面反射分量.由于缺乏全局圖像信息，近似的漫反射色度可能不準確，因而不能完全去除鏡面反射分量.同時，對于復雜的紋理圖像，現(xiàn)有的方法很難將圖像分割成色塊，并且在恢復后的圖像中可能會出現(xiàn)偽影.

在許多真實場景中，反光區(qū)域是面積相對較小的連續(xù)塊，而漫反射的顏色可以很好地由少量顏色來近似.前一種觀測結(jié)果意味著圖像中的反光區(qū)域趨于稀疏.后一種觀測結(jié)果與非局部圖像去霧觀測相似，表明漫反射顏色在RGB空間中以低秩和稀疏的加權(quán)矩陣形成緊密的聚類.基于上述觀測結(jié)果，本研究用稀疏和低秩矩陣分解來分離漫反射和鏡面反射，建立稀疏低秩反射模型.該模型假設(shè)反光與入射光具有相同的光譜分布，并且反光的光譜分布相當稀疏.

1 相關(guān)工作

雙色反射模型是模擬表面復雜反射特性的先驅(qū)，它已被廣泛用于分離鏡面反射成分.從輸入圖像的數(shù)量來說，該模型可以分為多幅圖像去反光和單幅圖像去反光.

對于多幅圖像去反光，Lin等[1]提出一種基于顏色分析和多基線立體視覺的方法，但該方法可能無法處理由移動攝像機沿非線性路徑獲取的圖像序列.Wang等[2]基于單個偏振濾波器提出關(guān)于局部加權(quán)系數(shù)的能量最小化的方法.Shah等[3]提出一種利用特征對應點對圖像序列進行去反光的方法.

相比之下，單幅圖像去反光只使用一個圖像來分離反射組件.除傳統(tǒng)的顏色直方圖方法外[4]，該類方法可以分為基于雙色反射模型[5-6]、基于修復[7]和基于深度學習的方法[8].近年來，基于雙色反射模型，一些方法利用基于補丁的先驗對單幅圖像的鏡面反射進行局部分離.Yang等[9]觀察到彩色圖像局部斑塊中漫反射色彩成分的最大分數(shù)平滑變化.通過直接應用低通濾波器，將最大漫反射色度從漫反射像素傳播到鏡面像素.Yang 等[10]觀察到鏡面像素比漫反射像素具有更低的飽和度.通過將鏡面反射像素的飽和度調(diào)整為具有相同漫反射色度的漫反射像素，從而實現(xiàn)漫反射組件.Klinker等[11]將雙色反射模型擴展，提出T形顏色分布，將圖像顏色描述為物體表面顏色和反光顏色的組合.為分析噪聲，有效分離反射分量，Tan等[12]提出一種新的基于最大色度-強度空間中鏡面反射像素和漫反射像素分布的分離方法.Bajcsy等[13]將RGB空間中的顏色像素轉(zhuǎn)換為S空間，用S空間中定義的亮度、色調(diào)、飽和度來分析物體的顏色變化.然而，該算法僅對單色場景照明下的均勻彩色介質(zhì)表面有效.Mallick等[14]還提出一種變換顏色空間，它是一個旋轉(zhuǎn)的RGB空間，可恢復圖像的鏡面反射和漫反射成分，在無噪聲情況下適用于均勻表面.

2 圖像去反光優(yōu)化模型

2.1 雙色反射模型

雙色反射模型被廣泛應用于圖像去反光.根據(jù)雙色反射模型，在像素p處觀察到的圖像色度I(p)可以表示為去反光后的圖像Id(p)和反光圖像Is(p)的線性組合：

I(p)=Id(p)+Is(p)=md(p)Λ(p)+ms(p)Γ(p)

(1)

式中:md(p)和ms(p)分別表示漫反射和鏡面反射的系數(shù)，分別依賴于圖像像素處的場景幾何；Λ(p)和Γ(p)分別表示漫反射色度和鏡面反射色度(光照色度).

I≈ΦdWd+ΓMs

(2)

式中：I是一個3×N矩陣，每一列代表一個像素顏色,N表示圖像中像素的總數(shù)；Wd=[w(1),…,w(N)]，是由所有像素的權(quán)重系數(shù)組成的K×N矩陣；Ms是1×N的向量.

2.2 顏色字典構(gòu)造

在圖像的矩陣觀察模型中，構(gòu)造一個合適的字典很重要.一個簡單的方法是將整個輸入數(shù)據(jù)作為字典.但是，如此大的字典計算成本很高，會占用太多存儲空間.受自然圖像的非局部先驗[2]的啟發(fā)，本研究采用直方圖分類方法[6]來構(gòu)造顏色字典，具體步驟如下：1) 對于給定彩色圖像，將每個像素的圖像色度I(p)由笛卡爾坐標(RGB空間坐標)轉(zhuǎn)為球坐標:I(p)=[r(p),θ(p),φ(p)]；2) 由于像素p處的色度僅僅與θ(p)和φ(p)有關(guān)，與r(p)無關(guān)[2]，故構(gòu)造二維向量Φ(p)=[θ(p),φ(p)]；3) 利用Φ(p)對圖像像素進行K-means聚類，類簇個數(shù)根據(jù)慣例定為100；4) 將所有類簇按所含元素個數(shù)降序排序，如圖1所示，并選擇前K個矩形，每個矩形中所有元素對應像素的笛卡爾坐標均值認為是字典Φd∈R3×K中的元素ik(k=1,…,K).因為反光區(qū)域的密度通常很小，這個操作可以有效地避免選擇到反光顏色.圖1為本研究使用的3幅典型自然圖像的顏色直方圖.顯然，在一幅圖像中只有有限數(shù)量的不同顏色.

圖1 3種典型自然圖像的顏色直方圖 Fig.1 Sorted color histograms of three typical natural images

2.3 優(yōu)化模型

Akashi等[5]利用非負矩陣分解提出一種圖像去反光算法，極小化下列優(yōu)化模型：

(3)

為簡化計算，F(xiàn)u等[16]利用顏色字典Φd=[i1,i2,…,iK]來模擬物體表面顏色，提出一種圖像去反光算法，極小化下列優(yōu)化模型：

(4)

由于L0范數(shù)是非凸的，所以Guo等[6]利用L1范數(shù)和稀疏低秩矩陣分解提出一種圖像去反光算法，極小化下列優(yōu)化模型：

(5)

眾所周知，與L1范數(shù)相比，L0范數(shù)能夠更好地描述稀疏分布的反射光，表征對應顏色系數(shù)的稀疏性.因此，基于L0范數(shù)的優(yōu)化模型比基于L1范數(shù)的優(yōu)化模型具有更好的性能.本研究極小化下列L0范數(shù)正則優(yōu)化模型：

(6)

2.4 基于L0范數(shù)正則化的圖像去反光算法

為處理L0范數(shù)，首先引入兩個輔助矩陣變量J和H，則優(yōu)化問題(6)可以寫為：

(7)

然后，利用廣泛應用的增廣拉格朗日乘子(ALM)方法計算.該方法由一系列無約束優(yōu)化問題組成子問題，代替原約束優(yōu)化問題，問題就可以通過軟閾值或奇異值有效地解決[17].主要分為兩個步驟.第一步，將優(yōu)化問題(7)轉(zhuǎn)化為下列增廣拉格朗日函數(shù)的極小化問題：

(8)

1) 優(yōu)化子問題一：計算Ms.

Ms為N維的行向量.假設(shè)Γ已知，Ms可估計為：

(10)

公式(10)可以按元素寫為：

(11)

式中：j是矩陣元素的位置.Ms可更新為：

(12)

2) 優(yōu)化子問題二：計算J.

在保持其他變量不變的情況下，J可估計為：

(13)

對于常規(guī)核范數(shù)，根據(jù)文獻[17],該子問題的解析解為：

(14)

3) 優(yōu)化子問題三：計算H.

在保持其他變量不變的情況下，H可估計為：

(15)

類似子問題一的求解，問題(15)的解可以進一步表示為：

(16)

它有解析解：

(17)

4) 優(yōu)化子問題四：計算Wd.

在保持其他變量不變的情況下，Wd可估計為：

在其他變量固定不變的情況下，子問題關(guān)于Wd是二次的.因此，這是一個標準的最小二乘回歸問題，具有封閉解.公式(18)對于Wd是可導的，設(shè)導數(shù)為0，可以得到解為：

(19)

式中：U∈RK×K,為單位矩陣.

Yi=Yi+μEi(i=1,2,3)

(20)

最后，為處理非負約束，采用直接策略，每次迭代期間直接將Wd和Ms中的負條目限制為0，即Wd=max{Wd,0}，Ms=max{Ms,0}.

3 實驗結(jié)果

以大量實驗驗證本方法去除反光的有效性.在視覺和定量評價方面，將本方法與近期報道的4種方法相比較，這4種方法分別來自文獻[19]、[16]、[6]和[5].為更好地進行比較，采用留一交叉驗證的方法確定各比較方法的最佳參數(shù)設(shè)置.從文獻[20]中選擇4張反光圖像(帶有地面真實圖像)來評估本方法.圖2是利用不同的反光去除方法處理4張圖像后得到的結(jié)果.

圖2 自然圖像的視覺比較Fig.2 Visual comparison on natural image

表1 自然圖像的定量比較Tab.1 Quantitative comparison of natural images

4 分析與討論

4.1 參數(shù)λ，τ，K對結(jié)果的影響

如圖3所示，當λ=0.1時，隨著τ的增大，無鏡面反射圖像中的反光殘留逐漸減少，如西瓜的根部.此時，一些紋理會被洗掉，這是由于無鏡面反射圖像過度平滑所造成的.當τ=100時，隨著λ的增加，無鏡面反射圖像只有微小的變化.

圖3 變量λ和τ的影響Fig.3 Effect of different λ and τ

圖4 變量K的影響Fig.4 Effect of different K

4.2 收斂討論

輸入圖像的算法收斂曲線，如圖6所示.可見，漫反射圖像中的反光殘余隨迭代次數(shù)的增加而逐漸減小.當?shù)螖?shù)達到100時，相鄰兩個迭代之間的漫反射圖像無明顯變化.經(jīng)驗上，200次迭代足以得到較好的結(jié)果.

圖5 變量K對方法精度的影響Fig.5 Effect of different K on accuracy

圖6 本方法的收斂性Fig.6 Convergence curve of algorithm in this study

5 結(jié)語

本研究提出一種基于L0范數(shù)正則化的圖像去反光方法，可以將原始圖像自動分離為漫反射圖像和鏡面反射圖像.該方法建立在稀疏、低秩反射(SLRR)模型上，假設(shè)圖像中的反光區(qū)域是稀疏的，而漫反射顏色可以由有限數(shù)量的不同顏色表示.將反光去除任務(wù)轉(zhuǎn)化為一個約束核范數(shù)和L0范數(shù)最小化問題，進而用ALM方法有效地求解.與已報道的相關(guān)方法對比，本方法不需要無鏡圖像，而是利用L0范數(shù)正則化方法得到去除反光后的圖像.為避免色彩飽和度的影響，對SLRR模型參數(shù)進行適當設(shè)置，并保留圖像細節(jié).最后，實驗結(jié)果驗證該方法的準確性和魯棒性.

但本方法也存在一定局限性.與現(xiàn)有方法相比，可能無法恢復反光圖像中包含大量白色反光區(qū)域的子紋理.為解決這個問題，后續(xù)工作計劃采用基于學習的圖像繪畫技術(shù)來處理那些有挑戰(zhàn)性的區(qū)域，合成缺失的細節(jié)和紋理.此外，本方法目前對優(yōu)化的實施效率相對較低，未來希望探索圖像處理器加速版本，提升實時性能.