基于熵驅(qū)動(dòng)域適應(yīng)學(xué)習(xí)的弱光照?qǐng)D像陰影去除

李觀發(fā)，宋文慧

(贛南師范大學(xué)科技學(xué)院，江西 贛州 341000)

1 引言

圖像陰影是圖像采集過(guò)程中時(shí)常出現(xiàn)的一種現(xiàn)象，此現(xiàn)象導(dǎo)致采集的圖像發(fā)生色彩改變或亮度不足等問(wèn)題。對(duì)含有陰影的圖像進(jìn)行處理時(shí)，陰影因素的存在對(duì)數(shù)字圖像處理造成了諸多的干擾。例如，在圖像分割過(guò)程中，陰影會(huì)導(dǎo)致目標(biāo)圖像分割不完整[1-2]。因此，在處理圖像陰影問(wèn)題時(shí)，需要增強(qiáng)圖像的可視性，并對(duì)陰影圖像進(jìn)行光照恢復(fù)。圖像陰影檢測(cè)與去除是目前計(jì)算機(jī)視覺(jué)和圖像處理領(lǐng)域中非常重要的工作之一，其對(duì)有效協(xié)助現(xiàn)場(chǎng)恢復(fù)與目標(biāo)識(shí)別具有重要作用。目前，陰影去除技術(shù)研究中已經(jīng)取得了一定的成果，但由于陰影具有一定隨機(jī)性、多樣性與復(fù)雜性，現(xiàn)有圖像陰影去除方法在實(shí)際應(yīng)用中具有一定的局限性，難以滿足多種環(huán)境條件下應(yīng)用要求[3]。因此，該領(lǐng)域研究人員對(duì)陰影去除方法進(jìn)行了很多研究，且取得了一定成果。

文獻(xiàn)[4]提出基于衰減式生成對(duì)抗網(wǎng)絡(luò)的單幅圖像陰影去除方法。該方法針對(duì)陰影區(qū)域光照衰減程度的蒙版圖像質(zhì)量較差問(wèn)題，對(duì)單幅圖像的陰影進(jìn)行有效的去除。通過(guò)衰減器對(duì)樣本圖像進(jìn)行訓(xùn)練，獲取適合的樣本陰影圖像，將生成器與融合感知有機(jī)融合在一起，借助判別器獲取最終陰影蒙版，完成圖像陰影的去除。該方法可有效提升圖像陰影區(qū)域的光照，獲取的圖像效果較好，但該方法針對(duì)真實(shí)場(chǎng)景下圖像陰影的去除效果不佳，存在一定局限性。文獻(xiàn)[5]提出設(shè)計(jì)一種針對(duì)多光譜影像的NDVI陰影影響去除模型。該方法針對(duì)圖像的光照區(qū)和太陽(yáng)輻射區(qū)存在的差異，獲取該圖像的幅亮度；確定圖像陰影對(duì)NDVI的影響程度，采用歸一化暗像元指數(shù)確定光照區(qū)與陰影區(qū)的NDVI關(guān)系，在此基礎(chǔ)上，構(gòu)建以光照區(qū)植被NDVI為基準(zhǔn)的NDVI陰影影響去除模型。該方法有效分析了圖像光照區(qū)域特征，可提升圖像質(zhì)量，但對(duì)圖像弱光照條件分析甚少，導(dǎo)致圖像在弱光照條件下陰影去除效果欠佳。

針對(duì)上述方法中存在的不足，提出一種新的弱光照?qǐng)D像陰影去除方法。該方法將熵驅(qū)動(dòng)域適應(yīng)學(xué)習(xí)技術(shù)引用其中，對(duì)弱光照?qǐng)D像陰影進(jìn)行去除。與傳統(tǒng)去除方法相比具有一定優(yōu)勢(shì)。

2 弱光照?qǐng)D像陰影去除方法設(shè)計(jì)

在弱光照?qǐng)D像陰影去除中，將熵驅(qū)動(dòng)域適應(yīng)學(xué)習(xí)技術(shù)融入到弱光照?qǐng)D像陰影去除方法中，使用此技術(shù)對(duì)弱光圖像進(jìn)行預(yù)處理，以提升陰影去除過(guò)程中的精準(zhǔn)度。

2.1 弱光圖像的預(yù)處理

在弱光照?qǐng)D像陰影去除方法中，為提升圖像陰影去除的效果，將通過(guò)熵驅(qū)動(dòng)域適應(yīng)學(xué)習(xí)技術(shù)構(gòu)建多核分類(lèi)器，通過(guò)此分類(lèi)器對(duì)弱光圖像的種類(lèi)進(jìn)行劃分。在適應(yīng)學(xué)習(xí)中，關(guān)鍵在于減少目標(biāo)圖像與其它圖像種類(lèi)之間的數(shù)據(jù)分布差異。

為了提升圖像分類(lèi)過(guò)程中數(shù)據(jù)處理能力，應(yīng)用最大平均差異理論[6]，將弱光圖像中熵函數(shù)陰影數(shù)據(jù)與正常數(shù)據(jù)投射在一個(gè)再生的二維空間中，根據(jù)投影后的兩個(gè)之間的平均距離比較兩者之間存在的差異。陰影圖像最大平均差異計(jì)算公式為：

(1)

當(dāng)DIST取值結(jié)果接近于零時(shí)，兩個(gè)域在高緯度空間相匹配，即陰影圖像兩組數(shù)據(jù)分布較為接近，反之，兩組數(shù)據(jù)匹配度較低。

(2)

其中

(3)

(4)

通過(guò)上述獲取的矩陣，可對(duì)圖像中需要修復(fù)的位置與其它區(qū)域進(jìn)行劃分，實(shí)現(xiàn)弱光照?qǐng)D像的預(yù)處理，將處理后的圖像作為此次陰影去除的基礎(chǔ)。

2.2 弱光照?qǐng)D像的光照分解

根據(jù)上述處理結(jié)果，在此弱光照?qǐng)D像中尋找相應(yīng)圖像像素信息。將圖像光照分解設(shè)為圖像分解與重光照。在對(duì)應(yīng)圖像處理過(guò)程中，將圖像分解過(guò)程設(shè)定為反射率圖、光照?qǐng)D以及深度圖三種方式[7-8]。

將處理后的圖像設(shè)定為Q，對(duì)圖像的數(shù)像素信息進(jìn)行處理，通過(guò)公式的形式對(duì)圖像像素信息數(shù)據(jù)進(jìn)行展示，則有

j=e+w(v，m)

(5)

式中，e、w、v以及m分別表示輸入圖像Q中反射率層圖像e、深度圖像v以及光照強(qiáng)度m的對(duì)數(shù)域圖像。

已知光照對(duì)數(shù)圖像w可由光照強(qiáng)度m和深度信息v獲得，且在上式中僅有j為已知數(shù)據(jù)，e與w均為未知數(shù)據(jù)，反射率對(duì)數(shù)圖像e可通過(guò)j與w表示，則有

e=j-w(v，m)

(6)

為降低上述計(jì)算難度，通過(guò)獲取圖像最小像素值，完成弱光照?qǐng)D像的分解，即

minimizeg(j-w(v，m))+f(o)+g(l)

(7)

式中，g(*)、f(*)以及s(*)分別表示圖像e、深度v以及光照m的代價(jià)函數(shù)[9-10]。

在此次研究中，使用g(*)以及f(*)的代價(jià)約束函數(shù)得到反射率對(duì)數(shù)圖像e與深度圖像v，利用上述公式，得到光照?qǐng)D，對(duì)此光照?qǐng)D展開(kāi)分解可得到反射率圖E與光照?qǐng)DM。

在此基礎(chǔ)上，根據(jù)圖像亮度以及RGB方向相似度[11]建立局部像素在反射率值上的約束，基于局部窗口與全局圖像上的全局色彩稀疏，對(duì)圖像亮度分解過(guò)程進(jìn)行約束。在此約束過(guò)程中認(rèn)定分解過(guò)程是將圖像反射率的改變作為分解過(guò)程的主體，具有相似亮度的像素具有相同的反射率，因此，圖像的本征圖像可表示為

(8)

通過(guò)此公式可得到圖像中的亮度估算值，對(duì)圖像中陰影部分展開(kāi)分解，同時(shí)將分解后的像素值作為陰影去除過(guò)程中數(shù)據(jù)來(lái)源。

2.3 弱光照?qǐng)D像陰影去除算法設(shè)計(jì)

在上述弱光照?qǐng)D像有效分解基礎(chǔ)上，設(shè)計(jì)圖像的陰影去除。弱光照?qǐng)D像陰影去除過(guò)程如圖1 所示。

圖1 弱光照?qǐng)D像陰影去除過(guò)程

圖1中，在弱光照?qǐng)D像陰影去除中采用區(qū)域生長(zhǎng)法[12]。以檢測(cè)到的弱光照?qǐng)D像陰影邊緣作為基準(zhǔn)點(diǎn)，在邊緣重合的兩側(cè)選擇灰度值較重的部分，作為陰影生長(zhǎng)起始點(diǎn)，則此區(qū)域的灰度值可表示為

(9)

式中，R表示弱光照?qǐng)D像陰影區(qū)域的灰度值，n表示弱光照?qǐng)D像陰影區(qū)域中的像素點(diǎn)個(gè)數(shù)，ri表示弱光照?qǐng)D像陰影區(qū)域中第i個(gè)像素點(diǎn)的灰度值。

在上述獲取獲取基礎(chǔ)上，可得到陰影區(qū)域的紋理特征，即

(10)

式中，S表示陰影區(qū)域的紋理特征值，b表示區(qū)域中的像素點(diǎn)，ui表示弱光照?qǐng)D像陰影區(qū)域中第i個(gè)像素點(diǎn)的紋理特征向量。

將HSV顏色空間中的色相值與陰影區(qū)域中的灰度值組合成為陰影區(qū)域的紋理特征值，為便于比較，將此向量設(shè)定為1，可表示為

(11)

式中，T為陰影區(qū)域R的紋理特征向量，G表示陰影的紋理向量分量。

通過(guò)上述分析，獲取亮度補(bǔ)償區(qū)域，在陰影區(qū)域中，直射光被部分遮擋，且反射光不會(huì)受到影響，可得到半影區(qū)域，則其光照可表示為

Lx=pLb+La

(12)

式中，p表示直射光在半影區(qū)域的折減系數(shù)。因此，可將像素點(diǎn)x在陰影區(qū)域與光照區(qū)域的RGB值表示如下

(13)

通過(guò)上述公式可知，像素點(diǎn)x在光照區(qū)域的RGB值與其在陰影部分的RGB值存在相應(yīng)的線性關(guān)系，即

(14)

式中，β=η(M)-ε(S)，ε(S)表示陰影區(qū)域的所有像素點(diǎn)的RGB均值，ε(S)表示對(duì)應(yīng)區(qū)域的方差，則此公式可進(jìn)一步展開(kāi)為

(15)

將陰影區(qū)域中S與其匹配的非陰影區(qū)域M利用光照補(bǔ)償方法恢復(fù)光照去除陰影。

3 仿真分析

3.1 仿真環(huán)境

為驗(yàn)證所提方法的科學(xué)有效性，進(jìn)行仿真分析。此次仿真在Maltab 平臺(tái)上進(jìn)行，仿真使用的主機(jī)配置為Windows XP ，CPU 3.6 GHz、2.8 GHz，8.0 GB 內(nèi)存，仿真結(jié)果數(shù)據(jù)通過(guò)SPSS 13.0 進(jìn)行統(tǒng)計(jì)，對(duì)仿真樣本數(shù)據(jù)進(jìn)行了預(yù)處理。

3.2 仿真參數(shù)

仿真用的樣本圖像來(lái)自DLL 圖像庫(kù)，具體仿真參數(shù)如表1 所示。

表1 仿真參數(shù)

實(shí)驗(yàn)用樣本圖像如圖2 所示。

圖2 實(shí)驗(yàn)樣本圖像

3.3 仿真方案

根據(jù)上述仿真環(huán)境與參數(shù)設(shè)定，采用對(duì)比的實(shí)驗(yàn)方法驗(yàn)證所提方法的有效性。實(shí)驗(yàn)通過(guò)對(duì)比所提方法、衰減式生成對(duì)抗網(wǎng)絡(luò)的圖像陰影去除以及多光譜影像NDVI陰影去除方法，以圖像陰影去除的效果以及圖像陰影邊緣提取的精度作為實(shí)驗(yàn)指標(biāo)，驗(yàn)證方法的有效性。

3.4 仿真結(jié)果分析

3.4.1 弱光照?qǐng)D像陰影去除效果分析

為驗(yàn)證所提方法的科學(xué)有效性，實(shí)驗(yàn)采用所提方法、衰減式生成對(duì)抗網(wǎng)絡(luò)的圖像陰影去除以及多光譜影像NDVI陰影去除方法對(duì)樣本圖像中的陰影進(jìn)行去除，去除效果如圖3 所示。

圖3 不同方法圖像陰影去除效果對(duì)比

通過(guò)上述實(shí)驗(yàn)結(jié)果可知，在相同實(shí)驗(yàn)環(huán)境下，三種方法對(duì)圖像陰影去除的效果存在一定差距。文中設(shè)計(jì)方法的使用效果在三種方法中陰影的去除效果最佳。其中，衰減式生成對(duì)抗網(wǎng)絡(luò)的圖像陰影去除和多光譜影像NDVI陰影去除方法在陰影去除后，部分圖像陰影始終存在，且導(dǎo)致亮度異常，在部分細(xì)節(jié)問(wèn)題的處理上，對(duì)圖像陰影的細(xì)節(jié)部分的處理存在一定缺陷。相較于這兩種方法，所提方法沒(méi)有出現(xiàn)此類(lèi)問(wèn)題，陰影去除效果較好，這是由于所提方法通過(guò)熵驅(qū)動(dòng)域適應(yīng)學(xué)習(xí)技術(shù)構(gòu)建多核分類(lèi)器，獲取弱光照?qǐng)D像的最大平均差異值，對(duì)弱光照?qǐng)D像的預(yù)處理，并對(duì)其特征進(jìn)行提取，進(jìn)而提升了陰影去除的效果。

3.4.2 弱光照?qǐng)D像陰影邊緣檢測(cè)精度分析

在弱光照?qǐng)D像陰影去除中，對(duì)圖像陰影的邊緣進(jìn)行有效的檢測(cè)，是準(zhǔn)確去除圖像陰影的關(guān)鍵。實(shí)驗(yàn)分析了所提方法、衰減式生成對(duì)抗網(wǎng)絡(luò)的圖像陰影去除以及多光譜影像NDVI陰影去除方法對(duì)樣本圖像陰影邊緣進(jìn)行檢測(cè)，檢測(cè)精度對(duì)比結(jié)果如圖4 所示：

圖4 陰影邊緣檢測(cè)精度

分析圖4中實(shí)驗(yàn)曲線可以看出，隨著迭代次數(shù)的不斷改變，三種方法對(duì)樣本圖像陰影的邊緣進(jìn)行檢測(cè)的精度存在一定差別。其中，采用所提方法對(duì)弱光照?qǐng)D像陰影邊緣檢測(cè)精度高于其它兩種方法，且最高約為99 %，而其它兩種方法的檢測(cè)精度始終低于所提方法。這是由于所提方法將圖像光照分解設(shè)定為圖像分解與重光照，獲取圖像最小像素值，根據(jù)圖像亮度以及RGB方向相似度建立局部像素的約束，完成弱光照?qǐng)D像的分解；采用區(qū)域生長(zhǎng)法，以檢測(cè)到的弱光照?qǐng)D像陰影邊緣作為基準(zhǔn)點(diǎn)，選擇灰度值較重部分作為陰影生長(zhǎng)起始點(diǎn)，確定弱光照?qǐng)D像的紋理特征值，利用光照補(bǔ)償方法恢復(fù)圖像光照，進(jìn)而有效提升了圖像陰影邊緣的檢測(cè)精度。

4 結(jié)束語(yǔ)

針對(duì)弱光照?qǐng)D像陰影去除中存在的不足，通過(guò)圖像預(yù)處理與增強(qiáng)，獲取圖像中陰影的邊緣并對(duì)其展開(kāi)處理。借助熵驅(qū)動(dòng)域適應(yīng)學(xué)習(xí)技術(shù)，將弱光照?qǐng)D像進(jìn)行有效的預(yù)處理，并通過(guò)獲取弱光照?qǐng)D像的灰度值等，完成了弱光照?qǐng)D像陰影去除。實(shí)驗(yàn)結(jié)果表明：采用所提方法對(duì)弱光照?qǐng)D像陰影去除的效果更佳，且對(duì)弱光照?qǐng)D像陰影邊緣檢測(cè)的精度更高，具有一定優(yōu)勢(shì)。但在此次研究中還存在相應(yīng)的問(wèn)題，例如數(shù)據(jù)處理部分受限或是場(chǎng)景處理能力較低等問(wèn)題。在日后研究中還需對(duì)上述問(wèn)題進(jìn)行處理，以期完善方法中存在的不足。