一種改進(jìn)的圖像陰影去除方法

胡 晨，胡德敏，胡鈺媛，褚成偉

(上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院，上海200093)

陰影作為干擾圖像質(zhì)量的因素，根據(jù)其產(chǎn)生原因的不同分成兩類(lèi)：一種是由于物體沒(méi)有接受光源照射產(chǎn)生的影子，即自陰影；另一種是由于自身對(duì)光源的遮擋在另一個(gè)物體上產(chǎn)生的影子，稱(chēng)為投影陰影[1]。本文主要解決投影陰影問(wèn)題。

陰影去除主要分為兩大類(lèi)型：有模型方法和無(wú)模型方法?；谟心Ｐ偷姆椒ㄊ菍?duì)場(chǎng)景中的目標(biāo)根據(jù)先驗(yàn)知識(shí)，建立模型以區(qū)分陰影與非陰影。該方法效果較好但是建模過(guò)程復(fù)雜耗時(shí)。無(wú)模型方法只需根據(jù)陰影光照、顏色、幾何特征等來(lái)去除陰影，無(wú)需長(zhǎng)時(shí)間訓(xùn)練。但該方法會(huì)導(dǎo)致紋理不一致以及色彩偏移等問(wèn)題[2]，易降低陰影去除后的視覺(jué)效果。

文獻(xiàn)[1，3]中基于模型學(xué)習(xí)角度建立數(shù)據(jù)集對(duì)陰影進(jìn)行訓(xùn)練進(jìn)而去除陰影。該方法針對(duì)單色圖像即非彩色圖像而設(shè)計(jì)，無(wú)法解決彩色圖像的陰影處理。文獻(xiàn)[4～6]雖然能較好地恢復(fù)陰影處真實(shí)信息，但需要大量預(yù)訓(xùn)練，訓(xùn)練不充分易導(dǎo)致陰影去除后紋理不一致。上述方法依賴(lài)于長(zhǎng)時(shí)間的訓(xùn)練，訓(xùn)練不足會(huì)導(dǎo)致陰影去除失敗。

文獻(xiàn)[2，7]無(wú)需模型訓(xùn)練，但均需無(wú)陰影背景圖來(lái)去除陰影。如果無(wú)背景圖，將無(wú)法去除陰影。文獻(xiàn)[8]基于光照優(yōu)化去除陰影，缺點(diǎn)是當(dāng)相似區(qū)域紋理差別大時(shí)，會(huì)導(dǎo)致陰影去除后紋理不一致與光照不飽和。文獻(xiàn)[9]依據(jù)HSI空間檢測(cè)出陰影，但未恢復(fù)陰影處光照。文獻(xiàn)[10]將非陰影區(qū)域與陰影區(qū)通道的平均值之比作為常數(shù)，對(duì)檢測(cè)出的陰影區(qū)域乘以常數(shù)去除陰影，在恢復(fù)圖像陰影區(qū)域時(shí)會(huì)造成紋理不一致。

針對(duì)以上陰影去除后存在紋理不一致與光照飽和以及需大量訓(xùn)練的問(wèn)題。本文使用HSV顏色格式比率直方圖的方法檢測(cè)圖像中陰影，提出了一種基于Retinex新的估算入射光圖以及改進(jìn)梯度下降中權(quán)重求取的方法，旨在通過(guò)改善光照不飽和與增強(qiáng)反射光圖紋理來(lái)得到無(wú)陰影圖像。

1 陰影檢測(cè)

陰影去除過(guò)程可以分為兩個(gè)過(guò)程：陰影檢測(cè)以及恢復(fù)陰影區(qū)域的真實(shí)信息[11]。陰影去除需先檢測(cè)出圖像中陰影區(qū)域。目前致力于研究陰影檢測(cè)的方法中，文獻(xiàn)[12]通過(guò)將RGB格式的原圖轉(zhuǎn)換為HSV(色度、飽和度、亮度)格式、YUV(亮度、色度、濃度)格式以及YIQ(亮度、相位、正交)格式獲得陰影亮度和飽和度，利用亮度與飽和度檢測(cè)陰影。相比于YIQ注重伽馬校正，YUV注重兼容彩色與黑白制式電視機(jī)，HSV格式是根據(jù)人觀察色彩的生理特征而提出的顏色格式，視覺(jué)效果上更友好。與其它兩種方法相比，在HSV格式下，陰影檢測(cè)效果更佳，因此本文使用HSV格式獲取飽和度與亮度。

將RGB顏色通道的圖像轉(zhuǎn)換為HSV顏色通道后[13]，對(duì)圖像值域0～255按照式(1)進(jìn)行歸一化。

(1)

式中，R、G、B分別為RGB圖像分離后的通道。對(duì)于每一個(gè)像素點(diǎn)設(shè)max等于歸一化后R′、G′、B′中的最大值，min等于這些值中的最小值，按照式(2)轉(zhuǎn)換到亮度通道V。

V=max

(2)

按照式(3)轉(zhuǎn)換到飽和度通道S。

(3)

依據(jù)上述計(jì)算式轉(zhuǎn)換RGB圖像得到飽和度S和亮度V通道值。利用陰影像素具有較高的飽和度和較低亮度值特點(diǎn)，使用通道V和通道S計(jì)算每個(gè)像素點(diǎn)x的歸一化飽和值差分指數(shù)(Normalized Saturation Value Difference Index，NSVDI)。

基于陰影區(qū)域的像素在亮度和飽和度的比率直方圖中，值比非陰影區(qū)域要高的特點(diǎn)，結(jié)合最大類(lèi)間方差法(Nobuyuki Ostu，OSTU)在比率直方圖中分割陰影與非陰影區(qū)域[8]。如式(4)所示，利用NVSDI在陰影識(shí)別中的廣泛應(yīng)用[14-15]作為判斷陰影像素點(diǎn)標(biāo)準(zhǔn)。

(4)

其中，S是飽和度分量；V是亮度值分量。對(duì)于每一個(gè)像素點(diǎn)計(jì)算其N(xiāo)SVDI值，得到一個(gè)r(x)的灰度圖像。應(yīng)用OSTU方法自適應(yīng)求出r(x)直方圖的最優(yōu)閾值T[12]，如式(5)所示。

(5)

其中，Pi是灰度級(jí)為i的像素點(diǎn)的概率；將圖像按T分為背景與對(duì)象，w(T)是其中一類(lèi)灰度圖像的零階累積矩，μ(T)是另一類(lèi)；θ是原始圖片的總平均級(jí)別。

利用OSTU閾值對(duì)NSVDI直方圖進(jìn)行判斷，將圖像中所有像素點(diǎn)值r(x)與閾值T相比較判斷像素點(diǎn)為陰影或非陰影：r(x)>T為陰影；r(x)

2 恢復(fù)陰影區(qū)域真實(shí)信息

檢測(cè)出圖像中的陰影區(qū)域后，需要恢復(fù)陰影區(qū)域的真實(shí)信息。使用基于Edwin.H.Land提出的Retinex理論恢復(fù)陰影區(qū)域的真實(shí)信息[7]。

2.1 Retinex理論

Retinex理論認(rèn)為一幅圖像I由反射圖像R和入射圖像L組成，原理圖如圖1所示。

圖1 Retinex示意圖

當(dāng)入射光照射在反射物體上時(shí)，反射物體將入射光反射到觀察者眼中，由此形成觀察者最終看到的圖像。Retinex理論可用式(6)表示。

Ix=Lx·Rx

(6)

其中，Ix代表照相機(jī)接收到或人眼觀察到的圖像；Lx代表環(huán)境光的入射圖像，直接決定了圖像中像素所能達(dá)到的動(dòng)態(tài)范圍；Rx代表反射光圖像是增強(qiáng)后的圖像[16]。式(6)有其明確的物理意義，即人眼觀察到的圖像可以分解成所需要的反射光圖像與入射光的乘積。在式(6)中已知Ix的值，Lx與Rx的值均未知且Rx是所求的值，通過(guò)簡(jiǎn)單的計(jì)算式變換，可以得到Rx=Ix/Lx，欲獲得增強(qiáng)后圖像Rx只需求解未知圖像Lx。

2.2 估算入射光

作為一種顏色恒定方法，文獻(xiàn)[17]中試圖利用max-RGB中R、G、B這3種顏色通道來(lái)獲取估計(jì)光照，但這種方法只能提高全局光照。為了解決非均勻光照，對(duì)于陰影像素x，本文提出了新的估算方法，如式(7)所示。

(7)

其中，Ωx是以像素x為中心的n×n個(gè)像素的鄰域；變量c為鄰域內(nèi)像素點(diǎn)；y是區(qū)域內(nèi)索引，將其賦值給Lx；用平均值替代最大值避免像素x光照恢復(fù)后不飽和。將式(7)代入式(6)后得式(8)，如下所示。

(8)

其中，ε是一個(gè)極小正常數(shù)，存在目的是保證式子有意義，該計(jì)算式可以不均勻的提高陰影處的亮度。為保證式(8)有意義，基于式(7)將圖像倒轉(zhuǎn)可表示為

1-Ix=[1-Rx]·Lx+a[1-Lx]

(9)

其中，加入權(quán)重因子a用來(lái)調(diào)整飽和度，接下來(lái)闡述式(9)與式(6)的關(guān)系。

(10)

將式(10)代入式(9)中可得式(11)。

(11)

在式(11)中，當(dāng)a的值取1時(shí)可以發(fā)現(xiàn)其與式(8)相等，因此保證了公式推演的正確性。此處a取值σn/σs·μs；其中，σn和σs分別是非陰影與陰影區(qū)域像素方差；μs是陰影區(qū)域像素平均值。

2.3 平滑邊緣區(qū)域

實(shí)際照明條件下陰影邊緣光照強(qiáng)度逐漸減弱，陰影檢測(cè)時(shí)可能存在邊界檢測(cè)不準(zhǔn)確的情況。陰影光照恢復(fù)后，邊緣光照過(guò)度不自然，嚴(yán)重影響陰影去除的效果，因此需平滑邊緣區(qū)域。邊緣區(qū)域使用n×n均值濾波平滑陰影與非陰影區(qū)域。根據(jù)距離陰影邊緣遠(yuǎn)近，按式(12)由近及遠(yuǎn)賦予由大到小的權(quán)值。

1-d/(max-min)

(12)

其中，max與min分別是區(qū)域中像素點(diǎn)距離邊緣像素最遠(yuǎn)及最近的距離；d是區(qū)域像素距離邊緣像素點(diǎn)的距離。

2.4 恢復(fù)紋理細(xì)節(jié)

在恢復(fù)陰影區(qū)域光照后會(huì)引起紋理細(xì)節(jié)的丟失，為了還原丟失的紋理細(xì)節(jié)需要應(yīng)用原始陰影圖像作為指導(dǎo)，以便增強(qiáng)陰影區(qū)域S的紋理細(xì)節(jié)。本文改進(jìn)了紋理增強(qiáng)梯度下降方法中權(quán)重的系數(shù)，增強(qiáng)紋理的計(jì)算式如式(13)所示。

(13)

式(13)中前半部分是數(shù)據(jù)項(xiàng)，后半部分是梯度約束項(xiàng)，用來(lái)保持陰影區(qū)域的梯度信息。Ix是原圖中像素x的值；Rx是恢復(fù)亮度后的像素x的值；?是梯度算子；λ1是用于平衡梯度的約束項(xiàng)，本文將其改進(jìn)取值為σn/σs·μs，σn和σs分別是非陰影與陰影區(qū)域像素方差，μs是陰影區(qū)域像素平均值。

由于陰影的影響，陰影區(qū)域的梯度可能會(huì)減弱，因此為式(13)中的原始梯度新設(shè)置了一個(gè)權(quán)重系數(shù)λ2來(lái)補(bǔ)償光遮擋造成的梯度弱化。對(duì)于一幅圖像來(lái)說(shuō)λ2是固定的，取值為μn-σn/σs·μs，μn是非陰影區(qū)域像素平均值。改進(jìn)后的函數(shù)如式(14)所示。

(14)

通過(guò)式(14)梯度下降法解決了紋理細(xì)節(jié)丟失的問(wèn)題，紋理細(xì)節(jié)的增強(qiáng)，可以有效恢復(fù)陰影區(qū)域的真實(shí)信息，達(dá)到去除陰影的效果。

3 基于Retinex的陰影去除算法

文中提出去除陰影的算法如下所示，并在數(shù)據(jù)集UIUC上驗(yàn)證了算法的有效性。

算法：陰影去除算法；

輸入：已知RGB圖像陰影位置Ishadow與原始圖像I；

輸出：陰影去除后恢復(fù)陰影處真實(shí)信息的圖像R′。

1.x∈Ω；//Ω是以陰影像素點(diǎn)x為中心的n×n的區(qū)域

2.w←0；//初始化平滑權(quán)重

3.for eachxin shadow

4.calculateσs//陰影區(qū)域像素方差

5.calculateμs//陰影區(qū)域像素平均值

6.end for；

7.for eachxin noshadow

8.calculateμn//非陰影區(qū)域像素平均值

9.calculateσn//非陰影區(qū)域像素區(qū)域方差

10.end for；

11.λ1，a←σn/σs·μs；

12.λ2←μn-σn/σs·μs；

13.Ishadow→R′、G′、B′ //分離通道為R′、G′、B′

14.for eachxin shadow

15.將x帶入式(9)計(jì)算得Lx

16.Rx←((Ix-1+a)/(1-1/a+Lx))+1-a

17.end for；

18.for eachxin edge

19.foriinΩ

20.wi←1-d/(max-min)

21.根據(jù)權(quán)重平滑邊緣區(qū)域

22.end for

23.end for；

24.for eachxin shadow

25.?Ix//對(duì)原圖像求導(dǎo)后，計(jì)算每個(gè)像素的值

26.?Rx//求導(dǎo)

27.Rx←∑(Ix-Rx)2+λ1∑(?Ix-λ2?Rx)2//恢復(fù)陰影處紋理細(xì)節(jié)

28.end for

4 實(shí)驗(yàn)與分析

本文實(shí)驗(yàn)的目的是改善陰影恢復(fù)后原陰影處的光照不飽和度與紋理一致性，并用公開(kāi)數(shù)據(jù)集UIUC驗(yàn)證結(jié)果。實(shí)驗(yàn)的軟硬件環(huán)境如表1所示。

表1 軟硬件環(huán)境

4.1 評(píng)價(jià)指標(biāo)

為評(píng)估陰影檢測(cè)效果，陰影檢測(cè)評(píng)價(jià)標(biāo)準(zhǔn)采用平均錯(cuò)誤率(Balanced Error Rate，BER)計(jì)算了陰影區(qū)域與非陰影區(qū)域像素級(jí)分類(lèi)誤差率，如式(17)所示。

(17)

其中，TN、TP分別表示正確分類(lèi)的非陰影與陰影像素?cái)?shù)；FP表示錯(cuò)誤分類(lèi)為陰影的非陰影像素?cái)?shù)；FN表示錯(cuò)誤分類(lèi)為非陰影的陰影像素?cái)?shù)。使用BER方法的原因是因?yàn)閳D像中陰影像素點(diǎn)比非陰影像素點(diǎn)數(shù)目少，BER值越低表示陰影檢測(cè)效果越好。

為衡量陰影去除效果,文獻(xiàn)[18]在文獻(xiàn)[6]提出的均方根誤差(Root Mean Square Error，RMSE)方法的基礎(chǔ)上，提出了均方根誤差比(Root Mean Square Error Ratio，ER)來(lái)衡量陰影去除的效果。本文使用文獻(xiàn)[18]的評(píng)價(jià)標(biāo)準(zhǔn)，如式(18)所示。

(18)

其中，IS、IR″、IG分別表示陰影圖像、陰影去除后的圖像、無(wú)陰影真實(shí)圖像，均方根誤差比值越小表明效果越好。

4.2 實(shí)驗(yàn)結(jié)果分析

4.2.1 陰影檢測(cè)

將獲取的RGB顏色通道圖像轉(zhuǎn)換到HSV三通道格式，分離三通道獲得色度H、飽和度S、亮度V，依據(jù)陰影具有較高的飽和度和較低的亮度值，根據(jù)式(4)對(duì)每個(gè)像素點(diǎn)計(jì)算得到歸一化飽和值差分指數(shù)NSVDI。

圖2所示為得到的NSVDI結(jié)果圖，從左到右依次為S飽和度、V亮度和NSVDI陰影遮罩圖。

圖2 飽和強(qiáng)度圖

由圖2可以看出，應(yīng)用飽和度與亮度信息計(jì)算得到的NSVDI圖中陰影明顯區(qū)別于圖像其它部分。對(duì)得到的NSVDI使用大津法自動(dòng)獲取閾值，每一個(gè)像素點(diǎn)的NSVDI與閾值相比較，大于閾值的為陰影像素點(diǎn)，小于閾值的為非陰影像素點(diǎn)。比較后得到的陰影二值掩碼圖如圖3所示。

圖3 二值掩碼圖

由圖3可以看出，圖像中陰影已被識(shí)別出來(lái)。使用本文與其它方法在公開(kāi)數(shù)據(jù)集UIUC上檢測(cè)陰影的平衡誤差率如表2所示。

表2 平衡誤差率對(duì)比

由表2可以看出，相比于其它方法，在本文OSTU方法下，陰影檢測(cè)的平衡誤差率更低，陰影檢測(cè)效果更好。這是由于本文使用OSTU方法對(duì)HSV模式下飽和度與亮度的飽和度差分指數(shù)自動(dòng)求取閾值，可更好地檢測(cè)出陰影。文獻(xiàn)[1]提出的方法由于受到低反射率影響導(dǎo)致BER值更高；文獻(xiàn)[6]提出的方法通過(guò)訓(xùn)練尋找成對(duì)區(qū)域來(lái)檢測(cè)陰影，當(dāng)訓(xùn)練不充分時(shí)會(huì)導(dǎo)致高的BER值；文獻(xiàn)[10]則是依托于固定閾值，導(dǎo)致陰影分類(lèi)不準(zhǔn)，從而在某些情況下BER值高。

4.2.2 恢復(fù)陰影真實(shí)信息

在估算入射光方法中，通過(guò)多次對(duì)比實(shí)驗(yàn)發(fā)現(xiàn)Ωx的鄰域取值n范圍在3～5時(shí)效果較好。當(dāng)n取值過(guò)大時(shí)會(huì)出現(xiàn)色彩偏差，過(guò)小時(shí)達(dá)不到估算效果。在平滑陰影邊緣區(qū)域中，多次對(duì)比實(shí)驗(yàn)數(shù)據(jù)表明平滑范圍值n取5～8時(shí)可以達(dá)到較好的效果。n較小時(shí)平滑效果不明顯，當(dāng)取更大的值時(shí)平滑效果增加不明顯。

假定ER(image)表示在整幅圖像上計(jì)算均方根誤差得到的ER值；ER(shadow)表示在陰影位置計(jì)算均方根誤差得到的ER值。本文陰影去除方法與其它陰影去除方法在UIUC數(shù)據(jù)集上均方根誤差比ER值比較如表3所示，視覺(jué)效果對(duì)比則如圖4所示。

由圖4可以看出，本文方法在飽和度上比其它方法恢復(fù)的更好，這是由于本文采用HSV模式將最大值替換為均值，解決了光照不飽和問(wèn)題。文獻(xiàn)[10]提出的方法沒(méi)有考慮光照飽和問(wèn)題，而是直接使用固定常數(shù)恢復(fù)陰影區(qū)域信息，因此在某些情況下飽和度過(guò)高。相比于其它幾種方法，本文提出的方法在紋理細(xì)節(jié)上視覺(jué)效果更佳，這是由于本文使用改進(jìn)的紋理增強(qiáng)梯度下降方法，不需要大量模型訓(xùn)練，節(jié)省了時(shí)間。文獻(xiàn)[1]提出的方法采用支持鄰域內(nèi)部平滑來(lái)恢復(fù)陰影真實(shí)信息，該方法沒(méi)有考慮陰影內(nèi)部紋理信息。文獻(xiàn)[6]提出的方法依賴(lài)于不同照明對(duì)和不同材料對(duì)，當(dāng)照明對(duì)與材料對(duì)尋找不準(zhǔn)確時(shí)導(dǎo)致陰影恢復(fù)效果欠佳。同樣由于上述原因，在表3的均方根誤差比中相對(duì)于其它方法本文方法的值更低。

表3 均方根誤差比

圖4 實(shí)驗(yàn)結(jié)果對(duì)比圖

5 結(jié)束語(yǔ)

陰影的存在會(huì)造成有用信息的丟失，本文在Retinex理論基礎(chǔ)上，提出了一種估算入射光圖和改進(jìn)梯度下將方法中權(quán)重的方法，改善了光照恢復(fù)不飽和問(wèn)題。對(duì)于每一個(gè)陰影處像素點(diǎn)，初步恢復(fù)陰影處信息的值，之后利用自適應(yīng)權(quán)重參數(shù)恢復(fù)陰影區(qū)域的紋理，可達(dá)到恢復(fù)陰影區(qū)域真實(shí)信息的目的。陰影檢測(cè)使用亮度與飽和度信息在減少計(jì)算量的同時(shí)提高了陰影識(shí)別準(zhǔn)確率。真實(shí)數(shù)據(jù)集實(shí)驗(yàn)表明，本文方法相對(duì)于其它主流方法在平衡錯(cuò)誤率、均方根誤差比兩個(gè)評(píng)估指標(biāo)上有著明顯的提高，同時(shí)保持了較好的視覺(jué)效果。后期工作中，將進(jìn)一步探究在復(fù)雜背景下提高去除陰影后紋理的一致性。