陳卓(四川大學(xué)視覺合成圖形圖像技術(shù)國防家重點學(xué)科實驗室,成都 610025)
一種針對單幅室外圖像的陰影檢測算法
陳卓
(四川大學(xué)視覺合成圖形圖像技術(shù)國防家重點學(xué)科實驗室,成都610025)
一直以來,陰影檢測都是圖像處理領(lǐng)域的研究熱點之一。圖像中的陰影會增加物體識別、圖像分割等算法的難度,所以有效地檢測陰影可以顯著提高圖像處理領(lǐng)域許多算法的性能。
最近十多年中,大量圖像處理中的陰影檢測算法涌現(xiàn)出來。一部分算法基于陰影邊緣。該方法通過比較兩種邊緣來檢測陰影[1]:光照不變圖像的邊緣和原圖像的邊緣。該方法的一大限制在于對處理圖像有著很高的質(zhì)量要求,當(dāng)所處理圖像為普通圖像時,該算法效果一般。另一部分算法基于陰影區(qū)域。該方法基于光照強度、梯度等信息,通過訓(xùn)練條件隨機場來判斷陰影[2]。但該方法有著冗長的訓(xùn)練過程,并對訓(xùn)練集的依賴度較高。時至今日,在光照、物體反射率和陰影幾何形狀等因素的影響下,陰影檢測仍然是一個具有挑戰(zhàn)性的問題。特別地,對于單幅室外圖像,由于其信息少、場景復(fù)雜等原因,針對該圖像的陰影檢測更是難上加難。
因此,本文針對單幅室外場景的圖像,提出了一種新的陰影檢測算法。首先,算法利用陰影導(dǎo)致的紋理和亮度變化特征,結(jié)合局部和全局信息對圖像進行分割。然后,針對過度分割產(chǎn)生的問題,本文提出了一種新的基于邊緣的區(qū)域融合算法,可有效地將圖像中陰影區(qū)域和非陰影區(qū)域分割開來,同時可以分別把陰影區(qū)域和非陰影區(qū)域分割成若干個子區(qū)域。然后,利用單個區(qū)域信息和區(qū)域匹配的信息,分別訓(xùn)練一個SVM,對陰影進行識別。本文的主要貢獻包括:
●提出了一種新的基于陰影特征的圖像分割算法,該算法結(jié)合邊緣檢測和區(qū)域檢測,準確地將陰影和非陰影區(qū)域分割開。
●整合了圖像分割和陰影檢測算法,利用相同的陰影特征進行分割和檢測,使算法內(nèi)部的一致性增強,并擁有更好的檢測效果。
1.1圖像分割
很多圖像分割算法已經(jīng)被開發(fā)出來,這些算法大致可分為兩類:基于輪廓/邊緣信息的分割,如Canny算法[4];以及基于區(qū)域信息的分割,如MeanShift[5],k均值算法[6]等。同時,很多研究者認為作為分割圖像的兩種方法,二者可以有效的結(jié)合起來。文獻[7]提出了這樣一種全新的方法,該方法結(jié)合了輪廓檢測和圖像分割,利用檢測出來的邊緣信息構(gòu)建了一個分層的區(qū)域樹,很好地融合了兩種方法。
圖1 表示算法處理的流程,依次為(a)→(b)→(c)→(d)
1.2陰影檢測
由于陰影會顯著降低光照強度,所以一部分陰影檢測的方法是基于光照模型,或者顏色模型的。文獻[8-9]利用顏色空間HSI中的H和I空間,通過兩者之間的比值來檢測陰影檢測。然而,該方法更適合檢測航拍圖中的陰影,或者圖像中比較明顯的陰影,其對室外復(fù)雜場景中陰影的檢測效果差強人意。
有別于基于光照模型的檢測方法,文獻[3]試圖通過對比區(qū)域之間的信息來檢測陰影,具有極強的啟發(fā)意義。這種方法通過訓(xùn)練SVM來評價一個區(qū)域以及區(qū)域之間的關(guān)系,然后再據(jù)此構(gòu)建一個能量函數(shù),最后求解這一函數(shù)來綜合判斷陰影區(qū)域。
2.1基于陰影特征的圖像分割
圖像分割是計算機圖像學(xué)領(lǐng)域的一個基本問題。如果可以將圖像中陰影和非陰影區(qū)域準確地分割開來,將對陰影檢測帶來極大的便利。因此,圖像分割對陰影檢測有著重要的意義。
當(dāng)一個區(qū)域被陰影覆蓋時,它的紋理和光照會發(fā)生變化[2]。而文獻[3]中使用的MeanShift算法不能很好地利用這一性質(zhì)。本文通過改進[7]中的算法,根據(jù)陰影的特征,融合陰影邊緣檢測和陰影區(qū)域檢測,分割陰影和非陰影區(qū)域。該方法大致分為兩個步驟:陰影邊緣檢測和陰影分割。
(1)陰影邊緣檢測
本文與[7]中的算法不同之處在于:首先在陰影邊緣檢測部分,本文通過亮度和紋理基元(textons)[7]信息,計算每個像素點的梯度信息G(x,y,θ),并據(jù)此分析出圖像的輪廓信息gPb。
(2)陰影分割
經(jīng)過上文分析得到的gPb能夠有效的表示輪廓,但是這些輪廓也不是完全封閉的,因此不能用作分割圖像。為了更好地分割圖像,本文使用分水嶺算法利用輪廓信息gPb來進行區(qū)域分割。然而,分水嶺算法會產(chǎn)生過度分割問題,為此本文開發(fā)了一種全新的方法來解決這一問題。
在分水嶺算法中,定義每個“集水盆地”對應(yīng)一個區(qū)域,記為P0;兩個集水盆地交匯處是“分水嶺”,記為K0。接著定義一個無向圖G=(P0,K0,W(P0),E(P0)),其中W(P0)表示每條分水嶺的權(quán)值,由分水嶺上點的總能量處以分水嶺上點的個數(shù)而得;E(P0)表示每個集水盆地的能量值,每個盆地的初始能量均為零。同時需要注意的是在圖中,每條都恰好分割兩個區(qū)域,W(P0)描述了相鄰兩個區(qū)域之間的相異性。
將分水嶺按照其權(quán)值,由小到大存入隊列,并依此判斷其是否需要合并。假定R1和R2由邊C*分割,且R=R1∪R2,合并的規(guī)則如下:
●R1和R2合并的條件是:如果min{E(R1),E(R2)} ≠0,則W(K0)≤τ·min{E(R1),E(R2)}或min{E(R1),E (R2)}=0。其中,τ表示一個常數(shù)。通過調(diào)整τ就可以調(diào)整合并條件,從而控制最終區(qū)域的大小,τ越大最終合并的區(qū)域面積越大。
●E(R)、P0和K0的合并方法是:E(R)=max{E(R1),E(R2),W(C*)};P0←P0{R1,R2}∪R;K0←K0{C*}。
2.2陰影檢測
文獻[3]提出了一種基于區(qū)域匹配的陰影檢測方法。該方法認為判斷一個區(qū)域是否為陰影,不僅僅是和區(qū)域本身的性質(zhì)相關(guān),還應(yīng)該和其他區(qū)域相關(guān)。也就是說,需要結(jié)合區(qū)域之間的關(guān)系來判斷一個區(qū)域是否為陰影。
(1)區(qū)域識別
對于單區(qū)域識別,本文訓(xùn)練一個分類器(SVM)來判斷單個區(qū)域是陰影的概率。訓(xùn)練集已手工標記出了陰影部分,分類器利用陰影的亮度和紋理基元來進行分類,輸出為表示區(qū)域為陰影的概率。
對于匹配區(qū)域識別,檢測一個區(qū)域是否為陰影區(qū)域,應(yīng)該與其紋理相似的區(qū)域進行比較。如果兩個區(qū)域亮度相似,則二者處于同一光照強度下(陰影或者非陰影);如果兩者的亮度相異,則認定亮度較暗的區(qū)域為陰影。這里,利用分類器訓(xùn)練四個特征來判斷陰影區(qū)域[3]:亮度和紋理基元的χ2距離,平均RGB比,色彩對齊度和區(qū)域歸一化距離。
(2)算法
由上述構(gòu)建能量方程,使用圖割算法[10]得到最終的陰影檢測結(jié)果:
同時,
圖2 實驗結(jié)果圖
第一列是原圖像。第二列是文獻[3]所使用的MeanShift算法分割的圖像;第三列是本文算法分割的圖像;第四列是文獻[3]陰影檢測結(jié)果的投影圖像;第五列是本文算法陰影檢測結(jié)果的投影圖像。
本文在多張室外圖像上進行了實驗,這些圖像很好地囊括了不同種類的陰影圖像,具有較強的說服力,如圖2所示。通過將本文算法和文獻[3]中的算法進行比較,可以看出:本文算法很好地分割了圖像中陰影和非陰影區(qū)域,并準確地檢測了陰影區(qū)域。
本文提出了一種新的陰影檢測算法。分割圖像和檢測陰影都使用了相同的陰影特征,圖像分割更加準確,陰影檢測的效果更好。另外,根據(jù)輪廓信息,提出了一種區(qū)域合并的算法,并且可以通過控制區(qū)域合并的參數(shù),方便地控制合并區(qū)域的大小。這些優(yōu)點共同提升了陰影移除的效果。
[1]G.D.Finlayson,S.D.Hordley,C.Lu,and M.S.Drew.On the Removal of Shadows from Images.IEEE Transactions on Pattern Analysis and Machine Intelligence,2006,28(1):59-68.
[2]G.D.Finlayson,M.S.Drew,C.Lu.Intrinsic Images by Entropy Minimization.European Conference on Computer Vision,Prague,Czech Republic,2004:582-595.
[3]Guo Rui-qi,Dai Qie-yun,Hoiem,D.Single-Image Shadow Detection and Removal Using Paired Regions.IEEE Conference on Computer Vision and Pattern Recognition.Providence,RI,2011:2033-2040.
[4]Canny,John.A Computational Approach to Edge Detection.IEEE Transactions on Pattern Analysis and Machine Intelligence,1986,8 (6):679-698.
[5]D.Comaniciu and P.Meer.Mean Shift:A Robust Approach Toward Feature Space Analysis.IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(5):603-619.
[6]J.B.MacQueen.Some Methods for Classification and Analysis of Multivariate Observations,Berkeley,Proceedings of 5-th Berkeley Symposium on Mathematical Statistics and Probability,University of California Press,1967.
[7]P.Arbelaez,M.Maire,C.Fowlkes,J.Malik.IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(5):898-916.
[8]TSAI V.J.A Comparative Study on Shadow Compensation of Color Aerial Images in Invariant Color Models.IEEE Transactions on Geoscience and Remote Sensing,2006,44(6):1661-1671.
[9]Xiao Chunxia,Xiao Donglin,Zhang Ling,Chen Lin.Efficient Shadow Removal Using Subregion Matching Illumination Transfer.Computer Graphics Forum,2013,32(7):421-430.
[10]Y.Boykov,O.Veksler,R.Zabih.Fast Approximate Energy Minimization Via Graph Cuts.IEEE Transactions on Pattern Analysis andMachine Intelligence,2001,23(11):1222-1239.
Shadow Detection;Shadow Segmentation;Region-Pair
A Shadow Detection Algorithm for Single Outdoor Images CHEN Zhuo
(National Key Laboratory of Fundamental Science on Synthetic Vision,Sichuan University,Chengdu 610025)
1007-1423(2016)06-0060-04
10.3969/j.issn.1007-1423.2016.06.014
陳卓(1989-),男,河南鶴壁人,碩士研究生,研究方向為計算機圖像
2016-01-05
2016-02-06
提出一種針對單幅室外場景圖像的陰影檢測算法。算法首先利用陰影的亮度和紋理特征,融合輪廓檢測和區(qū)域分割兩種方法分割圖像;然后,通過訓(xùn)練SVM來檢測單個區(qū)域信息和區(qū)域之間的匹配信息;最后,利用圖割算法綜合判斷陰影區(qū)域。實驗結(jié)果表明,該算法可以有效地分割單幅室外圖像中的陰影區(qū)域。
陰影檢測;陰影分割;區(qū)域?qū)?/p>
國家自然科學(xué)基金(No.61103137)、國家 863計劃(No.2013AA013902)、國家自然科學(xué)重點項目和科技支撐計劃(No.2012BAH62F02)
Proposes a novel shadow detection approach for a single natural outdoor image.This algorithm firstly segments image by using the charac-teristic of shadow:brightness and texture.Then,the algorithm trains a SVM to detect single region information and region-pair informa-tion.At last,uses Graph Cut algorithm to classify shadow/non-shadow regions.Experiments show that this method significantly detects shadow regions in single outdoor images.