結(jié)合多尺度及密集特征圖融合的陰影檢測(cè)方法

張世輝, 張笑維, 李 賀, 張笑笑, 牛景春, 陳 琦

(1.燕山大學(xué) 信息科學(xué)與工程學(xué)院,河北 秦皇島 066004;2.河北省計(jì)算機(jī)虛擬技術(shù)與系統(tǒng)集成重點(diǎn)實(shí)驗(yàn)室,河北 秦皇島 066004)

1 引 言

陰影既是一種光學(xué)現(xiàn)象,又是一種幾何現(xiàn)象。陰影在自然場(chǎng)景中無(wú)處不在。一方面,陰影可提供物體形狀[1]、光源和照明條件[2～5]、相機(jī)參數(shù)和地理位置[6,7]以及場(chǎng)景幾何[8]等有關(guān)場(chǎng)景的關(guān)鍵信息;另一方面,陰影也會(huì)給許多光學(xué)測(cè)量、場(chǎng)景理解等任務(wù)帶來困難。因此,陰影檢測(cè)是視覺計(jì)算、光學(xué)處理中最基本的問題之一。已有的陰影檢測(cè)方法可以分為兩大類。一類是傳統(tǒng)的陰影檢測(cè)方法[9～12],另一類基于深度學(xué)習(xí)的陰影檢測(cè)方法[13～17]。在傳統(tǒng)的陰影檢測(cè)方法方面,Zhu等[9]提出了一種基于強(qiáng)度、梯度和紋理,利用條件隨機(jī)場(chǎng)細(xì)化陰影的方法,但是該方法主要針對(duì)單色戶外圖像。Lalonde等[10]通過比較相鄰區(qū)域的顏色和紋理并使用條件隨機(jī)場(chǎng)找到陰影邊界,但是該方法的陰影檢測(cè)魯棒性較差。為了從全局信息中受益,Guo等[11]提出了一種基于區(qū)域的陰影檢測(cè)方法,該方法由于僅利用區(qū)域信息而導(dǎo)致陰影檢測(cè)準(zhǔn)確性稍差。Vicente等[12]提出了一次性內(nèi)核優(yōu)化結(jié)合最小二乘支持向量機(jī)進(jìn)行陰影檢測(cè)的方法。由于該方法使用了多分類器,導(dǎo)致效率較低且準(zhǔn)確性也有待提高。由此可見,傳統(tǒng)的陰影檢測(cè)方法由于人工設(shè)計(jì)的特征在描述陰影方面的能力所限,陰影檢測(cè)的效果有待提高。

為了解決傳統(tǒng)陰影檢測(cè)方法存在的問題,Khan等[13,14]提出了分別用于檢測(cè)陰影區(qū)域和陰影邊界的卷積神經(jīng)網(wǎng)絡(luò)(CNN),是基于深度學(xué)習(xí)思想進(jìn)行陰影檢測(cè)的較早成果。Vicente等[15]提出了一種通過組合全卷積網(wǎng)絡(luò)(FCN)和CNN進(jìn)行陰影檢測(cè)的方法,但是這種方法需要預(yù)訓(xùn)練,效率較低且準(zhǔn)確性不高。Hosseinzadeh等[16]提出了一種結(jié)合支持向量機(jī)(SVM)和CNN快速檢測(cè)陰影的方法,由于先后使用了SVM和CNN,故陰影檢測(cè)效率較低。Vicente等[17]提出了具有靈敏度參數(shù)的生成對(duì)抗網(wǎng)絡(luò)scGAN檢測(cè)陰影,但訓(xùn)練難度較大。綜合分析基于深度學(xué)習(xí)的陰影檢測(cè)方法發(fā)現(xiàn),盡管該類方法避免了特征設(shè)計(jì)過程,也取得了不錯(cuò)的效果,但已有方法普遍易將深色物體誤檢為陰影。針對(duì)已有陰影檢測(cè)方法的不足,本文提出一種基于端到端網(wǎng)絡(luò)實(shí)現(xiàn)陰影檢測(cè)的方法。實(shí)驗(yàn)結(jié)果驗(yàn)證了所提方法的可行性和有效性。

2 方法概述

2.1 相關(guān)概念

光線在同種均勻介質(zhì)中沿直線傳播時(shí),由于不透明或半透明物體對(duì)光線的遮擋而形成的較暗區(qū)域稱為陰影。在圖像中,陰影由若干個(gè)像素點(diǎn)構(gòu)成。陰影檢測(cè)就是確定圖像中的像素點(diǎn)是陰影像素點(diǎn)還是非陰影像素點(diǎn)。如圖1(a)所示,該圖像中有待檢測(cè)的陰影。陰影檢測(cè)方法的檢測(cè)結(jié)果如圖1(b)所示。

圖1 陰影檢測(cè)示意圖Fig.1 The sketch map of shadow detection

2.2 方法總體思想

本文所提陰影檢測(cè)方法的總體思想如下:首先,構(gòu)造U型編碼器-解碼器網(wǎng)絡(luò),將待檢測(cè)圖像輸入到U型網(wǎng)絡(luò)的編碼器部分,利用所提密集特征圖融合結(jié)構(gòu)獲得密集低層特征圖;其次,將密集低層特征圖輸入到串并聯(lián)結(jié)合的擴(kuò)張卷積結(jié)構(gòu)中生成多尺度特征圖;然后,在U型網(wǎng)絡(luò)的解碼器部分利用密集特征圖融合結(jié)構(gòu)提取陰影相關(guān)特征得到高層特征圖;再次,將高層特征圖和編碼器中對(duì)稱位置生成的密集低層特征圖融合,并結(jié)合多尺度特征圖,得到包含多層次、多尺度信息的特征提取結(jié)果;最后,對(duì)特征提取結(jié)果中的每個(gè)像素進(jìn)行分類從而實(shí)現(xiàn)陰影檢測(cè)。所提陰影檢測(cè)方法總體流程如圖2所示。

圖2 陰影檢測(cè)總體流程Fig.2 The overall process of shadow detection

3 基于DDF-Unet的陰影檢測(cè)方法

人類視覺系統(tǒng)可以準(zhǔn)確地完成圖像中陰影的辨識(shí)任務(wù)。但是,如果要利用計(jì)算機(jī)完成陰影檢測(cè)任務(wù),則應(yīng)首先提取出有利于區(qū)分陰影與非陰影的圖像特征,然后基于所提取的特征實(shí)現(xiàn)陰影檢測(cè),故特征提取成為陰影檢測(cè)的關(guān)鍵環(huán)節(jié)。為了更好地提取圖像特征,本文提出了密集特征圖融合結(jié)構(gòu)和串并聯(lián)結(jié)合的擴(kuò)張卷積結(jié)構(gòu),并設(shè)計(jì)了一種融合所提結(jié)構(gòu)的U型編碼器-解碼器網(wǎng)絡(luò)DDF-Unet(dilated dense fusion-unet)實(shí)現(xiàn)陰影檢測(cè)。

3.1 密集特征圖融合結(jié)構(gòu)的提出

在卷積神經(jīng)網(wǎng)絡(luò)中不同卷積層提取的特征圖包含的語(yǔ)義信息是不同的,因此融合不同的信息可以充分利用所提陰影相關(guān)特征。另外,卷積神經(jīng)網(wǎng)絡(luò)的層數(shù)越多能夠提取到的陰影特征越豐富,但是簡(jiǎn)單地增加網(wǎng)絡(luò)深度會(huì)造成退化問題。而且,由于卷積神經(jīng)網(wǎng)絡(luò)的下采樣對(duì)圖像的縮放操作會(huì)影響圖像的質(zhì)量,故需要用上采樣恢復(fù)圖像細(xì)節(jié)。綜合考慮卷積神經(jīng)網(wǎng)絡(luò)上述特點(diǎn),本文分別提出了上采樣和下采樣的密集特征圖融合結(jié)構(gòu)。

3.1.1 下采樣密集特征圖融合結(jié)構(gòu)

為了更好地提取并融合特征,提出圖3所示的下采樣密集特征圖融合結(jié)構(gòu)。該密集特征圖融合結(jié)構(gòu)同時(shí)使用了疊加(Add)操作和通道維度合并(Concat)操作將相同通道的卷積產(chǎn)生的特征圖進(jìn)行融合。具體包含各有1個(gè)3×3卷積(Conv)的模塊C1、C2和C3、1個(gè)步長(zhǎng)(Stride)為2的3×3卷積的模塊C4和2個(gè)特征圖融合操作,模塊C1、C2、C3和C4中的卷積層后均有1個(gè)批歸一化(batch normalization, BN)層和1個(gè)非線性激活函數(shù)(rectified linear units, ReLU)層。輸入的特征圖首先通過C1、C2和C3卷積操作,然后將C1卷積操作產(chǎn)生的特征圖和C3卷積操作產(chǎn)生的特征圖進(jìn)行通道維度合并得到新特征圖,再進(jìn)行C4卷積下采樣操作,之后將原始輸入(Input)特征圖通過步長(zhǎng)為2的1×1卷積操作與C4卷積下采樣操作產(chǎn)生的特征圖疊加,最后將特征圖輸出(Output)。

圖3 下采樣密集特征圖融合結(jié)構(gòu)Fig.3 Down-sampling dense feature map fusion structure

3.1.2 上采樣密集特征圖融合結(jié)構(gòu)

為了在融合特征圖的同時(shí)提高上采樣效率,提出的上采樣密集特征圖融合結(jié)構(gòu)如圖4所示,其中包含1個(gè)3×3反卷積(Deconv)的模塊C1、各有1個(gè)3×3卷積的模塊C2、C3和C4和1個(gè)特征圖融合操作,模塊C1、C2、C3和C4中的卷積層后均有1個(gè)BN層和1個(gè)非線性激活函數(shù)ReLU層。輸入的特征圖首先進(jìn)行C1卷積上采樣,通過C2、C3和C4卷積操作,并將C2卷積操作產(chǎn)生的特征圖與C4卷積操作產(chǎn)生的特征圖進(jìn)行通道維度的合并,最后將特征圖輸出。

圖4 上采樣密集特征圖融合結(jié)構(gòu)Fig.4 Up-sampling dense feature map fusion structure

3.2 串并聯(lián)擴(kuò)張卷積結(jié)構(gòu)的提出

分析陰影圖像特點(diǎn)發(fā)現(xiàn),圖像中存在不同尺度的陰影,因此需要提取多尺度的陰影特征。由于使用不同擴(kuò)張率的擴(kuò)張卷積不但可以增大感受野,而且可以挖掘多尺度的陰影特征,故本文在特征提取過程中使用不同擴(kuò)張率的擴(kuò)張卷積。但是,如果只將不同擴(kuò)張率的擴(kuò)張卷積進(jìn)行并聯(lián)會(huì)丟失一定的信息,且特征分辨率不夠密集,所以本文引入了串聯(lián)結(jié)構(gòu),以便獲得像素點(diǎn)更多的特征。所構(gòu)造的串并聯(lián)結(jié)合的擴(kuò)張卷積結(jié)構(gòu)如圖5所示。

圖5 串并聯(lián)擴(kuò)張卷積結(jié)構(gòu)Fig.5 The structure of serial-parallel dilated convolution(SPDC)

圖5中的串并聯(lián)擴(kuò)張卷積結(jié)構(gòu)由不同擴(kuò)張率的擴(kuò)張卷積組成。當(dāng)擴(kuò)張率接近特征圖的尺寸時(shí),3×3擴(kuò)張卷積的效果與標(biāo)準(zhǔn)的1×1卷積的效果是一樣的。因此,在選擇擴(kuò)張率的時(shí)候,需要選擇合適擴(kuò)張率的擴(kuò)張卷積。當(dāng)特征圖進(jìn)入該結(jié)構(gòu)時(shí),首先經(jīng)過5個(gè)不同擴(kuò)張率的并聯(lián)卷積層,分別是1個(gè)1×1的卷積、3個(gè)3×3的卷積(擴(kuò)張率分別為2、4、8)和1個(gè)將3個(gè)3×3卷積(擴(kuò)張率分別為2、4、8)串聯(lián)的模塊,然后將輸出的不同尺度的特征圖進(jìn)行通道的合并,最后送入1×1的卷積進(jìn)行融合得到新特征圖。串并聯(lián)擴(kuò)張卷積結(jié)構(gòu)可以通過不同大小的感受野獲取不同尺度的特征,其中感受野由小到大為1、5、9、17、29。

定義描述圖5結(jié)構(gòu)的公式為：

y=H1,0(x)+H3,2(x)+H3,4(x)+

H3,8(x)+H3,8{H3,4[H3,2(x)]}

(1)

式中：y為特征融合;HK,d(x)為擴(kuò)張卷積,其中下標(biāo)K為卷積核尺寸，下標(biāo)d為擴(kuò)張率。

單個(gè)擴(kuò)張卷積和堆疊的擴(kuò)張卷積的感受野計(jì)算公式分別定義為：

R=K+(K-1)×(d-1)

(2)

R′=R1+R2-1

(3)

式中：R為單個(gè)擴(kuò)張卷積的感受野;R′為堆疊的擴(kuò)張卷積感受野,R1和R2分別為上一層和本層單個(gè)擴(kuò)張卷積的感受野。

3.3 DDF-Unet網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)

為了檢測(cè)圖像中的陰影,設(shè)計(jì)了一種融合所提密集特征圖融合結(jié)構(gòu)和串并聯(lián)結(jié)合的擴(kuò)張卷積結(jié)構(gòu)的U型編碼器-解碼器架構(gòu)。該結(jié)構(gòu)將提出的下采樣密集特征圖融合結(jié)構(gòu)作為編碼器結(jié)構(gòu),實(shí)現(xiàn)對(duì)輸入圖像的編碼及特征提取。將提出的上采樣密集特征圖融合結(jié)構(gòu)作為解碼器結(jié)構(gòu),實(shí)現(xiàn)恢復(fù)陰影細(xì)節(jié)和空間維度功能。在編碼器的輸出結(jié)果輸入到解碼器之前,使用提出的串并聯(lián)結(jié)合的擴(kuò)張卷積結(jié)構(gòu)對(duì)編碼的結(jié)果進(jìn)行多尺度的特征提取及再融合,并將得到的多尺度特征圖上采樣到解碼器結(jié)構(gòu)中增加多尺度信息。編碼器與解碼器對(duì)稱并且二者之間通過空間維度合并操作將低層特征圖的低層特征與高層特征圖的深層特征結(jié)合起來,有助于更加準(zhǔn)確地定位陰影像素并恢復(fù)陰影的邊緣細(xì)節(jié),輸出更高準(zhǔn)確度的結(jié)果。

DDF-Unet結(jié)構(gòu)框架具體如圖6所示,其含有6個(gè)密集特征圖融合結(jié)構(gòu)和1個(gè)串并聯(lián)結(jié)合的擴(kuò)張卷積結(jié)構(gòu),包括45個(gè)卷積,其中有24個(gè)3×3卷積、6個(gè)1×1卷積、6個(gè)3×3擴(kuò)張卷積、4個(gè)步長(zhǎng)為2的3×3卷積、4個(gè)步長(zhǎng)為2的3×3反卷積和1個(gè)步長(zhǎng)為8的3×3反卷積。

圖6 DDF-Unet總體框架Fig.6 DDF-Unet overall framework

3.4 陰影檢測(cè)算法

本文基于所設(shè)計(jì)的DDF-Unet網(wǎng)絡(luò)實(shí)現(xiàn)陰影檢測(cè)功能。其核心思想是將陰影檢測(cè)作為一個(gè)有監(jiān)督的分類問題,最終得到圖像像素級(jí)別的分類結(jié)果,即將圖像中的每一個(gè)像素點(diǎn)看作一個(gè)樣本,根據(jù)每個(gè)像素的所屬類別概率而判斷其是否為陰影像素點(diǎn)。本文陰影檢測(cè)算法(shadow detection algorithm)的具體步驟如下：

Step 1：利用卷積操作對(duì)待檢測(cè)圖像進(jìn)行特征抽取,形成初始低層特征圖;

Step 2：將低層特征圖經(jīng)過下采樣密集特征圖融合結(jié)構(gòu),形成密集低層特征圖;

Step 3：將密集低層特征圖利用卷積操作經(jīng)過串并聯(lián)結(jié)合的擴(kuò)張卷積結(jié)構(gòu)進(jìn)行多尺度特征抽取,依據(jù)公式(1)計(jì)算多尺度特征圖;

Step 4：將密集低層特征圖經(jīng)過上采樣密集特征圖融合結(jié)構(gòu),形成高層特征圖,同時(shí)與對(duì)應(yīng)層的密集低層特征圖融合并依據(jù)多尺度特征圖融入多尺度信息,得到包含多層次、多尺度信息的特征圖;

Step 5：將多層次、多尺度信息的特征圖經(jīng)過卷積操作得到最終的特征提取結(jié)果,根據(jù)特征提取結(jié)果中每個(gè)像素點(diǎn)的概率大小判斷其所屬類別,得到陰影檢測(cè)結(jié)果。

4 實(shí)驗(yàn)及分析

4.1 實(shí)驗(yàn)環(huán)境及數(shù)據(jù)集

實(shí)驗(yàn)硬件環(huán)境為CPU Intel Xeon(R) E5-2620 v4@2.10 GHz 16、62.8 GiB內(nèi)存、NVINIA TITAN Xp顯卡以及12 189 MiB顯存。軟件環(huán)境為Ubuntu14.0、CUDA-9.0、OpenCV-3.4.2、Python3和TensorFlow框架。采用陰影檢測(cè)領(lǐng)域比較有代表性的UCF[9]和SBU[15]數(shù)據(jù)集進(jìn)行陰影檢測(cè)實(shí)驗(yàn)。UCF數(shù)據(jù)集包括355幅圖像和相應(yīng)標(biāo)注好的Ground Truth,其中數(shù)據(jù)集分為296幅訓(xùn)練圖像和59幅測(cè)試圖像,涵蓋了不同的室外場(chǎng)景。SBU是現(xiàn)有最大的公開陰影數(shù)據(jù)集,包含4 727幅圖像,其中有4 089幅訓(xùn)練圖像和638幅測(cè)試圖像和相應(yīng)標(biāo)注好的Ground Truth,涵蓋了各種各樣的場(chǎng)景。

4.2 實(shí)驗(yàn)結(jié)果比較分析

為了全面、合理評(píng)估所提方法的陰影檢測(cè)效果,本文實(shí)驗(yàn)分為2部分進(jìn)行:第1部分是所提陰影檢測(cè)方法在各種情況下的實(shí)驗(yàn)結(jié)果及分析;第2部分是所提陰影檢測(cè)方法與已有陰影檢測(cè)方法的比較。不失一般性,本文使用準(zhǔn)確率和平衡誤差率兩個(gè)評(píng)價(jià)指標(biāo)評(píng)估陰影檢測(cè)性能。準(zhǔn)確率指標(biāo)定義為：

(4)

式中：PT、NT、NF和PF分別為檢測(cè)正確的陰影像素個(gè)數(shù)、檢測(cè)正確的非陰影像素個(gè)數(shù)、檢測(cè)錯(cuò)誤的陰影像素個(gè)數(shù)和檢測(cè)錯(cuò)誤的非陰影像素個(gè)數(shù)。

考慮到在自然圖像中,非陰影的像素點(diǎn)通常多于陰影像素點(diǎn),所以引入平衡誤差率(balance error rate, BER)作為第2個(gè)評(píng)價(jià)指標(biāo),其定義為：

(5)

實(shí)驗(yàn)中,準(zhǔn)確率越高、平衡誤差率越低表明陰影檢測(cè)效果越好。

4.2.1 本文方法的實(shí)驗(yàn)結(jié)果及分析

為了充分評(píng)估本文所提方法,此處選取陰影圖像數(shù)據(jù)量更大且更具挑戰(zhàn)的SBU數(shù)據(jù)集作為實(shí)驗(yàn)數(shù)據(jù)集,分別進(jìn)行了2組實(shí)驗(yàn):驗(yàn)證串并聯(lián)擴(kuò)張卷積結(jié)構(gòu)效果的第1組實(shí)驗(yàn)和驗(yàn)證密集特征圖融合結(jié)構(gòu)效果的第2組實(shí)驗(yàn)。為了驗(yàn)證本文提出的串并聯(lián)擴(kuò)張卷積結(jié)構(gòu)的效果,分別構(gòu)造了圖7和圖8所示的串聯(lián)擴(kuò)張卷積結(jié)構(gòu)(SDC)和并聯(lián)擴(kuò)張卷積結(jié)構(gòu)(PDC),二者均使用了擴(kuò)張率為2、4和8的擴(kuò)張卷積,將U-net[18]作為基礎(chǔ)網(wǎng)絡(luò),分別對(duì)比了原始U-net、使用串聯(lián)擴(kuò)張卷積結(jié)構(gòu)、使用并聯(lián)擴(kuò)張卷積結(jié)構(gòu)和使用串并聯(lián)結(jié)合的擴(kuò)張卷積結(jié)構(gòu)(serial-parallel dilated convolution, SPDC)4種情況下的準(zhǔn)確率和平衡誤差率。為了驗(yàn)證本文所提出的密集特征圖融合結(jié)構(gòu)的效果,同樣將U-net作為基礎(chǔ)網(wǎng)絡(luò)并把編碼器和解碼器部分替換為密集特征圖融合結(jié)構(gòu),對(duì)比了使用原始U-net、使用密集特征圖融合結(jié)構(gòu)、使用密集特征圖融合結(jié)構(gòu)和串并聯(lián)結(jié)合的擴(kuò)張卷積結(jié)構(gòu)相結(jié)合的DDF-Unet的實(shí)驗(yàn)效果。2組實(shí)驗(yàn)結(jié)果分別如表1和表2所示。

表1 使用不同擴(kuò)張卷積結(jié)構(gòu)的實(shí)驗(yàn)結(jié)果Tab.1 Experimental results of using different dilated convolution structures (%)

表2 使用密集特征圖融合結(jié)構(gòu)及DDF-Unet的實(shí)驗(yàn)結(jié)果Tab.2 Experimental results of using dense feature map fusion(DFMF) structure and DDF-Unet (%)

圖8 并聯(lián)擴(kuò)張卷積結(jié)構(gòu)Fig.8 The structure of parallel dilated convolution(PDC)

圖7串聯(lián)擴(kuò)張卷積結(jié)構(gòu)
Fig.7The structure of serial dilated convolution(SDC)

分析表1結(jié)果可知,使用擴(kuò)張卷積結(jié)構(gòu)比原始U-net能夠獲得更高的陰影檢測(cè)準(zhǔn)確率,而使用串并聯(lián)結(jié)合的擴(kuò)張卷積結(jié)構(gòu)進(jìn)行陰影檢測(cè)的準(zhǔn)確率比U-net、單獨(dú)使用串聯(lián)擴(kuò)張卷積結(jié)構(gòu)或并聯(lián)擴(kuò)張卷積結(jié)構(gòu)分別提高了1.1%、0.6%和0.3%,而且平衡誤差率分別降低了2.7%、1.7%和0.5%。由此可見,使用串并聯(lián)結(jié)合的擴(kuò)張卷積結(jié)構(gòu)的陰影檢測(cè)效果要優(yōu)于對(duì)比方法,驗(yàn)證了所提串并聯(lián)擴(kuò)張卷積結(jié)構(gòu)的有效性。

由表2可知,使用密集特征圖融合結(jié)構(gòu)進(jìn)行陰影檢測(cè)的準(zhǔn)確率比原始U-net提高了1.7%且平衡誤差率降低了6.2%,使用密集特征圖融合結(jié)構(gòu)和串并聯(lián)結(jié)合的擴(kuò)張卷積結(jié)構(gòu)相結(jié)合的DDF-Unet的準(zhǔn)確率比原始U-net和只使用密集特征圖融合結(jié)構(gòu)分別提高了2.6%和0.9%,平衡誤差率分別降低了7.0%和0.8%。由此,本文提出的密集特征圖融合結(jié)構(gòu)可以明顯提高陰影檢測(cè)效果,驗(yàn)證了所提密集特征圖融合結(jié)構(gòu)的有效性。

4.2.2 本文方法與已有方法的比較

為了更加合理地評(píng)估本文方法的陰影檢測(cè)效果,將本文方法與陰影檢測(cè)領(lǐng)域具有代表性的方法進(jìn)行了比較。圖9展示了本文方法與文獻(xiàn)[15～17]給出的3種方法陰影檢測(cè)結(jié)果對(duì)比。圖9中,從左到右每列分別為原始圖像、Ground Truth、文獻(xiàn)[15]的檢測(cè)結(jié)果、文獻(xiàn)[16]的檢測(cè)結(jié)果、文獻(xiàn)[17]的檢測(cè)結(jié)果和本文方法的檢測(cè)結(jié)果。其中,圖像中白色的區(qū)域?yàn)殛幱皡^(qū)域,黑色的區(qū)域?yàn)榉顷幱皡^(qū)域。由第1行結(jié)果可以看出:文獻(xiàn)[15]將圖像中斑馬線之間地面的深色區(qū)域誤檢為陰影區(qū)域且連續(xù)性較差;文獻(xiàn)[16]將圖像中斑馬線之間深色的地面區(qū)域全部誤檢為陰影區(qū)域;文獻(xiàn)[17]盡管誤檢區(qū)域較少,但還是將圖像中斑馬線之間的一塊深色地面區(qū)域誤檢為陰影區(qū)域;本文方法則沒有受到地面深色區(qū)域的干擾且準(zhǔn)確地檢測(cè)到了陰影區(qū)域。由第2行結(jié)果可以看出:雖然文獻(xiàn)[15～17]方法檢測(cè)到了陰影區(qū)域,但是錯(cuò)誤地將圖像中黑色物體也誤檢為陰影,本文方法則沒有將黑色區(qū)域誤檢為陰影且相對(duì)準(zhǔn)確地檢測(cè)到了陰影區(qū)域。由第3行結(jié)果可以看出：文獻(xiàn)[15]和文獻(xiàn)[16]的檢測(cè)結(jié)果比較粗糙且存在多處誤檢;文獻(xiàn)[17]的結(jié)果在細(xì)節(jié)上存在一些誤檢區(qū)域;本文方法在陰影細(xì)節(jié)上更為精細(xì)準(zhǔn)確。由第4行結(jié)果可以看出:文獻(xiàn)[15,16]方法將深綠色灌木和圍墻誤檢為陰影且檢測(cè)結(jié)果不夠連續(xù);文獻(xiàn)[17]方法則將深色灌木全部誤檢為陰影;本文方法盡管也受到了灌木影響,但還是相對(duì)準(zhǔn)確地檢測(cè)到了陰影區(qū)域。由此可見,盡管文獻(xiàn)[15～17]方法檢測(cè)出了陰影區(qū)域,但是陰影細(xì)節(jié)和連續(xù)性有待改善且容易出現(xiàn)誤檢,而本文方法則相對(duì)準(zhǔn)確地檢測(cè)出了圖像中的陰影區(qū)域。綜合來看,與其它方法相比,本文方法在準(zhǔn)確定位陰影的同時(shí)還可在很大程度上避免誤檢,并且能夠適應(yīng)更復(fù)雜的場(chǎng)景,從而進(jìn)一步驗(yàn)證了本文方法的可行性和有效性。

圖9 本文方法與已有方法的比較Fig.9 The comparison of the method in this paper and others

為了進(jìn)一步說明本文方法的性能,將不同方法進(jìn)行了量化評(píng)估。表3中給出了不同方法在數(shù)據(jù)集UCF和SBU上的量化評(píng)估結(jié)果。對(duì)表3數(shù)據(jù)進(jìn)行分析可知,在數(shù)據(jù)集UCF和SBU上,本文方法的陰影檢測(cè)準(zhǔn)確率和平衡誤差率指標(biāo)均好于文獻(xiàn)[15～17]中方法的結(jié)果,且在大數(shù)據(jù)集SBU上,本文方法有更好的表現(xiàn)。

表3 本文方法與已有方法的量化評(píng)估結(jié)果Tab.3 Quantitative evaluation results of the proposed method and existing methods (%)

5 結(jié) 論

本文提出一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的陰影檢測(cè)方法。主要貢獻(xiàn)在于:1) 通過將不同層的特征圖進(jìn)行融合,提出了密集特征圖融合結(jié)構(gòu),該結(jié)構(gòu)不僅為如何更充分地利用卷積神經(jīng)網(wǎng)絡(luò)提取的各層次特征提供了一種思路,而且具有較好的通用性。2) 為了更好地挖掘多尺度的陰影特征,通過使用不同擴(kuò)張率的擴(kuò)張卷積,提出一種串并聯(lián)結(jié)合的擴(kuò)張卷積結(jié)構(gòu),不但增大了感受野而且能夠提取更多陰影特征。3) 將密集特征圖融合結(jié)構(gòu)和串并聯(lián)結(jié)合的擴(kuò)張卷積結(jié)構(gòu)相結(jié)合構(gòu)造出一種端到端U型網(wǎng)絡(luò)DDF-Unet,基于該網(wǎng)絡(luò)實(shí)現(xiàn)了陰影檢測(cè)功能。與其它代表性的陰影檢測(cè)方法相比,本文所提方法準(zhǔn)確性更好。