面向可見光—近紅外圖像融合的植被與天空概率模板生成

童璨，應(yīng)佳成，沈會(huì)良

浙江大學(xué)信息與電子工程學(xué)院，杭州 310027

0 引 言

可見光(visible，VIS/RGB)圖像通常色彩鮮艷、細(xì)節(jié)清晰，而近紅外(near-infrared，NIR)圖像雖然清晰度較可見光圖像低，但是在透霧和夜視等方面有著更為顯著的效果。正因兩者各自的優(yōu)勢(shì)，RGB-NIR圖像聯(lián)合處理在識(shí)別(Singh等，2008)、檢測(cè)(Han和Bhanu，2007)和監(jiān)控(Kumar等，2006)等諸多領(lǐng)域得以應(yīng)用。以結(jié)合RGB和NIR圖像的優(yōu)點(diǎn)為目的，圖像融合是一種常見而有效的處理方法。例如，Schaul等人(2009)通過多分辨率的圖像融合對(duì)帶霧圖像進(jìn)行去霧；Awad等人(2020)通過圖像融合將NIR的細(xì)節(jié)信息加入RGB圖像，實(shí)現(xiàn)了細(xì)節(jié)增強(qiáng)；Süsstrunk等人(2010)通過圖像融合實(shí)現(xiàn)人臉皮膚的圖像質(zhì)量提升，達(dá)到了美顏的效果。

考慮實(shí)際的圖像融合過程，可能需要根據(jù)不同目的對(duì)不同圖像區(qū)域進(jìn)行差異化處理，以達(dá)到更好的效果。例如，在自然場(chǎng)景的圖像融合中，需要避免植被因融合而亮度過高，也要避免天空因融合而亮度過低，使圖像整體保持良好的自然度。因此，為實(shí)現(xiàn)基于區(qū)域的融合效果改進(jìn)，本文提出一種快速魯棒的RGB-NIR聯(lián)合圖像植被與天空概率模板生成算法。

從研究現(xiàn)狀來(lái)看，植被檢測(cè)大多涉及衛(wèi)星遙感領(lǐng)域，在圖像處理上的研究和應(yīng)用較為欠缺。Fan等人(2016)提出一種適用于高分辨率多光譜衛(wèi)星圖像的植被覆蓋檢測(cè)方法，該方法包括兩個(gè)階段，第1階段采用支持向量回歸技術(shù)，對(duì)每個(gè)斑塊進(jìn)行評(píng)分，生成粗糙的斑塊級(jí)植被圖；第2階段進(jìn)行無(wú)監(jiān)督的像素級(jí)植被分類對(duì)不確定像素進(jìn)行重新評(píng)分，得到更詳細(xì)的植被圖。在圖像處理領(lǐng)域，Li等人(2020)根據(jù)RGB-NIR圖像光譜差異，使用歸一化植被指數(shù)(normalized difference vegetation index, NDVI)(Kriegler等，1969)及其延伸計(jì)算用于圖像融合的權(quán)重矩陣，實(shí)現(xiàn)了效果良好的RGB-NIR圖像融合增強(qiáng)。然而，將NDVI直接用于植被檢測(cè)效果不佳，原因是NDVI生成結(jié)果的對(duì)比度不高，且使用單個(gè)通道與NIR圖像進(jìn)行差異計(jì)算容易受極亮值或極暗值的影響。

天空檢測(cè)方面的研究則相對(duì)更多，一般而言其檢測(cè)結(jié)果可分為二值模板和概率模板。二值模板因其強(qiáng)邊界而要求檢測(cè)方法更加精確，而概率模板則保留圖像的大量紋理信息，應(yīng)用更加靈活。Zafarifar和de With (2008)為了增強(qiáng)視頻，提出了一種基于顏色分布模型、局部亮度差異、局部梯度以及像素高度模型的天空檢測(cè)方法，該方法生成天空的概率模板，得到了較為準(zhǔn)確的天空檢測(cè)結(jié)果，但是在邊緣過渡及圖像整體連續(xù)性等方面還有待提高。Salazar-Colores等人(2020)基于暗通道先驗(yàn)(He等，2011)和局部香農(nóng)熵檢測(cè)天空區(qū)域，生成天空的二值模板，然后用檢測(cè)到的天空改進(jìn)大氣光圖與透射率圖，以緩解去霧過程中天空區(qū)域的過飽和現(xiàn)象，但是該方法的天空檢測(cè)容易受到云層的影響而產(chǎn)生雜亂的邊緣。

基于深度學(xué)習(xí)的圖像語(yǔ)義分割目前應(yīng)用較為廣泛，且效果較好，分割出的植被、天空語(yǔ)義在一定程度上實(shí)現(xiàn)了植被與天空區(qū)域的檢測(cè)。例如張桂梅等人(2020)用生成對(duì)抗網(wǎng)絡(luò)與自適應(yīng)的學(xué)習(xí)率進(jìn)行對(duì)抗學(xué)習(xí)，分割結(jié)果包含植被和天空語(yǔ)義，可視為一種類二值模板的區(qū)域檢測(cè)結(jié)果。然而，語(yǔ)義分割著眼整體，在邊界、縫隙等細(xì)節(jié)處劃分較為粗糙，并且語(yǔ)義分割一般生成二值模板，難以保留圖像的紋理信息。

綜合考慮現(xiàn)有植被、天空檢測(cè)的研究，一方面，部分檢測(cè)算法準(zhǔn)確率和召回率不是很高，而部分高精度的算法需要較為復(fù)雜的計(jì)算或模型訓(xùn)練過程；另一方面，目前的植被、天空檢測(cè)大多基于單幅RGB圖像進(jìn)行。因此，本文試圖提出一種更適用于RGB-NIR聯(lián)合圖像處理并且準(zhǔn)確魯棒的檢測(cè)算法，以應(yīng)用于圖像融合等具體場(chǎng)景。

RGB-NIR圖像融合發(fā)展迅速，主要有基于權(quán)重矩陣(Li 等，2020)、多尺度變換(Yu 等，2014)、稀疏表示(Wang 等，2014)和神經(jīng)網(wǎng)絡(luò)(Xiang等，2015)等理論的實(shí)現(xiàn)方式。Awad等人(2020)利用RGB和NIR圖像局部對(duì)比度的相對(duì)差異估計(jì)融合圖，并從NIR圖像中提取非光譜空間細(xì)節(jié)對(duì)融合圖進(jìn)行增強(qiáng)。Connah等人(2014)提出一種梯度域的融合算法，以輸入圖像的梯度和顏色為約束進(jìn)行迭代優(yōu)化，獲得了更好的融合結(jié)果。Vanmali和Gadre(2017)提出一種多尺度RGB-NIR圖像融合算法，采用基于Laplacian-Gaussian金字塔的多分辨率融合過程，以局部熵、局部對(duì)比度和可見度作為衡量融合結(jié)果的指標(biāo)來(lái)生成權(quán)重圖。

盡管現(xiàn)有的圖像融合算法大多數(shù)情況下效果良好，但也存在一些不足。例如，部分算法的融合結(jié)果中，植被因受NIR圖像影響而亮度過高，天空則因受NIR圖像影響而較為昏暗。本文圖像融合主要針對(duì)現(xiàn)有算法進(jìn)行基于區(qū)域的修正，以使植被、天空獲得更為自然和諧的視覺效果。

總體而言，本文著眼于RGB-NIR圖像融合，針對(duì)實(shí)際處理過程中圖像的不同區(qū)域可能需要進(jìn)行差異化修正的需求，設(shè)計(jì)行之有效的檢測(cè)算法，并以檢測(cè)結(jié)果作為反饋，對(duì)圖像融合的植被和天空進(jìn)行修正，達(dá)到改進(jìn)的目的。在流程上，首先根據(jù)RGB與NIR圖像的光譜差異，以及RGB圖像各通道間的亮度差異，提出植被檢測(cè)的概率模板生成算法。然后引入圖像的局部熵特征，以透射率圖為引導(dǎo)，以像素高度為修正，提出天空檢測(cè)的概率模板生成算法。本文算法生成了像素級(jí)的概率模板，即預(yù)測(cè)了每一個(gè)像素屬于目標(biāo)的概率。之后，將植被與天空的檢測(cè)結(jié)果應(yīng)用于現(xiàn)有的圖像融合算法，以針對(duì)性地提升圖像特定區(qū)域的融合效果。最后，進(jìn)行對(duì)比實(shí)驗(yàn)，驗(yàn)證了本文算法的有效性與魯棒性。

本文主要貢獻(xiàn)點(diǎn)在于：1)提出一種基于RGB圖像各通道比值和擴(kuò)展歸一化植被指數(shù)(NDVI)的RGB-NIR聯(lián)合圖像植被概率模板生成算法；2)提出了一種基于透射率圖引導(dǎo)的局部熵特征和擴(kuò)展NDVI的RGB-NIR聯(lián)合圖像天空概率模板生成算法；3)將植被和天空檢測(cè)結(jié)果(概率模板)引入圖像融合算法，改進(jìn)了感興趣區(qū)域的圖像融合效果，驗(yàn)證了本文提出的檢測(cè)算法及其結(jié)果可使圖像融合根據(jù)實(shí)際需求進(jìn)行靈活調(diào)整，實(shí)現(xiàn)了融合效果的提升。

1 本文算法

本文算法整體框架如圖1所示。首先根據(jù)RGB與NIR圖像的特征，分別生成植被和天空的概率模板，然后將模板用于修正具體的圖像融合算法，以此提升植被與天空的圖像融合效果。

圖1 本文提出的植被與天空概率模板生成算法及其應(yīng)用的整體框架Fig.1 Framework of the proposed algorithm for vegetation and sky probability maps generation and its application

1.1 植被檢測(cè)

本文提出的植被檢測(cè)算法中，使用了NDVI與比值兩種特征，二者分別基于以下先驗(yàn)知識(shí)：1)植被區(qū)在NIR圖像中的亮度大于在RGB圖像中的亮度。因?yàn)橹脖粚?duì)紅色通道與藍(lán)色通道吸收較強(qiáng)，對(duì)近紅外與綠色通道反射較強(qiáng)，采集NIR圖像時(shí)可以捕獲更多光，因此植被在NIR圖像中亮度更高。2)植被通常呈現(xiàn)綠色，所以其在RGB三通道的分布更多地集中在G通道，在R和B通道相對(duì)較少。

根據(jù)上述兩項(xiàng)先驗(yàn)，設(shè)計(jì)了植被概率模板生成流程，如圖2所示。

首先，計(jì)算RGB圖像的灰度圖Ig，即

Ig=0.299IR+0.587IG+0.114IB

(1)

式中，IR、IG和IB分別表示RGB圖像各通道分量。

其次，根據(jù)RGB圖像的灰度圖和NIR圖像計(jì)算擴(kuò)展NDVI。NDVI(Kriegler等，1969)反映RGB圖像的R分量與NIR之間的相對(duì)關(guān)系，主要用以衡量植被的健康狀況，計(jì)算為

(2)

式中，INIR表示原始NIR圖像。

受此啟發(fā)，本文將亮度關(guān)系延伸到可見光全部三通道與近紅外之間，用以避免單個(gè)通道的灰度為極亮或極暗情況下導(dǎo)致的檢測(cè)不準(zhǔn)確，擴(kuò)展NDVI定義為

(3)

式中，fn(·)為歸一化函數(shù)，fb(·)為非線性變換函數(shù)，作用是壓縮亮區(qū)，拉伸暗區(qū)，以提升對(duì)比度。

fn(·)和fb(·)定義為

(4)

(5)

本文參數(shù)取α=10,β=0.5,γ=0.22。擴(kuò)展NDVI的最終結(jié)果如圖3(c)所示。

然后，根據(jù)上述先驗(yàn)知識(shí)2)，計(jì)算RGB圖像三通道比值的模板，具體為

(6)

式中，fd(·)為與fb(·)相關(guān)的非線性變換函數(shù)，作用是壓縮暗區(qū)、拉伸亮區(qū)。具體為

fd(x)=1-fb(1-x)

(7)

RGB三通道比值的模板如圖3(d)所示。觀察圖3(c)(d)可知，NDVI圖對(duì)比度較比值圖低，但是整體連續(xù)性好，有更豐富的細(xì)節(jié)，比值圖則相反。因此，使用NDVI圖為引導(dǎo)，對(duì)比值圖做導(dǎo)向?yàn)V波。即

(8)

式中，F(xiàn)guid表示導(dǎo)向?yàn)V波，r為濾波窗口大小，ε為平滑參數(shù)，本文取r=32,ε=10-6。導(dǎo)向?yàn)V波結(jié)果如圖3(e)所示，濾波之后的比值模板在保持較高對(duì)比度的同時(shí)也能提升整體圖像的連續(xù)性。

最終，將擴(kuò)展NDVI模板與比值模板進(jìn)行融合，即

(9)

融合生成的植被概率模板如圖3(f)所示。

圖3 植被概率模板生成過程展示Fig.3 Illustration of the vegetation probability mask generation process ((a) RGB image; (b) NIR image; (c) extended NDVI image; (d) ratio image; (e) NDVI-guided ratio image; (f) vegetation probability mask)

1.2 天空檢測(cè)

本文提出的天空檢測(cè)算法中，使用了NDVI、局部熵和像素高度3種特征，分別基于以下先驗(yàn)知識(shí)：1)天空區(qū)域在NIR圖像中的亮度小于RGB圖像中的亮度。因?yàn)樘炜諏?duì)RGB三通道均呈較強(qiáng)的反射，使得最終采集的RGB圖像捕光更多，對(duì)比NIR圖像亮度更高。2)天空區(qū)域的局部熵為較小值。因?yàn)樘炜諈^(qū)域通常平坦而均勻，一定范圍內(nèi)變化不大，因此具有較小的局部熵。3)一幅圖像天空有更大的概率出現(xiàn)在頂端，而出現(xiàn)在下部或底端的概率較小。

根據(jù)上述3項(xiàng)先驗(yàn)，設(shè)計(jì)了天空概率模板生成流程，如圖4所示。

首先，根據(jù)式(1)計(jì)算RGB圖像的灰度圖Ig。

與植被檢測(cè)有所區(qū)別，在天空檢測(cè)中，因?yàn)樘炜崭菀资艿焦庹盏挠绊?，所以先?duì)RGB和NIR圖像進(jìn)行Retinex增強(qiáng)的預(yù)處理。Retinex算法原理是將一幅圖像I(x)分解為光照分量L(x)與反射分量R(x)的乘積，即

Ic(x)=Rc(x)Lc(x),c∈{R,G,B,NIR}

(10)

上述光照分量即自然的光線，反射分量則是物體真實(shí)的樣貌，光線在物體表面發(fā)生反射后，兩種分量相耦合。為了獲得圖像的反射分量，需要對(duì)光照分量進(jìn)行估計(jì)，一般可以用原始RGB圖像的高斯濾波結(jié)果作為光照分量的近似，即

(11)

式中，F(xiàn)Gauss表示高斯濾波器，本文采用頻域高斯濾波；σ表示標(biāo)準(zhǔn)差，取σ=80。

為減少計(jì)算量，在對(duì)數(shù)域計(jì)算圖像的反射分量，具體為

圖4 天空概率模板生成算法流程圖Fig.4 Flowchart of sky probability mask generation algorithm

log(Rc(x))=log(Ic(x))-log(Lc(x))

(12)

經(jīng)過上述計(jì)算，獲得RGB圖像各通道及NIR圖像的反射分量，如圖5所示。

圖5 Retinex算法生成的反射分量Fig.5 Reflectance components produced by the Retinex algorithm ((a) RGB image; (b) NIR image; (c) reflectance component of the NIR image; (d) reflectance component of the red channel; (e) reflectance component of the green channel; (f) reflectance component of the blue channel)

與植被檢測(cè)類似，通過灰度圖與NIR圖像的亮度差異計(jì)算擴(kuò)展NDVI模板。此處，灰度圖由RGB三通道反射分量加權(quán)獲得，即

Rg=0.299RR+0.587RG+0.114RB

(13)

(14)

生成的擴(kuò)展NDVI模板如圖6(c)所示。

根據(jù)先驗(yàn)知識(shí)2)計(jì)算天空檢測(cè)的局部梯度特征?？紤]用邊緣來(lái)表征局部區(qū)域的均勻程度，天空通常具有較少的邊緣，因此先用Sobel算子獲取圖像的邊緣，即

(15)

式中，fx和fy分別代表水平和垂直方向的Sobel算子，*表示卷積操作。

因邊緣密集處局部熵較大，邊緣稀疏處局部熵較小，故在邊緣圖上計(jì)算局部熵，具體為

(16)

式中，L表示灰度級(jí)，本文取L=256，pi表示灰度值i出現(xiàn)在像素k處的窗口Ωk中的概率，本文窗口大小為7。局部熵模板如圖6(d)所示，因?yàn)樘炜諈^(qū)域變化小，因此在局部熵圖像中表現(xiàn)為趨向于0。

為了提升圖6(d)局部熵的效果，使用Kim等人(2020)提出的透射率圖ITM為引導(dǎo)，對(duì)局部熵圖像做引導(dǎo)濾波，且根據(jù)常識(shí)性認(rèn)知，對(duì)圖像進(jìn)行反處理，使天空為亮區(qū)，即

(17)

引導(dǎo)濾波后的局部熵圖像如圖6(e)所示。

根據(jù)先驗(yàn)知識(shí)3)，利用像素高度模板對(duì)天空檢測(cè)的結(jié)果進(jìn)行修正，模板計(jì)算為

墻夼水庫(kù)總庫(kù)容 3.28億 m3，興利庫(kù)容0.85億 m3，死庫(kù)容 0.11億 m3，正常蓄水位98.50m。水庫(kù)工程防洪標(biāo)準(zhǔn)按百年一遇設(shè)計(jì)，萬(wàn)年一遇校核。東、西庫(kù)設(shè)計(jì)洪水位分別為103.02m、103.16m，校核洪水位分別為106.50 m、106.57m。東西兩庫(kù)共設(shè)東庫(kù)溢洪閘1座，遭遇大洪水時(shí)，西庫(kù)水位高于東庫(kù)，洪水通過連通溝進(jìn)入東庫(kù)，由東庫(kù)溢洪道泄出。

(18)

圖6 天空概率模板生成過程展示Fig.6 Illustration of the sky mask generation process ((a) RGB image; (b) NIR image; (c) extended NDVI map; (d) local entropy map; (e) transmission-map-guided local entropy map; (f) sky probability mask)

式中，r表示像素所在行數(shù)，h表示圖像總高度。

最終，融合擴(kuò)展NDVI、局部熵和像素高度3種概率模板，具體為

(19)

融合生成的天空概率模板如圖6(f)所示。

1.3 融合算法質(zhì)量提升

本文提出的植被、天空檢測(cè)算法在RGB-NIR圖像聯(lián)合處理方面有普適的應(yīng)用價(jià)值，以一種具體的融合算法為例，加入植被、天空檢測(cè)的概率模板以實(shí)現(xiàn)融合效果的提升。

Vanmali和Gadre(2017)提出了一種基于Gaussian-Laplacian金字塔的圖像融合算法，但是該算法的融合結(jié)果在色彩自然度上存在不足。例如在圖7場(chǎng)景1的黃框中，云層出現(xiàn)一些原本不存在的顏色，而紅框中植被亮度過大，導(dǎo)致視覺上非常不自然。同樣在圖7場(chǎng)景2和3中，植被也存在亮度過大的問題。且在圖7場(chǎng)景3中，天空因受NIR圖像影響過大，導(dǎo)致融合結(jié)果中天空較為昏暗。

為了生成顏色更自然的植被與天空，同時(shí)保持圖像整體細(xì)節(jié)增強(qiáng)的效果，將本文提出的植被、天空檢測(cè)的概率模板用于Vanmali和Gadre (2017)提出的圖像融合算法。該算法采用加權(quán)融合方式，WV(x,y)和WNIR(x,y)分別表示RGB和NIR圖像的融合權(quán)重。

將本文提出的概率模板加入到NIR圖像的權(quán)重矩陣WNIR(x,y)中，以使目標(biāo)區(qū)域的融合結(jié)果更偏向于RGB圖像的顏色，即

(20)

再將融合算法的NIR圖像權(quán)重替換為式(20)得到的結(jié)果，算法其余部分保持不變。

圖7 Vanmali和Gadre(2017)提出的圖像融合算法存在的不足Fig.7 Problems of Vanmali and Gadre’s(2017) algorithm ((a) RGB images; (b) NIR images; (c) fusion images)

2 實(shí)驗(yàn)與分析

2.1 數(shù)據(jù)集

算法測(cè)試采用Brown和Süsstrunk(2011)采集的RGB-NIR場(chǎng)景數(shù)據(jù)集。該數(shù)據(jù)集由9類477組RGB和NIR圖像對(duì)組成。數(shù)據(jù)集中圖像的9類標(biāo)簽分別是country、field、forest、indoor、mountain、old-building、street、urban和water，各類圖像數(shù)據(jù)示例如圖8所示。

2.2 植被檢測(cè)結(jié)果與對(duì)比

對(duì)于植被檢測(cè)，將本文算法與傳統(tǒng)NDVI各自表現(xiàn)的植被概率模板進(jìn)行對(duì)比，實(shí)驗(yàn)結(jié)果如圖9所示?？梢钥闯?，受傳統(tǒng)NDVI指標(biāo)的啟發(fā)，并考慮不足之處，通過改進(jìn)并引入各通道比值提升了檢測(cè)效果。

圖8 數(shù)據(jù)集中9類場(chǎng)景圖像示例Fig.8 Nine kinds of scene in the dataset

傳統(tǒng)NDVI計(jì)算為

(21)

該NDVI在計(jì)算機(jī)視覺領(lǐng)域的植被檢測(cè)中存在兩個(gè)明顯缺點(diǎn)。一是植被相對(duì)于背景對(duì)比度不高，如圖9(c)，植被不能有非常明顯的區(qū)分；二是存在R通道極亮或極暗的情況，如圖9(c)場(chǎng)景2，紅框中的天空區(qū)域在原RGB圖像中R通道值接近0，導(dǎo)致傳統(tǒng)NDVI模板中該區(qū)域的概率值接近0，與實(shí)際不符合。本文算法在上述兩個(gè)問題上有明顯改善，從誤檢測(cè)的角度考慮，本文將傳統(tǒng)的NDVI做了延伸，避免了單個(gè)通道為極亮或極暗的不利狀況，如圖9(e)場(chǎng)景2的紅框顯示該區(qū)域檢測(cè)結(jié)果正確。從對(duì)比度的角度考慮，在NDVI的基礎(chǔ)上引入RGB圖像三通道比值，有效提升了植被檢測(cè)的視覺效果，圖9(e)相對(duì)于圖9(c)，在保證檢測(cè)正確的前提下，對(duì)比度有了明顯提升。

另外，深度學(xué)習(xí)在區(qū)域分割領(lǐng)域應(yīng)用廣泛且效果較好，本文選取其中一種語(yǔ)義分割方法進(jìn)行對(duì)比，具體為基于ResNet101 + UperNet模型(Xiao等，2018)的語(yǔ)義分割(Zhou等，2019)，對(duì)比結(jié)果如圖9所示。分析圖9中本文與語(yǔ)義分割的檢測(cè)結(jié)果，本文方法在準(zhǔn)確率和紋理細(xì)節(jié)保留上都占有較大優(yōu)勢(shì)。在圖9(d)的場(chǎng)景1和場(chǎng)景2中，語(yǔ)義分割結(jié)果不能檢測(cè)出全部植被，場(chǎng)景1中圖像左側(cè)遠(yuǎn)處的植被顯示不完整，場(chǎng)景2中地面上較小的植被檢測(cè)不到。相比而言，本文算法的植被檢測(cè)更為準(zhǔn)確。在細(xì)節(jié)層面，圖9(e)的本文植被檢測(cè)相對(duì)于圖9(d)保留了更多的細(xì)節(jié)信息，特別是在樹葉等紋理較多的區(qū)域。

圖9 植被檢測(cè)結(jié)果對(duì)比Fig.9 Comparison of vegetation detection results ((a) RGB images; (b) NIR images; (c) traditional NDVI; (d) semantic segmentation (e) ours)

2.3 天空檢測(cè)結(jié)果與對(duì)比

現(xiàn)有天空檢測(cè)算法的表現(xiàn)形式包括二值模板和概率模板，本文與兩種形式的算法均進(jìn)行對(duì)比。其中，Zafarifar和de With(2008)提出的天空檢測(cè)算法結(jié)果為概率模板，形式與本文一致，與其對(duì)比更能反映優(yōu)劣。Salazar-Colores等人(2020)提出的天空檢測(cè)算法生成二值模板，因生成的天空模板用于優(yōu)化后續(xù)天空區(qū)域的去霧，而本文則將模板用于后續(xù)圖像融合，兩者都是作為預(yù)處理手段，在目的上有共通之處，故進(jìn)行天空檢測(cè)效果的對(duì)比。最后，將本文天空檢測(cè)與基于ResNet101+ UperNet模型(Xiao等，2018)的語(yǔ)義分割(Zhou等，2019)進(jìn)行對(duì)比。

本文天空檢測(cè)算法與Zafarifar和de With(2008)提出的算法對(duì)比的圖像結(jié)果如圖10所示。觀察對(duì)比圖像，在圖10場(chǎng)景1中，結(jié)果差距主要體現(xiàn)在地平線處，本文算法在地平線處有更精確清晰的劃分，同時(shí)對(duì)遠(yuǎn)處山脈的檢測(cè)結(jié)果也更加準(zhǔn)確。在圖10場(chǎng)景2中，天空區(qū)域及邊緣結(jié)果相差不大，但是在非天空區(qū)域中，Zafarifar算法(Zafarifar和de With,2008)將白色墻體檢測(cè)為天空，而本文算法不存在這個(gè)問題。在圖10場(chǎng)景3中，本文算法在遠(yuǎn)處山與天空交界處的邊緣更加清晰，并且在與天空顏色相近的水面等位置的檢測(cè)更為準(zhǔn)確。

圖10 本文算法與Zafarifar算法的天空檢測(cè)結(jié)果對(duì)比Fig.10 Comparison of sky detection results by our algorithm and Zafarifar’s algorithm ((a) RGB images; (b) NIR images; (c) Zafarifar’s algorithm; (d) ours)

Salazar-Colores算法(Salazer-Colores等，2020)與基于ResNet101+UperNet模型(Xiao等，2018)的語(yǔ)義分割(Zhou等，2019)最終結(jié)果的表現(xiàn)形式都是二值模板，本文算法與這兩種算法的對(duì)比結(jié)果如圖11所示。

圖11 本文算法與Salazar-Colores算法及語(yǔ)義分割的天空檢測(cè)結(jié)果對(duì)比Fig.11 Comparison of sky detection results by our algorithm, Salazar-Colores’ algorithm and semantic segmentation((a) RGB images; (b) NIR images; (c) Salazar-Colores’ algorithm; (d) semantic segmentation; (e) ours)

分析圖11中各算法的結(jié)果，在通常情況下，本文算法與兩種對(duì)比算法的結(jié)果類似圖11場(chǎng)景1，即在邊界區(qū)分上效果相近，但是本文算法能夠保留更多紋理細(xì)節(jié)信息，一定程度上可以防止細(xì)節(jié)的減弱，因此實(shí)際使用更加靈活可靠。對(duì)于圖11場(chǎng)景2，Salazar-Colores算法(Salazar-Colores等，2020)與語(yǔ)義分割(Zhou等，2019)雖然能較為準(zhǔn)確地檢測(cè)到天空，但是對(duì)紅框中植物間隙中的部分則不能細(xì)致地劃分，二值模板一個(gè)共通問題在于不能很好地處理細(xì)節(jié)。在圖11場(chǎng)景3中，當(dāng)天空的云層較多時(shí)，Salazar-Colores算法易受云層影響，產(chǎn)生如紅框中雜亂的邊緣，使結(jié)果準(zhǔn)確度下降，本文算法的結(jié)果則不存在這種問題。從圖11場(chǎng)景4可以看出，Salazar-Colores算法與語(yǔ)義分割(Zhou等，2019)對(duì)一些小目標(biāo)不能正確檢測(cè)，原圖中紅框內(nèi)的鳥在圖11(c) (d)中完全消失，而在本文算法圖11(e)中則較好地保留。

2.4 圖像融合結(jié)果與對(duì)比

作為植被、天空檢測(cè)的一個(gè)應(yīng)用，本文將生成的概率模板應(yīng)用于RGB-NIR圖像融合算法：Vanmali算法(Vanmali和Gadre，2017)，以實(shí)現(xiàn)目標(biāo)區(qū)域視覺效果的提升。圖12展示了引入概率模板前后融合效果的對(duì)比。

在圖12(c)的3個(gè)場(chǎng)景中，原始融合算法的植被均會(huì)出現(xiàn)顏色過飽和情況，導(dǎo)致植被在視覺上呈現(xiàn)不自然，引入植被概率模板后，在保持融合細(xì)節(jié)增強(qiáng)的同時(shí)，融合結(jié)果相對(duì)原RGB圖像色彩也有所增強(qiáng)，但是又不會(huì)出現(xiàn)失真狀況。對(duì)于天空區(qū)域，場(chǎng)景1中云層出現(xiàn)原本不存在的顏色，場(chǎng)景3中融合結(jié)果受NIR圖像影響過大導(dǎo)致天空顏色較為昏暗，在加入天空概率模板后，既保留了整體融合結(jié)果細(xì)節(jié)的增強(qiáng)，又確保了天空區(qū)域在視覺上真實(shí)自然。

圖12 圖像融合結(jié)果對(duì)比Fig.12 Comparison of image fusion results ((a) RGB images; (b) NIR images; (c) Vanmali’s algorithm; (d) our modified fusion results)

表1 使用概率模板前后融合算法的定量指標(biāo)對(duì)比Table 1 Quantitative metrics of image fusion with and without probability mask

更進(jìn)一步，為了比較概率模板與二值模板應(yīng)用于圖像融合算法的差異，實(shí)驗(yàn)將語(yǔ)義分割(Zhou等，2019)得到的二值模板同樣以式(20)來(lái)修正Vanmali圖像融合算法，對(duì)比結(jié)果如圖13所示。在場(chǎng)景1中，天空中的紋理信息幾乎都在NIR圖像中，原始算法融合后的細(xì)節(jié)(圖13(c))提升不多，且加入二值模板后的效果(圖13(d))幾乎不變。而使用本文算法生成的概率模板后的效果(圖13(e))則保留了NIR圖像中大部分的紋理信息，對(duì)于圖像融合效果的提升作用更大。在場(chǎng)景2中，兩種模板的差異體現(xiàn)在遠(yuǎn)方的山，此處局部放大圖像如圖14所示?？梢钥闯?，本文的概率模板在此處顏色鮮艷，細(xì)節(jié)清晰，具有更好的視覺效果。

圖13 不同模板修正的圖像融合效果對(duì)比Fig.13 Comparison of image fusion results with modification by different masks ((a) RGB images; (b) NIR images; (c) original fusion results; (d) modification by binary mask; (e) modification by probability mask)

圖14 圖13(d)場(chǎng)景2和圖13(e)場(chǎng)景2的局部放大圖Fig.14 Partial enlarged view of the scene 2 in Fig.13(d) and Fig.13(e) ((a) Fig.13(d); (b) Fig.13(e))

3 結(jié) 論

本文考慮RGB-NIR聯(lián)合圖像的不同區(qū)域成像特性各異，在實(shí)際圖像處理過程中可能需要差異化處理，因此以顯著性較明顯的植被和天空作為感興趣區(qū)域，提出了一種以擴(kuò)展NDVI引導(dǎo)RGB圖像各通道比值的植被概率模板生成算法，以及一種以透射率圖引導(dǎo)局部熵圖，并與擴(kuò)展NDVI和像素高度相結(jié)合的天空概率模板生成算法。

在RGB-NIR圖像數(shù)據(jù)集上測(cè)試，本文算法對(duì)植被和天空的檢測(cè)結(jié)果準(zhǔn)確無(wú)誤，且細(xì)節(jié)清晰、過渡平滑。與現(xiàn)有算法對(duì)比，本文植被概率模板的優(yōu)勢(shì)在于對(duì)比度較高，誤檢測(cè)情況少，并且保留更多的紋理細(xì)節(jié)信息。本文天空概率模板的優(yōu)勢(shì)在于邊界更精準(zhǔn)，在小物體與間隙等細(xì)節(jié)處有更好表現(xiàn)。最后與基于深度學(xué)習(xí)的語(yǔ)義分割相比，本文植被與天空概率模板生成算法更專注，因而劃分更準(zhǔn)確，且不需要復(fù)雜的學(xué)習(xí)過程，應(yīng)用更為方便靈活。

將本文的植被、天空的概率模板應(yīng)用于圖像融合以修正融合的權(quán)重，與原圖相比，結(jié)果既保留了圖像細(xì)節(jié)增強(qiáng)的效果，又避免了融合導(dǎo)致的顏色失真，使融合的整體視覺效果得以提升，這種圖像質(zhì)量的提升也通過互信息、邊緣情況、峰值信噪比等定量指標(biāo)進(jìn)一步得到驗(yàn)證。

本文生成植被與天空概率模板的算法一般更適用于自然場(chǎng)景，應(yīng)用于城市場(chǎng)景圖像有時(shí)會(huì)出現(xiàn)檢測(cè)結(jié)果錯(cuò)誤的情況，例如大區(qū)域的白色墻體，圖像過曝等因素都可能導(dǎo)致準(zhǔn)確率下降。對(duì)此，今后擬從兩方面開展進(jìn)一步研究。1)進(jìn)一步提升算法的魯棒性，使算法面對(duì)上述不利因素仍能保持很好的檢測(cè)效果；2)探索本文算法在RGB-NIR圖像聯(lián)合處理中更深入的發(fā)展與應(yīng)用。