景深差分提取綠色植物的真彩色夜視圖像顏色校正

趙振芬，陳遠(yuǎn)金,2，張猛蛟,2，陳東啟，王嶺雪，蔡 毅,3

景深差分提取綠色植物的真彩色夜視圖像顏色校正

趙振芬1，陳遠(yuǎn)金1,2，張猛蛟1,2，陳東啟1，王嶺雪1，蔡 毅1,3

（1. 北京理工大學(xué) 光電學(xué)院 納米光子學(xué)與超精密光電系統(tǒng)北京市重點(diǎn)實(shí)驗(yàn)室，北京 100081；2. 華東光電集成器件研究所，江蘇 蘇州 215163；3. 中國兵器科學(xué)研究院，北京 100089）

近紅外輻射是夜天光的重要成分，充分利用近紅外輻射是提高真彩色夜視成像系統(tǒng)信噪比的有效手段。然而，對近紅外輻射反射率高的綠色植物在真彩色夜視圖像中存在偏色嚴(yán)重的問題。本文分析了紅、綠、藍(lán)通道中綠色植物圖像的灰度值分布后發(fā)現(xiàn)：①綠色植物區(qū)域的景深大；②全通通道和紅色通道的差值為不含近紅外輻射的綠、藍(lán)分量之和，且綠色植物區(qū)域在差分圖像中的綠、藍(lán)分量很小。本文基于這兩個(gè)特點(diǎn)提出一種景深差分提取綠色植物的方法，之后根據(jù)色彩平衡原理利用所提取的綠色植物區(qū)域去調(diào)整紅色通道和藍(lán)色通道的值。結(jié)果表明：該方法能夠有效校正近紅外輻射對圖像色彩的影響，還原綠色植物圖像的色彩。

顏色校正；景深差分；提取綠色植物；色彩平衡；真彩色夜視；近紅外

0 引言

傳統(tǒng)真彩色成像系統(tǒng)為獲得豐富的色彩，通常采用截止近紅外的彩色濾光片。然而，夜天光包含大量的近紅外輻射，充分利用近紅外輻射是提高真彩色夜視成像系統(tǒng)信噪比的有效手段。國內(nèi)外研究者在真彩色夜視成像系統(tǒng)中均廣泛引入近紅外輻射，2009年，Dirk Hertel[1]將Bayer彩色濾光陣列的一個(gè)綠色通道改為允許近紅外透過的全通通道，將該濾光陣列與大動(dòng)態(tài)范圍的CMOS結(jié)合；2010年，Hao X.[2]等人在低光照條件的監(jiān)視攝像機(jī)中引入了近紅外波段；2015年，Park C.[3]等人將具有R，G，B和近紅外的光譜濾波陣列（multi-spectral filter array，MSFA）的成像系統(tǒng)應(yīng)用于低照度條件，并且提出了一種基于MSFA的成像系統(tǒng)顏色恢復(fù)方法；2017年，我們也研究了基于近紅外波段全透的紅色、綠色、藍(lán)色濾光片的（electron-multiplying CCD，EMCCD）真彩色成像方法[4]，結(jié)果表明，綠色植物對近紅外輻射的高反射率，會(huì)導(dǎo)致真彩色夜視圖像中綠色植物偏色嚴(yán)重的問題。

目前大多的顏色校正算法是針對近紅外截止的傳統(tǒng)真彩色圖像，對引入近紅外輻射的真彩色夜視圖像并沒有通用的算法，傳統(tǒng)的顏色校正方法主要有灰度世界法[5]、白點(diǎn)檢測法[6]、BP神經(jīng)網(wǎng)絡(luò)法[7]等?；叶仁澜绶āc(diǎn)檢測法等白平衡算法只適用于可見光圖像或受近紅外影響較小的部分圖像；BP神經(jīng)網(wǎng)絡(luò)算法要求學(xué)習(xí)次數(shù)達(dá)到一定程度才能判斷圖像的偏色情況，處理速度較慢。2009年，Dirk Hertel[1]通過計(jì)算的方法獲得了不含近紅外輻射的R、G、B三通道的數(shù)據(jù)，得到較好的彩色夜視效果，但該計(jì)算方法尚未公開；2011年，Su Wang[8]等人通過直方圖拉伸的方法對偏色圖像進(jìn)行校正，但該方法不適用于R、G、B顏色直方圖已經(jīng)拉伸到整個(gè)色調(diào)范圍的圖像；2014年，林李金[9]提出了一種基于RGB顏色空間的校正方法，對偏色圖像進(jìn)行分區(qū)域校正，該方法對某些顏色正常的像素點(diǎn)也進(jìn)行處理，導(dǎo)致局部區(qū)域的校正結(jié)果異常。

本文在我們研究的真彩色夜視成像方法[4]基礎(chǔ)上，提出一種提取綠色植物區(qū)域的景深差分方法，據(jù)此校正近紅外輻射對圖像顏色的影響，并使用色度相似度評價(jià)校正后的真彩色夜視圖像。

1 提取綠色植物區(qū)域的方法

不同種類的綠色植物因生長環(huán)境（土壤、氣候、灌溉、施肥、氣候、地形等）不同而產(chǎn)生形貌上的差異，但其反射光譜卻具有相似的特征[10]。植物的光譜特性取決于其內(nèi)在組成和結(jié)構(gòu)[11]，綠色植物中的葉綠素分子、植物組織和細(xì)胞結(jié)構(gòu)造成了綠色植物對近紅外波段的高反射率。另外，當(dāng)植物葉片重疊時(shí)，其對可見光波段的反射率幾乎不變，而對近紅外波段的反射率增加，這表明綠色植物對近紅外光具有較高的反射率，圖1為綠葉、新鮮綠草、混凝土、干草、黃色玫瑰的光譜反射率曲線，綠葉、新鮮綠草、黃色玫瑰的光譜反射率由Lambda 19分光光度計(jì)（美國Perkin Elmer公司的）測量得到，干草和混凝土的光譜反射率來自ASTER光譜庫（加利福尼亞技術(shù)研究所），可以看出，綠葉和新鮮綠草對近紅外波段均具有較高的反射率。因此，真彩色夜視成像引入近紅外輻射后，綠色植物由于對近紅外輻射反射率高而存在嚴(yán)重的偏色現(xiàn)象，如圖2所示。其中場景一中有草坪和樹木，草坪面積相對較大；場景二中的樹林較多，且為近景拍攝；場景三中的綠色植物較少；場景四中綠色樹木較多，并包含白色建筑物，且為遠(yuǎn)景拍攝。

圖1 綠色植物光譜反射率曲線圖

我們校正真彩色夜視圖像綠色植物偏色的方法是首先將綠色植物區(qū)域提取出來。為方便數(shù)學(xué)表達(dá)，我們用'、'、'、'代表近紅外全透的紅、綠、藍(lán)、全通通道，數(shù)學(xué)表達(dá)式寫為：

式中：、、分別表示不含近紅外的紅、綠、藍(lán)分量，NIR表示近紅外分量。

通過分析近紅外全透的真彩色夜視綠色植物圖像，我們發(fā)現(xiàn)其綠色植物區(qū)域灰度值較高，景深較大。此外，由圖1和式(1)可知，'通道圖像和'通道圖像的差分圖像（稱為'－'圖像）的顏色分量為不含近紅外輻射的、分量之和，且綠色植物區(qū)域在'－'圖像中的、分量遠(yuǎn)小于景深圖像中的NIR分量。

我們首先計(jì)算真彩色夜視圖像的景深圖像，計(jì)算方法采用2009年He提出的暗通道理論[12]，將景深圖像表達(dá)式[13]寫為：

式中：()表示暗通道圖像；()表示以像素為中心的窗口；J()表示的任意一個(gè)顏色通道。

由式(2)計(jì)算得到的景深圖像中，對近紅外反射率越高的綠色植物圖像區(qū)域，其景深值越大；反之，對近紅外反射率低的非綠色植物圖像區(qū)域，景深值越小。

由公式(1)可知，'和'的差值'－'是不含近紅外輻射的、分量之和，同時(shí)，綠色植物區(qū)域在'－'圖像中的灰度值較小，而非綠色植物區(qū)域的灰度值較大。所以，我們用綠色植物區(qū)域灰度值較大的景深圖像減去非綠色植物區(qū)域灰度值較大的'－'圖像，就可將綠色植物區(qū)域提取出來，該步驟我們稱為景深差分處理，數(shù)學(xué)表達(dá)式寫為：

式中：為景深差分處理后的圖像，即提取出綠色植物區(qū)域的圖像，在該圖像中，綠色植物區(qū)域的灰度值較大，而非綠色植物區(qū)域的灰度值近似為零。

圖3～圖6給出了圖2中4個(gè)場景圖像提取綠色植物區(qū)域的過程及結(jié)果：景深圖像、'－'圖像和最終提取的綠色植物區(qū)域圖像。為避免差分后某些像素點(diǎn)的值出現(xiàn)負(fù)數(shù)，我們將差分后像素點(diǎn)值為負(fù)數(shù)的像素點(diǎn)的設(shè)置為零。

圖2 近紅外全透的真彩色夜視綠色植物圖像

圖3 場景一的綠色植物區(qū)域提取

圖4 場景二的綠色植物區(qū)域提取

圖5 場景三的綠色植物區(qū)域提取

圖6 場景四的綠色植物區(qū)域提取

2 綠色植物區(qū)域偏色的校正算法

本文提出的景深差分提取綠色植物的真彩色夜視圖像顏色校正算法，主要包括：求解真彩色夜視圖像的景深圖像，'、'通道的差值圖像（'－'），景深差分法提取綠色植物區(qū)域以及色彩平衡，算法流程如圖7所示。

圖7 基于暗通道差分提取綠色植物區(qū)域的顏色校正流程

由色彩平衡的原理可知[14]，適當(dāng)比例的藍(lán)光和紅光混合后，可產(chǎn)生與單色品紅色光相同的彩色視覺效果。因此根據(jù)偏色的真彩色夜視圖像中的綠色植物偏品紅色的特點(diǎn)，可以采用減少紅色和藍(lán)色的方法來校正，校正公式為：

式中：'、'、'分別表示近紅外全透的紅、綠、藍(lán)通道圖像；為景深差分處理后的圖像；、為紅、藍(lán)通道的校正參數(shù)，可通過大量實(shí)驗(yàn)來選取，本文算法中校正參數(shù)＝0.6，＝0.6；Cor、Cor、Cor分別為色彩平衡處理后紅、綠、藍(lán)通道的圖像。將處理后的紅、綠、藍(lán)通道圖像融合，得到校正后的真彩色夜視圖像，然后對該圖像進(jìn)行白平衡處理。

3 校正結(jié)果評價(jià)

3.1 主觀評價(jià)

為驗(yàn)證本文算法的有效性，我們使用本文算法、灰度世界法、動(dòng)態(tài)閾值法[15]分別對偏色的真彩色夜視綠色植物圖像進(jìn)行處理，并對校正結(jié)果進(jìn)行對比，圖8～圖11為校正效果。

圖8 場景一的校正效果

圖9 場景二的校正效果

圖10 場景三的校正效果

圖11 場景四的校正效果

可以看出，傳統(tǒng)的顏色校正方法對真彩色夜視圖像綠色植物區(qū)域的校正效果不明顯，校正后圖像的綠色植物區(qū)域仍偏紅，不符合人眼的視覺感知。本文提出的顏色校正方法校正效果較好，能夠有效校正近紅外輻射對真彩色夜視圖像色彩的影響，還原綠色植物圖像色彩。

3.2 客觀評價(jià)

為客觀評價(jià)本文算法的有效性，使用色度相似度評價(jià)校正后的真彩色夜視圖像。分別計(jì)算偏色的真彩色夜視圖像以及使用灰度世界法、動(dòng)態(tài)閾值法、本文算法校正后的真彩色夜視圖像與可見光圖像之間的歐氏距離，若校正后的真彩色夜視圖像與可見光圖像的歐式距離與校正前相比明顯縮小，則本文算法有效。利用兩個(gè)圖像對應(yīng)通道的像素灰度平均值來計(jì)算圖像間的歐氏距離[16]：

表1為使用灰度世界法、動(dòng)態(tài)閾值法和本文算法校正圖像與可見光圖像的色度相似度對比，粗體顯示數(shù)據(jù)為每組數(shù)據(jù)的最優(yōu)值?？梢钥闯?，本文算法明顯縮小了校正后圖像與可見光圖像的歐氏距離，且色度相似度分別提高73.5%、68.3%、81.6%、57.5%，說明本文提出的景深差分提取綠色植物的顏色校正算法可以有效解決真彩色夜視圖像綠色植物圖像在近紅外輻射影響下偏色嚴(yán)重的問題，基本還原綠色植物的圖像色彩。

4 結(jié)論

本文通過對綠色植物對近紅外波段的反射率以及紅、綠、藍(lán)通道中綠色植物圖像灰度值分布的分析，基于灰度值高的綠色植物其景深都較高以及全通通道和紅色通道的差值為不含近紅外成分的綠、藍(lán)分量之和，且綠色植物區(qū)域在差分圖像中的綠、藍(lán)分量很小這兩個(gè)特點(diǎn)，提出一種景深差分提取綠色植物的方法。該算法可以將引入近紅外輻射后，夜視圖像中偏色嚴(yán)重的綠色植物區(qū)域提取出來。然后，根據(jù)色彩平衡原理，利用提取出來的綠色植物區(qū)域調(diào)整紅色通道和藍(lán)色通道的值，從而校正近紅外輻射對真彩色夜視圖像顏色的影響。實(shí)驗(yàn)結(jié)果表明，該方法可以將大部分綠色植物區(qū)域提取出來，能夠有效校正近紅外輻射對真彩色夜視圖像色彩的影響，基本還原可見光圖像色彩，獲得符合人類視覺感知的校正效果。該顏色校正算法為真彩色夜視成像技術(shù)的研究奠定了基礎(chǔ)，具有一定的研究價(jià)值。

表1 色彩校正方法處理結(jié)果對比

[1] Hertel D, Marechal H, Tefera D, et al. A low-cost VIS-NIR true color night vision video system based on a wide dynamic range CMOS imager[C]//2009, 2009: 273-278.

[2] HAO X, CHEN H, YAO C, et al. A near-infrared imaging method for capturing the interior of a vehicle through windshield[C]//2010,2010: 109-112.

[3] Park C H, Oh H M, Kang M G. Color restoration for infrared cutoff filter removed RGB multispectral filter array image sensor[C]//2015(VISAPP 2015), 2015: 30-37.

[4] 白玉, 陳遠(yuǎn)金, 張猛蛟, 等. EMCCD真彩色成像方法與驗(yàn)證[J]. 紅外技術(shù), 2017, 39(4): 329-340.

BAI Y, CHEN Y J, ZHANG M J, et al. Method and demonstration of true-color imaging by EMCCD[J]., 2017, 39(4): 329-340.

[5] Navalpakkam V, Itti L. Modeling the influence of task on attention[J]., 2005, 45(2): 205-231.

[6] Finlayson G D, Drew M S. White-point preserving color correction [C]//5Color Imaging Conference on Color,,, 1997: 258-261.

[7] 黃麗. BP神經(jīng)網(wǎng)絡(luò)算法改進(jìn)及應(yīng)用研究[D]. 重慶: 重慶師范大學(xué), 2008.

HUANG L. BP Neural Algorithm Improvement and Application Research[D]. Chongqing: Chongqing Normal University, 2008.

[8] WANG S, ZHANG Y, DENG P, et al. Fast automatic white balancing method by color histogram stretching[C]//4 International Congress on Image and Signal Processing, 2011: 979-983.

[9] 林李金, 蔡堅(jiān)勇, 蔡榮太, 等. 基于RGB色彩空間的四帶樹木圖像顏色校正方法[J]. 計(jì)算機(jī)系統(tǒng)應(yīng)用, 2014, 23(4): 154-158.

LIN L J, CAI J Y, CAIR T, et al. Color correction algorithm for four-band tree image based on RGB color space[J]., 2014, 23(4): 154-158.

[10] 許浩, 劉珩. 綠色植物光譜特征擬合技術(shù)研究進(jìn)展[J]. 兵器裝備工程學(xué)報(bào), 2018, 39(2): 157-162.

XU H, LI H. Advance in spectral fitting of green plants[J]., 2018, 39(2):157-162.

[11] 劉志明, 胡碧茹, 吳文健, 等. 高光譜探測綠色涂料偽裝的光譜成像研究[J]. 光子學(xué)報(bào), 2009, 38(4): 885-890.

LIU Z H, HU B R, WU W J, et al. Spectral imaging study of hyperspectral detection of green paint camouflage[J]., 2009, 38(4): 885-890.

[12] HE K M, SUN J, Tang X O. Single image haze removal using dark channel prior[C]//, 2009: 1956-1963．

[13] 宋得成, 徐國慶, 魯建勇. 暗原色先驗(yàn)圖像去霧改進(jìn)算法[J]. 武漢工程大學(xué)學(xué)報(bào), 2014, 36(12): 68-71.

SONG D C, XU G Q, LU J Y. Improved image defogging based on priori dark color[J]., 2014, 36(12): 68-71.

[14] Rafael C Gonzalez, Richard E Woods.[M]. Beijing: Electronics Industry Press, 2011.

[15] WENG C C, CHEN H, Fuh C S. A novel automatic white balance method for digital still cameras[C]//, 2005.

[16] 郭永剛, 葛慶平, 郭楠. 利用白平衡進(jìn)行偏色圖像的顏色校正[J]. 計(jì)算機(jī)工程與應(yīng)用, 2005, 41(20): 56-59.

GUO Y G,GE Q P, GUO N. Color correction based on white balance[J]., 2005, 41(20): 56-59.

Color Correction of True-color Night Vision Image by Extracting Green Plants with Differential Depth of Field

ZHAO Zhenfen1，CHEN Yuanjin1,2，ZHANG Mengjiao1,2，CHEN Dongqi1，WANG Lingxue1，CAI Yi1,3

Near-infrared radiation is an important component of night sky light. Making optimal use of near-infrared radiation is an effective method to improve the signal-to-noise ratio of true-color night vision imaging systems. However, green plants with high reflectance of near-infrared radiation introduce a strong color cast problem in true-color night vision images. In this study, we analyze the gray value distribution of green plant images in red, green, and blue channels and find that the depth of field of the green plant area is large. The difference between the all-pass channel and the red channel is the sum of the green and blue components, without the near-infrared radiation. In addition, the green and blue components of the green plant region are few in the difference image. Based on these two characteristics, in this study, we propose a color correction method for true-color night vision images. The method extracts green plants with differential depth of field, then uses the extracted green plant area to adjust the values of the red and blue channels, according to the color balance principle. The results show that the proposed method can effectively correct the influence of near-infrared radiation on image color and restore the image color of green plants in night vision images.

color correction, differential depth of field, extracting green plants, color balance, true-color night vision, near-infrared

TN223

A

1001-8891(2020)09-0886-07

2019-01-20；

2020-08-11.

趙振芬（1991-），女，河北張家口人，碩士研究生，主要從事彩色夜視成像和圖像處理的研究。E-mail：18811753086@163.com。

王嶺雪（1973-），女，云南石屏人，副教授，博士，主要從事紅外成像、圖像處理和紅外光譜等方面的研究。E-mail：neobull@bit.edu.cn。