基于高動(dòng)態(tài)范圍成像的溫室番茄植株圖像色彩矯正方法

馮青春 王 秀 李軍輝 李小明 成 偉 陳 建

(1.中國(guó)農(nóng)業(yè)大學(xué)工學(xué)院， 北京 100083； 2.北京農(nóng)業(yè)智能裝備技術(shù)研究中心， 北京 100097；3.農(nóng)業(yè)智能裝備技術(shù)北京市重點(diǎn)實(shí)驗(yàn)室， 北京 100097； 4.北京農(nóng)業(yè)職業(yè)學(xué)院， 北京 102208)

0 引言

我國(guó)番茄的生產(chǎn)和消費(fèi)規(guī)模均居世界前列[1-2]。隨著農(nóng)業(yè)勞動(dòng)力的流失和人力成本的上漲，番茄種植管理的雇工費(fèi)用逐年上漲，目前已達(dá)到總生產(chǎn)成本的30%以上[3]。種植管理過程中整枝、授粉、采摘、轉(zhuǎn)運(yùn)以及噴藥等環(huán)節(jié)消耗整個(gè)生產(chǎn)周期人力投入的70%以上[4]，因此，亟需研發(fā)能夠替代或輔助人工作業(yè)的智能化作業(yè)機(jī)械[5-6]。作業(yè)對(duì)象的視覺信息獲取是支撐智能化生產(chǎn)作業(yè)的核心技術(shù)之一[7-10]。視覺信息是作業(yè)區(qū)域光照條件與作業(yè)對(duì)象反射特性綜合作用的感觀體現(xiàn)。然而，在農(nóng)業(yè)環(huán)境下，自然光照波動(dòng)和復(fù)雜背景干擾是影響視覺信息穩(wěn)定成像的關(guān)鍵因素，表現(xiàn)為光照時(shí)空動(dòng)態(tài)變化、視場(chǎng)多元目標(biāo)輻射特性各異。

目前，針對(duì)開放自然環(huán)境下圖像色彩信息的補(bǔ)償矯正方法主要涉及圖像采集硬件控制和圖像數(shù)據(jù)處理兩方面。YUAN等[11]提出了基于色彩恒常特性的太陽光照波動(dòng)補(bǔ)償方法,通過動(dòng)態(tài)調(diào)整攝像機(jī)曝光增益和白平衡參數(shù),保證黃瓜花瓣圖像色彩的穩(wěn)定呈現(xiàn)。FU等[12]通過設(shè)置前景LED補(bǔ)光光源(30～50lx)的方式，凸顯重疊目標(biāo)輪廓界限，減少背景干擾，從而解決了夜間獼猴桃視覺識(shí)別問題。MANISH等[13]通過實(shí)時(shí)解析目標(biāo)圖像色彩品質(zhì)、動(dòng)態(tài)調(diào)節(jié)補(bǔ)光光源控制參數(shù)，實(shí)現(xiàn)了低能耗高效曝光補(bǔ)償。FENG等[14]通過RGB-HIS色彩空間變換，基于色調(diào)(H)和飽和度(S)分量閾值對(duì)成熟草莓進(jìn)行分割，克服了光照強(qiáng)度變化引起的圖像亮度波動(dòng)干擾。熊俊濤等[15]提出基于Retinex圖像增強(qiáng)算法的荔枝果實(shí)圖像預(yù)處理方法，克服了自然光照條件下攝像機(jī)視場(chǎng)亮度不均勻的問題。KURTULMUS等[16]根據(jù)自然光照下綠桃果實(shí)逆光和順光圖像色彩，建立了綠桃果實(shí)識(shí)別神經(jīng)網(wǎng)絡(luò)模型，克服了不同光照條件下目標(biāo)色彩變異失真的問題。蔡道清等[17]采用小波變換算法提取農(nóng)田圖像光照不變特征，分離圖像中的光照與反射成分，實(shí)現(xiàn)不同光照強(qiáng)度下的農(nóng)田導(dǎo)航線提取。以上研究主要針對(duì)特定目標(biāo)的圖像色彩進(jìn)行補(bǔ)償矯正，無法精確解析攝像機(jī)視場(chǎng)內(nèi)不同目標(biāo)的輻射強(qiáng)度特征，對(duì)于大視場(chǎng)、多目標(biāo)和背景復(fù)雜的溫室番茄植株圖像采集缺乏適用性。

針對(duì)溫室內(nèi)光照條件時(shí)空波動(dòng)、復(fù)雜背景輻射亮度突變引起圖像色彩失真的問題，本文采用高動(dòng)態(tài)范圍成像技術(shù)，通過融合不同曝光度的圖像信息恢復(fù)視場(chǎng)內(nèi)不同目標(biāo)的相對(duì)輻射強(qiáng)度，從而對(duì)圖像色彩失真進(jìn)行補(bǔ)償矯正，進(jìn)而實(shí)現(xiàn)復(fù)雜背景目標(biāo)色彩的恒常呈現(xiàn)，以期為農(nóng)業(yè)開放環(huán)境下作業(yè)對(duì)象視覺信息獲取的相關(guān)研究提供參考。

1 溫室光照環(huán)境特征分析

1.1 光照參數(shù)時(shí)空波動(dòng)

受日間太陽光照方向和強(qiáng)度變化影響，半開放溫室空間內(nèi)光照參數(shù)呈現(xiàn)時(shí)空動(dòng)態(tài)變化。如圖1所示，為北京地區(qū)秋季(9月)連棟日光溫室內(nèi)07:00—18:00時(shí)段光照信息統(tǒng)計(jì)，其中光照強(qiáng)度變化范圍為800～60 000 lx，且在13:00—14:00時(shí)段達(dá)到峰值。由于日光溫室透光材料具有適度濾光效果，CIEx、y色度值[18]主要分布在0.30～0.35范圍內(nèi)的白色區(qū)間，即溫室內(nèi)光照色度變化幅度有限?？梢姕厥覂?nèi)光照強(qiáng)度變化是導(dǎo)致目標(biāo)圖像色彩變異的主要因素，準(zhǔn)確解析攝像機(jī)視場(chǎng)內(nèi)不同區(qū)域的動(dòng)態(tài)輻射強(qiáng)度信息，是對(duì)環(huán)境光照波動(dòng)進(jìn)行補(bǔ)償矯正的前提。

圖1 溫室光照參數(shù)波動(dòng)統(tǒng)計(jì)結(jié)果Fig.1 Illumination parameters variation statistics in greenhouse

1.2 復(fù)雜背景輻射強(qiáng)度的突變

溫室復(fù)雜背景下不同目標(biāo)的輻射特性各不相同，其中近端番茄植株與遠(yuǎn)端溫室頂棚和墻壁輻射亮度差異巨大。此外，由溫室頂部鋼結(jié)構(gòu)投射的陰影區(qū)域與太陽直射區(qū)域之間也存在亮度突變。然而攝像機(jī)成像芯片呈現(xiàn)視場(chǎng)內(nèi)輻射波動(dòng)的范圍是有限的，在特定曝光強(qiáng)度下會(huì)形成圖像區(qū)域過度曝光和曝光不足，從而導(dǎo)致目標(biāo)色彩信息失真。圖2為不同曝光強(qiáng)度下采集的兩幅圖像。圖2a中，頂棚天空和墻壁色彩正常，番茄植株區(qū)域呈現(xiàn)曝光不足；圖2b中，番茄植株色彩正常，頂棚和墻壁區(qū)域呈現(xiàn)過度曝光。因此，單一全局曝光控制容易導(dǎo)致前景與背景物體圖像色彩失真，是攝像機(jī)獲取溫室番茄植株圖像面臨的客觀限制。鑒于此，融合多曝光度圖像信息以恢復(fù)視場(chǎng)不同區(qū)域輻射強(qiáng)度，是矯正圖像區(qū)域曝光失真的有效途徑。

2 基于多曝光圖像的輻射響應(yīng)模型標(biāo)定

2.1 彩色圖像亮度信息提取

鑒于溫室光照波動(dòng)主要體現(xiàn)為光照強(qiáng)度變化，因此本文重點(diǎn)針對(duì)圖像色彩亮度進(jìn)行矯正，以達(dá)到對(duì)目標(biāo)真實(shí)色彩進(jìn)行重構(gòu)的目的。CIE XYZ色彩模型是根據(jù)人眼感知可見光源色彩原理設(shè)計(jì)的三原色系統(tǒng)，所有可見顏色都能用三色值(X,Y,Z)表示。數(shù)字圖像采集和顯示色彩描述基于ITU709標(biāo)準(zhǔn)[18]，圖像RGB顏色信息與CIE XYZ色彩模型轉(zhuǎn)換公式為

(1)

式中X、Z——CIE XYZ圖像色度分量

Y——CIE XYZ圖像亮度分量

R、G、B——數(shù)字圖像色彩分量

由于數(shù)字圖像RGB分量灰度是經(jīng)過γ矯正的色彩值[19]，為使得Y更加準(zhǔn)確反映圖像亮度，需要對(duì)其進(jìn)行γ逆變換修正。

Y′=Yγ

(2)

式中Y′——圖像實(shí)際成像亮度

γ——矯正系數(shù)，取通用值2.20

由圖2得到的亮度圖如圖3所示。

圖3 Y分量亮度圖Fig.3 Y brightness image

2.2 攝像機(jī)輻射響應(yīng)模型構(gòu)建

攝像機(jī)輻射響應(yīng)模型用于表示圖像亮度與相機(jī)感光芯片接收目標(biāo)輻射能量總和的對(duì)應(yīng)關(guān)系。攝像機(jī)輻射響應(yīng)模型標(biāo)定，是基于圖像數(shù)據(jù)恢復(fù)視場(chǎng)輻射強(qiáng)度信息的必要前提。假設(shè)對(duì)同一場(chǎng)景連續(xù)采集P幅不同曝光度的圖像，對(duì)每幅圖像提取相同坐標(biāo)的N個(gè)像素點(diǎn)。為計(jì)算方便，將攝像機(jī)輻射響應(yīng)函數(shù)[20]表示為其逆函數(shù)對(duì)數(shù)形式。

g(Y′ij)=lnEi+lntj

(3)

式中i——像素點(diǎn)序號(hào)

g——攝像機(jī)輻射響應(yīng)逆函數(shù)

j——圖像序號(hào)

Y′ij——圖像j中像素點(diǎn)i的亮度，取值范圍為0～255

Ei——像素點(diǎn)i對(duì)應(yīng)視場(chǎng)目標(biāo)點(diǎn)的輻射強(qiáng)度

tj——圖像j的曝光時(shí)間

根據(jù)DEBEVEC標(biāo)定算法[20]，基于序列曝光時(shí)間tj的圖像像素亮度Y′ij擬合輻射響應(yīng)函數(shù)(Y′)的最小二乘代價(jià)函數(shù)ο表示為

(4)

其中

式中λ——正則化系數(shù)

ω——權(quán)值函數(shù)

g″——平滑正則項(xiàng)函數(shù)

Y′——圖像像素灰度，范圍為0～255

將代價(jià)函數(shù)分別對(duì)未知量lnEi和g(Y′)求偏導(dǎo)，且令其一次偏導(dǎo)為零，整理得到

(5)

式(5)可整理為矩陣方程，其中系數(shù)矩陣M可分為A、B、C、O4個(gè)矩陣塊。

(6)

其中

bT=

式中A——N×P行、256列矩陣，每行僅一個(gè)非零元素ω(Y′ij) ，該元素列序號(hào)為Y′ij

B——N×P行、N列矩陣，每行僅一個(gè)非零元素-ω(Y′ij) ，該元素列序號(hào)為i

O——零矩陣

x——256+N維列向量

b——N×P+254維列向量

2.3 輻射模型標(biāo)定

式(6)共有N×P個(gè)非齊次線性方程，256+N個(gè)未知變量分別為g(Y′)和Ei。為了保證方程組有解，需滿足N×P≥256+N。因此本文以同一場(chǎng)景下4幅不同曝光度圖像(分辨率640像素×480像素)中的100個(gè)像素點(diǎn)為采樣點(diǎn)，構(gòu)建超定線性方程組，采用奇異值分解方法[21]求解系數(shù)矩陣M的廣義逆矩陣為

M?=VΣ?UH

(7)

式中M?——M的廣義逆矩陣

V、U——M的奇異矩陣

UH——U的共軛矩陣

Σ?——M奇異值倒數(shù)對(duì)角矩陣

則包含未知數(shù)Ei和g(Y′)的向量x可表示為

x=M?b

(8)

鑒于溫室番茄栽培環(huán)境主要包含莖稈、葉片、果實(shí)、溫室頂棚、棚架和墻壁等約10類不同物體，為了使采樣點(diǎn)覆蓋視場(chǎng)內(nèi)的各類物體，根據(jù)低曝光圖像灰度直方圖數(shù)據(jù)，將其圖像亮度區(qū)間分為10個(gè)等級(jí)。對(duì)于每個(gè)灰度等級(jí)從圖像中選定10個(gè)像素點(diǎn)，即每幅圖像取100個(gè)點(diǎn)，以作為攝像機(jī)輻射響應(yīng)標(biāo)定采樣點(diǎn)，從而得到系數(shù)矩陣M為654行、356列的稀疏矩陣。本文設(shè)定4幅圖像的序列融合時(shí)間為0.01、0.05、0.08、0.10 ms，基于圖2場(chǎng)景輻射特征，標(biāo)定的攝像機(jī)輻射響應(yīng)曲線如圖4所示。

圖4 攝像機(jī)輻射響應(yīng)曲線Fig.4 Camera response function curve

3 高動(dòng)態(tài)范圍圖像色彩映射

3.1 視場(chǎng)輻射強(qiáng)度估計(jì)

由式(3)可知，在獲得攝像機(jī)輻射響應(yīng)函數(shù)g(Y′)基礎(chǔ)上，可根據(jù)圖像像素亮度Y′ij和圖像曝光時(shí)間tj，估計(jì)視場(chǎng)內(nèi)任意點(diǎn)在感光芯片對(duì)應(yīng)點(diǎn)i形成的輻射強(qiáng)度Ei。鑒于圖像數(shù)據(jù)在亮度極值區(qū)間存在較大噪聲，且在亮度中間范圍更可靠，因此需要對(duì)視場(chǎng)輻射強(qiáng)度進(jìn)行補(bǔ)償[22]。與式(4)同理，對(duì)由不同曝光強(qiáng)度圖像數(shù)據(jù)獲得的輻射強(qiáng)度引入的加權(quán)函數(shù)ω(Y′)進(jìn)行修正，然后求其平均值，得到視場(chǎng)中任意未飽和像素對(duì)應(yīng)的輻射強(qiáng)度估計(jì)值為

(9)

3.2 高動(dòng)態(tài)范圍的圖像亮度壓縮

融合多曝光條件下圖像信息的視場(chǎng)輻射強(qiáng)度數(shù)據(jù)是可以更加準(zhǔn)確、寬泛描述場(chǎng)景亮度的高動(dòng)態(tài)圖像數(shù)據(jù)，但需要通過色調(diào)映射將其壓縮到低動(dòng)態(tài)范圍進(jìn)行顯示和處理。最大化地保留原有圖像明暗信息，是對(duì)色調(diào)映射算法的基本要求。鑒于人眼對(duì)場(chǎng)景亮度感知的近似S形響應(yīng)特征，本文采用S曲線函數(shù)[23-24]將高動(dòng)態(tài)圖像數(shù)據(jù)映射到0～255范圍的圖像灰度區(qū)間。壓縮后圖像亮度為

(10)

(11)

式中Emax——高動(dòng)態(tài)圖像最大亮度

3.3 圖像色彩重構(gòu)

圖5 矯正后的亮度圖Fig.5 Brightness image corrected

圖6 色彩重構(gòu)后的效果圖Fig.6 Color image reconstructed

4 試驗(yàn)與結(jié)果分析

4.1 試驗(yàn)設(shè)置

圖7 番茄植株原始圖像Fig.7 Original images of tomato plant

為了驗(yàn)證圖像色彩矯正算法的性能，2019年4月20日在北京市昌平區(qū)特菜大觀園番茄溫室進(jìn)行了現(xiàn)場(chǎng)試驗(yàn)，分別在08:00、10:00、12:00、14:00共4個(gè)時(shí)段，對(duì)3個(gè)固定場(chǎng)景采集4幅不同曝光強(qiáng)度的圖像。選用PointGray公司FL3-U3-13S2C型相機(jī)，配置8 mm鏡頭，與番茄植株相距800 mm，獲得視場(chǎng)區(qū)域?qū)?、高分別為500、400 mm。試驗(yàn)過程中相機(jī)光圈、增益配置、白平衡等參數(shù)配置不變，采用動(dòng)態(tài)指令設(shè)置其曝光時(shí)間tj為0.01、0.05、0.08、0.10 ms，在線采集番茄植株圖像48幅，列舉其中不同場(chǎng)景特定時(shí)段的序列曝光圖像如圖7所示。由于4幅圖像的采集時(shí)間約10 s，因此可忽略采集過程中視場(chǎng)光照條件的變化和視場(chǎng)內(nèi)物體的移動(dòng)。

4.2 結(jié)果分析

對(duì)3個(gè)場(chǎng)景4個(gè)時(shí)段的番茄植株圖像進(jìn)行色彩重構(gòu)，最終結(jié)果如圖8所示。通過直觀對(duì)比圖7、8可得，色彩矯正后各場(chǎng)景和時(shí)段的圖像色彩特征均得到明顯改善，克服了原始圖像中前景目標(biāo)番茄植株曝光不足、背景墻壁和頂棚過度曝光的問題，并且不同時(shí)段動(dòng)態(tài)光照強(qiáng)度條件下，植株莖、葉和果的色彩特征保持相對(duì)穩(wěn)定。

為了對(duì)圖像矯正效果進(jìn)行量化評(píng)估，本文引用信息熵、標(biāo)準(zhǔn)方差和平均梯度3個(gè)無參考圖像質(zhì)量評(píng)估指標(biāo)[25]，對(duì)色彩矯正前后圖像的灰度信息量、離散程度、清晰度等特征進(jìn)行評(píng)價(jià)，其值越大，圖像質(zhì)量越好。不同場(chǎng)景和時(shí)段番茄植株原始和矯正后圖像的評(píng)價(jià)參數(shù)統(tǒng)計(jì)分別如表1～3所示。

以不同曝光強(qiáng)度的4幅原始圖像中指標(biāo)參數(shù)最大圖像作為對(duì)照，對(duì)于不同時(shí)段和場(chǎng)景的植株圖像矯正前后的指標(biāo)參數(shù)進(jìn)行對(duì)比，以參數(shù)變化相對(duì)幅度表征圖像質(zhì)量改善程度。由試驗(yàn)結(jié)果可得，不同時(shí)段和場(chǎng)景的圖像質(zhì)量參數(shù)均顯著提高，圖像信息熵、標(biāo)準(zhǔn)方差和平均梯度平均提高16.87%、9.81%和19.49%。特別地，在不同時(shí)段圖像質(zhì)量參數(shù)平均增加比例如圖9所示。盡管不同時(shí)段的圖像質(zhì)量均有改善，且在08:00時(shí)改善幅度最大，但是在中午時(shí)段改善幅度較小，其原因?yàn)橹形鐣r(shí)段環(huán)境光照強(qiáng)，采集的原始圖像中亮度飽和失真像素比例增加，使得攝像機(jī)輻射響應(yīng)模型估計(jì)誤差增加，同時(shí)由于飽和像素缺失色彩信息，無法對(duì)其進(jìn)行色彩重構(gòu)，導(dǎo)致圖像整體質(zhì)量改善有限。因此，優(yōu)化原始圖像曝光時(shí)間，結(jié)合環(huán)境光照信息動(dòng)態(tài)調(diào)整采樣圖像曝光時(shí)間，是進(jìn)一步研究的目標(biāo)。此外，圖像信息熵和平均梯度參數(shù)提高幅度可保持在20%左右，標(biāo)準(zhǔn)方差增加幅度較小，因此相對(duì)均衡圖像灰度，本算法更適于提升圖像信息量和清晰度。

圖8 不同場(chǎng)景、時(shí)段番茄植株圖像矯正結(jié)果Fig.8 Reconstructed images of tomato plant

表1 圖像信息熵統(tǒng)計(jì)Tab.1 Image entropy statistics

表2 圖像標(biāo)準(zhǔn)方差統(tǒng)計(jì)Tab.2 Image standard deviation statistics

表3 圖像平均梯度統(tǒng)計(jì)Tab.3 Image average gradient statistics

圖9 圖像質(zhì)量改善程度Fig.9 Improvement of image quality indexes

5 結(jié)束語

針對(duì)溫室環(huán)境光照強(qiáng)度波動(dòng)和復(fù)雜背景亮度突變的問題，提出了基于高動(dòng)態(tài)范圍成像的圖像色彩矯正方法，有效克服了全局曝光下番茄植株圖像色彩失真問題。通過融合0.01、0.05、0.08、0.10 ms曝光時(shí)間的 4幅圖像亮度數(shù)據(jù)，可解析攝像機(jī)輻射響應(yīng)模型，并精確恢復(fù)視場(chǎng)高動(dòng)態(tài)范圍輻射強(qiáng)度信息。以S曲線函數(shù)對(duì)輻射強(qiáng)度壓縮后，替換圖像Y分量亮度，可以實(shí)現(xiàn)低曝光度圖像的色彩重建。試驗(yàn)表明，該方法對(duì)不同場(chǎng)景和光照時(shí)段的圖像均具有顯著效果，圖像信息熵、標(biāo)準(zhǔn)方差和平均梯度平均提高了16.87%、9.81%和19.49%，且矯正后植株莖、葉和果的色彩特征保持相對(duì)一致。本研究可為農(nóng)業(yè)復(fù)雜光照條件下作業(yè)對(duì)象圖像色彩信息的獲取研究提供技術(shù)參考。