面向番茄植株相近色目標(biāo)識別的多波段圖像融合方法

馮青春 陳建 成偉 王秀

摘要： 針對溫室番茄智能化管理需要，研究莖稈、葉片和綠果等3類相近色目標(biāo)的多波段圖像融合方法，以凸顯目標(biāo)與背景亮度差異，提高目標(biāo)視覺識別效率。根據(jù)其各自在300～1000 nm范圍的反射光譜特征差異，建立了針對其光譜數(shù)據(jù)分類的Lasso正則化邏輯回歸模型?；谀Ｐ偷南∈杞馓卣?，確定具有較大權(quán)值系數(shù)的450、600和900 nm等3個波段作為最優(yōu)成像波段，在此基礎(chǔ)上構(gòu)建了溫室番茄植株多波段圖像在線采集系統(tǒng)。結(jié)合最優(yōu)成像波段下相近色目標(biāo)圖像特征分析，提出了基于NSGA-II的多波段圖像加權(quán)融合方法，以增強(qiáng)特定目標(biāo)與近色背景物體的圖像亮度差異。最后通過現(xiàn)場試驗對多波段圖像融合效果進(jìn)行評估。結(jié)果表明，分別以莖稈、葉片和綠果器官作為識別目標(biāo)，通過多波段圖像融合處理后，目標(biāo)與背景之間的圖像灰度差異絕對差值相應(yīng)達(dá)到單波段圖像的2.02、8.63和7.89倍，即被識別目標(biāo)與其他近色背景的亮度差異顯著增強(qiáng)，且背景物的亮度波動得到抑制。本研究結(jié)果可以為農(nóng)業(yè)環(huán)境近色目標(biāo)視覺識別相關(guān)研究提供參考。

關(guān)鍵詞： 農(nóng)業(yè)機(jī)器人;番茄植株;相近色目標(biāo);光譜特征;圖像融合;NSGA-II

中圖分類號： TP751，TP242.6 文獻(xiàn)標(biāo)志碼： A 文章編號： 202002-SA001

引文格式：馮青春， 陳建， 成偉， 王秀. 面向番茄植株相近色目標(biāo)識別的多波段圖像融合方法[J]. 智慧農(nóng)業(yè)（中英文）， 2020， 2（2）： 126-134.

1 引 ?言

中國是番茄生產(chǎn)和消費(fèi)大國，種植面積達(dá)105萬公頃[1]，人均年消費(fèi)量約21 kg[2]。近年來隨著勞動力成本上漲，番茄種植管理的雇工費(fèi)用已上漲至總生產(chǎn)成本比例約45%[3]，人力成本過高已成為限制番茄種植效益增長的客觀因素。鑒于機(jī)器人在智能探測和復(fù)雜操作方面的獨(dú)特優(yōu)勢，針對溫室番茄采摘、整枝、授粉以及噴藥等勞動密集、操作復(fù)雜的種植管理環(huán)節(jié)，研發(fā)能夠代替人工作業(yè)的農(nóng)業(yè)機(jī)器人，是從工程技術(shù)角度應(yīng)對當(dāng)前形勢的有效途徑[4，5]。準(zhǔn)確獲取作業(yè)對象的視覺特征是機(jī)器人智能化作業(yè)的必要前提。對于不同管理環(huán)節(jié)，番茄植株莖、葉和果既可能是作業(yè)對象，也可能是背景干擾。然而溫室內(nèi)植株叢生密布、雜亂無序，且番茄莖、葉和綠果為相近色器官，基于寬泛的可見光圖像信息，難以實現(xiàn)植株特定對象的準(zhǔn)確識別。

鑒于植物莖、葉、果等不同器官的構(gòu)成物質(zhì)成分差異，根據(jù)其特定波段光譜特征進(jìn)行分類和識別，是當(dāng)前解決植物相近顏色目標(biāo)視覺識別問題的有效途徑[4]。光譜特征數(shù)據(jù)是目標(biāo)光譜反射強(qiáng)度在頻域分布情況的體現(xiàn)[6]。吳偉斌等[7]通過分析750～1000 nm波段柑橘葉片光譜反射率與其重疊層數(shù)的相關(guān)性，研究了重疊葉片面積測量方法。Ma等[8]根據(jù)692、705和743 nm波段光譜特征，對于豌豆角內(nèi)部蟲害信息進(jìn)行識別。王海青等[9]以690～950 nm區(qū)間作為特征波段，對黃瓜、莖和葉光譜數(shù)據(jù)進(jìn)行了分類。白敬等[10]選取710、755、950和595 nm作為探測油菜田間雜草的最優(yōu)波段。由于單一的光譜特征數(shù)據(jù)缺少目標(biāo)空間信息，難以作為視覺伺服控制依據(jù)，多用于病蟲害、雜草種類和葉片密度等生物組織成分、生理特征分類。通過成像技術(shù)獲得的光譜圖像數(shù)據(jù)是目標(biāo)光譜反射特征與其空間位置信息的綜合體現(xiàn)，可作為機(jī)器人對目標(biāo)識別和精準(zhǔn)對靶作業(yè)的依據(jù)。Gan等[11]根據(jù)橘子彩色圖像和熱圖像特征，對綠橘果實與葉片進(jìn)行區(qū)域分割，準(zhǔn)確率達(dá)到95.5%。Bac等[12]以甜椒植株447～900 nm區(qū)間內(nèi)6個波段的圖像為輸入，建立二叉樹分類模型，成功識別其莖、葉、果像素。Li等[13]和袁挺等[14]根據(jù)黃瓜與葉片在800 nm波段圖像的亮度差異，研究了叢生葉片背景下黃瓜果實的識別算法，識別準(zhǔn)確率達(dá)到95%。然而當(dāng)前基于光譜特征圖像對目標(biāo)識別分類方法中，主要以目標(biāo)最強(qiáng)反射波段作為成像波段，僅強(qiáng)調(diào)突出目標(biāo)區(qū)域圖像亮度，缺少對背景弱反射波段圖像的融合，無法充分達(dá)到凸顯強(qiáng)反射目標(biāo)、淡化弱反射背景干擾的目的。

針對溫室番茄莖、葉和綠果等相近色目標(biāo)視覺識別難題，本研究根據(jù)其各自光譜特性差異篩選最優(yōu)成像波段，構(gòu)建多波段圖像采集系統(tǒng)，并結(jié)合不同波段圖像特征，提出多波段圖像融合方法，以充分凸顯目標(biāo)與背景差異，提高相近色系目標(biāo)識別效率。本研究可為溫室番茄采摘、整枝和授粉等智能化管理作業(yè)的視覺信息獲取提供技術(shù)支撐。

2 番茄相近色器官光譜特性分析

2.1 莖、葉、果光譜特性測量

鑒于當(dāng)前主流工業(yè)攝像機(jī)的敏感波段為300～1000 nm，本研究重點針對該波段區(qū)間內(nèi)番茄莖、葉、果的反射光譜特征進(jìn)行采集和分析。如圖1所示光譜數(shù)據(jù)采集系統(tǒng)，其中光譜信息采集單元選用Ocean Optics公司QE65 Pro光譜儀，其測量光譜范圍為185～1100 nm，分辨率為0.8 nm，搭配Ocean Optics公司HL-2000型鹵鎢光源作為輻射源，其光譜范圍360～2400 nm。采集系統(tǒng)安裝于暗箱內(nèi)，以減少外界雜光干擾。測量過程中通過光纖探頭支架調(diào)節(jié)探頭安裝高度，其與被測對象保持恒定距離，克服探測距離差異引起的光譜反射強(qiáng)度測量誤差。

3 溫室番茄植株圖像在線采集

3.1 多波段圖像采集系統(tǒng)

為了獲取番茄植株相近色器官在最優(yōu)成像波段區(qū)間成像信息，設(shè)計了多波段圖像采集視覺系統(tǒng)，如圖4所示。選用acA1300-60 gmNIR攝像機(jī)（Basler公司）為成像單元，其敏感波段為300～1000 nm。攝像機(jī)鏡頭前加裝±20 nm帶通濾光片（浙江光益科技），其中心波長與選定的成像波段相對應(yīng)，分別為450、600、900以及950 nm，帶寬±20 nm。濾光片呈圓周陣列分別安裝于Edmund 56-658型濾光片轉(zhuǎn)輪內(nèi)。通過旋轉(zhuǎn)轉(zhuǎn)輪可以切換攝像機(jī)鏡頭前的濾光片，以采集不同波段的圖像。光源選用200 W鹵素?zé)?，在攝像機(jī)視場形成5000 lx輻射強(qiáng)度，以克服實驗環(huán)境光照波動的影響。

3.2 圖像灰度補(bǔ)償矯正

由于在同一光源輻射環(huán)境下，不同波段的光照強(qiáng)度各不相同，且攝像機(jī)成像芯片對不同波段的敏感程度也不同，為了使得圖像亮度與目標(biāo)光譜反射強(qiáng)度相對應(yīng)，需要采集的不同波段圖像進(jìn)行亮度矯正[17]。本研究利用D65（白色）標(biāo)準(zhǔn)色板作為參照，近似認(rèn)為其對各成像波段具有相同的反射特性。標(biāo)準(zhǔn)色板可由機(jī)械裝置推送進(jìn)入靠近番茄植株的攝像機(jī)視場特定位置。通過觸發(fā)采集方式，攝像機(jī)對于同一波段下番茄植株和標(biāo)準(zhǔn)色板各采集一幅圖像，且采集過程中攝像機(jī)曝光參數(shù)保持不變。鑒于攝像機(jī)在可見光波段具有較強(qiáng)感光性能，以600 nm圖像中色板灰度g_600為參考亮度。設(shè)波段j圖像內(nèi)色板的灰度為g_j，則該波段圖像亮度的增益系數(shù)J_j=g_600/g_j。對波段的番茄植株圖像灰度用系數(shù)J_j進(jìn)行線性矯正[18]，則認(rèn)為矯正后圖像亮度與成像物體自身反射特性精確對應(yīng)。

4 多波段圖像融合

4.1 相近色目標(biāo)多波段圖像特征分析

對同一視場區(qū)域的番茄植株，采用上述多波段圖像采集系統(tǒng)獲取4幅不同波段的圖像，如圖5所示。其視場大小為300 mm×300 mm，分辨率為350×350像素。圖像中主要包括番茄莖稈、葉片、綠果，以及植株間隙透過的高亮光斑等4類像素區(qū)域。

為驗證各類像素區(qū)域圖像特征與其光譜特性的對應(yīng)關(guān)系，分別在4個波段圖像中的4類目標(biāo)像素區(qū)域取500像素，其像素灰度平均值、灰度值區(qū)間分別統(tǒng)計如圖6所示，其中柱的高度表示像素平均灰度、上下誤差線表示灰度最大和最小值。由統(tǒng)計結(jié)果可得，番茄莖、葉和果的圖像區(qū)域亮度隨著成像波長增加而增加，即在長波區(qū)域植株反射的強(qiáng)度更大，與圖2中光譜反射強(qiáng)度曲線變化趨勢相符合。在450和600 nm波段綠果亮度大于葉片，在900 nm波段則情況相反。由于莖桿反射率有較大（圖2），其在各個波段圖像中亮度均保持相對突出。此外，在600 nm波段植株果實表面的鏡面反射，使得其圖像亮度波動范圍較大。此外，透射的太陽光在短波圖像中形成了明顯光斑區(qū)域，在長波圖像區(qū)域亮度卻不明顯。由于900和950 nm圖像亮度特征相似，為了提高數(shù)據(jù)處理效率，在圖像融合算法中僅對450、600和900 nm波段圖像數(shù)據(jù)進(jìn)行處理。

觀察融合結(jié)果圖7可知，針對番茄莖、葉、綠果特定目標(biāo)進(jìn)行多波段圖像融合處理后，其與相近色背景目標(biāo)的像素亮度均呈現(xiàn)明顯差異。在原始最優(yōu)成像波段和融合結(jié)果圖像中，莖稈、葉片和綠果區(qū)域分別選取500個像素，計算綠果-葉片、莖桿-綠果以及莖桿-葉片之間的灰度差異SAD如圖8所示，其中融合1、2和3分別表示以莖桿、葉片和綠果為凸顯目標(biāo)的融合圖像。以融合1為例，與原始圖像相比，其內(nèi)部莖桿目標(biāo)與背景（葉片和綠果）之間的SAD增加、背景葉片-綠果之間SAD減少，即融合后目標(biāo)莖桿與背景之間差異增加、背景中兩類物體的差異減小。若以目標(biāo)-背景與背景-背景SAD比值r_SAD表示相近色目標(biāo)與背景的綜合相對差異，融合1、2和3中的r_SAD分別為4.98、8.84和12.11，分別是單波段圖像中最大值的2.02倍（相比450 nm圖像）、8.63倍（相比450 nm圖像）和7.89倍（相比900 nm圖像）。

采用Otsu自動閾值分割算法[18]對融合圖像進(jìn)行閾值分割，所得二值圖像如圖9所示，其融合圖像中莖桿、葉片和果實像素的識別準(zhǔn)確率分別為71.14%、60.32%和98.32%?？梢姸嗖ǘ螆D像融合后，通過常規(guī)自動分割算法可以將相近色目標(biāo)主要區(qū)域從背景中分割出來。盡管如此，針對莖稈和果實的分割結(jié)果顯示，果實表面的鏡面反射區(qū)域成為主要的錯誤分割區(qū)域，因此克服表面光滑的番茄果實表面鏡面反射，以改善目標(biāo)成像效果，是進(jìn)一步研究的重點工作。

6 結(jié) ?論

為了實現(xiàn)溫室番茄植株莖稈、葉片和綠果等3類相近色目標(biāo)的視覺識別，本研究提出了多波段圖像在線采集和融合方法，以凸顯目標(biāo)與背景圖像亮度差異。基于Lasso正則化邏輯回歸模型的稀疏解特征，對莖、葉、綠果300～1000 nm波段光譜數(shù)據(jù)進(jìn)行特征提取，確定了450、600和900 nm為最優(yōu)成像波段。由多波段圖像在線采集系統(tǒng)獲得的相近色目標(biāo)圖像亮度的相對關(guān)系，與其光譜反射強(qiáng)度保持一致?；贜SGA-II多目標(biāo)優(yōu)化算法，獲得對3個最優(yōu)成像波段圖像加權(quán)融合系數(shù)。以莖稈、葉片和綠果為目標(biāo)，其融合圖像中目標(biāo)-背景灰度SAD和背景-背景灰度SAD比值分別是單波段圖像的2.02、8.63和7.89倍。因此，多波段圖像融合可顯著提高相近色目標(biāo)和背景亮度差異并有效抑制背景物體的亮度波動。

參考文獻(xiàn)：

[1] 鄭偉. 番茄主產(chǎn)區(qū)農(nóng)戶生產(chǎn)投入產(chǎn)出調(diào)查分析[J]. 農(nóng)村經(jīng)濟(jì)與科技， 2019， 30（9）： 112-114.

ZHENG W. Investigation and analysis of farmers' production input-output in tomato main producing areas. Rural Economy and Technology， 2019， 30（9）： 112-114.

[2] 董文閣， 董莉， 劉念， 等. 日光溫室番茄套作菜豆接番茄茬口高效栽培模式[J]. 遼寧農(nóng)業(yè)科學(xué)， 2018（5）： 89-90.

DONG W， DONG L， LIU N， et al. Efficient cultivation mode of planting string beans with tomato stubble in solar greenhouse[J]. Liaoning Agricultural Science， 2018（5）： 89-90.

[3] 范琳， 陸學(xué)文， 沈建新. 江蘇省設(shè)施番茄成本收益研究[J]. 江蘇農(nóng)業(yè)科學(xué)， 2014（9）： 478-481.

FAN L， LU X， SHEN J. Study on the cost and benefit of facility tomato in Jiangsu province[J]. Jiangsu Agricultural Science， 2014（9）： 478-481.

[4] MIRANDA J， PONCE P， MOLINA A， et al. Sensing， smart and sustainable technologies for Agri-Food 4.0[J]. Computer in Industry， 2019， 108： 21-36.

[5] BECHAR A， VIGNEAULT C. Agricultural robots for field operations： Concepts and components[J]. Biosystems Engineering， 2016， 149： 94-111.

[6] 黃文江， 師越， 董瑩瑩， 等. 作物病蟲害遙感監(jiān)測研究進(jìn)展與展望[J]. 智慧農(nóng)業(yè)， 2019， 1（4）： 1-11.

HUANG W， SHI Y， DONG Y， et al. Progress and prospects of crop diseases and pests monitoring by remote sensing [J]. Smart Agriculture， 2019， 1（4）： 1-11.

[7] 吳偉斌， 馮灼峰， 洪添勝， 等. 基于近紅外反射的柑橘重疊葉片葉面積指數(shù)測量系統(tǒng)[J]. 農(nóng)業(yè)機(jī)械學(xué)報， 2013， 44（1）： 179-184.

WU W， FENG Z， HONG T， et al. Measurement system for citrus LAI based on near-infrared reflection[J]. Transactions of the CSAM， 2013， 44（1）： 179-184.

[8] MA Y， HUANG M， YANG B， et al. Automatic threshold method and optimal wavelength selection for insect-damaged vegetable soybean detection using hyperspectral images[J]. Computers and Electronics in Agriculture， 2014， 106： 102-110.

[9] 王海青， 姬長英， 陳坤杰. 基于光譜分析技術(shù)的黃瓜與莖葉識別研究[J]. 光譜學(xué)與光譜分析， 2011， 31（10）： 2834-2838.

WANG H， JI C， CHEN K. Research on identification of cucumber， stem and leaf based on spectrum analysis technology[J]. Spectroscopy and Spectral Analysis， 2011， 31（10）： 2834-2838.

[10] 白敬， 徐友， 魏新華， 等. 基于光譜特性分析的冬油菜苗期田間雜草識別[J]. 農(nóng)業(yè)工程學(xué)報， 2013， 29（20）： 128-134.

BAI J， XU Y， WEI X， et al. Weed identification from winter rape at seedling stage based on spectrum characteristics analysis [J]. Transactions of the CSAE， 2013， 29（20）： 128-134.

[11] GAN H， LEE W， ALCHANATIS V， et al. Immature green citrus fruit detection using color and thermal images[J]. Computers and Electronics in Agriculture， 2018， 152： 117-125.

[12] BAC C， HEMMING J， HENTEN E. Robust pixel-based classification of obstacle for robotic harvesting of sweet-pepper[J]. Computers and Electronics in Agriculture， 2013， 96： 148-162.

[13] YUAN T， LI W， FENG Q， et al. Spectral imaging for greenhouse cucumber fruit detection based on binocular stereovision[C]// 2010 ASABE Annual International Meeting. Pittsburgh， Pennsylvania， USA： ASABE， 2010.

[14] 袁挺， 紀(jì)超， 陳英， 等. 基于光譜成像技術(shù)的溫室黃瓜識別方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報， 2011， 42（S1）： 172-176.

YUAN T， JI C， CHEN Y， et al. Greenhouse cucumber recognition based in spectral image technology[J]. Transactions of the CSAM， 2011， 42（S1）： 172-176.

[15] MATSUI H. Sparse group lasso for multiclass functional logistic regression models[J]. Communications in Statistics： Simulation and Computation， 2019， 48（6）： 1784-1797.

[16] HECTOR G， CARLOS M， FRANCESC F. Accelerated proximal gradient descent in metric learning for kernel regression[C]// Proceedings of International Workshop on Artificial Intelligence and Pattern Recognition. Berlin， German： Springer， 2018.

[17] 馮青春， 陳建， 李翠玲， 等. 基于光度立體視覺的蔬菜秧苗葉片形態(tài)測量方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報， 2018， 49（5）： 43-50.

FENG Q， CHEN J， LI C， et al. Measurement method of vegetable seedling leaf morphology based on photometric stereo[J]. Transactions of the CSAM， 2018， 49（5）： 43-50.

[18] FENG Q， WANG X， LI C， et al. Color correction of seedling leaf image under various sunlight illuminations in greenhouse[J]. International Agricultural Engineering Journal， 2018， 37（3）： 164-170.

[19] 李浩， 劉根， 焦起超， 等. 基于NSGA-II的產(chǎn)品服務(wù)系統(tǒng)多目標(biāo)優(yōu)化配置設(shè)計[J]. 機(jī)械設(shè)計與制造， 2019（8）： 201-206.

LI H， LIU G， JIAO Q， et al. Multi-object optimal configuration design of product-service system based on NSGA-II[J]. Machinery Design & Manufacture， 2019 （8）： 201-206.

[20] REZOANA B， KHAN R， SIDDIQUE B. Digital image enhancement in Matlab： An overview on histogram equalization and specification[C]// Proceedings of 2018 International Conference on Innovation in Engineering and Technology. Piscataway， New York， USA： IEEE， 2019.

[21] SIDDIQUE B， REZOANA B， KHAN R. Digital image segmentation in Matlab： A brief study on OTSU's image thresholding[C]// Proceedings of 2018 International Conference on Innovation in Engineering and Technology. Piscataway， New York， USA： IEEE， 2019.

Abstract： Considering at the robotic management for tomato plants in the greenhouse， it is necessary to identify the stem， leaf and fruit with the similar color from the broad-band visible image. In order to highlight the difference between the target and background， and improve the identification efficiency， the multiple narrow-band image fusion method for identifying the tomato’s three similar-colored organs， including stem， leaf， and green fruit， was proposed， based on the spectral features of these organs. According to the 300-1000 nm spectral data of three organs， the regularized logistic regression model with Lasso for distinguishing their spectral characteristic was built. Based on the sparse solution of the model’s weight coefficients， the wavelengths 450， 600 and 900 nm with the maximum coefficients were determined as the optimal imaging band. The multi-spectral image capturing system was designed， which could output three images of optimal bands from the same view-field. The relationship between the organs’ image gray and their spectral feature was analyzed， and the optimal images could accurately show the organs’ reflection character at the various band. In order to obtain more significant distinctions， the weighted-fusion method based NSGA-II was proposed， which was supposed to combine the organ’s difference in the optimal band image. The algorithm’s objective function was defined to maximize the target-background difference and minimize the background-background difference. The coefficients obtained were adopted as the linear fusion factors for the optimal band images.Finally， the fusion method was evaluated based on intuitional and quantitative indexes， respectively considering the one among stem， leaf and green fruit as target， and the other two as the backgrounds. As the result showed， compared with the single optimal band image， the fused image greatly intensified the difference between the similar-colored target and background， and restrained the difference among the background. Specifically， the sum of absolute difference （SAD） was used to describe the grey value difference between the various organs， and the fusion result images’ SAD between the target and the background raised to 2.02， 8.63 and 7.89 times than the single band images. The Otsu automatic segmentation algorithm could respectively obtain the recognition accuracy of 71.14%， 60.32% and 98.32% for identifying the stem， leaf and fruit on the fusion result image. The research was supposed as a reference for the identification on similar-colored plant organs under agricultural condition.

Key words： agricultural robot; tomato plant; similar-colored organ; spectral feature; image fusion; NSGA-II