基于機(jī)器視覺(jué)的田間小麥開(kāi)花期判定方法

劉 平 劉立鵬 王春穎 朱衍俊 王宏偉 李 祥

(1.山東農(nóng)業(yè)大學(xué)機(jī)械與電子工程學(xué)院， 泰安 271018; 2.山東農(nóng)業(yè)大學(xué)生命科學(xué)學(xué)院， 泰安 271018)

0 引言

小麥花期決定了小麥生長(zhǎng)期，影響小麥最終產(chǎn)量及性狀穩(wěn)定程度[1]。不同品種小麥開(kāi)花期及開(kāi)花性狀不同；相同品種小麥在不同地區(qū)種植，開(kāi)花情況也不同。目前，大量小麥育種材料和種質(zhì)的花期判定主要以人工估算小花與小穗比例的方式，勞動(dòng)強(qiáng)度大，主觀性強(qiáng)。因此研究一種高效、準(zhǔn)確的檢測(cè)技術(shù)替代人工十分必要。

基于機(jī)器視覺(jué)的表型獲取是一種快速、低成本、非破壞性的技術(shù)，可實(shí)現(xiàn)目標(biāo)性狀的精確提取[2-4]。目前小麥開(kāi)花期檢測(cè)主要通過(guò)提取圖像特征，如：顏色、紋理特征等導(dǎo)入支持向量機(jī)訓(xùn)練[5]，或借助卷積神經(jīng)網(wǎng)絡(luò)對(duì)標(biāo)注后的開(kāi)花穗及未開(kāi)花穗進(jìn)行訓(xùn)練[6]，從而實(shí)現(xiàn)對(duì)開(kāi)花小麥的識(shí)別。但以上研究沒(méi)有排除光照條件對(duì)判定的影響，麥穗反光較明顯時(shí)，會(huì)影響識(shí)別精度?，F(xiàn)有研究?jī)H對(duì)開(kāi)花麥穗進(jìn)行了識(shí)別，并未根據(jù)小花的個(gè)數(shù)及密度等信息判定開(kāi)花情況，無(wú)法提供客觀、全面的數(shù)據(jù)。

近年來(lái)，有很多學(xué)者對(duì)田間作物的顏色分量進(jìn)行研究，提出基于不同分量的預(yù)處理方法，大幅提升了目標(biāo)辨識(shí)度[7-11]。其中綜合顏色特征可根據(jù)各空間對(duì)目標(biāo)的區(qū)分效果，進(jìn)行線性疊加，解決光照不均及雜波較多的問(wèn)題[12-13]。在目標(biāo)識(shí)別和分割算法方面，主要有：基于卷積神經(jīng)網(wǎng)絡(luò)的檢測(cè)方法，以RCNN、YOLO等模型為代表[14-16]；基于基本分類(lèi)和回歸的K-means、K-Nearest Neighbors聚類(lèi)算法[17-18]；基于顏色、亮度、紋理等特征和距離的超像素分割方法[19-20]。QURESHI等[21]對(duì)比K-Nearest Neighbors聚類(lèi)、超像素分割方法，證明超像素分割在處理邊界及增強(qiáng)貼疊情況下的分割精度方面更有優(yōu)勢(shì)。

與水稻、玉米等農(nóng)作物相比，小麥的小花和小穗形態(tài)結(jié)構(gòu)小，花與穗顏色差異不明顯[22-23]，均增加了識(shí)別難度。本文采用自適應(yīng)調(diào)節(jié)的綜合顏色特征，降低光照及環(huán)境噪聲造成的影響，同時(shí)改進(jìn)超像素分割算法，提高分割精度及運(yùn)算速度，最終根據(jù)分割出的小花與小穗個(gè)數(shù)比值計(jì)算開(kāi)花率并完成花期判定。

1 小麥圖像預(yù)處理

1.1 數(shù)據(jù)獲取

圖像數(shù)據(jù)拍攝地點(diǎn)為山東省泰安市山東農(nóng)業(yè)大學(xué)農(nóng)學(xué)實(shí)驗(yàn)站(36°9′52″N, 117°9′21″E)，拍攝期間多為晴朗天氣，陰天、降雨天氣較少。圖像數(shù)據(jù)由數(shù)據(jù)采集機(jī)器人(圖1)獲取，相機(jī)采用杰銳微通DW800_2.9mm型攝像頭，為提高運(yùn)算速度，后續(xù)圖像處理尺寸被調(diào)整至800像素×600像素。

1.2 綜合顏色特征

當(dāng)照明均勻時(shí)，顏色指數(shù)可明顯區(qū)分各特征區(qū)域，如過(guò)紅顏色分量(ExR)和過(guò)綠顏色分量(ExG)可有效地從背景雜波中區(qū)分出麥穗及葉片[8]，如圖2所示，ExR比ExG更能明顯區(qū)分小穗及小花。然而，當(dāng)局部光照不均勻時(shí)，ExR及ExG則會(huì)造成誤分類(lèi)(圖2)，其中標(biāo)記區(qū)域?yàn)榉垂鈪^(qū)，影響目標(biāo)判別。

ExR=1.3IR-IG

(1)

ExG=1.3IG-IR

(2)

式中IR——圖像中該點(diǎn)的紅色像素值

IG——圖像中該點(diǎn)的綠色像素值

HSV顏色空間的S分量對(duì)光照變化不敏感[10,13]，可一定程度上減弱光照不均勻?qū)ψR(shí)別精度的影響。

在ExR中，除去光照影響，土壤噪聲影響也較大，紅綠歸一化顏色分量(NGRDI)反映植被與土壤背景的差異[8-9]，能定量說(shuō)明小麥的生長(zhǎng)狀態(tài)，通過(guò)NGRDI過(guò)濾土壤噪聲。計(jì)算式為

(3)

NGRDI介于-1～1之間，當(dāng)其值為負(fù)或接近零時(shí)，表征土壤及葉片；當(dāng)其值為正時(shí)表征麥穗。

利用ExR、S分量和NGRDI顏色空間構(gòu)造的綜合顏色特征(圖3)，可以從雜波背景中快速區(qū)分小穗及小花，具有很強(qiáng)的區(qū)分能力。為降低光照的影響，以α、β和γ參數(shù)調(diào)整各空間比重，同時(shí)，通過(guò)濾波消除綜合顏色特征的高頻及低頻噪聲。

1.3 各指標(biāo)權(quán)重自適應(yīng)調(diào)節(jié)

為判定不同光照條件下，各顏色空間取不同權(quán)重時(shí)對(duì)圖像的影響情況，對(duì)不同時(shí)刻(圖4)的田間小麥圖像計(jì)算亮度分量，圖4中由上到下依次為08：00、12：00、16：00時(shí)拍攝的圖像。該分量表示光照對(duì)圖像質(zhì)量的影響程度，其比值越接近1，光照影響越小[12]，計(jì)算公式為

圖4 不同時(shí)刻的光影響情況Fig.4 Light influences at different periods of time

(4)

式中R——亮度分量比值

M——光影響區(qū)域中的像素?cái)?shù)

N——正常區(qū)域中的像素?cái)?shù)

CCF(x,y)——對(duì)應(yīng)圖像坐標(biāo)(x,y)點(diǎn)處的綜合顏色特征值

不同時(shí)刻的亮度分量比值如圖5所示。S分量所占權(quán)重對(duì)光照區(qū)域平均灰度與正常區(qū)域平均灰度的比值(R)影響較小，而ExR和NGRDI所占權(quán)重對(duì)R有較大影響。為減弱光照對(duì)圖像造成的影響，ExR權(quán)重參數(shù)α取值0.1～0.3，S分量權(quán)重參數(shù)β取值1.5-α-γ，NGRDI權(quán)重參數(shù)γ取值0.7～0.9。

圖5 不同時(shí)刻R值隨各指標(biāo)變化情況Fig.5 R values varied with each indicator over different periods of time

為增強(qiáng)綜合顏色特征中各部位的差異，計(jì)算α在0.1～0.3、γ在0.7～0.9之間的圖像臨近對(duì)比度。針對(duì)不同情況下圖像的表現(xiàn)情況，自動(dòng)取臨近對(duì)比度最高點(diǎn)處的各分量權(quán)重作為α、β、γ值。臨近對(duì)比度隨各空間權(quán)重的變化情況如圖6所示。計(jì)算公式為

圖6 臨近對(duì)比度隨各空間權(quán)重的變化情況Fig.6 Near-contrast varied with individual color space over different weights

(5)

式中C——臨近對(duì)比度

δ(i,j)——相鄰像素間灰度差

Pδ(i,j)——相鄰像素間灰度差的像素分布概率

圖7所示為使用Matlab灰度轉(zhuǎn)換和綜合顏色特征轉(zhuǎn)換的結(jié)果，其中綜合顏色特征可有效減弱光照影響且明顯區(qū)分復(fù)雜環(huán)境中的小花及小穗，便于下一步的精確分割。

圖7 不同品種小麥開(kāi)花期圖像轉(zhuǎn)換效果Fig.7 Image conversion effects of different varieties of wheat flowering period

2 小麥開(kāi)花期的確定

2.1 小穗與小花分割方法

小麥在開(kāi)花期，麥穗發(fā)育尚未完全，傾角大且重疊程度高。為精確分割小花及小穗邊界并提高計(jì)算速度，提出基于灰度變化函數(shù)和中心距離函數(shù)的超像素分割算法聚類(lèi)規(guī)則。同時(shí)計(jì)算出各像素點(diǎn)的相似度，最終將具有同質(zhì)特征的相鄰像素組成不同的圖像區(qū)域?；叶茸兓荻取⒕嚯x變化梯度、預(yù)分配圖像區(qū)域尺寸和相似度的計(jì)算公式為

dc=CCFj-CCFi

(6)

(7)

(8)

(9)

式中CCFj——圖像j點(diǎn)綜合顏色特征值

CCFi——圖像i點(diǎn)綜合顏色特征值

dc——綜合顏色特征的灰度變化梯度

ds——距離變化梯度

K——構(gòu)造圖像區(qū)域的個(gè)數(shù)

u、v——輸入圖像的橫縱方向像素?cái)?shù)

S——預(yù)分配圖像區(qū)域尺寸

T——灰度梯度變化范圍閾值

D′——聚類(lèi)中心周?chē)?S范圍內(nèi)各點(diǎn)相似度

優(yōu)化超像素聚類(lèi)搜索規(guī)則(圖8)，首先，將聚類(lèi)搜索范圍限制在中心點(diǎn)2S范圍內(nèi)，隨后以二維Same卷積的方式遍歷整個(gè)圖像，提高運(yùn)算速度。

圖8 聚類(lèi)搜索規(guī)則示意圖Fig.8 Schematics of clustering searching rules

目標(biāo)區(qū)域聚類(lèi)后，仍有部分圖像區(qū)域因連貫弱、距離變化梯度大被劃分為不同類(lèi)別。為解決這些問(wèn)題，提出優(yōu)化搜索路徑算法。從被初始聚類(lèi)的圖像區(qū)域中心點(diǎn)出發(fā)，沿8鄰域方向遞進(jìn)搜索邊界點(diǎn)，下位點(diǎn)與當(dāng)前點(diǎn)的D′值相差大時(shí)終止該方向搜索，如圖9所示，其中綠、黃色區(qū)域分別為初始聚類(lèi)區(qū)域和優(yōu)化后的聚類(lèi)區(qū)域。

圖9 優(yōu)化搜索路徑示意圖Fig.9 Schematic of optimization search path

為提高分割精度及速度，提出了基于灰度變化和中心距離的超像素分割算法聚類(lèi)規(guī)則。為避免彩色圖像在田間環(huán)境噪聲點(diǎn)過(guò)多而影響聚類(lèi)效果，優(yōu)化圖像區(qū)域搜索線路，避免出現(xiàn)小目標(biāo)欠分割現(xiàn)象。利用所提出的改進(jìn)超像素分割方法，可實(shí)現(xiàn)小花和小穗的快速、精準(zhǔn)分割，結(jié)果如圖10所示，其中標(biāo)注區(qū)域?yàn)榍贩指顓^(qū)域及改進(jìn)后的分割區(qū)域。

圖10 超像素分割結(jié)果Fig.10 Results of simple linear iterative clustering

2.2 小麥開(kāi)花期判定方法

小麥開(kāi)花順序以麥穗中部偏上的位置為中心呈離心規(guī)律依次開(kāi)放[24]，開(kāi)花期為5～6 d，前3 d每穗平均開(kāi)花率分別為27.3%、45.2%和77.7%[23-24]。以開(kāi)花穗及未開(kāi)花穗的比例無(wú)法精確測(cè)定實(shí)際花期，同時(shí)對(duì)開(kāi)花情況也無(wú)較強(qiáng)的指導(dǎo)意義。因此花期及開(kāi)花狀態(tài)判定應(yīng)以小花及小穗數(shù)的比值為依據(jù)，來(lái)反映各品種小麥的開(kāi)花情況。

綜合顏色特征將小花、小穗及周邊環(huán)境劃分為3大區(qū)域，各區(qū)域灰度區(qū)分較大，而組內(nèi)差距較小，如圖11所示，小花灰度均分布在35～55之間，小穗灰度主要為75～100，葉片及土壤等灰度大于150。

圖11 小花、小穗及葉片的灰度分布情況Fig.11 Gray distribution of florets, spikelets and leaves

對(duì)聚類(lèi)后的各圖像塊判定平均灰度，確定所屬類(lèi)別，同時(shí)去除對(duì)比度低的模糊區(qū)域，進(jìn)而分割小花和小穗。然后，分別計(jì)算小花和小穗的連通域個(gè)數(shù)，同時(shí)分別確定其個(gè)數(shù)，并以小花與小穗的比值作為開(kāi)花率，當(dāng)開(kāi)花率超過(guò)50%時(shí)，讀取圖像拍攝時(shí)間并記錄，最終判定開(kāi)花期。育種工作者可通過(guò)圖12所示的操作軟件完成數(shù)據(jù)的記錄及調(diào)用。

圖12 軟件界面Fig.12 Software interface

針對(duì)小麥育種的小區(qū)種植方式(圖13)，選擇某小區(qū)多幅圖像，或以固定幀率截取視頻中圖像的方式，對(duì)圖像中的小花及小穗數(shù)量進(jìn)行累加，最終計(jì)算的開(kāi)花率代表該小區(qū)的開(kāi)花情況。

圖13 小區(qū)種植方式Fig.13 Planting practices of plot

3 實(shí)驗(yàn)與結(jié)果分析

3.1 算法適應(yīng)性分析

為檢驗(yàn)算法適應(yīng)性，對(duì)不同天氣、不同拍攝角度和不同拍攝距離的田間小麥圖像進(jìn)行驗(yàn)證。天氣包含晴天、多云及陰天，拍攝角度為側(cè)拍及傾斜30°～60°拍攝，所拍攝圖像涵蓋1～5株/幅、6～10株/幅及大于10株/幅的情況。如圖14所示，為部分田間小麥分類(lèi)效果，從左到右依次為原圖、小花分割結(jié)果、小穗分割結(jié)果。

圖14 不同條件下的小花與小穗分割效果Fig.14 Segmentations of florets and spikelets in different situations

由圖14可知，本文所提出的自適應(yīng)調(diào)節(jié)的綜合顏色特征能適應(yīng)各時(shí)間段的復(fù)雜光照條件，不會(huì)因部分葉片及麥穗的反光造成誤判，同時(shí)明顯區(qū)分小花及小穗，為下一步精確分割創(chuàng)造前提?；谥行木嚯x函數(shù)和灰度變化函數(shù)的超像素分割算法及改進(jìn)的路徑搜索算法，在種植密度大、貼疊嚴(yán)重時(shí)，仍能對(duì)小花和小穗邊界精確分割。

3.2 算法有效性分析

從采集到的457幅圖像中選擇10幅穗數(shù)不同、品種不同、拍攝角度及種植密度不同的圖像進(jìn)行計(jì)算與分析，分別以人工方式和本文算法對(duì)小花和小穗計(jì)數(shù)并記錄運(yùn)算時(shí)間，統(tǒng)計(jì)結(jié)果如表1所示，平均運(yùn)行時(shí)間為0.172 s，小花平均識(shí)別精度為91%，小穗平均識(shí)別精度為90.9%。

表1 計(jì)數(shù)統(tǒng)計(jì)結(jié)果Tab.1 Counting statistics results

由表1得出，在種植密度近似相同的條件下，對(duì)處于不同開(kāi)花階段的小麥，本文算法能實(shí)現(xiàn)精確判斷。比較編號(hào)4、5得，當(dāng)麥芒長(zhǎng)度較長(zhǎng)且密度較大時(shí)，超像素分割算法無(wú)法精確分割被遮擋小穗，導(dǎo)致小穗識(shí)別精度降低(圖15)。當(dāng)小花形態(tài)結(jié)構(gòu)較小時(shí)(如編號(hào)7、8、9)，由于所占像素面積小，易被臨近圖像區(qū)域合并，導(dǎo)致算法計(jì)數(shù)結(jié)果較大程度小于實(shí)際數(shù)量。

圖15 各編號(hào)原始圖像Fig.15 Sample numbers corresponded with pictures

開(kāi)花率反映小麥開(kāi)花情況，當(dāng)開(kāi)花率達(dá)50%時(shí)即判定該區(qū)域小麥處于花期[23]。開(kāi)花率計(jì)算公式為

(10)

式中Pflowers——開(kāi)花率nflorets——小花總數(shù)

nspikelets——小穗總數(shù)

為檢驗(yàn)本文算法的有效性，計(jì)算圖15中不同品種和特征的小麥開(kāi)花率，統(tǒng)計(jì)結(jié)果如表2所示，其中差值越小表明預(yù)測(cè)結(jié)果與實(shí)際值越接近。稀疏種植或近距離拍攝的情況下(編號(hào)1～5)，開(kāi)花率波動(dòng)幅度大，無(wú)法客觀反映算法性能；正常視覺(jué)拍攝的情況下(編號(hào)6～10)，計(jì)算開(kāi)花率較準(zhǔn)確，平均差值僅為1.16%。

表2 開(kāi)花率統(tǒng)計(jì)結(jié)果Tab.2 Flowering rate statistics results %

針對(duì)稀疏種植或近距離拍攝的情況，使用精確率和召回率定量評(píng)估小花及小穗識(shí)別的有效性。

對(duì)比文獻(xiàn)[5]和文獻(xiàn)[6]小麥單穗開(kāi)花情況的識(shí)別精度，本文算法應(yīng)用于單穗圖像的小花及小穗識(shí)別與分割結(jié)果如圖16所示，從上到下依次為編號(hào)11～14。統(tǒng)計(jì)結(jié)果如表3所示，其中，本文算法對(duì)小花及小穗識(shí)別的精確率分別為91.80%和92.55%，高于文獻(xiàn)[5-6]中開(kāi)花穗的識(shí)別精確率85.38%和82.9%，同時(shí)小花及小穗的召回率分別為92.56%和89.69%，高于文獻(xiàn)[6]的召回率84.54%。

表3 單穗小麥小花及小穗識(shí)別結(jié)果Tab.3 Flowering rate statistics results

圖16 單穗小麥分割效果Fig.16 Segmentation effect of single ears wheat

4 結(jié)論

(1)根據(jù)光照情況及清晰度，自適應(yīng)調(diào)節(jié)綜合顏色特征的ExR、S分量和NGRDI分量，實(shí)現(xiàn)了去除光照影響的同時(shí)保證小麥各部位的差異性。

(2)基于中心距離函數(shù)及灰度變化函數(shù)改進(jìn)超像素分割方法，同時(shí)優(yōu)化其路徑搜索算法，實(shí)現(xiàn)了小花和小穗的快速及精確分割。

(3)通過(guò)不同條件下的田間小麥圖像驗(yàn)證本文所提出的算法。算法平均運(yùn)行時(shí)間為0.172 s，小花平均識(shí)別精度為91%，小穗平均識(shí)別精度為90.9%，預(yù)測(cè)開(kāi)花率與實(shí)際開(kāi)花率的平均誤差為1.16%。對(duì)單穗小麥的小花與小穗識(shí)別精確率分別為91.80%和92.55%，優(yōu)于其他檢測(cè)小麥開(kāi)花期的算法。