劉哲, 烏偉, 張善文, 崔倩倩, 李瑞洋
(西京學(xué)院信息工程學(xué)院, 西安 710123)
種植密度影響小麥生長的許多方面,包括產(chǎn)量、水和肥料需求以及對病原體的易感性等。小麥的最佳種植密度提供了最佳的小麥冠層結(jié)構(gòu),對其籽粒產(chǎn)量和品質(zhì)有重要的影響,及時(shí)準(zhǔn)確對田間苗數(shù)進(jìn)行計(jì)算對于指導(dǎo)生產(chǎn)具有積極意義[1-3]。在傳統(tǒng)測產(chǎn)過程中,首先要人工獲得單位面積內(nèi)的小麥穗數(shù)和穗粒數(shù),然后根據(jù)籽粒的千粒質(zhì)量計(jì)算得到小麥的產(chǎn)量,這種估產(chǎn)方法往往耗時(shí)耗力,效率低下。近年來,隨著圖像處理技術(shù)和人工智能技術(shù)的發(fā)展,逐步被應(yīng)用于農(nóng)作物生長管理中,對改善傳統(tǒng)農(nóng)業(yè)操作方式和實(shí)現(xiàn)農(nóng)業(yè)智慧化等方面做了有意義地探索工作。在小麥育種和生長管理過程中,圖像處理技術(shù)和人工智能的應(yīng)用主要體現(xiàn)在病害診斷[4-6]、品種分類[7-9]、不完善籽粒檢測[10-12]、產(chǎn)量預(yù)測[13-16]、小麥籽粒形態(tài)測量[17-20]等方面。
在農(nóng)作物測產(chǎn)方面,龔紅菊[21]基于彩色攝像機(jī)拍攝成熟期水稻群體圖像,運(yùn)用分形理論和圖像紋理分析方法分析水稻群體圖像的分形特征,完成水稻穗頭計(jì)數(shù),用多元線性回歸方法建立單位面積水稻穗頭與水稻產(chǎn)量的數(shù)學(xué)模型,模型估產(chǎn)精度為92.57%。Reza等[22]提出了一種基于形態(tài)運(yùn)算和連通邊界的水稻植株數(shù)自動圖像處理計(jì)數(shù)方法,其計(jì)數(shù)精度達(dá)到了89%~93%。劉濤等[14]利用圖像的顏色特征和紋理特征對大田環(huán)境下麥穗圖像進(jìn)行分割,通過對撒播和條播各35 幅樣本圖像進(jìn)行計(jì)數(shù)實(shí)驗(yàn),準(zhǔn)確率分別為95.77%和96.89%,該方法在麥穗圖像沒有粘連時(shí)計(jì)數(shù)精度較高,當(dāng)麥穗粘連時(shí)該方法精度較差。范夢揚(yáng)等[15]采用支持向量機(jī)學(xué)習(xí)方法精確提取小麥麥穗輪廓,同時(shí)構(gòu)建麥穗特征數(shù)據(jù)庫對麥穗進(jìn)行計(jì)數(shù),平均識別精度高于93%。杜世偉等[23]提出了一種基于圖像處理技術(shù)的小麥小穗拋物線分割方法,實(shí)現(xiàn)了小穗數(shù)及麥粒數(shù)的同步識別計(jì)數(shù),使用3 個(gè)品種小麥穗圖像對麥粒數(shù)計(jì)數(shù)方法進(jìn)行驗(yàn)證,結(jié)果表明,麥粒數(shù)計(jì)數(shù)的平均絕對誤差為2.11%,平均相對誤差為5.62%。Fernandez-Gallego等[24]提出選擇拉普拉斯頻率濾波器去除圖像中出現(xiàn)的低頻和高頻元素,使用中值濾波器減少存在于麥穗周圍的噪聲,最后通過查找最大值分割局部峰值并確定圖像中的麥穗數(shù)目,其算法識別精度達(dá)到了90%。Zhu等[25]提出了一種粗檢測和細(xì)檢測相結(jié)合的兩步小麥穗檢測方法,在粗檢測步驟中密集提取SIFT尺度不變特征作為低層視覺描述符,選取候選的麥穗?yún)^(qū)域;在細(xì)檢測步驟中使用Fisher向量(FV)編碼生成中層表示,去除非麥穗?yún)^(qū)域,結(jié)果表明,與人工觀測相比,自動檢測麥穗計(jì)數(shù)法是可以接受的。Li 等[26]利用麥穗植株圖像中穗頭的顏色和紋理等特征參數(shù),并結(jié)合神經(jīng)網(wǎng)絡(luò)來檢測小麥穗頭,檢測正確率在80%左右,但是該研究是在基于實(shí)驗(yàn)室環(huán)境下所培養(yǎng)的盆栽小麥上進(jìn)行的,并未應(yīng)用到實(shí)際田間測產(chǎn)中。李毅念等[27]基于凹點(diǎn)檢測匹配連線方法實(shí)現(xiàn)粘連麥穗的分割,進(jìn)而識別出圖像中的麥穗數(shù)量,通過計(jì)算圖像中每個(gè)麥穗的面積像素點(diǎn)數(shù)得到每個(gè)麥穗的籽粒數(shù),該方法在識別3個(gè)品種田間麥穗單幅圖像中麥穗數(shù)量的平均識別精度為91.63%,籽粒數(shù)的平均預(yù)測精度為90.73%;對3 個(gè)品種穗數(shù)、籽粒數(shù)及產(chǎn)量預(yù)測的平均精度為93.83%、93.43%、93.49%。在作物種植密度估計(jì)方面,Liu等[28]在超綠色空間利用OTSU方法從背景中提取小麥幼苗信息,通過分析田間重疊區(qū)域的特征參數(shù),建立了基于鏈碼的骨架優(yōu)化方法和相應(yīng)的方程,用于重疊區(qū)域小麥幼苗的自動計(jì)數(shù),結(jié)果表明,該方法可以有效地計(jì)算小麥苗數(shù),平均準(zhǔn)確率為89.94%,最高準(zhǔn)確率為99.21%。Nasim等[29]通過低空無人機(jī)獲取地面水稻植株圖像,基于形態(tài)學(xué)操作和連通成分邊界的自動圖像處理方法對獲取的圖像進(jìn)行自動處理,計(jì)算移栽后的水稻植株數(shù)量,結(jié)果表明,該算法平均準(zhǔn)確率為87%。Liu等[30]使用圖像分析技術(shù)提取幼苗,計(jì)算幼苗的覆蓋度和重疊葉的角點(diǎn)數(shù),利用多元回歸分析構(gòu)建小麥幼苗數(shù)量估算模型,當(dāng)該模型應(yīng)用于不同品種時(shí),決定系數(shù)R2始終大于0.85,表明該模型適用于不同品種,隨著葉片階段或密度的增加,模型的準(zhǔn)確性下降,但最小決定系數(shù)R2仍然大于0.83,表明該模型對不同葉齡和密度的幼苗具有良好的適應(yīng)性。Liu等[31]從地面沿行方向拍攝得到麥苗RGB高分辨率圖像,統(tǒng)計(jì)表明,沿行方向的相鄰麥苗之間的間距是獨(dú)立的,并且在經(jīng)歷行距變化條件下遵循伽馬分布,然后導(dǎo)出伽馬計(jì)數(shù)模型以估計(jì)麥苗密度,估計(jì)精度達(dá)到了90%。
綜上所述,目前運(yùn)用圖像處理技術(shù)對田間小麥種植密度進(jìn)行估計(jì)主要是通過圖像分析的方法對小麥幼苗(幼苗的1葉至3葉期)進(jìn)行識別和計(jì)數(shù),從而得到小麥的種植密度。但是復(fù)雜環(huán)境對小麥的出苗率和成活率會造成很大的影響,需要持續(xù)對小麥各個(gè)生長階段進(jìn)行監(jiān)測,通過小麥生長密度的變化來評估小麥的長勢,這就需要一種比較通用的小麥種植密度估計(jì)方法。為此,本文提出一種基于多元嶺回歸模型估算小麥種植密度的方法,該方法以麥苗的邊緣像素總和、麥苗面積像素總和、麥苗局部紋理特征作為輸入?yún)?shù),麥苗密度作為輸出參數(shù),得到麥苗密度與特征參數(shù)間的多遠(yuǎn)回歸方程,具有一定的通用性且估計(jì)精度較高。
麥苗圖像拍攝地點(diǎn)在陜西省寶雞市農(nóng)業(yè)科學(xué)研究院試驗(yàn)場,位于寶雞市岐山縣鳳鳴鎮(zhèn),拍攝時(shí)間為2018年10月30日至11月05日下午,小麥正處于分蘗期,生長態(tài)勢良好,品種分別為西農(nóng)529、西農(nóng)511、西農(nóng)583、陜農(nóng)33,獲取圖像樣本分別為100、100、150、150幅。拍攝器材選用陜西維視MV-E工業(yè)相機(jī),采用千兆以太網(wǎng)絡(luò)進(jìn)行傳輸,相機(jī)功耗低、散熱良好,具有圖像質(zhì)量清晰、色彩還原性好和工作穩(wěn)定等特點(diǎn),支持IO信號輸入輸出,圖像分辨率為2 560×1 920像素,圖像格式為JPG,相機(jī)拍攝視場大小為0.75 m×0.40 m。在晴天微風(fēng)條件下進(jìn)行垂直拍攝,拍攝高度距離地面80 cm,拍照時(shí)間15:30~16:30。
對采集地麥苗圖像進(jìn)行處理,首先,將采集的彩色麥苗圖像從RGB顏色空間轉(zhuǎn)到Lab顏色空間,基于改進(jìn)的K-means算法在Lab空間對麥苗進(jìn)行分割;其次,對訓(xùn)練圖像進(jìn)行標(biāo)準(zhǔn)化,求得圖像的面積特征、輪廓特征和LBP紋理特征,將其特征值和麥苗數(shù)作為輸入?yún)?shù),利用多元嶺回歸得到麥苗圖像特征值與麥苗數(shù)間的函數(shù)關(guān)系;最后,將測試圖像特征值代入函數(shù),計(jì)算麥苗密度值。
RGB顏色空間無法直接轉(zhuǎn)換成Lab,需要先轉(zhuǎn)換成為XYZ顏色空間,再轉(zhuǎn)換到Lab顏色空間,再通過式(2)轉(zhuǎn)換到Lab顏色空間。
(1)
(2)
(3)
式中,Xn、Yn、Zn一般默認(rèn)是95.047、100.000、108.883。
K-means算法中K個(gè)聚類中心是事先給定的,由于無法確定數(shù)據(jù)集的的合適類別個(gè)數(shù),可能導(dǎo)致無法得到有效的聚類結(jié)果。為此,本文對K-means算法進(jìn)行改進(jìn)。
在此定義2個(gè)參數(shù)ρi和δi,ρi表示第i個(gè)數(shù)據(jù)點(diǎn)的局部密度,δi表示第i個(gè)數(shù)據(jù)點(diǎn)與最近鄰類間距離。首先,求出數(shù)據(jù)xi與數(shù)據(jù)集中其他數(shù)據(jù)點(diǎn)xj之間的距離dij。
(4)
式中,dc為截?cái)嗑嚯x。
(5)
根據(jù)式(4)得到所有數(shù)據(jù)點(diǎn)的局部密度后,按照密度值由大到小排序,取前k個(gè)密度值較大的數(shù)據(jù)點(diǎn),于是得到δi。
(6)
式中,l代表密度值最大的k個(gè)數(shù)據(jù)點(diǎn)。
(7)
計(jì)算出每個(gè)像素點(diǎn)的(ρi,δi)值,設(shè)ti=ρiδi,依據(jù)麥苗圖像由麥苗和土壤2部分構(gòu)成,選取ti值最大的2個(gè)像素點(diǎn)作為麥苗圖像的2個(gè)聚類中心,然后依據(jù)歐氏距離相近原則,將所有像素點(diǎn)進(jìn)行聚類。
針對麥苗彩色圖像像素的三顏色分量之間存在的高度相關(guān)性特點(diǎn),本文采用基于Lab 顏色空間改進(jìn)的K-means算法進(jìn)行彩色圖像分割。
為了對獲取的麥苗圖像進(jìn)行密度估計(jì),首先對麥苗圖像進(jìn)行標(biāo)準(zhǔn)化。文中獲取的麥苗圖像分辨率為2 560×1 920像素,把每幅圖像裁剪成100個(gè)256×192像素的標(biāo)準(zhǔn)塊圖像。每種小麥分別選取5 000個(gè)標(biāo)準(zhǔn)塊圖像作為訓(xùn)練圖像,100幅標(biāo)準(zhǔn)塊圖像作為測試圖像。
對于訓(xùn)練圖像,分別提取圖像的面積特征、輪廓特征、LBP紋理特征作為輸入。
①面積特征定義為:麥苗在圖像中的像素?cái)?shù),用a來表示。
②輪廓特征定義為:麥苗邊緣在圖像中的像素?cái)?shù),用c來表示。
③LBP紋理特征定義為:LBP麥苗紋理特征圖像的直方圖,用b來表示。
對于給定的訓(xùn)練圖像Ii,i=1,2,…,N,N為輸入訓(xùn)練圖像的總數(shù),分別提取Ii的面積特征ai、輪廓特征ci、LBP紋理特征bi作為訓(xùn)練輸入向量,xi=[ai,bi,ci],Ii中的麥苗密度yi作為訓(xùn)練輸出,于是{xi,yi}作為訓(xùn)練對式(8)訓(xùn)練輸入和輸出映射函數(shù)的參數(shù)。
(8)
對于{xi,yi},多元嶺回歸模型如式(9)所示。
(9)
這里W∈1×3和b∈1×1分別表示權(quán)矩陣和偏置向量,稱為弗羅貝尼烏斯范數(shù)(簡稱F-范數(shù)),λ是一個(gè)控制懲罰和擬合之間權(quán)衡的參數(shù)。求解(9)式等效于對式(10)進(jìn)行求解。
(10)
θ=-(QTQ)-1QTP
(11)
多元嶺回歸估算麥苗密度算法流程如圖1所示。
圖1 多元嶺回歸估算麥苗密度算法流程
為了驗(yàn)證本文方法的性能,采用決定系數(shù)R2、統(tǒng)計(jì)誤差Pe和統(tǒng)計(jì)精度Pa三個(gè)指標(biāo)參數(shù)進(jìn)行評價(jià),這3個(gè)指標(biāo)參數(shù)計(jì)算公式分別如式(12)~(14)所示。
(12)
(13)
(14)
式中,M代表總共要估計(jì)的麥苗密度圖像數(shù),i代表第i個(gè)麥苗圖像,Yi代表本文算法對第i個(gè)麥苗圖像的麥苗密度估計(jì)結(jié)果,Xi代表人工對第i個(gè)麥苗圖像的麥苗密度計(jì)數(shù)結(jié)果。
對采集的原始麥苗圖像用本文所提的方法進(jìn)行處理,分別得到麥苗圖像的分割圖像、輪廓圖像、紋理圖像,結(jié)果如圖2所示??梢钥闯?,用改進(jìn)K-means算法對麥苗圖像進(jìn)行分割,能很好的把麥苗從背景中分割出來;在麥苗分割圖像的基礎(chǔ)上,運(yùn)用圖像邊緣提取方法得到輪廓圖像,再經(jīng)LBP方法獲得紋理圖像。LBP是一種用來描述圖像局部紋理特征的算子,具有旋轉(zhuǎn)不變性和灰度不變性等顯著的優(yōu)點(diǎn)。基于麥苗LBP紋理圖像統(tǒng)計(jì)直方圖獲得麥苗訓(xùn)練圖像塊的面積特征、輪廓特征和紋理統(tǒng)計(jì)直方圖特征(圖3),用這些特征參數(shù)就能夠訓(xùn)練和計(jì)算麥苗的種植密度。
圖2 麥苗圖像處理結(jié)果比較
圖3 麥苗LBP紋理圖像的統(tǒng)計(jì)直方圖
圖4給出了4種品種小麥人工測量麥苗密度與算法估計(jì)麥苗密度間的線性相關(guān)關(guān)系。由圖4可知,4個(gè)品種利用圖像處理算法估測的麥苗密度與人工實(shí)測麥苗密度具有極其顯著的線性相關(guān)性,所有品種的計(jì)數(shù)預(yù)測值與實(shí)測值的決定系數(shù)R2都大于0.85。根據(jù)算法估計(jì)的麥苗密度分別是“西農(nóng)529”是318.6萬株·hm-2、“西農(nóng)511”是307.95萬株·hm-2、“西農(nóng)583”是297.9萬株·hm-2、“陜農(nóng)33”是311.25萬株·hm-2。
圖4 4個(gè)品種小麥人工測量麥苗密度與算法估計(jì)麥苗密度間的線性相關(guān)關(guān)系
人工實(shí)測麥苗密度和算法估計(jì)麥苗密度的統(tǒng)計(jì)分析比較結(jié)果如表1所示。可以看出,4個(gè)小麥品種的麥苗密度平均統(tǒng)計(jì)誤差是6.01%,平均統(tǒng)計(jì)精度是93.99%,比人工實(shí)測的結(jié)果偏小。
表1 人工計(jì)數(shù)與算法計(jì)數(shù)統(tǒng)計(jì)比較
圖5給出了同一幅麥苗圖像在RGB顏色空間和Lab顏色空間的圖像顏色分量變化特征,可以看出,R顏色值、G顏色值和B顏色值變化趨勢比較一致,具有很強(qiáng)的相關(guān)性,由麥苗向土壤過度時(shí)或者由土壤向麥苗過度時(shí),各顏色值沒有明顯的變化,所以在RGB顏色空間很難精確地表示麥苗顏色和土壤顏色之間明顯的差距。同時(shí),由圖5可以看出,Lab顏色空間的a和b顏色值在由麥苗向土壤過度時(shí)或者由土壤向麥苗過度時(shí)變化非常明顯,可以區(qū)分出麥苗和土壤。所以在Lab顏色空間運(yùn)用改進(jìn)的K-means聚類算法能夠分割出麥苗。
圖5 不同顏色空間的顏色值
本文提出了一種不借助于特制儀器,直接用數(shù)碼相機(jī)獲取自然生長條件下的麥苗圖像。RGB 顏色空間是面向設(shè)備的顏色空間,其用歐幾里德距離表示三顏色距離,三顏色分量之間存在高度相關(guān)性和非線性,導(dǎo)致在RGB顏色空間進(jìn)行圖像分割結(jié)果的魯棒性不佳。Lab 顏色空間是與設(shè)備無關(guān)的最均勻的顏色空間,其用歐氏距離來表示色差。用歐氏距離表示色差既能滿足人眼對圖像的敏感性,又能較精確地測量顏色之間微小的差距,在彩色圖像分割中使用歐氏距離來表示人類對顏色的差別感知。分割時(shí),K-means算法基于樣本之間的距離大小將給定的樣本集劃分為K個(gè)簇。為了使簇內(nèi)的點(diǎn)盡量緊密的連在一起,簇間的距離盡量大,由于無法確定數(shù)據(jù)集的的合適類別個(gè)數(shù),可能導(dǎo)致無法得到有效的聚類結(jié)果。為此,對K-means算法進(jìn)行了改進(jìn)。本研究在Lab 顏色空間能較精確地測量麥苗顏色和背景顏色之間微小的差距,進(jìn)而運(yùn)用改進(jìn)的K-means聚類算法將麥苗從背景中分割出來。
利用本文提出的算法對麥苗圖像進(jìn)行處理分析可得到麥苗密度的估計(jì)值,但比實(shí)測值偏小,主要有兩點(diǎn)原因:①由于本文算法在進(jìn)行估算時(shí),麥苗的葉子會交疊在一起,從而造成麥苗真實(shí)面積會有所減小,造成估計(jì)誤差;②利用圖像分析求麥苗輪廓長度時(shí),由于麥苗的葉子交疊在一起,從而造成麥苗真實(shí)輪廓長度會有所減小,造成估計(jì)誤差。
總體來說,本文提出的麥苗密度估算方法能夠適用于麥苗的不同生長階段,而且是一種非接觸式測量方法,不需要采集麥苗樣本,在田間直接操作可以獲取測量參數(shù),快速便捷。