基于多尺度多方向分解的自然場(chǎng)景下麥穗計(jì)數(shù)

鮑文霞，張婷婷，胡根生，梁 棟

(1.安徽大學(xué) 農(nóng)業(yè)生態(tài)大數(shù)據(jù)分析與應(yīng)用技術(shù)國(guó)家地方聯(lián)合工程研究中心，安徽 合肥 230601;2.安徽大學(xué) 電子信息工程學(xué)院，安徽 合肥 230601)

全球糧食安全取決于3種主要糧食作物(小麥、水稻和玉米)能否實(shí)現(xiàn)和保持高產(chǎn)，以及未來(lái)產(chǎn)量的提高.小麥作為世界主要農(nóng)作物之一，小麥產(chǎn)量的穩(wěn)定在全球糧食安全中起著至關(guān)重要的作用[1].隨著機(jī)械化水平的提升，數(shù)字農(nóng)業(yè)被提出和重視，如何快速而準(zhǔn)確地得到單位面積麥穗數(shù)的統(tǒng)計(jì)值對(duì)于大田麥穗產(chǎn)量估計(jì)至關(guān)重要.

隨著數(shù)字農(nóng)業(yè)的提出和發(fā)展，傳統(tǒng)的數(shù)字圖像處理、深度學(xué)習(xí)方法等技術(shù)在農(nóng)作物識(shí)別計(jì)數(shù)方面的研究也引起重視.傳統(tǒng)的方法是基于數(shù)字圖像處理對(duì)獲取的小麥麥穗圖像的顏色特征和紋理特征實(shí)現(xiàn)小麥麥穗計(jì)數(shù)方法.如文獻(xiàn)[2]通過(guò)顏色空間轉(zhuǎn)換，對(duì)比了不同顏色空間下顏色特征和紋理特征的提取，分析出不同的顏色空間對(duì)小麥麥穗計(jì)數(shù)存在不同的影響；文獻(xiàn)[3]提出只基于小麥麥穗圖像的顏色特征提取實(shí)現(xiàn)小麥麥穗計(jì)數(shù)；文獻(xiàn)[4-5]提出采用顏色特征的紅-綠歸一化和紋理特征提取相結(jié)合來(lái)實(shí)現(xiàn)散播和條播麥穗識(shí)別計(jì)數(shù)，分析出在無(wú)粘連或者粘連較少的情況下，此方法取得較高的小麥麥穗計(jì)數(shù)精確度.深度學(xué)習(xí)方法在農(nóng)業(yè)方面的應(yīng)用研究也迅速發(fā)展，在自然場(chǎng)景小麥麥穗計(jì)數(shù)方面也有學(xué)者提出新方法.如文獻(xiàn)[6]提出了基于多特征提取和雙支持向量機(jī)去噪的田間麥穗計(jì)數(shù)方法；文獻(xiàn)[7]提出基于堆疊沙漏網(wǎng)絡(luò)進(jìn)行多任務(wù)學(xué)習(xí)，同時(shí)獲取小麥麥穗值、小麥麥穗小穗粒值和進(jìn)行有無(wú)麥芒識(shí)別；文獻(xiàn)[8-10]分別提出利用不同的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)實(shí)現(xiàn)對(duì)自然場(chǎng)景下的小麥麥穗計(jì)數(shù)的方法.

根據(jù)麥穗圖像中麥穗信息、葉片信息和土壤背景信息的頻段分布不同的特點(diǎn)，可以采用文獻(xiàn)[11-12]提出的多尺度多方向圖像分解方法獲取不同頻帶信息.論文提出通過(guò)NSCT(nonsubsampled contourlet transform)算法[13-17]的多尺度多方向圖像分解獲取小麥麥穗子帶圖像，并結(jié)合灰度閾值分割和形態(tài)學(xué)處理得到獨(dú)立的麥穗信息.利用Find maxima算法[18]思想實(shí)現(xiàn)麥穗計(jì)數(shù)，通過(guò)論文方法實(shí)現(xiàn)的計(jì)數(shù)總體精確度在95%左右，略高于其他基于顏色特征和紋理特征的自然場(chǎng)景下麥穗計(jì)數(shù)方法.

1 麥穗圖像獲取

小麥麥穗圖像數(shù)據(jù)采集地點(diǎn)為郭河鎮(zhèn)和桃溪鎮(zhèn)實(shí)驗(yàn)基地.郭河鎮(zhèn)實(shí)驗(yàn)基地位于北緯31°、東經(jīng)117°的安徽省合肥市廬江縣.桃溪鎮(zhèn)實(shí)驗(yàn)基地位于北緯31°、東經(jīng)116°的安徽省六安市舒城縣.采集時(shí)間為2019年5月2～9日9:00—16:00.采集溫度范圍為18～25 ℃，采集濕度范圍為30%～50%.采集設(shè)備：相機(jī)型號(hào)為Canon EOS 600D，分辨率為5 184×3 456.采集方法:①采用40 cm×50 cm的紙箱框架，固定框架位置，利用設(shè)備Canon EOS 600D相機(jī)垂直角度拍攝；②采用60 cm×60 cm的矩形框架，固定框架位置，利用設(shè)備Canon EOS 600D相機(jī)垂直角度拍攝.采集12種不同麥穗品種圖像，麥穗品種有：安農(nóng)170號(hào)、寧麥24號(hào)、黃淮南部小麥、樂(lè)麥608號(hào)、寧麥9號(hào)、揚(yáng)麥13號(hào)、揚(yáng)麥19號(hào)、揚(yáng)麥22號(hào)、揚(yáng)麥24號(hào)、蘇麥188號(hào)、皖西麥0638號(hào)、生選6號(hào).

圖1為麥穗圖像實(shí)驗(yàn)數(shù)據(jù)采集：(a)為桃溪鎮(zhèn)實(shí)驗(yàn)基地附有小麥品種標(biāo)記的實(shí)驗(yàn)田圖像；(b)為郭河鎮(zhèn)實(shí)驗(yàn)基地簡(jiǎn)介圖像；(c)為實(shí)驗(yàn)基地工作圖；(d)為利用40 cm×50 cm的紙箱框架采集的小麥圖像，其品種為寧麥24號(hào)；(e)為利用60 cm×60 cm的矩形框架采集的小麥圖像，其品種為揚(yáng)麥19號(hào).

2 小麥麥穗計(jì)數(shù)

自然場(chǎng)景下麥穗計(jì)數(shù)受場(chǎng)景中自然光照不均、小麥葉片遮擋和土壤背景等因素干擾，光照影響主要通過(guò)圖像預(yù)處理操作減少影響，如何減少小麥葉片遮擋和土壤背景的影響是實(shí)現(xiàn)自然場(chǎng)景麥穗準(zhǔn)確、高效計(jì)數(shù)的主要研究問(wèn)題.在常用的空間域方法中對(duì)自然場(chǎng)景下的麥穗圖像直接通過(guò)顏色特征、紋理特征等方法,分別提取存在的葉片信息和土壤背景信息的干擾.由于自然場(chǎng)景下麥穗圖像中的麥穗信息、葉片信息和土壤信息在頻率域中的頻率子帶不同：葉片信息和土壤信息灰度變化相對(duì)平坦，集中在低頻區(qū)中；圖像細(xì)節(jié)和噪聲等信息集中在高頻區(qū)中；麥穗信息集中在某些頻段子帶中.通過(guò)空間域和頻率域圖像處理方法分析，頻率域方法可以更好地實(shí)現(xiàn)自然場(chǎng)景下麥穗圖像中麥穗信息的提取.

NSCT算法由非下采樣金字塔和非下采樣方向?yàn)V波器組構(gòu)成.該算法利用濾波器組實(shí)現(xiàn)圖像多尺度頻帶分解，利用方向?yàn)V波器組實(shí)現(xiàn)圖像多方向分解.

2.1 麥穗圖像的多尺度多方向分解

為了實(shí)現(xiàn)平移不變性，提出非下采樣金字塔多尺度分解和迭代的非下采樣濾波器組多方向分解，公式為

(1)

其中：c(n)為輸出結(jié)果，x(k)為選定的濾波器，h為波帶矩陣，s為樣本矩陣.

非下采樣方向?yàn)V波器組, 采用átrous算法的思想, 通過(guò)消除上采樣和下采樣操作, 而只對(duì)濾波器上采樣得到, 形成了一個(gè)由多個(gè)雙通道非下采樣方向?yàn)V波器組成的樹(shù)形結(jié)構(gòu)，把二維頻率平面分割成多個(gè)具有方向性的楔形結(jié)構(gòu).對(duì)帶通子帶圖像進(jìn)行8級(jí)非下采樣方向?yàn)V波器變換，變換方向子帶8個(gè)扇區(qū)依次由坐標(biāo)軸和22.5，45，67.5，112.5，135，157.5，-157.5，-135，-112.5，-67.5，-45，-22.5°劃分，n方向區(qū)間公式為

(2)

NSCT分解框架圖及方向?yàn)V波器如圖2所示.非下采樣金字塔多尺度分解，利用濾波器組進(jìn)行非下采樣濾波將圖像分解為高通子帶圖像和低通子帶圖像，其中高通分解濾波器模塊H1(Z)與低通分解濾波器模塊H0(Z)滿足H0(Z)+H1(Z)=1 .通過(guò)對(duì)前一級(jí)分解得到的H0(Z)低通子帶圖像進(jìn)行迭代分解，實(shí)現(xiàn)多級(jí)(k級(jí))金字塔濾波分解，得到k+1個(gè)子帶圖像.k級(jí)分解得到各子帶公式為

(3)

由于其他區(qū)域相對(duì)麥穗部分灰度值平坦，可以通過(guò)NSCT高低頻分解，運(yùn)用該算法的多尺度多方向分解獲取該圖像的多個(gè)頻段信息子帶，可以高效提取集中含有麥穗信息頻段的帶通子帶圖像，并且獲得的麥穗帶通子帶圖像尺寸大小與原圖保持一致.實(shí)現(xiàn)過(guò)程如下：首先對(duì)RGB(red, green, blue)圖像數(shù)據(jù)分成RGB 3個(gè)通道，然后分別將各個(gè)通道的圖像作為輸入圖像，通過(guò)非下采樣金字塔和方向?yàn)V波器組對(duì)圖像進(jìn)行k級(jí)j個(gè)方向子帶圖像分解，得到多個(gè)多方向帶通子帶圖像和一個(gè)低通子帶圖像.然后對(duì)每層分解的帶通子帶信息進(jìn)行分析，其每個(gè)方向子帶圖像尺寸與RGB圖像相同，將2，4，6，8方向子帶信息合并，實(shí)現(xiàn)目標(biāo)信息的提取.NSCT多級(jí)分解，可以保證在有效去除噪聲而且可以不模糊圖像邊緣信息的情況下獲取麥穗的有效信息.

圖2 NSCT算法多級(jí)分解框架圖

圖3是通過(guò)紙箱框架采集的寧麥24號(hào)麥穗圖像，其中(b)為(a)采用NSCT處理的實(shí)驗(yàn)圖.

圖3 寧麥24號(hào)麥穗圖像

圖4是通過(guò)矩形框架采集的揚(yáng)麥19號(hào)麥穗圖像，其中(b)為(a)采用NSCT處理的實(shí)驗(yàn)圖.

圖4 揚(yáng)麥19號(hào)麥穗圖像

2.2 子帶圖像分割及形態(tài)學(xué)處理

采用經(jīng)過(guò)NSCT多尺度多方向分解獲得的帶通子帶圖像進(jìn)一步處理，通過(guò)去除部分含有葉片信息和土壤信息的子帶圖像，有效降低了葉片、土壤背景和噪音等信息的干擾.進(jìn)行NSCT操作后獲得的麥穗帶通子帶圖像仍然含有少量葉片信息的干擾，因此采用灰度閾值分割方法進(jìn)一步提取麥穗信息.

設(shè)麥穗帶通子帶圖像為f(x,y)，其灰度值范圍為[0,L],T為0至L之間的一個(gè)合適閾值，滿足0≤T≤L，其中閾值T是由圖像灰度直方圖和實(shí)驗(yàn)經(jīng)驗(yàn)來(lái)確定.

(4)

灰度閾值分割仍存在麥穗粘連、噪聲干擾、較小麥穗信息保留等問(wèn)題，而形態(tài)學(xué)處理能夠彌補(bǔ)這部分的缺失，可以在有效去除噪聲、粘連的同時(shí)又能較好地保護(hù)小麥穗的信息.閾值分割對(duì)于不同大小麥穗目標(biāo)信息處理時(shí)容易出現(xiàn)小目標(biāo)麥穗統(tǒng)計(jì)計(jì)數(shù)丟失和大目標(biāo)麥穗重計(jì)數(shù)問(wèn)題，所以論文采取形態(tài)學(xué)的腐蝕運(yùn)算、膨脹運(yùn)算等操作對(duì)麥穗圖像進(jìn)行去噪處理.

設(shè)f為閾值分割后的麥穗圖像，對(duì)f進(jìn)行基于3×3最小濾波器模板B的形態(tài)學(xué)膨脹和腐蝕操作，其結(jié)果分別為

D(f)=f⊕B={x,y|(B)xy∩f≠?}，

(5)

E(f)=f?B={x,y|(B)xy?f}.

(6)

論文計(jì)數(shù)主要依賴于形態(tài)學(xué)處理后圖像中的連通區(qū)域數(shù)目來(lái)實(shí)現(xiàn)統(tǒng)計(jì)，所以噪聲的存在會(huì)增加統(tǒng)計(jì)計(jì)數(shù)的誤差,此處閾值分割結(jié)合形態(tài)學(xué)處理可以實(shí)現(xiàn)對(duì)閾值分割結(jié)果的進(jìn)一步優(yōu)化.

2.3 Find maxima計(jì)數(shù)及算法評(píng)價(jià)指標(biāo)

采用Find maxima方法實(shí)現(xiàn)自然場(chǎng)景下麥穗圖像的麥穗計(jì)數(shù)．Find maxima方法是通過(guò)尋找局部最大值，確定圖像中的局部峰值，然后利用每一個(gè)局部極大值的像素值與最近鄰像素方差實(shí)現(xiàn)二值圖像的分割，計(jì)算連通局部區(qū)域最大值個(gè)數(shù)實(shí)現(xiàn)自然場(chǎng)景下麥穗圖像中的麥穗計(jì)數(shù)．

絕對(duì)誤差為

(7)

相對(duì)誤差為

(8)

總體精度為

(9)

精確率為

(10)

漏檢率為

(11)

虛檢率為

(12)

2.4 算法步驟

論文基于多尺度多方向分解的自然場(chǎng)景下麥穗計(jì)數(shù)算法的實(shí)現(xiàn)步驟如下：

(1) 多個(gè)實(shí)驗(yàn)基地對(duì)不同品種小麥采取不同的方式進(jìn)行麥穗RGB圖像數(shù)據(jù)采集，其中包括40 cm×50 cm紙箱框采集和60 cm×60 cm框架采集，共采集12個(gè)麥穗品種的RGB麥穗圖像數(shù)據(jù).

(2) 對(duì)獲取的RGB麥穗圖像進(jìn)行初步的預(yù)處理，去除部分噪聲干擾和實(shí)現(xiàn)圖像增強(qiáng).

(3) 對(duì)預(yù)處理后的圖像進(jìn)行基于NSCT的多尺度多方向分解，獲取含有麥穗信息的帶通子帶圖像，實(shí)現(xiàn)去除葉片、土地等背景信息干擾.

(4) 對(duì)麥穗帶通子帶圖像進(jìn)行閾值分割和形態(tài)學(xué)處理，進(jìn)一步實(shí)現(xiàn)麥穗信息提取和分割.

(5) 最后利用Find maxima算法通過(guò)計(jì)算局部區(qū)域最大值實(shí)現(xiàn)連通區(qū)域的計(jì)數(shù)，進(jìn)而實(shí)現(xiàn)麥穗的統(tǒng)計(jì)計(jì)數(shù).

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)根據(jù)采集的麥穗圖像數(shù)據(jù)的品種不同，在論文方法下分別進(jìn)行多組實(shí)驗(yàn)分析.圖5是不同麥穗品種的實(shí)驗(yàn)對(duì)比，每個(gè)品種麥穗選取10個(gè)樣本.從實(shí)驗(yàn)結(jié)果可以看出，所有樣本平均總體精度達(dá)到94.67%,平均精確度達(dá)到92.78%.

圖5 不同麥穗品種實(shí)驗(yàn)結(jié)果

3.2 多種圖像處理方法與論文方法的實(shí)驗(yàn)結(jié)果對(duì)比

通過(guò)上述結(jié)果顯示，論文方法可以有效實(shí)現(xiàn)自然場(chǎng)景下麥穗計(jì)數(shù)，傳統(tǒng)的麥穗計(jì)數(shù)方法有基于顏色特征提取、顏色特征和紋理特征提取、HSV(hue,saturation,value)顏色空間變換、YIQ(luminance(Y),in-phase quadrature(NTSC color space))顏色空間變換等方法.論文對(duì)上述幾種方法進(jìn)行實(shí)驗(yàn)對(duì)比分析,結(jié)果如表1所示，其中品種為揚(yáng)麥24號(hào)，樣本量為10個(gè).由分析可知，論文算法可以有效提高自然場(chǎng)景下麥穗計(jì)數(shù)的麥穗總體精度和精確度.

表1 不同方法下的計(jì)數(shù)結(jié)果

3.3 Find maxima計(jì)數(shù)和角點(diǎn)檢測(cè)計(jì)數(shù)對(duì)比實(shí)驗(yàn)

論文中采取的是Find maxima方法，該方法是通過(guò)計(jì)算局部區(qū)域最大值來(lái)實(shí)現(xiàn)計(jì)數(shù)，而harris角點(diǎn)檢測(cè)算法較多運(yùn)用于計(jì)數(shù)統(tǒng)計(jì)方面.角點(diǎn)檢測(cè)是對(duì)形態(tài)學(xué)處理后的圖像進(jìn)行骨架化操作，然后對(duì)麥穗骨架圖像進(jìn)行harris角點(diǎn)檢測(cè).角點(diǎn)檢測(cè)對(duì)麥穗圖像中有麥穗交叉情況的計(jì)數(shù)效果較好，但是由于麥穗也可能出現(xiàn)折斷或彎曲角度過(guò)大等情況，也存在一定的誤差.Find maxima計(jì)數(shù)是根據(jù)其連通區(qū)域取最大值標(biāo)點(diǎn)計(jì)數(shù)方式，適用于麥穗圖像中麥穗粘連情況較少的情況.而當(dāng)粘連情況較多時(shí)，可選擇較常用的harris角點(diǎn)檢測(cè)算法.圖6是分別對(duì)此進(jìn)行對(duì)比實(shí)驗(yàn)結(jié)果.表2為不同計(jì)數(shù)方法的結(jié)果對(duì)比.

圖6 實(shí)驗(yàn)結(jié)果

表2 不同計(jì)數(shù)方法的結(jié)果對(duì)比

4 結(jié)束語(yǔ)

論文提出基于多尺度多方向分解的自然場(chǎng)景下麥穗計(jì)數(shù)方法，通過(guò)利用NSCT的多尺度多方向分解對(duì)采集的自然場(chǎng)景下的RGB小麥麥穗圖像進(jìn)行處理，提取含有麥穗信息的帶通子帶圖像部分，可以有效減少葉片、土壤背景和噪聲等信息的干擾.該方法在計(jì)數(shù)精度方面相較于其他的基于顏色特征、紋理特征的麥穗計(jì)數(shù)方法有著明顯的提升.在深度學(xué)習(xí)方法迅速發(fā)展的環(huán)境下，利用深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)以進(jìn)一步提高自然場(chǎng)景下麥穗計(jì)數(shù)精度是論文下一步的研究方向.