大豆冠層多光譜圖像提取方法

郜世姣，關(guān)海鷗*，馬曉丹，王彥宏

1. 黑龍江八一農(nóng)墾大學(xué)信息與電氣工程學(xué)院，黑龍江 大慶 163319 2. 黑龍江八一農(nóng)墾大學(xué)園藝園林學(xué)院，黑龍江 大慶 163319

引 言

農(nóng)作物冠層多光譜圖像能夠表征作物長(zhǎng)勢(shì)、 營(yíng)養(yǎng)和病蟲(chóng)害等情況[1]，通過(guò)獲得農(nóng)作物冠層多光譜成像信息，實(shí)現(xiàn)農(nóng)作物生理生態(tài)信息的無(wú)損快速檢測(cè)，得到了智慧農(nóng)業(yè)領(lǐng)域的廣泛應(yīng)用。特別是近地多光譜技術(shù)具有儀器成本低、 檢測(cè)便捷和圖像分辨率高等優(yōu)點(diǎn)，獲取植株生態(tài)學(xué)和形態(tài)學(xué)的性狀指標(biāo)[2]，對(duì)于農(nóng)作物優(yōu)良品種選育和科學(xué)栽培具有重要理論意義和實(shí)用價(jià)值。農(nóng)作物冠層多光譜成像信息獲取及處理是智慧農(nóng)業(yè)領(lǐng)域中重要的組成部分，但由于多光譜圖像通常存在邊緣模糊，目標(biāo)與背景之間灰度差別小等問(wèn)題[3]，目前針對(duì)多光譜圖像的分割方法效率較低，難以對(duì)圖像模糊信息進(jìn)行準(zhǔn)確識(shí)別，低對(duì)比度圖像的邊緣部分和模糊部分識(shí)別效果較差?；陂撝捣指钏惴◤V泛應(yīng)用于彩色圖像的目標(biāo)區(qū)域識(shí)別中，為多光譜圖像中精準(zhǔn)識(shí)別農(nóng)作物冠層提供了理論指導(dǎo)。傅隆生等[4]提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的田間獼猴桃果實(shí)圖像的識(shí)別模型可以準(zhǔn)確識(shí)別出獼猴桃果實(shí)，但對(duì)于一些遮擋和重疊果實(shí)沒(méi)有達(dá)到很好的效果。GrabCut算法[5]依據(jù)圖像RGB混合高斯模型結(jié)合用戶交互實(shí)現(xiàn)圖像分割算法，但對(duì)背景比較復(fù)雜的圖像分割效果較差。采用圖像特征分類器可以有效提取目標(biāo)區(qū)域，Wang等[6]在自然環(huán)境下實(shí)現(xiàn)了雜草圖像預(yù)處理、 分割、 特征提取和分類檢測(cè)。劉立波等[7]提出一種改進(jìn)全卷積網(wǎng)絡(luò)的棉田冠層圖像分割方法，可以準(zhǔn)確分割出冠層目標(biāo)區(qū)域，但是未對(duì)冠層圖像中的陰影部分和光照部分進(jìn)行區(qū)分。Bai等[8]利用SVM分類器和卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合，建立錯(cuò)分率較低的水稻冠層分割方法，但該模型對(duì)計(jì)算機(jī)硬件要求較高。上述研究成果為解決自然環(huán)境下農(nóng)作物冠層多光譜圖像存在邊緣模糊，目標(biāo)區(qū)域與背景區(qū)域之間灰度差別小等問(wèn)題提供了理論和技術(shù)基礎(chǔ)。本文以大豆冠層多光譜圖像為研究對(duì)象，將經(jīng)典閾值分割方法應(yīng)用于多光譜圖像，通過(guò)高斯平滑濾波法對(duì)原始大豆多光譜圖像進(jìn)行處理，在此基礎(chǔ)上利用迭代法、 Otsu法和局部閾值法提取原大豆多光譜圖像中冠層區(qū)域，并以圖像形態(tài)學(xué)開(kāi)運(yùn)算處理細(xì)化和擴(kuò)張背景，避免圖像區(qū)域內(nèi)干擾噪聲對(duì)大豆冠層識(shí)別效果的影響，最終得到了相對(duì)較好的分割效果。同時(shí)采用有效分割率、 過(guò)分割率、 欠分割率以及信息熵為監(jiān)督指標(biāo)客觀評(píng)價(jià)模型有效性。該模型避免了近地端多光譜圖像邊緣灰度不均，目標(biāo)與背景之間灰度差別小難以準(zhǔn)確提取大豆冠層多光譜圖像區(qū)域的不足，為農(nóng)作物冠層多光譜圖像快速識(shí)別與圖像理解提供理論依據(jù)和技術(shù)借鑒。

1 實(shí)驗(yàn)部分

1.1 數(shù)據(jù)采集

試驗(yàn)使用Sequoia多光譜相機(jī)對(duì)盆栽大豆進(jìn)行拍攝，該相機(jī)可以獲取5種譜段的光譜成像數(shù)據(jù)，包括綠光(GRE)、 近紅外(NIR)、 紅光(RED)、 紅邊(REG)及可見(jiàn)光(RGB)圖像，對(duì)應(yīng)波長(zhǎng)范圍分別為(550±40)，(790±40)，(660±40)，(735±10)和380～780 nm。試驗(yàn)采用垂直拍攝，設(shè)定相機(jī)距冠層1.5 m。獲取了大豆五種多光譜圖像(見(jiàn)圖1)，共計(jì)105組樣本。

圖1 大豆原始圖像 (a)：GRE圖像；(b)：NIR圖像；(c)：RED圖像；(d)：REG圖像；(e)：RGB圖像Fig.1 Original images of soybean (a)：GRE；(b)：NIR；(c)：RED；(d)：REG；(e)：RGB

1.2 多光譜圖像預(yù)處理

為克服噪聲在圖像采集過(guò)程中的影響，應(yīng)用均值濾波和高斯平滑濾波兩種方法，對(duì)多光譜圖像進(jìn)行降噪處理(圖2)，以去除對(duì)冠層提取干擾因素的影響。并采用峰值信噪比(PSNR)和結(jié)構(gòu)相似性(SSIM)作為評(píng)價(jià)指標(biāo)，對(duì)預(yù)處理后的多光譜圖像進(jìn)行質(zhì)量評(píng)價(jià)，以選取最優(yōu)降噪處理方法。

多光譜圖像降噪評(píng)價(jià)指標(biāo)均為全參考的圖像質(zhì)量評(píng)價(jià)指標(biāo)[9]，其中PSNR計(jì)算公式為

(1)

式(1)中，X為去噪圖像，Y為原始圖像，H和W分別為圖像的高度和寬度，n為每像素的比特?cái)?shù)，PSNR數(shù)值越大表示圖像失真越小。

由于人類視覺(jué)很容易從圖像中抽取出結(jié)構(gòu)信息，計(jì)算SSIM指標(biāo)評(píng)價(jià)兩幅圖像結(jié)構(gòu)信息的相似性，其計(jì)算公式為：

SSIM(X，Y)=l(X，Y)×c(X，Y)×s(X，Y)

(2)

式(2)中，l(X,Y)為圖像亮度變化，c(X,Y)為圖像差異變化，s(X,Y)為圖像結(jié)構(gòu)變化；結(jié)構(gòu)相似性是用來(lái)評(píng)測(cè)圖像質(zhì)量的一種方法，數(shù)值越大表示圖像失真越小。

表1 多光譜圖像預(yù)處理評(píng)價(jià)指標(biāo)Table 1 Multispectral image preprocessing evaluation index

由表1可知，均值濾波和高斯平滑濾波處理的多光譜圖像PSNR平均值分別為35.158 4和36.613 8，SSIM平均值分別為0.930 2和0.947 8。對(duì)多光譜圖像進(jìn)行去噪處理，高斯平滑濾波處理的PSNR和SSIM都優(yōu)于均值濾波處理，保持了大豆多光譜圖像邊緣等細(xì)節(jié)信息，能夠較為完整的保存大豆多光譜圖像的原有信息，因此采用高斯平滑濾波法進(jìn)行大豆多光譜圖像的濾波降噪處理。

1.3 基于閾值的大豆冠層多光譜圖像提取方法

采用了全局閾值迭代法，Otsu法以及局部閾值法對(duì)大豆冠層進(jìn)行分割，然后對(duì)圖像進(jìn)行開(kāi)運(yùn)算處理，即在圖像中利用結(jié)構(gòu)元素先進(jìn)行腐蝕運(yùn)算再進(jìn)行膨脹運(yùn)算，細(xì)化處理圖像用以消除孤立點(diǎn)毛刺[10]，真實(shí)可靠地保留了大豆冠層圖像信息。

1.3.1 迭代閾值法

迭代閾值法是一種能基于圖像數(shù)據(jù)自動(dòng)選擇閾值算法，首先選定一個(gè)初始閾值，然后按某種策略不斷地更新閾值，直到滿足算法給定收斂準(zhǔn)則為止。研究中將大豆圖像灰度范圍的中值作為初始閾值T0(設(shè)圖像共有L個(gè)灰度)，該算法迭代公式為

(3)

式(3)中，hk是圖像中灰度值為k的像素點(diǎn)個(gè)數(shù)；當(dāng)?shù)罷i+1=Ti時(shí)，確定Ti為分割閾值。

采用迭代閾值法分割大豆多光譜圖像時(shí)，綠光、 近紅外、 紅光、 紅邊及可見(jiàn)光大豆多光譜圖像的閾值分別為0.495 4，0.534 4，0.476 5，0.241 5和0.551 6，計(jì)算獲取大豆冠層的五種多光譜圖像；同時(shí)計(jì)算大豆冠層多光譜圖像的灰度直方圖，大豆冠層多光譜圖像效果和對(duì)應(yīng)直方圖如圖3所示。

圖3 迭代法大豆冠層多光譜圖像 (a1)：GRE目標(biāo)圖像；(a2)：NIR目標(biāo)圖像；(a3)：RED目標(biāo)圖像；(a4)：REG目標(biāo)圖像；(a5)：RGB目標(biāo)圖像； (b1)：GRE直方圖；(b2)：NIR直方圖；(b3)：RED直方圖；(b4)：REG直方圖；(b5)：RGB直方圖Fig.3 Multispectral images of soybean canopy with iteration method (a1)：GRE；(a2)：NIR；(a3)：RED；(a4)：REG；(a5)：RGB； (b1)：GRE；(b2)：NIR；(b3)：RED；(b4)：REG；(b5)：RGB

從圖3可以看出，采用迭代法獲取冠層多光譜圖像的平均灰度值依次為0.584 7，0.825 1，0.621 4，0.342 5和0.636 9，各直方圖分別在0.502 0，0.909 8，0.502 0，0.345 1和0.619 6處達(dá)到峰值，并且較為完整地分割出了近紅外和紅邊通道的大豆冠層的目標(biāo)區(qū)域。由于綠光和紅光的大豆圖像的目標(biāo)區(qū)域邊緣模糊且與大豆圖像背景區(qū)域顏色相近，導(dǎo)致不能有效獲取大豆冠層的目標(biāo)區(qū)域圖像；該算法分割出了可見(jiàn)光通道的大豆冠層區(qū)域，但也留存了原圖像的部分背景區(qū)域。

1.3.2 最大類間方差法

最大類間方差法(OTSU)是將大豆灰度直方圖在某一閾值處分割成兩組，二者灰度值的最大方差就是分割算法閾值。最大類間方差法定義為：假設(shè)ω0為大豆冠層像素點(diǎn)數(shù)占整幅圖像的比例，μ0為其平均灰度；ω1為背景像素點(diǎn)數(shù)占整幅大豆圖像的比例，μ1為其平均灰度；則大豆冠層和背景圖像之間方差表示為

g=ω0ω1(μ0-μ1)2

(4)

當(dāng)方差g最大時(shí)，待處理圖像中大豆冠層和背景差異最大，該灰度值是大豆冠層多光譜圖像分割的最佳閾值。本文確定綠光、 近紅外、 紅光、 紅邊及可見(jiàn)光大豆多光譜圖像的最佳閾值分別為0.419 6，0.494 1，0.400 0，0.176 5和0.588 2，通過(guò)計(jì)算獲得多光譜大豆冠層圖像，并計(jì)算相應(yīng)圖像的灰度直方圖，OTSU算法分割效果如圖4所示。

圖4 Otsu法大豆冠層多光譜圖像 (a1)：GRE目標(biāo)圖像；(a2)：NIR目標(biāo)圖像；(a3)：RED目標(biāo)圖像；(a4)：REG目標(biāo)圖像；(a5)：RGB目標(biāo)圖像； (b1)：GRE直方圖；(b2)：NIR直方圖；(b3)：RED直方圖；(b4)：REG直方圖；(b5)：RGB直方圖Fig.4 Multispectral images of soybean canopy by Otsu method (a1)：GRE；(a2)：NIR；(a3)：RED；(a4)：REG；(a5)：RGB； (b1)：GRE；(b2)：NIR；(b3)：RED；(b4)：REG；(b5)：RGB

從圖4中可以看出，采用Otsu法獲取冠層多光譜圖像的平均灰度值依次為0.537 6，0.813 4，0.532 7，0.324 3和0.651 2，各直方圖分別在0.502 0，0.909 8，0.419 6，0.345 1和1.666 7處達(dá)到峰值，該算法較為完整地分割出了近紅外和紅邊通道的大豆冠層的目標(biāo)區(qū)域，由于紅光圖像邊緣灰度級(jí)分布不均且噪聲較大，目標(biāo)與背景之間灰度差別小，導(dǎo)致不能有效獲取目標(biāo)區(qū)域圖像。然而對(duì)于綠光和可見(jiàn)光大豆冠層，雖提取出了目標(biāo)區(qū)域，但也損失了冠層部分有效信息。

1.3.3 局部閾值法

局部閾值分割算法是將原始圖像劃分為若干子圖像，并逐層迭代求解各子區(qū)域的最優(yōu)局部閾值，將最優(yōu)局部閾值合并作為分割閾值，從而實(shí)現(xiàn)從多光譜圖像中分割出大豆冠層。通過(guò)迭代計(jì)算綠光、 近紅外、 紅光、 紅邊及可見(jiàn)光大豆多光譜圖像的局部閾值，計(jì)算圖像的最優(yōu)分割閾值分別為0.325 5，0.380 4，0.302 0，0.094 1和0.431 4，進(jìn)一步獲得大豆冠層的多光譜圖像，并計(jì)算對(duì)應(yīng)灰度直方圖，該算法效果如圖5所示。

從圖5中可以看出，采用局部閾值法獲取冠層多光譜圖像的平均灰度值依次為0.539 7，0.815 9，0.477 8，0.324 7和0.635 4，各直方圖分別在0.502 0，0.909 8，0.396 1，0.345 1和0.619 6處達(dá)到峰值，局部閾值法較為完整地分割出了綠光、 近紅外和紅邊通道的大豆冠層的目標(biāo)區(qū)域，對(duì)于紅光大豆冠層沒(méi)有達(dá)到理想分割效果，也保留了部分綠光大豆冠層的邊緣區(qū)域；該算法分割出了可見(jiàn)光通道的目標(biāo)冠層區(qū)域，同時(shí)也漏分了部分背景區(qū)域。

2 結(jié)果與討論

采用迭代閾值算法、 Otsu閾值算法和局部閾值算法提取了大豆冠層圖像，通過(guò)對(duì)比不同算法獲取大豆冠層多光譜圖像的灰度直方圖并分析大豆冠層和背景的灰度直方圖分布特性。為進(jìn)一步客觀定量評(píng)價(jià)三種算法提取大豆冠層的多光譜圖像質(zhì)量，計(jì)算了圖像的有效分割、 欠分割、 過(guò)分割以及信息熵，作為大豆冠層多光譜圖像分割質(zhì)量定量評(píng)價(jià)標(biāo)準(zhǔn)。

圖5 局部閾值法大豆冠層多光譜圖像 (a1)：GRE目標(biāo)圖像；(a2)：NIR目標(biāo)圖像；(a3)：RED目標(biāo)圖像；(a4)：REG目標(biāo)圖像；(a5)：RGB目標(biāo)圖像； (b1)：GRE直方圖；(b2)：NIR直方圖；(b3)：RED直方圖；(b4)：REG直方圖；(b5)：RGB直方圖Fig.5 Multispectral images of soybean canopy by local threshold method (a1)：GRE；(a2)：NIR；(a3)：RED；(a4)：REG；(a5)：RGB； (b1)：GRE；(b2)：NIR；(b3)：RED；(b4)：REG；(b5)：RGB

2.1 大豆冠層的有效分割分析與評(píng)價(jià)

依據(jù)文獻(xiàn)[11]計(jì)算105組大豆多光譜圖像的有效分割率、 過(guò)分割率和欠分割率，并進(jìn)行了綠光、 近紅外、 紅光、 紅邊及可見(jiàn)光等五種多光譜冠層圖像統(tǒng)計(jì)分析，其中有效分割率越高且過(guò)分割率和欠分割率越低，表示算法分割性能越好[12]。其結(jié)果如表2所示。

表2 不同分割算法的評(píng)價(jià)指標(biāo)對(duì)比Table 2 Comparison of evaluation indexes of different segmentation algorithms

從表2統(tǒng)計(jì)結(jié)果可知，采用Otsu法和局部閾值法對(duì)綠光大豆冠層圖像平均有效分割率均在87%以上，識(shí)別效果相對(duì)迭代法較好。三種算法都有效區(qū)分了近紅外大豆圖像中的冠層和背景，其冠層區(qū)域平均有效分割率均在96%以上，但對(duì)紅光大豆冠層圖像的有效分割率均低于20%。Otsu法和局部閾值法都比較有效區(qū)分了紅邊大豆圖像中的冠層和背景，目標(biāo)區(qū)域的平均有效分割率均在97%以上，而迭代法在分割紅邊大豆圖像時(shí)，由于周圍環(huán)境的影響，圖像分割效果不穩(wěn)定。三種算法都有效區(qū)分了可見(jiàn)光大豆圖像中的冠層和背景，其中迭代法和局部閾值法對(duì)可見(jiàn)光大豆冠層圖像的平均有效分割率均在85%以上。同時(shí)，在五種光譜圖像中，紅光大豆冠層的有效識(shí)別率最低，過(guò)分割率和欠分割率最高。采用迭代法、 Otsu法和局部閾值法分割綠光、 近紅外、 紅外和可見(jiàn)光的平均過(guò)分割率分別為30.41%，17.61%和15.65%，平均欠分割率分別為32.56%，25.25%和28.54%，采用Otsu法和局部閾值法對(duì)大豆冠層多光譜圖像的過(guò)分割率和欠分割率較迭代法更低，分割效果更好。在計(jì)算速度方面，迭代法和Otsu法平均計(jì)算時(shí)間分別為7.75和7.48秒；而局部閾值法對(duì)圖像多區(qū)域分別進(jìn)行分割處理操作，其平均計(jì)算時(shí)間為50.52 s，處理時(shí)間較長(zhǎng)；綜合大豆冠層圖像提取效果，Otsu法從時(shí)間性能上優(yōu)于其他兩種算法。

2.2 大豆冠層的信息熵分析與評(píng)價(jià)

圖像的信息熵表示圖像所包含的平均信息量，分割后冠層圖像相對(duì)標(biāo)準(zhǔn)圖像熵值變化越小表明圖像分割效果越好[13]。本研究評(píng)價(jià)算法有效性和信息完整性的信息熵公式為

(5)

式(5)中，p(xi)為灰度值為xi的像素?cái)?shù)與圖像總像素?cái)?shù)之比。

按照式(5)計(jì)算105組分割圖像與標(biāo)準(zhǔn)圖像的信息熵，其結(jié)果如圖6所示。

圖6 分割圖像熵值統(tǒng)計(jì)圖Fig.6 Entropy statistics of segmented images

從圖6中可以看出，紅光大豆圖像算法分割后圖像信息熵與標(biāo)準(zhǔn)圖像數(shù)據(jù)相差較大，其最大差值達(dá)到0.319 7，因?yàn)榧t光波段是葉綠素的主要吸收波段，對(duì)土壤和綠色植物類別差異并不敏感，其圖像顏色較暗，邊緣特征模糊不均，所以該光譜波段圖像分割較為困難。利用迭代法、 Otsu法和局部閾值法分割的多光譜大豆冠層圖像和標(biāo)準(zhǔn)圖像平均熵值范圍分別為0.884 7～1.302 3，0.865 4～1.690 4，0.930 9～1.958 2，0.905 4～1.695 4，其目標(biāo)圖像與標(biāo)準(zhǔn)圖像信息熵的平均值之差分別為0.120 1，0.054 7和0.059 8，所以O(shè)tsu法和局部閾值法分割后冠層圖像相對(duì)標(biāo)準(zhǔn)圖像信息熵變化較小，目標(biāo)圖像保留了大豆冠層中多光譜數(shù)據(jù)的有效信息。

3 結(jié) 論

針對(duì)大豆冠層提取時(shí)多光譜圖像的目標(biāo)與背景之間灰度差別小且邊緣灰度不均的問(wèn)題，提出了基于多光譜圖像處理技術(shù)的大豆冠層提取方法，并利用多種圖像指標(biāo)對(duì)大豆冠層多光譜圖像識(shí)別效果進(jìn)行了定量化評(píng)價(jià)，其中Otsu法和局部閾值法均可以有效提取綠光、 近紅外、 紅邊和可見(jiàn)光等多光譜的大豆冠層圖像，二者較為完整地保留了大豆冠層信息，且Otsu法實(shí)時(shí)性優(yōu)于局部閾值法，為自然環(huán)境下提取農(nóng)作物冠層多光譜圖像提供理論依據(jù)和技術(shù)借鑒，為后期儀器開(kāi)發(fā)，大豆科學(xué)栽培與精細(xì)管理提供可靠的分割模型。

(1)在三種分割算法中，采用迭代法可以有效分割近紅外和可見(jiàn)光大豆冠層圖像，有效分割率分別為97.81%和87.99%，對(duì)綠光、 紅光和紅邊大豆冠層圖像分割效果較差，有效分割率低于70%；采用Otsu法和局部閾值法可以有效分割除紅光波段的其余四種大豆冠層圖像，且有效分割率均在82%以上；三種算法對(duì)紅光大豆冠層圖像的有效分割率均低于20%，未達(dá)到較好效果。在五種光譜圖像中，近紅外大豆冠層的有效分割率最高，三種方法有效分割率均在94%以上，且過(guò)分割率和欠分割率低至7.91%和13.16%。

(2)通過(guò)對(duì)比三種算法的有效分割率、 過(guò)分割率、 欠分割率、 信息熵以及運(yùn)行時(shí)間等分割評(píng)價(jià)指標(biāo)，Otsu法和局部閾值法對(duì)多光譜圖像的平均有效分割率對(duì)比迭代法分別提高11.57%和13.93%，分割效果較迭代法更好，適宜多光譜大豆冠層圖像分割，而Otsu法單幅圖像平均處理時(shí)間更快，在時(shí)間性能上優(yōu)于局部閾值法，且信息熵值變化小，保留了更多的有效信息，具有快速準(zhǔn)確的特性。