基于M-LP特征加權(quán)聚類的果樹冠層圖像分割方法

程湞湞 祁力鈞 程一帆 吳亞壘 張 豪 肖 雨

(1.中國農(nóng)業(yè)大學(xué)工學(xué)院， 北京 100083； 2.北京四維圖新科技股份有限公司， 北京 100094)

0 引言

精準施藥是精準農(nóng)業(yè)在植保領(lǐng)域中的應(yīng)用，其核心理念是利用現(xiàn)代科學(xué)技術(shù)獲取農(nóng)情信息，指導(dǎo)噴霧機具進行精確、變量噴霧[1-2]。其中，冠層信息獲取是果園精準施藥控制的基礎(chǔ)和前提，包括冠層邊緣輪廓、冠層面積、冠層結(jié)構(gòu)等，這些冠層特征是決定果園變量噴霧施藥量的重要指標(biāo)[3-5]。

為獲取準確的作物冠層特征參數(shù)，國內(nèi)外學(xué)者進行了廣泛研究，其中基于機器學(xué)習(xí)的冠層圖像分割是獲取冠層形態(tài)的方法之一，其原理主要分為兩類：基于無監(jiān)督學(xué)習(xí)的分割算法和基于監(jiān)督的分割算法[6-7]?；诒O(jiān)督的分割算法近年來發(fā)展較快，該方法在圖像分割上應(yīng)用主要是分類，常用的算法有K近鄰、神經(jīng)網(wǎng)絡(luò)、支持向量機等。如劉立波等[8]提出一種結(jié)合條件隨機場改進的全卷積神經(jīng)網(wǎng)絡(luò)棉田冠層分割方法。BAI等[9]采用基于SVM分類器的水稻冠層分割方法，同時利用卷積神經(jīng)網(wǎng)絡(luò)自動學(xué)習(xí)的特性降低錯分率。這類算法的分割效果較好，但分割模型的學(xué)習(xí)依賴于大量樣本標(biāo)注，對計算機硬件要求較高，因此應(yīng)用成本較高。基于無監(jiān)督的分割方法中最為常用的是聚類分析，其原理是根據(jù)相似性的度量或共有特征把數(shù)據(jù)劃分成類，常用的聚類算法有K-means、FCM、GMM等。祁力鈞等[10]提出了一種基于顏色特征的K-means聚類果樹冠層分割方法，有效分離了背景與冠層，但由于雜草與冠層顏色上相似度高，該方法難以實現(xiàn)雜草與冠層的分割。HASSAAN等[11]在高空社區(qū)樹木圖像分割中，利用顏色特征和紋理特征去除了人工草坪干擾，但所提取的特征參數(shù)不適用于果園內(nèi)自然生長的雜草。目前基于自然場景下的農(nóng)作物圖像分割已有了大量的研究成果[12]，但針對果樹冠層的圖像分割問題研究較少。

自然環(huán)境下采集到的樹木圖像受到光照、背景(地膜、地面、天空)、雜草干擾的影響，對果樹冠層提取造成了一定的困難。在這類問題中，首要目標(biāo)是將圖像中的像素分為兩類：目標(biāo)(冠層)和非目標(biāo)(背景和雜草)。為了獲取冠層目標(biāo)，常見的分割特征有顏色特征和紋理特征?；陬伾笖?shù)[13]，如EXG[14]、EXR[15]等，或基于顏色空間，如翟瑞芳等[16]在HSI空間提取了大田油菜的H、I分量，HAMUDA等[17]分析了花椰菜在HSV空間的顏色特征?；诩y理特征[18]，如BAKHSHIPOUR等[19]從小波圖像中提取紋理特征，以分割甜菜冠層。但是，雜草在顏色特征和紋理特征上均與果樹冠層相似[20]，嚴重干擾了果樹冠層的分割。

為解決上述問題，本文提出一種基于M-LP(馬氏距離、光照分布和空間位置)特征加權(quán)聚類的果樹冠層圖像分割算法。在分析果樹圖像的基礎(chǔ)上，分別選取馬氏距離、空間位置和光照分布特征對存在背景和雜草干擾情況下的果樹冠層圖像進行分割。

1 材料和方法

1.1 材料

圖1 試驗場地和采集的圖像Fig.1 Study area and image acquisition

本文試驗對象為北京市通州區(qū)的中農(nóng)富通現(xiàn)代果園區(qū)中的櫻桃樹，如圖1所示。在果樹葉片生長較為茂盛的4—10月期間，每隔7 d采集1次圖像。拍攝設(shè)備為SONY a7微型單反相機。處理軟件采用MathWorks公司的Matlab R2018a，運行計算機配置為Intel Core i5-8250U CPU，主頻1.6 GHz，64位Windows 10 操作系統(tǒng)。

從采集圖像中挑取一幅作為人工標(biāo)注圖，該圖像光照分布能夠代表當(dāng)前果園光照分布特征，且圖像內(nèi)果樹色彩特征能夠代表本果園同品種果樹色彩特征。運用Photoshop軟件對該圖像進行人工分割，得到前景為果樹冠層，背景為黑色的人工標(biāo)注圖像，作為計算馬氏距離中的度量基準。

1.2 算法框架

果樹圖像通常包含綠植(果樹和雜草)和背景(地膜、地面、天空)，其中果樹冠層相對于背景通常具有明顯的過綠特征，而雜草與果樹冠層通常具有相似的顏色特性，使得雜草干擾下果樹冠層分割變得困難。為此，文本構(gòu)造了從雜草和背景中提取冠層的分割特征，提出一種基于M-LP特征加權(quán)聚類的果樹冠層圖像分割方法，具體流程圖如圖2所示。

圖2 果樹冠層分割方法流程圖Fig.2 Flow chart of fruit tree canopy segmentation

具體步驟為：

(1)選取馬氏距離作為背景區(qū)域與綠色植物的分割度量，進行去除背景處理。將RGB顏色空間轉(zhuǎn)換到HSI顏色空間，然后遍歷每個像素點，提取H、S分量，計算所采集的果樹圖像與參考圖像之間的馬氏距離，輸出馬氏距離相似度矩陣M。

(2)通過果樹與雜草之間的空間位置差異以及冠層內(nèi)的光照分布特征，對雜草與冠層進行分割。在HSI空間的I分量上提取圖像豎直像素為垂直空間特征作為輸入，輸出帶有像素位置標(biāo)記的特征P，同時運用最大熵算法提取圖像陰影區(qū)，選取掩膜處理后的冠層陰影區(qū)域像素點，對矩陣P進行加權(quán)處理，輸出特征矩陣LP；構(gòu)造M-LP三維特征，分別對果樹圖像的上背景、下背景、果樹冠層區(qū)域、雜草區(qū)域進行K-means聚類。

2 基于M-SP特征加權(quán)聚類的果樹冠層分割

2.1 馬氏距離相似度特征提取

2.1.1顏色模型選取

為準確提取果樹圖像的色彩信息，選擇HSI色彩表達模型，其中H表示色調(diào)(如黃色或綠色)、S表示飽和度(指顏色的深淺程度)、I表示亮度(指顏色的明亮程度)。該色彩模型的優(yōu)點在于色調(diào)H和飽和度S包含了顏色信息，而亮度I則與彩色信息無關(guān)，這對于光照復(fù)雜的果園環(huán)境而言，能避免圖像亮度不均帶來的分割干擾，有效提取顏色信息。由于數(shù)碼相機內(nèi)置的色彩模型為RGB，首先需要將RGB模型轉(zhuǎn)換為HSI模型。經(jīng)轉(zhuǎn)換后的H值域為[0, 2π]，0°～360°色相覆蓋了所有可見光譜的顏色；飽和度和亮度均為[0,1]，飽和度接近0時，為中性(黑白灰色)影調(diào)，顏色純度越高，飽和度越大。

顏色模型轉(zhuǎn)換前后的RGB空間和HSI空間散點圖如圖3所示。由圖3b可知，圖像在RGB空間較為聚集，而經(jīng)過函數(shù)映射后，在HSI空間內(nèi)數(shù)據(jù)分布變得分散，各類邊界更為明顯，可作為區(qū)別綠植(雜草和冠層)與背景的基礎(chǔ)特征。

圖3 RGB和HSI空間散點圖Fig.3 RGB image and its HSI spacial scatter diagrams of hue, saturation, and luminosity value

2.1.2馬氏距離計算

馬氏距離是由印度統(tǒng)計學(xué)家MAHALANOBIS[21]提出的一種基于變量間相關(guān)性的距離度量方法。馬氏距離克服了歐氏距離忽略各樣本特征之間關(guān)聯(lián)性的缺陷，是衡量未知樣本數(shù)據(jù)與已知樣本數(shù)據(jù)間相似性的有效指標(biāo)。本文選取馬氏距離作為目標(biāo)區(qū)域與背景之間相似度的判定指標(biāo)，在已提取H、S特征的基礎(chǔ)上，計算原圖與人工標(biāo)注圖像之間的馬氏距離，輸出馬氏距離相似度矩陣M，并歸一到[0,1]區(qū)間。定義樣本xi與xj之間的馬氏距離M(xi，xj)為

(1)

其中

Cov=E[(xi-E(xi))(xj-E(xj))]

(2)

式中Cov——xi與xj的協(xié)方差矩陣

E——數(shù)學(xué)期望

獲得馬氏距離相似度矩陣后，繪制歸一化后的馬氏距離相似度矩陣圖像，如圖4所示。

圖4 馬氏距離相似度矩陣圖像Fig.4 Markov distance color map

由圖4可知，由于背景與綠植區(qū)域具有明顯的顏色差異，背景區(qū)域與人工分割圖像相似度較低，該區(qū)域的馬氏距離較大，顯示為黃色；而果樹冠層、雜草都與人工分割相似度較小，馬氏距離較小，顏色接近深綠色。從圖中可以發(fā)現(xiàn)由深綠過渡至黃色之間的顏色區(qū)域較少，這說明基于H、S分量上的馬氏距離作為度量的背景和綠植可區(qū)分性較高。圖中還顯示了在果樹冠層中還存在著黃色區(qū)域，而這些區(qū)域像素屬于果樹樹冠，這個誤差區(qū)域?qū)⒃谙乱徊街斜幌?/p>

2.2 空間和光照分布特征提取

2.2.1空間和光照分布特征

雜草多屬一年生草本植物，一般最高生長株高約50 cm，果樹則屬于落葉喬木，株高在3～5 m。果樹圖像中的果樹冠層與雜草存在明顯的高度差[22]，如圖5a所示。雜草位于圖像的下部，冠層多位于圖像的中上部，二者在垂直分布上有明顯不同的分布趨勢，因此本文選取空間分布差異作為判別冠層與雜草的特征。對于1幅尺寸為m×n的圖像，圖像中每個像素點的位置為(xm，yn)，則圖像的空間分布特征可以定義為P=(y1,y2,…,yi,…,yn)。

圖5 空間以及光照分布特點Fig.5 Space and light distribution characteristics

由圖5a可知，雖然果樹冠層中上部區(qū)域與雜草分布高度差異較大，但是冠層下部與雜草的空間分布較為接近，容易產(chǎn)生果樹冠層下部的漏分現(xiàn)象。圖5b顯示了在正常拍攝角度(不逆光)下，光在樹冠表面的分布特點是從樹冠上部到下部光照強度逐漸減弱[21]，因此冠層的下部區(qū)域多處于欠光照的陰影之中，這說明了馬氏距離相似度矩陣圖像中冠層被漏分，黃色區(qū)域是冠層中的陰影區(qū)域。對比冠層主體，這些陰影區(qū)域具有顯著的亮度特征，同時具有與冠層主體相同的顏色、形態(tài)等特征，因此本文提取冠層中的陰影區(qū)域作為下部缺失的補償，提高冠層分割準確性。

2.2.2陰影位置加權(quán)的空間特征提取

信息熵是由SHANNONC[23]提出的一個量化信息的概念。最大熵分割法的基本思想是定義圖像的灰度分布密度函數(shù)為圖像的信息熵，以灰度為閾值進行圖像分割，同時統(tǒng)計圖像目標(biāo)區(qū)域和背景區(qū)域兩部分的灰度熵，當(dāng)二者熵之和最大時，該灰度為分割的最佳閾值[24]。目標(biāo)區(qū)域與背景區(qū)域的熵計算式為

H(t)=H(O)+H(B)

(3)

(4)

(5)

(6)

(7)

式中L——圖像的灰度級

pi——灰度級i出現(xiàn)的概率

pm——前景中灰度級出現(xiàn)的概率

pn——背景中灰度級出現(xiàn)的概率

Om——前景的概率分布

Bn——背景的概率分布

H(O)——前景熵

H(t)——熵函數(shù)

H(B)——背景熵

t——灰度

對圖像中每一個灰度級分別求取熵函數(shù)H(t)，將熵函數(shù)取值最大時的H(t)作為最大熵，此時的灰度t為所求的最大熵分割閾值。由于陰影區(qū)域的獲取只需要提供圖像的亮度信息，因此選擇在HSI空間內(nèi)的I分量上計算最大熵，分割結(jié)果如圖6b所示。

由于冠層下部同時符合綠色區(qū)域和陰影區(qū)域兩個特征，通過EXG指數(shù)檢測圖像中綠色區(qū)域作為模板，可以進一步提取冠層中的陰影區(qū)域。對最大熵分割后的陰影圖像進行掩膜，計算過程為

(8)

(9)

(10)

式中I——果樹冠層圖像

R、G、B——彩色圖像的3通道分量

EXG——超綠掩蓋模板

F——經(jīng)最大熵分割圖像中的陰影區(qū)域

L——掩膜后的果樹冠層陰影區(qū)域

為了補償冠層的下部區(qū)域，對已獲得的空間特征矩陣P進行加權(quán)處理，加權(quán)像素點為最終獲得的陰影區(qū)域(圖6)。本研究通過大量的測試，最終確定了適用于果樹冠層下部區(qū)域提取的加權(quán)值為1.2。

圖6 陰影區(qū)域位置提取Fig.6 Shadow area position extraction

2.3 K-means聚類

K-means聚類是有效的無監(jiān)督學(xué)習(xí)方法，它能夠較快速地發(fā)現(xiàn)數(shù)據(jù)間的關(guān)聯(lián)規(guī)則并進行數(shù)據(jù)分組[25]。本文運用K-means 聚類算法的基本思路為：隨機從圖像數(shù)據(jù)中選擇4個初始聚類中心，將得到的馬氏距離相似度矩陣M與加權(quán)后的空間特征矩陣SP進行歸一化處理，輸入此兩類特征數(shù)據(jù)結(jié)合成的三維特征M-LP進行K-means聚類，最終產(chǎn)生的聚類標(biāo)記區(qū)包括上部背景區(qū)域、下部背景區(qū)域、冠層區(qū)域、雜草區(qū)域，其中冠層區(qū)域為分割的目標(biāo)區(qū)域。

圖7 聚類二維分布圖Fig.7 Two-dimensional map of clustering

圖7為加權(quán)前后的聚類二維分布圖。其中圖7a為沒有經(jīng)過陰影位置加權(quán)的M-P聚類的二維分布圖，從圖中可知，單純的位置特征提取造成了冠層下部漏分現(xiàn)象，未能達到正確分割果樹冠層的目的。圖7b為經(jīng)過陰影位置加權(quán)后的M-LP聚類二維分布圖，從圖中可以看出，原本被綠色類(雜草)所包圍的藍色類(冠層下部)被準確識別，可見M-LP方法可解決存在雜草干擾的果樹冠層分割問題。

3 結(jié)果與分析

3.1 試驗結(jié)果

3.1.1分割實例

為驗證本文所提算法的有效性，對所采集的櫻桃樹圖像進行分割試驗，運用M-LP特征加權(quán)聚類算法進行分割。對聚類分割后的圖像使用數(shù)學(xué)形態(tài)學(xué)的開閉濾波運算，濾除毛刺，消除孔洞，平滑目標(biāo)輪廓，得到分割二值圖像。為了能更直觀地評價算法的有效性，在獲取分割二值圖像的基礎(chǔ)上利用原圖作為模板進行掩膜，最終獲取分割結(jié)果。

圖8給出了從背景分割到雜草去除的圖像處理過程。圖8b為僅輸入M特征的聚類進行形態(tài)學(xué)處理的結(jié)果，由圖可知，在提取H、S分量的基礎(chǔ)上基于馬氏距離的聚類分割效果良好，輪廓獨立完整，基本達到了去除背景的分割目的，此時的圖像內(nèi)容僅有綠植(冠層與雜草)。圖8c為僅利用M-P特征分割果樹冠層的結(jié)果，由圖可知雜草位置與冠層下部較為接近且顏色特征類似，因此果樹冠層的下部缺失。圖8d為基于M-LP特征聚類并進行形態(tài)學(xué)處理的結(jié)果，由圖可知該方法解決了對雜草的錯分問題，雜草區(qū)域和冠層下部區(qū)域被有效區(qū)分開來。對圖8d進行原圖掩膜處理，結(jié)果如圖8e所示，表明基于M-LP特征聚類能達到去除背景雜草獲得果樹冠層的目的。

圖8 測試圖像以及聚類結(jié)果Fig.8 Test image and clustering results

3.1.2不同分割方法的試驗結(jié)果

為測試本文算法的性能，選取K-means和GMM聚類算法以及人工分割的參考圖像與本文算法進行對比。選取不同雜草干擾程度(輕微、中等、較強)以及不同拍攝時間段(早晨、中午、傍晚)的樣本圖像進行算法測試，分割結(jié)果如圖9所示。從上而下依次為雜草干擾輕微、中等、較強以及拍攝時間為早晨、中午、傍晚的樣本圖像。

圖9 不同分割方法的結(jié)果對比Fig.9 Comparison results of different segmentation methods

從不同雜草干擾程度的測試圖像分割效果來看，基于M-LP的聚類算法對存在嚴重背景干擾的圖像分割效果優(yōu)良。觀察圖9b、9c發(fā)現(xiàn)，由于圖像背景太復(fù)雜，未經(jīng)過特征提取的K-means聚類和GMM聚類算法未能將冠層與雜草區(qū)分開，并且圖像中陰影區(qū)域?qū)Ψ指罱Y(jié)果產(chǎn)生了嚴重的干擾，背景也未能被正確分離。圖9d顯示了不同雜草干擾程度的情況下，基于M-LP特征聚類的方法獲得了良好的分割結(jié)果，表現(xiàn)為背景和雜草被剔除，果樹冠層輪廓較為完整，分割結(jié)果與參考圖像比較符合。

圖9還顯示了不同拍攝時間段內(nèi)冠層分割的效果。對比本文方法的分割結(jié)果與參考圖像可知，在不同時間段內(nèi)，本文方法可以有效分割冠層區(qū)域，表現(xiàn)為雜草與背景被去除，冠層較為完整。觀察圖9b、9c可知，當(dāng)拍攝時間為光照較強的中午時，在冠層的樹梢區(qū)域內(nèi)，K-means和GMM聚類的分割方法出現(xiàn)了明顯的漏分割現(xiàn)象；當(dāng)拍攝時間為曝光不足的傍晚時，圖中顯示冠層與雜草的區(qū)分度較低，K-means聚類和GMM聚類的分割效果較差，雜草未被正確識別，錯分現(xiàn)象嚴重。

3.2 算法評價與分析

為定量評價本文算法對冠層分割的準確性，將參考圖像的前景區(qū)域作為真實冠層區(qū)域。采用精確率P評估分割算法的準確性，計算式為

(11)

式中TP——分割結(jié)果中冠層被正確分割的像素數(shù)

FP——分割結(jié)果中被錯誤分割成真實冠層的像素數(shù)

采用召回率R評估分割算法所獲冠層的完整性，計算式為

(12)

式中FN——分割結(jié)果中被錯誤當(dāng)成背景的像素數(shù)

本文還使用F1值對分割結(jié)果進行綜合評價。F1值同時兼顧了分割模型的精確率和召回率，是精確率和召回率的調(diào)和平均數(shù)，定義為

(13)

采用上述3種評價指標(biāo)，分別在采集的30組雜草輕微干擾、中等干擾、較強干擾的樣本圖像上計算不同分割方法的精確率和召回率，結(jié)果如表1所示。總體上看，本文方法的F1值為92.8%、91.4%和90.0%，相比K-means和GMM分別提高了24.5、31.1、35.0個百分點和21.8、21.7、33.3個百分點。這說明本文方法對于含有雜草等背景的冠層圖像分割效果最優(yōu)，具有較強的魯棒性。而使用K-means聚類算法分割的精確率從59.4%逐漸降低至47.9%和39.9%。使用GMM聚類算法的分割精確率從62.1%逐漸降低至58.7%和44.2%。分析可知這是由于隨著雜草干擾程度增強，被錯分為冠層區(qū)域的像素增加，因此算法的分割精確率降低；但是由于雜草數(shù)量并不顯著，影響了冠層區(qū)域的查全性，因此在召回率上則具有未呈現(xiàn)明顯降低的規(guī)律。綜上所述，本文方法針對不同雜草干擾程度下果樹冠層圖像具有較強的魯棒性，能夠準確分割復(fù)雜背景干擾下的果樹冠層。

為了分析拍攝時間對分割效果的影響，在早晨、中午、傍晚分別獲取的30組樣本圖像上計算不同分割方法的精確率和召回率以及算法運行時間，結(jié)果如表1所示。由表1可知，拍攝時間的變化對于本文分割方法影響不大，F(xiàn)1值分別為80.0%、88.1%、80.5%，相比K-means和GMM算法分別提高了21.1、35.3、22.8個百分點和23、41.3、8.2個百分點。拍攝時間對無特征加權(quán)的K-means和GMM聚類分割方法影響較大。當(dāng)拍攝時間為中午時，K-means和GMM聚類分割的召回率僅為39.7%和34.2%，相對本文方法降低了48.8、54.3個百分點，召回率明顯降低。分析可知，這是由于中午陽光較為強烈，圖像局部出現(xiàn)過曝，過曝使得冠層被漏分，因此冠層分割的完整性降低。當(dāng)拍攝時間為早晨和傍晚時，K-means和GMM聚類法的分割精確率為59.7%、57.5%和65.4%、75.7%，相對本文方法降低了19.8、22個百分點和17.6、7.3個百分點。分析可知，這是由于早晨和傍晚曝光不夠充足，圖像整體偏暗，雜草與冠層的區(qū)分度降低，造成了分割的精準度下降。分析無特征加權(quán)的K-means和GMM聚類法的分割結(jié)果可知，雜草干擾程度主要影響分割方法的精準度，而不同拍攝時間則對召回率有較大的影響。因此在雜草和不同拍攝時間段的雙重干擾下，圖10顯示了使用無特征加權(quán)的K-means和GMM聚類方法的平均精確率、平均召回率以及平均F1值僅為58.5%、66.6%、58.8%和62.1%、68.1%、62.2%，而本文方法相比提高了28.6、21.1、28.3個百分點和25.0、19.6、24.9個百分點。這說明本文方法能解決雜草干擾下的冠層分割問題，同時對于不同拍攝時間下采集的冠層圖像分割具有一定的魯棒性。

表1 不同分割算法的評價指標(biāo)對比Tab.1 Comparison of evaluation indexes of different segmentation algorithms

圖10 不同分割方法分割結(jié)果的平均準確率、平均召回率和平均F1值對比Fig.10 Average precision, recall rate and F1-scores comparison of segmentation results by different segmentation methods

4 結(jié)束語

提出了一種基于M-LP特征加權(quán)聚類的果樹冠層圖像分割方法。從精確率和召回率的評估結(jié)果看，本文方法對于背景干擾強烈、果樹枝葉繁茂、雜草繁多以及不同拍攝時間段下圖像的分割效果優(yōu)良，平均精確率為87.1%，平均召回率為87.7%，平均F1值為87.1%。說明本文分割方法對于不同程度的雜草干擾和不同拍攝時間段下的果樹圖像具有一定的魯棒性。