基于Lab顏色空間的非監(jiān)督GMM水稻無人機(jī)圖像分割

曹英麗 林明童 郭忠輝 肖 文 馬殿榮 許童羽

(1.沈陽(yáng)農(nóng)業(yè)大學(xué)信息與電氣工程學(xué)院， 沈陽(yáng) 110866； 2.遼寧省農(nóng)業(yè)信息化工程技術(shù)中心， 沈陽(yáng) 110866；3.沈陽(yáng)農(nóng)業(yè)大學(xué)農(nóng)業(yè)農(nóng)村部東北水稻生物學(xué)與遺傳育種重點(diǎn)實(shí)驗(yàn)室， 沈陽(yáng) 110866)

0 引言

農(nóng)田作物信息的快速獲取與解析是開展精準(zhǔn)農(nóng)業(yè)實(shí)踐的前提和基礎(chǔ)，是突破制約中國(guó)精準(zhǔn)農(nóng)業(yè)應(yīng)用發(fā)展瓶頸的關(guān)鍵。作物生長(zhǎng)期預(yù)測(cè)[1]、作物品系檢測(cè)[2]、覆蓋作物識(shí)別[3]、葉病檢測(cè)[4-5]和作物生物量監(jiān)測(cè)[6]都高度依賴于作物分割算法的性能。作物分割在農(nóng)業(yè)信息自動(dòng)化中起到基礎(chǔ)性的作用[7]。

文獻(xiàn)[8-9]提出了基于多色彩空間和支持向量機(jī)的Multi-SVM分割方法，將支持向量機(jī)(SVM)和最大類間方差法(OTSU)相結(jié)合，用于水稻冠層圖像分割。文獻(xiàn)[10]采用卷積神經(jīng)網(wǎng)絡(luò)和超像素優(yōu)化的深度學(xué)習(xí)方法，提出稻穗分割算法Panicle-SEG。文獻(xiàn)[11]綜合考慮分割性能和計(jì)算速度，提出基于SegNet的PanicleNet算法，其精度遠(yuǎn)優(yōu)于Panicle-SEG算法，且計(jì)算速度約為Panicle-SEG算法的35倍。有研究者將改進(jìn)的全卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于云杉圖像分割[12]、柑橘分割[13]、牧草識(shí)別[14]和棉田分割[15]。文獻(xiàn)[16]提出一種弱監(jiān)督深度學(xué)習(xí)方法，可以使用少量的弱監(jiān)督標(biāo)簽對(duì)農(nóng)田圖像進(jìn)行分割。

以上研究均基于監(jiān)督學(xué)習(xí)，需要大量的標(biāo)記訓(xùn)練數(shù)據(jù)，消耗大量的人力和物力。監(jiān)督學(xué)習(xí)算法的性能在很大程度上依賴于訓(xùn)練數(shù)據(jù)集的質(zhì)量。由于作物種植環(huán)境復(fù)雜，不同圖像的像素具有不同的統(tǒng)計(jì)特性。例如，光照和天氣條件對(duì)不同圖像稻穗像素的統(tǒng)計(jì)分布有極大的影響。即使采用大量不同環(huán)境下拍攝的圖像對(duì)監(jiān)督算法進(jìn)行訓(xùn)練，單一訓(xùn)練模型也難以捕捉到不同圖像間的巨大差異。在一個(gè)圖像集上訓(xùn)練的算法，在其他不同環(huán)境下拍攝的圖像集上可能會(huì)表現(xiàn)不佳。因此，迫切需要開發(fā)一種非監(jiān)督學(xué)習(xí)算法，能夠?qū)W習(xí)、識(shí)別和適應(yīng)每個(gè)圖像的潛在統(tǒng)計(jì)特性，從而在多種情況下能夠取得很好的表現(xiàn)，且不需要對(duì)大量圖像進(jìn)行標(biāo)記。

近年來，非監(jiān)督的作物圖像分割方法取得了一些進(jìn)展。文獻(xiàn)[17]將K-means聚類與圖分割相結(jié)合(KCG)，從背景圖象中分離出水稻籽粒，從而預(yù)測(cè)水稻產(chǎn)量。針對(duì)背景和雜草干擾下的果樹圖像冠層提取問題，文獻(xiàn)[18]提出了一種基于M-LP特征加權(quán)K-means聚類的冠層分割算法。文獻(xiàn)[19]研究了一種基于自適應(yīng)聚類數(shù)的改進(jìn)K-means算法，對(duì)番茄葉片圖像進(jìn)行分割。文獻(xiàn)[20]提出一種非監(jiān)督貝葉斯學(xué)習(xí)方法，基于RGB圖像對(duì)水稻穗圖像進(jìn)行分割，該算法通過識(shí)別同一圖像中穗像素和非穗像素統(tǒng)計(jì)分布的內(nèi)在差異實(shí)現(xiàn)穗檢測(cè)，不需要訓(xùn)練。在該非監(jiān)督學(xué)習(xí)方法中，用一個(gè)多元高斯混合模型(GMM)代表一個(gè)圖像的像素強(qiáng)度，GMM的每個(gè)分量對(duì)應(yīng)一個(gè)可能的類別。模型參數(shù)從每個(gè)獨(dú)立、未標(biāo)記的無人機(jī)RGB圖像直接學(xué)習(xí)獲得。不同的圖像會(huì)有不同的模型參數(shù)，該算法能夠適應(yīng)各種不同環(huán)境拍攝的圖像。但是，在田間作業(yè)條件下，水稻冠層圖像的RGB顏色特征顯著受光強(qiáng)影響，基于RGB顏色空間的分割方法的穩(wěn)健性和精確度較低[21]。Lab顏色空間將顏色屬性從光強(qiáng)屬性中獨(dú)立出來，可以在一定程度上降低野外多變光強(qiáng)環(huán)境的影響[22]。

為解決以上問題，本文提出一種基于Lab顏色空間的非監(jiān)督貝葉斯GMM田間水稻無人機(jī)圖像分割方法，自動(dòng)分析未標(biāo)記圖像像素的統(tǒng)計(jì)特性，無需訓(xùn)練，降低田間多變光照強(qiáng)度的影響，以期為精準(zhǔn)農(nóng)業(yè)航空研究提供支持。

1 材料與方法

1.1 試驗(yàn)設(shè)計(jì)與數(shù)據(jù)采集

田間試驗(yàn)于2019年在沈陽(yáng)市沈陽(yáng)農(nóng)業(yè)大學(xué)(SYAU)路南試驗(yàn)田(123°57′44″ E,41°83′36″ N)進(jìn)行。沈陽(yáng)市屬溫帶半濕潤(rùn)大陸性氣候，地勢(shì)平坦，年平均氣溫6.2～9.7℃，降雨量600～800 mm。

試驗(yàn)設(shè)置4個(gè)氮處理梯度和5個(gè)水稻品種，共20個(gè)小區(qū)，如圖1所示。4個(gè)氮肥水平為：N0(0 kg/hm2)、N1(50 kg/hm2)、N2(100 kg/hm2)、N3(150 kg/hm2)。選取遼寧地區(qū)5個(gè)主栽水稻品種：V1(399)、V2(鹽豐47)、V3(橋潤(rùn)粳)、V4(美豐稻)、V5(鹽粳糯66)。每小區(qū)種植10行，行距0.25 m，列距0.2 m，不同氮肥小區(qū)間用土埂隔離，粳稻生長(zhǎng)過程中其他試驗(yàn)條件保持一致。

于2019年6月25日(水稻分蘗后期)使用無人機(jī)拍攝正射影像。圖像采集時(shí)間在10:00—12:00，飛行高度分別設(shè)置為10 m和15 m。試驗(yàn)期間天氣晴朗，無風(fēng)或微風(fēng)。采用大疆精靈4(PHANTOM4)型無人機(jī)作為遙感平臺(tái)，最大可承受風(fēng)速為10 m/s，懸停精度為垂直-0.1～0.1 m、水平-0.3～0.3 m。高清數(shù)碼相機(jī)焦距為35 mm，圖像尺寸為4 000像素×3 000像素。共得到拍攝高度10 m圖像259幅，拍攝高度15 m圖像178幅。使用Pix4DMapper軟件分別對(duì)10 m和15 m圖像進(jìn)行拼接處理，獲取水稻試驗(yàn)田高度10 m和15 m全景圖。在高度10 m試驗(yàn)田全景圖中，利用Photoshop軟件隨機(jī)截取5幅300像素×300像素的圖像；在高度15 m試驗(yàn)田全景圖中，隨機(jī)截取5幅200像素×200像素的圖像，共截取10幅圖像。

1.2 關(guān)鍵顏色特征集構(gòu)建

田間多變光強(qiáng)條件顯著影響拍攝圖像的RGB顏色空間像素值，從而影響圖像分割算法的精確性和穩(wěn)定性。Lab顏色空間能在一定程度上降低光強(qiáng)變化的影響。對(duì)于彩色圖像處理，顏色空間的建立及選擇非常重要，顏色空間是彩色圖像處理、分析和理解的基礎(chǔ)，顏色空間的選取將直接影響彩色圖像的處理方法及效果。

計(jì)算無人機(jī)圖像的顏色特征L、a、b，另外獲取其R、G、B和H、S、V顏色特征。獲取的無人機(jī)圖像以RGB顏色空間存儲(chǔ)，將RGB顏色空間圖像轉(zhuǎn)換為HSV和Lab顏色空間圖像，得到H、S、V、L、a、b以及R、G、B共9個(gè)顏色特征子空間，即原始RGB彩色圖像被分解為9個(gè)灰度圖像。其中顏色特征H、S、V與R、G、B的轉(zhuǎn)換關(guān)系為

(1)

(2)

(3)

其中

(4)

另外，顏色特征L、a、b與R、G、B的轉(zhuǎn)換關(guān)系可表示為

L=116f(Y)-16

(5)

(6)

(7)

其中

(8)

(9)

本文分別選取顏色特征L、a、b用于非監(jiān)督貝葉斯方法的圖像分割，另外將R、G、B，H、S、V和全部9個(gè)顏色特征的分割結(jié)果進(jìn)行比較。分割方法分別記為L(zhǎng)ab-GMM和RGB-GMM、HSV-GMM、All-GMM。

1.3 貝葉斯框架下的圖像分割模型

監(jiān)督學(xué)習(xí)算法需要大量的標(biāo)記訓(xùn)練圖像，這需要極大的人工成本。且單一的訓(xùn)練模型難以捕捉不同圖像間的巨大差異。在一個(gè)圖像集上訓(xùn)練的算法，在其他不同環(huán)境下拍攝的圖像集上可能效果不佳。本文采用非監(jiān)督貝葉斯方法進(jìn)行圖像分割，不需要標(biāo)記訓(xùn)練數(shù)據(jù)。在貝葉斯框架下，用一個(gè)多元高斯混合模型(GMM)代表一個(gè)圖像的像素強(qiáng)度，GMM的每個(gè)分量對(duì)應(yīng)一個(gè)可能的類別。在該非監(jiān)督學(xué)習(xí)方法中，模型的參數(shù)直接從每個(gè)獨(dú)立的未標(biāo)記圖像獲得，不同的圖像對(duì)應(yīng)不同的模型參數(shù)，這使得該算法能夠適應(yīng)不同環(huán)境下拍攝的圖像。

假設(shè)每個(gè)無人機(jī)圖像包含N個(gè)像素，則可將圖像表示為

X=[x1x2…xi…xN]

(10)

其中

xi=[xi1xi2…xip]T

(11)

式中p——顏色特征數(shù)

若選取顏色特征L、a、b，則p=3，且xi1、xi2、xi3分別對(duì)應(yīng)第i個(gè)像素的顏色特征L的值、顏色特征a的值和顏色特征b的值。

圖像中的每個(gè)像素都被分為K個(gè)類別之一，如水稻、泥土等。K由人為給定，在本文中K為2。定義隱變量Z指示圖像像素的類別

Z=[z1z2…zi…zN]

(12)

式中zi——像素i所屬類別

假設(shè)觀測(cè)數(shù)據(jù)X由高斯混合模型生成

(13)

其中Θ={{q1,q2,…,qk},{μ1,μ2,…,μk},

{Φ1,Φ2,…,Φk}}

(14)

式中qi——像素屬于第i類的概率

μi——第i類對(duì)應(yīng)多元高斯分布的均值向量

Φi——第i類對(duì)應(yīng)多元高斯分布的協(xié)方差矩陣

本文的目標(biāo)是基于無人機(jī)數(shù)碼圖像X，通過非監(jiān)督貝葉斯分類器識(shí)別所有像素的類別Z。最大后驗(yàn)概率(MAP)決策方法能夠最大化zi的后驗(yàn)概率

(15)

式中，Θ通過EM算法進(jìn)行估計(jì)。

1.4 期望最大化算法

EM(Expectation-Maximization)算法是一種迭代優(yōu)化算法，常用于包含隱變量的概率模型的參數(shù)估計(jì)。本文采用EM算法，最大化高斯混合模型參數(shù)的對(duì)數(shù)似然函數(shù)L(Θ)來估計(jì)模型參數(shù)，具體步驟如下：

(2)E步

(16)

(3)M步

(17)

(18)

(19)

(20)

(4)重復(fù)步驟(2)和步驟(3)，直到參數(shù)收斂。

(21)

(22)

(23)

(24)

(25)

1.5 精度評(píng)價(jià)

為評(píng)估該非監(jiān)督貝葉斯學(xué)習(xí)方法的精度，將無人機(jī)圖像像素人工標(biāo)記為植被和非植被。通過軟件分析發(fā)現(xiàn)，圖像中不存在純紅像素(R=255，G=0，B=0)，故在Photoshop軟件將水稻像素標(biāo)記為純紅色，則未標(biāo)記部分即為非水稻像素。人工標(biāo)記的結(jié)果作為評(píng)估的基準(zhǔn)，通過逐個(gè)像素比較人工標(biāo)記結(jié)果和自動(dòng)分割圖像來定量評(píng)估算法的結(jié)果。

根據(jù)分割結(jié)果和人工標(biāo)記結(jié)果計(jì)算查全率R(Recall)、查準(zhǔn)率P(Precision)和F1值，另外繪制ROC曲線并計(jì)算ROC曲線下的面積AUC值，全面分析算法精度。

2 結(jié)果與分析

2.1 非監(jiān)督貝葉斯方法分割結(jié)果

將原始RGB無人機(jī)圖像進(jìn)行顏色空間轉(zhuǎn)換得到顏色特征向量集，包含R、G、B、H、S、V、L、a、b共9個(gè)顏色特征向量。建立基于Lab顏色空間、RGB顏色空間、HSV顏色空間以及全部9個(gè)顏色特征的貝葉斯模型(Lab-GMM、RGB-GMM、HSV-GMM和All-GMM)。高度10、15 m不同植被覆蓋度梯度的圖像分割結(jié)果如圖2、3所示。

圖2、3的視覺比較表明自動(dòng)檢測(cè)結(jié)果和人工標(biāo)記結(jié)果有很強(qiáng)的相關(guān)性。HSV-GMM和All-GMM僅大致分辨出植被像素和非植被像素，效果一般；RGB-GMM和Lab-GMM均能較準(zhǔn)確地對(duì)圖像進(jìn)行分割，分割結(jié)果與人工標(biāo)記結(jié)果有很強(qiáng)的相關(guān)性。

2.2 水稻冠層圖像分割結(jié)果定量評(píng)價(jià)

為驗(yàn)證基于不同顏色特征集的高斯混合模型對(duì)獲取的水稻冠層無人機(jī)圖像的分割效果，以人工分割的水稻冠層圖像作為基準(zhǔn)，計(jì)算Lab-GMM和RGB-GMM、HSV-GMM、All-GMM分割方法的查全率R、查準(zhǔn)率P和F1值，其結(jié)果如表1和表2所示。

HSV-GMM和All-GMM的查全率較高，對(duì)于高度10 m圖像，HSV-GMM的平均查全率達(dá)到0.824 4，All-GMM的平均查全率達(dá)到0.873 7；對(duì)于高度15 m圖像，HSV-GMM的平均查全率達(dá)到了0.878 9，All-GMM的達(dá)到了0.902 4。然而，這2種算法的查準(zhǔn)率偏低，對(duì)于高度10 m圖像，平均查準(zhǔn)率僅為0.619 4和0.619 1；對(duì)于高度15 m圖像，僅為0.561 6和0.572 4。HSV-GMM和All-GMM查全率高而查準(zhǔn)率低的情況導(dǎo)致了較低的F1值，對(duì)于高度10 m圖像，2種算法的平均F1值僅為0.646 6和0.692 7；對(duì)于高度15 m圖像，為0.653 8和0.676 0。HSV-GMM和All-GMM的分割效果不太理想。

表1 高度10 m圖像分割結(jié)果對(duì)比Tab.1 Comparing results of images segmentation at 10 m height

表2 高度15 m圖像分割結(jié)果對(duì)比Tab.2 Comparing results of images segmentation at 15 m height

RGB-GMM能較準(zhǔn)確地識(shí)別出水稻像素，對(duì)于高度10 m圖像，RGB-GMM的平均查全率、平均查準(zhǔn)率和平均F1值分別為0.757 8、0.744 4和0.745 8；對(duì)于高度15 m圖像，分別為0.782 3、0.719 0和0.727 8。RGB-GMM的查全率和查準(zhǔn)率均較高，這使得F1值也較高。RGB-GMM的分割效果較好，明顯優(yōu)于HSV-GMM和All-GMM。

Lab-GMM算法能夠準(zhǔn)確分割圖像。對(duì)于高度10 m圖像，Lab-GMM的平均查全率、平均查準(zhǔn)率和平均F1值分別為0.842 7、0.757 0和0.794 8，分別比RGB-GMM高0.084 9、0.012 6和0.049；對(duì)于高度15 m圖像，Lab-GMM的平均查全率、平均查準(zhǔn)率和平均F1值分別為0.875 6、0.713 3和0.778 8，平均查全率比RGB-GMM高0.093 3，平均查準(zhǔn)率比RGB-GMM低0.005 7，平均F1值比RGB-GMM高0.051。顯然，Lab-GMM的性能顯著優(yōu)于RGB-GMM，能夠準(zhǔn)確識(shí)別無人機(jī)圖像中的水稻像素，具有良好的魯棒性。

為了更加直觀地比較算法之間的性能差異，以FPR(假正例率)為橫軸，TPR(真正例率)為縱軸，繪制受試者工作特征曲線(ROC曲線)，如圖4和圖5所示。另外計(jì)算了各ROC曲線下的面積，即AUC值，如表3、4所示。

算法在圖像4、5、8、10上的表現(xiàn)基本一致。

HSV-GMM和All-GMM算法在圖像1、2、3、6、9上的識(shí)別效果較差，性能波動(dòng)大。在高度10 m圖像上，HSV-GMM的AUC值最小為0.725 5，平均值為0.859 7；All-GMM的AUC值最小為0.879 1，平均值為0.908 8。在高度15 m圖像上，HSV-GMM的AUC值最小為0.646 8，平均值為0.829 6；All-GMM的AUC值最小為0.645 5，平均值為0.843 7。RGB-GMM算法的性能較好，在高度10 m圖像上的平均AUC值達(dá)到了0.910 1，在高度15 m圖像上為0.894 7，優(yōu)于HSV-GMM和All-GMM算法。

表3 高度10 m圖像分割結(jié)果的AUC值Tab.3 AUC value of 10 m images segmentation result

表4 高度15 m圖像分割結(jié)果的AUC值Tab.4 AUC value of 15 m images segmentation result

但是RGB-GMM在圖像7上的性能顯著下降，AUC值只有0.740 3，這可能是圖像7的光照強(qiáng)度不均勻造成的。Lab-GMM算法在全部10幅圖像上均表現(xiàn)出良好的性能，在高度10 m和15 m圖像上的最小AUC值分別達(dá)到0.927 1和0.898 6，平均AUC值達(dá)到了0.941 4和0.938 8，比RGB-GMM分別高0.031 3和0.044 1。

Lab-GMM和RGB-GMM算法在10幅圖像中的ROC曲線變化較小，性能較穩(wěn)定，且Lab-GMM始終優(yōu)于RGB-GMM。這是由于RGB顏色空間易受到光照強(qiáng)度的影響，而光照強(qiáng)度對(duì)Lab顏色空間的影響較小。HSV-GMM和All-GMM的ROC曲線基本一致，這是因?yàn)樵贏ll-GMM中H、S、V顏色特征起主要作用。另外，HSV-GMM和All-GMM在圖像4、5、8、10上的ROC曲線與Lab-GMM基本一致，而在其余圖像中HSV-GMM和All-GMM的ROC曲線明顯在Lab-GMM下方。比較10幅無人機(jī)圖像，圖像4、5、8、10的水稻生長(zhǎng)狀況明顯優(yōu)于其余圖像，使得圖像的植被覆蓋度較高，其他圖像植被覆蓋度較低且存在較多水稻陰影。HSV-GMM和All-GMM易將水稻陰影區(qū)域分割到水稻類別中，導(dǎo)致圖像分割效果不佳。

顯然，Lab-GMM算法優(yōu)于RGB-GMM、HSV-GMM和All-GMM算法，對(duì)不同高度和植被覆蓋度下獲取的水稻冠層圖像的分割效果均最佳，具有優(yōu)越的分割精確度和穩(wěn)定性，能夠準(zhǔn)確地識(shí)別水稻像素，適用于本文中的無人機(jī)圖像分割。

2.3 類別區(qū)分

本文提出的非監(jiān)督貝葉斯方法，能夠自動(dòng)分割水稻無人機(jī)圖像，無需標(biāo)記訓(xùn)練數(shù)據(jù)。該算法通過分析像素統(tǒng)計(jì)特性的差異，將每個(gè)圖像的像素分為2類，即水稻和非水稻，但并不能區(qū)分k=1為水稻或k=2為水稻。

定義mi表示第i類像素在顏色通道G上的均值，其中i∈{1,2}?；谠囼?yàn)結(jié)果，水稻像素在顏色通道G上的均值總是最大，如圖6所示。因此，水稻類別可以檢測(cè)為

(26)

3 結(jié)論

(1)研究了基于Lab顏色空間的非監(jiān)督貝葉斯GMM田間水稻無人機(jī)圖像分割方法。Lab顏色空間將顏色屬性從光強(qiáng)屬性中獨(dú)立出來，在一定程度上可以降低野外多變光強(qiáng)環(huán)境的影響。本文采用的非監(jiān)督學(xué)習(xí)方法可以對(duì)未標(biāo)記圖像直接進(jìn)行分割，無需訓(xùn)練，這在處理復(fù)雜多樣的環(huán)境和不同高度拍攝的圖像時(shí)非常有用。試驗(yàn)表明，該算法能夠精確識(shí)別水稻像素，對(duì)不同圖像的識(shí)別精度穩(wěn)定，優(yōu)于現(xiàn)有的基于RGB顏色空間的非監(jiān)督分割方法。

(2)所提出的算法在高度10 m圖像中的平均查全率、平均查準(zhǔn)率和平均F1值分別為0.842 7、0.757 0和0.794 8，在高度15 m圖像中分別為0.875 6、0.713 3和0.778 8，優(yōu)于RGB-GMM、HSV-GMM和All-GMM算法。