基于最優(yōu)子集選擇的水稻穗無人機圖像分割方法

曹英麗 劉亞帝 馬殿榮 李 昂 許童羽

(1.沈陽農業(yè)大學信息與電氣工程學院， 沈陽 110866;2.沈陽農業(yè)大學農業(yè)農村部東北水稻生物學與遺傳育種重點實驗室， 沈陽 110866)

0 引言

水稻產量主要由單位面積稻穗數(shù)量、穗粒數(shù)和千粒質量3個因素決定，水稻產量的早期預測對育種專家準確評估種質資源，對農業(yè)生產者及時調整水肥管理、提高產量等具有重要意義[1]。水稻穗是與產量最直接相關的生理器官，其準確識別與提取不僅有助于產量估測，還對病蟲害檢測、營養(yǎng)診斷、生育期判斷等起到重要作用[1-3]。水稻穗數(shù)識別方法主要包括傳統(tǒng)人工統(tǒng)計法、基于地面冠層數(shù)碼影像識別法、基于遙感影像識別法等。傳統(tǒng)的水稻穗人工統(tǒng)計方法勞動強度大、耗費時間長、易產生人為誤差，難以滿足現(xiàn)代化精準農業(yè)生產實際需求?；诘孛婀趯訑?shù)碼影像與計算機視覺、深度學習等技術相結合在水稻穗提取以及作物其他表型信息采集方面取得了長足的進展[4-6]。文獻[4]利用長短聚焦鏡頭雙目相機系統(tǒng)，連續(xù)采集水稻數(shù)碼影像，從而實現(xiàn)了水稻穗長度的自動計算，取代了人工測量方式；文獻[5]設計了全自動的田間作物表型平臺，用于連續(xù)、高通量監(jiān)測作物長勢、判斷作物的生育期；文獻[6]利用地面冠層數(shù)碼影像數(shù)據(jù)，提出了一種麥穗計數(shù)算法，實現(xiàn)了大田環(huán)境下小麥穗密度的估算。

基于地面作物表型信息系統(tǒng)的稻穗識別仍不能滿足高通量、快速、大面積田間信息采集的需要，農業(yè)遙感技術的不斷發(fā)展為大面積田間作物信息獲取提供了新途徑。無人機低空遙感具有靈活性高、影像獲取時間短、成本低、地面分辨率高等優(yōu)點[1,7]，在作物覆蓋度提取、氮素含量反演、產量估計、株高生物量估測等方面得到了廣泛應用[8-17]，從圖像中準確地分割出水稻穗是基于無人機數(shù)碼影像的產量估測、病蟲害分析、精準施肥等信息化管理的關鍵。常用的圖像分割方法有閾值分割法、人工神經網絡、卷積神經網絡等[18-23]。文獻[18]利用ExG指數(shù)法和最大似然監(jiān)督分類法對無人機數(shù)碼影像進行處理，提出利用顏色轉換空間HSI(H-A 法)從無人機數(shù)碼影像中快速提取馬鈴薯覆蓋信息；文獻[19]基于棉花無人機可見光遙感影像，分析了Lab 顏色空間a通道、RGB顏色空間2G-R-B指數(shù)和HIS顏色空間H通道對棉花的識別能力，研究了苗期和蕾期覆蓋度的提取方法；文獻[20]運用基于邏輯回歸算法的自適應閾值分割方法，提取棉田冠層區(qū)域，基于棉田冠層圖像在HSV顏色空間中分別提取葉片冠層和地表背景兩類像素的H通道值，在RGB顏色空間中提取綠色占比值G/(G+R+B)作為顏色特征，利用邏輯回歸算法確定各顏色特征的分割閾值，實現(xiàn)數(shù)碼圖像的初次分割，并采用形態(tài)學濾波方法對分割結果進行優(yōu)化；文獻[21]利用深度學習方法實現(xiàn)數(shù)碼影像的分割，解決了作物表型信息提取的問題；文獻[22]利用人工神經網絡(ANN)設計了圖像分割和稻穗識別算法，可實現(xiàn)齊穗期水稻穗數(shù)量的自動識別；文獻[23]基于卷積神經網絡(CNN)設計了一種圖像分割算法panicle-SEG，實現(xiàn)了水稻穗超像素分割；文獻[1]為了提高田間水稻穗的檢測精度，利用改進的區(qū)域全卷積神經網絡設計了一種水稻穗計數(shù)系統(tǒng)，并應用無人機搭載RGB數(shù)碼相機獲取水稻數(shù)碼影像，進行了現(xiàn)場測試與分析。

以上研究在利用無人機數(shù)碼影像實現(xiàn)水稻穗分割與提取方面開展了大量工作，在東北粳稻無人機數(shù)碼影像的數(shù)據(jù)積累與樣本庫構建、顏色空間各個通道或指數(shù)對水稻穗識別能力的分析、水稻穗提取算法的定量評估等方面仍需要繼續(xù)開展相關研究。本文以東北粳稻為研究對象，采集和積累水稻冠層數(shù)碼影像，尋求有效、穩(wěn)定的圖像分割特征與模型，實現(xiàn)復雜田間條件下水稻穗的快速提取，以期為未來智慧農業(yè)水稻產量估測、病蟲害分析等提供支撐。

1 材料與方法

1.1 試驗材料與數(shù)據(jù)采集

水稻無人機數(shù)碼影像拍攝與稻穗提取試驗于2017年和2018年在遼寧省沈陽市沈陽農業(yè)大學超級稻成果轉化基地(123°55′85″E，41°81′63″N)進行。該基地位于東北地區(qū)南部(圖1a)，屬于溫帶半濕潤大陸性氣候，年平均氣溫6.2～9.7℃，年降水量600～800 mm。試驗時期內小區(qū)設計一致，均采用裂區(qū)試驗設計，選取當?shù)刂髟运酒贩N沈農9816，設置7個施氮水平：無氮處理(0 kg/hm2)、低氮處理(150 kg/hm2)、中氮處理(240 kg/hm2)、高氮處理(330 kg/hm2)、有機肥替代10%、有機肥替代20%、有機肥替代30%，試驗重復3次，共21個小區(qū)隨機排列(不同施氮水平小區(qū)如圖1b所示)，小區(qū)面積為30 m2(4.2 m×7.61 m)，不同施肥處理小區(qū)間采用土埂隔離。

圖1 水稻試驗田位置及小區(qū)分布圖Fig.1 Fields location and plots distribution of experiment

無人機數(shù)碼影像采集與地面測試分別于2017年8月21日和2018年9月2日水稻齊穗期進行(依據(jù)文獻[24]試驗結果，基于齊穗期水稻冠層數(shù)碼影像的產量估測精度最高)。在21個小區(qū)的邊角區(qū)域和中心區(qū)域分別布設2個面積為0.5 m×0.5 m的白色樣方(圖1c)，應用四旋翼無人機搭載高清數(shù)碼相機(PHANTOM 4型，1 240萬像素，圖像分辨率為4 000像素×3 000像素)，采集白色樣方內水稻冠層正射數(shù)碼影像，拍攝時間為10:00—14:00，天氣晴朗、無云。無人機分別從2、3、6、9 m飛行高度進行拍攝，由于2 m飛行高度無人機旋翼風場影響拍攝，誤差過大，舍棄該飛行高度拍攝數(shù)據(jù)。試驗共獲取3個飛行高度的21×2×3=126幅RGB數(shù)碼影像，2年累計252幅影像。地面測試同步開展：人工數(shù)出42個樣方內水稻穗的數(shù)量。獲取同一個樣方3、6、9 m 3個飛行高度的正射數(shù)碼影像如圖2所示。

圖2 同樣方3、6、9 m飛行高度數(shù)碼影像Fig.2 Digital images of one sampling region at altitudes of 3 m, 6 m and 9 m

圖4 水稻穗、葉、背景的部分訓練樣本Fig.4 Partial training samples of rice panicle, leaf and background

1.2 研究方法與驗證

本文主要技術流程如圖3所示。

圖3 水稻稻穗分割特征選取與模型構建技術流程圖Fig.3 Feature selection and model construction for panicle segmentation

(1)將不同飛行高度拍攝的水稻小區(qū)樣方正射數(shù)碼影像進行人工裁剪與標定，構建了水稻穗、葉、背景3類圖像樣本庫，計算不同顏色空間各個通道或指數(shù)R、B、H、S、V、GLI等，并將其分為訓練集和驗證集。

(2)應用最優(yōu)子集選擇算法探索不同顏色空間各個通道對水稻穗識別的能力，提取有效的稻穗分割特征，作為稻穗分類模型的輸入。

(3)為定量測試無人機不同飛行高度影像水稻穗分割精度，分別采取圖像像素分類精度和稻穗數(shù)量估測誤差評估：①圖像像素分割精度：基于線性回歸構建水稻穗、葉及背景的分類模型，采用5折交叉驗證算法評估模型精度。②對水稻穗圖像像素分割結果進行連通域分析，獲取水稻穗數(shù)量估測值，并與地面實測數(shù)據(jù)對比分析，用均方根誤差(RMSE)和平均絕對百分誤差(MAPE)評價和判斷3個飛行高度拍攝的圖像水稻穗分割精度。

1.3 基于顏色空間的圖像特征提取

2017—2018年累計獲取水稻試驗小區(qū)樣方正射RGB數(shù)碼影像252幅，采用人工標注的方法，在每幅圖像上隨機選取水稻穗、葉及背景區(qū)域，標識出水稻穗、葉及背景3類圖像各300幅，構建了由水稻穗、水稻葉和背景組成的3分類圖像庫，用于水稻穗提取模型的訓練，部分水稻穗、水稻葉和背景標注樣本示意圖如圖4所示。

RGB、HSV等顏色空間的單通道及其組合指數(shù)常被用來作為圖像不同對象分割的特征參數(shù)[25-26]，其中包括RGB顏色空間的R、G、B通道和HSV投影空間的H、S、V通道，以及歸一化綠紅差異指數(shù)(NGRDI)、紅綠比值指數(shù)(RGRI)、綠葉指數(shù)(GLI)和過綠指數(shù)(ExG)等，計算公式分別為

NGRDI=(G-R)/(G+R)

(1)

RGRI=R/G

(2)

GLI=(2G-R-B)/(2G+R+B)

(3)

ExG=2g-r-b

(4)

其中

r=R/(R+G+B)g=G/(R+G+B)b=B/(R+G+B)

式中R、G、B——紅色波段、綠色波段和藍色波段像素值

r、g、b——R、G、B標準化值

NGRDI——歸一化綠紅差異指數(shù)

RGRI——紅綠比值指數(shù)

GLI——綠葉指數(shù)ExG——過綠指數(shù)

應用Matlab對標定的水稻穗、葉、背景3類圖像樣本進行處理，計算每一類對象像素級的R、G、B、H、S、V、NGRDI、RGRI、GLI和ExG等10個參數(shù)值，作為備選的對象識別特征參數(shù)，待后續(xù)應用最優(yōu)子集選擇算法對特征進行優(yōu)選，從而簡化水稻穗識別模型。從每類對象樣本庫中取出相同個數(shù)的像素級樣本，分別用y=0、y=1和y=2表示水稻穗、葉、背景3類對象的回歸值，將特征參數(shù)值矩陣X與回歸值向量Y歸一化到0～1范圍(即水稻穗、葉、背景3類y分別為0、0.5和1)。

1.4 基于最優(yōu)子集選擇算法的特征選擇

最優(yōu)子集選擇(Best subset selection)算法對特征參數(shù)矩陣X中的p個特征變量的所有可能組合分別使用最小二乘法擬合多元線性回歸模型，從所有可能模型(2p)中選擇一個最優(yōu)模型，即優(yōu)選出與響應變量Y最相關的特征子集，本研究待分析特征為10個，特征數(shù)較少，最優(yōu)子集算法計算效率可以滿足需求。利用最優(yōu)子集選擇算法選擇分類模型，對10個分類特征參數(shù)R、G、B、H、S、V、NGRDI、RGRI、GLI、ExG進行優(yōu)化選擇，剔除模型中不相關的特征從而簡化分類模型，產生的所有組合共有2p=1 024種，最優(yōu)子集選擇算法流程如圖5所示。

圖5 最優(yōu)子集選擇算法流程圖Fig.5 Flow chart of best subset selection

(2)對于包含k個特征的初選模型M1,M2,…,M10應用交叉驗證(Cross-validation)的方法進一步進行特征優(yōu)選：將樣本數(shù)據(jù)集(包括10特征的測試值及其對應的分類值)分成5組，以其中4組數(shù)據(jù)為訓練集進行最小二乘法的線性回歸，用第5組數(shù)據(jù)作為測試集，計算模型的測試誤差；選取5種組合情況下獲取的平均測試誤差最小作為最優(yōu)模型。

線性回歸基本模型可表示為

(5)

其中，X代表10個分類特征參數(shù)：R、G、B、H、S、V、NGRDI、RGRI、GLI和ExG，Y代表3個分類對象(水稻穗、水稻葉和背景，歸一化后分別為0、0.5和1)；β0,β1,…,β10為線性回歸模型的回歸系數(shù)，其最小二乘法估計值為

(6)

其中

Xbig=[1X]

2 結果與分析

2.1 稻穗分割特征提取

應用2017—2018年的試驗數(shù)據(jù)與構建的水稻穗、水稻葉和背景組成的3分類圖像庫，基于最優(yōu)子集選擇算法對3、6、9 m 3個無人機飛行高度拍攝的數(shù)碼影像進行水稻穗分割的特征優(yōu)化選擇：

(1)為降低算法復雜度，評價遍歷特征數(shù)為k的水稻穗分割特征時，采用最小二乘的線性回歸模型，直接選取測試誤差最小的為最優(yōu)模型，選取水稻穗分割特征數(shù)為k時(k=1,2，…，10)對應最優(yōu)模型Mk與精度。

(2)在上述結果基礎上，以篩選的10個過程最優(yōu)模型Mk為對象，進一步采用5折交叉驗證(5-fold cross-validation)的方法從模型M1,M2,…,M10中選取最優(yōu)分類模型，選取的特征及對應誤差列于表1(以3 m為例)。從表中特征數(shù)變化與分類測試誤差關系可知，當特征數(shù)p=7時的模型交叉驗證誤差隨特征數(shù)量變化最小，對應的誤差(MSE)為0.036 3，因此選取該模型特征參數(shù)R、B、H、S、V、GLI和ExG作為水稻穗圖像分割的特征。6 m飛行高度最優(yōu)特征參數(shù)為G、B、H、S、V、RGRI、GLI，對應稻穗分類誤差為0.038 2；6 m飛行高度最優(yōu)特征參數(shù)為R、G、B、H、S、V、RGRI，對應稻穗分類誤差為0.046 9。不同飛行高度稻穗分類精度MSE隨著各自的特征數(shù)變化如圖6所示，由圖可以看出，隨著特征數(shù)的增加，稻穗分類精度有所提高，誤差MSE減小，當特征數(shù)到7時，變化趨于平緩，因此兼顧模型復雜度和精度，特征數(shù)為7時模型效果最佳；對比不同飛行高度獲取數(shù)據(jù)可知，飛行高度為9 m時稻穗分類誤差最大，3 m時誤差最小，6 m時比3 m略大，選取7個特征時3個高度的分類模型誤差分別為0.036 3、0.038 2和0.046 9，因此在生產中利用無人機遙感影像識別稻穗時建議飛行高度為3～4 m，分類模型特征參數(shù)選取R、B、H、S、V、GLI和ExG。

表1 最優(yōu)子集特征選擇過程結果與誤差Tab.1 Results of selected features and error by best subset selection

2.2 稻穗分割結果

對于不同飛行高度測試的無人機數(shù)碼圖片，以對應的最優(yōu)子集特征選擇算法優(yōu)選出的7個稻穗分割特征為輸入，構建的水稻穗、葉、背景分類效果如圖7所示。從圖中可以直觀看出3、6 m的分割效果較好，尤其是水稻穗的分割，基本識別出全部稻穗；但是9 m水稻穗分割效果較差，對應的葉片分割效果更差。

圖7 3個飛行高度的水稻圖像分割結果Fig.7 Segmentation results for images at altitudes of 3 m, 6 m and 9 m

2.3 稻穗數(shù)量識別結果分析

為了進一步定量比較無人機數(shù)碼影像稻穗分割的準確度，通過連通域分析的方法將水稻穗像素轉化為水稻穗數(shù)量，與同步實測的21小區(qū)42個樣方內水稻穗數(shù)量進行比較，具體方法為對分割出的水稻穗圖像進行二值化處理，利用8連通區(qū)域的方法計算圖像中連通區(qū)域的個數(shù)，同時計算連通域的面積，設定臨界值來去除一些細小的孤立點，大于臨界值的連通域個數(shù)即為水稻穗數(shù)量，各個小區(qū)樣方2017年和2018年數(shù)據(jù)平均計算結果如表2所示。

計算出水稻穗數(shù)量實測值與提取值的均方根誤差(RMSE)和平均絕對百分誤差(MAPE)，綜合2017—2018年重復試驗，3個無人機飛行高度數(shù)碼影像水稻穗識別精度如表3所示。

由表3可知，3 m高度圖像水稻穗提取效果較好，實測值與提取值的RMSE、MAPE最小(分別為9.03和10.60%)，均小于6、9 m高度，表明3 m高度圖像水稻穗識別精度高于6、9 m高度。

表2 不同飛行高度數(shù)碼影像的水稻穗數(shù)量識別結果Tab.2 Panicle number recognizing results for images at altitudes of 3 m, 6 m and 9 m

表3 不同高度影像水稻穗識別精度Tab.3 Accuracy of panicle number recognizing for images at altitudes of 3 m, 6 m and 9 m

3 結論

(1)利用2年不同施氮水平的水稻小區(qū)無人機低空遙感數(shù)碼影像數(shù)據(jù)，構建了水稻穗、葉、背景樣本庫，探索了東北粳稻冠層RGB和HSV顏色空間各個通道或指數(shù)對水稻穗的識別能力，應用最優(yōu)子集選擇算法提取了適合東北粳稻稻穗圖像分割的特征，為建立稻穗分割模型提供輸入特征參數(shù)。

(2)采集和擴增東北粳稻齊穗期冠層數(shù)碼影像樣本庫，逐步剔除光照、風速等環(huán)境變化所引起的噪聲干擾，提升水稻穗分割模型的提取精度；為定量檢測稻穗分割模型精度，利用稻穗像素人工標注數(shù)據(jù)及樣方內稻穗數(shù)量地面實測調查數(shù)據(jù)進行檢驗。

(3)以RGB和HSV顏色空間各個通道或指數(shù)為特征的水稻穗分割結果差異較大，應用最優(yōu)子集選擇算法優(yōu)選的R、B、H、S、V、GLI和ExG7個特征參數(shù)組合，對水稻穗識別能力最強，適合東北粳稻水稻穗分割。

(4)以優(yōu)選的7個特征參數(shù)為輸入，構建稻穗分割模型，可有效實現(xiàn)無人機不同拍攝高度獲取的水稻冠層數(shù)碼圖像的分割，在3、6、9 m飛行高度下，數(shù)碼影像稻穗像素分割對應誤差MSE分別為0.036 3、0.038 2和0.046 9，飛行高度3 m時分割效果最佳。

(5)所提出的最優(yōu)子集選擇與多元線性回歸相結合的方法可準確實現(xiàn)水稻穗數(shù)量的提取，在3、6、9 m飛行高度下平均提取誤差RMSE分別為9.03、11.21、13.10。