基于GoogLeNet和無人機圖像的水稻秧苗形態(tài)識別

朱 偉，馬立新，張 平，劉德營

(1 南京農(nóng)業(yè)大學(xué) 工學(xué)院,江蘇 南京 210031； 2 江蘇省農(nóng)業(yè)機械試驗鑒定站,江蘇 南京 210017)

水稻作為我國主要的糧食作物之一，常年種植面積超過 3×107hm2，產(chǎn)量保持在 2×108t以上。在東北、長江中下游、東南沿海三大產(chǎn)區(qū)，地勢平坦，機械化水平高，各類型插秧機的使用大幅度提高了農(nóng)業(yè)生產(chǎn)力[1]。但由于稻田整地不平、沉淀時間不合理、秸稈殘渣未清理和機手操作不當(dāng)?shù)葐栴}，極容易發(fā)生漏插、漂秧、傷秧等情況，造成一定的經(jīng)濟損失。因此，準確快速評價插秧機作業(yè)質(zhì)量，是后續(xù)安排補秧計劃、減小經(jīng)濟損失的必要前提[2]?，F(xiàn)行的插秧機質(zhì)量評價方法仍需要工作人員克服室外高溫、田地泥濘等困難，采用抽樣調(diào)查法，通過目測主觀判斷秧苗形態(tài)，統(tǒng)計漏插率、漂秧率和傷秧率等指標[3]。該方法存在環(huán)境差、任務(wù)重、客觀性不足和效率低下等問題，因此實現(xiàn)水稻秧苗形態(tài)的快速精準識別，對于評價插秧質(zhì)量具有重要意義。

近年來，隨著無人機、圖像處理和深度學(xué)習(xí)等技術(shù)手段在農(nóng)業(yè)領(lǐng)域的應(yīng)用不斷深入，在農(nóng)作物的長勢判斷[4]、倒伏面積計算[5]、病蟲害診斷[6]和產(chǎn)量預(yù)測[7]等方面取得顯著成效。無人機具有速度快、地形限制少、地面分辨率高等優(yōu)點，結(jié)合深度學(xué)習(xí)在圖像處理中的魯棒性強、泛化能力好的特點，十分適合處理田間背景下的復(fù)雜問題[8-11]。陶惠林等[12]利用無人機獲得冬小麥高光譜數(shù)據(jù)，通過構(gòu)建光譜指數(shù)，分析其與冬小麥的長勢監(jiān)測指標的相關(guān)性，利用多元線性回歸、偏最小二乘和隨機森林3種機器學(xué)習(xí)方法建立冬小麥各生育期反演模型，得到冬小麥長勢監(jiān)測圖。趙靜等[13]基于無人機RGB圖像提取出數(shù)字表面模型，通過計算過綠指數(shù)，利用最大似然法和隨機森林法監(jiān)督分類提取小麥倒伏面積，試驗表明融合圖像特征取得了較好的預(yù)測結(jié)果。

在目前深度學(xué)習(xí)快速發(fā)展的基礎(chǔ)上，圖像識別分類研究正大步前進[14-17]。林相澤等[18]基于遷移學(xué)習(xí)和Mask R-CNN提出了一種稻飛虱圖像分類方法，通過自主研發(fā)野外昆蟲圖像采集裝置，獲取大量稻飛虱和非稻飛虱圖像，試驗結(jié)果表明，該算法平均識別精度達到0.92。陳進等[19]基于改進U-Net網(wǎng)絡(luò)，通過增加網(wǎng)絡(luò)深度，提高網(wǎng)絡(luò)泛化能力，建立水稻籽粒圖像分割模型，能較好地分割谷物籽粒、枝梗和莖稈，為水稻聯(lián)合收割機含雜率實時監(jiān)測提供算法支持。楊萬里等[20]使用SegNet和Faster R-CNN對盆栽水稻稻穗進行分割和計數(shù)，結(jié)合穗部、顏色、形態(tài)、紋理等表型特征構(gòu)建盆栽水稻稻穗質(zhì)量預(yù)測模型。

本研究提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)GoogLeNet的水稻秧苗形態(tài)分類識別方法。該方法利用無人機超低空對稻田拍照，通過對秧苗形態(tài)判斷分類，為快速、準確評價插秧機作業(yè)質(zhì)量提供支持和幫助。

1 材料與方法

1.1 研究區(qū)域概述

研究區(qū)域主要分布于江淮一帶，水稻栽插期通常安排在“三夏”期間，一般是5月下旬至六月中上旬。該區(qū)域?qū)儆诒眮啛釒喜繚駶櫺缘貐^(qū)，氣候溫和，四季分明，雨水充沛，年平均氣溫在15～20 ℃，擁有種植水稻的良好環(huán)境。研究團隊為獲取不同時空條件下的秧苗樣本圖片，多次前往各地農(nóng)場、稻田，開展前期調(diào)研、數(shù)據(jù)采集、下田試驗等工作，試驗信息如表1所示。

表1 研究區(qū)域的試驗信息Table 1 Test information of research areas

1.2 數(shù)據(jù)獲取

數(shù)據(jù)采集由大疆精靈 Phantom 4 RTK(Real -time kinematic)完成，機身內(nèi)部攜帶 1 張 64 GB 內(nèi)存卡，負責(zé)存儲航拍圖片。無人機續(xù)航時間為20～30 min，工作環(huán)境溫度為 0～40 ℃，影像傳感器大小為 13.2 mm×8.8 mm，有效像素為 2 000 萬，鏡頭焦距為 8.8 mm，照片分辨率為 5 472×3 648，每個像素代表的實際距離為2.4 μm。

結(jié)合上述數(shù)據(jù)，通過公式(1)，得到無人機在不同高度下的空間分辨率 (Ground sample distance，GSD)，以及鏡頭覆蓋的有效距離(表2)。

表2 無人機分辨率及有效距離Table 2 UAV resolution and effective range

式中：GSD表示空間分辨率，即1個像素代表的實際距離大小；H表示相對航高；f為鏡頭焦距；a為像元尺寸。以江蘇地區(qū)農(nóng)藝要求為例，相鄰秧苗株距為 120～170 mm、行距為 270～330 mm，考慮到對于秧苗漏插率的檢測，無人機飛行相對高度不宜超過 5 m。

無人機航拍時間為2020年6月10日15:00—16:00，天氣晴朗，無風(fēng)無云，溫度33 ℃。航拍路線規(guī)劃是在IQOO Neo3安卓設(shè)備上運行DJI Polit APP設(shè)計完成，航線規(guī)劃選擇航點飛行，高度為3 m，速度為1 m/s，間隔3 m添加航點，并設(shè)置航點拍照動作，航拍路線如圖1所示。無人機執(zhí)行飛行任務(wù)期間，云臺保持垂直向下90°，完成規(guī)定動作，待飛行任務(wù)結(jié)束，自動返航，更換飛行方向，重復(fù)飛行若干次。

圖1 無人機航拍路線Fig. 1 UAV aerial photography route

登錄RTK網(wǎng)絡(luò)賬號，無人機在田間整體定位精度達到0.1 m，單次飛行時間5 min左右。任務(wù)結(jié)束后，取下機身內(nèi)存卡，在筆記本電腦上保存，共得到試驗田航拍圖片1 120張，格式為JPG，單張圖片大小為10 MB左右。

1.3 數(shù)據(jù)處理

1.3.1 圖像預(yù)處理 由于田間背景復(fù)雜，需要對圖片進行灰度化、閾值分割、形態(tài)學(xué)濾波、連通區(qū)域統(tǒng)計、單穴秧苗圖片保存等操作。如圖2所示，通過灰度化處理去除原始RGB圖像包含的冗余信息，減少圖像處理過程的數(shù)據(jù)維度；利用秧苗的綠色與泥田的土褐色差異，通過最大類間方差法(Otsu)來實現(xiàn)目標秧苗、泥田背景的分離；剔除圖片中存在的孤立的、微小的噪聲點；提取各連通區(qū)域的質(zhì)心坐標，依據(jù)坐標大小進行排序，得到秧苗行列關(guān)系；最終按照秧苗編號進行單穴秧苗圖像裁剪命名保存。通過預(yù)處理過程能將單張連續(xù)多穴秧苗圖像裁剪為多張單穴秧苗圖像。

圖2 水稻秧苗圖像預(yù)處理流程Fig. 2 Pretreatment processs of rice seedling image

通過Otsu確定分割閾值，可以較好地解決水面反射、光照強度變化等問題，達到期望的分割效果，實現(xiàn)秧苗行列關(guān)系判斷與編號。按照每列次序，通過公式(2)計算相鄰秧苗質(zhì)心距離是否在正常株距范圍內(nèi)，判別是否發(fā)生漏插現(xiàn)象。設(shè)正常情況下秧苗株距像素距離為d，當(dāng)秧苗間像素距離D大于1.5d，即可判斷此處發(fā)生漏插，經(jīng)過多次圖像試驗，其正確率可達到95.6%以上。

式中：D表示相鄰秧苗的質(zhì)心距離；(x1，y1)和(x2，y2)分別為相鄰秧苗的質(zhì)心坐標。

依據(jù)中華人民共和國國家標準GB/T 6243—2017水稻插秧機試驗方法[21]、農(nóng)業(yè)機械推廣鑒定大綱DG/T 008—2019水稻插秧機[22]，結(jié)合實際判斷經(jīng)驗，做出下列定義：

漏插：插秧機執(zhí)行栽插動作后，無水稻秧苗的插穴；

漂秧：插秧機執(zhí)行栽插動作后，秧根未栽入泥土內(nèi)，而漂浮于稻田中的秧苗；

傷秧：插秧機執(zhí)行栽插動作后，秧苗莖部有折傷、切斷等現(xiàn)象的秧苗；

合格：在插穴內(nèi)，未發(fā)生漂浮、折傷、切斷等現(xiàn)象的秧苗屬于合格。

以質(zhì)心坐標為裁剪圖像中心，向四周擴展，裁剪出任意大小的單穴水稻秧苗圖像，通過多次比較，發(fā)現(xiàn)224像素×224像素圖像處理效果最好，可以做到對單穴秧苗的完全容納，且不會過多涉及其他穴秧苗，部分結(jié)果如圖3所示。無人機在3 m高度下的分辨率為每像素0.82 mm，112像素的距離轉(zhuǎn)換為實際距離大約為92 mm，而相鄰株距為120～170 mm，可見正常情況下，圖片內(nèi)最少出現(xiàn)1穴完整秧苗，且不會同時出現(xiàn)多穴完整秧苗?？紤]到田內(nèi)秧苗品種、培育環(huán)境相同，自身成長特性相似，故選擇面積最大的秧苗進行識別。該尺寸僅對應(yīng)無人機飛行高度為3 m的裁剪要求，如果飛行高度變化，裁剪尺寸也應(yīng)發(fā)生變化。

圖3 水稻秧苗樣本圖像Fig. 3 The sample images of rice seedlings

在試驗中，首先對無人機鏡頭進行手動對焦，并調(diào)整光圈大小、曝光模式以確保無人機拍照清晰；其次通過對試驗田開展整地工作，減少秧苗栽插入土的阻力和秸稈雜物的影響；最后調(diào)節(jié)插秧機取樣量，選擇均勻度合格的秧盤，均勻、整齊地完成插秧作業(yè)。通過采取上述措施，可有效減少無人機航拍圖像中模糊、黏連現(xiàn)象的發(fā)生。將所得單穴秧苗圖像分為：漂秧、傷秧和合格秧苗3類，分類完成后，分別獲得 5 247 張漂秧、5 713 張傷秧和 89 425張合格圖像，最終分別選取3類秧苗圖像5 000、5 000和80 000張，共計90 000張單穴秧苗圖像作為試驗數(shù)據(jù)。

1.3.2 算法設(shè)計 GoogLeNet主體結(jié)構(gòu)由輸入層、5組卷積模塊和輸出層組成，具體包括了22層參數(shù)層和5層池化層。輸入層是224×224×3的圖像，第1組、第2組卷積模塊包括卷積層、最大池化層，第3組、第4組和第5組卷積模塊主要由Inception Module結(jié)構(gòu)和最大池化層組成，輸出層由平均池化層、Dropout、全連接層組成。網(wǎng)絡(luò)結(jié)構(gòu)圖如圖4所示。

圖4 GoogLeNet結(jié)構(gòu)Fig. 4 GoogLeNet structure

Inception module結(jié)構(gòu)有4條并行路徑，前3條路徑分別使用1×1、3×3和5×5卷積核提取不同圖像感受野特征信息，第4條路徑使用3×3的池化核來選取特征點、防止過度擬合，并添加1×1卷積。為降低模型復(fù)雜度、減少數(shù)據(jù)維度，在第2條、第3條路徑中加入1×1卷積操作。Inception module結(jié)構(gòu)圖如圖5所示。

圖5 Inception module結(jié)構(gòu)Fig. 5 Inception module structure

對于輸入圖像為 224×224×3 時， GoogLeNet各層參數(shù)如表3所示。

表3 GoogLeNet結(jié)構(gòu)參數(shù)1)Table 3 The structural parameters of GoogLeNet

1.3.3 對比試驗算法設(shè)計 為體現(xiàn) GoogLeNet卷積神經(jīng)網(wǎng)絡(luò)在水稻秧苗形態(tài)識別的優(yōu)勢，選取傳統(tǒng)的支持向量機 (Support vector machine，SVM)和BP(Back propagation)神經(jīng)網(wǎng)絡(luò)作為對比試驗方法進行分類準確性的比較。如圖6所示，通過對單穴秧苗圖像的Otsu閾值分割、形態(tài)學(xué)濾波、邊界提取、參數(shù)計算等處理，得到相關(guān)特征值。

圖6 水稻秧苗圖像的特征提取Fig. 6 Feature extraction of rice seedling image

考慮到目標秧苗與稻田背景的顏色差異，其分別占據(jù)不同灰度范圍，同時閾值分割計算簡單、性能穩(wěn)定，通過Otsu、雙峰法、迭代法的試驗比較，最終選用Otsu確定閾值作為分割依據(jù)，判定圖像中像素點灰度值小于k的屬于泥田背景，像素點灰度值大于k的屬于秧苗，通過求解秧苗和泥田背景之間方差最大值，此時k值即為最佳閾值，能達到最好的分割效果。

在進行形態(tài)學(xué)濾波處理時，建立輪廓層次，區(qū)分外部、內(nèi)部2種輪廓，使用開閉運算，通過設(shè)置閾值，針對小于閾值s的孔洞進行填充，避免因填充造成的輪廓變化，影響到特征值的大小，防止對秧苗形態(tài)誤判。

選擇秧苗的輪廓信息作為描述秧苗形態(tài)的特征參數(shù)，通過有效篩選，確定狹長度、矩形度、緊湊度、HU不變矩4組特征值。

狹長度（L）為秧苗輪廓外接矩形的狹長程度，反映秧苗自身有效尺寸。

式中：Length、Width分別為最小面積矩形的長、寬。

矩形度（R）為秧苗對其外接矩形的填充程度，反映每穴秧苗的分叉情況。

式中：SArea為秧苗填充區(qū)域的像素和，SMABR為最小外接矩形的面積。

緊湊度（C）為秧苗邊界的緊湊程度，反映秧苗邊緣輪廓的粗糙情況。

式中：Perimeter為秧苗周長，即秧苗邊界的像素點和。

HU 不變矩包括 7 組特征量 [M1，M2，M3，M4，M5，M6，M7]，其具有平移、旋轉(zhuǎn)和尺度不變性，可以用來描述秧苗圖像的全局特征。考慮到二階矩穩(wěn)定性更好，誤差更小，故選擇M1、M2作為HU不變矩的代表特征。

式中：η20、η02、η11均代表圖像不同次冪的二階歸一化中心矩。

通過對大量秧苗圖像處理，計算有關(guān)特征參數(shù)均值，結(jié)果如表4所示。

表4 水稻秧苗輪廓特征參數(shù)信息Table 4 Parameter information of rice seedling outline feature

選擇表格內(nèi)的特征參數(shù)，作為SVM和BP神經(jīng)網(wǎng)絡(luò)的輸入特征向量矩陣，SVM基于徑向基核函數(shù) (Radial basis function)，通過 Class-weight對不同類別設(shè)置不同懲罰參數(shù)(C1～C3，C1為16、C2為16、C3為1)，懲罰系數(shù)一般為樣本數(shù)據(jù)各類別比例倒數(shù)，使用網(wǎng)格搜索法確定rbf_sigma為0.3，BP網(wǎng)絡(luò)包括輸入層、單層隱含層和輸出層，輸入層神經(jīng)元節(jié)點數(shù)取決于輸入的特征向量維數(shù)，輸出層節(jié)點數(shù)對應(yīng)輸出的識別種類個數(shù)，隱含層節(jié)點數(shù)一般由經(jīng)驗公式(7)確定，故本BP神經(jīng)網(wǎng)絡(luò)中輸入層節(jié)點數(shù)為5，隱含層節(jié)點數(shù)為4，輸出層節(jié)點數(shù)為3。隱含層神經(jīng)元的激活函數(shù)為Logsig函數(shù)(線性函數(shù))，輸出層激活函數(shù)為Purelin函數(shù)(非線性函數(shù))，訓(xùn)練函數(shù)為Traingdx函數(shù)(梯度下降自適應(yīng)學(xué)習(xí)率訓(xùn)練函數(shù))，學(xué)習(xí)函數(shù)為Learngdm函數(shù)(梯度下降動量學(xué)習(xí)函數(shù))，訓(xùn)練回合數(shù)為20次，訓(xùn)練目標為0.1，學(xué)習(xí)速率為0.05，繼而得到傳統(tǒng)圖像處理方法對秧苗形態(tài)識別正確率。

式中：G表示隱含層節(jié)點數(shù)；m表示輸入層節(jié)點個數(shù)；n表示輸出節(jié)點個數(shù)；b為1～10的調(diào)節(jié)常數(shù)。

2 試驗與結(jié)果分析

2.1 試驗環(huán)境及參數(shù)設(shè)置

試驗涉及到的所有模型均在以Win10專業(yè)版為操作系統(tǒng)、CPU為Xeon E-2176M、顯卡為NVIDIA Quadro P3200 和 Intel HD630、軟件運行環(huán)境為Matlab2020b上的戴爾工作站上完成。

將裁剪、分類、標記完成的90 000張單穴水稻圖像，按照7∶2∶1的比例隨機分成訓(xùn)練集、驗證集、測試集。經(jīng)多次試驗后依據(jù)準確率最優(yōu)原則，初始學(xué)習(xí)率設(shè)置為0.000 1，動量設(shè)置為0.9，最大訓(xùn)練回合數(shù)為10，批尺寸為32，迭代次數(shù)設(shè)定為2 000次，優(yōu)化函數(shù)選擇Sgdm，通過引用代價向量，首先依據(jù)樣本比例指定代價向量初值，結(jié)合訓(xùn)練過程中得到的混淆矩陣對代價向量進行調(diào)整，參考錯分比例增減漂秧、傷秧樣本的懲罰向量權(quán)值，調(diào)整模型在小樣本的注意力，緩解樣本不平衡帶來的影響。

2.2 結(jié)果與分析

在水稻秧苗圖像分類試驗中，使用計時器，對遍歷測試集文件夾內(nèi)水稻單穴圖像分類試驗過程進行計時，通過公式(8)分別計算3種方法分類平均時長，對比GoogLeNet、SVM和BP神經(jīng)網(wǎng)絡(luò)的分類結(jié)果，如表5所示。

表5 3種算法的秧苗形態(tài)識別試驗結(jié)果Table 5 The experimental results of three algorithms for recognition of seedling morphology

式中：T表示平均識別時間，即包括輸入水稻圖像、圖像處理、特征值計算和輸出分類結(jié)果等完整過程的耗時均值；t表示分類試驗時長；TP表示秧苗圖像正確分類的數(shù)量；FP表示秧苗圖像錯誤分類的數(shù)量。

由表5 可見，基于卷積神經(jīng)網(wǎng)絡(luò)的 GoogLeNet模型，對于秧苗形態(tài)的平均識別正確率達到 91% 以上，單穴圖像檢測時間僅為 0.27 s。而傳統(tǒng)的分類方法，SVM平均識別正確率僅在70%左右，BP神經(jīng)網(wǎng)絡(luò)平均識別正確率在78%左右，分別下降了21、13個百分點，檢測速率也分別增加到1.36和0.85 s。通過深度學(xué)習(xí)能有效減少對于圖像的預(yù)處理操作，避免人工提取特征時間，有效提高檢測效率。

經(jīng)過歸納總結(jié)發(fā)現(xiàn)，秧苗莖葉折傷的程度有輕有重，其角度、位置、數(shù)量都會影響傷秧的正確識別。傷秧的程度過輕，如出現(xiàn)小角度、前端折傷，秧苗與正常秧苗子葉彎曲相似，此時傷秧形態(tài)和合格秧苗差異較小，容易誤判；傷秧的程度過重，如出現(xiàn)大幅度、大面積的倒伏，此時傷秧形態(tài)與漂秧差異較小，也會發(fā)生誤判。這兩類情況的出現(xiàn)，造成了傷秧識別率在秧苗形態(tài)分類準確率中偏低。

3 結(jié)論

1) 通過規(guī)劃航線，無人機超低空航拍，可以快速、準確地取田間秧苗圖片，及時評價插秧質(zhì)量，對后續(xù)補秧計劃提供支持。

2) 基于卷積神經(jīng)網(wǎng)絡(luò)GoogLeNet進行秧苗形態(tài)判斷，可以實現(xiàn)漂秧、傷秧、合格秧苗形態(tài)的平均識別正確率為91.17%。

3) 基于卷積神經(jīng)網(wǎng)絡(luò)GoogLeNet進行秧苗形態(tài)判斷，減少了傳統(tǒng)圖像識別方法中的預(yù)處理和特征提取操作，單穴水稻圖像形態(tài)判斷可以在0.27 s內(nèi)完成，提高了算法的響應(yīng)速度和泛化能力。

4) 算法的局限性：目前僅對部分秧苗種類數(shù)據(jù)做出判斷識別，后續(xù)可以通過增加其他品牌、育秧方式、培育周期等秧苗數(shù)據(jù)，豐富不同秧苗形態(tài)模型結(jié)構(gòu)。