基于三維重建的秸稈地單株水稻生長(zhǎng)形態(tài)檢測(cè)研究

魏天翔,汪小旵*,施印炎,王延鵬,王鳳杰,張先潔,卜俊怡,楊四軍

(1.南京農(nóng)業(yè)大學(xué)工學(xué)院/江蘇省現(xiàn)代設(shè)施農(nóng)業(yè)技術(shù)與裝備工程實(shí)驗(yàn)室,江蘇 南京 210031;2.江蘇省農(nóng)業(yè)科學(xué)院農(nóng)業(yè)資源與環(huán)境研究所,江蘇 南京 210014)

長(zhǎng)江下游稻麥輪作區(qū),普遍推行著基于秸稈全量還田的全程機(jī)械化生產(chǎn)方式,但小麥秸稈還田后1個(gè)月內(nèi)會(huì)經(jīng)歷快速腐解期[1],引發(fā)微生物奪氮的同時(shí)產(chǎn)生還原性毒素,不利于下茬水稻的早期生長(zhǎng)發(fā)育,體現(xiàn)為返青緩慢、分蘗減少、葉尖黃化甚至僵苗等負(fù)面現(xiàn)象[2],直接影響著最終的產(chǎn)量和品質(zhì)[3]。諸多研究圍繞促進(jìn)水稻早期生長(zhǎng)發(fā)育展開,包括調(diào)整還田方式、增施氮肥和優(yōu)化水肥管理等[4];而評(píng)估這些措施的效果主要通過對(duì)比分析株高、葉長(zhǎng)、分蘗數(shù)等水稻生長(zhǎng)形態(tài)參數(shù),高效的參數(shù)測(cè)量方法可以給相關(guān)研究提供強(qiáng)有力幫助。

水稻的生長(zhǎng)形態(tài)參數(shù)測(cè)量經(jīng)歷過人工測(cè)量、二維圖像分析[5]和專業(yè)數(shù)字化儀器測(cè)量[6]等階段,這些方法或效率較低,或成本較高,或具有破壞性,難以推廣使用。基于多視角RGB圖像的攝影測(cè)量方法可以以較低成本實(shí)現(xiàn)三維重建,使用普通數(shù)碼相機(jī)即可實(shí)現(xiàn),將其用于植物形態(tài)參數(shù)的測(cè)量是當(dāng)下研究熱點(diǎn)[7]。根據(jù)三維重建原理的不同可分為運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)(structure from motion,SfM)[8]和空間雕刻(structure form space carving,SSC)[9]兩大算法。運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)算法在提取并匹配多視角圖像序列間的特征點(diǎn)后,通過對(duì)極約束計(jì)算目標(biāo)物各點(diǎn)的三維空間坐標(biāo),是基于計(jì)算機(jī)視覺的重建技術(shù)中最先進(jìn)的方法之一,但用于田間水稻仍存在噪聲較大和重建時(shí)間較長(zhǎng)等瓶頸問題。空間雕刻算法以目標(biāo)物多視角圖像及二值分割圖像作為輸入,將目標(biāo)區(qū)域離散化后的體素投影至多視角圖像,根據(jù)其在圖像上是否屬于植株部分而選擇保留或剔除,最終保留體素構(gòu)成目標(biāo)的三維模型,因其具有高效穩(wěn)定和易于實(shí)現(xiàn)等優(yōu)點(diǎn)被研究者們用于水稻、小麥、高粱等作物的三維重建[10-12]。目前的研究多在溫室內(nèi)完成,可以通過擋板簡(jiǎn)化背景分割的難度,而田間水稻的生長(zhǎng)環(huán)境中存在雜草、浮萍、倒影等干擾因素,使得基于顏色、紋理等特征的傳統(tǒng)圖像分割方法難以準(zhǔn)確分割出田間水稻[13];而基于深度學(xué)習(xí)的方法可以在訓(xùn)練過程中實(shí)現(xiàn)自動(dòng)特征提取,在田間圖像的應(yīng)用上能表現(xiàn)出優(yōu)秀的抗干擾能力,顯著提升分割準(zhǔn)確度與效率[14-15]。

本研究旨在結(jié)合深度學(xué)習(xí)圖像分割技術(shù)和空間雕刻技術(shù)探索出一種田間水稻單株尺度三維重建方法,以期為不同秸稈還田方式下水稻生長(zhǎng)參數(shù)測(cè)量提供相應(yīng)的技術(shù)與方法。

1 材料與方法

1.1 秸稈還田方案

試驗(yàn)地點(diǎn)位于江蘇省農(nóng)業(yè)科學(xué)院泗洪稻麥科技綜合示范基地(118.27°E,33.36°N),屬東亞季風(fēng)區(qū)亞熱帶和暖溫帶的過渡區(qū),土壤類型為砂姜黑土,作業(yè)全程機(jī)械化。前茬作物為小麥,2020年6月3日使用久保田688Q聯(lián)合收割機(jī)高留茬收割,同時(shí)秸稈粉碎后全量還田。6月4日耕作整地,動(dòng)力機(jī)械為久保田M1004R輪式拖拉機(jī),旋耕作業(yè)懸掛1GQNGK-250型旋耕機(jī)(河北春耕機(jī)械制造有限公司),翻耕作業(yè)懸掛三鏵犁(淮安淮犁機(jī)械有限公司)。6月7日蓄水泡田。供試水稻品種為江蘇省農(nóng)業(yè)科學(xué)院自主選育的‘優(yōu)香?！?2020年5月14日育苗,6月14日使用久保田SPV-8C插秧機(jī)插秧,每公頃栽插25.5萬穴,每穴4～6苗,配施基肥(復(fù)合肥405 kg·hm-2,尿素81 kg·hm-2),田間管理常規(guī)。

秸稈還田方案如圖1所示,每個(gè)田塊面積約400 m2,田塊之間使用PVC覆膜隔斷區(qū)分?；谌虣C(jī)械化作業(yè)的模式,設(shè)有“泡田+旋耕(SR)”“旋耕+泡田(RS)”和“翻耕+旋耕+泡田(PRS)”3種秸稈還田方式,每種方式均設(shè)置秸稈不還田的空白對(duì)照組(CK)。“泡田+旋耕(SR)”的具體操作為前茬小麥?zhǔn)崭詈?先蓄水泡田40 h以上后進(jìn)行旋耕?！靶?泡田(RS)”即前茬小麥?zhǔn)崭詈笙刃傩钏萏?。“翻?旋耕+泡田(PRS)”的具體操作為前茬小麥?zhǔn)崭詈笙壤绶?再旋耕,最后蓄水泡田。

圖1 田塊分布Fig.1 Distribution of the field

1.2 水稻生長(zhǎng)形態(tài)參數(shù)測(cè)量方法

1.2.1 圖像采集為了便于圖像分割和水稻單株尺度參數(shù)計(jì)算,在插秧完成后立刻在田間設(shè)置單株的觀察組,參考生物統(tǒng)計(jì)學(xué)5點(diǎn)采樣法在田間選取位置,以每穴1苗的方式栽插水稻,每個(gè)田塊設(shè)置15株。此外用同樣的方式另設(shè)置部分單株水稻作參數(shù)驗(yàn)證組,用于和人工測(cè)量數(shù)據(jù)對(duì)比作算法精度驗(yàn)證。

圖像采集分為2類:一類用于三維重建和參數(shù)計(jì)算;另一類用于制作深度學(xué)習(xí)數(shù)據(jù)集。圖像采集設(shè)備為iPhone 8數(shù)碼手機(jī)原生相機(jī),成像分辨率為3 024×4 032。采集方式如圖2所示,首先在每一個(gè)單株觀察點(diǎn)選取合適位置放置標(biāo)定板,然后依次拍攝植株頂部視角和側(cè)方視角圖片,側(cè)方視角根據(jù)植株生長(zhǎng)階段和葉片遮擋情況環(huán)繞植株拍攝4～6張照片。用于空間雕刻三維重建的照片首先要保證信息量足夠,對(duì)輸入圖像的視角沒有嚴(yán)格要求[16],拍攝時(shí)可根據(jù)實(shí)際情況微調(diào)拍攝視角與高度,以確保清晰完整地拍攝到植株和標(biāo)定板。用于深度學(xué)習(xí)的數(shù)據(jù)集囊括水稻的不同生長(zhǎng)時(shí)期,拍攝場(chǎng)景包括不同的光照和天氣條件,在注重類別均衡的情況下,共采集500張照片用作深度學(xué)習(xí)訓(xùn)練數(shù)據(jù)集。

圖2 圖像采集示意圖Fig.2 Schematic diagram of image acquisition

1.2.2 基于深度學(xué)習(xí)的田間圖像分割在深度學(xué)習(xí)領(lǐng)域,自全卷積網(wǎng)絡(luò)(fully convolutional network,FCN)[17]被提出以后,為了實(shí)現(xiàn)像素級(jí)的端到端(end-to-end)圖片語義分割,已有諸多亮點(diǎn)技術(shù)被提出?？斩淳矸e(atrous convolutions)[18]技術(shù)可以實(shí)現(xiàn)擴(kuò)大感受野的同時(shí)不增加計(jì)算量。編碼器-解碼器的結(jié)構(gòu)(Encoder-Decoder)旨在融合不同維度的特征,實(shí)現(xiàn)空間信息和全局信息同時(shí)利用,同時(shí)在盡可能減少信息損失的情況下完成同尺寸輸入輸出,代表性網(wǎng)絡(luò)有SegNet[19]、U-Net[20]等經(jīng)典模型。在PSPNet[21]、DeepLab系列[22]等亮點(diǎn)模型中出現(xiàn)空間金字塔模塊(spatial pyramid pooling,SPP),通過引入多尺度信息,融合不同感受野的特征圖,可以更好地挖掘全局上下文信息。而DeepLabv3+[22]將空洞卷積空間金字塔模塊(atrous spatial pyramid pooling,ASPP)應(yīng)用到編碼器-解碼器架構(gòu)上,實(shí)現(xiàn)了前述亮點(diǎn)技術(shù)的融合,優(yōu)化了物體邊緣細(xì)節(jié)分割效果,目前在多個(gè)數(shù)據(jù)集上保持著最先進(jìn)的分割效果。

DeepLabv3+網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示,網(wǎng)絡(luò)的編碼器部分由主干網(wǎng)絡(luò)和ASPP模塊組成,可以接受任意尺寸的圖片輸入。網(wǎng)絡(luò)的解碼器部分采用了簡(jiǎn)單但高效的方式,將編碼器輸出的特征經(jīng)過上采樣后和解碼器中同分辨率的特征進(jìn)行Concat融合,經(jīng)過3×3卷積細(xì)化特征后上采樣至原圖尺寸,經(jīng)過Softmax分類層得到像素級(jí)的分割圖。

圖3 DeepLabv3+網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Architecture of DeepLabv3+

網(wǎng)絡(luò)采用逐像素的交叉熵作為損失函數(shù),圖片上每個(gè)像素的Softmax分類器的輸出為:

(1)

式中:x、y為像素坐標(biāo);K為總類別數(shù);α(x,y)表示Softmax輸出的該位置像素對(duì)應(yīng)第k個(gè)類別的值;pk(x,y)表示該像素屬于第k類的概率。整個(gè)網(wǎng)絡(luò)的損失可表示為:

(2)

式中:wl表示類別l的損失權(quán)重;pl(x,y)為該點(diǎn)像素屬于類別l的真實(shí)概率。

使用labelme標(biāo)注工具對(duì)數(shù)據(jù)集進(jìn)行人工標(biāo)注得到掩膜標(biāo)簽,在本試驗(yàn)中標(biāo)簽類別為水稻和背景 2類,按照4∶1的比例隨機(jī)劃分為訓(xùn)練集和驗(yàn)證集。為驗(yàn)證DeepLabv3+網(wǎng)絡(luò)在田間水稻分割方面的優(yōu)越性,與PSPNet、SegNet兩代典型語義分割網(wǎng)絡(luò)以及植物分割常用的傳統(tǒng)圖像分割算法ExG+Otus[11]、Grabcut[23]進(jìn)行比較。采用交并比(intersection over union,IoU)、像素精度(pixel accuracy,PA)、F值3種指標(biāo)來評(píng)估分割效果。交并比是語義分割領(lǐng)域最常用的評(píng)價(jià)指標(biāo),為真實(shí)值與預(yù)測(cè)值之間的交集和并集之比,可以判斷目標(biāo)的捕獲程度和分割的精確程度。像素精度為標(biāo)記正確的像素占總像素的比例。F值為精準(zhǔn)率(precision,P)和召回率(recall,R)的調(diào)和平均數(shù),在樣本不均衡時(shí)可以更客觀反映模型的準(zhǔn)確率。雖然上述指標(biāo)定義不同,但均可以通過表1所示的混淆矩陣(confusion matrix)計(jì)算得到。其中:TP代表真實(shí)標(biāo)簽是植株且被識(shí)別為植株的像素個(gè)數(shù);FP代表真實(shí)標(biāo)簽是背景但被識(shí)別為植株的像素個(gè)數(shù);FN代表真實(shí)標(biāo)簽是植株但被識(shí)別為背景的像素個(gè)數(shù);TN代表真實(shí)標(biāo)簽是背景且被識(shí)別為背景的像素個(gè)數(shù)。各指標(biāo)的計(jì)算公式見式(3)—(7)。

表1 分割結(jié)果混淆矩陣Table 1 Confusion matrix of segmentation

(3)

(4)

(5)

(6)

(7)

1.2.3 基于空間雕刻的三維重建空間雕刻技術(shù)是一種基于多視角圖像的物體外型恢復(fù)方法,該方法將待重建的目標(biāo)空間按照需求分辨率劃分為多個(gè)大小相同的立方體,即計(jì)算機(jī)圖形學(xué)中的體素化。根據(jù)每個(gè)立方體體素在多視角圖像上的投影坐標(biāo),來判斷其是否需要?jiǎng)h除或保留。其具有精度較高、易于實(shí)現(xiàn)的特點(diǎn),具體流程如圖4。

圖4 三維重建流程圖Fig.4 Flow chart of three-dimensional reconstruction

1)相機(jī)標(biāo)定:相機(jī)標(biāo)定是三維重建的重要步驟,通過相機(jī)標(biāo)定確定的投影矩陣是重建時(shí)映射實(shí)際三維空間點(diǎn)與二維圖像像素點(diǎn)的必要前提,該映射關(guān)系如式(8)。

(8)

式中:Xw、Yw、Zw為三維空間中某點(diǎn)在世界坐標(biāo)系下的坐標(biāo)值;u、v為該點(diǎn)在圖像平面上的坐標(biāo)值;Zc為該點(diǎn)在相機(jī)坐標(biāo)系下的Z軸坐標(biāo),標(biāo)定后可計(jì)算得到;fx與fy、cx與cy分別為相機(jī)焦距的像素單位表達(dá)和相機(jī)主點(diǎn)在圖像平面上的坐標(biāo),這4個(gè)參數(shù)由相機(jī)本身的制造工藝決定,共同組成相機(jī)的內(nèi)參數(shù)矩陣;R和t分別為旋轉(zhuǎn)矩陣和平移矩陣,也稱為外參數(shù)矩陣,用于描述相機(jī)在世界坐標(biāo)系下的位姿。由內(nèi)外參數(shù)矩陣相乘得到投影矩陣P。為了保證精度,使用外置標(biāo)定物的方法,采用12×9規(guī)格的棋盤格標(biāo)定板,每個(gè)小方格邊長(zhǎng)5 mm,采用經(jīng)典標(biāo)定法[24]計(jì)算每個(gè)視角對(duì)應(yīng)的參數(shù)。

2)計(jì)算包圍盒與體素化:包圍盒作用在于確定需要進(jìn)行體素重建的空間區(qū)域,為了提升算法的計(jì)算效率,首先采用每個(gè)體素4 mm3的空間分辨率進(jìn)行體素雕刻,以此計(jì)算出目標(biāo)空間包圍盒的大致范圍,再以每個(gè)體素1 mm3的空間分辨率執(zhí)行算法。

3)空間雕刻與模型著色:當(dāng)包圍盒體素化完成后,取每個(gè)體素的中心位置作為其世界坐標(biāo)系下的三維坐標(biāo),例如原點(diǎn)處的體素坐標(biāo)為(0,0,0)。然后遍歷每個(gè)視角,計(jì)算該視角下每個(gè)體素的投影坐標(biāo),若在該視角下投影坐標(biāo)屬于植株部分,則保留體素,反之刪除。該過程形似實(shí)體的木塊或陶土的雕刻,因此得名空間雕刻算法。體素雕刻完成后,將保留體素根據(jù)投影矩陣計(jì)算其在原RGB圖上的投影坐標(biāo),以多視角圖像的RGB均值作為該體素的顏色值,以此獲得效果更逼真、信息量更豐富的植株三維模型。

1.2.4 基于三維模型的株型參數(shù)提取提取株高、葉長(zhǎng)、分蘗數(shù)等物理形態(tài)參數(shù)是三維模型的優(yōu)勢(shì),將這些參數(shù)與人工測(cè)量值進(jìn)行對(duì)比可以較客觀地評(píng)估三維模型精度,同時(shí)驗(yàn)證其在田間水稻上應(yīng)用的可行性。本試驗(yàn)中的參數(shù)測(cè)量示意圖見圖5。

圖5 植株參數(shù)測(cè)量示意圖Fig.5 Schematic diagram of plant shape parameters extractionA.植株三維模型3D model of the plant;B.點(diǎn)云分割示意圖Schematic diagram of point cloud segmentation;C.骨架提取示意圖Schematic diagram of skeleton extraction;D.葉片軸線擬合示意圖Schematic diagram of leaf axis fitting;E.葉長(zhǎng)計(jì)算示意圖Schematic diagram of leaf length calculation.

1)株高:通常作物的株高可以通過計(jì)算三維模型Z軸坐標(biāo)極差來獲得,但水稻的生長(zhǎng)環(huán)境決定了會(huì)有部分植株沒于水面下方而無法被相機(jī)采集到,因此需要在拍攝照片之前測(cè)量標(biāo)定板平面相對(duì)于土壤層的高度(h0),在模型生成后,Z軸坐標(biāo)的最大值(Zmax)為植株在標(biāo)定板平面上方的高度數(shù)據(jù),將h0和Zmax相加得到植株的完整株高參數(shù)。

2)分蘗數(shù):根據(jù)水稻分蘗發(fā)生在近地面處的特性,對(duì)植株底部2 cm的體素進(jìn)行刪除后將模型轉(zhuǎn)化為點(diǎn)云,然后使用基于歐式距離的點(diǎn)云聚類算法實(shí)現(xiàn)植株分蘗的分割,圖5-B中不同顏色部分即為聚類得到的不同簇,簇的數(shù)量即為分蘗數(shù)。

3)葉片數(shù)和葉長(zhǎng):參考Fang等[11]的方法并加以改進(jìn),利用骨架提取的方法實(shí)現(xiàn)葉片數(shù)和葉長(zhǎng)的計(jì)算。立方體體素在空間中根據(jù)公共點(diǎn)、公共邊、公共面的不同,存在著26鄰接、18鄰接和6鄰接3種關(guān)系,采用拓?fù)浼?xì)化法可以得到拓?fù)浣Y(jié)構(gòu)不變的單連通骨架[25]。具體實(shí)現(xiàn)如下,將屬于植株模型的點(diǎn)定義為前景點(diǎn),反之定義為背景點(diǎn),依次遍歷植株模型中的每個(gè)點(diǎn),同時(shí)滿足如下4個(gè)條件則刪除該點(diǎn):①該點(diǎn)6鄰域中至少有1個(gè)背景點(diǎn);②該點(diǎn)的26鄰域中必須有2個(gè)或以上前景點(diǎn);③該點(diǎn)26鄰域的前景點(diǎn)集合中,任意2個(gè)點(diǎn)可以通過集合中其他前景點(diǎn)形成26連通路徑;④該點(diǎn)6鄰域中的背景點(diǎn),可以通過其 18鄰域中的背景點(diǎn)形成6連通路徑。迭代上述步驟至保留體素點(diǎn)數(shù)量不變。

骨架提取完成后,根據(jù)其26鄰域單連通的特性,可以實(shí)現(xiàn)分支點(diǎn)和葉尖點(diǎn)的識(shí)別,滿足26鄰域內(nèi)超過2個(gè)前景點(diǎn)的即為分支點(diǎn),滿足26鄰域內(nèi)僅有1個(gè)前景點(diǎn)的為端點(diǎn),葉尖部分和植株底部都會(huì)出現(xiàn)端點(diǎn),故還需要對(duì)每個(gè)分支點(diǎn)沿Z軸坐標(biāo)向下搜索,將得到的端點(diǎn)刪去后才得到最終該點(diǎn)葉尖點(diǎn)數(shù)量。此外,盡管拓?fù)浼?xì)化法在理論上可以得到單連通骨架,但因模型邊緣存在少量噪聲,導(dǎo)致提取出的骨架偶爾出現(xiàn)偽分支和毛刺[16],進(jìn)而引起特征點(diǎn)的錯(cuò)誤識(shí)別,可人工篩選剔除錯(cuò)誤點(diǎn),最終效果如圖5-C所示。

葉尖點(diǎn)的數(shù)量即為當(dāng)前植株的葉片數(shù)。葉尖點(diǎn)和其直接連接的分支點(diǎn)的骨架為葉片骨架,對(duì)其進(jìn)行降采樣后可得到中心軸點(diǎn),如圖5-D和5-E所示,利用B樣條(B-spline curve)曲線擬合葉片中心軸線后可通過曲線積分計(jì)算各葉片的長(zhǎng)度。

2 結(jié)果與分析

2.1 背景分割結(jié)果

深度學(xué)習(xí)算法均基于Tensorflow(v1.14.0)+Keras(v2.3.1)框架實(shí)現(xiàn),硬件配置為處理器Intel Core i9-9900k,內(nèi)存32 GB,顯卡NVIDIA RTX 2070s,操作系統(tǒng)Ubuntu 20.04。訓(xùn)練超參數(shù)設(shè)置如下:優(yōu)化器選擇自適應(yīng)算法Adam(adaptive moment estimation);初始學(xué)習(xí)率為0.001,當(dāng)驗(yàn)證集誤差連續(xù)2個(gè)epoch不下降時(shí),觸發(fā)系數(shù)為0.5的指數(shù)衰減;epoch設(shè)置為100,同時(shí)設(shè)置驗(yàn)證集誤差連續(xù)6個(gè)epoch不下降時(shí)觸發(fā)早停(early stop);Batchsize設(shè)置為4。

5種方法的分割性能對(duì)比見表2,可以看出基于DeepLabv3+的分割算法性能最優(yōu),對(duì)本試驗(yàn)任務(wù)的測(cè)試圖像平均分割性能為IoU值0.801,PA值0.986,F值0.822,均為所有方法中最高。

表2 不同網(wǎng)絡(luò)性能比較Table 2 Performance comparison of different networks

圖6顯示了6種田間圖像場(chǎng)景在不同方法下的分割效果,圖6-A—C中的植株在拍攝前進(jìn)行過人工的雜物清理,目的是簡(jiǎn)化背景以檢驗(yàn)各算法在水稻分蘗期不同階段的分割效果;圖6-D—F為實(shí)際水稻生長(zhǎng)過程中常見的場(chǎng)景,在水稻插秧后至除草前,田間會(huì)常見如圖6-D所示的雜草,而除草期間需要保水至一定高度,又會(huì)出現(xiàn)圖6-E所示的浮萍和圖6-F倒影等干擾圖像分割的因素。圖中的人工分割結(jié)果由labelme標(biāo)注后輸出,用作各方法分割性能指標(biāo)的計(jì)算?？梢钥闯?本文選取的DeepLabv3+方法在水稻的不同生長(zhǎng)時(shí)期都可以達(dá)到較好的分割效果,且應(yīng)對(duì)田間各種干擾因素也能表現(xiàn)出較好的穩(wěn)定性。SegNet作為經(jīng)典的語義分割網(wǎng)絡(luò)能實(shí)現(xiàn)一定程度的水稻植株分割,但在邊緣和細(xì)小連接處等細(xì)節(jié)部分處理較為粗糙,例如部分莖稈和葉片連接處出現(xiàn)斷裂,整體效果遜色于擁有為細(xì)節(jié)和小物體分割而設(shè)計(jì)的ASPP結(jié)構(gòu)的DeepLapv3+網(wǎng)絡(luò)[26]。PSPNet得益于其金字塔池化模塊的設(shè)計(jì),對(duì)物體邊緣的處理效果要優(yōu)于SegNet,但其網(wǎng)絡(luò)結(jié)構(gòu)中處理特征圖采用的是池化操作,而不是DeepLabv3+中采用的空洞卷積,雖融合了上下文信息但造成了一定程度的降采樣[22],應(yīng)用于水稻這類以細(xì)長(zhǎng)葉片和莖稈為主的目標(biāo)時(shí),會(huì)導(dǎo)致背景容易過擬合,即過多地將屬于前景的水稻錯(cuò)誤識(shí)別為背景。

相較于深度學(xué)習(xí)的方法,傳統(tǒng)的植物圖像分割方法最大的缺點(diǎn)在于難以應(yīng)對(duì)環(huán)境的干擾;相比于深度學(xué)習(xí)的自動(dòng)特征提取,傳統(tǒng)算法往往需要人為的設(shè)計(jì)特征,而田間環(huán)境復(fù)雜多變,難以設(shè)計(jì)出通用的方法[27]。如溫室植物圖像分割常用的ExG+Otus算法,其核心在于圖像灰度化時(shí)使用超綠分量突出植物的綠色特征,導(dǎo)致執(zhí)行分割任務(wù)時(shí)不僅會(huì)保留背景中的雜草、浮萍等綠色干擾物,還會(huì)將植物體上的非綠色部分當(dāng)作背景舍棄。而基于圖論的Grabcut算法雖然在黃瓜、煙葉等闊葉植物葉片的分割上有良好的效果,但應(yīng)用于水稻這樣的窄葉多分蘗植物就會(huì)暴露出其對(duì)復(fù)雜邊緣處理效果差的缺點(diǎn),且其需要交互式人工摳出待分割物體的大致輪廓,在水稻圖像的分割上仍需要不小的工作量[28]。綜上,采用DeepLapv3+網(wǎng)絡(luò)可以很好實(shí)現(xiàn)復(fù)雜環(huán)境下田間水稻圖像的分割任務(wù),節(jié)約大量的人工成本,顯著提升整體算法的自動(dòng)化程度。

2.2 三維模型重建結(jié)果

圖7展示了不同側(cè)方視角數(shù)量下水稻的3個(gè)生長(zhǎng)時(shí)期的重建結(jié)果。當(dāng)視角數(shù)量小于4的時(shí)候,模型較為粗糙,重影噪聲較多,同時(shí)存在相鄰葉片黏連等現(xiàn)象。這是由于植株葉片間存在遮擋,少量的視角難以滿足重建要求的信息量,造成部分背景體素未被刪去;視角數(shù)量過多時(shí)則會(huì)造成模型失真,具體表現(xiàn)為在植株較細(xì)的葉片或莖稈處出現(xiàn)斷裂,這是因?yàn)橄鄼C(jī)的標(biāo)定難以做到完全零誤差,視角數(shù)量過多會(huì)造成誤差的累積,誤刪除屬于植株的體素。故視角數(shù)量的確定要根據(jù)植株結(jié)構(gòu)的復(fù)雜程度而定,從試驗(yàn)效果看,在水稻生長(zhǎng)的苗期和分蘗中期,選用4個(gè)側(cè)方視角的方案,在分蘗中期過后,選用6個(gè)側(cè)方視角的方案效果最佳。

圖7 不同視角數(shù)量的水稻植株三維重建結(jié)果(n為側(cè)方視角數(shù)量)Fig.7 Reconstructed results of rice plant using different number of views(n is the number of side views)

2.3 模型精度驗(yàn)證

圖8為4個(gè)水稻株型參數(shù)與人工測(cè)量的對(duì)比結(jié)果。在株高和葉長(zhǎng)散點(diǎn)圖中,各數(shù)據(jù)的散點(diǎn)分布主要集中在參考直線附近,表明人工測(cè)量值與模型輸出值具有較強(qiáng)的相關(guān)性。此外,可以發(fā)現(xiàn)大部分樣本的株高模型提取值低于人工測(cè)量值,造成該現(xiàn)象的可能原因是側(cè)方視角的標(biāo)定誤差累積,使空間雕刻過程中誤刪了部分植株頂端的細(xì)小部分,導(dǎo)致株高輸出值的誤差,但從整體上看本方法重建的植株模型具有較高精度。

圖8 模型精度驗(yàn)證Fig.8 Accuracy validation of models

分蘗數(shù)的計(jì)算結(jié)果RMSE為0.82,與人工測(cè)量值進(jìn)行線性擬合得到R2為0.89。進(jìn)一步統(tǒng)計(jì)可得,誤差為0的占總樣本的58%,誤差在±1以內(nèi)的占總樣本的88%,表明本方法在田間水稻分蘗數(shù)的自動(dòng)獲取上具有較高精度。葉片數(shù)的計(jì)算結(jié)果RMSE為1.39,與人工測(cè)量值進(jìn)行線性擬合得到R2為0.95。其中,誤差為0的占總樣本44%,誤差在±1以內(nèi)的占總樣本的74%,但存在少量(4%)誤差在±4以上的樣本,這可能是由于水稻生長(zhǎng)中后期,存在部分凋零和浸泡于水中的葉片,導(dǎo)致模型難以精確分割和計(jì)數(shù),但從整體上看仍具有較高精度。此外,在水稻田中人工測(cè)量參數(shù)時(shí),難免因視角和環(huán)境干擾等因素產(chǎn)生主觀誤差,而本方法測(cè)量的數(shù)據(jù)更具客觀真實(shí)性。

2.4 不同秸稈還田方式下水稻早期生長(zhǎng)形態(tài)數(shù)據(jù)分析

使用上述方法對(duì)6塊試驗(yàn)田中的單株觀察組進(jìn)行了為期4周的生長(zhǎng)表型參數(shù)采集與測(cè)量,結(jié)果見圖9。第1周3種秸稈還田方式下的株高、葉片數(shù)等參數(shù)增量均低于空白對(duì)照,部分田塊甚至出現(xiàn)負(fù)增長(zhǎng),意味著水稻的緩苗和返青過程延長(zhǎng),原因在于泡水秸稈腐解的前10～20 d會(huì)出現(xiàn)微生物奪氮,同時(shí)會(huì)生成有機(jī)酸、硫化氫等還原性毒素,不利于水稻苗期的生長(zhǎng)發(fā)育。此外,也可以看出配施基肥后,沒有出現(xiàn)僵苗等嚴(yán)重后果。而在第2至4周的分蘗期中,3種秸稈還田方式下的水稻分蘗數(shù)均多于空白對(duì)照組,這有利于產(chǎn)量增加,可能原因是這一時(shí)段還田秸稈腐解逐步釋放氮、磷、鉀等營養(yǎng)物質(zhì),對(duì)土壤的肥力給予一定程度的補(bǔ)充,促進(jìn)了水稻分蘗的早生快發(fā)。

圖9 不同秸稈還田方式下水稻早期株型數(shù)據(jù)對(duì)比Fig.9 Comparison of early plant shape data of rice under different straw returning methodsSR:泡田+旋耕Soaking+rotary tillage;RS:旋耕+泡田Rotary tillage+soaking;PRS:翻耕+旋耕+泡田Ploughing+rotary tillage+soaking.CK:空白對(duì)照Black control.

特別值得注意的是,從生長(zhǎng)參數(shù)的增量對(duì)比來看,水稻受秸稈還田的負(fù)面影響從小到大的處理依次為PRS、RS、SR。相比于RS和SR方式,PRS方式下的田塊前期受到的抑制效果較小,具體體現(xiàn)在從第2周開始,秸稈還田組的株高、分蘗數(shù)、葉片數(shù)增量均要高于空白對(duì)照組,而其他方式要在第3周才出現(xiàn)該效果,其原因在于翻耕相對(duì)于旋耕有更深的耕深,可以將秸稈翻入更深的土層,在利于秸稈分解養(yǎng)分釋放的同時(shí),還可以有效增大土壤孔隙度,減小根系拓展阻力,促進(jìn)水稻生長(zhǎng)發(fā)育。而RS方式是在田塊蓄水前干旋,相對(duì)于SR的水旋可以讓秸稈得到更進(jìn)一步的破碎,使秸稈腐解更快,從而使前2周的抑制效果要稍小。此外,葉長(zhǎng)變化未看出明顯規(guī)律,這可能和品種的基因性狀有關(guān),需要進(jìn)一步挖掘分析,也體現(xiàn)出高通量表型技術(shù)給農(nóng)藝性狀信息挖掘帶來的挑戰(zhàn)性。

3 結(jié)論

本研究結(jié)合深度學(xué)習(xí)圖像分割技術(shù)探索了一種田間水稻單株尺度三維重建方法,利用三維模型提取水稻早期生長(zhǎng)形態(tài)參數(shù),并應(yīng)用于秸稈還田的效果評(píng)估,主要結(jié)論如下:

1)使用DeepLabv3+網(wǎng)絡(luò),通過深度學(xué)習(xí)的方法可以實(shí)現(xiàn)田間水稻圖像的分割,其性能優(yōu)于傳統(tǒng)圖像分割方法(ExG+Otus、Grabcut)和前代分割網(wǎng)絡(luò)(SegNet、PSPNet),性能表現(xiàn)為IoU值0.801,PA值0.986,F值0.822。DeepLabv3+網(wǎng)絡(luò)在水稻分蘗期的不同階段均能實(shí)現(xiàn)較好的分割效果,且能克服田間的雜草、浮萍、倒影等干擾因素。

2)使用空間雕刻算法可以實(shí)現(xiàn)田間水稻的三維模型重建,根據(jù)植株三維模型計(jì)算得到株高、葉長(zhǎng)、分蘗數(shù)和葉片數(shù)4個(gè)形態(tài)參數(shù),與人工測(cè)量參數(shù)對(duì)比,決定系數(shù)(R2)分別為0.99、0.95、0.89、0.95,均方根誤差(RMSE)分別為1.03、1.19、0.82、1.39,該方法結(jié)果可靠且操作簡(jiǎn)單,易于推廣,可用于大田環(huán)境下的秸稈還田效果對(duì)比分析。

3)利用本文探索的方法對(duì)不同秸稈還田方式下的水稻進(jìn)行了為期4周的參數(shù)測(cè)量,分析發(fā)現(xiàn),不同處理方式對(duì)秸稈還田后的水稻生長(zhǎng)有不同的影響,從生長(zhǎng)參數(shù)的增量對(duì)比來看,PRS方式下田塊前期受到的抑制效果較小。