基于多視角時間序列圖像的植物葉片分割與特征提取

婁 路 呂 惠 宋 然

(1.重慶交通大學(xué)信息科學(xué)與工程學(xué)院, 重慶 400074; 2.山東大學(xué)控制科學(xué)與工程學(xué)院, 濟(jì)南 250061)

0 引言

植物表型是指植物可測量的特征和性狀, 是植物受自身基因和生長環(huán)境相互作用的結(jié)果, 也是決定農(nóng)作物產(chǎn)量、品質(zhì)和抗逆性等性狀的重要因素[1]。傳統(tǒng)的植物表型研究主要依靠手動測量和專家經(jīng)驗,效率低且具有很強(qiáng)的主觀性。隨著植物功能基因組學(xué)和作物分子育種研究的深入,傳統(tǒng)的表型觀測已經(jīng)成為制約其發(fā)展的主要瓶頸,而新興的植物表型分析技術(shù)成為解決這一問題的有效途徑[2]。在植株表型測量中,為實現(xiàn)各器官相關(guān)表型的精確測量,比如對葉子形態(tài)(包括葉面積、葉片數(shù)量、葉傾角、葉脈等)、莖形態(tài)、果實特征等表型的測量,則對植物的各器官進(jìn)行高精度分割是非常重要的前提條件[3]。其中,植物莖葉自遮擋現(xiàn)象比較嚴(yán)重,因此植物莖葉的高精度分割研究成為植物表型研究領(lǐng)域的熱點與難點之一。

近年來,隨著計算機(jī)視覺技術(shù)的不斷成熟,基于圖像的植物表型研究成為農(nóng)業(yè)研究的熱門領(lǐng)域。早期基于圖像的植物表型研究主要是利用圖像處理技術(shù)、機(jī)器學(xué)習(xí)算法和葉子的形狀特征等[4-12]實現(xiàn)植物葉片的分割,并進(jìn)行葉片計數(shù)、病蟲害檢測和植物識別等表型研究。隨著植物表型研究的深入以及深度學(xué)習(xí)算法的快速發(fā)展,在植物圖像的分析和識別中出現(xiàn)了新的挑戰(zhàn)和需求,即滿足高精度的植物表型數(shù)據(jù)需求成為植物表型研究的重點[13-22]。深度學(xué)習(xí)算法能夠?qū)崿F(xiàn)植物表型更高精度地提取和測量,這不僅僅局限于植物的單一器官。在植物分割領(lǐng)域目前仍集中于葉片分割[14]。針對植物幼苗時期葉片的表型研究問題(如葉片分割、葉片計數(shù)、葉子跟蹤和定位等),2014年召開的歐洲計算機(jī)視覺會議上舉辦了葉子分割挑戰(zhàn)賽并公開了其數(shù)據(jù)集[15](Computer vision problems in plant phenotyping, CVPPP)。國內(nèi)外的研究者基于此數(shù)據(jù)集進(jìn)行研究并取得了很多成果[16-22]。XI等[16]提出利用具有10個單位隱藏層的前饋神經(jīng)網(wǎng)絡(luò)進(jìn)行前景/背景分割,降低背景干擾,再利用分水嶺算法進(jìn)行葉片分割,并實現(xiàn)葉片計數(shù),但分割效果并不理想,對稱最佳骰子(Symmetric best dice, SBD)分?jǐn)?shù)[17]只有71.1%。ROMERA-PAREDES等[18]首先提出基于遞歸神經(jīng)網(wǎng)絡(luò)的循環(huán)實例分割算法,但葉子分割效果很差,之后在此算法基礎(chǔ)上進(jìn)行改進(jìn),使用條件隨機(jī)場(Conditional random field, CRF)作為后處理,盡管分割結(jié)果有所改善,SBD分?jǐn)?shù)提升了10個百分點左右,但SBD分?jǐn)?shù)也只達(dá)到66.6%。隨后,REN等[19]提出一種具有注意力機(jī)制的端到端遞歸神經(jīng)網(wǎng)絡(luò)架構(gòu)用于植物葉片的實例分割,該算法不僅解決了部分遮擋問題,且實現(xiàn)了精細(xì)分割,分割效果有很大提升,即SBD分?jǐn)?shù)達(dá)到84.9%。KULIKOV等[20]從語義分割角度思考,首先提出一種將實例分割簡化為語義分割的新方法,以端到端的方式訓(xùn)練實例分割,網(wǎng)絡(luò)架構(gòu)可以利用標(biāo)準(zhǔn)的語義分割架構(gòu)。此算法不需要受到常規(guī)實例分割方法中的對象建議和邊界框檢測的限制,因此在小型數(shù)據(jù)集上也能得到很好的分割效果。同樣地,BRABANDERE等[21]和KULIKOV等[22]分別提出基于判別損失函數(shù)和基于正弦波嵌入式網(wǎng)絡(luò)對植物圖像進(jìn)行實例分割,2種方法在葉子實例細(xì)分上表現(xiàn)出很大競爭優(yōu)勢,且后一種方法是目前在擬南芥幼苗期的葉片分割算法中表現(xiàn)最好的,其SBD分?jǐn)?shù)達(dá)到89.9%。

上述研究大多是以植物幼苗為研究對象,即分割類別只有葉子一類,并沒有實現(xiàn)植物莖葉的分割,也沒有實現(xiàn)針對植物全生長周期的通用性分割模型。隨著植物的生長,植物的自遮擋問題越來越嚴(yán)重,導(dǎo)致植物表型測量更加困難。Mask-RCNN[23]是專門進(jìn)行實例分割的深度學(xué)習(xí)算法,能同時實現(xiàn)多目標(biāo)檢測和實例分割。因此本文擬采用Mask-RCNN算法實現(xiàn)植物莖葉的實例分割,然后結(jié)合目標(biāo)檢測結(jié)果,以期利用基于多視角圖像的葉子跟蹤算法解決葉片遮擋問題,并能夠計算出葉片數(shù)量和葉片面積。

1 材料與方法

1.1 數(shù)據(jù)集

使用CVPPP數(shù)據(jù)集中常用的A1序列(擬南芥幼苗),該序列有128幅圖像,每幅圖像的分辨率為500像素×530像素。該數(shù)據(jù)集是擬南芥幼苗的單視角圖像(俯視圖)。

除公共數(shù)據(jù)集外,本文還使用了自采集的擬南芥、玉米和酸漿屬植物3種植物在不同生長時期的多角度圖像。這些植物生長在自動控制環(huán)境(溫室大棚)中,溫度設(shè)置在15～20℃之間,并配有輔助燈光照明。自采集設(shè)備主要是帶有變焦鏡頭的普通高分辨率數(shù)碼相機(jī)(佳能Canon 600D型)、三角支架、漫反射補光燈和一個簡易電動轉(zhuǎn)盤。在拍攝時,相機(jī)的擺放位置距離植物0.5～2 m,根據(jù)植物形態(tài)不同,可采用豎向(肖像模式)或橫向(風(fēng)景模式)拍攝,確保整個植物位于相機(jī)取景框范圍之內(nèi)。相機(jī)鏡頭的水平位置略高于植物,拍攝角度約為45°,鏡頭聚焦點瞄準(zhǔn)植物主莖的下部而不是頂部或葉片表面,拍攝開始前鎖定自動變焦開關(guān)(禁止自動調(diào)焦)。同時,為了提高拍攝圖像的清晰度,減少陰影(通常是由植物自身遮擋引起的),使用了2個漫射照明燈和黑色背景[24],拍攝實際場景如圖1所示,拍攝裝置平面示意圖如圖2所示。在成像過程中,植物臨時從溫室大棚轉(zhuǎn)移到轉(zhuǎn)盤上。轉(zhuǎn)盤勻速順時針轉(zhuǎn)動,約1.5 r/min,相機(jī)采用自動快門連續(xù)拍攝模式,從而得到360°全方位視角的植物圖像序列,拍攝圖像編號依次遞增,原始圖像分辨率很高,為2 304像素×3 456像素。植物的整個拍攝過程通常在2～3 min內(nèi)可以完成。針對植物形態(tài)結(jié)構(gòu)的復(fù)雜程度,本文選擇間隔3°～6°拍攝1幅圖像,并將原始圖像分辨率降低一半進(jìn)行實驗,以提高運算性能。實驗由英國阿伯里斯特威斯大學(xué)IBERS學(xué)院英國國家植物表型組研究中心(NPPC)[25]的成員提供了植物樣本和圖像采集方面的幫助,由中心主任JOHN H D教授提供實驗指導(dǎo)。

圖1 多視角二維圖像拍攝裝置Fig.1 Multi-view 2-D imaging setup

圖2 拍攝裝置示意圖Fig.2 Illustration of imaging setup1.背景 2.照明燈 3.相機(jī) 4.計算機(jī) 5.轉(zhuǎn)盤

本文自采集的擬南芥數(shù)據(jù)包括4個時間序列的圖像,按照擬南芥的生長周期長短依次命名為M1～M4,其中M1數(shù)據(jù)集圖像是在擬南芥播種后28 d左右拍攝的,M2～M4數(shù)據(jù)集圖像則是在M1數(shù)據(jù)采集之后每間隔3～4 d持續(xù)追蹤同一株擬南芥生長過程拍攝的。自采集的酸漿屬植物數(shù)據(jù)集(L1、L2)和玉米數(shù)據(jù)集(P1、P2)是分別拍攝采集2株酸漿屬植物和2株玉米得到的。本文將擬南芥的M1數(shù)據(jù)集、玉米的P1數(shù)據(jù)集和酸漿屬植物的L1數(shù)據(jù)集作為訓(xùn)練集,分別為166、60、120幅圖像,樣本圖像如圖3所示。本文為測試模型對植物分割的通用性,將擬南芥的M2～M4數(shù)據(jù)集、玉米的P2數(shù)據(jù)集和酸漿屬植物的L2數(shù)據(jù)集作為測試集,每個測試集各包含10幅圖像。

圖3 標(biāo)注過程Fig.3 Illustration of labelling process

1.2 圖像標(biāo)注

采用Labelme工具對數(shù)據(jù)集進(jìn)行標(biāo)注。CVPPP數(shù)據(jù)集的A1序列(擬南芥)有128幅圖像,且分辨率不高,均為500像素×530像素。A1序列中擬南芥是幼苗植株,因此只有葉子1個標(biāo)注類,標(biāo)注后的結(jié)果如圖3第1行圖像所示。

在自采集的訓(xùn)練數(shù)據(jù)集中,擬南芥(M1)、玉米(P1)和酸漿屬植物(L1)3種植物的樣本圖像數(shù)量分別為166、60、120幅。由于圖像中擬南芥幼苗體積小,所占圖像面積的比例較小(無用背景區(qū)域較多),本文先裁剪出圖像中擬南芥區(qū)域后再進(jìn)行標(biāo)注,裁剪后圖像分辨率為800像素×380像素。自采集擬南芥數(shù)據(jù)集與CVPPP數(shù)據(jù)集的A1序列中標(biāo)注類別相同,只有葉子1個類,標(biāo)注后的樣本圖像如圖3第2行所示。由于實驗平臺采用的圖形處理器(Graphics processing unit, GPU)的顯存容量限制, 自采集的玉米和酸漿屬植物圖像需要進(jìn)一步降低圖像分辨率才能保證訓(xùn)練實驗正常進(jìn)行。玉米和酸漿屬植物數(shù)據(jù)集的圖像分辨率分別被降至600像素×400像素和400像素×600像素。玉米的標(biāo)注類別分為葉子和莖2類,而酸漿屬植物的標(biāo)注類別分為莖、葉柄和葉3類, 其中葉柄是指葉子和莖干相連的部分,具體的標(biāo)注結(jié)果如圖3第3行和第4行所示。

1.3 植物分割實驗方法

1.3.1Mask-RCNN算法基礎(chǔ)框架

Mask-RCNN算法因能精確地保存像素的空間位置以及完成逐像素的掩膜預(yù)測,使得最終的模型不僅能夠進(jìn)行目標(biāo)檢測和分類,也能進(jìn)行實例分割,而其他的神經(jīng)網(wǎng)絡(luò)算法(如YOLO、RCNN等)并不能滿足本文的要求,即同時實現(xiàn)目標(biāo)檢測和實例分割。Mask-RCNN算法的主干網(wǎng)絡(luò)通常是采用殘差網(wǎng)絡(luò)ResNet101或ResNet50,經(jīng)過實驗對比,本文決定采用ResNet101。從網(wǎng)絡(luò)的底層到高層依次提取出植物圖像的低級特征(邊緣和角等)和高級特征(葉片和莖等),再使用特征金字塔網(wǎng)絡(luò)(Feature pyramid networks, FPN)將高級特征傳入底層,使其與低級特征融合,形成特征圖輸入到區(qū)域建議網(wǎng)絡(luò)(Region proposal networks, RPN)中。RPN通過分布在特征圖中不同尺寸的錨框(anchor)尋找存在目標(biāo)的區(qū)域,形成區(qū)域建議框,并且每個建議框有2個輸出,分別是anchor的前景/背景分類和前景邊框。隨后對建議框進(jìn)行分類并生成掩膜(Mask)和邊界框(BBox)。其中,分類器是對建議框進(jìn)行具體分類(葉子、莖等類別)和邊框精調(diào),實現(xiàn)目標(biāo)檢測功能。最后經(jīng)過1個全卷積網(wǎng)絡(luò)(Fully convolutional network, FCN)對建議框進(jìn)行掩膜生成,完成圖像實例分割,具體的網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 Mask-RCNN 結(jié)構(gòu)圖Fig.4 Framework of Mask-RCNN

1.3.2模型訓(xùn)練

本文的實驗運行環(huán)境為安裝Windows 10操作系統(tǒng)的計算機(jī)服務(wù)器,CPU為Intel E5-2678V3,GPU顯卡為GTX1080Ti。編程語言為Python 3.7,采用Tensorflow 1.12.0和OpenCV 3.4軟件庫。模型訓(xùn)練時,將學(xué)習(xí)率設(shè)置為0.01,動量默認(rèn)設(shè)置為0.9,batch size設(shè)為4,其他參數(shù)為默認(rèn)值。實驗選擇的Mask-RCNN的主干網(wǎng)絡(luò)為 ResNet101,訓(xùn)練階段首先迭代40次用于訓(xùn)練調(diào)整網(wǎng)絡(luò)的heads層,然后迭代80次用于從ResNet的階段4開始微調(diào),最后對整個網(wǎng)絡(luò)進(jìn)行調(diào)整,迭代40次。每一個訓(xùn)練總共迭代160次,大約需要訓(xùn)練8 h。

1.3.3評估方法

本文目的是對植物的莖葉進(jìn)行較好的分割和分類,即實現(xiàn)目標(biāo)檢測和實例分割,因此需要采用不同的評價指標(biāo)分別對模型性能進(jìn)行評估。針對模型的目標(biāo)檢測性能,本文采用的評價指標(biāo)是類別平均精度[26](Mean average precision, mAP0.5),當(dāng)交并比(IOU)大于等于0.5時精度(AP)定義為AP0.5。對于實例分割部分,本文采用平均交并比(Mean intersection over union, mIOU)進(jìn)行評價。因此,在目標(biāo)檢測中,當(dāng)IOU大于等于0.5時,該預(yù)測框檢測正確;當(dāng)IOU小于0.5時,該預(yù)測框檢測錯誤。

1.4 葉子跟蹤方法

遮擋問題是基于圖像的植物表型研究的難點之一,在單一視角采集的植物圖像中,感興趣的表型特征可能因為器官遮擋導(dǎo)致提取困難或提取錯誤。本文針對該問題提出了新思路:利用多視角植物圖像中的特征匹配實現(xiàn)葉子目標(biāo)的跟蹤,部分解決遮擋導(dǎo)致的葉子識別問題。以本文使用的酸漿屬植物數(shù)據(jù)集(L1)為例,采用尺度不變特征變換(Scale invariant feature transform, SIFT)[27]算法進(jìn)行特征點檢測與匹配,利用投票策略和選取最大值的方法,完成時間序列圖像中多葉子目標(biāo)的動態(tài)跟蹤與計數(shù)。詳細(xì)的跟蹤實現(xiàn)方法描述為：

Input:2幅植物不同角度圖像(原圖像Pt+1和目標(biāo)圖像Pt+2)

(1)對Pt+1和Pt+2進(jìn)行特征點檢測和匹配

(3)使用Mask-RCNN模型對Pt+1和Pt+2進(jìn)行分割

(4)得到Pt+1和Pt+2目標(biāo)識別框bi(i=0,1,…,n)和bj(j=0,1,…,m)

(5)初始化k=0,i=0,j=0,matches=[]∥k為特征點對序號,i和j分別為Pt+1和Pt+2的識別框下標(biāo),matches用于存儲匹配好的實例

(6) ifk≤r

(7) ifj≤mand (xk2,yk2)?bj

(8) ifi≤nand (xk1,yk1)?bi

(9) 將(i,j)保存到matches中

(10) elsei+1 then Goto(9)

(11) elsej+1 then Goto(8)

(12) elsek+1 then Goto(8)

(13)matches集合中每個實例對應(yīng)關(guān)系以少數(shù)服從多數(shù)原則,確定最后的匹配結(jié)果

output:輸出葉子跟蹤后的分割效果圖

2 實驗與結(jié)果分析

2.1 擬南芥數(shù)據(jù)集分割

針對單視角的CVPPP數(shù)據(jù)集,本文將其A1序列按照4∶1∶1的比例隨機(jī)取樣構(gòu)建了訓(xùn)練集、驗證集和測試集[28]。所采用的Mask-RCNN模型在訓(xùn)練集和驗證集上的實驗耗時約8 h,最終損失率降低至0.092。然后將訓(xùn)練好的模型在測試集上進(jìn)行測試,實驗效果良好,精度性能指標(biāo)mAP0.5和mIOU分別為85.3%和73.4%。某個測試的可視化結(jié)果如圖5第1行第3列圖像所示,葉片遮擋對檢測精度有一定影響:對于遮擋較重的2片葉子,模型不能正確地將它們分割為不同的實例對象;而被莖干遮擋分成2部分的同片葉片(遮擋不嚴(yán)重),模型識別基本正確,仍將其分類為一個實例對象。由此可以看出,基于單一視角的植物圖像分割受遮擋影響較大且很難解決。

圖5 擬南芥分割可視化結(jié)果Fig.5 Visualization results of Arabidopsis segmentation

對于自采集的擬南芥數(shù)據(jù)集,本文進(jìn)行了組合對比實驗,即從M1數(shù)據(jù)集中隨機(jī)抽取100幅圖像作為訓(xùn)練集B,也將訓(xùn)練集B與CVPPP的A1序列中的80幅圖像混合為1個訓(xùn)練集C。在這2個訓(xùn)練集上分別進(jìn)行實驗,模型訓(xùn)練精度較高,損失率分別降至0.094和0.090。

為驗證Mask-RCNN算法在植物莖葉分割領(lǐng)域的泛化能力,本文繼續(xù)進(jìn)行對比分析實驗,將以上3個數(shù)據(jù)集訓(xùn)練得到的Mask-RCNN模型分別在擬南芥不同生長周期的數(shù)據(jù)集(A1和M1～M4)上進(jìn)行分割測試實驗,目標(biāo)檢測和分割評估結(jié)果如表1和表2所示。從表1、2可以得到:①隨著生長周期的延展,擬南芥不斷長出了新葉片,形態(tài)變化顯著,整體上分割精度有小幅度的下降,但是mAP0.5基本都大于70.0%,mIOU也基本都在60.0%以上。②如果訓(xùn)練集中植物樣本類型越多(包含更多生長周期植物圖像),分割和識別精度也將會有所提高。如M4測試集的分割可視化樣本圖像所示,A1序列的訓(xùn)練模型(圖5c)在測試時存在一片葉片的一部分被重復(fù)識別為單個實例,訓(xùn)練集B訓(xùn)練出的模型(圖5d)對部分葉片的識別和分割不完全,存在葉片部分邊緣分割缺失,導(dǎo)致分割精度降低,而訓(xùn)練集C訓(xùn)練出的模型(圖5e)并沒有出現(xiàn)重復(fù)識別的情況,且分割精度較高。

表1 擬南芥在不同時期目標(biāo)檢測結(jié)果(mAP0.5)Tab.1 Target detection results of Arabidopsis in different periods (mAP0.5) %

表2 擬南芥在不同時期的分割評估結(jié)果(mIOU)Tab.2 Segmentation results of Arabidopsis in different periods (mIOU) %

2.2 玉米和酸漿屬植物分割

玉米和酸漿屬植物屬于多實例分割,其中玉米分為葉子和莖2類,而酸漿屬植物則有葉子、莖干和葉柄3類。本實驗從自采集的玉米(P1)和酸漿屬植物(L1)數(shù)據(jù)集中分別隨機(jī)抽取40幅和72幅圖像作為訓(xùn)練集,玉米和酸漿屬植物的分割模型在訓(xùn)練時參數(shù)與擬南芥分割模型訓(xùn)練時的參數(shù)設(shè)置保持一致,2個模型訓(xùn)練的最終損失率分別降至0.075和0.083。

與擬南芥的分割模型測試方式相同,本文將訓(xùn)練好的模型在同一植物不同生長時期進(jìn)行對比測試,盡管玉米結(jié)構(gòu)相對復(fù)雜和葉片扭曲嚴(yán)重,酸漿屬植物存在葉片遮擋等問題,但最終2個分割模型測試實驗的評價指標(biāo)mAP0.5也都達(dá)到70.0%。玉米的分割可視化結(jié)果如圖6第1行所示。從圖6中可以看出:①玉米葉片細(xì)長且存在扭曲,表面紋理差異明顯,導(dǎo)致該葉片可能被錯誤識別成2段。②在玉米的P2時期,mAP0.5仍達(dá)到74.4%,但mIOU僅為54.4%,主要原因也在于玉米葉片的扭曲,使得在分割時識別不完全,從而導(dǎo)致分割精度很低。酸漿屬植物的測試結(jié)果可視化樣本如圖6第2行所示?？梢钥闯?在L2測試集上,由于酸漿葉之間相互遮擋嚴(yán)重,導(dǎo)致實例對象的漏檢,最后的mAP0.5只為70.0%左右,mIOU也只達(dá)到58.1%。遮擋問題一直是植物表型研究中的一個重點和難點[11]。

圖6 玉米和酸漿屬植物分割可視化結(jié)果Fig.6 Visualization results of maize and physalis segmentation

2.3 葉片跟蹤和葉面積估算實驗

在植物表型研究中,葉片數(shù)目的準(zhǔn)確計算和葉面積的無損測量是研究目標(biāo)之一。本文在完成植物分割基礎(chǔ)上,首先采用分辨率為400像素×600像素的酸漿屬植物圖像進(jìn)行特征匹配, 但是跟蹤效果較差,只有50%左右的葉片跟蹤正確。通過實驗對比,本文最終采用分辨率為800像素×1 200像素的圖像進(jìn)行實驗,效果較好,實驗結(jié)果如圖7所示。

圖7 在L1數(shù)據(jù)集上的跟蹤結(jié)果Fig.7 Results of leaf tracking on L1 dataset

本實驗輸出可視化圖像結(jié)果時,按照拍攝時間的前后順序,t+1時刻圖像與t時刻圖像中同一片葉片對象的掩膜顏色和標(biāo)簽編號保持一致,便于匹配跟蹤結(jié)果的觀測與分析。在實驗中發(fā)現(xiàn),相鄰2幅圖像的間隔角度在3°～6°時跟蹤效果最好。若選取的圖像間隔角度過大,將導(dǎo)致特征點匹配數(shù)量降低,大約只有50%的葉子能夠正確匹配。本實驗可視化結(jié)果見圖7,由t時刻的結(jié)果圖像可以看到,標(biāo)號為3的葉片由于莖干的遮擋,被錯誤分割成2片葉片(標(biāo)記為3和8),導(dǎo)致最終的葉片總數(shù)暫時被錯誤統(tǒng)計為9片。而在t+2時刻之后的圖像中,因為之前遮擋不復(fù)存在,標(biāo)號8的“葉片”消失,只出現(xiàn)標(biāo)號3的葉片，說明跟蹤方法有效地進(jìn)行了糾錯。在全部序列即將結(jié)束的t+8和t+9時刻圖像中,標(biāo)號6和標(biāo)號3的葉片盡管分別因為遮擋被錯誤分割為2片葉片,但均被跟蹤算法檢測為同一個分類,糾正為1片葉片,葉片總數(shù)最終也統(tǒng)計為正確的8片。由此可以看出,雖然也有遮擋,但是可以通過對多視角圖像的葉片跟蹤,從其他角度的圖像中得到葉片的精確數(shù)目。

葉片面積是植物學(xué)家一直比較關(guān)注的植物表型特征之一。由于單視角的2D圖像存在投影變換和遮擋的問題,基于圖像對植物葉面積進(jìn)行測量的方法難于進(jìn)行。傳統(tǒng)方法一般采取專門手持的葉面積測量儀器對葉片進(jìn)行手工測量[29];或者把葉片裁剪下來,平鋪后用相機(jī)進(jìn)行俯視拍攝(正投影),然后用專門的植物圖像處理軟件進(jìn)行葉面積的計算[30]。傳統(tǒng)方法需要人工介入,較為耗時低效,本文采用酸漿屬植物(L1)的實例分割和葉跟蹤實驗結(jié)果,可以簡單便捷地對葉面積進(jìn)行估測。因為Mask-RCNN是基于像素點的實例分割算法,其輸出結(jié)果中邊界框(BBox)和掩膜(Mask)是由包含像素點位置和分類類別的多維數(shù)組表示,二值Mask數(shù)組用“1”代表該像素屬于分類目標(biāo)。因此,Mask中的“1”的統(tǒng)計數(shù)量就近似對應(yīng)每片葉片分割區(qū)域的像素總數(shù)。本文在對序列圖像進(jìn)行葉子跟蹤的同時,將每片葉片的像素總數(shù)按照標(biāo)簽編號順序依次存儲在一個二維數(shù)組中,通過排序?qū)Ρ?提取每片葉片對應(yīng)的最大像素數(shù)量(近似認(rèn)為最接近正投影角度)。然后對每片葉片的最大像素數(shù)量進(jìn)行等比例換算(還原到原始采集圖像分辨率),即可粗略地估算出葉子的2D投影圖像面積(像素)。通過以上方法,本實驗得到的葉片1～8的投影面積分別為64 812、51 732、244 312、116 619、558 213、541 326、62 482、285 560像素。通過已知的拍攝相機(jī)參數(shù)(鏡頭焦距、圖像分辨率、CCD物理尺寸等)與固定參照物尺寸(花盆和標(biāo)定板),可計算出原始圖像中每個像素面積近似對應(yīng)0.02 mm2,因此換算出葉片1～8的實際物理面積分別約為12.96、10.35、48.86、23.32、111.64、108.27、12.50、57.11 cm2。由于缺少拍攝采集時刻這株酸漿植物葉面積的手工真實測量值(ground truth),目前無法對本文葉片面積估算方法的準(zhǔn)確率進(jìn)行定量分析,有待進(jìn)一步實驗驗證。

3 結(jié)論

(1)基于Mask-RCNN的實例分割算法對于植物莖葉分割的通用性能好,mAP0.5大部分在70.0%以上,單實例分割的mIOU大多在60.0%以上。

(2)在嚴(yán)重遮擋及分割目標(biāo)較小的情況下,基于Mask-RCNN的實例分割算法的準(zhǔn)確性不高,有待進(jìn)一步提高。

(3)借助多視角時間序列圖像,通過葉片圖像的特征點匹配進(jìn)行植物葉片跟蹤的方法,在一定程度上能有效解決由遮擋導(dǎo)致的葉片表型參數(shù)提取準(zhǔn)確率下降的問題。