中圖分類號(hào):S126 文獻(xiàn)標(biāo)志碼:A 文章編號(hào):1008-0864(2025)07-0090-11
Nondestructive Segmentation and Extraction of Stem and Leaf Phenotypes During Tomato Plant Growth
WANG Yaxin,LYU Yangcheng,WANG Wenqi,LIU Qi, YANG Jie,REN Guihong, ZHANG Wuping,LI Fuzhong* (School of Software,Shanxi Agricultural University,Shanxi Taigu O3O8O1,China)
Abstract:Aiming at thecurentproblem that itisdiffcult toextract thephenotypic parameters of tomato plants without any loss,the stem and leaf segmentation and phenotypic extraction method of tomato plants based on 3D reconstruction was proposed.Firstly,the multi-view image sequences of tomato plants were colected to construct a 3D modelof the plant,anda combinationof multiple filtering algorithms was used to complete the pre-processing. The skeletonof thepre-processed point cloud was extracted using theLaplace-based skeleton extraction algorithm, andthe segmentationof the stemand leaves was completed basedonthe skeleton of the plant,and the segmentation of the single leaveswas completedusing the method based on theclusteringof hyperbolomers.6 phenotypic parameters including the heightoftheplant,thethickness of the stem,theangleoftheinclinationoftheleaf,the lengthof theleaf,the widthoftheleaf,and theareaof theleaf werealso extracted.Theresultsshowed thatthe average accuracy,average recalland average F1 score of stemand leaf segmentation were O.88,0.8O and 0.84, respectively,andthesegmentationindexes werebeter thantheother4segmentationalgorithms.Thecoefficientsof determination between the calculatedand measured values of plant height,stem thickness,leaf inclination,leaf length,leaf width and leaf area were0.97,O.84,0.88,0.94,0.92 and0.93,respectively,and theroot mean square errors were2.17cm,0.346cm,5.65°,3.18cm,2.99 cm and 8.79cm2.The measured valuesof the proposed method hadastrongcorelation with thecalculated values,which provided technical support for high-throughput phenotypic parameter extraction in tomato plants.
Key words:tomato;three-dimensional reconstruction;stemand leaf segmentation;phenotype extraction
番茄具有較高的營養(yǎng)價(jià)值和經(jīng)濟(jì)價(jià)值,在世界各地被廣泛種植。植物表型是指在基因和環(huán)境相互作用下產(chǎn)生的能反映植物生長狀態(tài)的特征及性狀,如株高、莖粗、葉傾角等2。植物表型參數(shù)的分析與育種息息相關(guān),對(duì)表型參數(shù)進(jìn)行分析可輔助遺傳育種篩選,有利于進(jìn)一步提高產(chǎn)量與品質(zhì)。但傳統(tǒng)的人工測量法效率低、主觀性強(qiáng),還會(huì)造成破壞3。因此,開發(fā)準(zhǔn)確、無損的表型提取方法對(duì)提高植物表型測量效率、促進(jìn)育種至關(guān)重要。
隨著計(jì)算機(jī)視覺技術(shù)的發(fā)展,基于二維圖像和三維點(diǎn)云的表型提取方法被廣泛應(yīng)用于植物表型參數(shù)提取?;诙S圖像處理的方法存在設(shè)備要求較低、處理速度較快等優(yōu)點(diǎn)4,但伴隨著植株的動(dòng)態(tài)生長,植株冠層會(huì)出現(xiàn)相互粘連和遮擋的情況,使得二維圖像中的冠層器官信息大量缺失,嚴(yán)重影響測量結(jié)果。三維點(diǎn)云不僅具有顏色信息,同時(shí)可以更完整地獲取植株形態(tài)結(jié)構(gòu),減少冠層遮擋給表型提取帶來的影響。常見的點(diǎn)云獲取設(shè)備包括激光掃描儀激光雷達(dá)TOF相機(jī),但以上設(shè)備價(jià)格昂貴,極大地限制了其使用的普遍性[]。基于運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)(structurefrommotion,SFM)的重建方法只需要通過普通RGB相機(jī)采集數(shù)據(jù)便可進(jìn)行重建,具有重建成本低、受周圍環(huán)境影響小的特點(diǎn),已被廣泛用于農(nóng)作物的重建與表型獲取。Rose等采集不同角度的圖像序列,使用SFM法構(gòu)建了番茄植株點(diǎn)云模型,并提取了株高、冠幅、整體葉面積等不同表型參數(shù)。賈奧博等采集多視角二維圖像結(jié)合運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)法構(gòu)建了不同品種的煙草點(diǎn)云,提取了株高、頂寬、底寬等表型參數(shù),并結(jié)合集成學(xué)習(xí)算法實(shí)現(xiàn)了株型分類。
已有研究主要集中于獲取完整植物點(diǎn)云數(shù)據(jù),然而為了獲得更詳細(xì)的器官水平或基于植物部位的信息,需要將植物模型分割成單個(gè)器官[14]。陽旭[5采用隨機(jī)采樣一致擬合圓柱的方法完成了棉花莖稈與葉片的分割。李少辰等采用基于曲率的區(qū)域生長算法實(shí)現(xiàn)了苗期玉米葉片的分割。然而,相對(duì)于棉花與玉米植株,番茄屬于共生分支結(jié)構(gòu),形態(tài)更復(fù)雜,難以通過固定的方式進(jìn)行分割。Wang等基于番茄植株的器官尺度提取了17個(gè)表型參數(shù),但分割器官時(shí)依賴大量人工手動(dòng)操作,不能滿足高通量表型測量的要求。針對(duì)番茄器官難以自動(dòng)分割的問題,彭程等[8通過提取番茄植株點(diǎn)云骨架尋找骨架點(diǎn)的方式,對(duì)葉柄與主莖進(jìn)行了分割,但由于番茄葉片粘連嚴(yán)重,提取骨架時(shí)會(huì)出現(xiàn)骨架閉環(huán)現(xiàn)象,易造成葉片欠分割,影響分割精度。
為解決因番茄結(jié)構(gòu)復(fù)雜造成的器官分割與表型提取困難的問題,本研究對(duì)構(gòu)建的番茄植株點(diǎn)云使用骨架提取、尋找最高點(diǎn)路徑、高度約束、半徑約束,結(jié)合基于歐式距離的超體素聚類實(shí)現(xiàn)了莖葉分割,并提取株高、莖粗、葉傾角、葉長、葉寬和葉面積共6個(gè)表型性狀,為番茄植株的三維模型重建、高通量表型提取提供了技術(shù)支持。
1材料與方法
1.1 圖像數(shù)據(jù)獲取
試驗(yàn)在山西農(nóng)業(yè)大學(xué)番茄產(chǎn)業(yè)研究院(20 (40°40′54′′N,113°9′34′′E) 完成。試驗(yàn)用番茄品種為優(yōu)萃8850,番茄種植壟間距約 50cm ,株距約40cm ,番茄幼苗于2023年5月15日定植。選擇12株長勢相近或一致的番茄作為試驗(yàn)對(duì)象,于定植后7、14、21、30、45、60d采集點(diǎn)云。拍攝時(shí)間選擇在8:00—9:00或 17:00-18:00 ,此時(shí)光照較弱,植株受光均勻,重建后點(diǎn)云色彩差異較??;同時(shí)在重建范圍放置邊長為 3cm 的紅、藍(lán)標(biāo)定塊,用于求取植株點(diǎn)云縮放系數(shù)。使用CannonEOS70D單反相機(jī)(佳能公司)在側(cè)視角和俯視角環(huán)繞蕃茄植株360° 獲取圖像,獲取方式如圖1所示,針對(duì)不同株型,共拍攝30\~100幅不等的圖像組成多視角圖像序列,相鄰圖像的重疊度需達(dá)到 70%~80% 。
1.2點(diǎn)云重建與預(yù)處理
將獲取的番茄植株多視角圖像序列作為輸入,采用 0penMVG+OpenMVS 框架[19構(gòu)建番茄植株的稠密點(diǎn)云(圖2A),最終輸出帶有顏色信息的.ply文件。重建后的稠密點(diǎn)云含有大量的環(huán)境點(diǎn)和噪聲點(diǎn),這些點(diǎn)會(huì)影響后續(xù)處理速度,本研究通過使用多種濾波方式結(jié)合的方式去除噪聲點(diǎn)[2]。首先遍歷所有點(diǎn),根據(jù)每個(gè)點(diǎn)的顏色分量計(jì)算超綠分量值(excessgreen,EXG),將 EXGlt;30 的點(diǎn)視為環(huán)境點(diǎn)進(jìn)行濾除,計(jì)算公式如下。
EXG=2G-R-B
式中, .R,G,B 表示紅、綠、藍(lán)顏色分量。
去除環(huán)境點(diǎn)云后,葉片與莖稈之間仍存在大量離群噪聲點(diǎn),使用統(tǒng)計(jì)濾波的方式去除,統(tǒng)計(jì)濾波中鄰域點(diǎn)數(shù) (n) 和標(biāo)準(zhǔn)差系數(shù) (α) 為濾波的關(guān)鍵參數(shù),通過比較多組 n 與 α 組合的濾除結(jié)果,當(dāng)n=30,α=2.0 時(shí)能有效去除番茄植株中的離散點(diǎn)和噪聲點(diǎn),并保留葉尖、邊緣和莖部細(xì)節(jié)(圖2B)。最后,采用體素濾波的方法來精簡點(diǎn)云數(shù)據(jù),提高算法計(jì)算的效率,對(duì)于苗期、開花坐果期、結(jié)果期的番茄,分別把體素參數(shù)voxel_size設(shè)置為0.03、0.05、0.07時(shí),可以在不影響整體形態(tài)結(jié)構(gòu)的情況下完成點(diǎn)云精簡(圖2C),此時(shí)番茄植株點(diǎn)云的個(gè)數(shù)統(tǒng)一在12000\~15000,最終獲得不同生長時(shí)間的番茄植株點(diǎn)云(圖2D)。
1.3 莖葉分割方法
根據(jù)形態(tài)結(jié)構(gòu)可以將番茄器官分為莖稈點(diǎn)云和葉片點(diǎn)云,本研究提出的莖葉分割方法將植株點(diǎn)云作為輸入求取點(diǎn)云骨架,以點(diǎn)云骨架為基礎(chǔ)將莖稈與葉片分離,最后通過基于歐式距離的超體素聚類分割單葉。
1.3.1骨架提取采用基于拉普拉斯收縮的方法2提取番茄植株骨架。首先,對(duì)輸入番茄點(diǎn)云進(jìn)行Delaunay鄰域估計(jì),基于Laplacian算子對(duì)原始點(diǎn)云的Delaunay鄰域進(jìn)行多次迭代收縮得到骨架點(diǎn)集C(圖3A;通過拓?fù)溥B接的方法將任意的兩個(gè)相鄰頂點(diǎn)連接成一條邊,獲取最終的無向圖點(diǎn)云骨架T(圖3B)。植株骨架由骨架邊和骨架頂點(diǎn)構(gòu)成,骨架頂點(diǎn)可分為根頂點(diǎn)、連接頂點(diǎn)和分支頂點(diǎn)。根頂點(diǎn)是只與1條骨架邊相連的頂點(diǎn),如莖稈底部或葉片邊緣頂點(diǎn);連接頂點(diǎn)是用于延伸2條骨架邊的頂點(diǎn),如莖稈、葉柄骨架邊中負(fù)責(zé)延伸的頂點(diǎn);分支頂點(diǎn)是有2條以上骨架邊與之相連的頂點(diǎn),如莖稈與葉柄連接處的頂點(diǎn),該頂點(diǎn)會(huì)用于后續(xù)高度約束分離莖稈與頂端葉片。
1.3.2基于骨架的莖稈提取莖稈提取包括植株坐標(biāo)系校正、尋找骨架最高點(diǎn)路徑、高度約束、半徑約束共4個(gè)步驟。 ① 植株坐標(biāo)系校正。重建后植株點(diǎn)云所在的坐標(biāo)系與空間坐標(biāo)系的關(guān)系是隨機(jī)的,不利于后續(xù)的處理。通過主成分分析(principalcomponentsanalysis,PCA)[22]法將植株骨架所在坐標(biāo)系變換至空間坐標(biāo)系下,轉(zhuǎn)換后植株的生長方向與點(diǎn)云在空間坐標(biāo)系下Z軸所指的方向一致(圖4A)。 ② 尋找骨架最高點(diǎn)路徑。首先利用KdTree搜索機(jī)制遍歷整個(gè)骨架點(diǎn)云尋找莖稈根頂點(diǎn);然后使用迪杰斯特拉算法23沿生長方向求取莖稈根頂點(diǎn)到最高連接點(diǎn)的最小生成樹(minimumspanningtree,MST)路徑[24],求取的最小生成樹路徑即為莖稈所在的路徑,將提取的莖桿路徑與對(duì)應(yīng)點(diǎn)云擬合即可得到莖稈點(diǎn)云(圖4B)。③ 高度約束。最頂端的葉片在骨架化后會(huì)與莖桿骨架誤歸為一類,難以區(qū)分。為解決以上問題,使用高度約束的方法進(jìn)行分離。對(duì)莖稈骨架中的所有骨架點(diǎn)排序,并按由上向下的順序遍歷所有頂點(diǎn),找到第1個(gè)出現(xiàn)的分支頂點(diǎn)作為頂端葉片骨架與莖桿骨架的連接點(diǎn),將該頂點(diǎn)的Z坐標(biāo)值作為閾值,把高于閾值的點(diǎn)從莖稈中移除,得到約束后莖稈點(diǎn)云(圖4C)。 ④ 半徑約束。半徑約束指超出莖稈擬合圓半徑的點(diǎn)大概率為葉片。由上到下遍歷莖稈骨架的所有分支頂點(diǎn),采用隨機(jī)一致采樣法(random sample consensus,RANSAC)[25]以莖稈骨架分支頂點(diǎn)為圓心對(duì)該處的莖稈進(jìn)行圓擬合,獲取該處莖稈擬合圓的最小半徑 (r) 。如果植株點(diǎn)云中某個(gè)點(diǎn)到圓心的距離大于 r ,則將這些點(diǎn)去除,去除的點(diǎn)即為葉片點(diǎn)云(圖4D)。完成以上步驟后,便可以實(shí)現(xiàn)莖稈與冠層葉片的分離(圖4E),但此時(shí)的冠層葉片還為一個(gè)整體,后續(xù)采用超體素聚類的方法分割單葉。
1.3.3基于超體素聚類的單葉分割由于去除莖稈后的番茄植株冠層葉片點(diǎn)云密度不均勻且存在遮擋、粘連等情況,仍需進(jìn)一步分割才能精準(zhǔn)提取表型參數(shù)。對(duì)去除莖稈后的葉片采取基于歐式距離的超體素聚類方法2進(jìn)行分割,首先將需要分割的點(diǎn)云進(jìn)行超體素處理,獲取葉片超體素塊(圖5B);然后使用局部凸包連接(locallyconvexconnectedpatches,LCCP)算法對(duì)超體素鄰接圖的公共邊進(jìn)行凹凸性判斷,判斷方式如式(2)(3)所示。當(dāng)相鄰體素塊的連接屬性系數(shù) (L)?0 時(shí),判斷為凸屬性;反之,則為凹屬性;最后根據(jù)邊緣屬性將超體素點(diǎn)云重新聚類,實(shí)現(xiàn)葉片之間的分割,輸出的不同顏色聚類即為1個(gè)葉片(圖5C)。
L=nId-n2d
式中, d 為兩質(zhì)心的單位向量; n1,n2 為兩個(gè)鄰接體素塊的法向量; x1,x2 為鄰接體素塊的質(zhì)心向量。
1.4番茄植株表型參數(shù)提取方法
本研究提取株高、莖粗、葉傾角、葉長、葉寬和葉面積共6個(gè)參數(shù)。株高通過構(gòu)建植株的有向包圍盒(orientedboundingbox,OBB)[28]求取,分別通過包圍盒Z分量方向的最大坐標(biāo)值與最小坐標(biāo)值的差值來確定(圖6A)。莖粗通過統(tǒng)一截取地上5cm處的莖桿點(diǎn)云作為測量位置,進(jìn)行圓擬合得到莖粗(圖6B)。葉傾角為葉柄與莖桿的夾角,分別提取莖稈的向量(V1)和葉柄的向量(V2),計(jì)算V1與V2之間的角度即為葉傾角(圖6C)。葉長采用基于K近鄰(K-nearestneighbor,KNN)算法[4擬合葉中脈的方式提取,通過設(shè)置K值的方式遍歷找到葉尖點(diǎn)與葉柄點(diǎn),兩點(diǎn)之間的最短曲線即為葉長;OBB包圍盒 X 分量方向的差值距離即為葉寬(圖6D、E)。葉面積通過貪婪投影三角算法[28得到若干個(gè)三角網(wǎng)格(圖6F),通過海倫公式計(jì)算空間三角網(wǎng)格的總面積,求得的總面積即為葉面積0 ΔSleaf) ,計(jì)算公式如式(4)所示。
式中, Pi 表示三角形網(wǎng)格的 ci 表示三角形的邊長; n 為三角面片個(gè)數(shù)。
由于番茄植株三維模型和實(shí)際番茄大小存在縮放關(guān)系,通過式(5求得縮放系數(shù) (r) 。
式中, Hreal 為標(biāo)定塊真實(shí)的邊長; Hreconstructed 為標(biāo)定塊點(diǎn)云的邊長。
真實(shí)表型參數(shù)在拍照結(jié)束后立即用卷尺對(duì)株高、葉長、葉寬進(jìn)行測量,使用游標(biāo)卡尺測量莖粗,使用量角器測量葉傾角,以上參數(shù)均手動(dòng)測量3次,取3次的平均值作為真實(shí)表型參數(shù)。葉面積實(shí)測值通過對(duì)植株進(jìn)行破壞性取樣得到離體葉片的圖像通過圖像處理技術(shù)求取。
1.5 評(píng)價(jià)指標(biāo)
莖葉分割通過統(tǒng)計(jì)正確分割的葉片點(diǎn)云數(shù)量評(píng)價(jià)其分割效果,莖葉分割的真值通過Cloudcompare軟件(Version2.10.1,GPL)手動(dòng)分割獲得,將算法分割結(jié)果與真值進(jìn)行比較完成評(píng)價(jià)。屬于葉片點(diǎn)云的器官被正確分割的數(shù)量用TP表示,屬于葉片點(diǎn)云的器官未被正確分割或分割為莖稈的數(shù)量用FN表示,非葉片點(diǎn)云器官被分割為葉片點(diǎn)云的數(shù)量用FP表示,基于上述3個(gè)參數(shù)計(jì)算準(zhǔn)確率(precision,P)、召回率(recall,R)、F分?jǐn)?shù)1 F1 -score, F1) 。公式如下。
表型提取采用線性回歸的方法評(píng)價(jià),計(jì)算點(diǎn)云測量值與實(shí)際值的決定系數(shù) (R2) 、均方根誤差(rootmeansquareerror,RMSE),評(píng)估各參數(shù)的精度和誤差,計(jì)算公式如下。
式中, Xi,Yi 分別為第 i 個(gè)真實(shí)值和計(jì)算值; 和Y分別為真實(shí)值與計(jì)算值的平均值; n 為真實(shí)值或計(jì)算值的總數(shù)量。
2 結(jié)果與分析
2.1 莖葉分割結(jié)果
2.1.1算法參數(shù)對(duì)葉片分割結(jié)果的影響影響單葉分割效果的參數(shù)主要有種子分辨率 (Rseed) 、體素分辨率 (Rvoxel) 和最小分割尺寸 (Smin) 。分析不同參數(shù)對(duì)葉片分割結(jié)果的影響,對(duì)生成的超體素塊數(shù)量、分割運(yùn)行時(shí)間進(jìn)行了統(tǒng)計(jì)。由表1可知,當(dāng)參數(shù)設(shè)置數(shù)值過小時(shí),如 Rseed=0.05,Rvoxel= 0.01,Smin=0.1 和 Rseed=0.1,Rvoxel=0.01,Smin=0.1 會(huì)造成生成的超體素塊數(shù)過多,此時(shí)需要進(jìn)行更多的凹凸性判斷,導(dǎo)致算法計(jì)算時(shí)間增長,同時(shí)也會(huì)使葉片分割為多部分,造成過分割(圖7A)。隨著參數(shù)設(shè)置逐漸增大,如 Rsed=0.25,Rvoxel=0.1 Smin=0.3 和 時(shí),超體素塊數(shù)量減少,相鄰體素塊之間的凹凸性特征減少,此時(shí)雖然節(jié)約了計(jì)算時(shí)間,但會(huì)出現(xiàn)沒有足夠的特征用于凹凸判斷完成分割的問題,導(dǎo)致葉片處于粘連狀態(tài),造成葉片欠分割(圖7B)。
對(duì)于苗期與開花坐果期的番茄(7\~30d),該時(shí)期葉片較少,葉柄之間分布距離較遠(yuǎn),易于分割,但植株頂部葉片密集會(huì)出現(xiàn)葉尖粘連或葉片邊緣小部分重疊的情況,對(duì)于該類情況,將參數(shù)設(shè)置為 時(shí),可達(dá)到較好的分割效果。對(duì)于結(jié)果期番茄(45\~60d),該時(shí)期番茄葉片較多且尺寸較大,雖然葉柄之間距離較遠(yuǎn),但由于葉片朝不同方向生長,會(huì)出現(xiàn)相鄰葉片交叉且葉片表面大部分重疊的情況,這時(shí)的點(diǎn)云更密集,應(yīng)根據(jù)粘連面積的大小及點(diǎn)云密度適當(dāng)調(diào)整參數(shù)的值,經(jīng)過多次試驗(yàn),設(shè)置 Rseed=
時(shí),可達(dá)到較好的分割效果(圖7C)。
2.1.2莖葉分割總體效果定植后7、14、21、30、45、60d,各取12株番茄進(jìn)行莖葉分割,手動(dòng)分割真值與算法分割結(jié)果對(duì)比分別如圖8A和圖8B所示,使用紅色表示莖稈點(diǎn)云,不同顏色的每一類表示不同的葉片。通過可視化結(jié)果發(fā)現(xiàn),使用算法得到的整體分割結(jié)果較理想,但有個(gè)別葉片出現(xiàn)了分割失敗的情況。如當(dāng)葉片斷裂時(shí),會(huì)造成過分割,將1個(gè)葉片分割為多個(gè);當(dāng)莖稈與葉柄連接處生出側(cè)芽時(shí),有時(shí)會(huì)將側(cè)芽與葉柄歸為一類;當(dāng)分割個(gè)別大面積粘連或緊湊生長的葉片時(shí),也會(huì)出現(xiàn)2片葉子分割失敗的情況。
不同生長時(shí)期的葉片分割精度如表2所示,定植后第5、14、21天的葉片分割準(zhǔn)確率和召回率分別為0.88、0.91、0.92和0.80、0.84、0.85,準(zhǔn)確率和召回率均隨植株生長而逐漸上升,這是因?yàn)槊缙诘姆秧敹私Y(jié)構(gòu)生長密集,會(huì)誤把頂部的葉心或未完全展開的小葉片劃分為葉片,導(dǎo)致準(zhǔn)確率較低,而隨著生長發(fā)育頂部緊湊程度降低,這一情況得以緩解。但隨著葉片間距不斷增大,交叉情況減少,更利于提取葉片的分割。
定植后第30、45、60天的分割準(zhǔn)確率和召回率開始下降,分別為0.88、0.86、0.84和0.82、0.77、0.74。隨著植株的生長,一方面是誤將葉柄處生出的側(cè)芽當(dāng)作葉片同時(shí)進(jìn)行分割,造成誤分割,另一方面由于葉片形態(tài)過大,分割葉片時(shí)會(huì)出現(xiàn)單葉過分割的情況,將過分割的部分歸為新葉片,導(dǎo)致準(zhǔn)確率降低;同時(shí)召回率降低說明隨植株生長植株形態(tài)過大,葉片重疊遮擋嚴(yán)重,難以將其進(jìn)行分割。
2.1.3不同分割方法的分割效果對(duì)比將本研究莖葉分割方法與現(xiàn)有常用的點(diǎn)云分割方法進(jìn)行對(duì)比,包括基于骨架提取的分割方法[18]、法線微分差異法[4、區(qū)域生長法[1基于凹凸性的分割方法[27],
不同算法的分割效果如圖9所示。基于骨架的提取方法對(duì)無粘連、遮擋較少的葉片具有較好的分割效果,但該算法無法分割莖稈最頂端的葉片,會(huì)將頂端葉片與莖桿歸為一類,同時(shí)由于該方法提取骨架時(shí)會(huì)發(fā)生骨架偏移現(xiàn)象,導(dǎo)致葉柄骨架之間易發(fā)生骨架閉環(huán)現(xiàn)象,會(huì)影響葉片的分割精度;法線微分差異法、區(qū)域生長分割法和基于凹凸性的分割方法在分割時(shí)會(huì)將曲率閾值、距離閾值、法線信息等參數(shù)作為器官分割的依據(jù),這類算法對(duì)單一且粘連較少的葉片分割效果較好,但當(dāng)葉片與莖桿連接緊密時(shí),由于曲率、法線信息過于復(fù)雜,無法完整的將莖稈與葉片分離。
5種方法的莖葉分割精度結(jié)果如表3所示,本研究提出的莖葉分割方法分割效果最好,平均準(zhǔn)確率遠(yuǎn)遠(yuǎn)高于其他4種分割算法,其平均準(zhǔn)確率、平均召回率、平均F分?jǐn)?shù)分別為0.88、0.80、0.84,說明本研究構(gòu)建的莖葉分割方法更適合番茄植株的點(diǎn)云分割。
2.2表型參數(shù)提取結(jié)果
由圖10A株高計(jì)算值與人工實(shí)測值的擬合效果可知, R2 和RMSE分別為0.97和 2.17cm ,表明本研究方法的測量值與手工測量值具有較高相關(guān)性,可以采用本研究方法準(zhǔn)確測量株高。莖粗和葉傾角的計(jì)算值與人工實(shí)測值的擬合效果如圖10B、C所示, R2 和RMSE分別為0.84和 0.346cm 、0.88和 5.65° ,這2個(gè)性狀的相關(guān)性系數(shù)均低于90% ,誤差相對(duì)于其他表型參數(shù)而言較高,說明提升的空間還很大。造成莖粗誤差的原因可能是,測量時(shí)將莖的橫截面擬合為一個(gè)圓,將擬合圓的直徑作為莖粗,但隨著番茄生長莖稈的橫截面可能更近似于一個(gè)橢圓,而實(shí)際測量的距離更接近橢圓的短軸的長度,因此造成誤差;在測量葉傾角時(shí),葉片相互重疊導(dǎo)致求取的葉柄向量會(huì)有一定偏移,影響葉傾角的測量結(jié)果。
通過本研究方法測量的葉長、葉寬和葉面積結(jié)果與手工測量值之間具有很強(qiáng)的相關(guān)性,誤差較小,擬合效果如圖10D\~F所示。葉長、葉寬、葉面積的 R2 和RMSE分別為0.94、0.92、0.93和 3.18cm.2.99cm.8.79cm2 ,說明本研究方法可以準(zhǔn)確測量葉片相關(guān)參數(shù),且具有較好的魯棒性。造成誤差的原因主要有3方面: ① 當(dāng)通過半徑約束提取莖稈時(shí),會(huì)出現(xiàn)因擬合圓半徑大于莖稈真實(shí)半徑,導(dǎo)致葉柄部分被誤歸為莖稈,葉片的測量值出現(xiàn)偏小的情況; ② 在進(jìn)行單葉分割時(shí),超體素聚類分割會(huì)出現(xiàn)部分葉尖或葉片內(nèi)側(cè)點(diǎn)云歸為另一類的情況,導(dǎo)致提取部分測量結(jié)果偏大; ③ 隨著植株的增長,葉片遮擋嚴(yán)重,重建時(shí)遮擋部分重建不完全,葉片成功分割后也會(huì)因葉片缺失而造成表型測量結(jié)果偏小。
2.3算法效率分析
本研究所用到的全部算法被配置在一臺(tái)Intel(R)Core(TM) i7-13700KF以及NVIDIAGeForceRTX4080GPU的服務(wù)器上進(jìn)行。為評(píng)估本研究的算法效率,共記錄了不同大小共60株番茄的運(yùn)行時(shí)間,算法運(yùn)行平均耗時(shí)如表4所示。平均總用時(shí)為 26.11min ,點(diǎn)云重建、莖葉分割以及表型提取的平均用時(shí)分別為17.89、5.25和
2.97min 。算法效率受植株株型的影響較大,株型越大拍攝的圖像越多,導(dǎo)致重建時(shí)間相應(yīng)增加,這樣也使得重建后的點(diǎn)云個(gè)數(shù)增多,后續(xù)處理時(shí)間增加;莖葉分割過程有 80% 的時(shí)間在進(jìn)行預(yù)處理和骨架提取,株型越大,點(diǎn)云數(shù)量越多,耗費(fèi)時(shí)間就越多;同樣,越大的植株器官數(shù)量也越多,提取表型參數(shù)時(shí)計(jì)算量相應(yīng)增大,耗時(shí)更久。
3討論
本研究方法相對(duì)于傳統(tǒng)的測量方法,具有非接觸、精度高的優(yōu)點(diǎn),降低了人工測量的誤差和工作強(qiáng)度。與二維圖像測量相比,三維點(diǎn)云能更好地降低因器官相互遮擋造成的表型提取誤差。已有研究探討了利用三維點(diǎn)云分割植株器官[8-11,13-16],雖能有效地分割器官并提取表型參數(shù),但其間依賴大量的人為干預(yù)。本研究提出的番茄點(diǎn)云器官分割及表型提取方法與已有研究[8,12.17-18]相比,在一定程度上解決了因番茄生長結(jié)構(gòu)復(fù)雜造成的器官分割及表型提取困難等問題,提高了表型分析的效率和準(zhǔn)確度。本研究提出的莖葉分割方法對(duì)于不同生長時(shí)間番茄的莖葉分割平均準(zhǔn)確率、平均召回率、平均F1分?jǐn)?shù)分別為0.88、0.80、0.84,與基于骨架的分割方法、法線微分差異法、區(qū)域生長法和基于凹凸性的分割方法相比,平均準(zhǔn)確率均提高;同時(shí)莖稈與葉片的精準(zhǔn)分割使表型參數(shù)的測量更加快速準(zhǔn)確,株高、莖粗、葉傾角、葉長、葉寬和葉面積測量值與實(shí)測值的決定系數(shù)分別為0.97,0.84,0.88,0.94,0.92 和0.93,具有較強(qiáng)的相關(guān)性,符合農(nóng)藝生產(chǎn)的要求。本研究算法的平均總用時(shí)為 26.11min ,相比于Wang等[7所用時(shí)間,算法效率提高 62.5% 。以上結(jié)果表明,本研究方法能夠快速分割番茄植株器官,為多分枝作物高通量自動(dòng)化表型提取提供高效的技術(shù)支持。
然而本研究也有一些局限性。第一,本研究依舊通過人工獲取圖像數(shù)據(jù),不能完全實(shí)現(xiàn)自動(dòng)化,后期考慮將多個(gè)相機(jī)與控制系統(tǒng)結(jié)合,實(shí)現(xiàn)圖像數(shù)據(jù)的自動(dòng)采集;第二,通過時(shí)效分析發(fā)現(xiàn),重建過程耗費(fèi)時(shí)間過長,導(dǎo)致整體效率下降,后續(xù)將通過尋找最優(yōu)重建策略24的方式進(jìn)一步縮短重建所需時(shí)間,提高工作效率;第三,莖葉分割方法對(duì)大多數(shù)葉片取得較好的分割效果,但面對(duì)大面積重疊或生長緊湊的葉片時(shí),分割會(huì)受到影響,針對(duì)因遮擋導(dǎo)致的分割精度低的問題,后期將考慮采用深度學(xué)習(xí)的方式對(duì)器官進(jìn)行分割,實(shí)現(xiàn)更精準(zhǔn)地分割。
參考文獻(xiàn)
[1]CHITWOOD-BROWN J,VALLAD G E,LEE T G,et al.. BreedingforresistancetoFusariumwiltof tomato:areview[J/OL]. Genes,2021,12(11):1673 [2023-12-30].https://doi.org/10.3390/ genes12111673.
[2]ROOHANITAZIANIR,DE MAAGDRA,LAMMERSM, et al.. Exploration of a resequenced tomato core collection for phenotypicand genotypic variation inplant growth and fruit quality traits [J/OL].Genes,2020,11(11): 1278 [2023-12-30]. https://doi.org/10.3390/genes11111278.
[3]SHAKOOR N,LEE S,MOCKLER T C.High throughput phenotyping to accelerate crop breeding and monitoring of diseasesinthefield[J].Curr.Opin.PlantBiol.,2017,38:184-192.
[4]張慧春,張萌,邊黎明,等.基于YOLOv5的植物葉綠素含量 估測與可視化技術(shù)[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2022.53(4):313-321. ZHANGHC,ZHANGM,BIANLM,etal..Estimationand visualization of chlorophyllcontent in plant based on YOLO v5 [J]. Trans. Chin.Soc.Agric.Mach.,2022,53(4): 313-321.
[5]LU C P,LIAWJJ,WUTC, et al. Development of a mushroom growth measurement system applying deep learning for image recognition[J/OL]. Agronomy,2019,9(1):32 [2023-12-30].https:// doi.org/10.3390/agronomy9010032.
[6]WANG D D,LICY,SONG HB,et al.Deep learning approach for apple edge detection to remotely monitor apple growth in orchards [J]. IEEE Access,2020,8: 26911-26925.
[7]陸健強(qiáng),蘭玉彬,毋志云,等.植物三維建模ICP點(diǎn)云配準(zhǔn)優(yōu) 化[J].農(nóng)業(yè)工程學(xué)報(bào),2022,38(2):183-191. LUJQ,LAN Y B,WU ZY,et al..Optimization of ICP point cloud registration in plants 3D modeling[J]. Trans. Chin. Soc. Agric.Eng.,2022,38(2): 183-191.
[8]楊征鶴,喻晨,楊會(huì)民,等.基于LiDAR的溫室番茄冠層幾 何參數(shù)提取[J].新疆農(nóng)業(yè)科學(xué),2021,58(10):1909-1917. YANG Z H, YU C, YANG H M,et al. Geometric parameters extraction of tomato canopy in greenhouse based on LiDAR [J]. Xinjiang Agric.Sci.,2021, 58(10): 1909-1917.
[9]陳海波,劉圣搏,王樂樂,等.基于KinectV3的單株作物自動(dòng) 化三維重建與驗(yàn)證[J].農(nóng)業(yè)工程學(xué)報(bào),2022,38(16):215-223. CHEN H B,LIU SB,WANG LL,et al..Automatic 3D reconstructionand verification ofanindividualcropusingKinect V3[J].Trans.Chin.Soc. Agric.Eng.,2022,38(16): 215-223.
[10]JINSC,SUYJ,WUFF,et al.Stem-leaf segmentation and phenotypic trait extraction of individual maize using terrestrial LiDAR data [J].IEEE Trans.Geosci. Remote. Sens.,2019, 57(3): 1336-1346.
[11]李玉超.基于多視角圖像的苗期玉米植株三維重建和表型 測量研究[D].保定:河北農(nóng)業(yè)大學(xué),2022. LI YC.Three-dimensional reconstruction andphenotype measurement of maize plants at seedling stage based on multiview images [D].Baoding: Hebei Agricultural University,2022.
[12]ROSEJC,PAULUS S, KUHLMANN H.Accuracy analysis of a multi-view stereo approach for phenotyping of tomato plants at the organ level[J].Sensors,2015,15(5): 9651-9665.
[13]賈奧博,董天浩,張彥,等.基于三維點(diǎn)云和集成學(xué)習(xí)的大 田煙草株型特征識(shí)別[J].浙江大學(xué)學(xué)報(bào)(農(nóng)業(yè)與生命科學(xué) 版),2022,48(3): 393-402. JIA AB,DONG T H,ZHANG Y, et al..Recognition of fieldgrown tobacco plant type characteristics based on threedimensional point cloud and ensemble learning [J]. J. Zhejiang Univ.(Agric.Life Sci.),2022,48(3):393-402.
[14]肖奕同,劉帥,侯晨連,等.基于三維點(diǎn)云的大豆植株器官分 割及表型分析[J].中國農(nóng)業(yè)科技導(dǎo)報(bào),2023,25(8):115-125. XIAO Y T,LIU S,HOU C L,et al..Organ segmentation and phenotypic analysis of soybean plantsbased on three-dimensional point clouds[J].J.Agric.Sci. Technol.,2023,25(8):115-125.
[15]陽旭.基于多時(shí)相點(diǎn)云數(shù)據(jù)的作物表型參數(shù)獲取及動(dòng)態(tài)量 化方法研究[D].武漢:華中農(nóng)業(yè)大學(xué),2019. YANG X. Research on crop phenotypic parameter acquisition and dynamic quantification method based on multi-temporal point cloud data [D].Wuhan: Huazhong Agricultural University, 2019.
[16]李少辰,張愛武,張希珍,等.葉片尺度的玉米幼苗三維表型 信息提取方法[J].激光與光電子學(xué)進(jìn)展,2023,60(2):61-69. LI S C, ZHANG A W, ZHANG X Z, et al..3D phenotypic information extraction method of maize seedlings at leaf scale [J]. Laser Optoelectron.Prog.,2023,60(2): 61-69.
[17]WANGYH,HUS T,RENH, et al..3DPhenoMVS: a low-cost 3D tomato phenotyping pipeline using 3D reconstruction point cloud based on multiview images [J/OL].Agronomy,2022,12(8): 1865 [2023-12-30]. htps://doi.org/10.3390/agronomy12081865.
[18]彭程,李帥,苗艷龍,等.基于三維點(diǎn)云的番茄植株莖葉分 割與表型特征提取[J].農(nóng)業(yè)工程學(xué)報(bào),2022,38(9):187-194. PENG C,LI S,MIAO Y L,et al.. Stem-leaf segmentation and phenotypic trait extraction of tomatoes using three-dimensional point cloud [J]. Trans.Chin. Soc.Agric. Eng.,2022,38(9):187-194.
[19]李百明,吳茜,吳,等.基于多視角自動(dòng)成像系統(tǒng)的作物 三維點(diǎn)云重建策略優(yōu)化[J].農(nóng)業(yè)工程學(xué)報(bào),2023,39(9): 161-171. LIBM,WUQ,WUJ,etal..Optimization of crop 3D point cloudreconstruction strategybased on the multi-view automatic imaging system [J].Trans.Chin.Soc.Agric.Eng.,2023,39(9): 161-171.
[20]CAO JJ, TAGLIASACCHI A,OLSON M,et al..Point cloud skeletons via Laplacian based contraction[C]//2o1o Shape Modeling International Conference.IEEE,201o: 187-197.
[21]WANGYW,CHENYF,ZHANGXN,etal..Researchon measurement method of leaf length and width based on point cloud[J/OL].Agriculture,2021,11(1): 63 [2024-12-30].https:// doi.org/10.3390/agriculture11010063.
[22]DIJKSTRA E W.A note on two problems in connexion with graphs [J]. Numer.Math.,1959,1(1): 269-271.
[23]任棟宇,李曉娟,林濤,等.基于Kinectv2傳感器的果樹枝干 三維重建方法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2022,53(增刊2):197-203. RENDY,LI XJ,LIN T,et al..3D reconstruction method for fruittree branchesbased on Kinect v2 sensor[J]. Trans.Chin. Soc.Agric.Mach.,2022,53(S2): 197-203.
[24]WUQH,LIUJC,GAO C, et al.. Improved RANSAC point cloud spherical target detection and parameter estimation method based on principal curvature constraint [J/OL]. Sensors,2022, 22(15): 5850 [2023-12-30]. htps://doi.org/10.3390/s22155850.
[25]LIAO LF,TANG SJ,LIAO JH, et al..A supervoxel-based random forest method for robust and effective airborne LiDAR point cloud classification [J/OL]. Remote. Sens., 2022,14(6): 1516 [2024-12-30]. htps://doi.org/10.3390/rs14061516.
[26]ZHENG L,WANG L,WANG M,et al..Automatic 3D point cloud reconstruction ofLeaf lettuce based on Kinect camera [J]. Trans. Chin.Soc.Agric.Mach.,2021,52(7): 159-168.
[27]賴亦斌,陸聲鏈,錢婷婷,等.植物三維點(diǎn)云分割[J].應(yīng)用科 學(xué)學(xué)報(bào),2021,39(4):660-671. LAI YB,LU SL, QIAN TT,et al.. Three-dimensional point cloud segmentation for plants [J].J. Appl. Sci., 2021,39(4): 660-671.
[28]ZHANG ZC,MA XD,GUAN HO,et al.A method for calculating the leaf inclination of soybean canopy based on 3D point clouds [J].Int.J.Remote.Sens.,2021,42(15): 5719-5740.