基于點云處理的穴盤晚出苗自動檢測方法

張麗娜 譚 彧 蔣易宇 王 碩

(中國農(nóng)業(yè)大學工學院， 北京 100083)

0 引言

溫室穴盤育苗技術已被廣泛應用于蔬菜生產(chǎn)中[1]，在工廠化育苗生產(chǎn)中，成苗率為80%～95%，未成苗情況主要包括缺苗、病苗等[2-4]。由于育苗過程中種子質(zhì)量、覆土深淺、基質(zhì)含水率和苗床溫度等不完全一致，幼苗實際出土快慢程度不同[5]。出苗時間較其他苗晚3 d以上時，其長勢會明顯小于其他苗。穴盤苗出廠前要求長勢一致，因此應及時將這類晚出苗檢測出來，進行移栽統(tǒng)一管理或直接剔除?，F(xiàn)在國內(nèi)育苗市場的幼苗管理工作多依賴人工完成，人為觀察幼苗長勢存在效率低、檢測標準不統(tǒng)一等問題[6]；莖葉、根鮮質(zhì)量可以反映黃瓜幼苗的生長量[7]，但測量幼苗鮮質(zhì)量會傷害幼苗，無法實現(xiàn)無損自動化檢測。

國外對育苗移栽相關技術的研究較早，已經(jīng)有一些國外公司開發(fā)了穴盤幼苗質(zhì)量檢測生產(chǎn)線[8-10]，如荷蘭Visser公司開發(fā)的Select-O-Mat移栽機將幼苗從穴盤中逐個頂出后，再利用機器視覺對每株幼苗進行質(zhì)量檢測并分類。文獻[11-12]采用RGB-D相機，根據(jù)洋薊幼苗的葉面積建立了線性支持向量分類器模型，將洋薊幼苗分為了優(yōu)質(zhì)苗、中等苗、劣質(zhì)苗和無苗4種狀態(tài)。SILVA等[13]通過提取幼苗的長度、寬度、偏心度等特征，建立了隨機森林、邏輯回歸等分類器模型，將幼苗分為4類，并確定了邏輯回歸分類器的分類效果最優(yōu)。ASHRAF等[14]根據(jù)幼苗的彎曲度、葉片節(jié)點和莖直徑對需要嫁接的番茄幼苗進行了分級。DE MEDEIROS等[15]提出了一種用于大豆種子和幼苗質(zhì)量分類的方法。文獻[16-17]根據(jù)莖的直徑對嫁接前的幼苗進行了分級。JIA等[18]研究了甘草幼苗分級標準對其品質(zhì)的效果。楊意等[19-21]提出了一種利用白掌組培苗的平面投影面積推算其葉面積和莖粗的方法，并將投影面積和苗高作為分級指標，完成了對白掌組培苗的分級。楊斯等[22]提出了一種基于RGB-D相機的蔬菜苗株高測量方法，以幼苗出土表面至葉片最上處的距離作為株高，驗證了該方法的可行性。王紀章等[23]基于Kinect相機實現(xiàn)了對穴盤苗的發(fā)芽率、株高和葉面積等信息的無損檢測。

綜上可知，葉面積、株高等特征是用于評價植物長勢的主要參數(shù)[24]，在整個育苗周期內(nèi)，晚出苗的葉面積和株高均明顯小于其他幼苗。本文以黃瓜穴盤幼苗為研究對象，將葉面積和株高的乘積作為分級系數(shù)，以整盤穴盤幼苗分級系數(shù)的均值與標準差的差值作為該穴盤的晚出苗分級閾值；利用RGB-D相機搭建穴盤幼苗點云采集平臺，采集整盤幼苗的點云，并提取出每株幼苗的葉片點云，計算得到每株幼苗的葉面積與株高，完成長勢信息的自動獲??；基于晚出苗分級閾值對穴盤幼苗中的晚出苗進行自動檢測，并通過試驗驗證該方法的可行性。

1 分級系數(shù)與晚出苗分級閾值確定

隨機選取50盤50規(guī)格的穴盤幼苗，苗期基本達到子葉期，兩片子葉完全展開、第一片真葉陸續(xù)吐心的狀態(tài)；基本達到某一苗期是指該穴盤中50%以上幼苗達到某一苗期的階段[25]。穴盤苗進入一葉期后，逐漸長成大苗，葉片遮擋逐漸嚴重，難以進行自動檢測，因此對晚出苗的檢測及管理應在子葉期內(nèi)完成。

基本所有穴盤均存在長勢不均的問題，對穴盤幼苗的株高和葉面積進行測量。株高的測量可直接使用游標卡尺來完成，以幼苗底部與基質(zhì)交界處至兩片子葉交界處的距離作為真實的株高；黃瓜穴盤幼苗葉片形狀不規(guī)則，主要采用網(wǎng)格法、紙樣稱量法、葉面積儀法等[26]進行葉面積測量，其中紙樣稱量法操作簡單且準確性高[27]，本文采用紙樣稱量法對葉面積進行測量。具體步驟為：①選用標準A4紙，用精度為0.001 g的天平準確稱量后，得到A4紙的面積質(zhì)量比。②選用標準A4紙，裁剪一些標準形狀的紙片，計算面積并稱量，得到各紙片的面積質(zhì)量比。③對A4紙、各紙片的面積質(zhì)量比求均值，作為最終的面積質(zhì)量比標準。④將黃瓜葉片摘下，用筆在紙上準確勾勒出每片黃瓜葉片的形狀后剪出并稱量，經(jīng)過換算得到葉片面積，為葉片面積真值。

對所有穴盤幼苗的葉面積和株高進行測量，研究發(fā)現(xiàn)每個穴盤幼苗中，出土較晚的晚出苗其葉面積和株高的乘積均小于正常生長的幼苗。本文將幼苗葉面積和株高的乘積定義為分級系數(shù)，計算公式為

T=AH

(1)

式中T——幼苗分級系數(shù)，cm3

A——幼苗葉片面積，cm2

H——幼苗株高，cm

針對每個穴盤中的幼苗進行分析并總結(jié)規(guī)律，發(fā)現(xiàn)在顯著性水平取0.05時，每盤中的幼苗分級系數(shù)顯著地來自正態(tài)分布總體，晚出苗的分級系數(shù)總小于當前穴盤分級系數(shù)均值u與標準差σ差值，因此，本文將當前穴盤幼苗分級系數(shù)均值u與標準差σ差值作為該穴盤的晚出苗分級閾值，計算公式為

M=u-σ

(2)

(3)

(4)

式中M——當前穴盤晚出苗分級閾值，cm3

u——當前穴盤中所有幼苗分級系數(shù)均值，cm3

σ——當前穴盤中所有幼苗分級系數(shù)標準差，cm3

Ti——當前穴盤中第i個幼苗分級系數(shù)，cm3

n——當前穴盤幼苗總數(shù)

在50盤幼苗中，隨機選取4盤，4盤幼苗的長勢情況見圖1，共有30株晚出苗，135株正常苗，隨機選取部分正常苗和晚出苗進行對比，如圖2所示, 圖中方框內(nèi)的為晚出苗。對每盤中的每株幼苗的分級系數(shù)進行計算，然后采用Shapiro-Wilk檢驗進行正態(tài)檢驗，顯著性水平取0.05的情況下，顯著性檢驗p值均大于0.05，即在0.05水平下，數(shù)據(jù)顯著來自正態(tài)分布總體。各穴盤繪制的正態(tài)分布密度函數(shù)如圖3所示，若幼苗的分級系數(shù)小于所在穴盤晚出苗分級閾值時，則判定為晚出苗。

圖1 幼苗的長勢情況統(tǒng)計Fig.1 Growth situation statistics of plug seedlings

圖2 正常苗與晚出苗對比Fig.2 Comparison of strong and late emergence seedlings

圖3 幼苗的概率分布Fig.3 Probability distributions of plug seedlings

2 穴盤幼苗長勢信息自動獲取

2.1 整盤幼苗點云采集

RGB-D相機能夠同時生成彩色圖像和深度圖像，被廣泛應用于作物表型信息研究領域[28-31]。Kinect V2相機采用TOF結(jié)構(gòu)光測量原理，精度為2 mm[32]，本文采用該相機搭建穴盤幼苗點云采集平臺自動獲取整盤幼苗的點云信息。Kinect V2相機的坐標系如圖4所示，穴盤處于相機正下方，在X軸方向?qū)ūP的行方向，Y軸方向?qū)ūP的列方向，在Z軸方向與相機的位置保持固定。整盤幼苗點云俯視圖和側(cè)視圖如圖5所示，該點云不僅包含穴盤幼苗的彩色信息，還包含三維坐標信息。

圖4 穴盤幼苗點云采集平臺Fig.4 Point cloud collection platform for plug seedlings1.Kinect V2深度相機 2.穴盤幼苗點云采集終端 3.黃瓜穴盤幼苗

圖5 整盤幼苗點云Fig.5 Point clouds of seedlings

2.2 穴盤幼苗葉片點云分割

整盤幼苗點云信息中，地面穴盤上表面和基質(zhì)等背景均屬于無關點云數(shù)據(jù)，首先采用條件濾波去除大部分背景，采用兩次統(tǒng)計濾波去除噪點，然后采用歐氏聚類算法分割得到每株黃瓜幼苗的點云，最后基于α-shape算法和主曲率計算獲取每株黃瓜幼苗的葉面積和株高。

2.2.1條件濾波去除背景

采用條件濾波去除背景，預試驗結(jié)果表明，設置X、Y、Z軸的閾值分別為X∈[-0.15 m,0.30 m]、Y∈[-0.35 m,0.35 m]、Z∈[0,0.681 m]時效果較好，可去除大部分背景，條件濾波后整盤幼苗點云如圖6所示。本文點云處理結(jié)果均從相機拍攝視角顯示。

圖6 條件濾波效果Fig.6 Conditional filtering effect

2.2.2統(tǒng)計濾波去除噪點

如圖6所示，條件濾波后葉片周圍仍然存在很多噪點，此類噪點主要是由于設備、光線被測物體表面材質(zhì)等多種因素造成的葉片邊緣離群點，特點是分布離散、數(shù)量較少、與葉片點云之間的距離較近，采用統(tǒng)計濾波[33]去除噪點，其基本原理為：

(1)設置鄰域點數(shù)量m和標準差倍數(shù)w。

(2)遍歷點云，計算點云中每一個點Pj(j=1，2，…，N)與其鄰域點Pk(k=1，2，…，m)之間的平均距離dj，計算公式為

(5)

式中xj——點Pj的x坐標

yj——點Pj的y坐標

zj——點Pj的z坐標

xk——點Pk的x坐標

yk——點Pk的y坐標

zk——點Pk的z坐標

(3)假設計算的結(jié)果符合正態(tài)分布，將點云中平均距離dj大于v+ws之外的點定義為噪點，并從數(shù)據(jù)中去除，其中v和s為全部點云中平均距離的均值和標準差。

經(jīng)過預試驗發(fā)現(xiàn)，m取10、w取0.2時可將葉片周圍的噪點很好地去除，濾波效果如圖7所示。

圖7 統(tǒng)計濾波效果Fig.7 Effect of statistical filtering

2.2.3歐氏聚類分割單株幼苗葉片點云

常用的點云分割方法有基于區(qū)域增長的分割算法、基于K-means聚類的分割算法和基于歐氏聚類的分割算法等。基于區(qū)域增長的分割算法中，種子點是隨機選取的，容易導致分割效果不穩(wěn)定[34]； 基于K-means聚類的分割算法需要人為指定聚類個數(shù)，不適于聚類個數(shù)未知的情況[35]?；跉W氏聚類的分割算法在距離閾值選取合適的情況下可達到較好的聚類效果，選取基于歐氏聚類的分割算法提取單株黃瓜幼苗點云。其基本原理為：①在黃瓜點云中隨機選取一個種子點P11，利用kd-tree對種子點進行半徑r鄰域搜索,若鄰域內(nèi)存在點P12、P13、P14等與P11的歐氏距離小于閾值r，則將這些點與種子點歸為同一聚類簇Q。②在聚類簇Q中選取新的種子點，繼續(xù)執(zhí)行步驟①，找到新的點繼續(xù)放入聚類簇Q中。③若Q中點數(shù)不再增加，則Q聚類結(jié)束。④設置聚類點數(shù)閾值區(qū)間[N1,N2]，若聚類簇Q中點數(shù)在閾值區(qū)間內(nèi)，則保存聚類結(jié)果。⑤在剩余點云中選取新的種子點，繼續(xù)執(zhí)行以上步驟，直到遍歷完成點云中所有點。

距離閾值對歐氏聚類的效果影響較大，距離閾值過小，容易將一株幼苗點云苗分割成多株，造成過度分割，如圖8a中圓圈內(nèi)所標注的幼苗被過度分割；距離閾值過大，容易將多株幼苗點云合并成一株，造成欠分割，如圖8b中方框內(nèi)所標注的多株幼苗被誤分割為一株。經(jīng)過預試驗，設定N1=20、N2=1 000、r=0.004 m時分割效果最優(yōu)，可以分割出穴盤中的所有幼苗，將分割的幼苗按照從左至右、從下至上的順序進行編號，分割效果如圖9所示。

圖8 不同距離閾值對歐氏聚類的影響Fig.8 Effect of different distance thresholds on Euclidean clustering

圖9 歐氏聚類效果Fig.9 Euclidean clustering effect

2.3 穴盤幼苗葉面積與株高自動獲取

2.3.1穴盤幼苗葉面積自動獲取

由于Kinect相機生成的點云無序，彼此之間沒有拓撲關系，需將三維點云通過法線投影到二維平面，然后對平面內(nèi)的點云進行三角化，可得到各個點的連接關系。EDELSBRUNNER等[36]提出了一種基于α-shape算法的點云曲面重構(gòu)方法，該方法首先對點云進行Delaunay 三角剖分，然后通過定義一個球在點云集中滾動，該球的半徑為α，對剖分結(jié)果中的每個單純形(四面體、三角面片、邊和頂點)，分別計算其屬于α-shape的取值區(qū)間，若α位于該取值區(qū)間內(nèi)則保留該單純形，若α不在該取值區(qū)間內(nèi)則刪除該單純形，該算法可以很好地實現(xiàn)對曲面的重建，其所建的曲面基本不含孔洞。經(jīng)過預試驗，設定α為0.003 5時，曲面重建效果較好，重建后的幼苗葉片點云由許多具有拓撲關系的三角面片組合構(gòu)成(圖10)，通過海倫公式計算得到每個三角面片的面積，所有三角面片的面積之和即為幼苗葉片點云的面積。

圖10 由具有拓撲關系的三角面片組合構(gòu)成幼苗葉片點云Fig.10 Point cloud of seedling leaves composed by triangular patches with topological relationship

將基于α-shape算法自動獲取的葉面積計算值與真值進行線性擬合，得到線性回歸方程

y=0.219x+1.848

(6)

式中y——葉面積擬合值，cm2

x——α-shape算法計算的面積，cm2

擬合結(jié)果如圖11所示，決定系數(shù)R2=0.89，擬合程度較高，因此可用式(6)對葉面積進行擬合。

圖11 葉面積真實值與計算值線性擬合結(jié)果Fig.11 Linear fitting results between true values and calculated values of leaf area

2.3.2穴盤幼苗株高自動獲取

幼苗株高即穴盤上表面與苗莖頂部位置之間的距離，以葉片的交界處作為苗莖頂部位置。穴盤幼苗點云中每一個點都包含X、Y、Z信息以及法線信息、曲率信息等，其中Z表示該點與相機坐標系原點的距離，通過自動尋找每株幼苗的苗莖頂部位置，即可自動獲取幼苗株高。觀察大量的穴盤幼苗，發(fā)現(xiàn)幼苗葉片的交界處基本都是黃瓜幼苗葉片點云中主曲率最大的點。因此，本文基于主曲率來定位每株幼苗莖頂部位置，進而獲取幼苗株高。

經(jīng)過曲面上某個點具有無窮個正交曲率，其中存在一條曲線使得該曲線的曲率為極大值K1，垂直于極大曲率面的曲率為極小值K2，這兩個曲率屬性為主曲率[37]，表示法曲率的極值。通過調(diào)用NormalEstimation和PrincipalCurvaturesEstimation函數(shù)可以計算每個點云的法線和主曲率。

計算單株黃瓜幼苗的所有點云的主曲率，對比得到主曲率最大的點作為幼苗莖頂部位置。在50盤幼苗中，隨機采集1 000株幼苗的點云圖像進行測試，通過主曲率正確定位到莖部的幼苗共有988株，定位錯誤的幼苗共有12株，定位準確率為98.8%，如圖12 所示，圓點為通過主曲率定位的苗莖頂部位置，方框內(nèi)部為苗莖頂部定位錯誤的苗。分析發(fā)現(xiàn)定位錯誤的主要原因為個別幼苗葉片畸形導致，但實際生產(chǎn)中葉片畸形的幼苗占比很小，因此通過主曲率定位幼苗莖頂部位置的方法可行。

圖12 主曲率定位的苗莖頂部位置及其原圖Fig.12 Position of seedling stem top located by principal curvature and its original drawing

在此基礎上進一步計算獲取幼苗株高。苗莖頂部位置的Z信息，表示該位置與相機坐標系原點的距離。如圖13所示，以穴盤上表面與苗莖頂部位置之間的距離作為幼苗的株高H，則株高計算公式為

圖13 穴盤幼苗株高計算示意圖Fig.13 Schematic of plant height calculation for plug seedling

H=H1-H2-H3

(7)

式中H1——深度相機到地面的距離，cm

H2——深度相機到苗莖頂部位置的距離，cm

H3——地面到穴盤頂部的距離，cm

2.4 穴盤幼苗葉面積與株高自動獲取準確性分析

2.4.1穴盤幼苗葉面積計算值準確性分析

將通過式(6)擬合的葉面積與真實值進行對比，如圖14所示，兩者平均誤差為0.75 cm2，平均相對誤差為8.51%，準確率較高，因此本文直接將擬合后的葉面積用于分級系數(shù)和晚出苗分級閾值的計算。

圖14 葉面積真實值與擬合值對比Fig.14 Comparison between true values and fitting values of leaf area

2.4.2穴盤幼苗株高計算值準確性分析

將基于主曲率定位幼苗莖頂部位置自動獲取的株高計算值與真實值進行對比，如圖15所示，計算值與真實值之間平均誤差為0.359 cm，平均相對誤差為9.32%，準確率較高，因此本文直接采用自動獲取的株高計算值用于分級系數(shù)和晚出苗分級閾值的計算。

圖15 株高的真實值與計算值對比Fig.15 Comparison between true values and calculated values of plant height

3 穴盤晚出苗自動檢測方法

通過處理整盤幼苗的點云可自動獲取每株幼苗的葉面積與株高，進一步計算出每株幼苗的分級系數(shù)、整盤幼苗分級系數(shù)的均值和標準差、晚出苗分級閾值，基于此，即可完成對穴盤晚出苗的自動檢測?；邳c云處理的穴盤晚出苗檢測方法流程見圖16。

圖16 基于點云處理的穴盤晚出苗檢測方法流程圖Fig.16 Flow chart of detection method for late emergence seedlings in plug trays based on point cloud processing

4 試驗驗證

在50盤幼苗中，隨機選取7盤子葉期的幼苗，命名為穴盤5～11，對穴盤5～11中每株幼苗的總鮮質(zhì)量(莖葉鮮質(zhì)量與根鮮質(zhì)量之和)進行測量，將計算的分級系數(shù)與總鮮質(zhì)量進行對比。其中穴盤5的對比結(jié)果如圖17所示，兩者變化趨勢基本一致，總鮮質(zhì)量更小的晚出苗其計算的分級系數(shù)明顯更小，表明本文所提出的分級系數(shù)有效。

圖17 分級系數(shù)與總鮮質(zhì)量對比Fig.17 Comparison between grading coefficient and total fresh weight

盤中共有331株幼苗，其中根據(jù)鮮質(zhì)量判斷出的晚出苗共60株?；诖?，進行穴盤晚出苗自動檢測試驗，結(jié)果如表1所示，正確檢測出晚出苗57株，成功率為95%，因此本文所提出的檢測方法可以較好地對晚出苗進行檢測。穴盤5、穴盤7和穴盤9各有1株晚出苗檢測失敗，如圖18所示，方框內(nèi)為檢測出的晚出苗，圓圈內(nèi)為未被檢測出的晚出苗。觀察自動檢測失敗的3株晚出苗，原因為：穴盤5中的晚出苗葉面積和株高計算出現(xiàn)了累計誤差，穴盤7和穴盤9的2株晚出苗的葉面積或株高過小，在檢測過程中被當作噪點進行了去除。

圖18 穴盤晚出苗自動檢測效果Fig.18 Automatic detection effects for late emergence seedlings in plug trays

表1 穴盤晚出苗自動檢測試驗結(jié)果Tab.1 Test results of automatic detection for late emergence seedlings in plug trays

5 結(jié)束語

通過分析研究大量的穴盤幼苗長勢情況并總結(jié)規(guī)律，將葉面積和株高的乘積作為分級系數(shù)，以整盤幼苗分級系數(shù)的均值與標準差的差值作為晚出苗分級閾值。利用RGB-D相機搭建穴盤幼苗點云采集平臺，采集整盤幼苗的點云，通過條件濾波、統(tǒng)計濾波和歐氏聚類分割出穴盤幼苗葉片點云。采用基于α-shape算法和擬合的方法計算獲取穴盤幼苗葉面積，擬合值和真實值平均誤差為0.75 cm2，平均相對誤差為8.51%。采用基于主曲率定位幼苗莖頂部位置的方法計算獲取幼苗株高，真值與計算值的平均誤差為0.359 cm，平均相對誤差為9.32%。將計算的分級系數(shù)與幼苗的總鮮質(zhì)量進行對比，分級系數(shù)與幼苗總鮮質(zhì)量的變化趨勢基本一致，總鮮質(zhì)量較小的晚出苗其分級系數(shù)明顯小于其他正常苗，本文提出的分級系數(shù)能夠有效地描述幼苗生長情況。隨機選取7盤子葉期的幼苗進行穴盤晚出苗自動檢測試驗，晚出苗檢測成功率為95%。