doi:10.15889/j.issn.1002-1302.2024.20.008
摘要:小麥植株表型信息是小麥品種特性和生長發(fā)育規(guī)律的外在展示,對小麥的栽培調控具有重要的指導意義。常規(guī)的作物表型信息獲取以人工測量為主,存在數(shù)據(jù)偏差大、投入時間多、獲取效率低等問題。本研究利用超高精度的三維(3D)激光掃描儀,在實驗室內獲取小麥個體和群體植株3D點云數(shù)據(jù),并進行點云數(shù)據(jù)預處理,構建小麥植株3D結構模型。在此基礎上提取葉片三角網點云并換算成葉面積,提取葉片骨架點云換算成葉片長度和葉片最大寬度,提取小麥植株頂點到基部點云換算成植株高度。通過實地手工測量值的驗證,小麥3D模型提取的葉面積、葉片長度、葉片最大寬度、植株高度與實測值的r2分別為0.91、0.95、0.82、0.95,相關性均達到極顯著水平,RMSE較小,分別為0.54 cm2、0.73 cm、0.05 cm和1.18 cm。上述研究結果表明,基于3D點云數(shù)據(jù)提取的小麥表型參數(shù)與實測值較為接近,結果可靠,為小麥生長監(jiān)測和表型數(shù)據(jù)獲取等提供了一種新的方法。
關鍵詞:小麥植株;3D激光掃描;點云;3D激光重建;表型參數(shù)
中圖分類號:S126;TP391.9" 文獻標志碼:A
文章編號:1002-1302(2024)20-0056-06
收稿日期:2023-10-12
基金項目:江蘇省重點研發(fā)計劃(現(xiàn)代農業(yè))項目(編號:BE2022335、BE2022338);江蘇高校優(yōu)勢學科建設工程資助項目(PAPD)。
作者簡介:崔騰予(1999—),女,吉林長春人,碩士研究生,主要從事作物表型監(jiān)測研究。E-mail:cty_104@163.com。
通信作者:孫成明,博士,教授,博士生導師,主要研究方向為作物表型監(jiān)測與智慧農作技術。E-mail:cmsun@yzu.edu.cn。
在我國的糧食作物中,小麥占據(jù)非常重要的地位,對整個糧食安全也十分重要。生產上要獲得小麥優(yōu)質高產,需要良種良法一起抓,其中良法就是根據(jù)小麥的表型信息對其進行栽培調控[1]。選育優(yōu)良品種與優(yōu)化栽培調控的本質就是將作物的內在特性與植株外在表型相結合,通過表型參數(shù)去解析基因功能,從而達到選擇優(yōu)良性狀的目的[2]。在作物表型參數(shù)獲取方面,傳統(tǒng)的方法是以實地測量為主,這種方式存在受人為因素干擾多、數(shù)據(jù)誤差大、時間長、效率低等問題。因此,研究開發(fā)高效非破壞性的表型獲取技術是當前表型組研究的重要任務之一[3],同時不斷改進傳感技術以及獲取更加精準的作物表型信息已成為作物新品種選育的重要依據(jù)[4-5]。
針對上述問題,許多專家學者開展了相應的研究,如圖像序列法、3D構建法、深度成像法、激光雷達法等。Wang等基于圖像序列構建不同生育時期玉米植株的3D結構,用來評估玉米植株在不同生長階段的表型[6]。楊樂等基于改進的L系統(tǒng)和OpenGL開放圖形庫實現(xiàn)了水稻根系3D可視化仿真系統(tǒng)[7]。朱冰琳等在不同葉期對大豆和玉米的個體和群體進行序列圖像采集,重建3D結構并提取表型參數(shù),經實際測量數(shù)據(jù)驗證,決定系數(shù)(r2)均大于0.97[3]。肖順夫等基于3種不同復雜程度植株冠層,利用RGB相機獲取其圖像序列,通過3D重建獲得植株3D模型,并對葉片提取表型參數(shù),與手動測量表型參數(shù)驗證,r2達到0.96以上[4]。Xiong等利用深度相機獲取油菜幼苗的冠層3D結構圖像,并通過重建的3D結構提取株高和葉面積,結果表明,3D模型提取的表型數(shù)據(jù)更為準確[8]。楊斯等利用Kinect v2相機獲取溫室黃瓜苗的圖像序列并轉換成3D點云,基于3D點云提取了單株幼苗的株高,經手動測量結果驗證,株高提取的效果很好[9]。Thapa等基于激光雷達物候儀生成單株的3D點云來重建葉片數(shù)字曲面,得到了植株的形態(tài)特征,包括單葉面積、總葉面積、葉傾角和葉角分布[10]。蘇偉等基于毫米級地基激光雷達獲取玉米植株3D點云數(shù)據(jù)構建3D模型,實現(xiàn)了對葉面積、葉長、株高和莖粗的測量[11-12]。Paulus等基于安裝在測量臂上的激光雷達掃描獲取大麥的冠層3D點云數(shù)據(jù),然后基于點云數(shù)據(jù)提取了株高等表型參數(shù),精度較高[13]。張漫等提出了一種基于統(tǒng)計分析的玉米點云2次濾波算法,可以提升作物表型參數(shù)提取的精度[14]。
上述研究結果表明,基于3D模型提取作物表型參數(shù)的技術已得到良好發(fā)展,該技術不僅工作效率高且受環(huán)境影響小。但由于受到設備精度的影響,研究結果的精度也有高低,同時基于二維圖像和深度圖像的方法較多,而使用激光掃描技術的研究較少。本研究基于高精度激光掃描方法,將機器視覺成像技術應用到獲取植株個體的3D結構中,對3葉期小麥植株進行3D重建,從其重建的3D結構中提取表型參數(shù),之后基于手動測量數(shù)據(jù)對提取結果進行評估,以期為作物植株個體、群體表型參數(shù)的獲取提供技術支撐。
1" 材料與方法
1.1" 試驗設計
試驗于2021—2022年在揚州大學農學院智慧農業(yè)實驗室進行。小麥為盆栽,在人工智能氣候室培養(yǎng),溫度維持在10~20 ℃,濕度維持在50%~60%RH。盆栽土壤為沙壤土,松黏適中。先將種子催芽萌發(fā),然后播種到培養(yǎng)盆中(培養(yǎng)盆高30 cm,盆的內徑為20 cm)。為了保證小麥的出苗率,試驗過程中每盆播種多粒小麥種子。播種的深度為3~5 cm,出苗后移除多余麥苗,構建1、2、3、4株/盆的處理,每盆重復3次,整個試驗周期內常規(guī)管理。最后選3葉期和4葉期的盆栽小麥作為試驗對象。
1.2" 試驗裝置
本研究使用Space Spider 3D激光掃描儀進行3D點云的獲取,整個數(shù)據(jù)獲取的平臺由三腳架和電動旋轉載物臺構成。數(shù)據(jù)采集時將盆栽小麥放到電動旋轉平臺,掃描儀固定在支架上不動,盆子隨著電動旋轉平臺旋轉從而實現(xiàn)多視角激光點云數(shù)據(jù)采集。具體裝置如圖1所示。
Space Spider是盧森堡阿泰科(Artec)公司2015年生產的一款手持式激光掃描儀,主要參數(shù)見表1。Space Spider是新一代高精度手持3D掃描設備,在獲取被掃描對象3D點云數(shù)據(jù)的同時,還兼具顏色信息和紋理細節(jié)。設備的穩(wěn)定性好、準確度高,在自然光條件下就可使用。該掃描儀的用途較多,可以掃描獲取作物莖、葉片以及分蘗等的3D點云數(shù)據(jù),適用于作物生長監(jiān)測、3D形態(tài)重建以及表型參數(shù)提取等領域。
1.3" 數(shù)據(jù)獲取
為防止空氣的流動影響植株葉片形態(tài)的穩(wěn)定性,激光點云數(shù)據(jù)獲取在室內進行。數(shù)據(jù)采集時間為當天的09:00—11:00,數(shù)據(jù)獲取前需要進行標記點處理(將盆子和植株都貼上特制的標記物)。標識點越多,掃描拼接的效果就越好。為了使盆栽小麥點云數(shù)據(jù)獲取完整,將掃描儀鏡頭與盆栽小麥植
株垂直方向的夾角調整到45°~60°,距離調整為 20~30 cm,掃描儀高度可上下適當調節(jié)。為減小培養(yǎng)盆轉動過程中葉片的抖動對點云質量的影響,將轉臺的轉速設置為10~12 s/圈,并且勻速旋轉。在點云處理軟件(Artec Studio Professional 14.0)支持下獲得小麥植株3D點云數(shù)據(jù)(同時具有顏色和紋理信息),并對植株的點云數(shù)據(jù)進行處理和保存。
在小麥點云數(shù)據(jù)采集結束后,再手工測量植株高度、葉長、葉寬等表型參數(shù)。實測植株高度為目標植株的頂端到根基部的最短距離;實測葉長為葉片拉直情況下葉尖到葉基的距離,葉寬為葉片的最大寬度;單葉面積的測定采用美國LI-COR公司的LI-3000C便攜式葉面積儀。以上數(shù)據(jù)用來驗證重建模型表型參數(shù)的提取效果。
1.4" 3D點云數(shù)據(jù)的處理
1.4.1" 點云去噪
采用Space Spider掃描小麥植株時,為了防止數(shù)據(jù)缺失,需要進行多次掃描。但多次掃描會使部分點云重疊,且點云還包含來自相鄰葉片反射形成的冗余信息、掃描時轉臺的抖動造成的噪聲點以及自然環(huán)境中光照不均勻等因素帶來的影響,故需進行濾波預處理,將噪聲點、離群點等去除,獲得相對較為平滑的稠密點云。本研究采用不規(guī)則三角網加密法進行點云去噪[15]。
為了提取植株表型參數(shù),需要分離出單株點云。由于受光線、空氣流動等因素的影響,掃描獲取的點云數(shù)據(jù)中或多或少地存在噪聲點,需要使用相應的工具軟件去除噪聲點。同時3D掃描儀獲取的點云密度大而且空間分布不規(guī)則,直接處理的過程較為復雜。因此需對獲取后的3D點云數(shù)據(jù)進行重采樣處理。處理后的葉片點間距約0.3 mm,每張葉片包含3 000~6 000個點。
1.4.2" 點云配準
點云配準是將激光掃描得到的不同位點的原始3D點云配準到同一參考系下。采用不同方法進行配準,最后的精度也不同,結果也會影響到3D模型的重構精度。目前常用的算法是迭代最近點(iterative closest point,ICP)算法,該算法通過尋找2組點云之間對應點的數(shù)據(jù)對集,通過不斷迭代后查找目標點云和源點云之間的匹配關系,從而實現(xiàn)最終的點云配準[16-17]。本研究采用配套的軟件Artec Studio Professional 14.0完成點云配準。
1.5" 植株表型參數(shù)提取
1.5.1" 株高參數(shù)獲取
在對盆栽小麥3D掃描前,先要進行標識。一般是在植株前放置一塊白色標記牌(長寬值固定),掃描后根據(jù)標記牌的尺寸換算得到植株不同器官的實際尺寸。本研究將3D點云中植株最高點到莖基部的垂直距離定義為株高。由于單株點云坐標已經校正,即可以通過以下方法估算株高(H)[3]:
H=Zmax-Zmin。(1)
式中:Zmax和Zmin分別為單株點云中最高點和最低點的Z軸坐標。
1.5.2" 葉片參數(shù)獲取
根據(jù)重建后的3D點云,首先分割出單張葉片,之后確定每張葉片的葉基點和葉尖點。在3D空間以葉基點為原點,將葉尖點旋轉到X軸正方向,以葉片中脈為基準,實現(xiàn)3D到二維的轉換,然后利用工具軟件提取葉片長度和葉片最大寬度(均為葉片骨架上3D點云的歐氏距離之和)。在提取葉片表型參數(shù)的過程中,需要使用葉片三角網模型,該模型將3D點云中葉片細分到最小的三角網格,組合后就可以提取出葉片骨架。三角網模型的建立和葉片骨架的提取均可通過相應的工具軟件實現(xiàn)[11]。
2" 結果與分析
2.1" 小麥葉片點云去噪效果
掃描后形成的小麥植株3D點云存在許多噪聲點,葉片邊緣處尤為明顯,無論是稠密點云還是經優(yōu)化后的稀疏點云,都存在這種情況(圖2)。圖2為葉片點云圖像放大后的效果,由圖3可知,在葉片邊緣處有許多偏離主體數(shù)據(jù)的噪聲點,這些噪聲點分布在葉片兩側,有些偏離較遠,這類噪聲點過多會影響整體重建的效果。
圖3為葉片點云去噪前后的效果對比,由圖可知,去噪前葉片邊緣不清晰,局部形成鋸齒狀,數(shù)據(jù)分布不均。去噪后葉片邊緣清晰,數(shù)據(jù)分布均勻,整體效果較好。
2.2" 基于點云的3D重建結果
對獲取的點云數(shù)據(jù)進行預處理和重采樣后,獲
得盆栽小麥植株的3D結果。圖4和圖5分別為小麥植株3葉期和4葉期3D重建效果(分別為1、2、3、4株/盆)。由于小麥苗期葉片葉尖部位較為細長以及儀器精度等原因,難以提取其點云信息,故3D重建后的結構中缺失部分葉尖部位。由圖4可知,基于激光掃描的3D重建模型,植株形態(tài)結構較為清晰,且植株的顏色信息也較為明顯。進一步觀察發(fā)現(xiàn),植株不同部位(包括花盆和土壤)的紋理信息也有所差異。表明通過激光掃描的方法可以很好地進行植株的3D重構,也能對植株的生長信息進行有效的展現(xiàn)。
2.3" 表型參數(shù)提取結果
研究基于掃描數(shù)據(jù)構建的植株3D模型進行表型參數(shù)的提取,提取后的株高、葉長、葉寬和葉面積分別與實測值進行比較。由圖6可知,3D模型提取結果與手工測量結果有很好的一致性,r2均在0.82及以上,均方根誤差(RMSE)均較小。其中株高的r2為0.95,RMSE為1.18 cm;葉長的r2為0.95,RMSE為0.73 cm;葉寬的r2為0.82,RMSE為 0.05 cm;葉面積的r2為0.91,RMSE為0.54 cm2,皆表明此方法在提取小麥葉片的長、寬以及株高等表型參數(shù)時效果較好。同時,雖然株高的提取值與實測值一致性較好,但提取值普遍較實測值低,這
可能與盆內土壤不平整、基部位置不穩(wěn)定有關。
3" 討論
植株形態(tài)3D重構可為表型信息獲取提供便捷的途徑[3,11]。無論采用傳統(tǒng)的深度相機還是發(fā)展迅速的激光雷達,都需要對研究對象的3D點云進行處理, 從而提高3D重建的精度[18-19]。本研究根據(jù)作
物栽培及育種進程中急需解決的表型信息獲取等問題,探索了利用高精度激光掃描儀獲取盆栽小麥植株3D點云并進行3D形態(tài)重構的過程。本研究利用超高精度的3D激光掃描儀,在實驗室內獲取小麥個體和群體植株3D點云數(shù)據(jù),并進行點云數(shù)據(jù)預處理,構建小麥植株3D結構模型。研究基于掃描數(shù)據(jù)構建的植株3D模型進行表型參數(shù)的提取,對提取后的植株株高、葉長、葉寬和葉面積等數(shù)據(jù)分別與實測值進行了比較,3D模型提取結果與手工測量結果有很好的一致性,小麥3D模型提取的小麥植株葉面積、葉長、葉寬、株高與實測值的r2分別為0.91、0.95、0.82、0.95,相關性均達到極顯著水平,RMSE較小,分別為0.54 cm2、0.73 cm、0.05 cm 和1.18 cm。上述研究結果表明,基于3D點云數(shù)據(jù)提取的小麥表型參數(shù)與實測值較為接近,結果可靠,為小麥生長監(jiān)測和表型數(shù)據(jù)獲取等提供了一種新的方法,此方法能夠較為準確地提取小麥植株葉片的長、寬以及株高等表型參數(shù)。
雖然激光掃描儀本身的精度較高,但在掃描過程中容易受到多種因素的干擾而造成精度下降,比如掃描儀的位置、支架的穩(wěn)定性、載物臺的轉速以及光線的變化等。同時植株本身的特性對掃描結果也有影響,比如本研究中的小麥,由于在生長前期,植株較矮,葉片較薄,相較于其他高大的植株,掃描后的3D點云數(shù)據(jù)容易缺失[20]。不過與傳統(tǒng)的表型數(shù)據(jù)獲取結果相比,激光掃描儀在解決了精度的影響因素后, 其批量性、無損性、快速性等優(yōu)勢還是比較明顯的。同時在獲取的植株3D點云數(shù)據(jù)中,除了研究對象的空間位置信息外,還包括顏色、紋理等生理生態(tài)信息,為植株多種表型參數(shù)的同步提取提供了可能。
目前開展的作物3D重建研究中,研究對象不論是玉米、小麥還是油菜等,均存在多個生育時期[18-21]。不同類型的作物,3D點云獲取后的處理也不盡相同,即使是同一種作物,其不同生育時期也會有所差異。而本研究中的小麥,隨著生育進程的發(fā)展,小麥植株間的遮擋會逐漸變得嚴重。雖然研究的時期為小麥生育前期,但由于此時葉片較為細小,且存在葉片扭曲、植株顏色較淺等因素的影響,導致葉片尖端、葉緣處的部分3D點云缺失,增加了3D重構和表型參數(shù)提取的難度。本研究通過調整掃描儀位置和載物臺轉速等方法,獲取盆栽小麥植株個體、群體3D結構,取得了較好的結果。未來隨著研究的不斷深入,基于精確的植株3D點云結構,可以進行作物株型解釋及作物冠層輻射傳輸?shù)脑u估,推動作物育種相關技術的發(fā)展[3,22]。
本研究發(fā)現(xiàn),在利用激光掃描儀進行植株3D點云獲取時,如果群體植株間葉片有遮擋,那么位于冠層內部和相鄰植株間葉片的重建效果就會不太理想,出現(xiàn)葉片重建缺失等情況。為了解決相應的問題,借鑒前人的研究,選擇呈半球形分布并結合局部加密的掃描方式,替代傳統(tǒng)的單面或者雙面掃描[3]。該方法雖然可以解決一部分遮擋的問題,但仍存在一定的局限性。在后續(xù)的研究中,可以考慮多種傳感器相結合,獲取植株不同維度的信息,進一步增加3D重構的精度。
4" 結論
本研究以盆栽小麥作為研究對象,基于激光掃描的方法對不同生長時期的小麥植株個體進行了3D重建。掃描后對圖像進行分割預處理,從而獲得僅含目標植株的3D點云,進而自動提取了株高、葉長、葉寬等表型參數(shù),與實際測量結果的一致性較好,表明溫室環(huán)境下此方法可以滿足作物表型提取的精度要求。研究結果可為作物表型平臺構建及參數(shù)高通量精準獲取提供借鑒。
參考文獻:
[1]楊" 俊,丁" 峰,陳" 晨,等. 小麥生物量及產量與無人機圖像特征參數(shù)的相關性[J]. 農業(yè)工程學報,2019,35(23):104-110.
[2]Mullan D J,Reynolds M P. Quantifying genetic effects of ground cover on soil water evaporation using digital imaging[J]. Functional Plant Biology,2010,37(8):703-712.
[3]朱冰琳,劉扶桑,朱晉宇,等. 基于機器視覺的大田植株生長動態(tài)三維定量化研究[J]. 農業(yè)機械學報,2018,49(5):256-262.
[4]肖順夫,劉升平,李世娟,等. 改進區(qū)域增長算法的植株多視圖幾何重建[J]. 中國農業(yè)科學,2019,52(16):2776-2786.
[5]Deery D,Jimenez-Berni J,Jones H,et al. Proximal remote sensing buggies and potential applications for field-based phenotyping[J]. Agronomy,2014,4(3):349-379.
[6]Wang Y J,Wen W L,Wu S,et al. Maize plant phenotyping:comparing 3D laser scanning,multi-view stereo reconstruction,and 3D digitizing estimates[J]. Remote Sensing,2018,11(1):1-17.
[7]楊" 樂,唐子宗,吳盼盼,等. 基于改進L-系統(tǒng)的水稻根系建模方法[J]. 江蘇農業(yè)科學,2022,50(10):183-187.
[8]Xiong X,Yu L J,Yang W N,et al. A high-throughput stereo-imaging system for quantifying rape leaf traits during the seedling stage[J]. Plant Methods,2017,13:7.
[9]楊" 斯,高萬林,米家奇,等. 基于RGB-D相機的蔬菜苗群體株高測量方法[J]. 農業(yè)機械學報,2019,50(增刊1):128-135.
[10]Thapa S,Zhu F Y,Walia H,et al. A novel LiDAR-based instrument for high-throughput,3D measurement of morphological traits in maize and sorghum[J]. Sensors,2018,18(4):1187.
[11]蘇" 偉,蔣坤萍,郭" 浩,等. 地基激光雷達提取大田玉米植株表型信息[J]. 農業(yè)工程學報,2019,35(10):125-130.
[12]苗艷龍,彭" 程,高" 陽,等. 基于地基激光雷達的玉米株高與莖粗自動測量研究[J]. 農業(yè)機械學報,2021,52(增刊1):43-50.
[13]Paulus S,Schumann H,Kuhlmann H,et al. High-precision laser scanning system for capturing 3D plant architecture and analysing growth of cereal plants[J]. Biosystems Engineering,2014,121:1-11.
[14]張" 漫,苗艷龍,仇瑞承,等. 基于車載三維激光雷達的玉米點云數(shù)據(jù)濾波算法[J]. 農業(yè)機械學報,2019,50(4):170-178.
[15]Rosell J R,Llorens J,Sanz R,et al. Obtaining the three-dimensional structure of tree orchards from remote 2D terrestrial LIDAR scanning[J]. Agricultural and Forest Meteorology,2009,149(9):1505-1515.
[16]Celesti M,van der Tol C,Cogliati S,et al. Exploring the physiological information of sun-induced chlorophyll fluorescence through radiative transfer model inversion[J]. Remote Sensing of Environment,2018,215:97-108.
[17]趙明富,黃" 錚,宋" 濤,等. 融合采樣一致性和迭代最近點算法的點云配準方法[J]. 激光雜志,2019,40(10):45-50.
[18]朱" 超,苗" 騰,許童羽,等. 基于骨架和最優(yōu)傳輸距離的玉米點云莖葉分割和表型提?。跩]. 農業(yè)機械學報,2021,37(4):188-198.
[19]徐勝勇,盧" 昆,潘禮禮,等. 基于RGB-D相機的油菜分枝三維重構與角果識別定位[J]. 農業(yè)機械學報,2019,50(2):21-27.
[20]郭慶華,吳芳芳,龐樹鑫,等. Crop 3D-基于激光雷達技術的作物高通量三維表型測量平臺[J]. 中國科學(生命科學),2016,46(10):1210-1221.
[21]李玉超,張" 博,汪永剛,等. 基于多視角圖像的玉米三維重建及雙面配準方法研究[J]. 江蘇農業(yè)科學,2023,51(8):177-184.
[22]Khler P,Behrenfeld M J,Landgraf J,et al. Global retrievals of solar-induced chlorophyll fluorescence at red wavelengths with TROPOMI[J]. Geophysical Research Letters,2020,47(15):1-10.