基于視覺三維重建的作物表型分析

史維杰 張吳平 郝雅潔 趙明霞 呂致 李富忠

摘要：采用基于圖像序列的三維重建技術(shù)對作物小麥進(jìn)行三維重建，通過對比不同處理下的三維點(diǎn)云，選擇合適的處理方式對同一品種的不同植株進(jìn)行三維重建;最后通過獲取的作物三維模型對其進(jìn)行表型測量。結(jié)果表明，重建出的三維模型在一定程度上可以還原作物的真實(shí)結(jié)構(gòu)，說明利用計算機(jī)視覺技術(shù)對作物進(jìn)行表型測量是切實(shí)可行的，利用三維模型測量作物的表型對于育種是省時有效的。

關(guān)鍵詞：三維重建;植物表型;葉面積;SfM;MVS

中圖分類號：TP399? ? ? ? ?文獻(xiàn)標(biāo)識碼：A

文章編號：0439-8114（2019）16-0125-04

DOI：10.14088/j.cnki.issn0439-8114.2019.16.029? ? ? ? ? ?開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）：

Abstract： Three-dimensional reconstruction of crop wheat was carried out by using image sequence-based 3D reconstruction technique. Three-dimensional point clouds under different treatments were compared， and appropriate treatment methods were used to reconstruct three-dimensional reconstruction of different plants of the same variety. Finally， the three-dimensional model of crops was obtained. Phenotypic measurement. The results showed that the reconstructed three-dimensional model could restore the true structure of the crop to a certain extent， indicating that it was feasible to use the computer vision technology to measure the phenotype of the crop. Using the three-dimensional model to measure the phenotype of the crop was time-saving and effective for breeding.

Key words： 3D reconstruction; plant phenotype; leaf area; SfM; MVS

隨著全世界人口的不斷增加、全球氣候急劇變化、耕地面積逐漸減少，如何能夠有效增加糧食產(chǎn)量、保障糧食安全，成為育種學(xué)家需要攻克的一個難題。在過去的幾十年里，表型組學(xué)作為基因組學(xué)的補(bǔ)充[1，2]，為作物育種及解析基因組作出了貢獻(xiàn)，植物表型間接決定了植物的生長、活力、抗倒伏能力等，不同植物表型間存在一定的線性或非線性功能關(guān)系。這表明當(dāng)一個表型參數(shù)不容易檢測或識別時，可以選擇另一個與其密切相關(guān)的表型參數(shù)進(jìn)行測量，所測得的表型參數(shù)為施肥、噴藥等農(nóng)業(yè)機(jī)械操作的決策和指導(dǎo)提供了一定的理論依據(jù)。同時，這些參數(shù)可以用于機(jī)器人自動拾取系統(tǒng)和執(zhí)行機(jī)構(gòu)的性能控制。傳統(tǒng)的植物表型測量方法存在成本高、工作強(qiáng)度大、消耗時間長等缺點(diǎn)，這就要求迅速發(fā)展植物表型測量技術(shù)。

與此同時，隨著計算機(jī)硬件和軟件的發(fā)展，越來越多將計算機(jī)視覺技術(shù)與農(nóng)業(yè)相結(jié)合，嘗試運(yùn)用一種新型的方法來突破傳統(tǒng)作物育種的局限性。將計算機(jī)視覺技術(shù)應(yīng)用在植物表型測量上，對于傳統(tǒng)的表型測量來說是一個巨大突破。傳統(tǒng)的表型測量存在人為因素干擾，同一測量目標(biāo)在不同人的測量下會存在較大的誤差。而利用計算機(jī)視覺技術(shù)獲得植物的三維模型并進(jìn)行測量，不僅僅是非破壞性可持久的，而且測量的精度在一定程度可以得到保障。Santos等[3]研究表明圖像序列可以重建植物的分支和其他精細(xì)結(jié)構(gòu)，夏春華等[4]提出一種基于TOF深度傳感的植物三維點(diǎn)云數(shù)據(jù)獲取與去噪方法，勞彩蓮等[5]提出一種基于消費(fèi)級深度相機(jī)的玉米植株三維重建方法。本研究采用基于圖片序列的三維重建方法，對作物進(jìn)行三維重建，得到三維模型后對其進(jìn)行測量與分析。

1? 圖片序列的三維重建方法

目前基于圖片序列的三維重建主要有兩類：

①使用Structure from Motion（SfM）對圖片序列進(jìn)行重建[6-9];

②使用Space carving（空間雕刻）對圖片序列進(jìn)行重建[10]。

空間雕刻技術(shù)最早于1998年由Kiriakos等提出，是一種利用任意位置相機(jī)重建任意形狀場景的理論，在本質(zhì)上將形狀恢復(fù)問題轉(zhuǎn)化為約束滿足問題?？臻g雕刻算法實(shí)現(xiàn)的一種近乎完美的三維重建，不是在圖像空間中進(jìn)行的而是在三維空間中進(jìn)行的，背景位于體素初始塊兒之外，所以對空間雕刻技術(shù)進(jìn)行三維重建不包括背景[11，12]。

SfM方法是一種低成本的從一系列多個重疊圖像中重建三維結(jié)構(gòu)方法[6]，已經(jīng)被越來越多的研究人員應(yīng)用于農(nóng)業(yè)、林業(yè)、地球科學(xué)、考古學(xué)和建筑學(xué)。SfM相比于空間雕刻技術(shù)的優(yōu)點(diǎn)是并不需要人為的定義太多參數(shù)，只需要對目標(biāo)植物進(jìn)行360°環(huán)繞拍攝，操作起來方便簡單。但由于特征點(diǎn)的檢測與匹配有可能存在大量的外點(diǎn)，所以重建后的結(jié)果可能存在大量的非感興趣區(qū)域。在得到圖片后需要對圖像進(jìn)行預(yù)處理操作，可以得到一個更好、更精確的結(jié)果。

2? 基于SfM對圖片序列的三維重建

本研究主要使用SfM對圖像序列進(jìn)行稀疏重建，然后使用Multi-View System（MVS）進(jìn)行稠密重建[13，14]，得到作物的三維模型，最后對其進(jìn)行測量分析，流程如圖1所示。

2.1? 圖像序列的獲取

對需要重建的作物從不同角度進(jìn)行拍攝，獲取圖像序列。本研究在植物表型平臺上使用Canon EOS1300D相機(jī)對作物進(jìn)行拍攝。對作物拍攝時分為3組不同間隔角度進(jìn)行拍攝，在5°、10°、20°的情況下分別獲取到72、36、18張圖片。獲得作物的初步圖像后，選取間隔角度為5°的圖片進(jìn)行預(yù)處理，剔除掉圖像的背景。拍攝間隔角度為5°的樣本預(yù)處理如下圖2所示。

2.2? 特征檢測與匹配

特征提取是三維重建的第一步。使用Scale-invariant feature transform（SIFT）算法進(jìn)行特征提取，該算法是Lowe[15]于1999年首次提出，并于2004年再次改進(jìn)。SIFT主要是利用差分高斯函數(shù)（DoG）構(gòu)建尺度空間找到特征點(diǎn)，然后通過計算特征描述子進(jìn)行特征匹配。

2.3? 稀疏重建

SfM是一個迭代計算的過程[16]，通過多幅圖像的內(nèi)外參矩陣計算出圖像特征點(diǎn)相應(yīng)的世界坐標(biāo)。本研究使用open Multiple View Geometry（openMVG），一個開源的多視圖立體幾何庫，提供了許多與SfM相關(guān)的的工具進(jìn)行稀疏重建。openMVG包含了提取的特征，可以通過圖片序列直接獲得相機(jī)的內(nèi)部參數(shù)，估計相機(jī)的姿態(tài)與位置以及相應(yīng)圖片的有效幾何特征。相對于其他的使用SfM稀疏重建，openMVG不需要使用標(biāo)定板對相機(jī)進(jìn)行標(biāo)定直接使用照片的Exif信息，可以直接得到相機(jī)的名稱、焦距等參數(shù)，而且可以直接處理較大的圖片。但拍攝時相機(jī)應(yīng)處于同一水平位置，與此同時，相機(jī)距離作物的位置也需要一定的保證，如果拍攝時出現(xiàn)相機(jī)的位置距離作物較遠(yuǎn)的情況下得到的圖片會被視為無效照片，不能進(jìn)行特征提取及其他的計算。本研究使用植物表型平臺獲取作物的圖像序列，因此在角度與距離上可以得到保障。使用openMVG對4組不同的作物圖像序列進(jìn)行稀疏重建，得到多個稀疏點(diǎn)云，并記錄各個點(diǎn)云內(nèi)點(diǎn)的個數(shù)。各個處理作物的稀疏點(diǎn)云效果如圖3所示。

2.4? 稠密重建

對SfM得到的稀疏點(diǎn)云來說，并不能直接使用，稀疏點(diǎn)云包含的信息較少，對于分析測量的結(jié)果并不準(zhǔn)確，所以需要對得到的稀疏點(diǎn)云進(jìn)行稠密重建，得到作物的稠密點(diǎn)云。Multiple View Stereo（MVS）[17]的主要理論依據(jù)是對于同一作物拍攝的多張圖片之間存在極線幾何約束，即不同照片上的同一點(diǎn)都被空間上的某一條線穿過。在基于這種約束的條件下，就可以對不同照片上的兩點(diǎn)進(jìn)行判斷是否屬于空間上的同一點(diǎn)，因此提出了圖像點(diǎn)間的一致性判定函數(shù)：

MVS的實(shí)質(zhì)就是利用極線幾何約束，人為對圖像中每個點(diǎn)進(jìn)行世界坐標(biāo)的計算，實(shí)現(xiàn)由稀疏點(diǎn)云到稠密點(diǎn)云的重建。

本研究主要采用openMVS對SfM獲得的稀疏點(diǎn)云進(jìn)行稠密重建。openMVS是一個開源的多視圖立體重建庫，可以對稀疏點(diǎn)云進(jìn)行稠密重建、表面重建、表面細(xì)化等一系列的重建操作。openMVS相對于其他的稠密重建系統(tǒng)多了表面細(xì)化這一步，使三維點(diǎn)云的表面網(wǎng)格更加接近真實(shí)。各個處理下的稠密點(diǎn)云效果如圖4所示。

2.5? 植物表型測量

利用計算機(jī)視覺技術(shù)對植物表型進(jìn)行測量，可以去掉大量的人為因素影響，將誤差降到最小，得到精度較高的結(jié)果。通過作物的三維模型對植物表型進(jìn)行測量，獲取一些感興趣的植物形態(tài)參數(shù)，例如：株高、葉面積、葉片夾角、葉片長度等。葉片是植物用于光合作用的重要器官，對植物的發(fā)育生長尤為重要，在很大程度上影響光能的使用率。許多葉片參數(shù)是植物表型的重要形態(tài)參數(shù)[18-20]。通過對同一品種的多株作物進(jìn)行三維重建，計算各株作物的葉面積，然后使用破壞性測量方式計算出各株作物的真實(shí)葉面積，部分測量數(shù)據(jù)如表1所示。

3? 結(jié)果與分析

3.1? 不同處理的對比

通過對比不同角度間隔植株三維點(diǎn)云的個數(shù)，可以發(fā)現(xiàn)當(dāng)拍照的間隔小于10°時，點(diǎn)的數(shù)量出現(xiàn)明顯地增加（表2）。如果對于精度有特殊要求的，可以在拍攝角度小于10°時拍攝。通過對比間隔都為5°的2個不同處理，發(fā)現(xiàn)剔除背景后點(diǎn)的數(shù)量減少，但非作物的噪聲點(diǎn)也大量減少。在植物表型平臺內(nèi)部進(jìn)行拍攝，可圖像的背景色并不是RGB三通道都為0，所以將背景內(nèi)的黑色轉(zhuǎn)化為三通道都為0的黑色，可以有效地降低外點(diǎn)的數(shù)量，實(shí)現(xiàn)一個好的重建效果。同時，在對照片進(jìn)行處理時，需要保證處理后的結(jié)果包含照片的Exif信息，否則需要通過其他方法進(jìn)行相機(jī)標(biāo)定，獲得相機(jī)的內(nèi)外參數(shù)，然后進(jìn)行三維重建。

3.2? 回歸分析

通過對比植物測量葉面積和真實(shí)葉面積，得出兩者之間的相關(guān)系數(shù)R為0.95，決定系數(shù)R2為0.90（表3）。對于植物模型測量的葉面積與真實(shí)面積存在的相關(guān)關(guān)系進(jìn)行顯著性檢驗(yàn)，回歸模型在0.05水平上差異顯著（表4）。

4? 小結(jié)

通過對比不同間隔角度情況下重建的三維點(diǎn)云中點(diǎn)的個數(shù)，發(fā)現(xiàn)在間隔角度小于10°時出現(xiàn)明顯增加，對于有精度要求的三維重建可以選擇10°以下;通過對比同樣間隔角度不同處理后的三維點(diǎn)云結(jié)果，發(fā)現(xiàn)對圖像進(jìn)行預(yù)處理后可以有效減少外點(diǎn);通過三維模型進(jìn)行葉面積計算與真實(shí)的葉面積存在相關(guān)關(guān)系，通過三維模型計算的葉面積估計真實(shí)的葉面積切實(shí)可行。

利用三維模型對作物進(jìn)行表型測量相較于傳統(tǒng)的測量方法是方便快捷的，每次僅需要在最開始時進(jìn)行破壞性取樣，對根據(jù)作物模型測量的葉面積與真實(shí)葉面積的回歸方程進(jìn)行矯正。但在特征提取上會提取到大量的非感興趣區(qū)域，而且如果對獲取的圖像進(jìn)行剔除背景處理又會出現(xiàn)拍照時光線較暗的部分被誤刪除。

參考文獻(xiàn)：

[1] SCHORK N J. Genetics of complex disease—approaches，problems，and solutions[J].Am J Resp Crit Care，1997，156：S103-S109.

[2] 周? 濟(jì)，F(xiàn)RANCOIS T，TONY P，等.植物表型組學(xué)：發(fā)展、現(xiàn)狀與挑戰(zhàn)[J].南京農(nóng)業(yè)大學(xué)學(xué)報，2018，41（4）：580-588.

[3] SANTOS T T，DE OLIVEIRA A A. Image-based 3D digitizing for plant architecture analysis and phenotyping in Embrapa Informática Agropecuária-Artigo em anais de congresso（ALICE）[A].In Proceedings of the Conference on Graphics，Patterns and Images[C].Ouro Preto，Brazil，2012.

[4] 夏春華，施? 瀅，尹文慶.基于TOF深度傳感的植物三維點(diǎn)云數(shù)據(jù)獲取與去噪方法[J].農(nóng)業(yè)工程學(xué)報，2018，34（6）：168-174.

[5] 勞彩蓮，楊? 瀚，李? 鵬，等.基于消費(fèi)級深度相機(jī)的玉米植株三維重建[J/OL].http：//kns.cnki.net/kcms/detail/11.1964.S.20190412.

1111.004.html.

[6] MOULON P，MONASSE P，MARLET R.Adaptive structure from motion with a contrario model estimation[A].Computer Vision-ACCV 2012：11th Asian Conference on Computer Vision[C].Daejeon，Korea，2012.

[7] CERRADA C，SALAMANCA S. Moving surface extraction based on unordered hexagonal perfect submaps projection：Applications to 3D feature tracking[J].Image & Vision Computing，2009，27（8）：1083-1096.

[8] MOISAN L，MOULON P，MONASSE P. Automatic homographic registration of a pair of images，with a contrario elimination of outliers[J].Image processing on line，2012，2：329-352.

[9] MOULON P，MONASSE P，MARLET R. Global fusion of relative motions for robust，accurate and scalable structure from motion[A].IEEE International Conference on Computer Vision. IEEE Computer Society[C].2013.

[10] KUTULAKOS K N，SEITZ S M. A theory of shape by space carving[A].The Proceedings of the Seventh IEEE International Conference[C].1999.

[11] 尹良澤，萬國偉，王愛平，等.可變Voxel與像素映射相結(jié)合的圖像建模算法[J].系統(tǒng)仿真學(xué)報，2008，20（S1）：359-362.

[12] BOJIAN W，YANG Z，YIMING Q，et al. Full 3D reconstruction of transparent objects[J].ACM Transactions on Graphics，2018， 37（4）：1-11.

[13] FURUKAWA Y. Accurate，dense，and robust multiview stereopsis[A].IEEE Transactions on Pattern Analysis and Machine Intelligence[C].2010.

[14] SCHOELER M，PAPON J，WORGOTTER F. Constrained planar cuts-Object partitioning for point clouds[A].IEEE Conference on Computer Vision and Pattern Recognition（CVPR）. IEEE Computer Society[C].2015.

[15] LOWE D.Distinctive image features from scale invariant features[J].International journal of compute vision，2004，60（2）：91-110.

[16] 張浩鵬，魏全茂，張? 威，等.基于序列圖像的空間目標(biāo)三維重建[J].北京航空航天大學(xué)學(xué)報，2016，42（2）：273-279.

[17] 胡鵬程，郭? 焱，李保國，等.基于多視角立體視覺的植株三維重建與精度評估[J].農(nóng)業(yè)工程學(xué)報，2015，31（11）：209-214.

[18] 仇瑞承，魏? 爽，張? 漫，等.作物表型組學(xué)測量方法綜述[J].中國農(nóng)業(yè)文摘-農(nóng)業(yè)工程，2019，31（1）：23-36，55.

[19] 張? 漫，苗艷龍，仇瑞承，等.基于車載三維激光雷達(dá)的玉米葉面積指數(shù)測量[J/OL].http：//kns.cnki.net/kcms/detail/11.1964.s.20190423.1643.008.html.

[20] 徐勝勇，黃偉軍，周? 俊，等.使用Kinect傳感器的油菜葉片面積測量方法[J].中國油料作物學(xué)報，2017，39（1）：55-59+77.