基于相位相關的溫室番茄植株多模態(tài)三維重建方法

孫國祥，汪小旵，劉景娜，孫 曄，丁永前，盧 偉

·農業(yè)信息與電氣技術·

基于相位相關的溫室番茄植株多模態(tài)三維重建方法

孫國祥1,2，汪小旵1,2，劉景娜1，孫 曄1，丁永前1,2，盧 偉1,2

（1. 南京農業(yè)大學工學院，南京 210031； 2. 江蘇省現(xiàn)代設施農業(yè)技術與裝備工程實驗室，南京 210031）

為實現(xiàn)溫室番茄植株多模態(tài)三維重建，解決多光譜反射率配準和多視角點云三維重建問題，基于相位相關原理將多光譜反射率配準至RGB-D圖像坐標系中，建立了基于Kinect傳感器測量位姿自主標定的多視角RGB-D圖像三維重建方法，實現(xiàn)植株RGB三維點云模型和多光譜反射率點云模型重建，通過歸一化灰度相似系數(shù)、配準區(qū)域光譜重疊率、互信息值3個指標客觀評價二維多光譜圖像配準質量，采用豪斯多夫距離客觀評價植株三維點云重建精度。結果表明：30株溫室番茄，每株4個重建視角，視角間隔為90°，配準區(qū)域光譜重疊率和歸一化灰度相似系數(shù)的平均值分別為0.920 6和0.908 5，異源圖像配準后互信息值比配準前互信息值平均提升了9.81%，植株冠層多光譜圖像能夠準確配準至深度坐標系，番茄植株三維重建點云距離集小于0.6 cm的比例為78.39 %，小于1.0 cm的比例為91.13 %，番茄距離集均值的平均值為0.37 cm，表明植株三維點云模型重建精度較高，能夠應用于溫室番茄植株多模態(tài)三維重建。植株多模態(tài)三維模型是實現(xiàn)三維形態(tài)測量與生理診斷的關鍵要素，為高通量植株表型測量提供高效精準的測量方法，對植物表型組學等研究領域的發(fā)展具有重要的意義。

圖像重構；三維；立體視覺；相位相關；多模態(tài)；多光譜；三維重建；溫室番茄；植物表型

0 引 言

植物信息是智能化設施園藝控制系統(tǒng)實現(xiàn)精準控制的重要決策依據(jù)[1-3]，是植物表型組學研究的關鍵要素[4-5]。由于植物生長信息不僅受遺傳因子的控制，而且受生長環(huán)境的影響，導致植物外在三維幾何形態(tài)和內在生理信息復雜各異[5]。傳統(tǒng)人工測量方式、有損測量方式以及低通量測量方式，均已無法滿足現(xiàn)代精準農業(yè)智能化管理和植物表型組學發(fā)展的需求，迫切需要研究高度集成、高通量、高精度的植物表型測量系統(tǒng)。

針對植物表型測量技術問題，主要分為外在形態(tài)測量和內在生理診斷，其中形態(tài)測量主要采用植物三維重建方法，通過三維模型計算幾何形態(tài)信息，生理診斷主要采用近紅外成像、紅外成像、光合熒光成像、多光譜成像、高光譜成像、CT成像等技術，結合診斷模型，實現(xiàn)植物生理診斷[1-2,6-8]。在植物三維重建方面，主要分為主動式和被動式[9]。主動式重建方法是向待測物體發(fā)射可控制信號（激光、電磁波等），通過發(fā)射信號與返回信號的分析比較，獲得待測物體表面各點的深度信息，利用深度信息進行建模，主要有基于激光測距法，如2D激光雷達[10]、3D激光雷達[11]；基于飛行時間法，如TOF相機[12]、Kinect相機[13]；結構光法，主要有直接三角法和光柵相位法，如線激光[14]。被動式重建方法是通過攝影測量方法，重建目標表面三維結構，主要有單目視覺[15]、雙目視覺[16]、運動恢復結構（structure from motion，SFM）[17]、空間雕刻[18]。這些方法的共同特點是單視角成像僅能獲取2D或2.5D圖像，所以植物三維重建需要多個視角圖像。植株形態(tài)復雜，在不同測量位姿和視角，植株點云模型配準需要重復標定或估計變換矩陣，如Kenta等采集50個視角下植株圖像，根據(jù)SFM原理，實現(xiàn)植物三維點云模型重建[19]，Zhang等采集24個視角下植株冠層圖像，建立植株三維點云模型[20]，視角數(shù)量過多直接影響了植株重建與測量效率。在植物生理診斷方面，主要以多波段二維光譜圖像特征構建生理診斷模型，由于二維圖像僅為單個視角下成像特征，無法反映植物全部特征，并且無法反映具體生理特征分布與空間位置。在高通量植物表型測量需求下，研究一種三維點云與光譜信息深度融合的多模態(tài)三維重建方法，解決不同測量位姿、多視角下溫室植物多模態(tài)三維點云模型高速重建問題，對高通量植物表型測量技術的發(fā)展具有重要的意義。

本研究將結合深度視覺技術和多光譜成像技術，以溫室番茄植株為研究對象，在同一成像室，同步采集每個植株4個視角RGB-D圖像和多光譜圖像，基于相位相關原理將植株多光譜反射率配準至深度坐標；根據(jù)Kinect傳感器測量位姿自主標定，實現(xiàn)多視角點云坐標系統(tǒng)一變換，實現(xiàn)多視角點云粗配準，最后采用迭代最近點（iterative closest point，ICP）算法實現(xiàn)多視角點云精配準，從而實現(xiàn)植株多模態(tài)三維重建，使得三維點云每個空間坐標具有RGB信息和多光譜反射率信息，為植物表型高通量測量提供良好的技術支撐。

1 材料與方法

1.1 測量系統(tǒng)結構與原理

基于相位相關的溫室番茄植株多模態(tài)三維重建系統(tǒng)，主要由成像室、LED光源、SOC710高光譜成像儀、Kinect傳感器、電動旋臺、控制器和圖形工作站等組成，如圖1a所示。

1.SOC710高光譜成像儀 2.Kinect傳感器 3.三腳架 4.番茄植株 5.電動旋臺

成像室采用鋁型材構建，內側尺寸長為180 cm、寬120 cm、高160 cm，內部側面和底面為白色啞光貼膜。LED光源由兩個6 400 K、70 W 的Philips光源組成。SOC710高光譜成像儀為內置推掃方式，光譜范圍為400～1 000 nm，波段數(shù)為128，圖像分辨率為696 pixel×510 pixel，可設定采集波段。Kinect傳感器為2.0版本，由Color Camera和Depth Sensor等組成，彩色RGB圖像分辨率為1 920 pixel × 1 080 pixel，深度圖像分辨率為512 pixel × 424 pixel，幀率為30 幀/s，測量距離范圍為0.80～4.00 m。電動旋臺長度為31.4 cm，寬度為21.4 cm，高度為6 cm，旋臺圓盤直徑為20 cm，角度范圍為360 °，傳動比180:1，驅動機構為渦輪和蝸桿機構，驅動電機為57BYG步進電機，旋臺分辨率0.000 5°，定位精度0.01°。控制器為HW-36MT-3PG可編程控制器，36路I/0輸入輸出，其中輸入20路，輸出16路，內置3路最高100 KHz PG帶加減速高速脈沖輸出，通信接口：RS232C。圖形工作站處理器為Intel(R) Xeon(R) E-2176M CPU @2.70 GHz，內存容量為32G，NVIDIA Quadro P600 4G顯卡。系統(tǒng)控制軟件環(huán)境是Visual Studio 2015和Matlab 2017a混合編程。

如圖1b所示，為SOC710高光譜成像儀采集的光譜圖像（466.93 nm為例），如圖1c所示，為Kinect傳感器采集的RGB圖像，如圖1d所示，為Kinect傳感器采集的深度圖像，深度圖像每個像素的深度值參見顏色欄。

如圖2所示，溫室番茄植株多模態(tài)三維重建系統(tǒng)工作原理：第一步，初始化系統(tǒng)參數(shù)：主要包括SOC710高光譜成像儀特征波段選定、Kinect傳感器內部參數(shù)主點坐標（x，y）和焦距（x，y）、Kinect傳感器采集范圍（距離限制）、植株ROI區(qū)域行和寬的范圍（計算區(qū)域限制）、植株三維重建的視角數(shù)量N。第二步，Kinect位姿自主標定：采集2個視角的電動旋臺表面RGB-D圖像，根據(jù)顏色閾值識別出各個視角下旋臺表面的黃色和紅色標定貼點云坐標，計算標定貼重心，并根據(jù)重心計算旋臺旋轉軸中心坐標和法向量。第三步，多視角番茄植株RGB-D圖像和多光譜圖像采集：根據(jù)視角數(shù)量，逐次采集各個視角的植株RGB-D圖像和多光譜圖像，每個視角采集后，電動旋臺旋轉360°/N。第四步，相位相關法光譜反射率配準：基于相位相關原理，將SOC710成像儀采集的光譜圖像與Kinect傳感器采集的RGB圖像進行配準，計算出變換參數(shù)，多個通道的光譜反射率采用相同的變換參數(shù)，將光譜反射率映射至相應的深度坐標，形成三維數(shù)組，包含深度圖和多個波段的光譜反射率圖像。第五步，植株多模態(tài)三維重建：根據(jù)Kinect傳感器內部參數(shù)，將各個視角RGB-D圖像轉換為三維點云；根據(jù)Kinect傳感器距離范圍和植株感興趣區(qū)域（region of interest，ROI）行寬范圍（ROI區(qū)域指去除其他背景區(qū)域的植株冠層區(qū)域），對三維點云進行包圍盒預處理和離群點去除預處理；根據(jù)旋臺旋轉軸中心坐標，對各個視角點云進行位移變換，將旋臺旋轉軸中心點移至Kinect坐標系原點（0，0，0），根據(jù)旋臺旋轉軸法向量，將各視角點云進行旋轉變換，實現(xiàn)多視角點云坐標系統(tǒng)一，然后對各視角點云逐次進行ICP配準，最后對三維點云進行降采樣，完成植株三維重建。由于每個空間坐標點包含了RGB值和各個波段的反射率值，所以在實現(xiàn)三維點云模型重建時，即實現(xiàn)了多模態(tài)三維點云模型重建。

1.2 相位相關法多模態(tài)圖像配準

SOC710高光譜成像儀采集多光譜灰度圖像和反射率圖像，而Kinect傳感器采集RGB圖像和深度圖像，要實現(xiàn)番茄植株多模態(tài)三維重建，需要將植株的多光譜反射率對齊至深度坐標，即每個三維空間坐標包含RGB值和多光譜反射率。SOC710圖像和Kinect圖像之間主要存在位移、旋轉角度和縮放倍數(shù)變換問題。本研究采用相位相關原理，將多光譜反射率配準至深度坐標。

圖2 溫室番茄植株多模態(tài)三維重建流程圖

相位相關法是基于傅里葉變換原理[21-22]，根據(jù)圖像的傅里葉頻譜（包含了模和相位信息，模包含圖像的灰度級信息，相位信息包含圖像的變化信息），計算圖像間的平移量、旋轉矩陣和縮放系數(shù)[23-24]。設Kinect傳感器圖像(，)和SOC710多光譜圖像(，)間的平移為(0，0)，即(，)=(?0，?0)，頻域關系如式（1）所示，2圖像的互功率譜如式（2）所示，互功率譜的相位信息包含兩圖像的相位差，通過互功率譜的傅里葉反變換，求得二維沖擊函數(shù)(?0，?0)，此函數(shù)在(0，0)處取得峰值，其余位置值接近為0，通過尋找峰值確定平移參數(shù)。

同時，SOC710成像儀和Kinect傳感器間存在旋轉和縮放關系，本研究通過傅里葉梅林變換把笛卡爾坐標系中的旋轉縮放關系轉換為對數(shù)極坐標下的平移關系。設(，)是由圖像(，)旋轉0，以及縮放系數(shù)為求得，根據(jù)傅里葉旋轉不變性和相似性，圖像存在旋轉關系式，如式（3）所示，其頻域旋轉關系式，如式（4）所示，把頻域坐標映射到對數(shù)極坐標空間，如式（5）所示，把旋轉和縮放變換表示成平移關系，可求得旋轉角0和縮放系數(shù)。

本研究首先根據(jù)相位相關法確定旋轉角0和縮放系數(shù)，然后變換圖像再采用相位相關法找到平移量(0，0)。各個波段光譜反射率圖像采用相同的變換參數(shù)，保持光譜反射率映射一致性。相位相關法光譜配準后，將植株RGB圖像、深度圖像以及配準后的多波段反射率圖像保存至三維數(shù)組中，為后續(xù)植株多模態(tài)三維重建奠定基礎。

1.3 多視角RGB-D圖像三維重建

本研究Kinect傳感器采集多視角單軸旋轉的番茄植株RGB-D圖像，建立多視角RGB-D圖像的自主配準方法，解決多視角RGB-D圖像快速粗配準問題，并結合迭代最近點算法ICP進行多視角點云的精配準，實現(xiàn)植株三維點云高速重建，滿足植株表型周期性高通量測量需求，簡化植株多模態(tài)三維重建的多視角點云模型配準流程。

如圖3a所示，為電動旋臺，旋臺上表面圓盤為藍色，表面貼有兩塊圓形標定貼，分別為黃色標定貼和紅色標定貼，直徑分別為5 cm和5 cm。Kinect測量位姿自主標定流程：采集旋臺RGB-D圖像，將RGB-D圖轉換為三維點云（包圍盒分割出旋臺區(qū)域），根據(jù)點云顏色閾值識別出黃色和紅色標定貼區(qū)域點云坐標，計算標定貼點云坐標的中心坐標，如圖3b所示為0 °旋臺表面標定貼識別結果，標定貼中心坐標分別為1和1，如圖3c所示為180°旋臺表面標定貼識別結果，標定貼中心坐標分別為2和2；根據(jù)兩幅RGB-D圖像標定貼中心坐標，計算旋臺旋轉軸的中心坐標為；如圖3d所示，根據(jù)兩幅RGB-D圖像的標定貼中心坐標和旋轉軸中心坐標（0，0，0），計算旋臺旋轉軸的法向量，進行歸一化處理得到旋轉軸法向量為（，，）。

多視角RGB-D圖像的配準方法：第一步，根據(jù)Kinect傳感器內部參數(shù)，將各個視角RGB-D圖像轉換為三維點云圖。第二步，采用包圍盒法，將各個視角點云的ROI分割出來，以減少后期點云配準計算量。第三步，為多視角點云坐標系統(tǒng)一，將各個視角點云PC進行平移（0，0，0），將旋轉軸中心平移至Kinect坐標系原點（0，0，0），然后將各個視角點云PC進行旋轉操作，旋轉軸法向量旋轉至軸，如式（6）所示，最后根據(jù)各個視角實際旋臺角度，確定繞軸逆旋轉角度°，求得逆旋轉矩陣，如式（9）所示，各視角點云旋轉操作PC′×，求得坐標系統(tǒng)一的點云PC″，其中初始角度點云1為參考點云，不需要進行軸逆旋轉操作。第四步，為各視角點云PC″逐次進行ICP配準，即第一視角與相鄰的第二視角ICP精配準，然后配準結果與相鄰的第三視角ICP精配準[25]，依次將所有視角點云進行精配準操作，得到植株三維點云模型。

注：Y1和R1分別為0°視角下黃色標定貼和紅色標定貼的中心坐標，Y2和R2分別為180°視角下黃色標定貼和紅色標定貼的中心坐標，M為旋轉軸中心坐標，X，Y和Z分別為X，Y和Z軸向量，P為旋轉軸法向量，Rx*Rz為旋轉軸變換矩陣。

式中PC為第個視角點云，PC′為第個視角點云旋轉軸變換至軸后的點云；為旋轉軸在旋臺表面的中心坐標；為繞軸旋轉矩陣；為繞軸旋轉矩陣；為繞軸旋轉矩陣；為各個視角點云相對于參考視角的旋轉角度；在本研究中以第一個采集視角為參考視角；（，，）為旋臺旋轉軸歸一化法向量。

根據(jù)1.2相位相關法得到配準后的番茄植株多模態(tài)信息三維數(shù)組，在番茄植株三維點云重建過程，點云坐標位移或旋轉等操作時，同時保存相應位置的RGB信息和多波段光譜反射率信息，所以在植株三維點云模型重建完成時，各個空間坐標具有對應的RGB值和各個波段的光譜反射率值。

1.4 試驗過程與評價指標

為驗證提出的多模態(tài)三維點云重建方法，選定番茄為測量對像，品種為粉冠一號，測量植株數(shù)量為30株。圖像采集方式：每個測量對象，Kinect傳感器采集4個視角RGB-D圖像，視角間隔為90°，4個視角（angle of view，AOV）分別用AOV1、AOV2、AOV3和AOV4表示；SOC710成像儀與Kinect傳感器同步采集4個視角的多光譜圖像，波段分別為466.93、564.91、696.32、722.94 nm（以番茄植株氮含量敏感特征波段為例）[6-7]。同時，采用Occipital公司的Structure sensor 3D掃描儀，人工掃描番茄植株三維點云。

通過上述相位相關法將SOC710多光譜圖像配準至Kinect深度圖像區(qū)域，本研究采用歸一化灰度相似系數(shù)、配準區(qū)域光譜重疊率、Kinect傳感器RGB圖像與SOC710成像儀RGB圖像的互信息值MI 3個參數(shù)[26]，客觀評價多模態(tài)圖像配準質量，計算公式如式（10～15）。本研究以掃描點云為依據(jù)，對重建三維點云特征點對齊預處理，根據(jù)Hausdorff距離集HD[27]，定量評價多光譜三維點云重建精度，如式（16），統(tǒng)計HD分布比例，并統(tǒng)計HD平均值HDavg、標準偏差HDstd和最大值HDmax三個參數(shù)，定量客觀評價三維點云重建精度。

式中為Kinect ROI配準區(qū)域圖像；為SOC710配準后圖像；(，)為圖像坐標；為歸一化灰度相似系數(shù)；為配準區(qū)域圖像行數(shù)；為配準區(qū)域圖像列數(shù)；為ROI區(qū)域光譜重疊率，%；2為Kinect的ROI區(qū)域二值圖像；2為SOC710配準后二值圖像；MI為圖像與MR的互信息值；()為圖像的信息熵；(MR)為圖像MR的信息熵；(，MR)為圖像和MR的聯(lián)合信息熵；p()為圖像在灰度級為時的概率；MR()為圖像在灰度級為時的概率；FMR(，)為圖像和MR在灰度級為和時的聯(lián)合概率；HD為重建點云與掃描點云最小距離集；RP為重建點集；MP為掃描點集；p為RP中的點；b為MP中的點。

2 結果與分析

2.1 相位相關法光譜反射率配準與質量評價

本研究根據(jù)相位相關法將多光譜反射率圖像配準至Kinect深度圖像坐標系，然后根據(jù)深度范圍篩選出番茄植株ROI區(qū)域（置空背景區(qū)域信息）。如圖4a和4b所示，分別為Kinect傳感器采集的植株ROI區(qū)域的灰度圖像和深度圖像（灰度值和深度值，如圖顏色欄所示，深度單位為mm）；如圖4c和4d所示，分別為SOC710高光譜成像儀采集的466.93 nm的反射率圖像和相位相關配準后的反射率圖像，每個波段反射率圖像均采用相同相位相關變換參數(shù)，保持每個深度坐標的多光譜反射率對應；如圖4e、4f、4g和4h所示，分別為采用深度坐標范圍篩選出植株ROI區(qū)域的466.93、564.91、696.32、722.94 nm的光譜反射率圖像（植株冠層ROI區(qū)域光譜反射率數(shù)值大小，如圖顏色欄所示）。相位相關配準后，深度圖像每個坐標具有RGB顏色信息和多波段光譜反射率信息。如圖4i所示，為配準后的植株ROI區(qū)域多光譜灰度圖像與Kinect灰度圖像的差值圖像，并進行歸一化處理（歸一化灰度差異大小，如圖顏色欄所示，數(shù)值越大代表灰度差異越大）。如圖4j所示，為配準后的植株ROI區(qū)域多光譜灰度圖像與Kinect灰度圖像的二值交集圖像，采用黃色標記出光譜反射率圖像與Kinect灰度圖像重疊區(qū)域，粉色標記出未重疊區(qū)域。

圖4 相位相關法光譜反射率配準結果

根據(jù)公式（10～15），計算Kinect傳感器和SOC710成像儀配準后圖像間的歸一化灰度相似系數(shù)、配準區(qū)域光譜重疊率、互信息值MI。

如圖5所示，為30株番茄的歸一化灰度相似系數(shù)。配準質量評價參數(shù)主要評價配準后的圖像和Kinect圖像的灰度相似性，的范圍為0.853 7～0.946 5，的平均值為0.908 5，表明配準后的圖像與Kinect圖像的灰度值非常相似，配準后顏色對應關系良好。因為多波段反射率圖像采用相同的變換參數(shù)，所以可以用評價反射率配準質量。本研究中產(chǎn)生灰度差異的原因主要是由SOC710傳感器與Kinect傳感器采集的圖像區(qū)域存在差異產(chǎn)生，如圖4所示，Kinect圖像區(qū)域大于SOC710成像區(qū)域導致。由于我們主要關注植株冠層區(qū)域的反射率值，所以將大于SOC710成像區(qū)域的ROI區(qū)域反射率值置空。同時，在植株冠層葉面邊緣區(qū)域的灰度差異明顯，主要是由于SOC710配準后圖像產(chǎn)生的形變導致。

如圖6所示，為30株番茄的ROI區(qū)域光譜重疊率。配準質量評價參數(shù)主要評價植株ROI區(qū)域的光譜覆蓋比例，的范圍為0.865 3～0.953 7，的平均值為0.920 6。ROI區(qū)域的植株冠層葉面全面覆蓋多光譜信息，同樣受到2個傳感器成像區(qū)域差異的影響，栽培盤下部沒有光譜反射率信息，這個問題可以根據(jù)實際需要調整傳感器成像區(qū)域解決。

注：AOV1、AOV2、AOV3和AOV4分別為視角0°、90°、180°和270°，下同。

圖6 ROI區(qū)域光譜重疊率

如圖7所示，為SOC710高光譜儀采集的灰度圖像與Kinect傳感器采集的灰度圖像間的互信息值，配準前和配準后圖像間互信息值分別為MI_1和MI_2（植株4個視角的MI均值）。配準質量評價參數(shù)MI主要評價圖像相似度，統(tǒng)計數(shù)據(jù)表明：配準前MI值范圍為1.071 3～1.143 3，均值為1.097 2；配準后MI值范圍為1.165 2～1.236 9，均值為1.204 8，配準后MI值平均提升了9.81%，表明配準后圖像間相似度得到提高。

注：MI_1為配準前圖像間的互信息值，MI_2配準后圖像間的互信息值。

根據(jù)配準質量評價參數(shù)、和MI，相位相關法能夠將多波段光譜反射率配準至Kinect深度坐標中。由于Kinect傳感器受植株高度和寬幅影響，需要調整合適的測量距離，以保證足夠的測量精度，所以在確定Kinect傳感器測量位姿的基礎上，SOC710成像儀需要選擇合適的鏡頭參數(shù)，以滿足成像視角和距離的要求，保證兩套成像系統(tǒng)的測量區(qū)域合適，才能提高圖像配準質量。

2.2 番茄植株多模態(tài)三維點云重建與精度分析

通過相位相關法，得到各個視角下番茄植株的深度圖像、RGB圖像和配準后的多波段光譜反射率圖像。根據(jù)1.3多視角RGB-D圖像三維重建方法，將深度圖像變換為三維點云圖，并進行包圍盒選定ROI測量區(qū)域的三維點云，如圖8a、8b、8c和8d分別為AOV1、AOV2、AOV3和AOV4的三維點云圖，如圖8e為4個視角配準后的三維點云圖。在配準過程中，同時記錄每個三維點云坐標的RGB值和多波段光譜反射率值，所以在多視角RGB-D三維點云重建完成時，得到RGB三維點云圖，如圖8f所示，以及各個波段的光譜反射率三維點云圖，如圖8g、8h、8i和8j分別為466.93、564.91、696.32和722.94 nm的光譜反射率三維點云圖。在本研究中未覆蓋到光譜反射值的三維坐標中反射率值采取置空處理，如圖8g～8j所示，栽培盤體部分區(qū)域沒有反射值，但是植株冠層區(qū)域的點云坐標均具有光譜反射率值，植株冠層點云的光譜反射率的數(shù)值大小，如圖顏色欄所示。

圖8 植株三維點云模型重建

為了驗證本研究提出的多視角RGB-D三維點云重建方法，采用豪斯多夫距離集客觀評價三維點云重建精度[26]。如圖9所示，分5段統(tǒng)計距離集HD分布比例，分別為0 cm 1.0 cm，所占比例平均值分別為：36.49%、20.83%、21.07%、12.74%和8.87%。統(tǒng)計數(shù)據(jù)表明：重建點云與掃描點云的距離集HD小于0.6 cm的比例為78.39%，小于1.0 cm的比例為91.13%，僅8.87%的點云距離大于1.0 cm，表明多數(shù)重建三維點云坐標的誤差小于0.6 cm，僅少量點云坐標誤差偏離原來的坐標位置。

同時，統(tǒng)計距離集HD性能參數(shù)：平均值HDavg、標準偏差HDstd和最大值HDmax。如圖10所示，HDavg范圍為0.23～0.59 cm，HDavg均值為0.37 cm；HDstd范圍為0.27～0.65 cm，HDstd均值為0.43 cm；HDmax范圍為2.75～5.90 cm，HDmax均值為4.15 cm。HDavg反映了重建點云整體的偏差距離，HDstd反映了重建點云偏差的離散程度，HDmax反映了重建點云的最大偏差距離，結果表明30株重建點云的HDavg均值為0.37 cm，表明重建的番茄三維點云精度比較高，提出的多視角三維點云重建方法，能夠應用于番茄植株三維點云重建，但是仍然存在少量的噪點，主要由于植株為非剛性測量對象，在多視角重建時，植株莖稈和葉面的輕微搖晃將影響RGB-D數(shù)據(jù)的準確性，對成像系統(tǒng)的數(shù)據(jù)采集控制要求非常高。

圖9 距離集HD分布比例

注：HDavg、HDstd和HDmax分別為HD距離集的平均值、標準偏差和最大值。

本研究提出的植株多模態(tài)三維重建方法，能夠適用于番茄植株多模態(tài)三維點云重建，但是不適用于非常細小植物三維重建（比如植物苗期）和莖稈非常柔軟的植物，因為受到Kinect傳感器的精度限制，無法刻畫非常細小的植物莖稈，并且柔軟的植株莖稈在單軸旋轉時引起晃動，將無法實現(xiàn)三維精確配準。當然，可以采用多視角同步采集方式，解決莖稈和葉面的晃動引起的重建問題，但是將極大的增加測量系統(tǒng)成本。

3 結 論

本研究采用相位相關原理實現(xiàn)二維多模態(tài)信息配準，并建立多視角RGB-D圖像三維重建方法，實現(xiàn)番茄植株多模態(tài)三維重建，主要結論如下：

1）基于相位相關法將SOC710多光譜成像儀捕獲的多光譜反射率圖配準至Kinect傳感器捕獲的RGB-D圖像坐標系中，采用配準區(qū)域光譜重疊率、歸一化灰度相似系數(shù)、互信息值MI三個指標評價配準質量，結果表明：和的平均值分別為0.9206和0.9085，配準后MI值平均提升了9.81 %，植株冠層多光譜反射率能夠準確配準至深度坐標。

2）提出了一種基于Kinect測量位姿自主標定的多視角RGB-D圖像三維重建方法，主要解決傳感器在不同測量位姿下多視角RGB-D圖像快速粗配準問題，采用豪斯多夫距離客觀評價三維點云重建精度，結果表明：重建點云與掃描點云的距離集HD小于0.6 cm的比例為78.39%，小于1.0 cm的比例為91.13%，30株番茄距離集均值HDavg的均值為0.37 cm，表明重建的番茄三維點云精度比較高，適用于溫室番茄植株三維重建。

3）提出的基于相位相關法的溫室植株多模態(tài)維重建方法，集成了傳統(tǒng)植株三維幾何形態(tài)測量系統(tǒng)和植株生理信息診斷系統(tǒng)，能夠在同一成像室完成植株外在形態(tài)和內在生理信息診斷，為高通量植株表型測量提供精準高效的測量方法，但在本研究中暫未討論植物形態(tài)信息和生理指標的提取方法，后續(xù)研究將會著重解決該問題，構建植株表型提取方法，為該項技術推廣應用提供便利。本研究提出的溫室番茄植株多模態(tài)三維重建系統(tǒng)，成本低、易于實現(xiàn)與推廣，具有良好的應用前景。

[1] 何勇，彭繼宇，劉飛，等. 基于光譜和成像技術的作物養(yǎng)分生理信息快速檢測研究進展[J]. 農業(yè)工程學報，2015，31(3)：174－189.

He Yong, Peng Jiyu, Liu Fei, et al. Critical review of fast detection of crop nutrient and physiological information with spectral and imaging technology[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(3): 174－189. (in Chinese with English abstract)

[2] 何勇，趙春江，吳迪，等. 作物-環(huán)境信息的快速獲取技術與傳感器儀器[J]. 中國科學：信息科學，2010，40(增刊)：1－20.

He Yong, Zhao Chunjiang, Wu Di, et al. Fast detection technique and sensor instruments for crop-environment information: A review[J]. Scientia Sinica: Informationis, 2010, 40(Supp.):1－20. (in Chinese with English abstract)

[3] 劉剛，司永勝，馮娟. 農林作物三維重建方法研究進展[J]. 農業(yè)機械學報，2014，45(6)：38－46，19.

Liu Gang, Si Yongsheng, Feng Juan. 3D reconstruction of agriculture and forestry crops[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(6): 38－46, 19. (in Chinese with English abstract)

[4] 周濟，Tardieu F，Pridmore T，等. 植物表型組學：發(fā)展、現(xiàn)狀與挑戰(zhàn)[J]. 南京農業(yè)大學學報，2018，41(4)：580－588.

Zhou Ji, Tardieu F，Pridmore T, et al. Plant phenomics: history，present status and challenges[J]. Journal of Nanjing Agricultural University, 2018, 41(4): 580－588. (in Chinese with English abstract)

[5] 潘映紅. 論植物表型組和植物表型組學的概念與范疇[J]. 作物學報，2015，41(2)：175－186.

Pan Yinghong.Analysis of concepts and categories of plant phenome and phenomics[J]. Acta Agronomica Sinica, 2015, 41(2): 175－186. (in Chinese with English abstract)

[6] 劉紅玉，毛罕平，朱文靜，等. 基于高光譜的番茄氮磷鉀營養(yǎng)水平快速診斷[J]. 農業(yè)工程學報，2015，31(增刊1)：212－220.

Liu Hongyu, Mao Hanping, Zhu Wenjing, et al. Rapid diagnosis of tomato N-P-K nutrition level based on hyperspectral technology[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(Supp.1): 212－220. (in Chinese with English abstract)

[7] 朱文靜，毛罕平，李青林，等. 偏振-高光譜多維光信息的番茄葉片營養(yǎng)診斷[J]. 光譜學與光譜分析，2014，34(9)：2500－2505.

Zhu Wenjing, Mao Hanping, Li Qinglin, et al. Study on the polarized reflectance-hyperspectral information fusion technology of tomato leaves nutrient diagnoses[J]. Spectroscopy and Spectral Analysis, 2014, 34(9): 2500－2505. (in Chinese with English abstract)

[8] 孫紅，鄭濤，劉寧，等. 高光譜圖像檢測馬鈴薯植株葉綠素含量垂直分布[J]. 農業(yè)工程學報，2018，34(1)：149－156.

Sun Hong, Zheng Tao, Liu Ning, et al. Vertical distribution of chlorophyll in potato plants based on hyperspectral imaging[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(1): 149－156. (in Chinese with English abstract)

[9] 丁少聞，張小虎，于起峰，等. 非接觸式三維重建測量方法綜述[J]. 激光與光電子學進展，2017，54(7)：070003.

Ding Shaowen, Zhang Xiaohu, Yu Qifeng, et al. Overview of non-contact 3D reconstruction measurement methods[J]. Laser & Optoelectronics progress, 2017, 54(7): 070003. (in Chinese with English abstract)

[10] 程曼，蔡振江，Ning Wang，等. 基于地面激光雷達的田間花生冠層高度測量系統(tǒng)研制[J]. 農業(yè)工程學報，2019，35(1)：180－187.

Cheng Man, Cai Zhenjiang, Ning Wang, et al. System design for peanut canopy height information acquisition based on LiDAR[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(1): 180－187. (in Chinese with English abstract)

[11] 郭慶華，吳芳芳，龐樹鑫，等. Crop 3D—基于激光雷達技術的作物高通量三維表型測量平臺[J]. 中國科學：生命科學，2016，46(10)：1210－1221.

Guo Qinghua, Wu Fangfang, Pang Shuxin, et al. Crop 3D: a platform based on LiDAR for 3D high-throughput crop phenotyping[J]. Scientia Sinica Vitae, 2016, 46(10): 1210－1221. (in Chinese with English abstract)

[12] 劉剛，張雪，宗澤，等. 基于深度信息的草莓三維重建技術[J]. 農業(yè)機械學報，2017，48(4)：160－165，172.

Liu Gang, Zhang Xue, Zong Ze, et al. 3D reconstruction of strawberry based on depth information[J]. Transactions of the Chinese Society for Agricultural Machinery, 2017, 48(4): 160－165, 172. (in Chinese with English abstract)

[13] Li J, Tang L. Developing a low-cost 3D plant morphological traits characterization system[J]. Computers and Electronics in Agriculture, 2017, 143(12): 1－13.

[14] 張瑜，汪小旵，孫國祥，等. 基于激光視覺的溫室作物莖葉量測方法[J]. 農業(yè)機械學報，2014，45(9)：254－259.

Zhang Yu, Wang Xiaochan, Sun Guoxiang, et al. Leaves and stems measurement of plants based on laser vision in greenhouses[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(9): 254－259. (in Chinese with English abstract)

[15] 孫國祥，汪小旵，閆婷婷，等. 基于機器視覺的植物群體生長參數(shù)反演方法[J]. 農業(yè)工程學報，2014，30(20)：187－195.

Sun Guoxiang, Wang Xiaochan, Yan Tingting, et al. Inversion method of flora growth parameters based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2014, 30(20): 187－195. (in Chinese with English abstract)

[16] 王傳宇，郭新宇，吳升，等. 基于計算機視覺的玉米果穗三維重建方法[J]. 農業(yè)機械學報，2014，45(9)：274－279.

Wang Chuanyu, Guo Xinyu, Wu Sheng, et al. Three dimensional reconstruction of maize ear based on computer vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(9): 274－279. (in Chinese with English abstract)

[17] Sylvain Jay, Gilles Rabatel, Xavier Hadoux, et al. In-field crop row phenotyping from 3D modeling performed using structure from motion[J]. Computers and Electronics in Agriculture, 2015, 110(1): 70－77.

[18] Han Tsunghan, Kuo Yanfu. Developing a system for three-dimensional quantification of root traits of rice seedlings[J]. Computers and Electronics in Agriculture, 2018, 152(9): 90－100.

[19] Kenta I, Itchoku K, Fumiki H. Three-dimensional monitoring of plant structural parameters and chlorophyll distribution[J]. Sensors, 2019, 19(2): 413.

[20] Zhang Jian, Li Yong, Xie Jing, et al. Research on optimal near-infrared band selection of chlorophyll (SPAD)3D distribution about rice plant[J]. Spectroscopy and Spectral Analysis, 2017, 37(12): 3749－3757.

[21] 劉晨，劉后標，賈可，等. 基于相位相關法的實時模板定位方法[J]. 計算機應用，2015，35(S1)：252－254.

Liu Chen, Liu Houbiao, Jia Ke, et al. Real-time and robust pattern localization for phase correlation[J]. Journal of Computer Applications, 2015, 35(S1): 252－254. (in Chinese with English abstract)

[22] Henke M, Junker A, Neumann K, et al. Automated alignment of multi-modal plant images using integrative phase correlation approach[J]. Frontiers in Plant Science, 2018, 9(10):1519.

[23] 劉波，朱偉興，紀濱，等. 基于射線輪廓點匹配的生豬紅外與可見光圖像自動配準[J]. 農業(yè)工程學報，2013，29(2)：153－160.

Liu Bo, Zhu Weixing, Ji Bin, et al. Automatic registration of IR and optical pig images based on contour match of radial line feature points[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(2): 153－160. (in Chinese with English abstract)

[24] 馮娟，劉剛，王圣偉，等. 采摘機器人果實識別的多源圖像配準[J]. 農業(yè)機械學報，2013，44(3)：197－203.

Feng Juan, Liu Gang, Wang Shengwei, et al. Multi-source images registration for harvesting robot to recognize fruits[J]. Transactions of the Chinese Society for Agricultural Machinery, 2013, 44(3): 197－203. (in Chinese with English abstract)

[25] Mai Chunyan, Zheng Lihua, Li Minzan. Rapid 3D reconstruction of fruit tree based on point cloud registration[J]. Transactions of the Chinese Society of Agricultural Engineering, 2015, 31(Supp.2): 137－144.

[26] 蔣煜. 基于特征的多模態(tài)圖像自動配準算法研究[D]. 武漢：華中科技大學，2005.

Jiang Yu. Research on Feature-based Multimodal Automatic Image Registration[D]. Wuhan: Huazhong University of Science and Technology, 2005. (in Chinese with English abstract)

[27] 胡鵬程，郭焱，李保國，等. 基于多視角立體視覺的植株三維重建與精度評估[J]. 農業(yè)工程學報，2015，31(11)：209－214.

Hu Pengcheng, Guo Yan, Li Baoguo, et al. Three-dimensional reconstruction and its precision evaluation of plant architecture based on multiple view stereo method[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(11): 209－214. (in Chinese with English abstract)

Multi-modal three-dimensional reconstruction of greenhouse tomato plants based on phase-correlation method

Sun Guoxiang1,2, Wang Xiaochan1,2, Liu Jingna1, Sun Ye1, Ding Yongqian1,2, Lu Wei1,2

(1.,,210031,; 2.,210031,)

In order to realize plant morphological measurement and physiological diagnosis, a multi-modal three-dimensional (3D) reconstruction method was proposed. This reconstruction method further laid the foundation for plant phenotypic measurement. Due to the complexity of 3D geometric morphologies, only two or two-and-a-half-dimensional images of greenhouse plants can be captured at a single angle of view (AOV) by the imaging sensors. However, 3D point cloud reconstruction of plants requires images captured at multiple AOVs. In addition, the 3D geometric morphologies of plants undergo significant changes during the full-growth-cycle and to acquire suitable 3D plant images, it is necessary to frequently adjust the sensor position. Therefore, sensor position and AOV directly affect the plant phenotyping efficiency. Developing an efficient and accurate multi-view 3D point cloud reconstruction method that meets the need for full-growth-cycle, high-throughput 3D reconstruction and phenotyping of greenhouse plants is therefore pivotal to the development of high-throughput plant phenotyping techniques. So a multi-modal three-dimensional reconstruction method of greenhouse tomato plants under different measurement positions and angles was proposed, and to solve the problem of multi-spectral reflectance mapping and multi-view point cloud 3D reconstruction, multi-spectral reflectance images were registered to RGB-D image coordinate system by phase-correlation method, and a multi-view RGB-D image 3D reconstruction method based on self-calibration of the Kinect sensor was established which realized the reconstruction of RGB 3D point cloud model and multi-spectral reflectance3D point cloud model of the plants. The two-dimensional multi-spectral image registration quality was evaluated objectively by the normalizing gray-scale similarity coefficient, the spectral overlap rate in the region of interest (ROI), and the mutual information valueand the Hausdorff distance HD was applied to objectively evaluate the reconstruction accuracy of the three-dimensional point cloud reconstruction of the plant. In total, 30 greenhouse tomato plants were used in this study with each plant reconstructed from four angles of view at angle intervals of 90 degrees. The obtained results showed that the average values ofandwere 0.920 6 and 0.908 5, respectively. After registration, the mutual information value increased by 9.81 % and the canopy multi-spectral images could be registered accurately to the depth coordinate system. The ratio of the HD distance set of reconstruction point cloud less than 0.6 cm was 78.39 %, the ratio of less than 1.0 cm was 91.13%, and the mean value of the tomato distance ensemble HDavgwas 0.37 cm, depicting that the tomato plant 3D point cloud model had high reconstruction accuracy and could be applied to multi-modal 3D reconstruction of greenhouse tomato plants. This research integrated the traditional 3D geometric morphology measurement system and plant physiological information diagnosis system, and as such the external morphology and internal physiological information of the plants could be measured in the same imaging room. It provides a precise and efficient measurement method for high-throughput plant phenotypic measurement, and is of great significance to the development of modern intelligent facility horticultural management and plant phenomics.

image reconstruction; three dimensional; stereo vision; phase correlation; multi-modal; multi-spectral; three-dimensional reconstruction; greenhouse tomato; plant phenotypic

孫國祥，汪小旵，劉景娜，孫 曄，丁永前，盧 偉. 基于相位相關的溫室番茄植株多模態(tài)三維重建方法[J]. 農業(yè)工程學報，2019，35(18)：134－142.doi：10.11975/j.issn.1002-6819.2019.18.017 http://www.tcsae.org

Sun Guoxiang, Wang Xiaochan, Liu Jingna, Sun Ye, Ding Yongqian, Lu Wei. Multi-modal three-dimensional reconstruction of greenhouse tomato plants based on phase-correlation method[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(18): 134－142. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2019.18.017 http://www.tcsae.org

2019-04-02

2019-08-17

江蘇省自然科學基金資助項目(BK20170727)；中央高?；究蒲袠I(yè)務費專項資金資助（KYGX201703）；江蘇省自然科學基金資助項目（BK20181315）

孫國祥，副教授，博士，主要從事高通量植物表型測量研究。Email：sguoxiang@njau. edu.cn

10.11975/j.issn.1002-6819.2019.18.017

TP391.4

A

1002-6819(2019)-18-0134-09