基于Kinect V3深度傳感器的田間植株點(diǎn)云配準(zhǔn)方法

李修華，魏 鵬，何嘉西，李民贊，張木清，溫標(biāo)堂

基于Kinect V3深度傳感器的田間植株點(diǎn)云配準(zhǔn)方法

李修華1,2，魏 鵬1，何嘉西1，李民贊3，張木清2，溫標(biāo)堂4

（1. 廣西大學(xué)電氣工程學(xué)院，南寧 530004； 2. 廣西甘蔗生物學(xué)重點(diǎn)實(shí)驗(yàn)室，南寧 530004；3. 中國(guó)農(nóng)業(yè)大學(xué)現(xiàn)代精細(xì)農(nóng)業(yè)系統(tǒng)集成研究教育部重點(diǎn)實(shí)驗(yàn)室，北京 100083； 4. 捷佳潤(rùn)科技集團(tuán)股份有限公司，南寧 530001）

準(zhǔn)確建立植物的三維點(diǎn)云是以點(diǎn)云方式高通量獲取植株各部位物理參數(shù)的前提。為實(shí)現(xiàn)田間復(fù)雜環(huán)境下的植株三維點(diǎn)云配準(zhǔn)，該研究提出了一種基于多標(biāo)定球的田間植株點(diǎn)云自動(dòng)配準(zhǔn)方法，并分別在室內(nèi)簡(jiǎn)單場(chǎng)景及大田復(fù)雜場(chǎng)景下從不同角度對(duì)多種作物采集的點(diǎn)云數(shù)據(jù)進(jìn)行驗(yàn)證。該方法采用隨機(jī)抽樣一致性算法（Random Sample Consensus, RANSAC）結(jié)合點(diǎn)云減法的概念從下采樣后的點(diǎn)云中實(shí)現(xiàn)多標(biāo)定球的自動(dòng)提取，彌補(bǔ)了RANSAC一次只能提取單個(gè)物體的缺點(diǎn)。然后基于各標(biāo)定球的球心距離信息實(shí)現(xiàn)三維點(diǎn)集的自動(dòng)匹配。最后使用奇異值分解算法解算旋轉(zhuǎn)平移矩陣，實(shí)現(xiàn)點(diǎn)云的自動(dòng)配準(zhǔn)。不同場(chǎng)景下各作物的配準(zhǔn)結(jié)果表明，各植株的水平90°、180°、270°以及垂直方向上的點(diǎn)云配準(zhǔn)到水平0°點(diǎn)云下的平均軸向誤差在5.8～17.4 mm之間，平均點(diǎn)位誤差在13.1～28.9 mm之間，與手動(dòng)配準(zhǔn)的商用同類軟件LiDAR360的配準(zhǔn)結(jié)果相當(dāng)，但配準(zhǔn)過(guò)程的自動(dòng)化程度明顯提高，效率提高了67%。該文所提出的方法可在田間復(fù)雜環(huán)境下對(duì)低成本深度相機(jī)獲取的植株點(diǎn)云實(shí)現(xiàn)高精度的自動(dòng)配準(zhǔn)，為田間植物表型參數(shù)的提取提供了低成本的可行方案。

自動(dòng)化；傳感器；點(diǎn)云；植株三維建模；點(diǎn)匹配；RANSAC；Kinect

0 引 言

三維重建是指在計(jì)算機(jī)中建立表達(dá)客觀世界的一種虛擬現(xiàn)實(shí)技術(shù)，廣泛應(yīng)用于醫(yī)學(xué)治療、文物保護(hù)、游戲開(kāi)發(fā)、工業(yè)設(shè)計(jì)、航天航海等領(lǐng)域[1]。在現(xiàn)代化農(nóng)業(yè)中，三維重建技術(shù)在提取植株表型參數(shù)、提取土壤表面形狀、建立植株生長(zhǎng)模型等研究領(lǐng)域也發(fā)揮著越來(lái)越重要的作用[2-3]。

Kinect V3是一款基于飛行時(shí)間算法（Time of Flight，ToF）的深度傳感器，可以同時(shí)采集目標(biāo)物體的RGB圖像和深度圖像，體積更小、精度更高、抗干擾能力更強(qiáng)，更適合在田間環(huán)境下采集植株點(diǎn)云數(shù)據(jù)。

點(diǎn)云配準(zhǔn)是點(diǎn)云三維重建的核心步驟，按原理可分為：基于重疊區(qū)域的點(diǎn)云配準(zhǔn)和基于標(biāo)定物的點(diǎn)云配準(zhǔn)?；谥丿B區(qū)域的點(diǎn)云配準(zhǔn)主要通過(guò)計(jì)算源點(diǎn)云與目標(biāo)點(diǎn)云的特征描述符進(jìn)行配準(zhǔn)，但需要源點(diǎn)云與目標(biāo)點(diǎn)云高度重疊才能達(dá)到較好的配準(zhǔn)效果。主要的特征描述符有自選圖像描述符（Spin Image，SI）[4]、形狀上下文描述符（3D Shape Context，3DSC）[5]、方向直方圖描述符（Signature of Histogram of Orientation, SHOT）[6]、旋轉(zhuǎn)投影統(tǒng)計(jì)描述符（Rotational Projection Statistics, RoPS）[7]、快速點(diǎn)特征直方圖描述符（Fast Point Feature Histogram, FPFH）[8]。楊玉澤等[9]使用了基于快速點(diǎn)特征直方圖（Fast Point Feature Histogram，F(xiàn)PFH）和正態(tài)分布變換（Normal Distributions Transform，NDT）的算法對(duì)水曲柳進(jìn)行了點(diǎn)云配準(zhǔn)；鄭立華等[10]使用FPFH描述符結(jié)合法線對(duì)齊的徑向特征（Normal aligned radial feature，NARF）對(duì)兩個(gè)角度的蘋(píng)果樹(shù)點(diǎn)云進(jìn)行了配準(zhǔn)。Garrido等[11]使用激光雷達(dá)和移動(dòng)小車(chē)對(duì)玉米點(diǎn)云進(jìn)行了多步融合。由于植物的各向異性生長(zhǎng)，使得植物帶有不斷變化的拓?fù)浣Y(jié)構(gòu)，因此除了通過(guò)計(jì)算特征描述的方法之外，還可以通過(guò)提取植物點(diǎn)云的骨架進(jìn)行配準(zhǔn)。Chebrolu等[12]利用隱馬爾科夫模型（Hidden Markov Model，HMM）對(duì)土豆和玉米植株進(jìn)行了點(diǎn)云配準(zhǔn)。

基于重疊區(qū)域的點(diǎn)云配準(zhǔn)方法受環(huán)境影響大，不適合應(yīng)用于田間復(fù)雜環(huán)境，為克服這種情況，Yu等[13]使用紅色標(biāo)定球按其顏色信息進(jìn)行點(diǎn)云配準(zhǔn)，但其標(biāo)定球的匹配過(guò)程缺乏自動(dòng)化功能；Zhou等[14]使用標(biāo)定球按其幾何信息對(duì)室外植株進(jìn)行了點(diǎn)云配準(zhǔn)，但該方法不適用于田間地面起伏較大的情況。

激光掃描儀或激光雷達(dá)所獲取的點(diǎn)云數(shù)據(jù)精度高、噪點(diǎn)少，但價(jià)格昂貴（數(shù)十萬(wàn)元），隨著深度傳感器技術(shù)的進(jìn)步，其測(cè)量精度逐漸提高，且價(jià)格低廉（千元級(jí)），成為農(nóng)業(yè)上作物點(diǎn)云采集的低成本方案。另外目前可獲取的大部分點(diǎn)云處理軟件如Cloudcompare、Meshlab等均需要人為尋找同名點(diǎn)對(duì)進(jìn)行手動(dòng)配準(zhǔn)，自動(dòng)化程度低。

針對(duì)三維點(diǎn)云采集成本高、配準(zhǔn)自動(dòng)化程度低等問(wèn)題，本文開(kāi)發(fā)了1個(gè)基于Kinect V3深度傳感器的低成本點(diǎn)云數(shù)據(jù)采集平臺(tái)，提出了一種自動(dòng)提取多個(gè)標(biāo)定球并利用距離信息自動(dòng)配準(zhǔn)點(diǎn)云的算法，以實(shí)現(xiàn)大田復(fù)雜場(chǎng)景下植株點(diǎn)云數(shù)據(jù)的快速采集及自動(dòng)配準(zhǔn)，為作物表型參數(shù)的準(zhǔn)確提取提供技術(shù)支撐。

1 材料與方法

本試驗(yàn)通過(guò)Kinect V3采集香蕉植株的原始點(diǎn)云并對(duì)其進(jìn)行數(shù)據(jù)處理。原始點(diǎn)云數(shù)據(jù)的處理流程如圖1所示。首先進(jìn)行預(yù)處理，降低數(shù)據(jù)量，濾除噪點(diǎn)；然后根據(jù)隨機(jī)抽樣一致性算法（Random Sample Consensus, RANSAC）提取標(biāo)定球點(diǎn)云，并解出球心坐標(biāo)；接著采用本文提出的方法自動(dòng)匹配不同角度同名球的球心坐標(biāo)，從而解出各角度的旋轉(zhuǎn)平移矩陣；最后進(jìn)行點(diǎn)云融合及點(diǎn)云平滑，建立香蕉幼株3D模型。

圖1 點(diǎn)云處理流程圖

1.1 數(shù)據(jù)采集

為驗(yàn)證系統(tǒng)和算法的有效性和穩(wěn)定性，分別針對(duì)室內(nèi)簡(jiǎn)單場(chǎng)景及大田復(fù)雜場(chǎng)景對(duì)多種作物進(jìn)行試驗(yàn)。Kinect V3及其拍攝角度如圖2所示。Kinect V3深度相機(jī)采用NFOV非壓縮模式，分辨率為640×576（像素）；彩色相機(jī)采用32位RGBA模式，分辨率為1 280×720（像素）；幀率30幀/s。試驗(yàn)采用直徑為14 cm的4個(gè)白色標(biāo)定球?yàn)榕錅?zhǔn)輔件，使用Dell Precision 7530專業(yè)圖形移動(dòng)工作站（CPU：Intel(R) Core(TM) i9-8950HK；GPU：NVIDIA Quadro P2000）作為數(shù)據(jù)采集及處理平臺(tái)。要實(shí)現(xiàn)標(biāo)定球的自動(dòng)匹配，標(biāo)定球的數(shù)量和擺放方式需滿足一定規(guī)則，即需要3個(gè)以上的標(biāo)定球擺放于不同的方位，兩兩距離不等且不共面。本文提出了一種簡(jiǎn)單易操作的四標(biāo)定球擺放方式，如圖2a所示。從俯視角度看，球1～4分別按90°的角度差順時(shí)針擺放于植株（圖中以香蕉苗為例）周邊，球1、球2與植株外圍的距離約為，球3、球4與植株外圍的距離約為2。球2和球3擺放高度與Kinect V3傳感器的放置高度保持基本一致，球1和球4的擺放高度分別適當(dāng)高于或低于球2和球3。以該方式擺放的標(biāo)定球，可確保兩兩距離不等，滿足準(zhǔn)確計(jì)算轉(zhuǎn)換矩陣的必要條件，且方便拍攝。試驗(yàn)時(shí)，Kinect V3分別從拍攝對(duì)象的4個(gè)水平方向及垂直向下共5個(gè)方向進(jìn)行點(diǎn)云采集。

注：r為標(biāo)定球與植株的距離，cm。

1）室內(nèi)簡(jiǎn)單場(chǎng)景：分別選取單株甘蔗苗和高粱苗放置于空曠的室內(nèi)，通過(guò)上述規(guī)則擺放標(biāo)定球后，從水平及垂直5個(gè)方向進(jìn)行點(diǎn)云采集。試驗(yàn)場(chǎng)景如圖3a所示。

2）大田復(fù)雜場(chǎng)景：選擇廣西扶綏縣廣西大學(xué)農(nóng)科新城的一處香蕉種植園作為拍攝地點(diǎn)。香蕉是當(dāng)?shù)氐闹饕?jīng)濟(jì)作物之一，屬于芭蕉科芭蕉屬的大型草本植物，主要通過(guò)母株球莖處抽生的吸芽進(jìn)行繁殖。田間試驗(yàn)采用Kinect V3在原地從5個(gè)不同方向?qū)?株香蕉幼苗（6～8葉期）進(jìn)行拍攝，現(xiàn)場(chǎng)如圖3b所示。由于Kinect V3深度傳感器易受外部強(qiáng)光的影響，在白天陽(yáng)光較強(qiáng)時(shí)采集的數(shù)據(jù)具有較大噪聲，因此本試驗(yàn)選擇在傍晚陽(yáng)光較弱時(shí)進(jìn)行。水平方向各角度拍攝得到點(diǎn)云數(shù)量約為20萬(wàn)點(diǎn)，垂直向下方向點(diǎn)云數(shù)量約為27萬(wàn)點(diǎn)。可視化原始點(diǎn)云如圖4所示。

1.2 點(diǎn)云數(shù)據(jù)預(yù)處理

由于Kinect V3的IR（Infrared Radiation）信號(hào)飽和、IR信號(hào)強(qiáng)度低、多路徑干擾等原因可能會(huì)導(dǎo)致原始香蕉點(diǎn)云數(shù)據(jù)存在一定的噪聲。另外，田間環(huán)境復(fù)雜，采集得到的點(diǎn)云數(shù)據(jù)量大，若直接進(jìn)行標(biāo)定球提取，不僅耗時(shí)長(zhǎng)，且容易導(dǎo)致誤提取。因此，首先需對(duì)點(diǎn)云進(jìn)行直通濾波和點(diǎn)云下采樣等預(yù)處理。

1.2.1 直通濾波

直通濾波是常見(jiàn)的點(diǎn)云濾波方法，其基于點(diǎn)云空間坐標(biāo)系設(shè)定空間閾值，僅保留空間閾值內(nèi)的點(diǎn)云。根據(jù)現(xiàn)場(chǎng)獲得的經(jīng)驗(yàn)值設(shè)置、、軸方向上的閾值min、max、min、max、min和max分別為–700、700、–700、700、0和1400 mm。

1.2.2 下采樣

采用包圍盒壓縮算法進(jìn)行下采樣。圖5展示了包圍盒壓縮點(diǎn)云的原理。首先構(gòu)建整體點(diǎn)云的一個(gè)大包圍盒（假設(shè)其邊長(zhǎng)為1），如圖5a所示；再按照2的邊長(zhǎng)構(gòu)建小包圍盒（2可根據(jù)需求設(shè)定），選擇每個(gè)小包圍盒中最靠近其質(zhì)心的點(diǎn)作為該包圍盒的采樣點(diǎn)，如圖5b所示。通過(guò)多次嘗試，本文的2設(shè)置為10 mm。

1.3 提取標(biāo)定球

本文采用隨機(jī)采樣一致性算法（Random Sample Consensus，RANSAC）[15]對(duì)標(biāo)定球進(jìn)行提取。該算法可以從一組包含噪點(diǎn)的數(shù)據(jù)集中，通過(guò)迭代的方式找出符合預(yù)設(shè)數(shù)學(xué)模型的點(diǎn)，其準(zhǔn)確率隨著迭代次數(shù)的增加而增加。已知標(biāo)定球外形的數(shù)學(xué)模型為半徑7 cm的球體，一個(gè)球體模型需要至少4個(gè)空間中的點(diǎn)才可確定，因此隨機(jī)采樣的最小子集（初始局內(nèi)點(diǎn)）為4。本文RANSAC算法提取標(biāo)定球的具體過(guò)程如下：

1）隨機(jī)抽取點(diǎn)云數(shù)據(jù)中的4個(gè)點(diǎn)作為初始局內(nèi)點(diǎn)；

2）計(jì)算其決定的球體模型的半徑和球心(,,)，若在6～8 cm內(nèi)，則認(rèn)為該初始點(diǎn)集接近預(yù)設(shè)模型，進(jìn)入下一步，否則回到步驟1）；

3）計(jì)算其他點(diǎn)到球心的距離，將距離在±5 mm內(nèi)的點(diǎn)認(rèn)定為此模型的局內(nèi)點(diǎn)，并統(tǒng)計(jì)所有局內(nèi)點(diǎn)的數(shù)量；

4）重復(fù)步驟1）～3），直到達(dá)到最大迭代次數(shù) （500000次）為止，局內(nèi)點(diǎn)最多的點(diǎn)云集即為最終輸出。

RANSAC算法在一個(gè)場(chǎng)景里一次只能提取出一個(gè)球體。針對(duì)這一問(wèn)題，本文引入點(diǎn)云減法的概念，設(shè)計(jì)了一種自動(dòng)提取所有球體的方法。定義兩點(diǎn)云的減法為：在兩片包含關(guān)系的點(diǎn)云中，在目標(biāo)點(diǎn)云中除去被包含的那部分點(diǎn)云。假設(shè)存在圖6a所示一目標(biāo)點(diǎn)云，圖6b為被包含的點(diǎn)云1，則-1結(jié)果如圖6c所示。

假設(shè)存在一個(gè)包含多個(gè)標(biāo)定球的目標(biāo)點(diǎn)云，自動(dòng)提取所有標(biāo)定球的方法如下：

1）采用RANSAC算法提取出第一個(gè)球體點(diǎn)云1并保存；

2）對(duì)與1做減法操作（在PCL點(diǎn)云庫(kù)中不存在對(duì)兩片包含關(guān)系點(diǎn)云做減法的方法）。首先對(duì)1建立kd-tree拓?fù)潢P(guān)系[16]；接著遍歷1中的點(diǎn)，用p表示，并搜尋中與p距離為0的點(diǎn)用q表示，則q即為包含點(diǎn)；將中所有的包含點(diǎn)去除，剩下的點(diǎn)云集合即為兩點(diǎn)云相減的結(jié)果；

3）用更新重復(fù)步驟1）～3），直至提取完場(chǎng)景中所有標(biāo)定球或達(dá)到RANSAC算法的最大迭代次數(shù)為止。

1.4 匹配標(biāo)定球

在提取出同一場(chǎng)景不同視角的標(biāo)定球及其球心坐標(biāo)后進(jìn)行同名標(biāo)定球的匹配。本文提出一種基于距離特征描述符的同名點(diǎn)對(duì)自動(dòng)匹配方法。該描述符不隨剛性變換而變換，能唯一指定一個(gè)三維點(diǎn)，具體如下：

假設(shè)存在一點(diǎn)集如式（1）所示，中包含個(gè)特征點(diǎn)，兩兩特征點(diǎn)的距離不等。本文一特征點(diǎn)代表一個(gè)標(biāo)定球球心。

將每個(gè)點(diǎn)與其他各點(diǎn)的距離作為該點(diǎn)的特征，那么點(diǎn)集的個(gè)特征點(diǎn)就可表示為個(gè)距離特征的集合，即為距離特征描述符，記為feature，如式（2）所示。

以包含3個(gè)特征點(diǎn)的點(diǎn)集（如圖7所示）舉例說(shuō)明該算法的原理。設(shè)存在兩點(diǎn)集、，點(diǎn)集由點(diǎn)集經(jīng)過(guò)一定旋轉(zhuǎn)平移得到。

構(gòu)建點(diǎn)集中每個(gè)點(diǎn)的距離特征為該點(diǎn)到其他所有點(diǎn)之間的距離集合。如點(diǎn)集中1點(diǎn)的距離特征為集合為{12,13}；同時(shí)為了使得構(gòu)建的距離特征不受排序的影響，需對(duì)距離特征集合做排序（本文采用從小到大的順序），用Sort表示，即a1=Sort(12,13)，那么點(diǎn)集的距離特征描述符feature即可表示為式（3）。同理可得點(diǎn)集的特征描述符feature如式（4）所示。

由上述分析不難得出，當(dāng)||a1–b1||=0、||a1–b2||與||a1–b3||均不為0時(shí)，即可確定b1所對(duì)應(yīng)的1點(diǎn)為1點(diǎn)經(jīng)旋轉(zhuǎn)平移得到，即1與1為同名點(diǎn)對(duì)。該方法可進(jìn)一步推廣到包含更多特征點(diǎn)的一般情況，此處不再重復(fù)闡述。

1.5 求解旋轉(zhuǎn)平移矩陣

確定同名點(diǎn)集后，使用奇異值分解法（Singular value decomposition，SVD）近似求解旋轉(zhuǎn)平移矩陣[17]。假設(shè)兩同名點(diǎn)集、，求解、之間旋轉(zhuǎn)平移矩陣的具體步驟如下：

式中w表示權(quán)重；P(x,y,z)，Q(x,y,z)為點(diǎn)集內(nèi)各點(diǎn)三維坐標(biāo)。

2) 根據(jù)式（7）計(jì)算協(xié)方差矩陣，其中為×維矩陣；，為×維矩陣；=diag(1,2,3,…,w)。

3) 根據(jù)式（8）對(duì)協(xié)方差矩陣進(jìn)行奇異值分解，和矩陣均為對(duì)角矩陣，則推得旋轉(zhuǎn)矩陣，平移矩陣如式（9）～（10）所示。

1.6 點(diǎn)云平滑

由于環(huán)境中風(fēng)、光線等引起的系統(tǒng)誤差以及配準(zhǔn)過(guò)程中產(chǎn)生的配準(zhǔn)誤差，疊加、配準(zhǔn)后的點(diǎn)云表面通常較為粗糙。本文進(jìn)一步使用移動(dòng)最小二乘法對(duì)點(diǎn)云曲面進(jìn)行平滑[18]，以達(dá)到優(yōu)化三維模型的效果。

2 結(jié)果與分析

2.1 點(diǎn)云預(yù)處理結(jié)果

以香蕉園某株香蕉苗的0°原始點(diǎn)云為例，其直通濾波后的效果如圖8a所示，下采樣結(jié)果如圖8b所示?？梢钥闯觯蓖V波有效濾除了原始點(diǎn)云中的背景。下采樣后，點(diǎn)云變得稀疏，點(diǎn)云量減少了約91%，可極大提高后續(xù)算法的處理速度。

2.2 標(biāo)定球提取結(jié)果

本文方法得到的多標(biāo)定球自動(dòng)提取結(jié)果如圖9所示（以0°點(diǎn)云為例）?？梢钥闯觯摲椒蓪⒔?jīng)過(guò)直通濾波和下采樣之后場(chǎng)景中所有球體點(diǎn)云準(zhǔn)確地提取出來(lái)。4個(gè)標(biāo)定球的提取時(shí)間約為2.3 s。

圖9 標(biāo)定球提取結(jié)果示例

2.3 配準(zhǔn)結(jié)果及誤差分析

以水平0°點(diǎn)云為源點(diǎn)云，將水平90°、180°、270°及垂直向下角度的點(diǎn)云分別變換到0°點(diǎn)云坐標(biāo)系下進(jìn)行配準(zhǔn)。室內(nèi)場(chǎng)景下的甘蔗和高粱植株自動(dòng)配準(zhǔn)的結(jié)果如圖10a所示?？梢钥闯觯鞣较虻狞c(diǎn)云成功配準(zhǔn)到0°點(diǎn)云坐標(biāo)系中，植株形態(tài)完整，沒(méi)有出現(xiàn)明顯分層。進(jìn)一步采用商用點(diǎn)云處理軟件LiDAR360對(duì)點(diǎn)云進(jìn)行手動(dòng)配準(zhǔn)，結(jié)果如圖10b所示?？梢钥闯?，二者的配準(zhǔn)效果非常接近。

受復(fù)雜環(huán)境的影響，田間場(chǎng)景下的配準(zhǔn)難度更高。圖11和圖12分別展示了采用本方法及LiDAR360對(duì)大田場(chǎng)景下香蕉幼株的其他角度點(diǎn)云自動(dòng)配準(zhǔn)到0°點(diǎn)云的結(jié)果?？梢钥闯?，本文自動(dòng)配準(zhǔn)方法成功地實(shí)現(xiàn)了配準(zhǔn)，與LiDAR360的手動(dòng)配準(zhǔn)基本一致。從提取標(biāo)定球到得出配準(zhǔn)結(jié)果這一個(gè)過(guò)程所需的運(yùn)算時(shí)間上比較，本文自動(dòng)匹配方法平均耗時(shí)約50 s，LiDAR360在人工選擇同名點(diǎn)的情況下耗時(shí)約150 s。本方法效率提高了67%。

為進(jìn)一步量化評(píng)價(jià)配準(zhǔn)結(jié)果，以標(biāo)定球的球心坐標(biāo)為參考依據(jù)，分別計(jì)算各角度點(diǎn)云轉(zhuǎn)換到0°源點(diǎn)云坐標(biāo)下的新球心坐標(biāo)與源點(diǎn)云球心坐標(biāo)之差，得到平均軸向誤差及平均點(diǎn)位誤差如表1所示。

Fig.11 Automatic registration results with the method proposed in this study

表1 本文提出的自動(dòng)配準(zhǔn)方法與LiDAR360手動(dòng)配準(zhǔn)方法的誤差對(duì)比

從表1可以看出，室內(nèi)場(chǎng)景下，本文方法的平均軸向誤差最小值為5.8 mm，平均點(diǎn)位誤差為21.0 mm；LiDAR360手動(dòng)配準(zhǔn)的平均軸向誤差最小值為8.5 mm，平均點(diǎn)位誤差為21.9 mm。大田場(chǎng)景下，本文自動(dòng)配準(zhǔn)方法的平均軸向誤差最小值為7.3 mm，平均點(diǎn)位誤差為20.5 mm；LiDAR360手動(dòng)配準(zhǔn)的平均軸向誤差最小值為7.3 mm，平均點(diǎn)位誤差為20.8 mm。室內(nèi)場(chǎng)景和大田場(chǎng)景下本文自動(dòng)配準(zhǔn)方法的平均軸向誤差在5.8～17.4 mm之間，平均點(diǎn)位誤差在13.1～28.9 mm之間；平均點(diǎn)位誤差分別比LiDAR360手動(dòng)配準(zhǔn)的結(jié)果低0.9 mm、0.3 mm。表明本文提出的方法在不同場(chǎng)景下均達(dá)到了商業(yè)化軟件配準(zhǔn)水平。

經(jīng)點(diǎn)云平滑后，香蕉幼株的三維重建結(jié)果如圖13所示，可以看出，本文方法所提取的香蕉幼株三維模型包含了清晰的立體植株幾何信息，為全面檢測(cè)植株的生長(zhǎng)狀態(tài)奠定了技術(shù)基礎(chǔ)。

3 討 論

本文方法在大田環(huán)境下的平均點(diǎn)位誤差為20.5 mm，比LiDAR360的配準(zhǔn)誤差略低。尤其是香蕉植株1的現(xiàn)場(chǎng)背景最復(fù)雜、環(huán)境干擾最大，但其平均點(diǎn)位誤差為 22.0 mm，比LiDAR360的配準(zhǔn)誤差小4.26%，顯示出本方法針對(duì)復(fù)雜場(chǎng)景的良好性能。但是，從室內(nèi)簡(jiǎn)單場(chǎng)景下的配準(zhǔn)結(jié)果可以看出，本文方法針對(duì)2種植株所得的平均點(diǎn)位誤差相差2倍以上，而LiDAR360的平均點(diǎn)位誤差在20～23 mm的范圍內(nèi)，本文方法的穩(wěn)定性還有待進(jìn)一步提高。余秀麗[19]針對(duì)Kinect采集的點(diǎn)云，采用最小二乘法求取球面點(diǎn)云球心、三點(diǎn)法求取轉(zhuǎn)換矩陣進(jìn)行粗配準(zhǔn)，然后應(yīng)用最近點(diǎn)迭代（Iterative Closest Point, ICP）進(jìn)行精配準(zhǔn)，最大距離誤差為18.6 mm，最小距 離誤差為7.2 mm；邵小寧[20]針對(duì)Kinect采集的點(diǎn)云，采用顏色分割提取待配準(zhǔn)數(shù)據(jù)中的標(biāo)定物，并去除了離散點(diǎn)與不符合配準(zhǔn)要求的標(biāo)定物，最后用基于歐氏距離約束的ICP算法進(jìn)行精配準(zhǔn)，最小的距離誤差為 7.13 mm。而本文提出的方法在未進(jìn)行精配準(zhǔn)的情況下，最小平均點(diǎn)位誤差為13.1 mm，接近以上文獻(xiàn)中精配準(zhǔn)的效果。

進(jìn)一步分析本文方法的誤差來(lái)源主要包括：

1）Kinect V3深度傳感器本身的設(shè)備誤差以及獲取數(shù)據(jù)的距離限制，使得原始點(diǎn)云數(shù)據(jù)存在一些空洞和噪點(diǎn)。

2）隨機(jī)采樣一致性算法具有一定的不確定性，可能會(huì)將一些并不是標(biāo)定球的點(diǎn)歸類為靶球，從而導(dǎo)致提取的圓心存在偏差。

3）旋轉(zhuǎn)平移矩陣求取過(guò)程中，采用了泰勒展開(kāi)，忽略了高階項(xiàng)，也引入一定誤差。

4）陽(yáng)光、香蕉樹(shù)表面材質(zhì)等環(huán)境因素會(huì)影響IR信號(hào)的反射，進(jìn)而導(dǎo)致原始點(diǎn)云采集時(shí)出現(xiàn)一定的誤差。

本研究通過(guò)提出的多標(biāo)定球自動(dòng)提取方法及基于距離特征信息的同名點(diǎn)自動(dòng)匹配方法實(shí)現(xiàn)了不同點(diǎn)云的自動(dòng)化配準(zhǔn)，相較于目前大部分商業(yè)軟件需要人工參與才能實(shí)現(xiàn)較好配準(zhǔn)的情況，在配準(zhǔn)效率上具有較大的優(yōu)勢(shì)。不同植株的配準(zhǔn)結(jié)果充分反映了本方法自動(dòng)化程度高、配準(zhǔn)誤差低，能有效滿足農(nóng)作物三維建模的需求。本文方法還可結(jié)合更高精度的其他點(diǎn)云獲取設(shè)備實(shí)現(xiàn)更高質(zhì)量的配準(zhǔn)。

下一步可繼續(xù)優(yōu)化算法，進(jìn)一步降低點(diǎn)云配準(zhǔn)的速度；還可結(jié)合改進(jìn)的ICP算法等進(jìn)行精配準(zhǔn)，進(jìn)一步提高點(diǎn)云配準(zhǔn)的精度。

4 結(jié) 論

本文采用低成本的Kinect V3深度傳感器結(jié)合標(biāo)定球?qū)崿F(xiàn)田間復(fù)雜環(huán)境下香蕉作物植株的多角度點(diǎn)云采集，并通過(guò)點(diǎn)云預(yù)處理、自動(dòng)提取標(biāo)定球、自動(dòng)匹配標(biāo)定球、求解旋轉(zhuǎn)平移矩陣以及點(diǎn)云平滑等步驟實(shí)現(xiàn)了自動(dòng)配準(zhǔn)及香蕉植株的三維重建，主要結(jié)論如下：

1）通過(guò)直通濾波和下采樣可大量濾除背景和冗余信息，在保持原始點(diǎn)云特征不變的前提下顯著減少了點(diǎn)云的數(shù)量（減少約91%），提高了處理速度。

2）提出了一種基于距離的同名點(diǎn)匹配算法，并將其運(yùn)用于標(biāo)定球的匹配中，點(diǎn)云配準(zhǔn)的效率提高了67%。

本文方法同基于公共重疊區(qū)域的配準(zhǔn)方法相比， 能夠?qū)崿F(xiàn)大角度的點(diǎn)云配準(zhǔn)，適合在復(fù)雜多變的田間 環(huán)境作業(yè)；同基于標(biāo)定球的手動(dòng)配準(zhǔn)方法相比更加自 動(dòng)化。

[1] 張彥雯，胡凱，王鵬盛. 三維重建算法研究綜述[J]. 南京信息工程大學(xué)學(xué)報(bào)：自然科學(xué)版，2020，12(5)：591-602.

Zhang Yanwen, Hu Kai, Wang Pengsheng. Review of 3D reconstruction algorithms[J]. Journal of Nanjing University of Information Science & Technology: Natural Science, 2020, 12(5): 591-602. (in Chinese with English abstract)

[2] 唐麗玉，張浩，黃洪宇，等. 基于點(diǎn)云數(shù)據(jù)的樹(shù)木三維重建方法改進(jìn)[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2017，48(2)：186-194.

Tang Liyu, Zhang Hao, Huang Hongyu, et al. Improved method for 3D reconstruction of tree model based on point cloud data[J]. Transactions of the Chinese Society for Agricultural Machinery, 2017, 48(2): 186-194. (in Chinese with English abstract)

[3] 劉振，楊瑋，李民贊，等. 基于Kinect相機(jī)的土壤表面三維點(diǎn)云配準(zhǔn)方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2019，50(S1)：144-149.

Liu Zhen, Yang Wei, Li Minzan, et al. Three-dimensional point cloud registration method for soil surface based on Kinect camera[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(S1): 144-149. (in Chinese with English abstract)

[4] Johnson A E, Hebert M. Using spin images for efficient object recognition in cluttered 3D scenes[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2002, 21(5): 433-449.

[5] Frome A, Huber D, Kolluri R, et al. Recognizing objects in range data using regional point descriptors[C]// European Conference on Computer Vision. Springer, Berlin, Heidelberg, 2004.

[6] Salti S, Tombari F, Stefano L D. SHOT: Unique signatures of histograms for surface and texture description[J]. Computer Vision & Image Understanding, 2014, 125: 251-264.

[7] Guo Y, Ferdous S, Bennamoun M, et al. Rotational projection statistics for 3D local surface description and object recognition[J]. International Journal of Computer Vision, 2013, 105(1): 63-86.

[8] Rusu R B, Blodow N, Beetz M. Fast point feature histograms (FPFH) for 3D registration[C]// IEEE International Conference on Robotics & Automation. IEEE, 2009.

[9] 楊玉澤，孫英偉，林文樹(shù). 基于FPFH特征和NDT算法 的樹(shù)木點(diǎn)云配準(zhǔn)[J]. 西北林學(xué)院學(xué)報(bào)，2019，34(5)：141-146.

Yang Yuze, Sun Yingwei, Lin Wenshu. Tree point cloud registration based on FPFH feature and NDT algorithm[J]. Journal of Northwest Forestry University, 2019, 34(5): 141-146. (in Chinese with English abstract)

[10] 鄭立華，麥春艷，廖崴，等. 基于Kinect相機(jī)的蘋(píng)果樹(shù)三維點(diǎn)云配準(zhǔn)[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2016，47(5)：9-14.

Zheng Lihua, Mai Chunyan, Liao Wei, et al. 3D point cloud registration for apple tree base on Kinect camera[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(5): 9-14. (in Chinese with English abstract)

[11] Garrido M, Paraforos D, Reiser D, et al. 3D maize plant reconstruction based on georeferenced overlapping LiDAR point clouds[J]. Remote Sensing, 2015, 7(12): 17077-17096.

[12] Chebrolu N, Magistri F, L?be T, et al. Registration of spatio-temporal point clouds of plants for phenotyping[J]. PLoS One, 2021, 16(2): e0247243.

[13] Yu X, Song H, Wang S. Capture of multi-view point clouds and registration of plants based on Kinect[J]. International Agricultural Engineering Journal, 2016, 25(1): 74-84.

[14] Zhou S, Kang F, Li W, et al. Point cloud registration for agriculture and forestry crops based on calibration balls using Kinect V2[J]. International Journal of Agricultural and Biological Engineering, 2020, 13(1): 198-205.

[15] Fischler M A, Bolles R C. Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography[J]. Communications of the ACM, 1981, 24(6): 381-395.

[16] 鄒際祥. 基于KD-TREE加速的點(diǎn)云數(shù)據(jù)配準(zhǔn)技術(shù)研究[D]. 合肥：安徽大學(xué)，2013.

Zou Jixiang. The Research of Point Cloud Data Registration Technique Based on KD-Tree Acceleration[D]. Hefei：Anhui University, 2013. (in Chinese with English abstract)

[17] Sorkine O, Rabinovich M. Least-squares rigid motion using SVD [J]. Computing, 2017, 1(1): 1-5.

[18] 曾清紅，盧德唐. 基于移動(dòng)最小二乘法的曲線曲面擬合[J]. 工程圖學(xué)學(xué)報(bào)，2004，25(1)：84-89.

Zeng Qinghong, Lu Detang. Curve and surface fitting based on moving least square method[J]. Journal of Engineering Graphics, 2004, 25(1): 84-89. (in Chinese with English abstract)

[19] 余秀麗. 基于Kinect的蘋(píng)果樹(shù)三維重建方法研究[D]. 楊凌：西北農(nóng)林科技大學(xué)，2016.

Yu Xiuli. Reconstruction of Apple Tree Based on Kinect[D]. Yangling: Northwest A&F University, 2016. (in Chinese with English abstract)

[20] 邵小寧. 基于Kinect的植物三維點(diǎn)云獲取與重建方法研究[D]. 楊凌：西北農(nóng)林科技大學(xué)，2016.

Shao Xiaoning. Research on 3D Point Cloud Acquisition and Reconstruction of Plants Based on Kinect[D]. Yangling: Northwest A&F University, 2016. (in Chinese with English abstract)

Field plant point cloud registration method based on Kinect V3 depth sensors

Li Xiuhua1,2, Wei Peng1, He Jiaxi1, Li Minzan3, Zhang Muqing2, Wen Biaotang4

(1.530004,;2.530004,; 3.100083,; 4.530001,)

An accurate modeling of three-dimensional (3D) point cloud has been a crucial step to extract the physical phenotyping parameters of plants, such as the plant height, leaf quantity, and leaf area. In this study, an automatic registration of point clouds with multiple calibration balls was proposed to realize the 3D modeling of plants under a complex background in the field. A low-cost depth sensor (such as Kinect V3) was also selected to capture the images. The performance of the registration was then evaluated using the multiple angles of several plants under the indoor and in-field scenes. Four procedures were included the point cloud filtering and down sampling, multiple calibration balls extraction, correspondence points matching, as well as the calculation and registration of transformation matrix. 1) The pass-through filtering with only several boundary thresholds was used to reduce the noises, while the bounding box compression was used to down sampling the point clouds. 2) A Random Sampling Consistency (RANSAC) was also used in the multiple calibration balls extraction. Furthermore, a concept of point cloud subtraction was proposed to combine with the RANSAC, in order to form an automatic extraction of multiple calibration balls. Among them, the RANSAC was utilized to extract one single object at one time. As such, the center coordinates of each calibration ball were then calculated as the featured points. 3) The distances of any two feature points were calculated in the correspondence points matching. An automatic matching of correspondence points using the distance information was also proposed to realize the self-matching of the calibration balls. 4) The singular value decomposition was adopted to solve the transformation (rotation and translation) matrix, and then the registration of two pieces of point clouds was realized eventually. The experiments were carried out in two scenes: one was the indoor scene with the flat and clean surface, and another was the field scene with the uneven and complex conditions. Five plants were chosen as the research objects, including one sugarcane (indoor), one sorghum (indoor), and three young banana plants (in-field). The Kinect V3 sensor was utilized to capture the point clouds of each object in five orientations (the horizontal orientation of 0o, 90o, 180o, 270o, and one vertical orientation). A commercial point cloud processing software named LiDAR360 was adopted for comparison with the man-aid registration. After that, the object point clouds (horizontal 90°, 180°, 270°, and vertical) of each plant was used to implement the registration into the coordinate system of the source point cloud (horizontal 0°). The registration performance was evaluated to calculate the axial errors and point errors of the transformed coordinates, as well as the source coordinates of the centers of all the calibration balls. The results showed that the registration of different point clouds was successfully implemented in the different orientations, no matter in the indoor or in-field environment. Particularly, the generated 3D model of the plant was clear in shape. Specifically, there were an average axial error of 5.8-17.4 mm and an average point position error of 13.1-28.9 mm for the registration in the different scenes, similar to the registration in the manual registration software LiDAR360. In the required calculation time, the automatic matching took about 50 s on average for the process from the extraction of calibration sphere to the registration, whereas, the LiDAR360 took about 150 s with the manual selection of the correspondence points, indicating the efficiency increased by 67%. Consequently, it can be widely expected to serve a high-precision and automatic registration of plant point clouds acquired by low-cost depth cameras in complex field environments. The finding can provide a low-cost feasible solution for the 3D modeling and the extraction of phenotyping parameters of field plants.

automation; sensors; point cloud; plant 3D modeling; point matching; RANSAC; Kinect

10.11975/j.issn.1002-6819.2021.21.006

S24

A

1002-6819(2021)-21-0045-08

李修華，魏鵬，何嘉西，等.基于Kinect V3深度傳感器的田間植株點(diǎn)云配準(zhǔn)方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(21)：45-52.doi：10.11975/j.issn.1002-6819.2021.21.006 http://www.tcsae.org

Li Xiuhua, Wei Peng, He Jiaxi, et al. Field plant point cloud registration method based on Kinect V3 depth sensors[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(21): 45-52. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.21.006 http://www.tcsae.org

2021-07-14

2021-10-15

廣西科技重大專項(xiàng)（桂科AA18118037、桂科2018-266-Z01）；國(guó)家自然科學(xué)基金項(xiàng)目（31760342）

李修華，博士，副教授，研究方向?yàn)樽魑镩L(zhǎng)勢(shì)及表型檢測(cè)。Email：lixh@gxu.edu.cn