基于Xtion傳感器的玉米果穗三維形態(tài)指標測量系統(tǒng)

王 可， 戈振揚， 郭 浩, 張皓然， 陳 林， 全天惠

(1.昆明理工大學 現(xiàn)代農業(yè)工程學院，云南 昆明650500； 2.中國農業(yè)大學 農業(yè)部農業(yè)信息獲取技術重點實驗室，北京 100083)

基于Xtion傳感器的玉米果穗三維形態(tài)指標測量系統(tǒng)

王 可1， 戈振揚1， 郭 浩2, 張皓然1， 陳 林1， 全天惠1

(1.昆明理工大學 現(xiàn)代農業(yè)工程學院，云南 昆明650500； 2.中國農業(yè)大學 農業(yè)部農業(yè)信息獲取技術重點實驗室，北京 100083)

為了快速無損測量玉米果穗三維形態(tài)指標，設計了一種基于Xtion傳感器的玉米果穗三維形態(tài)指標測量系統(tǒng)。采用Xtion配合電動轉臺采集多視角玉米果穗點云數(shù)據(jù)，利用ICP配準方法對完整果穗點云數(shù)據(jù)進行配準拼接，采取泊松重建方法對配準后的點云數(shù)據(jù)進行三維重建，最后利用散度原理進行果穗體積的計算。結果表明：測得的體積值與其真實值之間的誤差在9 %之內。該方法為自動化玉米果穗三維形態(tài)指標測量提供了切實可行的新途徑。

Xtion； 點云； 自動化； 玉米果穗； 三維重建； 測量

0 引 言

玉米是我國主要糧食作物之一，其果穗形態(tài)指標獲取是玉米栽培、育種、新品種測試過程中進行品質評估的重要環(huán)節(jié)[1]。因此，研究一種快速準確的玉米果穗形態(tài)指標測量方法具有重要意義。

玉米果穗形態(tài)指標獲取目前常用的方法仍然是傳統(tǒng)的手工測量，但該方法存在效率低，誤差大等缺點。隨著數(shù)字圖像處理技術的發(fā)展，很多學者投入到基于二維圖像處理的玉米形態(tài)指標獲取應用研究。該方法具有操作簡單、測量準確等優(yōu)點。為減少多幅圖像拼接產生的重疊，利用一幅全景圖像實現(xiàn)了玉米果穗形態(tài)指標檢測[2]。為了達到玉米自動化考種的要求，利用背景板比例尺實現(xiàn)了玉米果穗圖像特征的精確測量[3]。為對玉米進行品質分析，利用PC攝像頭連續(xù)采集轉臺上的玉米果穗圖像，實現(xiàn)了玉米果穗?yún)?shù)的快速檢測[4]。但上述方法由于二維圖像技術本身的限制，無法獲得體積等三維形態(tài)指標，而果穗三維形態(tài)指標的準確測量對于果穗生長診斷，果穗變異選擇等相關研究具有重要意義[5]。

與二維圖像技術不同，三維圖像技術可以獲取三維相關的尺寸參數(shù)。利用雙目立體視覺系統(tǒng)可以實現(xiàn)玉米果穗的三維重建，對玉米三維形態(tài)指標進行測量[6]，但在計算時間上難以滿足大量玉米考穗測量的需求。隨著光電技術發(fā)展，三維點云獲取與處理技術已較普及，現(xiàn)有的激光或其他點云獲取設備可對物體三維形態(tài)指標進行測量[7]，但其成本較高，難以在農業(yè)生產實際應用。近期有學者利用低成本的點云采集設備已經(jīng)實現(xiàn)了植物的體積測量[8]。為此，本文提出一種基于Xtion傳感器的玉米果穗三維形態(tài)指標測量系統(tǒng)，該系統(tǒng)利用點云處理技術，實現(xiàn)了玉米果穗三維形態(tài)指標的快速，準確測量。

1 測量系統(tǒng)的軟硬件組成

測量系統(tǒng)主要由五部分組成，分別為計算機、Xtion傳感器、控制器、支架與轉臺。測量系統(tǒng)的數(shù)據(jù)采集設備選取基于結構光技術的傳感器Xtion，其光學相關設備主要由三部分構成，一個紅外線發(fā)射器、一個紅外攝像頭、一個RGB攝像頭。該設備通過紅外相關設備，獲取深度信息，其深度圖像獲取方法的核心是光編碼技術[9]。本實驗選取的具體型號為Xtion PRO LIVE，華碩制造，量程0.8～3.5 m，采集距離2 m條件下X，Y方向3.4 mm、Z方向12 mm。利用配有英特爾 HD Graphics 3000顯卡、4 G內存、Intel i5 處理器的筆記本作為控制和計算用計算機。軟件由Window 7操作系統(tǒng)，OpenNI 1.5.4，Eigen3.0.5，F(xiàn)LANN1.7.1，Microsoft Visual C++ 2010配置好的開發(fā)平臺實現(xiàn)。其中OpenNI，Eigen，F(xiàn)LANN是進行點云處理所需的接口庫。硬件系統(tǒng)組成結構示意圖如圖1所示。

圖1 硬件系統(tǒng)組成示意圖

測量系統(tǒng)軟件的算法流程如圖2所示。

圖2 果穗體積測量算法的點云處理流程

2 多視角玉米果穗點云獲取

為了獲取完整的玉米果穗點云，將玉米果穗垂直置于電動轉臺中心，將Xtion固定在三角架上，以俯視角約30°對準果穗，利用控制器控制轉臺以固定角度轉動，每轉動一次，系統(tǒng)采集一個側面的果穗點云圖像，直到果穗旋轉一周，獲取不同側面的果穗點云為止。因為后期需對多視角下的玉米果穗點云進行配準拼接，所以，應恰當選擇玉米果穗的旋轉角度，旋轉角度過小，將導致配準誤差的累積，角度過大，則會導致匹配點集的減少，從而影響最終的配準效果，本文的旋轉角度選取為45°。

由于日光中近紅外線對Xtion本身發(fā)出的近紅外線的干擾作用，在陽光直射的情況下，采集的玉米點云數(shù)據(jù)會出現(xiàn)部分或全部缺失，所以，該系統(tǒng)選取室內條件下進行數(shù)據(jù)采集。

3 果穗點云處理與體積計算

3.1 多視角果穗點云配準

玉米果穗的三維重建和體積計算都是在多視角點云圖像拼接的基礎上進行的，本文使用ICP算法實現(xiàn)點云的拼接[10]。

隨機選取兩組待配準點集，要求該兩組點集具有重疊區(qū)域，記為Q={qi∈R3,1≤i≤n}和P={pi∈R3,1≤i≤m},n>m,坐標系分別為C2，C1。對應于集合P中的每一點，找到集合Q中與之對應的最近點，記為點集U={ui∈R3,1≤i≤m}。點集P和點集U的中心為

(1)

接下來進行旋轉矩陣R和平移矩陣t的求解。首先計算P和U之間的協(xié)方差矩陣S

(2)

利用奇異值分解方法對S進行分解，得到S=NMVT，如果rank(S)≥2，則可以得到旋轉矩陣R=VNT，根據(jù)公式U=RP+t，得到平移矩陣t=U-RP。

(3)

式中T為變換矩陣。

利用變換矩陣，可以得到最終配準后的點云數(shù)據(jù)為A，該矩陣在C1坐標系下

A=P+TQ,

(4)

式中TQ將Q中所有點經(jīng)過T從C2變換到C1下，然后將點集P和TQ進行并操作，最終變換到同一坐標系C1下，兩組點集即完成了配準對齊。對余下各視角的點集依次進行配準操作，即完成了完整果穗點云的拼接。

3.2 果穗點云三維重建

為了對玉米果穗體積進行計算，需要對玉米果穗點云進行三維重建。本文采取泊松重建方法進行果穗點云的三維重建[11]。

假設輸入點集為R，定義八叉樹O，對輸入點集R建立八叉樹拓撲關系，將輸入點集R加入到八叉樹中，細分八叉樹使每個點采樣都落在深度D的葉節(jié)點，其中,深度D決定了重建的層次和深度，本研究選取D值為6。

然后對八叉樹的每個節(jié)點o∈O，定義節(jié)點函數(shù)Fo

(5)

式中o.c為節(jié)點o所在包圍盒的中心；o.w為包圍盒的尺寸；其中,函數(shù)F為函數(shù)空間的基函數(shù)，定義如下

F(x,y,z)=(B(x)B(y)B(z))*n.

(6)

其中

(7)

式中x，y，z為點集R中任一點的坐標，B(t)為包圍盒濾波函數(shù)，n為濾波器的階數(shù)，這里取3。

接下來計算指示函數(shù)χ的梯度場近似值為

(7)

其中,r為輸入點集R中任一點的K近鄰區(qū)域；NbD(R)為任一節(jié)點o的K近鄰區(qū)域中深度為D的8個節(jié)點；?為線性系數(shù)，F(xiàn)o為o點的節(jié)點函數(shù)，No為o點的頂點法向量。

根據(jù)方程(6)得到向量場后，利用指示函數(shù)χ的梯度場Δχ與點云內法線決定的向量場V之問的等價性建立泊松方程

(9)

最后采用拉普拉斯矩陣迭代計算指示函數(shù)c，根據(jù)MC算法從指示函數(shù)中提取等值面，進而拼接三角面片，完成表面重建。

3.3 玉米果穗體積計算

根據(jù)玉米果穗三維重建結果，利用散度原理，果穗體積V用式(10)進行計算

(10)

式中n為果穗三維重建結果中三角網(wǎng)格數(shù)量；Δai為果穗三維重建結果中第i個網(wǎng)格面積，該網(wǎng)格面積利用海倫公式進行計算；nxi，nyi，nzi分別為第i個網(wǎng)格中x，y，z方向的單位法向量；xi，yi，zi分別為第i個網(wǎng)格中x坐標，y坐標，z坐標的均值。kx，ky，kz為權重系數(shù)，滿足kx+ky+kz=1。其中

kx=(Wx+(Wxyz/3)+((Wxy+Wxz)/2))/n,

(11)

ky=(Wy+(Wxyz/3)+((Wxy+Wyz)/2))/n,

(12)

kz=(Wz+(Wxyz/3)+((Wxz+Wyz)/2))/n,

(13)

式中Wx為果穗三維重建結果n個網(wǎng)格中，滿足nxi>nyi且nxi>nzi條件的網(wǎng)格數(shù)量；Wy為滿足nyi>nxi且nyi>nzi條件的網(wǎng)格數(shù)量；Wz為滿足nzi>nxi且nzi>nyi條件的網(wǎng)格數(shù)量；Wxyz為滿足nxi=nyi=nzi條件的網(wǎng)格數(shù)量；Wxy為滿足nxi=nyi且nxi>nzi條件的網(wǎng)格數(shù)量；Wxz滿足nxi=nzi且nxi>nyi條件的網(wǎng)格數(shù)量；Wyz為滿足nyi=nzi且nzi>nxi條件的網(wǎng)格數(shù)量。

4 實驗結果與討論

4.1 玉米果穗配準拼接與三維重建結果

為了演示玉米果穗配準拼接與三維重建結果，應用該系統(tǒng)對果穗進行測試。圖3分別為果穗實物圖，單一側面點云，拼接結果，網(wǎng)格模型和三維重建結果。結果顯示，在室內避光條件下，該系統(tǒng)能獲得精確、穩(wěn)定的拼接結果，并能夠從拼接后的點云數(shù)據(jù)中重建出較高精度的玉米果穗網(wǎng)格曲面模型。

從重建結果可以看出：所重建的果穗幾何形狀在底部與真實果穗差異較大，這是因為Xtion在采集玉米果穗點云數(shù)據(jù)時，靠近轉臺的果穗底部點云數(shù)據(jù)無法采集，造成了果穗的數(shù)據(jù)缺失，但是,泊松重建算法的輸出是一個閉合曲面，所以,會自動生成一些面片頂點構成封閉曲面，而這些頂點并不存在，因此,會發(fā)生形狀畸變。

圖3 玉米果穗實驗結果

4.2 玉米果穗三維形態(tài)指標測量誤差分析

為了驗證該測量系統(tǒng)的準確性，利用測得的體積值與實際體積值進行對比分析，果穗的實際體積值利用排水法進行測量，所用量筒規(guī)格為：量程為50 mL,精度為1 mL。對比結果如表1所示。由于果穗的樣本表面積難以測量，所以未對果穗表面積值進行誤差分析。

從表1可以看出：與排水法比較，該系統(tǒng)測得的體積值與真實體積值之間的誤差不大于9 %。此結果的誤差主要由三部分組成：配準拼接等點云相關操作帶來的誤差；Xtion傳感器獲取數(shù)據(jù)本身的誤差；系統(tǒng)獲取數(shù)據(jù)缺失導致的誤差。

表1 玉米果穗體積誤差分析

5 結 論

本文提出一種基于Xtion傳感器的玉米果穗三維形態(tài)指標測量系統(tǒng)，討論了其硬件結構與軟件系統(tǒng)。果穗拼接與重建結果表明：在室內避光條件下，該系統(tǒng)能夠獲得精確、穩(wěn)定的拼接結果，并能夠從拼接后的點云數(shù)據(jù)中重建出較高精度的玉米果穗網(wǎng)格曲面模型。測量結果表明:該系統(tǒng)體積測量相對誤差在9 %之內，可滿足多數(shù)情形下玉米考種三維形態(tài)指標測量應用。該測量系統(tǒng)可以為自動化、規(guī)模化考種提供直接技術支持。

[1] 連艷鮮，何金環(huán)．高產玉米雜交種產量構成因素和穗部性狀研究[J]．安徽農業(yè)科學，2007，35(24)：7430-7431.

[2] 王傳宇,郭新宇,吳 升,等.采用全景技術的機器視覺測量玉米果穗考種指標[J].農業(yè)工程學報,2013,29(24):155-162.

[3] 呂永春,馬 欽,李紹明,等.基于背景板比例尺的玉米果穗圖像特征測量[J].農業(yè)工程學報,2010,26(14):43-47.

[4] 劉長青,陳兵旗.基于機器視覺的玉米果穗?yún)?shù)的圖像測量方法[J].農業(yè)工程學報,2014,30(6):131-138.

[5] 楊錦忠,張洪生,趙延明,等.玉米穗粒重與果穗三維幾何特征關系的定量研究[J].中國農業(yè)科學,2010,43(21):4367-4374.

[6] 王傳宇,郭新宇,吳 升,等.基于計算機視覺的玉米果穗三維重建方法[J].農業(yè)機械學報,2014(9):44.

[7] Sholts S B,W?rml?nder S K T S,Flores L M,et al.Variation in the measurement of cranial volume and surface area using 3D laser scanning technology[J].Journal of Forensic Sciences,2010,55(4):871-876.

[8] Azzari G,Goulden M L,Rusu R B.Rapid characterization of ve-getation structure with a Microsoft Kinect sensor[J].Sensors,2013,13(2):2384-2398.

[9] Shpunt A,Zalevsky Z.Depth-varying light fields for three dimensional sensing:US,8,050,461[P].2011-11-01.

[10] Besl P J,McKay N D.Method for registration of 3D shapes[C]∥Robotics-DL Tentative.International Society for Optics and Photonics,1992:586-606.

[11] Kazhdan M,Bolitho M,Hoppe H.Poisson surface reconstruc-tion[C]∥Proceedings of the Fourth Eurographics Symposium on Geometry Processing,2006.

王 可(1987- ),男，遼寧沈陽人，碩士研究生，主要研究方向為農業(yè)3D信息獲取。

3D shape indexes measurement system of maize ear

based on Xtion sensor WANG Ke1, GE Zhen-yang1, GUO Hao2, ZHANG Hao-ran1, CHEN Lin1, QUAN Tian-hui1

(1.School of Modern Agricultural Engineering,Kunming University of Science and Technology, Kunming 650500,China; 2.Ministry of Agriculture Key Laboratory of Agricultural Information Acquisition Technology, China Agricultural University,Beijing 100083,China)

To measure three dimensional shape indexes of maize ear quickly and nondestructively,3D shape indexes measurement system of maize ear based on Xtion sensor is designed.Multi-view cloud datas of the maize ear are acquired by using Xtion and electromotion turntable,iterative closest point (ICP) algorithm is used to mosaic complete point cloud data,Poisson surface reconstruction is using on the basis of the result of registration and then the volume of the reconstructed mesh is calculated using the divergence theorem.The results show that the errors between the true value and measured value of the volume are within 9%.The method provides a practical new approach for automatic three dimensional traits measurement of maize ear.

Xtion; point cloud; automation; maize ear; 3D reconstruction; measurement

2015—01—22

10.13873/J.1000—9787(2015)04—0062—04

TP 391

A

1000—9787(2015)04—0062—04