基于RGB-D相機(jī)的油菜分枝三維重構(gòu)與角果識別定位

徐勝勇 盧 昆 潘禮禮 劉泰格 周雨欣 汪 波

(1.華中農(nóng)業(yè)大學(xué)工學(xué)院， 武漢 430070； 2.農(nóng)業(yè)部長江中下游農(nóng)業(yè)裝備重點(diǎn)實(shí)驗(yàn)室， 武漢 430070；3.華中農(nóng)業(yè)大學(xué)植物科學(xué)技術(shù)學(xué)院， 武漢 430070)

0 引言

角果對油菜產(chǎn)量起重要決定作用，它不僅是油菜吸收和積累光合產(chǎn)物的庫器官，而且還是為種子發(fā)育提供營養(yǎng)的源器官。在油菜高產(chǎn)育種中，單位面積角果數(shù)是大面積生產(chǎn)中調(diào)節(jié)潛力最大的產(chǎn)量因素，對油菜產(chǎn)量具有特殊的意義。對油菜來講，決定其產(chǎn)量形成的關(guān)鍵因子主要有單株角果數(shù)、每角粒數(shù)和千粒質(zhì)量[1]。三維重建技術(shù)通過在計(jì)算機(jī)中對作物植株進(jìn)行數(shù)字化建模，將植株外形和器官的三維信息存儲在計(jì)算機(jī)中，使得對作物生長規(guī)律的定量化研究成為可能[2]。成熟期油菜分枝三維空間模型的建立，將為計(jì)算機(jī)考察角果提供重要的基礎(chǔ)數(shù)據(jù)。

圖1 使用Kinect傳感器采集的油菜分枝圖像Fig.1 Images of rape branch collected using Kinect sensor

快速、低成本、精確的三維掃描技術(shù)一直是計(jì)算機(jī)視覺領(lǐng)域研究的熱點(diǎn)[3]。目前，應(yīng)用于農(nóng)業(yè)三維重建的設(shè)備和技術(shù)主要包括激光掃描儀、立體視覺、運(yùn)動恢復(fù)結(jié)構(gòu)和RGB-D相機(jī)等[4-14]。Kinect傳感器是一種經(jīng)典的RGB-D相機(jī)，能夠同時獲取目標(biāo)的彩色、紅外和深度信息，具有成本低廉、體積小巧的特性和優(yōu)勢，使得該傳感器在現(xiàn)代農(nóng)業(yè)信息領(lǐng)域獲得了推廣和應(yīng)用[15]。3D點(diǎn)云配準(zhǔn)是使用Kinect傳感器進(jìn)行三維建模的關(guān)鍵技術(shù)環(huán)節(jié)之一，可以將多個視角下的點(diǎn)云融合為單個參考點(diǎn)云[16]。眾多學(xué)者對此進(jìn)行了研究[17-18]。

人工方式測量成熟期油菜植株表型參數(shù)存在效率較低、主觀因素強(qiáng)、可重復(fù)性差、損害植株、某些參數(shù)無法測量等缺點(diǎn)。YANG等[19]提出一種基于法向矢量的三維點(diǎn)云分割方法，使用3D掃描儀來獲得角果期油菜植株的3D點(diǎn)云數(shù)據(jù)，為后續(xù)表型參數(shù)無損測量奠定了基礎(chǔ)。該方法使用了價(jià)格昂貴的激光掃描儀，且后續(xù)的數(shù)據(jù)處理較為復(fù)雜，也無法將角果點(diǎn)云從植株點(diǎn)云中有效分割出來以進(jìn)行后續(xù)處理。本文提出一種低成本、高精度的成熟期油菜分枝三維數(shù)字化解決方案。以一定角度(約90°)間隔旋轉(zhuǎn)油菜分枝，使用Kinect傳感器獲取4個視角下的彩色圖像和深度圖像，進(jìn)行圖像預(yù)處理獲取分枝的表面點(diǎn)云，并進(jìn)行初始和精確兩次配準(zhǔn)，得到完整的分枝點(diǎn)云。然后對基于該三維重建方法得到的分枝點(diǎn)云進(jìn)行聚類分割，得到單個角果并統(tǒng)計(jì)角果數(shù)量。

1 材料與方法

1.1 實(shí)驗(yàn)設(shè)備與信息采集

2018年5月于華中農(nóng)業(yè)大學(xué)實(shí)驗(yàn)田采集成熟期油菜植株，品種為中雙6號和大地55，人工將分枝剪下。在自然光照的室內(nèi)進(jìn)行圖像采集，油菜分枝被固定在一個底座上，背后放置一塊黑色幕布。使用Kinect 2.0傳感器對油菜分枝進(jìn)行拍攝，距離約60 cm，得到彩色圖像(1 920像素×1 080像素)和深度圖像(512像素×424像素)各10幅。每拍攝完一個角度，手動將放置角果的底座旋轉(zhuǎn)約90°，直到完成4個角度的圖像采集，圖像采集示意圖如圖1所示。利用微軟公司提供的軟件開發(fā)工具包Kinect for Windows SDK 以及應(yīng)用程序編程接口API，融合植株的彩色和深度圖像，獲得植株在相機(jī)空間坐標(biāo)系中具有顏色信息的三維坐標(biāo)數(shù)據(jù)，待后續(xù)處理。本文算法開發(fā)和測試的平臺為通用計(jì)算機(jī)(酷睿6代i5 4200M主頻2.5 GHz處理器、8 GB DDR3內(nèi)存、250 GB三星固態(tài)硬盤、NVIDIA GeForce GT 755M 顯卡)、Windows 7專業(yè)版SP1和VS 2013+OpenCV 3.2+PCL 1.80，以及Matlab 2017b。

1.2 單視角點(diǎn)云的獲取

1.2.1彩色圖像預(yù)處理

本研究中，除了油菜分枝其他都是背景。因?yàn)橛筒朔种φw呈現(xiàn)黃綠色，而背景幕布主色調(diào)是黑色，因此先對分枝的彩色圖像進(jìn)行2G-R-B的閾值分割，從背景中初步分離出油菜分枝，得到分枝區(qū)域的掩模。使用該掩模與原彩色圖像相乘，再對乘積圖像的綠色通道進(jìn)行Otsu閾值分割，最后得到準(zhǔn)確而完整的油菜植株彩色圖像。

1.2.2彩色圖像對齊到深度圖像

深度圖像中保存有物體距離相機(jī)的距離信息，同時也有平面位置信息，可以通過對深度圖像進(jìn)行像素點(diǎn)操作來獲取點(diǎn)云。通過調(diào)用Kinect for Windows SDK中的映射函數(shù)實(shí)現(xiàn)彩色圖像和深度圖像的對齊，建立彩色圖像中的像素點(diǎn)與深度圖像中的像素點(diǎn)的索引關(guān)系。根據(jù)預(yù)處理后得到的油菜分枝彩色圖像，可以獲得植株區(qū)域?qū)?yīng)的深度圖像。

1.2.3深度圖像轉(zhuǎn)換為3D點(diǎn)云

圖像的度量單位是像素，而表型參數(shù)用物理尺寸單位(mm)度量。需要將深度圖像的像素轉(zhuǎn)換為三維空間坐標(biāo)，即3D點(diǎn)云。依照Kinect成像原理，轉(zhuǎn)換公式為

(1)

式中 (Xd,Yd,Zd)——點(diǎn)(u′,v′)對應(yīng)的三維空間坐標(biāo)

(u′,v′)——深度圖像的任意一點(diǎn)像素坐標(biāo)

Dd(u′,v′)——點(diǎn)(u′,v′)對應(yīng)的深度

(fUIR,fVIR)——紅外相機(jī)的焦距，取值為(371.5 mm，371.5 mm)

(uOIR,vOIR)——紅外相機(jī)的光心坐標(biāo)，取值為(256 mm，212 mm)

Kinect傳感器在工作時有系統(tǒng)噪聲和波動，導(dǎo)致每一幅深度圖像的數(shù)據(jù)都不一樣。連續(xù)靜止拍攝 10 幀深度圖像，疊加進(jìn)行融合，可以有效消除波動和噪聲，還可以初步補(bǔ)全點(diǎn)云數(shù)據(jù)。本文每幀深度圖得到的植株點(diǎn)云大約有4 000個點(diǎn)，10幀融合后約40 000個點(diǎn)。

1.2.4點(diǎn)云濾波

多幀數(shù)據(jù)疊加的融合方法會在目標(biāo)物體邊緣產(chǎn)生部分離群點(diǎn)噪聲。此外，因光照影響導(dǎo)致紅外線不能正常反射到傳感器，點(diǎn)云會出現(xiàn)小區(qū)域噪點(diǎn)。本文采用統(tǒng)計(jì)濾波器對點(diǎn)云進(jìn)行濾波。使用KD-tree搜索算法查找點(diǎn)Pi(xi，yi，zi)(i=1,2,…,n)的空間臨近點(diǎn)Pj(xj，yj，zj)(j=1,2,…,n)，求解空間點(diǎn)Pi與其臨近點(diǎn)Pj的平均距離di、全局距離平均值μ和標(biāo)準(zhǔn)差σ，計(jì)算公式為

(2)

式中k——臨近點(diǎn)數(shù)

n——點(diǎn)云中點(diǎn)的數(shù)量

如果di在[μ-ασ,μ+ασ]范圍之外，則該臨近點(diǎn)被定義為離群噪聲點(diǎn)，將其從點(diǎn)云集中去除。參數(shù)α和臨近點(diǎn)數(shù)k取決于目標(biāo)點(diǎn)云的數(shù)量和密度，本文實(shí)驗(yàn)測試發(fā)現(xiàn)k為50、α為1.0時濾波效果最好。

1.3 多視角點(diǎn)云配準(zhǔn)

因角果和分枝之間的相互遮擋，單個視角下的點(diǎn)云不能完全呈現(xiàn)分枝的完整形態(tài)。同時，圖像預(yù)處理環(huán)節(jié)也會造成局部信息的丟失。所以需要將多個角度下的點(diǎn)云進(jìn)行配準(zhǔn)，融合為一個整體。對結(jié)構(gòu)復(fù)雜的分枝點(diǎn)云，直接采用經(jīng)典ICP算法[20]進(jìn)行點(diǎn)云配準(zhǔn)，計(jì)算量大、耗時長、錯誤匹配率高，還可能陷入局部最小值。本文提出基于經(jīng)典ICP算法的改進(jìn)方法，總體和初、精配準(zhǔn)的算法流程如圖2所示。將第1個視角的點(diǎn)云命名為“角度1點(diǎn)云”，將相隔約90°的其他3個視角的點(diǎn)云依次命名為“角度2點(diǎn)云”、“角度3點(diǎn)云”、“角度4點(diǎn)云”。先將4個角度的點(diǎn)云依次兩兩進(jìn)行初配準(zhǔn)，再精配準(zhǔn)。精配準(zhǔn)得到的2個點(diǎn)云再次進(jìn)行初、精配準(zhǔn)，最后進(jìn)行點(diǎn)云濾波，得到完整點(diǎn)云。

1.3.1點(diǎn)云初配準(zhǔn)

圖2 點(diǎn)云配準(zhǔn)流程圖Fig.2 Flow chart of point cloud registration

經(jīng)典的ICP算法中，假定點(diǎn)云P和X中各有NP和NX個點(diǎn)，ICP算法每次尋找兩個點(diǎn)集之間的最近點(diǎn)，要求其歐氏距離的平方和最小，從而計(jì)算出點(diǎn)云間的剛體變換。矢量q=[qRqT]表示剛體變換，其中，qR表示最優(yōu)旋轉(zhuǎn)變換的單位特征向量，qT表示剛體變換平移向量，將該剛體變換應(yīng)用到點(diǎn)云P。對應(yīng)點(diǎn)云P中的每一個點(diǎn)，在點(diǎn)云X中尋找其最近點(diǎn)形成點(diǎn)對，計(jì)算全部最近點(diǎn)對的歐氏距離平方和的平均值

(3)

式中Xi——點(diǎn)云P在X中的最近對應(yīng)點(diǎn)構(gòu)成的坐標(biāo)向量

Pi——點(diǎn)云P中的點(diǎn)構(gòu)成的坐標(biāo)向量

R(qR)——剛體變換的旋轉(zhuǎn)矩陣

為了最小化f(q)，分別計(jì)算點(diǎn)云P和X的重心，并得到兩個點(diǎn)云的協(xié)方差矩陣ΣPX，計(jì)算公式為

(4)

(5)

式中 tr——矩陣的跡

I3——3階單位矩陣

用單位四元樹表示最優(yōu)旋轉(zhuǎn)矩陣qR=[q0q1q2q3]，它與矩陣Q(ΣPX)的最大特征值對應(yīng)，旋轉(zhuǎn)矩陣的計(jì)算公式為

(6)

經(jīng)過反復(fù)迭代，直至最近點(diǎn)對的歐氏距離平方和的平均值在給定閾值下收斂，完成配準(zhǔn)。

計(jì)算點(diǎn)云的曲面法矢量和曲率，搜索曲率相近的點(diǎn)構(gòu)成配對點(diǎn)對。在此基礎(chǔ)上采用KD-tree建立高維索引樹形數(shù)據(jù)結(jié)構(gòu)，加速兩個點(diǎn)云的對應(yīng)點(diǎn)匹配進(jìn)程，再采用ICP算法配準(zhǔn)，這樣就避免了ICP算法陷入局部最優(yōu)解。若已知相鄰視角的點(diǎn)云旋轉(zhuǎn)角θ，可將某視角的點(diǎn)云P左乘以一個旋轉(zhuǎn)矩陣，使該角度的點(diǎn)云繞Y軸旋轉(zhuǎn)θ得到一個新點(diǎn)云PR，再進(jìn)行配準(zhǔn)。

(7)

處理之后，相鄰兩個角度的點(diǎn)云在方位上相近，可以有效加快配準(zhǔn)的速度和成功率。本文中，在角度2配準(zhǔn)到角度1時，θ為90°；角度3配準(zhǔn)到角度4時，θ為-90°；角度3、4配準(zhǔn)到角度1、2時，θ為-90°。

1.3.2點(diǎn)云精配準(zhǔn)

ICP算法通過多次迭代的最近鄰搜索逐漸逼近最優(yōu)結(jié)果，非常耗時。此外， ICP算法還要求兩個點(diǎn)云的初始位置相差不能太大。因此，如何構(gòu)造參與ICP算法的有效初始點(diǎn)集是非常重要的。本研究中的初配準(zhǔn)完成后，兩個點(diǎn)云雖然沒有很好地融合，但相互之間的距離相對較小。將點(diǎn)云P初配準(zhǔn)到點(diǎn)云X中，初配準(zhǔn)后P的新位置構(gòu)成新的點(diǎn)云記為P′，同時得到2個點(diǎn)云之間的可匹配部分對應(yīng)點(diǎn)的關(guān)系。對P′中的每一個非平面點(diǎn)，在X中選取與其曲率相近的點(diǎn)，搜索范圍由對應(yīng)點(diǎn)距離閾值Dp確定，由曲率相近的點(diǎn)構(gòu)成配對點(diǎn)對。再使用KD-tree重組配對點(diǎn)對的數(shù)據(jù)結(jié)構(gòu)，采用經(jīng)典ICP算法搜索配準(zhǔn)。在ICP算法中，對應(yīng)點(diǎn)距離閾值Dp作為初始參數(shù)，其決定了配準(zhǔn)過程的搜索范圍。Dp設(shè)置較大，搜索不到配對點(diǎn)對導(dǎo)致無法進(jìn)行初匹配；Dp設(shè)置過小，容易陷入局部最小值導(dǎo)致配準(zhǔn)效果很差。在初配準(zhǔn)中，兩個點(diǎn)云相互距離較大，Dp應(yīng)設(shè)置得較大，避免無法進(jìn)行初匹配。在精配準(zhǔn)中，Dp應(yīng)依據(jù)初配準(zhǔn)得到的誤差測度f(q)進(jìn)行設(shè)置，一般設(shè)置為初配準(zhǔn)的0.01～0.1倍。

1.4 基于聚類算法的角果識別與數(shù)量統(tǒng)計(jì)

對于一幅油菜分枝的彩色圖像，采用1.2節(jié)的圖像預(yù)處理方法，得到分枝的二值圖像。角果的果柄細(xì)長，其尺寸遠(yuǎn)小于角果。因此，定義邊長為11的矩形結(jié)構(gòu)算子，對二值圖像進(jìn)行形態(tài)學(xué)“開”運(yùn)算，去掉角果的果柄，使得角果與主莖分離。在去除果柄的二值圖像中，主莖是最大的連通域。遍歷“開”運(yùn)算結(jié)果中的連通域(8鄰域)，去除面積最大的連通域，即可得到只包含角果的彩色圖像。將角果彩色圖像中非0像素點(diǎn)對齊到分枝深度圖像，得到只包含角果的深度圖像。處理流程和中間結(jié)果如圖3a所示。

使用本文的三維重建方法，將4個視角下的點(diǎn)云進(jìn)行配準(zhǔn)，得到分枝角果的融合點(diǎn)云。再使用歐氏聚類算法進(jìn)行單個角果點(diǎn)云的分割，并以KD-tree的形式存儲，分割效果如圖3b所示。具體操作步驟為：

(1)輸入KD-tree形式存儲的角果融合點(diǎn)云，設(shè)置初始的聚類參數(shù)，設(shè)置聚類需要的最少和最多點(diǎn)數(shù)量(Nmin,Nmax)，本文為(200,5 000)，Dp用于設(shè)置聚類搜索的直徑(本文為0.3 mm)。

(2)隨機(jī)選取點(diǎn)云中的某個點(diǎn)P1(屬于某個角果)，搜索離該點(diǎn)最近的n個點(diǎn)，并計(jì)算這n個點(diǎn)到P1的距離，將距離小于閾值Dp的點(diǎn)歸為Q類。

(3)在Q中除P1外找到任意一點(diǎn)P2，重復(fù)步驟(2)。

(4)直到?jīng)]有新點(diǎn)加入，完成搜索。輸出歸類的點(diǎn)云，可得到單個角果點(diǎn)云。類的數(shù)量即為角果數(shù)量。

(5)測試最佳的聚類參數(shù)。

圖3 角果點(diǎn)云的獲取和聚類分割Fig.3 Acquisition of pod point cloud and segmentation with Euclidean distance clustering

圖4 去除主莖的油菜分枝點(diǎn)云配準(zhǔn)過程與結(jié)果Fig.4 Process and results of point cloud registration of rape branch without main stem

2 結(jié)果與分析

2.1 點(diǎn)云配準(zhǔn)效果

使用 Kinect 傳感器獲得油菜分枝的彩色圖像和深度圖像后，融合圖像中的 RGB信息和深度信息獲得目標(biāo)場景原始三維點(diǎn)云信息。圖4展示了4個視角濾波后的分枝點(diǎn)云的配準(zhǔn)全過程。從圖4可以看出，不同視角下的點(diǎn)云在空間位置上存在較大差異。以角度1和角度2為例，初配準(zhǔn)的融合點(diǎn)云(經(jīng)典ICP配準(zhǔn)結(jié)果)的對應(yīng)位置非?？拷?，但整體上顯得較為雜亂，存在許多不切合的部位。經(jīng)過精配準(zhǔn)之后，整體上改進(jìn)非常大，可以明顯地觀察到角果的原始形態(tài)。在角度1、2與角度3、4的精配準(zhǔn)點(diǎn)云的再配準(zhǔn)環(huán)節(jié)，也存在類似的現(xiàn)象。兩個視角融合的點(diǎn)云經(jīng)過再次初配準(zhǔn)和精配準(zhǔn)之后，再次進(jìn)行點(diǎn)云濾波，最終得到了完整、精確的角果點(diǎn)云。

2.2 點(diǎn)云配準(zhǔn)算法誤差分析

為對點(diǎn)云配準(zhǔn)算法精確度進(jìn)行定量分析，通過計(jì)算配準(zhǔn)過程中對應(yīng)點(diǎn)間平均歐氏距離，對2個點(diǎn)云配準(zhǔn)誤差進(jìn)行評估。2個點(diǎn)云之間的對應(yīng)點(diǎn)距離越小，配準(zhǔn)誤差越小。本文對經(jīng)典ICP 算法和本文改進(jìn)的ICP 算法進(jìn)行了比較，結(jié)果如表1所示。從表 1可看出，本文改進(jìn)的配準(zhǔn)方法相較KD-tree加速的 ICP 算法，配準(zhǔn)誤差從1.13 mm下降到0.42 mm，配準(zhǔn)精度提升了62.8%。在計(jì)算時間上，本文算法相對于ICP 算法時間優(yōu)化效果明顯，從223.6 s下降到124.2 s。經(jīng)過對2個品種油菜大量分枝的測試，配準(zhǔn)距離誤差均控制在0.48 mm以內(nèi)，配準(zhǔn)時間均小于147 s，因此本文算法在快速性和穩(wěn)定性方面均得到了保證。由于ICP算法配準(zhǔn)精度較低，導(dǎo)致離群點(diǎn)較多，在點(diǎn)云濾波環(huán)節(jié)被剔除的點(diǎn)數(shù)量大，最終得到的點(diǎn)云數(shù)量比本文算法少。

表1 點(diǎn)云配準(zhǔn)算法性能測試結(jié)果Tab.1 Performance test results of two point cloud registration algorithms

2.3 角果識別與定位性能分析

為量化評估本文所提出角果識別和定位算法的準(zhǔn)確性和穩(wěn)定性，隨機(jī)選取2個品種的4個油菜植株共29個分枝進(jìn)行識別，分析角果識別結(jié)果和識別正確率，識別結(jié)果如表2 所示。由表2可以看出，本文提出的方法能取得較好的處理效果，整體識別正確率不小于96.76%。本文方法識別的角果數(shù)比實(shí)際數(shù)量小，主要有2個原因：①在圖像預(yù)處理環(huán)節(jié)，某些小角果被誤剔除。②在點(diǎn)云濾波環(huán)節(jié)，某些角果斷裂成小塊，誤認(rèn)為是離群噪聲而被剔除。一般而言，如果減小旋轉(zhuǎn)角度以更多的視角采集圖像，誤剔除的概率會減小，但計(jì)算時間會增加。

表2 角果識別與定位實(shí)驗(yàn)結(jié)果Tab.2 Experiments results of pod identification and positioning

3 結(jié)論

(1)提出了改進(jìn)的ICP算法，通過對ICP算法過程中近鄰搜索參數(shù)的改進(jìn)，對已知大概旋轉(zhuǎn)角度的兩個視角下的點(diǎn)云進(jìn)行兩次匹配，并采用KD-tree加速，大幅度提高了配準(zhǔn)精度和速度。

(2)對于成熟期的油菜植株，本文提出的基于RGB-D 相機(jī)的油菜分枝三維重建方法具有較高的穩(wěn)定性、準(zhǔn)確性和實(shí)時性，結(jié)合彩色圖像分割和點(diǎn)云濾波處理，4個視角配準(zhǔn)的點(diǎn)云精度較高，平均距離誤差均小于0.48 mm，滿足油菜角果三維重建的精度要求，單個角果的原始形態(tài)清晰可見。

(3)提出的方法可以有效分離單個角果，角果總體識別正確率不小于 96.76%。實(shí)驗(yàn)結(jié)果表明，該方法能夠快速構(gòu)建油菜分枝三維結(jié)構(gòu)并進(jìn)行高精度和高效的角果識別和定位。