基于雙目立體視覺(jué)的植物三維重建系統(tǒng)*

殷悅，張慧春，鄭加強(qiáng)

(1.南京林業(yè)大學(xué)機(jī)械電子工程學(xué)院，南京市，210037；2.泰州學(xué)院船舶與機(jī)電工程學(xué)院，江蘇泰州，225300)

0 引言

伴隨著農(nóng)林業(yè)信息化技術(shù)的迅速發(fā)展，應(yīng)用圖像處理技術(shù)的虛擬植物三維模型對(duì)作物生長(zhǎng)機(jī)理研究、產(chǎn)量預(yù)測(cè)、栽培措施制定、植物對(duì)環(huán)境的反應(yīng)研究以及農(nóng)林機(jī)械的設(shè)計(jì)都有著十分重要的意義[1-2]。其中植物三維重建是近年來(lái)全球的研究熱點(diǎn)。

模式植物基因組小、特征明顯、與人類密切相關(guān)，其選擇和利用對(duì)于開(kāi)展遺傳分析、基因克隆、功能研究和植保機(jī)械研究等都具有重要意義。擬南芥因?yàn)槠湫螒B(tài)簡(jiǎn)單、體型較小、生長(zhǎng)周期快等優(yōu)點(diǎn)被列為模式植物之一，經(jīng)常用于科學(xué)研究。

目前按照植物生長(zhǎng)三維重建的不同重點(diǎn)，主要分為基于模型的植物三維重建[3]、基于掃描數(shù)據(jù)集的植物三維重建[4-5]和基于圖像的植物三維重建[6](也稱基于機(jī)器視覺(jué)技術(shù)的植物三維重建)。Quan Long等[7]利用仿射分解的方法，在目標(biāo)植物周圍采集多幅圖像，恢復(fù)物體表面三維信息，實(shí)現(xiàn)了樹(shù)木和花草的三維建模。周云輝等[8]利用L系統(tǒng)構(gòu)造了水稻稻穗的仿真模型，模擬出的稻穗模型具有高度相似性和逼真性。王勇健等[9]在高質(zhì)量點(diǎn)云的基礎(chǔ)上生成葉片網(wǎng)格并進(jìn)行優(yōu)化，最后建立了高精度的植物葉片網(wǎng)絡(luò)模型。Rose J C等[10]利用基于圖像重建的番茄的三維模型，獲取了番茄的葉面積、主莖長(zhǎng)度和體積相關(guān)信息。成沁源等[11]通過(guò)單目視覺(jué)獲得玉米粒圖像，利用圖像處理獲得玉米粒輪廓數(shù)據(jù)，提出的玉米粒姿態(tài)識(shí)別算法檢測(cè)速度快，時(shí)效性好?；谀Ｐ偷闹参锶S重建可以直觀逼真地模擬一種動(dòng)態(tài)的形態(tài)變化和生長(zhǎng)規(guī)律，但是迭代過(guò)程復(fù)雜；基于掃描數(shù)據(jù)集的植物三維重建可以準(zhǔn)確掃描得到植物多角度的三維點(diǎn)云，但是匹配難度大，模型復(fù)雜、設(shè)備成本昂貴，而且要求目標(biāo)植物在掃描過(guò)程中保持靜止，否則會(huì)出現(xiàn)點(diǎn)云拼接精度降低，并且對(duì)于較小的植物掃描效果不是很好；基于機(jī)器視覺(jué)技術(shù)的植物三維重建，靈活性強(qiáng)、圖像獲取便捷、像素高、設(shè)備成本很低。綜上所述，從圖像中提取出信息進(jìn)行植物三維重建是最靈活最方便的，目前針對(duì)模式植物擬南芥的三維重建較少，且通常沒(méi)有特定的裝置來(lái)實(shí)現(xiàn)目標(biāo)物到相機(jī)之間相對(duì)位置的便捷調(diào)整，而相機(jī)標(biāo)定過(guò)程也與圖像采集過(guò)程為完全獨(dú)立的兩個(gè)步驟，所以本文選擇利用機(jī)器視覺(jué)技術(shù)來(lái)進(jìn)行虛擬植物擬南芥的三維重建，通過(guò)特定設(shè)計(jì)的機(jī)器視覺(jué)系統(tǒng)對(duì)擬南芥進(jìn)行多方位拍攝圖像來(lái)進(jìn)行三維建模。

1 立體視覺(jué)和相機(jī)標(biāo)定系統(tǒng)設(shè)計(jì)

構(gòu)建的擬南芥圖像采集雙目立體視覺(jué)系統(tǒng)用兩個(gè)相機(jī)同時(shí)對(duì)目標(biāo)植物擬南芥進(jìn)行圖像采集，通過(guò)JAI(Java advanced imaging，爪哇高級(jí)成像)control tools軟件將圖像信息從相機(jī)傳送到臺(tái)式機(jī)存儲(chǔ)供后期圖像處理。用Matlab對(duì)采集到的圖像進(jìn)行相機(jī)標(biāo)定得到相機(jī)的內(nèi)外參數(shù)，再進(jìn)行擬南芥圖像的畸變校正、極線校正和圖像分割。用OpenCV對(duì)圖像處理過(guò)的兩幅圖像進(jìn)行SURF(Speeded Up Robust Features，加速魯棒特征)特征檢測(cè)、SIFT(Scale Invariant Feature Transform，尺度不變特征轉(zhuǎn)換)特征匹配和RANSAC(Random Sample Consensus，隨機(jī)抽樣一致性法)去除誤匹配，得到精確匹配過(guò)的兩幅圖像。同時(shí)，得到經(jīng)過(guò)匹配的特征點(diǎn)的二維數(shù)據(jù)，根據(jù)相機(jī)的內(nèi)外參數(shù)轉(zhuǎn)換得到擬南芥上特征點(diǎn)的空間三維坐標(biāo)，并得到點(diǎn)云模型。利用OpenGL對(duì)點(diǎn)云進(jìn)行三角剖分得到點(diǎn)到面的轉(zhuǎn)換，再進(jìn)行紋理貼合得到具有紋理信息和幾何信息的擬南芥虛擬生長(zhǎng)模型。擬南芥雙目立體視覺(jué)系統(tǒng)工作原理如圖1所示。

圖1 擬南芥圖像采集雙目立體視覺(jué)系統(tǒng)原理框圖

本文為了實(shí)現(xiàn)擬南芥到相機(jī)之間相對(duì)距離的調(diào)節(jié)，以及在標(biāo)定過(guò)程中，根據(jù)不同的位置要求能夠?qū)崿F(xiàn)標(biāo)定板沿著三個(gè)坐標(biāo)軸的移動(dòng)和繞著三個(gè)坐標(biāo)軸的轉(zhuǎn)動(dòng)等六個(gè)自由度的運(yùn)動(dòng)，將擬南芥圖像采集系統(tǒng)與相機(jī)標(biāo)定系統(tǒng)相結(jié)合，如圖2(a)所示為三維臺(tái)架示意圖，圖2(b)所示為試驗(yàn)臺(tái)實(shí)物。圖2中，擬南芥位置固定，用兩個(gè)內(nèi)部參數(shù)相同的相機(jī)，在擬南芥同一側(cè)正對(duì)面間隔約80 mm保持平行并且前后高度一致，鏡頭與豎直方向成60°，可同時(shí)采集到較全面的擬南芥兩幅生長(zhǎng)圖像。

(a)三維臺(tái)架示意圖

2 擬南芥圖像采集的相機(jī)標(biāo)定及圖像預(yù)處理

2.1 擬南芥圖像采集相機(jī)標(biāo)定

本文選用張正友標(biāo)定法[12]進(jìn)行相機(jī)標(biāo)定，得到本文兩個(gè)相機(jī)的內(nèi)外參數(shù)，分別如表1和表2所示。

表1 相機(jī)內(nèi)參數(shù)

表2 相機(jī)2相對(duì)相機(jī)1的外參數(shù)

其中，fx，fy為相機(jī)焦距的像素單位表達(dá)，u0，v0為相機(jī)主點(diǎn)在像素坐標(biāo)系上的坐標(biāo)，k1，k2為相機(jī)的畸變系數(shù)。

根據(jù)相機(jī)標(biāo)定中像素坐標(biāo)到世界坐標(biāo)的轉(zhuǎn)換關(guān)系式[13]，當(dāng)?shù)玫絻煞鶖M南芥圖像上的特征點(diǎn)的二維坐標(biāo)時(shí)，根據(jù)相機(jī)標(biāo)定的內(nèi)外參數(shù)，可以得到特征點(diǎn)在空間的唯一三維坐標(biāo)。

2.2 擬南芥圖像校正

由于通過(guò)廣角鏡頭拍攝到的圖像一般具有桶形畸變，所以必須進(jìn)行幾何畸變校正來(lái)消除畸變從而獲得一幅無(wú)畸變的寬視野圖像[14]。同時(shí)為了后期匹配的精度和速度，需要利用相機(jī)標(biāo)定的參數(shù)對(duì)左右兩幅擬南芥圖像進(jìn)行極線校正[15]，使得因相機(jī)關(guān)系導(dǎo)致的左右圖像的點(diǎn)不在同一水平線上這一現(xiàn)象得到校正。本文采集到的兩個(gè)相機(jī)的擬南芥原始圖以及預(yù)處理過(guò)后的圖像分別如圖3和圖4所示。

(a)相機(jī)1采集的擬南芥原始圖

(a)相機(jī)1采集的擬南芥圖像校正圖

經(jīng)過(guò)校正之后，左右兩幅圖像消除了桶形畸變，且兩幅擬南芥圖像上的同一點(diǎn)是在同一水平線上面的，這使得后期的特征點(diǎn)提取匹配在速度和精度上面都得到了一定的提升。

2.3 擬南芥圖像分割

為了能單一地處理植物，減少后期擬南芥圖像特征點(diǎn)提取和匹配的多余工作量和誤匹配，保證后期擬南芥三維信息的精度，本文選擇在RGB(紅、綠、藍(lán))模型上進(jìn)行彩色擬南芥圖像的分割。根據(jù)擬南芥的顏色特點(diǎn)，先提取綠(G)分量，根據(jù)不同閾值的比較選擇閾值35進(jìn)行二值化，再獲取最大連通區(qū)域來(lái)實(shí)現(xiàn)擬南芥與背景的分割。具體過(guò)程如圖5所示。

圖5 圖像分割過(guò)程圖

3 擬南芥圖像立體匹配

擬南芥圖像立體匹配主要是根據(jù)對(duì)所選擬南芥圖像特征的計(jì)算，建立特征間的對(duì)應(yīng)關(guān)系，將從不同擬南芥圖像中檢測(cè)到的投影點(diǎn)與擬南芥相應(yīng)空間點(diǎn)對(duì)應(yīng)起來(lái)，計(jì)算兩幅擬南芥圖像的二維信息，通過(guò)相機(jī)參數(shù)進(jìn)而得到擬南芥的三維信息，重建出擬南芥空間三維點(diǎn)。

由于擬南芥本身形態(tài)簡(jiǎn)單，色彩單一，特征點(diǎn)不容易提取，本文通過(guò)在擬南芥上人工添加特征點(diǎn)的方式來(lái)增強(qiáng)特征識(shí)別，通過(guò)試驗(yàn)分析比較SURF算法[16-18]和SIFT算法[19-21]相互結(jié)合的擬南芥特征檢測(cè)匹配的效果，又利用基于RANSAC算法[22-23]估計(jì)單應(yīng)矩陣[24-26]方法去除在立體匹配過(guò)程中因?yàn)樾D(zhuǎn)或者光照等原因?qū)е碌臄M南芥特征誤匹配，根據(jù)最終的擬南芥的特征匹配的效果，確定了SURF特征檢測(cè)算法和SIFT特征匹配算法的結(jié)合方法，完成了擬南芥圖像的特征檢測(cè)、匹配和去除誤匹配，如圖6所示。

圖6 擬南芥去除誤匹配效果圖

4 擬南芥三維重建

根據(jù)擬南芥圖像的特征匹配的結(jié)果，可以得到擬南芥兩幅不同視角下的圖像上經(jīng)過(guò)誤匹配刪除后的特征點(diǎn)的二維坐標(biāo)，再根據(jù)校正后的相機(jī)參數(shù)，可轉(zhuǎn)換得到擬南芥的各個(gè)特征點(diǎn)在空間的三維坐標(biāo)，這些三維坐標(biāo)就代表了擬南芥上被提取出來(lái)的特征點(diǎn)在空間上的位置，這些位置的集合體就是擬南芥的空間點(diǎn)云信息。對(duì)擬南芥的空間點(diǎn)云進(jìn)行三角剖分[27-29]后再進(jìn)行紋理貼合[30]，得到同時(shí)具有幾何信息和紋理信息的擬南芥紋理映射三維模型，添加了紋理信息的擬南芥三維模型效果比空間點(diǎn)云構(gòu)成的三維模型更加逼真，并且可以看到擬南芥本身的顏色信息。

5 基于人機(jī)互動(dòng)的擬南芥三維重建系統(tǒng)設(shè)計(jì)

本文設(shè)計(jì)的基于機(jī)器視覺(jué)技術(shù)的模式植物三維重建的人機(jī)交互系統(tǒng)的流程圖，如圖7所示。人機(jī)交互系統(tǒng)過(guò)程圖如圖8所示。

圖7 模式植物三維重建人機(jī)交互系統(tǒng)流程圖

圖8 人機(jī)交互系統(tǒng)過(guò)程圖

為了能對(duì)擬南芥以及其他模式植物圖像的三維重建提供三維重建人機(jī)交互系統(tǒng)，本文設(shè)計(jì)將整個(gè)擬南芥的三維重建過(guò)程集成為一個(gè)界面，用戶可以通過(guò)點(diǎn)擊界面的按鈕選擇自己想要重建的模式植物的兩幅不同視角的圖像，通過(guò)修改后臺(tái)程序達(dá)到理想的圖像處理效果，每一步驟都以將近一秒的速度進(jìn)行，整個(gè)重建過(guò)程持續(xù)僅30 s左右，有很好的實(shí)時(shí)性，并對(duì)整個(gè)過(guò)程演示、直觀解釋、后續(xù)拓展研究和其他模式植物的三維重建發(fā)揮作用。

6 擬南芥三維重建系統(tǒng)的驗(yàn)證

本文使用Meshlab點(diǎn)云處理軟件進(jìn)行參數(shù)的提取，因?yàn)閿M南芥本身體型較小，葉片，莖稈為主要器官，所以本文對(duì)同一批在智能人工氣候箱(參數(shù)為光照時(shí)間16 h，黑暗8 h，光照強(qiáng)度為150 μmol/(m2·s)，溫度為25 ℃，濕度為50%RH。)種植的生長(zhǎng)了40天的60盆擬南芥提取同一位置的葉片的葉長(zhǎng)、葉寬和莖稈長(zhǎng)度，將軟件測(cè)量值與人工測(cè)量值進(jìn)行對(duì)比。擬南芥葉片長(zhǎng)度的軟件測(cè)量值為縱坐標(biāo)，分析出擬南芥葉片長(zhǎng)度的軟件測(cè)量值與真實(shí)值的線性擬合圖(圖9)以及擬南芥葉片長(zhǎng)度的軟件測(cè)量值與真實(shí)值之間的對(duì)比關(guān)系圖(圖10)。

圖9 擬南芥葉片長(zhǎng)度的軟件測(cè)量值與真實(shí)值的線性擬合圖

圖10 擬南芥葉片長(zhǎng)度的軟件測(cè)量值與真實(shí)值的數(shù)據(jù)對(duì)比圖

從圖9看出，擬合的擬南芥葉片長(zhǎng)度的軟件測(cè)量值與真實(shí)值之間的線性方程為y=0.986x-0.180 3，擬南芥葉片長(zhǎng)度的軟件測(cè)量值與真實(shí)值之間的相關(guān)系數(shù)R2=0.940 4，說(shuō)明擬南芥長(zhǎng)度的軟件測(cè)量值與真實(shí)值的數(shù)據(jù)相關(guān)性很高。從圖10可以看出，擬南芥葉片長(zhǎng)度的真實(shí)值附近的誤差線為真實(shí)值的5%的正負(fù)誤差線，擬南芥葉片長(zhǎng)度的軟件測(cè)量值與真實(shí)值之間的差距很小，且基本都在誤差線范圍之內(nèi)。

同樣通過(guò)對(duì)擬南芥葉片寬度的尺寸對(duì)比，擬合的擬南芥葉片寬度的軟件測(cè)量值與真實(shí)值之間的線性方程為y=1.007 4x-0.513 9，相關(guān)系數(shù)R2=0.974，擬南芥葉片寬度的軟件測(cè)量值與真實(shí)值之間的誤差很小，基本都在正負(fù)5%的誤差線以內(nèi)。擬南芥莖稈長(zhǎng)度擬合的線性方程為y=0.973 7x+1.538 5，相關(guān)系數(shù)R2=0.986 2，擬南芥莖稈長(zhǎng)度的軟件測(cè)量值與真實(shí)值之間的誤差很小，基本都在擬南芥莖稈長(zhǎng)度真實(shí)值的5%誤差線范圍以內(nèi)。

綜上所述，通過(guò)對(duì)多盆擬南芥進(jìn)行建模和參數(shù)驗(yàn)證，本文重建的擬南芥模型穩(wěn)定性和可靠度都較高，對(duì)能提取出特征信息的模式植物擬南芥均可以進(jìn)行逼真的三維模型的建立。

7 結(jié)論

本文研究了基于機(jī)器視覺(jué)技術(shù)的模式植物擬南芥的三維模型，在分析研究現(xiàn)代植物模型建立發(fā)展的基礎(chǔ)上，通過(guò)雙目視覺(jué)圖像采集及相機(jī)標(biāo)定、圖像校正與預(yù)處理、檢測(cè)和匹配圖像特征點(diǎn)、二維信息到三維信息轉(zhuǎn)化等，實(shí)現(xiàn)模式植物擬南芥三維重建模型，并得到以下主要結(jié)論。

1)研制的擬南芥雙目視覺(jué)圖像采集系統(tǒng)結(jié)合相機(jī)標(biāo)定的三維試驗(yàn)臺(tái)架，可以滿足模式植物的多方位圖像采集、模式植物到相機(jī)之間相對(duì)位置的調(diào)節(jié)以及標(biāo)定板相對(duì)相機(jī)的位置的固定。

2)相對(duì)于本文列出的幾種其他的特征檢測(cè)匹配方法，通過(guò)SURF特征檢測(cè)結(jié)合SIFT特征匹配以及RANSAC結(jié)合單應(yīng)性矩陣，得到的擬南芥圖像的特征檢測(cè)、匹配和去除誤匹配的效果更好。

3)設(shè)計(jì)的基于機(jī)器視覺(jué)技術(shù)的模式植物三維重建人機(jī)交互系統(tǒng)，整個(gè)模式植物擬南芥三維重建過(guò)程持續(xù)僅30 s左右，滿足實(shí)時(shí)性要求，同時(shí)，通過(guò)對(duì)多盆擬南芥進(jìn)行建模和參數(shù)驗(yàn)證，擬南芥葉片長(zhǎng)度、寬度和莖稈長(zhǎng)度的軟件測(cè)量值與真實(shí)值之間的相關(guān)系數(shù)R2分別為0.940 4，0.974，0.986 2，且軟件測(cè)量值都在真實(shí)值的5%誤差線范圍以內(nèi)，確定了本文重建的擬南芥模型系統(tǒng)的可靠性。