基于序列圖像的蘋果樹三維點云模型獲取

樊景超++丘耘++周國民

doi：10.15889/j.issn.1002-1302.2016.10.110

摘要：圍繞蘋果樹每10°～20°采集1幅圖像形成蘋果樹的序列圖像。首先匹配圖像特征點構(gòu)建稀疏點云，再利用多視點視覺技術(shù)（patch-based multi-view stereo，簡稱PMVS）構(gòu)建果樹的稠密點云。對蘋果樹不同物候期的三維點云獲取結(jié)果表明，葉片的方向各異性以及稠密度對蘋果樹的重建效果有重要影響，可為植物建模、虛擬修剪試驗和植物拓?fù)浣Y(jié)構(gòu)分析等提供參考。

關(guān)鍵詞：序列圖像；蘋果樹；模型；三維點云

中圖分類號： S126文獻(xiàn)標(biāo)志碼： A文章編號：1002-1302（2016）10-0375-04

收稿日期：2015-08-20

基金項目：國家“863”計劃（編號：2013AA102405）；中國農(nóng)業(yè)科學(xué)院創(chuàng)新工程（編號：CAAS-ASTIP-2015-AII-03）。

作者簡介：樊景超（1980—），男，遼寧沈陽人，博士，助理研究員，從事農(nóng)業(yè)信息技術(shù)的科研工作。E-mail：fanjingchao@caas.cn。

通信作者：周國民，博士，研究員，博士生導(dǎo)師，從事農(nóng)業(yè)信息技術(shù)的科研工作。E-mail：zhouguomin@caas.cn。我國是水果大國，總產(chǎn)量居世界首位[1]。但是，我國出口水果情況不容樂觀，主要存在3個方面的問題[2-4]：（1）占比低，我國水果出口量僅占世界總出口量的3%，遠(yuǎn)低于其他主要水果生產(chǎn)國10%的比例；（2）結(jié)構(gòu)單一，我國水果出口品種，主要集中在蘋果、梨、柑橘以及其他堅果；（3）價格低，我國出口水果價格僅為國際市場平均價格的一半。導(dǎo)致果農(nóng)增產(chǎn)不增收的本質(zhì)原因是果業(yè)生產(chǎn)管理過程中的重栽輕管、廣種薄收、重數(shù)量輕質(zhì)量，優(yōu)質(zhì)果只占總量的30%[5]。如何提高我國水果的產(chǎn)量與品質(zhì)已成為我國水果產(chǎn)業(yè)中亟待解決的核心問題。隨著現(xiàn)代信息技術(shù)的快速發(fā)展，信息技術(shù)用于果園管理已取得了較大的進(jìn)展，并呈現(xiàn)出數(shù)字化、智能化、機(jī)械化、集成化的發(fā)展趨勢[6]。果樹的樹體結(jié)構(gòu)對樹木的生長和產(chǎn)量具有重要的影響，如枝條數(shù)量、枝條長度和枝條空間分布[7]。這些因素影響樹體光截獲，進(jìn)而影響果樹產(chǎn)量和果實質(zhì)量。在果樹栽培和生產(chǎn)實踐中，通過對果樹冠層三維結(jié)構(gòu)的研究，可為合理的果樹整形提供量化依據(jù)[8]。

與株型簡單的小麥、玉米等一年生作物不同，蘋果果樹生長期較長、形態(tài)（葉型、枝型、株型）時空變異性強、植株形體高大，使得此方面的研究進(jìn)展相對較為緩慢[9]。三維點云模型具有豐富的信息表現(xiàn)力，不但包含植物器官的三維坐標(biāo)信息，還可以包含RGB顏色以及法線等信息。三維激光掃描設(shè)備精度高，能夠完整地重構(gòu)模型，但是這些設(shè)備在果園等野外條件下不便使用，而且價格昂貴。這些都使得該項技術(shù)的應(yīng)用范圍受到限制?；谛蛄袌D像的三維重建方法近年來日趨成熟，獲得三維點云模型精度逐步提高。該方法只需要使用普通攝像機(jī)即可，相對成本低，具有很廣闊的研究前景。本研究嘗試使用該方法獲取蘋果樹在不同物候期的三維點云模型。

1材料與方法

本研究選用的果樹來自北京市順義區(qū)雙河果園，該園位于京郊順義城區(qū)（40° 8′N、116° 43′E），海拔32 m，占地面積66.7 hm2，屬大陸性季風(fēng)氣候區(qū)，年均溫度11.3 ℃，冬季平均氣溫-1.7 ℃，年均降水量620 mm左右，冬季平均相對濕度為45%，冬季日照時間為517 h[10]。所選蘋果樹枝條空間分布均勻，葉片沒有明顯遮擋。所選果樹與相鄰果樹無枝條鄰接現(xiàn)象，且行距與間距滿足相機(jī)拍攝要求，以單幅照片能包含整株果樹的樹冠為準(zhǔn)。

本研究使用的數(shù)碼相機(jī)型號為Canon EOS 700D（18～55 mm），拍攝時的鏡頭焦距固定為5 mm，采用自動曝光模式，圖像分辨率 5 284×3 456像素。從4月初開始每周選取無風(fēng)或微風(fēng)天氣，以果樹為中心，圍繞果樹每轉(zhuǎn)10°～20°拍1張，確保形成連續(xù)的果樹圖像序列?？紤]到果樹枝條在空間方向各異，圍繞果樹在不同高度進(jìn)行多次拍攝更好。圖1-a為本試驗在果園中選取的處于萌芽期的蘋果樹，圖1-b是使用本方法采集的蘋果樹多幅序列圖像?；谛蛄袌D像進(jìn)行三維點云重建的核心是匹配圖片之間的特征點，因此在拍攝照片時盡量保證同一枝條能從2個以上的角度進(jìn)行拍攝。

2三維點云模型的獲取

基于序列圖像提取物體的三維坐標(biāo)，核心思想是根據(jù)圖像中點位置信息，恢復(fù)出點在三維場景中的三維坐標(biāo)。果樹三維點云獲取有2個基本階段：第1階段從所有圖像上提取特征點，通過特征點匹配、重建，得到種子點形成稀疏點云；第2階段將種子點向周圍擴(kuò)散得到稠密的空間點云[11]。完成上述步驟后經(jīng)過簡單的背景切除得到果樹自身的三維點云。

2.1構(gòu)建稀疏點云

構(gòu)建稀疏點云的難點在于從無序圖像中查找匹配點，但是如果對每個像素點都在其他無序圖像中進(jìn)行匹配查找，計算量會非常大，同時圖像中會包含很多噪聲點，對于匹配點的查找會起到干擾作用。通過檢測多幅未標(biāo)定圖像中的特征點集合和匹配信息，利用不同圖像之間幾何初始化投影來映射結(jié)構(gòu)，再利用自標(biāo)定方法免去相機(jī)的自我標(biāo)定過程。其結(jié)合尺度不變特征轉(zhuǎn)換[12-14]（scale invariant feature transform，簡稱SIFT）算法檢測到特征點集和匹配信息，并利用由Lourakis等研究的稀疏捆集調(diào)整（sparse bundle adjustment，簡稱SBA）開發(fā)包[15]進(jìn)行優(yōu)化處理以獲取更為精確的三維點云數(shù)據(jù)。但是SBA算法仍存在運行效率上的不足，因此本研究參照Wu等提出基于多核中央處理器（central processing unit，簡稱CPU）、圖形處理器（graphics prccessing unit，簡稱GPU）改進(jìn)的并行捆集調(diào)整（parallel bundle adjustment，簡稱PBA）算法[16]提高運行的速度。

圖2顯示的是使用多幅果樹圖像重建的三維稀疏點云模型，同時根據(jù)計算得到的相機(jī)參數(shù)以及場景的相關(guān)信息將序列圖像顯示出來。

2.2重構(gòu)稠密點云

將之前獲得的果樹稀疏點云數(shù)據(jù)及相機(jī)參數(shù)，輸入至Furukawa等開發(fā)的基于多視點視覺技術(shù)（patch-based multi-view stereo，簡稱PMVS）的三維重建算法[17-20]，通過重復(fù)面片擴(kuò)展和誤差濾波步驟，獲取果樹三維秘密點云。PMVS的目標(biāo)是得到場景中物體表面的描述，并使得此描述信息盡量豐富。使用SIFT算法檢測出的特征點，通過歸一化互相關(guān)函數(shù)確定匹配點對，得到重建對象的稀疏點云，可以大概地描述出它的輪廓，但是重建對象的表面信息并不能很好地被描述。因此需要對圖像中的信息實現(xiàn)最大化描述，將稀疏點云通過擴(kuò)展和過濾進(jìn)一步擴(kuò)展為稠密點云，使得描述的重建對象表面信息更完整。PMVS使用的是面片擴(kuò)展原理，該原理利用光度一致性原理將1組稀疏匹配點擴(kuò)展至周圍像素以獲取稀疏點周圍稠密點云，而誤差濾波步驟則是利用全局可見性約束原理去除錯誤的匹配[11]。

PMVS生成ply格式文件用于存儲稠密點云數(shù)據(jù)，本試驗使用點云庫（point clouds library，簡稱PCL）將系統(tǒng)生成的三維稠密點云進(jìn)行可視化顯示（圖3），使用本研究方法不但得到了完整的果樹的三維點云數(shù)據(jù)， 同時在序列圖像中匹配點最多的地面也生成了稠密點云。

2.3點云去噪

從圖3可以看出，除了果樹自身的三維形態(tài)點云外，還包含要面臨的2個方面的噪聲數(shù)據(jù)：一是地面噪聲，使用相機(jī)圍繞果樹進(jìn)行拍照過程不可避免地要帶入果樹所在的地面點云信息，而這部分信息與物體完全無關(guān)，從而增大了點云的數(shù)據(jù)量；二是相鄰果樹枝條的干擾，理想情況下應(yīng)該選取1株單獨的果樹作為研究對象，但本研究所選取的試驗對象均在野外的果園中，在實際環(huán)境中很難做到這一點，因此這部分的點云數(shù)據(jù)也作為噪聲數(shù)據(jù)必須進(jìn)行去除。

從圖3中不難看出，同一物體的點云聚集在一起，不同物體的點云在三維空間上存在一定的空間距離，因此非常適合使用直通濾波器進(jìn)行噪聲去除。直通濾波器是根據(jù)用戶指定的單一維度實行濾波，即去掉在用戶指定范圍內(nèi)部或外部的點。使用直通濾波器之前首先使用點云庫（point clouds library，簡稱PCL）的k-d tree API獲取場景點云在三維坐標(biāo)上的最大、最小值。通過直通濾波器采取逐步逼近的辦法過濾場景點云數(shù)據(jù)并進(jìn)行可視化顯示，通過人的主觀經(jīng)驗判斷確定最佳點云提取值。圖4是使用該方法后得到的完整果樹點云模型，可見模型完整保留了自身的三維坐標(biāo)和RGB顏色信息，證明去噪方法的有效性。

3物候期蘋果樹點云模型

在對蘋果樹枝干進(jìn)行三維形態(tài)模型獲取后，為了進(jìn)一步驗證本方法的有效性，在果園內(nèi)選擇開花、展葉、結(jié)果等不同物候期的蘋果樹進(jìn)行三維點云獲取，以驗證本方法的有效性和適用范圍。在果園選擇樹高和冠層直徑相近并符合拍照條件的4株果樹進(jìn)行三維點云獲取的試驗，由此形成的對比結(jié)果見圖5至圖8。從點云圖中不難看出，果樹葉片的遮擋對于點云模型有著決定性的影響，造成了點云模型的部分丟失。

4結(jié)論與討論

使用序列圖獲取蘋果樹的三維點云數(shù)據(jù)，操作時間短，不需要專用的激光掃描設(shè)備，大大降低了果樹三維點云模型的研究門檻。從本試驗結(jié)果看，該方法適用于枝干明顯的果樹，對于樹葉遮擋比較嚴(yán)重的果樹，尚無法建立其完整的點云模型，需要在以后的研究中進(jìn)一步探討。

參考文獻(xiàn)：

[1]霍尚一. 中國水果出口貿(mào)易影響因素的實證分析[D]. 杭州：浙

江大學(xué)，2008.

[2]張磊. 中國水果出口影響因素及競爭力的研究[D]. 無錫：江南大學(xué)，2013.

[3]伍小梅. 深加工視角下我國水果業(yè)的出口競爭力研究[D]. 長沙：湖南大學(xué)，2006.

[4]樓軍文. 中國水果進(jìn)出口檢驗檢疫技術(shù)性貿(mào)易措施研究[D]. 北京：中國農(nóng)業(yè)大學(xué)，2005.

[5]林如泉. 水果出口跨越技術(shù)性貿(mào)易壁壘的對策研究[D]. 武漢：華中農(nóng)業(yè)大學(xué)，2007.

[6]周國民. 數(shù)字果園研究現(xiàn)狀與應(yīng)用前景展望[J]. 農(nóng)業(yè)展望，2015，11（5）：61-63，81.

[7]章蘭芬. 蘋果樹體結(jié)構(gòu)原位數(shù)字化及分形特征研究[D]. 楊凌：西北農(nóng)林科技大學(xué)，2012.

[8]馬曉丹. 蘋果樹冠層光照分布計算方法研究[D]. 北京：中國農(nóng)業(yè)大學(xué)，2015.

[9]李春友. 農(nóng)林復(fù)合系統(tǒng)中核桃冠層結(jié)構(gòu)動態(tài)模擬研究[D]. 北京：中國林業(yè)科學(xué)研究院，2012.

[10]俞立恒，毛培春，孟林，等. 京郊果園種植幾種優(yōu)質(zhì)果園草覆蓋越冬技術(shù)研究[J]. 草業(yè)科學(xué)，2009，26（6）：166-171.

[11]楊捷. 異構(gòu)環(huán)境下點云重建的并行化研究[D]. 銀川：寧夏大學(xué)，2014.

[12]Lowe D G. Object recognition from local scale-invariant features[C]//Proceedings of the International Conference on Computer Vision. Washingtom，USA：IEEE Computer Society，1999：1150-1157.

[13]Lowe D G. Distinctive image features from scale-invariant key points[J]. International Journal of Computer Vision，2004，60（2）：91-110.

[14]Lowe，G D. Local feature view clustering for 3D object recognition[C]. IEEE Conference on Computer Vision and Pattern Recognition. Kauai，Hawaii，USA：IEEE，2001：682-688.

[15]Lourakis M，Argyros A. The design and implementation of a generic sparse bundle adjustment software package based on the Levenberg-Marquardt algorithm[R]. Technical Report No. 340，Institute of Computer Science，F(xiàn)ORTH，Heraklion，Crete，Greece，2014.

[16]Wu C，Agarwal S，Curless B，et al. Multicore bundle adjustment[C]. IEEE Conference on Computer Vision and Pattern Recognition. Cdorado，USA：IEEE，2011，30：57-3064.

[17]Furukawa Y，Ponce J. Accurate，dense，and robust multiview stereopsis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32（8）：1362-1376.

[18]Furukawa Y，Curless B，Seitz S M，et al. Manhattan-world Stereo[C]. CVPR：2009 IEEE Conference on Computer Vision and Pattern Recognition. Miami，USA：IEEE，2009：1422-1429.

[19]Furukawa Y，Ponce J. Carved visual hulls for image-based modeling[J]. International Journal of Computer Vision，2009，81（1）：53-67.

[20]Furukawa Y，Cxirless B，Seitz S M，et al. Towards internet-scale multi-view stereo[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. San Francisco，USA：IEEE，2010：1434-1441.