基于機器視覺的農(nóng)作物植株器官分離方法

郭樹濤

（青島浩謙信息科技有限公司，山東 青島 266000）

目前植株的三維掃描與測量都是直接使用點云數(shù)據(jù)，利用圖像軟件建模，很少對點云數(shù)據(jù)進行分類識別，實現(xiàn)植物器官分離。根據(jù)相關(guān)學(xué)者的調(diào)研，迄今為止，尚未出現(xiàn)一種行之有效的植物點云數(shù)據(jù)分類方法?，F(xiàn)有文獻就此問題的分析主要集中于以下幾方面：分別以樹冠、枝干、地面為目標的分類方法，主要適用于大范圍景物識別，無法實現(xiàn)單木精細植物器官分類；構(gòu)造散點空間分布特征，使用支持向量機（Support vector machine，SVM）對葡萄藤的植物結(jié)構(gòu)進行了分類，但并沒有充分考慮葉面與枝干的幾何形態(tài)特性；結(jié)合葉面與枝干的幾何形態(tài)特點，考慮流形結(jié)構(gòu)特性，構(gòu)造局部切平面分布特征，從而組成多維融合特征，以期提高分類效果，但使用方法并沒有實現(xiàn)全自動化枝葉分離，前期仍需人工標記部分訓(xùn)練樣本，而且訓(xùn)練樣本的標定在一定程度上受到人為因素制約。

本文在上述工作基礎(chǔ)上，基于多攝像機線結(jié)構(gòu)光集成的三維重建系統(tǒng)進行農(nóng)作物植株重建，并基于重建點云進行農(nóng)作物植株器官分離。文本方法具體流程如下：首先，將農(nóng)作物植株三維點云投影至二維平面形成投影圖像，并用農(nóng)作物圖像區(qū)域分割模型檢測二維圖像中農(nóng)作物植株莖干和葉片區(qū)域；其次，根據(jù)二維投影圖像與三維點云對應(yīng)關(guān)系獲取莖干和葉片的大致三維點云區(qū)域；最后，根據(jù)莖干點云區(qū)域和K均值聚類算法實現(xiàn)植株的器官分離。

1 材料與方法

1.1 試驗系統(tǒng)介紹

基于多攝像機線結(jié)構(gòu)光集成的農(nóng)作物植株重建系統(tǒng)由3個CCD工業(yè)相機、3個濾光片、2個線性激光發(fā)射器、測試機架、測試平臺、一臺計算機組成，圖1所示為該系統(tǒng)局部。

圖1 農(nóng)作物植株重建系統(tǒng)（局部）

本文采用大恒圖像公司型號為MER-500-14GC-P的攝像機和型號為LM3NCM的鏡頭，采用532nm波長綠色光源的線性激光器。由于綠色葉片在紅光和藍光波段有吸收峰，所以我們選擇綠光激光器進行激光掃描，且為了增強激光條紋的對比度，以獲得更高的精度，我們在每個相機的鏡頭上加上了中心波長為532nm的窄帶濾光片。

將線性激光器與攝像機固定為掃描探頭，相對位置始終保持不變，等間距分別固定安裝在機架3個位置。2臺激光器發(fā)出的線性激光保持在同一平面且平行于測試平臺，相機向下傾斜與激光器保持固定角度。機架與運動卡連接，步進電機與運動卡連接，通過IabVIEW編程控制實現(xiàn)機架上下運動。

系統(tǒng)啟動后，步進電機控制機架和掃描探頭從上到下勻速進行掃描時，線性激光器投射激光條紋至待測植株表面，3部攝像機通過信號發(fā)生器實現(xiàn)圖像同步采集，采集所得圖像數(shù)據(jù)通過網(wǎng)卡送入計算機進行實時三維重建，待掃描探頭從上掃描至最下端時完成整個農(nóng)作物植株的三維重建與器官點云分離。

1.2 全局校準

對于多攝像機的重建系統(tǒng)，單個攝像機坐標系之間彼此獨立，因此需要利用全局校準方法將每個攝像機的局部坐標系統(tǒng)一到全局坐標系下，即確定各個攝像機坐標系到全局坐標系的旋轉(zhuǎn)矩陣及平移矩陣。

本系統(tǒng)安裝了3組掃描探頭，利用攝像機標定方法和線結(jié)構(gòu)光激光條紋圖像重建每個攝像頭視角下的植株三維點云。為了將獲取的三維點云能夠有機拼接起來，將1號攝像機坐標系作為基準坐標系，然后將其他攝像機坐標系全局校準至基準坐標系下。全局校準就是計算其他攝像機坐標系到基準坐標系的旋轉(zhuǎn)平移矩陣。各攝像機坐標系的轉(zhuǎn)換關(guān)系為：

其中：Rn為兩個相機之間的3×3旋轉(zhuǎn)矩陣；Tn為兩個相機之間的3×1平移向量。

利用等式（1）通過計算兩兩攝像機之間的旋轉(zhuǎn)平移矩陣，確定所有的攝像機坐標系到基準坐標系之間的旋轉(zhuǎn)平移矩陣，則可將各個相機下得到的三維點云數(shù)據(jù)進行統(tǒng)一。

1.3 農(nóng)作物植株三維重建

1.3.1 農(nóng)作物植株三維點云獲取

采用基于光條骨架的灰度重心法提取光條中心，并利用每個攝像機標定參數(shù)，則可獲取每個攝像機視角下的三維點云，然后利用全局校準方法將所有三維點云調(diào)整至統(tǒng)一坐標系下，完成三維點云的拼接，得到初始的植株三維點云。

農(nóng)作物植株掃描采集現(xiàn)場及獲取的點云結(jié)果如圖2所示，從圖中可以看出，系統(tǒng)能夠完好重建整個農(nóng)作物植株表面模型。

圖2 掃描工作現(xiàn)場及掃描點云數(shù)據(jù)

1.3.2 點云去噪

基于多攝像機線結(jié)構(gòu)光集成方法進行圖像采集，利用全局校準方法完成點云拼接，一定程度上會造成拼接部分有點云數(shù)據(jù)冗余問題。為此，本文利用前人已經(jīng)給出的較好的解決方法，對已拼接完成的三維點云進行內(nèi)部高頻點云去除。一方面避免后續(xù)三角構(gòu)網(wǎng)過程中出現(xiàn)錯誤，提高了三維重建的精度；另一方面減少了三維點云的數(shù)據(jù)量，提高了運算時間。點云去噪效果如圖3所示，從圖中可以看出，拼接部分的離散高頻點云變得精簡有序。

圖3 點云去噪效果

1.4 農(nóng)作物植株器官分離

利用本系統(tǒng)掃描重建農(nóng)作物植株后，需要進行農(nóng)作物植株器官點云分離。具體的農(nóng)作物植株器官點云分離方法如下：首先，將獲取的植株三維點云投影至YOZ平面，形成農(nóng)作物植株二維投影點，并利用三角構(gòu)網(wǎng)和光照處理構(gòu)建二維植株圖像；其次，利用農(nóng)作物植株圖像區(qū)域分割模型定位二維植株圖像的莖干和葉片區(qū)域；再次，利用三維點與投影點的投影關(guān)系得到莖干和葉片點云大致區(qū)域；最后，利用K均值聚類算法實現(xiàn)植物各器官點云分割。農(nóng)作物植株器官分離方法流程如圖4所示。

圖4 農(nóng)作物植株器官分離方法

1.4.1 圖像分割模型

（1）三維農(nóng)作物植株模型樣本收集

首先，收集50株不同生長周期和形態(tài)的農(nóng)作物植株；其次，利用本系統(tǒng)分別對50株農(nóng)作物植株掃描重建；再次，分別以50株三維模型作為輸入，利用基于基因表達式編程的植物形態(tài)建模智能化方法對初始農(nóng)作物植株進化100代并模擬出優(yōu)良個體農(nóng)作物植株三維模型，整個三維農(nóng)作物植株模擬模型數(shù)據(jù)量為3951個；最后，將50株初始三維模型和模擬完成的農(nóng)作物植株三維模型進行收集，整個農(nóng)作物植株三維模型樣本共計4001個。

為了獲取更多樣本，對上述收集樣本全部對齊至全局校準坐標系下，然后在坐標系下對每個農(nóng)作物植株模型進行輕微擾動5次，以達到樣本擴充的目的。其中模型輕微擾動是指以模型質(zhì)心為中心隨機旋轉(zhuǎn)、縮放和移動，旋轉(zhuǎn)角度范圍是0-5°，縮放大小范圍是原始模型尺寸的0.9-1.1倍，移動范圍0-0.1×L，L是整個模型包圍盒最短邊長度。

所有樣本收集完畢后，共計20005個。將樣本分成兩部分，一部分為90%樣本，用于后續(xù)生成二維莖干區(qū)域的訓(xùn)練樣本，一部分為10%樣本，用于后續(xù)生成二維莖干區(qū)域檢測的測試樣本和最終器官分離的精度評估樣本。

本文基于基因表達式編程的農(nóng)作物植物形態(tài)建模智能化方法流程，如圖5所示。

圖5 基于基因表達式編程的農(nóng)作物植物形態(tài)建模智能化方法

對初始種群進化100代后，得到的部分優(yōu)良個體如圖6b所示。從圖中可以看出，該算法能夠較真實地模擬農(nóng)作物植物的三維形態(tài)。

圖6 真實農(nóng)作物植株及部分仿真農(nóng)作物植株圖形

（2）樣本標注

將所有三維模型的三維點云投影至全局攝像機坐標系的YOZ面，形成二維投影點，并對二維投影點進行三角構(gòu)網(wǎng)和光照處理形成二維農(nóng)作物植株圖像；最后，利用labelme標注工具對每一幅二維農(nóng)作物植株投影圖像的莖干區(qū)域和葉片區(qū)域進行標注。三維點云投影圖以及二維投影圖標注效果，如圖7所示。

圖7 真實農(nóng)作物植株及部分仿真農(nóng)作物植株圖形

（3）二維莖葉檢測模型

本文采用Mask-RCNN深度學(xué)習(xí)方法進行莖干區(qū)域檢測模型訓(xùn)練，其主要流程如下：首先，輸入農(nóng)作物莖干訓(xùn)練樣本和加載在COCO數(shù)據(jù)集上的預(yù)訓(xùn)練模型；其次，利用遷移學(xué)習(xí)方法進行農(nóng)作物圖像莖葉區(qū)域分割模型微調(diào)。農(nóng)作物圖像區(qū)域分割模型訓(xùn)練流程，如圖8所示。

圖8 模型訓(xùn)練流程

1.4.2 三維器官分割

首先，將重建的農(nóng)作物植株三維模型投影至YOZ平面，利用三角構(gòu)網(wǎng)和光照處理構(gòu)建二維植株圖像；其次，根據(jù)準備好的莖干檢測模型，進行二維農(nóng)作物植株圖像區(qū)域分割；再次，利用檢測莖葉區(qū)域限制信息和二維點與三維點的投影關(guān)系，反向計算三維模型中植株莖干和葉片點云區(qū)域；最后，利用K均值聚類算法實現(xiàn)三維各個器官點云的分離，并對每個三維點分類標記，標記信息包括索引和顏色。如圖9所示。

圖9 器官點云分割及人工標注

2 結(jié)果與分析

估計樣本生成過程如下：利用農(nóng)作物植株器官分離方法對每個評估樣本三維點云數(shù)據(jù)進行測試，每個樹葉和枝干器官點云數(shù)據(jù)生成類別標號，其可視化效果如圖9a所示。

真值樣本具體生成過程如下：首先，利用Cyclone軟件對農(nóng)作物植株模型評估樣本進行人工切割；其次，對評估樣本的每個樹葉和枝干器官點云數(shù)據(jù)進行類別標號，并與估計樣本的器官點云索引號保持一致，如圖9b所示，本文評估器官分離精度的方法是采用點云分類準確率來評判器官分離質(zhì)量。將估計樣本與真值樣本進行比對，計算點云分類準確率，用以評估器官分離質(zhì)量。

為方便統(tǒng)計，本文將一株農(nóng)作物植物器官點云分類正確率分為三類統(tǒng)計，第一類是所有葉片器官點云分類的平均正確率，第二類是莖干器官點云分類正確率，第三類是每株農(nóng)作物植物點云分類正確率，如圖10所示。

圖10 農(nóng)作物植株器官點云分類正確率

由試驗測試結(jié)果可知，本文所提出的農(nóng)作物植株器官點云分離方法具有較好的處理效果，莖干器官點云和葉片器官點云分類準確率都達到95%以上，每株農(nóng)作物植物器官點云分類準確率達到94.7%以上。此外，從評估樣本測試精度曲線看出整個點云分類準確率保持著穩(wěn)定趨勢。本文農(nóng)作物植株三維重建處理約為60s，農(nóng)作物器官點云分離的處理時間約為3s。

3 結(jié)論

針對農(nóng)作物植株器官表型參數(shù)快速測量的需求，本文提出一種基于農(nóng)作物植株三維點云的器官分離方法。首先，利用多攝像機線結(jié)構(gòu)光集成掃描重建農(nóng)作物植株的三維模型，并將三維模型投影生成二維投影圖像進行莖干和葉片區(qū)域精細分割；其次，根據(jù)二維投影圖與三維點云對應(yīng)關(guān)系計算三維莖干和葉片分割區(qū)域；最后，根據(jù)點云聚類分析進行器官點云分離。與目前各類點云數(shù)據(jù)分割方法相比，本文提出的方法能夠更為有效地對植物不同器官的點云數(shù)據(jù)進行分割。

本文存在的不足之處：本文基于有監(jiān)督學(xué)習(xí)的莖干區(qū)域檢測方法，一方面，仍需人工標記訓(xùn)練樣本，人工標記的準確與否會直接影響到分類器性能；另一方面，基于深度學(xué)習(xí)方法訓(xùn)練需要大量真實樣本，所以需要進一步優(yōu)化模擬形態(tài)各異的農(nóng)作物植株三維模型。這都是后續(xù)研究中需要改進和克服的問題。