基于MRE-PointNet+AE的綠蘿葉片外形參數(shù)估測(cè)算法

王浩云 肖海鴻 馬仕航 陳 玲 王江波 徐煥良

(1.南京農(nóng)業(yè)大學(xué)人工智能學(xué)院， 南京 210095; 2.中國(guó)移動(dòng)通訊集團(tuán)上海有限公司， 上海 200060;3.塔里木大學(xué)植物科學(xué)學(xué)院， 阿拉爾 843300)

0 引言

植物表型是指受基因和環(huán)境決定或影響的復(fù)雜植物性狀，包括生長(zhǎng)、發(fā)育、耐性、抗性、生理、結(jié)構(gòu)和產(chǎn)量等[1]。植物葉片是植物外在形態(tài)的重要組成部分，同時(shí)也是植物進(jìn)行生理功能運(yùn)作的主要器官[2]。葉片幾何參數(shù)不僅是植物生長(zhǎng)發(fā)育、產(chǎn)量形成和品種特性的重要指標(biāo)，也是對(duì)作物進(jìn)行合理栽培管理以及病蟲害發(fā)生檢測(cè)的重要依據(jù)[3]。因此，準(zhǔn)確測(cè)量葉片的長(zhǎng)、寬、葉面積等幾何參數(shù)，對(duì)了解作物生長(zhǎng)狀況和指導(dǎo)作物育種、栽培等具有重要意義。

傳統(tǒng)的接觸式手工測(cè)量方法存在操作繁瑣、效率低、誤差較大的缺點(diǎn)[4]。隨著硬件技術(shù)的不斷進(jìn)步，非接觸式測(cè)量方法研究，如基于圖像的表型特征提取方法和基于點(diǎn)云的三維建模和測(cè)量方法等受到越來越多的關(guān)注。文獻(xiàn)[5]采用非接觸式的視覺圖像處理技術(shù)對(duì)大棗的表型參數(shù)進(jìn)行提取。文獻(xiàn)[6]采用雙目立體視覺技術(shù)，以圖像方法重建玉米果穗三維造型，并進(jìn)行可視化輸出，對(duì)果穗三維形態(tài)進(jìn)行測(cè)量比較，但人工進(jìn)行相機(jī)標(biāo)定比較復(fù)雜。文獻(xiàn)[7]采用運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)(Structure from motion，SFM)和多視角立體視覺(Multiple view stereo，MVS)相結(jié)合，基于多角度圖像序列對(duì)生長(zhǎng)前期的植株進(jìn)行三維重建，對(duì)植株葉片進(jìn)行建模分析，并進(jìn)行三維測(cè)量。該方法根據(jù)圖像序列之間的約束關(guān)系建立物體點(diǎn)三維坐標(biāo)、攝像機(jī)參數(shù)、圖像匹配點(diǎn)之間的大型非線性系統(tǒng)，雖然能夠進(jìn)行相機(jī)的自動(dòng)標(biāo)定，但是進(jìn)行迭代求解時(shí)計(jì)算量較大。文獻(xiàn)[8]采用圖像分割方法實(shí)現(xiàn)簸箕柳與背景的分割，結(jié)合運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)算法對(duì)分割的二維圖像生成三維點(diǎn)云，并利用棋盤格進(jìn)行坐標(biāo)系間的距離轉(zhuǎn)換，從而提取簸箕柳的株高、基徑、葉面積、分枝數(shù)等表型參數(shù)。文獻(xiàn)[9]采用三維重建的方法對(duì)甜菜根型進(jìn)行表型數(shù)字化處理，并根據(jù)提取的表型參數(shù)采用支持向量機(jī)、決策樹、隨機(jī)森林等預(yù)測(cè)模型進(jìn)行根系分類。

以上方法可以對(duì)植株的外部表型參數(shù)進(jìn)行較為準(zhǔn)確的估測(cè)，但是無論是相機(jī)標(biāo)定還是迭代計(jì)算，亦或是多角度拍攝均耗時(shí)費(fèi)力。文獻(xiàn)[10]通過構(gòu)建番茄果實(shí)表型性狀對(duì)應(yīng)的數(shù)學(xué)模型，開發(fā)了可以半自動(dòng)精確測(cè)量番茄果實(shí)表型性狀的分析系統(tǒng)。文獻(xiàn)[11]提出了第1個(gè)直接作用于點(diǎn)云數(shù)據(jù)的深度學(xué)習(xí)框架PointNet，可以實(shí)現(xiàn)點(diǎn)云物體的分類、分割和語義分割，但是，深度學(xué)習(xí)對(duì)數(shù)據(jù)的數(shù)量要求更高。目前利用深度學(xué)習(xí)對(duì)植株表型參數(shù)估測(cè)的研究尚未見報(bào)道。

本文以長(zhǎng)藤綠蘿為研究對(duì)象，使用Kinect V2相機(jī)從單一角度拍攝，獲取點(diǎn)云數(shù)據(jù)，采用直通濾波、分割、點(diǎn)云精簡(jiǎn)算法對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，采用參數(shù)方程構(gòu)建綠蘿葉片幾何模型，并計(jì)算幾何模型的葉長(zhǎng)、葉寬、葉面積。將幾何模型離散的點(diǎn)云數(shù)據(jù)輸入多分辨率點(diǎn)云深度學(xué)習(xí)網(wǎng)絡(luò)(MRE-PointNet)，得到預(yù)訓(xùn)練模型，針對(duì)葉片遮擋和噪聲問題，通過自編碼器的預(yù)訓(xùn)練模型對(duì)輸入點(diǎn)云數(shù)據(jù)進(jìn)行二次處理，用測(cè)得的綠蘿葉片外形參數(shù)標(biāo)簽對(duì)預(yù)訓(xùn)練模型(MRE-PointNet)進(jìn)行參數(shù)微調(diào)，從而完成綠蘿葉片外形參數(shù)的估測(cè)。

1 材料與方法

1.1 試驗(yàn)材料

綠蘿是陰性植物，喜濕熱環(huán)境，在溫度高于10℃的環(huán)境下適宜生長(zhǎng)。試驗(yàn)綠蘿品種為長(zhǎng)藤大葉綠蘿，選取培育4個(gè)月且生長(zhǎng)狀況良好的10盆大葉綠蘿作為試驗(yàn)對(duì)象。植株冠層直徑為28～32 cm，冠層高度8～12 cm，冠層內(nèi)葉片數(shù)量相近，均長(zhǎng)勢(shì)良好。為了減少冠層表面葉片對(duì)下層葉片的遮擋影響，根據(jù)冠層高度將其平均劃分為3個(gè)區(qū)間層進(jìn)行葉片數(shù)據(jù)采集，每層采集8～12片數(shù)據(jù)，共采集300片綠蘿葉片數(shù)據(jù)。

1.2 數(shù)據(jù)采集

試驗(yàn)數(shù)據(jù)采集主要分為兩部分：先對(duì)綠蘿進(jìn)行無損點(diǎn)云數(shù)據(jù)采集，然后再對(duì)葉片進(jìn)行離體有損的外部表型參數(shù)真實(shí)值采集。Kinect V2相機(jī)是微軟公司推出的二代Kinect相機(jī)，精度為2～4 mm，分辨率為512像素×424像素，使用Kinect V2相機(jī)對(duì)綠蘿進(jìn)行拍攝，將相機(jī)倒掛于裝有橫臂、水平儀的三腳架上，以垂直試驗(yàn)臺(tái)姿態(tài)固定高度75 cm對(duì)綠蘿冠層表面進(jìn)行拍攝，獲取點(diǎn)云數(shù)據(jù)，然后將冠層表面葉片離體進(jìn)行外部表型參數(shù)真實(shí)值數(shù)據(jù)采集，并準(zhǔn)備進(jìn)行下一層綠蘿葉片的數(shù)據(jù)采集。

使用Kinect for Windows SDK 2.0中的Kinect Fusion Explorer進(jìn)行點(diǎn)云數(shù)據(jù)采集，保存為ply格式。使用Matlab工具箱中的calibration工具對(duì)數(shù)據(jù)進(jìn)行標(biāo)定，通過獲取鏡頭畸變參數(shù)得到校正矩陣。

將從每一次冠層表面離體的葉片平鋪于A4白紙上，借助游標(biāo)卡尺測(cè)量葉長(zhǎng)和葉寬，測(cè)量精度為0.01 mm，采用Kinect V2相機(jī)從75 cm高度獲取葉片彩色圖像并進(jìn)行標(biāo)定與校正，通過圖像分割提取葉片區(qū)域與A4紙區(qū)域的二值圖像進(jìn)行像素點(diǎn)統(tǒng)計(jì)，按照比例求取綠蘿葉片的葉面積。

1.3 點(diǎn)云數(shù)據(jù)預(yù)處理

通過Kinect V2相機(jī)獲取綠蘿葉片點(diǎn)云數(shù)據(jù)，如圖1a所示，點(diǎn)云數(shù)據(jù)包含空間坐標(biāo)X、Y、Z位置信息和與之對(duì)應(yīng)的RGB顏色信息，點(diǎn)云數(shù)據(jù)的三維坐標(biāo)系以Kinect深度相機(jī)為原點(diǎn)，精確度是0.001 m，獲得的綠蘿點(diǎn)云原始數(shù)據(jù)包括背景臺(tái)等冗余信息，采用直通濾波法[12]去除背景數(shù)據(jù)，得到綠蘿冠層的表面葉片數(shù)據(jù)，如圖1b所示。并采用區(qū)域增長(zhǎng)分割算法將綠蘿冠層表面分割成單片葉片，結(jié)果如圖1c所示。對(duì)分割的單片葉片點(diǎn)云采用包圍盒算法[13]和迭代最遠(yuǎn)點(diǎn)采樣算法(IFPS)[14]進(jìn)行精簡(jiǎn)，如圖1d所示。

1.4 葉片幾何模型構(gòu)建與外部表型參數(shù)測(cè)量

1.4.1基于曲面參數(shù)方程的葉片幾何模型構(gòu)建

綠蘿葉片的造型只包含一個(gè)曲面，形狀較規(guī)則，可以采用相應(yīng)參數(shù)曲面方程變形來進(jìn)行構(gòu)造，用參數(shù)方程表示有較好的穩(wěn)定性。綠蘿葉片的外形呈上窄下寬的卵圓形，根據(jù)果實(shí)造型和植物葉片的造型研究[15-16]，葉片外形由葉形、葉尖、葉基和葉緣的邊界輪廓組成。由于葉片厚度較小，構(gòu)建幾何模型時(shí)可以忽略不計(jì)，采用參數(shù)曲面方程Q(u,v)構(gòu)建一個(gè)長(zhǎng)方形平面，然后添加合適的干擾函數(shù)將長(zhǎng)方形平面變形為葉片外形造型，最終得到葉片外形的參數(shù)方程[17]為

(1)

其中

(2)

式中tx1——X方向上葉形干擾函數(shù)

ty1——Y方向上葉基正弦變形函數(shù)

ty2、ty3——Y方向上葉尖兩側(cè)線性變形函數(shù)

xQ——X方向上的參數(shù)方程

yQ——Y方向上的參數(shù)方程

zQ——Z方向上的參數(shù)方程

h——長(zhǎng)度系數(shù)b——寬度系數(shù)

ax——葉形變形指數(shù)，主要是對(duì)葉寬造成影響

dy——比例造型指數(shù)，影響葉片最寬點(diǎn)位置

at——葉尖變形指數(shù)，控制葉尖部分長(zhǎng)度變化

ab——葉基變形指數(shù)，控制葉基部分長(zhǎng)度變化

ut——葉尖造型指數(shù)，控制葉尖部分寬高比

ub——葉基造型指數(shù)，控制葉基部分寬高比

xb——葉片沿X方向在Z軸的彎曲幅度

yb——葉片沿Y方向在Z軸的彎曲幅度

u、v——自變量參數(shù)

其中h、b、ax、dy、at、ab、ut、ub、xb、yb為參數(shù)方程10個(gè)內(nèi)部模型參數(shù)。

根據(jù)該參數(shù)方程構(gòu)建的葉片模型從不同的角度查看如圖2所示。并通過控制參數(shù)方程的自變量參數(shù)取值得到包括12 743個(gè)模型數(shù)據(jù)的模型庫。

1.4.2葉片幾何模型的外部表型參數(shù)測(cè)量

通過固定10個(gè)模型參數(shù)值，改變u、v兩個(gè)系統(tǒng)參數(shù)值，找到Y(jié)軸方向上的最高點(diǎn)L1與最低點(diǎn)L2，這兩點(diǎn)在Y軸方向上的差值即為葉長(zhǎng)L。以同樣的方法，找到X軸方向上的最高點(diǎn)W1與最低點(diǎn)W2，這兩點(diǎn)在X軸方向上的差值即為葉寬W。固定10個(gè)模型參數(shù)值，按0.05的步長(zhǎng)改變u、v得到400個(gè)單位矩形頂點(diǎn)，三角網(wǎng)格化后，通過海倫公式計(jì)算每個(gè)小三角形的面積，累加得到葉面積S。

1.5 基于MRE-PointNet和自編碼器模型的葉片外形參數(shù)估測(cè)算法

通過Kinect相機(jī)從單一角度獲取的葉片點(diǎn)云數(shù)據(jù)存在殘缺和噪聲問題，通過預(yù)訓(xùn)練好的自編碼器模型對(duì)預(yù)處理的點(diǎn)云數(shù)據(jù)進(jìn)行二次降噪處理。通過多分辨率點(diǎn)云深度學(xué)習(xí)網(wǎng)絡(luò)對(duì)輸入的葉片點(diǎn)云數(shù)據(jù)進(jìn)行特征捕捉，輸出葉片外部表型參數(shù)。為了更準(zhǔn)確地輸出葉片外部表型參數(shù)，通過基于真實(shí)值的模型參數(shù)微調(diào)，提升網(wǎng)絡(luò)對(duì)真實(shí)葉片外部表型參數(shù)估測(cè)的準(zhǔn)確率?；贛RE-PointNet和自編碼器模型算法的綠蘿葉片外形參數(shù)估測(cè)流程如圖3所示。

1.5.1基于幾何模型點(diǎn)云數(shù)據(jù)訓(xùn)練的MRE-PointNet模型

多分辨率編碼點(diǎn)云深度學(xué)習(xí)網(wǎng)絡(luò)(MRE-PointNet)是基于PointNet特征最大池化結(jié)構(gòu)并結(jié)合多分辨率采樣特征提取融合的葉片外形指標(biāo)估測(cè)回歸網(wǎng)絡(luò)，該網(wǎng)絡(luò)的主要目的是通過數(shù)據(jù)訓(xùn)練得到可以直接用于幾何模型葉片外形參數(shù)估測(cè)的預(yù)訓(xùn)練模型。在網(wǎng)絡(luò)前面的特征提取模塊，借鑒PointNet點(diǎn)云數(shù)據(jù)特征提取思想，將輸入點(diǎn)云(N×3)輸入可訓(xùn)練的空間轉(zhuǎn)換網(wǎng)絡(luò)(Transfer Net，T-Net)(3×3)，經(jīng)T-Net網(wǎng)絡(luò)訓(xùn)練得到的空間轉(zhuǎn)換矩陣進(jìn)行坐標(biāo)對(duì)齊，得到點(diǎn)云(N×3)，目的是為了得到一個(gè)更好進(jìn)行特征提取的角度，從而更利于最終外形參數(shù)估測(cè)的準(zhǔn)確。然后再通過多層感知機(jī)(Multi-layer perceptron，MLP)[18]對(duì)點(diǎn)云升維至N×64，對(duì)升維后的數(shù)據(jù)N×64輸入可訓(xùn)練的空間轉(zhuǎn)換網(wǎng)絡(luò)T-Net(64×64)，升維數(shù)據(jù)經(jīng)T-Net網(wǎng)絡(luò)訓(xùn)練得到的空間轉(zhuǎn)換矩陣進(jìn)行特征對(duì)齊得到數(shù)據(jù)N×64，即在特征層面上對(duì)點(diǎn)云進(jìn)行矩陣變換，目的是對(duì)升維特征進(jìn)行對(duì)齊，更好地進(jìn)行特征提取。然后再通過MLP升維至1 024維(N×1 024)，做全局特征池化(1 024)，從而解決了點(diǎn)云的空間無序性問題，但是特征的最大池化也忽略了點(diǎn)云的局部信息，為了更好地捕捉到點(diǎn)云數(shù)據(jù)的局部特征，提出了多分辨率特征提取網(wǎng)絡(luò)編碼器(Multi-resolution encoder，MRE),用IFPS采樣64、128、256個(gè)點(diǎn)，分別進(jìn)行點(diǎn)云數(shù)據(jù)特征編碼。同時(shí)相比于原網(wǎng)絡(luò)結(jié)構(gòu)的單層MLP(N×1 024)，本文提出了多層深度特征融合結(jié)構(gòu)(Concat multi-layer perceptron，CMLP)(N×1 216)，通過不同層次的深度特征進(jìn)行融合，從而更好地進(jìn)行葉片點(diǎn)云局部特征的捕捉。MRE-PointNet網(wǎng)絡(luò)是基于葉片外部參數(shù)估測(cè)的回歸網(wǎng)絡(luò)，采用均方差(Mean square error，MSE)損失函數(shù)度量真實(shí)值和估測(cè)值的誤差。最后通過將11 467條幾何模型點(diǎn)云數(shù)據(jù)作為訓(xùn)練集，1 276條幾何模型點(diǎn)云數(shù)據(jù)作為驗(yàn)證集，得到幾何模型外部參數(shù)指標(biāo)估測(cè)的預(yù)訓(xùn)練模型。

1.5.2基于幾何模型點(diǎn)云數(shù)據(jù)訓(xùn)練的自編碼器模型

基于點(diǎn)云數(shù)據(jù)訓(xùn)練的自編碼器(Autoencoder，AE)網(wǎng)絡(luò)是一種將點(diǎn)云數(shù)據(jù)進(jìn)行低維編碼并通過解碼器解碼成與輸入點(diǎn)云相同維度的無監(jiān)督神經(jīng)網(wǎng)絡(luò)。它主要由兩部分構(gòu)成，編碼器主要將輸入的點(diǎn)云(N×3)編碼成128維的全局特征向量(Grobal feature vector，GFV)，進(jìn)行特征的有效提取。解碼器主要將編碼之后的GFV恢復(fù)為與原來輸入維度相同的點(diǎn)云數(shù)據(jù)。自編碼器不僅能夠很好地對(duì)輸入點(diǎn)云數(shù)據(jù)進(jìn)行去噪，還能對(duì)一定程度的殘缺點(diǎn)云數(shù)據(jù)進(jìn)行有效的補(bǔ)全，具有一定的魯棒性，在結(jié)果分析中，將結(jié)合自編碼器模型進(jìn)行數(shù)據(jù)殘缺的魯棒性結(jié)果分析。訓(xùn)練AE時(shí)，采用反向傳播法減少輸入和輸出點(diǎn)云之間的距離，可以用地球移動(dòng)距離(Earth movers distance, EMD)[19]或倒角距離(Chamfer distance, CD)[20-21]作為對(duì)輸入點(diǎn)云和輸出點(diǎn)云之間的誤差衡量，本文采用更加有效的倒角距離作為自編碼器網(wǎng)絡(luò)訓(xùn)練的損失函數(shù)。倒角距離函數(shù)為

(3)

式中P1、P2——輸入點(diǎn)云和解碼器解碼出來的點(diǎn)云中點(diǎn)的數(shù)目

a、b——點(diǎn)云P1、P2中的點(diǎn)

dCH能夠衡量解碼之后的點(diǎn)云形狀與輸入點(diǎn)云形狀之間的差異，數(shù)值越小，表示兩個(gè)點(diǎn)云之間的相似程度越高，其中dCH的單位為cm2。

最后將11 467條幾何模型點(diǎn)云數(shù)據(jù)作為自編碼器網(wǎng)絡(luò)的訓(xùn)練集，1 276條幾何模型點(diǎn)云數(shù)據(jù)作為驗(yàn)證集，得到自編碼器的預(yù)訓(xùn)練模型。

1.5.3基于真實(shí)數(shù)據(jù)MRE-PointNet預(yù)訓(xùn)練模型的模型遷移參數(shù)微調(diào)

預(yù)訓(xùn)練模型能很好地對(duì)幾何模型綠蘿葉片外形參數(shù)進(jìn)行估測(cè)，但是從單一角度得到的真實(shí)葉片點(diǎn)云數(shù)據(jù)存在遮擋情況。盡管可以通過自編碼器模型對(duì)預(yù)處理的點(diǎn)云數(shù)據(jù)進(jìn)行二次降噪和點(diǎn)云補(bǔ)全，從而減小一些異常點(diǎn)和被遮擋數(shù)據(jù)的影響，但是經(jīng)過自編碼器模型二次處理之后的真實(shí)點(diǎn)云數(shù)據(jù)還是會(huì)和幾何模型離散的點(diǎn)云數(shù)據(jù)存在較小的差異性。因此通過模型遷移(Model transfer)[22]方法，對(duì)MRE-PointNet預(yù)訓(xùn)練模型的特征提取層參數(shù)進(jìn)行固定，對(duì)最后3層多層感知機(jī)做參數(shù)微調(diào)，訓(xùn)練得到適用于真實(shí)葉片外形參數(shù)估測(cè)的模型。模型微調(diào)流程如圖4所示。

試驗(yàn)將采集得到的300片綠蘿葉片點(diǎn)云數(shù)據(jù)按照2∶1比例進(jìn)行劃分，其中200片數(shù)據(jù)作為對(duì)模型微調(diào)的訓(xùn)練集，100片數(shù)據(jù)作為測(cè)試集，評(píng)估模型對(duì)綠蘿葉片外形參數(shù)估測(cè)的能力。

2 結(jié)果與分析

2.1 葉片外部表型參數(shù)實(shí)際測(cè)量結(jié)果統(tǒng)計(jì)

試驗(yàn)共采集了300片綠葉長(zhǎng)藤綠蘿點(diǎn)云數(shù)據(jù)，并測(cè)得對(duì)應(yīng)葉片的葉長(zhǎng)、葉寬、葉面積外形參數(shù)。其中200片葉片數(shù)據(jù)作為模型微調(diào)的訓(xùn)練集，100片數(shù)據(jù)作為測(cè)試集，評(píng)估模型對(duì)綠蘿葉片外形參數(shù)的估測(cè)能力。以測(cè)試集的100片綠蘿葉片點(diǎn)云數(shù)據(jù)作為試驗(yàn)結(jié)果分析對(duì)象。表1為測(cè)試集100片綠蘿葉片外部表型參數(shù)實(shí)測(cè)結(jié)果統(tǒng)計(jì)，從表1可知，綠蘿葉片的葉長(zhǎng)、葉寬、葉面積分布范圍分別為6.86～13.93 cm、4.03～10.1 cm、19.67～96.7 cm2，試驗(yàn)所用綠蘿葉片外形參數(shù)分布范圍較廣，避免了樣本數(shù)據(jù)分布的單一性，試驗(yàn)結(jié)果可靠。

表1 綠蘿葉片實(shí)測(cè)參數(shù)統(tǒng)計(jì)結(jié)果Tab.1 Statistics result of measured parameters of Scirpus sibiricum leaves

2.2 基于MRE-PointNet和自編碼器模型算法的葉片外形參數(shù)估測(cè)結(jié)果與分析

試驗(yàn)將測(cè)試集的100片綠蘿葉片點(diǎn)云數(shù)據(jù)經(jīng)過預(yù)處理之后作為輸入，分別估測(cè)其對(duì)應(yīng)的綠蘿葉片外形參數(shù)指標(biāo)(葉長(zhǎng)L、葉寬W、葉面積S)。并將其估測(cè)值和實(shí)際測(cè)得值進(jìn)行線性回歸分析，如圖5所示。圖中真實(shí)值為人工測(cè)量的綠蘿葉片外形參數(shù)值，估測(cè)值為基于MRE-PointNet和自編碼器模型算法估測(cè)的葉片外形參數(shù)指標(biāo)；R2表示回歸直線對(duì)觀測(cè)值的擬合程度，最大值為1，其值越接近1，表示擬合程度越好；均方根誤差(RMSE)反映估測(cè)值與真實(shí)值之間的偏差。分析圖5可知，通過該算法估測(cè)的綠蘿葉片外形參數(shù)值和真實(shí)值具有較高的相關(guān)性，其線性回歸擬合的R2均高于0.90，RMSE均在誤差允許范圍內(nèi)，證明該算法在對(duì)從單一角度獲取的點(diǎn)云數(shù)據(jù)進(jìn)行外形參數(shù)估測(cè)時(shí)，具有較高的精確度，并具有一定的高效性和穩(wěn)定性。

2.3 不同網(wǎng)絡(luò)模型對(duì)葉片外形參數(shù)的估測(cè)結(jié)果對(duì)比

對(duì)比多分辨率特征編碼網(wǎng)絡(luò)(MRE-PointNet-CMLP)、單層特征編碼網(wǎng)絡(luò)(Single-PointNet-MLP)、多層特征融合的單層編碼網(wǎng)絡(luò)(Single-PointNet-CMLP)、邊卷積(EdgeConv)操作的動(dòng)態(tài)圖卷積神經(jīng)網(wǎng)絡(luò)(Dynamic graph CNN，DGCNN)[23]對(duì)幾何模型葉片外形參數(shù)的估測(cè)能力，以DGCNN作為參照。通過控制幾何模型參數(shù)方程的自變量取值獲得包含12 743個(gè)模型數(shù)據(jù)的模型庫，并將其離散成點(diǎn)云數(shù)據(jù)，其中的11 467條數(shù)據(jù)作為訓(xùn)練集，1 276條數(shù)據(jù)作為驗(yàn)證集，并分析4種網(wǎng)絡(luò)模型對(duì)葉片幾何模型外形參數(shù)估測(cè)的結(jié)果。圖6為訓(xùn)練集數(shù)據(jù)的決定系數(shù)R2及均方根誤差RMSE變化曲線，其中學(xué)習(xí)率為0.01，批尺寸為30，迭代次數(shù)為101。分析圖6可知，在設(shè)置相同的超參數(shù)訓(xùn)練情況下，4組對(duì)比網(wǎng)絡(luò)模型都具有較快的收斂性，表明4組網(wǎng)絡(luò)模型結(jié)構(gòu)都能很好地提取到葉片點(diǎn)云特征。從模型訓(xùn)練過程中葉長(zhǎng)、葉寬、葉面積的決定系數(shù)R2和RMSE的變化曲線來看，Single-PointNet-CMLP訓(xùn)練的RMSE略低于Single-PointNet-MLP，決定系數(shù)R2略高于Single-PointNet-MLP，MRE-PointNet-CMLP網(wǎng)絡(luò)模型和DGCNN網(wǎng)絡(luò)模型訓(xùn)練誤差相比于另兩種模型的曲線更加穩(wěn)定，決定系數(shù)R2更高且上升趨勢(shì)比較穩(wěn)定，但是MRE-PointNet-CMLP網(wǎng)絡(luò)的RMSE更低，R2明顯更接近于1，所以性能更優(yōu)。試驗(yàn)證明MRE-PointNet網(wǎng)絡(luò)能更好地捕捉葉片點(diǎn)云特征從而更好地估測(cè)葉片外形參數(shù)。

2.4 基于MRE-PointNet和自編碼器模型算法的魯棒性分析

對(duì)比分析MRE-PointNet結(jié)合自編碼器模型對(duì)幾何模型點(diǎn)云數(shù)據(jù)不同殘缺比例下的外形參數(shù)估測(cè)結(jié)果。試驗(yàn)以驗(yàn)證集的1 276條幾何模型點(diǎn)云數(shù)據(jù)作為試驗(yàn)對(duì)象，分別按照殘缺比例20%、30%、40%進(jìn)行隨機(jī)殘缺，殘缺效果可通過open3d[24-25]進(jìn)行可視化，如圖7所示。分別通過自動(dòng)編碼器去噪補(bǔ)全，之后輸入多分辨率點(diǎn)云深度學(xué)習(xí)網(wǎng)絡(luò)(MRE-PointNet)的預(yù)訓(xùn)練模型，得到補(bǔ)全之后的幾何模型葉片外形指標(biāo)估測(cè)值，并將其估測(cè)值和幾何模型真實(shí)值進(jìn)行回歸分析，得到葉長(zhǎng)、葉寬、葉面積的R2和RMSE，如表2所示。從整體結(jié)果來看，葉面積和葉寬的估測(cè)結(jié)果相比較于葉長(zhǎng)的估測(cè)結(jié)果更好，原因主要是在拍攝過程中綠蘿葉片存在一定的彎曲姿態(tài)，影響了葉長(zhǎng)的估測(cè)結(jié)果。通過試驗(yàn)可知，數(shù)據(jù)在殘缺20%的情況下，外形參數(shù)估測(cè)的性能和完整情況下估測(cè)的差距不大。而在殘缺40%的情況下，外形參數(shù)估測(cè)的性能比較差，相較于殘缺30%的情況，估測(cè)性能下降趨勢(shì)更加明顯。試驗(yàn)表明，即使在點(diǎn)云數(shù)據(jù)存在一定殘缺的情況下，網(wǎng)絡(luò)依然具有較好的估測(cè)結(jié)果，證明網(wǎng)絡(luò)在葉片遮擋情況下具有一定的魯棒性。

表2 葉片幾何模型參數(shù)估測(cè)魯棒性結(jié)果統(tǒng)計(jì)Tab.2 Robustness results statistics for blade geometry model parameter estimation

2.5 基于模型遷移前后葉片外形參數(shù)估測(cè)結(jié)果與分析

試驗(yàn)主要對(duì)比模型遷移前后的綠蘿葉片外形參數(shù)估測(cè)效果。以實(shí)拍的200片綠蘿葉片點(diǎn)云數(shù)據(jù)作為訓(xùn)練集對(duì)模型進(jìn)行微調(diào)，其余100片綠蘿葉片點(diǎn)云數(shù)據(jù)作為測(cè)試集，并記錄測(cè)試數(shù)據(jù)輸入模型微調(diào)前后的決定系數(shù)R2和RMSE，如表3所示。試驗(yàn)結(jié)果說明基于真實(shí)數(shù)據(jù)做模型遷移能有效提高估測(cè)精度，葉長(zhǎng)、葉寬、葉面積線性回歸估測(cè)R2均提高10%以上，其RMSE均有明顯下降，證明了基于真實(shí)數(shù)據(jù)做模型遷移的必要性和有效性。

表3 模型遷移前后葉片參數(shù)估測(cè)效果對(duì)比Tab.3 Comparison of effect of blade parameter estimation before and after model transfer

3 結(jié)論

(1)采用提出的基于MRE-PointNet和自編碼器模型算法，估測(cè)的100片綠蘿葉片外形指數(shù)結(jié)果與真實(shí)值具有較高的相關(guān)性，其線性回歸分析的R2均大于0.90，葉長(zhǎng)RMSE為0.417 0 cm，葉寬RMSE為0.316 4 cm，葉面積RMSE為3.883 4 cm2。估測(cè)結(jié)果誤差較小，均在允許的誤差范圍內(nèi)，表明本文算法準(zhǔn)確率較高，具有一定的實(shí)用性。

(2)通過曲面參數(shù)方程構(gòu)建綠蘿葉片幾何模型庫，并與多組網(wǎng)絡(luò)模型進(jìn)行對(duì)比，結(jié)果表明，MRE-PointNet網(wǎng)絡(luò)具有更強(qiáng)的特征提取能力和更加準(zhǔn)確的葉片外形參數(shù)估測(cè)能力。試驗(yàn)還進(jìn)行了遮擋情況下的殘缺模擬試驗(yàn)和網(wǎng)絡(luò)魯棒性分析，結(jié)果表明，基于MRE-PointNet和自編碼器模型的網(wǎng)絡(luò)結(jié)構(gòu)對(duì)一定遮擋程度下葉片的外形參數(shù)估測(cè)具有較強(qiáng)的魯棒性。