基于三維點(diǎn)云和改進(jìn)PointNet++的大田煙株葉片計(jì)數(shù)方法

中圖分類號(hào)：S572；S126 文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1007-5119（2025）03-0089-09

Field Tobacco Leaf Counting Method Based on 3D Point Clouds and Improved PointNet++

NAN Dewang1，LI Junying2*，LIANG Hong1， MA Erdeng2， ZHANG Hong2， XIAO Hengshu1 （1.Schoo ofInformationScienceamp;Enginering，Yunnan UniversityKunming 650504，China; 2.YunnanAcademyoTobaco Agricultural Sciences， Kunming 650021， China）

Abstract：The leafcountof tobacco plants isoneof theimportant phenotypic parameters fortobacco leaf yield estimationTo address thechalengesof taditionalmanaltobaccoleafcounting，afieldtobaccoleafcountingmethodintegratingthre-dimensional point cloudsand improved PointNet++was proposed.This method employs UAVobliquephotographyto acquirefeld tobacco plant images and generate three-dimensional point clouds.An improved PoinNnet ⁺⁺ algorithm is then utilized to perform leaf point cloud segmentation.The proposedalgorithmreplaces the MLPwith KANtoenhance leamingcapacityand minimize training loss.A DGSTD atention mechanism was proposed， which integrated DGST network and DBB multi-branch block to enhance accuracy. Additionallyarfocaloswasicooratdtodsthesibaace intouddstrutionacrosategores.allyte MeanShiftclustering algorithm wasemployed toclustertheleaf point clouds，from which theleafcount was derived.Theresults showed that the accuracy of point cloud segmentation was 92.55% ，and the mean Intersection over Union （mIoU） was 76.33% representing improvementsof06and2.81 percentagepoitsover teorgialmodel，respectively.Teproposedmethodachevesa leaf counting precision of 94.35% ， successfully implementing leaf counting of field tobacco plants in three-dimensional space.

Keywords： field tobacco plants; leaf counting; PointNet++; 3D point clouds; UAV oblique photography

煙草是以收獲葉片為目的的特殊經(jīng)濟(jì)作物，葉片數(shù)是衡量煙株生長(zhǎng)狀況、預(yù)測(cè)產(chǎn)量的重要指標(biāo)[1-2]傳統(tǒng)人工葉片計(jì)數(shù)方法效率低、周期長(zhǎng)，勞動(dòng)強(qiáng)度大且成本高，無(wú)法滿足現(xiàn)代農(nóng)業(yè)高通量快速獲取葉片數(shù)的需求。

隨著深度學(xué)習(xí)算法的快速發(fā)展，基于二維圖像和計(jì)算機(jī)視覺(jué)的葉片計(jì)數(shù)方法開(kāi)始出現(xiàn)[3]，Kolhar等[4]使用U-Net和分水嶺算法實(shí)現(xiàn)了植物葉片的分割與計(jì)數(shù)，平均葉片計(jì)數(shù)誤差為0.26。鄒龍等[5]利用LU-ReNet模型實(shí)現(xiàn)了植物葉片計(jì)數(shù)，在A2基準(zhǔn)數(shù)據(jù)集上超越其余點(diǎn)云計(jì)數(shù)算法。謝源等[]采用編碼器-解碼器結(jié)構(gòu)，同時(shí)引人并聯(lián)的空洞卷積核使算法具有更強(qiáng)的泛化性，提高了植物葉片分割與計(jì)數(shù)精度。但由于二維圖片存在重疊和遮擋等問(wèn)題，無(wú)法實(shí)現(xiàn)更為精確的計(jì)數(shù)。研究人員開(kāi)始關(guān)注在三維空間內(nèi)進(jìn)行處理。曾安等提出一種結(jié)合多值條件隨機(jī)場(chǎng)模型的植物多尺度分割網(wǎng)絡(luò)，取得較高的分割精度。胡春華等[8提出一種基于SegNet與三維點(diǎn)云聚類的楊樹(shù)苗葉片分割方法，有效分割出單株楊樹(shù)苗葉片。Elanshef提出了一種基于張量（一階和二階）的分割算法，實(shí)現(xiàn)了植物點(diǎn)云的莖葉分割，并通過(guò)一種基于密度的空間聚類算法實(shí)現(xiàn)了單個(gè)葉片分割。Liu等[10]在PointNet基礎(chǔ)網(wǎng)絡(luò)中加人MLP，進(jìn)一步提高該算法學(xué)習(xí)局部特征的能力，改進(jìn)后的算法提高了植株枝葉分割的準(zhǔn)確率，其分割準(zhǔn)確率為 88% ，平均交并比為48% 。Hao 等[11]利用PointSegAt深度學(xué)習(xí)網(wǎng)絡(luò)模型建立植株莖葉分割和葉片重疊區(qū)分模型，實(shí)現(xiàn)棉花植株莖葉分割和葉片重疊區(qū)分。但目前這些研究大都局限于單株植株葉片分割上，并未應(yīng)用于大田植株；并且在煙草領(lǐng)域，高通量表型數(shù)據(jù)獲取技術(shù)較少，煙草表型數(shù)據(jù)嚴(yán)重不足，煙草產(chǎn)業(yè)在產(chǎn)量預(yù)估及生長(zhǎng)監(jiān)測(cè)方面缺乏技術(shù)支持。因此，如何在保證精度同時(shí)，實(shí)現(xiàn)大田煙草植株葉片數(shù)高通量、低成本的快速獲取成為亟待解決的難題。

為此，本文提出一種基于三維點(diǎn)云和改進(jìn)PointNet ⁺⁺ 的大田煙株葉片計(jì)數(shù)方法，該方法通過(guò)無(wú)人機(jī)傾斜攝影獲取大田煙株RGB影像進(jìn)而生成三維點(diǎn)云，并利用KDV-PointNet ⁺⁺ 模型分割得到葉片點(diǎn)云，最后對(duì)葉片點(diǎn)云進(jìn)行MeanShift[2]聚類，對(duì)應(yīng)得到葉片數(shù)。該方法可實(shí)現(xiàn)大田煙株葉片數(shù)的低成本、高通量快速獲取，為煙草農(nóng)業(yè)數(shù)字化、智能化產(chǎn)量預(yù)估和生長(zhǎng)監(jiān)測(cè)提供技術(shù)支持。

1 材料與方法

1.1數(shù)據(jù)采集與處理

1.1.1數(shù)據(jù)采集2024年5—7月，在云南省玉溪市澄江市世界煙草品種園內(nèi)開(kāi)展數(shù)據(jù)采集工作，該地屬中亞熱帶高原季風(fēng)型氣候，光照充足，冬暖夏涼、積溫多，干濕分明，雨熱同期[13]，有利于煙草植株生長(zhǎng)，且該地地勢(shì)起伏較小、視野相對(duì)開(kāi)闊、無(wú)遮擋物，有利于無(wú)人機(jī)進(jìn)行大范圍數(shù)據(jù)采集。

采用配備2000萬(wàn)像素可調(diào)節(jié)式相機(jī)的大疆PHANTOM4PRO無(wú)人機(jī)進(jìn)行煙草數(shù)據(jù)采集，其最大分辨率為 S472PPI×3956PPI ，焦距為 9mm 。采集主要分為兩個(gè)階段，第一階段為點(diǎn)云分割數(shù)據(jù)集數(shù)據(jù)采集階段，無(wú)人機(jī)飛行高度設(shè)置為5、7、9m ，以試驗(yàn)田特定位置的中心為興趣點(diǎn)圓心，半徑為 7m 進(jìn)行環(huán)繞拍攝。第二階段為結(jié)果驗(yàn)證數(shù)據(jù)采集，以同樣方法進(jìn)行環(huán)繞飛行并對(duì)區(qū)域內(nèi)每株煙株的葉片進(jìn)行人工計(jì)數(shù)，用于葉片計(jì)數(shù)結(jié)果驗(yàn)證。1.1.2數(shù)據(jù)處理利用ContextCapture軟件對(duì)無(wú)人機(jī)采集到的大田煙株圖片進(jìn)行三維建模并生成三維點(diǎn)云，導(dǎo)出單個(gè)煙株范圍內(nèi)點(diǎn)云。在進(jìn)行葉片點(diǎn)云分割試驗(yàn)之前，利用超綠算法[14]和半徑濾波算法[15]去除土壤點(diǎn)和離群點(diǎn)（圖1），并對(duì)處理后的點(diǎn)云進(jìn)行降采樣，得到試驗(yàn)所需點(diǎn)云。

1.1.3數(shù)據(jù)集構(gòu)建試驗(yàn)所用數(shù)據(jù)集采用 Shape-Netpart[16]數(shù)據(jù)集格式，使用CloudCompare軟件對(duì)預(yù)處理后的200株煙株點(diǎn)云數(shù)據(jù)進(jìn)行標(biāo)注，標(biāo)注好的點(diǎn)云如圖2所示。標(biāo)注的點(diǎn)云主要分為4類，第一類為本株煙株葉片點(diǎn)云即藍(lán)色點(diǎn)云，第二類為煙株莖稈點(diǎn)云即綠色點(diǎn)云，第三類為非本株葉片點(diǎn)云即紅色點(diǎn)云，第四類為建模雜亂點(diǎn)云即黃色點(diǎn)云。

將標(biāo)注好的煙株點(diǎn)云保存為TXT文件格式，并按照 8：1：1 的比例劃分訓(xùn)練集、驗(yàn)證集與測(cè)試集。

1.2基于PointNet ⁺⁺ 的煙葉點(diǎn)云分割模型

1.2.1PointNet ⁺⁺ 模型架構(gòu) PointNet ⁺⁺ 是Qi等[17]在PointNet[18]基礎(chǔ)上提出的改進(jìn)版本，其核心在于提出了一種多層次的特征提取結(jié)構(gòu)，能夠有效捕捉局部特征和全局特征。在此基礎(chǔ)上，作者還提出了MSG（Multi-scalegrouping）策略，其結(jié)構(gòu)如圖3所示，它是對(duì)不同半徑的子區(qū)域進(jìn)行特征提取并進(jìn)行堆疊。采取MSG策略后的PointNet ⁺⁺ 模型結(jié)構(gòu)如圖4所示，對(duì)于輸入的點(diǎn)云數(shù)據(jù)，其首先通過(guò)分層抽象（SetAbstraction，SA）層，對(duì)點(diǎn)云進(jìn)行逐層的采樣、分組和特征提取，生成逐層抽象的點(diǎn)云表示，并結(jié)合MSG策略，通過(guò)多種采樣半徑捕獲不同尺度的局部幾何特征，增強(qiáng)模型對(duì)稠密和稀疏區(qū)域的特征表達(dá)能力；提取的高層次特征隨后通過(guò)特征傳播（FeaturePropagation，F(xiàn)P）層逐步插值回底層點(diǎn)云，融合局部和全局特征信息，重建逐點(diǎn)特征；最終，通過(guò)多層感知機(jī)對(duì)每個(gè)點(diǎn)的特征進(jìn)行分類，輸出點(diǎn)云分割結(jié)果。

1.2.2KDV-PointNet ⁺⁺ 煙葉點(diǎn)云分割模型由于無(wú)人機(jī)飛行高度限制，建模后輸出的煙株葉片點(diǎn)云存在重疊、缺失等問(wèn)題，部分點(diǎn)云分布不均勻，不足以表現(xiàn)葉片局部結(jié)構(gòu)；且煙株中葉片點(diǎn)云占大多數(shù)，其余類別點(diǎn)云較少，以至于訓(xùn)練中樣本比例嚴(yán)重失衡，導(dǎo)致模型點(diǎn)云分割準(zhǔn)確率降低。針對(duì)上述問(wèn)題，本文采用了3種技術(shù)方法對(duì)點(diǎn)云分割模型進(jìn)行改進(jìn)，改進(jìn)后的模型如圖5所示

（1）利用KAN網(wǎng)絡(luò)代替MLP網(wǎng)絡(luò)。KAN網(wǎng)絡(luò)是由Liu等[19]提出的全新神經(jīng)網(wǎng)絡(luò)模型，其理論基礎(chǔ)來(lái)源于Kolmogorov-Arnold定理，在外部結(jié)構(gòu)上借鑒了MLP[20]，兩者的對(duì)比如圖6所示。與MLP不同的是，KAN網(wǎng)絡(luò)在網(wǎng)絡(luò)邊緣采用可學(xué)習(xí)的激活函數(shù)，且網(wǎng)絡(luò)中每個(gè)權(quán)重參數(shù)都被一個(gè)B樣條參數(shù)化表示的單變量函數(shù)替換，這種設(shè)計(jì)保持了網(wǎng)絡(luò)較好的可解釋性和表達(dá)能力，使得模型具有更強(qiáng)大的學(xué)習(xí)能力。本文利用KAN網(wǎng)絡(luò)完全代替第一個(gè)PointNet層中的MLP以改進(jìn)模型，為了驗(yàn)證此種替換方式的有效性，選取以下4種不同位置的替代方法在相同試驗(yàn)條件下進(jìn)行對(duì)比試驗(yàn)：① 將KAN網(wǎng)絡(luò)替代第一個(gè)PointNet層的第一個(gè)MLP; ② 將KAN完全替代第一個(gè)PointNet層的MLP; ③ 將KAN網(wǎng)絡(luò)替代第二個(gè)PointNet層的第一個(gè)MLP; ④ 將KAN完全替代第二個(gè)PointNet層的MLP。

（2）添加DGSTD注意力機(jī)制。本文提出一種DGSTD新型注意力機(jī)制，并在PointNet ⁺⁺ 模型的第三個(gè)PointNet層中引入該注意力機(jī)制。該注意力機(jī)制將DGST[21]模塊與 DBB^[22] 模塊結(jié)合，結(jié)構(gòu)如圖7所示。DGST采用 3：1 劃分策略，通過(guò)組卷積防止過(guò)擬合，并結(jié)合ShuffleNet V2^[23] 的通道重排技術(shù)促進(jìn)組間特征信息交換，提高點(diǎn)云位置特征提取能力。而DBB模塊通過(guò)融合多尺度、多復(fù)雜度的分支，豐富特征空間并增強(qiáng)網(wǎng)絡(luò)性能。DGSTD利用DBB替代DGST中的 1×1 卷積，進(jìn)一步加強(qiáng)模型的特征提取能力與魯棒性，使得模型更好地關(guān)注每個(gè)類別點(diǎn)云的位置信息，有效提高準(zhǔn)確率。為證明本文所提DGSTD新型注意力機(jī)制能夠有效提升模型精度，分割性能優(yōu)于其他主流注意力機(jī)制，本文在第三個(gè)PointNet層中以同樣方式分別加人CPCA[24]模塊、RepVGG[25]模塊、Shuffle-Attention[26]模塊、DGSTD 模塊4 種不同的注意力機(jī)制進(jìn)行對(duì)比試驗(yàn)。

（3）引入Varifocalloss損失函數(shù)。本研究引人Varifocalloss損失函數(shù)解決點(diǎn)云樣本不平衡問(wèn)題。該損失函數(shù)是由Zhang等[27]在Focalloss[28]基礎(chǔ)上提出的。Focalloss的核心是通過(guò)動(dòng)態(tài)縮放因子降低易區(qū)分樣本的權(quán)重，集中關(guān)注難區(qū)分樣本，從而緩解類別不平衡問(wèn)題，其計(jì)算公式如式（1）。

式中， p_t 是對(duì)樣本真實(shí)類別t的預(yù)測(cè)概率，如果樣本是正類， p_t=p ，如果是負(fù)類，則 p_t=1-p ，如式（2）； α_t 是平衡因子； γ 是調(diào)節(jié)因子。

但FocalLoss對(duì)正負(fù)樣本的權(quán)重調(diào)整方式相同，未考慮分布差異。VarifocalLoss針對(duì)此問(wèn)題進(jìn)行改進(jìn)，引入自適應(yīng)權(quán)重機(jī)制，可以根據(jù)樣本預(yù)測(cè)置信度動(dòng)態(tài)調(diào)整權(quán)重，并通過(guò)變焦機(jī)制靈活處理正負(fù)樣本關(guān)系，使損失函數(shù)更精準(zhǔn)高效，從而進(jìn)一步提高模型的分割性能，其計(jì)算公式如式（3）。

VFL（p_t，y_t）=-y_t（p_t^γ）log（p_t）-（1-y_t）（p_t^γ）log（1-p_t）

式中， p_t 與FocalLoss中相同； y_t 是目標(biāo)標(biāo)簽的置信度值，通常在0＼～1之間； γ 是調(diào)節(jié)因子。

本文所提改進(jìn)模型KDV-PointNet ⁺⁺ 將KAN網(wǎng)絡(luò)完全替代第一個(gè)PointNet層的MLP，在第三個(gè)PointNet層中嵌人DGSTD注意力機(jī)制，此外還引人Varifocalloss損失函數(shù)。為了探究所提三種改進(jìn)方式的組合效應(yīng)和相互影響，本文設(shè)計(jì)8組試驗(yàn)進(jìn)行消融試驗(yàn)，即對(duì)移除所有改進(jìn)的模型、移除兩個(gè)改進(jìn)的模型、移除單個(gè)改進(jìn)的模型和保留全部改進(jìn)的模型進(jìn)行試驗(yàn)。

為了驗(yàn)證本文所提改進(jìn)模型的有效性，利用煙草點(diǎn)云分割數(shù)據(jù)集對(duì)改進(jìn)模型與當(dāng)前主流點(diǎn)云語(yǔ)義分割模型即PointNet、Ssg-PointNet++、PointNet++、RandLA-Net[29]、D1-PointNet ₊₊[30] 模型、Scale-Point-Net+Δ^[31] 模型進(jìn)行對(duì)比試驗(yàn)。

1.2.3模型環(huán)境與評(píng)價(jià)指標(biāo)（1）訓(xùn)練環(huán)境。模型訓(xùn)練及測(cè)試在ubuntu20.04系統(tǒng)下進(jìn)行，Python版本為3.8，采用Pytorch1.11.0深度學(xué)習(xí)框架，詳細(xì)數(shù)據(jù)如表1。訓(xùn)練時(shí)，輸入點(diǎn)云數(shù)量設(shè)置為45000，模型訓(xùn)練輪次為200，初始學(xué)習(xí)率為0.001，批量大小為4，并使用點(diǎn)云法向量參與訓(xùn)練。

（2）模型評(píng)價(jià)指標(biāo)。本文主要從準(zhǔn)確率（Accuracy）和平均交并比（MeanIntersectionoverUnion，mIoU）[32]兩個(gè)方面評(píng)價(jià)網(wǎng)絡(luò)性能。Accuracy是指在全部預(yù)測(cè)中，正確預(yù)測(cè)結(jié)果所占的比例。mIoU表示模型對(duì)每個(gè)類別的預(yù)測(cè)結(jié)果與真實(shí)值的交集與并集的比值，并對(duì)所有類別的比值進(jìn)行求和后取平均，它綜合反映了模型在各個(gè)類別上的平均表現(xiàn)。Accuracy和mloU的計(jì)算公式如式（4）＼～（5）。

式中， TP 表示預(yù)測(cè)值和真實(shí)值均為正樣本；TN表示預(yù)測(cè)值和真實(shí)值均為負(fù)樣本； FP 表示預(yù)測(cè)值為正樣本，但真實(shí)值為負(fù)樣本； FN 表示預(yù)測(cè)值為負(fù)樣本，真實(shí)值為正樣本； k 為點(diǎn)云類別數(shù)。

1.3 基于Meanshift的葉片計(jì)數(shù)方法

分割得到煙株葉片點(diǎn)云后，利用Meanshift點(diǎn)云聚類算法對(duì)葉片點(diǎn)云進(jìn)行聚類以實(shí)現(xiàn)葉片數(shù)的統(tǒng)計(jì)。MeanShift是一種基于密度的非參數(shù)聚類算法，其核心思想是通過(guò)不斷移動(dòng)數(shù)據(jù)點(diǎn)（或質(zhì)心）到密度最高的區(qū)域，從而識(shí)別出數(shù)據(jù)聚類中心。假設(shè)有 n 個(gè)數(shù)據(jù)點(diǎn)，每個(gè)數(shù)據(jù)點(diǎn)為 d 維向量。該算法具體步驟如下：

（1）選擇合適的核函數(shù)帶寬參數(shù) h O（2）初始化數(shù)據(jù)點(diǎn)位置，即將每個(gè)數(shù)據(jù)點(diǎn)初始化為當(dāng)前位置。（3）對(duì)每個(gè)點(diǎn)計(jì)算MeanShift法向量 m（x） ，計(jì)算公式如式（6）＼～（7）。

式中， x 為當(dāng)前點(diǎn)的位置； x_i 為 x 鄰域點(diǎn)集中的點(diǎn)； h 為帶寬，它控制了搜索鄰域的大??； N 為點(diǎn) x 鄰域內(nèi)所有點(diǎn)組成的點(diǎn)集； K（x_i-x） 為高斯核函數(shù)。

（4）根據(jù)MeanShift向量更新點(diǎn)的位置，計(jì)算公式如式（8）。

x_new=x+m（x）

重復(fù)這一過(guò)程，直至 x 收斂，即偏移向量m（x） 足夠小或達(dá)到指定迭代次數(shù)。

（5）所有點(diǎn)收斂后，將收斂到同一位置的點(diǎn)歸為同一個(gè)簇。

由于不同核函數(shù)帶寬參數(shù)對(duì)聚類結(jié)果有較大影響，為了選取最優(yōu)帶寬參數(shù)和驗(yàn)證計(jì)數(shù)方法的可行性，本文對(duì)230株煙草植株點(diǎn)云進(jìn)行了KDV-PointNet ⁺⁺ 點(diǎn)云分割，并采用帶寬為0.046、0.0465、0.047、0.0475、0.048、0.0485的MeanShift聚類算法進(jìn)行葉片計(jì)數(shù)試驗(yàn)。

2結(jié)果

2.1不同KAN網(wǎng)絡(luò)代替位置對(duì)比試驗(yàn)

將KAN網(wǎng)絡(luò)替代第一個(gè)PointNet層的第一個(gè)MLP，記為Model_1；將KAN完全替代第一個(gè)PointNet層的MLP，記為Model_2；按照同樣的兩種方式替代第二個(gè)PointNet層，分別記為Model_3和Model_4；進(jìn)行對(duì)比試驗(yàn)。結(jié)果表明（表2），Model_2準(zhǔn)確率為 92.21% ，平均交并比為 75.6% ：與原始模型相比，準(zhǔn)確率提高1.72百分點(diǎn)，mIoU提高2.08百分點(diǎn)；與Model_1相比，準(zhǔn)確率提高1.63百分點(diǎn)，mIoU提高4.59百分點(diǎn)；與Model_3相比，準(zhǔn)確率提高1.04百分點(diǎn)，mIoU提高2.92百分點(diǎn)；與Model_4相比，準(zhǔn)確率提高1.83百分點(diǎn)，mIoU提高5.11百分點(diǎn)。綜上，Model_2優(yōu)于其他三種代替方式，能夠較好地增強(qiáng)模型持續(xù)學(xué)習(xí)能力。

2.2注意力機(jī)制對(duì)比試驗(yàn)

注意力機(jī)制對(duì)比試驗(yàn)結(jié)果表明（表3），添加了DGSTD模塊的PointNet ⁺⁺ 準(zhǔn)確率為 92.05% ，平均交并比為 74.86% ；與原始模型相比，準(zhǔn)確率提高1.56百分點(diǎn)，mIoU提高1.34百分點(diǎn)；與CPCA、RepVGG、ShuffleAttention模塊相比，準(zhǔn)確率分別提高1.01、0.48、0.28百分點(diǎn)，mIoU分別提高2.13、1.06、0.43百分點(diǎn)。綜上，DGSTD點(diǎn)云分割效果優(yōu)于其余三種注意力機(jī)制。

2.3 消融試驗(yàn)

消融試驗(yàn)結(jié)果表明（表4），在未加載KAN網(wǎng)絡(luò)和未添加DGSTD注意力機(jī)制情況下，引入Varifocalloss，準(zhǔn)確率較原始模型提高1.26百分點(diǎn)，mIoU提高1.24百分點(diǎn)；由圖8可知，加入損失函數(shù)后模型收斂更快。

由表4可知，在未加載KAN網(wǎng)絡(luò)情況下，加入DGSTD與Varifocalloss，較只加人DGSTD，準(zhǔn)確率下降0.01百分點(diǎn)，但mIoU提升0.12百分點(diǎn)；其余加入多個(gè)改進(jìn)的模型較只加入一種改進(jìn)的模型準(zhǔn)確率和平均交并比均有不同程度的提升；如圖9＼～10所示，與原始模型PointNet ⁺⁺ 相比，本研究構(gòu)建的KDV-PointNet ++ 模型準(zhǔn)確率提高2.06百分點(diǎn)，mIoU提高2.81百分點(diǎn)，經(jīng)過(guò)改進(jìn)的模型在點(diǎn)云分割精度上更高。

2.4不同點(diǎn)云分割模型對(duì)比試驗(yàn)

不同點(diǎn)云分割模型對(duì)比試驗(yàn)結(jié)果表明（表5），本文模型與PointNet、Ssg-PointNet++、PointNet++、RandLA-Net、Dl-PointNet ⁺⁺ 模型、Scale-PointNet ⁺⁺ 模型相比，準(zhǔn)確率分別提高17.22、2.83、2.06、1.03、0.32、0.5百分點(diǎn)，mIoU分別提高41.73、6.88、2.81、2.47、0.42、0.87百分點(diǎn)。綜合來(lái)看，KDV-PointNet ⁺⁺ 較其他模型能夠?qū)崿F(xiàn)更高精度的點(diǎn)云分割，具有更好的分割精度。

2.5計(jì)數(shù)結(jié)果驗(yàn)證

由表6可知，當(dāng)帶寬為0.0475時(shí)，本文所提方法葉片計(jì)數(shù)精確率最高，可達(dá) 94.35% ，能夠較好地實(shí)現(xiàn)大田煙株葉片數(shù)估計(jì)。

3討論

基礎(chǔ)的PointNet ⁺⁺ 點(diǎn)云分割模型在處理密度不均點(diǎn)云時(shí)會(huì)導(dǎo)致信息丟失，對(duì)點(diǎn)云中遮擋或缺失的點(diǎn)較為敏感，影響模型分割性能。因此需要對(duì)基礎(chǔ)PointNet ⁺⁺ 網(wǎng)絡(luò)模型進(jìn)行針對(duì)性改進(jìn)，從而提高模型分割精度。本文針對(duì)煙株點(diǎn)云存在的重疊、缺失、分布不均勻和訓(xùn)練樣本比例失衡等問(wèn)題，通過(guò)將MLP網(wǎng)絡(luò)替換為KAN網(wǎng)絡(luò)、添加DGSTD注意力機(jī)制和更換Varifocalloss損失函數(shù)對(duì)原始PointNet ⁺⁺ 模型進(jìn)行改進(jìn)，并將其與原始PointNet++模型和其他五種分割模型進(jìn)行對(duì)比，結(jié)果表明本研究構(gòu)建的模型KDV-PointNet ⁺⁺ 分割性能最優(yōu)，改進(jìn)后的模型能夠進(jìn)一步增強(qiáng)模型的學(xué)習(xí)能力和對(duì)不同類別點(diǎn)云的特征提取能力，更快地將關(guān)注點(diǎn)集中在難以區(qū)分的樣本點(diǎn)上，從而提高模型的分割精度。

本研究將3種改進(jìn)方法應(yīng)用于基礎(chǔ)PointNe ⁺⁺ 網(wǎng)絡(luò)中，并進(jìn)行對(duì)比試驗(yàn)。在不同位置上對(duì)MLP網(wǎng)絡(luò)進(jìn)行替換時(shí)，用KAN完全替代第一個(gè)Point-Net層的MLP效果要優(yōu)于其余3種嵌入方式，因?yàn)閭鹘y(tǒng)MLP部分會(huì)限制上下文關(guān)系的傳遞能力，無(wú)法充分挖掘點(diǎn)云的結(jié)構(gòu)化信息；僅用KAN替代MLP的某一部分，可能導(dǎo)致網(wǎng)絡(luò)內(nèi)部特征表達(dá)的不一致，影響模型分割性能。此外，本研究發(fā)現(xiàn)建模后的葉片點(diǎn)云和建模雜亂點(diǎn)云位置特征相似，容易引起混亂，導(dǎo)致模型難以區(qū)分點(diǎn)云類別，因此模型需要更加關(guān)注每個(gè)類別點(diǎn)的位置信息，增強(qiáng)對(duì)兩類點(diǎn)云的特征識(shí)別能力。為此，本研究選擇添加注意力機(jī)制進(jìn)行改進(jìn)，試驗(yàn)結(jié)果表明，添加DGSTD注意力機(jī)制后模型性能最好，這是由于DGSTD是結(jié)合了動(dòng)態(tài)圖構(gòu)建和空間-時(shí)間維度的注意力機(jī)制，它可以根據(jù)點(diǎn)云或時(shí)序數(shù)據(jù)構(gòu)建鄰域（動(dòng)態(tài)圖），并在訓(xùn)練過(guò)程中根據(jù)每個(gè)點(diǎn)的幾何分布和位置自適應(yīng)調(diào)整鄰域范圍，從而增強(qiáng)對(duì)每個(gè)點(diǎn)幾何位置的理解。研究還發(fā)現(xiàn)點(diǎn)云中葉片點(diǎn)云比例較大，其余3種類別點(diǎn)云比例較小，點(diǎn)云樣本比例嚴(yán)重失衡，因此，本研究添加Varifocalloss以解決點(diǎn)云樣本比例失衡問(wèn)題。試驗(yàn)結(jié)果表明，添加該損失函數(shù)后的模型性能有了進(jìn)一步提升，原因是基礎(chǔ)PointNet網(wǎng)絡(luò)的損失函數(shù)沒(méi)有特定機(jī)制去動(dòng)態(tài)調(diào)整樣本權(quán)重，容易忽略對(duì)困難樣本的優(yōu)化，Varifocalloss設(shè)計(jì)了樣本權(quán)重調(diào)整機(jī)制，基于預(yù)測(cè)的置信度動(dòng)態(tài)調(diào)整樣本的重要性，解決了樣本類別不均衡的問(wèn)題。改進(jìn)后的模型分割準(zhǔn)確率達(dá)到 92.55% ，較原始模型提高2.06百分點(diǎn)，葉片計(jì)數(shù)精確率達(dá) 94.35% 。

目前大田植株葉片計(jì)數(shù)方法大都局限于二維空間內(nèi)，遮擋較為嚴(yán)重時(shí)無(wú)法實(shí)現(xiàn)準(zhǔn)確計(jì)數(shù)，本文所提方法能夠在三維空間內(nèi)進(jìn)行葉片計(jì)數(shù)，有效解決葉片遮擋問(wèn)題，改進(jìn)后的模型提高了大田煙株葉片計(jì)數(shù)結(jié)果的準(zhǔn)確性。但本文方法仍存在一些局限性，例如三維建模精度較低會(huì)影響模型點(diǎn)云分割精度，葉片遮擋過(guò)于嚴(yán)重會(huì)導(dǎo)致計(jì)數(shù)不準(zhǔn)。接下來(lái)需進(jìn)一步改進(jìn)相關(guān)方法，如對(duì)無(wú)人機(jī)飛行路線進(jìn)行合理規(guī)劃，采集質(zhì)量更高的植株圖像進(jìn)而提高三維建模精度，更換模型改進(jìn)方式以提高對(duì)遮擋葉片的分割精度等，從而實(shí)現(xiàn)更高精度的葉片計(jì)數(shù)。

4結(jié)論

本文以大田煙株為研究對(duì)象，提出了一種結(jié)合三維點(diǎn)云和改進(jìn)PointNe ⁺⁺ 的大田煙株葉片計(jì)數(shù)方法。針對(duì)單個(gè)煙株范圍內(nèi)不同類別點(diǎn)云的分割和PointNet ⁺⁺ 存在的不足，應(yīng)用KAN網(wǎng)絡(luò)代替?zhèn)鹘y(tǒng)MLP網(wǎng)絡(luò)，增強(qiáng)模型學(xué)習(xí)能力；添加DGSTD注意力機(jī)制，有效提高點(diǎn)云分割精度；引入Varifocalloss損失函數(shù)解決各類別點(diǎn)云樣本比例不平衡問(wèn)題。改進(jìn)后的KDV-PointNet ⁺⁺ 模型，準(zhǔn)確率達(dá) 92.55% 平均交并比達(dá) 76.33% ，遠(yuǎn)高于PointNet ⁺⁺ 的分割效果；煙株葉片計(jì)數(shù)精確率達(dá) 94.35% ，實(shí)現(xiàn)了大田煙株葉片的計(jì)數(shù)，為煙草農(nóng)業(yè)數(shù)字化、智能化生長(zhǎng)監(jiān)測(cè)和產(chǎn)量預(yù)估提供數(shù)據(jù)支撐和技術(shù)支持。

參考文獻(xiàn)

[1] 母婷婷，肖孟宇，林徐亮，等.炭基生物餅肥對(duì)土壤理化性狀及 煙草產(chǎn)質(zhì)量的影響[J].湖南農(nóng)業(yè)科學(xué)，2023（3）：50-54. MUTT，XIAOMY，LINXL，etal.Effectsofbiochar-substrate cake fertilizer on soil physicochemical properties and tobacco yield and quality[J].Hunan Agricultural Sciences，2023（3）：50-54.

[2] 王春穎，泮瑋婷，李祥，等.基于ST-LSTM的植物生長(zhǎng)發(fā)育預(yù) 測(cè)模型[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2022，53（6）：250-258. WANG CY，PANWT，LIX，etal.Plant growthanddevelopment predictionmodel basedon ST-LSTM[J].Transactionsof theChinese Society for AgriculturalMachinery，2022，53（6）： 250-258.

[3] 侯依廷，饒?jiān)钨R，等.復(fù)雜大田場(chǎng)景下基于改進(jìn)YOLOv8的 小麥幼苗期葉片數(shù)快速檢測(cè)方法[J].智慧農(nóng)業(yè)（中英文），2024， 6（4）：128-137. HOUYT，RAOY，SONGH，etal.Arapiddetectionmethodfor wheat seedling leaf numberin complex field scenarios based on improvedYOLOv8[J].SmartAgriculture，2024， 6（4）：128-137.

[4] KOLHAR S，JAGTAP J. Leaf segmentation and counting forphenotyping of rosette plants using Xception-style U-Net and watershed algorithm[C]// Computer Vision and Image Processing. Cham：Springer International Publishing，2022：139-150.

[5] 鄒龍，王以松，魏昆鵬，等.LU-ReNet植物葉片分割與計(jì)數(shù)模 型[J].計(jì)算機(jī)工程與設(shè)計(jì)，2022，43（2）：553-559. ZOUL，WANGYS，WEIK P，etal.LU-ReNetplantleaf segmentation and counting model[J].Computer Engineering and Design，2022，43（2）：553-559.

[6] 謝源，苗玉彬，張舒.基于空洞全卷積網(wǎng)絡(luò)的葉片分割算法[J].現(xiàn) 代計(jì)算機(jī)，2020，26（6）：88-92. XIEY，MIAO Y B， ZHANG S.Leaf segmentation based on fully convolutional network with dilation[J].Modern Computer，2020， 26（6）： 88-92.

[7] 曾安，羅琳，潘丹，等.基于三維點(diǎn)云的植物多任務(wù)分割網(wǎng)絡(luò)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2023，39（12）：132-140. ZENG A，LUOL，PAN D， etal.Multi-task segmentation network for the plant on 3D point cloud[J]. Transactions of the Chinese Society of Agricultural Engineering， 2023， 39（12）： 132-140.

[8] 胡春華，劉炫，計(jì)銘杰，等.基于SegNet與三維點(diǎn)云聚類的大田 楊樹(shù)苗葉片分割方法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2022，53（6）：259-264. HUCH，LIUX，JIMJ，etal.Singlepoplarleafsegmentation method based on SegNet and 3D point cloud clustering in field[J]. Transactions of the Chinese Society for Agricultural Machinery， 2022，53（6）：259-264.

[9] ELNASHEFB，F(xiàn)ILINS，LATIRN.Tensor-based classificationand segmentation of three-dimensional point clouds for organ-level plant phenotyping and growth analysis[J].Computers and Electronicsin Agriculture，2019，156：51-61.

[10]LIURP，RENL S，WANGF.3D point cloud of single tree branches and leaves semantic segmentation based on modified PointNet network[J].Journal of Physics： Conference Series，2021，2074（1）： 012026.

[11]HAO HY，WU S，LIYK， et al. Automatic acquisition， analysis and wiltingmeasurement of cotton 3D phenotype basedonpoint cloud[J]. Biosystems Engineering，2024，239：173-189.

[12]COMANICIU D， MEER P.Mean shift： A robust approach toward feature space analysis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24（5）：603-619.

[13]楊繼周，謝新喬，朱安琪，等.玉溪烤煙氣候適宜性分析的方法 研究[J].云南農(nóng)業(yè)大學(xué)學(xué)報(bào)（自然科學(xué)），2021，36（5）：832-840. YANGJZ， XIE XQ， ZHU A Q， etal. Study on the method of climate suitabilityanalysisforflue-cured tobaccoinYuxi[J].Journal of Yunnan Agricultural University （Natural Science）， 2021，36（5）： 832-840.

[14]徐航煌，陳學(xué)永，馬偉平，等.基于無(wú)人機(jī)圖像顏色指數(shù)的松材 線蟲(chóng)病識(shí)別方法研究[J].新余學(xué)院學(xué)報(bào)，2021，26（4）：11-16. XUHH，CHEN XY，MAWP，et al.Research onrecognition method of pine wilt disease based on UAV image color index[J]. Journal ofXinyu University，2021，26（4）：11-16.

[15]崔曉冬，沈蔚，帥晨甫，等.多波束點(diǎn)云濾波算法初步研究及適 用性分析[J].海洋測(cè)繪，2021，41（5）：12-16. CUI XD，SHEN W，SHUAI C F， et al. Preliminary research and application analysis ofmulti-beam point cloud filteringalgorithm[J]. Hydrographic Surveying and Charting，2021，41（5）： 12-16.

[16]CHANG A X， FUNKHOUSER T，GUIBAS L， et al. ShapeNet： An information-rich 3D model repository[EB/OL].2015：1512.03012. https：//doi.0rg/10.48550/arXiv.1512.03012.

[17]QICR，YIL，SUH，etal.PointNet++：Deep hierarchical feature learning on point sets in a metric space[EB/OL]. 20l7：1706.02413. https：//arxiv.org/abs/1706.02413v1.

[18]CHARLESR Q， HAO S，MO K C， et al.PointNet： Deep learning on point sets for 3D classification and segmentation[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， Honolulu.IEEE，2017：77-85.

[19]LIU Z M， WANG Y X， SACHIN V et al. KAN： Kolmogorov-arnold networks[EB/OL].2024： 2404.19756.https：//doi.org/10.48550/arXiv. 2404.19756.

[20]TOLSTIKHIN I， HOULSBY N，KOLESNIKOV A， et al. MLPmixer：anall-MLP architecture for vision[EB/OL].2021：2105.01601. https：//do1.0rg/10.48550/arX1v.2105.01601.

[21]GONG W K.Lightweight object detection： A study based on YOLOv7 integrated with ShuffleNetv2 and vision transformer [EB/OL].2024：2403.01736.https：//arxiv.0rg/abs/2403：01736v1.

[22]DING X H， ZHANG XY，HANJG， et al.Diverse branch block： Building a convolution as an inception-like unit[C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）， Nashville.IEEE，2021：10881-10890.

[23] MA NN，ZHANG XY，ZHENGHT，et al. ShuffleNet V2： practical guidelines for efficient CNN architecture design[M]//Computer vision-ECCV 2018. Cham： Springer International Publishing，2018： 122-138.

[24]HUANG HJ， CHEN Z G， ZOU Y，et al. Channel prior convolutional attention for medical image segmentation[EB/OL].2023：2306.05196. https：//arxiv.org/abs/2306.05196v1.

[25]DING X H， ZHANG X Y， MA N N， et al. RepVGG： Making VGGstyle ConvNets great again[EB/OL]. 2021： 2101.03697. https：//arxiv. org/abs/2101.03697v3.

[26]YANG Q Z Y. SA-net： Shuffle attention for deep convolutional neuralnetworks[EB/OL].2021：2102.00240.https：//arxiv.org/abs/ 2102.00240v1.

[27]ZHANG H Y，WANG Y，DAYOUB F，et al. VarifocalNet： An IoUaware dense object detector[C]//2021 IEEE/CVF Conference on ComputerVisionand Pattern Recognition（CVPR），NashvilleIEEE， 2021：8510-8519.

[28]LIN TY， GOYAL P， GIRSHICK R， et al. Focal loss for dense object detection[J]. IEEE TransactionsonPattern Analysis and Machine Intelligence，2020，42（2）： 318-327.

[29]HUQY，YANG B，XIE LH，et al.RandLA-net： Efficient semantic segmentation of large-scale point clouds[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）， SeattleIEEE，2020： 11108-11117.

[30]裴少通，孫海超，孫志周，等.基于DI-PointNet的變電站主設(shè)備 點(diǎn)云高精度語(yǔ)義分割方法[J/OL].電工技術(shù)學(xué)報(bào)，1-14[2024-09- 08]. https：//doi.org/10.19595/j.cnki.1000-6753.tces.240638. PEI ST，SUN H C SUN Z Z，et al.High-precision semantic segmentation method of point cloud of substation main equipment based on DI-PointNet[J/OL].Transactions of China Electrotechnical Society.2024：1-14[2024-09-08].https：//doi.org/10.19595/j.cnki.1000- 6753.tces.240638.

[31]胡曉宇.基于Scale-PointNet的語(yǔ)義建筑物立面結(jié)構(gòu)提取方法[J] 科技與創(chuàng)新，2024（3）：88-90. HUXY. Semantic building facade structure extraction method based onScale-PointNet[J].Science and Technology amp; Innovation， 2024（3）： 88-90.

[32]徐婕，劉慧，沈躍，等.基于改進(jìn)PointNet++模型的苗圃樹(shù)木點(diǎn) 云分類與分割[J].中國(guó)激光，2024，51（8）：0810001. XU J，LIU H， SHEN Y，et al.Point clouds classification and segmentation for nursery trees based on improved PointNet++ model[J]. Chinese Journal ofLasers，2024，51（8）： 0810001.