基于RGBD相機的黑皮雞樅菌子實體形態(tài)視覺測量

王映龍，肖 歡，殷 華,3，羅 珊，勒 宇，萬家興

基于RGBD相機的黑皮雞樅菌子實體形態(tài)視覺測量

王映龍1，肖 歡2，殷 華2,3※，羅 珊1，勒 宇1，萬家興2

（1. 江西農(nóng)業(yè)大學(xué)計算機與信息工程學(xué)院，南昌 330045；2. 江西農(nóng)業(yè)大學(xué)軟件學(xué)院，南昌 330045；3. 江西農(nóng)業(yè)大學(xué)食藥用菌工程技術(shù)研究中心，南昌 330045）

子實體的形態(tài)是黑皮雞樅菌育種和栽培過程中關(guān)注的重點，傳統(tǒng)手工測量方法耗時、費力。為了實現(xiàn)在生長過程中對黑皮雞樅菌子實體進(jìn)行快速、準(zhǔn)確地監(jiān)測，提出了一種基于SR300深度相機的自動化在線測量方法。首先，在實驗室和栽培工廠采集樣本、構(gòu)建數(shù)據(jù)集并基于YOLO V4建立黑皮雞樅子實體識別模型；其次，根據(jù)K-means算法對識別所得的包圍框分布情況聚類，并以此進(jìn)行分割，得到最優(yōu)處理區(qū)域后上采樣構(gòu)建不同尺度的子實體圖像；最后，融合Grabcut算法提取的不同尺度目標(biāo)輪廓邊界得到測量點信息，并結(jié)合深度值矯正待測點的位置，計算真實值。經(jīng)過現(xiàn)場試驗，結(jié)果表明該方法能夠得到子實體的形態(tài)特征，菌蓋測量平均絕對誤差為0.357 mm，標(biāo)準(zhǔn)差為0.273 mm；菌柄寬度測量平均絕對誤差為0.304 mm，標(biāo)準(zhǔn)差為0.209 mm。該方法能夠滿足工廠中對黑皮雞樅菌子實體形態(tài)自動化監(jiān)測的需求。

圖像識別；計算機視覺；黑皮雞樅菌；植物表型；RGBD；測量

0 引 言

黑皮雞樅菌（）口感鮮美，具有較高的藥用和食用價值[1]，在市場上廣受青睞。在黑皮雞樅菌的多種農(nóng)藝性狀當(dāng)中，子實體（菌蓋和菌柄）的形態(tài)是其對生長環(huán)境適用性情況的反映，也是品質(zhì)分級和機械化采摘的重要依據(jù)。通過連續(xù)觀察子實體的形態(tài)大小，種植者們能夠合理調(diào)整栽培環(huán)境、及時預(yù)防病蟲害，而相關(guān)研究人員也能據(jù)此類性狀選育優(yōu)良品種[2-4]。但當(dāng)前對黑皮雞樅菌子實體的觀測以人工方式為主，勞動強度高、效率低下，特別是在利用游標(biāo)卡尺等工具進(jìn)行測量時對測量位置的選取通常會具有一定的主觀偏差，導(dǎo)致不同人的測量結(jié)果不一致。另外，采用接觸式測量還有可能帶來子實體的損傷影響其生長。

計算機視覺與深度學(xué)習(xí)技術(shù)目前已廣泛應(yīng)用于對農(nóng)產(chǎn)品形態(tài)的觀測，如范夢揚等[5]采用支持向量機算法模型對麥穗圖像紋理特征進(jìn)行前景背景劃分，提取圖像中麥穗骨架后實現(xiàn)了對田間麥穗的計數(shù)，準(zhǔn)確率達(dá)93.1%。Lu等[6]提出了一種深度卷積神經(jīng)網(wǎng)絡(luò)（TasselNet），通過對田間拍攝圖像的局部特征提取和回歸，實現(xiàn)了較高精度的玉米雄穗計數(shù)。由于形態(tài)特征能夠在一定程度上反映作物基因型，Amparo等[7]在其研究當(dāng)中使用彩色成像和色度學(xué)分析的技術(shù)對于甘薯的根、葉脈顏色和葉形、表皮顏色等性狀進(jìn)行觀測，有效提升了形態(tài)學(xué)特征分析的質(zhì)量。然而在食用菌方面，計算機視覺技術(shù)應(yīng)用有限，僅有的研究多集中于對香菇、雙胞蘑菇的自動化分級方面[8-11]。陳紅等[12]利用統(tǒng)計法、馬爾科夫隨機場以及分形維數(shù)模型量化圖像區(qū)域的香菇紋理特征，在香菇分選過程中準(zhǔn)確率可達(dá)93.57%。隨后，其團(tuán)隊進(jìn)一步提出了花菇菌蓋破損識別算法[13]。而黃星奕等[14]通過回歸分析的方法，使用支持向量機（Support Vector Machine，SVM）建立了秀珍菇畸形判別模型，最終識別準(zhǔn)確率為96.67%。

隨著價格不斷降低，精度不斷提高，利用RGBD相機對農(nóng)產(chǎn)品進(jìn)行觀察和測量逐漸成為研究的熱點。相較于傳統(tǒng)相機，RGBD相機能夠通過坐標(biāo)轉(zhuǎn)換得到目標(biāo)對象的三維數(shù)據(jù)，描述目標(biāo)對象更為精確。目前，利用深度相機進(jìn)行對象尺寸測量主要有基于點云與基于深度圖兩種方式?；邳c云的方式如仇瑞承等[15]為了實現(xiàn)田間單株玉米株高的快速測量提出了一種基于RGBD相機的方法，使用形態(tài)學(xué)操作將玉米的彩色圖像進(jìn)行骨架分割提取、尋找其路徑，通過點云數(shù)據(jù)計算出玉米最高點和最低點的差值實現(xiàn)對株高的測量，平均誤差為1.62 cm，均方根誤差為1.86 cm，測量結(jié)果符合實際應(yīng)用場景的需要。楊斯等[16]將RGBD相機運用到蔬菜苗群體株高的測量當(dāng)中，使用濾波算法和顏色聚類的方法去除環(huán)境噪聲后利用點云信息將單株幼苗進(jìn)行分割。這種方法主要適合于大型植物且點云濾波、聚類等運算較為復(fù)雜，需要占用較多的系統(tǒng)資源。而基于深度圖的方法則是直接利用深度圖來進(jìn)行目標(biāo)提取，如王玲等[17]為了實現(xiàn)對工廠環(huán)境下生長的褐蘑菇菌蓋直徑進(jìn)行原位測量，利用SR300相機采取自頂向下的方式采集褐蘑菇的深度圖像并進(jìn)行測量，最終結(jié)果相對誤差約為10%；孫經(jīng)緯等[18]亦采用相同的方式基于“淹沒法”實現(xiàn)了雙孢蘑菇的尺寸測量。上述算法都是利用食用菌子實體與菇床覆土之間具有深度差這一特點實現(xiàn)，且僅僅適合于對菌蓋大小的檢測，當(dāng)需要同時對菌柄菌蓋進(jìn)行測量時，該方法無法適用。

針對上述問題，本研究以構(gòu)建黑皮雞樅菌子實體形態(tài)原位測量系統(tǒng)為目標(biāo)，設(shè)計了可走行的龍門結(jié)構(gòu)，基于SR300相機，利用YOLO和改進(jìn)的Grabcut算法并融合RGB圖像及深度圖像實現(xiàn)了對黑皮雞樅菌子實體的原位分割及尺寸測量，取得了較好的效果，為后續(xù)進(jìn)行機械化采摘、工廠化育種奠定了基礎(chǔ)。

1 數(shù)據(jù)采集

從是否主動投射光源角度可將立體視覺劃分為主動和被動兩種?？紤]到田間環(huán)境的場景復(fù)雜性，Wang等[19]根據(jù)一天中不同時間段環(huán)境光的變化對芒果形態(tài)測量，發(fā)現(xiàn)主動光源成像更適用于應(yīng)對不同光照情況變化的測量場景，且在低光環(huán)境下表現(xiàn)穩(wěn)定。黑皮雞樅菌的種植環(huán)境較暗，且子實體表面為黑褐色，因此考慮采用主動視覺成像技術(shù)的RGBD相機進(jìn)行數(shù)據(jù)采集。SR300作為Intel推出的消費級結(jié)構(gòu)光相機，在近距離場景下的逆向工程應(yīng)用中有巨大的潛力[20]。其理論拍攝范圍20～150 cm，能夠同時給出深度圖和彩色圖，因此本研究采用SR300作為數(shù)據(jù)采集設(shè)備。

試驗地點為江西農(nóng)業(yè)大學(xué)食用菌工程技術(shù)研究中心智能菌菇栽培房，菇床長105 cm，寬50 cm，黑皮雞樅菌包置于菇床內(nèi)，采用覆土方式栽培，并控制光照強度在（300±10）LUX[21]，將SR300深度相機固定于菇床上方支架（如圖1），距離菇床10 cm，傾斜65°，通過控制機構(gòu)實現(xiàn)在、軸方向移動對菇床內(nèi)黑皮雞樅生長情況進(jìn)行拍攝，同時得到彩色圖像和深度圖像（分辨率為640×480 像素）并進(jìn)行對齊。SR300通過USB 3.0數(shù)據(jù)線與工控機（CPU I5-6200U，16 Gb內(nèi)存）相連。

1.Y軸 2.X軸 3.相機支架 4.SR300相機 5.黑皮雞樅菌栽培菇床 6.智能溫室 7.連接電纜 8.工控機

由于黑皮雞樅子實體的形態(tài)會受環(huán)境溫度、濕度、CO2濃度的影響出現(xiàn)菌柄變細(xì)、菌蓋顏色深淺不一等變化，單純利用實驗室樣本進(jìn)行黑皮雞樅子實體識別模型的訓(xùn)練具有一定的局限性，為增加算法模型的泛化能力，在樟樹興鑫食用菌公司、南昌新贛食用菌公司的黑皮雞樅菌工廠（環(huán)境光照強度為（300±10）LUX）利用手機（Vivo iQoo neo3）模擬SR300的拍攝角度獲取834幅RGB圖像（4 000×3 000 像素）、利用SR300相機獲取220張RGB圖像，與實驗室用SR300相機獲取的50張RGB圖片一起進(jìn)行標(biāo)注后按照7∶3劃分為訓(xùn)練集和測試集。對訓(xùn)練集進(jìn)行模糊、色調(diào)、鏡像等數(shù)據(jù)增強后，共得到訓(xùn)練圖片2 500張，測試圖片330張。

2 研究方法

雖然有相關(guān)研究[22]直接利用RGB-D相機所得的深度圖像直接進(jìn)行分割，但由于拍攝角度、遠(yuǎn)處目標(biāo)較小及相機成像特性等原因，直接利用深度圖容易把菇床中覆土土塊識別為目標(biāo)，降低精度。為了避免該問題，本研究首先基于RGB圖像數(shù)據(jù)對黑皮雞樅菌進(jìn)行定位，再利用改進(jìn)的Grabcut方法獲取輪廓邊界并融合深度尋找到待測量點位置后使用三維坐標(biāo)測算其表型參數(shù)，基本流程如下圖2所示。

圖2 本研究的流程圖

2.1 黑皮雞樅子實體定位

目前，常用的目標(biāo)檢測模型有基于感興趣區(qū)域（Region of Interest，ROI）提取的二階段算法模型和基于回歸任務(wù)的一階段檢測模型。YOLO作為一階段模型的代表已經(jīng)廣泛用于對目標(biāo)的識別任務(wù)中，如劉天真等[23-25]均通過YOLO V3模型來對自然場景下的冬棗、番茄和蘋果識別。YOLO V4模型針對YOLO V3模型進(jìn)行了改進(jìn)，其采用殘差結(jié)構(gòu)構(gòu)建CSPDarkNet53作為主干提取網(wǎng)絡(luò)，同時搭配空間金字塔池化（Spatial Pyramid Pooling，SPP）、像素聚合網(wǎng)絡(luò)（Pixel Aggregation Network，PAN）在保證運行速度的同時提升感受野并添加Mish激活函數(shù)提升訓(xùn)練穩(wěn)定性[26]?；赮OLO V4模型對拍攝的黑皮雞樅菌子實體RGB圖像進(jìn)行訓(xùn)練后，SR300視野范圍內(nèi)的子實體將被識別和定位，最終得到每個子實體位置目標(biāo)框。

2.2 子實體輪廓提取方法

2.2.1 Grabcut算法基本原理

理論上來說，將由YOLO算法得到目標(biāo)區(qū)域框作為前景，目標(biāo)區(qū)域外區(qū)域設(shè)置為背景即可通過多次迭代得到最優(yōu)分割。在實際應(yīng)用中，因背景區(qū)域大小或前景區(qū)域的初始范圍變化會導(dǎo)致分割結(jié)果不佳[29]，且由于建立模型需要多次迭代全區(qū)域像素，嚴(yán)重影響分割效率，因此有必要根據(jù)本研究的實際情況進(jìn)行改進(jìn)。

2.2.2 黑皮雞樅子實體分布聚類

為了防止因劃分過小導(dǎo)致背景區(qū)域高斯模型樣本過少，或因劃分區(qū)域過大導(dǎo)致分割背景信息冗余，增加運算負(fù)擔(dān)，需要對整幅圖片所劃分的區(qū)域數(shù)量進(jìn)行確定。采用“肘”方法得到劃分區(qū)域數(shù)量的最優(yōu)取值[30]。圖3為將整張圖片劃分為4個區(qū)域的示例，可以看出與原圖相比，在分割后的小區(qū)域塊中求解前景區(qū)域輪廓將減少大范圍背景區(qū)域像素計算。這將顯著節(jié)約Grabcut算法的運行時間。

2.2.3 基于圖像金字塔的Grabcut分割方法

圖3 圖像區(qū)域分割

對不同子實體目標(biāo)進(jìn)行分割后，將輸出的區(qū)域掩模圖像邊界填充還原成適應(yīng)原圖像大小的掩模，并將其進(jìn)行疊加融合，得到全局圖像分割結(jié)果，以此進(jìn)一步提高分割精度。隨機選取來自5張圖片的共30個大小不一的子實體進(jìn)行試驗，通過計算手工標(biāo)注掩膜交并比（Intersection over Union，IoU）的方法來確定式（6）中N的最佳取值，如圖4。

2.2.4 融合深度信息的輪廓矯正算法

由于黑皮雞樅菌子實體表皮顏色與其覆土顏色較為接近，經(jīng)過上述步驟后能夠得到輪廓，但存在一定的噪聲，給后續(xù)精確測量帶來了一定的干擾?；谙鄼C到子實體的距離與到背景距離不一致這一特點，利用對齊后的深度信息對輪廓邊界進(jìn)行校正，通過子實體和背景到相機的距離差實現(xiàn)對輪廓邊界的精調(diào)。基本步驟如下：

STEP1：對待分割的圖像進(jìn)行深度掃描，記錄待分割輪廓內(nèi)和分割輪廓外各像素點的深度值，構(gòu)成集合P。

式中表示()曲線斜率最大時對應(yīng)的點。

2.3 黑皮雞樅形態(tài)參數(shù)測量

經(jīng)過分割和矯正后可以得到準(zhǔn)確的子實體二維輪廓圖像。由于黑皮雞樅子實體與其他食用菌子實體類似，菌蓋為圓形，菌柄為圓柱形，均滿足對稱性，參考其他食用菌形態(tài)自動化測量的辦法及當(dāng)前利用游標(biāo)卡尺對黑皮雞樅子實體二維投影形態(tài)進(jìn)行手工測量能夠滿足育種與監(jiān)測需求的現(xiàn)狀，同時也為了使測量結(jié)果與手工測量值具有可比性，采用計算二維平面上菌蓋、菌柄投影寬度的方法來對黑皮雞樅子實體的形態(tài)進(jìn)行評估，即菌蓋的最寬位置作為菌蓋寬度參數(shù)，而菌柄的測量點則選擇中點位置。因此，設(shè)計一種邊緣濾波器，根據(jù)菌蓋特征找到測量位置：自菌頂向下逐行計算子實體輪廓像素寬度，當(dāng)寬度值最大時，所對應(yīng)的像素坐標(biāo)點即為菌蓋寬度測量點；取菌蓋寬度測量點到子實體測量結(jié)束點作為菌柄高度，則高度的一半即菌柄測量點。圖5a為自菌頂向下掃描輪廓像素寬度變化曲線及獲得的菌蓋菌柄測量點位置示意圖，圖5b為對應(yīng)子實體輪廓上的測量點位置。通過剛體變換并結(jié)合深度信息，將測量點的相機坐標(biāo)轉(zhuǎn)換成為三維坐標(biāo)，并最終計算解得菌柄、菌蓋測量值。

圖5 測量點位置確定

2.4 試驗環(huán)境及參數(shù)設(shè)置

傳統(tǒng)工藝傳承、振興的實踐和學(xué)術(shù)專著的編撰可以培養(yǎng)新一代的傳統(tǒng)工藝專家學(xué)者。他們必須有扎實的理論基礎(chǔ),較強的獨立工作能力,較高的傳統(tǒng)工藝學(xué)術(shù)造詣，人類學(xué)、民族學(xué)、民俗學(xué)等相關(guān)學(xué)科的學(xué)術(shù)素養(yǎng),較高的外語水平,能參與國際交流和合作。

2.5 評價方法及指標(biāo)

為了評價子實體識別模型，參考目前廣泛采用的協(xié)調(diào)平均值1（F1-score）、精確率為（Precision）、召回率為（Recall）作為指標(biāo)[23]。其中表示預(yù)測為正樣本中，實際為正樣本的比例；表示實際為正樣本中，預(yù)測為正樣本的比例；1表示精確率和召回率的調(diào)和平均數(shù)。而對于子實體分割，采用本文算法自動分割與手動標(biāo)注掩模的交并比來驗證。

重復(fù)性是衡量測量系統(tǒng)優(yōu)劣的重要指標(biāo)，計算公式如下式：

式中為標(biāo)準(zhǔn)差，為重復(fù)性精度，d分別為測量值和測量均值，mm。在對子實體進(jìn)行測量時，采用重復(fù)性來驗證系統(tǒng)的穩(wěn)定程度。而最終測量結(jié)果的準(zhǔn)確程度，采用決定系數(shù)2、平均絕對誤差（Mean Absolute Error，MAE）、標(biāo)準(zhǔn)差（Standard Deviation，STD）進(jìn)行評價分析。其中2描述的是系統(tǒng)測量值和實際值的相似度，MAE和STD描述的是測量值和實際值的偏差程度。

由于目前人工測量結(jié)果在實際生產(chǎn)中已經(jīng)被廣泛接受，為對結(jié)果進(jìn)行對比，根據(jù)手工測量規(guī)范利用游標(biāo)卡尺對菌蓋、菌柄進(jìn)行測量。測量選擇有經(jīng)驗的工人進(jìn)行，測量前對其進(jìn)行嚴(yán)格培訓(xùn)保證測量結(jié)果（不少于10次）去除粗大誤差后的重復(fù)性不超過5%，最終將多次的測量均值視為用于對比的真值。

3 結(jié)果與分析

3.1 子實體目標(biāo)檢測

經(jīng)過測試，子實體識別模型的準(zhǔn)確率為91.17%，召回率為84.08%，協(xié)調(diào)平均值為0.87。圖6為現(xiàn)場實測得到子實體目標(biāo)的位置。

注：圖中每個框表示識別出來的一個子實體。

受限于視覺透視現(xiàn)象，模型對于較遠(yuǎn)的子實體的識別效果較差。但考慮到SR300相機的深度值的測量精度會隨著距離的增加逐漸下降[19]，且在機械結(jié)構(gòu)上SR300相機支架可由程序控制自動前進(jìn)，在滅點附近的子實體可以在推進(jìn)過程中被識別出來。另外，初生的黑皮雞樅由于破土后露出土層部分較小，肉眼亦較難清晰辨別，識別效果不佳，同時此類情形在實際生產(chǎn)過程中遠(yuǎn)未達(dá)到采摘的標(biāo)準(zhǔn)，無需識別。因此，所訓(xùn)練的模型在實際應(yīng)用中能夠滿足需求。

3.2 子實體輪廓分割

表1是選取5張傳統(tǒng)Grabcut算法分割效果不佳（交并比< 15%）的圖片，采用本文方法前后子實體分割效果對比。結(jié)果表明單純采用Grabcut算法（1層）時子實體難以分割，表現(xiàn)為IoU極低，而在對其上采樣構(gòu)建多層圖像金字塔后再進(jìn)行分割后IoU顯著提高，這充分證明了方法的可行性與有效性。

表1 子實體不同層次分割效果

表2 圖像聚類分塊和原始圖像運算時間對比

注：T為原始圖像作為背景區(qū)域的平均運算時間，T為聚類分塊圖像作為背景區(qū)域的平均運算時間。在實際生產(chǎn)中，黑皮雞樅菌子實體生長有一定先后，也會被定期采摘，因此對于20個子實體以上的情況出現(xiàn)較少。

Note:Trepresents the average time while the original image as the background area, andTrepresents the average time while the cluster block image as the background area. In the actual production conditions, the sporophore ofwill grow in chronological order and need to be picked periodically, therefore, it's a rare case that more than 20 sporophore appear at the same time.

雖然由于圖像中的目標(biāo)數(shù)量不一致，計算時間略有差別，但分割效率提升效果顯著。當(dāng)目標(biāo)數(shù)量小于20時，采用聚類分塊圖像作為背景區(qū)域分割較原始圖像作為背景區(qū)域分割，計算時間節(jié)約超過95%；但當(dāng)子實體數(shù)量大于20時，該時間節(jié)約81.92%。這主要是由于在子實體數(shù)量較少時，圖像當(dāng)中的子實體分布較為稀疏，冗余的背景區(qū)域去除更多，提升幅度較大；而當(dāng)子實體較多時，背景區(qū)域更大，分割時間增加，但總體來看，采用聚類區(qū)域分塊算法能夠大大節(jié)約輪廓分割時間，特別是后續(xù)選取性能更優(yōu)的處理器平臺時，效率還將進(jìn)一步提升。

3.3 表型參數(shù)測量

3.3.1 測量結(jié)果重復(fù)性分析

由于通過SR300相機獲取深度值的精度與目標(biāo)距離的遠(yuǎn)近密切相關(guān)[19]，且機械結(jié)構(gòu)能夠滿足相機在、軸上走行，因此有必要對不同距離下系統(tǒng)對黑皮雞樅菌子實體測量的重復(fù)性進(jìn)行評判，選取重復(fù)性最佳區(qū)域內(nèi)的目標(biāo)進(jìn)行測量。利用式（8）和（9）計算相對重復(fù)性，每個距離下對每個子實體測量10次。測量結(jié)果如圖7所示，從圖中可以看出隨著距離的增加，重復(fù)性逐漸變差，當(dāng)距離大于40 cm時均值超過15%，而當(dāng)距離小于30 cm時均值在10%以下。另外，通過觀察發(fā)現(xiàn)，對于較小的子實體，在不同距離下其重復(fù)性也不佳，這主要是因為對于小子實體本身分割就比較困難，即使在同一距離下重復(fù)性也往往低于正常的子實體，當(dāng)距離增加后其重復(fù)性更差，這也就造成了圖中每個距離下容易出現(xiàn)突出的極大值。

圖7 測量結(jié)果重復(fù)性分析

3.3.2 測量距離對結(jié)果的影響

按照黑皮雞樅工廠相關(guān)標(biāo)準(zhǔn)，根據(jù)菌柄粗細(xì)將黑皮雞樅菌子實體分為3組（< 7、7～10、> 10 mm）驗證不同大小的子實體在不同距離的測量誤差情況。經(jīng)過前面試驗可知當(dāng)測量距離大于40 cm時重復(fù)性不佳，故此處的測試距離選擇在20～40 cm之間，結(jié)果如圖8所示?？梢钥闯?，不論是菌柄還是菌蓋，整體誤差隨著測量距離的逐漸增加而增大，究其原因主要是距離的增加導(dǎo)致深度測量誤差增大，當(dāng)進(jìn)行坐標(biāo)轉(zhuǎn)換時不可避免引起最終結(jié)果的偏差。而在同一距離下，不同組別測量誤差相差較小。從整體來看，對于菌蓋其相對誤差最大不超過12%，菌柄則不超過11%，特別是距離相機30 cm以內(nèi)時精度更高。綜上，通過對重復(fù)性及測量距離分析可知在條件允許的情況下應(yīng)該盡量選擇測量距離相機較近的子實體。

圖8 菌蓋、菌柄測量結(jié)果相對誤差分析

3.3.3 表型參數(shù)測量結(jié)果分析

對新生長的50個黑皮雞樅菌子實體進(jìn)行菌柄、菌蓋檢測并利用標(biāo)定值校準(zhǔn)。測量過程中，機械結(jié)構(gòu)以5 cm步距向前推進(jìn)，為了得到較為精確的結(jié)果每次保留距離相機30 cm以內(nèi)目標(biāo)的測量值，一個測量周期共有46個成功、4個失敗。測量成功的結(jié)果與對比真值關(guān)系如圖9所示。從圖中可以看出，系統(tǒng)的測量值與手工真值高度相關(guān)，經(jīng)過校準(zhǔn)后菌柄決定系數(shù)2為0.977，MAE為0.304 mm，STD為0.209 mm，菌蓋決定系數(shù)2為0.979，MAE為0.357 mm，STD為0.273 mm。

圖9 菌蓋、菌柄測量結(jié)果相關(guān)性分析

對于測量誤差較大的目標(biāo)，其主要原因是某些子實體在生長過程中會出現(xiàn)傾斜導(dǎo)致測量點不在同一直線上（如圖10 a），而目前測算法并未考慮到該問題，導(dǎo)致測量點獲取錯誤、結(jié)果具有偏差。而對于測量不成功的目標(biāo)，其具體表現(xiàn)為測量值明顯不符合實際，經(jīng)過觀察發(fā)現(xiàn)有少數(shù)子實體存在不同程度的遮擋，現(xiàn)有算法無法找到菌柄、菌蓋測量點，如圖10b、10c，此時對于被遮擋住的部分無法測量。

圖10 檢測效果不佳的子實體

3.4 測量效率

表3是人工方式與本文方法測量時間對比。對于人工方式，在單人情況下單個子實體測量周期在32～35 s之間，而對于本文方法來說，所消耗的時間與視野范圍內(nèi)子實體的數(shù)量相關(guān)，在5～15 s之間變化，但總體來看，本文方法測量效率較高。當(dāng)視野范圍子實體數(shù)量較少時，本文方法對單個子實體的測量時間小于6 s，約為人工測量時間的20%；但當(dāng)視野范圍內(nèi)子實體數(shù)量過多時，測量時間明顯變長，達(dá)到16.6 s。另外，本研究所采用機械機構(gòu)及圖像采集裝置均通過計算機程序控制，能夠根據(jù)設(shè)定按照固定的周期對菇床中黑皮雞樅菌子實體的參數(shù)進(jìn)行采集，在節(jié)省人力的同時進(jìn)行持續(xù)觀測，因此本系統(tǒng)在長時間連續(xù)監(jiān)測方面具有顯著優(yōu)勢。

表3 人工測量與本文方法測量時間對比

注：T表示總的測量時間，s；T表示平均單個子實體的測量時間，s。

Note:Trepresents the measurement time of total sporophore andTmeans the average measurement time of single sporophore, s.

4 結(jié) 論

本研究自行開發(fā)了基于RGBD相機的黑皮雞樅子實體形態(tài)檢測平臺，提出基于深度學(xué)習(xí)和Grabcut的菌蓋、菌柄尺寸測量方法，得到以下結(jié)論：

1）在工廠和實驗室共采集了1 104張黑皮雞樅子實體圖片，訓(xùn)練YOLO V4網(wǎng)絡(luò)模型實現(xiàn)了對其位置的確定。模型精確率為91.17%，召回率為84.08%，能夠滿足實際應(yīng)用需求。

2）試驗結(jié)果表明測量距離與結(jié)果精度密切相關(guān)，對30 cm之內(nèi)的目標(biāo)，本方法菌柄測量平均絕對誤差為0.304 mm，標(biāo)準(zhǔn)差為0.209 mm，菌蓋平均絕對誤差為0.357 mm，標(biāo)準(zhǔn)差為0.273 mm，測量結(jié)果具有很高的精度。

3）與手工測量方法相比，本文方法效率提升明顯。當(dāng)視野范圍子實體數(shù)量較少時，本文方法對單個子實體的測量時間小于6 s，約為人工測量時間的20%；但當(dāng)視野范圍內(nèi)子實體數(shù)量過多時，測量時間明顯變長，達(dá)到16.6 s。

黑皮雞樅菌生長過程中子實體有時會出現(xiàn)傾斜和遮擋，造成本文方法結(jié)果誤差較大或測量失敗，在后續(xù)的工作過程中需要對上述問題進(jìn)行重點研究。

[1] 安曉雯，王彥立，楊子怡，等. 黑皮雞樅菌營養(yǎng)與質(zhì)構(gòu)特性分析及其抗氧化活性評價[J]. 食品工業(yè)科技，2021，42(5)：236-242，249.

An Xiaowen, Wang Yanli, Yang Ziyi, et al. Analysis of nutritional and textural properties and antioxidant activity evaluation of termitornyces albuminosus[J]. Science and Technology of Food Industry, 2021, 42(5): 236-242, 249. (in Chinese with English abstract)

[2] Yin H, Yi W, Hu D. Computer vision and machine learning applied in the mushroom industry: A critical review[J]. Computers and Electronics in Agriculture, 2022, 198: 107015.

[3] 趙明巖，李一欣，徐鵬，等. 采用復(fù)合知識蒸餾算法的黑皮雞樅菌圖像分級方法[J]. 農(nóng)業(yè)工程學(xué)報，2021，37(17)：303-309.

Zhao Mingyan, Li Yixin, Xu Peng, et al. Image classification method for oudemansiella raphanipes using compound knowledge distillation algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(17): 303-309. (in Chinese with English abstract)

[4] 袁曉輝，付永平，肖世俊，等. 食用菌表型組技術(shù)研究進(jìn)展[J]. 菌物學(xué)報，2021，40(4)：721-742.

Yuan Xiaohui, Fu Yongping, Xiao Shijun, et al. Research progress on mushroom phenotyping[J]. Mycosystema, 2021, 40(4): 721-742. (in Chinese with English abstract)

[5] 范夢揚，馬欽，劉峻明，等. 基于機器視覺的大田環(huán)境小麥麥穗計數(shù)方法[J]. 農(nóng)業(yè)機械學(xué)報，2015，46(S1)：234-239.

Fan Mengyang, Ma Qin, Liu Junming, et al. Counting method of wheatear in field based on machine vision technology[J]. Transactions of the Chinese Society for Agricultural Machinery, 2015, 46(S1): 234-239. (in Chinese with English abstract)

[6] Lu H, Cao Z, Xiao Y, et al. TasselNet: Counting maize tassels in the wild via local counts regression network[J]. Plant Methods, 2017, 13(1): 1-17.

[7] Amparo R, Leiter G, José-Luis P, et al. Morphometric and colourimetric tools to dissect morphological diversity: An application in sweet potato[J]. Genetic Resources and Crop Evolution, 2019, 66(6): 1257-1278.

[8] 王風(fēng)云，封文杰，鄭紀(jì)業(yè)，等. 基于機器視覺的雙孢蘑菇在線自動分級系統(tǒng)設(shè)計與試驗[J]. 農(nóng)業(yè)工程學(xué)報，2018，34(7)：256-263.

Wang Fengyun, Feng Wenjie, Zheng Jiye, et al. Design and experiment of automatic sorting and grading system based on machine vision for white agaricus bisporus[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(7): 256-263. (in Chinese with English abstract)

[9] Wang F Y, Zheng J Y, Tian X C, et al. An automatic sorting system for fresh white button mushrooms based on image processing[J]. Computers and Electronics in Agriculture, 2018, 151: 416-425.

[10] Lu C P, Liaw J J. A novel image measurement algorithm for common mushroom caps based on convolutional neural network[J]. Computers and Electronics in Agriculture, 2020, 171: 105336.

[11] 姜鳳利，王譽諾，李金翰，等. 基于機器視覺的雙孢蘑菇品質(zhì)在線分級系統(tǒng)[J]. 沈陽農(nóng)業(yè)大學(xué)學(xué)報，2021，52(5)：633-640.

Jiang Fengli, Wang Yunuo, Li Jinhan, et al. Design of an online sorting system for agaricus busporus based on machine vision[J]. Journal of Shenyang Agricultural University, 2021, 52(5): 633-640. (in Chinese with English abstract)

[12] 陳紅，夏青，左婷，等. 基于紋理分析的香菇品質(zhì)分選方法[J]. 農(nóng)業(yè)工程學(xué)報，2014，30(3)：285-292.

Chen Hong, Xia Qing, Zuo Ting, et al. Quality grading method of shiitake based on texture analysis[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2014, 30(3): 285-292. (in Chinese with English abstract)

[13] 陳紅，夏青，左婷，等. 基于機器視覺的花菇分選技術(shù)[J]. 農(nóng)業(yè)機械學(xué)報，2014，45(1)：281-287.

Chen Hong, Xia Qing, Zuo Ting, et al. Determination of shiitake mushroon grading based on machine vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(1): 281-287. (in Chinese with English abstract)

[14] 黃星奕，姜爽，陳全勝，等. 基于機器視覺技術(shù)的畸形秀珍菇識別[J]. 農(nóng)業(yè)工程學(xué)報，2010，26(10)：350-354.

Huang Xingyi, Jiang Shuang, Chen Quansheng, et al. Identification of defect pleurotus geesteranus based on computer vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2010, 26(10): 350-354. (in Chinese with English abstract)

[15] 仇瑞承，苗艷龍，季宇寒，等. 基于RGB-D相機的單株玉米株高測量方法[J]. 農(nóng)業(yè)機械學(xué)報，2017，48(S1)：211-219.

Qiu Ruicheng, Miao Yanlong, Ji Yuhan, et al. Measurement of individual maize height based on RGB-D camera[J]. Transactions of the Chinese Society for Agricultural Machinery, 2017, 48(S1): 211-219. (in Chinese with English abstract)

[16] 楊斯，高萬林，米家奇，等. 基于RGB-D相機的蔬菜苗群體株高測量方法[J]. 農(nóng)業(yè)機械學(xué)報，2019，50(S1)：128-135.

Yang Si, Gao Wanlin, Mi Jiaqi, et al. Method for measurement of vegetable seedlings height based on ＲGB-D camera[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(S1): 128-135. (in Chinese with English abstract)

[17] 王玲，徐偉，杜開煒，等. 基于SR300深度相機的褐蘑菇原位測量技術(shù)[J]. 農(nóng)業(yè)機械學(xué)報，2018，49(12)：13-19，108.

Wang Ling, Xu Wei, Du Kaiwei, et al. Portabella mushrooms measurement in situ based on SR300 depth camera[J]. Transactions of the Chinese Society for Agricultural Machinery, 2018, 49(12): 13-19, 108. (in Chinese with English abstract)

[18] 孫經(jīng)緯，趙凱旋，姬江濤，等. 基于“淹沒法”的雙孢菇檢測及直徑測量方法[J]. 農(nóng)機化研究，2021，43(2)：28-33.

Sun Jingwei, Zhao Kaixuan, Ji Jiangtao, et al. Detection and diameter measurement method of agaricus bisporus based on “submerged method”[J]. Journal of Agricultural Mechanization Research, 2021, 43(2): 28-33. (in Chinese with English abstract)

[19] Wang Z L, Kerry B W, Brijesh V, et al. On-tree mango fruit size estimation using RGB-D images[J]. Sensors, 2017, 17(12): 12-20.

[20] Carfagni M, Furferi R, Governi L, et al. On the perform-ance of the Intel SR300 depth camera: metrological and critical characterization[J]. IEEE Sensors Journal, 2017, 17(99): 4508-4519.

[21] 劉培田. 食用菌覆土栽培機制及效應(yīng)[J]. 中國食用菌，1995(2)：22-25.

Liu Peitian. Mechanism and effects of casing technique on edible mushrooms[J]. Edible Fungi of China, 1995(2): 22-25. (in Chinese with English abstract)

[22] Massimo Camplani, Luis Salgado. Background foreground segmentation with RGB-D Kinect data: An efficient combination of classifiers[J]. Journal of Visual Commun-ication and Image Representation, 2014, 25(1): 122-136.

[23] 劉天真，滕桂法，苑迎春，等. 基于改進(jìn)YOLO V3的自然場景下冬棗果實識別方法[J]. 農(nóng)業(yè)機械學(xué)報，2021，52(5)：17-25.

Liu Tianzhen, Teng Guifa, Yuan Yingchun, et al. Winter jujube fruit recognition method based on improved YOLO V3 under natural scene[J]. Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(5): 17-25. (in Chinese with English abstract)

[24] 成偉，張文愛，馮青春，等. 基于改進(jìn)YOLOv3的溫室番茄果實識別估產(chǎn)方法[J]. 中國農(nóng)機化學(xué)報，2021，42(4)：176-182.

Cheng Wei, Zhang Wenai, Feng Qingchun, et al. Method of greenhouse tomato fruit identification and yield estimation based on improved YOLOv3[J]. Journal of Chinese Agricultural Mechanization, 2021, 42(4): 176-182. (in Chinese with English abstract)

[25] 趙德安，吳任迪，劉曉洋，等. 基于YOLO深度卷積神經(jīng)網(wǎng)絡(luò)的復(fù)雜背景下機器人采摘蘋果定位[J]. 農(nóng)業(yè)工程學(xué)報，2019，35(3)：164-173.

Zhao De’an, Wu Rendi, Liu Xiaoyang, et al. Apple positioning based on YOLO deep convolutional neural network for picking robot in complex background[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(3): 164-173. (in Chinese with English abstract)

[26] 王相友，李晏興，楊振宇，等. 基于改進(jìn)YOLO v4模型的馬鈴薯中土塊石塊檢測方法[J]. 農(nóng)業(yè)機械學(xué)報，2021，52(8)：241-247，262.

Wang Xiangyou, Li Yanxing, Yang Zhenyu, et al. Detection method of clods and stones from impurified potatoes based on improved YOLO v4 algorithm[J]. Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(8): 241-247, 262. (in Chinese with English abstract)

[27] Rother C, Kolmogorov V, Blake A. “GrabCut”-Interactive foreground extraction using iterated graph cuts[J]. ACM Transactions on Graphics, 2004, 23(3): 309-314.

[28] Reynolds D A. Gaussian mixture models[J]. Encyclopedia of biometrics, 2009, 741: 659-663

[29] Zhang S, Huang W, Wang Z. Combing modified Grabcut, K-means clustering and sparse representation classification for weed recognition in wheat field[J]. Neurocomputing, 2021, 452: 665-674.

[30] Rousseeuw P J. Silhouettes: A graphical aid to the interpretation and validation of cluster analysis[J]. Journal of Computational and Applied Mathematics, 1987, 20: 53-65

Measurement of morphology ofbased on RGBD camera

Wang Yinglong1, Xiao Huan2, Yin Hua2,3※, Luo Shan1, Le Yu1, Wan Jiaxing2

(1.,,330045,;2.,,330045,;3.,,330045,)

is one of the most popular mushroom with the various vitamins, dietary fiber, and a large amount of protein for the body healthy and immunity. The growth state ofdepends mainly on the morphology of the sporophore during the cultivation and harvesting. The greenhouse environment can also be optimized for the noticing changes of the sporophore in the best way. However, the manual measurement of the sporophore morphology cannot fully meet the large-scale production in recent years, due to the high cost and labor intensity. Furthermore, the measuring standards are also varied greatly. It is a high demand for the advanced information technology. In this study, an automatic online measurement was proposed to rapidly and accurately monitor the sporophore ofduring the growth using SR300 depth camera. Firstly, the samples were collected both in the greenhouse of Bioengineening and Technological Research Centre for the Edible and Medicinal Fungi in the Jiangxi Agricultural University and the cultivation factories located in Zhangshu and Nanchang City, Jiangxi, China. The data sets were obtained to divide into 7 (training set): 3 (test set) after the image cleaning and enhancement, as well as labelling tags by LabelMe software. An identification model was established to accurately locate the sporophore using the YOLO V4 target detection. Secondly, the distribution of the bounding boxes was clustered, according to the K-means algorithm, and thereby the more optimized processing area was gained by the segmentation. Afterwards, the images of different scales were generated by the up-sampling operation. The contour boundary curves were extracted to integrate the different scales with the Grabcut algorithm. Meanwhile, the true value was calculated, after the sporophore contour was corrected with the depth information. Experiments showed that a faster and better way was realized to extract the morphological characteristics of the cap and stipe. The average accuracy of the YOLO V4 model in the test set was 91.17%, with the recall rate 84.08%, and the1 score 0.87. According to the quantity of the sporophore, the average time was promoted by 95.37%, 95.17%, and 81.92%, respectively, on the segmentation of optimal processing area, compared with the original images, Besides, the rates of error and repeatability of the measurement were promoted dramatically, as the distance from the target increased. Therefore, the distance between the target and SR300 should be no more than 40cm. Compared with the manual, the best performance was achieved, with the coefficient of determination of 0.979 and 0.977 for the cap and stipe, respectively, the average error of the cap and the stipe’s width 0.357, and 0.304mm, 7, respectively, and the STD of 0.273 and 0.209 mm, respectively. Therefore, this measurement can fully meet the high requirements of the low-cost and high-precision automatic monitoring on the morphology ofat the edible mushroom cultivation site. The findings can also lay the foundation for the real-time and accurate measurement ofin a complex environment using the picking robots.

image recognition;computer vision;; plant phenotype; RGBD;measurement

10.11975/j.issn.1002-6819.2022.20.016

S24；TP391

A

1002-6819(2022)-20-0140-09

王映龍，肖歡，殷華，等. 基于RGBD相機的黑皮雞樅菌子實體形態(tài)視覺測量[J]. 農(nóng)業(yè)工程學(xué)報，2022，38(20)：140-148.doi：10.11975/j.issn.1002-6819.2022.20.016 http://www.tcsae.org

Wang Yinglong, Xiao Huan, Yin Hua, et al. Measurement of morphology ofbased on RGBD camera[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(20): 140-148. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2022.20.016 http://www.tcsae.org

2022-07-08

2022-10-06

國家重點研發(fā)項目（2020YFD1100603）；大學(xué)生創(chuàng)新創(chuàng)業(yè)計劃項目（S202210410088）；江西省研究生創(chuàng)新專項資金項目（YC2022-s432）

王映龍，博士，教授，研究方向為知識管理、智能農(nóng)業(yè)處理。Email：83577939@qq.com

殷華，博士，副教授，研究方向為測試傳感、智能農(nóng)業(yè)信息處理。Email：youki1234@163.com