基于虛擬數(shù)據(jù)和旋轉(zhuǎn)目標(biāo)檢測分析的大豆豆莢表型參數(shù)測量方法

摘要：為解決傳統(tǒng)大豆考種過程中人工測量大豆豆莢表型參數(shù)耗時費力的問題以及現(xiàn)有的自動化測量方式存在的人工數(shù)據(jù)標(biāo)注需求量大、環(huán)境適應(yīng)能力弱、計算代價高等問題，本研究提出一種基于虛擬數(shù)據(jù)集生成和旋轉(zhuǎn)目標(biāo)檢測分析的豆莢關(guān)鍵表型參數(shù)自動化測量方法，重點關(guān)注莢長和莢寬的測量。該方法基于YOLOv7-tiny提出一種改進的豆莢檢測模型（CSL-YOLOv7-tiny），通過引入環(huán)形平滑標(biāo)簽使模型獲得對旋轉(zhuǎn)目標(biāo)的檢測能力，提升對無序擺放的狹長豆莢目標(biāo)檢測的質(zhì)量。為避免人工標(biāo)注訓(xùn)練數(shù)據(jù)，采用虛擬圖像生成方法得到含標(biāo)注信息的虛擬豆莢數(shù)據(jù)集和虛擬硬幣與豆莢混合數(shù)據(jù)集。利用遷移學(xué)習(xí)策略，將模型從虛擬豆莢數(shù)據(jù)集遷移至虛擬硬幣與豆莢混合數(shù)據(jù)集，積累模型對豆莢特征的提取能力。設(shè)計一種基于K-均值聚類的后處理方法，對檢測到的旋轉(zhuǎn)邊界框進行分析，得到莢長和莢寬，以減少拍攝環(huán)境差異帶來的測量誤差。試驗結(jié)果表明，在無任何訓(xùn)練數(shù)據(jù)標(biāo)注的條件下，使用虛擬圖像訓(xùn)練的CSL-YOLOv7-tiny對硬幣和豆莢目標(biāo)檢測的最優(yōu)mAP0.50和mAP0.50∶0.95分別達(dá)到了99.3%和78.0%，其模型大小和推理時間分別僅為12.92 MB和12.5 ms，莢長和莢寬測量的決定系數(shù)（R2）分別達(dá)到了0.94和0.86，與實際測量均值分別僅相差0.42 mm和0.02 mm。此外，通過對本研究提出的方法進行對比分析，驗證了其在模型訓(xùn)練、輕量化部署以及不同考種環(huán)境適應(yīng)能力上的優(yōu)勢。研究結(jié)果可為大豆豆莢表型參數(shù)的自動化、智能化測量系統(tǒng)的研發(fā)提供參考，為加速優(yōu)質(zhì)高產(chǎn)大豆的選育進程提供支撐。

關(guān)鍵詞：大豆考種；豆莢表型；虛擬數(shù)據(jù)；旋轉(zhuǎn)目標(biāo)檢測；YOLOv7-tiny

中圖分類號：TP391.4文獻標(biāo)識碼：A文章編號：1000-4440（2024）07-1245-15Measurement method for soybean pod phenotypic parameters based on virtual data and rotated object detection analysisWU Kanglei1，2，JIN Xiu 1，2，RAO Yuan1，2，LI Jiajia3，WANG Xiaobo3，WANG Tan1，2，JIANG Zhaohui1，2

（1.College of Information and Artificial Intelligence， Anhui Agricultural University， Hefei 230036， China;2.Key Laboratory of Agricultural Sensors， Ministry of Agriculture and Rural Affairs， Hefei 230036， China;3.College of Agronomy， Anhui Agricultural University， Hefei 230036， China）

Abstract：To solve the problems such as time-consuming and labor-intensive of manual measurement for soybean pod phenotypic parameters in traditional soybean seed evaluation processes， as well as the large quantity demand for manual data annotation， weak environmental adaptation and high computational costs in existing automated measurement methods， an automated measurement method for pod key phenotypic parameters which was mainly focused on pod length and width measuring was proposed in this study， based on virtual dataset generation and rotated object detection analysis. An improved pod detection model （CSL-YOLOv7-tiny） was proposed by the method based on YOLOv7-tiny. The Circular Smooth Label was introduced to enable the model to obtain the capability for rotated object detection， and to improve the quality of detecting elongated pod targets in a disorganized arrangement. To avoid manual annotation of training data， virtual image generation method was used to get virtual pod dataset as well as virtual coin and pod mixture dataset containing annotation information. Transfer learning strategy was employed to transfer the model from the virtual pod dataset to the virtual coin and pod mixture dataset， which accumulated the model’s ability in pod features extracting. A post-processing method based on K-means clustering was designed to analyze the detected rotated bounding boxes， and obtained pod length and width， which reduced measurement errors caused by shooting environmental differences. Experimental results showed that under the condition of no training data annotation， CSL-YOLOv7-tiny trained by virtual images obtained the optimal mAP0.50 and mAP0.50∶0.95 for coin and pod targets detection， which were 99.3% and 78.0%， respectively. The model size and inference time were only 12.92 MB and 12.5 ms respectively， and the determination coefficients （R2） for pod length and width measurement reached 0.94 and 0.86 respectively， with only 0.42 mm and 0.02 mm differences compared with actual measurements. Furthermore， by comparative analysis of the proposed method， the advantages in model training， lightweight deployment and adaptation to different breeding environments were validated. The research results can provide reference for development of automated and intelligent measurement system of soybean pod phenotypic parameter and can support the acceleration of high-quality and high-yield soybean breeding.

Key words：soybean seed evaluation;soybean pod phenotype;virtual data;rotated object detection;YOLOv7-tiny

大豆富含植物油和蛋白質(zhì)，是一種營養(yǎng)價值極高的農(nóng)作物[1]。隨著中國居民的消費結(jié)構(gòu)轉(zhuǎn)型升級，大豆的需求量明顯增加，而受耕地資源限制，大豆的總產(chǎn)量增幅較小，使得大豆的進口依賴度居高不下，這對中國糧食安全構(gòu)成了潛在威脅[2]。因此培育高產(chǎn)量高質(zhì)量的新品種大豆，對提高大豆供給能力、解決資源受限問題有著重要意義。優(yōu)質(zhì)大豆品種的選育過程中，準(zhǔn)確測量大豆表型并進行統(tǒng)計分析是其中的關(guān)鍵環(huán)節(jié)。傳統(tǒng)的大豆表型性狀測量以人工觀察和手動統(tǒng)計方式為主，然而，人工統(tǒng)計往往存在測量誤差大、效率低并且會消耗大量人力和物力等不足[3-5]。因此，實現(xiàn)自動化、高精度的大豆表型測量對于大豆品種精準(zhǔn)選育具有重要意義。

隨著圖像處理和深度學(xué)習(xí)技術(shù)的快速發(fā)展，越來越多的研究將其應(yīng)用于農(nóng)業(yè)領(lǐng)域[6-8] ，這對自動化農(nóng)業(yè)發(fā)展作出了巨大貢獻。為解決大豆表型人工測量耗時費力的問題，已有許多學(xué)者投入到大豆表型性狀自動化測量方法的探索中。Uzal等[9]基于CNN模型估算豆莢中的種子數(shù)量并實現(xiàn)對大豆豆莢的分類，分類準(zhǔn)確率達(dá)到了86.20%。閆壯壯等[10]基于搭配Adam優(yōu)化算法的Vgg16模型實現(xiàn)了對大豆豆莢類別的精準(zhǔn)識別，準(zhǔn)確率高達(dá)98.41%。郭瑞等[11]通過融合K-均值聚類算法與改進的注意力機制模塊對YOLOv4目標(biāo)檢測算法進行改進，并用于不同場景下的大豆單株豆莢數(shù)的檢測。寧姍等[12]基于改進的單步多框檢測（SSD）網(wǎng)絡(luò)和蟻群優(yōu)化算法提取出完整的大豆植株莖稈和豆莢目標(biāo)，獲得了整株莢數(shù)、株高、有效分枝數(shù)等表型信息。王躍亭等[13]通過植株分割、骨架提取、主莖節(jié)點去噪等操作和HDBSCAN聚類算法對大豆主莖節(jié)數(shù)進行逐級篩選統(tǒng)計，實現(xiàn)了大豆主莖節(jié)數(shù)的快速獲取。

豆莢表型是大豆表型性狀的重要組成部分，其中莢長、莢寬、莢粒數(shù)和莢皮色等是關(guān)鍵的豆莢表型參數(shù)，與全株莢數(shù)、主莖節(jié)點數(shù)等表型的測量相比，測量莢長和莢寬等表型更為耗時費力。目前，莢長和莢寬的自動化測量方法主要分為3種：第1種為傳統(tǒng)圖像處理方法，如張小斌等[14]提出的基于計算機圖像處理技術(shù)的菜用大豆豆莢表型信息采集分析方法，傳統(tǒng)圖像處理技術(shù)可以避免標(biāo)注數(shù)據(jù)并擁有較高的檢測速度，但其泛化能力和魯棒性較差[15-16]，測量精度易受環(huán)境影響；第2種方法為單階段目標(biāo)檢測方法，如翔云等[17]將基于YOLOv5和圖像處理的智能數(shù)據(jù)采集技術(shù)應(yīng)用于菜用大豆莢型表型的識別，以Yolo系列[18]為代表的單階段目標(biāo)檢測模型具有較低的計算代價[19]，易于部署到實際應(yīng)用場景中，但在豆莢分布較為集中時基于水平邊界框計算莢長與莢寬的方法存在較大的誤差；第3種方法為實例分割方法，如Li等[20]基于特征金字塔、主成分分析和實例分割構(gòu)建了大豆表型測量實例分割（SPM-IS）模型，用于莢長和莢寬等豆莢表型測量，該類方法可得到較高的檢測精度，但檢測速度較慢且模型體積較大，不利于輕量化部署?？傊鲜?種方法尚存在環(huán)境適應(yīng)能力弱、測量誤差大、計算代價高等問題。

為滿足深度學(xué)習(xí)模型訓(xùn)練對高質(zhì)量標(biāo)注數(shù)據(jù)的需求，學(xué)者們開始嘗試設(shè)計虛擬圖像生成方法以減少人工數(shù)據(jù)采集與標(biāo)注[21-23]，并以此降低模型訓(xùn)練成本。在訓(xùn)練豆莢檢測模型或分割模型時，由于豆莢展現(xiàn)出的狹小形狀以及豐富多樣的特征，導(dǎo)致豆莢圖像數(shù)據(jù)標(biāo)注難度高且數(shù)量需求大。Yang等[24]通過使用Photoshop從圖像中手動提取出單個豆莢，再利用這些豆莢生成虛擬圖像，并將其用于實例分割模型的訓(xùn)練以得到豆莢分割模型，該研究驗證了生成虛擬圖像用于豆莢分割模型訓(xùn)練的可行性，但其虛擬豆莢圖像生成過程未實現(xiàn)完全自動化，仍面臨人工提取單個豆莢過程的費時問題。因此，設(shè)計一種全自動化的虛擬豆莢圖像生成算法以生成具有豐富特征的豆莢圖像數(shù)據(jù)集，對于進一步降低人工數(shù)據(jù)標(biāo)注代價具有重要意義。

綜上所述，為解決當(dāng)前自動化測量方法面臨的人工數(shù)據(jù)標(biāo)注依賴性強、精度易受環(huán)境變化影響、輕量化程度低等問題，本研究提出一種自動化測量大豆豆莢關(guān)鍵表型參數(shù)的方法。為克服深度學(xué)習(xí)檢測模型對大量標(biāo)注數(shù)據(jù)的需求，通過從真實圖像中自動提取豆莢或硬幣圖像，與背景結(jié)合實現(xiàn)虛擬數(shù)據(jù)集及相應(yīng)標(biāo)注數(shù)據(jù)的全自動生成。為提高對豆莢的檢測性能，利用從虛擬豆莢數(shù)據(jù)集到虛擬硬幣與豆莢混合數(shù)據(jù)集的遷移學(xué)習(xí)過程，提升模型對豆莢目標(biāo)的特征提取能力。引入環(huán)形平滑標(biāo)簽改進YOLOv7-tiny模型以實現(xiàn)對無序擺放的狹長豆莢目標(biāo)的旋轉(zhuǎn)框檢測，通過基于K-均值聚類的后處理方法分析硬幣和豆莢目標(biāo)的旋轉(zhuǎn)邊界框信息以獲得莢長、莢寬。

1材料與方法

1.1數(shù)據(jù)采集

本研究所需大豆來自安徽農(nóng)業(yè)大學(xué)位于宿州埇橋區(qū)的皖北綜合試驗站。圖1展示了采集的部分豆莢圖像、硬幣圖像以及硬幣與豆莢混合圖像。數(shù)據(jù)采集時，首先使用剪刀將豆莢從植株上剪下，隨機擺放在黑色吸光布上。數(shù)據(jù)采集設(shè)備采用佳能6D Mark Ⅱ型相機和Redmi K60手機，相機用于拍攝高質(zhì)量圖像，手機用于拍攝更貼近實際考種應(yīng)用場景的圖像。

如表1所示，數(shù)據(jù)采集分為4個部分：第1部分為豆莢圖像采集，為了得到高質(zhì)量的豆莢特征，使用佳能6D Mark Ⅱ型相機拍攝獲得360張豆莢圖像，其中200張圖像用于生成虛擬圖像，160張圖像用于制作測試集；第2部分為硬幣圖像采集，該部分圖像使用Redmi K60手機進行拍攝，最終獲得100張硬幣圖像，用于生成虛擬圖像;第3部分為硬幣與豆莢混合圖像采集，使用Redmi K60手機拍攝獲得45張圖像，用于制作測試集；第4部分為用于生成數(shù)據(jù)集的背景圖像采集，該部分采用相機和手機各拍攝1張黑色吸光布圖像，用于生成虛擬圖像。

1.2虛擬數(shù)據(jù)集生成

本研究提出的全過程自動化生成虛擬圖像的方法如圖2所示，該方法包括單個豆莢圖像提取、單個硬幣圖像提取和虛擬圖像生成2個階段。

1.2.1單個豆莢和硬幣圖像的提取在單個豆莢圖像、硬幣圖像提取階段，先讀取1張硬幣或豆莢圖像，隨后對圖像進行輪廓點檢測，得到若干硬幣或豆莢目標(biāo)的輪廓點信息，通過執(zhí)行圖像與運算的操作來確定1組輪廓點包圍的目標(biāo)區(qū)域，然后對目標(biāo)區(qū)域進行裁剪得到單個硬幣或豆莢圖像，接著判斷是否提取了1張硬幣圖像或豆莢圖像中的全部目標(biāo)，若否，則確定下一組輪廓點包圍的目標(biāo)區(qū)域，若是，則完成對1張硬幣圖像或豆莢圖像中單個硬幣圖像或豆莢圖像的提取。

1.2.2虛擬圖像生成在虛擬圖像生成階段，分為虛擬豆莢圖像生成過程和虛擬硬幣與豆莢混合圖像生成過程。為生成虛擬硬幣與豆莢混合圖像，首先讀取單個硬幣圖像，對圖像進行隨機旋轉(zhuǎn)后，隨機移動硬幣目標(biāo)區(qū)域（硬幣目標(biāo)區(qū)域為對旋轉(zhuǎn)后的硬幣圖像進行輪廓點檢測得到的硬幣輪廓點所包圍的區(qū)域）的像素至背景圖上，在完成全部硬幣目標(biāo)的移動后再讀取單個豆莢圖像，然后隨機旋轉(zhuǎn)單個豆莢圖像并隨機移動豆莢目標(biāo)區(qū)域（豆莢目標(biāo)區(qū)域為對旋轉(zhuǎn)后的豆莢圖像進行輪廓點檢測得到的豆莢輪廓點所包圍的區(qū)域）的像素至背景圖上，直到完成全部豆莢目標(biāo)的移動，得到虛擬硬幣與豆莢混合圖像，最終依據(jù)各個硬幣和豆莢輪廓點的最小外接矩形坐標(biāo)信息生成相應(yīng)的標(biāo)注文件。虛擬豆莢圖像生成過程和虛擬硬幣與豆莢混合圖像生成過程類似，但為生成僅含豆莢的虛擬圖像，該部分未進行硬幣目標(biāo)的移動，僅通過移動豆莢目標(biāo)像素來得到虛擬豆莢圖像與相應(yīng)的標(biāo)注文件。

圖3展示了生成的虛擬豆莢圖像和虛擬硬幣與豆莢混合圖像。在虛擬豆莢圖像中，豆莢之間存在重疊，而在虛擬硬幣與豆莢混合圖像中硬幣和豆莢之間并未重疊。原因在于：虛擬豆莢圖像數(shù)據(jù)集僅作為遷移學(xué)習(xí)的源域來初步積累模型對豆莢特征的提取能力，因此對豆莢之間是否存在重疊不作要求，而在最終的豆莢和硬幣檢測模型訓(xùn)練過程中需提取更完整的豆莢和硬幣特征，故在虛擬硬幣與豆莢混合圖像生成過程中，移動目標(biāo)區(qū)域像素時需判斷其是否與其他目標(biāo)的最小外接矩形區(qū)域存在重疊。

1.2.3數(shù)據(jù)處理本研究采用生成的虛擬圖像數(shù)據(jù)集訓(xùn)練模型。如表2所示，虛擬圖像數(shù)據(jù)集分為2類，分別對應(yīng)遷移學(xué)習(xí)的源域與目標(biāo)域。具體而言，一種為虛擬豆莢圖像數(shù)據(jù)集，該數(shù)據(jù)集僅包含豆莢圖像，用于源域的檢測模型訓(xùn)練，以積累模型對豆莢特征的提取能力；另一種為虛擬硬幣與豆莢混合圖像數(shù)據(jù)集，該數(shù)據(jù)集包含硬幣和豆莢2個目標(biāo)的圖像，用于目標(biāo)域檢測模型的訓(xùn)練，以得到最終的檢測模型。為滿足試驗的需要，本研究通過虛擬數(shù)據(jù)生成算法分別生成了400張、600張、800張和1 000張圖像，用于制作虛擬豆莢圖像數(shù)據(jù)集和虛擬硬幣與豆莢混合圖像數(shù)據(jù)集中的訓(xùn)練集和驗證集，2種虛擬數(shù)據(jù)集中訓(xùn)練集和驗證集所含圖像數(shù)量的比例均為8∶2。此外，160張用相機拍攝的豆莢圖像用于測試通過虛擬豆莢圖像數(shù)據(jù)集訓(xùn)練得到的模型檢測豆莢目標(biāo)的性能，40張用手機拍攝的硬幣與豆莢混合圖像用于測試通過虛擬硬幣與豆莢混合圖像數(shù)據(jù)集訓(xùn)練得到的模型檢測硬幣與豆莢目標(biāo)的性能，剩余5張用手機拍攝的硬幣與豆莢混合圖像用于測試模型實際考種環(huán)境下測量莢長和莢寬的性能。

1.3基于旋轉(zhuǎn)目標(biāo)檢測的CSL-YOLOv7-tiny模型構(gòu)建YOLOv7[25]作為當(dāng)前主流的目標(biāo)檢測模型之一，被廣泛地應(yīng)用于各個領(lǐng)域。模型采用了包括增強高效層聚合網(wǎng)絡(luò)（E-ELAN）、復(fù)合模型縮放等新方法，同時引入多頭框架和輔助頭部進行深度監(jiān)督，通過軟標(biāo)簽訓(xùn)練，實現(xiàn)更有效的學(xué)習(xí)。為了便于輕量化部署，YOLOv7衍生出了輕量化版本——YOLOv7-tiny，其具有更低的模型參數(shù)量和計算復(fù)雜度，更易于部署到邊緣設(shè)備中。為緩解目前豆莢表型參數(shù)測量方法存在的計算代價高的問題，本研究采用YOLOv7-tiny模型作為豆莢識別基礎(chǔ)模型進行改進。

盡管角度回歸在旋轉(zhuǎn)目標(biāo)檢測中表現(xiàn)出色，但普遍存在邊界不連續(xù)的問題，這導(dǎo)致模型在角度邊界處損失值急劇增加，主要是由于角度預(yù)測結(jié)果超出了定義的范圍[26]。為了應(yīng)對這一問題，Yang等[26]設(shè)計出環(huán)形平滑標(biāo)簽（CSL），將角度回歸問題轉(zhuǎn)變?yōu)榉诸悊栴}，將角度劃分為0°到179°之間的180個角度標(biāo)簽類別。

如圖4所示，為更有效地檢測形狀彎曲且狹窄的豆莢目標(biāo)，本研究采用環(huán)形平滑標(biāo)簽改進YOLOv7-tiny模型，使其獲得旋轉(zhuǎn)檢測目標(biāo)的能力，以更好地適應(yīng)豆莢的形狀特征并為莢長和莢寬的測量奠定基礎(chǔ)。具體地，環(huán)形平滑標(biāo)簽被用于在訓(xùn)練前預(yù)處理數(shù)據(jù)集中的角度標(biāo)簽，將角度映射為180個值作為輸入網(wǎng)絡(luò)的角度標(biāo)簽，并在計算損失函數(shù)時使用二值交叉熵?fù)p失計算角度損失。環(huán)形平滑標(biāo)簽（CSL）的表達(dá)式如公式（1）所示：

1.4莢長與莢寬自動化測量方法

本研究在得到模型的檢測結(jié)果后，通過一系列后處理操作實現(xiàn)豆莢莢長與莢寬的準(zhǔn)確測量。其中，先對檢測得到的硬幣目標(biāo)旋轉(zhuǎn)邊界框進行分析來得到檢測圖中單位像素對應(yīng)的毫米值，再對豆莢目標(biāo)旋轉(zhuǎn)邊界框進行分析得到最終的莢長和莢寬表型參數(shù)值。

1.4.1單位像素對應(yīng)毫米值的計算取硬幣目標(biāo)旋轉(zhuǎn)邊界框的長度和寬度之和的平均值，再用硬幣真實直徑除以計算得到的長寬均值作為單位像素對應(yīng)的毫米值，計算方法如公式（3）所示：

1.4.2莢長與莢寬的計算為更精準(zhǔn)高效地測量莢長和莢寬，本研究提出了1種基于K-均值聚類的莢長和莢寬測量方法。采用該方法測量1個目標(biāo)豆莢莢長和莢寬的過程如圖5所示，首先灰度化完成檢測的豆莢圖像并生成目標(biāo)豆莢邊界框區(qū)域掩碼，通過掩碼與灰度圖的運算提取目標(biāo)豆莢區(qū)域，然后裁剪目標(biāo)豆莢區(qū)域，以目標(biāo)豆莢邊界框的短邊為底旋轉(zhuǎn)整個區(qū)域；將區(qū)域內(nèi)的每一像素點與其所在的列索引進行組合，形成以列索引為橫坐標(biāo)、像素值為縱坐標(biāo)的一系列二維坐標(biāo)數(shù)據(jù)。使用K-均值聚類算法對二維坐標(biāo)數(shù)據(jù)樣本進行聚類，簇的數(shù)目設(shè)為2，迭代次數(shù)設(shè)為10。聚類結(jié)束后得到2類數(shù)據(jù)，對2類數(shù)據(jù)中的像素值分別進行求和，以像素值求和結(jié)果較大的類別對應(yīng)的像素點作為前景，即屬于豆莢的像素，結(jié)果較小的類別對應(yīng)的像素點作為背景，形成1幅二值圖像。

莢寬的計算：對K-均值聚類后形成的二值圖像進行距離變換，計算豆莢區(qū)域每一像素點到背景像素點的最短距離，以距離變換中最短距離最大的像素點作為圓心，以該像素點與背景像素點的最短距離作為半徑得到豆莢區(qū)域內(nèi)的最大圓，將該圓的直徑與單位像素對應(yīng)的毫米值相乘得到目標(biāo)豆莢的真實莢寬，計算過程如公式（4）和公式（5）所示：

莢長的計算：移除K-均值聚類后形成的二值圖像中行向量全為背景像素的行，將處理后的二值圖像的長度與單位像素對應(yīng)的毫米值相乘，得到目標(biāo)豆莢的真實莢長。

2.1試驗環(huán)境配置與網(wǎng)絡(luò)參數(shù)設(shè)置

本研究模型訓(xùn)練和測試環(huán)境為Centos7.9 64位操作系統(tǒng)，服務(wù)器配置為Intel Xeon Gold 5118（2.30 GHz）12核CPU（中央處理器），NVIDIA RTX2080Ti GPU（圖形處理器），顯存11 GB，深度學(xué)習(xí)框架PyTorch1.10，開發(fā)語言Python 3.7，并行計算框架CUDA 11.2和加速庫cuDNN7.6.5。本研究所有模型對比試驗均在該硬件配置條件下進行。模型訓(xùn)練輪數(shù)設(shè)置為300輪，學(xué)習(xí)率設(shè)置為0.01，批大小設(shè)置為16。

2.2評價標(biāo)準(zhǔn)

本研究采用平均檢測精度（AP）、平均檢測精度均值（mAP）、模型大小和模型推理速度作為檢測模型的評價指標(biāo)，采用決定系數(shù)（R2）、平均絕對誤差（MAE）和均方根誤差（RMSE）作為豆莢表型參數(shù)自動化測量方法的評價指標(biāo)。

2.3虛擬豆莢數(shù)據(jù)集有效性分析

為了驗證生成的虛擬豆莢數(shù)據(jù)集的有效性，并探究YOLOv7-tiny模型的優(yōu)勢和CSL-YOLOv7-tiny模型的性能，本研究對比分析了兩階段的Faster R-CNN[27]模型和一階段的YOLOv5n、YOLOv7-tiny與CSL-YOLOv7-tiny模型分別在400張、600張、800張和1 000張?zhí)摂M豆莢圖像組成的數(shù)據(jù)集下訓(xùn)練后的性能（表3）。值得注意的是，訓(xùn)練模型使用的訓(xùn)練集和驗證集由虛擬豆莢圖像組成，而為了測試模型在真實場景下的檢測精度，測試集由真實拍攝的圖像構(gòu)成。此外，模型大小和推理時間為各個模型在1 000張?zhí)摂M豆莢圖像組成的數(shù)據(jù)集下訓(xùn)練得到的結(jié)果。

從表3可以看出，使用虛擬豆莢圖像訓(xùn)練的各個模型均取得了較高的檢測精度，且模型的精度隨虛擬豆莢數(shù)據(jù)集規(guī)模的增大而逐漸增加并趨于穩(wěn)定。如圖6所示，隨著迭代輪數(shù)的增加，各個模型在400張、600張、800張和1 000張?zhí)摂M圖像組成的數(shù)據(jù)集下訓(xùn)練取得的AP0.50也逐漸增加，并最終呈現(xiàn)收斂的情況，未出現(xiàn)過擬合或者欠擬合的情況。因此，虛擬豆莢數(shù)據(jù)集可以有效地用于模型的訓(xùn)練，避免了訓(xùn)練模型前耗時費力的數(shù)據(jù)標(biāo)注工作。

在400張、600張、800張和1 000張?zhí)摂M豆莢圖像組成的數(shù)據(jù)集下，與Faster R-CNN模型相比，YOLOv7-tiny的AP0.50分別高出了1.4個百分點、1.5個百分點、2.6個百分點和2.5個百分點，且擁有更輕量化的模型結(jié)構(gòu)以及更快的推理時間；與YOLOv5n相比，YOLOv7-tiny的AP0.50分別高出了1.1個百分點、0.9個百分點、0.8個百分點和0.6個百分點，雖然輕量化水平稍弱于YOLOv5n，但其也可達(dá)到輕量化的部署需求。因此，選擇YOLOv7-tiny模型作為基準(zhǔn)模型進行旋轉(zhuǎn)目標(biāo)檢測的改進是合適的。

與Faster R-CNN和YOLOv5n 模型的最優(yōu)AP0.50相比，CSL-YOLOv7-tiny模型的最優(yōu)AP0.50分別高出1.6個百分點和0.5個百分點，充分體現(xiàn)了CSL-YOLOv7-tiny模型的優(yōu)越性。與基準(zhǔn)模型YOLOv7-tiny相比，加入環(huán)形平滑標(biāo)簽的CSL-YOLOv7-tiny模型大小增加了0.95 MB，推理時間增加了0.3 ms，這可能是因為加入環(huán)形平滑標(biāo)簽帶來了額外計算開銷；同時，其精度有所下降，但當(dāng)虛擬圖像數(shù)量達(dá)到800張和1 000張時，精度的差距只有0.1個百分點，這說明加入環(huán)形平滑標(biāo)簽并未對模型輕量化程度和檢測性能造成較大損失。

上述試驗結(jié)果充分說明了使用虛擬豆莢圖像訓(xùn)練模型的有效性，虛擬豆莢圖像的合成經(jīng)歷了從真實豆莢圖像中提取若干張單個豆莢圖像并將其進行隨機組合的過程，其保留了真實豆莢所具有的細(xì)節(jié)特征，在合成過程中通過旋轉(zhuǎn)和隨機移動等操作來展現(xiàn)多樣的豆莢特征以及分布情況，提供給模型訓(xùn)練并學(xué)習(xí)豆莢的特征以精確地檢測到豆莢。通過從真實豆莢圖像中提取豆莢并合成虛擬圖像，避免了耗時費力的人工標(biāo)注過程，極大地降低了訓(xùn)練一個高性能檢測模型的成本。此外，該試驗驗證了選擇YOLOv7-tiny模型作為基準(zhǔn)模型的優(yōu)勢，同時表明加入環(huán)形平滑標(biāo)簽使得模型檢測性能和輕量化水平略有下降，但模型仍表現(xiàn)出較高的檢測性能，可為后續(xù)基于旋轉(zhuǎn)邊界框的莢長莢寬測量奠定基礎(chǔ)。2.4檢測模型不同訓(xùn)練方法分析

為了評估遷移學(xué)習(xí)的效果，并驗證虛擬硬幣與豆莢混合數(shù)據(jù)集的有效性，本研究以CSL-YOLOv7-tiny模型為基礎(chǔ)，對比了在由400張、600張、800張和1 000張?zhí)摂M硬幣與豆莢混合圖像組成的數(shù)據(jù)集下使用遷移學(xué)習(xí)和未使用遷移學(xué)習(xí)訓(xùn)練模型后的性能。由于在2.3節(jié)試驗中CSL-YOLOv7-tiny模型在1 000張?zhí)摂M豆莢圖像組成的數(shù)據(jù)集下訓(xùn)練后得到的模型性能最優(yōu)，因此使用其得到的模型權(quán)重進行遷移學(xué)習(xí)。

如表4所示，使用遷移學(xué)習(xí)與未使用遷移學(xué)習(xí)訓(xùn)練得到的模型的mAP0.50指標(biāo)相差不大，且隨著虛擬圖像數(shù)量的增加，其數(shù)值變化不大，這說明在不考慮檢測邊界框質(zhì)量的情況下，通過上述2種方式在不同規(guī)模的虛擬硬幣與豆莢混合數(shù)據(jù)集下訓(xùn)練得到的模型均能準(zhǔn)確檢測到豆莢和硬幣，且檢測精度穩(wěn)定。而在更嚴(yán)格的mAP0.50∶0.95指標(biāo)下，使用遷移學(xué)習(xí)和未使用遷移學(xué)習(xí)在不同規(guī)模的虛擬硬幣與豆莢混合數(shù)據(jù)集下訓(xùn)練的結(jié)果均存在較大差異，具體來說，在400張、600張、800張和1 000張?zhí)摂M硬幣與豆莢混合圖像組成的數(shù)據(jù)集下訓(xùn)練模型，使用遷移學(xué)習(xí)比未使用遷移學(xué)習(xí)得到的mAP0.50∶0.95分別高出了2.4個百分點、5.5個百分點、2.6個百分點和1.2個百分點，這表明在進一步考慮檢測到的邊界框質(zhì)量的情況下，采用遷移學(xué)習(xí)方法訓(xùn)練模型具有明顯優(yōu)勢。

本研究中豆莢莢長和莢寬參數(shù)的測量是基于對豆莢檢測邊界框的進一步處理來實現(xiàn)的，因此有必要關(guān)注檢測邊界框的質(zhì)量，評估模型性能時，mAP0.50和mAP0.50∶0.90均具有參考價值。本研究發(fā)現(xiàn)，遷移學(xué)習(xí)的應(yīng)用有效提升了豆莢目標(biāo)邊界框的質(zhì)量，充分表明其在實際考種場景中對于莢長和莢寬準(zhǔn)確測量的潛力。

為進一步驗證使用遷移學(xué)習(xí)方法訓(xùn)練模型的優(yōu)勢，圖7展示了2種訓(xùn)練方法得到的模型檢測結(jié)果。圖中圓圈框出的為低質(zhì)量的檢測邊界框，放大了未使用遷移學(xué)習(xí)的模型檢測結(jié)果中的低質(zhì)量檢測邊界框以及使用遷移學(xué)習(xí)的模型檢測結(jié)果中的對應(yīng)檢測邊界框，可以看出低質(zhì)量的檢測邊界框無法將整個豆莢目標(biāo)很好地框選出來。2種訓(xùn)練方法得到的模型都能夠檢測到所有的豆莢目標(biāo)，但均存在檢測邊界框質(zhì)量較差的情況。未使用遷移學(xué)習(xí)得到的模型出現(xiàn)低質(zhì)量檢測邊界框的次數(shù)更多，比使用遷移學(xué)習(xí)得到的模型多4個。由于計算莢長與莢寬需要依賴檢測邊界框信息，低質(zhì)量的豆莢檢測邊界框會造成莢長和莢寬測量誤差，相較于不使用遷移學(xué)習(xí)訓(xùn)練模型，使用遷移學(xué)習(xí)進行模型訓(xùn)練可以得到更優(yōu)的檢測結(jié)果。

2.5豆莢長寬測量結(jié)果分析

為了進一步評估本研究提出的莢長和莢寬自動化測量方法在實際考種場景下的測量性能，本研究使用5張手機拍攝的圖像進行測試，每張圖像各包含20個豆莢目標(biāo)，共包含100個豆莢目標(biāo)。對這100個豆莢目標(biāo)的莢長和莢寬進行人工測量，并與本研究提出的方法得到的測量值進行對比，采用R2、MAE和RMSE評價指標(biāo)來評估該方法的測量性能。

如表5所示，在莢長測量方面，本研究提出的自動化測量方法表現(xiàn)出色，R2達(dá)到0.94，MAE為0.80，RMSE為1.37，顯示出與實際觀測值間的良好擬合度和準(zhǔn)確性。而在莢寬預(yù)測方面，雖然R2為0.86，但MAE和RMSE都保持在相對較低的水平，分別為0.18和0.21。這表明所提出的方法對莢寬表型的預(yù)測同樣具有較高的準(zhǔn)確性。此外，莢長的人工測量均值和本研究方法的測量均值相差0.42 mm，莢寬的人工測量均值和本研究方法的測量均值相差0.02 mm，本研究方法的測量結(jié)果與人工測量結(jié)果基本一致，進一步驗證了本研究所提出的測量方法的可靠性。pod為模型檢測到的豆莢目標(biāo)標(biāo)簽，數(shù)據(jù)表示模型對豆莢目標(biāo)檢測結(jié)果的置信度。

圖8給出了莢長和莢寬的預(yù)測結(jié)果。顯然，本研究方法測量出的莢長和莢寬均高度接近實際數(shù)值，測量結(jié)果集中地分布于理想預(yù)測直線（y=x）附近，但2種測量結(jié)果均出現(xiàn)了少量異常點，造成該現(xiàn)象的原因可能是使用K-均值聚類方法測量莢長和莢寬的過程會受噪聲的影響，導(dǎo)致異常結(jié)果出現(xiàn)。總體來看，莢長和莢寬的自動測量均展現(xiàn)出了較優(yōu)的性能，誤差也保持在合理范圍內(nèi)。

2.6不同自動化測量方法對比

本研究提出CSL-YOLOv7-tiny模型，通過從虛擬豆莢數(shù)據(jù)集到虛擬硬幣與豆莢混合數(shù)據(jù)集的遷移學(xué)習(xí)訓(xùn)練模型，并基于K-均值聚類的后處理方法對檢測結(jié)果進行分析處理，實現(xiàn)了對大豆豆莢關(guān)鍵表型的自動化測量?，F(xiàn)將本研究提出的方法與不同大豆豆莢表型的自動化測量方法進行對比，分析本研究所提出的測量方法的有效性。

2.6.1基于傳統(tǒng)圖像處理的方法圖9展示了實際的典型考種環(huán)境中不同光照條件下傳統(tǒng)圖像處理方法和本研究設(shè)計的測量方法的結(jié)果對比。傳統(tǒng)圖像處理方法往往依賴于圖像二值化，可以看到，在正常亮度的測試圖像下二值化效果最佳，而在亮度較低的條件下二值化后會丟失大量豆莢目標(biāo)像素信息，在亮度較高的條件下二值化后會造成大量的噪聲。二值化往往需要設(shè)定閾值來達(dá)到預(yù)期效果，受環(huán)境影響顯著，當(dāng)拍攝環(huán)境發(fā)生變化時，使用傳統(tǒng)圖像處理方法來測量莢長和莢寬會造成較大的誤差。本研究設(shè)計的方法采用CSL-YOLOv7-tiny旋轉(zhuǎn)目標(biāo)檢測模型和基于K-均值聚類的后處理過程來得到莢長和莢寬，在3種典型考種環(huán)境下的測量結(jié)果未出現(xiàn)較大的誤差，有效地避免了環(huán)境變化帶來的影響，具有較強的考種環(huán)境適應(yīng)能力。

2.6.2基于實例分割的方法在本研究的試驗中，基于兩階段的檢測模型Faster R-CNN的模型大小為315.87 MB，推理時間為103.3 ms，而CSL-YOLOv7-tiny模型大小僅有12.92 MB，推理時間為12.5 ms，與Faster R-CNN模型相比分別降低了95.9%、87.9%。此外，文獻[24]采用Mask R-CNN進行豆莢圖像分割，在使用相同主干網(wǎng)絡(luò)的情況下，其模型參數(shù)量高于Faster R-CNN，實際部署應(yīng)用困難。本研究設(shè)計的CSL-YOLOv7-tiny模型具有更小的體積和更短的推理時間，更易于在實際大豆考種過程中的邊緣端部署應(yīng)用。

2.6.3基于目標(biāo)檢測的方法與實例分割模型相比，目標(biāo)檢測模型的輕量化程度更高，但由于豆莢特殊的狹長形狀，采用基于水平邊界框的目標(biāo)檢測模型測量莢長和莢寬會產(chǎn)生很大的誤差，往往需要加入后處理的過程才能進一步準(zhǔn)確地測量，然而后處理操作需避免噪聲干擾，若區(qū)域內(nèi)噪聲較多則會影響后處理過程。如圖10所示，基于水平目標(biāo)檢測得到的邊界框區(qū)域范圍較廣，在一個豆莢目標(biāo)邊界框區(qū)域內(nèi)會出現(xiàn)其他豆莢目標(biāo)的部分像素，而采用旋轉(zhuǎn)目標(biāo)檢測可以有效地避免該問題，并減輕密集分布的豆莢間的干擾，可以更好地對豆莢區(qū)域采取進一步處理來獲得更精確的莢長和莢寬。

2.6.4基于深度學(xué)習(xí)方法的訓(xùn)練數(shù)據(jù)獲取基于深度學(xué)習(xí)的檢測與分割模型訓(xùn)練往往需要依賴大量數(shù)據(jù)標(biāo)注，如圖11所示，目標(biāo)檢測任務(wù)需要對物體進行邊界框標(biāo)注，實例分割任務(wù)需要對物體進行輪廓點標(biāo)注，然而數(shù)據(jù)標(biāo)注過程十分耗時，且對于豆莢這類形狀不定的目標(biāo)，標(biāo)注過程較為困難，從而導(dǎo)致訓(xùn)練1個豆莢檢測模型或分割模型的成本較高。本研究提出的虛擬數(shù)據(jù)集生成方法有效地緩解了該問題，在未使用任何人工標(biāo)注數(shù)據(jù)的條件下，使用虛擬豆莢圖像和虛擬硬幣與豆莢混合圖像訓(xùn)練的模型在實際拍攝的圖像上均取得了較高的檢測精度，與文獻[24]的結(jié)果相比，本研究設(shè)計的虛擬數(shù)據(jù)生成方法避免了從真實圖片中人工提取單個豆莢的過程，輸入真實圖片后無需人工干預(yù)即可得到帶有標(biāo)注信息的虛擬圖像，實現(xiàn)了端到端式的虛擬豆莢圖像生成，用生成的虛擬數(shù)據(jù)訓(xùn)練模型，在得到了高精度的同時最大程度地降低了模型的訓(xùn)練成本。

pod為模型檢測到的豆莢目標(biāo)標(biāo)簽，數(shù)據(jù)表示模型對豆莢目標(biāo)檢測結(jié)果的置信度。

3結(jié)論

本研究提出了虛擬豆莢數(shù)據(jù)集、虛擬硬幣與豆莢混合數(shù)據(jù)集生成方法，通過遷移學(xué)習(xí)方法訓(xùn)練CSL-YOLOv7-tiny模型，并設(shè)計基于K-均值聚類的后處理方法對檢測結(jié)果進行分析，實現(xiàn)了大豆豆莢表型參數(shù)自動測量，主要結(jié)論如下：

（1）通過采用不同規(guī)模虛擬豆莢數(shù)據(jù)集進行訓(xùn)練， CSL-YOLOv7-tiny模型取得的AP0.50最優(yōu)值為99.2%；通過采用不同規(guī)模虛擬硬幣與豆莢混合數(shù)據(jù)集進行訓(xùn)練， CSL-YOLOv7-tiny模型取得的最優(yōu)mAP0.50 和mAP0.50∶0.95分別達(dá)到了99.3%和78.0%。本研究設(shè)計的虛擬圖像生成方法實現(xiàn)了端到端式的虛擬圖像生成，使用虛擬圖像訓(xùn)練得到的模型均取得了較高的檢測精度，且完全避免了數(shù)據(jù)人工標(biāo)注，降低了模型訓(xùn)練的成本。

（2）CSL-YOLOv7-tiny模型在虛擬豆莢數(shù)據(jù)集上訓(xùn)練得到的最優(yōu)AP0.50分別比Faster R-CNN和YOLOv5n模型高1.6個百分點和0.5個百分點；通過使用遷移學(xué)習(xí)，模型在不同規(guī)模虛擬硬幣與豆莢混合數(shù)據(jù)集上訓(xùn)練得到的mAP0.50∶0.95較未使用遷移學(xué)習(xí)訓(xùn)練得到的模型均具有明顯的提升，在遷移學(xué)習(xí)過程中，模型積累了復(fù)雜豆莢特征的提取能力，與未使用遷移學(xué)習(xí)方法訓(xùn)練的模型相比具有更高的檢測邊界框質(zhì)量。此外，CSL-YOLOv7-tiny模型大小僅有12.92 MB，推理速度達(dá)到了12.5 ms，更易于輕量化部署及應(yīng)用。

（3）利用基于K-均值聚類的后處理方法測量莢長和莢寬，決定系數(shù)（R2）分別達(dá)到了0.94和0.86，與實際測量均值分別相差0.42 mm和0.02 mm，本研究設(shè)計的莢長和莢寬測量方法獲得了較高的測量精度，且具有較強的考種環(huán)境適應(yīng)能力，該方法為大豆豆莢表型信息的準(zhǔn)確、自動智能獲取提供了技術(shù)支撐，有助于提高育種專家對優(yōu)質(zhì)大豆品種的選育效率。

在未來的工作中，可嘗試結(jié)合大模型對更多農(nóng)作物的種子、果實進行表型測量，如玉米、麥穗和花生等，以建立一個具有強泛化能力的通用表型測量模型，并通過不斷優(yōu)化算法和輕量化模型來實現(xiàn)更全面的應(yīng)用，為育種專家進行更廣泛的農(nóng)作物育種工作提供幫助。

參考文獻：

[1]PADALKAR G， MANDLIK R， SUDHAKARAN S， et al. Necessity and challenges for exploration of nutritional potential of staple-food grade soybean[J]. Journal of Food Composition and Analysis，2023，117：105093.

[2]陳雨生，江一帆，張瑛. 中國大豆生產(chǎn)格局變化及其影響因素[J]. 經(jīng)濟地理，2022，42（3）：87-94.

[3]宋晨旭，于翀宇，邢永超，等. 基于OpenCV的大豆籽粒多表型參數(shù)獲取算法[J]. 農(nóng)業(yè)工程學(xué)報，2022，38（20）：156-163.

[4]XIANG S， WANG S Y， XU M， et al. YOLO POD：a fast and accurate multi-task model for dense Soybean Pod counting[J]. Plant Methods，2023，19（1）：8.

[5]ZHOU W， CHEN Y J， LI W H， et al. SPP-extractor：automatic phenotype extraction for densely grown soybean plants[J]. The Crop Journal，2023，11（5）：1569-1578.

[6]周華茂，王婧，殷華，等. 基于改進Mask R-CNN模型的秀珍菇表型參數(shù)自動測量方法[J]. 智慧農(nóng)業(yè)，2023，5（4）：117-126.

[7]CHEN S， ZOU X J， ZHOU X Z， et al. Study on fusion clustering and improved yolov5 algorithm based on multiple occlusion of Camellia oleifera fruit[J]. Computers and Electronics in Agriculture，2023，206：107706.

[8]RONG J C， ZHOU H， ZHANG F， et al. Tomato cluster detection and counting using improved YOLOv5 based on RGB-D fusion[J]. Computers and Electronics in Agriculture，2023，207：107741.

[9]UZAL L C， GRINBLAT G L， NAMíAS R， et al. Seed-per-pod estimation for plant breeding using deep learning[J]. Computers and Electronics in Agriculture，2018，150：196-204.

[10]閆壯壯， 閆學(xué)慧，石嘉， 等. 基于深度學(xué)習(xí)的大豆豆莢類別識別研究[J]. 作物學(xué)報，2020，46（11）：1771-1779.

[11]郭瑞，于翀宇，賀紅，等. 采用改進YOLOv4算法的大豆單株豆莢數(shù)檢測方法[J]. 農(nóng)業(yè)工程學(xué)報，2021，37（18）：179-187.

[12]寧姍，陳海濤，趙秋多，等. 基于IM-SSD+ACO算法的整株大豆表型信息提取[J]. 農(nóng)業(yè)機械學(xué)報，2021，52（12）：182-190.

[13]王躍亭，王敏娟，孫石，等. 基于圖像處理和聚類算法的待考種大豆主莖節(jié)數(shù)統(tǒng)計[J]. 農(nóng)業(yè)機械學(xué)報，2020，51（12）：229-237.

[14]張小斌，謝寶良，朱怡航，等. 基于圖像處理技術(shù)的菜用大豆豆莢高通量表型采集與分析[J]. 核農(nóng)學(xué)報，2022，36（3）：602-612.

[15]趙巖，張人天，董春旺，等. 采用改進Unet網(wǎng)絡(luò)的茶園導(dǎo)航路徑識別方法[J]. 農(nóng)業(yè)工程學(xué)報，2022，38（19）：162-171.

[16]楊蜀秦，王帥，王鵬飛，等. 改進YOLOX檢測單位面積麥穗[J]. 農(nóng)業(yè)工程學(xué)報，2022，38（15）：143-149.

[17]翔云，陳其軍，宋栩杰，等. 基于深度學(xué)習(xí)的菜用大豆莢型表型識別方法[J]. 核農(nóng)學(xué)報，2022，36（12）：2391-2399.

[18]JIANG P Y， ERGU D， LIU F Y， et al. A review of Yolo algorithm developments[J]. Procedia Computer Science，2022，199：1066-1073.

[19]DIWAN T， ANIRUDH G， TEMBHURNE J V. Object detection using YOLO：challenges， architectural successors， datasets and applications[J]. Multimedia Tools and Applications，2023，82（6）：9243-9275.

[20]LI S， YAN Z Z， GUO Y X， et al. SPM-IS：an auto-algorithm to acquire a mature soybean phenotype based on instance segmentation[J]. The Crop Journal，2022，10（5）：1412-1423.

[21]JUNG Y， BYUN S， KIM B， et al. Harnessing synthetic data for enhanced detection of Pine Wilt Disease：an image classification approach[J]. Computers and Electronics in Agriculture，2024，218：108690.

[22]BARRIENTOS-ESPILLCO F， GASC E， LPEZ-GONZLEZ C I， et al. Semantic segmentation based on deep learning for the detection of Cyanobacterial harmful algal blooms （CyanoHABs） using synthetic images[J]. Applied Soft Computing，2023，141：110315.

[23]ABBAS A， JAIN S， GOUR M， et al. Tomato plant disease detection using transfer learning with C-GAN synthetic images[J]. Computers and Electronics in Agriculture，2021，187：106279.

[24]YANG S， ZHENG L H， YANG H J， et al. A synthetic datasets based instance segmentation network for high-throughput soybean pods phenotype investigation[J]. Expert Systems with Applications，2022，192：116403.

[25]WANG C Y， BOCHKOVSKIY A， LIAO H Y M. YOLOv7：trainable bag-of-freebies sets new state-of-the-art for real-time object detectors[C]. Vancouver：IEEE，2023：7464-7475.

[26]YANG X， YAN J C. Arbitrary-oriented object detection with circular smooth label[C]. Glasgow：Springer，2020：677-694.

[27]GIRSHICK R. Fast r-cnn[C]. Santiago：IEEE，2015：1440-1448.

（責(zé)任編輯：陳海霞）