采用改進(jìn)U-Net網(wǎng)絡(luò)的機(jī)收大豆質(zhì)量在線檢測

金誠謙，劉士坤,2，陳 滿，楊騰祥，徐金山

采用改進(jìn)U-Net網(wǎng)絡(luò)的機(jī)收大豆質(zhì)量在線檢測

金誠謙1，劉士坤1,2，陳 滿1，楊騰祥1，徐金山1

（1. 農(nóng)業(yè)農(nóng)村部南京農(nóng)業(yè)機(jī)械化研究所，南京 210014；2. 安徽農(nóng)業(yè)大學(xué)工學(xué)院，合肥 230036）

破碎率、含雜率是評價大豆聯(lián)合收獲機(jī)的重要作業(yè)性能指標(biāo)，破碎率、含雜率實時數(shù)據(jù)是實現(xiàn)大豆聯(lián)合收獲機(jī)智能化調(diào)控的基礎(chǔ)。為了實現(xiàn)大豆機(jī)械收獲過程破碎率、含雜率的在線檢測，該研究提出了基于改進(jìn)U-Net網(wǎng)絡(luò)的機(jī)收大豆破碎率、含雜率在線檢測方法。以大豆聯(lián)合收獲機(jī)實時收獲的大豆圖像為對象，使用開源標(biāo)注軟件Labemel對數(shù)據(jù)集進(jìn)行標(biāo)注，構(gòu)建基礎(chǔ)數(shù)據(jù)集。針對大豆圖像粘連、堆疊、語義信息復(fù)雜等問題，以U-Net為基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)，結(jié)合VGG16網(wǎng)絡(luò)并在各激活層（Rectified Linear Unit，ReLu）前引入批歸一化層（Batch Normalization，BN）防止過擬合；在編碼器中提取的特征圖后面添加卷積塊注意力模塊（Convolutional Block Attention Module，CBAM）抑制無關(guān)區(qū)域的激活，減少冗余部分；采用最近鄰插值法的上采樣替換解碼器中轉(zhuǎn)置卷積，避免轉(zhuǎn)置卷積引起的棋盤效應(yīng)。試驗結(jié)果表明：改進(jìn)U-Net網(wǎng)絡(luò)能有效地將圖像中完整大豆籽粒、破碎籽粒和雜質(zhì)進(jìn)行識別分類，完整籽粒識別分類綜合評價指標(biāo)值為95.50%，破碎籽粒識別分類綜合評價指標(biāo)值為91.88%，雜質(zhì)識別分類綜合評價指標(biāo)值為94.35%，平均交并比為86.83%。應(yīng)用所設(shè)計的大豆籽粒破碎率和含雜率在線檢測裝置開展臺架和田間試驗。臺架試驗結(jié)果表明，本文方法的檢測結(jié)果與人工檢測結(jié)果的破碎率均值絕對誤差為0.13個百分點，含雜率均值絕對誤差為0.25個百分點；田間試驗表明，本文方法檢測結(jié)果與人工檢測結(jié)果的破碎率均值絕對誤差為0.18個百分點，含雜率均值絕對誤差為0.10個百分點。所提檢測方法能夠準(zhǔn)確在線估算機(jī)收大豆的破碎率和含雜率，可為大豆聯(lián)合收獲作業(yè)質(zhì)量在線檢測提供技術(shù)支持。

聯(lián)合收獲機(jī)；圖像分割；大豆；U-Net網(wǎng)絡(luò)；識別分類；破碎率；含雜率

0 引 言

大豆是重要的油料作物，在國家糧油安全體系中占有重要地位。機(jī)械化生產(chǎn)是提高大豆生產(chǎn)水平的基礎(chǔ)[1]，機(jī)械化收獲是重中之重[2-4]。破碎率、含雜率[5]是評價大豆聯(lián)合收獲機(jī)作業(yè)性能的重要指標(biāo)?，F(xiàn)階段，國內(nèi)聯(lián)合收獲機(jī)作業(yè)過程中對破碎率、含雜率的檢測，只能停機(jī)后依靠人工完成，誤判率高、效率低下。

隨著機(jī)器視覺和深度學(xué)習(xí)在各個領(lǐng)域廣泛應(yīng)用，國內(nèi)外研究者將圖像處理技術(shù)[6-9]應(yīng)用到籽粒、谷物雜質(zhì)識別上[10-12]，如黏連籽粒圖像分割[13]、玉米種子特征提取[14]與識別和大豆外觀品質(zhì)特征提取等[15-16]。CLAAS公司推出了一款“谷物質(zhì)量攝像頭”，在聯(lián)合收獲機(jī)作業(yè)過程中對非谷物成分和破碎籽粒含量進(jìn)行分析，并在駕駛室操作面板上顯示分析數(shù)據(jù)[17]；Momi等采用機(jī)器視覺對大豆收獲過程中破碎籽粒、病害籽粒、莖/豆莢進(jìn)行識別[18]；陳進(jìn)等提出了基于機(jī)器視覺的水稻雜質(zhì)及破碎籽粒在線識別方法并設(shè)計了在線采樣裝置，設(shè)計了基于U-Net模型的含雜水稻籽粒圖像分割方法，水稻籽粒的分割綜合評價指標(biāo)值為99.42%，枝梗的分割綜合評價指標(biāo)值為88.56%，莖稈的分割綜合評價指標(biāo)值為86.84%[19-22]。上述研究在谷物籽粒、雜質(zhì)識別分割已經(jīng)取得不錯效果，為機(jī)收大豆籽粒破碎率和含雜率在線檢測提供了借鑒。

傳統(tǒng)的圖像分類識別多基于顏色閾值、紋理、形狀等特征提取，采用聚類、分水嶺分割等算法實現(xiàn)，需要人工提取淺層特征信息，算法效率低且通用性差。近年來，語義分割[23-24]成為機(jī)視覺領(lǐng)域的研究熱點，它對圖像的每一個像素點分配語義標(biāo)簽，在像素級對圖像分類識別，實現(xiàn)端到端的像素級分割，能夠獲得更高的分割精度和效率。隨著深度學(xué)習(xí)的快速發(fā)展，基于深度學(xué)習(xí)的語義分割廣泛應(yīng)用于醫(yī)療影像[25]、道路分割[26]、橋梁裂縫圖像[27]和遙感影像[28]等的分割并取得較好效果分割。

針對復(fù)雜環(huán)境下大豆圖像樣本的快速有效識別和分類。本文提出基于U-Net網(wǎng)絡(luò)的機(jī)收大豆籽粒破碎率和含雜率在線檢測方法，設(shè)計機(jī)收大豆圖像采集裝置，研究基于改進(jìn)U-Net網(wǎng)絡(luò)的大豆圖像識別分類算法，以實現(xiàn)機(jī)械化收獲的大豆籽粒破碎率和含雜率在線檢測。

1 在線檢測裝置整體結(jié)構(gòu)與系統(tǒng)工作流程

1.1 整體結(jié)構(gòu)

大豆籽粒破碎率和含雜率在線檢測裝置主要由筆記本電腦、動態(tài)圖像采集裝置、數(shù)據(jù)電源總線等部分組成，如圖1所示。動態(tài)圖像采集裝置完成大豆機(jī)械化收獲時出糧口大豆動態(tài)圖像獲取，主要包括工業(yè)攝像頭、LED光源、直流舵機(jī)、電機(jī)驅(qū)動板、擋板、采樣槽等部分，其中工業(yè)相機(jī)選用華銳視同科技有限公司的USB2.0工業(yè)攝像頭（型號LRCP10230、速度30幀/s、鏡頭焦距12 mm），工業(yè)相機(jī)鏡頭距離透明有機(jī)玻璃105 mm。

1.筆記本電腦 2.232總線 3.USB2.0 4.直流舵機(jī)和電機(jī)驅(qū)動板 5.工業(yè)攝像頭 6.圖像動態(tài)采集裝置 7.LED光源 8.聯(lián)合收獲機(jī)出糧口 9.采樣槽 10.透明有機(jī)玻璃 11.大豆 12.擋板 13.滑塊 14.偏振鏡 15.支撐桿 16.撥桿 17.支撐座 18.集糧斗

筆記本電腦內(nèi)置大豆破碎率含雜率在線檢測軟件系統(tǒng)，通過USB2.0連接圖像動態(tài)采集裝置內(nèi)工業(yè)相機(jī)采集大豆圖像，通過232總線控制圖像動態(tài)采集裝置內(nèi)的直流舵機(jī)正反轉(zhuǎn)，帶動撥桿拖動擋板實現(xiàn)大豆樣本的采樣-棄樣操作，從而實現(xiàn)大豆樣本圖像的周期性動態(tài)采樣。

1.2 系統(tǒng)工作流程

大豆籽粒破碎率和含雜率在線檢測系統(tǒng)的工作流程如圖2所示，具體步驟如下：

1）系統(tǒng)上電后進(jìn)行自檢并初始化，拍照計數(shù)器清零；

2）檢測232總線通信是否正常、舵機(jī)通信是否正常、工業(yè)攝像頭是否正常，如果不正常輸出相應(yīng)的提示信息；正常則繼續(xù)執(zhí)行程序；

3）發(fā)送直流舵機(jī)控制指令，控制直流舵機(jī)帶動伸縮板縮回，采樣槽釋放大豆樣本，延時500 ms，更新采樣槽內(nèi)的大豆；發(fā)送直流舵機(jī)控制指令，控制直流舵機(jī)帶動伸縮板伸出，采樣槽裝載大豆樣本，延時500 ms，保證采樣槽有機(jī)玻璃窗被大豆樣本完全覆蓋，實現(xiàn)采樣槽內(nèi)大豆樣本的更新；

4）發(fā)送工業(yè)攝像頭控制指令，透過采樣槽有機(jī)玻璃窗拍攝靜止?fàn)顟B(tài)的大豆樣本圖片，將拍到的圖片保存在“田間試驗”文件夾下，覆蓋同名文件，拍照計數(shù)器加1；

5）判斷拍攝樣本圖像的數(shù)量是否>5，如未達(dá)到，則順序執(zhí)行步驟3）～4）；如符合要求，讀取“田間試驗”文件夾下的5張圖像，對圖像進(jìn)行預(yù)處理，將1 280像素× 1 024像素的原始圖像下采樣為512像素×512像素的模型輸入圖像，調(diào)用U-Net預(yù)測模型，進(jìn)行樣本中完整大豆籽粒、破碎籽粒、雜質(zhì)的識別分類，完成后將圖像上采樣為原有尺寸，獲得大豆樣本各成分像素數(shù)；調(diào)用破碎率和含雜率計算模型，計算出單幅樣本圖像的破碎率和含雜率數(shù)據(jù)及5張樣本圖像的破碎率和含雜率均值數(shù)據(jù)，將均值作為本次檢測結(jié)果輸出，并將所有計算結(jié)果寫入數(shù)據(jù)記錄文件，拍照計數(shù)器清零；

6）判斷系統(tǒng)是否收到停止檢測的信息，如未收到，則順序執(zhí)行步驟3）～6），進(jìn)行新的檢測任務(wù)；如是則結(jié)束任務(wù)。

圖2 系統(tǒng)工作流程

2 改進(jìn)的U-Net網(wǎng)絡(luò)設(shè)計

2.1 數(shù)據(jù)集制作

大豆樣本圖像采集于2020年10月15日山東省濟(jì)寧市長溝鎮(zhèn)大豆試驗田的收獲過程，將圖像采集裝置安裝在4LZ-6型智能化大豆聯(lián)合收獲機(jī)輸糧裝置的出口下方，程序設(shè)定圖像保存格式為.jpg。大豆品種為齊黃34，收獲時含水率為12.6%，百粒質(zhì)量為27.47 g。共采集圖片118張，樣本圖像包含完整大豆籽粒（即沒有機(jī)械損傷的大豆籽粒）、破碎籽粒（即由機(jī)械收獲造成裂瓣和壓扁籽粒）、雜質(zhì)（即豆莢、莖稈等），如圖3所示。霉變大豆和自然破皮大豆不屬于機(jī)械損傷，算作完整籽粒。

使用開源標(biāo)注軟件Labelme 3.18.0手工標(biāo)記完整籽粒、破碎籽粒和雜質(zhì)邊界，為了可視化對比，對包括背景在內(nèi)的4種分類結(jié)果進(jìn)行著色，如圖4a所示。模型構(gòu)建時采用如圖4b所示的標(biāo)簽灰度圖，對于標(biāo)簽而言，每個像素點的內(nèi)容是一個數(shù)字，代表這個像素點所屬的類別，像素點內(nèi)容為0代表背景，像素點內(nèi)容為1代表破碎大豆籽粒，像素點內(nèi)容為2代表完整大豆籽粒，像素點內(nèi)容為3代表雜質(zhì)。

a. 原圖a. Original imageb. 完整籽粒b. Whole grain c. 破碎籽粒c. Broken graind. 雜質(zhì)d. Impurity

圖4 樣本標(biāo)簽圖

隨機(jī)選取圖像集中的115張作為訓(xùn)練集，3張作為測試集。由于訓(xùn)練集數(shù)據(jù)量較少，通過圖像增強(qiáng)，如圖5所示，在原圖像[0～768，0～512]像素區(qū)間內(nèi)隨機(jī)生成6個起始像素點，以起始像素點為起點，以512像素為步長，裁剪獲得512像素×512像素的增強(qiáng)的圖像，共得到690張圖像，以9﹕1的比例隨機(jī)分為訓(xùn)練集和驗證集，其中621張作為訓(xùn)練集，69張作為驗證集。以此數(shù)據(jù)集為基礎(chǔ)，開展5輪模型訓(xùn)練，獲取最優(yōu)的訓(xùn)練模型。測試集數(shù)據(jù)通過下采樣圖像預(yù)處理后作為模型的輸入，測試模型的精度。

2.2 改進(jìn)的U-Net網(wǎng)絡(luò)結(jié)構(gòu)

2.2.1 網(wǎng)絡(luò)結(jié)構(gòu)概述

語義分割網(wǎng)絡(luò)U-Net是一個經(jīng)典的全卷積網(wǎng)絡(luò)，由編-解碼結(jié)構(gòu)組成，整個網(wǎng)絡(luò)結(jié)構(gòu)呈現(xiàn)U型。適合處理小尺寸物體的分割。因此，本文基于U-Net網(wǎng)絡(luò)提出改進(jìn)能在復(fù)雜環(huán)境下對大豆圖像快速識別和分類的網(wǎng)絡(luò)，網(wǎng)絡(luò)整體結(jié)構(gòu)如圖6所示，主要包括編碼器和解碼器。編碼器是主干特征提取部分，用于信息提取，解碼器將特征圖尺寸恢復(fù)到原圖大小并將編碼器提取的特征圖同解碼器對應(yīng)的特征層融合。

2.2.2 編碼器

U-Net的編碼器由卷積+最大池化組成，整體結(jié)構(gòu)與VGG16類似。為方便使用Keras內(nèi)置的VGG16模型在ImagNet驗證集上的預(yù)訓(xùn)練權(quán)重，本文將VGG16網(wǎng)絡(luò)模型與U-Net網(wǎng)絡(luò)結(jié)構(gòu)相結(jié)合，編碼器部分包含13個3×3卷積、4個最大池化層，為防止過擬合，在各激活層（Rectified Linear Unit，ReLu）前引入批歸一化層（Batch Normalization，BN）。

原圖Original image起始像素點Starting pixel point增強(qiáng)圖像Enhanced image

注：CBAM表示基于空間注意力和通道注意力子模塊構(gòu)造的卷積塊注意力模塊。

2.2.3 解碼器

解碼器包含8個3×3卷積、1個1×1卷積、4個特征融合部分和4個上采樣。針對特征融合中編碼器提取的特征圖有很多的冗余信息，本文在編碼器提取的特征圖后面添加基于空間注意力和通道注意力子模塊構(gòu)造的卷積塊注意力模塊（CBAM，Convolutional Block Attention Module），減少冗余信息；同時為避免出現(xiàn)棋盤效應(yīng)，上采樣采用最近鄰插值法，如圖7所示。

在通道注意力子模塊中輸入特征圖經(jīng)過兩個并行的最大值池化和平均池化將××（特征圖的高×特征圖的寬×特征通道數(shù)）的特征圖變成1×1×大小，然后經(jīng)一個Shard MLP，壓縮通道數(shù)/（為壓縮因子，=16），再擴(kuò)張通道數(shù)至，得到2個激活的結(jié)果，將兩者相加再接一個激活函數(shù)sigmoid最后再乘以最初的輸入，特征圖大小變回了××，完成通道注意力操作。通道注意力模塊聚焦在圖像中“什么”是有意義的，通道維度不變，壓縮空間維度，減少冗余信息，提高分類精度。

注：H、W、C分別為特征圖的高、特征圖的寬、特征通道數(shù)。

在空間注意力子模塊中將經(jīng)過通道注意力操作后的特征圖同樣經(jīng)過最大值池化和平均池化分成2張大小為××1的特征圖，將2張?zhí)卣鲌D堆疊并通過卷積操作變?yōu)?張××1的特征圖，經(jīng)過一個激活函數(shù)sigmoid再乘上最初的特征圖，完成空間注意力操作?？臻g注意力集中于“哪里”這一空間信息部分，空間維度不變，壓縮通道維度，與通道注意力互補(bǔ)，提高邊界的分類精度。

2.3 網(wǎng)絡(luò)訓(xùn)練

訓(xùn)練集損失函數(shù)使用基于多分類交叉熵?fù)p失，計算公式為

式中l(wèi)oss為多分類交叉熵?fù)p失；為樣本數(shù)量，即batchsize；為預(yù)測向量維度；為此像素點的真實值；為此像素點預(yù)測的概率值，取值范圍為0～1。

驗證集采用Dice loss作為損失函數(shù)。其中，Dice系數(shù)是一種集合相似度度量函數(shù)，通常通用于計算兩個樣本的相似度，取值范圍[0,1]，Dice系數(shù)值越大表示預(yù)測結(jié)果和真實結(jié)果重合度越高，其計算公式如下：

式中f為Dice系數(shù)；為預(yù)測結(jié)果；為真實結(jié)果。

驗證集的損失函數(shù)loss計算公式如下：

本文使用的筆記本電腦顯卡型號GTX2060、內(nèi)存6 GB、處理器型號AMD R7-4800H、頻率2.90 GHz、運(yùn)行內(nèi)存16 GB，在筆記本電腦上安裝Ubuntu20.04操作系統(tǒng)、python3.8編譯環(huán)境、pycharm開發(fā)平臺，使用深度學(xué)習(xí)框架 Tensorflow2進(jìn)行網(wǎng)絡(luò)構(gòu)建、訓(xùn)練和預(yù)測，設(shè)定隨機(jī)梯度下降為優(yōu)化器，訓(xùn)練集通過深度學(xué)習(xí)框架Tensorflow2中的前向傳播算法得到像素點預(yù)測值，利用損失函數(shù)得到預(yù)測值與真實值之間的差距，通過反向傳播算法調(diào)整網(wǎng)絡(luò)中相關(guān)參數(shù)縮小差距，直至差距無法縮小或完成迭代次數(shù)結(jié)束訓(xùn)練。設(shè)置初始學(xué)習(xí)率為0.000 1，迭代次數(shù)100次，重復(fù)訓(xùn)練5次。第一次訓(xùn)練模型加載VOC2007圖像數(shù)據(jù)集預(yù)訓(xùn)練的模型權(quán)重，之后的每一次訓(xùn)練都加載前一次訓(xùn)練結(jié)果中最優(yōu)模型的權(quán)重。將5組訓(xùn)練獲得的最優(yōu)模型作為改進(jìn)U-Net網(wǎng)絡(luò)預(yù)測模型，用于實現(xiàn)大豆樣本圖像信息的識別。

圖8是其中1組模型訓(xùn)練過程訓(xùn)練損失和驗證損失變化曲線。模型的訓(xùn)練分為2個階段，分別為凍結(jié)階段和解凍階段，凍結(jié)階段和解凍階段的迭代次數(shù)都是50次。凍結(jié)階段網(wǎng)絡(luò)中主干網(wǎng)絡(luò)被凍結(jié)，特征提取網(wǎng)絡(luò)不發(fā)生改變，占用的顯存較小，僅對網(wǎng)絡(luò)進(jìn)行微調(diào)；解凍階段網(wǎng)絡(luò)中主干網(wǎng)絡(luò)不被凍結(jié)，特征提取網(wǎng)絡(luò)會發(fā)生改變，占用的顯存較大，網(wǎng)絡(luò)所有的參數(shù)都會發(fā)生變化，從凍結(jié)階段過渡到解凍階段，網(wǎng)絡(luò)所有參數(shù)都發(fā)生改變，重新進(jìn)行訓(xùn)練，從而引起數(shù)據(jù)的波動。由圖8可知，在解凍訓(xùn)練過程，由于模型的所有參數(shù)隨機(jī)變化，易造成模型訓(xùn)練的不確定性，此時模型的損失率高于凍結(jié)階段。因此，訓(xùn)練過程加載預(yù)訓(xùn)練權(quán)重，在此基礎(chǔ)上進(jìn)行參數(shù)的微調(diào)，有利于獲得最優(yōu)的網(wǎng)絡(luò)參數(shù)。模型訓(xùn)練迭代100次后，將訓(xùn)練損失最優(yōu)的模型作為本次訓(xùn)練的結(jié)果，作為下次訓(xùn)練的模型預(yù)訓(xùn)練權(quán)重。本次訓(xùn)練最優(yōu)模型的損失率為0.150 2，驗證損失為0.325 7。

圖8 訓(xùn)練損失和驗證損失曲線

2.4 改進(jìn)U-Net網(wǎng)絡(luò)的預(yù)測效果

為了評估本文設(shè)計的改進(jìn)U-Net網(wǎng)絡(luò)的預(yù)測效果，開展了各個改進(jìn)U-Net網(wǎng)絡(luò)結(jié)構(gòu)的預(yù)測效果對比試驗。以原始U-Net為基礎(chǔ)網(wǎng)絡(luò)，逐步添加改進(jìn)結(jié)構(gòu)，構(gòu)建3組不同的網(wǎng)絡(luò)試驗。模型1為原始U-Net網(wǎng)絡(luò)；模型2是在模型1的基礎(chǔ)上添加CBAM并將VGG16網(wǎng)絡(luò)結(jié)構(gòu)加進(jìn)編碼器部分；模型3（本文設(shè)計的改進(jìn)U-Net模型）是在模型2的基礎(chǔ)上將解碼器部分的轉(zhuǎn)置卷積換為采用最近鄰插值法的上采樣。將測試集中的圖像用不同網(wǎng)絡(luò)結(jié)構(gòu)分別進(jìn)行預(yù)測分類，預(yù)測結(jié)果如圖9所示。從預(yù)測圖中方框內(nèi)部分可以看出，模型1對于破碎籽粒出現(xiàn)誤判；模型2預(yù)測圖片出現(xiàn)棋盤效應(yīng)[29]，對圖像籽粒像素點分類出現(xiàn)漏分類；模型3采用最近鄰插值法的上采樣替換解碼器部分的轉(zhuǎn)置卷積后，棋盤效應(yīng)消失。

采用精確率、召回率、平均交并比MIOU作為圖像識別分類結(jié)果的評價指標(biāo)[30-31]，并以綜合評價指標(biāo)1作為準(zhǔn)確率和召回率的評估值，各指標(biāo)計算公式如下：

樣本1Sample 1 樣本2Sample 2 樣本3Sample 3 a. 原圖a. original iamgeb. 手工標(biāo)注圖b. Manual labelingc. 模型1 c. Model 1d. 模型2d. Model 2e. 模型3 e. Model 3

式中為精確率，%；為召回率，%；1為綜合評價指標(biāo)，%；P為將正確分類像素點預(yù)測為正確分類像素點數(shù)量；P為將錯誤分類像素點預(yù)測為正確分類像素點數(shù)量；N為將正確分類像素點預(yù)測為錯誤分類像素點；為分類的類別數(shù)；IOU為交并比，%；MIOU為平均交并比，%。

分別統(tǒng)計不同模型識別分類的大豆破碎籽粒、完整籽粒、雜質(zhì)的精確率、召回率、綜合評價指標(biāo)，結(jié)果如表1所示。模型3（本文提出的改進(jìn)U-Net網(wǎng)絡(luò)）預(yù)測識別結(jié)果統(tǒng)計中完整籽粒、破碎籽粒、雜質(zhì)的綜合評價指標(biāo)1分別為95.50%、91.88%、94.34%，MIOU值為86.83%，要優(yōu)于其他網(wǎng)絡(luò)。手工標(biāo)記圖與原圖對比會存在部分漏標(biāo)現(xiàn)象，經(jīng)研究表明手工標(biāo)記圖漏標(biāo)情況，在預(yù)測時對預(yù)測精度影響較小。在樣本圖像預(yù)測識別時效性上，模型1所需的時間最短，模型2和模型3的時間上接近，模型3（本文提出的改進(jìn)U-Net網(wǎng)絡(luò)）的單幅圖像解析時間為0.185 4 s。

由表2可知，改進(jìn)U-Net網(wǎng)絡(luò)預(yù)測圖像中完整籽粒、完整籽粒、雜質(zhì)的綜合評價指標(biāo)1都高于其他2種網(wǎng)絡(luò)，其中完整籽粒的綜合評價指標(biāo)1比DeepLabV3+網(wǎng)絡(luò)的高2.69個百分點，比文獻(xiàn)[9]的高8.79個百分點；破碎籽粒的綜合評價指標(biāo)1比DeepLabV3+網(wǎng)絡(luò)和文獻(xiàn)[9]高7個百分點左右；雜質(zhì)的綜合評價指標(biāo)1比DeepLabV3+網(wǎng)絡(luò)的高8.16個百分點，比文獻(xiàn)[9]的高9.92個百分點。改進(jìn)U-Net網(wǎng)絡(luò)識別分類效果提升明顯，尤其對圖像中破碎籽粒和雜質(zhì)的識別分類。相較于其他算法，改進(jìn)U-Net網(wǎng)絡(luò)解析時間略高于DeepLabV3+網(wǎng)絡(luò)，遠(yuǎn)低于文獻(xiàn)[9]，單幅圖像解析時間為0.185 4 s，能夠滿足田間作業(yè)實時處理要求。

表1 不同U-Net網(wǎng)絡(luò)的識別分類效果

表2 不同網(wǎng)絡(luò)的識別分類效果

3 驗證試驗

3.1 大豆籽粒破碎率與含雜率的量化模型

現(xiàn)有的大豆聯(lián)合收獲機(jī)作業(yè)質(zhì)量檢測方法中含雜率是樣品中籽粒質(zhì)量與雜質(zhì)質(zhì)量的百分比；破碎率是樣品中破碎籽粒質(zhì)量與完整籽粒質(zhì)量的百分比。根據(jù)現(xiàn)有的測定方法，制定了基于像素點的破碎率、含雜率量化模型，計算公式為

式中z為含雜率，%；為破碎率，%；為預(yù)測圖像中完整籽粒像素點數(shù)；為預(yù)測圖像中破碎籽粒像素點數(shù)；為預(yù)測圖像中雜質(zhì)像素點數(shù)；?為預(yù)測圖像中雜質(zhì)平均像素質(zhì)量與籽粒平均像素質(zhì)量的比值。

?作為雜質(zhì)平均像素質(zhì)量與籽粒平均像素質(zhì)量的比值，其值會隨著雜質(zhì)種類的不同而改變，為了簡化含雜率量化模型，在實驗室內(nèi)通過像素質(zhì)量標(biāo)定試驗確定?值，在標(biāo)準(zhǔn)容器內(nèi)裝載混合有雜質(zhì)的大豆樣本，拍攝其圖像并稱量，獲得該樣本中雜質(zhì)像素點、大豆籽粒像素點、大豆雜質(zhì)質(zhì)量和大豆籽粒質(zhì)量，重復(fù)50組試驗，?的計算公式如下：

式中為手工標(biāo)定試驗的重復(fù)次數(shù)，為常數(shù)50；為第次手工標(biāo)定試驗；?為第次手工標(biāo)定試驗得到的待檢測圖像雜質(zhì)平均像素質(zhì)量與籽粒平均像素質(zhì)量的比值；為第次手工標(biāo)定試驗樣本中雜質(zhì)的質(zhì)量，mg；為第次手工標(biāo)定試驗樣本中大豆籽粒的質(zhì)量，mg；為第次手工標(biāo)定試驗樣本圖像中大豆籽粒的像素；為第次手工標(biāo)定試驗樣本圖像中大豆雜質(zhì)的像素。

?值人工標(biāo)定結(jié)果如圖10所示，?值為0.115 5，雜質(zhì)平均像素質(zhì)量和籽粒平均像素質(zhì)量的擬合度達(dá)到0.999 99。因此，標(biāo)定試驗得到的?值能客觀表征大豆樣本圖像中雜質(zhì)平均像素質(zhì)量與籽粒平均像素質(zhì)量之間的對應(yīng)關(guān)系。

圖10 像素質(zhì)量比值人工標(biāo)定結(jié)果

3.2 臺架試驗

3.2.1 試驗材料與方法

試驗地點為農(nóng)業(yè)農(nóng)村部南京農(nóng)業(yè)機(jī)械化研究所東區(qū)，試驗時間為2020年12月3日。試驗大豆樣本來源于山東省濟(jì)寧市長溝鎮(zhèn)大豆試驗田的收獲過程，隨機(jī)從糧箱中取樣3批次，每批次樣本質(zhì)量30 kg，大豆品種為齊黃34，大豆籽粒平均含水率為11.9%，百籽質(zhì)量為25.58 g。

試驗臺架由機(jī)架、糧箱、刮板升運(yùn)器、電機(jī)和大豆樣本采樣裝置組成，如圖11所示，采用試驗臺架進(jìn)行3組試驗。臺架工作時，電機(jī)帶動攪龍轉(zhuǎn)動，糧箱內(nèi)的大豆被傳送到刮板升運(yùn)器上，升運(yùn)器最上端連接一個出料斗，大豆從出料斗落入糧箱中，部分大豆從出料斗落入大豆樣本采樣裝置中，大豆樣本檢測完成后，裝置中大豆回落到糧箱內(nèi)。

將大豆籽粒破碎率和含雜率檢測裝置安裝于試驗臺架出料斗下方，連接好電源，調(diào)試設(shè)備；準(zhǔn)備好3個批次大豆樣品；將1個批次大豆樣品倒入到試驗臺架糧箱，啟動電機(jī)，開始自動檢測，為了減少反復(fù)輸送對大豆樣本造成二次損傷，每個批次大豆樣本檢測10次；關(guān)閉電機(jī)，將糧箱內(nèi)的大豆清除干凈，進(jìn)行第二批次大豆樣本檢測。記錄試驗數(shù)據(jù)，并與人工檢測結(jié)果進(jìn)行比較。

3.2.2 臺架試驗結(jié)果與分析

隨機(jī)從臺架試驗采集的圖像中選取一張圖像，使用labelme對圖像進(jìn)行手工標(biāo)注，分析改進(jìn)U-Net的識別分類效果，如圖12所示。預(yù)測雜質(zhì)的精確率為99.02%、召回率為83.17%、綜合評價指標(biāo)1為90.40%；破碎籽粒的精確率為96.69%、召回率為95.10%、綜合評價指標(biāo)1為95.89%；完整籽粒的精確率為94.41%、召回率為92.70%、綜合評價指標(biāo)1為93.55%。由此可見，改進(jìn)U-Net的識別分類效果良好，能夠?qū)崿F(xiàn)大豆樣本各成分的有效識別分類，為樣本破碎率含雜率的準(zhǔn)確預(yù)測奠定基礎(chǔ)。

圖12 臺架試驗圖像識別與分類結(jié)果

試驗過程中，試驗臺和大豆籽粒破碎率和含雜率檢測裝置工作正常，可實現(xiàn)大豆籽粒破碎率與含雜率在線檢測。臺架試驗數(shù)據(jù)統(tǒng)計結(jié)果如表3所示，含雜率檢測最大值為1.40%，最小值為0.15%，均值為0.78%；破碎率最大值為5.33%，最小值為1.51%，均值為3.17%。分別對3個批次大豆隨機(jī)均勻取3個樣本點，參照NY/T738—2020《大豆聯(lián)合收獲機(jī)作業(yè)質(zhì)量》人工檢測樣本的破碎率和含雜率。人工檢測含雜率最大值為0.78%，最小值為0.28%，均值為0.53%；破碎率最大值為3.76%，最小值為2.48%，均值為3.04%。試驗結(jié)果表明檢測裝置檢測結(jié)果與人工檢測結(jié)果的破碎率均值絕對誤差為0.13個百分點，含雜率均值絕對誤差為0.25個百分點。

3.3 田間試驗

3.3.1 試驗材料與試驗地點

試驗地點為山東省濟(jì)寧市任城區(qū)后劉村大豆試驗田，大豆品種為齊黃34，含水率為12.1%，千粒質(zhì)量為246.5 g，試驗時間為2021年10月18號，試驗收獲機(jī)具為4LZ-6型智能化大豆聯(lián)合收獲機(jī)。

3.3.2 田間試驗步驟

共開展3個行程的重復(fù)試驗，單行程作業(yè)長度200 m，作業(yè)速度為6 km/h，每個行程檢測10次。試驗現(xiàn)場如圖 13所示。將檢測裝置安裝到4LZ-6型智能化大豆聯(lián)合收獲機(jī)輸糧裝置的出口下方，并連接聯(lián)合收獲機(jī)車載電源，調(diào)試設(shè)備，啟動聯(lián)合收獲機(jī)開始收獲，大豆籽粒破碎率和含雜率檢測裝置自動在線檢測作業(yè)效果。完成一個行程后，停機(jī)，在糧箱中隨機(jī)均勻取3個樣本，參照NY/T738—2020《大豆聯(lián)合收獲機(jī)作業(yè)質(zhì)量》人工檢測大豆籽粒破碎率和含雜率，取樣完成后開機(jī)繼續(xù)進(jìn)行試驗。

表3 臺架試驗大豆破碎率和含雜率統(tǒng)計結(jié)果

圖13 田間試驗現(xiàn)場

3.3.3 田間試驗結(jié)果與分析

隨機(jī)從田間試驗采集的圖像中選取1張圖像，使用labelme對圖像進(jìn)行手工標(biāo)注，分析田間試驗過程中改進(jìn)U-Net的識別與分類效果。如圖14所示，檢測結(jié)果的雜質(zhì)精確率為81.75%、召回率為91.57%、綜合評價指標(biāo)1為86.38%；破碎籽粒的精確率為98.93%、召回率為83.12%、綜合評價指標(biāo)1為90.34%；完整籽粒的精確率為96.08%、召回率為93.01%、綜合評價指標(biāo)1為94.52%。結(jié)果表明，本文設(shè)計的檢測裝置田間應(yīng)用效果良好，能夠?qū)崿F(xiàn)田間收獲過程中大豆籽粒成分的有效識別與分類。

田間試驗過程中，大豆破碎率含雜率檢測裝置工作正常。田間試驗數(shù)據(jù)統(tǒng)計結(jié)果如表4所示，檢測裝置含雜率檢測最大值為1.49%，最小值為0.21%，均值為0.74%；破碎率最大值為7.42%，最小值為1.51%，均值為3.62%。人工檢測含雜率最大值為0.83%，最小值為0.45%，均值為0.64%；破碎率最大值為4.25%，最小值為2.55%，均值為3.44%。試驗結(jié)果表明，使用本文研究的檢測裝置檢測結(jié)果與人工檢測結(jié)果的破碎率均值絕對誤差為0.18個百分點，含雜率均值絕對誤差為0.10個百分點，該大豆機(jī)收在線破碎率含雜率檢測方法能夠順利完成聯(lián)合收獲機(jī)作業(yè)時大豆破碎率含雜率的在線檢測。

圖14 田間試驗圖像識別與分類結(jié)果

表4 田間試驗大豆破碎率和含雜率統(tǒng)計結(jié)果

4 討 論

基于改進(jìn)U-Net網(wǎng)絡(luò)的機(jī)收大豆質(zhì)量在線檢測是通過識別大豆樣本圖像中完整籽粒、破碎籽粒和雜質(zhì)的像素信息計算實時的含雜率和破碎率。在圖像成分信息識別階段，改進(jìn)U-Net網(wǎng)絡(luò)輸入圖像尺寸過大，易造成網(wǎng)絡(luò)的計算量大、系統(tǒng)硬件配置要求高、時效性差等問題。因此，本研究將1 280像素×1 024像素的原始圖像下采樣為512像素×512像素的改進(jìn)U-Net網(wǎng)絡(luò)輸入圖像，在保證圖像語義信息滿足網(wǎng)絡(luò)訓(xùn)練、預(yù)測精度要求的前提下，有效的減少模型的計算量，提升網(wǎng)絡(luò)的時效性。同時，改進(jìn)U-Net網(wǎng)絡(luò)是一個對稱的網(wǎng)絡(luò)，其輸出是512像素× 512像素的圖像。在樣本含雜率和破碎率計算階段，圖像的像素信息越豐富，系統(tǒng)檢測結(jié)果的準(zhǔn)確性越高。因此，本研究將改進(jìn)U-Net網(wǎng)絡(luò)512像素×512像素的輸出圖像上采樣為1 280像素×1 024像素，這樣一方面可以保證樣本含雜率和破碎率計算模型輸入圖像信息與原始圖像信息的一致性，另一方面可以增加圖像信息量，減少由于統(tǒng)計像素不足引起的檢測誤差。

U-Net作為一種語義分割的經(jīng)典網(wǎng)絡(luò)，在醫(yī)學(xué)、農(nóng)業(yè)等領(lǐng)域圖像識別取得了巨大成功。陳進(jìn)等[22]通過每次反卷積操作之后引入2×2卷積核增加U-Net網(wǎng)絡(luò)深度并加入BN層，在小數(shù)據(jù)集上獲得更豐富的語義信息，解決圖像訓(xùn)練數(shù)據(jù)匱乏和訓(xùn)練過擬合問題，實現(xiàn)了水稻籽粒、莖稈和枝梗的識別。有別于上述研究，本研究針對機(jī)收大豆樣本圖像識別的要求，改進(jìn)了U-Net網(wǎng)絡(luò)。首先，以512像素×512像素圖像作為網(wǎng)絡(luò)的輸入圖像，保留充足的圖像信息，同時有效地提升網(wǎng)絡(luò)運(yùn)行效率。其次，在U-Net網(wǎng)絡(luò)編碼部分，引入了VGG16主干特征網(wǎng)絡(luò)提取網(wǎng)絡(luò)，有效地提升了網(wǎng)絡(luò)分類和定位性能。再者，在U-Net網(wǎng)絡(luò)解碼部分，直接采用了2倍上采樣替代2×2卷積上采樣，使得網(wǎng)絡(luò)具有更好的通用性。最后，在U-Net網(wǎng)絡(luò)特征融合部分，引進(jìn)了基于空間注意力和通道注意力構(gòu)造的卷積塊注意力模塊，有效的減少冗余信息，提升網(wǎng)絡(luò)的適應(yīng)性。試驗表明，本研究改進(jìn)的U-Net網(wǎng)絡(luò)能夠有效的實現(xiàn)大豆圖像中各成分的精準(zhǔn)識別分類。

基于改進(jìn)U-Net網(wǎng)絡(luò)的機(jī)收大豆質(zhì)量在線檢測主要應(yīng)用于大豆機(jī)械化收獲作業(yè)過程，實現(xiàn)大豆機(jī)收破碎率和含雜率的在線檢測。因此，實時性是衡量該檢測方法性能優(yōu)劣的指標(biāo)之一。該檢測方法主要包括3個部分內(nèi)容圖像獲取、圖像成分識別、破碎含雜率計算并顯示。在大豆標(biāo)準(zhǔn)收獲過程中，該檢測方法獲取一張有效圖像的時間大約為1.7 s，其中控制直流舵機(jī)控制擋板伸縮更新采樣槽內(nèi)大豆樣本需要1 s，控制工業(yè)相機(jī)拍照大約需要0.2 s；運(yùn)行改進(jìn)U-Net網(wǎng)絡(luò)完成圖像成分識別所需的時間為0.185 4 s；在圖像成分識別的基礎(chǔ)上，統(tǒng)計各成分所占的像素，并計算出含雜率和破碎率的時間為0.316 4 s；因此，本研究的含雜率和破碎率檢測周期為2.201 8 s。當(dāng)大豆收獲機(jī)以1.5 m/s速度作業(yè)時，大豆收獲每作業(yè)3.3 m得到一組破碎率和含雜率的檢測數(shù)據(jù)，本研究設(shè)計的改進(jìn)U-Net網(wǎng)絡(luò)的大豆機(jī)收破碎率、含雜率在線檢測方法基本能夠滿足大豆收獲預(yù)警的需求。

5 結(jié) 論

1）提出一種基于改進(jìn)U-Net網(wǎng)絡(luò)的機(jī)收大豆質(zhì)量在線檢測，該方法分為圖像采集與圖像處理兩部分，圖像采集部分包含工業(yè)攝像頭、電機(jī)、擋板、LED光源等能夠?qū)崟r采集大豆樣本圖像，圖像處理部分通過改進(jìn)U-Net網(wǎng)絡(luò)能夠快速準(zhǔn)確的識別分類大豆圖像中的破碎籽粒、完整籽粒、雜質(zhì)，并計算出聯(lián)合收獲機(jī)作業(yè)時的實時破碎率、含雜率。

2）采用改進(jìn)U-Net網(wǎng)絡(luò)預(yù)測大豆圖像中完整籽粒、破碎籽粒、雜質(zhì)，完整籽粒的綜合評價指標(biāo)1為95.50 %，破碎籽粒的綜合評價指標(biāo)1為91.88 %，雜質(zhì)的綜合評價指標(biāo)1為94.34 %，平均交并比MIOU為86.83 %。田間試驗表明，本文檢測裝置的檢測結(jié)果與人工檢測結(jié)果的破碎率均值絕對誤差為0.18個百分點，含雜率均值絕對誤差為0.10個百分點，該方法能夠順利完成聯(lián)合收獲機(jī)作業(yè)時大豆籽粒破碎率和含雜率的在線檢測。

[1] 劉東，齊婉冬，馮燕，等. 大豆主要農(nóng)藝性狀的遺傳解析[J].大豆科學(xué)，2018，37(2)：165-172.

Liu Dong, Qi Wandong, Feng Yan, et al. Characterization of the genetic basis of main agronomic traits in soybean[J]. Soybean Science, 2018, 37(2): 165-172. (in Chinese with English abstract)

[2] 劉基，金誠謙，梁蘇寧，等. 大豆機(jī)械收獲損失的研究現(xiàn)狀[J]. 農(nóng)機(jī)化研究，2017，39(7)：1-9，15.

Liu Ji, Jin Chengqian, Liang Suning, et al. The research of soybean harvested by machine[J]. Journal of Agricultural Mechanization Research, 2017, 39(7): 1-9, 15. (in Chinese with English abstract)

[3] 喬金友，張曉丹，王奕嬌，等. 規(guī)?；蠖巩a(chǎn)區(qū)大豆聯(lián)合收獲機(jī)綜合評價與優(yōu)選[J]. 東北農(nóng)業(yè)大學(xué)學(xué)報報，2014，45(8)：124-128.

Qiao Jinyou, Zhang Xiaodan, Wang Yijiao, et al. Evaluation and selection on soybean combines in large-scale planting area[J]. Journal of Northeast Agricultural University, 2014, 45(8): 124-128. (in Chinese with English abstract)

[4] 梁蘇寧，沐森林，金誠謙，等. 黃淮海地區(qū)大豆生產(chǎn)機(jī)械化現(xiàn)狀與發(fā)展趨勢[J]. 農(nóng)機(jī)化研究，2015，37(1)：261-264，268.

Liang Suning, Mu Senlin, Jin Chengqian, et al. Actualities and developing trend of production mechanization of soybean in huanghuaihai region[J]. Journal of Agricultural Mechanization Research, 2015, 37(1): 261-264, 268. (in Chinese with English abstract)

[5] 金誠謙，郭飛揚(yáng)，徐金山，等. 大豆聯(lián)合收獲機(jī)作業(yè)參數(shù)優(yōu)化[J]. 農(nóng)業(yè)工程學(xué)報，2019，35(13)：10-22.

Jin Chengqian, Guo Feiyang, Xu Jinshan, et al. Optimization of working parameters of soybean combine harvester[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(13): 10-22. (in Chinese with English abstract)

[6] 李云紅，張秋銘，周小計，等. 基于形態(tài)學(xué)及區(qū)域合并的分水嶺圖像分割算法[J]. 計算機(jī)工程與應(yīng)用，2020，56(2)：190-195.

Li Yunhong, Zhang Qiuming, Zhou Xiaoji, et al. Watershed image segmentation algorithm based on morphology and region merging[J]. Computer Engineering and Applications, 2020, 56(2): 190-195. (in Chinese with English abstract)

[7] Bieniecki W. Oversegmentation avoidance in watershed-based algorithms for color images[C]// Las Vegas: Modern Problems of Radio Engineering, Telecommunications & Computer Science, International Conference. IEEE, 2004: 169-172.

[8] Li B, Xu D, Lang C. Moment invariants for color constant image description[J]. Chinese Journal of Electronics, 2010, 19(2): 283-287.

[9] Malik F, Baharudin B. Features analysis for content-based image retrieval based on color moments[J]. Research Journal of Applied Sciences, Engineering and Technology, 2012, 4(9): 1215-1224.

[10] 李秀昊，馬旭，李澤華，等. 基于特征融合和SVM的稻谷品種識別[J]. 中國農(nóng)機(jī)化學(xué)報，2019，40(7)：97-102.

Li Xiuhao, Ma Xu, Li Zehua, et al. Identification of rice variety based on multi-feature fusion and SVM[J]. Journal of Chinese Agricultural Mechanization, 2019, 40(7): 97-102. (in Chinese with English abstract)

[11] Wallays C, Missotten B, Baerdemaeker J D, et al. Hyperspectral waveband selection for on-line measurement of grain cleanness[J]. Biosystems Engineering, 2009, 104(1): 1-7.

[12] Mahirah J, Yamamoto K, Miyamoto M, et al. Double lighting machine vision system to monitor harvested paddy grain quality during head-feeding combine harvester operation[J]. Machines, 2015(3): 352-363.

[13] 張新偉，易克傳，劉向東，等. 玉米自動化考種過程的粘連籽粒圖像分割[J]. 中國農(nóng)業(yè)大學(xué)學(xué)報，2018，23(10)：144-151.

Zhang Xinwei, Yi Kechuan, Liu Xiangdong, et al. Image segmentation of adhesive corn seeds during automatic seed test[J]. Journal of China Agricultural University, 2018, 23(10): 144-151. (in Chinese with English abstract)

[14] 楊蜀秦，寧紀(jì)鋒，何東健. 基于Harris算子的籽粒尖端識別方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報，2011，42(3)：166-169.

Yang Shuqin, Ning Jifeng, He Dongjian, et al. Identification of tipcap of agricultural kernel based on Harris algorithm[J]. Transactions of the Chinese Society for Agricultural Machinery, 2011, 42(3): 166-169. (in Chinese with English abstract)

[15] 陳滿，倪有亮，金誠謙，等. 基于機(jī)器視覺的大豆機(jī)械化收獲質(zhì)量在線監(jiān)測方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報，2021，52(1)：91-98.

Chen Man, Ni Youliang, Jin Chengqian, et al. Online monitoring method of mechanized soybean harvest quality based on machine vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 52(1): 91-98. (in Chinese with English abstract)

[16] 柴玉華，孫瑋磷. 基于小波矩的大豆外觀品質(zhì)特征提取方法的研究[J]. 大豆科學(xué)，2016，35(4)：679-682.

Chai Yuhua, Sun Weilin. Study on the method of extracting the appearance quality of soybean based on wavelet moment[J]. Soybean Science, 2016, 35(4): 679-682. (in Chinese with English abstract)

[17] 陳璇. 聯(lián)合收獲機(jī)谷物破碎率_含雜率監(jiān)測方法及系統(tǒng)研究[D]. 鎮(zhèn)江：江蘇大學(xué)，2017.

Chen Xuan. Research on the Methods and Systems for Monitoring Grain’s Crushing Rate and Impurity Rate for Combine Harvester[D]. Zhenjiang: Jiangsu University, 2017. (in Chinese with English abstract)

[18] Momin M A, Yamamoto K, Miyamoto M, et al. Machine vision based soybean quality evaluation[J]. Computers and Electronics in Agriculture, 2017, 140(2): 452-460.

[19] 陳進(jìn)，顧琰，練毅，等. 基于機(jī)器視覺的水稻雜質(zhì)及破碎籽粒在線識別方法[J]. 農(nóng)業(yè)工程學(xué)報，2018，34(13)：187-194.

Chen Jin, Gu Yan, Lian Yi, et al. Online recognition method of impurities and broken paddy grains based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(13): 187-194. (in Chinese with English abstract)

[20] 韓夢娜. 基于U-Net網(wǎng)絡(luò)的聯(lián)合收獲機(jī)籽粒含雜率、破碎率監(jiān)測方法[D]. 鎮(zhèn)江：江蘇大學(xué)，2020.

Han Mengna. Monitoring Method for Grain Impurity Rate and Broken Rate of Combine Harvester Based on U-Net[D]. Zhenjiang: Jiangsu University, 2020. (in Chinese with English abstract)

[21] 陳進(jìn)，練毅，李耀明，等. 聯(lián)合收獲機(jī)糧箱內(nèi)稻谷含雜率傳感器采樣盒設(shè)計[J]. 農(nóng)業(yè)工程學(xué)報，2019，35(5)：18-25.

Chen Jin, Lian Yi, Li Yaoming, et al. Design of sampling device for rice grain impurity sensor in grain-bin of combine harvester[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(5): 18-25. (in English with Chinese abstract)

[22] 陳進(jìn)，韓夢娜，練毅，等. 基于 U-Net模型的含雜水稻籽粒圖像分割[J]. 農(nóng)業(yè)工程學(xué)報，2020，36(10)：174-180.

Chen Jin, Han Mengna, Lian Yi, et al. Segmentation of impurity rice grain images based on U-Net model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(10): 174-180. (in Chinese with English abstract)

[23] Long J, Shelhamer E, Darrell T, et al. Fully convolutional networks for semantic segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 39(4), 640 – 651.

[24] Ronneberger O, Fischer P, Brox T. U-Net: convolutional networks for biomedical image segmentation[C]// The 18th International Conference on Medical Image Computing and Computer Assisted Interventions, MICCAI, 2015: 1505.

[25] 殷寧波，黃冕，劉利軍，等. MS-UNet++：基于改進(jìn)UNet++的視網(wǎng)膜血管分割[J]. 光電子·激光，2021，32(1)：35-41.

Yin Ningbo, Huang Mian, Liu Lijun, et al. MS-UNet++: Retinal vessel segmentation method based on improved UNet++[J]. Journal of Optoelectronics Laser, 2021, 32(1): 35-41. (in Chinese with English abstract)

[26] 楊麗麗，陳炎，田偉澤，等. 田間道路改進(jìn)UNet分割方法[J]. 農(nóng)業(yè)工程學(xué)報，2021，37(9)：185-191.

Yang Lili, Chen Yan, Tian Weize, et al. Field road segmentation method based on improved UNet[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(9): 185-191. (in Chinese with English abstract)

[27] 王艷，沈曉宇，丁文勝，等. 基于PCNN和遺傳算法相結(jié)合的新型混凝土橋梁裂縫測方法[J]. 計算機(jī)應(yīng)用研究，2017，34(10)：3197-3200.

Wang Yan, Shen Xiaoyu, DingWensheng, et al. New crack detection method of concrete bridge based on PCNN and genetic algorithm[J]. Application Research of Computers, 2017, 34(10): 3197-3200. (in Chinese with English abstract)

[28] 趙靜，曹佃龍，蘭玉彬，等. 基于FCN的無人機(jī)玉米遙感圖像壟中心線提取[J]. 農(nóng)業(yè)工程學(xué)報，2021，37(9)：72-80.

Zhao Jing, Cao Dianlong, Lan Yubin, et al. Extraction of maize field ridge centerline based on FCN with UAV remote sensing images[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(9): 72-80. (in Chinese with English abstract)

[29] Odena A, Dumoulin V, Olah C. Deconvolution and Checkerboard Artifacts[J]. Distill, 2016, 1(10): 1-9.

[30] 孟慶寬，楊曉霞，張漫，等. 基于語義分割的非結(jié)構(gòu)化田間道路場景識別[J]. 農(nóng)業(yè)工程學(xué)報，2021，37(22)：152-160.

Meng Qingkuan, Yang Xiaoxia, Zhang Man, et al. Recognition of unstructured field road scene based on semantic segmentation model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(22): 152-160. (in Chinese with English abstract)

[31] 王璨，武新慧，張燕青，等. 基于雙注意力語義分割網(wǎng)絡(luò)的田間苗期玉米識別與分割[J]. 農(nóng)業(yè)工程學(xué)報，2021，37(9)：211-221.

Wang Can, Wu Xinhui, Zhang Yanqing, et al. Recognition and segmentation of maize seedlings in field based on dual attention semantic segmentation network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(9): 211-221. (in Chinese with English abstract)

Online quality detection of machine-harvested soybean based on improved U-Net network

Jin Chengqian1, Liu Shikun1,2, Chen Man1, Yang Tengxiang1, Xu Jinshan1

(1.,,,210014,;2.,,,230036,)

Soybean is one of the most important oil crops in the national grain and oil security system. Mechanized harvesting can be the top priority to improve the level of soybean production. Among them, the crushing rate and impurity rate of soybean seeds are the important performance indexes to evaluate the soybean combine harvesters. The real-time data of crushing rate and impurity rate can greatly contribute to realizing the intelligent control of soybean combine harvesters. However, the current manual detection of soybean cannot fully meet the requirement in the process of combined harvester operation. Particularly, the manual operation was only made after shutdown, due to the high misjudgment rate and low efficiency. This study aims to realize the online detection of soybean grain for the crushing rate and impurity rate during mechanical harvesting of soybean using an improved U-net network. Taking the real-time soybean image harvested by a soybean combine harvester as the object, the open source annotation software Labemel was used to annotate and construct the basic data set. The U-net network structure was combined with the VGG16 network, Batch Normalization (BN) before each Rectified Linear Unit (ReLu). The overfitting was avoided, due to the soybean image adhesion, stacking and complex semantic information. The convolution block attention module (CBAM) was added to the feature map extracted from the encoder, in order to suppress the activation of the irrelevant region for the less redundant part. The up-sampling of the nearest neighbor interpolation was used to replace the decoder with the transpose convolution, where the checkerboard effect was caused by the transpose convolution. A comparative test was carried out to evaluate the prediction of the improved U-Net network. The precision, recalland average cross-ratioMIOUwere used as the evaluation indexes of image segmentation, and the comprehensive evaluation index1was used as the evaluation value of accuracy and recall rate. The experimental results show that the improved U-Net network effectively identified and classified the complete soybean grain, broken grain, and impurities in the image. The comprehensive evaluation index values of complete, broken grain, and impurity segmentation were 95.50%, 91.88%, and 94.34%, respectively. The average intersection and MIOU were 86.83%. Correspondingly, the grain and impurity quality in the sample were determined by the impurity rate in the existing quality detection of soybean combine harvester. The crushing rate was also the ratio of broken and intact grain quality in the sample. A quantitative model was established for the broken rate and impurity rate using pixels, according to the existing measurement. Bench and field experiments were carried out using the online detection device for the soybean grain crushing rate and impurity rate. The bench test results show that the mean absolute errors were 0.13 and 0.25 percentage points for the fragmentation and impurity rate between the test and the manual, respectively. The field experiment showed that the mean absolute errors were 0.18 and 0.10 percentage points for the fragmentation and impurity rate between the test and the manual, respectively. Therefore, the proposed detection can be expected to accurately online estimate the crushing rate and impurity rate of mechanically harvested soybean. The finding can provide technical support for the online detection of the quality of soybean combined harvesting.

combine harvester; image segmentation; soybean; U-Net network; recognition and classification; broken rate; impurity rate

10.11975/j.issn.1002-6819.2022.16.008

S147.2

A

1002-6819(2022)-16-0070-11

金誠謙，劉士坤，陳滿，等. 采用改進(jìn)U-Net網(wǎng)絡(luò)的機(jī)收大豆質(zhì)量在線檢測[J]. 農(nóng)業(yè)工程學(xué)報，2022，38(16)：70-80.doi：10.11975/j.issn.1002-6819.2022.16.008 http://www.tcsae.org

Jin Chengqian, Liu Shikun, Chen Man, et al. Online quality detection of machine-harvested soybean based on improved U-Net network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(16): 70-80. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2022.16.008 http://www.tcsae.org

2022-04-07

2022-08-11

國家重點研發(fā)計劃項目（2021YFD2000503）；國家自然科學(xué)基金（32171911）；江蘇省自然科學(xué)基金（BK20221188）；現(xiàn)代農(nóng)業(yè)產(chǎn)業(yè)技術(shù)體系建設(shè)專項資金項目（CARS-04-PS26）

金誠謙，博士，研究員，博士生導(dǎo)師，研究方向為農(nóng)業(yè)機(jī)械智能化技術(shù)。Email：412114402@qq.com