基于機(jī)器視覺的大豆機(jī)械化收獲質(zhì)量在線監(jiān)測(cè)方法

陳 滿 倪有亮 金誠(chéng)謙 徐金山 張光躍

(農(nóng)業(yè)農(nóng)村部南京農(nóng)業(yè)機(jī)械化研究所， 南京 210014)

0 引言

大豆是我國(guó)主要種植作物之一，在我國(guó)糧食作物中占有重要地位[1]。機(jī)械化生產(chǎn)是大豆規(guī)?；?、集約化種植的基礎(chǔ)，但收獲機(jī)械參數(shù)不適當(dāng)、無(wú)法進(jìn)行快速調(diào)整，則會(huì)導(dǎo)致雜質(zhì)和破碎籽粒等物質(zhì)的存在，最終影響糧倉(cāng)內(nèi)的谷物質(zhì)量[2-3]。脫粒滾筒轉(zhuǎn)速過(guò)高會(huì)使大豆表面出現(xiàn)裂紋，或被分成兩個(gè)或多個(gè)部分；而風(fēng)機(jī)轉(zhuǎn)速過(guò)低則無(wú)法將秸稈和豆莢分離出來(lái)，導(dǎo)致含雜過(guò)高[4]?，F(xiàn)階段，大豆聯(lián)合收獲機(jī)作業(yè)質(zhì)量的鑒定與檢測(cè)普遍停留在人工分離檢測(cè)上，其工作繁瑣、效率低[5]；在大豆機(jī)械化收獲過(guò)程中，駕駛員了解收獲質(zhì)量時(shí)需要停機(jī)，依靠肉眼進(jìn)行判斷，由于缺少實(shí)時(shí)破碎含雜率的數(shù)據(jù)支撐，因此不能及時(shí)發(fā)現(xiàn)收獲過(guò)程存在的問(wèn)題，導(dǎo)致收獲質(zhì)量參差不齊，影響經(jīng)濟(jì)效益。這種鑒定與檢測(cè)方式還將制約聯(lián)合收獲機(jī)參數(shù)自適應(yīng)調(diào)控技術(shù)發(fā)展，從而影響聯(lián)合收獲機(jī)智能化水平。

近年來(lái)，隨著機(jī)器視覺和人工智能技術(shù)的發(fā)展，國(guó)內(nèi)外研究者嘗試?yán)脠D像處理技術(shù)評(píng)估谷物的品質(zhì)，并開展了相關(guān)研究工作，如堆疊、粘連谷物圖像分割方法研究[6-8]、谷物圖像特征信息提取研究[9-11]和谷物成分識(shí)別模型研究[12-14]等。隨著基礎(chǔ)理論研究的深入，克拉斯公司推出了“谷物質(zhì)量相機(jī)”，實(shí)現(xiàn)了機(jī)械化作業(yè)過(guò)程中谷物作業(yè)質(zhì)量的實(shí)時(shí)監(jiān)測(cè)與預(yù)警[15]；CARMEN等[16-17]研制了自動(dòng)監(jiān)測(cè)小麥籽粒、雜質(zhì)的傳感器；MAHIRAH等[18-19]提出了雙燈源照明的谷物破碎率與含雜率監(jiān)測(cè)系統(tǒng)；MD ABDUL等[20]研究了基于機(jī)器視覺的大豆破碎籽粒、含雜識(shí)別的試驗(yàn)室檢測(cè)裝置和識(shí)別算法；陳進(jìn)等[21]提出了基于機(jī)器視覺的水稻雜質(zhì)與破碎籽粒分類識(shí)別方法，構(gòu)建了機(jī)載實(shí)時(shí)測(cè)量系統(tǒng)；楊亮等[22]提出了基于遺傳算法圖像增強(qiáng)、K-means聚類算法、形態(tài)特征的破碎玉米籽粒識(shí)別方法，并設(shè)計(jì)了玉米籽粒破碎率在線采樣裝置。但相關(guān)技術(shù)仍不成熟，有必要針對(duì)聯(lián)合收獲機(jī)收獲的復(fù)雜作業(yè)環(huán)境進(jìn)一步開展收獲質(zhì)量在線監(jiān)測(cè)技術(shù)的研究。

為實(shí)現(xiàn)大豆機(jī)械化收獲質(zhì)量的在線監(jiān)測(cè)，本文提出基于機(jī)器視覺的大豆機(jī)械化收獲質(zhì)量在線監(jiān)測(cè)方法，設(shè)計(jì)機(jī)械化收獲過(guò)程大豆圖像采集視覺系統(tǒng)，研究基于改進(jìn)分水嶺算法的大豆圖像分割算法，在RGB和HSV顏色空間域篩選對(duì)大豆各成分具有較好分離特性的顏色特征值，建立基于顏色特征值的大豆成分分類識(shí)別算法，制定量化評(píng)價(jià)模型，以期實(shí)現(xiàn)大豆機(jī)械化收獲作業(yè)質(zhì)量在線監(jiān)測(cè)與作業(yè)質(zhì)量性能評(píng)價(jià)。

1 材料與方法

1.1 圖像采集系統(tǒng)

大豆機(jī)械化收獲圖像采集系統(tǒng)主要由工控機(jī)(Xplore X SLATE B10型便攜式計(jì)算機(jī)，處理器為Intel 酷睿i5 5350U，顯卡為Intel HD Graphics 6000，系統(tǒng)內(nèi)存為8GB)、谷物采集裝置、STM32下位機(jī)、工業(yè)相機(jī)、LED光源、電動(dòng)機(jī)等部分組成，如圖1所示。

谷物采集裝置安裝于大豆聯(lián)合收獲機(jī)出糧口下方，采集落入谷物采樣槽中的大豆，工控機(jī)通過(guò)工業(yè)相機(jī)進(jìn)行一次大豆圖像采集并進(jìn)行圖像處理、識(shí)別和顯示，下位機(jī)則控制電動(dòng)機(jī)動(dòng)作，以獲取實(shí)時(shí)的大豆機(jī)械化收獲樣本，從而實(shí)現(xiàn)作業(yè)質(zhì)量在線監(jiān)測(cè)。

1.2 圖像采集與處理

1.2.1圖像采集

圖像采集工作于2018年10月9日在山東省梁山縣館驛鎮(zhèn)試驗(yàn)田完成，試驗(yàn)地種植大豆品種為鄭豆1307，機(jī)械化收獲時(shí)大豆籽粒平均含水率為12%，百粒質(zhì)量為22.52 g。采用本文所述的圖像采集系統(tǒng)在聯(lián)合收獲機(jī)作業(yè)過(guò)程中實(shí)時(shí)采集糧箱內(nèi)的大豆圖像，共100幅。圖像采集設(shè)備為邁德威視科技有限公司的彩色工業(yè)相機(jī)，型號(hào)1080P(V5610)_PCBA，搭配焦距為8 mm相機(jī)鏡頭。工業(yè)相機(jī)通過(guò)USB接口與工控機(jī)連接。在工控機(jī)上利用Matlab 2014a開發(fā)的大豆機(jī)械化收獲質(zhì)量在線監(jiān)測(cè)軟件(圖2)進(jìn)行圖像采集與處理，圖像分辨率為1 280像素×1 024像素，圖像格式為jpg。

圖3為大豆樣品中最常見組成成分：完整籽粒，即沒(méi)有機(jī)械損傷的大豆籽粒；破碎籽粒，即由于機(jī)械收獲造成表皮損傷籽粒和破裂籽粒；雜質(zhì)，即秸稈類雜質(zhì)(主要包括豆莢、植物莖稈、葉片等)和霉變大豆籽粒。本文主要實(shí)現(xiàn)以上3種成分的識(shí)別，并建立量化模型判斷大豆機(jī)械化收獲質(zhì)量。

1.2.2圖像識(shí)別流程

圖像系統(tǒng)采集的機(jī)械化收獲過(guò)程的大豆圖像存在大量籽粒雜質(zhì)堆疊、粘連現(xiàn)象，需要從復(fù)雜圖像中準(zhǔn)確識(shí)別出大豆樣本的各個(gè)組成成分。首先獲取原圖像的RGB和HSV顏色空間各個(gè)分量的值；對(duì)圖像進(jìn)行預(yù)處理，采用改進(jìn)分水嶺算法對(duì)圖像進(jìn)行分割，通過(guò)邊界跟蹤和閉合區(qū)域填充獲取二值圖；然后采用帶色彩恢復(fù)的多尺度視網(wǎng)膜增強(qiáng)算法(Multi-scale retinex with color restoration， MSRCR)對(duì)原始彩色圖像進(jìn)行補(bǔ)償和消除，減小噪聲干擾，應(yīng)用最大類間方差法(Otsu)獲得二值化圖；最后設(shè)置R、G、B、H、S閾值，遍歷閉合區(qū)域識(shí)別大豆圖像中的各個(gè)成分，得到各成分識(shí)別結(jié)果。圖像識(shí)別流程如圖4所示。

1.2.3顏色特征提取

圖像處理中常用的顏色特征是RGB和HSV，然而大豆樣本各個(gè)組成成分的R、G、B、H、S值存在較大的重疊部分，因此，需要對(duì)顏色特征中的顏色矩進(jìn)行分析統(tǒng)計(jì)以實(shí)現(xiàn)大豆樣本圖像的有效分類。顏色的分布信息主要集中在一階矩(Mean)、二階矩(Variance)和三階矩(Skewness)，其中一階矩描述平均顏色、二階矩描述顏色方差、三階矩描述顏色偏移性，顏色矩能夠全面呈現(xiàn)圖像的顏色分布特征。一階矩、二階矩和三階矩計(jì)算式為

(1)

(2)

(3)

式中i——顏色模型分量，i=1為R分量，i=2為G分量，i=3為B分量，i=4為H分量，i=5為S分量

Pij——彩色圖像第j個(gè)像素的第i個(gè)顏色分量

N——圖像中像素點(diǎn)個(gè)數(shù)

Mi1、Mi2、Mi3——一、二、三階矩計(jì)算值

從采集的100 幅大豆圖像中隨機(jī)抽取20 幅圖像作為樣本，人工選取樣本圖像中部分完整籽粒、破碎籽粒、雜質(zhì)的內(nèi)部區(qū)域進(jìn)行截取，對(duì)區(qū)域內(nèi)像素點(diǎn)R、G、B、H、S參數(shù)進(jìn)行統(tǒng)計(jì)，得到完整籽粒、破碎籽粒、雜質(zhì)各部分的顏色特征參數(shù)值分布范圍統(tǒng)計(jì)結(jié)果，如表1所示。

表1 R、G、B、H、S參數(shù)的區(qū)間范圍Tab.1 Interval range of each R, G, B, H and S parameter

1.2.4改進(jìn)分水嶺圖像分割算法

本文設(shè)計(jì)的圖像采集系統(tǒng)所采集的機(jī)械化收獲過(guò)程大豆圖像顏色特征參數(shù)為各成分的粗提取提供依據(jù)，但不能精確地分割各個(gè)部分，特別是堆疊、粘連部分。為此，利用基于形態(tài)學(xué)及區(qū)域合并的改進(jìn)分水嶺圖像分割算法，實(shí)現(xiàn)大豆圖像精確、有效分割。首先將原彩色圖像轉(zhuǎn)換為灰度圖像，對(duì)灰度圖像進(jìn)行形態(tài)學(xué)混合開閉操作去除細(xì)小噪聲，再用拉普拉斯銳化法強(qiáng)化輪廓[23-26]；然后以圖像區(qū)域的亮暗程度為前提標(biāo)記圖像目標(biāo)物和背景區(qū)域，并對(duì)修正后的梯度幅值圖像分水嶺分割；最后利用區(qū)域合并算法對(duì)分割圖像區(qū)域合并，將漏標(biāo)記區(qū)域合并到目標(biāo)物或背景區(qū)域中，直到?jīng)]有新的區(qū)域合并成功，圖像邊緣跟蹤分割完成。

1.2.5圖像識(shí)別結(jié)果量化評(píng)價(jià)

采用查準(zhǔn)率Pa、查全率Ra兩項(xiàng)指標(biāo)對(duì)各成分識(shí)別結(jié)果進(jìn)行量化評(píng)價(jià)。查準(zhǔn)率指檢測(cè)結(jié)果中的正確部分占整個(gè)檢測(cè)結(jié)果的百分比。查全率指檢測(cè)結(jié)果中的正確部分占實(shí)際整個(gè)正確部分的百分比[27]，計(jì)算公式為

Pa=TP/(TP+FP)×100%

(4)

Ra=TP/(TP+FN)×100%

(5)

式中TP——正確識(shí)別像素?cái)?shù)

FP——錯(cuò)誤識(shí)別像素?cái)?shù)

FN——漏識(shí)別像素?cái)?shù)

TP、FP、FN均采用人工標(biāo)注的方式得到。

1.2.6破碎含雜率量化模型

現(xiàn)有的大豆機(jī)械化作業(yè)質(zhì)量破碎含雜率鑒定大綱的檢測(cè)方法并不適合基于圖像識(shí)別的破碎含雜率測(cè)定。根據(jù)現(xiàn)有測(cè)定方法，制定了基于圖像識(shí)別的破碎含雜率量化模型，計(jì)算公式為

Pz=ρzTz/(ρzTz+ρwTw+ρsTs)×100%

(6)

Ps=ρsTs/(ρwTw+ρsTs)×100%

(7)

式中Pz——含雜率，%

Ps——破碎率，%

Tw——系統(tǒng)識(shí)別的完整籽粒像素?cái)?shù)

Ts——系統(tǒng)識(shí)別的破碎籽粒像素?cái)?shù)

Tz——系統(tǒng)識(shí)別的雜質(zhì)像素?cái)?shù)

ρw——圖像每1 000像素點(diǎn)的完整籽粒平均質(zhì)量

ρs——圖像每1 000像素點(diǎn)的破碎籽粒平均質(zhì)量

ρz——圖像每1 000像素點(diǎn)的雜質(zhì)平均質(zhì)量

ρw、ρs、ρz均采用人工標(biāo)注方式得到，試驗(yàn)測(cè)得ρw和ρs為8.6×10-4mg/像素、ρz為1.3×10-4mg/像素。

制定規(guī)則實(shí)時(shí)評(píng)定谷物聯(lián)合收獲機(jī)作業(yè)性能，當(dāng)大豆機(jī)械化收獲質(zhì)量破碎率和含雜率的檢測(cè)值均低于5%時(shí)，本文判定谷物聯(lián)合收獲機(jī)作業(yè)質(zhì)量合格，其他情況均為作業(yè)不合格。

1.2.7田間試驗(yàn)驗(yàn)證方法

試驗(yàn)地點(diǎn)為山東省臨沂市河?xùn)|區(qū)相公街道試驗(yàn)田地塊，試驗(yàn)時(shí)間為2019年10月20日，如圖5所示，試驗(yàn)用大豆品種為鄭豆1307，機(jī)械化收獲時(shí)大豆籽粒平均含水率為11.8%，百粒質(zhì)量為21.47 g。參照GB/T 5262—2008《農(nóng)業(yè)機(jī)械試驗(yàn)條件測(cè)定方法的一般規(guī)定》、NY/T 738—2003《大豆聯(lián)合收割機(jī)械作業(yè)質(zhì)量》、DG-T 184—2019《大豆聯(lián)合收割機(jī)》開展大豆機(jī)械化收獲田間試驗(yàn)，共進(jìn)行3個(gè)行程的圖像采集裝置檢測(cè)和人工檢測(cè)對(duì)比試驗(yàn)。

2 結(jié)果與討論

2.1 大豆樣本各成分識(shí)別

2.1.1基于改進(jìn)分水嶺算法的圖像分割

通過(guò)最大類間方差法、傳統(tǒng)分水嶺算法和改進(jìn)分水嶺算法對(duì)采集的大豆樣本圖像進(jìn)行分割，效果如圖6所示。發(fā)現(xiàn)傳統(tǒng)分水嶺算法雖對(duì)微弱的邊緣具有良好的響應(yīng)，但對(duì)圖像中噪聲、物體表面細(xì)微的灰度變化比較敏感，噪聲會(huì)惡化圖像梯度進(jìn)而造成分割結(jié)果輪廓偏移，通常分割結(jié)果會(huì)出現(xiàn)嚴(yán)重的“過(guò)分割”現(xiàn)象。

改進(jìn)分水嶺算法能夠有效抑制分水嶺的過(guò)分割，同時(shí)也能彌補(bǔ)傳統(tǒng)形態(tài)學(xué)標(biāo)記的漏標(biāo)記區(qū)域問(wèn)題，在分割效果上優(yōu)于最大類間方差法。在改進(jìn)分水嶺算法分割過(guò)程中，大豆完整籽粒和破碎籽?？梢杂行Х指瞰@取，在圖6d的基礎(chǔ)上設(shè)置顏色閾值，可以有效地識(shí)別以上成分；但雜質(zhì)由于顏色較深，會(huì)被標(biāo)記為背景，從而將其剔除，根據(jù)圖6d的分割結(jié)果進(jìn)行雜質(zhì)識(shí)別不合適，可以根據(jù)圖6b的分割結(jié)果，在剔除完整籽粒和破碎籽粒的基礎(chǔ)上，實(shí)現(xiàn)雜質(zhì)識(shí)別。

2.1.2完整籽粒識(shí)別

完整籽粒像素點(diǎn)R∈[115,186]，G∈[104,185]，B∈[90,180]，H∈[0,0.2]，S∈[0.027,0.24]，而由表1可知，完整籽粒M11∈[162.162 2,182.703 3]，M41∈[0.104,0.148]，M51∈[0.040 4,0.187 8] 這3個(gè)參數(shù)值明顯區(qū)別于破碎籽粒、雜質(zhì)成分，因此，本文以M11、M41、M51這3個(gè)參數(shù)區(qū)間設(shè)置完整籽粒顏色閾值，通過(guò)遍歷圖像的各個(gè)閉合區(qū)域，統(tǒng)計(jì)區(qū)域內(nèi)R、H、S分量的一階矩，進(jìn)行屬于完整籽粒區(qū)域的提取。圖7b是對(duì)圖7a的大豆原始圖像識(shí)別完整籽粒的結(jié)果，從識(shí)別結(jié)果來(lái)看，原圖中的大豆完整籽?；径寄鼙蛔R(shí)別出來(lái)，而且大豆的形態(tài)保存良好。不足之處在于存在部分籽粒被標(biāo)記為背景(圈內(nèi))被誤剔除。而完整籽粒的查準(zhǔn)率為87.26%，查全率為86.17%(表2)。

2.1.3破碎籽粒識(shí)別

破碎籽粒像素點(diǎn)R∈[61,181]，G∈[68,189]，B∈[73,188]，H∈[0.027 8,0.7]，S∈[0.011 6,0.444 4]，而由表1可知，破碎籽粒M22∈[0.072 1,0.755 0]，M41∈[0.145 2,0.402 8]，M51∈[0.055 6,0.320 9] 這3個(gè)參數(shù)值明顯區(qū)別于完整籽粒、雜質(zhì)成分，因此，本文以M22、M41、M51這3個(gè)參數(shù)區(qū)間設(shè)置破碎籽粒顏色閾值，通過(guò)遍歷圖像的各個(gè)閉合區(qū)域，統(tǒng)計(jì)區(qū)域內(nèi)G分量的二階矩和H、S分量的一階矩，進(jìn)行屬于破碎籽粒區(qū)域的提取。圖8b是對(duì)圖8a的大豆原始圖像識(shí)別破碎籽粒的結(jié)果，從識(shí)別結(jié)果來(lái)看，原圖中的正對(duì)鏡頭的大豆破碎籽?；径寄鼙蛔R(shí)別出來(lái)，而且大豆的形態(tài)保存良好。不足之處在于破碎面背對(duì)鏡頭的破碎籽粒被標(biāo)記為完整籽粒(圈內(nèi))被誤剔除。而破碎籽粒的查準(zhǔn)率為86.45%，查全率為79.42%(表2)。

2.1.4雜質(zhì)識(shí)別

雜質(zhì)像素點(diǎn)R∈[41，189]，G∈[52，195]，B∈[59，214]，H∈[0,0.818 2]，S∈[0,0.460 7]，而由表1可知，雜質(zhì)M11∈[69.130 2,154.762 7]，M41∈[0.429,0.623]，M51∈[0.129 7,0.303 1] 這3個(gè)參數(shù)值明顯區(qū)別于完整籽粒、破碎籽粒成分，因此，本文以M11、M41、M51這3個(gè)參數(shù)區(qū)間設(shè)置雜質(zhì)顏色閾值，通過(guò)遍歷圖像的各個(gè)閉合區(qū)域，統(tǒng)計(jì)區(qū)域內(nèi)R、H、S分量的一階矩，進(jìn)行屬于雜質(zhì)區(qū)域的提取。圖9b是對(duì)圖9a的大豆原始圖像識(shí)別雜質(zhì)的結(jié)果，從識(shí)別結(jié)果來(lái)看，原圖中的大豆大型莖稈雜質(zhì)基本都能被識(shí)別出來(lái)，而且莖稈的基本長(zhǎng)度、大小均保存良好。不足之處在于存在部分顏色較深的雜質(zhì)被標(biāo)記為背景(圈內(nèi))被誤剔除。而雜質(zhì)的查準(zhǔn)率為85.19%，查全率為83.69%(表2)。

2.2 大豆機(jī)械化作業(yè)質(zhì)量在線監(jiān)測(cè)田間測(cè)試結(jié)果

大豆機(jī)械化收獲作業(yè)質(zhì)量田間測(cè)試數(shù)據(jù)如圖10、11所示，試驗(yàn)過(guò)程中，采用本文設(shè)計(jì)的圖像采集裝置自動(dòng)檢測(cè)大豆機(jī)械化收獲質(zhì)量含雜率最大值5.23%，最小值0.34%，均值為2.72%；破碎率最大值5.04%，最小值1.85%，均值為3.06%。人工檢測(cè)大豆機(jī)械化收獲質(zhì)量的含雜率最大值4.62%，最小值2.64%，均值為3.69%；破碎率最大值4.44%，最小值2.98%，均值為3.37%。

大豆機(jī)械化收獲作業(yè)質(zhì)量田間收獲性能的判定結(jié)果如表3所示，相比于人工檢測(cè)，圖像自動(dòng)檢測(cè)得到的大豆機(jī)械化收獲作業(yè)含雜率和破碎率較小，僅第2行程中自動(dòng)檢測(cè)破碎率略高于人工檢測(cè)結(jié)果。根據(jù)作業(yè)性能判定規(guī)則，人工檢測(cè)和自動(dòng)檢測(cè)結(jié)果一致，3個(gè)作業(yè)行程大豆機(jī)械化收獲作業(yè)性能均符合作業(yè)要求。由此可見，本文設(shè)計(jì)的圖像采集系統(tǒng)能夠作為大豆機(jī)械化收獲質(zhì)量實(shí)時(shí)自動(dòng)檢測(cè)有效手段，為提高大豆機(jī)械化收獲效益提供數(shù)據(jù)支持。

表3 田間試驗(yàn)結(jié)果Tab.3 Field test results

3 結(jié)論

(1)基于機(jī)器視覺技術(shù)開發(fā)了大豆機(jī)械化收獲圖像采集系統(tǒng)，在便攜式計(jì)算機(jī)上利用Matlab2014a編寫了配套軟件，能夠?qū)崟r(shí)采集清晰的大豆圖像，對(duì)大豆樣本圖像各個(gè)成分進(jìn)行分割和識(shí)別，并計(jì)算出機(jī)械化收獲實(shí)時(shí)的破碎含雜率，為聯(lián)合收獲機(jī)作業(yè)性能評(píng)價(jià)和參數(shù)調(diào)節(jié)提供數(shù)據(jù)支持。

(2)采用改進(jìn)分水嶺算法對(duì)采集的大豆圖像進(jìn)行分割，遍歷圖像每個(gè)獨(dú)立的封閉區(qū)域，通過(guò)設(shè)置RGB和HSV顏色空間參數(shù)閾值，對(duì)封閉區(qū)域進(jìn)行歸類，識(shí)別出大豆樣本中的完整籽粒、破碎籽粒及雜質(zhì)。完整籽粒查準(zhǔn)率為87.26%、查全率為86.17%，破碎籽粒查準(zhǔn)率為86.45%、查全率為79.42%，雜質(zhì)查準(zhǔn)率為85.19%、查全率為83.69%。

(3)利用圖像采集與檢測(cè)系統(tǒng)對(duì)谷物聯(lián)合收獲機(jī)作業(yè)質(zhì)量性能評(píng)定結(jié)果與人工檢測(cè)一致，該系統(tǒng)可以作為谷物聯(lián)合收獲機(jī)作業(yè)性能評(píng)定的有效手段。