聯(lián)合收獲機(jī)水稻破碎籽粒及雜質(zhì)在線識別方法*

陳進(jìn)，張帥，李耀明，朱林軍，夏慧，朱亞輝

(1. 江蘇大學(xué)機(jī)械工程學(xué)院，江蘇鎮(zhèn)江，212013； 2. 江蘇大學(xué)農(nóng)業(yè)工程學(xué)院，江蘇鎮(zhèn)江，212013；3. 江蘇沃得農(nóng)業(yè)機(jī)械股份有限公司，江蘇鎮(zhèn)江，212013)

0 引言

隨著我國農(nóng)業(yè)機(jī)械化程度的提升[1-2]，目前谷物大多采用收獲機(jī)進(jìn)行收獲。當(dāng)收獲機(jī)作業(yè)狀況異常或者參數(shù)設(shè)置不恰當(dāng)時(shí)，會導(dǎo)致收獲到的谷物的含雜率、破碎率升高。而收獲的谷物中雜質(zhì)和破碎籽粒的含量會直接影響到收獲的谷物的品質(zhì)，進(jìn)而影響谷物出售的價(jià)格；同時(shí)谷物中雜質(zhì)和破碎籽粒的含量也是衡量收獲機(jī)作業(yè)性能指標(biāo)的兩個(gè)重要參數(shù)。因此，對其的實(shí)時(shí)監(jiān)測不僅可以給機(jī)手提供有效的控制依據(jù)，提升收獲的谷物品質(zhì)，還可以提高收獲機(jī)的作業(yè)效率。然而，目前國產(chǎn)收獲機(jī)的智能化程度還不高[3-5]，聯(lián)合收獲機(jī)作業(yè)過程的控制主要依賴于機(jī)手的感覺和經(jīng)驗(yàn)，沒有可靠的控制依據(jù)。

國內(nèi)對聯(lián)合收獲機(jī)作業(yè)過程中谷物中雜質(zhì)以及破碎的檢測手段也進(jìn)行了探索，顧琰將采集的RGB水稻圖像轉(zhuǎn)為HSV圖像后進(jìn)行水稻識別算法的設(shè)計(jì)；練毅對水稻圖像的連通區(qū)域特征進(jìn)行研究并使用決策樹算法進(jìn)行訓(xùn)練，實(shí)現(xiàn)了收獲的水稻中不同成分的識別；韓夢娜等[6]采用電磁鐵帶動(dòng)擋板的結(jié)構(gòu)截取谷物，待谷物靜止后再采集谷物圖像，并利用U-net網(wǎng)絡(luò)模型對圖像進(jìn)行分割，該方式雖然可以在線識別出水稻圖像中的雜質(zhì)以及破碎，但是檢測的實(shí)時(shí)性略有不足，單幅圖像的采集處理周期較長，約5 s左右，無法很好的滿足實(shí)時(shí)檢測的需求。

為了提升檢測的實(shí)時(shí)性和精度，降低檢測時(shí)間，提出了基于圖像特征差異的水稻破碎雜質(zhì)實(shí)時(shí)識別方法，采用圖像采集裝置、嵌入式處理器[7]以及顯示器搭建圖像處理系統(tǒng)，對聯(lián)合收獲機(jī)輸糧攪龍出糧口流出的谷物進(jìn)行圖像采集，研究了完整籽粒、破碎籽粒與雜質(zhì)圖像中R、G、B三通道的分布差異以及面積差異，并根據(jù)差異進(jìn)行識別。

1 系統(tǒng)搭建

系統(tǒng)組成框圖如圖1所示，主要包括圖像采集裝置、嵌入式[8]圖像處理器，交互顯示屏以及CAN通訊模塊。其中，圖像采集裝置由谷物導(dǎo)流模塊以及圖像采集模塊組成。

圖1 系統(tǒng)框圖

嵌入式處理器以及顯示屏部署在駕駛室內(nèi)，圖像采集裝置安裝于輸糧攪龍出糧口的下方。圖像采集裝置包括谷物導(dǎo)流模塊以及圖像采集模塊，谷物導(dǎo)流模塊引導(dǎo)部分從出糧口流出的谷物流入，同時(shí)嵌入式處理器控制圖像采集模塊采集谷物導(dǎo)流模塊中流動(dòng)的谷物的圖像，并通過研究的谷物圖像識別算法對圖像進(jìn)行處理，然后將處理的數(shù)據(jù)以及圖像顯示在駕駛室內(nèi)的顯示屏上，同時(shí)將數(shù)據(jù)上傳至收獲機(jī)機(jī)載CAN總線上與其它控制單元通信。

圖2為圖像采集裝置的結(jié)構(gòu)示意圖，可以采集流動(dòng)中的谷物圖像。采集流動(dòng)過程中的谷物圖像可以極大的降低圖像中谷物的粘連與堆疊程度。谷物導(dǎo)流模塊主要包括谷物流動(dòng)通道以及谷物流道頂板。谷物導(dǎo)流模塊實(shí)則為一方形通道，用于引導(dǎo)部分?jǐn)圐埩鞒龅墓任镏凉任锪鞯纼?nèi)，其安裝于輸糧攪龍的出糧口斜下方，谷物從輸糧攪龍流出，其中部分谷物被谷物流動(dòng)通道所截取并流入，刮板用于阻擋過多谷物同時(shí)流入，可以引導(dǎo)谷物以薄薄一層的狀態(tài)流入，光源安裝在上側(cè)擋板的底部，上側(cè)擋板開一方槽為圖像傳感器提供視窗，圖像傳感器通過固定支架固定，并對在谷物流動(dòng)通道上流動(dòng)中的谷物不斷曝光采集圖像。

圖2 圖像采集裝置結(jié)構(gòu)示意圖

2 圖像采集與處理

2.1 圖像采集

由于在聯(lián)合收獲機(jī)收獲時(shí)，輸糧攪龍[9]出糧口處的谷物流動(dòng)速度都較快，若采用截取部分谷物使其靜止再采集圖像處理的方式反饋的結(jié)果有較大的滯后性。為了保證采集到的谷物的圖像和處理所得的結(jié)果的實(shí)時(shí)性，設(shè)計(jì)了一種采集流動(dòng)中谷物圖像的圖像采集方案，拍攝谷物收集裝置中流動(dòng)的谷物圖像可以減少谷物的堆疊和粘連程度，為后續(xù)的圖像處理降低難度。而要獲取流動(dòng)狀態(tài)下谷物清晰無拖影的圖像需要滿足如下條件：在曝光時(shí)間內(nèi)谷物流動(dòng)的距離小于相機(jī)的精度，即曝光時(shí)間t×谷物流動(dòng)速度v≤相機(jī)分辨率p。

本文利用彩色工業(yè)相機(jī)及其配套的SDK，編寫圖像采集程序，獲取清晰的圖片。驅(qū)動(dòng)相機(jī)曝光存圖程序的流程如圖3所示，首先初始化SDK工具包和工業(yè)相機(jī)，然后設(shè)定相關(guān)曝光參數(shù)。

圖3 圖像采集流程圖

相機(jī)觸發(fā)模式設(shè)置為軟觸發(fā)，即觸發(fā)信號由程序控制直接發(fā)出。谷物的運(yùn)動(dòng)速度v不超過100 mm/s，即0.1 mm/ms，相機(jī)的分辨率為200萬像素(1 600 p×1 200 p)，視野大小為60 mm×60 mm，所以相機(jī)的精度p=60/1 600=0.037 5 mm/像素，根據(jù)tv≤p，得到t≤0.375 ms，因此只要將相機(jī)的曝光時(shí)間設(shè)置在0.375 ms以內(nèi)就可以避免拖影，因此設(shè)定相機(jī)的曝光時(shí)間為0.1 ms。

由于相機(jī)的曝光時(shí)間設(shè)置較短，相機(jī)進(jìn)光量欠缺，導(dǎo)致采集的圖像過暗，如圖4(a)所示。圖像過暗因此還需設(shè)置相機(jī)另一參數(shù)即相機(jī)的曝光增益來增強(qiáng)光照，曝光增益可調(diào)節(jié)范圍為1～8倍，圖4(b)，圖4(c)以及圖4(d)分別為曝光增益為5倍、6倍、7倍時(shí)采集的圖像，當(dāng)曝光增益為5時(shí)，圖像過暗，當(dāng)曝光增益為7時(shí)，圖像局部產(chǎn)生過曝現(xiàn)象，當(dāng)曝光增益為6時(shí)，圖像亮度適中，圖像細(xì)節(jié)完整，因此相機(jī)的曝光增益設(shè)置為6倍最佳。曝光參數(shù)設(shè)置完成后相機(jī)收到觸發(fā)信號開始曝光并保存谷物圖片。

(c) 6倍增益效果圖

圖像采集工作于2020年11月使用上述的圖像采集裝置在丹陽水稻試驗(yàn)田完成，圖像采集裝置安裝方式如圖5所示，一共采集了200幅水稻的圖像。

圖5 圖像采集裝置安裝圖

2.2 水稻圖像特征研究

從谷物圖像中識別出破碎籽粒以及雜質(zhì)，因此需要對其圖像特征進(jìn)行研究，利用圖像特征的差異進(jìn)行識別。從田間采集的200幅圖像中隨機(jī)選取20張進(jìn)行研究，其中一張水稻原圖如圖6所示，圖像中包含了破碎籽粒、稻稈雜質(zhì)以及稻梗雜質(zhì)。

圖6 水稻原圖

本文采集的谷物圖像為RGB[10]彩色圖像，設(shè)每個(gè)像素RGB色彩空間三通道的值分別R，G，B。首先從20張圖片中截取出所有的完整籽粒、破損籽粒以及雜質(zhì)圖像，然后使用VS2013以及OpenCV3.1.0分別將完整籽粒、破損籽粒以及雜質(zhì)區(qū)域中各個(gè)像素的R，G，B值提取并存入CSV文件中。

提取三個(gè)通道數(shù)據(jù)后，通過直方圖分別統(tǒng)計(jì)完整籽粒、破損籽粒、稻稈雜質(zhì)以及稻梗雜質(zhì)的R，G，B值分布情況，如圖7～圖10所示。直方圖中橫坐標(biāo)為各通道的通道值，縱坐標(biāo)為像素個(gè)數(shù)。圖7為隨機(jī)選取的一顆完整籽粒的圖像以及三個(gè)通道的色階分布直方圖，該籽粒在圖像中的面積為10 038個(gè)像素。

(a) 完整籽粒

(a) 破碎籽粒

(a) 稻稈雜質(zhì)

(a) 稻梗雜質(zhì)

圖8為隨機(jī)選擇的一顆破損籽粒圖像及其三個(gè)通道色階分布直方圖，在圖像中的面積為5 728個(gè)像素。圖9為隨機(jī)選擇的一個(gè)稻稈雜質(zhì)圖像及其三個(gè)通道的色階分布直方圖，在圖像中的面積為77 592個(gè)像素。圖10為隨機(jī)選擇的一個(gè)稻梗雜質(zhì)圖像及其三個(gè)通道的色階分布直方圖，在圖像中的面積為2 903個(gè)像素。

對20張圖片中所有的完整籽粒、破碎籽粒、稻稈雜質(zhì)以及稻梗雜質(zhì)進(jìn)行統(tǒng)計(jì)發(fā)現(xiàn)，形狀上完整籽粒在圖像中的面積均在10 000個(gè)像素左右，破碎籽粒在圖像中的面積均在6 000個(gè)左右；顏色上完整籽粒、破碎籽粒、稻稈雜質(zhì)以及稻梗雜質(zhì)在G通道的G值分布情況相近，差異較小，不利于區(qū)分，因此主要研究R值與B值[11]的分布差異，對R值和B值統(tǒng)計(jì)之后的結(jié)果如圖11所示。

圖11 R值和B值范圍統(tǒng)計(jì)圖

完整籽粒R值主要分布于[75, 150]之間，B值主要分布于[40, 120]之間；破碎籽粒R值主要分布于[35, 65]，B值主要分布于[55, 120]；稻稈雜質(zhì)的R值主要分布于[55, 125]，B主要分布于[2, 43]；稻梗雜質(zhì)的R主要分布于[63, 79]，B主要分布于[47, 113]。從圖中觀察發(fā)現(xiàn)圖中完整籽粒、破碎籽粒、稻稈雜質(zhì)以及稻梗雜質(zhì)的R值與B值分布范圍重疊部分較小，破損籽粒、稻梗雜質(zhì)、稻稈雜質(zhì)、完整籽粒可以通過R值與B值的分布差異區(qū)分。

2.3 圖像處理

2.3.1 識別算法整體設(shè)計(jì)

谷物圖像識別的總體算法流程如圖12所示，主要思路為利用谷物中完整籽粒、破碎籽粒、稻稈雜質(zhì)以及稻梗雜質(zhì)圖像的R與B通道的分布差異進(jìn)行圖像粗提取，然后通過圖像二值化以及形態(tài)學(xué)操作進(jìn)行處理，精確提取破碎籽粒以及雜質(zhì)。

首先利用R和B的閾值粗提取出破碎籽粒和雜質(zhì)圖像，然后將粗提取的圖像轉(zhuǎn)為灰度圖像后對其二值化，分割出圖像中的前景以及背景。圖像二值化需要選擇一個(gè)合適的閾值，然而使用固定閾值作為圖像前景和背景分割閾值的適應(yīng)能力較差，同一個(gè)閾值無法滿足多幅圖像。因此使用動(dòng)態(tài)閾值法對圖像進(jìn)行二值化處理。最大類間方差法[12-14]又稱為大津法，可以動(dòng)態(tài)地確定最佳分割閾值，其主要思想找到一個(gè)閾值t使得兩類像素平均灰度的類間方差最大。因?yàn)榉讲羁梢院饬炕叶鹊姆植季鶆虺潭?，方差越大則說明圖中兩類像素的灰度差異越大，即前景以及背景被錯(cuò)分割的幾率越小。其具體過程為：對于灰度圖像P(x,y)，圖像大小為a×b，灰度分割閾值為t，灰度小于閾值t的像素點(diǎn)個(gè)數(shù)為p個(gè)，其平均灰度為m；灰度大于等于閾值t的像素點(diǎn)個(gè)數(shù)為q個(gè)，其平均灰度為n；整幅圖像的平均灰度為g，類間方差記為s，則有

p+q=a×b

(1)

(2)

(3)

t的取值范圍為0～255，將式(1)和式(2)代入式(3)求得s最大時(shí)的t為最佳分割閾值。

圖12 算法總體流程圖

圖像形態(tài)學(xué)處理可以對圖像的形狀特征進(jìn)行處理，例如可以將二值圖像局部區(qū)域放大縮小等操作，其基本思想為使用一個(gè)結(jié)構(gòu)元素與圖像進(jìn)行卷積運(yùn)算，結(jié)構(gòu)元素可以為任意形狀，常用的結(jié)構(gòu)元素有十字形和矩形。

圖像膨脹與圖像腐蝕為最基本的形態(tài)學(xué)操作，圖像膨脹就是求局部最大值的操作，實(shí)現(xiàn)方式為在圖像的左上角開一個(gè)與結(jié)構(gòu)元素相同大小的滑動(dòng)窗口，將結(jié)構(gòu)元素為1的位置所對應(yīng)的滑動(dòng)窗口中相應(yīng)像素的最大值賦給錨點(diǎn)；圖像腐蝕與圖像膨脹相反，為求局部最小值，將結(jié)構(gòu)元素中為1的位置所對應(yīng)的滑動(dòng)窗口中相應(yīng)像素中的最小值賦給錨點(diǎn)。

2.3.2 破碎籽粒識別

谷物原圖如圖13(a)所示，根據(jù)上述R值與B值的范圍統(tǒng)計(jì)結(jié)果，設(shè)定RGB谷物圖像的R通道的閾值范圍為R∈[35, 65]，B通道的閾值范圍為B∈[55, 120]，對圖像中的每一個(gè)像素的R與B值進(jìn)行判斷，若某個(gè)像素的R或者B不在閾值范圍內(nèi)，則令該像素的R，B，B值均為0，即可粗提取出破損籽粒的圖像，然后對粗提取后的圖像使用最大類間方差法二值化，如圖13(b)所示，由于破損籽粒中有少部分像素點(diǎn)的R與B的值不在閾值范圍內(nèi)，在圖中顯示為黑色的空洞，而非破損籽粒中也會有少部分像素點(diǎn)的R與B的值在設(shè)定閾值范圍內(nèi)，則在圖像中會有部分殘留像素。進(jìn)一步提取二值圖中所有的連通區(qū)域[15]，由于破碎籽粒在圖像中的面積約為6 000個(gè)像素，考慮到會有漏識別的像素，因此設(shè)定連通區(qū)域面積閾值為3 500，保留所有面積大于3 500個(gè)像素的連通區(qū)域，去除所有小于3 500的連通區(qū)域，如圖13(c)所示。最后使用5×5大小的十字形結(jié)構(gòu)元素對圖10(c)進(jìn)行三次膨脹操作后再進(jìn)行三次腐蝕操作，即可精確提取破碎籽粒的圖像，如圖13(d)所示。

(a) 谷物原圖

2.3.3 雜質(zhì)識別

稻稈與稻梗雜質(zhì)的識別方法與破損籽粒識別方法相同，識別谷物原圖13(a)中的稻稈雜質(zhì)，首先分別設(shè)定R和B通道的閾值范圍為R∈[55, 125]和B∈[2, 43]，稻稈雜質(zhì)粗提取后的圖像如圖14(a)所示，二值化之后的圖像如圖14(b)所示。然后提取二值圖像中所有的連通區(qū)域，由于稻稈雜質(zhì)的面積通常較大，因此設(shè)定連通區(qū)域面積的閾值為6 000個(gè)像素，剔除面積小于6 000個(gè)像素的連通區(qū)域后的圖像如圖14(c)所示，最后使用5×5的十字結(jié)構(gòu)元素對圖像進(jìn)行六次膨脹操作后再進(jìn)行六次腐蝕操作后填補(bǔ)圖像中的空洞，提取出的雜質(zhì)圖像如圖14(d)所示。

(a) 粗提取稻稈雜質(zhì)

設(shè)定稻梗雜質(zhì)的R和B通道的閾值范圍為R∈[63, 79]和B∈[47, 113]，稻梗雜質(zhì)粗提取后的圖像如圖15(a)所示，二值化后的圖像如圖15(b)所示，提取二值圖像中所有的連通區(qū)域，并且設(shè)定連通區(qū)域面積閾值，由于稻梗雜質(zhì)的面積較小，一般為2 000～3 000 個(gè)像素左右，因此剔除連通區(qū)域面積小于1 500個(gè)像素或者大于3 500個(gè)像素的連通區(qū)域，如圖15(c)所示；最后使用5×5的十字結(jié)構(gòu)元素對圖像進(jìn)行兩次膨脹操作后再進(jìn)行兩次腐蝕操作提取出稻梗雜質(zhì)，如圖15(d)所示。

(a) 粗提取稻梗雜質(zhì)

3 識別結(jié)果分析

3.1 識別功能驗(yàn)證

對田間采集的200幅圖像進(jìn)行識別，圖像識別程序運(yùn)行于嵌入式圖像處理器上，在程序中加入處理時(shí)間計(jì)算程序，單幅圖像的平均處理時(shí)間為1.86 s，滿足了實(shí)時(shí)識別的要求。圖16為從200幅圖像中隨機(jī)抽取的3幅圖像以及相對應(yīng)的處理結(jié)果。

從圖16中可以看出，水稻破碎籽粒以及雜質(zhì)的大部分區(qū)域均被正確識別，但是有一些誤識別的區(qū)域。圖16(a)中圓圈標(biāo)記處的破碎籽粒未被識別出，原因?yàn)樵擃w破碎籽粒面積過小，被設(shè)定的連通區(qū)域閾值剔除；圖16(a)中長方形標(biāo)記處為田間的枯草雜質(zhì)，未被識別出，原因?yàn)樗惴ㄔO(shè)計(jì)時(shí)未考慮這種偶發(fā)的情況；圖16(c)中圓圈標(biāo)記處的稻稈雜質(zhì)有分叉，而在圖16(d)中對應(yīng)的提取結(jié)果分叉消失，原因?yàn)樵谶M(jìn)行膨脹操作時(shí)將分叉裂隙縫合，后續(xù)的腐蝕操作無法再使其裂開。

(a) 原圖1

3.2 識別結(jié)果量化評價(jià)

使用精確率(precision)和召回率(recall)作為圖像識別的評價(jià)指標(biāo)，并以F1值[16]對精確率和召回率進(jìn)行評估。

1) 精確率[17]是預(yù)測正確的正樣本數(shù)占預(yù)測為正樣本總數(shù)的比值，其公式定義

(4)

2) 召回率[18]是預(yù)測正確的正樣本數(shù)占實(shí)際正樣本總量的比值，其公式定義

(5)

3)F1值[19]是precision和recall的綜合指標(biāo)，其公式定義

(6)

式中：TP——正確識別的像素個(gè)數(shù)；

FP——誤識別的像素個(gè)數(shù)；

FN——未識別到的像素個(gè)數(shù)。

對田間試驗(yàn)采集到的200幅圖像進(jìn)行統(tǒng)計(jì)，使用Photoshop手動(dòng)摳選每一幅圖像中的破碎籽粒、稻稈雜質(zhì)以及稻梗雜質(zhì)并統(tǒng)計(jì)各自的TP、FP、FN值，使用式(4)～式(6)計(jì)算量化評價(jià)結(jié)果，平均量化結(jié)果如表1所示。

表1 識別結(jié)果評估Tab. 1 Evaluation of identification results

對各成分識別的F1值均達(dá)到了90%以上，大部分都可以被正確識別出，但是仍然存在部分誤差，對于部分顏色特征極為相近的雜質(zhì)和完整籽?？赡軙a(chǎn)生誤識別，利用圖像中不同成分的R、G、B值的分布差異以及面積差異完成識別，為了進(jìn)一步提高識別精度，后續(xù)可以結(jié)合相關(guān)機(jī)器學(xué)習(xí)算法尋找最佳的R、G、B閾值以及面積閾值。

4 結(jié)論

1) 聯(lián)合收獲機(jī)在進(jìn)行水稻收獲時(shí)，水稻破碎和雜質(zhì)情況無法實(shí)時(shí)獲取。為了可以實(shí)時(shí)獲取收獲的水稻破碎以及雜質(zhì)含量，對聯(lián)合收獲機(jī)水稻破碎以及雜質(zhì)的在線識別方法進(jìn)行了研究。研究設(shè)計(jì)流動(dòng)水稻圖像采集裝置，裝置對從聯(lián)合收獲機(jī)輸糧攪龍流入糧箱內(nèi)的谷物隨機(jī)采樣并完成其圖像采集。研究水稻圖像的處理算法，通過水稻中完整籽粒、破碎籽粒、稻稈雜質(zhì)以及稻梗雜質(zhì)的圖像RGB分布差異以及面積差異設(shè)計(jì)水稻圖像識別算法。

2) 研究設(shè)計(jì)的流動(dòng)谷物圖像采集裝置圖像采集的速度較快，保證了檢測的實(shí)時(shí)性；同時(shí)該裝置也降低了所采集的圖像中水稻粘連以及堆疊的程度，便于后續(xù)的圖像處理。研究的基于RGB水稻圖像特征差異的處理算法能夠成功識別水稻中的破碎籽粒以及雜質(zhì)，平均單幅圖片的處理周期在1.86 s左右。對200幅圖像的識別結(jié)果進(jìn)行了像素級別的評估，破碎籽粒、稻稈雜質(zhì)以及稻梗雜質(zhì)的識別F1值分別為92.92%，90.65%，90.52%。

3) 研究的谷物圖像采集裝置及水稻破碎雜質(zhì)在線識別算法可以在線識別水稻中完整籽粒、破碎籽粒、稻稈稻梗等雜質(zhì)，為水稻聯(lián)合收獲機(jī)作業(yè)參數(shù)在線自動(dòng)調(diào)控提供技術(shù)支撐。