基于U-Net模型的含雜水稻籽粒圖像分割

陳 進(jìn)，韓夢(mèng)娜，練 毅，張 帥

基于U-Net模型的含雜水稻籽粒圖像分割

陳 進(jìn)，韓夢(mèng)娜，練 毅，張 帥

（江蘇大學(xué)機(jī)械工程學(xué)院，鎮(zhèn)江 212013）

含雜率是水稻聯(lián)合收獲機(jī)的重要收獲性能指標(biāo)之一，作業(yè)過(guò)程中收獲籽粒摻雜的雜質(zhì)包含作物的枝梗和莖稈等，為了探索籽粒含雜率和機(jī)器作業(yè)參數(shù)之間的關(guān)聯(lián)，需要實(shí)時(shí)獲取籽粒含雜率數(shù)據(jù)。該文基于機(jī)器視覺(jué)的U-Net模型對(duì)聯(lián)合收獲機(jī)水稻收獲籽粒圖像進(jìn)行分割，針對(duì)傳統(tǒng)分割算法中存在運(yùn)算量大、耗時(shí)多、圖像過(guò)分割嚴(yán)重和分割參數(shù)依賴人為經(jīng)驗(yàn)難以應(yīng)對(duì)各種復(fù)雜谷物圖像等問(wèn)題，采用深度學(xué)習(xí)模型多次訓(xùn)練學(xué)習(xí)各分割類別的像素級(jí)圖像特征，提出基于U-Net深度學(xué)習(xí)模型的收獲水稻籽粒圖像中谷物、枝梗和莖稈的分割方法，采用改進(jìn)的U-Net網(wǎng)絡(luò)增加網(wǎng)絡(luò)深度并加入Batch Normalization層，在小數(shù)據(jù)集上獲得更豐富的語(yǔ)義信息，解決圖像訓(xùn)練數(shù)據(jù)匱乏和訓(xùn)練過(guò)擬合問(wèn)題。選取田間試驗(yàn)采集的50張收獲水稻籽粒圖像，采用Labelme方式進(jìn)行標(biāo)注和增強(qiáng)數(shù)據(jù)，裁剪1 000張256像素×256像素小樣本，其中700張作為訓(xùn)練集，300張作為驗(yàn)證集，建立基于改進(jìn)U-Net網(wǎng)絡(luò)的收獲水稻籽粒圖像分割模型。采用綜合評(píng)價(jià)指標(biāo)衡量模型的分割準(zhǔn)確度，對(duì)隨機(jī)選取的60張8位RGB圖像進(jìn)行驗(yàn)證。試驗(yàn)結(jié)果證明，水稻籽粒的分割綜合評(píng)價(jià)指標(biāo)值為99.42%，枝梗的分割綜合評(píng)價(jià)指標(biāo)值為88.56%，莖稈的分割綜合評(píng)價(jià)指標(biāo)值為86.84%。本文提出的基于U-Net模型的收獲水稻籽粒圖像分割算法能夠有效分割水稻籽粒圖像中出現(xiàn)的谷物、枝梗和莖稈，時(shí)性更強(qiáng)、準(zhǔn)確度更高，可為后續(xù)收獲水稻籽粒圖像的進(jìn)一步識(shí)別處理提供技術(shù)支撐，為水稻聯(lián)合收獲機(jī)含雜率實(shí)時(shí)監(jiān)測(cè)系統(tǒng)設(shè)計(jì)提供算法參考。

圖像處理；水稻；雜質(zhì)；U-Net網(wǎng)絡(luò)模型

0 引 言

在水稻聯(lián)合收獲機(jī)實(shí)際工作過(guò)程中，機(jī)器作業(yè)參數(shù)的選取會(huì)直接影響收獲的水稻純度，具體地，當(dāng)風(fēng)機(jī)轉(zhuǎn)速過(guò)慢、分風(fēng)板角度不當(dāng)?shù)惹闆r下，收獲的水稻籽粒含有枝梗和莖稈等雜質(zhì)，會(huì)導(dǎo)致收獲品質(zhì)降低[1]，給農(nóng)民帶來(lái)直接的經(jīng)濟(jì)損失。在聯(lián)合收獲機(jī)工作過(guò)程中，實(shí)時(shí)監(jiān)測(cè)糧箱中收獲的雜質(zhì)含量，并傳送到駕駛室進(jìn)行顯示，有助于駕駛員及時(shí)調(diào)整機(jī)器的工作參數(shù)，從而提升聯(lián)合收獲機(jī)作業(yè)質(zhì)量，減少經(jīng)濟(jì)損失。國(guó)內(nèi)已有研究提出了采用機(jī)器視覺(jué)對(duì)圖像進(jìn)行分割，主要是基于室內(nèi)試驗(yàn)的理想狀態(tài)，水稻籽粒和雜質(zhì)都是分開(kāi)放置的，沒(méi)有重疊粘連的情況，不能反映田間作業(yè)的真實(shí)情況。陳璇[1]采用分水嶺算法和BP神經(jīng)網(wǎng)絡(luò)分割識(shí)別雜質(zhì)和破碎籽粒，分水嶺算法會(huì)導(dǎo)致圖像過(guò)分割嚴(yán)重，使用BP神經(jīng)網(wǎng)絡(luò)算法進(jìn)行圖像處理的運(yùn)算量較大，處理速度慢，難以滿足實(shí)時(shí)性的要求；陳進(jìn)等[2]采用MSRCR算法增強(qiáng)圖像，并通過(guò)顏色區(qū)分莖稈、枝梗和破碎籽粒，再通過(guò)形態(tài)學(xué)處理得到最終分割結(jié)果，遇到雜質(zhì)與籽粒顏色相近的情況，該方法易造成雜質(zhì)誤識(shí)別為籽粒，人為設(shè)置形態(tài)學(xué)參數(shù)泛化能力弱，易造成分類識(shí)別錯(cuò)誤。

近年來(lái)，深度學(xué)習(xí)被廣泛地應(yīng)用到各個(gè)領(lǐng)域，基于深度學(xué)習(xí)的分割算法在圖像處理領(lǐng)域取得了卓越的效果。其中，F(xiàn)CN（Fully Convolutional Networks）是一種用于語(yǔ)義分割的全卷積神經(jīng)網(wǎng)絡(luò)，由Long等[3]在2015提出，可以對(duì)任意大小的圖像進(jìn)行像素級(jí)分割，但FCN與圖像語(yǔ)義信息聯(lián)系不緊密，部分細(xì)節(jié)信息容易丟失。鑒于此，Ronneberger等[4]提出了適用于小訓(xùn)練集的網(wǎng)絡(luò)模型U-Net，使用全卷積網(wǎng)絡(luò)代替全連接層，可輸入任意尺寸的圖像，輸出也是圖像，實(shí)現(xiàn)了端到端的網(wǎng)絡(luò)結(jié)構(gòu)。U-Net呈“U”字型，左邊的收縮路徑輸入分辨率比較高的特征圖復(fù)制疊加到右邊的擴(kuò)展路徑對(duì)應(yīng)的采樣特征圖上，保留高分辨率與抽象特征的語(yǔ)義信息[5]，該網(wǎng)絡(luò)模型廣泛應(yīng)用于生物血管圖像[6-8]、肝臟圖像[9-10]、橋梁裂縫圖像[11-12]和地理信息圖像[13]等的分割，能夠?qū)D像細(xì)節(jié)分割出來(lái)，特別是對(duì)小數(shù)據(jù)集的處理表現(xiàn)出色，其效果優(yōu)于傳統(tǒng)分割方法[14-15]。

聯(lián)合收獲機(jī)作業(yè)時(shí)在線監(jiān)測(cè)含雜率有助于駕駛員及時(shí)調(diào)整聯(lián)合收獲機(jī)作業(yè)參數(shù)。獲取雜質(zhì)含量的傳統(tǒng)方法有收獲后停機(jī)，人手動(dòng)分離或通過(guò)篩分將谷物籽粒和雜質(zhì)分離，然后再算出含雜率，這些方法不能在聯(lián)合收獲機(jī)作業(yè)時(shí)獲取含雜率，駕駛員或聯(lián)合收獲機(jī)自動(dòng)控制系統(tǒng)無(wú)法及時(shí)調(diào)整作業(yè)參數(shù)。周期性實(shí)時(shí)采集收獲過(guò)程中的谷物圖像，通過(guò)圖像分割技術(shù)得到谷物圖像雜質(zhì)含量，再由質(zhì)量像素?cái)?shù)學(xué)模型得到含雜率。已有的圖像分割算法存在過(guò)分割嚴(yán)重、分割參數(shù)依賴人為經(jīng)驗(yàn)、需要圖像集大等問(wèn)題，本文采用深度學(xué)習(xí)模型多次訓(xùn)練學(xué)習(xí)各分割類別的像素級(jí)圖像特征，提出基于原始U-Net網(wǎng)絡(luò)增加深度, 在小數(shù)據(jù)集上獲得豐富的語(yǔ)義信息，并加入Batch Normalization層解決因網(wǎng)絡(luò)模型深度增加帶來(lái)的訓(xùn)練過(guò)擬合問(wèn)題，運(yùn)用模型訓(xùn)練得到的顏色和形態(tài)特征等語(yǔ)義信息進(jìn)行預(yù)測(cè)分割，提高谷物和雜質(zhì)的圖像分割準(zhǔn)確度，為駕駛員或聯(lián)合收獲機(jī)作業(yè)參數(shù)自動(dòng)控制系統(tǒng)提供調(diào)控依據(jù)。

1 圖像來(lái)源與分割

1.1 圖像采集系統(tǒng)

圖像采集系統(tǒng)主要包括密閉取像室、LED光源、工業(yè)相機(jī)、采樣盒、嵌入式處理器和顯示屏等，如圖1所示。

圖1 圖像采集系統(tǒng)組成及實(shí)物圖

采樣盒朝向工業(yè)相機(jī)鏡頭一側(cè)用透明亞克力板密封形成視窗，工業(yè)相機(jī)和LED光源封裝在采樣裝置內(nèi)。田間試驗(yàn)時(shí)，采樣裝置安裝在聯(lián)合收獲機(jī)出糧口下方（圖1c）。聯(lián)合收獲機(jī)正常作業(yè)時(shí)，谷物從出糧口高速噴出，在重力作用下落入采樣內(nèi)，擋板受電磁鐵推拉控制移動(dòng)，電磁鐵控制信號(hào)由嵌入式控制器給出，電磁鐵不通電時(shí)，擋板擋住采樣盒底部，谷物收集滿后，相機(jī)與谷物相對(duì)靜止，嵌入式控制器控制工業(yè)相機(jī)抓拍谷物靜止圖像，拍攝到的圖像由嵌入式處理器后臺(tái)進(jìn)行分割，處理結(jié)果通過(guò)CAN通訊傳輸?shù)今{駛室上位機(jī)并在顯示屏顯示。圖像處理結(jié)束后，嵌入式控制器給出電磁鐵通電信號(hào)，電磁鐵帶動(dòng)擋板從采樣盒下方移開(kāi)，谷物全部釋放，再進(jìn)行下一個(gè)采樣周期[17]。水稻聯(lián)合收獲機(jī)正常作業(yè)時(shí)喂入量一般不低于4 kg/s[16]，在每個(gè)采樣周期內(nèi)采樣盒可以被完全填滿，與聯(lián)合收獲機(jī)的作業(yè)速度無(wú)直接關(guān)聯(lián)[17]。選用的嵌入式處理器采用NVIDIA Pascal?構(gòu)架，配置Pytorch深度學(xué)習(xí)環(huán)境，部署訓(xùn)練好的深度學(xué)習(xí)模型在線處理，可在田間環(huán)境持續(xù)工作。

1.2 圖像來(lái)源

圖像采集自2018年10月江蘇省海門(mén)市三和鎮(zhèn)水稻試驗(yàn)田的收獲過(guò)程，將圖像采樣裝置安裝在雷沃十公斤機(jī)型聯(lián)合收獲機(jī)輸糧裝置的出糧口下方。工業(yè)彩色相機(jī)通過(guò)GigE接口與嵌入式控制器相連，嵌入式處理器Linux系統(tǒng)調(diào)用相機(jī)SDK動(dòng)態(tài)庫(kù)，得到RGB 8位數(shù)字圖像并處理，程序設(shè)定保存圖像格式為.png。采集到的圖像包含水稻籽粒、枝梗和莖稈，如圖2所示。

圖2 采集到的圖像及分割對(duì)象

從田間收獲試驗(yàn)采集的圖像中隨機(jī)選取50張，圖像格式為.png，原圖為1 600像素×1 200像素，直接分割耗時(shí)長(zhǎng)，因此重新調(diào)整圖像尺寸為800像素×600像素。先使用圖像標(biāo)記工具Labelme手工標(biāo)記水稻籽粒、枝梗和莖稈邊界，并對(duì)包括背景在內(nèi)的4類識(shí)別對(duì)象進(jìn)行標(biāo)記著色，得到手工標(biāo)記圖。水稻籽粒RGB值為[128,128,128]，枝梗RGB值為[0,128,0]，莖稈RGB值為[128,0,0]，背景RGB值為[0,0,0]。經(jīng)過(guò)圖像增強(qiáng)，將800像素×600像素的原始圖像和真實(shí)值隨機(jī)裁剪成256像素×256像素，共得到1 000張圖像，其中700張作為訓(xùn)練集，300張作為驗(yàn)證集。圖像增強(qiáng)可以提升網(wǎng)絡(luò)模型的魯棒性，數(shù)據(jù)增強(qiáng)方法包括數(shù)據(jù)旋轉(zhuǎn)、翻轉(zhuǎn)、隨機(jī)加噪聲、拉伸、濾波等[18-19]。原始圖像的手工標(biāo)記結(jié)果即真實(shí)值如圖3所示。

圖3 原始圖像的手工標(biāo)記結(jié)果

1.3 圖像分割

采集到的圖像中籽粒、枝梗和莖稈粘連嚴(yán)重，各種目標(biāo)堆疊在一起，語(yǔ)義信息復(fù)雜，需要獲得各分割對(duì)象更為細(xì)致的圖像特征。本文提出在原始U-Net網(wǎng)絡(luò)模型基礎(chǔ)上加深網(wǎng)絡(luò)深度，同時(shí)為避免深層網(wǎng)絡(luò)結(jié)構(gòu)帶來(lái)的訓(xùn)練過(guò)擬合問(wèn)題，引入Batch Normalization層。將田間試驗(yàn)獲得的收獲水稻籽粒圖像按籽粒、枝梗、莖稈和背景手工標(biāo)記得到訓(xùn)練數(shù)據(jù)集。經(jīng)過(guò)訓(xùn)練得到預(yù)測(cè)模型，并調(diào)用模型預(yù)測(cè)分割用于測(cè)試的圖像。圖像分割流程如圖4所示。

圖4 圖像分割流程圖

2 構(gòu)建U-Net網(wǎng)絡(luò)模型

在嵌入式系統(tǒng)平臺(tái)使用Pytorch深度學(xué)習(xí)框架進(jìn)行模型構(gòu)建、訓(xùn)練和測(cè)試。 Ronnebergerd等[4]提出的原始U-Net 網(wǎng)絡(luò)模型由收縮路徑和擴(kuò)展路徑組成，收縮路徑包括卷積操作和池化操作，擴(kuò)展路徑包括反卷積和卷積操作[20]，包括19次卷積操作，4次最大池化操作，4次反卷積操作，4次復(fù)制疊加，原始網(wǎng)絡(luò)輸入572像素×572像素圖像，輸出圖像為388像素×388像素。

本文改進(jìn)網(wǎng)絡(luò)以獲取深層的圖像信息，改進(jìn)的U-Net網(wǎng)絡(luò)包括3×3卷積核的卷積操作（conv）19次，2×2池化核的最大池化操作（maxpooling）4次，反卷積（up-conv）4次。因?yàn)榇A(yù)測(cè)的枝梗外形纖細(xì)，需要增加模型深度以提取更豐富的語(yǔ)義信息，所以每次反卷積操作之后引入2×2卷積核，該操作保證擴(kuò)展路徑與收縮路徑獲得相同大小的特征圖，方便之后的復(fù)制疊加操作（copy and crop），訓(xùn)練過(guò)程中，輸入圖像為256像素×256像素，與輸出圖像尺寸相同。改進(jìn)U-Net網(wǎng)絡(luò)如圖5所示。

圖5 改進(jìn)的U-Net網(wǎng)絡(luò)結(jié)構(gòu)

改進(jìn)U-Net網(wǎng)絡(luò)模型深度增加，整個(gè)網(wǎng)絡(luò)在訓(xùn)練過(guò)程中激活輸入值分布易向內(nèi)協(xié)變量偏移，導(dǎo)致訓(xùn)練過(guò)程中梯度消失，收斂速度降低。為解決該問(wèn)題，本文在每次卷積操作后引入批歸一化操作[21]，實(shí)現(xiàn)輸入數(shù)據(jù)均值為0、方差為1的標(biāo)準(zhǔn)正態(tài)分布，以加快網(wǎng)絡(luò)收斂速度，提高網(wǎng)絡(luò)泛化能力。

本文在隱層神經(jīng)元采用ReLU函數(shù)作為激活函數(shù)，節(jié)省反向傳播求誤差梯度的計(jì)算量，其函數(shù)表達(dá)式為

輸出層多分類采用Softmax作為激活函數(shù)，將含任意實(shí)數(shù)的維向量“壓縮”到另一個(gè)維實(shí)向量()，使得每一個(gè)元素都映射到（0,1）區(qū)間，其函數(shù)表達(dá)式為

式中()表示維實(shí)向量()，=1,,；z表示含任意實(shí)數(shù)的維向量，=1,,。

采用交叉熵函數(shù)作為多分類損失函數(shù)（Crossentropy Loss），其數(shù)學(xué)表達(dá)式如下：

式中表示總樣本個(gè)數(shù)；y表示第個(gè)樣本預(yù)測(cè)是否為第個(gè)標(biāo)簽，若是記y，否則為0；p表示第個(gè)樣本預(yù)測(cè)為第個(gè)標(biāo)簽的概率。

采用自適應(yīng)時(shí)刻估計(jì)方法（Adaptive Moment Estimation）計(jì)算每個(gè)參數(shù)的自適應(yīng)學(xué)習(xí)率，加快收斂速度，其數(shù)學(xué)表達(dá)式如下：

3 模型訓(xùn)練與預(yù)測(cè)

在微型計(jì)算機(jī)系統(tǒng)上安裝Ubuntu 16.0系統(tǒng)、Python3.6編譯環(huán)境、CUDA架構(gòu)、cuDNN開(kāi)發(fā)庫(kù)，使用深度學(xué)習(xí)框架Pytorch，在該深度學(xué)習(xí)環(huán)境下進(jìn)行模型構(gòu)建、訓(xùn)練和預(yù)測(cè)，并將訓(xùn)練好的深度學(xué)習(xí)模型移植到嵌入式處理器，調(diào)用訓(xùn)練好的.pth模型進(jìn)行實(shí)時(shí)圖像分割。設(shè)置初始學(xué)習(xí)率為0.000 1，迭代次數(shù)100次。模型訓(xùn)練耗時(shí)6.41 h。在訓(xùn)練集上的準(zhǔn)確度為0.886 4，訓(xùn)練損失為0.324 3，在驗(yàn)證集上的準(zhǔn)確度為0.866 9，訓(xùn)練損失和準(zhǔn)確度曲線圖如圖6所示。如圖7所示，對(duì)256像素×256像素圖像的預(yù)測(cè)結(jié)果與對(duì)應(yīng)的真實(shí)值圖像基本吻合。說(shuō)明采用U-Net網(wǎng)絡(luò)模型對(duì)水稻籽粒、莖稈和枝梗圖像分割是可行的。

圖6 訓(xùn)練損失和準(zhǔn)確度曲線

圖7 預(yù)測(cè)結(jié)果

4 模型后處理

采用滑動(dòng)窗進(jìn)行預(yù)測(cè)圖像[22-24]，滑動(dòng)窗預(yù)測(cè)原理如圖8所示。

圖8 滑動(dòng)窗預(yù)測(cè)原理

圖8中輸入圖像為4像素×4像素，padding填充大小為1×1，滑動(dòng)窗口大小3×3，stride步長(zhǎng)為3，滑動(dòng)窗口在填充后的輸入圖從左到右、從上到下按步長(zhǎng)依次滑動(dòng)，每次截取與滑動(dòng)窗大小相同的圖像，得到4個(gè)截取部分，輸入到U-Net網(wǎng)絡(luò)模型得到預(yù)測(cè)圖像，按填充后輸入的像素坐標(biāo)位置拼接回去，再將預(yù)測(cè)部分中原來(lái)填充部分去掉，得到輸入圖像的預(yù)測(cè)結(jié)果。

輸入圖像按照800×600矩陣形式排列，padding填充大小為84×112，滑動(dòng)窗口大小256×256，stride步長(zhǎng)256，每張800×600像素圖像得到12個(gè)截取部分，分2個(gè)batch輸入到U-Net預(yù)測(cè)，拼接去掉padding填充部分，得到完整預(yù)測(cè)拼接圖。圖9為滑動(dòng)窗預(yù)測(cè)圖像結(jié)果，可以看出預(yù)測(cè)拼接的圖像沒(méi)有產(chǎn)生接縫、錯(cuò)位。預(yù)測(cè)輸出圖像與手工標(biāo)記的真實(shí)值圖像（圖3）著色一致，水稻籽粒的RGB值為[128,128,128]，枝梗的RGB值為[0,128,0]，莖稈的RGB值為[128,0,0]，背景的RGB值為[0,0,0]。

圖9滑動(dòng)窗預(yù)測(cè)結(jié)果

5 結(jié)果與分析

本文使用準(zhǔn)確率（precision），召回率（recall）作為圖像分割結(jié)果的評(píng)價(jià)指標(biāo)，并以綜合評(píng)價(jià)指標(biāo)（1）作為準(zhǔn)確率和召回率的評(píng)估值。

式中TP為正確分割的像素?cái)?shù)，F(xiàn)P為誤分割的像素?cái)?shù)，F(xiàn)N為漏分割的像素?cái)?shù)。

從收獲試驗(yàn)采集到的實(shí)時(shí)水稻圖像中另取60張8位RGB數(shù)字圖像，用原始U-Net模型和改進(jìn)U-Net模型分別進(jìn)行分割，將訓(xùn)練好的深度學(xué)習(xí)模型和程序在嵌入式處理器上運(yùn)行。分別統(tǒng)計(jì)出分割結(jié)果中水稻籽粒、枝梗、莖稈連通域的正確分割、誤分割、漏分割的像素值，計(jì)算出準(zhǔn)確率和召回率，最后統(tǒng)計(jì)得到1值，如表1所示。

由表1可知，本文方法的水稻籽粒分割1值為99.42%，水稻籽?；径伎梢哉_地分割出來(lái)，被誤分割成莖稈或枝梗的情況較少，且邊界能較好地保留；枝梗的1值為88.56%，大部分枝梗得到有效分割，能夠?qū)⒓?xì)小的枝梗分割出來(lái)；莖稈的1值為86.84%，莖稈外形呈直條狀，與其他目標(biāo)區(qū)別明顯，分割結(jié)果比較理想。與原始U-Net模型相比，改進(jìn)后的U-Net模型對(duì)水稻籽粒分割的1值提升3.53個(gè)百分點(diǎn)，枝梗的1值提升15.22個(gè)百分點(diǎn)，莖稈的1值提升31.82個(gè)百分點(diǎn)。分割效果如圖10所示。

表1 U-Net模型改進(jìn)前后的分割結(jié)果對(duì)比

圖10 分割結(jié)果

由圖10可知，對(duì)于圖像1，改進(jìn)U-Net模型能夠正確地將枝梗分割出來(lái)，而原始U-Net模型誤分割成莖稈；對(duì)于圖像2，改進(jìn)U-Net能夠?qū)⒅Ｕ_地分割出來(lái)，分割形狀與原圖契合，而原始U-Net模型存在誤分割，且莖稈欠分割嚴(yán)重。對(duì)于圖像3，改進(jìn)U-Net模型將枝梗誤分割為籽粒，這是由于該枝梗較為纖細(xì)且周?chē)淖蚜Ｕ尺B嚴(yán)重，2種分割目標(biāo)的邊界不清晰；對(duì)于圖像4稈，改進(jìn)U-Net模型沒(méi)有將其完整識(shí)別出來(lái)，這主要是因?yàn)樵撉o稈在圖像邊緣與周?chē)乃咀蚜Ｖ丿B，莖稈與籽粒顏色區(qū)分不明顯。

對(duì)田間試驗(yàn)采集的60幅圖像分別使用已有的2種算法進(jìn)行處理，計(jì)算準(zhǔn)確率和召回率，得到1值，并記錄各算法的平均處理時(shí)間，結(jié)果如表2所示。文獻(xiàn)[1]采用分水嶺算法和BP神經(jīng)網(wǎng)絡(luò)識(shí)別雜質(zhì)與谷物，每張圖像處理耗時(shí)10 s左右，難以滿足實(shí)時(shí)作業(yè)要求，算法過(guò)分割嚴(yán)重。文獻(xiàn)[2]采用MSRCR算法，結(jié)合HSV顏色模型和形狀特征對(duì)雜質(zhì)與谷物分割識(shí)別，對(duì)顏色相近的谷物與莖稈易造成誤識(shí)別。

表2 4種算法分割性能對(duì)比

由表2可知，與文獻(xiàn)[2]相比，本文的改進(jìn)U-Net模型處理時(shí)間提升不明顯，這主要是因?yàn)榉指钸^(guò)程中運(yùn)用模型后處理滑動(dòng)窗口預(yù)測(cè)機(jī)制，滑動(dòng)產(chǎn)生一定的耗時(shí)，改進(jìn)U-Net模型與原始U-Net模型在實(shí)時(shí)處理時(shí)間上相差不大，總體耗時(shí)前者大于后者，這是由于網(wǎng)絡(luò)層數(shù)加深，處理語(yǔ)義信息存在一定耗時(shí)。一次谷物采樣和棄樣耗時(shí)5 s，本文算法處理時(shí)間4.62 s，能夠滿足田間作業(yè)實(shí)時(shí)處理的要求。本文算法利用訓(xùn)練得到各對(duì)象語(yǔ)義信息實(shí)現(xiàn)預(yù)測(cè)分割，減少人為設(shè)置形態(tài)學(xué)參數(shù)造成的分割誤差，誤分割、過(guò)分割情況減少，分割準(zhǔn)確度整體優(yōu)于已有算法。

6 結(jié) 論

1）本文提出一種分割收獲水稻圖像的算法，改進(jìn)了U-Net網(wǎng)絡(luò)模型，訓(xùn)練手工數(shù)據(jù)集并調(diào)用訓(xùn)練好.pth格式的模型預(yù)測(cè)分割出水稻籽粒、莖稈和枝梗。

2）針對(duì)收獲水稻圖像中含有水稻籽粒、莖稈和枝梗多個(gè)分割目標(biāo)、各目標(biāo)粘連覆蓋現(xiàn)象嚴(yán)重，提出在原始U-Net網(wǎng)絡(luò)基礎(chǔ)上加深網(wǎng)絡(luò)，以獲取更豐富的語(yǔ)義信息；為避免網(wǎng)絡(luò)的加深導(dǎo)致訓(xùn)練過(guò)程中，收斂速度降低，引入批歸一化操作，改進(jìn)后的網(wǎng)絡(luò)模型預(yù)測(cè)出的效果明顯優(yōu)于原始網(wǎng)絡(luò)模型，證實(shí)改進(jìn)后的U-Net網(wǎng)絡(luò)模型魯棒性更好；部分雜質(zhì)的形態(tài)顏色與籽粒接近，使用單一的顏色特征分割籽粒和雜質(zhì)，極易將雜質(zhì)誤分割成籽粒，因此通過(guò)圖像增強(qiáng)模擬待分割目標(biāo)的復(fù)雜狀態(tài)。

3）從收獲試驗(yàn)采集到的圖像中另外選取60張8位RGB水稻圖像作為測(cè)試樣本，采用綜合評(píng)價(jià)指標(biāo)衡量分割準(zhǔn)確度評(píng)估預(yù)測(cè)分割效果，統(tǒng)計(jì)測(cè)試結(jié)果顯示，水稻籽粒分割的綜合評(píng)價(jià)指標(biāo)值為99.42%，枝梗分割的評(píng)估為88.56%，莖稈為86.84%，與已有方法相比分割準(zhǔn)確度有所提升。

本文提出的基于U-Net模型的含雜水稻籽粒圖像分割算法能夠分割圖像中的水稻籽粒、枝梗和莖稈，提升了分割準(zhǔn)確度，為后續(xù)含雜率的計(jì)算奠定基礎(chǔ)。含雜率數(shù)據(jù)能反應(yīng)當(dāng)前聯(lián)合收獲機(jī)工作參數(shù)選取是否合適，利于提升機(jī)器的作業(yè)質(zhì)量。在接下來(lái)的研究中，可將U-Net分割算法與SVM分類機(jī)制結(jié)合，進(jìn)一步提高收獲水稻圖像的分類準(zhǔn)確度。

[1]陳璇. 聯(lián)合收獲機(jī)谷物破碎率、含雜率監(jiān)測(cè)方法及系統(tǒng)研究[D]. 鎮(zhèn)江：江蘇大學(xué)，2017.

Chen Xuan. Research on the Methods and Systems for Monitoring Grain’s Crushing Rate and Impurity Rate for Combine Harvester[D]. Zhenjiang: Jiangsu University, 2017. (in Chinese with English abstract)

[2]陳進(jìn)，顧琰，練毅，等. 基于機(jī)器視覺(jué)的水稻雜質(zhì)及破碎籽粒在線識(shí)別方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34(13)：187-194.

Chen Jin, Gu Yan, Lian Yi, et al. Online recognition method of impurities and broken paddy grains based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(13): 187-194. (in Chinese with English abstract)

[3]Long J, Shelhamer E, Darrell T. Fully convolutional networks for semantic segmentation[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2015: 3431-3440.

[4]Ronneberger Olaf, Fischer Philipp, Brox Thomas. U-Net: Convolutional networks for biomedical image Segmentation[J]. Medical Image Computing and Computer- Assisted Intervention-MICCAI 2015, 2015, 9531: 234-241.

[5]亢潔，丁菊敏，萬(wàn)永，等. 基于分水嶺修正與U-Net的肝臟圖像分割算法[J]. 計(jì)算機(jī)工程，2020，46(1)：255-261，270.

Kang Jie, Ding Jumin, Wan Yong, et al. Liver image segmentation algorithm based on watershed correction and U-Net[J]. Computer Engineering, 2020, 46(1): 255-261, 270. (in Chinese with English abstract)

[6]雷軍明，王成鋼，劉雪燕. 基于改進(jìn)U-Net的視網(wǎng)膜血管圖像分割[J]. 信息技術(shù)與信息化，2019(10)：168-169.

[7]孟笛. 改進(jìn)的U-net網(wǎng)絡(luò)在冠狀動(dòng)脈血管分割中的應(yīng)用[D]. 長(zhǎng)春：吉林大學(xué)，2019.

Meng Di. Application of Improved U-Net Network in Coronary Artery Segmentation[D]. Changchun: Jilin University, 2019. (in Chinese with English abstract)

[8]周葉萍. 基于編碼器—解碼器結(jié)構(gòu)的眼底圖像中視網(wǎng)膜血管分割的方法研究[D]. 廣州：華南理工大學(xué), 2019.

Zhou Yeping. Retinal Vessel Segmentation in Fundus images using a Convolutional Enconder-Decoder Architecture. Guangzhou: South China University of Technology, 2019.

[9]張凱文. 基于U-Net的肝臟CT圖像分割研究[D]. 廣州：華南理工大學(xué)，2019.

Zhang Kaiwen. Liver Segmentation from CT Images Based on U-Net[D]. Guangzhou: South China University of Technology, 2019. (in Chinese with English abstract)

[10]劉哲，張曉林，宋余慶，等. 結(jié)合改進(jìn)的U-Net和Morphsnakes的肝臟分割[J]. 中國(guó)圖象圖形學(xué)報(bào)，2018，23(8)：1254-1262.

Liu Zhe, Zhang Xiaolin, Song Yuqing, et al. Liver segmentation with improved U-Net and Morphsnakes algorithm[J]. Journal of Image and Graphics, 2018, 23(8): 1254-1262. (in Chinese with English abstract)

[11]朱蘇雅，杜建超，李云松，等. 采用U-Net卷積網(wǎng)絡(luò)的橋梁裂縫檢測(cè)方法[J]. 西安電子科技大學(xué)學(xué)報(bào)，2019，46(4)：35-42.

Zhu Suya, Du Jianchao, Li Yunsong, et al. Method for bridge crack detection based on the U-Net convolutional networks[J]. Journal of Xidian University, 2019, 46(4): 35-42. (in Chinese with English abstract)

[12]高衛(wèi)賓. 基于改進(jìn)U-net網(wǎng)絡(luò)的橋梁裂縫檢測(cè)方法[D]. 西安：西安電子科技大學(xué)，2019.

Gao Weibin. Bridge Crack Detection Method Based on Improved U-Net Network[D]. Xi’an: Xidian University, 2019. (in Chinese with English abstract)

[13]任欣磊，王陽(yáng)萍，楊景玉，等. 基于改進(jìn)U-net的遙感影像建筑物提取[J]. 激光與光電子學(xué)進(jìn)展，2019，56(22)：195-202.

Ren Xinlei, Wang Yangping, Yang Jingyu, et al. Building detection from remote sensing images based on improved U-Net[J]. Laser & Optoelectronics Progress, 2019, 56(22): 195-202. (in Chinese with English abstract)

[14]王海鷗，劉慧，郭強(qiáng)，等. 面向醫(yī)學(xué)圖像分割的超像素U-Net網(wǎng)絡(luò)設(shè)計(jì)[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2019，31(6)：1007-1017.

Wang Haiou, Liu Hui, Guo Qiang, et al. Design of superpiexl U-Net network for medical image segmentation[J]. Journal of Computer-Aided Design & Computer Graphics, 2019, 31(6): 1007-1017. (in Chinese with English abstract)

[15]吳則舉, 王嘉琦, 焦翠娟, 等. 基于深度學(xué)習(xí)網(wǎng)絡(luò)U-Net的輪胎帶束層分割算法研究[J]. 青島大學(xué)學(xué)報(bào)，2019，32(4)：22-29，35.

Wu Zeju, Wang Jiaqi, Jiao Cuijuan, et al. Research on tire belt segmentation algorithm based on deep learning network U-Net[J]. Journal of Qingdao University, 2019, 32(04): 22-29, 35. (in Chinese with English abstract)

[16]顧琰. 聯(lián)合收獲機(jī)谷物含雜率、破碎率在線監(jiān)測(cè)裝置研制及試驗(yàn)研究[D]. 鎮(zhèn)江：江蘇大學(xué)，2019.

Gu Yan. On-line Monitoring Device and Experimental Study of Grain Impurity Rate and Broken Rate of Combine Harvester[D]. Zhenjiang: Jiangsu University, 2019. (in Chinese with English abstract)

[17]Chen Jin, Lian Yi, Li Yaoming, et al. Design of sampling device for rice grain impurity sensor in grain-bin of combine harvester[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(5): 18-25.

陳進(jìn)，練毅，李耀明，等. 聯(lián)合收獲機(jī)糧箱內(nèi)稻谷含雜率傳感器采樣盒設(shè)計(jì)（英文）[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35(5)：18-25. (in English with Chinese abstract)

[18]高震宇. 基于深度卷積神經(jīng)網(wǎng)絡(luò)的圖像分類方法研究及應(yīng)用[D]. 合肥：中國(guó)科學(xué)技術(shù)大學(xué), 2018.

Gao Zhenyu. Research and Application of Image Classification Method Based on Deep Convolution Neural Network[D]. Hefei: University of Science and Technology of China, 2018. (in Chinese with English abstract)

[19]梁舒. 基于殘差學(xué)習(xí)U型卷積神經(jīng)網(wǎng)絡(luò)的乳腺超聲圖像腫瘤分割研究[D]. 廣州：華南理工大學(xué)，2018.

Liang Shu. Research on Breast Ultrasound Image Segmentation Based on Residual U-shaped Convolution Neural Network[D]. Guangzhou: South China University of Technology, 2018. (in Chinese with English abstract)

[20]許慧敏. 基于深度學(xué)習(xí)U-Net模型的高分辨率遙感影像分類方法研究[D]. 成都：西南交通大學(xué)，2018.

Xu Huimin. Method Research of High Resolution Re-mote Sensing Imagery Classification Based on U-Net Model of Deep Learning[D]. Chengdu: Southwest Jiaotong University, 2018. (in Chinese with English abstract)

[21]Ioffe S, Szegedy C. Batch normalization: Accelerating deep network training by reducing internal covariate shift[EB/OL]. 2015-02-11[2018-10-15]. http://arxiv.org/pdf/1502.03167.pdf.

[22]Chen Guanzhou, Zhang Xiaodong, Wang Qing, et al. Symmetrical dense-shortcut deep fully convolutional networks for semantic segmentation of very-high-resolution remote sensing images[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing. 2018, 11(5): 1633-1644.

[23]馬治楠. 基于深度學(xué)習(xí)的計(jì)算優(yōu)化技術(shù)研究[D]. 貴陽(yáng)：貴州大學(xué)，2019.

Ma Zhinan. Research on Computational Optimization Technology Based on Deep Learning[D]. Guiyang: Guizhou University, 2019. (in Chinese with English abstract)

[24]張怡晨. 基于卷積神經(jīng)網(wǎng)絡(luò)的艦船檢測(cè)研究[D]. 廈門(mén)：廈門(mén)大學(xué)，2018.

Zhang Yichen. Ship Detection via Convolutional Neura1 Network[D]. Xiamen: Xiamen University, 2018. (in Chinese with English abstract)

Segmentation of impurity rice grain images based on U-Net model

Chen Jin, Han Mengna, Lian Yi, Zhang Shuai

(212013)

The impurity rate is one of the important harvesting performance indexes of the rice combine harvester. The impurity of the harvested grain during the harvest includes the branches and straws of the crop. In order to study the correlation between the impurity rate of the grain and the operation parameters of the combine harvester, it is necessary to obtain the data of impurity rate in real-time. This paper studies the segmentation algorithm of hybrid rice grain image based on U-net model of machine vision technology. Aiming at the problems existing in traditional segmentation algorithm, such as large amount of computation, time-consuming processing, serious over segmentation of images, and the determination of segmentation parameters depends on human experience, the deep learning model is used to train and learn image features of each segmentation category of pixel level for many times. Based on the U-net depth learning model, a method of predicting and segmenting grains, branched and straws in hybrid rice grain images is proposed. The improved U-net network is used to increase the depth of the network and add the batch normalization layer. The information of more abundant data is obtained in a small data set, and the problem of lack of training data and over fitting of training is solved. In this paper, 50 rice images collected from the field experiments are selected, Labelme method is used to annotate and enhance data. 1 000 small samples of 256 × 256 pixels are cut, in which 700 images are used as training data set, 300 images are used as verification data set, and a hybrid rice grain image segmentation model of combine harvester based on improved U-net network is established. The accuracy of the model is measured by the comprehensive evaluation index, and 60 images with 8-bit RGB selected randomly are verified. The experimental results show that the comprehensive evaluation index value of rice grains segmentation is 99.42%, the comprehensive evaluation index value of branch and stem segmentation is 88.56%, and the comprehensive evaluation index value of straws segmentation is 86.84%. The proposed algorithm based on U-net model can effectively segment the grains, branches and straws in the hybrid rice grain images, and has the higher real-time and accuracy of the segmentation. The research results can provide technical support for the further recognition and processing of rice grain image, and provide algorithm reference for the design of rice combine harvester impurity rate monitoring system.

image processing; rice; impurities; U-Net model

陳進(jìn)，韓夢(mèng)娜，練毅，等. 基于U-Net模型的含雜水稻籽粒圖像分割[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36(10)：174-180.doi：10.11975/j.issn.1002-6819.2020.10.021 http://www.tcsae.org

Chen Jin, Han Mengna, Lian Yi, et al. Segmentation of impurity rice grain images based on U-Net model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(10): 174-180. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2020.10.021 http://www.tcsae.org

2019-02-24

2020-04-30

國(guó)家重點(diǎn)研發(fā)計(jì)劃重點(diǎn)專項(xiàng)（2016YFD0702001）；江蘇省重點(diǎn)研發(fā)項(xiàng)目（BE2017358）；江蘇省研究生科研與實(shí)踐創(chuàng)新計(jì)劃（SJCX19_0550）

陳進(jìn)，教授，博士生導(dǎo)師，主要從事智能農(nóng)業(yè)裝備和機(jī)械系統(tǒng)監(jiān)測(cè)與控制研究。Email：chenjinjd126@126.com

10.11975/j.issn.1002-6819.2020.10.021

S147.2

A

1002-6819(2020)-10-0174-07