基于ECMM分割法的雜草稻種子在線識別技術(shù)

劉雙喜 劉印增 胡安瑞,3 張正輝 王 恒 李軍賢

(1.山東農(nóng)業(yè)大學機械與電子工程學院，泰安 271018；2.山東省農(nóng)業(yè)裝備智能化工程實驗室，泰安 271018；3.山東省園藝機械與裝備重點實驗室，泰安 271018)

0 引言

水稻的種植方式分為插秧和直播，其中水稻直播指不進行育秧、移栽而直接將種子播于大田的一種栽培方式。近10年來，直播稻種植面積在我國水稻種植總面積中的占比從8%增長到27%。直播相較于插秧的種植方式，不僅能簡化種植過程、提高播種速度，而且更符合未來水稻生產(chǎn)輕型化、專業(yè)化、規(guī)模化的發(fā)展要求，具有廣闊的發(fā)展前景。隨著水稻直播面積逐年增加，雜草稻的危害逐漸顯現(xiàn)出來，其出苗早、生長快，與栽培稻爭奪陽光、養(yǎng)分、水分和生長空間，危害極大。若播種時栽培稻種子中混有雜草稻種子，則雜草稻會和栽培稻一起生長，若雜草稻面積超過40%，水稻成熟期會被雜草稻覆蓋，給農(nóng)業(yè)生產(chǎn)造成重大的經(jīng)濟損失。因此，防止雜草稻種子進入水稻的生長環(huán)節(jié)，對提高栽培稻種子質(zhì)量尤為重要。

目前，主要采用振動篩篩選水稻種子，此方法可以去除稻殼、癟種等雜質(zhì)，但很難將雜草稻種子篩出。與栽培稻種子相比，雜草稻種子與栽培稻種子在外觀形態(tài)與色彩方面均存在一定差別。若采用人工篩選雜草稻種子，勞動強度大，且極易受到主觀影響，造成誤篩選的情況，有時還會對栽培稻種子產(chǎn)生破壞。近幾年，隨著機器視覺在農(nóng)業(yè)中的應用越來越廣泛，使得基于圖像處理技術(shù)篩選雜草稻種子成為一種可行方法[1]?；趫D像處理的方法進行篩選需要十分準確的單粒水稻種子的位置信息，否則無法精確去除雜草稻種子，但實際采樣時所獲取的水稻種子圖像往往存在籽粒粘連現(xiàn)象，因此研究如何分割水稻種子粘連圖像成為需要解決的首要問題[2-6]。

近年來，不少學者對于粘連圖像分割提出多種算法與方法[7]。荀一等[8]提出對粘連目標進行腐蝕-膨脹處理，再使用Bresenham算法進行分割，分割正確率達96%。LIN等[9]提出通過提取大米的輪廓，分析其輪廓特征，對其輪廓進行曲率分析獲得凹點信息，進而進行匹配分割，可以精確分離粘連米粒；YAO等[10]提出了采用邊緣中心模式比例法(ECMP)對粘連大米進行粘連分割，精確度超過了95%；吳叔珍等[11]提出一種基于凹點尋找前景標記的分水嶺算法對谷粒進行粘連分割計算谷粒粒數(shù)，其計數(shù)準確率達96.4%。然而這些方法使用數(shù)學形態(tài)法進行分割，腐蝕膨脹的次數(shù)需要人工設置，分割完成后種子原有的形態(tài)被破壞；分水嶺算法雖簡單、精準度高，但易受到噪聲影響，若圖像中存在噪聲會出現(xiàn)大量的偽分割線，極易造成過分割和欠分割。凹點分割雖能較大可能地保留種子原有的形態(tài)，但凹點分割的匹配準確性較低。

為解決粘連分割問題，提出一種基于邊緣曲線曲率均值(Edge curvature mean method, ECMM)的凹點匹配分割算法。該算法將邊緣曲線曲率均值應用于角點檢測，在協(xié)同約束條件下實現(xiàn)凹點確定與凹點匹配分割。粘連分割過程中不進行膨脹腐蝕處理，以保留原有的種子形態(tài)，同時使用矢量三角形法篩除凸點，避免過分割。采集的圖像經(jīng)ECMM凹點分割算法處理后對圖像中各粒種子進行形色雙選，識別雜草稻種子，進而提高種子整體質(zhì)量。

1 圖像采集與分析

1.1 圖像采集

為完成圖像采集，本文設計了試驗平臺，如圖1所示。試驗平臺由排種系統(tǒng)、圖像采集系統(tǒng)、傳動系統(tǒng)、電機驅(qū)動系統(tǒng)組成。其中，圖像采集系統(tǒng)由日本OMRON公司生產(chǎn)的STC-MCS1242U3V型工業(yè)相機(分辨率為4 000像素×3 000像素)、光虎公司生產(chǎn)的GHAC-0611A型成像鏡頭、PCV材質(zhì)的傳送帶(綠色)、光罩(頂部放置2個LED燈條，色溫為6 500 K)、裝有圖像采集軟件的主控機以及傳送帶組成，工業(yè)相機與成像鏡頭技術(shù)參數(shù)如表1所示。試驗臺中使用的電機均為步進電機，均利用主控機提供脈沖控制其驅(qū)動。主控機使用ARM Cortex-A72處理器，1.5 GHz，內(nèi)存4 GB；主控機輸入設備為Logitech MK275無線光電鍵鼠套裝；主控機輸出設備為Lenovo LI2323swA型顯示器；主控機運行環(huán)境：64 bit Raspbian操作系統(tǒng)，OpenCV-python 4.5.3，Pycharm 2020.2.1。

圖1 試驗平臺整體結(jié)構(gòu)圖

表1 技術(shù)參數(shù)

工作時，將水稻種子倒入種箱中，使用主控機控制排種驅(qū)動模塊驅(qū)動排種電機轉(zhuǎn)動，帶動排種器將水稻種子送至導種板上，再由導種板落到傳送帶上，經(jīng)傳動系統(tǒng)將其運送到傳送帶上方的光罩處，光罩上方中心位置放置工業(yè)相機，通過主控機中的圖像采集軟件控制工業(yè)相機實現(xiàn)對水稻種子的拍照采樣。采樣圖像如圖2所示。

圖2 采樣圖像

1.2 圖像樣本參數(shù)計算

本研究樣本為常見的直播栽培稻臨旱1號、丹旱稻53、鄭旱10號、原旱稻以及雜草稻種子(山東省濟寧市稻區(qū)采集的樣本)5種水稻種子。每種樣本選取1 000粒種子，采集圖像測量其物料特性參數(shù)，采集的樣本圖像(為測量水稻種子物料特性參數(shù)，人工擺放100粒種子)如圖3所示，人工截取存在種子及標定的區(qū)域。計算1 000粒水稻種子的長度以及R通道平均值并繪制直方圖，擬合正態(tài)分布圖如圖4、5所示。由圖4可知，所選水稻種子樣本長度呈現(xiàn)正態(tài)分布趨勢，表明所采取的樣本基本反映了整個水稻種子的形態(tài)特征，避免了樣本過度集中，具有統(tǒng)計學意義[12]。同時，由圖4、5可看出，這些數(shù)據(jù)的測量體現(xiàn)了雜草稻種子與栽培稻種子在形態(tài)與色彩方面的區(qū)別，為雜草稻種子的識別提供了依據(jù)。然而，如圖2所示，圖像分析的難點是水稻種子籽粒粘連，因此需要引入粘連分割算法。

圖3 樣本測試圖像

圖4 水稻種子樣本長度頻數(shù)分布直方圖

圖5 水稻種子樣本R通道均值頻數(shù)分布直方圖

1.3 形態(tài)因子計算

如圖2所示，采樣圖像中既存在單粒種子也存在粘連的種子，若對所有的輪廓都進行粘連分割，會產(chǎn)生大量的計算，影響工作效率，為區(qū)分樣本圖像中目標區(qū)域是否存在粘連現(xiàn)象，引入形態(tài)因子[13]。形態(tài)因子F反映物體形狀特征，其計算公式為

F=4πS/C2

(1)

式中S——連通區(qū)域輪廓的面積，像素

C——連通區(qū)域輪廓的周長，像素

由于粘連種子存在凹陷區(qū)域，輪廓線較長，其形態(tài)因子與單粒水稻存在較大差異。從5種樣本中各隨機選取100粒單粒種子進行形態(tài)因子計算，結(jié)果如圖6所示。

圖6 各個樣本單粒種子的形態(tài)因子分布

由圖6可知，單粒種子的形態(tài)因子均大于0.4，因此，以形態(tài)因子0.4作為閾值判斷目標輪廓是否為單粒種子。

2 基于ECMM的分割算法

2.1 圖像預處理

首先，為提高采集圖像的質(zhì)量，對采集圖像進行平滑處理以減少圖像中存在的噪聲；其次，為更好地確定閾值，將背景與水稻種子分開，采用圖像增強方法來增加灰度圖像的整體對比度，圖7為隨機選取的2幅圖像。

圖7 圖像增強效果圖

由圖7可明顯看出，對于該研究環(huán)境下的圖像，采用直方圖均一化變換的方式效果最為明顯，背景與目標區(qū)域的對比度更大。為確定最佳閾值，對增強后的圖像繪制灰度直方圖，使用最大類間方差法(OTSU)[14-16]將圖像中的背景與目標區(qū)域分離(水稻種子的灰度為255，背景的灰度為0)，并對其進行卷積核3×3的開運算處理，其增強后的效果與圖像灰度直方圖以及二值圖像如圖8所示。

圖8 灰度圖像及其像素直方圖和二值圖像

2.2 邊緣輪廓提取及平滑處理

經(jīng)預處理后圖像的噪聲明顯減少，但傳送帶上存在的細小雜質(zhì)無法避免，并且無法保證經(jīng)預處理后的圖像中不含有細小雜質(zhì)的圖像信息，若這些細小雜質(zhì)與水稻種子經(jīng)閾值分割后依舊與目標區(qū)域共存，則在使用邊界檢測算法與獲取邊緣輪廓信息時會對最終的結(jié)果產(chǎn)生不利的影響，隨機選取局部存在雜質(zhì)輪廓的圖像如圖9所示。

圖9 細小雜質(zhì)的邊界輪廓

為避免這些細小雜質(zhì)的輪廓對試驗產(chǎn)生影響，本研究采取目標區(qū)域像素面積篩選的方法對像素點數(shù)小于10的輪廓區(qū)域進行刪除，進而保證所獲得的輪廓曲線均為水稻種子的外輪廓，提高試驗的準確性，處理結(jié)果如圖10所示。

圖10 篩選后二值圖像

圖像的輪廓分為外輪廓和內(nèi)輪廓[17-18],外輪廓為水稻種子最外面的輪廓，內(nèi)輪廓為粘連種子所圍成的黑洞范圍內(nèi)的輪廓。將獲得的邊緣輪廓進行采樣，假設其位于二維坐標系第四象限的封閉曲線L內(nèi)，則輪廓點坐標表示為z(x(t)，y(t))。

由于邊界曲線L是由離散的像素點構(gòu)成，必會存在一定的噪聲，影響邊界輪廓的平滑度，對計算輪廓曲線的曲率產(chǎn)生一定的影響，因此需要采用一維高斯核函數(shù)[19-20]對邊界輪廓曲線進行平滑處理，以便于邊緣輪廓曲線曲率的計算。

2.3 角點提取

本文采集的圖像中既存在非粘連的單粒種子，也存在粘連的種子，若對每個目標邊緣輪廓曲線均進行角點的提取與判定，則會大大增加主控機的運算量，也影響圖像的處理效率，因此需要對各個輪廓計算形態(tài)因子F，設置閾值F0=0.4，若F

由圖12可知，形態(tài)因子最大值小于等于0.3，說明所設閾值準確。

圖11 粘連圖像

圖12 粘連圖像形態(tài)因子測試結(jié)果

角點是邊界曲率發(fā)生劇烈變化的點[21]，它既可以表示兩條線交匯的點，又可以表示鄰域內(nèi)兩個主方向的特征點。根據(jù)曲率的變化情況，角點又可分為凹點和凸點。水稻種子的形狀呈現(xiàn)兩頭尖、中間粗的橢圓狀。由圖11可以看出，橢圓長軸兩端有明顯的兩個凸點(凸區(qū)域)，而在兩?；蚨嗔７N子粘連處也存在明顯的凹點(凹區(qū)域)。

曲率是曲線斜率的倒數(shù)，反映曲線的彎曲水平。根據(jù)所得邊緣輪廓的曲率繪制輪廓曲率變化的折線圖(圖13a)，峰值處曲率的正負可以判斷凹點與凸點，從圖13a可看出存在兩個峰值趨近于0，但其值依舊為負，所以僅使用正負來判斷凹點會存在很大的誤差。

圖13 輪廓曲線的曲率

在計算其邊緣輪廓曲率時，種子兩端及其粘連處的曲率變化很大，其他部分的曲率趨于穩(wěn)定的范圍。因此，通過判斷圖像邊緣輪廓曲線的平滑性來判斷圖像輪廓的彎曲程度，若彎曲程度突然變大，則可能是種子兩端或者是粘連的凹陷處。隨機挑選存在粘連區(qū)域的曲率折線圖，如圖13a所示，存在多個曲率變化劇烈的點，而其他的點都保持在一定的范圍內(nèi)，這表明曲率保持在一定范圍內(nèi)的點的彎曲程度大致相似，并不是分割所需要的角點，而曲率變化劇烈的點為角點。因此，為排除曲率變化不大的點，引入能夠表示曲面彎曲程度的整體曲率均值，其計算公式為

(2)

式中V——邊緣輪廓曲線曲率均值

Hi——邊緣輪廓曲線上各點曲率

n——邊緣輪廓點數(shù)

通過觀察其邊緣輪廓曲線各點的曲率與整體輪廓的曲率均值，可發(fā)現(xiàn)峰值分布在輪廓曲線曲率與曲率均值的差值大于0.055的范圍內(nèi)，而差值在0.055范圍以內(nèi)的各點差值分布穩(wěn)定，說明在這幾個位置邊緣輪廓曲線彎曲程度突然變大，邊界曲率發(fā)生劇烈變化(即角點)，因此可以通過閾值(每個坐標點的曲率與整體輪廓的曲率均值的差值)0.055來確定角點處的曲率及位置，如 圖13b 所示。

2.4 凹點確定

利用曲率均值的閾值判斷邊緣輪廓曲線上各點是否為角點，找到邊界輪廓曲線曲率的峰值。判斷這些峰值是否為凹點是實現(xiàn)凹點分割的前提，因此判斷峰值是否為凹點，對粘連分割至關(guān)重要。

該算法采用求取矢量三角形面積的方法判斷輪廓上的凹點。由輪廓的角點Pi(x0,y0)與該點相距k個像素點的前繼點Pi-k(x1,y1)和后繼點Pi+k(x2,y2)組成矢量三角形[22]，并求其面積，通過面積Si的正負來判斷該角點Pi是否為凹點。Si的計算公式為

(3)

該算法所使用的程序存儲的輪廓點集為逆時針順序，因此輪廓的角點Pi與其前繼點Pi-k和后繼點Pi+k組成的矢量三角形面積Si<0，則證明該角點Pi為凹點，將該點與其前繼點和后繼點存儲；相反，若矢量三角形的面積Si>0,則證明該角點Pi為凸點，則剔除該角點。

2.5 凹點對匹配

為解決傳統(tǒng)的最近鄰法凹點對匹配方法中存在的過度分割或誤分割的問題，提出一種尋找凹點與前繼點、后繼點所組成的法線方向的夾角范圍(0°～180°)，判斷在此范圍內(nèi)是否存在合適的凹點組成凹點對，再對其進行連線分割，這樣大大提高了分割的準確性。該研究的匹配規(guī)則如圖14所示。

圖14 凹點匹配規(guī)則

通過圖15a可以看出，平滑后的邊界輪廓曲線和原始的邊界輪廓曲線并不重合(其中紫色曲線是原始輪廓曲線，紅色曲線為平滑后的輪廓曲線)，而所獲取的凹點坐標是平滑曲線上的凹點，并非在原始輪廓曲線的最凹處，這便是高斯平滑后產(chǎn)生的坐標點漂移，這種現(xiàn)象是高斯卷積過程中改變了原始輪廓的相位所造成的。因此，使用平滑后的輪廓曲線求得的凹點并不能直接反映原始輪廓最凹的部位。若直接使用該點進行特征點的匹配分割，容易造成原始輪廓最凹處(或其附近)無法被完全分割，依舊存在粘連。

圖15 實心圓及其半徑

為解決特征點漂移問題[23]，本文提出一種以獲取的平滑輪廓上的特征點為中心，尋找合適的以閾值為半徑繪制實心圓(實心圓的顏色與目標區(qū)域不同，與背景保持一致)的方法，以保證原始輪廓曲線的最凹處位于實心圓內(nèi)，避免特征點飄移而引起的分割誤差。如圖15a所示，使用綠色標注的A、B兩個圓包圍了平滑輪廓曲線和原始輪廓曲線的最凹處,將A、B兩個圓換成白色的實心圓(與背景顏色一致)，結(jié)果如圖15b所示，能夠?qū)⑵交喞€和原始輪廓曲線最凹陷處分割。經(jīng)過對100個粘連圖像進行實心圓半徑測試，結(jié)果如圖15c所示，能夠?qū)崿F(xiàn)同時分割平滑輪廓曲線和原始輪廓曲線的實心圓半徑均分布在2～8像素。因此，提出一種以半徑為10像素的實心圓來規(guī)避特征點飄移而產(chǎn)生的誤差。該算法的具體流程圖如圖16所示。

圖16 ECMM凹點分割識別雜草稻種子算法流程圖

3 試驗

圖17為水稻種子的結(jié)構(gòu)圖，為便于描述粘連現(xiàn)象，將水稻種子的芒和小穗軸兩處稱之為端部，將稻殼部分稱為側(cè)部。

圖17 水稻種子結(jié)構(gòu)圖

由采集的圖像可看出，粘連分為3種類型：兩?；蚨嗔Ｋ痉N子相互之間側(cè)部與側(cè)部接觸粘連(稱為并聯(lián)型粘連)、兩?；蚨嗔Ｋ痉N子相互之間端部與側(cè)部接觸粘連和端部與端部接觸粘連(稱為串聯(lián)型粘連)、兩?；蚨嗔Ｋ痉N子相互之間既存在端部與側(cè)部和端部與端部的接觸粘連，又存在側(cè)部與側(cè)部接觸粘連(稱為串并聯(lián)混和型粘連)。

不論哪種粘連情況均使用ECMM凹點分割算法進行粘連分割。如圖18b所示粘連情況，采用預處理、平滑處理、合適的閾值進行角點檢測，其結(jié)果如圖18a紅點標注處，檢測到的角點數(shù)量多于實際凹點的數(shù)量，需要使用矢量三角形的面積來判定是否為真正的凹點，最后通過凹點對匹配的規(guī)則確定A、B兩點適合匹配，進行凹點對匹配時使用半徑為10 像素的實心圓來規(guī)避特征點飄移而產(chǎn)生的誤差，完成分割。如圖18b所示，紅線標注出了粘連處兩個實心圓以及兩點之間的連線。為方便測量分割后的分割精度，將分割后的目標區(qū)域進行了重新排列，如圖18c所示。精度計算公式為

圖18 粘連分割示例

P=RN/TN×100%

(4)

式中RN——分割后單粒種子的粒數(shù)

TN——實際種子粒數(shù)P——精度

為進一步驗證該算法在各種粘連情況下的優(yōu)勢，隨機選取4幅粘連圖像分別利用ECMM算法、極限腐蝕法、分水嶺算法進行分割測試。

從圖19、20中可看出，極限腐蝕法對于串聯(lián)型粘連情況效果明顯，對于并聯(lián)型粘連情況其誤差較大，表明目標圖像粘連接觸面越小其效果越好，而粘連接觸面越大分割效果越差，極限腐蝕方法不僅分割不精確，還易造成原輪廓變形；分水嶺算法同樣適用于粘連效果較輕的情況，相比于極限腐蝕法其基本保持原輪廓形狀，但其存在過分割，如圖19、20所示。而ECMM算法不論粘連情況輕重，依然能夠準確分割。

圖19 ECMM算法分割效果

分別采集4種栽培稻種子和雜草稻種子的圖像樣本，每種樣本采集3組，3組圖像中種子數(shù)依次為100、200、300粒(其中雜草稻種子均占10%)。對采樣的圖像分別采用極限腐蝕法、分水嶺算法以及ECMM算法對圖像進行粘連分割處理，通過對比分割后輪廓數(shù)與實際水稻種子數(shù)來分析其精度，精度對比結(jié)果如表2所示。

由表2可知，對于相同的圖像使用3種方法的分割精度均隨籽粒數(shù)量的增多而下降。通過計算4組數(shù)據(jù)中100粒種子和300粒種子的粘連分割精度差距可知，極限腐蝕法下降約8.25%,分水嶺算法下降約7.42%，ECMM算法平均下降約2.7%，這是由于隨著籽粒數(shù)的增多，籽粒密集程度增大，粘連情況更加復雜，相比于其他兩種方法，ECMM算法的分割效果較穩(wěn)定。經(jīng)過4組試驗測試，ECMM算法平均精度達到92.90%，比極限腐蝕法高19.82個百分點，比分水嶺算法高12.85個百分點。

表2 不同分割方法對粘連分割的精度對比

圖20 極限腐蝕法和分水嶺算法分割結(jié)果

4 雜草稻種子識別

由圖4可知，雜草稻種子的長度主要集中在6～7 mm，而栽培稻種子的長度大于7 mm，因此，將粘連分割后圖像中各輪廓的長度進行閾值判定，設置長度閾值為7 mm。

由圖5可知，雜草稻種子的R通道均值主要集中在120，而栽培稻種子的R通道均值主要集中在140，相比于栽培稻種子，整粒雜草稻種子的R通道像素值主要集中在120，其像素值大于130的占比必定小于栽培稻種子，水稻種子R通道像素占比Pr計算公式為

Pr=TR/ZR

(5)

式中TR——每粒種子R通道像素值大于130的像素點總數(shù)

ZR——整粒種子R通道像素點總數(shù)

由圖21可知，栽培稻種子像素占比Pr大于0.7，而雜草稻種子的像素占比Pr小于0.6，因此，使用合適的像素占比閾值可以明顯分出雜草稻種子。為驗證該算法的識別準確率，分別采集4種栽培稻種子和雜草稻種子的圖像樣本，每種樣本采集3組，3組圖像中種子數(shù)依次為100、200、300粒(其中雜草稻種子均占10%)，計算每粒種子長度以及R通道像素值大于130的像素占比，像素占比以0.65作為閾值識別雜草稻種子，準確率如表3所示。

圖21 各樣本像素占比

表3 形色雙選準確率

由表3可知，本文算法隨著圖像樣本中種子的籽粒數(shù)增多，需要檢測的輪廓區(qū)域也會增多，運行時間便會增加，平均每增加100粒種子，運行時間便增加0.95 s，但是從整體數(shù)據(jù)來看，圖像中籽粒個數(shù)的增多對識別準確率的影響很小，本文算法平均識別準確率達到97.50%。

5 結(jié)論

(1)為實現(xiàn)水稻種子粘連分割，提出一種基于ECMM的凹點分割算法，該算法中未對圖像使用膨脹腐蝕處理，因此不改變圖像中水稻種子籽粒的形狀，便于提取單粒水稻種子的長度及R通道特征。該算法平均精度達到92.90%，對于同一幅圖像的粘連分割，平均精度比極限腐蝕法提高19.82個百分點，比分水嶺算法提高12.85個百分點，能夠?qū)Ω鞣N粘連情況進行粘連分割。

(2)提出一種水稻雜草稻種子在線識別方法，該方法利用水稻雜草稻種子形狀和色彩的差異，合理設置長度閾值與R通道像素占比閾值來識別雜草稻種子，其識別精度達到97.50%，且平均每增加100粒種子，運行時間便增加0.95s。