形態(tài)學(xué)多尺度重建結(jié)合凹點(diǎn)匹配分割枸杞圖像

王小鵬，姚麗娟，文昊天，趙君君

?

形態(tài)學(xué)多尺度重建結(jié)合凹點(diǎn)匹配分割枸杞圖像

王小鵬，姚麗娟，文昊天，趙君君

（蘭州交通大學(xué)電子與信息工程學(xué)院，蘭州 730070）

針對(duì)枸杞分級(jí)過(guò)程中因圖像噪聲、光照不均勻和粘連等造成枸杞難以準(zhǔn)確分割的問(wèn)題，提出了一種基于形態(tài)學(xué)多尺度開(kāi)閉重建結(jié)合凹點(diǎn)匹配的分割方法。首先提取原始圖像的紅色分量去除枸杞光照陰影噪聲，利用形態(tài)學(xué)多尺度混合開(kāi)閉重建對(duì)紅色分量圖像進(jìn)行重建，平滑枸杞內(nèi)部而保留輪廓邊緣信息；然后采用8鄰域跟蹤算法提取粘連枸杞輪廓邊緣；最后運(yùn)用圓形模板檢測(cè)粘連枸杞的輪廓凹點(diǎn)，以凹點(diǎn)間最短歐氏距離為匹配條件連接凹點(diǎn)對(duì)，并對(duì)匹配錯(cuò)誤的凹點(diǎn)對(duì)進(jìn)行修正，實(shí)現(xiàn)粘連枸杞分割。試驗(yàn)結(jié)果表明，該文方法分割準(zhǔn)確率較高，而過(guò)分割率較低，相比標(biāo)記控制的分水嶺和直接凹點(diǎn)匹配分割等方法，對(duì)粘連枸杞分割效果較好，分割準(zhǔn)確率可達(dá)到96%。該研究可為枸杞分割技術(shù)提供理論支撐。

圖像分割；圖像采集；農(nóng)作物；多尺度開(kāi)閉重建；邊緣提??；凹點(diǎn)匹配

0 引 言

傳統(tǒng)枸杞分級(jí)主要采用人工挑揀判別枸杞大小、顏色及表面缺陷，這種方式費(fèi)時(shí)費(fèi)力，等級(jí)難以保證，機(jī)器視覺(jué)技術(shù)[1-4]能夠提升枸杞分級(jí)效率，其中枸杞圖像分割是關(guān)鍵步驟之一，分割的準(zhǔn)確率直接關(guān)系到后續(xù)的識(shí)別和統(tǒng)計(jì)精度。通常枸杞經(jīng)晾曬烘干后采集的圖像存在枸杞顆粒噪聲、光照不均勻、顆粒間有粘連和重疊等現(xiàn)象，造成其分割困難。針對(duì)這類顆粒圖像，學(xué)者們提出了各種各樣的分割方法[5-8]，Nee等[9]提出了形態(tài)學(xué)算子結(jié)合分水嶺的分割方法；Quan等[10]采用數(shù)學(xué)形態(tài)學(xué)算子和維納濾波凈化背景并結(jié)合邊緣檢測(cè)實(shí)現(xiàn)玉米粒的分割；王桂芹等[11]提出利用FCM算法和標(biāo)記分水嶺算法相結(jié)合對(duì)粘連巖石顆粒進(jìn)行分割；李文勇等[12]提出了利用形狀因子對(duì)圖像中的每個(gè)區(qū)域進(jìn)行粘連判定的方法。對(duì)于粘連顆粒圖像的分割，凹點(diǎn)匹配[13-16]可以檢測(cè)出相互粘連的部分，Song等[17]提出了基于凹點(diǎn)和改進(jìn)的分水嶺算法分割粘連血細(xì)胞；謝忠紅等[18]提出了一種基于凹點(diǎn)搜索的快速定位和檢測(cè)重疊果實(shí)目標(biāo)的方法；曾慶兵等[19]采用凹點(diǎn)分割方法分離重疊葡萄果實(shí)；劉偉華等[20]提出了基于凹點(diǎn)搜索的重疊粉體顆粒的自動(dòng)分離算法，根據(jù)凹點(diǎn)和顆粒個(gè)數(shù)的對(duì)應(yīng)關(guān)系確定顆粒的重疊程度，對(duì)不同重疊程度的顆粒采用不用的匹配規(guī)則來(lái)匹配凹點(diǎn)進(jìn)而分離顆粒；Bai等[21]提出了基于凹點(diǎn)和橢圓擬合分離粘連血細(xì)胞的方法，借助粘連血細(xì)胞間的凹點(diǎn)將各個(gè)血細(xì)胞的輪廓分為具有相似性特征的輪廓段，采用了最小二乘法對(duì)各輪廓段進(jìn)行橢圓擬合實(shí)現(xiàn)粘連血細(xì)胞的分離。此類方法能夠較準(zhǔn)確地實(shí)現(xiàn)復(fù)雜粘連顆粒目標(biāo)的分割，但凹點(diǎn)匹配條件相對(duì)較復(fù)雜，且選取不當(dāng)容易造成錯(cuò)分割。

為了在圖像噪聲、光照不均勻和粘連等因素干擾環(huán)境下，提高枸杞的分割準(zhǔn)確率，提出了一種形態(tài)學(xué)多尺度重建結(jié)合凹點(diǎn)匹配相結(jié)合的枸杞圖像分割方法，該方法通過(guò)形態(tài)學(xué)多尺度混合開(kāi)閉重建濾除顆粒噪聲，平滑枸杞內(nèi)部因光照陰影等，利用最大類間方差法[22]對(duì)重建圖像進(jìn)行二值化提取枸杞區(qū)域，通過(guò)形態(tài)學(xué)填充[23]消除枸杞內(nèi)部孔洞，利用形態(tài)學(xué)面積開(kāi)[24]運(yùn)算篩選出單個(gè)非粘連顆粒；然后采用8鄰域跟蹤算法[25]提取剩余粘連枸杞的單像素輪廓邊緣；最后采用圓形模板檢測(cè)輪廓凹點(diǎn)并利用改進(jìn)的凹點(diǎn)匹配規(guī)則匹配凹點(diǎn)，實(shí)現(xiàn)粘連枸杞的分割，最終分割結(jié)果為單個(gè)非粘連和粘連枸杞分割結(jié)果的合并。

1 形態(tài)學(xué)多尺度開(kāi)閉重建

枸杞顆粒在晾曬烘干過(guò)程中受環(huán)境和顆?？s水等因素影響，使得(charge coupled device, CCD)相機(jī)獲取的顆粒噪聲較大，細(xì)節(jié)較多，造成過(guò)凹點(diǎn)檢測(cè)從而產(chǎn)生過(guò)分割。通常非規(guī)則細(xì)節(jié)和噪聲成分比目標(biāo)小，因此細(xì)節(jié)和噪聲與圖像目標(biāo)信息具有可分離性。形態(tài)學(xué)尺度空間[26]能夠有效地保留感興趣的輪廓邊緣而消除細(xì)節(jié)，避免邊緣輪廓模糊和定位偏移。為此采用形態(tài)學(xué)多尺度開(kāi)閉重建[27]對(duì)枸杞進(jìn)行預(yù)處理，去除噪聲和細(xì)節(jié)干擾。

形態(tài)學(xué)多尺度混合開(kāi)閉重建運(yùn)算定義為多尺度開(kāi)閉和閉開(kāi)運(yùn)算的平均，即

經(jīng)形態(tài)學(xué)多尺度混合開(kāi)閉重建后，顆粒噪聲和枸杞內(nèi)部非規(guī)則細(xì)節(jié)被平滑消除，同時(shí)保持了區(qū)域輪廓的完整性。利用最大類間方差法將重建圖像二值化，并對(duì)二值圖像求補(bǔ)后做填充運(yùn)算消除因光線和背景導(dǎo)致的內(nèi)部孔洞。圖1a～圖1d給出了粘連枸杞圖像的預(yù)處理過(guò)程結(jié)果，可以看出，二值化后提取出了全部枸杞，但存在粘連枸杞，為此，需要進(jìn)一步對(duì)這部分粘連枸杞進(jìn)行分離，以完全分割出枸杞。

2 粘連枸杞分割

由于粘連枸杞部分的分割不涉及單個(gè)顆粒，因此首先通過(guò)形態(tài)學(xué)面積開(kāi)運(yùn)算篩選出單個(gè)枸杞顆粒區(qū)域，然后對(duì)剩余的粘連顆粒作進(jìn)一步分割。由于相互粘連的枸杞具有橢球體狀特點(diǎn)，在粘連接觸的輪廓邊緣處存在凹點(diǎn)，而準(zhǔn)確地實(shí)現(xiàn)凹點(diǎn)匹配是粘連枸杞分割的關(guān)鍵。本文首先采用8鄰域跟蹤算法提取粘連枸杞顆粒，然后采用圓形模板檢測(cè)單像素輪廓邊緣凹點(diǎn)，最后利用最短歐氏距離匹配凹點(diǎn)對(duì)，并對(duì)匹配錯(cuò)誤凹點(diǎn)對(duì)運(yùn)用改進(jìn)的凹點(diǎn)匹配修正規(guī)則進(jìn)行修正，實(shí)現(xiàn)粘連枸杞分割。

2.1 輪廓邊緣提取

枸杞顆粒因相互粘連在輪廓邊緣處產(chǎn)生的凹點(diǎn)可用于分割粘連枸杞，而單像素輪廓邊緣有利于凹點(diǎn)檢測(cè)。因此，本文采用8鄰域跟蹤算法提取粘連枸杞的單像素輪廓邊緣，算法準(zhǔn)則是從粘連顆粒二值圖像左上角開(kāi)始逐點(diǎn)掃描，當(dāng)遇到邊緣點(diǎn)時(shí)開(kāi)始跟蹤，直至跟蹤的后續(xù)點(diǎn)回到起始點(diǎn)。如果為非閉合線，則跟蹤一側(cè)后需從起點(diǎn)開(kāi)始朝相反方向跟蹤到另一尾點(diǎn)，一條線跟蹤完畢后，接著掃描下一個(gè)未跟蹤點(diǎn)，直至圖像內(nèi)所有的邊緣都跟蹤完畢。

輪廓邊緣跟蹤如圖2，圖2a為圖2b輪廓跟蹤的8個(gè)方向編號(hào)及偏移量，黑點(diǎn)表示輪廓邊界點(diǎn)，跟蹤起始點(diǎn)為最右下方黑點(diǎn)，跟蹤初始方向?yàn)樽笊戏?5°。跟蹤開(kāi)始后，起始點(diǎn)沿初始跟蹤方向檢測(cè)是否該方向有黑點(diǎn)（檢測(cè)距離為1個(gè)像素），圖中該方向有輪廓邊界點(diǎn)，保存起始點(diǎn)，將檢測(cè)到的點(diǎn)作為新起始點(diǎn)，在原來(lái)檢測(cè)方向基礎(chǔ)上，逆時(shí)針旋轉(zhuǎn)90°作為新的跟蹤方向，非黑點(diǎn)的則沿順時(shí)針旋轉(zhuǎn)45°，沿新跟蹤方向繼續(xù)檢測(cè)，直到找到黑點(diǎn)，然后將跟蹤方向逆時(shí)針旋轉(zhuǎn)90°作為新的跟蹤方向。重復(fù)上述方法，不斷改變跟蹤方向，直到找到新的輪廓邊界點(diǎn)，找到新輪廓邊界點(diǎn)后，保存舊輪廓邊界點(diǎn)，把新輪廓邊界點(diǎn)作為新的起始點(diǎn)，這樣重復(fù)至最先開(kāi)始的檢測(cè)點(diǎn)為止，具體實(shí)現(xiàn)步驟如下。

Step1：獲取二值圖像高和寬；

Step2：初始化內(nèi)存緩沖區(qū)；

Step3：跟蹤輪廓邊緣點(diǎn)，將內(nèi)存緩沖區(qū)中檢測(cè)到的輪廓邊緣點(diǎn)的相應(yīng)位置0；

Step4：根據(jù)上述跟蹤準(zhǔn)則，重復(fù)Step 3，直至回到起始點(diǎn)；

Step5：將內(nèi)存緩沖區(qū)內(nèi)容復(fù)制到原二值圖像中。

圖2 輪廓邊緣跟蹤示意圖

2.2 凹點(diǎn)檢測(cè)

提取粘連枸杞的輪廓邊緣后，為了實(shí)現(xiàn)凹點(diǎn)匹配分割，首先需要進(jìn)行檢測(cè)輪廓邊緣凹點(diǎn)。目前凹點(diǎn)檢測(cè)方法有很多種[28-30]，文中采用圓形模板檢測(cè)二值化粘連枸杞顆粒輪廓的凹點(diǎn)。首先定義半徑為，圓點(diǎn)在輪廓邊緣上逐點(diǎn)移動(dòng)的圓，為圓點(diǎn)個(gè)數(shù)，由此可得凹點(diǎn)C為

其中|A|表示圓形模板位于顆粒內(nèi)部的弧長(zhǎng)。檢測(cè)準(zhǔn)則為

圖3為圓形模板檢測(cè)凹點(diǎn)示意圖，其中1，2，…，6為待檢測(cè)凹點(diǎn)，|1|, |2|, …, |6|為圓形模板位于枸杞內(nèi)部的弧段,當(dāng)圓心在枸杞輪廓邊緣上逐點(diǎn)移動(dòng)時(shí)，依據(jù)檢測(cè)準(zhǔn)則判別圓心是否為凹點(diǎn)，并對(duì)凹點(diǎn)進(jìn)行標(biāo)記。

注：Ai表示圓形模板位于顆粒內(nèi)部的弧段，Ci為待檢測(cè)凹點(diǎn)，i=1,2,…,6。

2.3 凹點(diǎn)匹配分割

由于檢測(cè)到的粘連枸杞輪廓邊緣凹點(diǎn)是成對(duì)出現(xiàn)的，而正確匹配凹點(diǎn)能夠?qū)崿F(xiàn)粘連枸杞的正確分割，因此對(duì)上述已檢測(cè)到的所有凹點(diǎn)進(jìn)行匹配可實(shí)現(xiàn)粘連枸杞分割。首先根據(jù)各凹點(diǎn)之間的最短歐氏距離匹配凹點(diǎn)對(duì)，然后對(duì)已匹配的凹點(diǎn)對(duì)進(jìn)行修正處理以消除錯(cuò)誤匹配。若檢測(cè)到的粘連凹點(diǎn)為C(i=1,2,…,)，對(duì)應(yīng)坐標(biāo)為(x,y)，則任意2凹點(diǎn)C與C之間的歐氏距離d為

已匹配凹點(diǎn)修正規(guī)則為：以已匹配凹點(diǎn)連線中點(diǎn)為起始檢測(cè)點(diǎn)，分別從垂直于連線的兩側(cè)方向逐點(diǎn)掃描，當(dāng)一側(cè)先檢測(cè)到邊緣點(diǎn)，而另一側(cè)未檢測(cè)到邊緣點(diǎn)時(shí)，則判定該匹配對(duì)為錯(cuò)誤匹配；當(dāng)兩側(cè)按某一固定像素?cái)?shù)均未檢測(cè)到邊緣點(diǎn)時(shí)，則判定該匹配對(duì)為正確匹配。對(duì)于錯(cuò)誤匹配的凹點(diǎn)對(duì)，按照凹點(diǎn)間次最短歐氏距離重新進(jìn)行匹配，再進(jìn)行修正。

具體凹點(diǎn)匹配步驟如下

Step1：對(duì)各凹點(diǎn)按照相互之間歐氏距離大小，由小到大進(jìn)行排序；

Step2：選取第一個(gè)凹點(diǎn)，計(jì)算并匹配連接與其距離最小的凹點(diǎn)；

Step3：根據(jù)上述已匹配凹點(diǎn)修正規(guī)則對(duì)Step2中已匹配的凹點(diǎn)進(jìn)行修正；

Step4：對(duì)匹配錯(cuò)誤的凹點(diǎn)，計(jì)算并連接與其次最小距離的凹點(diǎn)，按照已匹配凹點(diǎn)的修正規(guī)則，重復(fù)執(zhí)行Step3，直至所有凹點(diǎn)匹配完畢。

圖4為凹點(diǎn)匹配示意圖，其中～為待匹配凹點(diǎn)，線段表示凹點(diǎn)和的正確匹配結(jié)果，線段為凹點(diǎn)和的錯(cuò)誤匹配結(jié)果。匹配開(kāi)始時(shí)，首先從凹點(diǎn)開(kāi)始掃描待匹配凹點(diǎn)，根據(jù)最短距離匹配規(guī)則匹配連接凹點(diǎn)和凹點(diǎn)；然后再根據(jù)已匹配凹點(diǎn)修正規(guī)則，從線段的兩側(cè)方向（虛線箭頭方向）逐像素掃描，掃描至設(shè)定閾值個(gè)像素時(shí)，未檢測(cè)到邊界點(diǎn)，判定線段為正確匹配結(jié)果，同理修正凹點(diǎn)和的匹配結(jié)果時(shí)，在線段兩側(cè)方向掃描至第5個(gè)像素點(diǎn)時(shí)，左側(cè)檢測(cè)到邊界點(diǎn)，而右側(cè)沒(méi)有檢測(cè)到邊界點(diǎn)，因此判定線段為錯(cuò)誤匹配結(jié)果；最后重新計(jì)算與凹點(diǎn)或者距離最小的凹點(diǎn)，重復(fù)進(jìn)行匹配修正。

注：A~F為待匹配凹點(diǎn)。

3 試驗(yàn)結(jié)果及分析

為驗(yàn)證分割方法性能，仿真選取兩幅粘連枸杞圖像，在CPU2.3G內(nèi)存2G的計(jì)算機(jī)上利用Matlab2012從分割區(qū)域準(zhǔn)確率和過(guò)分割等方面進(jìn)行了驗(yàn)證分析，并與標(biāo)記控制分水嶺分割以及直接凹點(diǎn)匹配方法等作了對(duì)比。實(shí)驗(yàn)中尺度=11，圓形模板半徑取15像素，匹配修正掃描像素閾值取15像素。

圖5給出了粘連枸杞分割過(guò)程的結(jié)果圖像，經(jīng)過(guò)多尺度混合開(kāi)閉重建后（圖5a），噪聲和枸杞內(nèi)部細(xì)節(jié)得到了消除和平滑，同時(shí)目標(biāo)輪廓沒(méi)有出現(xiàn)偏移，通過(guò)邊緣提取后的枸杞顆粒（圖5b）存在粘連，但均被提取出來(lái)，未出現(xiàn)遺漏，經(jīng)過(guò)凹點(diǎn)檢測(cè)（圖5c）和凹點(diǎn)匹配分割（圖5d）后，粘連枸杞得到分離。

相比標(biāo)記控制分水嶺分割（圖5e），本文方法過(guò)分割明顯減少，完整分割出了全部單個(gè)枸杞。圖5f對(duì)原始圖像未進(jìn)行形態(tài)學(xué)多尺度開(kāi)閉重建，而直接采用凹點(diǎn)匹配的分割結(jié)果，可以看出，在沒(méi)有消除顆粒噪聲的情況下，單個(gè)非粘連顆粒未能剔除，并且由于噪聲影響，致使檢測(cè)凹點(diǎn)過(guò)多，而凹點(diǎn)匹配過(guò)程中又因?yàn)轭w粒內(nèi)部存在孔洞噪聲，造成無(wú)法正確匹配連接凹點(diǎn)對(duì)，從而出現(xiàn)了欠分割和過(guò)分割。

圖5 圖像I不同方法分割結(jié)果

Fig.5 Different methods segmentation results of image I

圖6為第2幅粘連枸杞分割結(jié)果，圖6a為原始粘連枸杞圖像，大小為370×545像素；圖6b為本文方法分割結(jié)果，大部分枸杞單體被正確分割出來(lái)，個(gè)別如方框內(nèi)凹點(diǎn)1、2未被匹配而出現(xiàn)欠分割，其原因是此種情況下的枸杞顆粒邊緣重疊部分恰好覆蓋了另一待匹配凹點(diǎn)；圖6c～d為標(biāo)準(zhǔn)分水嶺及標(biāo)記控制分水嶺分割結(jié)果，由于粘連的枸杞顆粒較多，顆粒光照不均勻，內(nèi)部細(xì)節(jié)和噪聲較多，因此過(guò)分割現(xiàn)象較嚴(yán)重；圖6e為直接采用凹點(diǎn)匹配的分割結(jié)果，存在欠分割和過(guò)分割。圖6f為采用分水嶺和凹點(diǎn)檢測(cè)相結(jié)合方法[30]的分割結(jié)果，大部分枸杞顆粒被分割出來(lái)。

圖7 尺度n、半徑R和閾值T對(duì)分割結(jié)果的影響

為了定量分析粘連枸杞分割的準(zhǔn)確率，統(tǒng)計(jì)實(shí)際枸杞顆粒數(shù)和分割后的區(qū)域數(shù)，采用過(guò)分割率和準(zhǔn)確率以及方法運(yùn)算時(shí)間度量分割的性能。過(guò)分割率定義為

其中為分割區(qū)域數(shù)，為人工勾畫(huà)顆粒數(shù)，N為分割區(qū)域與人工勾畫(huà)顆粒重疊數(shù)。

準(zhǔn)確率定義為

越大，越小，表示分割準(zhǔn)確率越高，越接近實(shí)際的顆粒個(gè)數(shù)。

表1和表2分別為本文方法和其他幾種不同分割方法對(duì)圖5和圖6枸杞圖像分割準(zhǔn)確率等性能指標(biāo)的對(duì)比，其中表示運(yùn)算時(shí)間?？梢钥闯觯啾绕渌椒?，本文方法對(duì)粘連枸杞顆粒的分割準(zhǔn)確率較高，可達(dá)到96%，而過(guò)分割率較低不大于2%。運(yùn)算時(shí)間高于其他方法，但如果將算法經(jīng)過(guò)優(yōu)化移植到DSP處理器，將會(huì)滿足實(shí)時(shí)性要求。

表1 不同分割方法對(duì)比（圖5）

注：M, Nr, Q, P和S分別表示分割區(qū)域數(shù)，區(qū)域重疊數(shù)，過(guò)分割率，準(zhǔn)確率和運(yùn)算時(shí)間。

Note: M, Nr, Q, P and S respectively denote segmentation region number, region overlap number,over-segmentation rate, accuracy rate and time consuming.

表2 不同分割方法對(duì)比（圖6）

4 結(jié) 論

提出了一種基于形態(tài)學(xué)多尺度重建結(jié)合凹點(diǎn)匹配的枸杞圖像分割方法，通過(guò)多尺度開(kāi)閉重建運(yùn)算濾除目標(biāo)顆粒內(nèi)部細(xì)節(jié)和噪聲，利用最大類間方差法提取重建圖像二值化提取杞區(qū)域，通過(guò)形態(tài)學(xué)面積開(kāi)篩選分割出非粘連顆粒，減少后續(xù)凹點(diǎn)匹配的計(jì)算量；運(yùn)用8鄰域跟蹤算法提取粘連枸杞的輪廓邊緣，由于枸杞顆粒的橢球體狀特點(diǎn)，使得相互粘連時(shí)邊緣處產(chǎn)生凹點(diǎn)，采用圓形模板可以準(zhǔn)確地實(shí)現(xiàn)邊緣凹點(diǎn)的檢測(cè)，另一方面枸杞顆粒的長(zhǎng)寬比明顯，對(duì)最小歐氏距離匹配錯(cuò)誤的凹點(diǎn)對(duì)，根據(jù)其連接線中點(diǎn)到邊界點(diǎn)的像素距離不對(duì)等的特點(diǎn)進(jìn)行修正匹配，實(shí)現(xiàn)了粘連枸杞的準(zhǔn)確分割，相比標(biāo)記分水嶺、單獨(dú)的凹點(diǎn)匹配和分水嶺結(jié)合凹點(diǎn)匹配等方法，分割準(zhǔn)確率較高，最高可達(dá)到96%，而過(guò)分割率較低，最低不大于2%。另外，分割過(guò)程中盡可能地保持了目標(biāo)顆粒的輪廓邊緣信息，保證了后續(xù)顆粒分級(jí)的準(zhǔn)確性。

[1] 王履程，譚筠梅，王小鵬，等. 基于機(jī)器視覺(jué)的枸杞分級(jí)方法[J]. 計(jì)算機(jī)工程與應(yīng)用，2013，49(24)：16－18.

Wang Lücheng, Tan Junmei, Wang Xiaopeng, et al. Wolfberry classification method based on machine vision[J]. Computer Engineering and Applications, 2013, 49(24): 16－18. (in Chinese with English abstract)

[2] 李青，彭彥昆. 基于機(jī)器視覺(jué)的豬胴體背膘厚度在線檢測(cè)技術(shù)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2015，31(9)：256－261.

Li Qing, Peng Yankun. Pork back fat thickness on-line detection methods using machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(9): 256－261. (in Chinese with English abstract)

[3] 陳紅，夏青，左婷，等. 破損花菇機(jī)器視覺(jué)檢測(cè)技術(shù)[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2014，45(11)：60－67.

Chen Hong Xia Qing Zuo Ting, et al. Application of machine vision in detection of broken shiitake[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(11): 60－67. (in Chinese with English abstract)

[4] 彭江南，謝宗銘，楊麗明，等. 基于Seed Identification軟件的棉籽機(jī)器視覺(jué)快速精選[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2013，29(23)：147－152.

Peng Jiangnan, Xie Zongming, Yang Liming, et al. Quickly selection for cotton seed based on seed identification software[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(23): 147－152. (in Chinese with English abstract)

[5] 熊俊濤，鄒湘軍，劉念彭，等. 基于機(jī)器視覺(jué)的荔枝果實(shí)采摘時(shí)品質(zhì)檢測(cè)技術(shù)[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2014，45(7)：54－60.

Xiong Juntao, Zou Xiangjun, Liu Nianpeng, et al. Fruit quality detection based on machine vision technology when picking litchi[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(7): 54－60. (in Chinese with English abstract)

[6] 盧軍，付雪媛，苗晨琳. 基于顏色和紋理特征的柑橘自動(dòng)分級(jí)[J]. 華中農(nóng)業(yè)大學(xué)報(bào)，2012，31(6)：783－786.

Lu Jun, Fu Xueyuan, Miao Chenlin, et al. Citrus automatic grading by using color and texture features[J]. Journal of Huazhong Agricultural University, 2012, 31(6): 783－786. (in Chinese with English abstract)

[7] 李希，王天江，周鵬. 一種改進(jìn)的粘連顆粒圖像分割算法[J]. 湖南大學(xué)學(xué)報(bào)：自然科學(xué)版，2012，39(12)：84－88.

Li Xi, Wang Tianjiang, Zhou Peng. An improved segmenting algorithm for touched particle image[J]. Journal Hunan University: Natural Sciences, 2012, 39(12): 84－88. (in Chinese with English abstract)

[8] 楊華東，簡(jiǎn)淼夫. 基于灰度形態(tài)重構(gòu)的顆粒圖像分割方法[J]. 南京工業(yè)大學(xué)學(xué)報(bào)：自然科學(xué)版，2005，27(3)：98－102.

Yang Huadong, Jian Miaofu. The segmentation algorithm of particle image based on grayscale morphological reconstruction[J]. Journal of Nanjing University of Technology, 2005, 27(3): 98－102. (in Chinese with English abstract)

[9] Nee Lim Huey, Mashor Mohd Yusoff, Hassan Rosline. White blood cell segmentation for acute leukemia bone marrow images [J]. Journal of Medical Imaging & Health Informatics, 2012, 2(3): 357－361..

[10] Quan L, Jiang E. Automatic segmentation method of touching corn kernels in digital image based on improved watershed algorithm[C]// International Conference on New Technology of Agricultural Engineering, Zibo, China, 2011, 5(27/28/29): 34－37.

[11] 王桂芹，王正勇，羅代升.基于FCM和標(biāo)記分水嶺的粘連巖石顆粒圖像分割[J]. 四川大學(xué)學(xué)報(bào)：自然科學(xué)版，2012，49(2)：356－360.

Wang Guiqin, Wang Zhengyong, Luo Daisheng. Image segmentation of overlapping rock particles based on FCM and labeling watershed[J]. Journal of Sichuan University: Natural Science Edition, 2012, 49(2): 356－360. (in Chinese with English abstract)

[12] 李文勇，李明，錢建平，等. 基于形狀因子和分割點(diǎn)定位的粘連害蟲(chóng)圖像分割方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2015，31(5)：175－180.

Li Wenyong, Li Ming, Qian Jianping, et al. Segmentation method for touching pest images based on shape factor and separation points location[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(5): 175－180. (in Chinese with English abstract)

[13] 韋冬冬，趙豫紅. 基于凹點(diǎn)匹配的重疊圖像分割算法[J]. 計(jì)算機(jī)與應(yīng)用化學(xué)，2010，27(1)：99－102.

Wei Dongdong, Zhao Yuhong. An image segment algorithm for overlapped particles based on concave points matching [J]. Computers and Applied Chemistry, 2010, 27(1): 99－102. (in Chinese with English abstract)

[14] Yao Yuan, Wu Wei, Yang Tianle, et al. Head rice rate measurement based on concave point matching[J]. Scientific Reports, 2017, 7: 41353.

[15] Hobson D M, Carter R M, Yan Y. Rule based concave curvature segmentation for touching rice grains in binary digital images[C]//Instrumentation and Measurement Technology Conference, Singapore, Singapore, 2009(5): 1685－1689.

[16] Wei Lian, Lei Zhang. Point matching in the presence of outliers in both point sets: A concave optimization approach[J]. Simulation Modelling Practice & Theory, 2014, 41(1): 87－103.

[17] Song Hong, Zhao Qingjie, Liu Yinghong.Splitting touching cells based on concave-point and improved watershed algorithms [J]. Frontiers of Computer Science, 2014, 8(1): 156－162.

[18] 謝忠紅，姬長(zhǎng)英，郭小清，等. 基于凹點(diǎn)搜索的重疊果實(shí)定位檢測(cè)算法研究[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2011，42(12)：191－196.

Xie Zhonghong, Ji Changying, Guo Xiaoqing, et al. Detection and location algorithm for overlapped fruits based on concave spots searching[J]. Transactions of the Chinese Society for Agricultural Machinery, 2011, 42(12): 191－196. (in Chinese with English abstract)

[19] 曾慶兵，劉成良，苗玉彬，等. 基于形態(tài)學(xué)圖像處理的重疊葡萄果徑無(wú)損測(cè)量[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2009，25(9)：356－360.

Zeng Qingbing, Liu Chengliang, Miao Yubin, et al. Non-destructive measurement of diameter of overlapping grape fruit based on morphological image processing[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2009, 25(9): 356－360. (in Chinese with English abstract)

[20] 劉偉華，隋青美. 基于凹點(diǎn)搜索的重疊粉體顆粒的自動(dòng)分離算法[J]. 電子測(cè)量與儀器學(xué)報(bào)，2010，24(12)：1095－1100.

Liu Weihua, Sui Qingmei. Automatic segmentation of overlapping powder particle based on searching concavity points[J]. Journal of Electronic Measurement and Instrument, 2010, 24(12): 1095－1100. (in Chinese with English abstract)

[21] Bai X, Sun C, Zhou F, Splitting touching cells based on concave points and ellipse fitting[J]. Pattern Recognition, 2009, 42(11): 2434－2446.

[22] 李擎，唐歡，遲健男，等. 基于改進(jìn)最大類間方差法的手勢(shì)分割方法研究[J]. 自動(dòng)化學(xué)報(bào)，2017，43(4)：528－537.

Li Qing, Tang Huan, Chi Jiannan, et al. Gesture segmentation with Improved maximum between-cluster variance Algorithm[J]. Acta Automatic Sinica, 2017, 43(4): 528－537. (in Chinese with English abstract)

[23] Kumar R, Pal M, Gulati T. Estimating corroded area of metallic surfaces using edge detection & hole filling[J]. International Journal of Engineering Trends and Technology, 2014, 11(11): 529－536.

[24] Gao H, Tham J Y, Xue P, et al. Complexity analysis of morphological area openings and closings with set union[J]. IET Image Processing, 2008, 2(4): 231－238.

[25] RafaelC.Gonzalez著，阮秋琦，等譯. 數(shù)字圖像處理（第三版）[M]. 北京：電子工業(yè)出版社，2017.

[26] Bosworth J H, Acton S T. Morphological scale-space in image processing[J]. Digital Signal Processing, 2003, 13(2): 338－367.

[27] 王小鵬，郝重陽(yáng)，樊養(yǎng)余. 基于形態(tài)學(xué)尺度空間和梯度修正的分水嶺分割[J]. 電子與信息學(xué)報(bào)，2006，28(3)：485－489.

Wang Xiaopeng, Hao Chongyang, Fan Yangyu, Watershed segmentation technology based on morphological scale-space and Gradient modification[J]. Journal of Electronics & Information, 2006, 28(3): 485－489. (in Chinese with English abstract)

[28] Yan L, Park C W, Lee S R, et al. New separation algorithm for touching grain kernels based on contour segments and ellipse fitting[J]. Frontiers of Information Technology & Electronic Engineering, 2011, 12(1): 54－61.

[29] 李宏輝，郝穎，吳清瀟，等. 基于凹點(diǎn)方向線的粘連藥品圖像分割方法[J]. 計(jì)算機(jī)應(yīng)用研究，2013，30(9)：2852－2854.

Li Honghui, Hao Ying, Wu Qingxiao, et al. Based on concave point direction line adhesion drug image segmentation method[J]. Application Research of Computers, 2013, 30(9): 2852－2854. (in Chinese with English abstract)

[30] Zhong Q, Zhou P, Yao Q,et al. A novel segmentation algorithm for clustered slender-particles[J]. Computers & Electronics in Agriculture, 2009, 69(2): 118－127.

Wolfberry image segmentation based on morphological multi-scale reconstruction and concave points matching

Wang Xiaopeng, Yao Lijuan, Wen Haotian, Zhao Junjun

(,730070,)

The traditional Chinese wolfberry classification usually adopts manual grading in terms of the wolfberry characteristics of size, color, surface defects, and so on. It is a time-consuming and inefficient work. Fortunately, machine vision provides an efficient and fast way to improve the classification efficiency and accuracy. During the process of wolfberry classification by machine vision, the first and important task is to segment wolfberry particles from the image, and then classify them into different grades according to their characteristics. However, the accuracy of wolfberry image segmentation process is often hindered by a number of constraints including noise, inhomogeneous intensity, complex adherent and overlapped particles, which easily cause the decline of segmentation accuracy, and subsequently affect the wolfberry classification effect. For the purpose to improve the accuracy and efficiency of wolfberry image segmentation, a method for efficient segmentation of adherent wolfberries based on morphological multi-scale reconstruction and concave points matching is hereby proposed. Firstly, the red component of the original color image is extracted to partially remove the shadow noise around or inside the wolfberries, and then the red component image is reconstructed by morphological multi-scale mixture opening-closing reconstruction to further smoothen the interior of wolfberries while preserving the contour edge information. Since such reconstruction operation can effectively retain the interesting contour edge of wolfberry particles and eliminate the irregular details, the influence of wolfberries edge contours blur and location offset on the subsequent classification will be greatly reduced. The binary regions of wolfberries are extracted from the reconstructed image by the method of maximum between-cluster variance, and the holes in the interior of wolfberries are filled by morphological filling operator. In the filled binary image, there are 2 kinds of wolfberries. One kind consists of single non-adherent wolfberries particles, and can be extracted by morphological area opening operation without further processing. The other kind mainly contains adherent or overlapped wolfberries particles, and needs to further segment, so 8-neighborhood tracking algorithm is used to extract the edge of single pixel contours of the adherent wolfberries. Taking into account that the shape of wolfberry is ellipsoid, the concave points usually locate in the edges where they are touched or overlapped with each other. Therefore the circular template is used to detect these edge concave points. For the incorrect concave point’s pairs matched by the shortest Euclidean distance as fitting condition, they can be modified according to the unequal pixel distance between the middle point of the connecting line and the boundary point since the length-to-width ratio of the wolfberry is obvious. When all the concave points’ pairs of the adherent wolfberries are confirmed, adherent wolfberries are clearly segmented. The final segmentation results are the combination of single non-adherent and adherent or overlapped wolfberries. The simulation results show that this method can achieve more accurate segmentation results and lower over-segmentation rate compared with the methods of mark-controlled watershed, direct concave points matching, and watershed combined with concave point segmentation, and is especially suitable for the segmentation of adherent wolfberries. The highest accurate segmentation rate is 96% while over-segmentation rate less than 2%.

image segmentation; image acquisition; crops; multi-scale opening and closing reconstruction; edge extraction; concave points matching

10.11975/j.issn.1002-6819.2018.02.029

TP391.41

A

1002-6819(2018)-02-0212-07

2017-09-26

2017-12-31

國(guó)家自然科學(xué)基金資助項(xiàng)目（61761027，61261029）

王小鵬，教授，博士生導(dǎo)師，主要從事圖像處理與分析。 Email：wangxp1969@sina.com

王小鵬，姚麗娟，文昊天，趙君君. 形態(tài)學(xué)多尺度重建結(jié)合凹點(diǎn)匹配分割枸杞圖像[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34(2)：212－218. doi：10.11975/j.issn.1002-6819.2018.02.029 http://www.tcsae.org

Wang Xiaopeng, Yao Lijuan, Wen Haotian, Zhao Junjun. Wolfberry image segmentation based on morphological multi-scale reconstruction and concave points matching[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(2): 212－218. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2018.02.029 http://www.tcsae.org