谷類作物粘連顆粒圖像分割方法研究進(jìn)展

申 冉， 甄 彤， 李智慧， 高 輝

(糧食信息處理與控制重點(diǎn)實(shí)驗(yàn)室；河南工業(yè)大學(xué)信息科學(xué)與工程學(xué)院，鄭州 450001)

在糧食品質(zhì)檢測(cè)過(guò)程中，常需對(duì)糧食的數(shù)量、品種、不完善粒等進(jìn)行統(tǒng)計(jì)識(shí)別。傳統(tǒng)識(shí)別方法是人眼識(shí)別，費(fèi)時(shí)費(fèi)力且極具主觀性。隨著糧食信息化水平的不斷提升，逐漸采用機(jī)器視覺(jué)方法進(jìn)行改進(jìn)[1]。由于糧食顆粒較小，密集等，在實(shí)際處理中經(jīng)常出現(xiàn)粘連甚至重疊的現(xiàn)象，為提高不完善顆粒等的識(shí)別精度和效率，需要對(duì)顆粒進(jìn)行更好的分割。

在采用計(jì)算機(jī)視覺(jué)處理粘連籽粒圖像分割問(wèn)題中，現(xiàn)有文獻(xiàn)多數(shù)基于先驗(yàn)知識(shí)進(jìn)行算法改進(jìn)，如Shatadal等[2]通過(guò)對(duì)谷物腐蝕膨脹而后填充空洞區(qū)域?qū)崿F(xiàn)分割。Chaladchai等[3]基于邊緣獲取分離端點(diǎn)繪制分割線實(shí)現(xiàn)分割。少有學(xué)者針對(duì)粘連籽粒圖像結(jié)合深度學(xué)習(xí)模型進(jìn)行研究。為確定更適合于粘連顆粒圖像的分割方法，本文梳理和總結(jié)了傳統(tǒng)分割方法的優(yōu)缺點(diǎn)，重點(diǎn)闡述分水嶺法和凹點(diǎn)分割在粘連分割中的應(yīng)用，此外還歸納了圖像分割深度學(xué)習(xí)算法的時(shí)間線，重點(diǎn)闡述基于U-Net和Mask R-CNN的方法。最后總結(jié)了用于圖像分割的權(quán)威數(shù)據(jù)集，并對(duì)粘連圖像分割面臨的挑戰(zhàn)和未來(lái)熱門發(fā)展方向進(jìn)行了展望。

1 傳統(tǒng)分割方法

根據(jù)分割方式的不同，將傳統(tǒng)分割方法劃分為基于閾值、邊緣、區(qū)域、圖論、像素聚類、能量泛函、形態(tài)學(xué)的7種分割方法。

基于閾值的分割方法是通過(guò)設(shè)置分割閾值，將目標(biāo)和背景分割。常見(jiàn)的有固定閾值法、直方圖雙峰法、迭代閾值法、OTSU(大津法)、最大熵法等。

基于邊緣檢測(cè)的分割方法是針對(duì)圖像的邊緣像素特點(diǎn)進(jìn)行分割。常用微分算子來(lái)確定邊緣，一階微分算子有Canny[4]、Roberts[5]、Prewitt[6]、Sobel[7]算子，二階微分算子有Laplacian[8]、Log[9]算子。

基于圖論分割是將圖像分割問(wèn)題與圖的最小割問(wèn)題相關(guān)聯(lián)，將圖像映射為帶權(quán)無(wú)向圖，將圖劃分為若干子圖而實(shí)現(xiàn)分割。而分割的最優(yōu)原則就是使劃分后的子圖保持內(nèi)部相似性最大，子圖之間相似性最小。目前基于圖論的方法有GraphCut[10]、GrabCut[11]等。

基于像素聚類的圖像分割是根據(jù)聚類結(jié)果得出的類別向其中添加不同灰度值實(shí)現(xiàn)分割，主要方法有MeanShift[12]、K-means[13]?；诔袼氐膱D像分割是把像素級(jí)的圖劃分成區(qū)域級(jí)的圖,即把具有相似特性的像素聚合，超像素處理方法有Turbopixels[14]、SLIC[15]等。

基于區(qū)域的圖像分割方法根據(jù)同一區(qū)域內(nèi)像素具有的相似性質(zhì)(包括灰度值、紋路、顏色等)來(lái)聚集像素點(diǎn)，包括區(qū)域生長(zhǎng)法、區(qū)域分裂合并法、分水嶺法等。

基于能量泛函的方法主要是活動(dòng)輪廓模型，其思想是定義一個(gè)函數(shù)曲線來(lái)表達(dá)目標(biāo)圖像的邊緣，再定義一個(gè)自變量包括邊緣曲線的能量函數(shù)，使該能量泛函最小的那條邊緣曲線就是目標(biāo)輪廓的分割線。按照邊緣曲線表達(dá)形式的不同，活動(dòng)輪廓模型可以分為參數(shù)活動(dòng)輪廓模型和幾何活動(dòng)輪廓模型,參數(shù)活動(dòng)輪廓模型中具有代表性的有Snake[16]、ASM[17]、AAM[18]等。

基于數(shù)學(xué)形態(tài)學(xué)方法主要指分割前的一系列預(yù)處理方法，包括腐蝕與膨脹、開(kāi)運(yùn)算和閉運(yùn)算。腐蝕使目標(biāo)縮小、孔徑增大。膨脹使目標(biāo)增大、孔徑縮小。開(kāi)運(yùn)算先腐蝕后膨脹去除小塊像素，閉運(yùn)算先膨脹處理再腐蝕處理填補(bǔ)邊緣縫隙。

2 傳統(tǒng)分割方法的比較

傳統(tǒng)分割方法對(duì)于不同的分割情況具有不同的分割效果，現(xiàn)將7種傳統(tǒng)分割方法進(jìn)行比較，如表1所示。使用程度表示對(duì)粘連籽粒分割的適用程度，“+”越多適用性越強(qiáng)。

表1 傳統(tǒng)分割方法的比較

3 基于傳統(tǒng)方法的粘連分割

目前，常用于處理粘連分割的方法包括分水嶺法、基于凹點(diǎn)檢測(cè)方法。

3.1 分水嶺法

分水嶺法是將一副灰度圖像看作是地質(zhì)學(xué)表面，圖像中的灰度值代表地形圖中的海拔高度。

分水嶺算法大致步驟為：先將圖像分為不同的梯度，然后通過(guò)一定規(guī)則生成注水區(qū)域，然后向注水區(qū)域內(nèi)加水，當(dāng)兩注水區(qū)域即將合并時(shí)，記錄下此時(shí)的邊界，當(dāng)圖像邊緣徹底被分割成n個(gè)獨(dú)立區(qū)域時(shí)算法結(jié)束。

分水嶺算法是一種基于區(qū)域的圖像分割算法。分割時(shí)把像素值相近的點(diǎn)和物理位置相近的點(diǎn)相連，形成一個(gè)封閉區(qū)域。然而分水嶺算法會(huì)忽略微弱邊緣。燕紅文等[19]采用大津法對(duì)燕麥籽粒進(jìn)行預(yù)處理，分水嶺法分割粘連區(qū)域，消除了過(guò)度分割，準(zhǔn)確率達(dá)到98.55%，但隨著燕麥的數(shù)量和重疊區(qū)域的增加，該方法的準(zhǔn)確率大大降低，因此只適用于粘連不太嚴(yán)重的情況。張建華等[20]結(jié)合最小二乘圓理論利用分水嶺法對(duì)棉花葉部粘連病斑進(jìn)行分割，準(zhǔn)確率為91.25%，但對(duì)于重疊度高的病斑會(huì)存在欠分割的情況。

3.2 凹點(diǎn)分割

凹點(diǎn)分割主要部分就是如何確定凹點(diǎn)，方法有3種：方向鏈碼法、矢量夾角法和切線法。

在鏈碼法中，針對(duì)某個(gè)特定像素周圍的像素點(diǎn)，按照水平垂直對(duì)角線定義4個(gè)方向，用0、1、2、3分別表示0°、90°、180°和270°4個(gè)方向，也可以定義8個(gè)方向：0、1、2、3、4、5、6、7。如圖1所示。用這種規(guī)則表達(dá)的邊界曲線可以表示為式(1)：

由平均鏈碼差代表偏轉(zhuǎn)角度，即曲率，曲率的極值點(diǎn)作為凹點(diǎn)。

圖1 4-鏈碼和8鏈碼示意圖[21]

矢量夾角法是對(duì)邊界上的每一個(gè)點(diǎn)，尋找與其步長(zhǎng)相同的前驅(qū)點(diǎn)和后繼點(diǎn)，將該點(diǎn)分別和其前驅(qū)點(diǎn)和后繼點(diǎn)進(jìn)行連線，根據(jù)2個(gè)連線構(gòu)成的夾角的正負(fù)和大小判斷該點(diǎn)是否為凹點(diǎn)。

切線法思想在于通過(guò)邊界上某點(diǎn)的切線是否通過(guò)連通區(qū)域內(nèi)部來(lái)判斷此點(diǎn)是否是凹點(diǎn)。如果凹點(diǎn)的兩側(cè)的點(diǎn)都在區(qū)域外部，則此點(diǎn)為局部凸點(diǎn),如果在區(qū)域內(nèi)部，此點(diǎn)為局部凹點(diǎn),若一條直線與區(qū)域邊界多點(diǎn)相切，那么這些點(diǎn)為該物體最大凸點(diǎn)。

張寶全等[22]研究基于凹點(diǎn)分析的粘連雞體分割，使用大津法和形態(tài)學(xué)處理進(jìn)行預(yù)處理，正方形模板確定凹點(diǎn)位置，平均分割準(zhǔn)確率為92.8%。陳樹(shù)越等[23]提出基于凹點(diǎn)檢測(cè)的糧倉(cāng)粘連害蟲(chóng)圖像分割方法，采用Harris算法計(jì)算角點(diǎn)，通過(guò)極大值抑制選出凹點(diǎn)，分割有效率為92.5%。劉宰豪[24]針對(duì)凹點(diǎn)檢測(cè)算法存在的凹點(diǎn)判別不準(zhǔn)確和欠分割的問(wèn)題，提出一種重心輔助凹點(diǎn)匹配的新思路。樊萌萌[25]提出基于3點(diǎn)夾角的凹點(diǎn)檢測(cè)算法和具有自適應(yīng)特性的凹點(diǎn)匹配方法，解決2粒大米的分割問(wèn)題。

3.3 基于分水嶺和基于凹點(diǎn)方法相結(jié)合

分水嶺方法進(jìn)行分割容易造成過(guò)度分割的現(xiàn)象，凹點(diǎn)分割中由于容易將噪聲點(diǎn)識(shí)別為凹點(diǎn)，且凹點(diǎn)的錯(cuò)誤匹配會(huì)導(dǎo)致分割不準(zhǔn)確。因此，更多學(xué)者選擇將兩種方法相結(jié)合克服各自缺點(diǎn)。高星[26]進(jìn)行基于標(biāo)記分水嶺和凹點(diǎn)的粘連大米圖像分割技術(shù)研究，該研究先使用形態(tài)學(xué)方法修正標(biāo)記圖像，再對(duì)標(biāo)記圖像使用分水嶺算法抑制過(guò)分割現(xiàn)象，最后使用五點(diǎn)夾角法與鏈碼差法進(jìn)行凹點(diǎn)分割。吳淑珍等[27]使用曲率確定凹點(diǎn)，利用凹點(diǎn)進(jìn)行前景標(biāo)記，最后利用基于標(biāo)記的分水嶺算法對(duì)粘連谷物顆粒進(jìn)行分割。準(zhǔn)確率達(dá)到96.4%。

4 基于深度學(xué)習(xí)的分割方法

根據(jù)分割程度不同可將圖像分割分為實(shí)例分割和語(yǔ)義分割。將基于深度學(xué)習(xí)的圖像實(shí)例分割經(jīng)典技術(shù)發(fā)展進(jìn)程進(jìn)行整理，如圖2所示。將基于深度學(xué)習(xí)的圖像語(yǔ)義分割經(jīng)典技術(shù)發(fā)展進(jìn)程進(jìn)行整理，如圖3所示。

圖2 圖像實(shí)例分割技術(shù)進(jìn)展

圖3 圖像語(yǔ)義分割技術(shù)進(jìn)展

5 深度學(xué)習(xí)方法在粘連顆粒中的應(yīng)用

深度學(xué)習(xí)方法可以避免傳統(tǒng)分割方法的造成的分割效果不好，提取特征復(fù)雜，識(shí)別準(zhǔn)確率低的問(wèn)題，具有很好的魯棒性和普適性。目前基于深度學(xué)習(xí)的谷物籽粒識(shí)別方法分別有基于分類網(wǎng)絡(luò)、目標(biāo)檢測(cè)網(wǎng)絡(luò)和語(yǔ)義分割、實(shí)例分割網(wǎng)絡(luò)的研究。

基于分類網(wǎng)絡(luò)：劉鵬[28]采集完善粒、蟲(chóng)蝕粒、生芽粒、生霉粒、破損粒、赤霉病粒和黑胚粒七種小麥粒的高光譜圖像，使用支持向量機(jī)(SVM)方法、卷積神經(jīng)網(wǎng)絡(luò)(CNN)方法、CNN結(jié)合MobileNetV2方法分別進(jìn)行識(shí)別，并將3種方法實(shí)驗(yàn)結(jié)果進(jìn)行對(duì)比，最終發(fā)現(xiàn)，利用CNN結(jié)合MobileNetV2方法識(shí)別準(zhǔn)確率最高，達(dá)到97%。劉林[29]通過(guò)對(duì)VGG網(wǎng)絡(luò)，Inception-V3網(wǎng)絡(luò)，ResNet-50網(wǎng)絡(luò)進(jìn)行遷移，識(shí)別登海518、浚單20和鄭單958三種玉米類型。

基于目標(biāo)檢測(cè)：武威[30]使用Faster R-CNN模型進(jìn)行分割不同環(huán)境下的小麥籽粒，克服了傳統(tǒng)分割算法無(wú)法適應(yīng)復(fù)雜背景和尺寸變化的缺點(diǎn)，相比于SSD模型精度提高0.2。但隨著籽粒數(shù)量增加該模型的運(yùn)行時(shí)間也會(huì)增加。付傳廣[31]使用空洞卷積、擠壓和激勵(lì)模塊對(duì)Faster R-CNN模型進(jìn)行改進(jìn)，實(shí)現(xiàn)玉米的完好粒、霉變粒和蟲(chóng)蛀粒的檢測(cè)，獲得97.4%的平均檢測(cè)精確率。

基于語(yǔ)義分割實(shí)現(xiàn)谷物籽粒識(shí)別的常用網(wǎng)絡(luò)模型有U-Net網(wǎng)絡(luò)，基于實(shí)例分割的有Mask R-CNN網(wǎng)絡(luò)。

5.1 基于U-Net網(wǎng)絡(luò)的粘連顆粒分割

U-Net[32]模型提出的初衷是為了解決醫(yī)學(xué)圖像分割的問(wèn)題，U-Net模型前半部分是下采樣，擴(kuò)大感受野進(jìn)行特征提??；后半部分是拼接并上采樣，進(jìn)行特征融合，最終將圖片還原為原始尺寸。

如圖4所示，對(duì)輸入圖像先卷積，再池化，再卷積，再池化，如此循環(huán)進(jìn)行4次，得到14×14大小的特征圖，再對(duì)特征圖進(jìn)行卷積，上采樣，再卷積，再上采樣，如此循環(huán)進(jìn)行4次，最終得到與原始輸入圖像尺寸相同的預(yù)測(cè)結(jié)果。此外，在上采樣過(guò)程中每次上采樣后都要和下采樣過(guò)程中得到的相同尺寸特征圖進(jìn)行拼接。

圖4 U-Net網(wǎng)絡(luò)模型圖[32]

陳進(jìn)等[33]在原始U-Net網(wǎng)絡(luò)模型上加深網(wǎng)絡(luò)深度，引入歸一化層避免過(guò)擬合，實(shí)現(xiàn)水稻圖像中的籽粒、莖稈和枝梗的分割，分割準(zhǔn)確度分別達(dá)到99.42%、88.56%、86.84%，但是由于改進(jìn)后層數(shù)加深導(dǎo)致模型處理時(shí)間增加。鄧楊等[34]將U-Net網(wǎng)絡(luò)和MobileNetV2網(wǎng)絡(luò)相結(jié)合提出了一種輕量級(jí)網(wǎng)絡(luò)IMUN，實(shí)現(xiàn)對(duì)大米堊白部分的分割，進(jìn)一步獲取大米堊白率，分割準(zhǔn)確率達(dá)到94%。Liang等[35]在U-Net模型下采樣部分在1024通道特征圖之后添加金字塔池化模塊，實(shí)現(xiàn)小麥白粉病孢子分割和計(jì)數(shù)，與原有的U-Net相比，改進(jìn)的網(wǎng)絡(luò)結(jié)構(gòu)具有更高的分割精度，miou指標(biāo)達(dá)到91.4%。鄧國(guó)強(qiáng)等[36]在U-Net原有網(wǎng)絡(luò)基礎(chǔ)上在下采樣后添加5層dropout和1層連接層，對(duì)小麥麥穗圖像進(jìn)行分割，檢測(cè)赤霉病穗，解決了過(guò)擬合問(wèn)題，提高模型泛化能力，平均檢測(cè)精度為97%，但如果不擴(kuò)充數(shù)據(jù)集，模型本身存在很大的漏檢問(wèn)題。

目前基于U-Net網(wǎng)絡(luò)模型實(shí)現(xiàn)谷物分割存在的普遍問(wèn)題包括：目標(biāo)重疊程度較大，顏色相似的情況下，分割準(zhǔn)確率降低；受目標(biāo)所在背景影響較大?？蓢L試加深網(wǎng)絡(luò)層數(shù)解決。

5.2 基于Mask R-CNN網(wǎng)絡(luò)的粘連顆粒分割

Mask R-CNN[37]通過(guò)擴(kuò)展Faster R-CNN達(dá)到簡(jiǎn)單、快速、靈活的特點(diǎn)，分割的準(zhǔn)確率和速率超過(guò)以往所有實(shí)例分割結(jié)果。Mask R-CNN包括以下子模塊：骨干網(wǎng)絡(luò)，區(qū)域建議網(wǎng)絡(luò)(RPN)，RoIAlign層，語(yǔ)義分割網(wǎng)絡(luò)，分類和回歸，如圖5所示。Mask R-CNN使用ResNet101作為主干特征提取網(wǎng)絡(luò)，提取的特征為原圖像的長(zhǎng)寬分別壓縮了2次、3次、4次、5次的結(jié)果，利用這些特征圖構(gòu)造特征金字塔網(wǎng)絡(luò)實(shí)現(xiàn)特征多尺度的融合，最終得到有效特征層。一方面，這些有效特征層作為區(qū)域建議網(wǎng)絡(luò)的輸入，得到建議框。另一方面作為分類器和語(yǔ)義分割網(wǎng)絡(luò)的輸入，分別得到準(zhǔn)確的預(yù)測(cè)框和語(yǔ)義分割結(jié)果。

圖5 Mask R-CNN網(wǎng)絡(luò)模型圖[37]

謝元澄等[38]通過(guò)修改特征提取網(wǎng)絡(luò)的層數(shù)對(duì)Mask R-CNN網(wǎng)絡(luò)進(jìn)行改進(jìn)，實(shí)現(xiàn)對(duì)單株麥穗中的籽粒進(jìn)行分割，將分割結(jié)果和利用全卷積網(wǎng)路(FCN)方法進(jìn)行的分割結(jié)果進(jìn)行對(duì)比，實(shí)驗(yàn)表明利用Mask R-CNN網(wǎng)絡(luò)模型處理速度是FCN的8.5倍。SU等[39]利用Mask R-CNN網(wǎng)絡(luò)檢測(cè)小麥麥穗顆粒中是否含有赤霉病粒，檢出率為98%。YANG等[40]提出一種新的合成圖像生成和增強(qiáng)方法，對(duì)Mask R-CNN網(wǎng)絡(luò)模型進(jìn)行微調(diào)，將掩碼的損失權(quán)重設(shè)置為2，其他損失權(quán)重設(shè)為1，在全連接層添加值為0.5的丟失概率，實(shí)現(xiàn)對(duì)大豆顆粒的分割，進(jìn)而塑造大豆的表型數(shù)據(jù)。YU等[41]利用Mask R-CNN網(wǎng)絡(luò)模型，調(diào)整最小檢測(cè)置信度為0.5，分別實(shí)現(xiàn)單株水稻穗上的所有水稻顆粒和散落顆粒的檢測(cè)，檢測(cè)精確度分別達(dá)到82%和97%。

目前基于Mask R-CNN網(wǎng)絡(luò)模型實(shí)現(xiàn)谷物分割存在的普遍問(wèn)題包括：數(shù)據(jù)量嚴(yán)重影響檢測(cè)速度、檢測(cè)結(jié)果受像素級(jí)標(biāo)注的影響大、存在漏檢情況。

6 分割數(shù)據(jù)集

本節(jié)對(duì)圖像分割的常用公共數(shù)據(jù)集予以統(tǒng)計(jì)，對(duì)每個(gè)數(shù)據(jù)集的內(nèi)容、特點(diǎn)等作簡(jiǎn)要介紹，如表2所示。

表2 圖像分割常用數(shù)據(jù)集

7 總結(jié)

本文對(duì)傳統(tǒng)圖像分割和基于深度學(xué)習(xí)的圖像分割常用方法進(jìn)行簡(jiǎn)要總結(jié)，著重總結(jié)適用于粘連籽粒圖像的分割方法。傳統(tǒng)的分割方法有分水嶺法，基于凹點(diǎn)的分割方法等,此外，為了彌補(bǔ)分水嶺方法造成的過(guò)分割和基于凹點(diǎn)分割不準(zhǔn)確的情況，可將2種方法相結(jié)合?；谏疃葘W(xué)習(xí)的方法常用的有U-Net模型和Mask R-CNN模型。U-Net屬于語(yǔ)義分割范疇，用深層特征進(jìn)行定位，淺層特征進(jìn)行精確分割，可嘗試對(duì)較少糧食顆粒樣本進(jìn)行分割。Mask R-CNN屬于實(shí)例分割范疇，既保留了谷物位置信息，又保留了語(yǔ)義信息。兩者都適用于對(duì)于邊界模糊、梯度復(fù)雜特點(diǎn)的圖像處理。最后對(duì)基于深度學(xué)習(xí)的分割常用的數(shù)據(jù)集進(jìn)行簡(jiǎn)要介紹。

目前，粘連籽粒的圖像分割多使用傳統(tǒng)方法，隨著深度學(xué)習(xí)的性能和精度不斷完善，使用基于深度學(xué)習(xí)的方法解決粘連籽粒圖像分割有望成為趨勢(shì)。目前所面臨的挑戰(zhàn)有3個(gè)方面：沒(méi)有關(guān)于粘連籽粒的圖像完善標(biāo)準(zhǔn)的公共數(shù)據(jù)集，且數(shù)據(jù)集的標(biāo)注是一大項(xiàng)復(fù)雜繁瑣的任務(wù)；由于不同籽粒形狀，邊緣特點(diǎn)各有差異，因此任何一種分割算法都不可能適用于各種籽粒，需要針對(duì)不同籽粒選擇不同網(wǎng)絡(luò)模型；在實(shí)際分割應(yīng)用場(chǎng)景中，分割性能和準(zhǔn)確率都要兼顧。因此，今后使用深度學(xué)習(xí)方法進(jìn)行粘連顆粒圖像的分割是極具潛力的研究方向。