粘連顆粒圖像的分割方法綜述

高 輝， 甄 彤，李智慧

(糧食信息處理與控制重點實驗室；河南工業(yè)大學信息科學與工程學院，鄭州 450001)

圖像分割是基于灰度、顏色、紋理和幾何等特征，分割提取感興趣目標的技術(shù)和過程，其作為圖像處理到圖像分析的關(guān)鍵步驟，既是難點，也是熱點[1]。常應用于醫(yī)學影像處理、無人駕駛、智能安防、衛(wèi)星遙感、智慧農(nóng)業(yè)、生物特征識別等領(lǐng)域[2]。而粘連顆粒分割是將重疊或粘連的顆粒分割成單個顆粒，以便提供精簡且可靠的圖像特征[3]。在糧食、生物、農(nóng)產(chǎn)品領(lǐng)域，經(jīng)常根據(jù)小麥、大米、花生、大豆、枸杞、蠶繭、菌落等顆粒的形狀、數(shù)目、色澤、紋理等進行分類、計數(shù)或等級評價[4]；在醫(yī)學圖像方面，能夠準確、方便、定性、定量的識別分析血細胞、干細胞、病變細胞等，對臨床診斷具有極大幫助[5]；在工業(yè)應用中，氣液兩相流中氣液比例直接影響產(chǎn)品的質(zhì)量和性能，不同類型的煤粒、礦石適用于不同場景，自動的分割分類直接影響采礦的成本[6]。

本文主要通過闡述基于傳統(tǒng)圖像和深度學習的圖像分割方法，對比分析在粘連顆粒分割領(lǐng)域的方法、效果及優(yōu)缺點，從而找尋更適合于粘連顆粒分割領(lǐng)域的分割方法，為該領(lǐng)域方向的研究尋找突破口。

1 傳統(tǒng)圖像分割方法

傳統(tǒng)圖像分割方法通常基于閾值、邊緣、聚類、區(qū)域、形態(tài)學、圖論、特定理論等。針對不同的分割任務，可選取的分割方法及關(guān)鍵技術(shù)各不相同，各有優(yōu)劣。對于粘連顆粒的實際分割中，這些分割方法常作為分割的中間手段、預處理方法等。除此之外，粘連顆粒通常具有尺寸小、隨機散落、數(shù)量眾多、形狀不規(guī)則及邊緣特征模糊等特點，故結(jié)合這些分割方法，重點闡述適用于粘連顆粒分割的分水嶺、凹點的傳統(tǒng)分割方法。

1.1 基于分水嶺的分割方法

分水嶺算法適合于梯度值具備類似山峰山谷結(jié)構(gòu)的灰度圖像分割，對不符合分水嶺結(jié)構(gòu)的圖像，往往需進行梯度變換。該算法對微弱邊緣具有良好響應，針對圖像中的噪聲、局部不規(guī)則及物體表面的細微的灰度變化，會在內(nèi)部形成極小值，造成過分割[7]。

楊蜀秦等[8]對籽粒圖像進行距離變換使其梯度幅值滿足分水嶺算法要求，利用形態(tài)學膨脹合并籽粒內(nèi)部重復極小值。孔繁圣等[9]通過連通域內(nèi)像素數(shù)量判斷是否為單顆粒，進行多層次距離變換，直至實現(xiàn)單顆粒標記。因分水嶺算法的封閉性，導致目標封閉的背景被分割為目標區(qū)域，將預處理得到的二值圖作為蒙版，可過濾掉背景部分。Miao等[10]同時分割處血液涂片種的紅細胞與白細胞，基于白細胞有細胞核，紅細胞為無核的雙凹圓盤狀細胞，分階段分別對白細胞細胞核和血細胞進行基于距離變換的標記控制分水嶺算法。

王鑫等[11]基于形態(tài)學腐蝕操作，為防止不斷的腐蝕造成細胞種子點誤刪，采用目標異或操作，細胞種子區(qū)域小代替大，有替代無。最后通常采用標記分水嶺方法標記種子點，得到粘連細胞分界線。蔡改貧等[12]針對不同形狀、顏色的礦石出現(xiàn)的粘連、邊緣模糊等問題，采用基于形態(tài)學優(yōu)化處理的標記分水嶺算法。其指出形態(tài)學處理與結(jié)構(gòu)元素密切相關(guān)，對比采用球形、圓形、八角形、矩形、方形等結(jié)構(gòu)元素進行腐蝕膨脹操作，矩形結(jié)構(gòu)對礦石分割率最高。

劉向南等[13]以靈武長棗為研究對象，在分水嶺分割算法基礎(chǔ)上，利用遺傳算法的選擇、交叉和變異操作尋找最佳分割閾值，對20幅圖像分割正確率達89.99%。Gamarra等[14]結(jié)合標記控制的分水嶺(MC-Watershed)與新的分離和合并分水嶺(SM- Watershed)算法分割細胞圖像，因應用MC-Watershed不能將所有粘連目標分割，對不充分分割圖像，利用細胞的固有特征(大小、凹凸性)，再次應用分水嶺算法進行分離，對過分割目標，利用細胞面積、偏心率等，消除分割線，有效平衡過分割與欠分割。王婭等[15]基于HIS模型，充分利用圖像彩色信息，提取形態(tài)學標記的紅細胞中心與基于亮度、飽和度分量提取出的圖像的極值點，可精確標記圖像前景區(qū)域，根據(jù)S分量在粘連細胞處梯度幅值較大，I分量在細胞邊緣更加平滑，可確定細胞邊界，再應用標記分水嶺。

1.2 基于凹點的粘連圖像分割

凹點是由兩個或多個目標因相互接觸或重疊而在物體邊緣形成的一種特征點[16]。凹點分割方法常包括三步：凹點檢測、匹配和分割凹點對。凹點檢測常利用曲率、夾角、凸殼、鏈碼、模板搜索、曲線凹凸性變換等方法獲取凹點位置，再通過凹點匹配、定向腐蝕、圓周擬合等方法實現(xiàn)分割。

樊蒙蒙等[3]將實際檢測中大米的分割問題轉(zhuǎn)化為兩粒粘連大米的分割問題。利用Roberts、Canny等算子進行邊緣輪廓檢測，設(shè)定步長step，計算外輪廓上一點與其前繼點和后繼點的夾角，如式(1)所示。

angle=arccos(a2+b2-c2)/2ab

(1)

式中：angle為前繼點、后繼點與當前點的夾角；a、b、c為三角形三條邊。

凹點判斷依據(jù)為根據(jù)步長加大，夾角增大和夾角包圍圖像是背景灰度值。K均值聚類將凹點分為兩類，根據(jù)凹點間最短劃線準則，凹點線段的中垂線一定范圍內(nèi)的灰度值為大米灰度進行凹點匹配，如圖1所示。

圖1 基于凹點的大米分割圖[3]

孫衛(wèi)紅[17]為解決粘連蠶繭難以分割問題，其利用正方形模板的凹點搜索方法，如圖2所示。凹點判斷依據(jù)為輪廓凹點的模板陰影面積小，凸點的陰影面積大。其利用定向腐蝕算法代替凹點匹配方法，計算出腐蝕方向和角度，實現(xiàn)分割。該方法極易將兩個間距近而未粘連的蠶繭誤判為凹點，對疑似凹點，需進一步根據(jù)當前點、前繼點與后繼點的夾角進行篩選。

圖2 利用正方形模板的凹點搜索算法[17]

Yao等[18]基于正方形模板算法原理檢測出凹點，以當前點、前繼點與后繼點畫出凹點夾角zman，并認為所匹配的另一凹點b必在該夾角的對稱角的置信輻射區(qū)域內(nèi)，輔以最短劃線準則分割，如圖3所示。Lin等[19]選取曲率的極值點，作為目標輪廓的凹點，通過凹點對應的置信輻射區(qū)域、最短距離、分割線長度限制原則進行凹點匹配，且分割算法不受籽粒其他參數(shù)影響，消除手工非接觸放置大米的局限性。林雪華等[20]進一步采用8鄰域跟蹤方法提取輪廓，根據(jù)鏈碼差和曲率結(jié)果搜索凹點，對15粒粘連大米分割有較高精度。穆晶晶等[21]針對計算氣液比例時，大氣泡易重疊問題，提出曲線凹凸性變換算法，即輪廓點到質(zhì)心距離的極小值點就是凹點。為解決以最短劃線準則造成分割后的輪廓不完整的問題，提出最小二乘法圓周擬合插值算法進行重疊氣泡輪廓重構(gòu)。

圖3 凹點對應的置信輻射區(qū)域圖[18]

王小鵬等[22]采用圓形模板，根據(jù)模板位于顆粒內(nèi)部的弧長占周長的比例設(shè)定閾值進行凹點檢測，最短歐氏距離進行匹配，在已匹配的凹點連線上做中垂線，向垂線兩端逐點掃描，在一定范圍內(nèi)均為檢測到邊緣點即為正確匹配，如圖4所示。

圖4 真假凹點判斷圖[22]

布芳[23]根據(jù)面積值和長寬比先選出大米顆粒粘連區(qū)域，通過將粘連輪廓的凸閉包與原連通區(qū)域輪廓圖像相減，得到凹區(qū)域，尋找凹區(qū)域間最短的點作為候選凹點，再根據(jù)凹點夾角為銳角確定真正的凹點。劉宰豪[24]結(jié)合凹度、矢量面積、位置關(guān)系三種判據(jù)進行凹點判斷，即凹陷程度達到一定角度閾值，當前點、前繼點、后繼點構(gòu)成的三角形矢量面積為正，候選凹點的前繼點與后繼點連線在粘連區(qū)域外側(cè)三個條件同時滿足，即為真實凹點。除此之外，使用快速變換徑向?qū)ΨQ算法提取粘連圓形目標圖像的重心，利用重心輔助凹點匹配實現(xiàn)簡單型、串聯(lián)型、并聯(lián)型、串并聯(lián)結(jié)合型目標分割。

傳統(tǒng)粘連圖像分割方法比較見表1。分水嶺算法、凹點檢測算法通常需結(jié)合形態(tài)學操作、邊緣檢測等操作或優(yōu)化算法，該方法在顆粒分割中廣泛使用，對包含目標數(shù)目較多的目標也能實現(xiàn)分割，簡單快速，準確率較高。對于復雜粘連目標，結(jié)合深度學習，預先檢測粘連顆粒類型，也能達到理想分割效果。但顯而易見，大部分傳統(tǒng)分割算法通常用于分割粘連程度低，背景、邊緣輪廓簡單的圖像。與此同時，此類算法往往用于谷粒、細胞、蠶繭等的計數(shù)等，對分割的輪廓精度要求不高。

表1 傳統(tǒng)粘連圖像分割方法比較

2 基于深度學習的圖像分割方法

傳統(tǒng)圖像分割方法受制于計算機的計算能力，且大多只關(guān)注圖像的表層信息，伴隨深度學習的日益強大，語義分割實現(xiàn)對目標的像素級分割，能表征出圖像更豐富的內(nèi)在信息，適用于分割、分類、識別等任務，分割方法如表2所示。

不同的目標分割方法有其獨特的優(yōu)點，以適應不同場景。在醫(yī)學細胞分割領(lǐng)域中，圖像獲取代價高，細胞粘附、畸變、輪廓不清晰、背景雜質(zhì)，這些特征恰恰滿足對目標小且數(shù)量較多的粘連顆粒分割。因此，主要參照使用較多的基于U-Net的細胞分割方法類比粘連顆粒分割。與此同時，實例分割兼具目標檢測與語義分割的優(yōu)點，對粘連顆粒的分割識別極具參考性。

表2 基于深度學習的分割方法

3 基于深度學習的粘連圖像分割方法

3.1 語義分割方法

U-Net網(wǎng)絡通過跳躍連接將編碼器中的低分辨率信息與解碼器生成高分辨率信息相結(jié)合，訓練數(shù)據(jù)較少，通過對邊界進行標注及邊界加權(quán)損失函數(shù)等，可實現(xiàn)對密集、重疊、形狀不規(guī)則細胞的分割、識別,U-Net結(jié)構(gòu)如圖5所示。為更好地融合編碼器與解碼器之間的語義信息，各種變體也相繼而出。

圖5 U-Net網(wǎng)絡模型

閆彧萱等[32]基于U-Net網(wǎng)絡對熒光顯微細胞圖片進行分割，在skip path上引入Res Path作為模型左側(cè)編碼器與右側(cè)編碼器結(jié)合的橋梁，降低訓練難度的同時，利于細節(jié)特征的捕獲；引入權(quán)重損失函數(shù)確保更多的關(guān)注細胞輪廓。張文秀等[33]認為底層特征中缺少語義信息、亮度不統(tǒng)一、對比度低仍是問題，故又引入注意力機制識別具有細胞特征的顯著區(qū)域，不僅沒有增加計算復雜度，反而優(yōu)于細胞區(qū)域的突出，模型訓練速度更快。Lu等[34]構(gòu)建WBC-Net網(wǎng)絡，采用U-Net++密集連接方法，添加更多的跳躍連接路徑和卷積塊，并再次引入殘差模塊提取多尺度特征，性能表現(xiàn)好，如圖6所示。

圖6 基于密集連接的Unet網(wǎng)絡模型

曲鵬[35]將U-Net網(wǎng)絡中連續(xù)雙層的3×3卷積替換為ResDense-block，將長連接替換為Res連接，即從上到下，分別為4、3、2、1個Res-block，并把3×3標準卷積替換成非對稱卷積，加深網(wǎng)絡的同時引入1×1卷積的殘差連接避免梯度消失或爆炸，如圖7所示。

圖7 基于ResDense的U-Net網(wǎng)絡模型

朱琳琳等[36]針對單純的語義分割無法對重疊細胞進行正確的分割，主動輪廓較依賴初始輪廓的選擇，將兩者相結(jié)合，利用語義分割得到背景、細胞質(zhì)、細胞核區(qū)域，利用細胞核在細胞團塊中的分布情況初始化水平集函數(shù)，實現(xiàn)分割。黃亞楠[37]利用U-Net網(wǎng)絡分割神經(jīng)細胞遇到同樣的問題，粘連細胞邊界未能完全分割，通過K-means聚類算法成功識別細胞邊緣。智緒浩[38]將U-Net擴展到半監(jiān)督分割網(wǎng)絡，在脂肪細胞計數(shù)時，基于圖像扭曲方法和條件生成對抗網(wǎng)絡的圖像風格轉(zhuǎn)換進行數(shù)據(jù)集擴充，分割網(wǎng)絡采用U-Net，對于因染色較淺而導致欠分割的圖像，再結(jié)合分水嶺算法提高分割精度。Wollmann等[39]構(gòu)建GRUU-Net網(wǎng)絡，將循環(huán)神經(jīng)網(wǎng)絡RNN中的門限循環(huán)單元GRU與U-Net相結(jié)合，F(xiàn)ull-Resolution Dense Unit(FRDU)將GRU流與池化流信息通過Dense block模塊結(jié)合，GRU循環(huán)流迭代細化特征，池化流負責提取高級特征，增加網(wǎng)絡深度的同時，增強模型對特征長期依賴的能力，如圖8所示。

Yi等[40]利用SSD檢測神經(jīng)細胞，通過特征融合模塊合并淺層和深層特征，有助于小細胞的檢測；在SSD中加入注意力模塊，專注提取圖像感興趣區(qū)域。根據(jù)邊界框預測結(jié)果，在conv1到conv4的特征圖中裁剪ROI區(qū)域進行實例單元分割。對比顯示，骨干網(wǎng)絡采用ResNet50，分割網(wǎng)絡選擇U-Net網(wǎng)絡，相比現(xiàn)有方法，表現(xiàn)出良好性能，如圖9所示。

基于U-Net的粘連圖像分割方法如表3所示。

圖8 基于RNN的U-Net網(wǎng)絡模型[39]

圖9 基于SSD的實例分割模型

表3 基于Unet的分割方法比較

U-Net作為醫(yī)學細胞圖像分割的代表型算法，結(jié)合密集連接、殘差思想、注意力機制、循環(huán)神經(jīng)網(wǎng)絡等的變體，適合對目標較小目標的分割；但對于實際眾多數(shù)量的小顆粒分割，像素級標記較為困難，需要求分辨率較高的圖片，可結(jié)合剪切等操作放大圖片。與此同時，對于粘連圖像分割，通常將U-Net網(wǎng)絡與分水嶺、主動輪廓、聚類等傳統(tǒng)算法結(jié)合使用，起到補充作用，更好地分割處邊緣輪廓；與Faster R-CNN、SSD等目標檢測算法相結(jié)合，完成分割、分類的同時，更好地表示實例目標的位置信息。

4 結(jié)論

本文介紹了基于分水嶺、凹點的傳統(tǒng)圖像分割方法以及基于U-Net的語義分割方法。傳統(tǒng)圖像分割方法眾多，主要結(jié)合分割對象的形態(tài)、邊緣輪廓、像素背景等物理特征進行操作，與此同時，外界環(huán)境需固定，圖像特征簡單，分割、分類、識別等相互獨立等成為受限條件；而深度學習的分割方法具備較強的自適應、自學習、非線性映射能力，分割、分類、識別等任務相互依存，再結(jié)合傳統(tǒng)分割方法處理細節(jié)粘連信息的優(yōu)勢，能很好地適用復雜環(huán)境圖像的處理。

根據(jù)目前研究現(xiàn)狀，粘連顆粒分割任務從早期的只針對糧食作物、醫(yī)學圖像任務向各行各業(yè)開始滲透，傳統(tǒng)糧食作物通常選用傳統(tǒng)分割方法，而實際應用中不單單只是分割計數(shù)，而常包含檢損、分類、定級、預測等工作。因此，有效結(jié)合深度學習方法能更好地進行實際應用，但深度學習往往需通過調(diào)整優(yōu)化網(wǎng)絡框架、激活函數(shù)、網(wǎng)絡參數(shù)等，平衡速度與準確度的矛盾。除此之外，深度學習網(wǎng)絡對數(shù)據(jù)集的依賴性強，針對某一研究領(lǐng)域，必須建立符合場景的高精度、數(shù)量龐大的數(shù)據(jù)集，往往需要依托工藝設(shè)備實現(xiàn)自動化、標準化。