應(yīng)用于剎車盤復(fù)雜背景去除的改進(jìn)Grab Cut分割算法

李巖，吳孟男，薛興倫

(1.長春工業(yè)大學(xué)電氣與電子工程學(xué)院，吉林長春 130012;2.長春市施耐利機(jī)器人系統(tǒng)有限公司，吉林長春 130000)

0 前言

近年來，中國汽車行業(yè)的快速崛起，帶動了剎車盤產(chǎn)業(yè)的升級和轉(zhuǎn)型。作為工業(yè)領(lǐng)域典型鑄造件，目前剎車盤的生產(chǎn)多靠人工完成，自動化需求較高。機(jī)器視覺技術(shù)的引入可以大大降低勞動強(qiáng)度、提高生產(chǎn)效率。將剎車盤作為感興趣區(qū)域進(jìn)行圖像分割可進(jìn)一步提高匹配速度和精度，對企業(yè)實現(xiàn)產(chǎn)業(yè)化升級具有重大意義。

目前基于機(jī)器視覺的目標(biāo)分割方法主要有3類，分別為神經(jīng)網(wǎng)絡(luò)分割法、傳統(tǒng)自動分割方法以及交互式分割方法。

第一類是基于神經(jīng)網(wǎng)絡(luò)的分割方法。鄭凱、李建勝提出一種基于Mask R-CNN和分水嶺算法的圖像分割算法，實現(xiàn)了復(fù)雜背景的精準(zhǔn)分割，實時性較好。SINGH等嘗試使用幾種基于深度卷積神經(jīng)網(wǎng)絡(luò)的最新語義分割方法來解決圖像分割問題。OKTAY 等提出一種通用的訓(xùn)練策略，將先驗知識整合到神經(jīng)網(wǎng)絡(luò)中對正則化模型進(jìn)行端到端訓(xùn)練，該方法可以適應(yīng)不同分割任務(wù)，具有較高的模型準(zhǔn)確性。張利欣等提出了一種基于Res-Unet網(wǎng)絡(luò)的微觀組織圖像分割方法，該方法顯著提高了材料微觀組織圖像的分割精度。上述方法的神經(jīng)網(wǎng)絡(luò)模型需要大量數(shù)據(jù)來進(jìn)行訓(xùn)練。而剎車盤材質(zhì)種類繁多，且樣本較少，導(dǎo)致在訓(xùn)練過程中容易出現(xiàn)梯度消失現(xiàn)象，使算法陷入局部極小值中無法跳出，因此現(xiàn)階段深度學(xué)習(xí)難以解決剎車盤復(fù)雜背景去除問題。

第二類是傳統(tǒng)的自動目標(biāo)分割方法。王延年、程燕杰提出一種將多尺度top-han和形態(tài)學(xué)開閉重構(gòu)相結(jié)合，并用最大熵法進(jìn)行分割的工件表面圖像分割算法，能夠較為精準(zhǔn)地分割出工件表面的缺陷。董家順等提出了一種改進(jìn)-means算法來實現(xiàn)工件的背景去除，該算法對光照不均具有良好的抗干擾能力。張?zhí)锏热颂岢鲆环N基于清晰度評價的自適應(yīng)閾值圖像分割方法，能夠自適應(yīng)地準(zhǔn)確找到合理閾值，具有優(yōu)異的分割性能。RONG等提出一種結(jié)合語義信息與圖像深度信息的-means算法，能夠正確地對感興趣對象進(jìn)行分割，提取精度高。王春梅等提出了一種橢圓形光斑黏連圖像的分割方法，該方法采用等角六叉旋轉(zhuǎn)算子對黑白圖像上的黑斑區(qū)域進(jìn)行填充，避免了圖像的過分割，能夠滿足生產(chǎn)過程中高精度的要求。上述算法在簡單場景下的圖像分割可以取得較理想的效果，但在處理背景較為復(fù)雜的非結(jié)構(gòu)環(huán)境圖像分割時，由于未對場景進(jìn)行針對性改進(jìn)，其效果往往不能令人滿意。

第三類是交互式目標(biāo)分割方法。2001年，BOYKOV、JOLLY首次將圖割結(jié)合最小割-最大流方法應(yīng)用于圖像分割中。ROTHER等提出Grab Cut算法，Grab Cut是迭代的Graph Cut算法，將圖像分為前景和背景，從而通過較少的交互實現(xiàn)圖像的分割。HE等提出了將圖割結(jié)合圖像直方圖的分割算法，該方法可解決Graph Cut算法對小物體不敏感的缺點。交互式目標(biāo)分割算法通過交互初步將前景與背景信息進(jìn)行劃分，分割結(jié)果較為精準(zhǔn)，但是其對噪聲敏感，且對光照變化不具有魯棒性。

上述3類方法主要是針對非剎車盤工件的背景去除方法，沒有針對剎車盤實際生產(chǎn)環(huán)境進(jìn)行優(yōu)化，難以直接應(yīng)用到工業(yè)生產(chǎn)當(dāng)中。通常情況下，剎車盤生產(chǎn)現(xiàn)場環(huán)境復(fù)雜，光線條件多變。通過對現(xiàn)場大量圖像進(jìn)行觀察，總結(jié)其特點如下：(1)由于光線條件較差，工業(yè)相機(jī)所拍攝圖像常有噪聲；(2)工業(yè)相機(jī)整體成像亮度較低；(3)粗加工的剎車盤邊緣信息較為模糊，易與相似背景融合。

綜上所述，本文作者所做工作為：(1)對圖像進(jìn)行濾波，消除噪聲對分割算法的影響；(2)采用直方圖均衡化方法提升圖像亮度；(3)對圖像進(jìn)行銳化增強(qiáng)，使剎車盤邊緣銳利，細(xì)節(jié)明顯；(4)采用Grab Cut算法對前景和背景進(jìn)行分割，實現(xiàn)剎車盤復(fù)雜背景的去除。

1 Grab Cut算法

Grab Cut是對傳統(tǒng)交互式分割方法Graph Cut的改進(jìn)，是迭代的Graph Cut。其核心是將待分割圖像映射為如圖1所示的-網(wǎng)絡(luò)。網(wǎng)絡(luò)圖包含原點：代表前景終點，匯點：代表背景終點，而原點、匯點及網(wǎng)絡(luò)圖中其他節(jié)點間的連線都稱之為邊集。Grab Cut算法首先通過簡單的用戶交互將感興趣對象進(jìn)行框選，初步定義選中區(qū)域為前景，其他區(qū)域為背景；進(jìn)而對前景、背景分別建立高斯混合模型GMM，用-means算法將前景和背景聚為類，即GMM中的個高斯模型；然后分別計算各邊集之間的分割能量權(quán)重，進(jìn)而對未知區(qū)域構(gòu)建-網(wǎng)絡(luò)圖，使用最小割-最大流方法實現(xiàn)初步分割，并通過迭代不斷地對組參數(shù)、、進(jìn)行優(yōu)化，最終使分割能量收斂于最小值，實現(xiàn)圖像分割。

圖1 s-t網(wǎng)絡(luò)

2 改進(jìn)Grab Cut算法

在實際剎車盤生產(chǎn)過程中，由于車間環(huán)境復(fù)雜且無法保證光照條件統(tǒng)一，使得視覺系統(tǒng)采集到的剎車盤圖像普遍存在亮度較低、邊緣模糊、輪廓不清和噪聲明顯等問題，這些因素都會導(dǎo)致傳統(tǒng)Grab Cut分割算法魯棒性變差，導(dǎo)致分割結(jié)果不準(zhǔn)確。

為了解決上述問題，提出改進(jìn)的Grab Cut算法。首先對剎車盤圖像進(jìn)行自適應(yīng)中值濾波，去除其表面不同程度的噪聲，然后采用限定對比度的自適應(yīng)直方圖均衡化(CLAHE)提高圖像亮度，其次通過Laplacian算子對圖像進(jìn)行銳化處理，最后采用Grab Cut算法對剎車盤進(jìn)行精準(zhǔn)分割，完成剎車盤復(fù)雜背景去除工作。改進(jìn)Grab Cut算法流程如圖2所示。

圖2 改進(jìn)Grab Cut算法流程

2.1 自適應(yīng)中值濾波

自適應(yīng)中值濾波能夠根據(jù)預(yù)設(shè)好的條件，動態(tài)地改變?yōu)V波器的窗口尺寸。與常規(guī)中值濾波器相比，自適應(yīng)中值濾波器會定義一個在濾波過程中逐漸改變大小的矩形窗口，并最終輸出一個像素用來替換濾波窗口中心點(,)處的像素，從而使自適應(yīng)中值濾波在保證濾除椒鹽噪聲的同時，更好地保留圖像細(xì)節(jié)。

2.2 限定對比度的自適應(yīng)直方圖均衡化

實際剎車盤圖像分割過程中發(fā)現(xiàn)光線較強(qiáng)或較弱都會對分割結(jié)果造成較大影響，從而需要對圖像亮度進(jìn)行均衡處理。限定對比度的自適應(yīng)直方圖均衡(CLAHE)算法能夠有效增強(qiáng)或改善圖像局部對比度，從而獲得更多圖像邊緣及細(xì)節(jié)信息，對自適應(yīng)直方圖均衡化AHE中放大噪聲的問題進(jìn)行優(yōu)化。

CLAHE的主要實現(xiàn)步驟為：

(1)將濾波去噪后的剎車盤圖(像素×像素)分成若干個大小相同的子區(qū)域。

(2)分別對每個子區(qū)域的直方圖進(jìn)行計算，將可能出現(xiàn)的直方圖灰度級個數(shù)記為，每個子區(qū)域的灰度級為，則區(qū)域(,)對應(yīng)的直方圖函數(shù)為,()，0≤≤-1。

(3)對剪切限幅值進(jìn)行確認(rèn)。

(1)

式中：為截斷系數(shù)，用來表示每個灰度級中像素的最大百分比。

(4)將超出值的像素填充到圖形中灰度級較低的位置，從而提高圖像整體亮度。

(5)對所有分割的子區(qū)域進(jìn)行直方圖均衡化。

(6)用雙線性插值方法對每個像素進(jìn)行處理，計算處理后的灰度值。

記為像素所在的位置，為在位置處的像素值，即,()=，、、、為每個區(qū)域的中心。變換函數(shù)分別為()、()、()、()，的值在輸出圖像中記為′，它通過4個區(qū)域上變換函數(shù)的加權(quán)和來獲得。設(shè)、是位置到和的距離，且和均為1，則對于每一個(,)有：

′=(1-)·[(1-)()+()]+·

[(1-)()+()]

(2)

每個像素都有一個變換函數(shù)，可以表示為

(3)

式(3)中：,()是像素(,)的分布函數(shù)。

2.3 Laplacian算子

Laplacian算子是維歐幾里得空間中的二階微分算子，具有旋轉(zhuǎn)不變性，常將Laplacian算子作為邊緣檢測的手段之一。將Laplacian算子用于圖像增強(qiáng)可對圖像邊緣進(jìn)行銳化，同時保留更多背景信息，更好地突出圖像的細(xì)節(jié)。但Laplacian算子對噪聲敏感，所以在使用算子前采用自適應(yīng)中值濾波對剎車盤圖像進(jìn)行了去噪。算子對應(yīng)的掩碼如圖3所示，可看出Laplacian算子是各向同性的。

圖3 Laplacian算子掩碼

其計算方法為：將圖像中選中的像素點及其鄰域內(nèi)的8個點與圖3所示的掩碼相乘求和，用得到的新像素值替代原來九宮格內(nèi)中心點的像素值。則對于點(,)，有:

(4)

2.4 Grab Cut迭代能量最小化分割算法

Grab Cut算法每次迭代過程都使得對目標(biāo)和背景建模的GMM參數(shù)更優(yōu)。算法分為初始化和迭代最小化兩個步驟。

初始化：

(1)首先通過用戶交互對感興趣區(qū)域進(jìn)行框選，將框內(nèi)的像素定義為目標(biāo)像素，其他像素定義為背景像素。

(2)對中的背景像素進(jìn)行初始化，記的標(biāo)簽為=0。同樣的，對目標(biāo)像素內(nèi)的像素進(jìn)行初始化，記的標(biāo)簽為′=1。

(3)經(jīng)過步驟(1)和(2)可以初步地對目標(biāo)像素和背景像素進(jìn)行分類，然后對目標(biāo)像素和背景像素建立GMM，并通過-means算法將目標(biāo)像素聚類為類，保證GMM中的每個高斯模型都具有一定的像素樣本，并通過像素的RGB值估算參數(shù)均值和協(xié)方差，進(jìn)一步通過該高斯分量的像素與總像素個數(shù)的比值確定其權(quán)值。

迭代最小化：

(1)對每個像素分配GMM中的高斯分量，將目標(biāo)像素的RGB值代入GMM中的每一個高斯分量中，求出概率最大的分量記為。

(5)

(2)根據(jù)給定的圖像數(shù)據(jù)，進(jìn)一步對GMM進(jìn)行學(xué)習(xí)優(yōu)化。

(6)

(3)通過(1)中分析的Gibbs能量項求出權(quán)值，然后通過最小割-最大流算法來對分割進(jìn)行估計：

(7)

(4)重復(fù)上述步驟，不斷優(yōu)化GMM，在經(jīng)過(3)的分割后目標(biāo)像素的歸屬可被進(jìn)一步確認(rèn)，則每個像素的和GMM也最終得以確認(rèn)，通過算法不斷迭代可持續(xù)優(yōu)化GMM模型和分割結(jié)果，又因步驟(1)—(3)是能量遞減的過程，所以可以保證迭代過程會收斂于最小值，從而得到分割結(jié)果。

(5)由于分割后的邊界可能存在不連續(xù)的現(xiàn)象，所以采用border matting對分割結(jié)果進(jìn)行平滑等后處理。

3 實驗結(jié)果與分析

主要算法采用C++語言編程實現(xiàn)，在Visual Studio2017平臺中配置OpenCV 4.2庫運行。實驗所用計算設(shè)備配置為64位Windows10操作系統(tǒng)、CPU主頻3.6 GHz、8.0 GB內(nèi)存。

3.1 實驗材料

兩個映美精DMK 33GP031工業(yè)CCD相機(jī)組成雙目立體視覺圖像采集系統(tǒng)，在對系統(tǒng)進(jìn)行畸變校正和立體校正后，將剎車盤分別置于非結(jié)構(gòu)環(huán)境條件下進(jìn)行共300組實驗，選取左相機(jī)拍攝圖像為實驗素材，實驗效果如圖4所示。

圖4 實驗效果

圖4(a)為RGB原圖，(b)為相機(jī)獲取的包含剎車盤區(qū)域的灰度圖。首先使用自適應(yīng)中值濾波去除由于生產(chǎn)現(xiàn)場光線條件差而產(chǎn)生的椒鹽噪聲，見圖(c)；對處理過的圖片使用限定對比度的自適應(yīng)直方圖均衡化CLAHE提升圖像整體亮度，并保留邊緣等關(guān)鍵細(xì)節(jié)，見圖(d)；進(jìn)一步用Laplacian圖像銳化算子增強(qiáng)圖像邊緣及細(xì)節(jié)，見圖(e)；最后使用Grab Cut算法進(jìn)行分割得到剎車盤區(qū)域，見圖(f)。

3.2 對比實驗

為進(jìn)一步驗證算法性能，分別將文中算法與其他復(fù)雜背景去除算法的分割效果進(jìn)行對比。在拍攝的300組包含雜亂背景、純凈背景、剎車盤正反面、有無陰影影響等不同光線條件、不同場景下的剎車盤圖像上進(jìn)行實驗，分別與傳統(tǒng)Grab Cut算法、區(qū)域生長算法及-means分割算法進(jìn)行對比，部分對比結(jié)果如圖5所示。

從圖5中可以看出：原Grab Cut算法由于未進(jìn)行圖像濾波和圖像增強(qiáng)，因而算法對噪聲敏感且對光照不具有魯棒性，導(dǎo)致剎車盤邊緣不明顯，易出現(xiàn)欠分割現(xiàn)象，如圖(b)所示；區(qū)域生長算法能夠在簡單場景下較好實現(xiàn)剎車盤區(qū)域背景去除，但當(dāng)場景過于復(fù)雜、圖像灰度不均一時，可能無法準(zhǔn)確分割剎車盤區(qū)域，如圖(c)所示；由于-means聚類分割算法對噪聲和異常點較為敏感且算法求取的是局部最優(yōu)解，所以在進(jìn)行剎車盤復(fù)雜背景去除時該算法存在過分割現(xiàn)象，如圖(d)所示；相較于其他分割算法，文中算法分割的剎車盤輪廓清晰，細(xì)節(jié)保留完整，如圖(e)所示。

圖5 算法對比

在分割效果衡量方面，將峰值信噪比PSNR、誤分割率、分割準(zhǔn)度和算法運行時間作為性能指標(biāo)對算法進(jìn)行衡量(算法分割結(jié)果與原始剎車盤CAD模型的差異性記為誤分割率，算法的分割準(zhǔn)度表示為)。

(8)

其中：為分割算法作用后的結(jié)果；為將剎車盤作為感興趣區(qū)域進(jìn)行人工分割后的結(jié)果；表示圖像的尺寸。

(9)

其中：為常數(shù)，通常取值為0.5；為準(zhǔn)確率，表示算法的正確分割區(qū)域占算法總分割區(qū)域的比例；為召回率，表示算法的正確分割區(qū)域占人工分割區(qū)域的比例。、計算公式分別如式(10)、式(11)所示：

(10)

(11)

具體性能指標(biāo)數(shù)據(jù)如表1所示。

表1 性能指標(biāo)

從表1可以看出：本文作者提出的基于改進(jìn)Grab Cut的圖像分割算法的PSNR、誤分割率、分割準(zhǔn)度的平均值均優(yōu)于列舉的其他幾種分割算法，這充分說明文中算法對噪聲的抑制效果更好，并且在對背景較復(fù)雜的圖像進(jìn)行分割時，由于加入了圖像增強(qiáng)算法，大大降低了分割算法的錯誤率，并由實際分割結(jié)果可以看出分割后的剎車盤邊緣光滑，細(xì)節(jié)清晰，進(jìn)一步驗證了文中算法的有效性。

4 結(jié)論

(1)本文作者提出將自適應(yīng)中值濾波算法應(yīng)用于剎車盤復(fù)雜背景去除過程中，能夠保證在對圖像進(jìn)行去噪的前提下更好地保留剎車盤邊緣和紋理信息，降低了噪聲對圖像分割的干擾。

(2)結(jié)合限定對比度的自適應(yīng)直方圖均衡化算法和Laplacian算子提高圖像亮度，增強(qiáng)剎車盤邊緣，然后利用Grab Cut算法對剎車盤圖像進(jìn)行分割，解決了傳統(tǒng)算法分割精度低的問題。

(3)針對工業(yè)生產(chǎn)中剎車盤復(fù)雜背景去除過程提出了一種改進(jìn)的Grab Cut分割方法，并針對非結(jié)構(gòu)環(huán)境下的剎車盤圖像進(jìn)行研究，提出的改進(jìn)分割算法在解決此類問題時效果更佳，更具魯棒性。

(4)后續(xù)可針對算法的運行時間進(jìn)行優(yōu)化。此外，可增加其他預(yù)處理流程，進(jìn)一步降低陰影對分割結(jié)果的影響。