高清整皮表面缺陷自動檢測與定位

范大煌 丁磊 鄧杰航

摘要：針對傳統(tǒng)CCD皮革檢測系統(tǒng)成像視場小，以及傳統(tǒng)皮革缺陷檢測方法主要對皮革局部區(qū)域進(jìn)行檢測，應(yīng)用在整張皮革缺陷檢測上還需進(jìn)行圖像拼接等問題，提出一種高清整張皮革表面缺陷自動檢測方法。首先根據(jù)高清整皮一次成像系統(tǒng)獲取的整張皮革（整皮）圖像特點，提出基于飽和度的整張皮革有效區(qū)域提取方法提取皮革區(qū)域（Region of Interest，ROI）;然后，為了在整皮圖像ROI區(qū)域內(nèi)一次對多種不同類型缺陷進(jìn)行檢測與定位，提出基于增強(qiáng)缺陷邊緣的算法對皮革表面缺陷進(jìn)行自動檢測與定位。與傳統(tǒng)皮革局部區(qū)域缺陷檢測方法相比，該方法直接對整皮圖像進(jìn)行檢測，無須再應(yīng)用圖像拼接算法得到最終結(jié)果，且能在一定程度上克服光照不均的影響，因此可以快速、準(zhǔn)確地自動檢測與定位整張皮革缺陷。

關(guān)鍵詞：整皮;皮革缺陷;數(shù)學(xué)形態(tài)學(xué);多尺度積;缺陷檢測

DOI：10.11907/rjdk.191210

中圖分類號：TP319 文獻(xiàn)標(biāo)識碼：A 文章編號：1672-7800（2019）012-0146-05

0引言

皮革行業(yè)在生產(chǎn)制造過程中，排樣與切割是優(yōu)質(zhì)皮革原料生產(chǎn)過程中的一道重要工序。但半成品皮革表面不可避免地會留下少量缺陷，因此在排樣前必須對缺陷進(jìn)行檢測與定位，從而使生產(chǎn)樣本的排放與切割能夠避開缺陷。我國皮革制品行業(yè)長期以來主要依靠人工實現(xiàn)對整張皮革的缺陷檢測與定位工序，但由于受到光照條件、工人經(jīng)驗以及情緒、體力、工作時長等因素變化影響，容易造成檢測與排樣切割效率低下等問題。因此，對整皮表面缺陷自動檢測方法的研究對提高皮革行業(yè)生產(chǎn)效率有著重要意義。

賀福強(qiáng)等采用CCD掃描整皮表面得到多幅局部區(qū)域圖像，然后采用模糊聚類與基于小波重構(gòu)的皮革表面缺陷檢測方法對圖像進(jìn)行檢測。由于CCD相機(jī)的成像特點，在采用皮革表面缺陷檢測方法進(jìn)行檢測前，需要對多幅局部皮革圖像進(jìn)行拼接，形成一幅完整圖像。但該過程會增加算法計算時間，影響實際應(yīng)用中的生產(chǎn)效率;王琪使用雙攝像機(jī)對皮革進(jìn)行拍攝，然后對拍攝的圖像進(jìn)行融合處理;王毅采用迭代閾值法與大津法對整張皮革灰度圖像作背景分割處理，利用背景與皮革區(qū)域的灰度差異計算出相應(yīng)閾值得到分割結(jié)果，但該方法易受到光照不均等因素影響;TSAI等采用基于小波重構(gòu)的方法對皮革表面進(jìn)行缺陷檢測;KWAK等提出基于神經(jīng)網(wǎng)絡(luò)的分類器方法對皮革缺陷進(jìn)行分類;劉根等提出基于光度立體與圖像顯著性的皮革缺陷檢測方法;Jawahar等應(yīng)用紋理特征提取與多閾值分割方法提取皮革缺陷。但以上方法都基于皮革部分表面缺陷進(jìn)行分類識別，未能對整張皮革缺陷進(jìn)行檢測與定位。

本文根據(jù)整皮圖像的特殊性，提出一種高清整皮表面缺陷自動檢測與定位方法。為了克服傳統(tǒng)CCD掃描成像皮革缺陷檢測裝置成像視場小、成像復(fù)雜等問題，本文采用高清高效整皮一次成像系統(tǒng)，如圖1所示。該系統(tǒng)由皮革固定平臺、超高清攝像頭、光源與圖像處理工作站組成。為了將皮革與背景區(qū)分開，經(jīng)過對皮革顏色的統(tǒng)計，本文將皮革固定平臺的顏色固定為藍(lán)色。系統(tǒng)通過超高清攝像頭對皮革進(jìn)行一次成像后，將圖片傳給圖像處理工作站進(jìn)行檢測處理。相比傳統(tǒng)CCD皮革破損檢測系統(tǒng)，該系統(tǒng)構(gòu)造簡單，對整皮可以一次成像而不需再對圖像進(jìn)行拼接處理，具有成像快、成像過程簡單、成像效果好的特點。

本文針對高清的整張皮革圖像提出整皮圖像破損檢測模型。首先，提出基于飽和度的整張皮革有效區(qū)域提取方法，提取皮革圖像的ROI區(qū)域;然后，為了在整皮圖像ROI區(qū)域內(nèi)一次對多種不同類型的缺陷進(jìn)行檢測與定位，提出基于增強(qiáng)缺陷邊緣的算法檢測與定位皮革缺陷。由于皮革圖像是進(jìn)行一次成像與全局處理的，所以縮短了模型檢測時間。實驗結(jié)果表明，本文方法能夠克服光照不均的影響，并快速、有效地提取整張皮革有效區(qū)域內(nèi)的缺陷進(jìn)行檢測與定位。

1高清整皮表面缺陷自動檢測與定位方法

目前皮革表面缺陷實時檢測主要以CCD掃描成像檢測裝置為主。傳統(tǒng)的CCD相機(jī)成像視場小，需要通過復(fù)雜的控制系統(tǒng)移動CCD相機(jī)掃描整張皮革有效區(qū)域，且傳統(tǒng)CCD掃描成像檢測裝置針對皮革的局部成像圖片缺陷進(jìn)行缺陷檢測，成像后需要應(yīng)用圖片拼接技術(shù)才能得到整張皮革圖像，需要進(jìn)行大量運算。針對上述問題，本文提出一種直接對高清整張皮革表面缺陷進(jìn)行自動檢測與定位的方法。該方法主要分為提取整張皮革圖像的ROI區(qū)域與對ROI區(qū)域進(jìn)行缺陷檢測與定位兩部分，具體流程如圖2所示。

具體步驟為：①通過高清整皮一次成像系統(tǒng)采集整張皮革圖像;②應(yīng)用基于飽和度的整張皮革有效區(qū)域提取方法獲取皮革ROI區(qū)域;③通過灰度形態(tài)學(xué)增強(qiáng)方法增強(qiáng)皮革圖像對比度與缺陷邊緣信息，再應(yīng)用基于小波多尺度積的方法提取皮革表面缺陷邊緣信息;④對結(jié)果進(jìn)行閾值分割，對分割得到的二值圖像采用形態(tài)學(xué)方法進(jìn)行去噪，并填充孔洞區(qū)域;⑤用以上操作得到的二值圖像對缺陷進(jìn)行定位與標(biāo)記。

1.1基于飽和度的整張皮革有效區(qū)域提取方法

由于本文提出的超高清高效整皮一次成像系統(tǒng)采用點光源照明，且成像范圍大，導(dǎo)致在成像平面上與光源距離不同地方亮度不同，從而出現(xiàn)光照不均的問題。另一方面，由于在獲得的超高清皮革圖像亮度通道中，皮革邊緣與背景混疊，邊界參差不齊，如圖3（b）所示，導(dǎo)致常規(guī)基于亮度通道的圖像分割方法不能有效分割皮革有效區(qū)域。通過觀察與分析大量皮革圖像，在飽和度通道不存在邊沿與背景混疊現(xiàn)象，如圖3（c）所示。因此，為了克服以上問題，本文提出基于飽和度的整張皮革有效區(qū)域（Region ofInterest，ROI）提取方法，具體過程如圖4所示。

如圖4所示，利用大津法對飽和度進(jìn)行分割后，圖像中由于存在光照不均、皮革破損等問題，可能會出現(xiàn)大小不一的干擾區(qū)域。針對該問題，本文利用二值形態(tài)學(xué)運算，選取較小的結(jié)構(gòu)元素消除面積較小的干擾點。又因為整張皮革的有效區(qū)域占據(jù)了圖像大部分面積，所以通過貼標(biāo)簽算法保留最大分割區(qū)域，得到整個皮革的ROI區(qū)域。對ROI區(qū)域與原圖進(jìn)行布爾運算，得到背景單一的皮革圖像。

1.2基于增強(qiáng)缺陷邊緣的整皮缺陷檢測定位方法

部分整皮圖像的ROI區(qū)域會同時出現(xiàn)不同類型、不同程度破損，提取到整皮圖像ROI區(qū)域后，為了解決傳統(tǒng)皮革表面缺陷檢測方法只針對局部圖像單一缺陷有效的問題，本文提出基于增強(qiáng)缺陷邊緣的整皮缺陷檢測定位方法。首先通過形態(tài)學(xué)方法增強(qiáng)缺陷邊緣信息，再使用小波多尺度積檢測與定位缺陷邊緣，最后通過基于形態(tài)學(xué)的后處理方法定位全局缺陷位置。該方法可有效對整皮圖像中的明顯缺陷進(jìn)行自動檢測與定位。

為了突出皮革圖像上感興趣的細(xì)節(jié)信息，將整張皮革ROI區(qū)域的像素值線性拉伸到[O，L]范圍，其中L是像素最大灰度值。對于8位圖而言，L=255。然后使用基于數(shù)學(xué)形態(tài)學(xué)的方法增強(qiáng)皮革圖像對比度，并對缺陷部分邊緣信息進(jìn)行處理，原理如下：對灰度圖像I進(jìn)行形態(tài)學(xué)增強(qiáng)，將結(jié)構(gòu)元素定義為se。首先定義形態(tài)學(xué)高帽運算Ha，見式（1）。高帽運算是原圖像與開運算結(jié)果之差，可增強(qiáng)圖像對比度;低帽運算Hb，見式（2），低帽運算是原圖與閉運算結(jié)果之差，低帽運算可以獲取圖像邊緣。

為了減少皮革正常紋理及噪聲對檢測結(jié)果的影響，本文采用基于小波多尺度積的缺陷檢測方法，對增強(qiáng)后的圖像進(jìn)行正交小波變換，將相鄰尺度上的小波系數(shù)相乘。為了精確定位缺陷信息，通過相鄰尺度積的模值與幅角得到局部極大值以定位缺陷邊緣。該方法不僅可以在一定程度上降低皮革圖像重復(fù)紋理與噪聲的影響，還可以準(zhǔn)確檢測與定位缺陷區(qū)域信息。具體原理如下：

圖像經(jīng)小波變換后的不同尺度系數(shù)隱含缺陷信息，本文方法通過相鄰尺度積的模值和幅角得到該梯度方向的局部極大值，從而獲得皮革缺陷邊緣信息，然后對結(jié)果進(jìn)行閾值化處理。由于檢測得到的缺陷區(qū)域尺度積系數(shù)遠(yuǎn)大于無缺陷區(qū)域的尺度積系數(shù)，且尺度越大，結(jié)果越明顯，而本文方法只需進(jìn)行3層小波變換。之后用大津法對檢測結(jié)果進(jìn)行二值化處理。由于一部分皮革圖像中存在一些面積較大的缺陷區(qū)域，如破洞、褶皺等，導(dǎo)致二值化后的檢測圖像存在一些孔洞區(qū)域，因此本文采用二值形態(tài)學(xué)方法進(jìn)行去噪并填充孔洞區(qū)域，從而使二值圖像的白色區(qū)域可以完整表示為檢測的缺陷區(qū)域，通過該二值圖像得到皮革缺陷大小及位置，并在原圖中標(biāo)定對應(yīng)缺陷。

2實驗與討論

本文實驗使用的皮革圖像由深圳來擇科技有限公司提供，圖像大小為8688×5792像素。本文實驗環(huán)境為：Intel Core 15-2450M CPU，8GB（DDR3）內(nèi)存，Win10，64位操作系統(tǒng)，MATLAB R2016a環(huán)境。為了驗證本文提出的背景去除方法的有效性，實驗選取100幅分辨率為8K的皮革圖像，分別應(yīng)用傳統(tǒng)的迭代閾值分割法、K-mean聚類算法與本文提出的整皮有效區(qū)域提取方法進(jìn)行比較，如圖5所示。由圖5可知，采用迭代閾值分割法、K-mean聚類算法對整張皮革圖像進(jìn)行背景去除效果不佳，容易受到光照與色彩影響，從而可能產(chǎn)生過分割現(xiàn)象，不能對強(qiáng)光反射下的背景進(jìn)行有效分割。應(yīng)用本文提出的基于視覺顯著性的整張皮革有效區(qū)域提取方法，沒有造成分割不完全或過分割現(xiàn)象，有效解決了光照不均以及皮革邊緣陰影與背景混疊的問題，能完整分割出包括破洞在內(nèi)的整張皮革有效區(qū)域。

成功提取整皮有效區(qū)域后，為了檢驗本文方法對超高清整皮圖像缺陷區(qū)域檢測的效果，將常見的皮革缺陷識別方法，即模糊c均值聚類算法和基于小波重構(gòu)方法與本文方法作比較，如圖6所示。

在圖6中，將本文方法檢測結(jié)果與人工標(biāo)記的二值圖像進(jìn)行對比，可以看出本文方法對常見的劃痕、破洞、褶皺檢測效果良好，未出現(xiàn)明顯的漏檢、誤檢現(xiàn)象，在對整張皮革表面缺陷的檢測中，其相對于模糊c均值聚類算法、基于小波重構(gòu)方法準(zhǔn)確性更高。模糊c均值聚類算法、基于小波重構(gòu)方法對整張皮革圖像的皮革區(qū)域進(jìn)行二值化檢測，可以在一定程度上檢測出缺陷區(qū)域，但會出現(xiàn)大面積誤檢測現(xiàn)象。模糊c均值聚類方法在整皮檢測情況下易受光照等因素影響，無法對皮革缺陷進(jìn)行有效檢測與定位;基于小波重構(gòu)方法選取適合的小波頻帶重構(gòu)圖像，但由于缺陷復(fù)雜多樣，使用小波重構(gòu)并不能得到較好效果，二值化后的平滑區(qū)域與皮革圖像缺陷區(qū)域容易出現(xiàn)誤檢測與多檢測現(xiàn)象。本文提出方法可以精準(zhǔn)地檢測與定位明顯缺陷區(qū)域，且未出現(xiàn)大面積誤檢測現(xiàn)象。

為了驗證本文算法的實時性，將本文方法與模糊c均值聚類算法、基于小波重構(gòu)方法的檢測時間進(jìn)行對比。50幅整張皮革圖像檢測平均時間（包括提取ROI區(qū)域時間）如表1所示，可以看出本文方法在高清整皮圖像缺陷檢測上更具有時效性。

為了客觀驗證本文提出方法的有效性，本文應(yīng)用Pre-cision—RecaⅡ與F，評價指標(biāo)對皮革表面缺陷進(jìn)行像素級的定量評價，將3種方法檢測出的50幅缺陷檢測結(jié)果圖像與人工標(biāo)記圖像的定量評價指標(biāo)進(jìn)行計算，得到平均值，如圖7所示。

3種柱狀條分別表示本文方法與模糊c均值聚類算法、基于小波重構(gòu)方法計算結(jié)果。由圖7可以看出，本文方法的查準(zhǔn)率、查全率以及F，值在不同皮革的缺陷檢測中均比其它兩種方法效果更好，其中查準(zhǔn)率與F。值遠(yuǎn)高于其它兩種方法的結(jié)果。由于模糊c均值聚類算法、基于小波重構(gòu)方法的誤檢測面積較大，導(dǎo)致其查全率較高，但仍低于本文方法。通過實驗可知，本文方法更適用于整張皮革缺陷檢測，所得的查準(zhǔn)率、查全率以及F。值在對不同皮革的缺陷檢測中都可達(dá)到85%以上。

3結(jié)語

本文通過研究傳統(tǒng)皮革表面缺陷檢測方法，發(fā)現(xiàn)傳統(tǒng)檢測方法難以簡單、高效地對整張皮革圖像上多種不同類型缺陷進(jìn)行檢測的問題，因此提出高清整皮表面缺陷檢測與定位方法。首先該方法去除了傳統(tǒng)CCD皮革缺陷檢測方法中的復(fù)雜相機(jī)控制系統(tǒng)，無需再進(jìn)行圖像拼接與融合處理，對整張皮革在藍(lán)色背景下進(jìn)行一次性超高清成像;然后根據(jù)整張皮革圖像特點，提出基于飽和度的整皮有效區(qū)域提取方法提取皮革圖像的ROI區(qū)域，克服了傳統(tǒng)方法中難以處理的光照不均，以及皮革邊緣陰影與背景混疊問題;最后提出基于增強(qiáng)缺陷邊緣的檢測算法對皮革缺陷進(jìn)行檢測與定位。定性與定量評價結(jié)果表明，相比傳統(tǒng)皮革局部缺陷檢測方法與手工皮革缺陷檢測方法，本文方法能有效提取簡單背景下整皮圖像的皮革區(qū)域，且可一次性對整張皮革的常見缺陷作出準(zhǔn)確檢測與定位，而無需依賴復(fù)雜的掃描檢測系統(tǒng)，對皮革行業(yè)的自動化生產(chǎn)具有一定指導(dǎo)意義。