融合HOG和GLCM特征的輸送帶撕裂在線檢測方法

曾 飛，趙玉凱，歐宏日，趙晨晨

(1.武漢科技大學(xué)冶金裝備及其控制教育部重點(diǎn)實(shí)驗(yàn)室，湖北武漢 430081；2.武漢科技大學(xué)機(jī)械自動化學(xué)院，湖北武漢 430081)

0 引言

輸送帶是帶式輸送機(jī)系統(tǒng)的關(guān)鍵部件之一[1]。在輸送各種散狀物料過程中，下料點(diǎn)處矸石、錨索或金屬硬物可能會劃傷和擊穿輸送帶從而造成輸送帶撕裂。撕裂事故一旦發(fā)生，不僅需要停工停機(jī)及時(shí)維修，甚至可能還需更換整條輸送帶，造成經(jīng)濟(jì)損失。因此，實(shí)現(xiàn)輸送帶縱向撕裂檢測對保障帶式輸送機(jī)安全穩(wěn)定運(yùn)行具有重要意義[2]。

目前，應(yīng)用于港口帶式輸送機(jī)領(lǐng)域的輸送帶撕裂檢測方法主要有人工檢測、X射線檢測和電磁檢測[3-4]等。其中人工檢測精度不高、勞動強(qiáng)度大。X射線檢測輸送帶撕裂，根據(jù)射線波動的強(qiáng)度，從而判定是否撕裂，檢測較復(fù)雜且X射線對人體有害。電磁檢測通過預(yù)先安置在輸送帶中的電磁感應(yīng)線圈檢測輸送帶撕裂情況，但安裝和維護(hù)成本很高。近年來，隨著帶式輸送機(jī)向長距離、高帶速發(fā)展，利用視覺技術(shù)實(shí)現(xiàn)輸送帶損傷檢測成為研究熱點(diǎn)[5]。徐善永等[6]通過采集輸送帶紅外圖像，利用序列最小優(yōu)化算法(SOM)對紅外圖像進(jìn)行分割并判斷是否撕裂。王福斌等[7]提取輸送帶撕裂圖像邊緣并進(jìn)行分割，再提取分割后圖像的幾何特征進(jìn)而使用支持向量機(jī)判斷是否撕裂。郭雄偉等[8]設(shè)計(jì)一種圖像識別的輸送帶縱向撕裂檢測系統(tǒng)，通過對圖像進(jìn)行處理和特征提取，建立專家數(shù)據(jù)庫進(jìn)而達(dá)到對撕裂的檢測與預(yù)警。J.Che等[9]分別提取輸送帶正常、劃痕和撕裂圖像的方向梯度直方圖(histogram of oriented gradient，HOG)特征，并融合聲音特征后，再利用支持向量機(jī)判斷撕裂的類型。

然而，上述視覺檢測方法僅考慮了輸送帶撕裂圖像單一特征，未考慮輸送帶表面紋理信息復(fù)雜而導(dǎo)致不能準(zhǔn)確在線識別輸送帶撕裂類型。為此，提出了融合HOG和灰度共生矩陣(gray-level co-occurrence matrix，GLCM)特征的輸送帶撕裂在線檢測方法。通過提取并融合撕裂方向梯度特征和紋理特征，使用支持向量機(jī)以提高輸送帶撕裂的檢測率。

1 系統(tǒng)總體設(shè)計(jì)及檢測流程

1.1 輸送帶撕裂在線檢測系統(tǒng)設(shè)計(jì)

輸送帶撕裂在線檢測系統(tǒng)主要由輸送帶、條形光源、相機(jī)、上位機(jī)、報(bào)警器等組成。輸送帶撕裂在線檢測系統(tǒng)，如圖1所示。首先通過安裝在輸送帶上料口前端的相機(jī)采集輸送帶表面的圖像信息；然后，將采集的圖像信息傳輸?shù)缴衔粰C(jī)并進(jìn)行分析、處理和判斷；最后，報(bào)警系統(tǒng)根據(jù)上位機(jī)對圖像判斷的結(jié)果，進(jìn)行不同程度的預(yù)警。

圖1 輸送帶撕裂在線檢測系統(tǒng)

1.2 檢測流程

輸送帶撕裂在線檢測的流程分為圖像采集、圖像處理、模型訓(xùn)練和預(yù)警4部分。首先，將獲取的輸送帶正常、劃傷和撕裂3種圖像進(jìn)行預(yù)處理和特征提??；然后訓(xùn)練支持向量機(jī)模型，并用訓(xùn)練的模型對輸送帶裂紋進(jìn)行識別；最后，根據(jù)識別的結(jié)果進(jìn)行不同程度的預(yù)警。輸送帶撕裂檢測流程如圖2所示。

圖2 輸送帶撕裂檢測流程

2 HOG-GLCM輸送帶撕裂檢測算法

2.1 輸送帶圖像預(yù)處理

相機(jī)采集輸送帶表面撕裂圖像時(shí)，因受到噪聲、光照不均和粉塵等外界因素影響，圖像質(zhì)量會下降，影響圖像識別。采集的輸送帶圖像分為3類：正常、劃痕和撕裂，如圖3所示。首先，對圖像進(jìn)行校正，去除光照不均的影響，如圖4所示。然后，再經(jīng)局部直方圖均衡化，對圖像進(jìn)行增強(qiáng)，從而突出裂紋特征的目標(biāo)輪廓。最后，采用雙邊濾波對圖像進(jìn)行去噪，以達(dá)到保持輸送帶撕裂的邊緣、去除噪聲的效果。預(yù)處理后的圖像如圖5所示。

(a)正常 (b)劃傷 (c)撕裂圖3 采集的輸送帶圖像

(a)正常 (b)劃傷 (c)撕裂圖4 光照不均校正后圖像

(a)正常 (b)劃傷 (c)撕裂圖5 預(yù)處理后圖像

2.2 HOG特征提取

HOG是一種可以對圖像特征加以描述的特征提取算法[10]。該算法能較好地通過計(jì)算圖像中各個(gè)區(qū)域的方向梯度直方圖，從而完成對HOG特征的提取和統(tǒng)計(jì)。同時(shí)，該算法對于圖像幾何和光學(xué)變化保持較好的不變性。因此，適用于不同形態(tài)的輸送帶撕裂特征提取，其HOG特征提取步驟如下：

(1)計(jì)算輸送帶圖像中每個(gè)像素點(diǎn)梯度幅值G(x，y)和梯度方向α(x，y)。梯度幅值和方向可以用來描述圖像的輪廓和形狀信息，同時(shí)消除噪聲干擾，計(jì)算公式為：

(1)

α(x,y)=tan-1(Gy(x,y)/Gx(x,y))

(2)

式中：Gx(x，y)、Gy(x，y)分別為圖像中點(diǎn)(x，y)處像素水平梯度和垂直梯度。

Gx(x,y)、Gy(x,y)可由像素點(diǎn)灰度值H(x，y)計(jì)算得出。

Gx(x,y)=H(x+1,y)-H(x-1,y)

(3)

Gy(x,y)=H(x,y+1)-H(x,y-1)

(4)

(2)將圖像劃分為像素細(xì)胞單元(Cell)組成的網(wǎng)格。細(xì)胞單元參數(shù)的大小會對特征向量編碼產(chǎn)生影響。參數(shù)過大，特征信息編碼不全面；參數(shù)過小，時(shí)間復(fù)雜度上升。將圖像進(jìn)行劃分，每個(gè)細(xì)胞單元大小為10像素×10像素，并構(gòu)建梯度方向直方圖。

(3)每3像素×3像素細(xì)胞單元(Cell)組成一個(gè)塊(Block)，塊內(nèi)合并細(xì)胞單元的方向梯度直方圖并歸一化操作。

(4)將所有塊的梯度向量串聯(lián)得到圖像的HOG特征。

在統(tǒng)計(jì)分析HOG特征時(shí)，HOG特征向量維數(shù)較大，2個(gè)特征融合就會降低另一個(gè)特征對模型的影響。因此，需要對HOG特征進(jìn)行降維。主成分分析(principal component analysis，PCA)是數(shù)據(jù)降維有效手段[11]。即將重疊變量信息進(jìn)行刪減，僅保留主要信息，其計(jì)算過程如下：

設(shè)N為樣本個(gè)數(shù)，提取HOG特征向量的維度為M，則樣本集為X=[X1，X2，…，XN]。樣本的協(xié)方差矩陣C可以表示為

(5)

(6)

因協(xié)方差矩陣是實(shí)對稱矩陣，可得到n個(gè)特征值λi(1≤i≤m)和特征向量Ui(1≤i≤m)，將n個(gè)特征值由小到大排序，根據(jù)精度要求選擇K個(gè)特征向量，并將特征向量進(jìn)行投影來達(dá)到降維目的。投影后的新特征，計(jì)算公式為

Y=UTX

(7)

式中：Y為投影后的新特征；UT為樣本的主分量矩陣；X為樣本集。

2.3 GLCM特征提取

GLCM是一種紋理統(tǒng)計(jì)分析法，可用于提取圖像的整體紋理特征[12]。輸送帶撕裂過程要經(jīng)歷劃傷和撕裂2個(gè)階段，劃傷和撕裂圖像可能會出現(xiàn)相同的局部紋理，會導(dǎo)致出現(xiàn)誤檢情況?？紤]到局部二值模式(LBP)可用于圖像局部紋理特征提取，且計(jì)算簡單和對光照的變化具有魯棒性[13]。將2種方法結(jié)合可以保證圖像紋理特征信息的完整性。

2.3.1 計(jì)算LBP算子

LBP分為閾值處理和編碼2個(gè)步驟：首先定義一個(gè)3×3的像素窗口，設(shè)像素窗口中的中心像素點(diǎn)(x，y)的灰度值Hc(x，y)為閾值，與相鄰的8個(gè)像素值H1(x-1，y-1)、H2(x，y-1)、H3(x+1，y-1)、H4(x+1，y)、H5(x+1，y+1)、H6(x，y+1)、H7(x-1，y+1)、H8(x-1，y)進(jìn)行比較，若鄰域8個(gè)像素值大于或等于閾值，將鄰域像素值設(shè)定為1，反之設(shè)置為0。在編碼步驟中，對從閾值處理步驟獲得的二進(jìn)制數(shù)進(jìn)行編碼并轉(zhuǎn)換成十進(jìn)制數(shù)。LBP算子計(jì)算公式如式(9)、式(10)所示。

(8)

(9)

式中：s(x)為符號函數(shù)；Hc(x，y)為中心像素點(diǎn)的灰度值；Hp(x，y)為相鄰的像素的灰度值。

采用LBP算子時(shí)，首先按照上面方法計(jì)算中心點(diǎn)的LBP算子值，然后按照步長為3對所有像素點(diǎn)進(jìn)行遍歷，從而得到對應(yīng)的LBP特征圖像。

2.3.2 特征提取參量

灰度共生矩陣(GLCM)是一種通過描述像素點(diǎn)間的關(guān)系來確定圖像的紋理信息。紋理特征描述前首先對預(yù)處理后圖像進(jìn)行灰度級量化。為減少運(yùn)算量，將灰度圖量化為16。GLCM對方向的取值為0°、45°、90°和135°，步距d取值為 2。通過對4個(gè)方向求出不同的特征值再計(jì)算得到灰度共生矩陣各參數(shù)。根據(jù)采集3種圖像的特點(diǎn)選擇最有代表性的特征參數(shù)[14]，分別是能量(angular second moment，ASM)、對比度(contrast，CON)、熵(entropy，ENT)、相關(guān)性(correlation，COR)和逆差矩(homogeneity，HOM)。各表達(dá)式分別如下：

(1)能量：反映紋理圖像的灰度分布情況和紋理的粗細(xì)度。

(10)

(2)對比度：反映紋理圖像的深度與厚度。

(11)

(3)熵：統(tǒng)計(jì)紋理分布的隨機(jī)性。

(12)

(4)相關(guān)度：反映了圖像局部的灰度相關(guān)性。

(13)

(5)逆差矩：反映圖像紋理的同質(zhì)性，對圖像局部紋理變化的大小進(jìn)行度量。

(14)

式中：L為灰度級數(shù)，取值為16；f(i，j)為像素點(diǎn)i和j出現(xiàn)的次數(shù)；(i-j)表示像素對的灰度差。

2.4 特征融合

為更好地描述圖像細(xì)節(jié)特征，又不損失圖像邊緣特征信息及像素間空間相關(guān)特性，將HOG特征和CLCM特征進(jìn)行串行融合并歸一化處理[15]。以防止特征提取時(shí)遺失重要信息，增強(qiáng)魯棒性，以便提高檢測精度。特征融合示意圖，如圖6所示。

圖6 特征融合示意圖

2.5 SVM分類算法

支持向量機(jī)(SVM)適合處理非線性問題，對于小樣本的學(xué)習(xí)有很好的泛化能力[16]。選取正常、劃傷和撕裂3種不同輸送帶圖像作為樣本，提取圖像HOG和GLCM特征并融合作為支持向量機(jī)(SVM)的輸入，進(jìn)行分類器的訓(xùn)練和測試。SVM是一個(gè)二分類器，在處理二分類以上的分類問題時(shí)，需要構(gòu)造合適的多分類器。采用一對一的方式，即任意2個(gè)不同類別的樣本之間構(gòu)建一個(gè)分類器，所以3個(gè)不同的樣本，需要3個(gè)分類器。

3 撕裂檢測實(shí)驗(yàn)

3.1 實(shí)驗(yàn)臺搭建和軟件設(shè)計(jì)

實(shí)驗(yàn)數(shù)據(jù)集來源于現(xiàn)場實(shí)驗(yàn)拍攝，包括輸送帶正常、劃傷和撕裂3種圖像。實(shí)驗(yàn)在長3.5 m，帶寬0.49 m，運(yùn)行速度1 m/s的帶式輸送機(jī)實(shí)驗(yàn)平臺上開展。圖像采集使用USB接口的CCD相機(jī)，該相機(jī)分辨率為2 560像素×1 440像素，幀率為30 fps。圖像采集過程中使用2個(gè)條形光源對輸送帶表面進(jìn)行照射。圖像傳輸采用USB線傳輸?shù)缴衔粰C(jī)。上位機(jī)界面用于直接顯示輸送帶圖像。實(shí)驗(yàn)平臺如圖7所示。

圖7 實(shí)驗(yàn)平臺

在檢測系統(tǒng)中，軟件是基于Python中PyQt5的GUI界面進(jìn)行開發(fā)，在PyCharm環(huán)境中運(yùn)行。軟件實(shí)現(xiàn)了上位機(jī)與工業(yè)CCD相機(jī)的圖像顯示、圖像預(yù)處理、圖像特征提取、圖像識別和報(bào)警。輸送帶撕裂在線檢測軟件界面如圖8所示。

圖8 輸送帶撕裂在線檢測軟件界面

3.2 實(shí)驗(yàn)結(jié)果分析

為驗(yàn)證算法的準(zhǔn)確性，采集正常、劃傷和撕裂3種樣本各200張。選擇HOG算法、GLCM算法、LBP-GLCM算法及本文方法進(jìn)行對比，分別記為方法1～4，即方法1選擇 HOG算法作為圖像的特征提?。环椒?選擇GLCM算法作為圖像的特征提?。环椒?首先對圖像進(jìn)行LBP變換，然后選擇GLCM作為圖像的特征提?。环椒?為本文方法，選擇方法1和方法3作為圖像的特征提取并融合。將方法1～4提取的特征輸入至SVM中進(jìn)行測試。圖9為不同算法識別準(zhǔn)確率。

圖9 不同算法識別準(zhǔn)確率

由圖9可知，方法1的平均識別準(zhǔn)確率為78.93%，方法2的平均識別準(zhǔn)確率為83.14%，方法3的平均識別準(zhǔn)確率為87.33%，方法4為本文提出的方法，平均識別準(zhǔn)確率為95.37%，單幅輸送帶圖像識別率耗時(shí)為38.6 ms?？梢钥闯?，方法4相比于其他算法在識別準(zhǔn)確率上得到明顯的提升且穩(wěn)定較好。

4 結(jié)束語

本文針對輸送帶撕裂圖像信息復(fù)雜，單一的特征提取算法很可能導(dǎo)致出現(xiàn)誤檢的情況。提出了一種融合HOG和GLCM特征的輸送帶撕裂在線檢測方法。通過對圖像進(jìn)行HOG和GLCM特征提取并融合，使用支持向量機(jī)進(jìn)行識別。通過提取4種不同特征進(jìn)行實(shí)驗(yàn)，結(jié)果表明：較其他特征提取方法，本文方法達(dá)到了較好的撕裂識別效果，單幅輸送帶圖像耗時(shí)為38.6 ms，滿足在線檢測的需求。