基于局部形狀特征和Bag-of-Feature模型的磨粒圖像形狀特征提取?

魯華杰 張 偉 劉 濤

（1.海軍航空大學(xué)岸防兵學(xué)院 煙臺 264001）（2.海軍航空大學(xué)職業(yè)教育中心 煙臺 264001）

1 引言

磨粒分析是一種重要的機械系統(tǒng)狀態(tài)監(jiān)測方法，設(shè)備潤滑系統(tǒng)中的磨粒反映了機械設(shè)備內(nèi)部的磨損情況，是設(shè)備磨損狀況的重要信息載體［1］。磨粒圖像分析技術(shù)是將計算機圖像處理技術(shù)和磨粒分析相結(jié)合，促進了磨粒分析向智能診斷方向的發(fā)展［2］，通過對得到的磨粒圖像進行分析，提取磨粒的形狀特征、紋理特征和顏色特征等，進而根據(jù)這些特征對磨粒類型進行識別，從而判斷機械系統(tǒng)的磨損情況。

磨粒圖像的形狀特征是判斷磨粒類型的一種重要依據(jù)，同時認知心理學(xué)方面的研究也表明，形狀相比于顏色和紋理，在人類視覺感知中起著非常重要的作用。通常圖像形狀特征的提取方法主要分為兩類［3］：一是基于輪廓的形狀特征，如形狀簽名、傅里葉描述子和邊界矩等；二是基于區(qū)域的形狀特征，如不變矩、Zernike矩和通用傅里葉描述子等。上述的方法提取圖像中物體的形狀特征時，一般是根據(jù)物體的整體輪廓和整體區(qū)域，而人類視覺系統(tǒng)傾向于將物體分解為多個視覺部件，并根據(jù)視覺部件的特征以及視覺部件之間的關(guān)系來描述物體的形狀［4］。

基于此，本文提出了一種基于局部形狀特征和BoF（Bag-of-Features）模型［5～6］的磨粒形狀特征的提取方法。首先構(gòu)建磨粒區(qū)域的骨架，并根據(jù)相鄰骨架端點對和骨架分支對將磨粒輪廓和磨粒區(qū)域劃分成不同的片段和子區(qū)域，分別稱之為輪廓基元（contour primitives）和區(qū)域基元（region primitives）；然后相鄰的不同數(shù)量的輪廓基元和區(qū)域基元組合，構(gòu)成不同的局部輪廓（local contour）和局部區(qū)域（local region），并分別根據(jù)基于輪廓和區(qū)域的形狀特征提取方法，得到局部輪廓和局部區(qū)域的形狀特征，兩者融合構(gòu)成磨粒的局部形狀特征集合；最后依據(jù)BoF模型的思想，根據(jù)訓(xùn)練集所有磨粒樣本的局部形狀特征集合構(gòu)建視覺詞典，經(jīng)過的特征編碼、特征匯集和歸一化，得到局部形狀特征集合的編碼向量。以編碼向量作為磨粒的形狀特征，對磨粒類型進行識別。

2 磨粒局部輪廓和局部區(qū)域構(gòu)建

現(xiàn)有的圖像形狀分解方法一般分為三種：基于輪廓的方法、基于形狀區(qū)域的方法和綜合方法。其中形狀的骨架綜合利用形狀的輪廓和內(nèi)部區(qū)域信息，廣泛用于形狀的分解及表示。但是構(gòu)建骨架時對形狀輪廓的細微變化較為敏感，為此學(xué)者們提出了很多的改進方法，減少骨架的毛刺，使得骨架能夠更加有效、合理地分析形狀。Bai等［7］提出了采用離散曲線演化的方法簡化骨架，取得了較好的效果，本節(jié)采用文獻［7］中的方法構(gòu)建磨粒區(qū)域的骨架。然后根據(jù)磨粒的骨架構(gòu)建磨粒的局部輪廓和局部區(qū)域。

設(shè)磨粒區(qū)域為R，構(gòu)建的磨粒區(qū)域骨架的端點集合和分支集合分別為e=(e1，e2，…eT)和b=(b1，b2，…bT)，磨粒的輪廓基元CP(m)和區(qū)域基元RP(m)分別為相鄰的骨架端點對(ei，ej)之間的輪廓片段cij和相鄰骨架分支對(bi，bj)之間的子區(qū)域rij，則

相鄰的不同數(shù)量的輪廓基元和區(qū)域分別組合，可以得到反映不同尺度輪廓特征和不同尺度區(qū)域特征的局部輪廓LC(n)和局部區(qū)域LR(n)，則

圖1所示為磨粒圖像、骨架、局部輪廓和局部區(qū)域，其中圖1（a）、（e）、（i）分別為嚴重滑動磨損磨粒、粘著磨損磨粒和疲勞磨損磨粒的二值圖像，圖1（b）、（f）、（j）分別為三種磨粒的骨架，圖 1（c）、（g）、（k）分別為構(gòu)建的三種磨粒的部分局部輪廓，圖1（d）、（h）、（l）分別為構(gòu)建的三種磨粒的部分局部區(qū)域。

圖1 磨粒圖像、磨粒骨架、部分局部輪廓和部分局部區(qū)域

3 磨粒局部形狀特征提取

通過構(gòu)建磨粒的骨架，得到磨粒的局部輪廓和局部區(qū)域之后，根據(jù)基于輪廓和基于區(qū)域的形狀特征描述方法，分別提取磨粒局部輪廓和局部區(qū)域的形狀特征，最后融合磨粒的局部輪廓特征和局部區(qū)域特征，得到磨粒的局部形狀特征集合。

3.1 磨粒局部輪廓形狀特征

根據(jù)磨粒局部輪廓的中心距離函數(shù)，計算局部輪廓的邊界矩和傅里葉描述子，作為磨粒局部輪廓的形狀特征，并且邊界矩［8］和傅里葉描述子［9］都具有平移、旋轉(zhuǎn)和尺度不變性。

中心距離函數(shù)為形狀輪廓點到形狀質(zhì)心的距離：

其中：x(i)和y(i)為局部輪廓點的坐標，gx和gy為形狀質(zhì)心的坐標。

以前3階歸一化的矩和中心矩作為磨粒局部輪廓的邊界矩特征BM，則

磨粒局部輪廓的傅里葉描述子FD為

3.2 磨粒局部區(qū)域形狀特征

提取磨粒局部區(qū)域形狀特征時，以區(qū)域矩［10］和通用傅里葉描述子［11］作為磨粒局部區(qū)域的形狀特征，其中區(qū)域矩包括不變矩、Zernike矩和偽Zernike矩等，本節(jié)采用具有平移、旋轉(zhuǎn)和尺度不變性的7個不變矩作為局部區(qū)域的區(qū)域矩特征。

以7個二維不變矩作為磨粒局部區(qū)域的區(qū)域矩特征RM，則

具有平移、尺度和旋轉(zhuǎn)不變性的通用傅里葉描述子GFD為

3.3 磨粒局部形狀特征

設(shè)磨粒共有N個局部輪廓及對應(yīng)的局部區(qū)域，則第i個局部輪廓的形狀特征及對應(yīng)的第i個局部區(qū)域的形狀特征融合構(gòu)成磨粒的第i個局部形狀特征xi，則

式中：d表示特征的維數(shù)。

N個d維的局部形狀特征構(gòu)成磨粒的局部形狀特征集合X，則

4 基于BoF模型的形狀特征表示

BoF（Bag of Features）模型是由 Li Fei-Fei和Sivic等將文檔檢索領(lǐng)域的BoW（Bag of Words）模型應(yīng)用到計算機視覺領(lǐng)域發(fā)展起來的，已經(jīng)在圖像檢索、場景分類、動作識別和物體識別等領(lǐng)域得到了廣泛應(yīng)用。BoF模型的思想是先提取訓(xùn)練集合圖像的局部特征，然后采用聚類的方法對所有局部特征進行聚類，以得到的聚類中心作為圖像的視覺單詞，所有的視覺單詞構(gòu)成圖像的視覺詞典，或稱為碼本。最后根據(jù)局部特征與視覺單詞之間的映射關(guān)系，對圖像的局部特征進行特征編碼和特征匯集，最終得到圖像的編碼向量。

4.1 構(gòu)建視覺詞典

根據(jù)磨粒局部形狀特征提取方法，可以得到訓(xùn)練集中所有磨粒圖像的局部形狀特征集合X，然后根據(jù)所有的局部形狀特征構(gòu)建視覺詞典。目前構(gòu)建視覺詞典一般采用聚類的方法，其中k-means聚類方法因其簡單和有效，得到了廣泛應(yīng)用，將具有最大相似性的局部特征歸為一類，以得到的聚類中心bi作為視覺單詞，M個視覺單詞組合構(gòu)建視覺詞典B=[b1，b2，…，bN]∈Rd×M。

4.2 特征編碼

視覺詞典構(gòu)建完成之后，就需要將d維的局部特征根據(jù)視覺詞典轉(zhuǎn)換成M維的編碼，即對局部特征進行特征編碼。局部約束線性編碼［12］在計算機視覺領(lǐng)域的應(yīng)用中取得了矚目的效果，根據(jù)局部性原理，它在對局部特征xi編碼時不是采用所有視覺詞典B的作為基，而是以B中k個最近鄰作為局部基來進行特征編碼。經(jīng)過特征編碼之后，得到磨粒的局部形狀特征編碼集合C=[c1，c2，…，cN]∈RM×N，其中ci表示局部形狀特征xi的編碼向量，cij表示視覺單詞bj對局部形狀特征xi的編碼。

4.3 特征匯集

由于不同的磨粒構(gòu)建的骨架不相同，導(dǎo)致不同磨粒得到的局部輪廓和局部區(qū)域的數(shù)量也不相同，進而不同的磨粒其局部形狀特征的個數(shù)也不相同。因此即使基于相同的視覺詞典對所有磨粒的局部形狀特征進行編碼，由于編碼向量的維數(shù)不同，不能直接用于磨粒類型識別。這就需要對特征編碼向量進行特征匯集，使得每個磨粒圖像的局部形狀特征匯集成維數(shù)相同的特征編碼向量。

經(jīng)典的特征匯集方法包括求和匯集、平均匯集和最大匯集，其中采用最大匯集的方法得到的結(jié)果比求和匯集和平均匯集的結(jié)果更好［13］。對于某個磨粒的N個局部形狀特征的編碼矩陣C，其最大匯集為

最后采用CX的2范數(shù)‖CX‖2對CX進行歸一化，得到CX=CX/‖CX‖2。對CX經(jīng)過特征匯集和歸一化之后，每個磨粒的編碼向量CX都是一個M維的向量，僅與用來進行特征編碼的視覺單詞的個數(shù)M有關(guān)，而與每個磨粒中局部形狀特征的個數(shù)N無關(guān)，因此可以利用特征匯集和歸一化之后的M維的編碼向量CX來表示磨粒的形狀特征，進而根據(jù)這個編碼向量對磨粒類型進行識別。圖2（a）、圖 2（b）和圖 2（c）分別為圖 1（a）、圖 1（e）和圖 1（i）所示磨粒直方圖表示的歸一化后的編碼向量。

圖2 磨粒編碼向量

5 磨粒類型識別

以某型導(dǎo)彈發(fā)射車發(fā)動機為監(jiān)測對象，獲得其潤滑系統(tǒng)中磨粒的圖像之后，根據(jù)磨粒的特點對其分類，本文對其中的嚴重滑動磨損磨粒、粘著磨損顆粒和疲勞磨損磨粒進行類型識別研究。每種類型的磨粒分別獲得30個樣本，將這90個樣本隨機分成兩部分，60個用于訓(xùn)練，30個用于測試。首先構(gòu)建磨粒樣本的骨架，根據(jù)骨架得到磨粒樣本的局部輪廓和局部區(qū)域，并提取磨粒樣本的局部輪廓形狀特征和局部區(qū)域形狀特征，所有的局部輪廓和區(qū)域形狀特征融合構(gòu)成磨粒樣本的局部形狀特征集合。然后采用k-means聚類方法，根據(jù)訓(xùn)練集所有磨粒樣本的局部形狀特征構(gòu)建視覺詞典，經(jīng)過特征編碼、特征匯集及歸一化得到訓(xùn)練集和測試集所有磨粒樣本形狀特征的編碼向量。最后采用多級支持向量機的方法［14］，根據(jù)磨粒形狀特征的編碼向量對磨粒類型進行識別，并與其它形狀特征提取方法做比較。表1為基于形狀特征的磨粒類型識別實驗結(jié)果。

表1 磨粒類型識別實驗結(jié)果

由表1可以看出，本文提出的基于BoF模型的磨粒形狀特征提取方法，在磨粒類型識別實驗中的結(jié)果都要優(yōu)于其他幾種常用的形狀特征描述方法。由于本文在提取磨粒的局部形狀特征時，綜合了不同尺度的磨粒的局部輪廓和局部區(qū)域形狀特征，能夠充分反映磨粒的整體和局部特征，以及輪廓和區(qū)域的形狀特征。同時根據(jù)BoF模型的思想，磨粒的局部形狀特征經(jīng)過特征編碼、特征匯集和歸一化后，得到單一的編碼向量，能夠很好地簡化磨粒的形狀特征，提高磨粒類型識別的準確率。

6 結(jié)語

1）根據(jù)磨粒區(qū)域骨架端點和骨架分支，得到磨粒的局部輪廓和局部區(qū)域，并提取局部輪廓和局部區(qū)域的形狀特征，兩者融合得到磨粒的局部形狀特征集合。

2）根據(jù)BoF模型的思想，采用聚類的方法構(gòu)建局部形狀特征的視覺詞典，然后通過特征編碼、特征匯集和歸一化，得到磨粒形狀特征的編碼向量表示。

3）磨粒類型識別實驗結(jié)果表明，本文提出的磨粒形狀特征提取方法能夠充分利用磨粒的整體和局部特征，以及輪廓和區(qū)域的形狀特征，提高磨粒類型識別的準確率。