基于NSCT子帶融合特征的紋理材質(zhì)分類

陳 旭 徐超義

(南京信息工程大學(xué)自動化學(xué)院 江蘇 南京 210044)

0 引 言

紋理是一種反映圖像中同質(zhì)現(xiàn)象的視覺特征，不同于灰度、顏色、形狀等圖像特征，紋理通過像素及周圍空間鄰域的灰度分布來表現(xiàn)。紋理特征具有類內(nèi)差異性和類間相似性，單一的紋理特征提取算法很難準(zhǔn)確地描述圖像紋理，因此提出一種具有高鑒別性和高計(jì)算效率的圖像紋理特征提取方法一直是研究的熱點(diǎn)。近年來隨著研究的不斷深入，紋理分類已經(jīng)應(yīng)用于很多重要領(lǐng)域并且起到了非常關(guān)鍵的作用，如虛擬現(xiàn)實(shí)與人機(jī)交互技術(shù)中就需要對提取的紋理特征進(jìn)行分析與建模，不同材質(zhì)的紋理特征在人機(jī)交互中給人帶來的感受也不同，優(yōu)秀的特征提取算法將會提高人機(jī)交互的真實(shí)感與沉浸感。

對于圖像紋理特征的分類識別，國內(nèi)外研究者提出了很多研究方法。Karmakar等[1]對Tamura紋理提取算法提出了改進(jìn)，用核描述符代替直方圖，增強(qiáng)了特征的旋轉(zhuǎn)不變性，但是Tamura算法提取的是全局特征信息，利用單一的Tamura算法提取特征會導(dǎo)致圖像局部細(xì)節(jié)信息的丟失。Marsico等[2]對傳統(tǒng)LBP算法進(jìn)行了改進(jìn)，提出了新的基于內(nèi)容的LBP碼選擇策略，選取最具“代表性”的LBP碼，減少了特征向量的長度，該方法提高了特征提取效率但魯棒性不是很好。Rafi等[3]提出了多尺度形態(tài)灰度共生矩陣紋理描述符，在多尺度數(shù)學(xué)形態(tài)學(xué)和共生矩陣的框架下設(shè)計(jì)了兩個(gè)新的紋理描述符，雖然在紋理分類精度上較傳統(tǒng)GLCM算法有很大提升，但GLCM為稀疏矩陣，在計(jì)算特征值時(shí)需要巨大的計(jì)算量。陳鳳萍等[4]研究出一種旋轉(zhuǎn)不變特征提取方法，將Curvelet變換之后的較細(xì)尺度子帶生成的矩陣特征與小波變換的統(tǒng)計(jì)學(xué)特征合并，提取出旋轉(zhuǎn)不變紋理特征向量，仿真結(jié)果證明該方法能夠提高紋理圖像識別準(zhǔn)確率，但是Curvelet算法復(fù)雜且對圖像光照和位置比較敏感。Zhang等[5]在局部二值模式算法基礎(chǔ)上提出了歸一化差分向量(NDV)，該方法在分類精度上有一定提升，但忽視了紋理方向的重要性。張艮山等[6]提出一種LBP-LSSVM數(shù)字圖像分類算法，使用LBP圖的直方圖構(gòu)建圖像樣本的特征向量，特征向量送入最小二乘支持向量機(jī)(LSSVM)構(gòu)建最優(yōu)分類模型，該方法從局部特征分析圖像紋理，能夠更精細(xì)地捕捉圖像鄰域紋理特征，實(shí)驗(yàn)結(jié)果也證明該方法具有較高的分類準(zhǔn)確率，但基于局部的特征提取方法缺乏對整體信息的把握，使其易受噪聲影響而不夠穩(wěn)定。

針對當(dāng)前紋理特征提取方法中的一些不足，如提取的特征信息不全面、魯棒性差、計(jì)算量大等， 本文提出一種基于NSCT子帶的CS-LBP和Tamura紋理融合特征的分類算法。其中CS-LBP算子描述的是圖像局部紋理特征信息，Tamura描述的是全局特征信息，通過對NSCT變換產(chǎn)生的多尺度、多方向高低頻子圖提取的CS-LBP和Tamura紋理特征，可以更全面地描述不同材質(zhì)的紋理圖片。另外本文還對傳統(tǒng)的CS-LBP算法進(jìn)行了優(yōu)化，利用鄰域像素值與中心像素值梯度差的平均值代替中心像素值，得到DCS-LEBP算子，在提取了圖像局部邊緣特征信息的基礎(chǔ)上又加入了低頻信息，提升了算法的抗噪性。最終將得到的融合特征矩陣輸入SVM分類器中進(jìn)行分類。實(shí)驗(yàn)表明，本文方法比單一特征方法有更強(qiáng)的魯棒性和抗噪性，分類精度也更高。

1 原理與方法

本文算法流程如圖1所示。首先，使用自適應(yīng)對比度增強(qiáng)算法(ACE)對圖像進(jìn)行預(yù)處理，提高圖像對比度；之后使用NSCT變換獲取各方向各尺度的高低頻子圖，在同一尺度變換上，NSCT在多個(gè)方向顯示了圖像的細(xì)節(jié)信息，從而提高特征提取的全面性；最后使用基于Tamura和DCS-LEBP的特征提取方法對圖像紋理特征進(jìn)行提取，并將得到的高、低頻融合特征級聯(lián)輸入SVM支持向量機(jī)對不同材質(zhì)的圖像進(jìn)行分類識別。本文選擇了木板、冰塊、墻面、棉布、樹根截面、樹葉、米粒、砂紙八種不同材質(zhì)的圖片，對它們進(jìn)行特征提取和分類。

圖1 算法流程

1.1 自適應(yīng)對比度增強(qiáng)(ACE)

圖像的紋理信息往往是高頻信息，但是低頻背景信號中經(jīng)常出現(xiàn)混入高頻信息的情況，降低了圖像紋理信息的視覺可見性，因而適度地放大高頻部分能夠提高視覺效果，同時(shí)還有利于紋理特征提取及分類。自適應(yīng)對比度增強(qiáng)[7]采用反銳化掩膜技術(shù)，首先通過低通濾波獲得低頻的反銳化掩膜部分，然后用原圖減去反銳化掩膜獲取高頻部分，最后將放大的高頻部分加入反銳化掩膜中，得到增強(qiáng)的圖像。設(shè)x(i,j)是原像素，則自適應(yīng)對比度增強(qiáng)后的像素值f(i,j)計(jì)算公式如下：

f(i,j)=mx(i,j)+G(i,j)[x(i,j)-mx(i,j)]

(1)

式中：mx(i,j)是局部區(qū)域均值，G(i,j)為局部增益，它們的計(jì)算方法分別如式(2)、式(3)所示。

(2)

(3)

本文中D取的是圖像的全局均方差，并且當(dāng)G(i,j)的值較大時(shí)會引起噪聲的放大，因此增加了一個(gè)參數(shù)DATA，用來控制高頻增強(qiáng)的程度。對紋理數(shù)據(jù)集中的樹根截面圖像增強(qiáng)效果如圖2(d)所示，圖2(b)是提取出的原圖像低頻濾波，圖2(c)是原圖的高頻成分。

圖2 樹根截面對比度增強(qiáng)圖

1.2 非下采樣Contourlet變換(NSCT)

Contourlet變換在圖像降噪、紋理、形狀的特征提取方面性能比二維離散小波變換有明顯提高，但是由于拉普拉斯金字塔和方向?yàn)V波器組中存在上下采樣，使得Contourlet變換不具有平移不變性，因此Cunha等[8]在Contourlet變換基礎(chǔ)上提出了具有平移不變性的非下采樣輪廓波變換(NSCT)。

圖3 NSCT分解框架

為了降低圖像中噪聲、光照等因素對分類精度的影響，提高系統(tǒng)效率，本文采用“9-7”濾波器組對圖像進(jìn)行3尺度塔形分解，同時(shí)用“haar”濾波器組從低尺度到高尺度進(jìn)行21、22、23方向的分解，經(jīng)過分解后一共得到15幅子圖，其中包括1幅低頻子圖和14幅細(xì)節(jié)子圖。

1.3 特征提取

為了更充分、全面地描述紋理，本文對NSCT變換產(chǎn)生的高頻和低頻子帶先進(jìn)行DCS-LEBP計(jì)算，得到各子帶的DCS-LEBP圖像，之后對各子帶的DCS-LEBP圖像分別進(jìn)行Tamura特征提取和特征直方圖統(tǒng)計(jì)，最后聯(lián)合提取到的DCS-LEBP特征與Tamura特征進(jìn)行紋理材質(zhì)分類。

1.3.1LBP特征提取

局部二進(jìn)制模式運(yùn)算符(LBP)[9]是一個(gè)眾所周知的紋理特征，已經(jīng)成功地應(yīng)用于許多領(lǐng)域，例如紋理分類[10]、人臉識別[11]等。LBP算子有幾個(gè)優(yōu)秀的性質(zhì)。首先，計(jì)算簡單快捷。其次，它為紋理結(jié)構(gòu)的描述提供了強(qiáng)大的辨別能力，同時(shí)對單調(diào)光照變化具有魯棒性。這些優(yōu)點(diǎn)使LBP成為描述局部紋理特征很好的選擇。但是，LBP算子產(chǎn)生的特征維數(shù)較高，尤其當(dāng)選取的鄰域像素點(diǎn)數(shù)量增加時(shí)容易形成“維數(shù)災(zāi)難”。因此，在保持LBP特征分類性能的同時(shí)如何去降低其特征維數(shù)成為一個(gè)關(guān)鍵問題。

原始的LBP算子可以看作是統(tǒng)計(jì)和結(jié)構(gòu)紋理分析的統(tǒng)一方法。LBP算子通過相鄰像素的相對灰度來描述每個(gè)像素。對于每個(gè)相鄰像素，如果其值不小于中心像素的值，則結(jié)果將被設(shè)置為1，否則結(jié)果將被設(shè)置為0，然后將結(jié)果與2的冪給定的權(quán)重相乘，并將它們累加，獲得中心像素的LBP碼。圖4說明了一個(gè)像素與八個(gè)相鄰像素的LBP計(jì)算。

圖4 LBP特征值計(jì)算方法

LBP算法的計(jì)算公式如下：

(4)

式中：nc表示3×3矩陣中心像素值；ni表示該矩陣周圍像素值。

一個(gè)LBP算子可以產(chǎn)生多種二進(jìn)制模式，對于p鄰域的LBP算子將會產(chǎn)生2p種模式，8鄰域的LBP將會產(chǎn)生256維的紋理直方圖。描述符產(chǎn)生相當(dāng)大的特征維數(shù)，難以用作區(qū)域描述符。因此，Heikkila等[12]提出16維的CS-LBP描述符，與LBP不同的是，他們沒有將每個(gè)像素的灰度級與中心像素的灰度級進(jìn)行比較，而是比較一個(gè)區(qū)域中相對像素的灰度級差異。CS-LBP大大降低了特征維數(shù)提高了特征提取效率。

詳細(xì)的CS-LBP計(jì)算可以用式(5)表示。

(5)

式中：ni、ni+(N/2)是和中心像素相對的兩個(gè)像素。

LBP和CS-LBP算子兩者具體的區(qū)別見圖5。

圖5 LBP和CS-LBP的對比

上文介紹的兩種LBP、CS-LBP及其他擴(kuò)展的局部二進(jìn)制模式都只是由局部像素之間的灰度差異獲得，忽略了圖像的局部邊緣。Sun等[13]提出中心對稱局部邊緣二值模式(CS-LEBP)，與傳統(tǒng)局部二進(jìn)制算法相比，CS-LEBP是圍繞邊緣計(jì)算得到的，將二值模式與局部邊緣進(jìn)行了融合。實(shí)驗(yàn)結(jié)果表明，該算法在紋理圖像檢索方面的性能優(yōu)于同類算法。

CS-LEBP算法的計(jì)算可以用式(6)表示。

(6)

1.3.2改進(jìn)的CS-LEBP

中心對稱局部邊緣模式(CS-LEBP)考慮了局部區(qū)域中像素之間的灰度變化的同時(shí)還融合了局部邊緣信息，但是灰度變化和局部邊緣都表示高頻信息，這導(dǎo)致低頻信息丟失。很明顯這是不抗噪的，并且對局部紋理描述不夠全面。

為了能夠提高圖像在噪聲環(huán)境中的適用性，更完善地描述圖像紋理，本文引入了一種改進(jìn)的DCS-LEBP算子，利用鄰域像素與局部像素差累加和的平均值代替中心像素值，在不增加特征維度的同時(shí)，降低了噪聲干擾，增強(qiáng)了紋理描述性能，并在紋理圖片分類中取得了更好的分類結(jié)果。計(jì)算方法如下：

(7)

其中：

使用本文改進(jìn)的CS-LEBP算子得到的DCS-LEBP圖如圖6所示。

圖6 DCS-LEBP圖像

1.3.3Tamura紋理特征提取

Tamura等[14]對圖像紋理進(jìn)行了深入研究，提出了與心理學(xué)觀點(diǎn)上相對應(yīng)的6個(gè)描述全局的紋理特征成分，即對比度、方向度、粗糙度、線性度、規(guī)整度和粗略度。在實(shí)際應(yīng)用中，Tamura的粗糙度、對比度、線性度三個(gè)紋理特征描述符很好地表達(dá)了視覺圖像的紋理特性，在圖像分類中取得了較好的分類效果。其他三個(gè)特征與上述三個(gè)特征高度相關(guān)，并且不會增加紋理描述的有效性[15]。因此，本文應(yīng)用前三個(gè)特征來對圖像進(jìn)行描述。

粗糙度。粗糙度反映了灰度圖像強(qiáng)度的變化，是紋理特征中最重要的特征，也是最能反映圖像紋理內(nèi)涵的特征，粗糙度通過計(jì)算整個(gè)圖像大小的平均值獲得。其計(jì)算方法如式(8)所示。

(8)

式中：m×n為圖像尺寸；sbest(i,j) 為最優(yōu)窗口。

對比度。Tamura紋理特征的對比度是通過計(jì)算灰度的分布情況來獲得的，它給出了一個(gè)全局度量Fcon來作為整幅圖像或一個(gè)區(qū)域的對比度。對比度可以用式(9)表示。

(9)

方向度。方向度描述的是紋理如何沿著某些方向散發(fā)或集中的一個(gè)全局特性。方向度通過統(tǒng)計(jì)直方圖中峰值的銳角θ獲得，其計(jì)算方法可以用式(10)表示。

(10)

式中：p代表直方圖HD的峰值；wp代表峰值范圍；HD是根據(jù)圖中包含的全部像素的梯度向量的數(shù)量而構(gòu)建的直方圖。

1.3.4 紋理特征提取方法

本文提出的特征提取具體流程如下：

1) 選取自適應(yīng)對比度增強(qiáng)算法(ACE)對紋理圖像進(jìn)行預(yù)處理，提高原圖像的對比度，得到對比度增強(qiáng)的紋理圖像。

2) 對得到的對比度增強(qiáng)后的紋理圖像進(jìn)行NSCT變換，采用“9-7”濾波器組對圖像進(jìn)行3尺度塔形分解，同時(shí)用“haar”濾波器組從低尺度到高尺度進(jìn)行多個(gè)方向的分解，最后得到1幅低頻子圖和14幅細(xì)節(jié)子圖。使用本文改進(jìn)的CS-LBP算子，對NSCT變換得到的15幅子圖進(jìn)行DCS-LEBP計(jì)算，并得到DCS-LEBP圖像。

3) 將15幅DCS-LEBP圖進(jìn)行特征直方圖統(tǒng)計(jì)，得到紋理特征直方圖，并生成參數(shù)矩陣。其中每幅子圖的DCS-LEBP特征維數(shù)是16維。

4) 根據(jù)得到的DCS-LEBP圖像，對其進(jìn)行Tamura紋理特征提取，選取Tamura中的粗糙度、對比度和方向度3個(gè)特征來描述圖像。最后將15組Tamura特征進(jìn)行級聯(lián)，得到45個(gè)參數(shù)的特征矩陣，結(jié)合改進(jìn)的局部中心對稱二值模式(DCS-LEBP)得到的參數(shù)矩陣對圖像進(jìn)行描述。

1.4 SVM分類器

優(yōu)秀的紋理特征提取算法對分類準(zhǔn)確率至關(guān)重要，分類器的選擇也會對識別結(jié)果產(chǎn)生較大影響。本文選擇支持向量機(jī)(SVM)對不同材質(zhì)的紋理圖像進(jìn)行分類。支持向量機(jī)(SVM)[16]是一種在分類和回歸的情況下進(jìn)行預(yù)測的技術(shù)。在函數(shù)和可解決問題條件方面，SVM與人工神經(jīng)網(wǎng)絡(luò)處于同一類。它依賴于被稱為結(jié)構(gòu)風(fēng)險(xiǎn)最小化(SRM)的機(jī)制，利用支持向量機(jī)將輸入向量映射到高維空間，計(jì)算兩組樣本之間的最佳分離超平面。

支持向量機(jī)的核心是核函數(shù)。核函數(shù)的類型有很多，在使用時(shí)需要根據(jù)不同的應(yīng)用場合去選擇適合的核函數(shù)。在之前的研究中，采用高斯徑向基函數(shù)對紋理圖像進(jìn)行分類，取得了較高的分類精度，并且高斯徑向基函數(shù)計(jì)算復(fù)雜度低[17]。因此本文采用帶高斯徑向基函數(shù)的支持向量機(jī)對不同材質(zhì)的紋理圖像進(jìn)行分類，另外系統(tǒng)采用網(wǎng)格搜索方法獲得最優(yōu)參數(shù)，得到較高的訓(xùn)練精度，采用交叉驗(yàn)證方法來提高預(yù)測精度。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)

本文選擇Brodatz紋理庫中的木板、冰塊、墻面、棉布、樹根截面、樹葉、米粒、砂紙8類紋理圖像樣本進(jìn)行分類，來驗(yàn)證本文算法的性能。圖7為選擇的8類紋理圖像。

圖7 選擇的8類紋理圖片

2.2 對比實(shí)驗(yàn)

選取的8類紋理圖像大小均為640×640像素。共有訓(xùn)練樣本560個(gè)，測試樣本240個(gè)，其中每個(gè)種類的訓(xùn)練樣本為70個(gè)，每個(gè)種類的測試樣本為30個(gè)。采用K-means聚類算法，選擇效果較好的聚類數(shù)目K=3，可以同時(shí)對三類數(shù)據(jù)集進(jìn)行劃分，減少運(yùn)算時(shí)間。

本文分別測試了CS-LBP、DCS-LEBP、Tamura、基于NSCT的DCS-LEBP和Tamura融合特征的分類精度。相較于傳統(tǒng)的LBP算子，本文選取了中心對稱局部二值模式(CS-LBP),很大程度上減少了特征維數(shù)，降低了計(jì)算復(fù)雜度。同時(shí)為了獲得較好的分類結(jié)果，采用改進(jìn)的DCS-LEBP進(jìn)行特征提取，在不增加特征維數(shù)的基礎(chǔ)上獲得了較為全面的紋理特征信息。對于Tamura算法，在得到原圖像的DCS-LEBP圖的基礎(chǔ)上，對DCS-LEBP圖提取粗糙度、對比度、方向度來描述圖像。

在實(shí)驗(yàn)一中，將3種紋理特征提取方法的分類準(zhǔn)確率進(jìn)行了對比，其中方法1為通過Tamura算法得到的三個(gè)特征參數(shù)作為SVM的輸入進(jìn)行分類；方法2為采用改進(jìn)的CS-LBP算子提取特征進(jìn)行分類；方法3為本文方法，基于NSCT子帶的DCS-LEBP和Tamura紋理特征融合方法。

從圖8可以看出，改進(jìn)后得到的DCS-LEBP算法對整個(gè)樣本的平均分類性能優(yōu)于Tamura，并且對于單個(gè)樣本的分類準(zhǔn)確度也高于Tamura?；诒疚牡膬煞N算法相結(jié)合的分類正確率明顯高于單一算法，平均準(zhǔn)確率可以達(dá)到98.3%。

圖8 不同方法的準(zhǔn)確率

在實(shí)驗(yàn)二中，為了兼顧特征維數(shù)與分類準(zhǔn)確率，選擇了采樣點(diǎn)為8、半徑為2的CS-LBP和DCS-LEBP算子，進(jìn)行分類性能的對比。分類結(jié)果如圖9所示，在相同的條件下，DCS-LEBP獲得的特征參數(shù)具有更高的分類準(zhǔn)確度。

圖9 CS-LBP與DCS-LEBP的分類準(zhǔn)確率

在實(shí)驗(yàn)三中，將兩種Tamura紋理特征提取算法的分類性能進(jìn)行了對比。其中方法1為通過原Tamura算法得到的三個(gè)參數(shù)級聯(lián)起來的矩陣作為SVM的輸入進(jìn)行分類；方法2為本文改進(jìn)的Tamura特征提取方法，即先對原圖像進(jìn)行DCS-LEBP計(jì)算，得到原圖像的DCS-LEBP圖，最后對得到的DCS-LBP圖進(jìn)行Tamura紋理特征提取，特征參數(shù)輸入支持向量機(jī)進(jìn)行分類。實(shí)驗(yàn)結(jié)果如圖10所示，在相同條件下，改進(jìn)的Tamura特征提取方法較原算法在紋理材質(zhì)分類精度上有了一定程度上的提升。

圖10 Tamura和改進(jìn)的Tamura的分類準(zhǔn)確率

在實(shí)驗(yàn)四中，進(jìn)行了錯(cuò)誤匹配實(shí)驗(yàn)，選取了三組共90幅Brodatz紋理庫中不同于樣本圖像的測試樣本，測試錯(cuò)誤圖像被劃分到樣本集中的概率。如圖11所示，方法1、方法2與方法3均存在不同程度的錯(cuò)誤分類，并且錯(cuò)誤分類都由于和紋理特征較為平滑的棉布和砂紙相混淆。根據(jù)實(shí)驗(yàn)結(jié)果來看，Tamura的錯(cuò)誤分類率最高，DCS-LEBP次之，本文方法的錯(cuò)誤分類率最低，只有5.6%，因此本文方法是準(zhǔn)確可行的。

圖11 匹配錯(cuò)誤率

3 結(jié) 語

本文針對當(dāng)前紋理特征提取方法中提取的特征信息不全面、魯棒性差、計(jì)算量大等不足，提出一種基于NSCT子帶圖像的CS-LBP和Tamura算法相結(jié)合的紋理材質(zhì)分類算法。選擇Brodatz紋理庫中的圖片建立樣本集與測試集，使用SVM支持向量機(jī)進(jìn)行分類，經(jīng)過對比實(shí)驗(yàn)，證明本文方法比單一算法提取的特征更全面，具有更高的魯棒性和抗噪性，對紋理材質(zhì)的分類效果也更好。另外，本文改進(jìn)的DCS-LEBP算法和優(yōu)化的Tamura算法也比原算法具有更好的分類識別性能。本文算法對較為模糊的紋理圖像分類也具有魯棒性。但是實(shí)驗(yàn)結(jié)果顯示，Tamura算法的識別效果與其他算法相比分類準(zhǔn)確率還有待提高，所以今后的研究重點(diǎn)是繼續(xù)改進(jìn)Tamura算法，提高其對精細(xì)紋理的識別能力。