基于T-GLCM和Tamura融合特征的紋理材質(zhì)分類

0 引言

紋理特征提取是圖像處理、圖像分析、計(jì)算機(jī)視覺等諸多領(lǐng)域的基礎(chǔ)研究之一．紋理特征的類內(nèi)差異性及類間相似性決定了僅依靠單一的提取算法無法準(zhǔn)確真實(shí)地表現(xiàn)圖像的紋理特征,因此,通過多種紋理特征提取算法的融合來提高提取的效率和準(zhǔn)確率是當(dāng)前研究的熱點(diǎn)．隨著研究的不斷深入,圖像紋理的分類在諸多領(lǐng)域都得到了很重要的應(yīng)用,例如在虛擬現(xiàn)實(shí)觸覺再現(xiàn)領(lǐng)域,通過再現(xiàn)設(shè)備可以識(shí)別不同的材質(zhì),得到更加真實(shí)的觸覺體驗(yàn),增加使用者的沉浸感和真實(shí)感．

國(guó)內(nèi)外研究者就圖像紋理特征提取與分類進(jìn)行了大量的理論研究與實(shí)驗(yàn)．Marsico等[1]在傳統(tǒng)LBP(Local Binary Pattern)算法基礎(chǔ)上進(jìn)行了改進(jìn),選擇LBP碼作為基于內(nèi)容的LBP碼選擇策略,減少了特征向量的長(zhǎng)度,特征提取效率有所提高,但魯棒性并不好;El Khadiri 等[2]基于LBP 算法提出了一種局部二值梯度等值(LBGC) 算法進(jìn)行紋理分類,雖然精度很高,但需要的特征維度比較高,不滿足實(shí)時(shí)性要求;陳洋等[3]通過結(jié)合Gabor濾波器和ICA技術(shù)進(jìn)行紋理的分類,缺點(diǎn)是容易丟失數(shù)據(jù);梅軍等[4]基于 Tamura 紋理特征對(duì)紋理圖像進(jìn)行分類,在方向性和形態(tài)學(xué)運(yùn)算中都有很好的效果;Karmakar等[5]對(duì)Tamura紋理提取算法進(jìn)行改進(jìn),用核描述符代替直方圖,對(duì)特征的旋轉(zhuǎn)不變性進(jìn)行了加強(qiáng),不過Tamura算法提取的是全局特征信息,利用單一的Tamura算法提取特征會(huì)導(dǎo)致圖像局部細(xì)節(jié)信息的丟失;Haralick等[6]提出了灰度共生矩陣(Gray-Level Co-occurrence Matrix,GLCM)方法,該方法對(duì)規(guī)則的紋理圖像具有較好的識(shí)別效果;Fahrurozi 等[7]使用GLCM結(jié)合邊緣檢測(cè)算法來提取紋理的特征,發(fā)現(xiàn)GLCM紋理特征參數(shù)中只有4組值是線性無關(guān),可以進(jìn)行級(jí)聯(lián)分類．因GLCM在紋理分析中的優(yōu)異表現(xiàn),其在紋理特征提取方面得到了較為廣泛的使用．但GLCM在不同的方向上存在著不同的矩陣,因此后續(xù)的研究人員提出了不同的計(jì)算方法來解決此問題．

本文提出一種基于改進(jìn)的灰度共生矩陣(T-Gray-Level Co-occurrence Matrix,T-GLCM)和Tamura融合的紋理特征提取算法,不僅解決了單一的紋理提取算法不能準(zhǔn)確地描述圖像紋理的問題,而且改進(jìn)的T-GLCM算子還提升了傳統(tǒng)灰度共生矩陣的旋轉(zhuǎn)不變性,并減少了冗余信息．利用 Tamura紋理特征對(duì)圖像進(jìn)行量化,然后將各特征區(qū)域量化后級(jí)聯(lián)成一組特征向量,融合T-GLCM的紋理特征,最后將融合的特征矩陣輸入支持向量機(jī)(SVM)[8],通過SVM對(duì)紋理材質(zhì)進(jìn)行分類．選擇Brodatz紋理庫(kù)中的圖像,通過實(shí)驗(yàn)驗(yàn)證,結(jié)果表明本文提出的方法在提高紋理特征提取效率的同時(shí)保證了較強(qiáng)的魯棒性,提取的精度較傳統(tǒng)算法更高．

1 原理與方法

本文提出的算法流程如圖1所示．首先,對(duì)輸入的圖像進(jìn)行g(shù)amma校正,再將校正后的圖像進(jìn)行自適應(yīng)對(duì)比度增強(qiáng)算法(ACE)處理,以此提高圖像對(duì)比度．然后使用基于T-GLCM和Tamura融合的特征提取方法,對(duì)處理后的圖像進(jìn)行紋理特征提取并生成特征矩陣．最后利用支持向量機(jī)(SVM)對(duì)不同材質(zhì)的紋理信息進(jìn)行分類識(shí)別,以此來獲取8種不同材質(zhì)的紋理特征信息,本文選用的8種材質(zhì)分別為:木板、鋁箔、大理石、棉布、餅干、樹葉、絲綢、砂紙．

1.1 gamma校正

gamma校正[9]又稱冪律變換,跟對(duì)數(shù)變換類似,是一種非線性補(bǔ)償函數(shù)．gamma校正是將部分灰度區(qū)域映射到更寬或更窄的區(qū)域以達(dá)到增強(qiáng)圖像的效果,目的是校正圖像的亮度偏差,從而減少因圖像亮度偏差對(duì)紋理提取精度的影響,其方法是對(duì)輸入圖像的灰度值進(jìn)行指數(shù)變換．gamma校正的表達(dá)式為

(1)

其中,A為常數(shù),Vin為原圖像中像素點(diǎn)的像素值,Vout為校正后圖像的像素值,γ為校正值．γ值的不同將直接影響對(duì)圖像亮度質(zhì)量的改善效果．γ小于1時(shí),圖像的灰度值增加,亮度提高對(duì)比度增強(qiáng);γ大于1時(shí),圖像的灰度值減小,亮度下降,但對(duì)比度在一定程度上也會(huì)達(dá)到增強(qiáng)的效果．

1.2 自適應(yīng)對(duì)比度增強(qiáng)(ACE)

自適應(yīng)對(duì)比度增強(qiáng)[10]采用反銳化掩膜技術(shù),主要是把圖像分為低頻的反銳化掩膜以及高頻部分,用原圖減去反銳化掩膜獲取高頻部分,最后將高頻部分加入反銳化掩膜并加上增益系數(shù)G(i,j),得到增強(qiáng)的圖像．

設(shè)x(i,j)是原像素,通過自適應(yīng)對(duì)比度增強(qiáng)后的像素值為

f(i,j)=mx(i,j)+G(i,j)[x(i,j)-mx(i,j)]．

(2)

獲取圖像的反銳化掩膜即低頻部分可以通過圖像中心各像素點(diǎn)為中心的局部區(qū)域的像素平均值求得,中心像素點(diǎn)的低頻部分的像素值可以通過下式計(jì)算得到:

(3)

其中,(i,j)、(k,l)分別為像素點(diǎn)和像素點(diǎn)周圍鄰域的坐標(biāo)．

局部增益G(i,j)的值是恒大于1的,所以[x(i,j)-mx(i,j)]就會(huì)變大,局部增益的計(jì)算公式如下:

(4)

(5)

其中,σx(i,j)為局部均方差,D為一個(gè)常數(shù),它的值可以選擇全局平均值或者是全局均方差,本文的D取值為圖像的全局均方差．

1.3 特征提取

為了提高紋理特征分類的精準(zhǔn)度,對(duì)經(jīng)過gamma校正和自適應(yīng)對(duì)比度增強(qiáng)的圖像使用基于T-GLCM和Tamura融合的特征提取方法對(duì)圖像紋理特征進(jìn)行提取并生成特征矩陣．

1.3.1 基于GLCM特征提取

灰度共生矩陣(GLCM)[11]在統(tǒng)計(jì)圖像分析中得到了廣泛的應(yīng)用,GLCM常用的紋理特征統(tǒng)計(jì)量有14個(gè),經(jīng)常采用的有以下4種特征統(tǒng)計(jì)量:

1)能量(ASM)是GLCM元素值的總和,反映圖像紋理的粗細(xì)程度以及灰度分布的均勻程度,其量值記為A;

2)熵(ENT)表示圖像紋理的不均勻性和復(fù)雜程度,其量值記為E;

3)對(duì)比度(CON)反映圖像紋理溝紋的深淺程度,溝紋越深,對(duì)比度就越明顯,其量值記為C;

4)逆差分矩(IDM)反映圖像紋理的同質(zhì)性,度量圖像紋理的局部變化量,其量值記為I．

1.3.2 改進(jìn)的灰度共生矩陣(T-GLCM)

直接采用傳統(tǒng)的灰度共生矩陣(GLCM)存在一個(gè)問題,其特征值隨旋轉(zhuǎn)角度的改變而變化且存在大量冗余信息．為了解決傳統(tǒng)GLCM存在的不足,提高特征提取的精度,本文提出了一種改進(jìn)的灰度共生矩陣(T-GLCM)．改進(jìn)的灰度共生矩陣的具體方法如下:首先對(duì)傳統(tǒng)的灰度共生矩陣(GLCM)進(jìn)行轉(zhuǎn)置操作后與GLCM取平均值得到G1;然后對(duì)G1從0°、45°、90°、135°四個(gè)方向上得到的各個(gè)矩陣進(jìn)行相加取平均值得到最終的共生矩陣T-GLCM．

(6)

其中,G表示傳統(tǒng)灰度共生矩陣,GT表示G的轉(zhuǎn)置矩陣．式中得到的G1具有旋轉(zhuǎn)不變性．

4個(gè)特征統(tǒng)計(jì)量可分別表示為

(7)

(8)

(9)

(10)

1.3.3 基于Tamura紋理特征提取

Tamura等[12]在深入研究圖像紋理后,根據(jù)心理學(xué)觀點(diǎn),提出6個(gè)紋理特征成分,即對(duì)比度、方向度、粗糙度、線粒度、規(guī)則度和粗略度．本文應(yīng)用對(duì)比度、方向度和粗糙度3個(gè)特征對(duì)圖像紋理進(jìn)行分析．

1)對(duì)比度:圖像中最亮與最暗兩部分的灰度之差就是對(duì)比度．對(duì)比度越大,圖像更清晰,反之,對(duì)比度越小,效果越模糊．對(duì)比度的計(jì)算方法如下:

① 像素(x,y)的3×3鄰域像素的平均值為

(11)

其中,f(i,j)為像素點(diǎn),(i,j)為灰度值．

② 標(biāo)準(zhǔn)差為

(12)

③ 四階矩為

(13)

④ 對(duì)比度為

(14)

2)方向度:圖像中的紋理沿著某個(gè)方向呈現(xiàn)出某種形態(tài),具有一定的方向性,它可以通過計(jì)算梯度向量來計(jì)算出方向度．計(jì)算步驟如下:

① 像素點(diǎn)(x,y)的梯度向量的模以及方向如下:

|ΔG(x,y)|=(|ΔH|+|ΔV|)/2,

(15)

(16)

其中,ΔH和ΔV分別表示對(duì)圖像進(jìn)行如式(17)卷積計(jì)算后在水平與垂直方向上的結(jié)果．

(17)

② 根據(jù)趙海英等[13]方法設(shè)定閾值t=12,像素點(diǎn)(x,y)的方向角d(x,y)計(jì)算公式如下:

(18)

③ 像素點(diǎn)(x,y)的3×3鄰域所有像素的方向角均值:

(19)

④ 像素點(diǎn)(x,y)的方向角為

d′(x,y)=|d(x,y)-μ(x,y)|．

(20)

3)粗糙度:比對(duì)分析多種圖像粗糙度的計(jì)算方法后表明,Tamura在表達(dá)圖像粗糙度方面是最準(zhǔn)確的．用線性量化代替指數(shù)量化又可以降低算法的復(fù)雜度．其計(jì)算步驟如下:

① 以像素(i,j)為中心,水平方向平均灰度方差為

En,u(i,j)=|An(i-n,j)-An(i+n,j)|．

(21)

② 垂直方向平均灰度方差為

En,v(i,j)=|An(i,j-n)-An(i,j+n)|,

(22)

其中,A(i,j)為平均灰度值,n為1,2,3,4,5．

③ 不分方向得到最大值:

Sbest(i,j)=max{En,m(i,j)|n∈[1,5],m=u,v}．

(23)

④ 以像素(i,j)為中心的3×3鄰域平均粗糙度為

(24)

⑤ 像素粗糙度與平均粗糙度差的絕對(duì)值就是該像素的粗糙度度量．

1.3.4 紋理特征提取方法

本文提出的特征提取具體流程如下:

1)選取gamma校正對(duì)圖像的亮度偏差進(jìn)行校正,從而減少因圖像亮度偏差對(duì)紋理提取精度的影響．

2)選取自適應(yīng)對(duì)比度增強(qiáng)算法(ACE)對(duì)紋理圖像進(jìn)行預(yù)處理,提高原圖像的對(duì)比度,得到對(duì)比度增強(qiáng)的紋理圖像．

3)根據(jù)改進(jìn)的灰度共生矩陣(T-GLCM)的4個(gè)統(tǒng)計(jì)量:特征能量(ASM)、熵(ENT)、對(duì)比度(CON)和逆差分矩(IDM)得到圖像的特征信息．

4)使用Tamura算法通過對(duì)比度、方向度和粗糙度3個(gè)特征對(duì)圖像紋理進(jìn)行分析,并融合改進(jìn)的灰度共生矩陣(T-GLCM)對(duì)圖像紋理特征進(jìn)行提取并生成特征矩陣．

1.4 SVM分類器

本文選擇的支持向量(SVM)[14]是一種在分類和回歸的情況下進(jìn)行預(yù)測(cè)的技術(shù),在模式識(shí)別、分類和非線性回歸方面得到了廣泛的應(yīng)用．支持向量機(jī)是一種與學(xué)習(xí)算法相關(guān)的監(jiān)督模型,對(duì)于給定的一組訓(xùn)練集,每個(gè)不同的示例被標(biāo)記為兩個(gè)類別中的一個(gè),SVM將新的示例分配給其中一個(gè)類別,使得其成為非概率二進(jìn)制線性分類器．依賴于被稱為結(jié)構(gòu)風(fēng)險(xiǎn)最小化(SRM)的機(jī)制,利用支持向量機(jī)將輸入向量映射到高維空間,計(jì)算兩組樣本之間的最佳分離超平面．SVM需要一組參數(shù),包括支持向量機(jī)的類型、核函數(shù)的類型、罰因子和訓(xùn)練停止的標(biāo)準(zhǔn)．其中,SVM的核心是核函數(shù)．核函數(shù)的類型有很多,經(jīng)過不斷的研究表明,高斯徑向基函數(shù)在紋理圖像分類方面取得了較高的分類精度,并且高斯徑向基函數(shù)計(jì)算復(fù)雜度低[15]．其公式如下:

(25)

其中,x′是內(nèi)核函數(shù)中心,σ是函數(shù)的寬度參數(shù),控制函數(shù)的徑向范圍．

本文選擇帶高斯徑向基函數(shù)的支持向量機(jī)對(duì)不同材質(zhì)的紋理圖像進(jìn)行分類,而且系統(tǒng)采用網(wǎng)格搜索方法獲得最優(yōu)參數(shù),以此提升訓(xùn)練精度,采用交叉驗(yàn)證方法來提高預(yù)測(cè)精度．

2 實(shí)驗(yàn)結(jié)果與分析

2.1 分類精度與實(shí)時(shí)性對(duì)比實(shí)驗(yàn)

為了驗(yàn)證本文提出的算法能有效提高紋理特征提取的精度,選擇Brodatz紋理庫(kù)中的木板、鋁箔、大理石、棉布、餅干、樹葉、絲綢、砂紙8類紋理圖像樣本進(jìn)行分類精度實(shí)驗(yàn)．圖2為選擇的8類紋理圖像．

圖2 選擇的8類紋理圖片F(xiàn)ig.2 Selected 8 types of texture images

選取的8類紋理圖像大小均為640×640像素．共有訓(xùn)練樣本560個(gè),測(cè)試樣本240個(gè),其中每個(gè)種類的訓(xùn)練樣本為70個(gè),每個(gè)種類的測(cè)試樣本為30個(gè)．采用K-means聚類算法[16],對(duì)三類數(shù)據(jù)集進(jìn)行劃分,提升運(yùn)算的效率．

分別測(cè)試了T-GLCM、Tamura以及T-GLCM和Tamura融合特征的分類精度．對(duì)于 T-GLCM 算法,選擇d=1,灰度等級(jí)為16,依據(jù)4個(gè)角度上的對(duì)比度、相關(guān)性、能量和逆差矩,得到16個(gè)參數(shù)的特征矩陣．對(duì)于Tamura算法,對(duì)圖像進(jìn)行量化,然后將各特征區(qū)域量化后級(jí)聯(lián)成一組特征向量,融合T-GLCM的紋理特征提取粗糙度、對(duì)比度、方向度來描述圖像．

方法1為通過Tamura算法得到的3個(gè)特征參數(shù)作為SVM的輸入進(jìn)行分類;方法2為通過改進(jìn)的灰度共生矩陣(T-GLCM)得到的16個(gè)特征參數(shù)級(jí)聯(lián)起來的矩陣作為紋理特征通過SVM分類;方法3是基于T-GLCM和Tamura融合特征的紋理材質(zhì)分類方法．

1)實(shí)驗(yàn)1.為了驗(yàn)證本文算法的正確性,進(jìn)行了對(duì)比實(shí)驗(yàn),結(jié)果如圖3所示．從圖3可以看出,T-GLCM算法的整個(gè)樣本的正確性高于Tamura,并且每種樣本的準(zhǔn)確率也高于 Tamura,兩種算法相結(jié)合的正確性明顯優(yōu)于單一算法,且準(zhǔn)確率可以達(dá)到97.1%．

圖3 3種方法的準(zhǔn)確率Fig.3 Classification accuracy comparison between three methods

2)實(shí)驗(yàn)2.為了驗(yàn)證本文改進(jìn)的灰度共生矩陣(T-GLCM)與傳統(tǒng)灰度共生矩陣(GLCM)在性能上是否有提升,將傳兩種算法的分類精度進(jìn)行對(duì)比,分類的結(jié)果如圖4所示,明顯看出,本文提出的T-GLCM具有比傳統(tǒng)灰度共生矩陣(GLCM)更高的分類精度．

圖4 傳統(tǒng)GLCM與T-GLCM準(zhǔn)確率Fig.4 Classification accuracy comparison between traditional GLCM and T-GLCM

3)實(shí)驗(yàn)3.為了驗(yàn)證算法的魯棒性,對(duì)測(cè)試集進(jìn)行錯(cuò)誤匹配實(shí)驗(yàn),選取了3組,每組30張Brodatz紋理庫(kù)中不同于樣本的圖像作為測(cè)試樣本,測(cè)試錯(cuò)誤圖像是否會(huì)被劃分到樣本集中．3種方法均有一定程度的錯(cuò)誤分類,主要是因?yàn)殄e(cuò)誤樣本的紋理特征較為平滑,與樣本棉布和砂紙容易混淆．據(jù)實(shí)驗(yàn)結(jié)果來看,Tamura的錯(cuò)誤分類率最高,T-GLCM次之,本文方法的錯(cuò)誤分類率最低．總體來說,本文提出的分類方法是準(zhǔn)確可行的．

為了滿足實(shí)際工程應(yīng)用的需要,圖像紋理特征提取分類算法的實(shí)時(shí)性是一個(gè)重要的指標(biāo)．為了評(píng)估本文算法的實(shí)時(shí)性,將一個(gè)圖像紋理特征提取分類的平均時(shí)耗作為衡量實(shí)時(shí)性的指標(biāo),并與其他一些算法進(jìn)行比較,最終的結(jié)果如表1所示.

表1 本文提出的算法與其他算法的時(shí)間消耗對(duì)比

從表1可以看出,本文提出的算法與其他算法相比,在保證較高分類精度的情況下仍然具有較好的實(shí)時(shí)性．但與文獻(xiàn)[19]相比識(shí)別速度上仍然有明顯的不足,主要原因在于其僅僅利用位運(yùn)算和很少的加法乘法就可以完成分類．總的來說,本文提出的算法仍是是一種高效的紋理特征提取分類算法．

2.2 力觸覺感知實(shí)驗(yàn)

為了進(jìn)一步驗(yàn)證本文提出的圖像紋理特征提取算法對(duì)于提高虛擬現(xiàn)實(shí)力觸覺再現(xiàn)的真實(shí)性,現(xiàn)對(duì)基于原有的GLCM算法、Tamura算法和改進(jìn)后的T-GLCM與Tamura融合算法的粗糙度特征分別進(jìn)行力觸覺渲染,即將提取出的紋理特征與反饋力建立映射關(guān)系,最后通過Geomagic Touch手控器感知圖像的粗糙度．

本部分實(shí)驗(yàn)仍然選用圖2中的8類紋理圖像,實(shí)驗(yàn)過程如圖6所示,受試者手持Geomagic Touch力反饋設(shè)備的操作桿在搭建的虛擬環(huán)境中與實(shí)驗(yàn)圖像進(jìn)行交互感知,通過力反饋設(shè)備反饋的力來感知圖像紋理粗糙度．實(shí)驗(yàn)中每幅實(shí)驗(yàn)圖像均已編號(hào)且隨機(jī)出現(xiàn),實(shí)驗(yàn)過程中對(duì)圖像進(jìn)行遮擋處理,圖像本身不可見,當(dāng)被試者感知完一幅圖像后,需要從8幅真實(shí)的實(shí)驗(yàn)紋理圖像中選出與自己感知相似度最大的一副圖像,直至8幅實(shí)驗(yàn)紋理圖像全部感知完畢,最終統(tǒng)計(jì)感知正確率．

圖6 實(shí)驗(yàn)過程Fig.6 Screenshot of force haptic perception experiment

實(shí)驗(yàn)對(duì)象為20個(gè)在校學(xué)生(10個(gè)男生,10個(gè)女生),年齡均在21～26歲,且慣用手均為右手,沒有使用過相關(guān)力反饋設(shè)備感知紋理圖像的經(jīng)驗(yàn)．最終的實(shí)驗(yàn)結(jié)果如圖7所示,可以得出依據(jù)本文提出的紋理特征提取算法建立的力觸覺渲染模型優(yōu)于傳統(tǒng)算法,提高了感知的真實(shí)性．

圖7 3種算法的力觸覺感知準(zhǔn)確率Fig.7 Force haptic perception accuracy of three algorithms

3 結(jié)束語

本文主要研究了紋理特征的提取與分類,針對(duì)當(dāng)前紋理特征提取方法中的計(jì)算效率低、魯棒性差、提取精度低等問題,提出基于T-GLCM和Tamura融合特征的紋理材質(zhì)分類方法．選擇Brodatz紋理庫(kù)中的圖片,通過gamma校正與自適應(yīng)對(duì)比度增強(qiáng)(ACE)處理再建立樣本集與測(cè)試集,使用支持向量機(jī)(SVM)進(jìn)行分類．由實(shí)驗(yàn)結(jié)果可以得出,融合的特征提取方法較單一的紋理提取方法更加高效、分類精度更高且魯棒性也更好,而且可以對(duì)錯(cuò)誤的圖像進(jìn)行有效的區(qū)分,實(shí)時(shí)性也滿足實(shí)際工程應(yīng)用的需要．

接下來將繼續(xù)對(duì)T-GLCM算法進(jìn)行研究,進(jìn)一步優(yōu)化算法,研究梯度方向的灰度共生矩陣,以此提高精準(zhǔn)度．