多方向局部相位量化模式及紋理分類

陳 熙，道爾吉，李運(yùn)蘭，韋 立，夏道勛，熊祥光

1.貴州師范大學(xué) 大數(shù)據(jù)與計算機(jī)科學(xué)學(xué)院 貴州省教育大數(shù)據(jù)應(yīng)用技術(shù)工程實驗室，貴陽 550025

2.長沙學(xué)院 計算機(jī)工程與應(yīng)用數(shù)學(xué)學(xué)院，長沙 410022

1 引言

圖像梯度是一種高性能而低復(fù)雜度的紋理描述方法，它在圖像特征提取與匹配[1]、圖像分割[2]、圖像去噪[3]、目標(biāo)檢測與定位[4]以及生物特征識別[5-8]等領(lǐng)域得到了廣泛的應(yīng)用，并取得了非常不錯的效果。盡管圖像梯度信息在圖像處理和模式識別等領(lǐng)域已經(jīng)得到了廣泛研究和應(yīng)用，它的工作機(jī)制仍然值得進(jìn)一步研究和改進(jìn)，比如絕大部分研究工作僅僅考慮圖像的水平和垂直方向上的梯度信息[6，9]，而同時考慮圖像不同方向上的梯度信息可以獲得圖像在各個方向上的像素變化情況，充分描述了圖像的特征，應(yīng)該是一種更穩(wěn)健的基于圖像梯度的圖像描述方法，從而使得基于圖像的邊緣檢測、去除圖像背景與噪聲和圖像特征提取等算法獲得更好的性能。

雖然圖像梯度很好的描述了圖像紋理的變化特征，但是直接采用梯度作為圖像特征進(jìn)行圖像檢索與匹配尚顯不足，大部分的算法都采用進(jìn)一步對梯度進(jìn)行編碼的方式提取最終用來匹配的特征。孫健鈞等人[1]提出一種基于圖像梯度信息強(qiáng)化的尺度不變特征轉(zhuǎn)換（SIFT）特征匹配算法的改進(jìn)算法。Vu等人[5]提出的一種人臉識別方法同時考慮了梯度的幅度和方向信息。Zhang 等人[6]證明了水平和垂直方向上的梯度是一種光照不變圖像特征，從而構(gòu)建了“梯度臉”這么一種光照不變?nèi)四樚卣魈崛》椒āguyen 等人[9]在梯度局部相位量化模式算法中對梯度信息進(jìn)行局部相位量化編碼，但是該方法僅考慮了圖像水平和垂直方向的梯度信息。Ming 和Song 等人[10-11]采用類似統(tǒng)一局部二值模式的方法對梯度信息進(jìn)行編碼，從而獲得了一種旋轉(zhuǎn)不變的圖像紋理特征，此文中的局部相位量化方法與局部二值模式算法在紋理編碼上有類似的機(jī)理。局部二值模式算法[12]是一種非常有效的紋理提取算子，有非常多的改進(jìn)算法，如顯性局部二值模式[13]、完備局部二值模式（CLBP）[14]、中心對稱局部微分模式（CS-LDP）[15]、局部凸凹模式[16]等等，這些LBP的改進(jìn)方法都對進(jìn)一步增強(qiáng)局部相位量化算法的性能提供有益的思路。

本文在Nguyen 等人工作的基礎(chǔ)上，考慮到圖像不同方向具有不同的梯度信息，從而設(shè)計了多方向梯度提取算法，然后對各方向上的梯度信息采用塊局部相位量化方法進(jìn)行編碼。

2 圖像多方向梯度特征提取

一幅圖像I的在某個方向θ上的梯度采用方向?qū)?shù)定義，具體步驟如下：

（1）首先采用高斯函數(shù)G(x,y,σ)對圖像I進(jìn)行平滑處理，其中σ是高斯函數(shù)參數(shù)，“?”表示卷積操作：

高斯函數(shù)表示為：

（2）根據(jù)卷積性質(zhì)，對圖像I′ 在方向θ上求方向?qū)?shù)：

這里Iθ是圖像在方向θ上的方向?qū)?shù)，也就是圖像在方向θ上的梯度，Gθ(x,y,σ)是高斯函數(shù)在方向θ上的方向?qū)?shù)，其定義為：

圖1（a）是一張人臉圖像；圖1（b）是（a）中人臉圖像在不同方向上的梯度圖像，從上到下，從左到右，方向依次為：0,π/4,π/2,3×π/4,π,5×π/4,6×π/4,7×π/4 。從圖1 中可以看出，不同方向上的梯度信息具有較明顯的方向性。

圖1（a） 一幅人臉圖像

圖1（b） 人臉圖像在不同方向上的梯度圖像

3 塊局部相位量化模式

圖像f(x)某像素點x=[x1,x2]T處的離散短時傅里葉變換為[9]：

其中Nx為像素點x的鄰域，u表示頻率。假設(shè)分別在四個頻率u1=[a,0]T,u2=[0,a]T,u3=[a,a]T,u4=[a,-a]T上計算傅里葉系數(shù)，a是使H(ui)≥0 的一個足夠小的數(shù)。此時，圖像中的每個像素點都可以用一個向量來表示：

對向量Fx的每個元素進(jìn)行量化處理，量化公式為：

量化之后的F(x)是一個8 位的二進(jìn)制編碼，然后對每位編碼賦予權(quán)值系數(shù)即可求出該像素點的LPQ 特征值：

由于塊局部二值模式[17]比局部二值模式在特征提取方面性能更好，故也將局部相位量化模式算法擴(kuò)展成塊局部相位量化模式算法，從而更好地描述的圖像信息。塊局部相位量化算法構(gòu)建過程：以某個像素點xc為中心，構(gòu)建9 個近鄰圖像塊，每塊包含9 個像素點，計算每塊里面每個像素點的局部相位量化模式值，然后求得此像素塊的平均相位量化模式值，如圖2（a）中左上圖像塊包含9 個像素點，這9 個像素點的局部相位量化模式值分別為：15，27，3，78，67，12，29，85 和112，求得平均值47.6作為此像素塊的平均相位量化模式值，其他8個塊的平均相位量化模式值在圖2（a）中進(jìn)行了標(biāo)記，其中包含中心像素點xc的圖像塊的平均相位量化值為113，然后中間圖像塊的平均相位量化模式值與周圍8個圖像塊的平均相位量化模式值進(jìn)行大小比較，如果是大于等于0，則記為“1”，否則記為“0”，這樣就獲得8 為二進(jìn)制數(shù)10110111，如圖2（b）所示，將此二進(jìn)制數(shù)轉(zhuǎn)化為十進(jìn)制數(shù)183，此十進(jìn)制數(shù)當(dāng)作像素點xc的編碼值。按上述方法對一幅圖像的每個像素點進(jìn)行操作后，獲得整幅圖像編碼后的矩陣，然后采用直方圖特征提取此矩陣的特征作為最終的匹配特征，采用公式（8）中所示的直方圖交叉距離進(jìn)行特征匹配：

圖2 塊局部相位量化模式示意圖

圖3 融合2個不同方向上的梯度相位量化模式直方圖向量

4 基于多方向梯度的塊局部相位量化模式

多方向梯度的塊局部相位量化模式算法對每幅圖像提取多個方向上的梯度圖像，然后對每個方向上的梯度圖像進(jìn)行分塊，提取每個分塊上的局部相位量化模式直方圖，連接不同分塊的局部相位量化模式直方圖得到該梯度下圖像的直方圖特征向量，然后連接不同梯度方向下的直方圖向量，得到此圖像的最終直方圖向量作為最終的匹配向量。圖3展示了融合2個方向下梯度圖像的相位量化直方圖向量。在圖3中，首先對一幅人臉圖像計算出θ=0 和θ=3×π/4 情況下的2個梯度圖像，然后對θ=0 時的梯度圖像進(jìn)行分塊，如分成了64 塊，然后計算出每塊的相位量化模式直方圖向量，連接此64個分塊的相位量化模式直方圖向量即為此人臉圖像在θ=0 方向下的相位量化模式直方圖向量，如圖3中藍(lán)色框中的直方圖向量。同樣對θ=3×π/4 時的梯度圖像進(jìn)行分塊，如分成了64塊，然后計算出每塊的相位量化模式直方圖向量，連接此64 個分塊的相位量化模式直方圖向量即為此人臉圖像在θ=3×π/4 方向下的相位量化模式直方圖向量，如圖3 中紅色框中的直方圖向量。在圖3的示意圖中，僅考慮了2個方向，一般考慮4個方向，即θ=0,π/4,π/2,3×π/4。

多方向梯度的塊局部相位量化模式算法具有兩個比較明顯的特點：（1）融合了圖像在各個不同方向上的梯度特征，特別是對于某些具有明顯方向特征的圖像，可以選擇特定的方向計算圖像的梯度變化情況，這種情況下，能很好地描述圖像特征；（2）較大尺度上描述了圖像的局部特征，如圖4（a）所示的3個相位量化后的圖像鄰近局部塊。這3 個不同顏色框所包含的局部塊像素值的平均值分別為：44.56、41.78和45.78，然后對平均值采用編碼，因為44.56 大于41.78，故此黑色框局部塊編碼為1，而41.78小于45.78，故此藍(lán)色框局部塊編碼為0，從而在黑色框和藍(lán)色框之間形成了一個從1變化到0的局部變化，這個局部變化是在18 個鄰近像素點之間描述的，具有較大的尺度。另外，塊局部二值模式對噪聲具有相對較小的敏感性。設(shè)兩個相鄰塊v1和v2，包含的像素點分別為，其中表示像素塊v1中第i個像素點的像素值，表示像素塊v2中第j個像素點的像素值，如果考慮噪聲的影響，則像素塊v1和v2中像素值表示：，，其中表示像素塊v1中第i個像素點的噪聲值，表示像素塊v2中第j個像素點的像素值。在塊局部二值模式算法中對v1塊的編碼為：

其中噪聲影響部分為：

其中probability()表示概率。上式表明，采用塊局部二值模式算法后，噪聲的影響變得比局部二值模式要小，因為接近期望E0的概率遠(yuǎn)大于單獨(dú)一個像素值接近E0的概率，這也就是說平均值能消除圖像噪聲的影響，故多方向梯度的塊局部相位量化模式算法對噪聲也具有一定的抵抗能力。

圖4 塊局部二值模式較大尺度上描述了圖像的局部特征

5 實驗與分析

為了驗證多方向梯度的塊局部相位量化模式算法的有效性，在兩個紋理數(shù)據(jù)庫：Kylberg[18]和Brodatz[19]數(shù)據(jù)庫上進(jìn)行了一系列測試?？紤]到掌紋也是一種紋理信息十分豐富的圖片，利用香港理工大學(xué)提供的一個掌紋圖像數(shù)據(jù)庫[20]也進(jìn)行了相關(guān)測試。所提多方向梯度的塊局部相位量化模式算法與LBP、LPOG[9]、自適應(yīng)加權(quán)局部相位量化[21]、LBP+LPQ 算法[22]和多尺度局部相位量化（Multi-scale Local Phase Quantization，MLPQ）[23]進(jìn)行了識別率比較分析。為了直接體現(xiàn)各算法的紋理特征提取能力，采用了比較簡單的最近鄰分類方法。

5.1 圖像數(shù)據(jù)庫

Kylberg 紋理圖像數(shù)據(jù)庫共用28 類紋理圖片，每類包含160 張不同紋理圖片，每張圖片大小為576×576 像素，圖片格式為.png。圖5（a）是該數(shù)據(jù)庫中2種紋理18張圖片。下面的實驗中，從中選取了28類紋理樣本，每類選取20 張圖片構(gòu)成實驗圖片庫。Brodatz 紋理圖像數(shù)據(jù)庫是一個很常用的自然紋理圖像庫，從中選取了100類紋理，每類9張圖片，共900張圖片構(gòu)成實驗用圖像庫，選取的圖片都轉(zhuǎn)化成灰度圖像。圖5（b）是2 種Brodatz紋理的18張圖片。掌紋數(shù)據(jù)庫來自香港理工大學(xué)提供的PolyU掌紋圖像數(shù)據(jù)庫。共選取了300種掌紋的3 000 張掌紋圖像，每種掌紋10 張。采用文獻(xiàn)[24]中所描述的方法對掌紋圖像進(jìn)行了預(yù)處理。圖5（c）是2種掌紋的18張圖片，所有圖片都調(diào)整到64×64大小。

5.2 累加匹配特性曲線

在測量圖像識別系統(tǒng)性能時，常常用到累加匹配特性曲線（Cumulative Matching Curve，CMC）這種指標(biāo)。計算系統(tǒng)的累加匹配特性曲線，通常需要構(gòu)建一個“Gallery”圖庫集和“Probe”圖庫集。可以從數(shù)據(jù)庫中每類圖像中隨機(jī)一張構(gòu)成“Gallery”圖庫集，而“Probe”圖庫集可以由數(shù)據(jù)庫中除去“Gallery”圖庫集后剩下的樣本構(gòu)成。在李子青博士撰寫的一本人臉識別專著“handbook of face recognition”對中累加匹配特性曲線的計算有較詳細(xì)的介紹[25]，另外也可以參考文獻(xiàn)[16]。在采用Kylberg 紋理圖像計算CMC 時，從5.1 節(jié)構(gòu)建的Kylberg圖像庫中每種紋理挑選一張圖片構(gòu)成“Gallery”圖像庫，剩下的圖像構(gòu)成“Probe”圖像庫。在采用Brodatz 紋理圖像和掌紋圖像計算CMC 時，也是每一類任選一張構(gòu)成“Gallery”圖像庫，剩下的構(gòu)成“Probe”圖像庫。本文多方向梯度的塊局部相位量化模式算法與LBP、LPOG、子區(qū)域局部相位量化、自適應(yīng)加權(quán)局部相位量化、LBP+LPQ算法和多尺度局部相位量化在CMC性能上進(jìn)行了比較分析。

從圖6 中可以看出在上面3 種紋理圖像庫中，本文多方向梯度的塊局部相位量化模式算法代表的黑色線都在其他線上面，表明本文算法都具一定的優(yōu)勢。因為掌紋是一種比較穩(wěn)定的紋理圖像，因此所比較的算法識別率都非常好，而且本文算法在所比較的幾種相關(guān)算法中具有相對較好的優(yōu)勢。在Brodatz紋理庫中所提算法也具有一定優(yōu)勢，但相對而言，在Kylberg紋理庫中優(yōu)勢不非常明顯了。

圖5 預(yù)處理后樣本圖像

圖6 各圖像數(shù)據(jù)庫的累加匹配特性曲線

5.3 正確識別率與訓(xùn)練樣本集大小的關(guān)系

系統(tǒng)的識別精度往往跟訓(xùn)練時采用的樣本多少有關(guān)系。一般情況下，因為圖像具有光照、角度等變化，所以從每類紋理圖像選取能代表不同條件下的多張圖片構(gòu)成訓(xùn)練集，能提高系統(tǒng)識別的精度。此節(jié)考察正確識別率與訓(xùn)練樣本集大小的關(guān)系，隨機(jī)地從Brodatz 圖像數(shù)據(jù)庫、Kylberg紋理圖像數(shù)據(jù)庫和香港理工大學(xué)PolyU掌紋庫的每種紋理圖像中選擇1、2、3、4和5個樣本圖像組成它們各自的訓(xùn)練圖像集，各訓(xùn)練集所剩下的為相應(yīng)的測試圖像集。實驗重復(fù)10 次，計算各次的平均識別率和標(biāo)準(zhǔn)偏差，并將識別結(jié)果分別羅列在表1、表2和表3中。相對局部二值模式算法而言，塊局部二值模式算法能夠在較大尺度情況下獲得像素的變化情況，并且在塊局部二值模式算法中，參與計算二值模式的像素值是此像素點周圍像素點像素的平均值，從而能夠減少噪聲的影響，故塊局部二值模式算法（MBLBP）很多時候也能獲得相對LBP、LPOG、自適應(yīng)加權(quán)局部相位算法、LBP+LPQ 及MLPQ 更好的性能。從表中看出，所提多方向梯度的塊局部相位量化模式算法識別率均比其他幾種算法要高。

5.4 不同噪聲環(huán)境下所提算法性能分析

一般而言，圖像在遭受比較嚴(yán)重的噪聲污染時，特征提取算法及分類方法的性能都會下降，因此所提算法最好能對噪聲具有一定的穩(wěn)健性。多方向梯度的塊局部相位量化模式算法考慮了圖像多個方向上的梯度信息，比僅僅考慮一個或二個方向上的梯度信息更具有噪聲穩(wěn)健性，另外塊局部相位量化方法通過平均塊內(nèi)的像素點值也應(yīng)當(dāng)比局部相位量化具有噪聲穩(wěn)健性。接下來考察正確識別率與噪聲類型的關(guān)系。采用matlab 函數(shù) imnoise（im，‘gaussian’，0.02）來給圖像添加高斯噪聲，采用imnoise（im，‘salt & pepper’，0.02）函數(shù)給圖像添加椒鹽噪聲（這里‘im’表示一幅圖像）。將Kylberg紋理圖像數(shù)據(jù)庫中圖片分別加上高斯噪聲和椒鹽噪聲，如圖7所示。然后隨機(jī)地從Kylberg紋理圖像數(shù)據(jù)庫中分別選擇1、2、3 和 4 個噪樣本圖像組成 USPTex 紋理圖像數(shù)據(jù)庫不同大小訓(xùn)練圖像集4 個，各訓(xùn)練集所剩下的為相應(yīng)的測試圖像集。實驗重復(fù)10 次，計算各次的平均識別率與標(biāo)準(zhǔn)偏差，并在表4 中給出識別結(jié)果與測試樣本數(shù)的關(guān)系。實驗結(jié)果表明，高斯噪聲將嚴(yán)重影響各算法的性能，特別是LBP+LPQ 算法。本文多方向梯度的塊局部相位量化模式算法中，參與計算二值模式的像素值是此像素點周圍像素點像素的平均值，故相對其他算法LBP、LPOG、自適應(yīng)加權(quán)局部相位算法、LBP+LPQ 及MLPQ 而言，在噪聲情況下，塊局部二值模式算法的性能下降相對小些，驗證了本文的預(yù)期設(shè)想。

表1 Brodatz紋理圖像數(shù)據(jù)庫上的平均識別率（%）和標(biāo)準(zhǔn)偏差

表2 Kylberg紋理圖像數(shù)據(jù)庫上的最高平均識別率（%）和標(biāo)準(zhǔn)偏差

表3 香港理工大學(xué)PolyU掌紋庫上的平均識別率（%）和標(biāo)準(zhǔn)偏差

圖7（a） 原始灰度圖像

圖7（b） 加高斯噪聲后的圖像

圖7（c） 加椒鹽噪聲后的圖像

6 結(jié)束語

本文提出了基于多方向梯度的塊局部相位量化模式算法，該算法具有以下優(yōu)點：（1）提取圖像多個方向上的梯度信息，充分描述了灰度圖像沿不同方向灰度值的變化情況；（2）采用局部相位量化模式對圖像在不同方向上的梯度變化進(jìn)行編碼；（3）對圖像進(jìn)行分塊，然后采用基于多方向梯度的塊局部相位量化模式算法進(jìn)行特征提取，描述了圖像的局部特征；（4）塊局部相位量化模式對噪聲具有穩(wěn)健性。根據(jù)多方向梯度塊局部相位量化模式算法的以上特點，該算法適應(yīng)圖像在各方向上具有較大梯度變化，在較大尺度（相對局部二值模式）圖像局部的變化以及需要考慮噪聲情況下使用此算法。紋理數(shù)據(jù)庫和掌紋數(shù)據(jù)庫上的廣泛實驗表明，本文基于多方向梯度的塊局部相位量化模式算法是一種有效的紋理描述方法。

表4 噪聲環(huán)境下Kylberg紋理庫中各算法的平均識別率 %