改進的MSF-VQ人臉特征提取方法①

魏陸奇, 廉東本

1(中國科學(xué)院大學(xué),北京 100049)

2(中國科學(xué)院 沈陽計算技術(shù)研究所,沈陽 110168)

1 引言

人臉識別是指通過分析比較人臉視覺特征信息進行身份鑒別的計算機技術(shù). 它是一種重要的生物特征識別技術(shù),具有安全、交互自然等特點,吸引了學(xué)術(shù)界與工業(yè)界廣泛的關(guān)注. 目前人臉識別的主要算法大致可以分為兩類： 基于幾何模型的方法和基于統(tǒng)計模型的方法. 本文討論的MSF-VQ方法是基于統(tǒng)計模型的方法之一.

基于統(tǒng)計模型的方法中最關(guān)鍵的步驟是提取人臉中比較具有個體差異性的特征. 向量量化(Vector Quantization,VQ)直方圖被驗證是一種有效的人臉特征[1],但是向量量化直方圖存在一個明顯的缺點是無法反映人臉圖像中的空間位置信息. MSF-VQ特征通過馬爾科夫穩(wěn)態(tài)特征(Markov stationary feature,MSF)對VQ方法進行了改進[2],使得提取的特征中能夠反映人臉圖像中的空間位置信息并有效地提高了人臉識別準(zhǔn)確率. 但是MSF-VQ特征仍然存在一些不足之處,比如無法很好的反映人臉的局部特征,碼書確定不夠合理,反映的圖像空間位置信息有限等. 針對局部特征反映不足的缺點,SR-MSF-VQ方法對其進行了改進[3]. 而本文提出的方法則主要對其碼書不合理、空間位置信息不足的缺點進行了改進.

本文的主要內(nèi)容安排如下： 第2節(jié)對MSF-VQ特征提取方法進行介紹; 第3節(jié)介紹提出的對MSFVQ特征提取的改進方法; 第4節(jié)通過實驗對改進前和改進后的方法進行對比; 第5節(jié)得出結(jié)論.

2 MSF-VQ特征提取方法

2.1 向量量化直方圖

向量量化是一種圖像壓縮編碼技術(shù),利用這種方法可以提取到圖像的向量量化直方圖作為人臉識別的特征. 向量量化直方圖特征提取過程[1]如下：

(1) 使用滑動平均濾波器對人臉(灰度)圖像進行低通濾波預(yù)處理. 消除圖像中的高頻噪聲,保留對人臉識別更有用的低頻成分信息.

(2) 將經(jīng)過預(yù)處理后的圖像使用滑動窗口的方式按照15/16的重疊率分成4×4大小的像素塊,假定原圖像的大小為m×n,則得到(m-3)×(n-3)個分塊. 然后將每個像素塊中的每個像素的灰度值減去該像素塊中灰度最小的像素的灰度值作為本像素新的灰度值.

(3) 將像素塊轉(zhuǎn)換為向量,與事先確定的碼書(codebook)中的各向量分別計算曼哈頓距離,將距離最小的碼書向量作為該向量塊的匹配向量. 這里的碼書是一個包含33個16維矢量的集合,其中32個矢量代表的是在8個方向上4種不同大小的灰度梯度變化的像素塊,另外1個反映的是無梯度變化的像素塊.

(4) 經(jīng)過前述步驟的處理,所有的像素塊都被量化到了33個組別(向量)上. 統(tǒng)計各組別像素塊的數(shù)量,得到向量量化直方圖.

2.2 馬爾科夫穩(wěn)態(tài)特征

MSF可以提高直方圖對圖像的區(qū)分能力. 直方圖分析被廣泛的應(yīng)用在圖像分析處理領(lǐng)域,根據(jù)直方圖分析方法對圖像的區(qū)別能力由弱至強分為I級～IV級4個等級[4]. 傳統(tǒng)的直方圖例如顏色直方圖因為不包含任何的空間位置信息,其分辨能力只能達到Ⅰ級,而MSF理論上可以達到Ⅲ級的區(qū)別能力.

MSF特征的提取過程[4]如下. 首先計算圖片的空間共生矩陣[5]C=(cij)K×K,圖1展示了空間共生矩陣的計算過程. 空間共生矩陣中的每個元素計算方式如下：

其中,pk表示圖片中的任一像素,ck表示直方圖中的第k組,d表示像素p1與p2之間的切比雪夫距離,#運算表示滿足某一條件的情況的數(shù)量,公式最后的除以2運算是為了避免疊加計算.

求得空間共生矩陣C=(cij)K×K后,再通過以下公式計算馬爾科夫轉(zhuǎn)移矩陣P=(pij)K×K：

繼而可以計算出初始分布π(0)和平穩(wěn)分布π：

其中,ai是A的行向量,實際計算中可根據(jù)需求指定n的值求得π的近似值.

至此,就得到了MSF特征：

圖1 空間共生矩陣的計算方法

2.3 MSF-VQ特征

MSF-VQ方法則是在VQ直方圖的基礎(chǔ)上使用MSF特征進行擴展,從而在特征中包含空間位置信息.MSF-VQ特征提取算法的具體步驟如下：

(1) 同VQ方法中的(1)、(2)、(3);

(2) 將各像素塊的組別按照像素塊的相對位置進行排列重新組成一個(m-3)×(n-3)圖片(矩陣);

(3) 給定距離d,求得上述(m-3)×(n-3)矩陣的空間共生矩陣,然后按照MSF特征提取方法的步驟計算得出MSF特征,即為原圖像的MSF-VQ特征.

文獻[2]進行了對比實驗,結(jié)果表明MSF-VQ特征比VQ特征在人臉識別中表現(xiàn)出更高的識別率.

3 改進的MSF-VQ特征提取方法

3.1 根據(jù)數(shù)據(jù)集確定碼書

MSF-VQ特征提取中向量量化所使用的碼書是預(yù)先指定的. 這種方法的缺點是,對任何人臉數(shù)據(jù)集都使用同樣的碼書,不能保證在各種人臉數(shù)據(jù)集上都有理想的識別準(zhǔn)確率. 本文對此提出的改進方法是根據(jù)數(shù)據(jù)集計算得到碼書. 具體步驟如下：

(1) 同VQ算法中的(1)、(2).

(2) 將所得的像素塊轉(zhuǎn)換為向量,向量可以看作是高維空間中的點,初始狀態(tài)下,每個點都屬于一個單獨的集合,如果有重合的點,則將重合的點所在的各個集合合并成一個新的集合. 并計算集合的重心,重心計算公式如下：

其中,n表示集合中點的數(shù)量,pi表示集合中的第i個點.

(3) 選取包含點數(shù)量最少的一個集合(如果存在多個集合可選取重心坐標(biāo)較小的一個),找到距離該集合的距離(兩集合重心的距離)最小的K個集合,分別計算區(qū)分度變化,與該集合區(qū)分度變化值最大的集合合并,并重新計算新集合的重心. 區(qū)分度變化計算公式如下：

其中,m表示數(shù)據(jù)集中不同人臉的數(shù)量,ai表示第一個集合中采集自第i個人的人臉的點的個數(shù),bi表示第二個集合中采集自第i個人的人臉的點的個數(shù).

(4) 重復(fù)步驟(3)直到集合個數(shù)減少到M個.

(5) 計算所有點到各集合重心的距離,并將點歸到距離它最近的重心所在的集合中,從而完成所有集合的重新劃分.

(6) 重新計算各集合的重心,并按照步驟(5)的方法重新計算一個集合劃分預(yù)方案.

(7) 計算對應(yīng)集合在預(yù)方案與舊方案間的區(qū)分度變化,如果變化值小于1,則新方案中的重心與舊方案的重心相同; 如果變化值大于p0,則新方案中的重心與預(yù)方案的重心相同; 如果變化值在1到p0之間,則新方案中的重心有p概率與預(yù)方案相同. 區(qū)分度變化與p計算公式如下：

其中,m表示數(shù)據(jù)集中不同人臉的數(shù)量,ai表示舊方案集合中采集自第i個人的人臉的點的個數(shù),bi表示預(yù)方案集合中采集自第i個人的人臉的點的個數(shù).

(8) 重復(fù)步驟(5)、(6)、(7),直到集合重心n次未改變.

改進算法借鑒了層次聚類[6]和LBG算法[7]的思想,對不同的人臉數(shù)據(jù)集計算得到一個對應(yīng)的碼書方案,計算過程中盡量使每個碼書向量附近分布的各人臉數(shù)據(jù)點的數(shù)量有較大差別,從而使提取到的各人臉VQ直方圖特征能夠有較大差別. 最終使提取的VQ直方圖特征具有更強的區(qū)分能力.

需要指出的是,算法中有3個參數(shù)可根據(jù)實際需求進行調(diào)整,分別是可選合并集合數(shù)K,區(qū)分度變化上限值p0和預(yù)期VQ直方圖組別數(shù)M.K值過小可能會使區(qū)分度下降,K值過大則可能使集合中各點分布過于分散,使得在步驟(5)后區(qū)分度發(fā)生較大變化.p0的選取則會影響最后一步的收斂速度.M值則影響到VQ特征的維數(shù). 應(yīng)該注意的是M并不是VQ特征的維數(shù),實驗中發(fā)現(xiàn),最終生成的點集中往往會有一些空集,這些空集應(yīng)該被剔除.

3.2 結(jié)合多個方向采樣的MSF特征

MSF可以將空間位置信息附加到直方圖特征中,但是MSF算法是在所有方向上取樣然后求和統(tǒng)計空間位置信息,求和計算會丟失大量的空間位置信息,這樣可以反映的空間位置信息就比較有限. 例如圖2的兩張圖片,就不可以通過MSF區(qū)別開來. 本文提出的改進方法是分別在各個方向上取樣計算共生矩陣和MSF特征然后加權(quán)結(jié)合. 最終得到形如下式的特征向量：

通過改進的MSF特征可以區(qū)分圖2中的兩張圖片.

圖2 兩張MSF特征不能分辨的圖片

4 實驗分析

實驗使用ORL人臉數(shù)據(jù)庫,ORL人臉數(shù)據(jù)庫包括40個人,每個人10張,共400張的pgm格式的人臉灰度圖片. 這40個人來自不同年齡、性別和種族,同一個人的人臉也有不同的尺寸、角度和表情. 圖片尺寸均為92×112.

實驗用10折交叉驗證的方式. 對比分別使用4種特征的人臉識別算法在不同核大小的低通濾波處理后的人臉識別準(zhǔn)確率. 四種特征分別是原始的MSFVQ特征,只改進碼書計算方法提取的MSF-VQ特征(改進特征1),只結(jié)合多方向采樣的MSF-VQ特征(改進特征2)和兩處均改進的MSF-VQ方法. 獲取到人臉特征后使用支持向量機對特征進行訓(xùn)練,得到分類模型,并在測試集上進行人臉識別測試.

使用改進的碼書計算方法計算碼書,所使用的參數(shù)分別為K=3,p0=1.3,M=45. 最終計算得到包含30個向量的碼書如圖3所示. 圖中碼書向量梯度方向大致相同的被放在同一列,并按照梯度由大到小自下而上進行排列. 因為實際計算得到的灰度值相差較小,為了可以明顯看出灰度的變化,圖中所示的碼書灰度值為實際計算所得碼書灰度值的五倍. 與文獻[1]中的碼書相比,可以看出向量所代表的灰度梯度變化的大小和方向有較大的不同.

圖3 改進的碼書計算方法計算得到的碼書

在改進的MSF特征向量計算中取d=1,n=10,在0°(水平向右)和270°(垂直向下)兩個方向上分別采樣計算MSF特征并結(jié)合得到MSFP特征,由于文獻[2]中實驗結(jié)果驗證了在ORL數(shù)據(jù)庫中取樣的方向并不會對MSF-VQ方法在人臉識別中的效果產(chǎn)生較大影響.因此設(shè)置兩個方向上分量的權(quán)重均為1.

圖4 四種特征的人臉識別準(zhǔn)確率對比

圖4展示4種方法在不同核大小的低通濾波處理后的人臉識別準(zhǔn)確率. 從圖表可以看出,各方法均在濾波核為13×13的處理下達到最高的識別準(zhǔn)確率. 改進的MSF-VQ(方法3)識別準(zhǔn)確率達到97.25%,明顯高于原始的MSF-VQ方法. 整體來看3種有所改進的MSF-VQ方法都比原始的MSF-VQ方法在識別準(zhǔn)確率上有所提高. 對比方法1與方法2可以看出,方法1的識別準(zhǔn)確率整體高于方法2. 這說明碼書計算方法的改進比結(jié)合多方向采樣的MSF的改進對原始算法識別準(zhǔn)確率的提升作用更大. 另外,由于改進的碼書計算方法不能靈活的確定最終碼書中的向量數(shù)量,因此本實驗中使用了改進的碼書計算方法的方法1和方法3所使用的碼書只有30個向量,比原始的MSF-VQ特征提取方法所用的碼書少3個向量,即向量量化直方圖特征少3維. 但是識別正確率卻更高,這說明改進的碼書計算方法計算得到的碼書具有更高的區(qū)分能力.

5 結(jié)論與展望

本文提出的改進的MSF-VQ人臉特征提取方法與原來的MSF-VQ特征提取方法相比,一方面,根據(jù)特定的人臉數(shù)據(jù)集計算適合的碼書,另一方面,在特征中加入更多的空間位置信息,增強了直方圖特征的表示能力. 通過實驗,對比了兩處改進對人臉識別率的作用,驗證了改進的MSF-VQ方法具有比原始的MSF-VQ方法更高的人臉識別率. 文獻[3]也對MSF-VQ方法進行了改進,取得了較好的識別率,但著眼點與本文不同. 如果結(jié)合兩種改進,識別正確率可能會進一步提高.

1Kotani K,Qiu C,Ohmi T. Face recognition using vector quantization histogram method. Proceedings of International Conference on Image Processing. Rochester,NY,USA. 2002,2. II-105-II-108.

2Yan Y,Chen Q,Lee F. Face recognition using extended vector quantization histogram features. Proceedings of IEEE International Conference on Signal and Image Processing.Beijing,China. 2016. 90-95.

3Yan Y. Improved Face recognition algorithm using extended vector quantization histogram features. Proceedings of 2016

IEEE International Conference on Signal Processing. Beijing,China. 2016. 1046-1050.

4Li JG,Wu WX,Wang T,et al. One step beyond histograms：Image representation using Markov stationary features.Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Anchorage,AK,USA. 2008. 1-8.

5Haralick RM,Shanmugam K,Dinstein IK. Textural features for image classification. IEEE Transactions on Systems,Man,and Cybernetics,1973,SMC-3(6)： 610-621. [doi： 10.1109/TSMC.1973.4309314]

6段明秀. 層次聚類算法的研究及應(yīng)用[碩士學(xué)位論文]. 長沙：中南大學(xué),2009.

7Huang B,Xie LB. An improved LBG algorithm for image vector quantization. Proceedings of the 3rd IEEE International Conference on Computer Science and Information Technology. Chengdu,China. 2010. 467-471.