基于相關(guān)向量機(jī)的含噪聲人臉圖像識(shí)別

柳長(zhǎng)源，畢曉君，韋 琦

（1.哈爾濱工程大學(xué) 信息與通信工程學(xué)院，哈爾濱 150001；2.哈爾濱理工大學(xué) 電氣與電子工程學(xué)院 哈爾濱 150080）

目前人臉的特征提取最廣泛而有效的方法是利用小波變換結(jié)合主成分分析的方法，從國(guó)際通用的標(biāo)準(zhǔn)ORL人臉庫(kù)中提取特征信息，本文也沿用這一方法提取圖像數(shù)據(jù)的分類特征，而對(duì)人臉圖像識(shí)別過(guò)程采用了新的算法。

在人臉識(shí)別的幾種方法當(dāng)中，基于支持向量機(jī)（Support vector machine，SVM）算法的圖像模式分類方法是近年來(lái)出現(xiàn)的一種行之有效、正確率和泛化性能均優(yōu)于傳統(tǒng)方法的一項(xiàng)技術(shù)［1－2］，目前已被廣泛采用。但是，由于拍攝條件和設(shè)備的局限性，現(xiàn)場(chǎng)采集的待識(shí)別圖像可能存在著一定的圖像噪聲，為了滿足實(shí)際應(yīng)用中的方便快捷要求，可提供機(jī)器學(xué)習(xí)和訓(xùn)練的人臉數(shù)據(jù)庫(kù)中同一個(gè)人臉信息也不會(huì)太多（通常不超過(guò)10個(gè)同類圖像），當(dāng)待識(shí)別的樣本圖像存在噪聲或訓(xùn)練樣本較少時(shí)，基于SVM算法的人臉識(shí)別方法識(shí)別正確率會(huì)有顯著下降。本文作者提出了一種基于相關(guān)向量機(jī)（Relevance vector machine，RVM）算法［3］的人臉識(shí)別方法，在小樣本含噪聲人臉圖像識(shí)別中的準(zhǔn)確性明顯高于原來(lái)的方法。RVM算法在保持SVM算法良好泛化性能的情況下，解的稀疏性明顯高于SVM，魯棒性更好，在處理有噪聲模式分類中表現(xiàn)更加良好［3］。RVM算法已在故障檢測(cè)［4］、高光譜數(shù)據(jù)分析［5］、農(nóng)作物生長(zhǎng)預(yù)測(cè)［6］、電力負(fù)荷預(yù)測(cè)［7］、語(yǔ)音信號(hào)識(shí)別［8］等領(lǐng)域得到了初步應(yīng)用，而在人臉識(shí)別技術(shù)中的應(yīng)用尚未見(jiàn)報(bào)道。

本文采用RVM算法進(jìn)行了人臉識(shí)別的研究，并對(duì)不同類型和強(qiáng)度下的圖像噪聲對(duì)識(shí)別正確率的影響進(jìn)行了仿真實(shí)驗(yàn)分析，驗(yàn)證了新方法的優(yōu)越性和可行性。

1 RVM算法介紹

RVM算法是Tipping在2000年最早提出的一種基于貝葉斯估計(jì)理論的機(jī)器學(xué)習(xí)方法［9］，適用于函數(shù)回歸和模式分類問(wèn)題。本文采用RVM算法對(duì)人臉圖像進(jìn)行分類，來(lái)替代原來(lái)的SVM算法。

對(duì)于二分類問(wèn)題，設(shè)訓(xùn)練樣本集合為 （xn，tn）（n＝1，2，…，N；x∈Rd；t∈ ｛0，1｝是類別標(biāo)號(hào)），RVM的分類函數(shù)定義為:

式中:K（x，xi）是核函數(shù)；ωi是模型的權(quán)值。

將Logistic sigmoid連接函數(shù)σ（y）＝1／（1＋e－y）應(yīng)用于y（x），則數(shù)據(jù)集的似然估計(jì)概率為

式中:t＝ （t1，…，tN）T；w＝ （ω0，…，ωN）T。

在貝葉斯框架下，權(quán)值w可通過(guò)極大似然法獲得，但為避免過(guò)學(xué)習(xí)現(xiàn)象，RVM為每個(gè)權(quán)值定義了高斯先驗(yàn)概率分布來(lái)約束參數(shù):

式中:α為N＋1維超參數(shù)。對(duì)每個(gè)權(quán)值引入超參數(shù)是RVM的重要特征，最終導(dǎo)致了算法的稀疏特性。

對(duì)于分類問(wèn)題，無(wú)法解析計(jì)算出權(quán)值的后驗(yàn)概率，但可應(yīng)用拉普拉斯理論作如下近似:對(duì)當(dāng)前固定的α值，求最大可能權(quán)值wMP。因?yàn)閜（w｜t，α）∝p（t｜w）p（w｜α），相當(dāng)于求使式（3）式最大的wMP值。對(duì)式（3）采用二階牛頓法求得wMP。

式中:yn＝σ｛y（xn；w）｝；A＝diag（α0，α1，…，αN）。

利用拉普拉斯方法，將對(duì)數(shù)后驗(yàn)概率進(jìn)行二次逼近。將式（4）兩次求導(dǎo)得出:

式中:Φ是N×（N＋1）的結(jié)構(gòu)矩陣，即Φ＝［φ（x1），φ（x2），…，φ（xN）］Τ，φ（xn）＝ ［1，Κ（xn，x1），Κ（xn，x2），…，Κ（xn，xN）］Τ；Β ＝diag（β1，β2，…，βN）是一個(gè)對(duì)角陣，其中βn＝σ｛y （xn）｝［1－σ｛y （xn）｝］。對(duì)式（5）右邊取負(fù)號(hào)再求逆，可得協(xié)方差矩陣Σ。

利用Σ和wMP，對(duì)超參數(shù)α進(jìn)行更新，直到達(dá)到合適的收斂尺度。

式中:γi≡1－αiΣii，其中Σii是式（7）的第i個(gè)對(duì)角元素。

經(jīng)過(guò)足夠多的更新，許多αi會(huì)趨于無(wú)窮大，其對(duì)應(yīng)的ωi為零，不為零的ωi所對(duì)應(yīng)的訓(xùn)練樣本為相關(guān)向量（Relevance vector，RV）。相應(yīng)的基函數(shù)因此可以“修剪”，實(shí)現(xiàn)稀疏性。由相關(guān)向量確定的分類函數(shù)是一個(gè)高維“超平面”，把待測(cè)樣本劃分成兩個(gè)區(qū)域，從而實(shí)現(xiàn)二類別模式識(shí)別問(wèn)題。

2 基于RVM的人臉識(shí)別算法

2.1 總體框圖

本文中實(shí)驗(yàn)樣本取自標(biāo)準(zhǔn)ORL人臉庫(kù)，實(shí)際應(yīng)用中訓(xùn)練樣本是根據(jù)具體應(yīng)用提前建立的數(shù)據(jù)庫(kù)，測(cè)試樣本是現(xiàn)場(chǎng)提取的。

圖1中小波變換和PCA算法是人臉識(shí)別中最典型的圖像特征提取方法。

圖1 RVM的人臉識(shí)別模型Fig.1 Face recognition model

2.2 小波變換

用二維小波變換（2Dwavelet transform）對(duì)人臉圖像做分解可以得到4個(gè)分量:低頻分量，高頻水平分量、垂直分量和對(duì)角分量。其中低頻分量集中了原始圖像的大部分信息，而噪聲分量的主要能量一般集中在對(duì)角分量中，因此忽略部分高頻分量可以消除噪聲［2］。

本實(shí)驗(yàn)對(duì)原始人臉圖像進(jìn)行2層小波分解，對(duì)一層小波分解的低頻分量進(jìn)行量化編碼來(lái)代替原始人臉圖像，將此編碼后的矩陣作為特征提取的對(duì)象。

2.3 主成分分析

特征提取是人臉識(shí)別的重要組成部分之一。主成分分析（Primary component analysis，PCA）又稱K－L變換，是一種很有效的圖像特征提取方法［10－11］。主成分分析是數(shù)學(xué)上對(duì)數(shù)據(jù)降維的一種方法，其基本思想是:以最少的信息丟失為前提，將原來(lái)眾多的具有一定相關(guān)性的指標(biāo)X1，X2，…，XP（比如P個(gè)指標(biāo)）重新組合成一組較少個(gè)數(shù)的互不相關(guān)的綜合指標(biāo)F1，F(xiàn)2，…，F(xiàn)M（M ≤P）。

假設(shè)每幅人臉圖像由M×N個(gè)像素組成，將其每列相連構(gòu)成一個(gè)D＝M×N維的列向量，D就是人臉圖像向量的維數(shù)。人臉向量構(gòu)成的樣本集為 ｛x1，x2，…，xn｝，其中n是訓(xùn)練樣本數(shù)，xj（j＝1，2，…，n）是第j幅人臉圖像形成的人臉向量。任何一幅人臉圖像都可以向特征子空間投影獲得坐標(biāo)系數(shù)，稱為K－L分解系數(shù)。這組系數(shù)表明了該圖像在子空間中的位置，從而可以作為人臉識(shí)別的依據(jù)。

2.4 將RVM用于人臉識(shí)別的方法

通過(guò)小波變換和PCA算法提出的特征向量用于RVM的分類信息，把提取的訓(xùn)練樣本的分類信息進(jìn)行RVM算法的訓(xùn)練，得到相關(guān)向量和超平面方程，把相關(guān)參數(shù)保存在程序文件中。再對(duì)待識(shí)別樣本進(jìn)行分類判斷，輸出分類結(jié)果，完成識(shí)別過(guò)程。

標(biāo)準(zhǔn)RVM算法每次只能區(qū)分兩類樣本，而人臉識(shí)別是一個(gè)多模式分類問(wèn)題，人臉數(shù)據(jù)庫(kù)中有多少個(gè)人，就要分多少類。在本文中對(duì)人臉庫(kù)的40類樣本進(jìn)行識(shí)別。因此需要設(shè)計(jì)一種“一對(duì)一”分類器。該方法最早出現(xiàn)在SVM分類方法研究中［12］，在這里把它移植到RVM分類中同樣有效。該方法是對(duì)各模式類中每?jī)深悩颖径荚O(shè)計(jì)一個(gè)二分類RVM模型，所有40類樣本兩兩比較區(qū)分。這樣區(qū)分k個(gè)類別共需要設(shè)計(jì)k（k－1）／2個(gè)RVM分類器。當(dāng)需要對(duì)一個(gè)新的測(cè)試樣本進(jìn)行分類時(shí)，首先要利用訓(xùn)練樣本對(duì)所有k（k－1）個(gè)RVM模型進(jìn)行訓(xùn)練，每一個(gè)RVM模型訓(xùn)練后立即對(duì)測(cè)試樣本進(jìn)行判別，對(duì)它所隸屬的類別更接近兩類中的哪一類進(jìn)行投票。全部比較完畢后累計(jì)各類獲得票數(shù)相加。如果待測(cè)試樣本屬于第i個(gè)類別，那么第i類將獲得最多的票數(shù)，最終將票數(shù)最多的類判斷為此測(cè)試樣本的類別。例如，當(dāng)分類數(shù)k＝5時(shí)，需要5×（5－1）／2＝10次比較。如圖2所示。

圖2 “一對(duì)一”算法5分類過(guò)程Fig.2 Five classifier based on“one against one”algorithm

因?yàn)槊總€(gè)類別都參與了k－1次比較，從理論上講，如果每次判別結(jié)果都正確沒(méi)有誤差，那么待測(cè)試樣本所在的模式類應(yīng)該得到k－1票。其他類別在與正確類比較時(shí)得不到票數(shù)，但與其他不相關(guān)的類別比較時(shí)，得票被分散在各類中，任意兩個(gè)不相關(guān)類得票概率相同，每類平均得票數(shù)應(yīng)該在（k－2）／2左右，當(dāng)k比較大時(shí)，即使有一小部分RVM分類器輸出錯(cuò)誤結(jié)果，也能使正確類別得到最多的投票數(shù)。這種方法在類別數(shù)很多時(shí)也能很好地保證準(zhǔn)確性（識(shí)別正確率基本不隨類別數(shù)變化），不僅分類精度高，魯棒性也很好。

3 實(shí)驗(yàn)仿真

3.1 標(biāo)準(zhǔn)ORL人臉庫(kù)人臉圖像識(shí)別對(duì)比實(shí)驗(yàn)

為了驗(yàn)證本文提出的采用RVM算法替代SVM算法進(jìn)行人臉識(shí)別的效果，做了多組仿真實(shí)驗(yàn)。所有實(shí)驗(yàn)在硬件配置為Intel Centrino Duo，T7250CPU、2G內(nèi)存、2.7GHz主頻的計(jì)算機(jī)上進(jìn)行，程序采用 MATLAB 7.6.0（R2008a）編寫(xiě)。

采用 ORL（Olivetti research laboratory）標(biāo)準(zhǔn)人臉庫(kù)中的圖像作為分類識(shí)別對(duì)象［13］。ORL人臉庫(kù)是由英國(guó)劍橋Olivetti實(shí)驗(yàn)室從1992年到1994年期間拍攝的一系列人臉圖像組成，共有40個(gè)不同年齡、不同性別和不同種族的樣本。每個(gè)樣本由10幅圖像組成共計(jì)400幅灰度圖像，圖像尺寸是92×112像素，背景為黑色。其中人臉部分表情和細(xì)節(jié)均有變化，如笑與不笑、眼睛睜或閉，戴或不戴眼鏡等，人臉姿態(tài)也有變化，其深度旋轉(zhuǎn)和平面旋轉(zhuǎn)可達(dá)20°，人臉尺寸也有最多10%的變化。該庫(kù)是目前使用最廣泛的標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)。圖3為ORL人臉庫(kù)圖像示例。

圖3 ORL人臉庫(kù)圖像示例Fig.3 Example of images of ORL face database

訓(xùn)練樣本個(gè)數(shù)對(duì)人臉識(shí)別正確率有很大影響，為了便于比較，本實(shí)驗(yàn)所有數(shù)據(jù)均選用每類人臉圖像的前5幅作為訓(xùn)練樣本，后5幅作為測(cè)試樣本，即200個(gè)訓(xùn)練樣本，200個(gè)測(cè)試樣本。每次從測(cè)試樣本中隨機(jī)選取一幅圖片作為測(cè)試圖片來(lái)進(jìn)行人臉識(shí)別，為保證統(tǒng)計(jì)的正確率，取100次識(shí)別結(jié)果進(jìn)行一次實(shí)驗(yàn)數(shù)據(jù)統(tǒng)計(jì)，記錄10次獨(dú)立實(shí)驗(yàn)的正確率，并將實(shí)驗(yàn)結(jié)果與基于SVM分類器進(jìn)行的人臉識(shí)別分類效果進(jìn)行了比較，仿真結(jié)果見(jiàn)表1。

表1中的實(shí)驗(yàn)結(jié)果表明，本文算法（小波分解＋PCA＋RVM）的平均識(shí)別率是90.1%，高于小波分解＋PCA＋SVM算法的平均識(shí)別率（86.7%）。

表1 RVM算法與SVM算法識(shí)別正確率的比較Table 1 Correct rate of RVM comparison with SVM

雖然兩種算法的最高正確率相差只有一個(gè)百分點(diǎn)，但基于RVM算法的10次實(shí)驗(yàn)的正確率最大值與最小值偏差為5%，而基于SVM算法的最大偏差為13%。前者的均方誤差也比后者小很多。這表明基于RVM識(shí)別的魯棒性明顯好于SVM識(shí)別的魯棒性，RVM算法用于人臉圖像識(shí)別的可靠性更強(qiáng)。

3.2 含噪聲人臉圖像識(shí)別對(duì)比實(shí)驗(yàn)

有時(shí)得到的照片不是可以忽略噪聲的標(biāo)準(zhǔn)圖像。在圖像預(yù)處理中采用的小波變換＋PCA算法可以濾除大部分常見(jiàn)的圖像噪聲，如高斯白噪聲。但在后面的仿真試驗(yàn)中可以看到，當(dāng)隨機(jī)噪聲和椒鹽噪聲的強(qiáng)度較大時(shí)，傳統(tǒng)的人臉圖像識(shí)別方法識(shí)別準(zhǔn)確性仍會(huì)有明顯下降。但本文采用的基于RVM算法的新方法則對(duì)這類噪聲不敏感。

3.2.1 隨機(jī)噪聲對(duì)人臉識(shí)別的影響

加20%隨機(jī)噪聲前后的圖像對(duì)比見(jiàn)圖4。采用兩種不同方法得到的實(shí)驗(yàn)數(shù)據(jù)對(duì)比如圖5所示。

3.2.2 椒鹽噪聲對(duì)人臉識(shí)別的影響

加10%椒鹽噪聲前后的圖像對(duì)比見(jiàn)圖6。采用兩種不同方法得到的實(shí)驗(yàn)數(shù)據(jù)對(duì)比見(jiàn)圖7。

3.2.3 混合噪聲對(duì)人臉識(shí)別的影響

圖4 加入0.2強(qiáng)度的隨機(jī)噪聲的人臉圖像Fig.4 Face images with 0.2intensity random noise

圖5 加入不同強(qiáng)度的隨機(jī)噪聲的人臉識(shí)別實(shí)驗(yàn)Fig.5 Face recognition experiment with different intensity random noise

圖6 加入0.1強(qiáng)度的椒鹽噪聲的人臉圖像Fig.6 Face images with 0.1intensity salt and pepper noise

同時(shí)加10%隨機(jī)噪聲和5%椒鹽噪聲前后的圖像對(duì)比如圖8所示。采用兩種不同方法得到的實(shí)驗(yàn)數(shù)據(jù)對(duì)比見(jiàn)圖9。

混合噪聲實(shí)驗(yàn)中的強(qiáng)度數(shù)值是兩類噪聲強(qiáng)度相等時(shí)的平均百分比。如強(qiáng)度“0.15”是指同時(shí)存在強(qiáng)度為15%的隨機(jī)噪聲和強(qiáng)度為15%的椒鹽噪聲。

通過(guò)上面的三組實(shí)驗(yàn)可以發(fā)現(xiàn)，基于RVM算法的人臉識(shí)別系統(tǒng)與基于SVM算法的人臉識(shí)別系統(tǒng)相比，前者的對(duì)各類噪聲的不敏感程度均高于后者。當(dāng)噪聲強(qiáng)度增加時(shí)，新方法在圖像識(shí)別準(zhǔn)確性方面的優(yōu)勢(shì)表現(xiàn)尤其明顯。

圖7 加入不同強(qiáng)度的椒鹽噪聲的人臉識(shí)別實(shí)驗(yàn)Fig.7 Face recognition experiment with different intensity salt and pepper noise

圖8 加入0.1強(qiáng)度的混合噪聲的人臉圖像Fig.8 Face images with 0.1intensity mixed noise

圖9 加入不同強(qiáng)度的混合噪聲的人臉識(shí)別實(shí)驗(yàn)Fig.9 Face recognition experiment with different intensity mixed noise

4 結(jié)束語(yǔ)

把相關(guān)向量機(jī)理論應(yīng)用于人臉識(shí)別系統(tǒng)，在被識(shí)別對(duì)象中加入不同類型和強(qiáng)度的噪聲并與原有的支持向量機(jī)方法進(jìn)行了比較。大量的仿真實(shí)驗(yàn)數(shù)據(jù)表明，相對(duì)于原有的基于SVM算法的人臉識(shí)別系統(tǒng)，本文提出的基于RVM算法的人臉識(shí)別系統(tǒng)在識(shí)別準(zhǔn)確率、魯棒性及對(duì)圖像噪聲的不敏感性等方面均有一定的優(yōu)勢(shì)，該方法具有一定的應(yīng)用價(jià)值和可推廣性。

［1］謝賽琴，沈福明，邱雪娜.基于支持向量機(jī)的人臉識(shí)別方法［J］.計(jì)算機(jī)工程，2009，35（16）:186－188.Xie Sai－qin，Shen Fu－ming，Qiu Xue－na.Face recognition method based on support vector machine［J］.Computer Engineering，2009，35（16）:186－188.

［2］聶會(huì)星，梁坤，徐樅巍.基于小波變換和支持向量機(jī)的人臉識(shí)別研究［J］.合肥工業(yè)大學(xué)學(xué)報(bào)，2011，34（2）:208－211.Nie Hui－xing，Liang Kun，Xu Zong－wei.Face recognition based on wavelet transform and support vector machine［J］.Journal of Hefei University of Technology（Natural Science Edition），2011，34（2）:208－211.

［3］Psorakis Ioannis，Damoulas Theodoros，Girolami Mark A.Multiclass relevance vector machines:sparsity and accuracy［J］.IEEE Transactions on Neural Networks，2010，21（10）:1588－1598.

［4］陶新民，徐晶，杜寶祥，等.基于相空間RVM的軸承故障檢測(cè)方法［J］.振動(dòng)與沖擊，2007，25（12）:1－7.Tao Xin－min，Xu Jing，Du Bao－xiang，et al.Bearing fault detection based on RVM using phase space［J］.Journal of Vibration and Shock，2007，25（12）:1－7.

［5］殷岳萌，馮燕，劉萌萌.基于相關(guān)向量機(jī)和獨(dú)立分量分析的高光譜數(shù)據(jù)分類［J］.現(xiàn)代電子技術(shù)，2010（13）:123－126.Yin Yue－meng，F(xiàn)eng Yan，Liu Meng－meng.Classification for hyperspectral data based on independent component analysis and relevance vector machine［J］.Modern Electronics Technique，2010（13）:123－126.

［6］詹環(huán)，董玉才，趙海清，等.基于相關(guān)向量機(jī)的大豆生長(zhǎng)發(fā)育階段預(yù)測(cè)［J］.嘉應(yīng)學(xué)院學(xué)報(bào):自然科學(xué)，2010，28（5）:27－30.Zhan Huan，Dong Yu－cai，Zhao Hai－qing，et al.Prediction of soybean growth and development sta－ges based on relevance vector machine［J］.Journal of Jiaying University（Natural Science），2010，28（5）:27－30.

［7］劉遵雄，張德運(yùn)，孫欽東，等.基于相關(guān)向量機(jī)的電力負(fù)荷中期預(yù)測(cè)［J］.西安交通大學(xué)學(xué)報(bào)，2004，38（10）:1005－1008.Liu Zun－xiong，Zhang De－yun，Sun Qin－dong，et al.Mid－term electric load prediction based on the relevance vector machine［J］.Journal of Xi＇an Jiaotong University，2004，38（10）:1005－1008.

［8］楊成福，章毅.相關(guān)向量機(jī)及在說(shuō)話人識(shí)別應(yīng)用中的研究［J］.電子科技大學(xué)學(xué)報(bào)，2010，39（2）:311－315.Yang Cheng－fu，Zhang Yi.Study on speaker recognition using RVM［J］.Journal of University of Electronic Science and Technology of China，2010，39（2）:311－315.

［9］Tipping M.Sparse Bayesian learning and the relevance vector machine［J］.Machine Learning Research，2001:211－244.

［10］Zeng Yang－yan，Ye Bo－long.The face of the feature extraction and detection based on PCA［J］.Computer Knowledge and Technology，2008（4）:742－744.

［11］陶曉燕，劉振霞，王元一.基于小波子帶的PCA人臉識(shí)別方法研究［J］.空軍工程大學(xué)學(xué)報(bào):自然科學(xué)版，2004，5（3）:65－67.Tao Xiao－yan，Liu Zhen－xia，Wang Yuan－yi.Face recognition using PCA based on wavelet subband［J］.Journal of Air Force Engineering University（Natural Science Edition），2004，5（3）:65－67.

［12］Krebel U.Pairwise classification and support vector machines［C］∥Scholkopf B，Burges C J C，Smola A J eds，Advances in Kernel Methods:Support Vector Learning，The MIT Press，Cambridge，MA，1999:255－268.

［13］ORL人臉數(shù)據(jù)庫(kù).［DB／OL］.［2012－09－30］.http:／／download.csdn.net／detail／kyszp123／1583590.