最小化TPE一元回歸分類在人臉識(shí)別中的應(yīng)用

王軍琴

西安文理學(xué)院 物理與機(jī)械電子工程學(xué)院，西安 710065

最小化TPE一元回歸分類在人臉識(shí)別中的應(yīng)用

王軍琴

西安文理學(xué)院 物理與機(jī)械電子工程學(xué)院，西安 710065

目前，已經(jīng)存在許多人臉識(shí)別方法，如主成分分析（Principal Component Analysis，PCA）[1-2]、獨(dú)立成分分析（Independent Component Analysis，ICA）[3]及線性判別分析（Linear Discriminant Analysis，LDA）[4-5]都可以成功地完成人臉識(shí)別，這些算法都通過估計(jì)低維子空間以達(dá)到降維的目的，實(shí)踐證明，這樣對(duì)人臉識(shí)別確實(shí)有效。此外，無監(jiān)督特征提取融合監(jiān)督分類的方法也被引入到分類中，即核PCA加LDA（KPCA+LDA）[6]。稀疏表示分類（Sparse Regression Classification，SRC）[7]也在人臉識(shí)別中得到了廣泛的應(yīng)用，并已成為計(jì)算機(jī)視覺領(lǐng)域的重要工具之一。

2010年，文獻(xiàn)[8]將線性回歸分類（Linear Regression Classification，LRC）算法引入到了人臉識(shí)別中，假設(shè)來自特定類的人臉圖像一定位于某個(gè)線性子空間內(nèi)，則類特定的投影矩陣可以在訓(xùn)練階段用最小二乘法估計(jì)，可以用原始向量與投影向量之間最小距離準(zhǔn)則來完成識(shí)別，實(shí)驗(yàn)結(jié)果表明，LRC的表現(xiàn)優(yōu)于PCA、ICA、LDA等算法。為了進(jìn)一步提高算法的性能，文獻(xiàn)[9]提出了一種魯棒線性回歸分類（Robust Linear Regression Classification，RLRC）算法，通過借助于M-估計(jì)得到相應(yīng)的回歸參數(shù)，解決了光照變化大或具有噪聲干擾的人臉識(shí)別問題。此外，為了克服線性回歸中多重共線性的問題，嶺回歸和主成分回歸方法得到了廣泛的應(yīng)用。文獻(xiàn)[10]提出了改進(jìn)的主成分回歸分類（Improved Principal Component Regression Classification，IPCRC）算法，在應(yīng)用主成分分析算法前先移除每幅圖的平均項(xiàng)，丟掉前n個(gè)主成分，便于消除人臉識(shí)別中光照變化的影響，仿真結(jié)果表明，IPCRC算法在解決光照變化人臉識(shí)別問題時(shí)明顯優(yōu)于傳統(tǒng)的主成分回歸分類（Principal Component Regression Classification，PCRC）[11]、LRC、嶺回歸分類（Ridge Regression Classification，RRC）[12]和基于判別的人臉識(shí)別方法。

然而，現(xiàn)有的基于回歸的方法，如LRC、PCRC、IPCRC、RLRC等都不能將分類中所有類的總類內(nèi)投影誤差計(jì)算在內(nèi)，而且，為了克服光照變化問題，IPCRC剔除了前幾個(gè)主成分，在光照變化的條件下確實(shí)可以提高分類性能，但同時(shí)也降低了在有表情和姿勢(shì)變化條件下的性能，即現(xiàn)有的回歸分類方法不能考慮到用于人臉識(shí)別的所有類的總類內(nèi)投影誤差[13]。

基于上述分析，提出了一種基于最小化總投影誤差（Total Projection Error，TPE）的一元回歸分類方法，通過最小化線性回歸分類中所有類的總類內(nèi)投影誤差來提高人臉識(shí)別的魯棒性，考慮總類內(nèi)投影誤差的目的是最小化類內(nèi)重建誤差，通過尋求一種更好的投影矩陣，使得所有類的總類內(nèi)重建誤差最小。因此，提出的方法可以估計(jì)投影矩陣，使線性回歸分類中類間重建誤差最小，實(shí)驗(yàn)結(jié)果表明了所提方法的有效性及魯棒性。

1 線性回歸分類

已知來自第i類的 pi張訓(xùn)練圖像屬于 N個(gè)對(duì)象，i=1，2，…，N，每張訓(xùn)練圖像大小為a×b，用 vi，j∈?a×b，i=1，2，…，N，j=1，2，…，pi表示，而vi，j∈?a×b由一個(gè)列向量xi，j∈?q×1構(gòu)成，其中q=ab。為了估計(jì)類的具體模型，將列向量xi，j組成一個(gè)類的類成員，因此，對(duì)于第i類，有：

式中，每個(gè)向量xi，j都是Xi的一個(gè)列向量，在訓(xùn)練階段，用矩陣Xi表示類i，稱為每個(gè)類的預(yù)測(cè)器。

對(duì)于任意屬于第i類的數(shù)據(jù)向量x可以表示為第i類的訓(xùn)練圖像的一個(gè)線性組合：

式中，βi∈?pi×1是回歸參數(shù)向量，可用最小二乘法估計(jì)，估計(jì)的回歸參數(shù)向量可寫成：

表示的是第i類的投影矩陣，該矩陣是一個(gè)對(duì)稱矩陣也是等冪的。

LRC是基于每個(gè)類的測(cè)試向量與預(yù)測(cè)響應(yīng)向量之間投影誤差最小而開發(fā)的，所以在識(shí)別階段，所有類投影矩陣，身份標(biāo)識(shí)i*可以用最小投影誤差來確定：

2 方法提出

給定所有類的訓(xùn)練圖像集M，忽略它的類，每個(gè)訓(xùn)練圖像大小為a×b，用vm∈?a×b，m=1，2，…，N表示，將每張圖像都轉(zhuǎn)換成一個(gè)列向量 xm∈?q×1，其中，q=a×b。組合所有的訓(xùn)練數(shù)據(jù)xm，數(shù)據(jù)的集合表示為X=[x1，x2，…，xm，…，xM]∈?q×M，為了確定它的類，用l(xm)∈{ } 1，2，…，C表示xm的類標(biāo)簽，其中，C是類的總個(gè)數(shù)。

2.1 最小化總投影誤差的一元回歸分類

所提一元回歸分類（Unitary Regression Classification，URC）算法希望能夠找到一個(gè)全局一元旋轉(zhuǎn)矩陣U= [u1，u2，…，un，…，ud]，d≤q，它能將原始 X數(shù)據(jù)空間 xm旋轉(zhuǎn)到一個(gè)低范圍數(shù)據(jù)空間Z，以此來替代原始空間，有：

并在此空間內(nèi)得到所有訓(xùn)練數(shù)據(jù)的最小總投影誤差：

這表示l(xm)=l(zm)，提出的方法旨在為線性回歸分類找到一元旋轉(zhuǎn)矩陣U以實(shí)現(xiàn)總類間投影誤差最小，由式（7）得，式（9）的目標(biāo)函數(shù)可表示為：

將Zi=UTXi代入=Zi，可以很容易地得到=UTU，算術(shù)化簡(jiǎn)后，目標(biāo)函數(shù)變?yōu)椋?/p>

最后，目標(biāo)函數(shù)可表示為：

利用拉格朗日乘數(shù)，求解下述特征分解問題可以得到投影矩陣的解：

式中，λd≥…≥λk≥…≥λ1≥0

2.2 所提算法的統(tǒng)計(jì)學(xué)解釋

為了減少模型的變異，嶺回歸（Ridge Regression，RR）方法提出添加一個(gè)懲罰因子到線性回歸（Linear Regression，R）模型中，用以減少參數(shù)的變化，如＜，因此，嶺回歸能使回歸模型穩(wěn)定化，且執(zhí)行效果優(yōu)于線性回歸。類似地，PCR和IPCR方法分別通過丟棄最后和開始的幾個(gè)主成分方法減少回歸模型的變化，有＜，＜。而提出的URC算法旨在使所有類的總投影誤差最小，URC可以改變估計(jì)的總變化，使其最小化，因此，最小變化量的URC算法可以穩(wěn)定地得到比其他回歸分類算法更好的性能。

2.3 URC算法總結(jié)

提出的URC算法可以總結(jié)如下：

訓(xùn)練階段：

步驟1給定一個(gè)人臉圖像向量訓(xùn)練集，利用式（6）在原始向量空間找到類投影矩陣，利用式（12）計(jì)算所有訓(xùn)練數(shù)據(jù)的類內(nèi)投影誤差矩陣Ex。

步驟2求出特征分解問題的解Ex，利用式（14）找到一元旋轉(zhuǎn)矩陣U。

步驟3利用zm=UTxm將每個(gè)訓(xùn)練圖像向量轉(zhuǎn)換為一個(gè)新的向量空間。

步驟4在旋轉(zhuǎn)空間計(jì)算每個(gè)類的特定投影矩陣。

識(shí)別階段：

步驟1利用z=UTx轉(zhuǎn)換每個(gè)測(cè)試人臉圖像向量x至旋轉(zhuǎn)向量空間。

步驟2利用投影旋轉(zhuǎn)向量z至第i類空間。

步驟3利用確定身份。

3 實(shí)驗(yàn)

所有實(shí)驗(yàn)均在4 GB內(nèi)存Intel?CoreTM2.93 GHz Windows XP機(jī)器上完成，編程環(huán)境為MATLAB 7.0。

為了評(píng)估所提算法的性能，在兩大公用人臉數(shù)據(jù)庫：FEI[14]和FERET[15]上進(jìn)行了測(cè)試，并且將提出的算法與本征臉[1]、Fisher臉[5]、KPCA+LDA[6]、SRC[7]、LRC[8]、RLRC[9]、PCRC[10]、IPCRC[10]等算法進(jìn)行了比較。

3.1 FEI人臉庫

FEI人臉數(shù)據(jù)庫來自巴西圣保羅圣伯爾南多德坎普FEI人工智能實(shí)驗(yàn)室，該數(shù)據(jù)庫包含200個(gè)對(duì)象（100個(gè)男性和100個(gè)女性），每個(gè)對(duì)象14張圖像，共2 800張圖像，如圖1所示為FEI人臉數(shù)據(jù)庫中某人的14張人臉圖像示例。

圖1 FEI人臉數(shù)據(jù)庫中某人的14張人臉圖像示例

在FEI人臉數(shù)據(jù)庫中，最主要的挑戰(zhàn)是數(shù)據(jù)庫中的圖像帶有各種姿勢(shì)變化，包括側(cè)面像、面部表情變化（正常和微笑）、光照變化等，所有的圖像都縮放成24×20大小。實(shí)驗(yàn)中，識(shí)別率由“留一法”（leaving-one-out）策略決定，表1、表2記錄了各方法的實(shí)驗(yàn)結(jié)果，各方法的參數(shù)設(shè)置均參照各自所在文獻(xiàn)，結(jié)果僅記錄了最高識(shí)別率。

考慮了FEI數(shù)據(jù)庫的在三種條件下是識(shí)別率，它們包括姿勢(shì)變化（測(cè)試圖像：1～10）、表情變化（測(cè)試圖像：11、12）、光照變化（測(cè)試圖像：13、14），從表1、表2可以看出，URC算法對(duì)側(cè)臉輪廓的識(shí)別魯棒性更好（測(cè)試圖像：1、 10）；在有嚴(yán)重光照變化的條件下（測(cè)試圖像：14）IPCRC的性能優(yōu)于其他算法；在有表情變化的條件下，所提方法與各個(gè)比較的算法獲得的結(jié)果相當(dāng)。

表3顯示URC得到的平均識(shí)別精度更高。從表3可以看出，所提URC算法在FEI人臉數(shù)據(jù)庫上的平均識(shí)別率高于其他所有比較方法。

表1 各方法在FEI數(shù)據(jù)庫上的識(shí)別率比較（測(cè)試圖像為第1至第7張） （%）

表2 各方法在FEI數(shù)據(jù)庫上的識(shí)別率比較（測(cè)試圖像為第8至第14張） （%）

表3 各方法在FEI數(shù)據(jù)庫上的平均識(shí)別率（%）

3.2 FERET人臉庫

為了進(jìn)一步評(píng)估提出的URC算法對(duì)姿勢(shì)變化條件下的有效性，從FERET數(shù)據(jù)庫中選擇300個(gè)人的圖像，每個(gè)人4幅圖像，包括fa、fb、ql、qr，所有人臉圖像均轉(zhuǎn)換為灰度，剪裁并調(diào)整到24像素×20像素。如圖2所示為FERET人臉數(shù)據(jù)庫中某人的4張人臉圖像示例，正面臉部圖像fa和fb包含小姿勢(shì)、尺度和表情變化，而ql和qr包含較大的姿勢(shì)變化。

實(shí)驗(yàn)采用的是交叉驗(yàn)證方法，對(duì)每個(gè)識(shí)別實(shí)驗(yàn)，選取每個(gè)人的三幅圖像用于訓(xùn)練，剩下的圖像用于測(cè)試，各個(gè)比較方法的參數(shù)設(shè)置分別參照各自所在文獻(xiàn)，進(jìn)行了大量的實(shí)驗(yàn)，取各方法的最優(yōu)識(shí)別率，實(shí)驗(yàn)結(jié)果如表4所示。

圖2 FERET人臉數(shù)據(jù)庫中某人的樣本示例

表4 不同方法在FERET數(shù)據(jù)庫的性能比較 （%）

從表4可以看出，URC算法的執(zhí)行效果優(yōu)于其他各個(gè)算法，雖然SRC、RLRC和IPCRC算法能分別在噪聲和光照變化條件下成功地識(shí)別人臉圖像，但它們對(duì)姿勢(shì)變化卻是高度敏感的，所以，在處理具有較大姿勢(shì)變化的人臉識(shí)別問題時(shí)，相比其他幾種方法，所提方法的魯棒性更加明顯。

3.3 性能比較

為了更好地體現(xiàn)所提方法的優(yōu)越性，將所提方法的計(jì)算復(fù)雜度與KPCA+LDA[6]、SRC[7]、LRC[8]、RLRC[9]、PCRC[10]、IPCRC[10]方法進(jìn)行了對(duì)比，包括訓(xùn)練時(shí)間復(fù)雜度、測(cè)試時(shí)間復(fù)雜度及空間復(fù)雜度，具體比較結(jié)果如表5所示，其中，m、n分別表示圖像矩陣的行數(shù)和列數(shù)，L、M、N分別表示投影向量數(shù)、測(cè)試樣本數(shù)、訓(xùn)練樣本數(shù)。

表5 各方法的復(fù)雜度比較

從表5可以看出，與KPCA+LDA方法相比，所提方法在訓(xùn)練階段的時(shí)間復(fù)雜度稍微高了一點(diǎn)，其他均相同；與LRC方法相比，所提方法的各個(gè)復(fù)雜度均相當(dāng)；與SRC、RLRC方法相比，所提方法在訓(xùn)練階段的時(shí)間復(fù)雜度稍微高了一點(diǎn)，但是在測(cè)試階段的復(fù)雜度卻比SRC、RLRC低了很多，空間復(fù)雜度均相同；與PCRC、IPCRC方法相比，所提方法的訓(xùn)練階段、測(cè)試階段時(shí)間復(fù)雜度及總體空間復(fù)雜度均低了很多。綜上可知，在大大地提高識(shí)別率的同時(shí)，所提URC方法仍然能夠保持與其他各個(gè)比較方法相當(dāng)甚至更優(yōu)的時(shí)間、空間復(fù)雜度，由此可見其性能上的優(yōu)越性。

4 結(jié)束語

針對(duì)現(xiàn)有回歸分類方法不能很好地考慮用于人臉識(shí)別的所有類的總類內(nèi)投影誤差的問題，提出一種基于最小化總投影誤差的一元回歸分類方法，試圖最小化所有類的總類內(nèi)重建誤差以找到線性回歸分類的最優(yōu)投影。實(shí)驗(yàn)結(jié)果表明，在處理具有姿勢(shì)變化的人臉識(shí)別問題時(shí)，所提URC算法的識(shí)別性能明顯優(yōu)于本征臉、Fisher臉、KPCA+ LDA、SRC、LRC、PCRC、IPCRC和RLRC方法。

未來會(huì)結(jié)合其他技術(shù)，對(duì)回歸分類方法的識(shí)別性能進(jìn)行改進(jìn)，通過設(shè)置不同的初始參數(shù)，進(jìn)行大量的實(shí)驗(yàn)，從而找到最優(yōu)參數(shù)，在提高識(shí)別率的同時(shí)，進(jìn)一步改進(jìn)算法的效率。

[1]徐明，喬寧博，文振焜，等.基于特征識(shí)別的三維人臉動(dòng)畫模型自動(dòng)構(gòu)造[J].中國圖象圖形學(xué)報(bào)，2012，17（12）：1540-1547.

[2]蘇煜，山世光，陳熙霖，等.基于全局和局部特征集成的人臉識(shí)別[J].軟件學(xué)報(bào)，2010，21（8）：1849-1862.

[3]柴智，劉正光.應(yīng)用復(fù)小波和獨(dú)立成分分析的人臉識(shí)別[J].計(jì)算機(jī)應(yīng)用，2010，30（7）：1863-1866.

[4]鄒建法，王國胤，龔勛.基于增強(qiáng)Gabor特征和直接分步線性判別分析的人臉識(shí)別[J].模式識(shí)別與人工智能，2010（4）：477-482.

[5]李曉莉，達(dá)飛鵬.基于排除算法的快速三維人臉識(shí)別方法[J].自動(dòng)化學(xué)報(bào)，2010，36（1）：153-158.

[6]Yang J，F(xiàn)rangi A F，Yang J，et al.KPCA plus LDA：a complete kernel Fisher discriminant framework for feature extraction and recognition[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27（2）：230-244.

[7]宋相法，焦李成.基于稀疏表示及光譜信息的高光譜遙感圖像分類[J].電子與信息學(xué)報(bào)，2012，34（2）：268-272.

[8]Naseem I，Togneri R，Bennamoun M.Linear regression for face recognition[J].IEEE Transactionson Pattern Analysis and Machine Intelligence，2010，32（11）：2106-2112.

[9]Naseem I，Togneri R，Bennamoun M.Robust regression for face recognition[J].Pattern Recognition，2012，45（1）：104-118.

[10]Huang S M，Yang J F.Improved principal component regression for face recognition under illumination variations[J]. IEEE Signal Processing Letters，2012，19（4）：179-182.

[11]李碩，汪善勤，張美琴.基于可見-近紅外光譜比較主成分回歸，偏最小二乘回歸和反向傳播神經(jīng)網(wǎng)絡(luò)對(duì)土壤氮的預(yù)測(cè)研究[J].光學(xué)學(xué)報(bào)，2012，32（8）：289-293.

[12]張曼，劉旭華，何雄奎，等.嶺回歸在近紅外光譜定量分析及最優(yōu)波長(zhǎng)選擇中的應(yīng)用研究[J].光譜學(xué)與光譜分析，2011，30（5）.

[13]何林，潘靜，龐彥偉.基于DCT和線性回歸的人臉識(shí)別[J].計(jì)算機(jī)應(yīng)用研究，2012，29（3）：1123-1126.

[14]周玲麗，賴劍煌.人臉特征的SIFT保護(hù)算法[J].中國圖象圖形學(xué)報(bào)，2011，16（5）.

[15]於東軍，吳小俊，楊靜宇.廣義SOM及其在人臉性別識(shí)別中的應(yīng)用[J].計(jì)算機(jī)學(xué)報(bào)，2011，34（9）：1719-1725.

WANG Junqin

School of Physics and Mechanical&Electronic Engineering,Xi’an University of Arts and Science,Xi’an 710065,China

For the issue that existing regression classification methods in face recognition do not consider total projection error within classes well,a unitary regression classification method based on minimizing Total Projection Error（TPE）is proposed. Characteristics decomposition is used to find unitary rotation matrix after the projection error matrix within class of all the training data is calculated by projection matrix of each class.Then,unitary rotation matrix is used to convert each training image vector to a new vector space,and the specific projection matrix of each class is worked out.Minimum projection error of each class in unitary rotating subspace is used to finish face recognition.The effectiveness and robustness of proposed method has been verified by experiments on the two common face databases FEI and FERET.Experimental results show that proposed method has better recognition accuracy than several other advanced regression classification approaches.

face recognition;minimizing total projection error;linear regression classification;unitary regression classification;unitary rotate subspace

針對(duì)人臉識(shí)別中現(xiàn)有回歸分類方法不能很好地考慮總類內(nèi)投影誤差的問題，提出了一種基于最小化總投影誤差（TPE）的一元回歸分類方法。通過各個(gè)類投影矩陣計(jì)算所有訓(xùn)練數(shù)據(jù)的類內(nèi)投影誤差矩陣，并且借助特征分解找到一元旋轉(zhuǎn)矩陣；利用一元旋轉(zhuǎn)矩陣將每個(gè)訓(xùn)練圖像向量轉(zhuǎn)換為新的向量空間，并計(jì)算出每個(gè)類的特定投影矩陣；根據(jù)一元旋轉(zhuǎn)子空間中各個(gè)類的最小投影誤差來完成人臉的識(shí)別。在兩大通用人臉數(shù)據(jù)庫FEI和FERET上的實(shí)驗(yàn)驗(yàn)證了所提方法的有效性及魯棒性，實(shí)驗(yàn)結(jié)果表明，相比其他幾種先進(jìn)的回歸分類方法，所提方法取得了更好的識(shí)別效果。

人臉識(shí)別；最小化總投影誤差；線性回歸分類；一元回歸分類；一元旋轉(zhuǎn)子空間

A

TP391

10.3778/j.issn.1002-8331.1307-0346

WANG Junqin.Face recognition with unitary regression classification based on minimizing TPE.Computer Engineering and Applications,2013,49（23）：153-156.

王軍琴（1978—），女，講師，主要研究方向?yàn)槿斯ぶ悄?、?jì)算機(jī)控制。

2013-07-26

2013-09-10

1002-8331（2013）23-0153-04