基于最小二乘支持向量機(jī)的人臉識別算法

付浩海，趙鵬飛，侯月武，趙夢夢，鞏玉影，劉　偉

(長春工程學(xué)院計算機(jī)技術(shù)與工程學(xué)院，長春 130012)

0　引言

通過計算機(jī)對人臉進(jìn)行分析，從而確定身份的技術(shù)統(tǒng)稱為人臉識別，是近40年來學(xué)術(shù)界一直關(guān)注的一個焦點(diǎn)。它廣泛應(yīng)用于自動識別系統(tǒng)、人機(jī)交互系統(tǒng)、身份防偽識別系統(tǒng)、安全驗證系統(tǒng)和休閑娛樂系統(tǒng)等。相對于依賴人體其他特征，如常見的指紋、掌紋、虹膜、步態(tài)和語音等識別技術(shù)，人臉識別由于采用非接觸式的自動圖像采集方式，使參與者比較容易接受。

人臉識別的基本步驟包括圖像預(yù)處理、特征選擇和提取、分類。

步驟1：圖像預(yù)處理。人臉圖像預(yù)處理是指降低人臉關(guān)鍵信息受噪聲、遮擋、旋轉(zhuǎn)和光照強(qiáng)度等的影響，降低人臉特征無關(guān)信息的干擾，降低人臉關(guān)鍵特征提取的難度和計算復(fù)雜度。圖像預(yù)處理手段有去噪、增強(qiáng)、尺度縮放等。

步驟2：特征選擇和提取。人臉的典型特征一般包括數(shù)值特征、幾何特征、拓?fù)浣Y(jié)構(gòu)特征和變換系數(shù)特征等，相對于直接對人臉原始數(shù)據(jù)進(jìn)行處理，特征提取能有效降低人臉圖像的復(fù)雜度，降低人臉圖像的維數(shù)，提高了識別速度。

步驟3：識別。指的是借助算法將輸入人臉與人臉數(shù)據(jù)庫中的數(shù)據(jù)特征進(jìn)行對比，確定人臉?biāo)鶎兕悇e。選擇合適的分類算法是提高分類精確度的關(guān)鍵，從根本上決定了分類結(jié)果的優(yōu)秀與否。伴隨著機(jī)器學(xué)習(xí)研究的開展，業(yè)界先后提出了人工神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)、最小二乘支持向量機(jī)等算法。

本文著重研究基于最小二乘支持向量機(jī)的人臉識別算法。在對人臉圖像進(jìn)行預(yù)處理的基礎(chǔ)上，采用奇異值分解擴(kuò)展算法提取人臉圖像奇異值特征，然后再利用最小二乘支持向量機(jī)對人臉圖像的特征進(jìn)行分類。

1　支持向量機(jī)思想

1995年，Vapnik等人率先提出了支持向量機(jī)(Support Vector Machine，SVM)思想。它具有升維、線性化和對小樣本分類的優(yōu)點(diǎn)。一個支持向量機(jī)構(gòu)造一個超平面，在高維或無限維空間，其可以用于分類、回歸，或其他任務(wù)中設(shè)定的超平面，具有較好的泛化能力。

最小二乘支持向量機(jī)(Least Square Support Vector Machine，LS-SVM)是支持向量機(jī)的一種改進(jìn)算法。LSSVM和SVM的區(qū)別在于，LSSVM把原方法的不等式約束變?yōu)榈仁郊s束，從而大大方便了Lagrange乘子的求解，原問題是QP問題，而在LSSVM中則是一個解線性方程組的問題。使得在滿足極值條件的情況下，降低了計算的復(fù)雜性，提高了泛化能力和求解速度，能有效應(yīng)用于模式識別和函數(shù)估計。

2　人臉識別算法

2.1　最小二乘支持向量機(jī)算法

假設(shè)訓(xùn)練樣本Ti={Xi,yi},i=1,2,…,n，其中Xi∈Rm，是m維輸入向量，yi∈{+1,-1}為樣本類別，n為訓(xùn)練樣本的容量，對標(biāo)準(zhǔn)支持向量機(jī)優(yōu)化問題的約束條件進(jìn)行改造，并將經(jīng)驗風(fēng)險函數(shù)改為二次函數(shù)，問題模型描述如公式(1)所示。

(1)

s.t.γi·[ωT·φ(xi)+b]=1-eii=1,…,n，

式中：ω為超平面方向向量；φ(xi)為從樣本輸入空間到特征空間的映射函數(shù)；ei為xi的松弛系數(shù)；γ為邊際系數(shù)。對偶問題可通過構(gòu)造其對應(yīng)的Lagrange函數(shù)并求解得出。本問題的Lagrange函數(shù)式見公式(2)。

yi[ωT·φ(xi)+b]=1-ei，

(2)

式中ai為Lagrange乘子。

算法1：最小二乘支持向量機(jī)算法。

1)輸入訓(xùn)練樣本。

2)計算核函數(shù)類型。

3)計算核矩陣核Ω。核矩陣的推導(dǎo)需要借助訓(xùn)練數(shù)據(jù)、核函數(shù)以及核參數(shù)等數(shù)據(jù)。

4)數(shù)據(jù)標(biāo)準(zhǔn)化，求解α與b的值。由訓(xùn)練數(shù)據(jù)(或測試數(shù)據(jù))矩陣，構(gòu)造系數(shù)矩陣，解線性方程組(公式(3))，得系數(shù)向量α=(α1,…,αn)和b。

(3)

式中：I為n維單位矩陣；E為值為1的n維列向量；Ω為n維對稱方陣，其元素Ωi,j=yiyj(xi)T·φ(xj)，φ(xi)Tφ(xj)=k(xi,xj)，k(xi,xj)為核函數(shù)；γ為懲罰因子。

5)計算分類超平面和判別函數(shù)。得到α與b的值后，通過式(4)計算分類超平面。然后可以通過訓(xùn)練出的分類超平面公式(5)的判別函數(shù)決定被分類向量X的類別。

(4)

(5)

式中sgn(·)為符號函數(shù)。

2.2　人臉識別算法

人臉識別本質(zhì)上是一個多類分類任務(wù)。支持向量機(jī)是針對分類為兩類任務(wù)的樣本而設(shè)計的，必須對支持向量機(jī)進(jìn)行組合才能解決多類分類問題。組合策略一般分為兩種：“一對多”策略，即通過一個分類器將每一類與剩下所有類別區(qū)分開來；“一對一”策略，即通過一個分類器將兩個類別對區(qū)分開來，進(jìn)而構(gòu)成多個LS-SVM分類器來完成分類。我們采用“一對一”算法組合LS-SVM的思想，然后對分類結(jié)果進(jìn)行投票計數(shù)，得票最多的類即為樣本點(diǎn)所屬的類。

算法2：基于LS-SVM的人臉識別算法。

1)構(gòu)造訓(xùn)練人臉庫并進(jìn)行預(yù)處理。

2)計算每幅圖像的協(xié)方差矩陣。

3)計算特征值和特征向量。

4)重新排序特征值，取部分特征向量構(gòu)成特征子空間。

5)設(shè)計分類器。針對不同的人臉圖像，構(gòu)造出兩類最小二乘支持向量機(jī)分類器。分別用每個分類器進(jìn)行計算類別，并將相應(yīng)類別計數(shù)加1，直到所有分類器分類完成，得票最多的類為測試樣本所屬的類。

算法對應(yīng)分類框架如圖1所示。

圖1　基于LS-SVM的人臉分類框架

3　實驗與分析

本文實驗的硬件平臺是普通的PC，Intel Core i5 CPU，8G內(nèi)存。使用Matlab對以上算法進(jìn)行仿真驗證，并采用了LS-SVM工具箱。測試集和訓(xùn)練集采用ORL(Olivene Research Lab)訓(xùn)練和測試數(shù)據(jù)庫，ORL數(shù)據(jù)庫一共采集了40個人不同時期的臉部圖像，每個人都包括有著不同程度變化的臉部表情和臉部細(xì)節(jié)的10幅圖像，同一個人在面部表情和面部細(xì)節(jié)上都有著或多或少的差異，每幅圖像的分辨率為112×92。

根據(jù)對SVD特征數(shù)據(jù)集的分類測試，同時為確保實驗的合理性和完整性，本實驗分為4組，具體內(nèi)容與實驗步驟如下：

實驗1：隨機(jī)抽取人臉數(shù)據(jù)庫中的一組人臉中一半數(shù)量的圖像(5幅)作為訓(xùn)練數(shù)據(jù)，然后再用同樣的人臉圖像(5幅)作為測試數(shù)據(jù)，識別準(zhǔn)確率為100%。

圖2　ORL數(shù)據(jù)庫中某個人臉圖像

實驗2：隨機(jī)抽取人臉數(shù)據(jù)庫中的一組人臉中一半數(shù)量的圖像(5幅)作為訓(xùn)練數(shù)據(jù)，然后用同組人臉中另外一半人臉圖像(5幅)作為測試數(shù)據(jù)，識別準(zhǔn)確率為80%。

實驗3：隨機(jī)抽取人臉圖像數(shù)據(jù)庫中任意10組，每組選擇一幅圖像，將此10幅圖像同時作為訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)，識別準(zhǔn)確率為100%。

實驗4：隨機(jī)抽取人臉圖像數(shù)據(jù)庫中任意10組，每組選擇一幅圖像作為訓(xùn)練數(shù)據(jù)，然后再在上述10組中各抽取一幅與訓(xùn)練數(shù)據(jù)不同的圖像作為測試數(shù)據(jù)，識別準(zhǔn)確率為70%。

4　結(jié)語

本文首先介紹了支持向量機(jī)和最小二乘支持向量機(jī)的基本思想和數(shù)學(xué)模型，推導(dǎo)了最小二乘支持向量機(jī)的算法步驟，接著介紹了基于LS-SVM的多類分類方法，設(shè)計了基于LS-SVM的人臉識別算法。最后，在以上理論和算法基礎(chǔ)之上，使用Matlab以及LS-SVM工具箱基于ORL人臉數(shù)據(jù)庫進(jìn)行了實驗仿真，對實驗結(jié)果進(jìn)行分析表明基于最小二乘支持向量機(jī)的算法可以對人臉圖像的代數(shù)特征進(jìn)行有效分類，對解決小樣本分類問題是有效的、可行的。

[1] 徐靜妹，李雷.基于稀疏表示和支持向量機(jī)的人臉識別算法[J].計算機(jī)技術(shù)與發(fā)展，2018,28(2):59-63.

[2] 何晨光，賀思德，董志民.最小二乘支持向量機(jī)在人臉識別中的應(yīng)用[J].云南大學(xué)學(xué)報:自然科學(xué)版，2008，30(3):239-245.

[3] 田海軍.基于支持向量機(jī)的人臉識別技術(shù)研究與實現(xiàn)[D].長沙：國防科學(xué)技術(shù)大學(xué)，2009.

[4] 王玉德，張學(xué)志，封玲娟.基于支持向量機(jī)的人臉識別算法研究[J].科學(xué)技術(shù)與工程，2011，11(34):8624-8626.

[5] Pelckmans K，Suykens J A K，Van Gestel T，et al.LS-SVMlab Toolbox User’s Guide[J/OL].[2018-01-20].http://www.esat.kuleuven.ac.be/sista/LS-SVMlab.

[6] 李方方，趙英凱，顏昕.基于Matlab的最小二乘支持向量機(jī)的工具箱及其應(yīng)用[J].計算機(jī)應(yīng)用，2006，26(12):358-360.

[7] 張學(xué)工.關(guān)于統(tǒng)計學(xué)習(xí)理論與支持向量機(jī)[J].自動化學(xué)報，2000(1):32-42.

[8] 劉遵雄，馬汝成.基于特征臉和LS-SVM分類器的人臉性別分類[J].華東交通大學(xué)學(xué)報，2007，24(5):85-88.

[9] 朱家元，陳開陶，張恒喜.最小二乘支持向量機(jī)算法研究[J].計算機(jī)科學(xué)，2003，30(7):157-159.

[10] 劉靜.基于小波分析的支持向量機(jī)車牌識別技術(shù)研究與實現(xiàn)[D].西安：西北大學(xué)，2010.