基于隱馬爾可夫模型的人臉特征標(biāo)注和識別

安曉寧 王智文 張燦龍 庚佳穎 李秋玲

摘要：傳統(tǒng)的基于隱馬爾可夫模型的人臉識別方法需要對原始人臉圖像進(jìn)行光照補(bǔ)償、人臉旋轉(zhuǎn)等預(yù)處理，而且模型對人臉姿勢、表情、局部特征變化等非常敏感，為解決此問題，提出一種基于高斯隱馬爾可夫模型的人臉特征標(biāo)注方法，該方法假定人臉圖像中人臉和人臉特征兩個區(qū)域的灰度值服從兩個不同的高斯分布，并將這兩個分布作為隱馬爾可夫模型的狀態(tài)集合，同時，將灰度人臉圖像轉(zhuǎn)換為一維的灰度值序列作為觀測序列，通過模型預(yù)測狀態(tài)序列以實現(xiàn)人臉特征的標(biāo)注和定位，并基于該模型建立人臉數(shù)據(jù)庫，對未知人臉進(jìn)行識別，在ORL人臉庫和自建人臉庫的測試中，均取得較高的標(biāo)注準(zhǔn)確率和識別準(zhǔn)確率，

關(guān)鍵詞：高斯隱馬爾可夫模型;特征標(biāo)注;人臉識別;ORL人臉庫;自建人臉庫

中圖分類號：TP391.4DOI：10.16375/j.cnki，cn45-1395/t，2020.02.017

0引言

人臉識別是人工智能和計算機(jī)視覺的重要應(yīng)用領(lǐng)域之一，目前人臉識別技術(shù)己經(jīng)被廣泛應(yīng)用于公共交通、移動支付、智能監(jiān)控、身份驗證等方面，人臉識別由人臉檢測和人臉識別兩個過程組成，其中人臉檢測是指檢測采集圖像中是否含有人臉并檢測人臉范圍;人臉識別是指在人臉檢測的基礎(chǔ)上根據(jù)提取到的人臉圖像，標(biāo)記和提取人臉的面部特征，并與人臉庫中人臉數(shù)據(jù)進(jìn)行匹配以認(rèn)定身份;而人臉識別中較為關(guān)鍵的一步是人臉特征提取，近年來人臉特征提取的方法不斷被提出，主要有samaria等提出基于隱馬爾可夫模型的人臉識別方法，該方法能夠自動分割人臉圖像并提取人臉特征進(jìn)行識別;Li等提出了基于主成分分析和線性判別分析的組合特征提取方法，主成分分析（PCA）用于特征提取和降維，線性判別分析（LDA）用于進(jìn)一步改善子空間中樣本的可分離性并提取LDA特征;Rotation等提出局部二值模式（LBP）算法，該方法是一種衡量中心像素與周圍像素關(guān)系的紋理特征提取算法;還有基于中心對稱梯度幅值相位模式的單樣本人臉識別算法Gabor濾波、卷積神經(jīng)網(wǎng)絡(luò)等，這些算法在人臉特征提取上都取得了較好的效果，但是這些算法也存在對光照、姿勢、表情等敏感、訓(xùn)練時間長、識別速度慢等缺點，本文使用的基于圖像灰度值的高斯隱馬爾可夫模型對測試人臉圖像的姿勢、表情等不敏感，而且該模型訓(xùn)練時間短、計算量小，不需要大量的訓(xùn)練數(shù)據(jù)便可以達(dá)到較高的標(biāo)注精度。

1隱馬爾可夫模型簡介

1.1隱馬爾可夫模型基本概念

隱馬爾可夫模型是關(guān)于時序的概率模型，描述由一個隱藏的馬爾可夫鏈隨機(jī)生成不可觀測的狀態(tài)序列，再由各個狀態(tài)生成一個可觀測隨機(jī)序列的過程，其中由馬爾可夫鏈隨機(jī)生成的狀態(tài)變量的序列稱為狀態(tài)序列，表示為I={i1.i2.i3.…};其中T為狀態(tài)序列長度，i1.i2.i3…，ir分別表示每一個時刻的狀態(tài)變量，由每個狀態(tài)生成的一個觀測變量所組成的序列稱為觀測序列，表示為O={o1.o2.o3…oT}，其中，T為觀測序列長度，o1.o2.o3…，oT分別表示每一個時刻的觀測變量，在隱馬爾可夫模型中，系統(tǒng)通常在多個狀態(tài)之間轉(zhuǎn)移，因此，狀態(tài)變量是離散型的，狀態(tài)集合表示為Q={q1.q2.q3…gN}，N表示可能狀態(tài)數(shù);觀測變量可以是離散的，也可以是連續(xù)的，但本文所建立的高斯隱馬爾可夫模型的觀測變量是連續(xù)的。

隱馬爾可夫模型是一種典型的有向圖模型，其圖結(jié)構(gòu)如圖1所示，其中箭頭表示變量間的依賴關(guān)系，根據(jù)齊次馬爾可夫性假定和觀測獨立性假定，觀測變量的取值只依賴于該時刻的狀態(tài)變量，即對于觀測序列中間某一時刻t的觀測變量ot由其對應(yīng)時刻t的狀態(tài)序列的狀態(tài)變量it決定，與其他狀態(tài)變量和觀測變量無關(guān);系統(tǒng)的下一時刻狀態(tài)僅由當(dāng)前時刻狀態(tài)決定，即it僅依賴于it-1.

一個隱馬爾可夫模型由初始概率分布、狀態(tài)轉(zhuǎn)移概率分布和觀測概率分布這3個要素確定，狀態(tài)轉(zhuǎn)移概率矩陣與初始概率向量確定了隱藏的馬爾科夫鏈，生成不可觀測的狀態(tài)序列;觀測概率矩陣和狀態(tài)序列確定了可觀測的觀測序列。

A是狀態(tài)轉(zhuǎn)移概率矩陣，表示為：

3）解碼問題，即己知模型參數(shù)λ=（A，B，π）和觀測序列D={o1.o2.o3.…，oT}，求對給定觀測序列條件概率P（D λ）最大的狀態(tài)序列，該問題使用Viterbi算法解決，

2基于高斯隱馬爾可夫模型的人臉識別

2.1人臉特征標(biāo)注算法

人臉特征提取是在己經(jīng)通過人臉檢測獲取的人臉圖像上進(jìn)行的，對于一張灰度人臉圖像，其不同部位的灰度值有很大的區(qū)別，如臉部的灰度值的均值一般大于眉毛、眼睛等部位的灰度值均值，而眼睛、鼻子、嘴巴等部位的灰度值均值相對來說更為接近，這樣就可以通過灰度值的差別將臉部特征從人臉圖像中分離出來;另一方面，對于一張簡單的正面人臉圖像，其特征分布在垂直方向固定，從上到下依次為眉毛、眼睛、鼻子、嘴巴由于人臉圖像為二維數(shù)據(jù)，需要將二維數(shù)據(jù)轉(zhuǎn)換為一維數(shù)據(jù)，作為模型的觀測序列，考慮到人臉特征分布的穩(wěn)定性，可將一張圖像灰度值矩陣的每一行從上至下依次首位串聯(lián)起來，組成一維序列，如圖2所示，這種方法不會改變特征的分布，而且實現(xiàn)了數(shù)據(jù)降維。

人臉圖像可以分為兩個明顯區(qū)域，一個是人臉，另一個是人臉特征，包括眉毛、眼睛、鼻子、嘴巴等部位，在人臉灰度圖像中，兩個區(qū)域亮度存在明顯的差別，而且每個區(qū)域的灰度值會分別集中在某一個數(shù)附近，也就是該區(qū)域灰度值均值，因此，假定每個區(qū)域的灰度值服從某一個高斯分布，這兩個區(qū)域也即這兩個高斯分布為隱馬爾可夫模型中的兩個狀態(tài)，分別生成不同部位的灰度值。

基于這種思想，以人臉灰度圖像的灰度值序列作為觀測序列，以兩個高斯分布作為狀態(tài)集合構(gòu)建一個高斯隱馬爾可夫模型，通過Viterbi算法推斷觀測序列的狀態(tài)序列，以狀態(tài)序列還原原始圖片，若某一像素點來自第一個狀態(tài)即第一個高斯分布，那么該像素點的灰度值設(shè)定為0.若某一像素點來自第二個狀態(tài)即第二個高斯分布，那么該像素點的灰度值設(shè)定為255.這樣就把狀態(tài)序列替換為0和255兩個數(shù)，根據(jù)狀態(tài)序列還原原始圖片，這兩個狀態(tài)即可以標(biāo)記人臉和人臉面部特征，并可以通過0和255兩個值定位人臉面部特征在圖像中的位置，也可以通過狀態(tài)轉(zhuǎn)移確定特征的邊界。

在正常光照的情況下，每張人臉灰度圖像人臉和面部特征的灰度值都存在著較大的差距，因此，只使用一張人臉圖像作為訓(xùn)練集來訓(xùn)練模型，使用此模型去標(biāo)記測試集的人臉圖像，為了排除圖片像素對模型的影響，使用同樣為92x 112像素的圖像作為模型的訓(xùn)練集和測試集，具體算法流程如圖3所示，

2.2人臉識別算法

為了將人臉識別出來，必須提前建立人臉數(shù)據(jù)庫，即將每個人的一張或多張人臉圖像作為訓(xùn)練數(shù)據(jù)訓(xùn)練模型，并將模型參數(shù)λ=（A，B，π）保存，即形成人臉的統(tǒng)計模型，人臉圖像訓(xùn)練完成意味著人臉庫已經(jīng)建好，對于要識別的人臉圖像，如圖2所示，首先將像素矩陣轉(zhuǎn)換為一維數(shù)據(jù)作為觀測序列，然后通過前向算法或者后向算法分別計算在不同人臉模型下的條件概率P（O λi），取最大概率值所對應(yīng)的人臉模型作為匹配人臉。

2.3實驗結(jié)果分析

傳統(tǒng)人臉識別算法會受到人臉表情、姿勢、位置、光照、遮擋物等因素影響，因此，實驗分別對正面人臉圖像、不同表情、不同姿勢等情景下的人臉圖像進(jìn)行標(biāo)注，驗證算法的有效性，部分標(biāo)注結(jié)果如圖4所示，人臉識別系統(tǒng)基于Python編寫，在64位Windows10系統(tǒng)運(yùn)行，算法使用ORL人臉數(shù)據(jù)庫進(jìn)行驗證，ORL數(shù)據(jù)庫共有400張人臉圖像，包含40個人的不同角度、光照、表情，每個人對應(yīng)10張圖像，每張圖像的大小為92×112.使用一張正面人臉圖像訓(xùn)練模型，分別對不同人臉進(jìn)行標(biāo)注，其中模型訓(xùn)練用時0.22s。

為了測試算法在均勻光照下的對正面人臉標(biāo)注準(zhǔn)確率，實驗從ORL人臉庫中選取40張光照均勻的正面人臉圖像，其中一張作為訓(xùn)練數(shù)據(jù)訓(xùn)練一個模型（見圖5），并保存模型參數(shù)，其他圖像作為測試數(shù)據(jù)，實驗結(jié)果顯示，在40個不同人的正面人臉圖像中，標(biāo)注正確的圖像有35張，部分標(biāo)注結(jié)果如圖6所示;錯誤標(biāo)注或標(biāo)注不清的圖像有5張（見圖7），算法測試的準(zhǔn)確率為89.5%。

從ORL人臉庫中選取62張光照均勻的側(cè)臉圖像和不同表情的人臉圖像，以測試人臉姿勢對標(biāo)注算法的影響，實驗結(jié)果顯示，在62張圖像中，標(biāo)注正確的圖像有56張，部分標(biāo)注結(jié)果如圖8所示;標(biāo)注錯誤或標(biāo)注不清圖像有6張（見圖9），算法測試的標(biāo)注準(zhǔn)確率為90.32%，相比于正面人臉圖像標(biāo)注準(zhǔn)確率來說，人臉的姿勢和表情并不會對標(biāo)注算法產(chǎn)生很大的影響。

驗證人臉識別算法，需要建立人臉數(shù)據(jù)庫，人臉數(shù)據(jù)庫的建立就是使用不同的人臉圖像去訓(xùn)練模型，建立不同的人臉統(tǒng)計模型，本實驗使用ORL人臉庫，首先，將每個人的前5張圖像作為訓(xùn)練數(shù)據(jù)訓(xùn)練模型，建立一個包含200個人臉模型的人臉庫，使用每個人的最后一張圖像組成一個包含40張圖像的測試數(shù)據(jù)進(jìn)行人臉識別測試，然后，逐次增加訓(xùn)練數(shù)據(jù)，即依次將每個人的前6張、7張、8張、9張圖像作為訓(xùn)練數(shù)據(jù)分別建立人臉模型的人臉庫，將每個人的最后一張圖像作為測試數(shù)據(jù)，該測試集包含40個人臉圖像，其中每張圖像訓(xùn)練平均用時0.3629s。

首先使用包含200個人臉模型的人臉庫進(jìn)行測試，測試集40個人臉中，正確識別32張，錯誤識別8張，人臉識別算法的識別準(zhǔn)確率為80%;當(dāng)增加人臉庫中人臉模型，使用包含360個人臉模型的人臉庫進(jìn)行測試時，40個人臉圖像中識別正確37張，識別錯誤3張，算法的識別準(zhǔn)確率為92.5%（見表1），增加人臉庫使得算法的識別準(zhǔn)確率有了顯著的提高。

2.4自建人臉庫測試

為了驗證算法在實際應(yīng)用中的可行性，建立了包含10個人共計100張人臉圖像的人臉庫，采集其中每個人在光照均勻條件下的不同角度、不同姿勢的10張圖像，每張圖像是大小為112×112的灰度圖像，首先，使用一張人臉圖像訓(xùn)練模型（見圖10），模型參數(shù)如圖11和表2所示，使用訓(xùn)練好的模型并對自建人臉庫的部分人臉數(shù)據(jù)進(jìn)行標(biāo)注，測試標(biāo)注算法實際應(yīng)用中的效果，其標(biāo)注結(jié)果如圖12所示，其次，實驗將每個人的前6張不同角度的、不同姿勢的人臉圖像作為訓(xùn)練數(shù)據(jù)，后4張作為測試數(shù)據(jù)進(jìn)行人臉識別，并依次增加訓(xùn)練數(shù)據(jù)，測試不同訓(xùn)練集規(guī)模下人臉識別的準(zhǔn)確率（見表3），部分示例如表4所示。

2.5實驗對比

實驗使用自建人臉庫對比基于奇異值分解的隱馬爾可夫模型和高斯隱馬爾可夫模型在實際人臉識別中的應(yīng)用效果，實驗結(jié)果顯示，若每個人的前9張作為訓(xùn)練集，最后1張作為測試集時，兩個算法識別的準(zhǔn)確率都為100%;但是，當(dāng)訓(xùn)練數(shù)據(jù)較少時，高斯隱馬爾可夫模型具有較高的識別準(zhǔn)確率，故在同等條件下基于高斯隱馬爾科夫模型的識別效果優(yōu)于基于奇異值的隱馬爾科夫模型，具體的實驗結(jié)果如表5所示。

3總結(jié)

本文利用高斯隱馬爾可夫模型對人臉進(jìn)行特征標(biāo)注和識別，并在ORL人臉庫測試中都取得了較好的效果，該模型不需要大量的訓(xùn)練數(shù)據(jù)，便能夠有效地對人臉特征進(jìn)行標(biāo)注和提取，兼具訓(xùn)練時間短、標(biāo)注和識別速度快、準(zhǔn)確率高等特性;同時該模型對人臉的姿勢、表情、局部特征變化有較強(qiáng)的魯棒性，在真實的自建人臉庫測試中，該模型能快速有效地對人臉圖像進(jìn)行標(biāo)注和識別;在同等條件下該模型的識別準(zhǔn)確率比基于奇異值的隱馬爾可夫模型更高，總體來說，該模型符合工程應(yīng)用的要求，可以應(yīng)用于真實場景下的離線人臉識別。