基于進化策略的多模態(tài)生物特征融合識別研究

陳 俊, 趙子愷, 朱梁俊

(中國計量大學(xué) 機電工程學(xué)院, 杭州310018)

0 引 言

近些年來,傳統(tǒng)的單模態(tài)生物特征識別技術(shù)的應(yīng)用非常廣泛,例如人臉識別、虹膜識別、掌紋識別等,但僅靠單模態(tài)的生物特征識別技術(shù),不能滿足日益提高的安全性等要求［1］。 而多模態(tài)融合技術(shù)是將同一個生物的不同生物特征按照某種算法進行融合,具有更強的區(qū)分性和安全性,可以做出準(zhǔn)確度更高的識別［2］。 1998 年,Hong 等人［3］首次嘗試將指紋和人臉的生物特征融合規(guī)則融合成一個整體進行識別,識別精度有了很大幅度的提高。 Jain 等人［4］提出了基于指紋、人臉和手型的多生物特征識別技術(shù)。 Jing 等人［5］首次嘗試了基于人臉和掌紋圖像的融合識別技術(shù)。

本文選擇人臉和掌紋兩種生物特征進行融合。首先,這兩個特征具有唯一性,每個人的特征都有所不同；其次,在被采集和識別的過程中,對用戶都沒有隱私性,更加容易被接受。 同時,兩個特征可以采用相同的采集裝置,例如一個普通攝像機就可以實現(xiàn)人臉和掌紋特征的采集,成本較低。 在特征融合方面,采用在決策層使用改進的線性加權(quán)的方法將各分類器的識別結(jié)果融合,得出最終的識別結(jié)果。

1 識別算法

1.1 生物特征提取

在圖像處理和模式識別領(lǐng)域中,主成分分析(principal component analysis, PCA),又稱為K-L 變換,被認(rèn)為是最成功的線性鑒別分析方法之一［6］。 因為用攝像頭采集到的人臉和掌紋特征都是基于圖像的提取,所以對這兩個生物特征都利用PCA 來進行降維處理,完成生物特征提取,供后續(xù)比對識別［7-8］。

首先將一幅M*N 的人臉或掌紋圖像變換成一個大小為M*N 維的列向量。 假設(shè)我們的訓(xùn)練圖像庫中有n 個訓(xùn)練樣本,xi為第i 個圖像形成的圖像向量,則測試樣本的協(xié)方差矩陣為公式(1)：

由K-L 變換原理可知,新的特征空間坐標(biāo)系由協(xié)方差矩陣Sr的非零特征值對應(yīng)的特征向量所組成。 假設(shè)協(xié)方差矩陣Sr的秩為R,特征值為λ1, λ2,…,λR(λ1≥λ2≥…≥λR),對應(yīng)的特征向量分別為ω1,ω2,…,ωR。 如果直接使用所有的特征向量來構(gòu)建特征空間,會導(dǎo)致計算過于復(fù)雜,影響系統(tǒng)運行速度,所以只要選擇包含信息量較大的特征向量來構(gòu)建即可。 本文選擇前m(m ＜＜R) 個較大的特征值對應(yīng)的特征向量來構(gòu)建新的投影矩陣Wm= ［ω1,ω2,…,ωm］,來完成數(shù)據(jù)降維。 通過計算信息量的方法來確定m 的大小,保證剩余的特征向量所包含的信息大于一定的閾值e。 一般e 為85%到95%之間。 計算公式(3)：

得出了的投影矩陣Wm后,將訓(xùn)練樣本向量與平均圖像向量的差值矢量投影到新構(gòu)建的特征空間上,計算公式(4)：

識別某張人臉或掌紋時,首先將人臉或掌紋圖像μ 投影到已構(gòu)建的特征空間,得到待識別的圖像的特征向量,計算公式(5)。 再根據(jù)投影后的特征向量進行分類。

1.2 最近鄰分類器分類

利用PCA 從原始圖像提取出特征向量后,再利用最近鄰分類器進行分類,即待測人臉特征向量ΩT與每類訓(xùn)練樣本的均值向量的歐式距離來進行分類,距離越小,置信度越高。 由于后續(xù)需要進行各生物特征分類結(jié)果的融合操作,傳統(tǒng)的最近鄰分類器輸出的結(jié)果無法進行運算。 因此進行了如下改進：將歐式距離轉(zhuǎn)換為后驗概率,對人臉特征和掌紋特征分別計算出識別類別的后驗概率,進行加權(quán)融合操作,再根據(jù)Bayes 判決規(guī)則,后驗概率最大的樣本分類即為最終的判決結(jié)果。

假設(shè)訓(xùn)練樣本庫中共有M類,每類有N張訓(xùn)練圖片。 首先計算訓(xùn)練樣本庫中每類訓(xùn)練樣本的特征向量的均值向量,公式(6)：

再計算待測圖像的特征向量與上述每類的均值向量的歐式距離dk,公式(7)：

根據(jù)文獻［9］提出的后驗概率的估計公式(8)將歐式距離轉(zhuǎn)換成后驗概率。

后驗概率即待測圖像屬于第k 類的置信度。

經(jīng)過上述運算,可以得出對單個生物特征進行驗證的置信度。 而后將對上述計算的結(jié)果進行線性加權(quán)融合,得出最終的識別結(jié)果。

2 基于進化策略的融合算法

2.1 進化策略簡介

進化策略是一種模擬自然進化過程搜索最優(yōu)解的方法,其在使用過程中無需依賴于問題的具體領(lǐng)域,并且不受目標(biāo)函數(shù)形式的約束［10-11］。 進化策略和神經(jīng)網(wǎng)絡(luò)方法相比,計算量小,訓(xùn)練時間短。 和遺傳算法相比,有很多方面(如編碼,幾個函數(shù)的選取)的靈活性。 因此利用進化策略對權(quán)值參數(shù)進行自適應(yīng)調(diào)整,可以提高識別的準(zhǔn)確性和環(huán)境適應(yīng)性。 適應(yīng)度越高的個體獲得保留下來進行下一次循環(huán)機會的幾率就越大［12］。 通過循環(huán),種群中的個體將一直向著適應(yīng)度越來越高的方向進化繁殖,直到達到終止條件,獲取到滿足條件的最優(yōu)解。

2.2 進化策略在多生物特征融合中的應(yīng)用

采用線性加權(quán)的方法在決策層對多生物特征的識別結(jié)果進行融合,輸出最終的結(jié)果,但權(quán)值選取的合適與否對結(jié)果的準(zhǔn)確性有著巨大的影響。 現(xiàn)有的線性加權(quán)法一般的權(quán)值選取都是固定的,在識別環(huán)境發(fā)生變化或者某種生物特征信息不夠準(zhǔn)確的情況下,識別結(jié)果的準(zhǔn)確性會受到很大的限制。 因此采用進化策略的方法,根據(jù)反饋訓(xùn)練來權(quán)值參數(shù),使權(quán)值達到最適應(yīng)識別條件的狀態(tài)。

首先,要確定種群中每個個體的表達方式。 因為有人臉和掌紋兩種生物特征,所以每個個體選用2*1 的向量來表示。 向量中的兩個值分別代表人臉和掌紋作為識別特征進行分類的分類器的權(quán)值,這兩個權(quán)值都在0 到1 之間并且和為1。 設(shè)定初始種群中有K 個個體。 這K 個個體中第一個的權(quán)值都是0 到1 之間的隨機數(shù),后一個權(quán)值通過1 減去第一個權(quán)值得出。 這樣就得到了初代種群R0。

其次,是適應(yīng)度函數(shù)的選取。 系統(tǒng)最終要做到通過人臉和掌紋兩種生物特征進行準(zhǔn)確識別出對應(yīng)的人,所以采用在訓(xùn)練集合上的準(zhǔn)確率作為適應(yīng)度函數(shù)。 例如對于某個個體mi,ni的適應(yīng)度Fi,從訓(xùn)練集合中的每一類中取出N 個樣本作為測試樣本,用mi和ni作為分類器權(quán)值,對測試樣本進行分類,統(tǒng)計分類結(jié)果的準(zhǔn)確率作為適應(yīng)度。

最后,需要通過重組和變異從初始種群中產(chǎn)生新的子代。 重組算子采用中值重組的方法。 從父代中隨機取M 對個體,例如：(mp,np)、(mq,nq),則經(jīng)過重組產(chǎn)生新的個體((mp＋mq)／2,(np＋nq)／2)。 接下來是變異過程,在重組產(chǎn)生的新個體加上父代種群中再隨機取多個個體執(zhí)行變異,對取出來的個體的第一個權(quán)值加上一個-0.1 到＋0.1 之間的隨機數(shù),第二個權(quán)值加上第一個權(quán)值加的值的相反數(shù),保證權(quán)值的和為1,這樣就完成了重組和變異的過程,產(chǎn)生了新的個體。 將新產(chǎn)生的個體和父代種群放到一起,對每個個體計算適應(yīng)度,按照適應(yīng)度大小進行排序,保留適應(yīng)度較高的K 個個體作為新的一代,繼續(xù)進行重組和變異的過程,直至達到需要達到的準(zhǔn)確率或達到設(shè)定的循環(huán)次數(shù)。 上述算法的時間復(fù)雜度為O(n2)。通過進化策略算法的迭代,達到最優(yōu)的權(quán)值(me,ne)后,對人臉和掌紋特征通過最近鄰分類器輸出的置信度進行線性加權(quán)融合,得到最終的結(jié)果,即樣本T屬于類別k 的置信度為：

其中, me,ne分別為人臉和掌紋對應(yīng)的權(quán)值,Pf(T ∈k) 和Pp(T ∈k) 分別為通過人臉特征和掌紋特征的比對輸出的樣本T 屬于k 的置信度。

假設(shè)置信度閾值為0.8。若測試樣本T屬于類別k 的置信度超過0.8,則我們認(rèn)為樣本T 屬于k。

3 實驗結(jié)果與分析

為了測試本方法在實現(xiàn)身份驗證中的性能,采用ORL 人臉數(shù)據(jù)庫和香港理工大學(xué)的掌紋公開庫(PolyU Palmprint database) 進行融合識別實驗。ORL 人臉庫包含40 人,共400 張面部圖像。 ORL人臉數(shù)據(jù)庫中一個采集對象的全部樣本庫中,每個采集對象包含10 幅經(jīng)過歸一化處理的灰度圖像,圖像尺寸均為92×112,圖像背景為黑色。 采集對象的面部表情和細(xì)節(jié)均有變化,所以可以比較好的作為測試集和訓(xùn)練集,部分圖片見圖1。 香港理工大學(xué)掌紋公開庫是掌紋識別領(lǐng)域里廣泛使用的基準(zhǔn)數(shù)據(jù)庫,部分圖片見圖2。 從掌紋公開庫中也取40 人,每人6 幅掌紋圖像與ORL 人臉庫中40 個人的6 幅人臉圖像進行綁定,作為測試集合和訓(xùn)練集合。

選取40 人120 個記錄用于訓(xùn)練,通過訓(xùn)練得到生物特征融合函數(shù),即人臉和掌紋對應(yīng)的兩個最優(yōu)權(quán)值(me,ne)。 剩余的40 人120 個記錄用來測試。測試集合中,類間匹配的次數(shù)即匹配的總次數(shù)為120×119=14 280 次,類內(nèi)匹配的次數(shù)為3×2×40=240 次。 根據(jù)訓(xùn)練得出的權(quán)值對兩種特征進行融合,得出最終的置信度即匹配得分,利用設(shè)定的閾值來對最后融合得出的匹配得分進行判斷,得出最終的識別結(jié)果。 通過調(diào)整閾值可以得到多組實驗結(jié)果。 同時利用單生物特征即掌紋識別和人臉識別方法在上述測試集合中進行同樣的測試。

圖1 ORL 中的部分人臉樣本圖像Fig. 1 Some face image samples in ORL

圖2 香港理工大學(xué)掌紋公開庫中的部分樣本圖像Fig. 2 Some image samples in PolyU Paimprint database

圖3 是根據(jù)測試結(jié)果得出的受試者工作特征曲線,可以直觀的表達本文所提出的算法與其他單生物特征識別算法的表現(xiàn)對比。 表1 是本文的融合算法與單掌紋識別和單人臉識別算法的等錯誤率(Equal Error Rate,EER)對比。

圖3 融合算法與單生物特征方法的ROC 特性比較Fig. 3 Comparison of ROC characteristics between fusion algorithm and single biometric method

表1 融合算法與單生物特征方法的EER 比較Tab. 1 Comparison of EER between fusion algorithm and single biometric method

分析圖3 和表1 的結(jié)果可以看出,融合方法使得識別系統(tǒng)的等錯誤率下降至1.05%,較單人臉和單掌紋識別分別下降了0.88%和2.07%,表明多生物特征融合識別方法在識別性能上較單生物特征有明顯的提高。

4 結(jié)束語

利用融合算法對人臉和掌紋生物特征融合進行身份識別,可以提高身份識別的準(zhǔn)確性。 利用線性加權(quán)對人臉和掌紋的匹配得分進行融合時,利用進化策略的方法通過訓(xùn)練對權(quán)值進行自適應(yīng)調(diào)整相比于固定權(quán)值有更強的環(huán)境適應(yīng)性,可以有效提高系統(tǒng)的魯棒性和身份識別的準(zhǔn)確率。