利用特征距離信息引導(dǎo)決策融合的多模態(tài)生物特征識(shí)別方法

周晨怡，黃 靖*，楊 豐，劉婭琴

(1.南方醫(yī)科大學(xué)生物醫(yī)學(xué)工程學(xué)院，廣州 510515；2.廣東省醫(yī)學(xué)圖像處理重點(diǎn)實(shí)驗(yàn)室(南方醫(yī)科大學(xué))，廣州 510515)

隨著互聯(lián)網(wǎng)應(yīng)用的普及，人們?cè)谠絹?lái)越依賴互聯(lián)網(wǎng)的同時(shí)，信息安全也面臨著較大的風(fēng)險(xiǎn)。為了保證個(gè)人隱私信息的安全性，除了用戶要提高個(gè)人信息保護(hù)意識(shí)以外，基于生物特征識(shí)別的身份驗(yàn)證技術(shù)也亟待提升。單一模態(tài)的生物特征識(shí)別技術(shù)由于易受噪聲污染[1]且復(fù)制和偽造難度低[2]，無(wú)論是在識(shí)別率還是穩(wěn)定性上都不能達(dá)到完美的結(jié)果[3]。因此研究者們針對(duì)以上缺點(diǎn)提出了多模態(tài)生物特征識(shí)別技術(shù)，通過(guò)融合面部、指紋、掌紋、聲音和虹膜等[4]多種特征來(lái)提高生物特征識(shí)別的穩(wěn)定性、準(zhǔn)確性和不可偽造性[5]。

生物特征識(shí)別系統(tǒng)分為圖像采集、特征提取、特征匹配以及分類決策四個(gè)階段。根據(jù)融合的階段不同，多模態(tài)生物特征融合方法可分為四類，即傳感器層融合[6]、特征層融合[7-8]、分?jǐn)?shù)層融合[9-10]以及決策層融合[11-12]。傳感器層融合是將多個(gè)采集器采集到的數(shù)據(jù)進(jìn)行拼接，因此對(duì)采集裝置的要求較高。特征層融合是指將多個(gè)模態(tài)的特征向量進(jìn)行融合，從而使融合后的特征向量具有比單模態(tài)更強(qiáng)的識(shí)別能力[12]。分?jǐn)?shù)層融合是指在識(shí)別過(guò)程中生成一個(gè)多模態(tài)匹配分?jǐn)?shù)[13]，并對(duì)其使用歸一化等方式提高匹配精度。決策級(jí)融合則是將多個(gè)分類器的分類結(jié)果融合得出最終決策[14]。其中，特征層融合作為信息量最多的融合層，理論上能夠取得最佳的識(shí)別效果[4]，但是由于異質(zhì)特征融合過(guò)程中會(huì)存在不同生物特征難以兼容的問(wèn)題，在特征層融合的難度較大[15]，常見(jiàn)的特征層融合方法有典型相關(guān)分析法(canonical correlation analysis, CCA)[16-17]以及判別相關(guān)分析法(discriminant correlation analysis, DCA)[12]等。

決策層作為高層次的融合，它所需處理的數(shù)據(jù)量相比起其他層次小，通信量小，抗干擾性較強(qiáng)[18]。Kittler等[19]提出使用簡(jiǎn)單的邏輯“與”“或”運(yùn)算，即AND規(guī)則和OR規(guī)則進(jìn)行融合。但是由于決策層融合所涉及的信息量過(guò)小，提升的程度有限，因此雖然其簡(jiǎn)單可行，但是在處理中會(huì)忽略特征之間的內(nèi)在聯(lián)系。Sinha等[20]提出使用加權(quán)投票進(jìn)行表決，即在各個(gè)分類器相同權(quán)重的情況下，以“少數(shù)服從多數(shù)”的方式得出最終決策。為了進(jìn)一步提高準(zhǔn)確性。Pinar等[21]使用模糊決策進(jìn)行決策層融合，即應(yīng)用模糊集合論把不易量化的因素和信息進(jìn)行量化處理，再通過(guò)模糊集合的數(shù)學(xué)運(yùn)算，變非定量決策為定量決策。但是以上的方法只是針對(duì)決策層的少量信息進(jìn)行融合，受各模態(tài)分類性能差異和外部噪聲等因素影響較大。

為了彌補(bǔ)決策層信息不足的缺點(diǎn)，提出一種基于特征信息引導(dǎo)的決策層融合方法，應(yīng)用于虹膜、手指靜脈和手掌靜脈三種模態(tài)的身份識(shí)別。利用特征距離的分布信息對(duì)決策融合進(jìn)行引導(dǎo)，同時(shí)增加分類器分類性能參數(shù)作為決定置信度的另一個(gè)主要因素，不僅在特征層面上，更在分類性能的層面上對(duì)置信度進(jìn)行定量的描述，從而完善本文提出的多模態(tài)生物特征識(shí)別系統(tǒng)，同時(shí)達(dá)到識(shí)別精度和抗干擾能力的提升。

1 單模態(tài)生物特征

為了提高身份認(rèn)證的安全性，使用虹膜、手指靜脈和手掌靜脈三種單模態(tài)特征進(jìn)行融合。靜脈識(shí)別由于其活體識(shí)別和不外顯的特點(diǎn)[22]，能夠提高識(shí)別系統(tǒng)的安全性。同時(shí)，三種模態(tài)在特征上相互獨(dú)立且互補(bǔ)[23]，使入侵者很難同時(shí)偽造用戶的多組生物特征[24]。針對(duì)不同模態(tài)特征，下面將根據(jù)各模態(tài)生物特征的特性進(jìn)行預(yù)處理。

1.1 虹膜特征

虹膜為位于黑色瞳孔和白色鞏膜之間的環(huán)形可視區(qū)域，包含細(xì)絲、斑點(diǎn)、冠狀等豐富的紋理結(jié)構(gòu)。這些特征在嬰兒發(fā)育階段形成后，便具有終身不變性[25]，竊取和復(fù)制虹膜的難度大，因此虹膜識(shí)別方法的安全性較高。虹膜識(shí)別中，對(duì)虹膜圖像的預(yù)處理和虹膜區(qū)域的定位會(huì)影響其識(shí)別率。為了準(zhǔn)確地定位虹膜的內(nèi)外邊界，去除發(fā)絲和眼瞼的干擾，使用Canny算子檢測(cè)圖像邊緣，采用Hough變換定位瞳孔以及虹膜邊界[26]。

1.2 手指靜脈特征

手指靜脈不同于傳統(tǒng)的指紋，其中流動(dòng)中的血液可吸收特定波長(zhǎng)光線，形成清晰的靜脈圖像[27]。手指靜脈識(shí)別是根據(jù)手指有規(guī)則的定向排列的條狀靜脈紋路進(jìn)行身份識(shí)別，因此其擁有特征不外顯，不易于竊取的優(yōu)點(diǎn)[28]。在手指靜脈進(jìn)行識(shí)別之前，需要對(duì)其進(jìn)行預(yù)處理操作，對(duì)手指區(qū)域提取出感興趣區(qū)域(region of interest, ROI)，再經(jīng)過(guò)自適應(yīng)局部對(duì)比度增強(qiáng)[29]算法完成對(duì)手指靜脈圖像的預(yù)處理。

1.3 手掌靜脈特征

手掌靜脈與手指靜脈同為活體識(shí)別，包含靜脈多且重復(fù)概率低于指紋[22]，同樣了受到身份鑒別領(lǐng)域的青睞。由于手掌靜脈識(shí)別性能的高低很大程度上取決于手掌靜脈圖像的質(zhì)量[30]，因此采用文獻(xiàn)[31]的增強(qiáng)方法，對(duì)原始的手掌圖像進(jìn)行去掌紋的靜脈圖像增強(qiáng)處理。

1.4 特征識(shí)別過(guò)程

為了方便驗(yàn)證多模態(tài)生物特征識(shí)別方法的識(shí)別性能與抗干擾能力，對(duì)所有單模態(tài)生物特征采用主成分分析方法(principal component analysis, PCA)[31]進(jìn)行壓縮并提取特征，計(jì)算兩幅圖像之間的特征距離，將待測(cè)圖像按最近鄰分類法進(jìn)行分類，得識(shí)別結(jié)果。

2 基于特征信息引導(dǎo)決策融合的多模態(tài)生物特征識(shí)別方法

以虹膜、手指和手掌靜脈三種特征組成多模態(tài)生物特征識(shí)別系統(tǒng)，識(shí)別系統(tǒng)的框架如圖1所示。

2.1 決策融合的權(quán)重計(jì)算

2.1.1 特征距離的歸一化

為了豐富決策層的信息，利用特征層的距離信息輔助引導(dǎo)決策層融合，根據(jù)特征距離信息計(jì)算各模態(tài)的置信度，用置信度進(jìn)行權(quán)重判定，從而得出預(yù)測(cè)結(jié)果。

圖2 特征距離分布及量綱

根據(jù)文獻(xiàn)[9,32]研究分析，對(duì)于特征匹配距離來(lái)說(shuō)，真值距離(即識(shí)別正確的匹配距離)和假值距離(即識(shí)別錯(cuò)誤的匹配距離)分布的非重疊區(qū)域越大，則該模態(tài)的特征識(shí)別能力越強(qiáng)，越不容易識(shí)別錯(cuò)誤。

首先計(jì)算一個(gè)基于真值距離和假值距離之間的非重疊區(qū)域參數(shù)作為量綱：

γk=max(Imp,k)-μ(Imp,k)+μ(Gen,k)-min(Gen,k)

(1)

式(1)中，μ表示均值；Gen,k為真值距離集合；Imp,k為假值距離集合，對(duì)于三模態(tài)的生物特征識(shí)別系統(tǒng)來(lái)說(shuō)k=1,2,3。由式(1)可知，γk為圖2中的非重疊區(qū)域。γk越高，則說(shuō)明距離之間的區(qū)分度越高，分類能力越強(qiáng)?？紤]到重疊鄰域存在介于均值和極值之間的距離分?jǐn)?shù)，去除重疊鄰域使γk更體現(xiàn)距離的區(qū)分能力。

(2)

2.1.2 置信度及權(quán)重的計(jì)算

在識(shí)別系統(tǒng)中，拒識(shí)率(false rejection rate，F(xiàn)RR)是衡量系統(tǒng)分類性能的一個(gè)重要參數(shù)。拒識(shí)率是指系統(tǒng)將真正的合法個(gè)體拒絕，從而造成的出錯(cuò)概率，其值越低，系統(tǒng)的性能越好。在多模態(tài)識(shí)別過(guò)程中，模態(tài)間的分類性能差異會(huì)降低系統(tǒng)的識(shí)別精度。因此，將拒識(shí)率納入模態(tài)置信度的計(jì)算，有利于融合系統(tǒng)有效地提取分類能力的信息。根據(jù)特征距離信息以及拒識(shí)率，計(jì)算每個(gè)模態(tài)的置信度為

(3)

計(jì)算每個(gè)模態(tài)在決策層融合的權(quán)重為

(4)

模態(tài)權(quán)重值反映了各模態(tài)的子分類結(jié)果在決策中所處的地位，因此會(huì)直接影響到最終決策的質(zhì)量和效果。選擇融合系統(tǒng)的特征距離信息以及分類拒識(shí)率作為權(quán)重因子的兩個(gè)主要參數(shù)。權(quán)重因子越高，該模態(tài)的分類能力越強(qiáng)，對(duì)于最終決策的影響力越大。

2.2 決策層融合

在決策融合時(shí)，利用式(4)計(jì)算得出的權(quán)重因子作為子決策的權(quán)重得出最終決策H：

(5)

(6)

式中，Hk為每個(gè)子模態(tài)的識(shí)別結(jié)果;Cj為目標(biāo)類別。

本文所提出的基于特征信息引導(dǎo)的決策融合方法，通過(guò)計(jì)算每一模態(tài)匹配時(shí)的距離量綱[圖2和式(1)]獲得包含模態(tài)區(qū)分能力的特征距離信息。由于特征距離來(lái)自不同模態(tài)，其匹配距離所包含的信息不同，為非標(biāo)準(zhǔn)化的特征距離。本文的優(yōu)點(diǎn)在于不追求其標(biāo)準(zhǔn)化，而是通過(guò)提取特征距離在分布上的有效信息，加上系統(tǒng)的拒識(shí)率，得到該模態(tài)的置信度。將這個(gè)置信度通過(guò)數(shù)學(xué)映射得出權(quán)重，從而引導(dǎo)進(jìn)行決策級(jí)的融合。所提出的決策融合策略是根據(jù)數(shù)量龐大的統(tǒng)計(jì)結(jié)果和一定的學(xué)習(xí)方式，權(quán)衡對(duì)比匹配從而得出最終的決策結(jié)果。

3 實(shí)驗(yàn)結(jié)果與分析

由于目前暫無(wú)公開(kāi)的多模態(tài)生物特征數(shù)據(jù)庫(kù)，且研究[35]表明兩個(gè)個(gè)體之間生物特征在統(tǒng)計(jì)學(xué)上是獨(dú)立的，因此將三種模態(tài)數(shù)據(jù)庫(kù)進(jìn)行隨機(jī)的1對(duì)1匹配，組成一個(gè)虛擬的同源多模態(tài)數(shù)據(jù)集。數(shù)據(jù)庫(kù)中包括100位用戶，每位用戶分左右側(cè)各采集6個(gè)樣本。如圖3所示，每個(gè)樣本包括1幅虹膜、1幅手掌靜脈和3幅手指靜脈圖像。其中，虹膜圖像來(lái)自CASIA-IrisV4數(shù)據(jù)庫(kù)，分辨率為640×480；手掌靜脈圖像采用香港理工大學(xué)生物特征識(shí)別研究中心(PolyU_BRC)手掌靜脈數(shù)據(jù)庫(kù)中的ROI圖像，原始圖像大小為128×128的256色灰度圖像；手指靜脈圖像選取山東大學(xué)機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘?qū)嶒?yàn)室的SDUMLA-HMT手指靜脈數(shù)據(jù)庫(kù)，大小為320×240像素，包含了食指、中指以及無(wú)名指的手指靜脈。本文實(shí)驗(yàn)的測(cè)試環(huán)境為安裝了MATLAB軟件(版本:2015年)的臺(tái)式計(jì)算機(jī)，主機(jī)配置：CPU為Intel(R)Core(TM)i5-6500 @ 3.20 GHz，安裝內(nèi)存為8GBRAM。

圖3 多模態(tài)特征識(shí)別數(shù)據(jù)庫(kù)范例

為了驗(yàn)證本文提出的基于特征距離信息引導(dǎo)的決策層融合算法的有效性和魯棒性，共設(shè)計(jì)了4個(gè)實(shí)驗(yàn)：

實(shí)驗(yàn)1比較在不同的訓(xùn)練樣本數(shù)下，本文方法的識(shí)別時(shí)間和識(shí)別率。

實(shí)驗(yàn)2比較在不同模態(tài)的組合之下，多種決策融合方法的性能，驗(yàn)證本算法在不同的多模態(tài)系統(tǒng)下的有效性。

實(shí)驗(yàn)3為了驗(yàn)證本算法充分利用特征層等前項(xiàng)信息的假設(shè)，在系統(tǒng)增加特征融合，對(duì)多種決策融合方法的性能進(jìn)行比較。

實(shí)驗(yàn)4為了驗(yàn)證本識(shí)別系統(tǒng)在復(fù)雜情境下具有自適應(yīng)能力的假設(shè)，比較在PCA特征能量較低情況下，不同決策融合方法的性能優(yōu)劣。

3.1 實(shí)驗(yàn)1

在使用PCA算法壓縮多模態(tài)特征向量空間時(shí)，需要把數(shù)據(jù)庫(kù)中圖像分為訓(xùn)練集和測(cè)試集，并且訓(xùn)練集和測(cè)試集的比例會(huì)影響到最后的測(cè)試結(jié)果。為了選擇最佳的參數(shù)，實(shí)驗(yàn)通過(guò)改變每類訓(xùn)練樣本的個(gè)數(shù)(N=2,3,4,5)得到不同的識(shí)別率，其中類內(nèi)總數(shù)為6。在其他條件相同的情況下，比較不同訓(xùn)練樣本個(gè)數(shù)下多模態(tài)識(shí)別系統(tǒng)的識(shí)別率和識(shí)別時(shí)間，實(shí)驗(yàn)結(jié)果如表1所示。

表1 不同訓(xùn)練樣本個(gè)數(shù)下的識(shí)別時(shí)間和識(shí)別率比較

通過(guò)表1可以看出，隨著訓(xùn)練樣本個(gè)數(shù)的增加，多模態(tài)生物特征系統(tǒng)的識(shí)別率逐漸增長(zhǎng)，當(dāng)N≥3時(shí)，識(shí)別率已經(jīng)達(dá)到最優(yōu)，但識(shí)別時(shí)長(zhǎng)也逐漸增長(zhǎng)。因此選擇訓(xùn)練樣本數(shù)為3，既保證了識(shí)別的精度，又縮短了運(yùn)行時(shí)間。

3.2 實(shí)驗(yàn)2

根據(jù)實(shí)驗(yàn)1的結(jié)果，選擇每類訓(xùn)練樣本個(gè)數(shù)為3。為了驗(yàn)證本文提出的決策融合算法的有效性，分別選擇雙模態(tài)模式：虹膜和手掌靜脈，虹膜和手指靜脈，以及三模態(tài)模式：虹膜、手掌和手指靜脈進(jìn)行特征匹配，比較四種決策層融合算法的識(shí)別率。

從表2可以看出選擇AND規(guī)則的識(shí)別率在各模式下均為最低。除此之外，對(duì)于使用模糊決策和投票方法，增加模態(tài)后識(shí)別率確有提升，但無(wú)論是雙模態(tài)還是三模態(tài)下均低于本文提出的方法，說(shuō)明了在增加特征匹配的距離信息和分類性能作為決策權(quán)重指標(biāo)之后，系統(tǒng)識(shí)別效果提升。

表2 不同模態(tài)下各種決策融合方法的識(shí)別率對(duì)比

3.3 實(shí)驗(yàn)3

由表2可知，本文提出的算法相比于其他決策融合算法，識(shí)別效果更優(yōu)。為了進(jìn)一步證明本文算法融合了特征層信息豐富的優(yōu)點(diǎn)，對(duì)實(shí)驗(yàn)2中的三模態(tài)識(shí)別系統(tǒng)繼續(xù)進(jìn)行實(shí)驗(yàn)。在保證三模態(tài)識(shí)別系統(tǒng)其他部分不變的情況下，在手指靜脈模態(tài)中增加了特征層融合——使用典型相關(guān)分析CCA[16, 37]以及判別相關(guān)分析DCA[12]融合食指、中指以及無(wú)名指的手指靜脈特征，觀察其對(duì)最終的識(shí)別結(jié)果造成的影響，其中CCA和DCA分別可以通過(guò)并行[38-39]和串行[38-39]方法進(jìn)行融合。

表3 多模態(tài)下各種決策融合方法的識(shí)別率對(duì)比

通過(guò)表3可以觀察到，使用不同的特征融合方法，都會(huì)給AND規(guī)則、模糊決策和多數(shù)投票的決策融合方法帶來(lái)識(shí)別率的提升(2.67%～15.66%)。但是對(duì)于本文提出的方法而言，增加特征層的融合方法，系統(tǒng)的識(shí)別率并沒(méi)有提升，這證明了本文所提出的方法已經(jīng)充分地利用特征層級(jí)的豐富信息應(yīng)用于決策，不需要再進(jìn)行額外的特征融合。本文提出的算法補(bǔ)充了特征距離和分類性能參數(shù)的信息，對(duì)識(shí)別精度的提升優(yōu)于一般決策融合算法。

3.4 實(shí)驗(yàn)4

在使用PCA算法對(duì)特征向量空間進(jìn)行壓縮的過(guò)程中，需要選擇保留的特征主成分能量百分比，即保留了原特征向量空間內(nèi)信息的百分比。為了驗(yàn)證本識(shí)別系統(tǒng)在復(fù)雜情境下的自適應(yīng)能力，以實(shí)驗(yàn)3為基礎(chǔ)(保留手指靜脈模態(tài)中的特征融合)，在保證其他條件相同時(shí)，降低特征分量的主成分能量百分比，模擬環(huán)境噪聲較大時(shí)，單模態(tài)識(shí)別性能下降的情況。在改變特征主成分能量(從25%變化至95%)下，圖4為使用串并行CCA和串并行DCA的特征融合后，不同決策融合算法的識(shí)別率曲線。通過(guò)圖4可以很明顯地發(fā)現(xiàn)，模擬識(shí)別系統(tǒng)出現(xiàn)噪聲時(shí)，AND規(guī)則、模糊決策和多數(shù)投票的決策融合算法的識(shí)別能力均低于本文算法，尤其在特征主成分能量較低時(shí)，差距更加明顯。這說(shuō)明了本算法在特征主成分能量較低時(shí)，可以通過(guò)計(jì)算置信度獲得特征匹配分?jǐn)?shù)中含有的有效信息，通過(guò)權(quán)重動(dòng)態(tài)地調(diào)整各模態(tài)對(duì)最終決策的影響。在圖4的各融合系統(tǒng)下，本方法的識(shí)別率均遠(yuǎn)優(yōu)于其他方法，并且當(dāng)特征主成分能量為25%時(shí)，差距最明顯，即當(dāng)特征信息最匱乏時(shí)，系統(tǒng)噪聲最大，本文算法可以通過(guò)特征距離信息和分類性能參數(shù)，使系統(tǒng)在此復(fù)雜情境下更具魯棒性。

圖4 不同決策融合算法的識(shí)別率曲線

4 結(jié)論

以多模態(tài)生物特征識(shí)別系統(tǒng)為研究對(duì)象，提出了通過(guò)特征距離信息引導(dǎo)的決策融合算法，得到如下結(jié)論。

(1)本文提出的多模態(tài)的生物特征融合識(shí)別系統(tǒng)充分發(fā)揮了虹膜特征安全性高、手指和手掌靜脈紋理特征識(shí)別率高的優(yōu)點(diǎn)。特別是增加了以活體檢驗(yàn)為特點(diǎn)的靜脈識(shí)別，大大提高了多模態(tài)識(shí)別系統(tǒng)的安全性。同時(shí)本文提出的融合策略在分配權(quán)重的過(guò)程中加入了前端特征層的距離信息和分類器的分類性能參數(shù)，充分利用了原始圖像的數(shù)據(jù)信息，具有很強(qiáng)的實(shí)用性，使得融合系統(tǒng)在提高效率的同時(shí)，對(duì)準(zhǔn)確性以及可靠性都有了提高。

(2)在系統(tǒng)噪聲水平較高，特征有效信息較少時(shí)，本文基于特征距離信息引導(dǎo)的決策融合方法表現(xiàn)優(yōu)于其他融合算法，證明了其在噪聲較大的復(fù)雜情境下可以通過(guò)補(bǔ)充特征距離信息及分類性能參數(shù)達(dá)到識(shí)別精度提升的效果，使系統(tǒng)更具魯棒性。