基于小波變換和小波神經(jīng)網(wǎng)絡(luò)的3D遮擋人臉識別方法＊

孔令美， 湯 庸

（1.廣東技術(shù)師范學(xué)院 天河學(xué)院 信息與傳媒學(xué)院，廣東 廣州510540；2.華南師范大學(xué) 計算機(jī)學(xué)院，廣東 廣州510631）

人臉識別作為一種最為直觀的生物特征識別方法，一直是生物特征識別領(lǐng)域的研究熱點(diǎn)，目前，在門禁考勤、出入控制、視頻監(jiān)控等領(lǐng)域已有廣泛應(yīng)用 .然而，現(xiàn)有人臉識別方法受環(huán)境光照、人臉表情與姿態(tài)、遮擋的影響較大，當(dāng)這些因素在人臉的注冊階段和驗證階段發(fā)生較大變化時，人臉識別性能會急劇下降，導(dǎo)致無法應(yīng)用.［1］基于人臉的3D信息進(jìn)行人臉識別是解決姿態(tài)、光照、遮擋變化問題的有效途徑，目前已涌現(xiàn)出許多有效的3D人臉識別方法，大幅提高了人臉識別方法對姿態(tài)和光照變化的魯棒性［2～5］.然而，3D人臉識別目前對人臉遮擋的魯棒性較弱，是3D人臉識別亟待解決的難點(diǎn)問題，［6，7］.研究了3D人臉的遮擋檢測與復(fù)原方法，通過比較待檢測深度圖像與通用人臉深度圖像之間的距離差異來檢測遮擋區(qū)域，并基于通用人臉深度圖像復(fù)原遮擋區(qū)域.［8］提出了一種GPCA（Gappy Principal Component Analysis）方法，利用人臉遮擋區(qū)域與非遮擋區(qū)域的PCA特征差異來檢測遮擋區(qū)域，采用PCA方法提取特征并進(jìn)行識別，但識別性能依賴于遮擋物體的先驗知識.［9］提出了一種基于ARM（Average Regional Models）的3D遮擋人臉識別方法，通過ICP（Iterative Closest Point）算法求取人臉局部區(qū)域特征，對3D人臉的遮擋和表情變化都有一定效果，但識別性能也依賴于遮擋物體的先驗知識.［10］提出了一種基于三維建模的眼鏡遮擋下的人臉識別方法，將眼鏡作為人臉的固有部分，通過三維重建方法生成虛擬人臉樣本，使虛擬樣本更加合理地反映眼鏡的反光、模糊等變化，補(bǔ)償眼鏡的不穩(wěn)定性，提高眼鏡遮擋圖像的識別率 .但該方法對其他遮擋物體的識別性能還有待加強(qiáng).

本文提出一種基于小波變換和小波神經(jīng)網(wǎng)絡(luò)的3D遮擋人臉識別方法，主要創(chuàng)新點(diǎn)包括兩方面：一是基于小波變換的系數(shù)檢測3D人臉的遮擋區(qū)域，相對于PCA等特征，不同層次的小波變換系數(shù)對區(qū)域遮擋更加敏感，從而可以提高遮擋區(qū)域的檢測率；二是基于小波神經(jīng)網(wǎng)絡(luò)分類器識別3D人臉，通過構(gòu)建小波神經(jīng)網(wǎng)絡(luò)自分類器，適應(yīng)處理不同遮擋情況下的3D人臉比對問題，還可以利用小波神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果復(fù)原3D人臉的遮擋區(qū)域 .通過在國際上通用的UMB－DB和BOSPHORUS－DB兩個常用的3D遮擋人臉圖像庫上進(jìn)行實驗對比與分析，證明本文方法對有意遮擋和無意遮擋的魯棒性強(qiáng)、識別性能好.

1 基于小波變換的遮擋人臉檢測

本文采用小波變換方法檢測人臉的遮擋區(qū)域，檢測流程如圖1所示.

小波變換（Wavelet Transform，WT）是短時傅立葉變換局部化的思想的繼承和發(fā)展，它克服了變換窗口尺寸不隨頻率變化的問題，構(gòu)造了一種便于信號時頻分析的“時間－頻率”窗口，可通過伸縮平移運(yùn)算對信號逐步進(jìn)行多尺度細(xì)化，實現(xiàn)高頻處時間細(xì)分、低頻處頻率細(xì)分的要求［11］.常用的小波變換公式為

其中，a表示時間，b表示尺度，ψ表示小波母函數(shù)，滿足以下三個條件：

對于待檢測深度圖像和數(shù)據(jù)庫中的人臉平均深度圖像，分別進(jìn)行小波變換，計算其小波變換系數(shù)之間的距離D，表示為Dl＝｜Il－IMl｜，其中，Il表示待檢測深度圖像第l層的小波變換系數(shù)，IMl表示數(shù)據(jù)庫中人臉平均深度圖像第l層的小波變換系數(shù)，Dl表示第l層的小波變換系數(shù)之間的距離.

給定閾值T，如果對于所有l(wèi)都有Dl＜T，則表明待檢測深度圖像不是人臉.否則，進(jìn)入下一步，檢測人臉是否存在遮擋.

假設(shè)I：D?R×R→R2；（x，y）aI（x，y）是分布在域D內(nèi)的一個深度灰度圖，遮擋區(qū)域與非遮擋區(qū)域的聯(lián)系可以表示為I（x，y）＝I（w（x，y））＋n（x，y）.

遮擋可以看作是人臉圖像的局部形變，為了表示這種形變，定義映射w：D×R→R；（x，y）a w（x，y）≡x＋dx，y＋dy，將I（x，y）映射到I（x＋dx，y＋dy）的域 .其中，（dx，dy）為隨機(jī)偏移量，表示為dx ＝Random（－3，3）， dy ＝Random（－3，3），其中，Random（x，y）是一個隨機(jī)數(shù)，取值為［x，y］內(nèi)的一個整數(shù).

n（x，y）用于調(diào)和不同環(huán)境變化的影響，如光照、仿射和尺度變化等 .假設(shè)人臉尺寸已歸一化，且光照變化和仿射變換對遮擋的影響可以忽略，那么n（x，y）→0.此時可以依據(jù)數(shù)據(jù)庫中獲取的平均深度圖像的小波變換系數(shù)IM（x，y）來計算待檢測人臉圖像的形變系數(shù)，表示為

為了更好地定位遮擋區(qū)域，本文對小波變換的每一層l構(gòu)建了一個二值掩膜Ml，表示為

待檢測人臉圖像和二值掩膜進(jìn)行“與”運(yùn)算，可以得到遮擋目標(biāo)Ol，表示為

其中，El表示第l層的區(qū)域遮擋誤差，實際應(yīng)用過程中可以忽略不計 .∧表示“與”運(yùn)算.

如果遮擋不存在，則二值掩膜Ml為空，表示為

將公式（4）代入公式（3），并忽略El，得

2 基于小波神經(jīng)網(wǎng)絡(luò)分類器的遮擋人臉識別

圖2所示為小波神經(jīng)網(wǎng)絡(luò)分類器的體系結(jié)構(gòu)，該體系結(jié)構(gòu)主要包括三層：線性輸入層、隱藏層和線性輸出層［12］.線性輸入層由Ni個神經(jīng)元組成，用于接收遮擋目標(biāo)Ol和數(shù)據(jù)庫中每一個深度圖像之間的差異；隱藏層由Nw個小波構(gòu)成；線性輸出層用于接收多維小波的輸出.

小波神經(jīng)元的輸入記為Γl（x，y），表示為

其中，Il表示數(shù)據(jù)庫中的第l個深度圖像 .小波神經(jīng)網(wǎng)絡(luò)分類器的輸出形式為：

由公式（5）和（6）可得，

現(xiàn)在所有的問題可以轉(zhuǎn)換為最小化代價函數(shù)NDWk.在訓(xùn)練階段，通過采用圖2所示的體系結(jié)構(gòu)調(diào)整小波神經(jīng)網(wǎng)絡(luò)的參數(shù)，使得NDWk達(dá)到最小 .在識別階段，選擇使NDWk達(dá)到最小的深度圖像作為識別的結(jié)果 .另外，遮擋區(qū)域可以采用數(shù)學(xué)形態(tài)學(xué)方法進(jìn)行重建，重建后的圖像為

其中，∨表示“或”運(yùn)算.

3 實驗結(jié)果分析與對比

3.1 實驗數(shù)據(jù)與評價指標(biāo)

本文使用國際上主流的兩個三維人臉數(shù)據(jù)庫：一是UMB－DB，該數(shù)據(jù)庫包含132幅無遮擋的人臉深度圖像和76幅存在遮擋的人臉深度圖像；二是BOSPHORUS－DB，該數(shù)據(jù)庫包含105個個體的三維人臉圖像，每個個體有54幅不同表情、姿態(tài)和遮擋（如眼鏡、手、頭發(fā)）的圖像，共有4 652幅圖像 .其中，每一個體至少有三幅人臉圖像是存在遮擋的.

性能評測采用檢測率，識別率和平均識別時間三個評價指標(biāo)。檢測率和識別率越高平均識別時間越小則性能越好.

3.2 參數(shù)分析

本文方法涉及兩個參數(shù)：固定閾值T和小波變換層數(shù)l.

（1）固定閾值：本文方法在遮擋人臉檢測部分采用了一個固定閾值T.一般地，該閾值取值越小，檢測出現(xiàn)無人臉的結(jié)果越少，但同時遮擋人臉被檢出的幾率也越小 .本文分析了T＝0.02、0.04、0.06、0.08和0.10五種情況下的人臉檢測率指標(biāo)，其中，小波變換層數(shù)l＝2.可見，當(dāng)T＝0.06時，兩個數(shù)據(jù)庫的人臉檢測率指標(biāo)都達(dá)到最大 .故本文取T＝0.06.

（2）小波變換層數(shù)：小波變換的層數(shù)l對本文方法的檢測率有較大影響，分析l取1、2、3和4四種情況下的人臉檢測率指標(biāo)，其中，T＝0.06.當(dāng)l＝2時，兩個數(shù)據(jù)庫的人臉檢測率指標(biāo)都達(dá)到最大 .故本文取l＝2.

3.3 實驗結(jié)果對比

為了驗證本文算法的性能，在UMB－DB和BOSPHORUS－DB兩個數(shù)據(jù)下，分別使用本文方法與經(jīng)典的GPCA和ARM方法測試遮擋的人臉的檢測率、識別率和平均識別時間，對比結(jié)果詳細(xì)討論如下.

檢測率對比如表1所示.可以明顯看出兩個數(shù)據(jù)庫下本文方法的檢測率指標(biāo)都是最高的.

表1 不同方法不同數(shù)據(jù)庫下的GDR指標(biāo)對比Tab.1 Comparison of GDR index in different methods

表2 不同方法、不同數(shù)據(jù)庫下的GAR指標(biāo)對比Tab.2 Comparison of GAR index in different methods and different databases

表3 不同方法不同數(shù)據(jù)庫下的ART指標(biāo)對比Tab.3 Comparison of ART index in different methods

識別率對比結(jié)果如表2所示 .表3對比了上述測試過程中不同方法的評價識別時間 .其中，時間的單位為ms.測試環(huán)境為AMD A6 3.6GCPU、8G內(nèi)存、Windows 7操作系統(tǒng) .三種方法的運(yùn)算效率相當(dāng).

綜合上述三項測試結(jié)果的對比分析，本文方法在運(yùn)算效率相當(dāng)?shù)那闆r下，檢測率和識別率指標(biāo)都高于經(jīng)典的GPCA和ARM方法，說明本文方法可以更好地處理遮擋人臉的檢測和識別.

4 結(jié)束語

本文提出一種基于小波變換和小波神經(jīng)網(wǎng)絡(luò)的3D遮擋人臉識別方法.首先，對待檢測人臉的深度圖像進(jìn)行小波變換，依據(jù)各層小波變換系數(shù)與數(shù)據(jù)庫中平均人臉深度圖像的小波變換系數(shù)進(jìn)行比較，獲取人臉的遮擋區(qū)域；然后，對非遮擋區(qū)域提取小波變換系數(shù)，構(gòu)建小波神經(jīng)網(wǎng)絡(luò)分類器，依據(jù)小波網(wǎng)絡(luò)的人臉空間距離進(jìn)行3D遮擋人臉識別.仿真實驗表明，本文方法對3D人臉的有意遮擋和無意遮擋的魯棒性強(qiáng)，與目前經(jīng)典的3D人臉識別方法相比具有更好的識別性能.

［1］MT A P.Eigenfaces for recognition［J］.J Cogn Neurosci，1991，3（1）：71－86.

［2］蔡亮，達(dá)飛鵬.基于幾何圖像濾波的3D人臉識別算法［J］.東南大學(xué)學(xué)報：自然科學(xué)版，2012，42（5）：859－863.

［3］蔡亮，達(dá)飛鵬.結(jié)合形狀濾波和幾何圖像的3D人臉識別算法［J］.中國圖象圖形學(xué)報，2011，16（7）：1 303－1 309.

［4］柴秀娟，山世光，卿來云，等.基于3D人臉重建的光照、姿態(tài)不變?nèi)四樧R別［J］.軟件學(xué)報，2006，17（3）：525－534.

［5］FENG S，KRIM H，KOGAN I A.3Dface recognition using euclidean integral invariants signature［C］／／IEEE／SP Workshop on Statistical Signal Processing，2007：156－160.

［6］SCHETTINI R，CUSANO C，COLOMBO A.Face＾3a2D＋3Drobust face recognition system［C］／／International Conference on Image Analysis ＆Processing.IEEE Computer Society，2007：393－398.

［7］COLOMBO A，CUSANO C，SCHETTINI R.Detection and restoration of occlusions for 3Dface recognition［C］／／IEEE International Conference on Multimedia ＆ Expo IEEE Computer Society，2006：1 541－1 544.

［8］ALESSANDRO C，CLAUDIO C，SCHETTINI R.Gappy PCA classification for occlusion tolerant 3Dface detection［J］.Journal of Mathematical Imaging ＆ Vision，2009，35（3）：193－207.

［9］ALYUZ N，GOKBERK B，AKARUN L.A 3Dface recognition system for expression and occlusion invariance［C］／／IEEE International Conference on Biometrics：Theory，Applications and Systems，2008：1－7.

［10］熊鵬飛，劉昌平，黃磊.基于三維建模的眼鏡遮擋下人臉識別［J］.模式識別與人工智能，2011，24（5）：692－699.

［11］SHENSA M.The discrete wavelet transform：wedding the a trous and Mallat algorithms［J］.Signal Processing，IEEE Transactions，1992，40（10）：2 464－2 482.

［12］NIAN C，KUANG H H，SHU Y L，et al.Wavelet neural network and its application［J］.Chinese Journal of Stereology ＆Image Analysis，2001，6（4）：239－245.

［13］NEMATI R J，JAVED M Y.Fingerprint verification using filter－bank of Gabor and Log Gabor filters［C］／／International Conference on Systems，Signals and Image Processing.IEEE，2008：363－366.

［14］喻祖國，Vo Anh，劉家成.迭代函數(shù)系統(tǒng)模型在生物序列分析中的應(yīng)用［J］.湘潭大學(xué)自然科學(xué)學(xué)報，2003（3）：131－139.