基于數(shù)據(jù)融合的人臉識別模型研究

張艷 宋一帆 魏曉娟

摘要：人臉識別在模式識別、人工智能、計算機視覺等多個領域得到了廣泛應用。單一的識別算法在性能上存在局限性，文章基于數(shù)據(jù)融合的思想，提出一種融合多種識別算法的三層人臉識別模型。為充分發(fā)揮數(shù)據(jù)特點，在融合前先進行預處理，分離出有效特征值，組建特征矩陣。數(shù)據(jù)層和特征層分別選用加權平均算法和人工神經(jīng)網(wǎng)絡算法，決策級使用改進的模糊推理算法。基于MIT和ORL的仿真實驗表明，本模型相比單一算法在識別率上有了明顯改善，且具有一定的自適應能力。

關鍵詞：數(shù)據(jù)分類；人臉識別模型；特征矩陣；模糊推理

中圖分類號：TP312? 文獻標志碼：A

0 引言

人臉識別技術在生物特征識別和視頻監(jiān)控中發(fā)揮著重要作用，人臉識別由于其友好性，在身份識別、圖像處理、計算機視覺、模式識別等領域被廣泛應用。

目前，國內外已出現(xiàn)了大量關于人臉識別的研究成果。張昀等［1］提出了一種融合Gabor特征的隨機點積圖的算法，優(yōu)點是通過數(shù)據(jù)預處理減少了特征冗余度從而實現(xiàn)數(shù)據(jù)降維，但算法適應性不強。Zhou［2］采用BP神經(jīng)網(wǎng)絡算法，該算法改善了識別率和識別有效性，缺點是不能很好滿足實時性要求。劉冬梅等［3］提出一種基于數(shù)據(jù)融合的人臉識別方法，對數(shù)據(jù)進行小波分解并區(qū)分高頻子圖和低頻子圖，引入數(shù)據(jù)融合方案，有效地提高了識別率，但缺乏自適應性。

不同的人臉描述方式有不同的特點［4］，考慮到使用單一識別算法識別率相對較低的缺點，本文基于數(shù)據(jù)融合技術，提出三層框架的人臉識別模型，在不同層融合不同算法以生成全方位的識別檢測系統(tǒng)，進而達到改進人臉識別系統(tǒng)整體性能的目的。

1 基于數(shù)據(jù)融合的人臉識別模型

1.1 數(shù)據(jù)融合技術

每種識別算法有各自的特征、優(yōu)缺點及適用范圍，目前還沒有哪種算法可以達到較高的識別率，同時又適應各種情況。數(shù)據(jù)融合技術利用計算機對大量傳感器不同時域和空間域所收集的數(shù)據(jù)進行分析、合成、演繹推理出基于時間序列的數(shù)據(jù)規(guī)律，從而得出被測對象的規(guī)律和評估結果。數(shù)據(jù)融合分為數(shù)據(jù)級、特征級和決策級3級。

數(shù)據(jù)級融合是對各種傳感器的原始數(shù)據(jù)在未經(jīng)預處理前就進行綜合和分析，目的是盡可能保留初始數(shù)據(jù)中的細微信息，是最低層次的融合。由于傳感器中原始數(shù)據(jù)的不穩(wěn)定性、不完全性和不確定性，直接融合可能會導致盲目檢測，因此對數(shù)據(jù)級融合的糾錯能力要求較高。特征級融合對數(shù)據(jù)級所提取的特征信息進行綜合分析處理，并加以分類匯總和壓縮。多特征提取可以獲取目標對象更多的特征信息，從而改善識別性能。

決策級融合是最高層次的融合，經(jīng)預處理過的數(shù)據(jù)和特征級的輸出結果經(jīng)過決策級算法進行處理和辨別，得出人臉特征的相關信息為決策提供依據(jù)，從而保證結果的精確度。

人臉識別算法即要滿足識別精度的要求，又要考慮到實時性，還要有低的復雜度。本文基于數(shù)據(jù)融合的思想提出三層框架的人臉識別模型，根據(jù)數(shù)據(jù)級、特征級及決策級各自的特點，在模型三層框架中采用相應的人臉識別算法。

1.2 數(shù)據(jù)級融合模型

傳感器中數(shù)據(jù)量大，處理代價高?？紤]到原始數(shù)據(jù)不穩(wěn)定的特性，需要對其進行預處理，消除圖像噪聲，以更精確地提取特征值。

對各傳感器收集的原始數(shù)據(jù)信息分類處理：來自同質傳感器的數(shù)據(jù)經(jīng)預處理，符合校準精度后，作為特征級的輸入；而來自異質傳感器的數(shù)據(jù)，則需經(jīng)過特征提取，不參與特征級處理，直接放入決策級進行融合。

為了更方便地從背景圖像中提取人的面部特征，先進行邊緣檢測，并對圖像進行灰度處理來降低算法的復雜度和系統(tǒng)資源消耗。目前人臉識別的特征融合分為基于整體臉部特征和基于臉部局部特征兩種，局部特征中眼部、嘴部特征對人臉識別起著重要作用。本文在對異質傳感器的數(shù)據(jù)提取特征時選擇嘴唇、鼻子、眼及眉毛作為人臉面部的特征點。

定義o表示像素，δO表示鄰域q（q∈δO）內的點，σq表示q的灰度信息，鄰域δO的像素數(shù)用nO表示。特征點的權值計算如下。

第一步：根據(jù)灰度信息計算均方誤差φoq。

φoq=∑q∈δo（σ′q-σq）2no-1（1）

第二步：投影到核空間。

πoq=exp-φoq-∑r∈δoφoqno（2）

第三步：計算特征權值。

oq=πoq∑q∈δoπoq（3）

每個局部特征被分配不同的權值，以此作為特征提取依據(jù)。

圖像經(jīng)過以上處理，中心節(jié)點的灰度值噪聲可被消除，但同時會帶來圖像模糊的問題，本文利用反銳化掩膜法、圖像疊加和高通濾波技術消除圖像模糊，突出圖像邊緣，增強高頻分量，實現(xiàn)圖像銳化。最終，處理結果為：

Q=（L－P）×Q+P×Q（4）

其中，L為判定操作，P為沖擊影響系數(shù)，引入因子λ（λ1）增強邊緣圖像的高頻部分：

Qsh=（L-P）×Q+λP×Q（5）

反銳化掩膜濾波為：

I=L+（λ-1）P（6）

經(jīng)過反銳化掩膜過濾后可得到理想的去噪數(shù)據(jù)，接下來可進行融合處理。

常用的數(shù)據(jù)融合方法有簡單融合法、金字塔融合法和小波融合法等。對這些算法的原理及優(yōu)缺點進行研究和比較后，考慮到數(shù)據(jù)層融合的特點，在數(shù)據(jù)級融合選用簡單易實現(xiàn)的加權平均算法。通過訓練對權值進行調整，得出自適應的權值。

對于圖像中的某個點，在圖像中的相對位置用（x，y）來定義，該點在傳感器1，2，3…中的數(shù)據(jù)分別為A1（x，y），A2（x，y），A3（x，y），利用加權平均融合算法可得到融合后的結果ψ（x，y）為：

ψ（x，y）=aA1（x，y）+bA2（x，y）+cA3（x，y）（7）

其中，a，b，c為權重系數(shù)，且0≤a≤1（b，c相同）；大小取決于圖像質量，且有a+b+c=1。當a=b=c=13時，表示平均加權融合。

系統(tǒng)設計時，收集同一對象的3張面部圖像，經(jīng)過定位、特征分割和歸一化，可得到每張圖像的3個樣本。這點不同于以往只考慮單幀的算法，因為單幀可能存在質量問題。本文算法采用平均融合3個樣本的像素的做法，得到保存結果作為特殊級輸入。

由此，數(shù)據(jù)級融合模型如圖1所示。

1.3 特征級融合模型

特征級融合是人臉識別中最重要的部分，且比較難實現(xiàn)，經(jīng)過特征融合既要產生新特征又要保留融合前數(shù)據(jù)中的特征信息。

針對特征級融合的算法也很多，比較常用的有基于模板的算法、BP神經(jīng)網(wǎng)絡算法和RBF神經(jīng)網(wǎng)絡算法等，神經(jīng)網(wǎng)絡算法是基于距離度量的數(shù)據(jù)分類方法。通過對輸入向量進行分析，調整參數(shù)得出輸出向量?；谌斯ど窠?jīng)網(wǎng)絡的算法具有理想記憶、分類和優(yōu)化決策等功能，且響應速度快，在模式識別和分類中具有獨特優(yōu)勢，本文選擇BP神經(jīng)網(wǎng)絡來完成特征級融合。

BP神經(jīng)網(wǎng)絡是基于BP算法的多層前饋神經(jīng)網(wǎng)絡，本文的BP網(wǎng)絡模型由一個輸入層、兩個隱含層和一個輸出層構成。利用S型函數(shù)作為激勵函數(shù)，如下：

ζ（x）=11+e-εx（8）

其中，ε是可選參數(shù)，用來控制精度。

輸入向量用集合u∈Rn1，u=（u1，u2...un1）T表示，n2個輸出向量為v∈Rn2，v=（v1，v2...vn2）T。ρ和ξ分別表示對應層的權值和閾值。則有：

nj=∑n1i=1ρiui-ξj（9）

令κj=ζ（ηj）=11+e-εηj，則有：

κ′j=ζ′（ηj）=11+e－εηjεe-εηj1+e－εηj=λ［1-ζ（ηj）］ζ（ηj）（10）

假設隱藏層第一層神經(jīng)元個數(shù)為n，輸出為x′∈Rn，x=（x′1，x′2...x′n）T，第二層個數(shù)為m，輸出為x"∈Rm，x=（x"1，x"2...x"m）T。輸入層到隱藏層第一層的權值為ρij，閾值為ξj；由輸入層到隱藏層第二層的權值為ρ"jk，閾值為ξ′j，由隱藏層第二層到輸出層的權值為w′ij，閾值為ξ"j，由此隱藏層第一層、第二層及輸出層輸出分別為：

x′j=ζ∑ni=0ρijxi-ξj，j=0，1，2...n

x"k=ζ∑mj=0ρ′jkx′j-ξ′k，k=0，1，2...m

y1=ζ∑mk=0ρ"klx"k-ξ"l，l=0，1，2...n2-1（11）

將各個權值和閾值設置成小的接近0的隨機值，并初始化精度控制參數(shù)ε，按系統(tǒng)要求設置好網(wǎng)絡參數(shù)后，利用樣本D在神經(jīng)網(wǎng)絡中對輸入向量進行訓練。將輸出矢量Y與目標矢量D的值做比較，計算誤差項。根據(jù)誤差項并不斷調整權重系數(shù)，以收斂到正確的目標值，將權值系數(shù)和閾值結果保存，以進行下一次訓練。

特征級融合模型如圖2所示。

1.4 決策級融合模型

模型的最高級是決策級融合。決策級融合常用的方法有Bayes推理、D-S證據(jù)理論、模糊集等。

特征級輸出結果和數(shù)據(jù)級提取的特征數(shù)據(jù)，由決策級進行融合。決策的做出是綜合各方面因素作用的結果，如信息的完整性，數(shù)據(jù)的抗干擾能力，數(shù)據(jù)有效性等，這些因素的模糊性共同決定著結果，本文在決策級基于模糊推理技術提出了一種改進的基于特征矩陣的模糊推理算法。

假設特征級輸出矢量組成集合N，有n個樣本，m個特征值，則樣本的指標特征矩陣S定義為：

S=s11…s1m

…

sn1…snm（12）

其中，sij表示樣本i的指標j特征值。取目標j的最大特征值simax對優(yōu)的目標相對隸屬度為1，取目標特征值為0對優(yōu)的目標相對隸屬度為0。令simax=max（si1...sim），且rij=sij/simax，將目標特征矩陣轉換為相對隸屬度矩陣

R=（rij）（13）

異質傳感器所提取的特征點數(shù)據(jù)及特征權重進行歸一化處理得出矩陣Q，隸屬函數(shù)由這兩個矩陣決定：

P=R×Q（14）

最終判定人臉識別結果為矩陣中最大值：

Ai=maxP=max{R×Q}（15）

決策級融合需要綜合分析檢測區(qū)域、環(huán)境、對象、決策結果等信息以得出精確的人臉識別。利用特征級輸出的特征值或從傳感器提取的特征信息來確定決策結果。決策級融合的人臉識別模型如圖3所示。

2 模擬實驗及結果分析

本文使用MIT和ORL人臉庫作為實驗數(shù)據(jù)集。MIT人臉數(shù)據(jù)庫由美國麻省理工學院媒體實驗室創(chuàng)建，包含16位志愿者的2 592張不同姿態(tài)、光照和大小的面部圖像。ORL數(shù)據(jù)庫有40個人的400多幅圖像，其中包含姿態(tài)、角度、尺度和眼鏡等變化，且部分圖像拍攝時間不同，面部表情和姿態(tài)也有較大改變。

實驗1 在MIT人臉庫上測試該模型的識別率及誤識率，并與BP神經(jīng)網(wǎng)絡做比較。從數(shù)據(jù)庫選擇10個人的圖像作為樣本集，考慮到神經(jīng)網(wǎng)絡是基于訓練的，隨機選擇每個人的10幅圖像作為訓練樣本用作訓練，選擇每個人的10幅圖像用作測試，且訓練集和測試集無交集，經(jīng)過本文模型融合后得到如表1所示統(tǒng)計結果。

實驗2 在ORL人臉庫上測試該模型的識別率及誤識率。從數(shù)據(jù)庫收集6個人臉圖像作為樣本集，選擇前5幅作為訓練樣本用作訓練，其余的用作測試，得到結果如表2所示。

從實驗結果可看出，本文提出的模型由于融合了多種算法的優(yōu)勢，具有較高的識別率和較低的誤檢率。在樣本合適的情況下，BP神經(jīng)算法同樣具有較好的識別率，但隨著樣本的急劇減小，BP神經(jīng)網(wǎng)絡的識別率大大下降?？傮w來說，經(jīng)過數(shù)據(jù)融合后，人臉識別率有了顯著提高，對于不同的數(shù)據(jù)集有一定的自適應性。

3 結語

數(shù)據(jù)融合技術采用分層結構，可以在一次識別中引入多個算法，使各算法發(fā)揮各自的優(yōu)點從而獲得較高的識別率。本文在數(shù)據(jù)融合技術的基礎上，提出了三層框架模型對數(shù)據(jù)進行分類處理，并經(jīng)過多級融合，與BP神經(jīng)網(wǎng)絡算法相比，本算法有更好的識別結果。下一步的研究工作，將是探討如何在各層采用最適合的融合算法，以更全面地改進算法的性能。

參考文獻

［1］張昀，顧乃杰.融合Gabor特征的基于隨機點積圖的人臉識別算法［J］.小型微型計算機，2015（6）：1306-1309.

［2］ZHOU J H. Video facial recognition of PCA and SVM multi-biometric feature fusion［J］. Jiamusi University Journal （Natural Science Edition）， 2010（4）：485-488.

［3］劉冬梅，呂明磊，曾智勇.基于數(shù)據(jù)融合的人臉識別方法［J］.計算機工程，2013（10）：192-195.

［4］張榮榮，閔鋼，駱畑，等.引入圖像去噪處理機制的DNN模型人臉識別算法［J］.數(shù)字印刷，2022（6）：26-36.

（編輯 沈 強）

Research on face recognition model based on data fusion

Zhang? Yan， Song? Yifan， Wei Xiaojuan

（Henan Polytechnic， Zhengzhou 450046， China）

Abstract： Face recognition has been widely used in pattern recognition， artificial intelligence， computer vision and other fields， while the recognition rate of single recognition method is inefficiency in facial recognition. A new facial recognition model using data fusion technology is proposed in this paper， which combined a variety of recognition algorithm to improve the recognition rate. Data is pre-preated in order to get effective eigenvalue and form characteristic matrix. Weighted average algorithm and Artificial neural network algorithm are selected in data layer and feature layer respectively. Decision layer uses the improved fuzzy reasoning algorithm. Simulation based on the MIT and ORL shows that the model has improved significantly in recognition rate compared with a single BP neural network method， and has a certain adaptive ability.

Key words： data classification; face recognition; feature matrix; fuzzy reasoning