基于Markov網(wǎng)絡和多信息融合的民航人臉識別

車通 朱燕翎 王謙 李博文

摘? ?要：針對民航人臉識別系統(tǒng)中人臉圖像的銳化識別問題，提出了一種人臉銳化照片綜合識別方法。對于不同尺度下的不同合成結果，采用雙尺度Markov網(wǎng)絡的級聯(lián)銳化合成方法進行圖像合成，并提出了基于結構信息和特征信息的人臉識別數(shù)據(jù)融合方法。結合人臉識別認知理論，將結構信息和特征信息結合起來完成識別。實驗結果表明，該方法在合成和識別過程中均優(yōu)于其他方法。

關鍵詞：人臉識別;雙尺度Markov網(wǎng)絡;結構信息;特征信息;圖片銳化

中圖分類號：TP751.1? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻標識碼：A

文章編號：1003—6199（2020）02—0138—07

Abstarct：Aiming at the problem of facial image sharpening recognition in civil aviation face recognition system，this paper proposes a comprehensive method of facial image sharpening recognition. For different synthesis results at different scales，the cascade sharpening synthesis method of two-scale Markov network is used to synthesize images，and a face recognition data fusion method based on structural information and feature information is proposed. Combining the cognitive theory of face recognition，the structure information and feature information are combined to complete the recognition. The experimental results show that this method is superior to other methods in the process of synthesis and recognition.

Key words：face recognition;two-scale Markov network;structural information;feature information;image sharpening

在民航登機人臉自動識別系統(tǒng)中，由于連接遠程身份認證系統(tǒng)借助人臉留存照片與現(xiàn)實照片存在偏差，無法在登機口準確獲取用戶的真實照片圖像[1]。因此，民航登機人臉自動識別系統(tǒng)需對人臉留存照片進行銳化處理，進而快速匹配識別出登機用戶的身份[2]。文獻[3]將特征變換應用于整張人臉照片上，并合成偽銳化用于銳化模態(tài)匹配。文獻[4]將特征變換應用于局部補丁上改進了合成框架。文獻[5]提出了一種用于人臉銳化合成和識別的非線性方法，并采用非線性判別分析從合成的偽銳化中識別出銳化結果。然而，銳化和原照片是兩種不同來源的模態(tài)，給識別研究帶來了很大的困難。

提出了一種面向民航登機人臉自動識別方法。利用基于雙尺度Markov網(wǎng)絡的人臉銳化照片合成方法，將銳化和照片轉換成相同的模態(tài)。根據(jù)人臉識別認知理論，提出了一種將結構信息和特征信息結合起來進行識別的數(shù)據(jù)融合方法。提取了整個人臉圖像的定向梯度直方圖（HOG）特征來表示結構信息。并利用稀疏核原型表示對局部面部組成部分的特征信息進而完成人臉識別。

1? ?雙尺度Markov網(wǎng)絡

1.1? ?網(wǎng)絡合成

將初始銳化y和測試照片t都作為創(chuàng)建最終銳化，使用較小的尺度將它們劃分為重疊的補丁，并且它們都用于搜索K個候選補丁。本文利用兩個不同的特征HOG特征[7]和MLBP特征[8]來選擇候選銳化補丁和強度特征，為目標銳化補丁選擇2K個候選補丁。利用Markov網(wǎng)絡來選擇最近的Kt個候選補丁和用于銳化補丁合成的權重向量。

其中，Kt不是固定值，它與相鄰閾值ε相關。它可以去除不合適的候選補片，提高合成銳化的質量。

使用選定的Kt個候選補丁及其權重來線性合成測試補丁。將該方法應用于其他測試圖像的拼接，采用平均策略處理重疊區(qū)域并生成整個目標銳化。級聯(lián)銳化合成方法的具體過程如圖1所示。

1.2? ?復雜度分析

在銳化照片合成過程中，最耗時的步驟是候選補丁搜索過程。因此，利用搜索過程的計算復雜度來表示該方法的計算復雜度。假設K為人臉銳化合成的候選補丁數(shù)量，Nt和Nc分別為人臉圖像中每行和每列的補丁數(shù)，M為訓練集中銳化照片對的數(shù)目。搜索范圍為R，在較大的Markov網(wǎng)絡合成過程中，計算復雜度為O（RNt Nc M）。對于較小的Markov網(wǎng)絡合成過程，由于初始銳化和測試照片都被用來搜索候選補丁，計算復雜度為O（2RNt Nc M）。因此，該方法的計算復雜度為O（3RNt Nc M）。

2? ?基于多信息融合的銳化人臉識別

根據(jù)人臉識別認知理論，提出了一種基于結構信息和特征信息融合的人臉識別方法。首先，利用從整個人臉圖像中提取的HOG表示結構信息;其次，提出了一種描述局部人臉特征信息的稀疏核原型表示方法，然后分別利用結構信息和特征信息進行人臉識別。將上述兩種識別過程的匹配分數(shù)進行融合，最終實現(xiàn)銳化與照片的精細匹配。所提出的識別方法框架如圖2所示。

2.1? ?結構信息識別

結構信息是指人臉特征之間的空間關系，可以通過圖像的邊緣特征和形狀特征來表示。HOG特征可以通過梯度或邊緣方向密度分布來描述圖像的外觀和形狀[9]。因此，圖像的結構信息可以用

HOG特征來表示。HOG特征提取過程如下：

步驟1：將圖像灰度化并正則化。

步驟2：將圖像分為l × l個補丁并進行 疊加。

步驟3：將每個補丁分成（l/2）×（l/2）個塊，每個塊由四個相鄰的（l/4）×（l/4）個單元組成。

步驟4：計算圖像像素的水平和垂直梯度。像素的梯度描述如下：

其中，Gx（x，y），Gy（x，y）和H（x，y）分別表示水平梯度，垂直梯度和像素值。

步驟5：計算像素的梯度幅度和梯度方向分別為：

步驟6：將α（x，y）的范圍[0，2π]平均分為8個格，按每個格的梯度方向進行表決，得到權重G（x，y）。因此，每個單元可以形成一個8維特征向量。

步驟7：將一個補丁中4個單元的特征向量連接成一個32維向量。

步驟8：將每個補丁中的所有特征向量連接起來，形成一個128維特征向量。

步驟9：將補丁的所有特征向量連接在一起，形成整個圖像的Hog特征向量。

通過以上步驟可以得到圖像的特征向量，需要一個降維過程來刪除具有冗余或無用信息的特征。本文將PCA和LDA算法應用于降維。在本文的實驗中保留了包含99%有用信息的特征，并將同一列上的補丁連接為LDA的子特征向量。利用余弦相似性測度來計算出銳化與照片之間的關系。對于合成銳化Yi，得到了測試銳化T j的匹配分數(shù)向量[cosSI （Yi，T 1），cosSI（Yi，T 2），cosSI（Yi，T n）]?；诮Y構信息的識別框架如圖3所示。

2.2? ?特征信息的識別

特征信息是指單個面部部分的特征。本文利用所提出的稀疏內核原型來表示局部面部部分中的特征信息。因為特征信息是基于局部面部部分，所以首先要將面部圖像分割為多個部分。本文使用簡單的主動形狀模型（ASM）來檢測特征點，然后根據(jù)檢測到的特征點位置來獲取面部部分。本文選擇額頭、眉毛、眼睛、鼻子和嘴巴作為面部的主要組成部分，實驗中使用的局部面部組成部分如圖4所示。

其中，f（·）是每個圖像補丁基于特征的表示?；谔卣鞅硎静捎昧藘煞N特征描述符，即HOG描述符和MLBP描述符。

基于稀疏理論在計算機視覺中的有效性，將核原型表示擴展到稀疏空間，并給出了稀疏核原型表示（SKPR）。內核原型表示Φ（Yi）通過保留最近的S個部分變得稀疏，這些組成部分表示與Yi最相似。其他元素都變?yōu)榱?，Yi的稀疏核原型表示描述如下：

其中，sparse（·）是通過保留最大的S元素使向量稀疏。S表示稀疏過程中的稀疏程度。

在得到合成補丁Yi和測試補丁T ji的稀疏核原型表示后，利用余弦相似性測度可以計算出它們的相似性：

然后得到基于特征信息的匹配分數(shù)向量[cosFI ]（Yi，T 1），…，cosFI（Yi，T n）]。本文提出的基于稀疏核原型的特征信息識別方法概述如圖5所示。

2.3? ?匹配融合

在結構信息識別和特征信息識別的基礎上，通過最近鄰分類器將匹配分數(shù)融合到最終的銳化圖像匹配中。

3? ?實驗分析

3.1? ?數(shù)據(jù)選取

實驗分別在兩個不同的銳化照片數(shù)據(jù)庫（CUHK數(shù)據(jù)庫[10]，AR數(shù)據(jù)庫[11]）來驗證該方法的有效性。CUHK數(shù)據(jù)庫提供了188名來自香港中文大學學生系統(tǒng)的學生的銳化照片對。所有照片都是在正常照明條件下拍攝的，正面姿勢，表情中性。在觀看照片時，由計算機處理出的相應銳化照片。實驗中隨機選取88對銳化照片作為訓練集（原型），其余100對銳化照片作為測試集。AR數(shù)據(jù)庫由A.Martinez和R.Benavente發(fā)布，共有123對嫌疑犯照片和相應的法醫(yī)銳化。隨機選擇100對作為訓練集（原型），其余23對作為測試集。

3.2? ?參數(shù)設置

將圖像劃分為32×32個補丁且具有50%的重疊。在合成過程中，候選補丁的數(shù)量 、大尺度 和小尺度 的數(shù)量分別設置為15、14和10，結果如圖6和圖7所示。

從圖6和圖7可以看出，當 時，合成銳化的視覺效果最好。當 時，合成銳化較為粗糙，且隨 的增加趨于平滑，當 和 設置為14和10時，合成像素質量最佳。大尺度導致合成圖像粗糙，小尺度忽略了人臉結構之間的連接。

在圖像識別過程中，在8個半徑為1、3、5、7的鄰域中提取混合局部二值模態(tài)（MLBP）。另外一個重要的參數(shù) 決定了稀疏核原型表示的稀疏程度。在CUHK數(shù)據(jù)庫上進行了眼部組成部分的實驗，說明了參數(shù)設置過程。當級別為10時，不同 的識別率如表1所示。

由表1可知，當S為30或40時，識別率最高。因此，在眼部組成部分的核原型表示過程中，將S = 30設置為稀疏度。同樣，選取S為20、10、40、40分別作為眉部、額頭、嘴部和鼻子部分的核心原型表示過程。

3.3? ?面部合成

與實驗中提出的方法相比，還存在另外四種合成銳化方法?；赑CA的方法[12]用PCA改進了傳統(tǒng)的特征面部方法?；贚LE的方法[13]是基于照片和銳化圖像之間幾何圖形局部線性保持。MWF方法[14]利用Markov網(wǎng)絡估計候選補丁的權重，并通過線性組合合成銳化。MRF方法[15]僅使用訓練數(shù)據(jù)中的最佳銳化補丁合成銳化。CUHK數(shù)據(jù)庫和AR數(shù)據(jù)庫的綜合銳化比較如圖8所示。

為了驗證本文方法的有效性，在不同的數(shù)據(jù)庫上應用了結構相似度度量（SSIM）[16]來測量兩幅圖像的相似度：

不同數(shù)據(jù)庫上SSIM值的比較結果見表2。從表2可以看出，與其他的幾種銳化照片合成方法相比，該方法合成的銳化具有更大的SSIM值。

3.4? ?面部識別

將四種對比SFR方法與本文提出的方法進行了實驗研究。文獻[17]中的HOG+NLDA方法從整個圖像中提取相同基于補丁策略的HOG特征。然后采用PCA基于零空間的LDA（NLDA）算法對提取的HOG特征進行降維。最后利用最近鄰分類器對銳化和相應的照片進行匹配。文獻[18]提出了核原型表示（KPR）方法，該方法首先將基于原型的方法擴展到SFR場景，并利用與原型在相同模態(tài)下的核相似性來表示測試圖像，利用最近鄰分類器對銳化圖像進行余弦相似度識別。使用人臉的KPR來進行銳化人臉識別。并將所提出的稀疏核原型表示（SKPR）方法和HOG+KPR方法與最終的識別方法進行了比較。不同方法與本文方法在CUHK數(shù)據(jù)庫和AR數(shù)據(jù)庫上的比較結果如圖9和圖10所示。

從圖9和圖10可以看出，所提出的基于結構信息和特征信息的方法明顯優(yōu)于其他四種比較方法。在兩個數(shù)據(jù)庫的級別均小于4時，該方法的識別精度均達到了100%。HOG+KPR方法的結果優(yōu)于HOG方法和KPR方法，說明了將結構信息和特征信息融合到SFR應用中的可行性。KPR方法和SKPR方法實現(xiàn)了基于局部人臉組成部分的識別，但識別率較低。同時，可以發(fā)現(xiàn)SKPR方法比KPR方法更有效。SKPR方法將稀疏概念融合到圖像補丁的核原型表示中，可以去除不同原型帶來的更多噪聲。

4? ?結? ?論

針對民航人臉識別系統(tǒng)中人臉圖像的銳化識別問題，提出了一種基于雙尺度Markov網(wǎng)絡和多信息融合的人臉照片合成與識別方法。該方法由兩部分組成：（1）利用雙尺度Markov網(wǎng)絡將銳化和照片轉換成相同的模態(tài);（2）基于結構信息和基于特征信息的識別方法對合成圖像和測試圖像進行匹配。與以往僅使用單尺度合成圖像的人臉銳化合成方法不同，該方法利用雙尺度Markov網(wǎng)絡進行銳化合成。然后，根據(jù)人臉識別認知理論，提出了一種將結構信息和特征信息結合起來進行人臉識別的銳化人臉識別方法。選取整個人臉圖像中的HOG來表示結構信息。利用所提出的稀疏核原型表示方法來描述局部面部組成部分的特征信息。與不同的人臉銳化照片合成和識別方法相比，大量的實驗結果表明，該方法在合成和識別過程中都具有較好的性能。

參考文獻

[1]? ? 劉明. 嵌入式人臉自動識別系統(tǒng)研究[J]. 電子技術與軟件工程，2015（24）：195-196.

[2]? ? 易焱，蔣加伏. 基于LBP和棧式自動編碼器的人臉識別算法研究[J]. 計算機工程與應用，2018，54（02）：163-167.

[3]? ? 楊晉吉，李亞文. 基于Curvelet變換特征的人臉識別算法[J]. 計算機應用與軟件，2018，35（01）：169-174.

[4]? ? 毛雯，朱虹，張巖. 一種單幅前視圖的人臉識別算法[J]. 西安理工大學學報，2017，33（02）：127-131.

[5]? ? 江誠，石雄. 基于非線性特征提取的人臉識別算法研究[J]. 武漢輕工大學學報，2019，38（02）：35-39.

[6]? ? 諶湘倩，劉珂，馬飛. 基于協(xié)作表示和正則化最小二乘法的多姿態(tài)人臉識別方法[J]. 現(xiàn)代電子技術，2017，40（05）：49-53.

[7]? ? 雷超，張海燕，詹曙. 結合曲面局部紋理特征的3維人臉識別[J]. 中國圖象圖形學報，2019，24（02）：215-226.

[8]? ? 李華玲，王智，黃鈺靖. 基于圖片特征與人臉姿態(tài)的人臉識別方法[J]. 科學技術與工程，2018，18（31）：195-199.

[9]? ? 楊超，伍世虔，方紅萍. 基于Fechner定律和梯度特征的人臉識別算法及實現(xiàn)[J]. 計算機應用與軟件，2019，36（01）：227-231.

[10]? 張敦鳳，高寧化，王姮，等. 基于分塊LBP融合特征和SVM的人臉識別算法[J]. 傳感器與微系統(tǒng)，2019，38（05）：154-156.

[11]? 黃祎翎，劉威，黃慧明. 基于Emgu CV的實時家庭安全防護系統(tǒng)[J]. 信息技術，2018，42（10）：77-80.

[12]? 漆世錢.基于OpenCV組合優(yōu)化的人臉識別應用平臺設計[J]. 科學技術與工程，2019（13）：164-170.

[13]? 盧濤，汪家明，李曉林，等. 基于中繼循環(huán)殘差網(wǎng)絡的人臉超分辨率重建[J]. 華中科技大學學報（自然科學版），2018，46（12）：95-100.

[14]? 吉娜燁，柴秀娟，山世光，等. 局部回歸模型驅動的人臉素描自動生成[J]. 計算機輔助設計與圖形學學報，2014，26（12）：2232-2243.

[15]? 黃綠娥，吳祿慎，陳華偉. 融合LSTM的DCNN及其圖像模糊類型和參數(shù)識別[J]. 應用基礎與工程科學學報，2018，26（05）：1092-1100.

[16]? 楊勇，吳嘉驊，黃淑英，等. 聯(lián)合字典魯棒稀疏表示的多聚焦圖像融合[J]. 小型微型計算機系統(tǒng)，2018，39（08）：1871-1877.

[17]? 張延良，盧冰. 基于信息增量特征選擇的微表情識別方法[J]. 計算機工程，2019（05）：261-266.

[18]? 鄧麗萍. 多種代數(shù)特征抽取方法下的人臉圖像SVM算法研究[J]. 信息安全與技術，2014，5（10）：45-47.