基于人臉和手勢混合識別的門禁研究

辜麗宇 劉瀝文 葉圣昕 羅干 黃成嵩

摘? ?要：人臉識別作為當今社會人工智能范疇的一項生物識別技術(shù)，以其具有非接觸、速度快等一系列特性在多個領(lǐng)域有著廣泛的應(yīng)用。但僅僅使用人臉識別技術(shù)進行識別卻仍存在誤判的風(fēng)險，無法保證識別準確率，并極易受到各類蓄意的仿冒攻擊。而深度學(xué)習(xí)作為圖像識別領(lǐng)域重要的技術(shù)手段，同樣擁有著廣闊的應(yīng)用前景。文中通過研究基于樹莓派的人臉識別和手勢識別的門禁系統(tǒng)，基于人的臉部特征信息和手勢的運動信息進行身份識別，在靜態(tài)的人臉識別基礎(chǔ)上，配合實時發(fā)布動態(tài)的手勢識別預(yù)防攻擊者借助人臉關(guān)鍵點定位和自動化人臉動效技術(shù)，最大程度的控制住風(fēng)險。

關(guān)鍵詞：深度學(xué)習(xí)? 樹莓派? 實時手勢識別? 準確性

中圖分類號：TP391.4? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻標識碼：A? ? ? ? ? ? ? ? ? ? ? ? 文章編號：1674-098X（2020）06（c）-0118-05

隨著現(xiàn)代社會的發(fā)展，人們對社區(qū)安全提出了越來越高的要求。門禁系統(tǒng)正是在這種社會環(huán)境下誕生的產(chǎn)物。它可以取代傳統(tǒng)的門衛(wèi)工作，提高管理效率，提高社區(qū)的安全性，可以隨時記錄小區(qū)居民的出入情況，在社會治安方面有著不容忽視的意義。

由于目前現(xiàn)有技術(shù)比較落后，門禁系統(tǒng)仍然達不到人們的需求，在現(xiàn)實生活中造成了諸多不便。本文從目前門禁系統(tǒng)安全性低、操作及管理困難現(xiàn)狀的弊端出發(fā)，對于該問題提出理論解決方案。通過樹莓派的人臉識別和手勢識別的門禁系統(tǒng)，基于人的臉部特征信息和手勢的運動信息進行身份識別，在靜態(tài)的人臉識別基礎(chǔ)上，配合動態(tài)的手勢識別預(yù)防攻擊者借助人臉關(guān)鍵點定位和自動化人臉動效技術(shù)，提取出人臉的特征，再根據(jù)儲存在數(shù)據(jù)庫的人臉圖像的特征與其進行對比，從而決定人是否可以進入，進而克服目前門禁系統(tǒng)速度慢、安全性低的弊端，提高小區(qū)門禁的安全性，降低門禁系統(tǒng)的成本，使其在操作管理上更加簡便快捷。

1? 人臉識別

1.1 概述

人臉識別可以分為以下步驟：

（1）人臉定位與人臉檢測。對于一幅給定的圖像判斷其中是否存在人臉。如果存在人臉則確定其在圖像中的位置，將人臉從背景中分割出來。

（2）圖像預(yù)處理。從攝像機獲得的圖片易受噪聲、陰影、光照變化的影響。對圖片進行對比度增強、圖像平滑等操作可以提升整個人臉識別系統(tǒng)的精度。同時對圖像進行圖像變換使得人臉關(guān)鍵部位在圖像中的大小和位置盡量保持一致。

（3）人臉特征提取。采用某種方法表示人臉中的特征。

（4）人臉識別。將待識別的人臉與人臉庫中已經(jīng)分好類的人臉進行聯(lián)系。這一過程又分為兩部分，人臉驗證與人臉辨識。前者驗證人臉庫中是否存在與輸入圖片相對應(yīng)的身份，計算機將給出一個真或假的二值回答。后者判斷輸入圖片對應(yīng)人臉庫中某張臉。

1.2 數(shù)據(jù)集收集

人臉數(shù)據(jù)來源于中國科學(xué)院自動化研究所（CASIA）收集的CASIA-FaceV5，其中包含500名受試者的2500幅彩色人臉圖像。

1.3 人臉定位與檢測

數(shù)學(xué)形態(tài)學(xué)提供了一組有用的方法，能夠用來調(diào)整分割區(qū)域的形狀以獲得比較理想的結(jié)果。

腐蝕是取每一個位置的鄰域內(nèi)值的最小值作為該位置的輸出灰度值。膨脹與腐蝕類似，但膨脹是取鄰域內(nèi)最大值。

為了得到一個較為準確的人臉區(qū)域，需要對人臉區(qū)域進行膨脹和腐蝕操作。膨脹的目的是是人臉區(qū)域中不廉潔的區(qū)域塊連接起來，而腐蝕的目的是使膨脹后的人臉區(qū)域變小，恢復(fù)到膨脹前大小。

一次腐蝕和膨脹后，人臉中仍存在一些離散的白色區(qū)域，可以通過再次腐蝕和膨脹來去掉白色區(qū)域。

1.4 預(yù)處理算法

1.4.1 圖像幾何變換

大小校正：人臉標準校準圖為d*d像素，將第一步分割出的圖像（大小為a*b像素）進行放大或者縮小操作。對于放大圖像中的空點，使用雙線性插值填充。

插值（x，y）為輸入圖像坐標，為輸出圖像坐標，sx和sy為水平和垂直方向上的縮放倍數(shù)。sx>1，水平方向放大，sx<1，水平方向縮小。sy同理。

雙線性插值就是對于非整數(shù)坐標處的函數(shù)值，利用它的領(lǐng)域的四個整數(shù)坐標處的函數(shù)值進行插值計算。

位置矯正：目的是使得人臉關(guān)鍵部位的位置盡量一致。使用平移變換，將圖像人臉移動到合適位置。

假設(shè)任意空間坐標（x，y）先沿x軸平移tx，再沿y軸平移ty，最后得到坐標。用矩陣表示如下：

1.4.2 圖像對比度增強

盡管我們通過各種方式采集高質(zhì)量的圖像，但是難以避免，有些圖像的質(zhì)量依舊不夠好，需要通過圖像增強技術(shù)提高其質(zhì)量。鑒于圖像可能會有噪聲影響，此次實驗采用自適應(yīng)直方圖均衡化。

灰度直方圖是圖像灰度級的函數(shù)，用來描述每個灰度級在圖像矩陣中的像素個數(shù)或者占有率。

假設(shè)輸入圖像為I，高為H，寬為W，histI代表I的灰度直方圖，histI（k）代表灰度值為k的像素個數(shù)，其中。全局直方圖均衡化操作是對圖像I進行改變，使得輸出圖像O的灰度直方圖每一個灰度級的像素點個數(shù)大致相等。公式如下：

1.5 PCA算法設(shè)計

PCA方法的基本原理是：利用K-L變換抽取人臉的主要成分，構(gòu)成特診臉空間，識別時將測試圖像投影到此空間，得到一組投影系數(shù)，通過與各個人臉圖像比較進行識別

1.5.1 特征臉空間的構(gòu)造

對于一幅M*N的人臉圖像，將其每列相連構(gòu)成一個大小為L=M*N維的列向量。L就是圖像空間的維度。設(shè)n是訓(xùn)練樣本數(shù)，xj表示第j幅人臉圖像形成的人臉列向量，則樣本協(xié)方差矩陣可得：

需要求得的新坐標系由矩陣AAT的非零特征值所對應(yīng)的特診向量組成。若直接計算，計算量較大，采用奇異值分解定理。通過求解ATA的特征值和特征向量來獲得AAT的特征值和特征向量。

奇異值分解定理如下：

設(shè)x是一個M*N維矩陣，則存在兩個正交矩陣U和V，以及對角矩陣，

它們滿足為矩陣XXT和XTX矩陣的非零特征值，uj和vj分別為和對應(yīng)于的特征向量。為奇異值。

根據(jù)SVD定理，令為矩陣ATA的r個非零特征值，vj為對應(yīng)于ATA的特征向量，則AAT的正交歸一特征向量uj為：

這樣一個降維子空間可以用于表示人臉圖像，作為人臉識別的依據(jù)。

1.5.2 訓(xùn)練樣本的特征提取

具體步驟如下：

（1）計算訓(xùn)練圖片平均臉。

（2）計算每一張人臉圖片與平均臉的差值。

（3）構(gòu)建協(xié)方差矩陣。

（4）求矩陣的特征值及其對應(yīng)的正交歸一化特征矢量。

（5）選取前幾個最大特征值及其對應(yīng)的特征向量。

（6）求協(xié)方差矩陣的正交歸一化特征向量。

（7）將每一個人臉與平均臉的差值矢量投影到“特征臉”空間。

1.5.3 基于特征臉的人臉識別

把待識別的人臉圖像投影到特征臉空間得到人臉圖像。

并定義閾值：

人臉識別時用歐氏距離來計算待識別人臉與平均臉之間的距離，

為了區(qū)分人臉和非人臉，還需要計算原始圖像與由特征臉空間重構(gòu)的圖像之間的距離：

人臉分類的規(guī)則如下：

（1）若>=，則輸入圖像不是人臉圖像;

（2）若<且，則輸入圖像包含未知人臉;

（3）若<且，則輸入圖像為庫中第k個人的人臉。

1.6 KNN算法設(shè)計

KNN算法又稱為K近鄰是一種分類算法，利用特征值之間的距離來進行分類，輸入需要預(yù)測向量x，選取距離x最近的k個向量的集合，預(yù)測x的類別為集合中類別數(shù)最多類別。KNN算法簡單清晰，算法的穩(wěn)定性和成熟度較高，但由于KNN算法計算復(fù)雜度高，在計算兩點的幾何距離時，其運算數(shù)據(jù)規(guī)模達到平方級，在圖像分類時計算效率低。KNN算法中的參數(shù)k值的確定對KNN算法結(jié)果影響重大，如果k的值選擇偏小，就相當于是在小的領(lǐng)域進行樣本預(yù)測。由于獲取緊鄰樣本的集合，算法的近似誤差小估計誤差大，對緊鄰點和噪聲點過于敏感，容易導(dǎo)致過擬合損失分類精度;如果k值選擇偏大，選取距離遠的樣本集合，噪聲點不會對預(yù)測結(jié)果產(chǎn)生影響，但算法緊鄰誤差大，容易導(dǎo)致欠擬合。假設(shè)訓(xùn)練集為

Xx是特征向量，Yx是類別，特征向量X由一個類別的主要特征向量和它的類別組成，一定組數(shù)特征向量組成分類的集合。

其算法的描述為：

（1）計算測試數(shù)據(jù)與各個訓(xùn)練數(shù)據(jù)之間的距離（采用歐氏距離）;

（2）按照距離的遞增關(guān)系進行排序;

（3）選取距離最小的K個點;

（4）確定前K個點所在類別的出現(xiàn)頻率;

（5）返回前K個點中出現(xiàn)頻率最高的類別作為測試數(shù)據(jù)的預(yù)測分類。

這樣可以顯著提高算法的性能。

1.7 實驗結(jié)果

綜合上表可知道KNN在人臉識別中表現(xiàn)更優(yōu)秀。

2? 手勢識別

2.1 實驗數(shù)據(jù)-建立訓(xùn)練集

選取若干個差異較大相同手勢的靜態(tài)手勢圖，旋轉(zhuǎn)并進行尺寸歸一化處理建立訓(xùn)練集，在實際手勢識別過程中，通過漸進法根據(jù)人膚色，運動的連續(xù)性，手腕特征在交互的手勢圖像中提取完整的手型

數(shù)據(jù)集是在黑色的背景下進行拍攝，每個手勢選取多個差異較大靜態(tài)手勢建立數(shù)據(jù)集，將所有的圖片像素尺寸進行旋轉(zhuǎn)，縮小，剪裁調(diào)整為220像素×220像素，并進行歸一化處理。

依據(jù)手勢的不同角度將手勢分為三種不同的數(shù)據(jù)集進行不斷訓(xùn)練和評估，數(shù)據(jù)集1僅僅包含正面的角度，數(shù)據(jù)集2包含左，前，右三個角度，數(shù)據(jù)集3包含所有角度，比較三個數(shù)據(jù)集的性能，即訓(xùn)練精度，查全率，查準率。

2.2 實驗結(jié)果與分析

實驗結(jié)果表明，訓(xùn)練出的訓(xùn)練集在測試中取得了較好的識別程度，尤其是訓(xùn)練集2的訓(xùn)練精度達到了90%。

2.3 KNN算法

2.3.1 手勢識別算法

算法流程：將每一個樣本，看作一個點。1.載入數(shù)據(jù)集，對數(shù)據(jù)進行預(yù)處理，從連續(xù)交互運動的手勢視頻流中分割手型部分，分離出完整的手勢樣本x，對樣本x進行旋轉(zhuǎn)和尺寸歸一化處理。2.選擇參數(shù)k，將k的初始值設(shè)為訓(xùn)練集容量的一半，對k值的選取最好為奇數(shù)，以便于對樣本進行歸類3.確定參數(shù)k后，在訓(xùn)練集中，計算每一個樣本與待分類樣本之間的距離衡量，將計算的結(jié)果從小到大排序，取前k個點4.統(tǒng)計前k個點樣本的分類，將它作為待分類樣本的類別5.計算結(jié)果的置信度，再選擇k值進行遍歷，將置信度最大的k值進行輸出。

2.3.2 手勢識別的實現(xiàn)

輸入已經(jīng)建立好的訓(xùn)練集，開啟手勢交互視頻，手勢識別階段過程：

（1）跟蹤手部運動定位。預(yù)測手勢的輪廓位置，對于跟蹤的手部進行重新定位，如果手部重定位有效，則提取手勢輪廓;如果手部重定位無效，則先判斷跟蹤定位是否消失在人臉附近，再判斷跟蹤定位是否消失在邊界，對手部定位進行預(yù)測，重新尋找跟蹤目標直到達到要求。