基于改進(jìn)MTCNN 的動態(tài)人臉識別系統(tǒng)設(shè)計(jì)

胡渲

（四川大學(xué)視覺合成圖形圖像技術(shù)國防重點(diǎn)學(xué)科實(shí)驗(yàn)室計(jì)算機(jī)技術(shù)系，成都610041)

0 引言

人臉識別，就是計(jì)算機(jī)根據(jù)人臉的特征判斷人物身份。傳統(tǒng)人臉識別技術(shù)的核心是根據(jù)人臉圖像的各個像素分布情況計(jì)算得到描述個體身份的特征描述子，使用這些特征描述子來進(jìn)行身份匹配。隨著深度學(xué)習(xí)的興起，人臉識別領(lǐng)域得到了長足的發(fā)展，深度學(xué)習(xí)使得人臉識別相比傳統(tǒng)方法的速度和準(zhǔn)確率都有很大的提升。深度學(xué)習(xí)的主要優(yōu)勢是它們可以利用大量的數(shù)據(jù)進(jìn)行訓(xùn)練，在訓(xùn)練的過程中逐漸適應(yīng)不同的情況，學(xué)習(xí)到表征這些數(shù)據(jù)的最佳特征。雖然深度學(xué)習(xí)方法比傳統(tǒng)方法更能夠應(yīng)對復(fù)雜的外部環(huán)境，但是依然做不到完全忽視各種變化的場景。非限制條件下的人臉識別存在人物姿態(tài)不固定、表情變化多、光照條件復(fù)雜和面部容易有遮擋物等情況，對人臉識別存在巨大挑戰(zhàn)。

基于以上背景，為了將人臉識別應(yīng)用到非限制條件下，本文提出基于特征融合的MTCNN[1]人臉檢測算法，結(jié)合VGG-16[2]添加Inception[3]結(jié)構(gòu)的人臉識別網(wǎng)絡(luò)設(shè)計(jì)了一套動態(tài)人臉識別系統(tǒng)，并利用KCF[4]跟蹤算法減輕客戶端GPU 壓力。

1 MTCNN與特征融合

1.1 MTCNN介紹

MTCNN 中的MT 代表多任務(wù)學(xué)習(xí)，在同一個任務(wù)中同時(shí)進(jìn)行“識別人臉”、“邊框回歸”與“人臉關(guān)鍵點(diǎn)識別”。在工程實(shí)踐中，MTCNN 是一種檢測速度和準(zhǔn)確度都很優(yōu)秀的算法。MTCNN 利用三層級聯(lián)架構(gòu)，同時(shí)實(shí)現(xiàn)圖像中人臉檢測和人臉關(guān)鍵點(diǎn)定位。

如圖1 所示，MTCNN 由三個網(wǎng)絡(luò)組成：P-Net、RNet 和O-Net。對MTCNN 的三個階段的簡單解釋如下：

圖1 MTCNN網(wǎng)絡(luò)結(jié)構(gòu)[1]

第一層網(wǎng)絡(luò)P-Net：首先將圖片進(jìn)行多級縮放。使用12×12，步長為2 的滑動窗口，對每種縮放尺度的圖片進(jìn)行滑動檢測。小圖片能夠檢測到大人臉，大圖片能夠檢測到小人臉。對所有檢測到的人臉框進(jìn)行非極大值抑制，得到人臉框，再將人臉框轉(zhuǎn)換到原始尺寸，對短邊進(jìn)行填充，轉(zhuǎn)化為24×24 的正方形。第二層網(wǎng)絡(luò)R-Net：將上一級多個24×24 的人臉輸入網(wǎng)絡(luò)，進(jìn)入卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行處理得到更多精確的人臉框，再進(jìn)行非極大值抑制，最后進(jìn)行尺寸變換到48×48 的正方形。第三層網(wǎng)絡(luò)O-Net：將上一級多個48×48 的人臉輸入網(wǎng)絡(luò)，得到多個更精確的框、五個人臉位置標(biāo)點(diǎn)和置信度。對人臉框進(jìn)行非極大值抑制最后得到最終所需要的人臉框。

（1）人臉二分類任務(wù)使用交叉熵?fù)p失函數(shù)：

a 為神經(jīng)網(wǎng)絡(luò)實(shí)際輸出值，yi為期望輸出值，Li為分類損失。

（2）人臉坐標(biāo)框回歸任務(wù)使用均方誤差函數(shù)：

1.2 特征融合

在傳統(tǒng)MTCNN 中進(jìn)行多尺度變換圖像預(yù)處理使用的縮放因子為0.709。這樣雖然可以將不同大小的人臉都縮放到接近12×12 大小，即模型尺度，但是依然不能夠很完美地匹配，造成一定程度的漏檢測，如圖2所示，中間部分遮擋的人臉未檢測成功。

圖2 MTCNN只能夠檢測出部分人臉

MTCNN 檢測速度已經(jīng)很快，但模型使用的卷積神經(jīng)網(wǎng)絡(luò)對復(fù)雜情況下的處理會產(chǎn)生很多漏檢和誤檢。而我們監(jiān)控人臉識別環(huán)境中存在圖像質(zhì)量差、人臉大小不一的情況，MTCNN 人臉檢測精度將會更差，所以我們需要在大體不影響檢測速率的情況下提升人臉檢測的精度，最大程度避免各種環(huán)境干擾。

（1）特征金字塔結(jié)構(gòu)

既然MTCNN 可以在將圖片輸入神經(jīng)網(wǎng)絡(luò)之前將圖片進(jìn)行多尺度變換，以識別到不同尺度的人臉，同理也可以將不同層次的神經(jīng)特征進(jìn)行融合，即使用特征金字塔結(jié)構(gòu)以此提高對不同大小的人臉的檢測率。

從圖3 的特征金字塔網(wǎng)絡(luò)結(jié)構(gòu)可以看出，它主要分為自頂向下結(jié)構(gòu)和水平連接結(jié)構(gòu)。自下而上的過程是卷積神經(jīng)網(wǎng)絡(luò)中正向傳播的過程。底部圖像是輸入圖像。在向頂層卷積的過程中，特征圖的大小越來越小，卷積核的數(shù)量在增加，而卷積神經(jīng)網(wǎng)絡(luò)特征提取功能意義越來越抽象。MTCNN 使用的標(biāo)準(zhǔn)卷積神經(jīng)網(wǎng)絡(luò)將使用最后一個卷積層的高級特征進(jìn)行面部檢測。這樣僅使用高級特征，而完全丟失了低級特征、邊緣和其他信息的位置。在特征金字塔中，自頂向下是一個上采樣過程，頂部最抽象的特征上采樣之后和原神經(jīng)網(wǎng)絡(luò)上一級的特征進(jìn)行融合，它們的尺寸必須一致，根據(jù)圖3 的結(jié)構(gòu)一層一層的向下融合，最后每一層都輸出結(jié)果。

圖3 特征金字塔結(jié)構(gòu)

MTCNN 中的三個級聯(lián)的卷積神經(jīng)網(wǎng)絡(luò)使用最后一層的輸出作為特征，但是每一個卷積神經(jīng)網(wǎng)絡(luò)最后一層都是高分辨率特征，沒有利用到當(dāng)前神經(jīng)網(wǎng)絡(luò)前面幾層的低分辨率特征，對信息的利用不足，就會導(dǎo)致MTCNN 對低分辨率的特征表現(xiàn)力不足，不容易檢測到多尺度變換后中間尺度的人臉。在不同部分的神經(jīng)網(wǎng)絡(luò)內(nèi)部進(jìn)行特征融合，可以更好地利用圖像信息，使得不同尺度大小的人臉都有更平等的機(jī)會被檢測出來。而且特征融合是在卷積之后的特征之間進(jìn)行融合，可以最大限度的減少因?yàn)槿诤蠋淼男阅軗p耗。

（2）特征融合MTCNN 測試

特征融合MTCNN 采用WIDER FACE 人臉數(shù)據(jù)集進(jìn)行訓(xùn)練，WIDER FACE 是香港中文大學(xué)收集的非限制條件下的人臉數(shù)據(jù)庫，包含不同尺寸、光照、姿態(tài)等情況的人臉，在WIDER FACE 人臉數(shù)據(jù)上進(jìn)行訓(xùn)練，對監(jiān)控環(huán)境下的動態(tài)人臉識別系統(tǒng)具有重要意義。

使用FDDB 測試集進(jìn)行人臉檢測測試，使用檢測準(zhǔn)確率Acc進(jìn)行評估，公式如下：

檢測結(jié)果如圖4。

圖4 特征融合MTCNN與MTCNN性能測試結(jié)果

在特征融合之后MTCNN 檢測準(zhǔn)確率有了明顯的提升，每一層網(wǎng)絡(luò)特征融合MTCNN 都比原MTCNN 網(wǎng)絡(luò)準(zhǔn)確率高2%左右，可以更好地檢測到不同大小的人臉，符合我們的應(yīng)用需求。

2 動態(tài)人臉識別系統(tǒng)設(shè)計(jì)

動態(tài)人臉識別一般是使用監(jiān)控?cái)z像頭進(jìn)行識別，在監(jiān)控的環(huán)境下，人臉識別技術(shù)面臨非常多的不確定因素的挑戰(zhàn)。在監(jiān)控畫面中雖然有時(shí)人物會不自覺的看向攝像頭，但是大多數(shù)時(shí)候我們拍攝到的都是人物的側(cè)臉。甚至有時(shí)候人物會佩戴面部遮擋飾品，例如帽子、眼睛、口罩等。在有的情況下為了拍攝到更大范圍的人臉，人臉在畫面中的比例容易變得很低，導(dǎo)致人臉分辨率很低。監(jiān)控環(huán)境下陽光的變化也容易很劇烈，晴天、雨天、早上、傍晚都會影響人物的面部特征?；谝陨蠈ο嚓P(guān)問題的研究（包括對人臉檢測與識別的研究），以及基于本文系統(tǒng)需求分析與實(shí)際算法使用，我們設(shè)計(jì)了一套可以用于監(jiān)控場景下的人臉識別系統(tǒng)。

2.1 功能架構(gòu)

整個動態(tài)人臉識別系統(tǒng)基于C++語言開發(fā)，利用QT 形成一套完整的系統(tǒng)界面，包含登錄、注冊、檢測、識別、刪除、查詢六大模塊，如表1。

表1 功能架構(gòu)

2.2 邏輯架構(gòu)

本系統(tǒng)的邏輯架構(gòu)主要分為客戶端和服務(wù)端。

客戶端完成人臉檢測和KCF 人臉跟蹤的功能，服務(wù)端提供人臉特征的提取與數(shù)據(jù)庫對比特征的功能，最終向客戶端返回識別到的人的信息。

圖5 邏輯架構(gòu)

2.3 模塊詳細(xì)設(shè)計(jì)

（1）登錄

客戶端使用HTTP（post）請求向服務(wù)端發(fā)送JSON包進(jìn)行登錄。服務(wù)端接收到用戶名和密碼之后進(jìn)行驗(yàn)證，如果驗(yàn)證通過，服務(wù)端將隨機(jī)生成32 位的ses?sion_id 發(fā)送給客戶端。從此這個32 位的session_id 將成為客戶端和服務(wù)端的通信標(biāo)識，每次傳輸JSON 數(shù)據(jù)包都將驗(yàn)證session_id，如果不一致，將拒絕接收數(shù)據(jù)包。

（2）注冊

在客戶端上傳人臉圖片，填寫姓名編號?？蛻舳藢⑦M(jìn)行人臉檢測，如果沒有識別到人臉，將提示重新上傳含有人臉的圖片。如果檢測到有人臉，將人臉圖片、人臉框、姓名、編號、指定庫名稱等信息一起通過HTTP（post）請求傳輸給服務(wù)端，服務(wù)端將注冊人信息存入數(shù)據(jù)庫，并返回相應(yīng)狀態(tài)信息。

（3）檢測

對攝像頭輸出的幀序列進(jìn)行人臉檢測，將檢測到的人臉位置交給KCF 進(jìn)行跟蹤，同時(shí)交給服務(wù)端進(jìn)行人臉識別?？蛻舳说却?wù)端返回的人臉識別信息，將識別到的人臉信息顯示到界面上。為了防止KCF跟蹤失效以及不能識別新出現(xiàn)的人臉，每10 幀圖像客戶端將再進(jìn)行MTCNN 人臉檢測，將所有檢測到的人臉發(fā)送給服務(wù)端進(jìn)行識別，同時(shí)更新現(xiàn)有的KCF 跟蹤人臉框。

（4）識別

為了更快速、準(zhǔn)確地進(jìn)行人臉識別，我們設(shè)計(jì)了一種在VGG-16 基礎(chǔ)上添加Inception 結(jié)構(gòu)的人臉識別網(wǎng)絡(luò)。適當(dāng)?shù)奶砑覫nception 結(jié)構(gòu)可以將網(wǎng)絡(luò)設(shè)計(jì)的更寬更深，提高模型提取魯棒特征的能力。服務(wù)端在接收到待識別人臉圖片后，通過人臉識別網(wǎng)絡(luò)提取768 個特征，將其與數(shù)據(jù)庫中所有已注冊的人臉特征進(jìn)行對比，分?jǐn)?shù)最高且超過設(shè)定閾值的人臉特征即識別到的人臉，將識別信息打包返還給客戶端。

（5）刪除

刪除功能是刪除注冊的人臉，客戶端中指定注冊庫名稱，輸入待刪除注冊人臉的姓名或者工號，將信息打包發(fā)送給服務(wù)端，服務(wù)端將在指定注冊庫中執(zhí)行刪除注冊人臉操作，并返回是否刪除成功。

（6）查詢

查詢功能不僅可以查詢?nèi)四樖欠褡?，還可以查詢識別記錄。服務(wù)端在進(jìn)行人臉識別的時(shí)候，會將識別到的信息存入本地，客戶端填寫查詢時(shí)間段、個人信息、最低相似度等信息，發(fā)送到服務(wù)端，服務(wù)端將在數(shù)據(jù)庫中篩選檢索并返回結(jié)果。

3 程序運(yùn)行界面效果

圖6 為動態(tài)人臉識別系統(tǒng)運(yùn)行界面，最上方為識別、注冊、檢測、查詢四大功能。在識別界面可以選擇M:N、1:N、1:1 三種工作模式。左邊為識別記錄，右邊是實(shí)時(shí)識別效果，即使人物運(yùn)動快速，也能夠準(zhǔn)確的跟蹤。

圖6 動態(tài)人臉識別系統(tǒng)運(yùn)行界面

根據(jù)測試，在NVIDIA GTX 1050 Ti、注冊庫5 萬人、同屏人數(shù)7 人的條件下，動態(tài)人臉識別能夠達(dá)到30FPS。

4 結(jié)語

本文介紹了二維人臉識別技術(shù)的研究現(xiàn)狀，針對MTCNN 人臉檢測方法有部分人臉漏檢的情況，提出了一種在不同網(wǎng)絡(luò)結(jié)構(gòu)內(nèi)部進(jìn)行特征融合的方法，有效提高了MTCNN 網(wǎng)絡(luò)的檢測準(zhǔn)確率。在設(shè)計(jì)動態(tài)人臉識別系統(tǒng)的過程中，針對不同的用戶需求設(shè)計(jì)了六大基本功能：登錄、注冊、檢測、識別、刪除、查詢。在客戶端的設(shè)計(jì)中本文利用了KCF 目標(biāo)跟蹤算法，有效地降低了客戶端GPU 的運(yùn)算壓力，在實(shí)際運(yùn)用過程中，可以有效地降低設(shè)備購置成本，降低能源消耗。最后展示了動態(tài)人臉識別系統(tǒng)的運(yùn)行界面，達(dá)到了實(shí)時(shí)運(yùn)算，且準(zhǔn)確率高的目標(biāo)。