基于卷積神經(jīng)網(wǎng)絡(luò)級(jí)聯(lián)人臉關(guān)鍵點(diǎn)檢測(cè)算法

黃仕豪

摘要：該文提出了一種基于級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的人臉關(guān)鍵點(diǎn)檢測(cè)算法，通過(guò)105000圖片進(jìn)行數(shù)據(jù)訓(xùn)練，之后根據(jù)另外不同于數(shù)據(jù)訓(xùn)練3043張，進(jìn)行實(shí)驗(yàn)測(cè)試，最終發(fā)現(xiàn)該算法的定位準(zhǔn)確率相比于很多目前的人臉識(shí)別系統(tǒng)有了長(zhǎng)足的進(jìn)步，并且使用級(jí)聯(lián)的方式明顯優(yōu)于使用效果明顯優(yōu)于單卷積神經(jīng)網(wǎng)絡(luò)，另外雖然該算法在效率上有所下降，但是該算法配合GPU在處理一個(gè)人臉上的耗時(shí)基本在16毫秒以下，可以滿足基本使用。

關(guān)鍵詞：卷積神經(jīng)網(wǎng)絡(luò)級(jí)聯(lián);人臉關(guān)鍵點(diǎn);檢測(cè)算法

中圖分類號(hào)：TP3? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2020）23-0165-02

1 卷積神經(jīng)網(wǎng)絡(luò)介紹

所謂的卷積神經(jīng)網(wǎng)絡(luò)，其實(shí)指的是在傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)之上搭建深度學(xué)習(xí)而產(chǎn)生的一種新型人工神經(jīng)網(wǎng)絡(luò)，該神經(jīng)網(wǎng)絡(luò)具有表征學(xué)習(xí)的能力，能夠?qū)τ谳斎胄畔⑦M(jìn)行平移不變分類，目前該神經(jīng)網(wǎng)絡(luò)主要應(yīng)用在圖像識(shí)別，物體識(shí)別，行為認(rèn)知，姿態(tài)估計(jì)，神經(jīng)風(fēng)格遷移，自然語(yǔ)言處理，物理學(xué)，大氣科學(xué)等內(nèi)容之上，本文所研究的卷積神經(jīng)網(wǎng)絡(luò)級(jí)聯(lián)人臉關(guān)鍵點(diǎn)檢測(cè)算法主要是圖像識(shí)別領(lǐng)域的內(nèi)容。

2 基于卷積神經(jīng)網(wǎng)絡(luò)級(jí)聯(lián)人臉關(guān)鍵點(diǎn)檢測(cè)算法介紹

通過(guò)研究發(fā)現(xiàn)，使用單個(gè)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行人臉關(guān)鍵點(diǎn)定位其精度方面與所達(dá)目標(biāo)有一定的差距，因此本文所研究的人臉關(guān)鍵點(diǎn)定位算法主要基于卷積神經(jīng)網(wǎng)絡(luò)的級(jí)聯(lián)方式進(jìn)行，具體操作的邏輯為先輸入整張人臉，之后根據(jù)輸入的人臉進(jìn)行縮放，本次算法縮放的單元大小為112*112，之后使用第一層卷積神經(jīng)網(wǎng)絡(luò)作為初步定位（包含1個(gè)卷積神經(jīng)網(wǎng)絡(luò)）使用，主要是用于定位關(guān)鍵點(diǎn)，包含了人的眼睛（2個(gè)點(diǎn)）鼻子，左右嘴角（2個(gè)點(diǎn)）共計(jì)5個(gè)點(diǎn)，之后在根據(jù)卷積神經(jīng)網(wǎng)絡(luò)所定為到的關(guān)鍵點(diǎn)計(jì)算出雙眼中心到左右兩側(cè)嘴唇之間的距離，并將此距離縮放到48，在縮放完成之后，在對(duì)所呈現(xiàn)的圖像進(jìn)一步進(jìn)行裁剪處理，以卷積神經(jīng)網(wǎng)絡(luò)所定位的關(guān)鍵點(diǎn)為中心裁剪出五個(gè)單元格為32*32大小的圖像，第二層卷積神經(jīng)網(wǎng)絡(luò)（包含6個(gè)神經(jīng)網(wǎng)絡(luò)）則是完成人臉關(guān)鍵點(diǎn)的精確定位，主要是針對(duì)第一層所定為位置進(jìn)行再次定位，具體是將采集到的32*32的圖像（5個(gè)）再次進(jìn)行關(guān)鍵點(diǎn)定位，該定位所得到的坐標(biāo)相較于第一卷積神經(jīng)網(wǎng)絡(luò)所得到的關(guān)鍵點(diǎn)坐標(biāo)要提升不少的精準(zhǔn)度，其中l(wèi)evel1中闡述的是第一個(gè)卷積神經(jīng)網(wǎng)絡(luò)的內(nèi)容，包含Resize（縮放）兩次，CNNF1（1次為第一個(gè)卷積神經(jīng)網(wǎng)絡(luò)的定位），level2為第二個(gè)卷積神經(jīng)網(wǎng)絡(luò)的定位，最終根據(jù)這兩次定位輸出最終的關(guān)鍵點(diǎn)。

3 相關(guān)訓(xùn)練

訓(xùn)練是卷積神經(jīng)網(wǎng)絡(luò)完善的重要過(guò)程，本次卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練的圖像數(shù)據(jù)是通過(guò)互聯(lián)網(wǎng)上爬取的21000張人臉圖片，對(duì)于所有的人臉圖片都進(jìn)行關(guān)鍵點(diǎn)的標(biāo)注，為了保證訓(xùn)練的質(zhì)量，本次試驗(yàn)還將這21000張人臉圖片進(jìn)行了旋轉(zhuǎn)處理，旋轉(zhuǎn)角度分別為順時(shí)針15°和18°，以及逆時(shí)針的15°和18°，最終進(jìn)行本次訓(xùn)練的圖片總數(shù)為105000張，此也為第一層卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)，而第二層神經(jīng)網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)則為該數(shù)據(jù)的5倍（裁剪之后的效果），另外對(duì)于本次訓(xùn)練的系統(tǒng)而言主要采用的是win7、64位操作系統(tǒng)，并且其內(nèi)存為16G，顯卡為N卡1060，CPU為（inter（R）Core（TM）i7-8700CPU），并且該電腦還有4個(gè)GPU，對(duì)于本次訓(xùn)練所編寫的代碼主要通過(guò)的是Python完成的。

4 試驗(yàn)數(shù)據(jù)與分析

4.1 試驗(yàn)數(shù)據(jù)準(zhǔn)備

首先對(duì)于本文的訓(xùn)練數(shù)據(jù)與測(cè)試數(shù)據(jù)是相分離的，測(cè)試數(shù)據(jù)主要采用的是3043張的人臉圖像，測(cè)試圖像中包含了不同的角度，不同的環(huán)境光，不同的姿態(tài)以及不同的遮擋，目的在于確定本次算法在對(duì)多角度下的效果。

其次本次試驗(yàn)所得的最終定位算法數(shù)據(jù)主要通過(guò)的是誤差的方式進(jìn)行評(píng)判，誤差的判定方法主要采用的是差方值的方式進(jìn)行計(jì)算，所得的計(jì)算結(jié)果根據(jù)算法的不同進(jìn)行評(píng)判，本次算法主要與其他人員提出的算法和單層卷積神經(jīng)網(wǎng)絡(luò)算法對(duì)比，其他算法均是用于非限制環(huán)境下的人臉定位算法，這些也常被用于有著姿態(tài)變化、表情變化、遮擋物存在、環(huán)境光影響的情況之下，而單層卷積神經(jīng)網(wǎng)絡(luò)的人臉關(guān)鍵點(diǎn)檢測(cè)算法主要為卷積神經(jīng)網(wǎng)絡(luò)級(jí)聯(lián)人臉關(guān)鍵點(diǎn)檢測(cè)算法的第一層，其主要對(duì)比的目的在于驗(yàn)證是否通過(guò)第二層的卷積神經(jīng)網(wǎng)絡(luò)可以在最終的人臉關(guān)鍵點(diǎn)定位的準(zhǔn)確度有明顯提升。

最后本次試驗(yàn)還對(duì)于運(yùn)算的時(shí)間進(jìn)行了統(tǒng)計(jì)，統(tǒng)計(jì)的方法為同一個(gè)圖像迭代1000次最終的算法速度，本次目的在于驗(yàn)證本次試驗(yàn)最終的耗時(shí)。

另外本次試驗(yàn)的相關(guān)數(shù)據(jù)都是在同樣環(huán)境下進(jìn)行的，無(wú)論是Python編程所使用的線程數(shù)目還是電腦性能方面均保持一致，目的在于保證最終結(jié)果的準(zhǔn)確性。

4.2 實(shí)驗(yàn)結(jié)果

如表1為單層卷積神經(jīng)網(wǎng)絡(luò)的最終誤差和本文所提出的卷積神經(jīng)網(wǎng)絡(luò)級(jí)聯(lián)人臉關(guān)鍵點(diǎn)檢測(cè)算法的誤差對(duì)比，可以看出在左眼誤差上單卷積神經(jīng)網(wǎng)絡(luò)其左眼誤差為1.601，右眼誤差為1.564，鼻子的誤差為2.533，左側(cè)嘴角的誤差為2.125，右側(cè)的誤差為1.958。而卷積神經(jīng)網(wǎng)絡(luò)級(jí)聯(lián)其左眼誤差為0.954，右眼誤差為0.832，鼻子的誤差為1.052，左側(cè)嘴角的誤差為1.289，右側(cè)的誤差為1.230可以從結(jié)果看出卷積神經(jīng)網(wǎng)絡(luò)級(jí)聯(lián)之后的效果明顯優(yōu)于單卷積神經(jīng)網(wǎng)絡(luò)，也就是說(shuō)通過(guò)第二層對(duì)于五個(gè)部分進(jìn)行再次的卷積神經(jīng)網(wǎng)絡(luò)處理效果結(jié)果有了提升。

如表2為不同算法的誤差對(duì)比，可以從表2看出，本文所提出的相關(guān)算法，在同樣的測(cè)試環(huán)境之下，最終表現(xiàn)要比其他算法好，并且準(zhǔn)確性要高。

對(duì)于本次算法的耗時(shí)上，由于增加了算法的復(fù)雜度因此相較于單卷積神經(jīng)網(wǎng)絡(luò)時(shí)間有所提升，對(duì)于單卷積神經(jīng)網(wǎng)絡(luò)在GPU的處理之下，實(shí)現(xiàn)最終定位需要4毫秒左右，而本文的算法則需要16毫秒以下，而在CPU下本次算法所需要的耗時(shí)時(shí)間大約在25毫秒以下，通過(guò)該測(cè)試建議使用該算法在GPU下運(yùn)行，對(duì)于算法的處理速度幫助很大。

5 總結(jié)

人工智能和智能樓宇技術(shù)的發(fā)展是未來(lái)的發(fā)展趨勢(shì)，在人工智能和智能樓宇技術(shù)目前已經(jīng)發(fā)展起來(lái)并且形成了一定的產(chǎn)業(yè)模式的當(dāng)屬人臉識(shí)別系統(tǒng)，無(wú)論是相關(guān)辦公大廈的安防系統(tǒng)，還是我國(guó)著名的天網(wǎng)監(jiān)控系統(tǒng)都采用了人臉識(shí)別的元素，而對(duì)于人臉識(shí)別系統(tǒng)而言，其最為關(guān)鍵的在于尋找并且準(zhǔn)備識(shí)別和對(duì)比人臉關(guān)鍵點(diǎn)，因此本文提出了一種基于級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的人臉關(guān)鍵點(diǎn)檢測(cè)算法，并根據(jù)該算法進(jìn)行了詳細(xì)的闡述，闡述包含四部分內(nèi)容，分別為卷積神經(jīng)網(wǎng)絡(luò)介紹、基于卷積神經(jīng)網(wǎng)絡(luò)級(jí)聯(lián)人臉關(guān)鍵點(diǎn)檢測(cè)算法介紹、相關(guān)訓(xùn)練以及最終的測(cè)試，通過(guò)測(cè)試可以看出該算法的定位準(zhǔn)確率相比于很多目前的人臉識(shí)別系統(tǒng)有了長(zhǎng)足的進(jìn)步，并且使用級(jí)聯(lián)的方式明顯優(yōu)于使用效果明顯優(yōu)于單卷積神經(jīng)網(wǎng)絡(luò)，另外雖然該算法在效率上有所下降，但是該算法配合GPU在處理一個(gè)人臉上的耗時(shí)基本在16毫秒以下，可以滿足基本使用，故而本文希望能夠在不久之后可以將該算法運(yùn)用到實(shí)際之中。

參考文獻(xiàn)：

[1] 唐墨，王科俊.自發(fā)展神經(jīng)網(wǎng)絡(luò)的混沌特性研究[A]. 2009年中國(guó)智能自動(dòng)化會(huì)議論文集（第七分冊(cè)）[南京理工大學(xué)學(xué)報(bào)（增刊）][C]. 2009.

[2] 張廣遠(yuǎn)，萬(wàn)強(qiáng)，曹海源，等.基于遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)的故障診斷方法研究[A].第十二屆全國(guó)設(shè)備故障診斷學(xué)術(shù)會(huì)議論文集[C]. 2010.

[3] 胡正平，陳俊嶺，王蒙，等.卷積神經(jīng)網(wǎng)絡(luò)分類模型在模式識(shí)別中的新進(jìn)展[J].燕山大學(xué)學(xué)報(bào)，2015，39（4）：283-291.

[4] 郭天宇，朱銘健，王云鶴，等.基于自整合卷積神經(jīng)網(wǎng)絡(luò)的人臉?lè)诸愃惴╗A].第十一屆全國(guó)信號(hào)和智能信息處理與應(yīng)用學(xué)術(shù)會(huì)議專刊[C]. 2017.

[5] 王輝，楊杰，黎明，等.一種基于神經(jīng)網(wǎng)絡(luò)的圖像復(fù)原方法[A]. 2006年全國(guó)光電技術(shù)學(xué)術(shù)交流會(huì)會(huì)議文集（D光電信息處理技術(shù)專題）[C]. 2006.

【通聯(lián)編輯：代影】