道路監(jiān)控視頻低清人臉重建與識別方法研究

羅莉莎 鐘嘉桐 王樹同 陳龍 邵文澤

摘 ?要： 近年來，視頻監(jiān)控在國防領(lǐng)域和城市管理中起著越來越突出的作用。文章以道路監(jiān)控視頻的低分辨率圖像為切入點，利用深度學習方法下的圖像超分辨率重建算法，訓練超分辨率模型，提高監(jiān)控視頻所記錄的低清人臉模型的精度，同時利用FaceNet算法及模型實現(xiàn)低清人臉的識別與檢測，從而完善道路視頻監(jiān)控系統(tǒng)低分辨率圖像的人臉識別與檢測。

關(guān)鍵詞： 圖像超分辨率重建算法; 超分辨率模型; 深度學習; 低分辨率圖像; 人臉識別; 人臉檢測

中圖分類號：TP391 ? ? ? ? ?文獻標識碼：A ? ?文章編號：1006-8228（2020）01-26-04

Abstract： In recent years， video surveillance plays an increasingly prominent role in the field of national defense and urban management. Taking the low resolution image of road surveillance video as the starting point， this paper uses the image super-resolution reconstruction algorithm with deep learning， trains the super-resolution model， improves the accuracy of the low-resolution human face model recorded in the surveillance video， and uses the FaceNet to realize the recognition and detection of low-resolution human face， so as to improve the face recognition and detection of the image from road video surveillance system.

Key words： image super-resolution reconstruction algorithm; super-resolution model; deep learning; low resolution image; face recognition; face detection

0 引言

對于社會治安問題和道路交通事故越來越嚴重的情況。運用科技手段強化城市道路交通管理成為交通管理部門的迫切需求。

隨著科學技術(shù)的不斷發(fā)展，圖像超分辨率重建技術(shù)和人臉識別技術(shù)越發(fā)受研究者青睞，大量研究人員通過改進圖像超分辨率算法和人臉識別技術(shù)，實現(xiàn)圖像重建分辨率和人臉識別率的提高，這一研究課題已成為當前圖像處理技術(shù)的重要研究方向。超分辨率重建技術(shù)和人臉識別與檢測的發(fā)展，強有力地彌補了城市道路監(jiān)控中傳感器硬件方面的不足，能有效地發(fā)展和完善道路視頻監(jiān)控系統(tǒng)。

1 圖像超分辨率和人臉識別技術(shù)的研究歷史及現(xiàn)狀

1.1 圖像超分辨率算法研究歷史及現(xiàn)狀

超分辨率重建技術(shù)具有重要的理論意義和應用價值，成為圖像處理、計算機視覺等領(lǐng)域的重大研究課題。

1955年，“超分辨率”首次出現(xiàn)在光學成像領(lǐng)域。1964年左右，“圖像超分辨率”被提出。隨后，超分辨率重建技術(shù)受到廣泛的關(guān)注和研究。2014年，Dong等人首次將“深度學習”應用到圖像超分辨率重建領(lǐng)域，實現(xiàn)了令人驚喜的成效。

1.2 人臉識別的研究歷史及現(xiàn)狀

人臉識別技術(shù)作為一種重要的生物特征識別技術(shù)，是模式識別研究方面的熱點課題。

近幾年，國際上許多項目將深度學習成功地運用到人臉識別中。2012 年，勒尼德·米勒研究小組率先將深度學習用于 LFW（labeled face in the wild）數(shù)據(jù)庫的人臉識別。比較知名的算法有DeepFace、DeepID、FaceNet等，在以上算法中，準確率最高的是FaceNet[1]。本課題主要應用FaceNet算法對課題的另一研究對象——圖像超分辨率模型進行驗證。

2 基于深度學習的圖像超分辨率模型的構(gòu)建

從重建算法角度看，圖像超分辨率算法可概括為三大類型：基于插值的算法、基于重構(gòu)的算法和基于學習的算法[2-3]。文章基于學習的超分辨率算法訓練圖像超分辨率重建模型，從而改善城市道路監(jiān)控視頻圖像質(zhì)量。

2.1 基于深度學習的圖像超分辨率重建技術(shù)簡介

隨著人工智能和計算機硬件的不斷發(fā)展，“深度學習”憑借著強大的擬合能力，應用于各個領(lǐng)域，特別是在圖像與視覺領(lǐng)域。

基于深度學習的圖像超分辨率技術(shù)的重建流程主要包括：①特征提?。簩斎氲牡头直媛蕡D像進行去噪、上采樣等預處理，隨后送入神經(jīng)網(wǎng)絡提取特征;②設計網(wǎng)絡結(jié)構(gòu)及損失函數(shù)：搭建網(wǎng)絡模型，并根據(jù)先驗知識設計損失函數(shù);③訓練模型：確定優(yōu)化器及學習參數(shù)，通過最小化損失函數(shù)提升模型的學習能力。④驗證模型：根據(jù)訓練后的模型通過驗證集的相關(guān)評判標準對現(xiàn)有模型做出評估和相應的調(diào)整。

2.2 重建圖像的結(jié)果評判標準

對超分辨率重建模型的圖像質(zhì)量進行分析是評價算法好壞以及準確度高低的重要準則，主要包含主觀評價和客觀評價【4】。主觀評價把人眼作為最終接收對象，通過觀察對圖像最終效果作出主觀評定?？陀^質(zhì)量評價常用的評價超分的指標分別是是PSNR和SSIM。

2.2.1 PSNR（Peak Signal to Noise Ratio）峰值信噪比

PSNR是最普遍和使用最為廣泛的一種圖像客觀評價指標，它是基于對應像素點間的誤差，即基于誤差敏感的圖像質(zhì)量評價標準。

2.3 圖像超分辨率模型（EDV模型）介紹

文章將所訓練的圖像超分辨率模型命名為“EDV”模型，該重建模型的網(wǎng)絡結(jié)構(gòu)由對稱的卷積層——反卷積層構(gòu)成，通過多個卷積神經(jīng)網(wǎng)絡實現(xiàn)圖像的重建，類似編碼——解碼結(jié)構(gòu)。以下將“EDV模型”與“SRCNN模型”進行介紹與對比。

SRCNN（Super-Resolution Convolutional Neural Network）是深度學習在超分辨率重建領(lǐng)域的開山之作[5-6]。當輸入低分辨率圖像，SRCNN通過使用雙立方插值將其放大至目標尺寸，然后利用一個三層的卷積神經(jīng)網(wǎng)絡去擬合低分辨率圖像與高分辨率圖像之間的非線性映射，最后將網(wǎng)絡輸出的結(jié)果作為重建后圖像。

與SRCNN不同，這里所使用的“EDV模型”網(wǎng)絡結(jié)構(gòu)由對稱的卷積層——反卷積層構(gòu)成，每個卷積層對應相應的反卷積層，卷積層將數(shù)據(jù)預處理后，送入神經(jīng)網(wǎng)絡進行特征提取。反卷積層放大特征的尺寸同時恢復圖像細節(jié)。其網(wǎng)絡結(jié)構(gòu)如圖1所示。

該模型通過使用多層卷積層和反卷積層獲得較大的感受野，理論上，感受野越大，學習的信息越多，準確率越大。另外，多層網(wǎng)絡的應用，能實現(xiàn)復雜的非線性映射，使重建效果更好。

2.4 EDV模型訓練過程

通過以下內(nèi)容對圖像超分辨率模型——EDV模型訓練過程進行介紹。

2.4.1 CelebA數(shù)據(jù)集簡介

CelebA數(shù)據(jù)集是香港中文大學提供的包含10177個名人身份的202599張人臉圖片的開放數(shù)據(jù)集，該人臉數(shù)據(jù)集在人臉相關(guān)的訓練中受到廣泛應用。

文章使用CelebA數(shù)據(jù)集的前兩萬張圖片作為模型訓練的數(shù)據(jù)集，將數(shù)據(jù)集進行對齊裁剪為128*128格式作為輸入。

2.4.2 模型參數(shù)設置

該模型“編碼”部分由四個卷積層構(gòu)成，對應“解碼”部分由四個反卷積層和兩個卷積層構(gòu)成。各卷積層可看成由多級組成的分級網(wǎng)絡，在每一級中，先通過級聯(lián)的卷積層提取特征，接著通過反卷積層將提取出的特征的尺寸上采樣。反卷積層后又接著兩個卷積層，一個卷積層的作用是繼續(xù)提取特征，另外一個卷積層的作用是預測出這一級的殘差。該EDV模型的網(wǎng)絡結(jié)構(gòu)具體參數(shù)見表1。

2.4.3 測試數(shù)據(jù)集降質(zhì)過程

由于實驗所用測試數(shù)據(jù)集均為高清圖像或清晰度較高的圖像，因此需要對其進行降質(zhì)獲得對應低清圖像作為模型輸入。降質(zhì)過程如圖2所示。

2.4.4 第一種訓練方案（方案一）

該EDV模型于Tensorflow平臺進行訓練，使用CelebA人臉數(shù)據(jù)集中前兩萬張圖片作為訓練集進行訓練，訓練完成后制作測試數(shù)據(jù)集，將測試圖像做下采樣增加噪聲獲得低清圖像，作為模型輸入，對應輸出SR則為重建高清圖像。

2.4.5 第二種訓練方案（方案二）

考慮到方案一的模型重建輸出圖像產(chǎn)生幾何形變以及模糊導致重建質(zhì)量不佳，為提高重建圖像與原圖像的相似度，考慮對方案一的訓練數(shù)據(jù)集做數(shù)據(jù)增強。

在對訓練數(shù)據(jù)集做平移、旋轉(zhuǎn)、翻轉(zhuǎn)之后，訓練數(shù)據(jù)集由原來的兩萬張擴充到八萬張，一定程度上增大了訓練數(shù)據(jù)集的數(shù)量，同時改善了圖像輸出效果。

3 人臉識別與檢測

3.1 FaceNet簡介

FaceNet可以用于人臉的檢測，識別和聚類。其方法主要是通過卷積神經(jīng)網(wǎng)絡的學習，把圖像映射到歐幾里得空間，根據(jù)歐式距離大小給圖像分類，距離和圖片相似度有關(guān)。

3.2 基于LFW的精度測試

LFW數(shù)據(jù)集由美國馬薩諸塞大學阿姆斯特分校計算機視覺實驗室整理，其包含13233張圖片。該數(shù)據(jù)集常用于研究非限制環(huán)境下的人臉識別問題。

經(jīng)測試驗證，官方預訓練模型精度能夠達到0.992±0.003，說明FaceNet的人臉識別和檢測的準確度較高。

3.3 FaceNet人臉識別與檢測步驟

⑴ 搭建人臉庫，從網(wǎng)上下載明星圖片并分類至對應名字的文件夾。

⑵ 圖片預處理，通過mtcnn.py程序?qū)崿F(xiàn)人臉的裁剪與對齊，實現(xiàn)圖片數(shù)據(jù)都為160*160大小的人臉。

⑶ 下載官方基于CASIA-WebFace數(shù)據(jù)集的預訓練模型。

⑷ 結(jié)合SVM訓練人臉識別系統(tǒng)，通過classifier.py用圖像算出來的向量數(shù)據(jù)來訓練一個SVM分類器，從而對人的身份進行一個判斷，同時在.pkl格式的文件中存儲每一個分類。

⑸ 通過predict.py進行人臉識別測試，compare.py進行人臉檢測測試。

4 結(jié)果與分析

4.1 測試數(shù)據(jù)集準備

在圖像超分辨率重建過程和人臉識別過程，均使用了3.3中搭建的人臉庫，從中選擇部分圖片建立測試集進行測試。

4.2 EDV模型圖像重建測試結(jié)果

將測試數(shù)據(jù)集分別通過方案一、方案二重建模型進行測試，測試結(jié)果如圖3。

通過人眼主觀視覺對比兩個方案的重建圖像可以發(fā)現(xiàn)，圖像增強后的輸出圖像在形變和模糊程度有一定減少，眼部等高頻細節(jié)較增強前有明顯改善。

4.3 人臉識別測試結(jié)果

經(jīng)predict.py測試，方案一、方案二可以準確識別身份。

4.4 人臉檢測結(jié)果

選取超分辨率模型的部分測試圖像進行人臉檢測分析，見圖4。此處僅使用方案二的輸出結(jié)果，經(jīng)過compare.py代碼的測試，重建模型輸出的圖像能準確進行人臉檢測。

4.5 結(jié)果對比與分析

4.5.1 主觀圖像質(zhì)量評價

圖5是對上述兩個訓練方案進行部分圖像對比的結(jié)果。通過人眼視覺判斷輸出圖片的效果可以看出，在對訓練數(shù)據(jù)集做了數(shù)據(jù)增強之后，重建圖像有了明顯改善。

4.5.2 客觀圖像質(zhì)量評價

由測試結(jié)果可知，兩種訓練方法都可以做到低清重構(gòu)的人臉識別，但是精度有一定差別，見表2-表3。

由測試結(jié)果可見，方案二的主觀圖像質(zhì)量評價，以及經(jīng)過圖像增強后的重構(gòu)精度和識別結(jié)果都優(yōu)于方案一。人眼主觀評價來看，即方案二的清晰度提高、失真減少。從客觀測得數(shù)據(jù)來看，方案二的PSNR與SSIM值小幅提高，閾值大幅減少。

5 結(jié)果與分析

隨著人們安全需求的提高，監(jiān)控視頻中的人臉識別準確度也需要提高，然而大多數(shù)監(jiān)控視頻中人臉的清晰度通常較低，識別準確度存在一定的問題。本文基于Tensorflow的深度學習方法，研究了低清人臉的重構(gòu)、檢測與識別，提高了一定的識別準確度，這對城市低清道路監(jiān)控系統(tǒng)有重要意義。該模型在多角度人臉的重構(gòu)、識別檢測上還存在一定局限性，需改進，此外，將其應用到視頻中進行跟蹤、捕捉也是進一步研究的方向。

參考文獻（References）：

[1] Florian Schroff， Dmitry Kalenichenko， James Philbin. FaceNet：A unified embedding for face recognition and clustering[C].In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.2015. 815-823

[2] Chang H，Yeung D Y，Xiong Y.Super-Resolution through Neighbor Embedding[C]// null.IEEE Computer Society，2004.

[3] LertrattanapanichS，Bose N K.High resolution image formation from low resolution frames using delaunay triangulation[J].IEEE Transactions on ImageProcessing，2002.11（12）：1427-1441

[4] 張漫.圖像質(zhì)量評價算法的研究[D].山東大學，2007.

[5] 孫玉寶，張錚嶸，韋志輝，et al.基于稀疏表示的圖像超分辨率重建快速算法[J].系統(tǒng)工程與電子技術(shù)，2010.32（12）：2696-2700

[6] 劉永信，段添添.基于深度學習的圖像超分辨率重建技術(shù)的研究[J].科技與創(chuàng)新，2018.119（23）：46-49

[7] 方振宇.圖像超分辨率重建技術(shù)的研究及應用[D].武漢理工大學，2012.

[8] 賈亮.圖像超分辨率重建技術(shù)研究[D].南京航空航天大學.