基于超分辨率重建的低分辨率人臉識別

趙 驍，陳 勇，李一洋

（北方自動控制技術(shù)研究所，太原 030006）

0 引言

人臉識別技術(shù)在單兵領(lǐng)域有著廣泛的應(yīng)用，其重要性不言而喻。通過人臉識別技術(shù)進行敵我識別，可以獲取關(guān)鍵的戰(zhàn)術(shù)信息，輔助指揮員作出重要決策，實現(xiàn)對戰(zhàn)場態(tài)勢的實時把控。單兵作戰(zhàn)時，往往面臨著復(fù)雜的作戰(zhàn)環(huán)境，這就導(dǎo)致應(yīng)用于單兵作戰(zhàn)的人臉識別也受到了惡劣環(huán)境的影響。在復(fù)雜的環(huán)境中，采集到的人臉圖像往往會存在著低畫質(zhì)、低分辨率的問題。這種情況下，人臉識別的精度受到了很大的影響。

軍事場景中，提高低分辨率人臉識別的準確率具有重要意義。隨著科技的不斷發(fā)展，軍事情報的收集和作戰(zhàn)行動都越來越多地依賴于人臉識別的技術(shù)。然而，實際應(yīng)用中，由于各種條件的限制，低分辨率人臉識別率往往較低，這給軍事情報的收集和作戰(zhàn)行動帶來了諸多困難和挑戰(zhàn)。

提高低分辨率人臉識別的準確率，可以幫助軍方更加準確地識別敵我雙方的人員。在軍事情報收集中，敵方人員的身份識別是至關(guān)重要的，而敵方往往會采取各種手段來限制情報的獲取，其中，包括了對人臉圖像進行故意模糊化處理。如果能夠提高對低分辨率人臉的識別率，就能夠更好地識別敵方人員的身份，為軍事情報的收集提供更加準確的數(shù)據(jù)支持。其次，提高低分辨率人臉識別的準確率可以幫助軍方更好地進行目標追蹤和監(jiān)視。在作戰(zhàn)行動中，軍方往往需要對目標進行追蹤和監(jiān)視，而目標往往會采取各種手段來隱藏身份和行蹤。如果能夠提高對低分辨率人臉的識別準確率，就能夠更好地對目標進行追蹤和監(jiān)視，為作戰(zhàn)行動提供更加準確的情報支持。此外，提高低分辨率人臉識別的準確率，還可以幫助軍方更好地進行反恐作戰(zhàn)和打擊犯罪活動。提高軍事場景中低分辨率人臉識別的準確率具有非常重大的意義。不僅可以幫助軍方更好地進行情報收集、作戰(zhàn)行動、反恐作戰(zhàn)、打擊犯罪活動、邊境管控和入境檢查，還可以提高國家安全的整體水平。因此，軍事科研機構(gòu)和企業(yè)應(yīng)該加大對低分辨率人臉識別技術(shù)的研發(fā)投入，不斷提高其準確率和可靠性，為軍事情報收集和作戰(zhàn)行動提供更加強大的技術(shù)支持。

由于現(xiàn)實生活中攝像頭分辨率的限制或者圖像傳輸過程中的損失，導(dǎo)致獲取的人臉圖像分辨率較低。低分辨率圖像可能會影響人臉識別系統(tǒng)的準確性和性能。因此，研究人員開始關(guān)注如何利用超分辨率重建技術(shù)來提高人臉圖像的質(zhì)量，從而改善人臉識別的效果。本文的研究內(nèi)容如圖1 所示，利用人臉超分辨率重建技術(shù)對低分辨率人臉進行處理。對人臉進行超分辨率重建可以提高識別的準確性，通過提高人臉圖像的分辨率和清晰度，可以提高人臉識別系統(tǒng)的準確性和魯棒性，從而降低誤識率；增強細節(jié)信息，高分辨率圖像能夠提供更多的細節(jié)信息，有助于更準確地捕捉人臉的特征，提高識別的精確度；改善圖像質(zhì)量，通過超分辨率重建技術(shù)，可以改善低分辨率圖像的質(zhì)量，使得圖像更加清晰自然，提高用戶體驗。

圖1 研究內(nèi)容Fig.1 Research contents

超分辨率重建在人臉識別領(lǐng)域的研究主要包括以下幾個方面：

基于深度學(xué)習(xí)的超分辨率重建算法：研究人員正在開發(fā)深度卷積神經(jīng)網(wǎng)絡(luò)，通過開發(fā)深度卷積神經(jīng)網(wǎng)絡(luò)來實現(xiàn)超分辨率人臉圖像重建，從而研究低分辨率和高分辨率圖像之間的關(guān)系［1］。結(jié)合生成對抗網(wǎng)絡(luò)的超分辨率重建算法：利用生成對抗網(wǎng)絡(luò)（GAN）的思想，設(shè)計可以生成高質(zhì)量人臉圖像的超分辨率重建模型。融合圖像修復(fù)和超分辨率重建技術(shù)結(jié)合圖像修復(fù)技術(shù)，對低分辨率圖像中的噪聲和失真進行修復(fù)，然后再進行超分辨率重建，以提高人臉圖像的質(zhì)量。

超分辨率重建在人臉識別領(lǐng)域的研究仍在不斷深入，未來有望通過更加精確的超分辨率重建技術(shù)來提高人臉識別系統(tǒng)的性能和效果。

1 超分辨率重建

1.1 方法介紹

超分辨率重建是一種通過使用計算機算法來提高圖像或視頻分辨率的技術(shù)［2］。它可以通過增加像素數(shù)量或者利用圖像中的信息，來提高圖像的清晰度和細節(jié)。這種技術(shù)在圖像處理、視頻處理和計算機視覺領(lǐng)域得到了廣泛的應(yīng)用，可以用于提高低分辨率圖像的質(zhì)量，增強圖像的細節(jié)和清晰度。超分辨率重建的方法包括插值法、深度學(xué)習(xí)和圖像修復(fù)等。超分辨率重建在人臉識別領(lǐng)域中的應(yīng)用非常廣泛，其中，基于深度學(xué)習(xí)的超分辨率重建算法被廣泛采用。目前有兩種應(yīng)用較為廣泛的算法，SRCNN（super-resolution convolutional neural network）算法：是一種基于卷積神經(jīng)網(wǎng)絡(luò)的超分辨率重建算法，其主要思想是利用多層卷積神經(jīng)網(wǎng)絡(luò)研究低分辨率和高分辨率圖像之間的關(guān)系［3］。SRCNN 算法在訓(xùn)練過程中使用了大量的高分辨率圖像和對應(yīng)的低分辨率圖像，通過不斷迭代優(yōu)化網(wǎng)絡(luò)參數(shù)，最終可以得到一個能夠?qū)⒌头直媛蕡D像轉(zhuǎn)換為高分辨率圖像的模型［4］。在人臉識別領(lǐng)域，SRCNN 算法可以用于將低分辨率的人臉圖像轉(zhuǎn)換為高分辨率的圖像，從而提高人臉識別的準確率。SRGAN（super-resolution generative adversarial network）算法：是一種基于生成對抗網(wǎng)絡(luò)的超分辨率重建算法，其主要思想是通過兩個神經(jīng)網(wǎng)絡(luò)相互博弈來實現(xiàn)圖像的超分辨率重建［5］。其中，一個神經(jīng)網(wǎng)絡(luò)（生成器）用于將低分辨率圖像轉(zhuǎn)換為高分辨率圖像，另一個神經(jīng)網(wǎng)絡(luò)（判別器）用于判斷生成器生成的圖像是否與真實的高分辨率圖像相似。在訓(xùn)練過程中，生成器和判別器不斷交替進行迭代，最終生成一個能夠?qū)⒌头直媛蕡D像轉(zhuǎn)換為高分辨率圖像的模型。在人臉識別的領(lǐng)域，SRGAN 算法可以用于增加低分辨率人臉圖片的細節(jié)，從而使得低分辨率人臉在識別過程能夠更加容易地被識別出來［6］。如今，廣泛使用的人臉識別算法往往側(cè)重于高質(zhì)量的人臉捕捉，而對于在復(fù)雜作戰(zhàn)場景中拍攝的低質(zhì)量人像，如果在不經(jīng)過處理的條件下直接進行識別，識別率往往會大打折扣。因此，在真實的作戰(zhàn)場景中，獲取的低分辨率人臉圖像如何實現(xiàn)精準的識別，成為了亟待解決的難點。目前，對于低分辨率人臉識別常用的方法有以下4 種：超分辨率重建的方法、提取低分辨率圖像特征的方法、模糊矯正的方法以及統(tǒng)一特征空間的方法［7］。

在現(xiàn)有的方法中，超分辨率重建是比較有效且可行性強的一種方案。人臉超分辨重建（face superresolution reconstruction）屬于超分辨率重建的一個部分，對此人們已經(jīng)做了許多相關(guān)的學(xué)習(xí)與研究。雖然圖像的視覺效果與識別率在理論上并不沖突，但在一些研究中發(fā)現(xiàn)，重建后圖像的視覺效果與實驗中指標的表現(xiàn)并不完全一致。然而，現(xiàn)有的大部分算法側(cè)重于研究人臉重建后的視覺效果，而沒有將重建后的模型應(yīng)用于人臉識別的相關(guān)工作中。本文引入識別過程，關(guān)注重建模型是否能使低分辨率人臉的識別率得到明顯提升。

1.2 算法原理

本文提出了圖像超分辨率重建算法SRR，核心思想是利用深度學(xué)習(xí)和生成對抗網(wǎng)絡(luò)，來學(xué)習(xí)并重建高分辨率圖像，從而在保持圖像細節(jié)的同時提高圖像的清晰度和真實感。SRR 算法的結(jié)構(gòu)如圖2 所示。SRR 算法的原理可以分為兩個主要部分：生成器和判別器。生成器負責將低分辨率的輸入圖像轉(zhuǎn)換為高分辨率的輸出圖像，而判別器則負責評估生成器生成的圖像是否真實。

圖2 SRR 算法結(jié)構(gòu)Fig.2 Structure of SRR algorithm

SRR 的生成器是基于深度卷積神經(jīng)網(wǎng)絡(luò)（CNN）的結(jié)構(gòu)，如圖3 所示，它由多個卷積層、反卷積層和殘差連接組成。生成器的主要任務(wù)是將低分辨率的輸入圖像轉(zhuǎn)換為高分辨率的輸出圖像，同時盡可能保留圖像的細節(jié)和紋理。為了實現(xiàn)這一目標，SRR 采用了殘差學(xué)習(xí)的思想，即通過殘差連接將輸入圖像的細節(jié)信息直接傳遞到輸出圖像中，從而減少信息丟失和模糊現(xiàn)象。在SRR 的生成器中，首先通過多個卷積層對輸入圖像進行特征提取和抽象表示，然后通過反卷積層逐步將特征圖放大到目標的分辨率。在這個過程中，生成器通過多層的殘差連接來學(xué)習(xí)和保留圖像的細節(jié)信息，從而使得輸出圖像更加清晰和真實。此外，為了進一步提高圖像的質(zhì)量，SRR還引入了像素對齊和通道注意力機制，以增強對細節(jié)和紋理的學(xué)習(xí)能力，并減少圖像的偽影和失真。

圖3 生成器的結(jié)構(gòu)Fig.3 Structure of generator

SRR 的判別器是一個基于CNN 的二分類器，它的主要任務(wù)是評估生成器生成的圖像是否真實。判別器的輸入是高分辨率的真實圖像和生成器生成的高分辨率圖像，輸出則是一個二元值，表示輸入圖像是真實圖像的概率。通過對生成器生成的圖像進行評估和反饋，判別器可以指導(dǎo)生成器學(xué)習(xí)和改進，從而提高圖像的真實感和質(zhì)量。在SRR 的判別器中，通過多個卷積層和池化層對輸入圖像進行特征提取和抽象表示，然后通過全連接層將特征圖映射到二元值輸出。判別器通過不斷訓(xùn)練和學(xué)習(xí)，逐漸提高對真實圖像和生成圖像的識別能力，從而使得生成器生成的圖像更加真實和逼真。

SRR 的訓(xùn)練過程是一個基于對抗學(xué)習(xí)的過程，即生成器和判別器之間的博弈過程。在訓(xùn)練過程中，生成器通過最小化判別器的損失來提高生成圖像的真實感，而判別器則通過最大化真實圖像和生成圖像的差異來指導(dǎo)生成器的學(xué)習(xí)和改進。通過不斷的對抗學(xué)習(xí)和優(yōu)化，生成器和判別器可以逐漸達到動態(tài)平衡，從而提高圖像的超分辨率重建質(zhì)量和真實感。

2 實驗結(jié)果及分析

2.1 圖像超分辨率重構(gòu)的評價指標

超高分辨率重建研究的結(jié)果的評估通?；诜逯敌旁氡龋≒SNR）和結(jié)構(gòu)相似性（SSIM）兩個指標，它們可以較為客觀地評價重建后圖像的質(zhì)量［8］。峰值信噪比（PSNR）是評估兩幅圖像相似度的一種指標，通過兩幅圖像的像素均方誤差計算得出。對于兩幅相同尺寸的圖像P 和Q，PSNR 的計算公式如下：

其中，m，n 分別代表了圖像的長度和寬度，MAXI代表了圖像顏色點的最大值，每個采樣點都使用8 bit的圖像，MAXI=225。

結(jié)構(gòu)相似性（SSIM）是一種用于評估圖像質(zhì)量的指標，它考慮了亮度、對比度和結(jié)構(gòu)3 個方面的相似性。SSIM 指數(shù)是一種全參考的圖像質(zhì)量評價指標，即需要有原始圖像作為參考來計算圖像的相似性。SSIM 指數(shù)的計算方法基于以下3 個因素：亮度相似性，表示圖像的亮度信息的相似程度，即圖像的平均亮度和對比度；對比度相似性，表示圖像的對比度信息的相似程度，即圖像的對比度變化；結(jié)構(gòu)相似性，表示圖像的結(jié)構(gòu)信息的相似程度，即圖像的結(jié)構(gòu)變化。

對于兩幅尺寸一致的圖像P 與Q 來說，亮度對比函數(shù)、對比度對比函數(shù)，以及結(jié)構(gòu)對比函數(shù)分別定義如下：

2.2 超分辨率重建實驗

本文的訓(xùn)練數(shù)據(jù)集采用CASIA-WebFace 數(shù)據(jù)集，測試數(shù)據(jù)集采用LFW 數(shù)據(jù)集。CASIA-WebFace數(shù)據(jù)集中一共包括了494 414 幅圖像，其中，包含了10 575 個人［9-10］。在人臉識別的方向，LFW 數(shù)據(jù)集屬于常用的數(shù)據(jù)集之一，其包含了5 729 人的13 233張圖像，創(chuàng)立之初一定程度上解決了非限制的人臉識別問題。LFW 數(shù)據(jù)集中的圖像含有更豐富的變量，其中，包括了光的亮度以及人臉的面部表情等，在之前的研究中，人臉數(shù)據(jù)集通常是在相對固定的實驗環(huán)境中采集志愿者的人臉圖像得到的?，F(xiàn)實情況中，人臉識別更加需要非限制性的條件。本節(jié)首先使用PSNR 和SSIM 測試模型重建效果，并與常用的一些重建方法進行了比較。

實驗中選取的對比方法包括WaveletNet，SRGAN，VDSR，SICNN，EDSR，SRFBN。利用相同的訓(xùn)練集對選取的方法進行訓(xùn)練，來測試每個模型對于低分辨率人臉圖像的重建效果，結(jié)果如下頁表1 所示?？梢钥闯觯琒RR 模型的實驗結(jié)果在SSIM 指標中有較好的表現(xiàn)，而在PSNR 指標中相比其他方法更為領(lǐng)先。

表1 超分辨率重建測試Table 1 Super-resolution reconstruction testing

表1 展示了SRR 模型在超分辨率重建的兩個指標中的成果，下頁圖4 則更為清晰地展現(xiàn)了模型對于低分辨率圖片的處理效果。如圖4 所示，圖4 包含了兩行圖像，其中，第1 行是未處理的低分辨率人臉圖像，而第2 行則是經(jīng)過SRR 模型處理后得到的較為清晰的人臉圖像，可以看出，低分辨率人臉圖像經(jīng)過處理后可以獲得清晰的、更便于識別的人臉圖像。

圖4 模型效果展示Fig.4 Demonstration of model effects

文中提到的PSNR 與SSIM 兩個指標都是誤差敏感的評價指標，它們主要用來描述圖片重建后的視覺效果。而很多研究都已表明，基于誤差敏感的評價指標與人眼對于圖片的評判并不完全一致。主要原因是人眼對于圖片的評判系統(tǒng)是一個非常復(fù)雜的系統(tǒng)，具有非線性的特征。現(xiàn)有的研究中，還未能發(fā)現(xiàn)與人眼的評價完全一致的圖像質(zhì)量的評價指標。文中主要評述了SRR 模型對于低分辨率人臉的重建效果，為了解決根本的人臉識別問題，驗證模型對于人臉識別率的提高效果，需要對重建后的圖像進行人臉識別準確率的測試。

LFW 數(shù)據(jù)集廣泛地應(yīng)用于人臉識別的領(lǐng)域，是一個經(jīng)典的測試數(shù)據(jù)集，在人臉識別的測試任務(wù)中有一個標準的協(xié)議。本文利用LFW 數(shù)據(jù)集來進行各個模型的人臉識別測試，判別各個模型能否提高低分辨率人臉識別的精度。對比實驗的結(jié)果如表2所示，可以看出，SRR 模型測試的結(jié)果優(yōu)于大部分的對比模型。

表2 LFW 數(shù)據(jù)集下的對比實驗Table 2 Comparison experiment under LFW data set

3 結(jié)論

實際應(yīng)用的人臉識別研究過程中，低分辨率人臉識別是一個必須要面對的問題。通常只有在實驗室等一些苛刻的場景中，才能直接使用高分辨率的圖像進行人臉識別。而在復(fù)雜的作戰(zhàn)場景中，高分辨率的圖像難以獲取，必須對低分辨率的人臉圖像進行處理，來提高實際作戰(zhàn)中人臉識別的精度。本文采用超分辨率重建的方法，構(gòu)建SRR 模型，有效提高低分辨率人臉識別的準確性，最終得到的結(jié)果在視覺效果上有良好的表現(xiàn)，一定程度上也提高了低分辨率人臉識別的準確性。

無人機、監(jiān)控系統(tǒng)等偵察系統(tǒng)在發(fā)現(xiàn)和識別目標后，目標信息和坐標就在整個作戰(zhàn)平臺進行共享。之后，所有情報都會匯入大數(shù)據(jù)系統(tǒng)進行算法分析，在人工智能系統(tǒng)協(xié)助下得出最佳解決方案。最終，對偵察定位的敵方目標進行打擊，無人機還會對毀傷效果進行拍攝。通過提高在復(fù)雜作戰(zhàn)環(huán)境下低分辨率人臉識別的精度，可以有效地提高戰(zhàn)術(shù)末端作戰(zhàn)效能。利用較高精度的人臉識別，可以實現(xiàn)對戰(zhàn)場中敵軍目標的精準識別，給予指揮員關(guān)鍵目標信息，獲取敵兵力部署情況、作戰(zhàn)意圖等重要信息，輔助實現(xiàn)斬首行動、無人機偵察、智能導(dǎo)彈定位打擊等一系列軍事行動，有效提高我軍的戰(zhàn)場主動權(quán)以及綜合實力。