反射分量分離的特征融合圖像翻拍檢測

賀惠新， 崔子棟， 周逸飛

(華僑大學 計算機科學與技術學院， 福建 廈門 362021)

隨著計算機技術的迅速發(fā)展，需要建立人與信息一一對應的安保認證技術，通過建立完整的映射網絡體系，從而確保每個人的人身、財產、隱私等的安全.與指紋、基因等人體生物特征識別系統(tǒng)相比，人臉識別系統(tǒng)更加友好，不需要人的參與配合，能在不打擾正常生活情況下解決問題.同時，通過分析人臉識別系統(tǒng)的表情、姿態(tài)等可獲得更多的有用信息.因此，人臉識別技術可用于公安系統(tǒng)、駕駛核對系統(tǒng)、監(jiān)控系統(tǒng)、銀行信用卡驗證系統(tǒng)等[1].

隨著深度神經網絡的發(fā)展，深度神經網絡在人臉識別中的應用日漸增多[2-5]，識別準確率超過人類平均水平.當前，人臉識別主要針對二維圖像或二維視頻序列[6-7]，而影響人臉識別的光照、姿態(tài)、年齡、遮擋等問題并沒有得到根本解決[8].因此，不少不法分子使用翻拍圖像偽裝自我身份，以此欺騙人臉身份認證軟件，并侵害他人利益.

目前，不少學者對翻拍圖像的識別進行研究.孫錕[9]提供一種基于局部二值模式(LBP)水印特征和細粒度識別的圖像防偽方法.Chen等[10]基于翻拍圖像與真實圖像虹膜的差別，對圖像進行翻拍檢測.文獻[11]方法是基于同態(tài)濾波的自適應補償圖像光照加強的特征，將圖像16等分，提取每一等分的八方向梯度比例特征，以此進行翻拍圖像檢測，該方法在訓練集、測試集中人數較少，且翻拍人臉與真實人臉為同一人時的效果較好；但當訓練集、測試集中人數較多時，且翻拍人臉與真實人臉為不同人時準確率快速下降.文獻[12]方法是建立翻拍圖像與活體拍攝圖像之間的梯度差異模型，并通過該模型提取三色(RGB)同道梯度特征進行分類.以上兩種方法在活體數量較少、翻拍圖像與活體拍攝圖像均屬于同一批活體時的效果較好，但當活體數量增加、翻拍圖像與活體拍攝圖像所屬群體不同時，其準確率有一定程度下降.錢蕓等[13]在液晶顯示器介質下，基于紋理、細節(jié)缺失等特征對圖像進行翻拍.本文對反射分量分離的特征融合圖像翻拍檢測進行研究.

1 基于同態(tài)濾波的反射分量分離

1.1 圖像形成模型

若用f(x，y)表示圖像，則f(x，y)可用入射分量(入射到被觀察場景的光源照射總量)、反射分量(場景中物體所反射的光照總量)兩個分量表示[14].入射分量、反射分量分別記為i(x，y)與r(x，y)，則f(x，y)為

(1)

式(1)中：反射分量r(x，y)限制在(0，1)區(qū)間內，且其性質取決于成像物體的性質.

1.2 反射分量分離

對原圖的頻率做映射后，為保持運算，根據同態(tài)濾波的方法，對原圖兩個分量做對數運算，使入射分量與反射分量從乘積關系變?yōu)榧雍完P系，即

(2)

通過構造線性算子H進行映射，使反射分量與入射分量進行不同的變換，即

H(x，y)[lnf(x，y)]=H(x，y)[lni(x，y)]+H(x，y)[lnr(x，y)].

(3)

經典的同態(tài)濾波往往用于增強高頻反射貢獻、衰減低頻照射貢獻，從而達到增強圖像細節(jié)信息的目的，其構造的高通濾波器形式為

(4)

式(4)中：γH，γL分別為高頻分量及低頻分量濾波的系數.

為使濾波器能夠將反射分量分離，將低頻分量系數γL設置為0，高頻分量γH設置為1(約束條件來源于對圖像頻率圖的擬合[15])，即

(5)

頻譜圖，如圖1所示.圖1中：q為強度；f為頻率.濾波器圖，如圖2所示.由圖1，2可知：濾波器對位于頻譜圖中心的低頻分量產生了抑制作用，而對高頻分量保持不變.由此，式(3)近似變換為

圖1 頻譜圖 圖2 濾波器圖Fig.1 Frequency spectrum diagram Fig. 2 Filter diagram

(6)

進一步可近似為

H(x，y)[lnf(x，y)]=[lnr(x，y)].

(7)

對式(7)進行變換，有

fr(x，y)=e=e.

(8)

化簡得到

fr(x，y)=r(x，y).

(9)

1.3 在翻拍圖像上的應用

翻拍圖像與活體拍攝圖像主要差別在亮度通道的信息，因此，將原RBG三通道圖像轉化為HSV(hue， saturation， value)圖像后提取亮度通道，對其進行對數變換，傅里葉變換后進行中心化.將低頻部分轉化至中心位置，高頻部分轉化至頻譜圖邊緣位置.首先，將中心化后的頻譜圖乘以改造后的濾波器；其次，對高、低頻分量進行映射，對結果去中心化后進行傅里葉反變換；最后，指數變換后轉化為原圖像.原圖，如圖3所示.原圖的傅里葉頻譜圖，如圖4所示.

圖3 原圖 圖4 原圖的傅里葉頻譜圖 Fig.3 Original diagram Fig.4 Fourier frequency spectrum diagram of original diagram

原圖濾波器變換后的頻譜圖，如圖5所示.原圖亮度通道的最終圖像，如圖6所示.

圖5 原圖濾波器變換后的頻譜圖 圖6 原圖亮度通道的最終圖像 Fig.5 Frequency spectrum diagram after filter Fig.6 Final diagram of brightness transformation of original diagram channel of original diagram

翻拍圖像，如圖7所示.翻拍圖像的傅里葉頻譜圖，如圖8所示.翻拍圖像濾波器變換后的頻譜圖，如圖9所示.翻拍圖像亮度通道的最終圖像，如圖10所示.

圖7 翻拍圖像 圖8 翻拍圖像的傅里葉頻譜圖 Fig.7 Recapture diagram Fig.8 Fourier frequency spectrum diagram of recapture diagram

圖9 翻拍圖像濾波器變換后的頻譜圖 圖10 翻拍圖像亮度通道的最終圖像 Fig.9 Frequency spectrum diagram after filter Fig.10 Brightness channel final transformation of recapture diagram diagram of recapture diagram

由圖3～10可知：翻拍圖像與活體拍攝圖像存在視覺上的差別，即圖像下半部分為非正常反光，介質較均勻的反射圖像削弱了漫反射分離，使原圖的紋理特征模糊；亮度通道強化了由于介質不同而產生的視覺差別.

將亮度通道最終圖像分別按行列做4等分劃分，整幅圖像劃分為16等分，用Sobel算子將劃分結果在八方向中進行計算[1].圖像劃分，如圖11所示.特征提取，如圖12所示.圖12中：η為準確率.

(a) 1號方向掩模 (b) 2號方向掩模 (c) 3號方向掩模 (d) 4號方向掩模 (e) 5號方向掩模

(a) 活體拍攝圖像 (b)翻拍圖像 圖12 特征提取Fig.12 Feature extraction

文中方法對文獻[11]方法進行改動，計算每個區(qū)域各方向梯度值之和占整幅圖像八方向梯度值對應總和的比例，將128(16×8)個特征通過支持向量機(SVM)進行分類，使用高斯核，對BoxConstraint，KernelScale兩參數進行優(yōu)化，模糊的紋理特征反映了直方圖聚集性被削弱，變得更為均勻.

1.4 實驗結果

將多個電信營業(yè)廳的攝像頭采集的真實信息作為正樣本，在各種復雜、惡劣環(huán)境下翻拍液晶顯示屏，以電信營業(yè)廳攝像頭翻拍的實體照片、各類證件照片作為負樣本.樣本模擬現(xiàn)實的復雜環(huán)境，具有較高的價值，共獲取翻拍圖像14 743張，活體拍攝圖像14 121張.隨機抽取翻拍圖像、活體圖像各200張進行實驗，其中，活體圖像中包含的活體數目為98個，翻拍圖像中對應的活體數量為88個.文中方法與文獻[11]，[12]方法的準確率對比，如表1所示.表1中：n為數量.

表1 文中方法與文獻[11]，[12]方法的準確率對比Tab.1 Accuracy rate comparison of method in this paper with references[11]， [12]

由表1可知：文中方法的準確率高于文獻[11]方法，但低于文獻[12]方法，因此，三通道圖像對原圖的信息造成了極大的損失.

為保留原圖信息，采用特征融合的方式構建卷積神經網絡，加入反射圖像作為新增加的通道，成為四通道圖像.

2 卷積神經網絡特征融合

2.1 CNN基礎理論

相比于傳統(tǒng)的特征提取方式，深度神經網絡(CNN)在同一個特征平面通過同一個卷積核進行卷積處理，權值共享，有效減少權值的數量.通過權值共享，神經元在圖像的不同位置能檢測到相同的特征，保證圖像的平移不變性.同時，通過二維空間中的局部感受，也可以使神經網絡從圖像的紋理、角點等特征獲取更抽象的特征量.

2.2 CNN網絡設計

針對圖像翻拍檢測設計的CNN網絡包括兩層卷積層，兩層池化層與一層全連接層.其中，池化層為最大值池化.在CNN網絡中，首先，保留圖像的RGB三通道，將新產生的反射圖像加入到輸入中，作為圖像第四層通道進行卷積操作，filter數量為8，卷積核大小為3×3，步長為1，padding方式為same，channel為8；其次，最大值池化，卷積核大小為2×2，步長為2，再對最大值池化后的圖像進行第二次卷積操作，filter數量為16，卷積核大小為3×3，步長為1，padding方式為same；再次，將卷積操作后的結果進行第2次最大值池化，卷積核大小為2×2，步長為2；最后，將池化結果展開為一維張量，并通過全連接網絡得到最終結果.

2.3 實驗分析

2.3.1 新加入特征實驗 使用電信營業(yè)廳攝像頭的真實信息，獲取活體數量為947的1 000個樣本(正樣本為500，負樣本為500).每組樣本以迭代的形式做5組實驗，每組實驗迭代4次，每次迭代取收斂后預測集最好的結果，再將這些結果平均值作為最后結果.三通道輸入網絡的準確率為83.41%；加入特征的四通道輸入神經網絡的準確率為88.83%.樣本數據集，如圖13所示.模型準確率隨活體數量變化圖，如圖14所示.

(a) 翻拍圖像

圖14 模型準確率隨活體數量變化圖Fig.14 Accuracy of model varies with number of living bodies diagram

由圖14可知：加入提取的出反射分量后，較為簡單的神經網絡獲得了更好的準確率，其原因在于深度較小、結構簡單的神經網絡無法很好地提取復雜的特征(由頻率域獲得的反射分量特征)，通過增加人工特征的方法可以在不增加網絡復雜性的情況下提高準確率.相比于直接使用深度神經網絡的方式，文中方法可以減少深度神經網絡的深度，產生更少的計算復雜度.

2.3.2 特征融合后神經網絡穩(wěn)定性實驗 實驗使用電信營業(yè)廳攝像頭的真實信息，獲取圖像數量為200，400，600，800，1 000的5組樣本.

每組樣本按8∶2的形式劃分為訓練集與預測集，訓練集以迭代的形式做5組實驗，每組實驗迭代4次，并對小批量梯度下降進行優(yōu)化.首先，每次迭代前都重新打亂訓練集，更改樣本進入順序.其次，每次迭代選取收斂后的預測集準確率最高的模型.最后，將5個模型對預測集準確率的平均值作為該樣本組的實驗結果.

根據文獻[11]，[12]方法訓練，對5組樣本按8∶2劃分為訓練集與測試集，并對每組樣本相互獨立地進行3次實驗，將3次實驗的平均值作為該樣本組的實驗結果.

文中方法與文獻[11]，[12]方法的神經網絡穩(wěn)定性對比，如表2所示.

表2 文中方法與文獻[11]，[12]方法的神經網絡穩(wěn)定性對比Tab.2 Accuracy rate comparison of neural network stability in this paper with references[11]， [12]

由表2可知：當樣本數量較小、活體數量較少時，文中方法的神經網絡由于樣本數量較少，準確率略低于文獻[12]方法，但高于文獻[11]方法；當活體數量達到395，正負樣本總數達到400時，文獻[11]，[12]的方法達到收斂；隨著活體數量的增多，樣本數量的增加，文獻[11]，[12]方法的準確率不斷下降，而文中方法的3組實驗(活體數分別為574，758，947)的準確率保持穩(wěn)定上升.

文獻[11]，[12]方法在活體數量較小時有一定的分辨能力，但隨著活體數量的增加，訓練集復雜情況的提升，適應力較文中方法略有不足.主要原因是翻拍檢測的目的均在于檢測反射分量，或加強反射分量.文獻[11]，[12]方法是基于同態(tài)補償的翻拍圖像檢測，僅僅增強了圖像的對比度.提取反射分量特征主要是計算梯度，文獻[11]，[12]方法對反射分量的特征提取不如文中方法直接，當活體數量較少時，通過增強圖像對比度可以強化翻拍圖像與真實圖像的差別，但當活體數量較多時，由于人臉數量增多及樣本量的增加，文獻[11]，[12]方法不能較好地進行分類，從而無法成功識別翻拍圖像.

3 結束語

針對圖像翻拍檢測，提出了一種通過分離圖像反射分量，將其作為新通道加入到原圖像，構成四通道簡單神經網絡的方法.經過實驗證明，該方法在硬件設備較低廉，拍攝環(huán)境復雜，干擾噪音較多，活體數量較大的環(huán)境下，有較高且穩(wěn)定的準確率、較好的魯棒性及使用價值.