信息熵加權(quán)的HOG特征提取算法研究

林克正，張元銘，李昊天

哈爾濱理工大學(xué) 計算機科學(xué)與技術(shù)學(xué)院，哈爾濱150080

1 引言

人臉識別技術(shù)始于20 世紀(jì)，是新興的綜合性的工程，涉及機器學(xué)習(xí)，數(shù)字圖像處理與模式識別等多門計算機專業(yè)課程。隨著人臉識別技術(shù)的不斷成熟，人臉識別技術(shù)越來越多地被應(yīng)用到各個領(lǐng)域，包括交通、醫(yī)藥、警務(wù)等。人臉識別極大地提高各工作部門的工作效率[1]。

人臉識別中一般包含四個環(huán)節(jié)：第（1）步，人臉圖像的初步檢測與提?。坏冢?）步，對檢測到的人臉圖像進(jìn)行預(yù)處理，包括灰度化、圖像濾波等；第（3）步，對人臉圖像進(jìn)行特征提??；第（4）步，對待識別的圖像進(jìn)行匹配與識別[2]。

梯度直方圖HOG（Histogram of Oriented Gradients）是法國研究人員Dalal在2005年CVPR會議上提出的特征提取算法，并將其與SVM 分類器配合，用于行人檢測[3]。在他的博士畢業(yè)論文中有對HOG 特征更加詳細(xì)的描述。近年來，HOG 算子被越來越多地應(yīng)用于特征提取方面并取得了很好的成就[4-6]。此外，有很多研究學(xué)者也探索了HOG 特征的潛能，對其進(jìn)行了進(jìn)一步的改進(jìn)，或者使HOG 提取過程與硬件結(jié)合發(fā)揮其更大潛力[7-8]。但在對HOG 特征的相關(guān)研究中，有的只是簡單地將HOG 特征應(yīng)用到人臉全局特征中，有的只對HOG的全局特征和局部特征進(jìn)行簡單的級聯(lián)，都沒有考慮到人臉的不同部位對于識別效果的影響。

考慮到人臉不同部位對于識別效果的貢獻(xiàn)程度不同，本文提出了一種信息熵加權(quán)的HOG 特征提取方法。該方法將人臉圖像劃分成幾部分，根據(jù)不同部分識別貢獻(xiàn)率的大小添加不同的權(quán)重，加強了人臉重要部位對于識別效果的影響，使得該算法相較于其他方法識別率大大提高，并且該算法對于人臉?biāo)哂械墓庹?、姿態(tài)表情等變換均有良好的有效性和魯棒性。

2 HOG特征提取與PCA降維

2.1 HOG特征提取

梯度直方圖HOG由法國研究人員Dalal提出。HOG算法的主要目的是將灰度化，歸一化的圖像進(jìn)行梯度計算，統(tǒng)計圖像的梯度信息[9]。

HOG特征提取的具體步驟為：

（1）對圖像進(jìn)行灰度化處理。

（2）利用Gamma方法對圖像全局歸一化。

壓縮公式為：

對于gamma 的值來說，當(dāng)gamma ＜1時，在高灰度值區(qū)域內(nèi)，動態(tài)范圍變小，圖像對比度降低，圖像整體灰度值變大，顯得亮一些gamma ＞1在低灰度值區(qū)域內(nèi)，動態(tài)范圍變小，圖像對比度降低，圖像整體灰度值變小，變得暗淡。

（3）對處理后的圖像進(jìn)行梯度大小和梯度方向的計算。

通過對像素梯度的計算能夠獲得圖像的邊緣信息，降低光照因素對于圖像識別的影響。

像素點(x,y)的梯度為：

其中H(x,y)表示像素點(x,y)的像素值，Gy(x,y)表示像素點(x,y)的垂直方向梯度，Gx(x,y)表示像素點(x,y)的水平方向梯度。

在圖像中每一個像素點(x,y)的梯度大小和方向分別為：

（4）將圖像劃分成小的細(xì)胞單元（cell）。

（5）統(tǒng)計每個cell 的梯度直方圖，即可形成每個cell的HOG特征。

本文算法中將細(xì)胞單元的梯度方向分成9個方向塊，如圖1所示。

圖1 梯度方向劃分為9個區(qū)間

（6）將幾個細(xì)胞單元（cell）組成一個塊（block）。把一個block內(nèi)所有cell的HOG特征串聯(lián)起來歸一化便得到該塊的HOG特征。

歸一化能夠克服局部光照變化和對比度變化造成的梯度變化范圍較大的影響，進(jìn)一步地對光照、陰影和邊緣進(jìn)行壓縮。

歸一化之后的塊特征描述符就稱為HOG 描述符，圖2為3×3個細(xì)胞單元組成塊的示意圖。

圖2 細(xì)胞單元組成塊

（7）將該圖像內(nèi)的所有塊的HOG 特征串聯(lián)起來就可以得到該圖像的HOG 特征了。這便是最終用于分類的整幅圖像HOG特征向量。

2.2 PCA算法

主成分分析PCA（Principal Component Analysis），也稱為卡爾胡寧-勒夫變換（Karhunen-Loeve Transform）[10-11]。PCA 通常用于高維數(shù)據(jù)集的探索與可視化。還可以用于數(shù)據(jù)壓縮，數(shù)據(jù)預(yù)處理等。

PCA 算法降維的過程主要是將相關(guān)性低的高維數(shù)據(jù)組投射到一個相關(guān)性高的低維數(shù)據(jù)組。PCA 算法的主要過程如下：

（1）計算圖像的協(xié)方差矩陣

假設(shè)有P 幅M×N 人臉圖像作為訓(xùn)練學(xué)習(xí)樣本，P幅訓(xùn)練圖像記為[x1,x2…,xp]T，那么P 幅人臉圖像的平均向量μ可以表示為：

則樣本協(xié)方差矩陣G 為：

其中Φ=xj-μ,j=1,2,…,P。

（2）計算協(xié)方差矩陣的特征向量ωj，將計算所得特征向量按照從小到大的順序排列，取前d 個較大的特征向量，形成一個新的向量序列，組成投影子空間：

將P 幅訓(xùn)練樣本分別投影到特征向量子空間，獲得訓(xùn)練樣本投影矩陣：

3 信息熵

信息熵的概念是由香農(nóng)在1948 年在其著作《通信的數(shù)學(xué)理論》中提出的，他把信息熵定義為“用來消除不確定性的東西”[12]。信息熵是對信息不確定性的度量。熵越高，傳輸?shù)男畔⒃蕉?，反之熵越低，所包含的信息越少?/p>

信息熵的推導(dǎo)過程如下：

（1）計算信源的不確定度：衡量不確定性的方法就是考察信源X 的概率空間。X 包含的狀態(tài)越多，狀態(tài)Xi的概率pi越小，則不確定性越大，所含有的信息量越大。

不確定程度用H(X)表示，簡稱不確定度。一般寫成：

（2）計算自信息量：一個信息本身所包含的信息量，由信息的不確定度決定。即隨機事件Xi發(fā)生概率為p(xi)，則隨機事件的自信息量定義為：

（3）計算信息熵

信息熵是隨機變量自信息量I(xi)的數(shù)學(xué)期望，用E(X)表示，則熵的定義為：

4 信息熵加權(quán)的HOG特征提取

信息熵加權(quán)的HOG 特征提取首先將待識別的人臉圖像進(jìn)行分塊，對分塊后的圖像進(jìn)行HOG 特征提取，然后計算每塊圖像所含的信息熵作為權(quán)重系數(shù)加到各個分塊中形成新的HOG 特征，最后通過PCA 算法對特征進(jìn)行降維，得到信息熵加權(quán)的HOG 特征。算法采用BP神經(jīng)網(wǎng)絡(luò)作為分類器，BP 神經(jīng)網(wǎng)絡(luò)強大的學(xué)習(xí)能力可以提高識別效果，將PCA 降維后的特征作為BP 神經(jīng)網(wǎng)絡(luò)的輸入進(jìn)行分類。算法如下步驟：

步驟1人臉圖像預(yù)處理

（1）對檢測到的圖像進(jìn)行灰度變換，在人臉圖像的識別中對圖像的處理大部分都在灰度圖像下進(jìn)行。

（2）對圖像進(jìn)行濾波降噪處理，為防止噪聲對于圖像識別的干擾，要對圖像進(jìn)行濾波降噪，通過各個濾波的實驗選擇最佳濾波器。

步驟2圖像分塊并提取HOG特征

圖3 對圖像進(jìn)行3×3分塊

在圖像進(jìn)行分塊后，對每塊圖像進(jìn)行HOG 特征提取。計算每一個塊的HOG特征。

步驟3信息熵加權(quán)系數(shù)的計算

由于人臉各部位的特征對人臉的識別作用不一樣，當(dāng)人臉有不同表情時，只有幾個關(guān)鍵部位會發(fā)生變化。因此，對于人臉圖像的每一子塊，應(yīng)賦予不同的權(quán)值系數(shù)。設(shè)圖像分為m個子塊，第i個子塊的信息熵表示為：

式中n表示像素級數(shù)，在實驗中所選用的圖像像素統(tǒng)一為256，即n=255,表示第k 級像素點出現(xiàn)的概率。子塊的信息熵越大，則賦予它越大的權(quán)重，則第i子塊的權(quán)重系數(shù)定義為：

步驟4對信息熵加權(quán)后得到的HOG特征進(jìn)行PCA降維。

5 實驗結(jié)果及分析

實驗通過Matlab工具平臺進(jìn)行實驗，實驗運行環(huán)境為InterCore I5 處理器，8 GB 內(nèi)存，Windows10 操作系統(tǒng)。由于ORL 人臉數(shù)據(jù)庫應(yīng)用較為普遍，實驗首先選擇ORL 人臉數(shù)據(jù)庫，由于YALE 人臉庫在表情、光照以及姿態(tài)等方面具有較大的變化，針對YALE 人臉庫進(jìn)行的實驗更具說服力，實驗又選擇了YALE 數(shù)據(jù)庫。為了驗證算法的適用性，實驗還選用了FERET 人臉數(shù)據(jù)庫。實驗識別分類采用BP 神經(jīng)網(wǎng)絡(luò)分類器，實驗結(jié)果分別與原始HOG+BP 神經(jīng)網(wǎng)絡(luò)[13-14]、PCA+BP[15-16]神經(jīng)網(wǎng)絡(luò)以及全局HOG+PCA[17-18]方法進(jìn)行了比較。

5.1 基于ORL人臉數(shù)據(jù)庫的實驗

圖4 ORL人臉庫中某一人的10幅圖像

ORL（Olivetti Research Laboratory）人臉庫中包含40 人的10 幅人臉圖像，共400 幅。每個人有10 幅不同姿態(tài)與表情的正面人臉圖像。某人的10 個樣本圖像如圖4所示。

取人臉庫中每一個人的前N 幅圖像用于訓(xùn)練樣本，后10-N 幅圖像用來測試。本實驗中N 取4，5，6，7，8。首先對人臉分塊的數(shù)目進(jìn)行選擇，通過對幾種分塊方式識別效果的對比選擇出最佳的分塊方式。

在ORL 人臉庫中對于不同分塊方法的測試共進(jìn)行4 次實驗，每一次對人臉進(jìn)行不同方式的分塊，通過對4種分塊方式所得的實驗結(jié)果進(jìn)行比較，選取最佳的分塊方式，得到最佳的實驗結(jié)果即為本文方法的最終實驗結(jié)果。不同分塊方式識別效果實驗步驟如下（以一次3×3分塊實驗為例）：

首先對人臉庫中的圖像進(jìn)行3×3 分塊，通過上文提到的HOG 特征提取方法對每塊進(jìn)行特征提取，之后通過對每塊圖像所含信息熵的計算得到每塊HOG 特征的加權(quán)系數(shù)。最后將加權(quán)后得到的HOG特征進(jìn)行PCA降維得到最終的分塊HOG特征。

實驗所用的識別分類器采用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行識別分類。

表1 不同分塊數(shù)所得識別結(jié)果 %

圖5 不同分塊識別率的比較

表1 給出幾種分塊方式的識別結(jié)果。識別結(jié)果用百分比表示。識別率比較如圖5所示。

從表1 和圖5 可以看出在ORL 人臉數(shù)據(jù)庫的實驗中，3×3分塊后的圖像識別效果最好。

選擇最優(yōu)分塊后，將PCA+BP 神經(jīng)網(wǎng)絡(luò)識別算法，原始HOG 特征+BP 神經(jīng)網(wǎng)絡(luò)識別算法、全局HOG+PCA+BP 神經(jīng)網(wǎng)絡(luò)識別算法和本文算法進(jìn)行實驗比較，基于不同的訓(xùn)練樣本數(shù)，實驗結(jié)果如表2及圖6所示。

表2 各算法識別率的比較 %

圖6 不同樣本識別率的比較

從表2 和圖6 可以看出信息熵加權(quán)后的HOG 人臉特征通過PCA 降維處理，再通過BP 神經(jīng)網(wǎng)絡(luò)進(jìn)行分類的人臉識別方法可以有效地提高人臉的識別效率。這主要因為信息熵加權(quán)后的HOG 算子加強了人臉重要部位如鼻子，眼睛等對于識別效果的影響，降低了不重要部位對于識別效果的干擾。

5.2 基于YALE人臉數(shù)據(jù)庫的實驗

圖7 YALE人臉數(shù)據(jù)庫的部分圖像

YALE 人臉庫中共包含15 個人的11 幅人臉圖像。共165 幅圖像。由于YALE 人臉庫在表情、光照以及姿態(tài)等方面具有較大的變化，針對YALE 人臉庫進(jìn)行的實驗更具說服力與可行性。YALE 人臉數(shù)據(jù)庫的部分圖像如圖7所示。

在實驗中，隨機地選取YALE 人臉庫中每一個人的前N 幅圖像用于訓(xùn)練樣本，后11-N 幅圖像作為測試樣本。本實驗中N 取4、5、6、7、8。首先對人臉分塊的數(shù)目進(jìn)行選擇，通過對幾種分塊方式識別效果的對比選擇出最佳的分塊方式。

在YALE 人臉庫中對于不同分塊方法的測試共進(jìn)行4 次實驗，每一次對人臉進(jìn)行不同方式的分塊，通過對4 種分塊方式所得的實驗結(jié)果進(jìn)行比較，選取最佳的分塊方式，得到最佳的實驗結(jié)果即為本文方法的最終實驗結(jié)果。不同分塊方式識別效果實驗步驟如下（以一次3×3分塊實驗為例）：

首先對人臉庫中的圖像進(jìn)行3×3 分塊，通過上文提到的HOG 特征提取方法對每塊進(jìn)行特征提取。通過對每塊圖像所含信息熵的計算得到每塊HOG 特征的加權(quán)系數(shù)。將加權(quán)后得到的HOG特征進(jìn)行PCA降維得到最終的分塊HOG特征。

實驗所用的識別分類器采用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行識別分類。

表3 不同分塊數(shù)所得識別結(jié)果 %

圖8 不同分塊識別率的比較

表3 給出幾種分塊方式的識別結(jié)果。識別結(jié)果用百分比表示。識別率比較如圖8所示。

從表3 和圖8 可以看出在YALE 人臉數(shù)據(jù)庫的實驗中，同樣是3×3分塊后的圖像識別效果最好。

對圖像進(jìn)行分塊選擇后，將PCA+BP神經(jīng)網(wǎng)絡(luò)識別算法，原始HOG 特征+BP 神經(jīng)網(wǎng)絡(luò)識別算法、全局HOG+PCA+BP神經(jīng)網(wǎng)絡(luò)識別算法和本文算法進(jìn)行實驗比較，基于不同的訓(xùn)練樣本數(shù)，實驗結(jié)果如表4和圖9所示。

表4 各算法識別率的比較 %

通過表4 和其對應(yīng)的的折線圖9 可以看出，采用的方法明顯地優(yōu)越于PCA+BP神經(jīng)網(wǎng)絡(luò)、原始HOG 特征+BP 神經(jīng)網(wǎng)絡(luò)以及全局HOG+PCA 的方法，這主要因為信息熵加權(quán)方法充分考慮了人臉各部位信息對于識別效果的影響，降低了不重要部位對于識別效果的干擾，相比于傳統(tǒng)的全局HOG特征對人臉特征的描述更為全面。

圖9 不同樣本識別率的比較

5.3 基于FERET人臉數(shù)據(jù)庫的實驗

FERET人臉圖片庫的規(guī)模龐大，包含了1 199個人將近14 000 多幅圖像，均是在不同拍攝角度、姿態(tài)和不同面部表情下采集的。實驗中選用FERET 圖片庫的一個子集共包含了200×7幅圖像（由200人組成，每人有7幅圖片）。圖10 展示了FERET 人臉圖片庫上某個人的部分人臉圖像。

圖10 FERET人臉庫上某個人的人臉圖像

由于子集中每個人有7 幅圖像，因此實驗中的訓(xùn)練樣本數(shù)N 取2、3、4、5。測試用例數(shù)M 取10-N。

首先進(jìn)行人臉分塊實驗。在FERET 人臉庫中對于不同分塊方法的測試共進(jìn)行4 次實驗，每一次對人臉進(jìn)行不同方式的分塊，通過對4 種分塊方式所得的實驗結(jié)果進(jìn)行比較，選取最佳的分塊方式，得到最佳的實驗結(jié)果即為本文方法的最終實驗結(jié)果。不同分塊方式識別效果實驗步驟如下（以一次3×3分塊實驗為例）：

首先對人臉庫中的圖像進(jìn)行3×3 分塊，通過上文提到的HOG 特征提取方法對每塊進(jìn)行特征提取，之后通過對每塊圖像所含信息熵的計算得到每塊HOG 特征的加權(quán)系數(shù)。最后將加權(quán)后得到的HOG特征進(jìn)行PCA降維得到最終的分塊HOG特征。

表5 不同分塊數(shù)所得識別結(jié)果 %

表5 給出幾種分塊方式的識別結(jié)果。識別結(jié)果用百分比表示。識別率比較如圖11所示。

圖11 不同分塊識別率的比較

從表5 和圖11 可以看出在FERET 人臉數(shù)據(jù)庫的實驗中，3×3分塊后的圖像識別效果最好。

選擇最優(yōu)分塊后，將PCA+BP神經(jīng)網(wǎng)絡(luò)識別算法，原始HOG 特征+BP 神經(jīng)網(wǎng)絡(luò)識別算法、全局HOG+PCA+BP 神經(jīng)網(wǎng)絡(luò)識別算法和本文算法進(jìn)行實驗比較，基于不同的訓(xùn)練樣本數(shù)，實驗結(jié)果如表6及圖12所示。

表6 各算法識別率的比較 %

圖12 不同樣本識別率的比較

通過表6 和其對應(yīng)的的折線圖12 可以看出，信息熵加權(quán)的HOG 特征提取算法同樣適用于FERET 數(shù)據(jù)庫。在三種數(shù)據(jù)庫上的實驗證明了算法的適用性和有效性。

6 結(jié)語

本文提出了一種新穎的信息熵加權(quán)的HOG 特征提取人臉識別算法。該方法一方面繼承了HOG 小波能夠克服光照、尺度、角度等全局干擾對識別效果的影響的能力，另一方面充分考慮了人臉各部位信息對于識別效果的影響，降低了不重要部位對于識別效果的干擾，使得識別效果顯著增強。對于人臉的光照、姿態(tài)、表情等干擾因素，該算法顯示出良好的有效性和魯棒性。但是該算法還存在著一些不足之處，在實驗中對人臉進(jìn)行分塊時沒有探究不同區(qū)域大小對圖像進(jìn)行分塊對圖像識別效果的影響。接下來的工作重心將研究不同區(qū)域大小對圖像進(jìn)行分塊，爭取更完整地突出人臉的關(guān)鍵區(qū)域，使得人臉關(guān)鍵部位的影響程度更完全地體現(xiàn)。