基于二進(jìn)制標(biāo)簽松弛模型的遮擋人臉識(shí)別

韓 肖，馬 祥

(長(zhǎng)安大學(xué) 信息工程學(xué)院，陜西 西安 710064)

0 引 言

人臉識(shí)別作為計(jì)算機(jī)視覺(jué)和生物統(tǒng)計(jì)學(xué)領(lǐng)域的熱點(diǎn)研究方向，在生活中的應(yīng)用越來(lái)越多，如人臉門禁考勤、社區(qū)出入管理、車站人臉閘機(jī)等。雖然人臉識(shí)別技術(shù)已經(jīng)相當(dāng)成熟，但是人臉識(shí)別性能常因各種干擾而受到不同程度的影響。自2019年底爆發(fā)新冠疫情以來(lái)，出門戴口罩成為人們?nèi)粘Ｉ钪械囊徊糠?，戴口罩引起的遮擋讓人臉識(shí)別變得困難。因此，研究如何提高遮擋情況下人臉識(shí)別方法的性能具有重要意義。

傳統(tǒng)的人臉識(shí)別方法在實(shí)驗(yàn)室環(huán)境下可以獲得很高的識(shí)別率，如基于核范數(shù)的矩陣回歸(norm based matrix regression，NMR)和基于低秩表示的方法，但當(dāng)人臉圖像存在遮擋時(shí)，其識(shí)別性能嚴(yán)重下降。近年來(lái)，針對(duì)人臉遮擋識(shí)別的研究越來(lái)越廣泛，文獻(xiàn)[10-11]針對(duì)有遮擋人臉識(shí)別方法進(jìn)行了改進(jìn)，雖然相比傳統(tǒng)的特征提取方法提高了識(shí)別率，但在更復(fù)雜的場(chǎng)景下識(shí)別率仍然有待進(jìn)一步提高。文獻(xiàn)[12]提出了一種基于RPCA與低秩投影的有遮擋人臉識(shí)別方法，通過(guò)利用圖像在低秩投影下產(chǎn)生的稀疏誤差圖像以及計(jì)算圖像平滑度和邊緣等鑒別信息，設(shè)計(jì)了基于誤差圖像平滑度和邊緣信息加權(quán)和的鑒別準(zhǔn)則。該方法對(duì)人為連續(xù)遮擋的識(shí)別效果較好，但是對(duì)真實(shí)遮擋的識(shí)別效果較差，同時(shí)該方法的計(jì)算效率低。文獻(xiàn)[13]基于普通的兩階段人臉識(shí)別方法，提出了一種基于稀疏表示的快速人臉識(shí)別方法。該方法能夠提高第一階段的識(shí)別效率，但是在處理聚合度較高的數(shù)據(jù)集時(shí)，識(shí)別率較差。文獻(xiàn)[14]提出了一種擴(kuò)展稀疏人臉識(shí)別方法，該方法能夠?qū)颖炯蔷€性地映射到新的特征空間中，再根據(jù)每個(gè)樣本對(duì)識(shí)別的貢獻(xiàn)，給每個(gè)樣本賦予一定的權(quán)重，同時(shí)利用類內(nèi)變量矩陣共同表示測(cè)試樣本。該方法在小樣本情況下的識(shí)別率較好，但是在樣本數(shù)較大的情況下，識(shí)別率還需要進(jìn)一步提高。

在文獻(xiàn)[15-16]研究的基礎(chǔ)上，該文利用低秩技術(shù)和二進(jìn)制標(biāo)簽松弛模型，提出了一種新的基于二進(jìn)制松弛標(biāo)簽的回歸模型。通過(guò)引入標(biāo)簽松弛模型獲得一個(gè)有利于提取更多有用特征的變換矩陣，從而保證每類原子重構(gòu)一類訓(xùn)練樣本。

1 算法描述

1.1 算法改進(jìn)方案

最小二乘回歸(least squares regression，LSR)是圖像分類領(lǐng)域中一種非常流行的方法。LSR的主要思想是學(xué)習(xí)一個(gè)將原始訓(xùn)練樣本映射到二進(jìn)制標(biāo)簽空間的投影矩陣。LSR的目標(biāo)函數(shù)可以表示為：

(1)

其中，=[,,…,]∈

R

×表示

n

個(gè)訓(xùn)練樣本，

d

是樣本的維度；∈

R

×表示屬于第

i

類的樣本子集；=[,,…,]∈

R

×，其中

c

≥2，表示的二進(jìn)制標(biāo)簽矩陣，

y

是的第

i

列；表示投影矩陣。由于LSR方法在投影學(xué)習(xí)過(guò)程中沒(méi)有考慮數(shù)據(jù)相關(guān)性和潛在的數(shù)據(jù)結(jié)構(gòu)，這可能會(huì)使一些有用的結(jié)構(gòu)信息丟失，從而導(dǎo)致過(guò)擬合。而且回歸矩陣追求嚴(yán)格的0-1標(biāo)簽，不能反映每個(gè)樣本的特征，特別是在多類情況下，很難實(shí)現(xiàn)準(zhǔn)確分類。與LSR不同，DLSR(discriminative LSR)嘗試學(xué)習(xí)松弛回歸標(biāo)簽代替二進(jìn)制標(biāo)簽，利用

ε

-draggings技術(shù)來(lái)擴(kuò)大真類和假類之間的距離。其回歸模型可以表述為：

s.t.≥0

(2)

其中，⊙表示Hadamard-product算子；∈

R

×是非負(fù)

ε

-draggings標(biāo)簽松弛矩陣；∈

R

×是一個(gè)常數(shù)矩陣，定義為：

(3)

該方法將回歸標(biāo)簽矩陣擴(kuò)展為

Y

=

Y

+

B

⊙

S

，盡管使用了松弛標(biāo)簽，但會(huì)引起過(guò)度擬合問(wèn)題。為了解決這個(gè)問(wèn)題，在DLSR模型的基礎(chǔ)上，文獻(xiàn)[15]提出了一個(gè)低秩判別最小二乘回歸模型(low-rank DLSR，LRDLSR)，用公式表示為：

s.t.≥0

(4)

基于上述研究，發(fā)現(xiàn)將標(biāo)簽矩陣變得松弛更有利于分類，因此對(duì)上述方法進(jìn)行如下改進(jìn)：

s.t.≥0

(5)

接下來(lái)，將詳細(xì)闡述如何將嚴(yán)格的二進(jìn)制標(biāo)簽矩陣松弛為松弛標(biāo)簽矩陣。從∈

R

×中可以看出，包含

n

個(gè)樣本的標(biāo)簽，中的每一列代表一個(gè)樣本的標(biāo)簽。中的每個(gè)標(biāo)簽都屬于

R

×1。目的是發(fā)現(xiàn)不同類別樣本之間的標(biāo)簽矩陣。為了便于理解，假設(shè)的第一列、第二列和第三列分別表示tr1、tr2、tr3的標(biāo)簽，tr1、tr2、tr3分別屬于第一類、第二類和第三類的訓(xùn)練樣本。因此，二進(jìn)制標(biāo)簽矩陣可以定義為：

(6)

(7)

此時(shí)tr1和tr3之間的距離為：

(8)

此時(shí)，tr1和tr2之間的距離為：

d

={[(1+)-(-1-)]+[(-1-)-(1+)]+…+[(-1-1)-(-1-2)]}12=[(2++)+(2++)+…+(-1+2)]12

(9)

tr1和tr3之間的距離為：

d

=[(2++)+(-+)+(-2--)+…+(-1+3)]12=[(2++)+(-+)+(2++)+…+(-1+3)]12

(10)

很明顯，在大多數(shù)情況下

d

≠

d

且比式(7)中的差距更大，更有利于分類。

1.2 算法的優(yōu)化過(guò)程

該文利用交替方向乘子法(ADMM)對(duì)算法進(jìn)行優(yōu)化。引入一個(gè)輔助變量，使公式(5)變?yōu)椋?p>

s.t.=,≥0

(11)

進(jìn)一步寫出公式(11)的增廣拉格朗日函數(shù)：

L

(,,,,)=

(12)

其中，是拉格朗日乘數(shù)，

μ

>0是懲罰因子，接下來(lái)逐個(gè)更新變量。(1)更新:通過(guò)固定變量、、和可以得到如下最小化問(wèn)題：

解得：

=(1+

α

+

λ

+

μ

)×[+

α

(((⊙)-)+((⊙)-)⊙)+

μ

-]

(14)

(2)更新:給定變量、、和可以得到如下最小化問(wèn)題：

(15)

解得：

(16)

其中，(Θ)是奇異值收縮算子。(3)更新:給定變量、、和可以得到如下最小化問(wèn)題：

(17)

解得：

=(+

λ

)

(18)

(4)更新:更新、、后，可以通過(guò)以下方法更新非負(fù)松弛矩陣：

(19)

解得：

=max(⊙,0)

(20)

1.3 分 類

一旦解出(5)，就可以得到最優(yōu)投影矩陣。利用可以獲得訓(xùn)練樣本的投影特征，即。假設(shè)∈

R

為測(cè)試樣本，則其投影特征為。該文采用KNN分類器實(shí)現(xiàn)分類。

2 實(shí)驗(yàn)與分析

在以下三個(gè)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，這三個(gè)數(shù)據(jù)集中所有圖像都預(yù)先調(diào)整到32×32。

(1)The Extended Yale B Dataset：擴(kuò)展的Yale B數(shù)據(jù)集由2 414張人臉圖像組成，這2 414張圖像來(lái)自38個(gè)個(gè)體，其中每個(gè)個(gè)體有大約59～64張圖像。隨機(jī)選取每個(gè)個(gè)體的10、15、20和25張圖像作為訓(xùn)練樣本，剩余圖像作為測(cè)試樣本。

(2)The CMU PIE Dataset：本實(shí)驗(yàn)選擇該數(shù)據(jù)集的一個(gè)子集，其中每個(gè)個(gè)體有170張圖像。隨機(jī)選取每個(gè)個(gè)體的10、15、20和25張圖像作為訓(xùn)練樣本，剩余圖像作為測(cè)試樣本。

(3)LFW Dataset：LFW是自然場(chǎng)景下的數(shù)據(jù)集，本實(shí)驗(yàn)選擇該數(shù)據(jù)集的一個(gè)子集，包含62個(gè)個(gè)體的3 023張圖像，每個(gè)個(gè)體至少有20張圖像。從每個(gè)個(gè)體中隨機(jī)選擇7、8、9和10張圖像作為訓(xùn)練樣本，其余圖像作為測(cè)試樣本。上述實(shí)驗(yàn)數(shù)據(jù)集的部分圖像如圖1所示。

圖1 實(shí)驗(yàn)數(shù)據(jù)集的部分圖像

為了驗(yàn)證文中方法的識(shí)別性能，與一些現(xiàn)有方法進(jìn)行對(duì)比。對(duì)比方法有LRDLSR、TSL_LRSR、RSLDA、LRPP_GRR、EALPL和SALPL。

2.1 無(wú)遮擋時(shí)的實(shí)驗(yàn)結(jié)果

無(wú)遮擋時(shí)的平均識(shí)別率如表1和表2所示，所有實(shí)驗(yàn)結(jié)果都是進(jìn)行十次實(shí)驗(yàn)取平均值之后的結(jié)果。

由表1可知，與現(xiàn)有方法相比，文中方法能夠取得較好的識(shí)別性能，這是因?yàn)槲闹蟹椒軌蛱崛「嗟纳顚犹卣饔糜谧R(shí)別，從而提高識(shí)別率。由表2可知，文中方法在大多數(shù)情況下優(yōu)于對(duì)比方法。特別的，與EALPL相比，文中方法的識(shí)別率提高了近30%。并且隨著訓(xùn)練樣本數(shù)量的增加，表中所有方法的識(shí)別率都會(huì)增加。綜上所述，無(wú)遮擋時(shí)文中方法具有較好的識(shí)別性能。

表1 無(wú)遮擋時(shí)Yale B數(shù)據(jù)集的平均識(shí)別率 %

表2 無(wú)遮擋時(shí)CMU PIE數(shù)據(jù)集的平均識(shí)別率 %

2.2 有遮擋時(shí)的實(shí)驗(yàn)結(jié)果

本小節(jié)在訓(xùn)練樣本數(shù)為25時(shí)，給Yale B和CMU PIE數(shù)據(jù)集的測(cè)試集分別添加10%、20%、30%和40%的隨機(jī)遮擋塊。實(shí)驗(yàn)結(jié)果如表3和表4所示，所有實(shí)驗(yàn)結(jié)果都是進(jìn)行十次實(shí)驗(yàn)取平均值之后的結(jié)果。并且本小節(jié)在Yale B和CMU PIE數(shù)據(jù)集上計(jì)算了不同方法的運(yùn)行時(shí)間，評(píng)估了該方法的計(jì)算效率。所有方法都是使用MatlabR2019b在具有i7-6700八核3.40 GHz CPU的PC上實(shí)現(xiàn)的。

表3 有遮擋時(shí)Yale B數(shù)據(jù)集的平均識(shí)別率(%)和 平均運(yùn)行時(shí)間(s)

由表3可知，與現(xiàn)有方法相比，文中方法能夠在最短的時(shí)間內(nèi)取得最高的識(shí)別率。由表4可知，文中方法的識(shí)別性能在隨機(jī)遮擋塊大小為10%和20%時(shí)，略低于SALPL的方法，其他情況下均優(yōu)于所采用的對(duì)比方法，但是文中方法所消耗的時(shí)間遠(yuǎn)遠(yuǎn)低于SALPL的方法。特別地，在添加隨機(jī)遮擋塊的情況下，文中方法的識(shí)別性能遠(yuǎn)遠(yuǎn)高于TSL_LRSR的方法。綜上所述，文中方法在添加隨機(jī)遮擋塊的情況下，仍然具有較好的識(shí)別性能。

表4 有遮擋時(shí)CMU PIE數(shù)據(jù)集的平均識(shí)別率(%) 和平均運(yùn)行時(shí)間(s)

2.3 自然場(chǎng)景下的實(shí)驗(yàn)結(jié)果

文中采用LFW人臉數(shù)據(jù)集驗(yàn)證所提出的方法在自然場(chǎng)景下的識(shí)別性能。實(shí)驗(yàn)結(jié)果如表5所示。由表5可以看出，在自然場(chǎng)景下，與現(xiàn)有方法相比，文中方法仍然具有較高的識(shí)別率。特別地，文中方法的識(shí)別率遠(yuǎn)遠(yuǎn)高于LRPP_GRR和EALPL的識(shí)別率。

表5 LFW數(shù)據(jù)集的平均識(shí)別率 %

2.4 算法收斂性分析

本節(jié)驗(yàn)證了文中方法的收斂性。圖2給出了文中方法的收斂性曲線。在三個(gè)不同的數(shù)據(jù)集中，目標(biāo)函數(shù)的值隨著迭代次數(shù)的增加而單調(diào)減小，證明了優(yōu)化方法的有效性。

2.5 參數(shù)敏感性分析

目前，針對(duì)不同的數(shù)據(jù)集選擇最優(yōu)參數(shù)仍是一個(gè)尚未解決的問(wèn)題。文中方法需要選擇四個(gè)參數(shù)，即

α

、

λ

、

λ

和

λ

。其中

α

和

λ

是平衡松弛標(biāo)簽學(xué)習(xí)項(xiàng)和類低秩標(biāo)簽項(xiàng)的權(quán)重，

λ

和

λ

用于避免學(xué)習(xí)標(biāo)簽矩陣和投影矩陣的過(guò)擬合問(wèn)題。為了考察參數(shù)的敏感性，首先將參數(shù)

λ

和

λ

固定在前一個(gè)網(wǎng)格研究階段確定的最優(yōu)值上(

λ

=0

.

1,

λ

=0

.

1)，重點(diǎn)觀察參數(shù)

α

和

λ

在{0.000 1，0.001，0.01，0.1，1}范圍內(nèi)變化時(shí)識(shí)別性能的變化。因?yàn)?p>α

對(duì)應(yīng)于文中方法中最關(guān)鍵的一項(xiàng)，而在進(jìn)行實(shí)驗(yàn)的過(guò)程中

λ

的變化對(duì)實(shí)驗(yàn)結(jié)果的影響較大。在Yale B和CMU PIE數(shù)據(jù)集隨機(jī)選擇25個(gè)訓(xùn)練樣本，在LFW數(shù)據(jù)集隨機(jī)選擇10個(gè)訓(xùn)練樣本，圖3給出了三個(gè)數(shù)據(jù)集上的參數(shù)敏感性分析效果圖，可以看出選擇合適的參數(shù)對(duì)實(shí)驗(yàn)結(jié)果有一定的影響。

(a)Yale B

(b)CMU PIE

(c)LFW 圖2 目標(biāo)函數(shù)收斂曲線

(a)Yale B

(b)CMU PIE

(c)LFW 圖3 參數(shù)敏感性分析效果圖

3 結(jié)束語(yǔ)

基于低秩技術(shù)和二進(jìn)制標(biāo)簽松弛模型，該文提出了一種新的基于二進(jìn)制松弛標(biāo)簽的回歸模型。實(shí)驗(yàn)結(jié)果表明，該方法不僅對(duì)遮擋具有魯棒性，在自然場(chǎng)景下，仍然能夠取得較好的識(shí)別性能。