馬晶 金晶 蘇金善
摘 要:近年來(lái),人臉檢測(cè)識(shí)別方法得到飛速發(fā)展,基于ASM特征的識(shí)別方法因具有定位精度高而得到廣泛應(yīng)用。然而,當(dāng)相鄰兩個(gè)特征點(diǎn)位于不同器官時(shí),使用該方法時(shí)特征點(diǎn)間會(huì)產(chǎn)生連帶效應(yīng)。本文提出基于特征綁定的ASM人臉檢測(cè)算法,克服了傳統(tǒng)ASM方法存在的連帶效應(yīng)。由于使用該方法不需要直接檢測(cè)完整的人臉,因此其對(duì)人臉偏轉(zhuǎn)、部分人臉遮擋、用戶佩戴眼鏡等情況有較高的準(zhǔn)確性和魯棒性。
關(guān)鍵詞:特征綁定;人臉檢測(cè);ASM
中圖分類(lèi)號(hào):TP391141文獻(xiàn)標(biāo)識(shí)碼:A文章編號(hào):1003-5168(2020)07-0008-06
Abstract: In recent years, face detection and recognition methods have been developed rapidly. Recognition methods based on ASM features are widely used because of their high positioning accuracy. However, when two adjacent feature points are located in different organs, there will be joint effect between feature points when using this method. This paper proposed an ASM face detection algorithm based on feature binding, which overcame the joint effect of traditional ASM. Because this method does not need to detect the whole face directly, it has high accuracy and robustness for face deflection, partial face occlusion, users wearing glasses and so on.
Keywords: feature binding;face detection;ASM
1 研究背景
目前,人臉檢測(cè)[1-3]和識(shí)別[4]是圖像模式檢測(cè)領(lǐng)域的熱點(diǎn)問(wèn)題,已有大量不同種類(lèi)的算法應(yīng)用于該領(lǐng)域,且有很多優(yōu)異的人臉檢測(cè)系統(tǒng)[5]和人臉識(shí)別系統(tǒng)[6]已經(jīng)得到研發(fā)。人臉檢測(cè)的相關(guān)算法主要分為四個(gè)類(lèi)別:基于先驗(yàn)知識(shí)的方法、基于特征不變性的方法、基于圖像模板匹配的方法和基于統(tǒng)計(jì)理論的方法?;谙闰?yàn)知識(shí)的方法在極大程度上依賴(lài)于先驗(yàn)知識(shí),對(duì)存在一定變化的人臉沒(méi)有較好的檢測(cè)率;基于特征不變性的方法由于光照、噪聲和遮擋等使圖像特征被嚴(yán)重破壞,人臉的特征邊界被弱化,陰影可能引起很強(qiáng)的邊緣,而這些邊緣可能使得算法難以使用;基于圖像模板匹配的方法計(jì)算量較大,并且對(duì)存在旋轉(zhuǎn)和尺度變化的人臉識(shí)別率較差;基于統(tǒng)計(jì)理論的方法對(duì)前期用于訓(xùn)練的樣本有一定要求,并且訓(xùn)練時(shí)間過(guò)長(zhǎng),此外,此類(lèi)算法的準(zhǔn)確性依賴(lài)于訓(xùn)練得到的每一個(gè)特征。
主動(dòng)形狀模型(Active Shape Models,ASM)是模板匹配方法中最經(jīng)典的算法。它是一種參數(shù)模型,最先由Cootes等人于1995年提出[7]?;贏SM人臉檢測(cè)的優(yōu)點(diǎn)是人臉定位精度較高。但是,傳統(tǒng)的主動(dòng)形狀模型檢測(cè)算法中,當(dāng)相鄰兩個(gè)特征點(diǎn)位于不同器官時(shí),彼此會(huì)產(chǎn)生連帶效應(yīng),使得兩個(gè)器官的位置互相影響。由此,有人提出了特征綁定(Feature Binding,F(xiàn)B)方法[8-9]。該方法適用于人臉檢測(cè)時(shí)將訓(xùn)練得到的特征按照一定準(zhǔn)則進(jìn)行分組,并將每一組內(nèi)的所有特征綁定為一個(gè)整體,用該整體對(duì)相應(yīng)的子目標(biāo)(特征窗)進(jìn)行檢測(cè)。最終人臉的判定及定位由所有特征窗的輸出結(jié)果及其相應(yīng)權(quán)重的系數(shù)確定。同時(shí),由于特征綁定方法是一個(gè)獨(dú)立的方法,并不依賴(lài)于某一種特定的特征,因此,理論上可以被應(yīng)用在所有可以被分組的特征上。在特征選取上,由于人臉檢測(cè)需要具備實(shí)時(shí)性,需要快速確認(rèn)人臉的位置,降低整個(gè)系統(tǒng)算法的時(shí)間復(fù)雜度,因此,不宜采取時(shí)間復(fù)雜度較高的特征和算法,應(yīng)該在常數(shù)時(shí)間內(nèi)完成。
為了解決ASM算法中存在的連帶效應(yīng),本文在ASM檢測(cè)算法中增加了特征綁定,對(duì)人臉的各部分分別進(jìn)行特征點(diǎn)的檢測(cè)。將特征綁定和ASM算法相結(jié)合,這是因?yàn)檫@些特征分布符合上述要求,單人臉檢測(cè)只需要涉及特征計(jì)算和查表操作,并且與人臉尺度無(wú)關(guān),能較好地完成人臉檢測(cè)作為前置級(jí)的作用,同時(shí)不引入較高的時(shí)間復(fù)雜度,并對(duì)不同條件下的圖像均可以獲得較好的檢測(cè)效果。本文將在ASM特征中使用特征綁定方法,并與傳統(tǒng)Adaboost算法、傳統(tǒng)ASM算法、基于Haar的特征綁定方法進(jìn)行定性及定量對(duì)比。
2 傳統(tǒng)ASM特征及算法
ASM的基本思想是選取一組訓(xùn)練樣本,用一組特征點(diǎn)來(lái)描述樣本的形狀,然后對(duì)各樣本的形狀進(jìn)行配準(zhǔn),使得形狀盡可能相似。對(duì)于這些配準(zhǔn)后的形狀向量,利用主分量分析方法進(jìn)行統(tǒng)計(jì)建模,得到物體形狀的統(tǒng)計(jì)學(xué)描述,最后利用建立的模型在新的圖像中搜索物體輪廓,從而定位出目標(biāo)物體。ASM依靠一個(gè)由人工標(biāo)定特征點(diǎn)的訓(xùn)練集來(lái)得到一個(gè)平均的人臉形狀(Mean Shape)之后,在平均形狀點(diǎn)的鄰接區(qū)域進(jìn)行搜索得到目標(biāo)形狀。由ASM訓(xùn)練得到的平均形狀模型能很好地覆蓋各種人臉幾何外形子空間,具有較高的定位精度,同時(shí)采用灰度和梯度信息指導(dǎo)形狀模型,可以加快收斂速度,提高收斂概率,并能大量減少所需的訓(xùn)練樣本數(shù)。
在實(shí)際應(yīng)用中,ASM包括訓(xùn)練(建立模型)和搜索(擬合計(jì)算)兩個(gè)部分。本實(shí)驗(yàn)中,筆者以人臉明顯特征器官及大拐點(diǎn)為標(biāo)準(zhǔn),對(duì)每一個(gè)人臉模型選取[k=68]個(gè)關(guān)鍵點(diǎn)作為ASM特征點(diǎn),并用這些點(diǎn)表示一張完整人臉,如圖1所示。
ASM模型是對(duì)象的形狀模型,在訓(xùn)練過(guò)程中,每一個(gè)訓(xùn)練樣本上的所有特征點(diǎn)的坐標(biāo)組成特征向量,對(duì)所有人臉樣本提取模型并進(jìn)行歸一化,即采用Procrustrs方法進(jìn)行對(duì)齊,并進(jìn)行PCA降維處理。圖2為本實(shí)驗(yàn)中計(jì)算的歸一化前后訓(xùn)練樣本人臉模型,其中圖2(a)為未進(jìn)行歸一化前訓(xùn)練樣本的形狀向量,圖2(b)為歸一化后的形狀向量。
在每一次迭代過(guò)程中,需要為每一個(gè)特征構(gòu)建局部特征,從而為每個(gè)特征點(diǎn)更新位置。對(duì)所有[k]個(gè)特征點(diǎn)進(jìn)行相同操作,可得到每個(gè)特征點(diǎn)的局部特征。
在通過(guò)樣本集進(jìn)行訓(xùn)練得到ASM模型后,即可對(duì)待檢測(cè)圖像進(jìn)行ASM搜索。對(duì)各特征點(diǎn)附近搜索,匹配每個(gè)局部特征點(diǎn),得到初步形狀;再利用形狀模型修正匹配結(jié)果;迭代直到收斂,達(dá)到模型實(shí)例與輸入圖像相擬合的目的,而最終得到的形狀控制點(diǎn)的位置就是待檢目標(biāo)的特征點(diǎn)位置。
用上述包含68個(gè)特征點(diǎn)的ASM算法對(duì)人臉進(jìn)行檢測(cè)定位,得到的效果如圖3所示。其中黑色矩形窗即為檢測(cè)得到的人臉窗。
3 基于特征綁定的人臉檢測(cè)算法概述
根據(jù)特征綁定一般模型,對(duì)人臉進(jìn)行檢測(cè),特征綁定示意圖如圖4所示。
由于人眼部分是人臉中最重要的特征,因此,筆者將左眼和右眼選定為兩個(gè)熱點(diǎn)區(qū)域,將所有落在這兩個(gè)區(qū)域內(nèi)的熱點(diǎn)特征分別綁定為兩個(gè)整體。同時(shí),鼻子和嘴巴作為人臉的顯著特征,也被選為熱點(diǎn)區(qū)域,并分別綁定為兩個(gè)特征整體。在對(duì)待測(cè)目標(biāo)進(jìn)行檢測(cè)時(shí),優(yōu)先用這些被綁定的整體進(jìn)行計(jì)算,并將計(jì)算結(jié)果作為目標(biāo)定位過(guò)程中的一個(gè)重要依據(jù)。每個(gè)特征有一個(gè)對(duì)應(yīng)的特征值。對(duì)于每一個(gè)特征集,將其包含的所有特征的特征值利用一定方式計(jì)算后作為當(dāng)前熱點(diǎn)區(qū)域的整體特征值,選取適當(dāng)?shù)拈撝祷蚺卸?biāo)準(zhǔn)。若實(shí)際檢測(cè)過(guò)程中計(jì)算出的整體特征值超過(guò)閾值或達(dá)到判定標(biāo)準(zhǔn)要求,則當(dāng)前檢測(cè)區(qū)域被判定為相應(yīng)的熱點(diǎn)區(qū)域,并稱(chēng)為“特征窗”(Feature Window)。最終的檢測(cè)及定位結(jié)果由這些特征集及其對(duì)應(yīng)的權(quán)重決定。針對(duì)不同重要性的特征集,其閾值和權(quán)重也不盡相同。在人臉檢測(cè)及定位中,左眼和右眼的特征整體具有最高的投票權(quán)重,鼻子和嘴巴的特征整體投票權(quán)重相對(duì)較低。
基于特征綁定的人臉檢測(cè)算法流程如圖5所示。與傳統(tǒng)人臉檢測(cè)的串聯(lián)強(qiáng)分類(lèi)器不同,特征綁定的人臉檢測(cè)為并聯(lián)強(qiáng)分類(lèi)器。對(duì)于人臉圖像,冗余區(qū)域的特征僅僅起到輔助性的作用,表示了一種普遍意義上的趨勢(shì);而突變區(qū)域的特征,如眼睛、鼻子、嘴巴等,則可以更好地描述人臉信息,更有利于快速準(zhǔn)確地標(biāo)識(shí)人臉,具有十分重要甚至決定性的作用。也就是說(shuō),在人臉檢測(cè)的實(shí)際應(yīng)用中,突變部分具有較高的應(yīng)用價(jià)值,而冗余部分則更多被用來(lái)加快檢測(cè)速度或者為突變部分的獲取服務(wù),在算法中被用作約束條件。
4 基于特征綁定的ASM人臉檢測(cè)算法
值得注意的是,特征綁定方法并不局限于某一種特定的特征。從理論上來(lái)說(shuō),特征綁定可以被應(yīng)用于任意一種能通過(guò)一定準(zhǔn)則進(jìn)行分類(lèi)的特征。例如,將特征綁定用于ASM特征點(diǎn)及算法,就可以獲得較好的檢測(cè)效果。
基于ASM的人臉檢測(cè)是一種基于特征點(diǎn)分布的檢測(cè)方法,主要考慮樣本中特征點(diǎn)附近的形狀信息。通過(guò)對(duì)人臉的形狀特征進(jìn)行統(tǒng)計(jì)分析,建立對(duì)應(yīng)的ASM模型。在檢測(cè)時(shí),結(jié)合“搜索-比較-調(diào)整再搜索-再比較”的圖像擬合策略,實(shí)現(xiàn)快速而準(zhǔn)確的人臉檢測(cè)。ASM的優(yōu)點(diǎn)是能根據(jù)訓(xùn)練數(shù)量對(duì)參數(shù)的調(diào)節(jié)加以限制,從而可以靈活地改變模型的形狀以適應(yīng)待檢目標(biāo)形狀不確定的特性,并將形狀的變化控制在模型允許的范圍內(nèi),以保證模型在改變的過(guò)程中不會(huì)擬合出不合理的形狀。
傳統(tǒng)的ASM檢測(cè)算法是將所有特征點(diǎn)串聯(lián)在一起,首先對(duì)整個(gè)人臉進(jìn)行形狀模型的匹配,當(dāng)對(duì)每個(gè)特征點(diǎn)進(jìn)行迭代搜索最佳位置時(shí),其前后兩個(gè)特征點(diǎn)的位置對(duì)當(dāng)前點(diǎn)有一定影響。因此,當(dāng)相鄰兩個(gè)特征點(diǎn)位于不同器官時(shí),彼此會(huì)產(chǎn)生連帶效應(yīng),使得兩個(gè)器官的位置互相影響。為了解決這種連帶效應(yīng),筆者在ASM檢測(cè)算法中增加特征綁定,對(duì)人臉的各部分分別進(jìn)行特征點(diǎn)的檢測(cè)。
將特征綁定用于ASM檢測(cè)算法的思想是:將通過(guò)上述ASM訓(xùn)練得到的68個(gè)特征點(diǎn)按照其在訓(xùn)練樣本人臉中的位置進(jìn)行分類(lèi),如圖6所示。將左邊眉眼區(qū)域共11個(gè)ASM特征點(diǎn)作為左眼集;右邊眉眼區(qū)域共11個(gè)特征點(diǎn)作為右眼集;鼻子區(qū)域的11個(gè)特征點(diǎn)作為鼻子集;嘴巴區(qū)域的18個(gè)特征作為嘴巴集;其余的特征作為整體人臉的區(qū)域限制及各器官之間位置關(guān)系的約束條件。
對(duì)所有樣本中同一個(gè)特征點(diǎn)的所有形狀向量進(jìn)行歸一化,從而消除訓(xùn)練樣本中由于不同角度、距離、姿態(tài)等外界因素造成的非形狀干擾,使點(diǎn)分布模型更加有效。本實(shí)驗(yàn)中采用Procrustes方法進(jìn)行歸一化,即將一系列點(diǎn)分布模型通過(guò)適當(dāng)?shù)钠揭?、旋轉(zhuǎn)、縮放變換,在不改變點(diǎn)分布模型的基礎(chǔ)上對(duì)齊到同一個(gè)點(diǎn)分布模型。經(jīng)過(guò)多次迭代直到收斂,可得到歸一化的左眼模型。
為了能在每一次迭代過(guò)程中為每個(gè)特征點(diǎn)更新位置,需要為每一個(gè)特征構(gòu)建局部特征。對(duì)于第[i]個(gè)訓(xùn)練樣本圖像中第[j]個(gè)特征點(diǎn),沿著垂直于該點(diǎn)前后兩個(gè)特征點(diǎn)連線的方向上分別選擇[m]個(gè)像素,構(gòu)成一個(gè)長(zhǎng)度為[2m+1]的向量,對(duì)該向量所包含像素的灰度值求導(dǎo),得到局部紋理[gij],對(duì)訓(xùn)練樣本集中的其他訓(xùn)練樣本圖像上的第[j]個(gè)特征點(diǎn)進(jìn)行同樣操作,便可得到第[j]個(gè)特征點(diǎn)的[n]個(gè)局部紋理[g1j,g2j,…,gnj]。計(jì)算其均值[見(jiàn)式(2)]和方差[見(jiàn)式(3)]:
為了計(jì)算每個(gè)特征點(diǎn)的新位置,將初始左眼模型覆蓋在圖像上,對(duì)于模型中第[j]個(gè)特征點(diǎn),在垂直于其前后兩個(gè)特征點(diǎn)連線方向上以其為中心,兩邊各選擇[l]個(gè)像素,且滿足[l>m]。計(jì)算這些像素的灰度值導(dǎo)數(shù)并歸一化,從而得到一個(gè)包括[2(l-m)+1]個(gè)子局部特征的局部特征。計(jì)算這些子局部特征與當(dāng)前特征點(diǎn)局部特征之間的馬氏距離,使得馬氏距離最小的子局部特征的中心為當(dāng)前特征點(diǎn)的新位置,從而產(chǎn)生一個(gè)新的位移。為所有特征點(diǎn)找到新位置,并將其位移組成一個(gè)向量:
通過(guò)仿射變換并調(diào)整參數(shù)使當(dāng)前特征點(diǎn)的位置[X]與對(duì)應(yīng)的新的位置[X+dX]最為接近,同時(shí)可以得到仿射變換參數(shù)的變化量[dθ,ds,dX],即參數(shù)更新過(guò)程為:[dX→(dθ,ds,dXc)→db]。對(duì)仿射變換參數(shù)和[b]做如下更新:
其中,[wc,wθ,ws,wb]為用于控制參數(shù)變化的權(quán)重。迭代更新直到各參數(shù)收斂或迭代次數(shù)達(dá)到指定閾值,即可得到每個(gè)特征點(diǎn)最終的檢測(cè)位置,使其和相對(duì)應(yīng)的真正特征點(diǎn)最為接近。最終,可以在待檢測(cè)圖像中搜索出相應(yīng)的左眼窗,并定位出左眼窗中各特征點(diǎn)的檢測(cè)位置。
同樣地,可以得到右眼窗、鼻子窗、嘴巴窗及各特征窗中相應(yīng)特征點(diǎn)的位置,并通過(guò)約束條件最終確定人臉窗的位置。
圖7為人臉檢測(cè)的結(jié)果圖。其中黑色人臉窗為未使用特征綁定的ASM算法的定位結(jié)果,白色人臉窗為使用了基于特征綁定的ASM算法的定位結(jié)果,灰色小矩形窗分別為使用特征綁定后檢測(cè)到的四個(gè)特征窗。由此可以看出,使用了特征綁定后,人臉窗的定位比未使用特征綁定時(shí)更準(zhǔn)確。
5 實(shí)驗(yàn)結(jié)果及討論
由于在ASM算法中,將所有的特征點(diǎn)按照順序編號(hào)并構(gòu)成特征向量,最終的檢測(cè)結(jié)果為相對(duì)所有特征點(diǎn)而言的最好的匹配位置;因此,若特征點(diǎn)的信息不完整,則每一次迭代的數(shù)據(jù)基礎(chǔ)也不完整,很容易造成匹配失準(zhǔn)或匹配失敗。也就是說(shuō),無(wú)法利用部分人臉特征來(lái)獲得整體人臉的最佳匹配位置。而在使用了基于特征綁定的ASM算法后,由于四個(gè)特征窗分別作為一個(gè)獨(dú)立的形狀模型進(jìn)行檢測(cè),因此,即使被遮擋的部分使得一個(gè)或兩個(gè)特征窗無(wú)法檢測(cè)到匹配形狀,仍有其他特征窗可以投票為人臉。同樣地,將雙眼區(qū)域的權(quán)重相應(yīng)增大,其他區(qū)域的權(quán)重相應(yīng)減小,當(dāng)被遮擋部分不包括眼睛時(shí),由于左眼窗和右眼窗的檢測(cè)權(quán)重較高,仍可以成功檢測(cè)到人臉。
對(duì)于一組包含108幀的圖像序列,傳統(tǒng)ASM算法與基于特征綁定的ASM算法的人臉檢測(cè)結(jié)果如圖8所示。為了對(duì)比兩種算法檢測(cè)的準(zhǔn)確性,在檢測(cè)過(guò)程中并未使用任何預(yù)測(cè)及跟蹤算法,每一幀圖像均單獨(dú)進(jìn)行檢測(cè),對(duì)前后幀的檢測(cè)結(jié)果不產(chǎn)生影響。
圖9為傳統(tǒng)ASM算法及基于特征綁定的ASM算法對(duì)上述圖像序列檢測(cè)結(jié)果的定量分析曲線。從圖9可以看出,基于特征綁定的ASM算法的檢測(cè)值具有更小的方差,因此準(zhǔn)確率更高。
各種不同條件下的圖像,如不同面部表情、不同光照條件、存在部分遮擋的圖像,其人臉檢測(cè)檢測(cè)結(jié)果如圖10所示。
其中,[n]為圖像序列的長(zhǎng)度;[Yi]為檢測(cè)結(jié)果;[Yi]為真實(shí)值。在人臉檢測(cè)中,選用人臉窗左上角坐標(biāo)表示。當(dāng)MSE越小時(shí),表示算法性能越好。
對(duì)于上述圖像測(cè)試集,在PC機(jī)測(cè)試平臺(tái)(Intel i5-4590處理器,8GB內(nèi)存,MATLAB平臺(tái))上,分別使用傳統(tǒng)Adaboost算法、基于Haar特征的特征綁定方法、傳統(tǒng)的ASM方法、基于特征綁定的ASM算法得到的人臉檢測(cè)結(jié)果如表1所示。
從表1可知,基于特征綁定的ASM算法與傳統(tǒng)ASM算法相比,具有更高的準(zhǔn)確率及更低的均方誤差。然而,目前存在一個(gè)主要問(wèn)題,即特征綁定的時(shí)間消耗略長(zhǎng)。這是因?yàn)樘卣鹘壎ㄐ枰獙?duì)多個(gè)特征集進(jìn)行檢測(cè),按照本文所述規(guī)則進(jìn)行綁定的方法中,需要對(duì)四個(gè)子區(qū)域進(jìn)行檢測(cè);而傳統(tǒng)的Adaboost算法及傳統(tǒng)的ASM算法只需要對(duì)整個(gè)人臉進(jìn)行檢測(cè)。因此,基于特征綁定的ASM算法需要更長(zhǎng)的時(shí)間消耗。理論上來(lái)說(shuō),解決方式之一是在每個(gè)特征集內(nèi)部建立瀑布式級(jí)聯(lián)結(jié)構(gòu)[10],迅速結(jié)束不相關(guān)區(qū)域的檢測(cè),提高每個(gè)特征集內(nèi)部的檢測(cè)速度。
參考文獻(xiàn):
[1] Torricelli D , Conforto S , Schmid M , et al. A neural-based remote eye gaze tracker under natural head motion[J]. Computer Methods and Programs in Biomedicine, 2008(1):66-78.
[2] Chai C C C , Wang Y W Y . Face detection based on extended Haar-like features[C]// International Conference on Mechanical & Electronics Engineering. IEEE, 2010.
[3]何智翔,丁曉青,方馳,等.基于LBP和CCS-AdaBoost的多視角人臉檢測(cè)[J].浙江大學(xué)學(xué)報(bào)(工學(xué)版),2013(4):622-629.
[4]袁正海.人臉識(shí)別系統(tǒng)及關(guān)鍵技術(shù)研究[D].南京:南京郵電大學(xué),2013.
[5] Noureddin B , Lawrence P D , Man C F . A non-contact device for tracking gaze in a human computer interface[J]. Computer Vision and Image Understanding,2005(1):52-82.
[6]馬寧.基于圖像的人臉識(shí)別中關(guān)鍵技術(shù)研究[D].長(zhǎng)春:吉林大學(xué),2016.
[7] Cootes T F, Taylor C J, Cooper D H, et al. Active Shape Models-Their Training and Application[J]. Computer Vision & Image Understanding,1995(1):38-59.
[8] GE Jun-Feng, LUO Yu-Pin. A Comprehensive Study for Asymmetric AdaBoost and Its Application in Object Detection[J].Acta Automatica Sinica, 2009(11):1403-1409.
[9] Yang M , Crenshaw J , Augustine B , et al. AdaBoost-based face detection for embedded systems[J]. Computer vision and image understanding,2010(11):1116-1125.
[10] Zhou J, Wang Y Q, Fan K F. Face detection method for real-time anti-interference[J]. Computer Engineering & Design,2013(4):1399-1403.