人臉親子關(guān)系驗證研究綜述

吳曉婷 馮曉毅 黃安 張雪毅 董晶 劉麗

人臉親子關(guān)系驗證(Facial kinship verifica- tion),是指應(yīng)用計算機視覺和機器學(xué)習(xí)方法,分析來自不同人的兩幅人臉圖像的面部特征相似性來自動判斷其是否具有某種親子關(guān)系,如父子、父女、母子、母女關(guān)系等.人臉親子關(guān)系驗證是在生物遺傳學(xué)理論基礎(chǔ)上,受心理認知學(xué)啟發(fā)[1?5]衍生出來的一個計算機視覺中的重要研究方向,因為心理學(xué)研究表明人們可以通過面部推斷親子關(guān)系.人臉親子關(guān)系驗證技術(shù)在諸多領(lǐng)域具有廣泛的應(yīng)用價值.在人類學(xué)、基因?qū)W領(lǐng)域,有助于分析社會關(guān)系中近源親屬的遺傳特性;在社會公共安全領(lǐng)域,可以應(yīng)用于丟失兒童尋找、國家邊境控制、刑事偵查等,如可以快速驗證家庭重聚簽證申請人的身份信息以及服務(wù)快速偵察兒童乞討、拐賣兒童等違法行為;在社交媒體領(lǐng)域,可以用于家庭信息分析、家庭相簿整理、自動圖像標注等;在生活娛樂方面,可以用于子女人臉圖像合成、年老人臉合成等;此外,親子關(guān)系驗證在智能家居、物聯(lián)網(wǎng)等領(lǐng)域也有潛在應(yīng)用價值,如親子行為理解、家庭信息互聯(lián)等.該問題由Fang等[6]于2010 年提出,至今僅有十余年的研究歷史,是一個近幾年新興的、具有挑戰(zhàn)的一個研究方向,鑒于人臉親子關(guān)系驗證研究潛在的學(xué)術(shù)價值和應(yīng)用價值,近期國內(nèi)外研究者對該問題的關(guān)注呈上升趨勢.

國際上,開展人臉親子關(guān)系驗證研究的主要有美國康奈爾大學(xué)、東北大學(xué)和西弗吉尼亞大學(xué)、荷蘭阿姆斯特丹大學(xué)、芬蘭奧盧大學(xué)等;國內(nèi)開展該方面研究的主要有清華大學(xué)、北京郵電大學(xué)、西北工業(yè)大學(xué)等.近年來,國際上多次舉辦了人臉親子關(guān)系驗證比賽和專題研討會.第1 屆國際親子關(guān)系驗證比賽(Kinship Verification in the Wild,KVW)于2014 年在國際生物特征識別會議(International Joint Conference on Biometrics,IJCB)上舉辦[7];第2 屆KVW 比賽舉辦于2015 年國際人臉與手勢自動識別會議(IEEE Conference on Automatic Face and Gesture Recognition,FG)[8];KVW 系列比賽均為單任務(wù),基于人臉親子關(guān)系驗證展開.隨后,美國東北大學(xué)SMILE 實驗室[9?10]自2017 年起每年舉辦家庭識別競賽(Recognizing Families in the Wild,RFIW),該競賽于2017 年在ACM 國際多媒體會議(ACM International Conference on Multimedia,ACM MM)[10]1https://web.northeastern.edu/smilelab/RFIW2017/上舉辦,之后每年在FG 會議上[9]舉辦,2019 年 在Kaggle 平臺上舉辦了RFIW競賽2Kaggle 是一個數(shù)據(jù)建模和數(shù)據(jù)分析競賽平臺,信息來自維基百科.,3https://www.kaggle.com/c/Recognizing-Faces-in-the-Wild.與以往不同,RFIW 系列比賽基于大規(guī)模親子數(shù)據(jù)庫[11]展開的多任務(wù)人臉親子識別比賽,包括人臉親子關(guān)系驗證、三人組人臉親子關(guān)系驗證以及家庭識別、家庭檢索.

綜上所述,人臉親子關(guān)系驗證的研究獲得計算機視覺和模式識別領(lǐng)域研究者的廣泛關(guān)注,研究者提出很多方法來解決該問題[6, 12?20].近期,國外已經(jīng)有一些學(xué)者對人臉親子關(guān)系驗證問題進行了綜述,表1 對比了這些綜述論文,具體代表性工作總結(jié)如下.2014 年,Dandekar等[21]對早期人臉親子關(guān)系驗證方法進行了總結(jié),包括研究目標、應(yīng)用價值、方法框架和早期代表性方法.2016 年,Wu等[22]對早期人臉親子關(guān)系驗證方法進行了歸類總結(jié),將已有方法分為4 類: 基于特征的方法、基于度量學(xué)習(xí)的方法、基于深度學(xué)習(xí)的方法和其他方法.Almuashi等[23]在2017 年的綜述則側(cè)重于闡述人臉親子關(guān)系驗證問題的衍生、定義、研究意義以及難點與挑戰(zhàn),但較少討論解決方法.Georgopoulos等[24]在2018 年將人臉親子關(guān)系驗證任務(wù)和人臉衰老問題結(jié)合,分析了其之間的相互關(guān)系,介紹了年齡因素對于親子關(guān)系驗證問題的影響,以及祖輩人臉圖像在人臉衰老變化中的引導(dǎo)作用.2020 年,Qin等[25]對人臉親子關(guān)系驗證方法進行歸類總結(jié),將其分為基于親子特征的方法和基于數(shù)學(xué)度量分析的方法,但是較少涉及近期基于深度學(xué)習(xí)的人臉親子關(guān)系驗證方法.2020 年,Robinson等[26]側(cè)重于總結(jié)RFIW 系列比賽,包括比賽任務(wù)介紹、現(xiàn)階段性能對比及今后可能的研究方向,但忽略了其他人臉親子驗證方法的匯總.目前,國內(nèi)尚沒有關(guān)于人臉親子關(guān)系驗證方法的綜述.

表1 現(xiàn)有人臉親子關(guān)系驗證綜述論文總結(jié)Table 1 The summary of the existing facial kinship verification survey papers

總而言之,已有的綜述對現(xiàn)有人臉親子關(guān)系驗證問題的研究方法總結(jié)還很不全面,尤其缺乏對近期基于深度學(xué)習(xí)的人臉親子關(guān)系驗證方法的總結(jié)以及近幾年以來出現(xiàn)的重要數(shù)據(jù)集的總結(jié).為吸引更多的研究學(xué)者參與到該領(lǐng)域的研究,促進其發(fā)展,本文嘗試首次對人臉親子關(guān)系驗證的相關(guān)研究成果進行全面綜述.首先從人臉親子關(guān)系驗證問題的基本定義出發(fā),對該問題研究中存在的困難與挑戰(zhàn)進行了深入剖析;接下來,本文對人臉親子關(guān)系驗證領(lǐng)域的主流數(shù)據(jù)庫的發(fā)展脈絡(luò)進行了梳理與總結(jié);隨后系統(tǒng)地對親子關(guān)系驗證的方法進行了梳理、歸納、評述和總結(jié);最后對人臉親子關(guān)系驗證未來的研究方向進行了探討.

1 問題定義及其挑戰(zhàn)

心理學(xué)研究表明,人們具有僅通過面部圖像推斷其是否具有親子關(guān)系的能力[1?5].進一步,相關(guān)研究學(xué)者探究了影響人們親子推斷的可能因素,包括面部旋轉(zhuǎn)性[27]、面部表情[28]、人臉的對稱性[2]、性別和年齡因素[3],以及不同面部區(qū)域?qū)τH子驗證的貢獻分布[1, 5].其中,面部的旋轉(zhuǎn)并不會降低親子識別的準確率[27];而對比于無表情人臉圖像,無約束的面部表情會對親子驗證產(chǎn)生負面影響,從而降低識別準確率[28];面部左右臉部分對親子驗證的貢獻相當,僅稍次于整個面部;DeBruine等[3]指出性別和年齡因素會大大降低親子驗證的準確率;就面部區(qū)域影響上,上半臉包含的親子信息量最大,而嘴部區(qū)域由于形態(tài)多樣,容易對親子識別產(chǎn)生噪聲影響,Alvergne等[5]指出親子線索取決于有效面部區(qū)域,而非整個面部區(qū)域.心理學(xué)領(lǐng)域中的研究成果,對基于計算機視覺和機器學(xué)習(xí)方法的自動人臉親子關(guān)系驗證問題具有借鑒價值.

圖1 中展示了部分親子圖像對和非親子圖像對,親子的推斷主要從親子間的相似性與非親子間的不相似性得出.然而,人眼通過感官知覺上判斷圖像的相似程度,很難對來自不同人的兩幅圖像進行相似度量化,如眼睛間距離、五官形狀與大小等.此外,人眼對顏色的區(qū)分感知能力較低,因此在進行親子關(guān)系驗證時,人腦處于模糊判斷,從而造成識別準確率低下.不同于人眼對親子關(guān)系驗證的判斷,計算機視覺能夠在形狀和顏色等方面,準確捕捉親子間的遺傳相似度,以及判斷非親子圖像間的不相似程度,在數(shù)字化基礎(chǔ)上有據(jù)可依,通過優(yōu)化特征表示和分類器,使得機器學(xué)習(xí)方法能夠更加準確的推斷兩幅人臉圖像是否具有親子關(guān)系.

圖1 正樣本對(具有親子關(guān)系)和負樣本對(不具有親子關(guān)系)示意圖 (? (2018) IEEE[29] 授權(quán)修改版)Fig.1 The illustration of positive pairs (with kin relations) and negative pairs (without kin relations) (? (2018) IEEE.Modified,with permission,from [29])

自動人臉親子關(guān)系驗證,旨在通過圖像特征提取和機器學(xué)習(xí)方法,分析兩幅不同的人臉圖像的面部特征相似性來判斷其是否具有某種親子關(guān)系,如父子、父女、母子、母女關(guān)系等.這是一個極具挑戰(zhàn)的問題,因為有的時候具有親子關(guān)系的兩幅人臉圖像僅存在細微的相似性.正式地,給定輸入的兩幅人臉圖像(或兩段視頻),用Ip和Ic表示,分別對圖像(或視頻)提取特征表示,記為?(Ip)與?(Ic),兩輸入之間的距離用d(?(Ip),?(Ic)) 表示,通過閾值θ判斷輸入間是否具有親子關(guān)系,則Ip與Ic

人臉親子關(guān)系驗證系統(tǒng)的關(guān)鍵環(huán)節(jié)在于兩個方面,一是親子特征的有效表示;二是人臉圖像間距離的準確度量.人臉驗證與人臉親子關(guān)系驗證問題兩者具有相似性,卻又有很大不同.兩者都需要基于兩幅人臉圖像的面部特征相似性來進行判斷,前者旨在判斷兩幅人臉圖像是否屬于同一個人,后者旨在判斷其是否具有某種親子關(guān)系.兩個問題的正負樣本空間是不同的,前者正樣本對相似度高,負樣本對存在明顯差異性;而后者的正樣本對相似程度較低,容易與負樣本對混淆,鑒于部分情況下具有親子關(guān)系的兩幅人臉圖像僅在細微之處存在相似性,增加了問題的難度系數(shù),人臉親子關(guān)系驗證是一個極具挑戰(zhàn)的問題.

除了目前研究最熱的人臉親子關(guān)系驗證問題,研究學(xué)者也指出由于孩子的遺傳基因來源于父母雙方,因此引出了另一個親子研究問題,即三人組親子關(guān)系驗證(Tri-subject kinship verification),輸入包括父母二人的人臉圖像,以及子女人臉圖像,分別用If和Im表示父親、母親的人臉圖像,用Ic表示孩子人臉圖像,來判斷其是否具有親子關(guān)系.父母、孩子的特征表示為?(If)、?(Im)和?(Ic).孩子與父母間的距離表示為d(〈?(If),?(Im)〉,?(Ic)),與人臉親子關(guān)系驗證問題類似,通過閾值對距離進行分類.三人組親子關(guān)系驗證與人臉親子關(guān)系驗證均為二分類問題(Binary classification).

在人臉親子關(guān)系驗證基礎(chǔ)上,研究也延伸到家庭分析上,包括家庭分類[30]、家庭成員搜索和檢索[11].家庭分類問題是一個多類別的分類問題(Multi-class classification),即分類任務(wù)中包含多個類別,每個類別為一個家庭,給定一幅待定人臉圖像判斷其屬于哪個家庭.用χ={X1,X2,···,Xk}表示包含k個家庭的集合,對應(yīng)的多分類標簽為{y1,y2,···,yk},訓(xùn)練一個分類器,對輸入的人臉圖像xi輸出其家庭標簽.家庭分類問題與人臉親子關(guān)系驗證的區(qū)別在于,人臉親子關(guān)系驗證的任務(wù)是分析兩輸入間的相似性,而家庭分類需要分析一個輸入與多個家庭集間的相似與不相似性,從而增加了問題的難度.同其他圖像分類問題類似,隨著家庭數(shù)目的增加,家庭分類的難度也相應(yīng)增大,因此分類性能也會跟著下降.例如目前最大的親子數(shù)據(jù)集FIW,家庭分類任務(wù)中包含564 個家庭,分類準確率僅有16.18%.家庭成員檢索問題旨在對輸入的人臉圖像匹配家庭成員,其中搜索集由所有的家庭成員組成,輸入的人臉圖像為待查詢樣本,輸出給出最為匹配的前K個家庭成員.家庭識別和家庭成員檢索問題的區(qū)別在于,家庭識別側(cè)重于家庭分類模型的訓(xùn)練,而家庭成員檢索則通過相似性度量學(xué)習(xí),檢索出與待查詢圖像較相似的人臉圖像,從而找到輸入的父母及其他親屬成員.

圖2 總結(jié)了4 種親子關(guān)系相關(guān)的任務(wù)示意圖.由于人臉親子關(guān)系分析仍處于研究初級階段,且人臉親子關(guān)系驗證方法是親子關(guān)系研究中的關(guān)鍵和核心,因此受關(guān)注度最高的是人臉親子關(guān)系驗證問題,表2 對現(xiàn)有的代表性人臉親子關(guān)系驗證算法進行了分類匯總,分析了其所針對的問題,對比了不同方法的優(yōu)勢與不足,本文第3 節(jié)與第4 節(jié)對具體的算法進行了詳細的分析.

表2 人臉親子關(guān)系驗證方法的優(yōu)缺點總結(jié)Table 2 The summary of advantages and disadvantages of the facial kinship verification methods

圖2 親子關(guān)系任務(wù)示意圖Fig.2 The illustration of kinship related tasks

人臉親子關(guān)系驗證是一個具有挑戰(zhàn)的問題,其主要的挑戰(zhàn)和難點總結(jié)為以下幾個方面.

1) 同一人不同形態(tài)差異(Inner-person variations)的影響.這一點繼承了人臉驗證(Face verification)問題存在的挑戰(zhàn).一方面,由于成像環(huán)境導(dǎo)致的各種變化,受到多種因素帶來的干擾,如光照變化、成像距離、成像角度、相機參數(shù)等;另一方面,由于主體自身的各種變化,例如姿態(tài)變化、表情變化、年齡變化、眼鏡等配飾引起的遮擋等.這些因素,會導(dǎo)致同一個人的人臉圖像表觀特征產(chǎn)生很大差異,影響圖像特征的提取.

2) 親子長相的差異性(Inter-person variations).待判定是否具有親子關(guān)系的兩幅不同人臉圖像可能存在很大的年齡差異,也可能來自不同性別,或者僅存在細微的相似性,這些都增加了人臉親子關(guān)系驗證的難度.然而性別、年齡等差異性,會導(dǎo)致具有親子關(guān)系的人臉圖像差異性增大.可以看出相比于年輕時父母的人臉圖像,子女與年老父母圖像差異更大.而性別的差異性,間接性地影響了判斷是否具有親子關(guān)系的準確性.此外,隔輩人臉親子關(guān)系(如爺爺?孫子、爺爺?孫女等)驗證問題,由于年齡跨度大、共同遺傳信息減少使得判斷難度更大.

3)親子/非親子分類邊界模糊.具有親子關(guān)系的兩個不同人可能看起來有很大差異,僅存在細微的相似性,這種情況被稱為困難正樣本(Hard positive sample).相反,不具有親子關(guān)系的不同人或許在長相上具有一定的相似性,稱為困難負樣本(Hard negative sample).親子人臉圖像對相似度低、非親子人臉圖像相似度高,就造成距離度量往往難以分類,分類邊界難以界定.

4) 圖像高維特征提取與數(shù)據(jù)樣本量少之間的矛盾.可見人臉親子關(guān)系驗證問題是一個難度很高的研究課題,人臉親子特征的準確表示就是技術(shù)需攻破的關(guān)鍵壁壘之一.隨著深度學(xué)習(xí)在計算機視覺領(lǐng)域的不斷滲透和發(fā)展,在學(xué)習(xí)提取高維可判別的圖像特征中,對訓(xùn)練數(shù)據(jù)的要求非常高,然而現(xiàn)有的親子數(shù)據(jù)集往往存在數(shù)據(jù)量小、數(shù)據(jù)質(zhì)量低下等問題,給深度模型的訓(xùn)練帶來巨大的挑戰(zhàn).

5) 大規(guī)模親子數(shù)據(jù)庫的建立.現(xiàn)有的親子數(shù)據(jù)庫往往存在數(shù)據(jù)量少、數(shù)據(jù)質(zhì)量低、涉及情景少等缺點.大規(guī)模全面數(shù)據(jù)庫對機器學(xué)習(xí)算法的研究推進起著重要的作用,然而親子數(shù)據(jù)庫的建立依賴于已知人物間的親子關(guān)系,由于親子關(guān)系屬于個人的家庭信息,有時候很難直接獲得該方面信息,這就對大規(guī)模的親子數(shù)據(jù)庫的建立產(chǎn)生了巨大的困難.

2 數(shù)據(jù)集和評估準則

2.1 數(shù)據(jù)集

數(shù)據(jù)集在人臉親子關(guān)系驗證研究中發(fā)揮著重要的作用.在如今的大數(shù)據(jù)時代,大量數(shù)據(jù)的收集顯得越來越重要.一方面,公開的標準數(shù)據(jù)集為研究者提供了實驗數(shù)據(jù)和統(tǒng)一的評價標準,另一方面,數(shù)據(jù)集的構(gòu)建與發(fā)展也進一步促進研究的問題趨于完善.在親子關(guān)系驗證研究出現(xiàn)以前,沒有相關(guān)的親子人臉數(shù)據(jù)集,因此,康奈爾大學(xué)的Fang等[6]于2010 年建立了第一個親子關(guān)系數(shù)據(jù)集Cornell Kin-Face,該數(shù)據(jù)集由300 幅人臉圖像(即150 個親子對)組成,包含了父親?兒子,父親?女兒,母親?兒子,母親?女兒4 種主要的親子關(guān)系.此后十年間,許多學(xué)者建立了多種親子數(shù)據(jù)集.相較于最初的數(shù)據(jù)集,新的數(shù)據(jù)集在數(shù)據(jù)集大小、結(jié)構(gòu)、親子關(guān)系類型以及數(shù)據(jù)的模態(tài)上各有豐富和發(fā)展.

目前常用的公共人臉親子關(guān)系數(shù)據(jù)集有12 個,分別為: Cornell KinFace[6],UB KinFace[52?53],Kin-FaceW[15],Family 101[30],UVA-NEMO Smile[66?67],TSKinFace[68],FIW[11],WVU[69],KFVW[70],FFVW[71],KIVI[72]和TALKIN[73]數(shù)據(jù)集.表3 對現(xiàn)有親子數(shù)據(jù)集參數(shù)進行了總結(jié)和對比.下面我們將對這些數(shù)據(jù)集展開介紹其特性.

表3 親子關(guān)系數(shù)據(jù)庫屬性總結(jié)Table 3 Characteristics of kinship databases

1) Cornell KinFace 數(shù)據(jù)集4http://chenlab.ece.cornell.edu/projects/KinshipVerification/.Cornell KinFace[6]是第一個公共人臉親子數(shù)據(jù)集,其由康奈爾大學(xué)搜集.其包含150 對名人以及名人的父母或者子女的人臉圖像,每幅圖像的大小是100×100 像素,這些圖像均來源于網(wǎng)絡(luò),圖像采集環(huán)境為自然條件,即對光照、姿態(tài)、背景、表情、遮擋等因素上沒有要求.該數(shù)據(jù)集的提出具有開創(chuàng)性意義,為之后的數(shù)據(jù)集構(gòu)建提供了借鑒.Cornell KinFace 數(shù)據(jù)集沒有對父母?子女親子關(guān)系進一步細分,根據(jù)名人的身份信息推斷親子關(guān)系類型發(fā)現(xiàn),親子關(guān)系類型分布數(shù)量不均衡,其中母親?兒子這一親子關(guān)系類型數(shù)量最少,父親?兒子關(guān)系對最多.

2) UB KinFace 數(shù)據(jù)集5http://www1.ece.neu.edu/yunfu/research/Kinface/Kinface.htm.由美國東北大學(xué)的Shao 等采集的UB KinFace[52?53],是第一個包括有子女、年輕父母和年老父母的人臉圖像數(shù)據(jù)集.與其他的親子關(guān)系數(shù)據(jù)集不同,它收集了父母年輕時期的照片,這是由于研究人員發(fā)現(xiàn)年輕父母與其子女的人臉圖像之間具有更高的相似性.它包括400個人的600 幅圖像,圖像的分辨率為89×96 像素.這600 幅圖像分為200 組,每一組中包括了子女、年輕時父母及年老時父母的人臉圖像各一幅.UB Kin-Face 涉及到的人種分為兩部分: 亞洲人和非亞洲人,各有 100 組.該數(shù)據(jù)集對具體的親子關(guān)系類型進行了區(qū)分,分為4 種親子關(guān)系,其中父親?兒子,父親?女兒,母親?兒子,母親?女兒分別有91 組,79 組,21 組以及 15 組.

3) KinFaceW 數(shù)據(jù)集6http://www.kinfacew.com/.KinFaceW 數(shù)據(jù)集由兩個子數(shù)據(jù)集組成: KinFaceW-I 和 KinFaceW-II,數(shù)據(jù)是從網(wǎng)絡(luò)上收集的自然環(huán)境下的人臉圖像,由Lu 等提出[15],所有圖像的大小為64×64 像素.兩個子數(shù)據(jù)集的數(shù)據(jù)結(jié)構(gòu)相同,不同之處在于,Kin-FaceW-I 中的人臉圖像來自從不同的照片,而Kin-FaceW-II 中的人臉圖像對是從同一幅圖像中分割得到的.KinFaceW-I 中,父親?兒子,父親?女兒,母親?兒子,母親?女兒分別有 134 對,156 對,127對和116 對;KinFaceW-II 中,每一種親子關(guān)系分別有250 對,由于其數(shù)據(jù)規(guī)模適中,數(shù)據(jù)分布合理,便于進行訓(xùn)練,絕大多數(shù)基于人臉親子關(guān)系驗證研究中都用到了該數(shù)據(jù)集,但隨著深度學(xué)習(xí)算法在人臉親子關(guān)系驗證中的運用,該數(shù)據(jù)集也暴露出其在數(shù)據(jù)量上的短板.

4) Family 101 數(shù)據(jù)集7http://chenlab.ece.cornell.edu/projects/KinshipClassification/index.html.Family 101[30]數(shù)據(jù)集是第一個包含有家庭樹結(jié)構(gòu)的數(shù)據(jù)集,該數(shù)據(jù)集是由康奈爾大學(xué)先進多媒體處理(Advanced multimedia processing,AMP)實驗室建立.Family 101數(shù)據(jù)集包含了206 個核心家庭,涉及607 個人,共計14816 幅人臉圖像.每一棵家庭樹有1～ 7 個核心家庭,而每一個核心家庭包括3～ 9 個家庭成員.數(shù)據(jù)集中的圖像大部分是灰度圖,圖像的分辨率各有不同,并沒有進行統(tǒng)一.Family 101 數(shù)據(jù)集中包含了白種人、亞洲人和非裔美國人等多個人種.Family 101 數(shù)據(jù)集中有多種親子關(guān)系類型,父親?兒子,父親?女兒,母親?兒子,母親?女兒分別有213 對,147 對,184 對和148 對.Family 101 數(shù)據(jù)集以家庭樹結(jié)構(gòu)組織數(shù)據(jù),高效地表示了不同樣本間的親子關(guān)系.此外,Family101 中的多數(shù)人具有多幅人臉圖像,部分圖像拍攝于不同的年齡時期.

5) UVA-NEMO Smile 數(shù)據(jù)集8http://www.uva-nemo.org/.UVA-NEMO Smile 數(shù)據(jù)集由Dibeklioglu等[66?67]提出,最初建立該數(shù)據(jù)集的目的是為了檢測參與者是在 “真笑” 還是 “假笑”,由于該數(shù)據(jù)集的參與者是以家庭為單位的,其也被視為第一個由人臉視頻組成的親子數(shù)據(jù)集.UVA-NEMO Smile 數(shù)據(jù)集包括有1240 段微笑視頻(其中597 段 “真笑”視頻,643 段 “假笑”視頻),所有視頻的拍攝背景均為黑色,光照條件固定.參與者的年齡在8～ 76 歲之間,視頻幀大小為1920×1080 像素.該數(shù)據(jù)集包含了父母?子女的4 種主要親子關(guān)系類型以及兄弟姐妹3 種親子關(guān)系類型(根據(jù)性別的不同分成的姐妹關(guān)系,兄弟關(guān)系,姐弟/兄妹關(guān)系).該數(shù)據(jù)集的親子關(guān)系對數(shù)較少,僅有95 對,且視頻中包含的人種相對單一,絕大多數(shù)為白種人.

6) TSKinFace 數(shù)據(jù)集9http://parnec.nuaa.edu.cn/xtan/data/TSKinFace.html.TSKinFace 數(shù)據(jù)集是由淮陰師范大學(xué)的Qin等[68]提出的人臉圖像數(shù)據(jù)集,與之前的數(shù)據(jù)集不同,它主要用于研究三人組親子關(guān)系驗證問題.TSKinFace 包含兩種組合親子關(guān)系類型: 父親?母親?兒子和父親?母親?女兒,分別有 513 組和 502 組,人臉圖像來自于網(wǎng)絡(luò)并且對拍攝環(huán)境沒有約束,每幅人臉圖像大小歸一化為64×64 像素,數(shù)據(jù)集中涉及了多個人種.

7) FIW 數(shù)據(jù)集10https://web.northeastern.edu/smilelab/fiw/.FIW (Families in the Wild)[11]數(shù)據(jù)集是目前規(guī)模最大,綜合性最強的親子圖像數(shù)據(jù)集,由Robinson 等建立.FIW 數(shù)據(jù)集以家庭結(jié)構(gòu)組織數(shù)據(jù),包含1000 個家庭的超過13000 幅人臉圖像,每幅人臉圖像大小為224×224 像素.FIW涉及了家庭成員在不同時間的多張照片.在親子關(guān)系類型上,不僅包含了在UVA-NEMO Smile 中涉及的7 種親子關(guān)系類型,而且還涉及了四種跨代親子關(guān)系類型(祖父?孫子,祖父?孫女,祖母?孫子,祖母?孫女).FIW 不僅在數(shù)據(jù)集的規(guī)模上遠遠超過了Family 101,而且在家庭結(jié)構(gòu)方面也比Family 101 更為復(fù)雜.它的數(shù)據(jù)量也遠超其他的數(shù)據(jù)集.

8) WVU 數(shù)據(jù)集11https://sites.google.com/a/mix.wvu.edu/namankohli/resources.WVU 數(shù)據(jù)集由西弗吉尼亞大學(xué)(West Virginia University,WVU)的Kohli等[69]建立,數(shù)據(jù)集包括113 對親子關(guān)系對,包含了UVA-NEMO Smile 中涉及的7 種親子關(guān)系類型,其中22 對兄弟,9 對姐弟/兄妹,13 對姐妹,14 對父女,34 對父子,13 對母女和8 對母子.為了增加人臉圖像多樣性,數(shù)據(jù)集每個參與者包含4 幅人臉圖像.缺點是數(shù)據(jù)集規(guī)模小,親子對數(shù)量有限.

9) KFVW 數(shù)據(jù)集12https://www.kinfacew.com/datasets.html.Yan等[70]提出了KFVW(Kinship Face Videos in the Wild)這一人臉視頻親子關(guān)系數(shù)據(jù)集,與UVA-NEMO Smile 的固定背景不同,它采集于自然環(huán)境.視頻在光照、姿勢、遮擋情況、背景、表情、化妝情況、年齡等方面沒有約束.KFVW數(shù)據(jù)集包含了418 對人臉視頻,每段視頻包含100～ 500 幀圖像,視頻幀的大小為900×500 像素.這些視頻數(shù)據(jù)均來源于網(wǎng)絡(luò)電視節(jié)目.KFVW 包含了4 種主要的親子關(guān)系類型,該數(shù)據(jù)集在親子關(guān)系類型的分布上比較均衡,數(shù)據(jù)量較UVA-NEMO Smile 也有了很大的提升,而不足的是KFVW 數(shù)據(jù)集沒有以家庭結(jié)構(gòu)組織數(shù)據(jù),每個個體沒有多段視頻.

10) FFVW 數(shù)據(jù)集.FFVW 數(shù)據(jù)集是由Sun等[71]建立的一個人臉視頻親子關(guān)系數(shù)據(jù)集,與TSKin-Face 數(shù)據(jù)集相似,該數(shù)據(jù)集主要用于基于人臉視頻的三人組親子關(guān)系驗證.FFVW 包含了100 組對象的300 段視頻,數(shù)據(jù)來源自互聯(lián)網(wǎng),視頻中的環(huán)境均為自然環(huán)境.與TSKinFace 不同,FFVW 將父母?子女關(guān)系統(tǒng)一作為研究對象,沒有對子女性別進行細分.

11) KIVI 數(shù)據(jù)集13http://iab-rubric.org/resources/KIVI.html.KIVI 數(shù)據(jù)集由Kohli等[72]建立,數(shù)據(jù)以家庭為結(jié)構(gòu)進行組織.包含了503 個個體的人臉視頻,這503 個個體來自于211 個家庭,共計組成了355 對親子對.該數(shù)據(jù)集從互聯(lián)網(wǎng)中收集,視頻的平均時長為18.78 s,平均幀頻率為26.79 幀/s,靜態(tài)總幀數(shù)超過了25 萬.與先前提出的視頻親子關(guān)系數(shù)據(jù)集不同,KIVI 數(shù)據(jù)集包括了加上兄弟姐妹關(guān)系在內(nèi)的7 種親屬關(guān)系,在光照、姿勢、遮擋情況、種族和表情方面沒有約束,且數(shù)據(jù)集中包括了多個人種.

12) TALKIN 數(shù)據(jù)集.TALKIN[73]數(shù)據(jù)集是第一個多模態(tài)的親子關(guān)系數(shù)據(jù)集,由人臉視頻和語音兩個模態(tài)的數(shù)據(jù)組成.TALKIN 數(shù)據(jù)集包含了從互聯(lián)網(wǎng)中收集的800 段視頻,包括了4 種親子關(guān)系,父親?兒子、父親?女兒、母親?兒子和母親?女兒.每種關(guān)系有一百對視頻.視頻均為說話者視頻,包含人臉視頻和聲音信號.視頻中人物為名人或者來源于家庭綜藝中的普通人.TALKIN 數(shù)據(jù)集包含了來自9 個國家的人種,其中白種人占有很大的比例.視頻在背景環(huán)境、人臉姿態(tài)、有無遮擋以及說話的文本內(nèi)容等均無限制.

2.2 性能評估準則

實驗中數(shù)據(jù)分為正樣本對和負樣本對,正樣本對是由數(shù)據(jù)集當中所有具有親子關(guān)系的樣本組成,負樣本對為隨機產(chǎn)生的不具有親子關(guān)系的樣本.通常正負樣本對數(shù)量相同,但也有研究工作為了生成更多的學(xué)習(xí)樣本,負樣本會多于正樣本.由于親子關(guān)系數(shù)據(jù)量往往比較小,為了避免過擬合,實驗中采取五折驗證方法.其中,四折作為訓(xùn)練集,剩下的一折作為測試集,通過五輪交替后求平均得出最終的結(jié)果.需要特別注意的是,每一折數(shù)據(jù)的正負樣本對均在本折中產(chǎn)生,不可以產(chǎn)生不同折之間的數(shù)據(jù)交叉.

識別準確率是親子關(guān)系驗證常用的評價指標,準確率可以描述一個分類器在測試數(shù)據(jù)集上的分類能力[74],分類器的分類結(jié)果可以分為兩部分: 正確分類部分和不正確分類部分.正確分類部分包括正確分類的正樣本(True positive,TP)與正確分類的負樣本(True negative,TN);錯誤分類部分包括錯誤分類的正樣本(False positive,FP)和錯誤分類的負樣本(False negative,FN).準確率A的計算方式為

3 傳統(tǒng)人臉親子關(guān)系驗證方法

短短十年的研究歷史,涌現(xiàn)了不少人臉親子關(guān)系驗證的研究工作,經(jīng)歷了傳統(tǒng)手工設(shè)計工程和以深度學(xué)習(xí)為代表的學(xué)習(xí)訓(xùn)練時代.為方便總結(jié),我們將人臉親子關(guān)系驗證方法分為兩個階段進行總結(jié): 傳統(tǒng)的手工設(shè)計方法(本節(jié))和基于深度學(xué)習(xí)的方法(第4 節(jié)).在本節(jié),我們先介紹了傳統(tǒng)人臉親子關(guān)系驗證的一般過程,之后對傳統(tǒng)方法分為兩個大類介紹,分別為傳統(tǒng)人臉親子特征提取方法和親子度量學(xué)習(xí)方法.

3.1 人臉親子關(guān)系驗證方法框架

親子關(guān)系驗證的一般流程如圖3 所示,主要由4 個關(guān)鍵環(huán)節(jié)組成: 人臉檢測、矯正和分割、親子特征提取、距離計算和分類得出結(jié)果.

圖3 親子關(guān)系驗證的一般流程Fig.3 The general framework of kinship verification

1) 人臉檢測、矯正和分割.這一步驟是對輸入的包含人臉的原始圖像進行人臉檢測,對人臉部位進行定位后,通常以眼睛位置作為關(guān)鍵比對點,對人臉進行對齊和矯正.對齊和矯正的目的是減少由于尺度、人臉角度的影響,常用的人臉分割和對齊方法有MTCNN (Multi-task convolutional neural network)[75]和ERT (Ensemble of regression trees)[76].本文將不再對此進行詳細介紹,讀者可參閱相關(guān)文獻.

2) 親子特征提取.對給定的兩幅輸入人臉圖像I1,I2分別進行特征提取,將每幅人臉圖像表示成一個緊致的特征矢量,即?(I1) 和?(I2),用于后續(xù)的距離度量和分類.這一環(huán)節(jié)屬于親子關(guān)系驗證的一個核心研究內(nèi)容,也是決定其性能的關(guān)鍵所在.在深度學(xué)習(xí)出現(xiàn)以前的傳統(tǒng)特征工程時代,常用的特征描述子有局部二值模式(Local binary pattern,LBP)、二進制統(tǒng)計圖像特征(Binarized statistical image feature,BSIF)、尺度不變特征變換(Scale-Invariant feature transform,SIFT)、方向梯度直方圖(Histogram of oriented gradient,HOG)以及局部相位量化(Local phase quantization,LPQ)等.深度學(xué)習(xí)出現(xiàn)以后,傳統(tǒng)的特征描述子已經(jīng)逐漸被深度特征表達方法取代.本文在第3.2 節(jié)和第4 節(jié)中按照傳統(tǒng)特征工程方法和深度學(xué)習(xí)方法兩類對代表性的人臉親子特征表達方法進行詳細的歸類、分析和總結(jié).

3)距離度量.經(jīng)過親子特征提取,兩幅人臉圖像分別表示成兩個固定維度的特征向量,接下來需要采用合適的距離度量來計算兩個特征矢量在特征空間中的距離,來評估兩幅人臉圖像之間的相似性.常用的距離度量方法有歐氏距離、馬氏距離、余弦相似度等,在基本距離度量上,研究者嘗試引入度量學(xué)習(xí)(Metric learning) 算法,度量學(xué)習(xí)由Xing等[77],在NIPS 2002 (Conference and Workshop on Neural Information Processing Systems 2002)第一次提出,度量學(xué)習(xí)旨在學(xué)習(xí)能使具有親子關(guān)系樣本對(即正樣本對)間的距離變小,而非親子關(guān)系樣本對(即負樣本對)間的距離變大的變換矩陣,將提取的特征向量通過學(xué)習(xí)到的變換矩陣嵌入到新的特征空間,以提高人臉親子關(guān)系驗證的性能[15,46,78].這部分將在第3.3 節(jié)中進行詳細介紹.

4)分類.經(jīng)過上述步驟,已經(jīng)得到人臉圖像樣本對之間的距離,接下來就是學(xué)習(xí)一個二元分類器對輸入人臉圖像樣本對間的距離進行分類.常用的分類器有K近鄰,支持向量機和閾值判別法.

在人臉親子關(guān)系驗證問題中,親子特征提取和距離度量起著更為重要的作用,也是研究關(guān)注的焦點,為此也是本文討論的重點.

3.2 傳統(tǒng)人臉親子特征提取方法

解決人臉親子關(guān)系驗證問題首先要對人臉圖像中的關(guān)鍵部位進行有效的特征表示,特征提取方法研究的目的是在面部圖像中提取包含親子遺傳屬性的特征表示,依據(jù)算法側(cè)重不同及其擬解決的問題,可以分為描述特征、面部顯著特征、手工特征、基于顏色的特征變換和特征選擇方法等.首先,描述特征由Fang等[6]學(xué)者提出,他們著手于面部底層特征,從不同維度表示面部特征,包括面部顏色屬性:眼睛顏色、膚色、發(fā)色;五官間距離: 用歐氏距離測量不同部位間的距離以及其梯度特性;臉型: 五官器官的大小.之后Xia等[79?80]對面部更多的信息進行描述,包括圖像人的年齡、性別、人種等,這些屬性用二值化的特征表示,即 ? 1 和+1.最后將20 種屬性特征級聯(lián)作為特征向量.然而,描述特征大多需要人為介入進行標注,來定義特征描述的屬性,特征向量維度低,信息表示片面,不能夠全面挖掘圖像中的親子特性.隨著人臉親子關(guān)系驗證逐漸獲得更高的關(guān)注度,研究員們提出了性能佳、效率高的自動特征提取方法,接下來將對這些方法進行分類和匯總.

3.2.1 基于顯著特征的親子關(guān)系驗證

這類方法旨在通過對面部的顯著部位,如眼睛、鼻子、嘴巴比較親子間的相似度[31?33, 81],因此首先需要對人臉進行關(guān)鍵點定位.給定一幅人臉圖像,對其提取顯著性部位,Guo等[31]提出使用眼睛、嘴巴和鼻子作為面部顯著性區(qū)域,如圖4 所示,再用DAISY 描述子[82]對每個區(qū)域提取相似性特征,而后計算一對圖像的相似性.Kohli等[81]提出使用角點檢測(Differences of Gaussians,DoG)方法定位面部關(guān)鍵區(qū)域,之后Wang等[32]在2014 年將廣泛應(yīng)用的68 個人臉特征點檢測方法應(yīng)用到親子關(guān)系驗證中來[34],并提出使用基于Grassmann 流形的幾何度量方法,計算兩幅人臉圖像的相似性.除了對人臉的關(guān)鍵點、關(guān)鍵部位檢測和提取,Goyal等[33]提出基于邊緣(Edge) 檢測的親子特征提取方法,作者首先用Canny 邊緣檢測算子對兩幅人臉圖像提取邊緣特征.Canny 算子具有低錯誤率的邊緣檢測,最優(yōu)的邊緣定位以及對任意邊緣僅標記一次的優(yōu)良特性[35],在獲得圖像邊緣信息后,分析邊緣條紋包裹的閉環(huán)面部區(qū)域作為最終獲得的顯著性區(qū)域.

圖4 基于顯著性區(qū)域的親子關(guān)系驗證算法框架圖Fig.4 The architecture of saliency based kinship verification

3.2.2 手工特征方法

前面介紹的面部幾何形狀特征是在圖像的像素級上檢測和提取的,受檢測準確度、面部表情形變、噪聲以及傾斜角度影響較大,從而導(dǎo)致識別準確率低,在復(fù)雜條件下對噪聲容忍度低.針對這類問題,研究學(xué)者提出使用手工特征提取方法[14,36?39,83].其中局部二值模式(LBP)是應(yīng)用最為廣泛的手工特征表示提取方法,LBP 是一種用來描述圖像局部紋理特征的算子,它具有旋轉(zhuǎn)不變性和灰度不變性等顯著的優(yōu)點,最早由Ojala等[84?85]在1996 年提出,LBP采用圓形鄰域編碼方法,如圖5 所示.在3×3大小的窗口內(nèi),以中心像素作為閾值,分別與鄰域的8 個像素進行比較,生成8 個二值碼.若周圍像素大于閾值,則標記為1,否則標記為0.

圖5 LBP 算法Fig.5 The algorithm of LBP

由以上方法得到的8 位無符號數(shù)即為該窗口的LBP 編碼,這個編碼可以反映區(qū)域的紋理特征.LBP 編碼可以通過改變鄰域半徑和取值點,得到不同維度下的特征表示.設(shè)窗口半徑為R,取P個鄰域相似點,則 (xc,yc) 點的LBP 值計算式可以表示為

其中,gc為中心像素點,gp為鄰域像素點.s(x) 為符號函數(shù).經(jīng)過LBP 算子后,特征采用10 進制方式表達該點的二值模式,共有 2P種,在實際應(yīng)用中可以對P和R值進行改變獲得多尺度下的LBP 表達[38].通常,在LBP 特征提取前會將圖像進行分塊,計算每個子塊中每個像素的LBP 值,對子塊進行直方圖統(tǒng)計得到該子圖像塊的LBP 值,利用子圖像塊的LBP 值即可以描述該圖像的紋理特征.圖6給出了一個灰度圖及其對應(yīng)的LBP 圖譜,LBP 圖譜中的每個像素值代表了該點的LBP 值.

圖6 LBP 可視化特征Fig.6 The visualization of LBP feature

在基礎(chǔ)的手工特征基礎(chǔ)上,現(xiàn)有的方法也對其進行了不同程度的發(fā)展研究.金字塔多尺度協(xié)方差描述子(Pyramid multi-level covariance descriptor,PML-COV)[38]建立了金字塔手工特征,將不同分辨率下的HOG 和LBP 兩種特征與協(xié)方差描述子結(jié)合,取得了傳統(tǒng)特征提取方法中最好的識別率,在KinFaceW-I與KinFaceW-II 數(shù)據(jù)集上的識別率均達到88.2%.

3.2.3 基于顏色的特征變換方法

傳統(tǒng)手工特征往往在灰度圖像上提取,僅從光照強弱(Luminance)程度層面分析圖像的特征表示,而忽略了圖像的色度信息(Chrominance).面部中的顏色包含了親子間的遺傳信息,如: 眼睛顏色、膚色和發(fā)色等,為了能夠充分提取面部圖像顏色信息,Wu等[12]提出顏色紋理特征提取方法.顏色紋理特征結(jié)合了圖像中顏色和紋理兩個方面信息,使得表征具有更高的可判別性.常用的顏色空間包括RGB,HSV,YCbCr 等,該方法首先將輸入圖像轉(zhuǎn)換為目標顏色空間,在目標顏色空間中對每個通道上的圖像分別提取紋理特征,再將各個通道的特征進行級聯(lián)得到最終的顏色紋理特征,如圖7 所示.實驗表明HSV 顏色空間相較于其他顏色空間可以提供更為豐富的親子信息,并在TSKinFace 數(shù)據(jù)集上取得了較好的識別準確率,親子平均識別率為81.2%.并且之后的相關(guān)研究均表明了顏色紋理特征在親子關(guān)系驗證問題上的有效性[29, 40].

圖7 彩色紋理特征提取方法Fig.7 The method of color-texture feature extraction

除了在已知的顏色空間提取特征表示,Liu等[13, 41]提出遺傳顏色空間(Inheritable color space,InCS),將親子距離度量作為目標函數(shù),從而學(xué)習(xí)一個映射矩陣W,映射矩陣可以將原圖像所在的顏色空間映射到新的顏色空間.假設(shè)原圖像對可以用兩個矩陣表示,mp和mc ∈R3×n(n=h×w),在新顏色空間下的圖像為x,y ∈R3×n.InCS 通過一個變換矩陣W將原圖像變換得到新的顏色空間

其中,W矩陣在目標函數(shù)下訓(xùn)練得到.InCS 顏色空間的各個顏色通道信息不相關(guān),減小了信息冗余度.研究表明InCS 對光照變化,(包括光強變化和光照顏色的變化)魯棒,在多個數(shù)據(jù)集上的實驗結(jié)果也表明了InCS 相較于常用顏色空間的優(yōu)越性.

3.2.4 特征選擇方法及其他方法

與單一特征提取方法相比,特征選擇(Feature selection) 方法旨在研究多個特征間的融合和選擇方法,從而可以豐富特征表示,并去除冗余信息[42?45].特征選擇方法往往輸入為多個特征,在目標函數(shù)或者識別準確率的約束下,從多個特征中選擇出其中有效的表示方法.Alirezazadeh等[42]在2015 年首先提出融合局部特征與全局特征,并從其中選取有效特征的方法.Bottinok等[43]提取圖像的多個特征,包括頻域局部相位量化(Local phase quantization,LPQ)、韋伯局部描述符(Weber＇s local descriptor,WLD)和LBP.在進行特征分類之前,為了提高識別準確率,用最大相關(guān)和最小冗余算法 (Max-relevance and min-redundancy,mRMR) 從特征候選集選出一個最優(yōu)子集作為最終的分類器輸入.

除此之外,研究者也有用分類器做導(dǎo)向來進行特征選擇.Cui等[44]提出自適應(yīng)的特征選擇方法,用W對不同特征進行選取,對于特征fj,j=1,···,N訓(xùn)練一個弱分類器hj,對N個弱分類器的選擇和優(yōu)化通過以下目標函數(shù)實現(xiàn):

其中,Wi為正則化參數(shù),ξi是每個特征的松弛變量,ωj,bj是第i個支持向量機(Support vector machine,SVM) 的超參數(shù),C是SVM 的懲罰參數(shù),xij為i樣本對的第j特征表示,Φ (xij) 是輸入空間的特征圖,有效的弱分類器組成一個強分類器.與文獻[44]類似,Chen等[45]采用典型相關(guān)分析(Canonical correlation analysis,CCA)方法,來尋找一個多特征映射選擇矩陣,從而增大親子關(guān)系對的特征相關(guān)性.

除了上述提到的特征提取方法,還有一些學(xué)者從其他角度解決特征提取的問題.Fang等[30]選取多個不同人臉部分組成一個字典,當輸入新的面部圖像時,在對應(yīng)器官圖像字典中尋找其編碼方式作為該圖像的特征向量.Duan等[86]提出特征消減法去除特征中的噪聲信息,保留有效信息.Bessaoudi等[87]提取了特征的高階表示,而Laiadi等[88]提出張量交叉視圖二次判別分析(Tensor cross-view quadratic discriminant analysis,TXQDA)方法,通過特征映射方法,學(xué)習(xí)低維張量,來減小由年齡、性別等多種因素帶來的影響.

本小節(jié)對基于特征表示的人臉親子關(guān)系驗證方法進行了全面的總結(jié),從多個分類角度分析了方法的切入點和創(chuàng)新點.特征提取的好壞直接影響到最終識別性能的高低,傳統(tǒng)的特征提取方法有計算復(fù)雜度低、特征提取速度快的優(yōu)點,然而,由于特征固化于特定的提取規(guī)則,往往有不適用于復(fù)雜情況、抗干擾能力差等缺點.

3.3 親子度量學(xué)習(xí)方法

在特征提取方法基礎(chǔ)上,我們期望找到一個最佳的度量方法去計算圖像對間的距離,使得具有親子關(guān)系的圖像對(正樣本對)距離小,而不具有親子關(guān)系的圖像對(負樣本對)距離大.這就引入了本小節(jié)將要介紹的研究內(nèi)容,基于度量學(xué)習(xí)的人臉親子關(guān)系驗證算法.度量學(xué)習(xí)(Metric learning)旨在根據(jù)不同的任務(wù)自動學(xué)習(xí)出一個距離度量函數(shù),將距離度量空間映射到一個新的度量空間中.這是由于在常用的度量空間中,同一類樣本往往不能夠很好地聚類,度量學(xué)習(xí)就是為了解決該類問題、更好地描述樣本間的相似問題,這也是人臉親子關(guān)系驗證研究的核心問題之一.

度量學(xué)習(xí)通常在距離度量/相似性度量的基礎(chǔ)上增加一個映射矩陣,依據(jù)任務(wù)不同構(gòu)造損失函數(shù),通過迭代優(yōu)化或最優(yōu)解的方法得到映射矩陣,從而達到映射度量空間的目的.其中涉及到的距離度量包括歐氏距離[46]、馬氏距離[15,54,78,89?92]、雙線性相似度[47?49,93?95]、圖構(gòu)造[50?51]、余弦相似度[55?56]、CCA[96]及其他度量模型[97?101],本小節(jié)將對這些方法進行總結(jié)概述.

3.3.1 鄰域駁斥度量學(xué)習(xí)算法

Lu等[15]2014 年提出鄰域駁斥度量學(xué)習(xí)(Neighborhood repulsed metric learning,NRML)算法,這是度量學(xué)習(xí)在人臉親子關(guān)系驗證中的第一次嘗試,為度量學(xué)習(xí)在人臉親子關(guān)系驗證研究中的研究奠定了理論和實踐基礎(chǔ).NRML 算法的思想是,正樣本相鄰的負樣本會對分類器產(chǎn)生干擾,因此方法對正樣本k個鄰域中的負樣本進行排斥,同時使正樣本互相吸引,從而分離正負樣本,算法示意圖如圖8 所示.

圖8 NRML 算法框架圖Fig.8 The architecture of NRML algorithm

我們用S={(xi,yi)|i=1,2,···,N}表示訓(xùn)練集,其中,包含了N對具有親子關(guān)系的圖像對,xi,yi為第i對親子圖像的特征表示,用m維的列向量表示.xi和yj之間的距離用馬氏距離(Mahalanobis distance)表示為

其中,A是一個m×m的對稱正定矩陣,通過找到一個合適的A,使得當i=j時,距離盡可能小;而ij時,距離盡可能大.對A構(gòu)造目標函數(shù)如下:

其中,yit1表示yi的k鄰域中第t1個負樣本,而xit2表示xi的k鄰域中第t2個負樣本.式(7)中的前兩項目的是為了駁斥xi和yi鄰域中的負樣本,J1(A)以xi為基準,最大化其與k個鄰域負樣本的距離;反過來,J2(A)以yi為基準,最大化其與k個鄰域負樣本的距離,而第3 項J3(A) 則使正樣本對xi和yi距離盡可能小.這樣就實現(xiàn)了正負樣本對的分離,文獻[15]中用迭代優(yōu)化的方法對A進行求解,本文將不再贅述,感興趣的讀者可以參閱相關(guān)文獻.

NRML 算法在當時研究水平上取得了最好的識別率,分別在KinFaceW-I 和KinFaceW-II 數(shù)據(jù)集上的平均識別率為73.8%與69.9%.因此,NRML的鄰域駁斥思想也被多個研究學(xué)者應(yīng)用于其他度量方法上,Yan等[46]提出將特征向量映射到SVM 超平面(Hyperplane)上,再通過構(gòu)造鄰域駁斥思想優(yōu)化系數(shù)矩陣.Xu等[47]用多特征級聯(lián)作為圖像的特征向量,提出用雙線性相似度結(jié)合NRML 算法的度量學(xué)習(xí)方法.之后,Yan等[55]和Lei等[96]分別將度量方法用余弦相似度和CCA 代替,也證明了NRML算法的有效性.

除了上文提到的NRML 算法,研究學(xué)者在馬氏距離的基礎(chǔ)上也提出了其他度量學(xué)習(xí)算法,從不同角度切入優(yōu)化距離度量方式.Yan等[78]引入概率模型,最大化親子關(guān)系距離小于非親子關(guān)系距離的概率,即P(d(xi,yi)

圖9 大裕量多維度量學(xué)習(xí)算法示意圖Fig.9 The illustration of LM3L

LM3L 在單一特征(第k特征)下的損失函數(shù)可以表示為

其中,wk是權(quán)值參數(shù),為了避免平凡解,對權(quán)值取p次方.第1 項對不同特征空間學(xué)習(xí)權(quán)重函數(shù);第2項為了減少不同特征空間的差異性,由此最終可以得到多特征的度量學(xué)習(xí)模型.作者采用交替優(yōu)化方法優(yōu)化式(9),具體細節(jié)可參見文獻[78].

3.3.2 基于雙線性相似度的度量學(xué)習(xí)方法

除了研究較多的馬氏距離度量方法,還有一種度量方式是雙線性相似度(式(10)),M是參數(shù)矩陣,xi,xj表示兩個特征向量,當M為單位陣(Identity matrix)時,雙線性相似度可以視為沒有歸一化的余弦相似度.雙線性相似度在圖像檢索上展現(xiàn)了較好的度量性能[102?103],并且對于稀疏特征向量,其可以有效計算特征間相似度,即

Zhou等[48?49]提出四輸入的相似度學(xué)習(xí)算法(Ensemble similarity learning,ESL),輸入為xi,yi,xj,yl,其距離關(guān)系目標函數(shù)可以表示為

其中,xi和yi表示一對正樣本對,而yl和xj分別為對應(yīng)負樣本.為了滿足上述的約束條件,Zhou等[48?49]提出如下?lián)p失函數(shù):

其中,1 是一個邊緣閾值常量用于分離正負樣本對.作者提出使用梯度下降的迭代方法優(yōu)化參數(shù).ESL算法在計算效率方面具有一定的優(yōu)勢,因此其在實際應(yīng)用中可以適應(yīng)于高維特征表示.其次,ESL 通過四輸入的數(shù)據(jù)組,滿足每對圖像相似度模型上的類內(nèi)類間約束.實驗結(jié)果表明,ESL 在計算效率上優(yōu)于現(xiàn)有的方法,識別準確率在KinFaceW-I 和KinFaceW-II 上分別取得74.1%和74.3%,在當時獲得最佳識別性能.Qin等[94]提出多任務(wù)的雙線性相似性學(xué)習(xí)方法,將多種親子關(guān)系任務(wù)結(jié)合,用多任務(wù)(Multi-task)的思想進一步提高算法的魯棒性.Fang等[95]引入線性回歸模型,建立正樣本的后驗概率模型,平滑目標函數(shù),進一步幫助最優(yōu)解求解.

3.3.3 遷移子空間學(xué)習(xí)

基于遷移子空間學(xué)習(xí)的人臉親子關(guān)系驗證方法將子女圖像與父母圖像分別看作源域(Source domain)與目標域(Target domain),旨在通過學(xué)習(xí)一個矩陣映射,縮小兩個域之間的差異,同時保留特征的可判別性[52?53].Xia等[52?53]提出子女長相更相像于年輕時父母,為了保證源域到目標域的有效遷移,將年輕父母的人臉圖像作為源域到目標域的橋梁,稱為中間域(Intermediate domain).Zhang等[54]將該思想與NRML 算法結(jié)合,提出鄰域駁斥遷移度量學(xué)習(xí)(Neighborhood repulsed transfer metric learning,NRTML)算法,同時縮小子女與年輕父母之間的距離、子女與年老父母之間的距離以及年輕與年老父母之間的距離.這類方法的缺點是同時需要年輕與年老時的父母人臉圖像,對數(shù)據(jù)搜集要求高,難度大.

3.3.4 其他度量學(xué)習(xí)方法

除了上述應(yīng)用中較為廣泛的度量學(xué)習(xí)方法,研究學(xué)者也從其他角度對親子度量方法進行了研究.Zhang等[97]提出三人組的親子關(guān)系度量方法,在高維特征空間中,距離由子/女點到父母點連線的垂直距離表示.Liu等[98?99]通過向量的對角向量表示距離關(guān)系,Wu等[100]引入低秩的度量學(xué)習(xí),通過自適應(yīng)的隱含子空間學(xué)習(xí)方法挖掘更具有可判別的特征表示.Zhao等[101]提出多核的距離度量方法,包括線性和非線性度量方法,在不同核函數(shù)下計算距離后加權(quán)融合.圖學(xué)習(xí)方法也在親子關(guān)系度量中展現(xiàn)了其優(yōu)越性和有效性,Liang等[51]依據(jù)數(shù)據(jù)節(jié)點間的距離關(guān)系,將NRML 思想和圖理論結(jié)合,通過構(gòu)造本質(zhì)圖(Intrinsic graph) 和懲罰圖(Penalty graph),同時描述類內(nèi)緊湊性和類間分離性,在公開數(shù)據(jù)集上取得了較好的識別效果,在TSKinFace數(shù)據(jù)集上的親子平均識別率為90.5%,在Kin-FaceW-I 和KinFaceW-II 數(shù)據(jù)集上的平均識別率分別為78.7%和82.8%.

度量學(xué)習(xí)可以看作是對特征向量的聚類操作,通過不斷優(yōu)化學(xué)習(xí),拉近具有親子關(guān)系的圖像對,而不具有親子關(guān)系的圖像對互斥.本小節(jié)對現(xiàn)有的親子度量學(xué)習(xí)算法進行了歸納總結(jié),傳統(tǒng)的度量學(xué)習(xí)方法是在特征表示基礎(chǔ)上提出的,與特征提取方法是兩個獨立的模塊.深度度量學(xué)習(xí)將特征提取和距離度量結(jié)合,用樣本間的距離度量引導(dǎo)網(wǎng)絡(luò)學(xué)習(xí)表征能力強的特征提取方法.通常深度網(wǎng)絡(luò)抽象特征向量,相似性度量作為損失函數(shù),通過優(yōu)化損失函數(shù),不斷更新網(wǎng)絡(luò)參數(shù),最后可以得到判別力強的特征向量.

4 基于深度學(xué)習(xí)的人臉親子關(guān)系驗證方法

傳統(tǒng)手工特征的描述能力有限,很難適應(yīng)復(fù)雜場景下的大規(guī)模數(shù)據(jù)任務(wù).基于卷積神經(jīng)網(wǎng)絡(luò) (Convolutional neural network,CNN)的深度學(xué)習(xí)方法具有很好的特征描述能力,通過對大規(guī)模的數(shù)據(jù)進行訓(xùn)練分析,自適應(yīng)地從原始數(shù)據(jù)中提取有效特征向量,避免了手工特征單一、特定的特征提取規(guī)則.

隨著深度學(xué)習(xí)在計算機視覺領(lǐng)域的不斷滲透和大規(guī)模親子數(shù)據(jù)集的提出,2016 年以后研究人員的研究重心逐漸向深度學(xué)習(xí)方法遷移.相較于傳統(tǒng)方法,深度學(xué)習(xí)方法通過設(shè)計神經(jīng)網(wǎng)絡(luò),自適應(yīng)地挖掘圖像的高層次特征,一般通過端到端(End-toend)的訓(xùn)練方法獲得任務(wù)的訓(xùn)練模型(Model).深度學(xué)習(xí)方法在復(fù)雜情況下表現(xiàn)出了優(yōu)越的性能,對光照、遮擋等因素魯棒性高.人臉親子關(guān)系驗證算法中涉及到多個先進深度學(xué)習(xí)框架,包括基本卷積神經(jīng)網(wǎng)絡(luò)、深度度量學(xué)習(xí)、基于自編碼器的框架和注意力機制神經(jīng)網(wǎng)絡(luò)框架.下面將對這些算法進行匯總和介紹.

近年來,隨著深度學(xué)習(xí)方法在計算機視覺和語音處理領(lǐng)域得到成功應(yīng)用,其在人臉親子關(guān)系驗證問題中也取得了不少進展[16?20,57?63,65,72?73,104?109].深度學(xué)習(xí)網(wǎng)絡(luò)包含了許多隱含層及通過損失函數(shù)的反向傳播,使得其具有相對于傳統(tǒng)手工特征的強大的表達能力,以及對特定問題的學(xué)習(xí)能力.2015 年,Wang等[16]首次提出用深度網(wǎng)絡(luò)解決親子關(guān)系驗證問題,該方法分為兩個階段,特征提取與深度度量學(xué)習(xí).其中,面部的非線性特征通過自編碼器(AutoEncoder)提取,而后,基于優(yōu)化馬氏距離的深度度量學(xué)習(xí),可以更好地分離正負樣本.然而,該方法的輸入為LBP 特征,丟失了原始圖像的細節(jié)特征.Zhang等[57]開啟了基于端到端(End-to-end)深度學(xué)習(xí)的人臉親子關(guān)系驗證方法,框架圖如圖10 所示,是一個基本的卷積神經(jīng)網(wǎng)絡(luò)(CNN).網(wǎng)絡(luò)的輸入為兩幅人臉圖像,經(jīng)過多層的網(wǎng)絡(luò)卷積最終輸出判斷結(jié)果.該網(wǎng)絡(luò)架構(gòu)簡潔明了,僅用單一卷積網(wǎng)絡(luò)對兩輸入分析其之間的關(guān)系情況.盡管網(wǎng)絡(luò)結(jié)構(gòu)比較單一,CNN 在公開數(shù)據(jù)集上同樣表現(xiàn)出了很好的識別性能,在KinFaceW-I 和KinFaceW-II 數(shù)據(jù)集上的平均識別率分別為77.5%和88.4%,該項工作奠定了深度學(xué)習(xí)在人臉親子關(guān)系驗證研究中的研究基礎(chǔ).

圖10 基于基本CNN 的親子關(guān)系驗證框架圖Fig.10 The architecture of the basic CNN based kinship verification

4.1 深度度量學(xué)習(xí)方法

在卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上,為了優(yōu)化學(xué)習(xí)輸入的親子圖像間的距離,研究學(xué)者引入距離度量參與網(wǎng)絡(luò)訓(xùn)練,即深度度量學(xué)習(xí)(Deep metric learning)方法[17, 58?62].典型的網(wǎng)絡(luò)結(jié)構(gòu)為孿生網(wǎng)絡(luò)(Siamese network),如圖11 所示.不同于基于表征學(xué)習(xí)的深度網(wǎng)絡(luò),度量學(xué)習(xí)旨在通過優(yōu)化損失函數(shù),尋找到一個最優(yōu)的特征空間,使得具有親子關(guān)系的圖像對(Positive pair)距離縮小,不具有親子關(guān)系的圖像對(Negative pair)距離變大,而該特征空間即為我們訓(xùn)練所得到的網(wǎng)絡(luò).

圖11 基于孿生網(wǎng)絡(luò)的親子關(guān)系驗證框架Fig.11 The Siamese network based kinship verification

Li等[17]提出基于相似度量的卷積神經(jīng)網(wǎng)絡(luò)(Similarity metric based convolutional neural networks,SMCNN),輸入為兩幅人臉圖像X1和X2.G(·)表示網(wǎng)絡(luò)的全連接層特征輸出,兩幅圖像經(jīng)過參數(shù)共享的網(wǎng)絡(luò)得到特征的嵌入表示,特征間的距離用L1范數(shù)表示,如式(13)所示.

訓(xùn)練過程中,為了區(qū)分正負樣本對,增加一個閾值參數(shù)τ,使得正樣本對間距離大于τ,而負樣本對間距離小于τ.正負樣本的標簽分別用y=1與y=?1表示,此時,可以得到網(wǎng)絡(luò)的損失函數(shù)

其中,f(·) 表示歸一化的邏輯回歸.通過不斷地優(yōu)化最小化損失函數(shù),可以得到最終的網(wǎng)絡(luò)參數(shù)用于問題的求解.此外,常用的孿生網(wǎng)絡(luò)損失函數(shù)還包括對比損失函數(shù)(Contrastive loss)和三元損失函數(shù)(Triplet loss)[17?18, 73],這兩個損失函數(shù)均基于距離度量,如歐氏距離和余弦相似度,用d=D(X1,X2)表示.同樣,y表示輸入圖像對的標簽.對比損失函數(shù)可以表示為

其中,(x)+=max(x,0),參數(shù)y的0 或1 取值就使得損失函數(shù)在正負樣本情況下保留特定項式.當y=1 時(正樣本),優(yōu)化d使其逐漸縮小,從而使得親子關(guān)系對間距離變小.反之,當y=0 時(負樣本),負樣本對會逐漸分離,距離大于預(yù)設(shè)定的α閾值.不同于對比損失函數(shù),三元損失函數(shù)的輸入為三元組〈a,p,n〉,其包括3 個樣本,分別為,固定圖像(Anchor)a、正樣本圖像(Positive)p和負樣本圖像(Negative)n,正負樣本均參照輸入的固定圖像而言.三元組損失函數(shù)表示為

三元損失函數(shù)以固定樣本作為參考,在拉近正樣本的同時遠離負樣本.在兩個條件作用下,達到聚類正樣本對的目的,實現(xiàn)正負樣本對的分離,如圖12 所示.然而,對于深度度量學(xué)習(xí)而言,網(wǎng)絡(luò)的訓(xùn)練樣本對直接決定網(wǎng)絡(luò)訓(xùn)練的效率和網(wǎng)絡(luò)性能,因此研究者提出一系列難樣本挖掘(Hard negative samples mining)方法[110].通常難樣本挖掘方法致力于在訓(xùn)練批(Batch)中尋找距離較遠的正樣本對以及距離相近的負樣本對,這些樣本會產(chǎn)生較大的誤差回傳,從而有效訓(xùn)練網(wǎng)絡(luò).由于深度度量學(xué)習(xí)在人臉親子關(guān)系驗證中的研究尚處于較初級階段,且人臉親子關(guān)系驗證由于環(huán)境等因素,問題難度大,至今難樣本挖掘方法的研究在人臉親子關(guān)系領(lǐng)域中仍處于空白.

圖12 三元損失函數(shù)示意圖Fig.12 The illustration of triplet loss

4.2 基于自編碼器的方法框架

另一個解決親子關(guān)系驗證問題的框架基于自編碼器(Auto-encoder,AE)[16, 19, 72, 104, 106, 111?114],早期自編碼器在人臉親子關(guān)系驗證領(lǐng)域的應(yīng)用主要針對特征的無監(jiān)督訓(xùn)練,如圖13 所示.自編碼器包含兩個部分: 編碼器和解碼器,輸入為特征向量,經(jīng)過多層隱含層(Stacked autoencoders)后得到輸出特征向量,此時的輸出近似于輸入.其中編碼特征(Encoded feature)可以作為輸入的表征用于任務(wù).自編碼器通過無監(jiān)督的學(xué)習(xí)方式,對輸入特征進行降維和去噪.

圖13 自編碼器框架圖Fig.13 The architecture of auto-encoder

由于自編碼器輸入與輸出相似的特點,如圖14所示,Dibeklioglu等[18]將親子對作為自編碼器的輸入,自編碼器的輸出不僅與原圖像相似,又使其和自己的親子相似,從而得到具有親子表示的特征向量.用x1,x2表示兩幅輸入圖像,經(jīng)過自編碼器后的輸出分別為和.則親子損失函數(shù)可以表示為

圖14 基于自編碼器的親子驗證/圖像合成框架圖Fig.14 The architecture of auto-encoder based kinship verification/kin face synthesis

其中,C(·,·) 表示兩幅圖像的余弦相似度,通常面部圖像會用大數(shù)據(jù)預(yù)訓(xùn)練的深度網(wǎng)絡(luò)提取特征向量,如VGG (Visual geometry group)網(wǎng)絡(luò).親子損失函數(shù)描述了親子對間的相互轉(zhuǎn)化,保留了親子間的有效特征表示.而非親子損失函數(shù)是建立在親子圖像與其非親子圖像間的,對于父母和子女的負樣本圖像表示為n1和n2,則非親子損失函數(shù)為

結(jié)合親子損失函數(shù)和非親子損失函數(shù),可以得到

其中,λ是一個權(quán)重參數(shù),用來控制親子損失函數(shù)和非親子損失函數(shù)間的貢獻程度.通過對自編碼器的訓(xùn)練,可以得到編碼特征f(x1,x2),描述輸入圖像間的關(guān)系.此外,也有部分研究者利用其圖像生成特性,研究親子圖像合成技術(shù)[19, 63, 64].生成對抗網(wǎng)絡(luò)(Generative adversarial networks,GAN)是一個無監(jiān)督的學(xué)習(xí)模型,對子女圖像的生成可以實現(xiàn)數(shù)據(jù)域之間的轉(zhuǎn)換.GAN 包括兩個部分,分別為生成器(Generator,G)和判別器(Discriminato,D),生成器接受父母的圖像而合成子女的圖像,縮小與真實子女圖像間的距離.同時判別器用對抗學(xué)習(xí)的方法,判斷生成的圖像是否是真實圖像.因此在訓(xùn)練過程中,生成器的目標是合成逼真的子女圖像去欺詐判別器,而判別器在盡力區(qū)分真實圖像與合成圖像.通過這樣的一個博弈過程,GAN 就可以完成對子女圖像的合成.

4.3 基于注意力機制的框架

Yan等[65]就親子遺傳線索往往存在于特定的局部面部區(qū)域,而非整個人臉的問題,提出基于注意力機制的親子關(guān)系驗證方法.通過注意力機制,學(xué)習(xí)面部局部特征表示方法,對面部不同區(qū)域進行加權(quán)操作,對比與傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò),該方法可以學(xué)習(xí)到局部區(qū)域的高維特征,從而去除噪聲和無效信息的干擾,提高方法的性能,算法如圖15 所示.

圖15 注意力機制示意圖Fig.15 The illustration of attention mechanism

Yan等[65]采用殘差注意力機制方法,對原特征圖進行加權(quán).首先輸入特征圖(Feature map),經(jīng)過一個池化和卷積,為了使得權(quán)值和原特征圖大小相同,用上采樣操作得到一個二維的特征圖.特征點通過Sigmoid 函數(shù),將特征圖上的每個點都歸一化到0 到1 之間.用C(X) 表示輸入,即待加權(quán)的特征圖,F(X) 代表得到的注意力圖,得到的經(jīng)過注意力操作的特征圖為

其中,?表示點乘.但是,由于提出的注意力權(quán)值通用于特征圖所有通道,而權(quán)值在0 到1 之間,會造成丟棄深層特征值,因此網(wǎng)絡(luò)增加殘差(Residual)結(jié)構(gòu),可以得到最終的特征圖表示為

當F(X) 的值接近于0 時,( 1+F(X)) 的值接近于1,不會對原特征圖造成特征消失的影響,保留了網(wǎng)絡(luò)的高維信息.進一步,為了更加準確地定位親子特征部位,指導(dǎo)網(wǎng)絡(luò)對局部區(qū)域的學(xué)習(xí)作用,作者對不同面部區(qū)域遮擋再學(xué)習(xí)注意力權(quán)值,例如,眼睛、鼻子、嘴巴部位.包括全臉和部分遮擋的面部圖像在內(nèi),網(wǎng)絡(luò)輸入6 幅面部圖像,可以得到一個合成的網(wǎng)絡(luò),全面地描述面部信息.注意力機制網(wǎng)絡(luò)在KinFaceW-I 和KinFaceW-II 數(shù)據(jù)集上的平均識別率為82.6%和92.0%,是目前算法中性能比較好的.

注意力機制網(wǎng)絡(luò)借鑒了人類觀察時選擇性的注意力特點,可以根據(jù)任務(wù)的不同,學(xué)習(xí)注意力方法.在親子關(guān)系驗證的問題上尤為適用,生物學(xué)家和心理學(xué)家發(fā)現(xiàn)對于長相遺傳,眼睛部位會存在大量的遺傳信息.相比于眼睛,嘴巴部位由于狀態(tài)多樣化,并不能夠提供充足的遺傳線索,尤其對于靜態(tài)圖像而言.基于注意力的親子關(guān)系驗證研究尚處于一個初級階段,而今后如何將度量結(jié)合注意力學(xué)習(xí)是研究的關(guān)鍵點之一.

4.4 其他框架

除了上述提到的幾種典型的深度學(xué)習(xí)框架,研究者們也在包括外觀模型和幾何模型分離、多模態(tài)融合、基于圖網(wǎng)絡(luò)的框架和數(shù)據(jù)擴充問題上提出了相關(guān)解決辦法.

Zhang等[107]提出分離外觀模型與幾何模型的方法,結(jié)合全局面部外貌和臉型形狀兩個方面因素分析親子特征.外觀特征基于人的身份信息得到,臉型信息通過面部關(guān)鍵點得到.然而臉型信息的獲取受到角度和姿態(tài)的影響,因此提出仿射不變性的形狀特征提取方法,詳細的方法細節(jié)參見文獻[108].實驗表明,兩個維度特征的融合使得識別準確率在單特征基礎(chǔ)上提高了10%.

Wu等[73]就子女不僅長相與父母相似,在說話聲音上也具有一定的相似性特點,提出融合語音特征和面部特征來解決親子關(guān)系驗證問題,為親子特征提供更加全面的信息.網(wǎng)絡(luò)結(jié)構(gòu)分為兩個部分:聲音網(wǎng)絡(luò)和視覺網(wǎng)絡(luò),分別在大規(guī)模的說話者數(shù)據(jù)集和人臉數(shù)據(jù)集上預(yù)訓(xùn)練后進行微調(diào).融合模塊采用對比損失方法,學(xué)習(xí)融合機制,首先將語音和視覺特征級聯(lián),經(jīng)過全連接層輸出融合后的特征表示.實驗結(jié)果表明,多模態(tài)融合相較于單一模態(tài)可以進一步提高識別準確率.

Li等[109]發(fā)現(xiàn)對比親子關(guān)系時,往往通過比對對應(yīng)的面部屬性,而CNN 的輸出特征的每一維可以看作是一種基因特征.基于此,作者提出一種基于圖的關(guān)系推理方法.兩個輸入圖像的特征向量g(xi) 和g(yj) 的每一維級聯(lián)后得到圖的N個特征節(jié)點,hd=[gd(xi)||gd(yj)].為了融合不同維度上的關(guān)系,在所有節(jié)點中選出一個節(jié)點作為超級節(jié)點,剩余節(jié)點均和該節(jié)點連接,由此建立了親子關(guān)系推理網(wǎng)絡(luò).通過多層圖卷積后,將二值交叉熵損失函數(shù)作為目標方程來訓(xùn)練整個圖網(wǎng)絡(luò).

數(shù)據(jù)量不足是影響親子關(guān)系驗證研究在深度學(xué)習(xí)領(lǐng)域發(fā)展的一個重要因素,Song等[110]提出KINMIX 的親子數(shù)據(jù)擴充方法.該方法在特征級而不是原始圖像上進行擴充.作者提出兩個親子圖像特征向量間的線性變化后的特征向量,仍與原向量具有親子關(guān)系,通過改變線性變化的權(quán)值,可以擴充出大量的特征用于訓(xùn)練.實驗表明,擴充后相較于原始數(shù)據(jù)會對方法性能有一定的提升.

深度學(xué)習(xí)算法具有較好的學(xué)習(xí)能力,在人臉親子關(guān)系驗證中具有很大的發(fā)展?jié)摿?也是未來的主要研究方向之一.為了更加清楚直觀地對比現(xiàn)有基于深度學(xué)習(xí)的人臉親子關(guān)系驗證算法,本文在表4中對其在多個維度上進行了匯總比較,并分析了算法所針對的問題.

表4 基于深度學(xué)習(xí)的親子關(guān)系驗證方法總結(jié)Table 4 The summary of deep learning based kinship verification

5 現(xiàn)有方法性能比較

本節(jié)將對現(xiàn)有的人臉親子關(guān)系驗證算法進行性能比較,由于人臉親子關(guān)系驗證的方法很多,我們無法對所有的方法窮舉.因此,本文選取了3 個研究方向中具有代表性的研究工作,以及發(fā)表在頂級會議和頂級期刊上性能好、具有里程碑意義的方法.表5 總結(jié)了10 余種最具代表性的親子關(guān)系驗證算法在常用基準測試數(shù)據(jù)集上的性能,分別從特征提取、度量學(xué)習(xí)和深度學(xué)習(xí)3 個方面選取幾種最具代表性的方法.常用基準測試數(shù)據(jù)集包括親子靜態(tài)人臉數(shù)據(jù)集KinFaceW-I、KinFaceW-II、TSKinFace、FIW 和Cornell KinFace 等,視頻數(shù)據(jù)集包括Smile、TALKIN 和KIVI.為了方便比較,我們選取了應(yīng)用較多的幾種親子關(guān)系,包括: 父親?兒子(FS)、父親?女兒(FD),母親?兒子(MS),母親?女兒(MD).

傳統(tǒng)人臉親子關(guān)系包括兩個方面,分別為基于特征提取的方法和基于度量學(xué)習(xí)的方法.人臉親子關(guān)系驗證研究初期以傳統(tǒng)特征提取方法為主,識別率相對較低.以第一個人臉親子關(guān)系驗證方法 “計算模型”為例,平均識別準確率僅有65.7%.隨著人臉特征表示研究的不斷進步,基于特征提取的方法取得了比較大的性能提升.顏色特征方法[12]在TSKin-Face 數(shù)據(jù)集上的平均識別準確率為81.2%,PMLCOV[38]方法在KinFaceW-I 和KinFaceW-II 數(shù)據(jù)集上的平均識別率均可以達到88.2%.在特征提取的基礎(chǔ)上,度量學(xué)習(xí)方法從距離度量的角度著手,進一步優(yōu)化親子和非親子圖像對的距離度量方式,提高正負樣本的識別準確率.MNRML 算法作為度量學(xué)習(xí)在人臉親子關(guān)系驗證研究中的里程碑工作,取得了當時最好的識別準確率,分別在KinFaceWI 和KinFaceW-II 數(shù)據(jù)集上的平均識別準確率為73.8%和69.9%.WGEML 方法引入圖結(jié)構(gòu),得到了更高的識別準確率.傳統(tǒng)方法為人工設(shè)計的特定規(guī)則,在復(fù)雜情景下魯棒性低,從表3 中可以看出傳統(tǒng)方法均針對于小規(guī)模數(shù)據(jù)集,涉及的情景單一、數(shù)據(jù)收集環(huán)境也比較理想.深度學(xué)習(xí)方法進一步實現(xiàn)了算法性能的提升,其中SCCAE 算法在Smile數(shù)據(jù)集上取得了93.3%的平均識別準確率,Attention 算法在KinFaceW-I 和KinFaceW-II 數(shù)據(jù)集上擊敗了傳統(tǒng)方法,識別準確率分別為82.6% 和92.0%.隨著小數(shù)據(jù)集上識別準確率趨近于飽和,研究學(xué)者提出大規(guī)模的人臉親子關(guān)系驗證,目前,FIW 是最大的人臉親子數(shù)據(jù)集,數(shù)據(jù)采集于無約束條件下,問題復(fù)雜度高,現(xiàn)有的識別準確率僅有68.5%,大規(guī)模自然環(huán)境下的人臉親子關(guān)系驗證問題難度大,仍需進一步研究.

人臉親子關(guān)系驗證也受到多方面因素的影響,從數(shù)據(jù)采集條件角度分析,包括錄制環(huán)境以及人臉圖像來源等因素;從人臉特性而言,影響人臉親子關(guān)系驗證的因素包括面部表情、年齡和性別;此外,親子數(shù)據(jù)集規(guī)模也是影響親子驗證識別準確率的因素之一,下面我們將依據(jù)對應(yīng)實驗結(jié)果對這些因素進行分析.

1)數(shù)據(jù)采集.數(shù)據(jù)集采集的條件包括兩種,一種是在自然環(huán)境下無約束的數(shù)據(jù)采集,一種是約束條件下錄制.約束條件下,數(shù)據(jù)采集的各個參數(shù)均保持一致,包括背景、光照、受驗者面部角度、面部表情、面部是否遮擋以及采集數(shù)據(jù)的設(shè)備和拍攝位置.以Smile 親子數(shù)據(jù)集為例,由于Smile 數(shù)據(jù)集是在約束條件下拍攝的,受到來源于外部因素的干擾可以降到最低,因此識別準確率處于較高的水平,SCCAE[18]方法取得了93.3%的平均識別準確率.KinFaceW 數(shù)據(jù)集研究了親子人臉圖像來源于同一張照片和不同照片的差異性,從表3 的實驗結(jié)果可以看出,KinFaceW-I 數(shù)據(jù)集中親子圖像來自于不同照片,其平均識別率相對低于親子圖像來自同一照片的KinFaceW-II 數(shù)據(jù)集,這是由于圖像背景、光照等因素的相似性為親子驗證提供了參考,從而簡化了問題復(fù)雜度.文獻[115]對此進行了詳細的分析,感興趣讀者可以參閱相關(guān)文獻.

2)面部表情.心理學(xué)研究表明親子關(guān)系驗證準確率受到面部表情[27]變化的影響,相比于不同面部表情,待驗證的兩幅人臉圖像在無面部表情時識別率較高.表5 中,文獻[18]采用微笑的人臉親子數(shù)據(jù)進行測試,實驗結(jié)果表明了具有親子關(guān)系的兩個人不僅在長相上相似,也具有相似的微笑表情.

3)年齡和性別.人臉面部隨著年齡的變化存在結(jié)構(gòu)和紋理上的差異[116],而這些差異對人臉親子關(guān)系類內(nèi)距離產(chǎn)生影響,從而降低識別性能.UBKin-Face 數(shù)據(jù)集包含子女、年輕父母以及年老父母的人臉圖像,在表5 的DMML[78]算法實驗結(jié)果可以看到,年輕和年老父母在親子關(guān)系驗證上性能相差4.5%.在親子關(guān)系性別上的差異表現(xiàn)于父親?女兒和母親?兒子這兩種親子關(guān)系,性別不同在人臉屬性上會產(chǎn)生一定的差異[117],從表3 中統(tǒng)計的實驗結(jié)果分析,FS、MD 關(guān)系的識別性能相對優(yōu)于FD、MS 關(guān)系.

4)數(shù)據(jù)集規(guī)模.自人臉親子關(guān)系驗證研究以來,親子數(shù)據(jù)集的建立經(jīng)歷了由小規(guī)模到大規(guī)模的發(fā)展過程.目前大規(guī)模親子數(shù)據(jù)庫為FIW,其余數(shù)據(jù)庫大都屬于小規(guī)模數(shù)據(jù)庫.小規(guī)模的親子數(shù)據(jù)庫涉及情景單一,數(shù)據(jù)搜集條件比較理想,受到來自遮擋、視角等因素的干擾少,人臉圖像提供了豐富的面部視覺信息.小數(shù)據(jù)庫中樣本量少更容易學(xué)習(xí)類內(nèi)的聚斂性和類間的分離性,從表5 的實驗結(jié)果可以看出,在小數(shù)據(jù)庫上,算法識別性能已接近飽和.而當數(shù)據(jù)量劇增時,以FIW 數(shù)據(jù)庫為例,每個個體具有多幅不相同的人臉圖像,人臉形態(tài)在年齡維度、裝束、拍攝條件發(fā)生變化時具有多樣化,干擾類內(nèi)距離的度量,問題復(fù)雜度增加,傳統(tǒng)方法已無法滿足解決問題的需要.AdvKin[62]深度學(xué)習(xí)方法也僅取得了68.5%的平均識別準確率.基于大規(guī)模數(shù)據(jù)集的人臉親子關(guān)系驗證研究更貼合于實際應(yīng)用,同時也伴隨著更大的挑戰(zhàn)性,值得今后投入更多研究.

表5 人臉親子關(guān)系驗證方法識別準確率對比 (%)Table 5 The comparison of accuracies or kinship verification methods (%)

5)多模態(tài)信號.現(xiàn)有的親子數(shù)據(jù)集大多數(shù)僅包含人臉視覺信息,人臉親子關(guān)系驗證算法基于視覺單模態(tài)實現(xiàn).文獻[73]通過將語音信號和視覺信號結(jié)合,在視覺模態(tài)上通過語音模態(tài)提供互補信息,性能得到了進一步提升.通過文獻[73]的實驗結(jié)果可以看到單一語音模態(tài)和視覺模態(tài)分別取得65.8%和71.9%的平均識別準確率,融合兩模態(tài)后可以達到74.1%的平均識別準確率,因此所涉及的模態(tài)也是影響識別性能的因素之一.

整體而言,人臉親子關(guān)系驗證的識別率總體仍比較低,特別是在復(fù)雜情況下受多種因素干擾時性能魯棒性較差,距離實際應(yīng)用尚存在很大差距,仍需要進一步的研究.

6 對人臉親子關(guān)系驗證的思考

近年來人臉親子關(guān)系驗證領(lǐng)域出現(xiàn)大量新的研究工作,在包括方法研究、數(shù)據(jù)集構(gòu)建和應(yīng)用拓展等方面均取得一定的研究進展,這是對其應(yīng)用價值的肯定.未來會有更多的工作嘗試進一步提高人臉親子關(guān)系驗證的準確率和易用性,并逐漸將人臉親子關(guān)系驗證方法應(yīng)用到現(xiàn)實問題中.本文在回顧了人臉親子關(guān)系驗證問題的發(fā)展歷程、分析其研究現(xiàn)狀、歸類和評述了現(xiàn)有主流方法的基礎(chǔ)上,下面總結(jié)現(xiàn)有人臉親子關(guān)系驗證研究的一些問題和未來可能的研究方向.

1) 大規(guī)模人臉親子關(guān)系數(shù)據(jù)集構(gòu)建問題.深度學(xué)習(xí)在親子關(guān)系驗證中得到了成功應(yīng)用,為了訓(xùn)練性能更佳、使用性更為廣泛的深度模型,需要建立一個大的親子數(shù)據(jù)庫用于算法的訓(xùn)練.目前最大的親子數(shù)據(jù)庫FIW 的數(shù)據(jù)量為1000 個家庭,距離百萬級的數(shù)據(jù)庫還有很大的距離.并且目前的親子數(shù)據(jù)庫所涉及的場景也不夠豐富,例如通常親子圖像來源于同一幅相片[115].現(xiàn)有的親子數(shù)據(jù)庫所涉及的參與者信息不夠全面,大部分僅涉及到了參與者的視覺靜態(tài)的面部長相,而忽略了參與者時間?空間的面部視頻、聲音以及步態(tài)等信息.除此之外,親子數(shù)據(jù)庫的搜集是建立在已知的親子關(guān)系基礎(chǔ)上,多個親屬參與的數(shù)據(jù)搜集工作,需要家庭中兩人以上作為單位進行數(shù)據(jù)搜集.然而,親子關(guān)系屬于相對隱私的家庭關(guān)系,隨著人們對個人隱私保護意識的不斷提高,無疑對親子數(shù)據(jù)庫的構(gòu)建形成了一個阻礙.構(gòu)建大規(guī)模且信息源豐富的親子數(shù)據(jù)集是推動親子關(guān)系驗證研究發(fā)展的一項重要工作.

2)有效親子特征表示的研究.現(xiàn)有親子關(guān)系驗證方法中涉及到的面部特征提取大多基于整個面部的紋理特征、幾何特征以及深度特征,上述特征大多為人臉的一般特征表示,包含了與親子遺傳信息無關(guān)的特征.而親子特征的有效表示直接影響了算法的識別準確率,因此有效的親子特征表示方法研究是今后的一個重要研究方向.對親子特征提取的研究包括,面部親子區(qū)域定位、親子特征表示方法等.在Dal Martello等[1, 5,27]的心理學(xué)研究中就表明了不同面部區(qū)域?qū)τH子驗證的貢獻程度不同,從實驗結(jié)果看出嘴巴部分由于形態(tài)的多樣性,易對親子關(guān)系驗證產(chǎn)生負面的噪聲影響,而上半部臉包含了豐富的親子特征線索,今后一個值得關(guān)注的可能解決辦法包括,注意力機制網(wǎng)絡(luò)在親子關(guān)系驗證問題的深入探究.在區(qū)域定位基礎(chǔ)上,如何應(yīng)用深度卷積網(wǎng)絡(luò)從大數(shù)據(jù)中學(xué)習(xí)親子特征表示也是今后值得研究的關(guān)鍵之一.

3) 如何降低年齡和性別因素對人臉親子關(guān)系驗證的影響.人臉親子關(guān)系驗證本質(zhì)上是對比兩個輸入間的相似程度,DeBruine等[3]通過研究表明性別和年齡會大大影響親子驗證系統(tǒng)的準確性,而如何降低這兩個因素帶來的影響是今后研究值得關(guān)注的一點.其中一個思路是通過GAN 網(wǎng)絡(luò)在原輸入圖像的基礎(chǔ)上修改圖像的某種特性,如性別、年齡,并生成新的人臉圖像.另一個思路是,將年齡、性別標簽作為約束條件,通過將年齡、性別特征與親子特征解耦,從而學(xué)習(xí)年齡和性別不變性的人臉特征表示.

4) 非限定環(huán)境下人臉親子關(guān)系驗證的魯棒性問題.本文在第1 節(jié)中提到人臉親子關(guān)系驗證所面臨的挑戰(zhàn)包括人臉姿態(tài)變化、成像條件、圖像分辨率、面部表情變化等,目前為了解決自然條件下的人臉姿態(tài)差異性問題,在實驗過程中通過眼睛位置對人臉進行歸一化對齊操作.然而目前很少對光照、表情等因素進行考慮,依舊是尚待解決的問題.如我們考慮引入表情估計模型,利用表情估計模型估計出人臉的表情,再進行局部特征匹配,從而解決表情不統(tǒng)一的問題[118].再者對于光照不均勻和光線弱的情況,是否可以引入近紅外成像光電器件解決光線弱的問題,引入本征圖分解方法提取與周圍環(huán)境光無關(guān)的本征反射圖,從而消除由光照不均勻和陰影帶來的影響[119].

5) 視聽親子關(guān)系驗證(Audio-visual kinship verification).現(xiàn)有研究工作大多從靜止人臉圖像判斷二者是否具有親子關(guān)系,而基因?qū)W[120]、心理學(xué)[121]和聲學(xué)[122?125]等研究均表明聲音也具有遺傳性,子女具有與父母相似的說話聲音.Sataloff[120]從基因?qū)W的角度研究人類發(fā)聲規(guī)律,他指出人說話音色取決于發(fā)聲器官,而發(fā)生器官往往由基因決定,包括喉部軟骨大小、聲帶的長度以及聲門形狀.聲學(xué)相關(guān)學(xué)者也通過語音特征: 基頻F0[122?124]、基頻擾動(Jitter)、振幅擾動(shimmer)以及諧噪比(Harmonics-to-noise ratio,HNR)[125]證明了親屬間語音是具有相似性的.此外,心理學(xué)研究表明人們具有依據(jù)說話聲音判斷是否具有親屬關(guān)系的能力[121],而計算機是否也可以通過語音來進行親子關(guān)系驗證是未來值得探究的一個研究方向.聲音模態(tài)可以為人臉視覺模態(tài)提供補充信息,提高系統(tǒng)的識別準確率.目前在親子關(guān)系驗證研究中,視覺語音雙模態(tài)融合研究還非常少,處于起步階段,而如何利用模態(tài)間的互補性、提高系統(tǒng)魯棒性是未來的研究熱點之一.

6) 親子圖像生成相關(guān)研究.生成對抗網(wǎng)絡(luò)(GAN)[126]是現(xiàn)階段深度學(xué)習(xí)的一個重要發(fā)展分支,在多個研究領(lǐng)域展現(xiàn)了其卓越的性能.在親子關(guān)系驗證研究上,其中一個難點就是親子人臉數(shù)據(jù)的難獲得性和親子數(shù)據(jù)量不足、缺乏數(shù)據(jù)多樣性,GAN模型就可以通過親子圖像生成、數(shù)據(jù)擴充方法幫助解決這個問題.此外,就丟失兒童問題而言,其中的一個重要解決思想就是通過父母的人臉圖像生成其子女圖像,從而更好的匹配和尋找丟失的兒童,基于GAN 的子女人臉圖像的生成研究也可以應(yīng)用于手機終端娛樂.基于GAN 的親子圖像間的轉(zhuǎn)換和分析研究是一個今后值得關(guān)注的研究方向.

7)基于模型遷移學(xué)習(xí)的親子關(guān)系驗證研究.我們在前面提到現(xiàn)有的親子數(shù)據(jù)集規(guī)模大都較小,訓(xùn)練樣本不足,除了對數(shù)據(jù)集進行數(shù)據(jù)擴充,另一個思路就是用知識遷移(Knowledge transfer)[127]方法,是否可以借鑒人臉相關(guān)訓(xùn)練模型所學(xué)習(xí)到的知識,如在大規(guī)模人臉識別數(shù)據(jù)庫上預(yù)訓(xùn)練的深度模型,從而更有效的解決親子關(guān)系驗證問題.除此之外,現(xiàn)有的人臉親子關(guān)系驗證研究將每種親子關(guān)系看作獨立的任務(wù),以 “父親?兒子(FS)”關(guān)系為例,其余人臉親子數(shù)據(jù),如: 母親?兒子,是否有助于訓(xùn)練單任務(wù)模型,比如將模型通過其他類型關(guān)系訓(xùn)練網(wǎng)絡(luò)的初始化參數(shù),再就特定的親子類型學(xué)習(xí)或微調(diào)網(wǎng)絡(luò).如何充分應(yīng)用親屬數(shù)據(jù)也將是解決數(shù)據(jù)量不足的一個思路.

8)小樣本親子關(guān)系驗證.深度學(xué)習(xí)網(wǎng)路往往需要大量的標注數(shù)據(jù)訓(xùn)練模型,然而就人臉親子關(guān)系驗證問題而言,場景不同、問題背景不同時訓(xùn)練樣本不足,這種情境下就需要解決樣本少時的親子關(guān)系驗證問題.我們是否可以引入小樣本學(xué)習(xí)(Fewshot learning,FSL)[128],FSL 是深度學(xué)習(xí)的一個重要分支,在沒有大量標注數(shù)據(jù)情況下,能夠快速泛化學(xué)習(xí)內(nèi)容,訓(xùn)練模型.小樣本親子關(guān)系驗證的一個解決思路是,通過元學(xué)習(xí)(Meta-learning)使得模型學(xué)會學(xué)習(xí).具體為將有限的人臉親子訓(xùn)練數(shù)據(jù)構(gòu)造一系列訓(xùn)練任務(wù),讓系統(tǒng)學(xué)會學(xué)習(xí),從而達到快速學(xué)習(xí)目的,同時避免過擬合(Overfitting)問題.小樣本親子關(guān)系驗證問題研究目前處于空白,具有很大的研究價值和意義.

9)家庭檢索和家庭分類.家庭檢索和家庭分類任務(wù)的訓(xùn)練數(shù)據(jù)集為所有家庭成員,測試輸入為丟失兒童圖像,輸出其所屬的家庭.家庭檢索和家庭分類對于丟失兒童匹配目標家庭有重要的現(xiàn)實意義.但是,家庭分析研究由于其涉及范圍廣、隔輩差異性大等原因,問題復(fù)雜度高、難度大,因此目前的相關(guān)研究很少,仍處于基準方法水平,算法的性能具有非常大的提升空間.比如,應(yīng)用數(shù)學(xué)模型,對家庭構(gòu)建圖結(jié)構(gòu)或樹結(jié)構(gòu),更好的優(yōu)化家庭聚類.家庭檢索和家庭分類是今后極具潛力的一個研究方向.

7 結(jié)束語

人臉親子關(guān)系驗證是計算機視覺領(lǐng)域一個新興的研究方向,具有重要的理論意義和實際應(yīng)用價值,同時也存在諸多難點與挑戰(zhàn).本文對人臉親子關(guān)系驗證問題的起源與發(fā)展做了詳細的回顧,對該領(lǐng)域主流數(shù)據(jù)集進行了總結(jié),對已有人臉親子關(guān)系驗證方法進行了詳細地梳理、歸類和評述,對主流方法的優(yōu)缺點進行了分析、性能進行了對比;在此基礎(chǔ)上,對未來人臉親子關(guān)系驗證的可能研究方向進行了展望.由于篇幅所限,許多問題未及深究.本文旨在使國內(nèi)同行對該領(lǐng)域有一個較為全面的了解,以期引起更多研究者對該領(lǐng)域的關(guān)注.