顱面相似性度量與評價

趙俊莉，周明全，王 曦，張念凱，耿國華，稅午陽，張 娟

(1.青島大學 計算機科學技術(shù)學院,山東 青島 266071;2.西北大學 文化遺產(chǎn)數(shù)字化國家地方聯(lián)合工程研究中心，陜西 西安 710127；3.西北大學 信息科學與技術(shù)學院,陜西 西安 710127；4.北京師范大學 教育部虛擬現(xiàn)實應用工程研究中心，北京 100875；5.青島市急救中心 通訊調(diào)度科,山東 青島 266035；6.陜西師范大學 新聞與傳播學院，陜西 西安 710119)

近年來,隨著顱面形態(tài)學和生物計算的不斷發(fā)展,三維顱面的研究引起了研究者的關注。顱骨和面貌是人的重要生物特征,也是法醫(yī)人類學的重要研究內(nèi)容。通過顱骨估計個體面貌的顱面復原技術(shù)以及將顱骨與照片進行比對的顱相重合技術(shù)是目前廣泛研究的顱骨身源鑒定的兩大技術(shù)[1],對刑偵輔助破案、公共安全調(diào)查、烈士遺骸的身份確認等起到重要作用,已被廣泛用于法醫(yī)學、考古、醫(yī)學整容和公安刑偵等領域。在上述研究中,復原結(jié)果的好壞以及顱骨與照片的相似性度量關系到顱骨身份認證結(jié)果的準確性，因而，對于顱面復原結(jié)果的評價以及顱骨與面貌相似性度量的研究是上述顱面研究的關鍵技術(shù)之一,對于改進顱面復原方法、提高顱骨身份認證的準確性都具有重要的作用。

由于顱骨和面貌是自然界最復雜的幾何物體之一,具有復雜的拓撲結(jié)構(gòu)和相似的幾何結(jié)構(gòu)，因而，顱面相似性度量以及復原結(jié)果評價仍然是一個極具挑戰(zhàn)性的難題。本文梳理了近年來顱面相似性度量與復原結(jié)果評價方面的研究,將現(xiàn)有的顱面相似性度量與評價方法分為主觀定性和客觀定量的方法，從兩方面進行總結(jié)歸納,以期為今后在該領域的深入研究提供幫助。

1 主觀定性的評價方法

早期一些學者對顱面相似度的主觀定性評價方法進行了研究與探索。

1.1 預先設定標準

該類方法通過使用預先設定的標準進行顱面的相似性度量與評價。如Patterson和Baddeley對專業(yè)演員組和年輕的海軍士兵組進行面部相似性研究,發(fā)現(xiàn)年輕的海軍士兵組具有較高的相似性[2]；Fessler等要求參與者從一組面貌中識別出待辨認的面貌,并將錯誤比例定義為相似度[3]；Snow等邀請200多名受訪者,比較他們手工復原的一個顱面和7張照片,有68%的受訪男性和26%的女性選擇出了正確的結(jié)果[4]，Stephan和Henneberg邀請37位受訪者驗證16個顱面的復原結(jié)果,實驗結(jié)果也表明男性的識別率要高于女性[5]。

1.2 等級評定(Rating)

等級評定的方法通過判斷顱面相似性的等級來進行評價。Bruce和Milord分別要求評價者使用4點量規(guī)和7點量規(guī)評價比較的臉和目標臉的相似度等級[6-7]；Harmon采用了人臉識別系統(tǒng)來評價人臉相似的等級[8]；Quatrehomme等人邀請25名被試進行評價,在25個案例中有9個得到優(yōu)秀、良好至中等的相似性[9]；Helmer等人邀請兩位專家對12個顱骨進行傳統(tǒng)手工復原,請受訪者將24個復原結(jié)果和真人照片進行比較,結(jié)果表明38%的復原結(jié)果很相像,17%的相像,僅有一個復原結(jié)果被認為是與原始照片毫無關系[10]。

主觀定性的方法主要從人的感知角度進行顱面相似性度量與評價,盡管度量結(jié)果符合人的認知理論,但評價過程需要大量的人力和時間,評價結(jié)果的精確性也受主觀評價因素的影響,與評價者密切相關[11]。

2 客觀定量的評價方法

由于主觀評價方法的局限性,越來越多的學者開始探索使用客觀方法進行顱面相似性度量與復原結(jié)果評價?？陀^的顱面相似性度量與復原結(jié)果評價方法一般先對待比較的面貌進行特征提取,然后計算所提取特征的距離或相關程度,依此進行相似度或復原結(jié)果的評價,具體步驟如圖1所示。

依據(jù)在進行相似性度量與評價時所用特征進行分類,可分為幾何方法、視覺方法與統(tǒng)計方法,基于幾何的方法又可以分為基于特征點的方法、基于曲線的方法和基于曲面或區(qū)域的方法,下面分別進行闡述。

2.1 基于幾何的方法

基于幾何的顱面相似性度量與評價方法主要依據(jù)顱骨和面貌的幾何特征進行測量和計算,其中特征點、特征曲線以及曲面/區(qū)域是常用的三類幾何特征。

2.1.1 基于特征點的方法 基于特征點的顱面相似性度量與評價方法以顱面特征點表示顱面,并對特征點之間的距離等特征進行度量,以此來度量顱面的相似性。

Marks等[12]、Moorthy等[13]以及袁姮等[14]在二維人臉圖像上提取面部特征點進行相似性度量。吳秋瑾等通過測量并分析新疆哈薩克族女性13項常用側(cè)貌組織的角度和距離,比較不同種族的女性側(cè)貌之間存在相似且可測量的面部美學特征,為口腔正畸、正頜、整形外科及口腔美容修復相關治療提供臨床參考數(shù)據(jù)[15]。許敏等提出一種基于特征點位置坐標的定量描述顱面X光片圖像的相似性的方法,該方法采用提取兩幅X線頭影測量圖像中的特征點的位置坐標,構(gòu)成兩組二維向量,用典型相關分析這兩組向量的相關性，表征兩幅圖像間的相似度,并應用到研究顱面X光片圖像正常值的確定中[16]。該方法能夠定量地描述圖像的相似度,對研究頜面正常值具有一定的意義。

圖1 顱面相似性度量與評價步驟圖Fig.1 Step diagram of craniofacial similarity measurement and evaluation

Weinberg等比較了使用3D立體攝影測量收集的3D面部標準數(shù)據(jù)集(3DFN,n=2 454),和使用直接人體測量法收集的Farkas顱面標準數(shù)據(jù)集(n=2 326)的差異，通過24個清晰定義的3D軟組織面部標記點(見圖2，從左上到右下包括顱底寬度、面部上部深度(右)、面部中部深度(右)、面部下部深度(右)、面部形態(tài)高度、面部上部高度、面部下部高度、腕間寬度、外眼角寬度、眼瞼裂長度(右)、鼻寬、鼻下寬、鼻突出、鼻翼長(右)、鼻高、鼻橋長、唇裂寬、中寬、中長、上唇高、下唇高、上唇紅高、下唇紅高、皮膚下唇高[17]),計算顱面標記點之間的線性距離,對這些距離進行匯總,得出特定年齡和性別的平均值和標準差,以描述兩個數(shù)據(jù)集整體之間差異的大小。最后，得出3DFN和Farkas標準之間存在相當大的差異,并分析了除測量方法外,導致差異的其他因素可能包括顱面形態(tài)的長期趨勢或種族組成的差異[17]。王志紅等通過測量17 個特征點的距離量,比較復原模型和原始面貌[18]。

圖2 24個3D軟組織面部標記點[17]Fig.2 24 3D soft tissue facial marker points[17]

翟桂英和任甫提出基于歐幾里德幾何距離矩陣分析的三維顱面復原評價方法[19],通過對能較好反映顱面解剖學形狀特征的中軸線及右半側(cè)面部的19個特征點(見圖3，藍色代表男性，綠色代表女性[19])之間的歐氏幾何距離進行測量,建立一個形狀矩陣(form matrix,FM),計算兩類物體的平均形狀矩陣的比即形狀差異矩陣(form difference matrix,FDM),通過FDM比值(小于0.95或大于1.05表示兩類物體的平均形狀存在5%或更大的差異)進行顱面復原評價。通過實驗發(fā)現(xiàn)，現(xiàn)有復原方法在對五官復原方面尤其是眼部還有待改進。歐幾里德幾何距離矩陣分析法(Euclidean distance matrix analysis,EDMA)可以對任意不規(guī)則物體的二維或三維結(jié)構(gòu)特征進行量化分析,不但能實現(xiàn)兩個物體形態(tài)差異的檢驗,更能準確分析差異區(qū)域,找出復原結(jié)果中誤差較大的位置,為顱面復原提供一個便捷有效的評價平臺。

朱新懿等人針對目前顱面相似度評估主要依靠主觀驗證、缺乏衡量相似度的物理量等問題,提出了基于顱面特征點計算Procrustes距離及利用Principal warps計算兩個面貌模型對應特征點(見圖4)之間彎曲形變矩陣等方法來衡量顱面的相似性[20-21]。在Procrustes距離的方法中,顱面特征點被分為形狀特征點(第一類特征點，見圖5)和一般特征點,針對不同特征點分別計算歐氏距離和Procrustes距離來衡量顱面相似度；Principal warps方法通過薄板樣條函數(shù)計算顱面間的彎曲變形矩陣,通過衡量變形程度來定義顱面相似性。

圖3 面部特征點分布圖(A)及歐氏幾何距離線段分布圖(B)Fig.3 The distribution of facial feature points(A)and the distribution of Euclidean geometric distance segments(B)

圖4 34個傳統(tǒng)特征點[21]Fig.4 34 traditional feature points [21]

圖5 第一類特征點[20]Fig.5 Feature points of the first kind [20]

上述方法中的特征點主要采用手工標定的方法實現(xiàn),費時費力而且受主觀因素影響較大。Zhao 等在顱面上自動提取測地網(wǎng)格點,然后,分別計算顱面模型網(wǎng)格點鄰域的曲率和形狀索引等幾何特征[22-23],將其加權(quán)平均值作為該網(wǎng)格點的特征。最后,將兩個模型上所有對應網(wǎng)格點特征的相關系數(shù)的絕對值定義為它們的全局相似度。在文獻[23]中,還將每個模型的測地網(wǎng)格點分為6個子區(qū)域(前額、眼睛、鼻子、嘴、臉頰和下巴)進行局部相似度評價，如圖6所示，前額用粉色表示，眼睛部分用青色表示，鼻子區(qū)域用白色表示，臉頰部分用黑色表示，嘴區(qū)域用藍色表示，下巴部分用酒紅色表示[23]。

圖6 測地網(wǎng)格點的6個子區(qū)域[23]Fig.6 Six subareas of geodesic grid points[23]

從上述研究可以看出,基于特征點的顱面相似性度量方法中,特征點標定的精確性直接影響度量結(jié)果,因而，研究準確標定顱面特征點的方法是關鍵。顱面特征點標定方法[24]已從手工標定向自動標定發(fā)展,新的深度學習方法也為自動標定特征點提供了思路[25]。

2.1.2 基于曲線的方法 基于曲線的顱面相似性度量與評價方法是利用顱面曲線表示顱面模型。目前所采用的曲線主要分為兩類,一類是顱面輪廓線,另一類是具有幾何特征的曲線,如測地線等。

1)基于輪廓曲線的方法

Wu等和Haar等提取通過中心、鼻子、前額等的多條側(cè)輪廓曲線進行人臉相似度計算[26-27]。張志剛等[28]針對顱像重合問題,提出一種通過顱像的輪廓曲線進行相似性鑒別的方法,從輪廓曲線上對應離散點之間的距離和尺度空間中曲率函數(shù)的相關性計算相似度，如式(1)所示，

(1)

其中,(x(t),y(t))表示曲線。

劉雄樂等提出一種夾角信息和距離信息融合的顱骨輪廓特征提取算法用于檢索相似顱骨[29]。首先，通過三維顱骨的正交投影和深度投影獲取輪廓的角度和距離特征,并通過深度投影獲得具有空域信息的剖面特征;然后，對多個特征進行加權(quán)融合搜索到最相似顱骨;最后，通過ICP+TPS對檢索到的顱骨進行誤差評估。實驗表明,本算法在保證檢索效率的同時,可以準確地應用在顱面復原前期對最相似顱骨的選擇上。

2)基于特征曲線的方法

Nagamine等人觀察到通過面部中心的垂直交線包含鼻子、嘴特征,在人臉識別中具有重要的區(qū)分性[30]；Jahanbin等人采用面部等深度曲線和等測地線進行身份認證[31]；Bronstein等人假設三維人臉不同面部表情的模型之間可以看成是等距變換,在等距變換下測地距離是不變的,因此，使用基于測地距離的各種方法進行三維人臉的形狀分析與識別[32]；Daoudi的研究小組通過各種面部曲線的形狀分析提出了一系列三維人臉識別方法,包括等深度曲線[32]、圓形曲線(等水平線)[33-34]和徑向曲線[35](見圖7)，這樣可以實現(xiàn)曲線層次和點層次的一一對應，基于面部徑向曲線的方法在整個FRGCv2.0數(shù)據(jù)集上Rank-one的識別率達到97%[36]。

圖7 面部特征曲線Fig.7 Facial feature curve

針對具有表情變化的三維人臉,Berretti團隊將面部曲面分成寬度和數(shù)值相等的等測地帶和子帶進行人臉識別[37-39]。如圖8所示,他們對每對等測地帶(或子帶)之間或內(nèi)部的距離通過3D權(quán)向量(3DWW)來計算，兩個面部曲面的匹配通過兩個面部曲面表示的圖的匹配來實現(xiàn),該方法對表情具有較好的魯棒性。

李紅艷等改進了基于等測地帶的方法并將其應用于顱面復原結(jié)果評價中[40-41]；項聰穎等提取等測地環(huán)帶并利用圖模型構(gòu)建三維人臉的相似性度量[42]；趙俊莉等使用測地線近似表示面貌模型,使用彈性度量計算兩條測地線的相似度,將形狀空間下三維人臉模型上一組對應測地線之間的平均測地距離作為兩個三維人臉模型相似性比較的依據(jù),計算復原面貌與原始面貌的相似度[43]，該方法將測地線的內(nèi)蘊屬性與彈性形狀分析適用于大的面部表情變化的優(yōu)點相結(jié)合,可以將同一個人不同表情的面貌模型與不同人的模型區(qū)分開,能夠很好地反應三維人臉模型的相似程度。

圖8 基于等測地帶的方法[39]Fig.8 Method based on isogeodesic zone[39]

基于曲線的方法不需要手工標定特征點,可以實現(xiàn)全自動的評價,但評價的準確性依賴于所提取的曲線是否可以全面反映顱面特征，曲線提取的精度也會影響最終的度量結(jié)果。另外，大部分基于特征曲線的方法對于張嘴的情況難以很好地處理。

2.1.3 基于曲面/區(qū)域的方法 基于曲面/區(qū)域的顱面相似性度量與評價是以三維顱面的曲面或區(qū)域的幾何特征進行度量。Duan等分析顱骨和面貌形狀的相關性,并通過復原顱面和原始面貌對應點的距離來度量復原誤差[44-46]；Lee等人嘗試用幾何曲面比較法測量3個韓國活體成人受試者由計算機生成的面貌和實際面貌之間的相似程度，結(jié)果表明,適當?shù)钠骄M織深度數(shù)據(jù)對于提高顱面重建精度非常重要[47]；Delfino等使用原始形狀分析形態(tài)測量(SAM)軟件包匹配頭骨和面部照片[48]。梁榮華等采用顱面對應點平均距離的整體特征與鼻子和眼睛區(qū)域的局部特征共同作為顱面復原結(jié)果評價的依據(jù),起到了指導復原結(jié)果的作用[49]。

Zhang針對3D頭骨是具有多個孔和復雜拓撲形狀的幾何模型,三維人臉上的面部表情會發(fā)生變化,而一般的三維形狀相似性度量對邊界敏感,很難正確計算三維顱面之間的相似性的難題,通過計算三維顱面諧波核特征(HWKS)值之間的余弦距離,提供了一個有效的三維顱面相似性度量方法[50-51](見圖9)。HWKS是一種基于Wave核特征的形狀描述符,它采用了Laplace-Beltrami算子,能夠有效地從三維顱骨和面貌中提取幾何和拓撲信息，與波核特征相比較,HWKS同時描述形狀的局部和全局屬性。通過使用相同的3D顱骨相似性和面部相似性測量方法,觀察到統(tǒng)一度量下的有效顱面關系:顱骨相似性的變化率一般與對應的面部相似性一致,表明三維顱骨的形狀與其對應的三維面部形狀之間的相關性。

相比基于特征點和曲線的方法,基于曲面/區(qū)域的方法以整個或部分顱面曲面作為評價依據(jù),可以從全局的角度進行度量,更全面地反映顱面的相似程度,但所需的計算量較大。

2.2 基于視覺的方法

基于視覺的方法主要指顱面CT圖像或?qū)⑷S顱面模型投影到二維后從計算機視覺的角度進行的顱面相似性度量與評價。早在20世紀初,北美就對來自1 913名個體的15 407張側(cè)位頭顱圖測量點進行分析，比較北美6個地區(qū)的顱面生長模式[52],結(jié)果表明，6項生長研究在顱面生長里程碑估計值和生長曲線的總體形狀方面有很大的相似性。Suzuki等使用后前位和側(cè)位頭顱攝影來評估150名正常兒童和100名正畸兒童顱面形態(tài)與他們父母顱面的相似性[53]。結(jié)果表明，兒童的顱面形態(tài)與其父母的顱面形態(tài)高度相關,父親決定后代顱面形態(tài)的遺傳效應與母親相同,但女兒比兒子更易受父母的影響。

圖9 三維顱骨和人臉相似性度量[50]Fig.9 Three-dimensional skull and face similarity measurement [50]

基于視覺的面貌相似性度量在圖像處理領域已有很多成熟的描述子可以直接應用,例如,Gabor特征、Log-Gabor特征、Haar小波和離散余弦變換、傅里葉變換、local binary patterns(LBP)和eLBP等。Dehshibi等人提出使用局部Gabor二元模式直方圖(local gabor binary pattern histogram)進行面部家族相似性的識別,用直方圖交集度量不同LGBPHSes的相似性,用最近鄰方法進行聚類[54]。Moorthy等利用自動提取的Gabor特征進行相似度評價[55]。

Shapiro[56]分別使用基于傅里葉的顱頻譜(CS)形狀表示描述符、基于頭顱所有頂點的成對標準化平方距離的頭顱圖像(CI)描述符、以及具有不同顱骨融合特征形態(tài)學變化的頭骨形狀描述符(SSD)等開發(fā)了檢索系統(tǒng),從正常和異常顱面結(jié)構(gòu)患者的CT圖像數(shù)據(jù)庫中檢索顱骨圖像；黃麗雯等應用不變矩對顱頜面X片圖像進行分析,檢索顱頜面醫(yī)學圖像[57]；晉武俠等通過對顱面輪廓進行重采樣和Fourier變換進行相似性度量(見圖10),可以避免曲線擬合帶來的誤差和手工介入等問題[58]。

圖10 顱骨輪廓的多尺度距離矩陣[58]Fig.10 Multi-scale distance matrix of skull profile[58]

2.3 基于統(tǒng)計的方法

為了進行3D顱面相似性度量,一些工作使用了統(tǒng)計模型方法。Berar等人首先將統(tǒng)計形狀模型(SSM)應用于顱面研究,使用特征點表示形狀模型,并使用統(tǒng)計模型表示形狀模型的轉(zhuǎn)換[59]；Claes等人利用主成分分析(PCA)改進了SSM[60]。Duan等提出了一種利用PCA對未知顱骨與數(shù)據(jù)庫中的3D人臉進行匹配的顱骨識別方法,其中，3D顱骨與人臉的關系通過典型相關分析(CCA)得到[61]。Shui等人分析了主成分(PC)的選擇如何影響顱面關系和性別二型性的分析，通過主成分分析可以對顱面數(shù)據(jù)進行降維后,從全局的角度進行顱面相似性度量,但使用PCA難以確定每個主成分的貢獻[62]；Zhao等和Zheng等分別使用稀疏主成分分析(SPCA)方法評估兩組顱骨和面貌模型之間的相似性,可以確定出相似與不相似的區(qū)域[63-64]。

Feng等通過使用相對角直方圖(relative angle-context distribution,RACD)統(tǒng)計不同區(qū)間的相對角分布，定義概率密度函數(shù)，比較兩個顱面的相似性[65]；Zhu等人將其擴展為半徑相對角直方圖(bending-relative angle-context distribution,BRACD),用于提高計算的穩(wěn)定性和降低RACD的時間復雜度[66]；Pei等人通過基于隨機森林的度量研究了無監(jiān)督的3D顱骨相似性分析[67]；郭德成等用聚類分析法研究顱面X光片圖像的相似度[68]。

基于統(tǒng)計的方法通過對大量樣本的訓練,學習到顱面的本質(zhì)特征，可以較好地反映顱面的相似度。但該類方法需要有大量顱面數(shù)據(jù),在數(shù)據(jù)量少時難以達到較好的效果。

3 總結(jié)

將上述顱面相似性度量與評價方法按類別總結(jié)歸類如表1所示。

綜合分析各種評價方法,可以看出影響顱面相似性度量與評價的因素主要有:

1)評價主體:在主觀方法中，受訪者對評價結(jié)果的影響較大,受訪者的人數(shù)、經(jīng)驗、受教育程度等都會對評價結(jié)果產(chǎn)生影響。

2)提取的特征:在客觀方法中,依據(jù)哪種特征進行相似性度量是評價的關鍵,直接會影響評價的結(jié)果。

3)采用的度量:在客觀方法中從顱面上提取特征之后,采用哪種距離、角度、或曲率等度量進行也會影響相似性評價的結(jié)果。

表1 顱面相似性度量與評價方法Tab.1 Craniofacial similarity measurement and evaluation method

4 研究展望

通過本文分析可以看出,早期主要采用主觀定性的評價方法,但由于其受主觀因素影響較大,而且費時費力,因而，目前的研究方法主要集中在采用客觀的方法對顱面相似性進行度量,主觀的方法作為輔助。在客觀方法中,基于特征點、曲線、曲面/區(qū)域的方法對顱面曲面模型的幾何特征進行相似性度量,可以從全局到局部全面的進行度量,但由于其實質(zhì)從兩個三維曲面的幾何特征角度進行度量,難以實現(xiàn)類似人腦的宏觀把握的評判標準?；谝曈X和統(tǒng)計的方法可以從宏觀方面度量顱面的相似性,但是很難確定影響相似的部分,基于統(tǒng)計的方法還需要大量數(shù)據(jù)的支撐才能得到準確的結(jié)果。從整體研究發(fā)展來看,顱面相似性度量與評價方法已從早期簡單的、單一的度量依據(jù)向復雜的、多個度量依據(jù)的方向發(fā)展。新的深度學習的方法[69]將提取特征與度量方法統(tǒng)一在神經(jīng)網(wǎng)絡中,自動學習相似性度量所需特征，可以達到比手工提取特征更好的效果,因而成為新的研究熱點。但深度學習需要大量數(shù)據(jù)作為支撐,顱面數(shù)據(jù)又相對較少，如何將深度學習與顱面自身的幾何特征和視覺特征相結(jié)合，進行顱面相似性度量將會成為發(fā)展的方向。