基于全卷積自加權(quán)分類器的三維顱骨性別鑒定

張念凱 喬學(xué)軍 熱孜萬古麗夏米西丁 趙俊莉

(1.青島大學(xué)計算機科學(xué)技術(shù)學(xué)院,青島 266071;2.西安建筑科技大學(xué)理學(xué)院,西安 710055;3.新疆師范大學(xué)計算機科學(xué)技術(shù)學(xué)院,烏魯木齊 830054)

顱骨性別鑒定是法醫(yī)學(xué)研究的重要內(nèi)容,可以為面貌復(fù)原[1]提供重要的依據(jù)。顱骨質(zhì)地堅硬,結(jié)構(gòu)緊湊,在自然環(huán)境的各種侵蝕中,其幾何形態(tài)最易保留,通過分析顱骨幾何形態(tài)鑒定骨骸性別是一種可行的方法。當(dāng)對無名尸骨進行身份認證時,通過顱骨確定其性別,可以將可能的目標人選減半[2]。顱骨是用于骨骸性別鑒定最可靠的研究對象之一[3]。傳統(tǒng)基于顱骨幾何形態(tài)的性別鑒定[4]以人工觀察和測量為主,較多依賴檢測人員的個人經(jīng)驗。近年來,隨著計算機技術(shù)和醫(yī)學(xué)圖像技術(shù)的快速發(fā)展,計算機輔助的顱骨性別鑒定因其高效性和客觀性成為主流研究方向[5-7]。計算機輔助的顱骨性別鑒定通常先將顱骨的幾何特征數(shù)字化處理,然后通過應(yīng)用特定計算機算法自動判別顱骨的性別。顱骨特征包括三維顱骨模型幾何指標和角度指標[8]、顱骨統(tǒng)計形狀模型特征[9-10]、頜竇的高度和寬度[11]、顱骨上的多個特征點以及特征點之間的距離[12-13]、三維顱骨等6種幾何特性[14]和三維顱骨的多角度圖像[15]等。對顱骨特征分類的方法有Fisher判別[8-9]、判別函數(shù)分析[11]、步進判別函數(shù)[12-13]、判別函數(shù)和邏輯回歸[5]以及神經(jīng)網(wǎng)絡(luò)[16]等。目前多數(shù)計算機輔助的顱骨性別鑒定方法需要人為提取特征或者人為指定需要提取的特征,特征提取過程通常較為復(fù)雜,由于沒有完整科學(xué)的規(guī)則,借助人為主觀經(jīng)驗指定的特征無法最大程度保留顱骨中的性別特征,從而無法保證性別鑒定準確率。近年來,深度學(xué)習(xí)在計算機視覺領(lǐng)域表現(xiàn)出強大的生命力,特別是以卷積神經(jīng)網(wǎng)絡(luò)[16](CNNs)為基礎(chǔ)的圖像分類網(wǎng)絡(luò)[17-20]得到廣泛應(yīng)用。然而三維顱骨數(shù)據(jù)位于非歐式空間中,數(shù)據(jù)規(guī)格龐大且無序,無法直接應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)。在三維圖形上應(yīng)用卷積結(jié)構(gòu)的方法有兩種,一種是在非歐空間中定義新的類卷積網(wǎng)絡(luò)結(jié)構(gòu)[21-23],實現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)的效果;另一種是將三維圖形轉(zhuǎn)換到歐式空間中[24-27],直接應(yīng)用歐式卷積神經(jīng)網(wǎng)絡(luò)。在非歐空間中定義類卷積網(wǎng)絡(luò)的方法通常應(yīng)用于外觀差異較大的圖形(如桌子、椅子),而顱骨之間是細微的特征差異,因此該類方法不適用于顱骨性別鑒定。人為指定或者測量顱骨特征的性別鑒定方法無法保證顱骨中與性別相關(guān)的特征得到最大程度的利用;神經(jīng)網(wǎng)絡(luò)可以直接處理高維復(fù)雜數(shù)據(jù),但無法直接應(yīng)對拓撲結(jié)構(gòu)復(fù)雜的三維顱骨數(shù)據(jù)。為了解決上述問題,本文提出使用三通道二維圖像表示三維顱骨模型,基于全卷積自加權(quán)分類器實現(xiàn)鑒定三維顱骨性別,三通道二維圖像表示方法極大程度保留了三維顱骨的幾何形態(tài)特征,解決了三維顱骨數(shù)據(jù)難以應(yīng)用于深度學(xué)習(xí)的困難,采用深度學(xué)習(xí)框架設(shè)計的專用于顱骨性別二分類問題的全卷積自加權(quán)分類網(wǎng)絡(luò),可以全面地提取顱骨性別特征,得到更高的顱骨性別鑒定準確率。

1 顱骨性別鑒定

為了更加方便和高效的利用神經(jīng)網(wǎng)絡(luò),本文采用包含深度值、曲率值與法向仰角的二維圖像表示三維顱骨數(shù)據(jù);再根據(jù)三維顱骨性別特征信息的特點,設(shè)計了全卷積二分類網(wǎng)絡(luò),并加入權(quán)值網(wǎng)絡(luò),提出patch自加權(quán)損失,以提高性別鑒定的準確率。

1.1 三維顱骨的圖像表示

用一張三通道二維圖像來表示一個三維顱骨的幾何信息,三個通道分別為深度值、曲率值和法向仰角[25]。二維圖像易于生成,且近年來深度學(xué)習(xí)在圖片的分類問題上具有很大突破,網(wǎng)絡(luò)實現(xiàn)更具有保障性。通過投影獲得三維顱骨的幾何圖像表示,如圖1所示,首先計算出三維模型各個頂點處的深度值、曲率值和法向的仰角,并求出曲率值的絕對值。對這三個量分別歸一化到[0,255],以符合圖片像素的取值范圍。然后,將三維模型的頂點正投影到圖像平面,每個像素點處的R,G,B通道的像素值對應(yīng)三維頂點處計算得到的深度值、曲率值和法向的仰角,將對應(yīng)像素值填入得到具有空隙的圖片。最后,利用三角形插值將圖片補充完整。為防止投影產(chǎn)生的像素點覆蓋問題,設(shè)置了一個像素值緩沖。

本文所用三維顱骨數(shù)據(jù)調(diào)整到法蘭克福坐標系統(tǒng)一姿態(tài),所有的顱骨正面朝向y軸正方向,沿y軸負方向?qū)⑷S顱骨正投影到xoz平面,投影后的點在x和z軸方向上的相對距離保持不變,所以生成的圖片仍然保持顱骨的形態(tài)。對投影后的點按照式(1)等比例縮放,以生成不同大小的圖片,將圖片內(nèi)容調(diào)整到適合圖片的大小,并使內(nèi)容位于圖片中心處

其中,x和y分別為投影后得到的點在圖像平面中的橫、縱坐標,x,y∈(0,1),w和h分別為目標圖片的寬和高,P x和P y分別為調(diào)整之后該點所在像素的橫、縱坐標。

投影后得到的顱骨圖片上的空隙對應(yīng)原三維顱骨模型上的三角網(wǎng)格,為了填充這些空隙,借助三維顱骨模型中的三角網(wǎng)格信息,分別對每個空隙點進行三角形插值,如圖1所示。對于圖像上的空白像素點P求其所在平面三角形(P1,P2,P3)的重心坐標(w1,w2,w3)

圖1 三維顱骨的圖像表示

對三個頂點處的像素值利用重心坐標加權(quán)求和得到Ppixel,Ppixel即為空白像素點P經(jīng)插值得到的像素值

1.2 網(wǎng)絡(luò)結(jié)構(gòu)

網(wǎng)絡(luò)模型為由全卷積網(wǎng)絡(luò)組成的二分類網(wǎng)絡(luò),分為主干網(wǎng)絡(luò)和權(quán)值網(wǎng)絡(luò),如圖2所示。

圖2 網(wǎng)絡(luò)結(jié)構(gòu)

主干網(wǎng)絡(luò)和權(quán)值網(wǎng)絡(luò)輸出層皆為24×24×1的patch。主干網(wǎng)絡(luò)輸出層的每個patch為性別判定結(jié)果的一個概率值,該值為顱骨上一個局部區(qū)域的鑒定結(jié)果。將輸出設(shè)計為patch是因為顱骨中包含的性別特征信息存在于局部區(qū)域之中,而每個區(qū)域包含的特征信息量不同,權(quán)值網(wǎng)絡(luò)負責(zé)學(xué)習(xí)不同區(qū)域信息量所占的比重。主干網(wǎng)絡(luò)的輸出層特征圖通過Sigmoid函數(shù)變換為概率。Sigmoid函數(shù)將概率特征圖中的每個塊的數(shù)值單獨映射到[0,1],各塊之間互相獨立,互不干擾。而對于權(quán)值網(wǎng)絡(luò)的輸出,則使用Softmax函數(shù),將權(quán)值特征圖中的每個塊的數(shù)值映射到(0,1),各塊的和為1。網(wǎng)絡(luò)訓(xùn)練中沒有權(quán)值對應(yīng)的標簽信息,只有性別標簽0和1(表示男和女)。性別標簽對主干網(wǎng)絡(luò)的輸出層概率特征圖中的每個塊進行監(jiān)督學(xué)習(xí),即每個塊求得一個交叉熵損失,然后以權(quán)值網(wǎng)絡(luò)的輸出作為權(quán)重,對所有的交叉熵損失求加權(quán)平均作為網(wǎng)絡(luò)的損失函數(shù),對整個網(wǎng)絡(luò)監(jiān)督學(xué)習(xí)。主干網(wǎng)絡(luò)由6個卷積層構(gòu)成,其中下采樣卷積為2層;權(quán)值計算網(wǎng)絡(luò)由4個卷積層構(gòu)成,下采樣卷積為2層,具體網(wǎng)絡(luò)結(jié)構(gòu)細節(jié)見表1。

表1 網(wǎng)絡(luò)結(jié)構(gòu)細節(jié)

1.3 損失函數(shù)

在分類網(wǎng)絡(luò)中交叉熵損失的基礎(chǔ)上,將PatchGAN[28-29]中判別器的損失改進為自加權(quán)的patch交叉熵損失

其中,x為輸入顱骨圖片,C為主干網(wǎng)絡(luò),W為權(quán)值網(wǎng)絡(luò),s j為性別標簽,n為patch的數(shù)目。權(quán)值網(wǎng)絡(luò)對輸入求權(quán)值patch,主干網(wǎng)絡(luò)求性別鑒定概率patch,然后對每個patch求加權(quán)平均損失。在此情況下,網(wǎng)絡(luò)的判別結(jié)果也為各個patch的加權(quán)平均概率

2 實驗

為了評估本文方法的性能,通過實驗與最先進的顱骨性別鑒定方法和經(jīng)典的圖片分類網(wǎng)絡(luò)進行對比。對網(wǎng)絡(luò)模型進行消融學(xué)習(xí),以更好的理解模型不同部分的意義。

2.1 數(shù)據(jù)增強

本文所用的數(shù)據(jù)來自208個三維顱骨模型,每個模型從顱骨正面正投影獲得一張圖片。為獲得足夠的數(shù)據(jù)支持網(wǎng)絡(luò)訓(xùn)練,利用隨機旋轉(zhuǎn)模型再投影的方式數(shù)據(jù)增強。分別對x,y,z軸?。?～3°范圍中的隨機數(shù)作為旋轉(zhuǎn)角度,每個轉(zhuǎn)軸取3次進行組合,每個模型可以生成28張圖片,共5 824張,其中訓(xùn)練圖片5 236張,測試圖片588張。

為更好的模擬真實的性別鑒定環(huán)境,對完整顱骨裁切處理,以模擬可能存在的殘缺顱骨。真實環(huán)境中,由于軟組織早已被腐蝕,顱骨的下頜骨和牙齒與顱骨上部分離,只剩顱骨上部份。對208個完整顱骨的下頜骨和牙齒部位裁切,裁切后的數(shù)據(jù)用上述方法進行數(shù)據(jù)增強,得到的數(shù)據(jù)量與完整顱骨相同,分別對完整顱骨和殘缺顱骨訓(xùn)練不同的判別模型。

2.2 性能評估

復(fù)現(xiàn)幾個經(jīng)典分類網(wǎng)絡(luò),并改編成適用于顱骨性別鑒定的二分類網(wǎng)絡(luò)。在其他參數(shù)與本文模型參數(shù)保持一致的情況下進行性別鑒定對比實驗。圖3和圖4給出了網(wǎng)絡(luò)訓(xùn)練過程中,驗證集的損失函數(shù)和準確率統(tǒng)計圖。可知,本文模型在訓(xùn)練中收斂較快,損失函數(shù)迅速達到較低值,判別準確率增長迅速,并穩(wěn)定的維持在較高范圍。這是其他網(wǎng)絡(luò)模型所不具備的,驗證了本文模型的優(yōu)越性。

圖3 驗證集損失函數(shù)

圖4 驗證集準確率

本文方法與經(jīng)典分類網(wǎng)絡(luò)測試集的準確率對比結(jié)果見表2和圖5,本文方法對于完整顱骨和殘缺顱骨都具有最高的準確率。與相應(yīng)文獻中計算機輔助的顱骨性別鑒定方法準確率統(tǒng)計與對比結(jié)果見表3。本文方法所用到的數(shù)據(jù)量適中,無論對于完整顱骨還是殘缺顱骨,均具有最高的準確率。

圖5 與經(jīng)典分類網(wǎng)絡(luò)的測試準確率對比

表2 與經(jīng)典分類網(wǎng)絡(luò)的測試準確率對比(%)

表3 與最先進的顱骨性別鑒定方法測試準確率對比

2.3 消融學(xué)習(xí)

為了更好的理解所提出模型不同部分對于顱骨性別鑒定的意義,對此模型進行消融學(xué)習(xí)實驗,測試了去掉權(quán)值網(wǎng)絡(luò)的模型,輸出僅為主干網(wǎng)絡(luò)的patch輸出,另外測試了將主干網(wǎng)絡(luò)的patch輸出更改為全連接輸出的模型。表4給出了測試集準確率,圖6和圖7給出了驗證集損失和準確率,可知全連接模型和patch模型在準確率上表現(xiàn)相當(dāng),驗證集準確率并不穩(wěn)定。Patch模型的驗證集損失難以下降,很可能是顱骨部分區(qū)域不包含性別信息所致。在加入權(quán)值網(wǎng)絡(luò)后,模型收斂迅速,驗證集準確率和損失十分穩(wěn)定,并且對完整顱骨和殘缺顱骨都有最高的鑒定準確率。

表4 消融學(xué)習(xí)測試準確率(%)

圖6 消融學(xué)習(xí)驗證集損失

圖7 消融學(xué)習(xí)驗證集準確率

3 結(jié)論

本文提出了一種全新的基于全卷積自加權(quán)分類器的三維顱骨性別鑒定方法,通過用三通道二維圖像表示三維顱骨和構(gòu)建全卷積自加權(quán)分類器,實現(xiàn)了三維顱骨的自動性別鑒定,并顯著提高了性別鑒定的準確率。真實環(huán)境中的缺損顱骨對模型的訓(xùn)練和驗證都有十分重要的意義,但由于數(shù)據(jù)稀缺難以獲取,因而目前還未能測試真實的缺損顱骨數(shù)據(jù)。在未來,將會收集真實環(huán)境中的缺失顱骨數(shù)據(jù),加入到訓(xùn)練數(shù)據(jù)中提高模型的魯棒性。