基于輕量級3DUnet 神經(jīng)網(wǎng)絡(luò)的OCT 皮下汗腺提取研究①

王海霞 王如欣 張怡龍 陳朋 蔣莉③

（?浙江工業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 杭州310000）

（??浙江工業(yè)大學(xué)信息工程學(xué)院 杭州310000）

0 引言

生物特征識別是一種利用人體生理特征或行為特征進(jìn)行身份識別的技術(shù)。目前被廣泛應(yīng)用的生物特征有指紋、人臉、掌紋和步態(tài)等。由于指紋的易采集性、唯一性和永久性[1],指紋識別技術(shù)的應(yīng)用最廣泛、技術(shù)也最成熟。指紋特征可以分為3 個(gè)層次:一級特征包含脊線流等指紋的全局特征;二級特征包含脊分叉和末端等宏觀細(xì)節(jié)特征,是目前指紋識別中主要采集的特征;三級特征包含脊線寬窄、疤痕和汗孔等微觀細(xì)節(jié)特征[2-3]。汗孔作為一種穩(wěn)定、高度可識別的三級特征,比其他指紋特征更難以損壞和模仿。汗孔已經(jīng)被證明是有效的指紋識別信息[4],被應(yīng)用于指紋脊線重建[5]、指紋高精識別[6]以及指紋活性檢測[7]等。

目前汗孔的發(fā)展主要受到采集性能的限制。首先指尖皮膚老化或磨損時(shí),采集到的指紋殘缺或者指紋紋路模糊,導(dǎo)致該位置的汗孔缺失;其次部分指紋采集儀器的分辨率較低,汗孔采集分辨率至少需要1000 dpi[8-9];最后,汗孔的出汗與否影響采集到的汗孔狀態(tài)。近年來,光學(xué)相干層析成像（optical coherence tomography,OCT）作為一種新型的指尖掃描技術(shù)獲得廣泛的關(guān)注和研究興趣。OCT 是一種無損、高分辨率、非侵入性的成像技術(shù)[10],可以采集到皮下0～3 mm 的皮下組織體數(shù)據(jù),其中包含角質(zhì)層、汗腺以及活性表皮層。當(dāng)指尖皮膚出汗或者磨損時(shí),OCT 仍然可以精確、完整地采集到汗腺,且OCT 的汗腺分布具有很高的安全性[11]。傳統(tǒng)意義上的汗孔是汗腺在表皮層的出口。為了區(qū)分皮上和皮下組織,本文將汗腺稱為皮下汗腺,傳統(tǒng)汗孔稱為表皮汗孔,皮下汗腺截面產(chǎn)生的汗孔稱為皮下汗孔。

表皮汗孔檢測算法已經(jīng)取得很大進(jìn)展,可分為基于各向同性特征算法[12-14]、基于各向異性特征算法[15-16]和深度學(xué)習(xí)算法[9,17-19]等?；诟飨蛲蕴卣魉惴╗12-14]使用方向、大小一樣的表皮汗孔模型檢測汗孔位置,例如高斯差分（difference of Gaussian,DOG）模型等。此類檢測算法并沒有考慮表皮汗孔的形狀、大小和開閉狀態(tài)。基于各向異性特征算法[15-16]根據(jù)表皮汗孔的具體狀態(tài)使用不同方向、大小的表皮汗孔模型檢測汗孔位置,例如自適應(yīng)孔隙模型（dynamic anisotropic pore model,DAPM）等。此類檢測算法雖然能適應(yīng)表皮汗孔的方向和大小,但面對各種表皮汗孔的未知狀態(tài)仍存在許多不足。深度學(xué)習(xí)算法[9,17-19]使用卷積神經(jīng)網(wǎng)絡(luò)檢測表皮汗孔位置并取得比較好的效果。表皮汗孔檢測算法已經(jīng)發(fā)展比較成熟,皮下汗腺的研究卻沒有很大進(jìn)展。相比于表皮汗孔,OCT 采集到的皮下汗腺更加清晰、穩(wěn)定且皮下汗腺更不容易被偽造。Sun 和Guo[20]提出用Frangi 濾波器檢測皮下汗腺位置,并設(shè)置閾值二值化得到皮下汗腺。該算法受噪聲和其他皮下組織影響比較大,容易檢測出假陽性皮下汗腺。Ding 等人[21]利用皮下組織的三維空間關(guān)系,在Unet 神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上提出BCL-U 網(wǎng)絡(luò)用于提取指紋和皮下汗腺。BCL-U 網(wǎng)絡(luò)并不專注于提取皮下汗腺,網(wǎng)絡(luò)結(jié)構(gòu)較為復(fù)雜,具有較大的參數(shù)量和計(jì)算量,不適合應(yīng)用在小型指紋設(shè)備上。

指紋識別應(yīng)用最有前景的是將指紋識別技術(shù)同智能芯片相結(jié)合設(shè)計(jì)出各種產(chǎn)品,比如具有指紋識別功能的手機(jī)、門禁等[22]。指紋識別設(shè)備實(shí)現(xiàn)小型化是主要趨勢。為了將來能將皮下汗腺提取算法應(yīng)用在計(jì)算能力有限的小型指紋設(shè)備上,本文采用網(wǎng)絡(luò)結(jié)構(gòu)相對簡單、在醫(yī)學(xué)圖像領(lǐng)域應(yīng)用廣泛的3DUnet 神經(jīng)網(wǎng)絡(luò)[23]。3DUnet 神經(jīng)網(wǎng)絡(luò)可以直接提取皮下組織的三維特征,且保證體數(shù)據(jù)內(nèi)圖像與圖像之間的空間連續(xù)性。由于OCT 儀器采集到的皮下組織數(shù)據(jù)量比較龐大,3DUnet 神經(jīng)網(wǎng)絡(luò)提取皮下汗腺依舊有較大的參數(shù)量和計(jì)算量。本文提出一種基于三維深度可分離卷積的輕量級3DUnet 神經(jīng)網(wǎng)絡(luò)來提取皮下汗腺。相比于已有的皮下汗腺提取算法,本文提出的算法具有以下2 個(gè)創(chuàng)新點(diǎn):（1）本文提出的輕量級3DUnet 神經(jīng)網(wǎng)絡(luò)是目前唯一專注于皮下汗腺提取的神經(jīng)網(wǎng)絡(luò)算法,能很好地避免噪聲和其他皮下組織影響;（2）本文將深度可分離卷積擴(kuò)展到三維空間,實(shí)現(xiàn)3DUnet 神經(jīng)網(wǎng)絡(luò)輕量化,保證網(wǎng)絡(luò)性能的同時(shí)參數(shù)量和計(jì)算量大幅度減少。

1 算法總體設(shè)計(jì)

本文提出基于三維深度可分離卷積的輕量級3DUnet 神經(jīng)網(wǎng)絡(luò)從高分辨率的OCT 體數(shù)據(jù)中提取皮下汗腺。本文算法分為3 個(gè)部分:（1）數(shù)據(jù)預(yù)處理,包括B-scan 圖像去噪、數(shù)據(jù)感興趣區(qū)塊提取及數(shù)據(jù)擴(kuò)增;（2）基于輕量級3DUnet 神經(jīng)網(wǎng)絡(luò)的皮下汗腺提取;（3）皮下汗腺到二維汗孔的映射。

1.1 OCT 數(shù)據(jù)介紹與預(yù)處理

OCT 儀器可以采集到皮下0～3 mm 的皮下組織體數(shù)據(jù)。如圖1（a）所示,OCT 每次A-scan 都會沿Z 方向采集一列皮下組織數(shù)據(jù),包含500 像素。每張B-scan 圖由1800 次A-scan 組成,一個(gè)完整的皮下組織體數(shù)據(jù)需要連續(xù)掃描1400 張B-scan 圖,體數(shù)據(jù)共包含1800 ×1400 ×500 像素。

圖1 皮下組織數(shù)據(jù)

指尖的局部皮下組織結(jié)構(gòu)如圖1（b）所示,OCT能比較清晰地采集到皮下汗腺,皮下汗腺是位于表皮層內(nèi)部的管狀腺體。皮下汗腺在表皮層的出口就是表皮汗孔的位置。OCT 采集到的B-Scan 圖中含有大量的散斑噪聲,這部分噪聲對皮下汗腺體提取有較大的影響,本文采用BM3D（block-matching and 3D filtering）算法[24]對B-Scan 圖進(jìn)行去噪處理。圖2（a）、（b）展示去噪前后的局部B-scan 圖。

在完整的皮下組織體數(shù)據(jù)中,皮下汗腺尺寸較小,有用信息在整個(gè)體數(shù)據(jù)中占比較低。此類數(shù)據(jù)既不利于神經(jīng)網(wǎng)絡(luò)訓(xùn)練效果,同時(shí)也增加神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)產(chǎn)生的計(jì)算量。為了高效地提取皮下汗腺區(qū)域的體數(shù)據(jù),同時(shí)減少硬件的計(jì)算負(fù)擔(dān),本文首先對完整的皮下組織體數(shù)據(jù)進(jìn)行感興趣區(qū)塊提取,得到一系列80 ×80 ×80 的皮下組織數(shù)據(jù)塊。每個(gè)數(shù)據(jù)塊包含坐標(biāo)（x?,y?,z?） 到坐標(biāo)（x?+79,y?+79,z?+79） 之間的數(shù)據(jù),其中滑塊起始頂角坐標(biāo)x?與y?計(jì)算公式為

其中,I（x,y,z） 為體數(shù)據(jù)I位于坐標(biāo)（x,y,z） 的像素灰度值,G（x,y,z） 為對應(yīng)的灰度值梯度。

由于角質(zhì)層輪廓處于灰度值梯度最大的位置,在梯度矩陣G中,將每個(gè)（x,y） 那一列梯度最大值所在的坐標(biāo)（x,y,z） 作為角質(zhì)層輪廓位置。為了避免個(gè)別角質(zhì)層輪廓不準(zhǔn)確所帶來的不良影響,增強(qiáng)算法抗干擾能力,滑塊起始頂角的z?坐標(biāo)等于（x,y）、（x,y +1）、（x,y +2） 及（x,y +3） 對應(yīng)的4 個(gè)角質(zhì)層輪廓z坐標(biāo)的均值。圖2（c）展示z軸方向上的切塊示意圖,感興趣區(qū)塊的頂角位于角質(zhì)層輪廓上。本文采用圖像旋轉(zhuǎn)、圖像翻轉(zhuǎn)等擴(kuò)增樣本量,更好地避免神經(jīng)網(wǎng)絡(luò)過擬合的問題,進(jìn)而提高神經(jīng)網(wǎng)絡(luò)的分割效果。

圖2 預(yù)處理步驟

1.2 輕量級3DUnet 神經(jīng)網(wǎng)絡(luò)

標(biāo)準(zhǔn)3DUnet 神經(jīng)網(wǎng)絡(luò)[23]是一個(gè)端對端的三維神經(jīng)網(wǎng)絡(luò),在三維醫(yī)學(xué)圖像分割領(lǐng)域有著廣泛的應(yīng)用。3DUnet 神經(jīng)網(wǎng)絡(luò)在提取特征時(shí)能保證圖片之間的空間連續(xù)性,因而適用于皮下汗腺的分割。由于3DUnet 神經(jīng)網(wǎng)絡(luò)提取皮下汗腺會有比較大的參數(shù)量和計(jì)算量,不利于應(yīng)用到小型指紋設(shè)備。因此本文提出基于三維深度可分離卷積的輕量級3DUnet 神經(jīng)網(wǎng)絡(luò)提取皮下汗腺,在保證神經(jīng)網(wǎng)絡(luò)預(yù)測精度的情況下,減少模型參數(shù)和計(jì)算量。

1.2.1 三維深度可分離卷積

為了減少3DUnet 神經(jīng)網(wǎng)絡(luò)的參數(shù)量和計(jì)算量,實(shí)現(xiàn)3DUnet 神經(jīng)網(wǎng)絡(luò)輕量化,本文在Xception[25]模型的深度可分離卷積思想基礎(chǔ)上,提出利用三維深度可分離卷積代替標(biāo)準(zhǔn)三維卷積核實(shí)現(xiàn)3DUnet 神經(jīng)網(wǎng)絡(luò)輕量化的方法。

三維深度可分離卷積可以分解成2 個(gè)過程:三維深度卷積和三維逐點(diǎn)卷積。如圖3 所示,在三維深度卷積過程中,輸入特征圖H × W × D的通道數(shù)為m。本文采用m個(gè)不同的k×k×k卷積核分別對這m個(gè)輸入通道進(jìn)行卷積運(yùn)算,即一個(gè)k × k × k卷積核對應(yīng)1 個(gè)輸入通道,各通道完成卷積運(yùn)算后級聯(lián)成通道數(shù)為m的輸出特征圖。在三維逐點(diǎn)卷積過程中,輸入特征圖H × W × D的通道數(shù)為m,采用1 ×1 ×1 的卷積核將m個(gè)通道的特征圖加權(quán)結(jié)合成1 個(gè)通道的特征圖H ×W ×D,則n個(gè)1 ×1 ×1 卷積核卷積運(yùn)算之后,得到通道數(shù)為n的輸出特征圖H× W × D。整個(gè)三維深度可分離卷積模塊的特征提取效果相當(dāng)于3Dunet 神經(jīng)網(wǎng)絡(luò)[23]中標(biāo)準(zhǔn)k × k × k卷積提取效果。

圖3 三維深度可分離卷積

整個(gè)三維深度可分離卷積運(yùn)算的參數(shù)量和計(jì)算量為

其中,C1表示三維深度可分離卷積運(yùn)算的參數(shù)量,J1表示三維深度可分離卷積運(yùn)算的計(jì)算量。卷積運(yùn)算的步長為1,輸入特征圖的通道數(shù)為m,大小為H×W×D,輸出特征圖的通道數(shù)為n,大小仍為H×W× D。

為了到達(dá)同樣的特征提取效果,如果只采用標(biāo)準(zhǔn)k ×k ×k卷積運(yùn)算的過程需要如下的參數(shù)量和計(jì)算量。

其中,C2表示標(biāo)準(zhǔn)三維卷積運(yùn)算的參數(shù)量,J2表示標(biāo)準(zhǔn)三維卷積運(yùn)算的計(jì)算量。

相比于只采用標(biāo)準(zhǔn)k × k × k卷積運(yùn)算,采用三維深度可分離卷積運(yùn)算的參數(shù)量和計(jì)算量只有:

本文采用3 ×3 ×3 大小的卷積核,n采用32、64或128,參數(shù)量和計(jì)算量減少14～23 倍。

1.2.2 基于三維深度可分離卷積的輕量級3DUnet網(wǎng)絡(luò)框架

3DUnet 神經(jīng)網(wǎng)絡(luò)是一種端對端的三維分割神經(jīng)網(wǎng)絡(luò),采用三維卷積提取圖像的三維特征,其三維特征的空間連續(xù)性對于提取皮下汗腺較為重要。此外3DUnet 神經(jīng)網(wǎng)絡(luò)采用跳躍連接的方式將特征提取階段的特征圖和還原階段的特征圖級聯(lián)到一起,提高分割的準(zhǔn)確率。為了使皮下汗腺檢測算法更容易實(shí)現(xiàn)在小型指紋設(shè)備上,本文提出基于三維深度可分離卷積的輕量級3DUnet 神經(jīng)網(wǎng)絡(luò),減少3DUnet 神經(jīng)網(wǎng)絡(luò)提取皮下汗腺時(shí)產(chǎn)生的參數(shù)量和計(jì)算量。

本文的輕量級3DUnet 神經(jīng)網(wǎng)絡(luò)使用三維深度可分離卷積模塊代替3DUnet 神經(jīng)網(wǎng)絡(luò)中所有的標(biāo)準(zhǔn)卷積模塊。圖4 對比標(biāo)準(zhǔn)卷積模塊和三維深度可分離卷積模塊,如圖4（a）所示,標(biāo)準(zhǔn)卷積模塊由一個(gè)標(biāo)準(zhǔn)的卷積層、批歸一化層 （batch normalization） 和線性整流函數(shù)（ReLU） 組成。如圖4（b）所示,三維深度可分離卷積模塊由3 ×3 ×3 的深度卷積和1 ×1 ×1 的點(diǎn)卷積組成,在每個(gè)卷積層之后跟隨批歸一化層和線性整流函數(shù)。

圖4 標(biāo)準(zhǔn)卷積模塊與三維深度可分離卷積模塊對比

圖5 展示完整的端對端的輕量級3DUnet 網(wǎng)絡(luò)結(jié)構(gòu)和模型參數(shù)。由于皮下汗腺體的尺寸較小,過多的池化層會導(dǎo)致皮下汗腺的信息丟失,本文輕量級3DUnet 神經(jīng)網(wǎng)絡(luò)僅用三層深度。輕量級3DUnet神經(jīng)網(wǎng)絡(luò)分為圖像特征提取階段和特征還原階段。在特征提取階段,包含2 個(gè)不同深度的特征提取單元,每個(gè)單元各包含2 個(gè)三維深度可分離卷積模塊和1 個(gè)池化層。每個(gè)單元特征提取之后圖像通道數(shù)加倍,尺寸減半。經(jīng)過特征提取階段和特征還原階段之間的2 個(gè)三維深度可分離卷積模塊提取特征之后,在特征還原階段實(shí)現(xiàn)三維特征圖像尺寸還原。在特征還原階段,包含2 個(gè)不同深度的特征還原單元,每個(gè)單元各包含2 個(gè)三維深度可分離卷積模塊和1 個(gè)上采樣層。每個(gè)單元特征還原之后圖像通道數(shù)減半,尺寸加倍。為了幫助還原皮下汗腺的細(xì)節(jié)信息,本文繼續(xù)采用長跳躍連接將編碼階段相同深度下的特征圖級聯(lián)到一起,用1 ×1 ×1 卷積縮減特征圖像通道數(shù),并用sigmoid 函數(shù)將網(wǎng)絡(luò)決策結(jié)果壓縮為概率,值為0～1 之間。

圖5 基于三維深度可分離卷積的輕量級3DUnet 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

1.2.3 網(wǎng)絡(luò)訓(xùn)練

網(wǎng)絡(luò)訓(xùn)練時(shí)采用Adam 優(yōu)化作為參數(shù)優(yōu)化器,損失函數(shù)采用Dice 系數(shù)差異函數(shù)DiceLoss[26]。DiceLoss 把一個(gè)類別的所有像素作為一個(gè)整體去計(jì)算損失函數(shù)值。DiceLoss 直接把分割效果評估指標(biāo)作為損失函數(shù)去監(jiān)督網(wǎng)絡(luò),并且計(jì)算交并比時(shí)忽略大量背景像素,進(jìn)而解決正負(fù)樣本不均衡的問題,所以收斂速度很快。DiceLoss 計(jì)算公式為

其中,N表示三維圖像像素個(gè)數(shù),pi表示預(yù)測后像素點(diǎn)i為皮下汗腺的概率,值為0～1。gi表示像素點(diǎn)i真實(shí)為皮下汗腺的概率,值為1 或0。

1.2.4 網(wǎng)絡(luò)測試及后處理

神經(jīng)網(wǎng)絡(luò)測試時(shí),將去噪后的80 ×80 ×80 三位體數(shù)據(jù)輸入輕量級3DUnet 神經(jīng)網(wǎng)絡(luò),預(yù)測輸出大小為80 ×80 ×80 的皮下汗腺概率圖P。根據(jù)最大間類閾值法[27]確定閾值thr。對皮下汗腺概率圖P進(jìn)行二值化操作,得到皮下汗腺區(qū)域圖M,表達(dá)式如式（10）所示。

因?yàn)镺CT 采集過程中產(chǎn)生的噪聲的灰度值非常接近皮下汗腺的灰度值,且皮下汗腺與背景的灰度值對比度不高,神經(jīng)網(wǎng)絡(luò)不能很好地區(qū)分出噪聲和皮下汗腺,所以二值化后的皮下汗腺區(qū)域圖M中存在部分假陽性皮下汗腺。其中皮下汗腺的體積是相近的,由噪聲引起的假陽性皮下汗腺的體積普遍較小,因此本文將皮下汗腺區(qū)域圖M中體積小于120 的皮下汗腺判定為假陽性,并去除假陽性皮下汗腺區(qū)域。

1.3 皮下汗腺映射

目前在指紋識別領(lǐng)域,表皮汗孔應(yīng)用算法已經(jīng)取得很大的進(jìn)展[5-7],皮下汗腺還沒有成熟的應(yīng)用算法。為了將神經(jīng)網(wǎng)絡(luò)提取到的皮下汗腺結(jié)合表皮指紋應(yīng)用在已有的汗孔算法上,本文將皮下汗腺垂直映射到表皮指紋,獲得映射汗孔。圖6 展示皮下汗腺映射示意圖。

圖6 皮下汗腺映射示意圖

首先需要獲得每個(gè)皮下汗腺的質(zhì)心坐標(biāo)P（x′,y′,z′）,本文采用計(jì)算皮下汗腺所有像素點(diǎn)坐標(biāo)的平均值作為質(zhì)心坐標(biāo),計(jì)算過程為

其中,lp表示某個(gè)皮下汗腺,i是該皮下汗腺上的像素點(diǎn),（xi,yi,zi） 是像素點(diǎn)i的坐標(biāo),n是該皮下汗腺的像素點(diǎn)個(gè)數(shù)。

其次,如圖1（a）所示,在接觸式OCT 儀器采集到皮下組織體數(shù)據(jù)中,絕大部分表皮指紋面都是水平的,進(jìn)而OCT 三維皮下指紋的表皮層在坐標(biāo)系中幾乎平行于XOY平面,因此將皮下汗腺的質(zhì)心坐標(biāo)P（x′,y′,z′） 映射到二維表皮指紋圖像上得到的映射汗孔P′的坐標(biāo)為（x′,y′）。

2 實(shí)驗(yàn)結(jié)果分析

本節(jié)對皮下汗腺提取的結(jié)果進(jìn)行分析。2.1 節(jié)介紹實(shí)驗(yàn)數(shù)據(jù)集;2.2 節(jié)討論小樣本量情況下,3DUnet 和輕量級3DUnet 的皮下汗腺輪廓提取精度的對比;2.3 節(jié)討論大樣本量的情況下,在垂直映射之后,兩種神經(jīng)網(wǎng)絡(luò)算法的皮下汗腺提取準(zhǔn)確率的對比;2.4 節(jié)對比兩種神經(jīng)網(wǎng)絡(luò)算法的模型參數(shù)量和計(jì)算量。

2.1 數(shù)據(jù)集與實(shí)驗(yàn)環(huán)境

本文實(shí)驗(yàn)數(shù)據(jù)均采集自O(shè)CT 指紋采集儀器[28],實(shí)驗(yàn)數(shù)據(jù)集總共包含36 個(gè)手指,分為D1 和D2 兩部分。

數(shù)據(jù)集D1 包含6 組不同手指的三維OCT 體數(shù)據(jù)。為了得到更好的訓(xùn)練效果,每組OCT 體數(shù)據(jù)選用中間的連續(xù)200 張質(zhì)量較好的B-scan 圖像。每張B-scan 圖像都手工標(biāo)注皮下汗腺。在2.2 節(jié)用D1的標(biāo)注數(shù)據(jù)進(jìn)行皮下汗腺輪廓提取精確度的評估。

數(shù)據(jù)集D2 包含30 組不同手指的三維OCT 體數(shù)據(jù)。每組三維OCT 體數(shù)據(jù)有1400 張連續(xù)的Bscan 圖像,大小為1800 ×1400 ×500,用于提取皮下汗腺。由于OCT 體數(shù)據(jù)缺少對應(yīng)的表皮汗孔圖,而表皮汗孔是皮下汗腺在表皮層的出口,皮下汗孔是皮下汗腺的截面,本文將皮下汗腺映射到皮下汗腺截面圖獲得映射汗孔,進(jìn)而進(jìn)行大樣本量的皮下汗腺提取準(zhǔn)確率評估。每個(gè)體數(shù)據(jù)在不同深度截取3張皮下汗腺截面圖,截面圖尺寸為1800 ×1400。圖7展示由某一深度截取出來的皮下汗腺截面圖。本文將皮下汗腺截面圖中的汗孔稱為皮下汗孔。對皮下汗腺截面圖中的汗孔進(jìn)行標(biāo)注,用于皮下汗腺提取準(zhǔn)確率評估。手工標(biāo)注需要盡可能將皮下汗腺截面圖中所有的皮下汗孔標(biāo)注出來,并且確保標(biāo)注的皮下汗孔是真實(shí)存在的。手工標(biāo)注皮下汗孔時(shí)綜合觀測該手指3 張不同深度的皮下汗腺截面圖以及對應(yīng)體數(shù)據(jù)信息,將比較明顯的皮下汗孔標(biāo)注出來。以手工標(biāo)注的皮下汗孔作依據(jù),判斷提取的皮下汗腺的真假。在2.3 節(jié)根據(jù)真假皮下汗腺比例用來比較不同方法的皮下汗腺提取準(zhǔn)確率。

圖7 某一深度的皮下汗腺截面圖

本文實(shí)驗(yàn)硬件環(huán)境包含CPU 處理器Intel i9-10900X,顯卡NIVIDA RTX2080Ti,顯存11 GB。軟件環(huán)境包含Python 3.6.10,神經(jīng)網(wǎng)絡(luò)庫Keras 2.2.4,Cuda 10.1.105,cuDNN 7.6.5。

2.2 皮下汗腺輪廓提取精確度對比

皮下汗腺輪廓提取精度對比實(shí)驗(yàn)采用數(shù)據(jù)集D1,分別使用基于三維深度可分離的輕量級3DUnet神經(jīng)網(wǎng)絡(luò)和深度相同的3DUnet 神經(jīng)網(wǎng)絡(luò)提取皮下汗腺。為了合理地評估皮下汗腺輪廓的提取精度,本文采用三重交叉驗(yàn)證策略,即每次將數(shù)據(jù)集D1分為2 部分,其中4 個(gè)手指數(shù)據(jù)用于訓(xùn)練神經(jīng)網(wǎng)絡(luò),另外2 個(gè)手指數(shù)據(jù)用神經(jīng)網(wǎng)絡(luò)提取皮下汗腺,與手工標(biāo)注的皮下汗腺進(jìn)行輪廓提取精度驗(yàn)證。為了定量地評估皮下汗腺輪廓提取精度,本文采用交并比（intersection-over-union,IOU）和Dice 分?jǐn)?shù),計(jì)算公式如下所示。

其中,S表示手工標(biāo)注的皮下汗腺區(qū)域,S′表示神經(jīng)網(wǎng)絡(luò)提取出的皮下汗腺區(qū)域,S∩S′表示手工標(biāo)注的皮下汗腺與神經(jīng)網(wǎng)絡(luò)提取出的皮下汗腺的交集,代表神經(jīng)網(wǎng)絡(luò)提取的皮下汗腺中真實(shí)屬于皮下汗腺的區(qū)域,S∪S′表示手工標(biāo)注的皮下汗腺與神經(jīng)網(wǎng)絡(luò)提取出的汗腺的并集,|?|表示該區(qū)域體積即該區(qū)域皮下汗腺的像素個(gè)數(shù)。兩個(gè)指標(biāo)都是越高表示皮下汗腺輪廓提取精度越高。表1 給出了分割精度對比結(jié)果。

表1 展示本文提出的神經(jīng)網(wǎng)絡(luò)與3DUnet 神經(jīng)網(wǎng)絡(luò)的對比結(jié)果。實(shí)驗(yàn)結(jié)果表明,不論是IOU 還是Dice 指標(biāo),本文提出的輕量級3DUnet 神經(jīng)網(wǎng)絡(luò)都與3DUnet 神經(jīng)網(wǎng)絡(luò)性能基本一致甚至略好。在IOU 指標(biāo)上,輕量級3DUnet 網(wǎng)絡(luò)比標(biāo)準(zhǔn)3DUnet 高出1.8%,在Dice 指標(biāo)上,輕量級3DUnet 神經(jīng)網(wǎng)絡(luò)比標(biāo)準(zhǔn)3DUnet 高出1.4%。結(jié)果表明三維深度可分離卷積塊相比于標(biāo)準(zhǔn)卷積并沒有降低皮下汗腺輪廓提取精度,甚至效果略有優(yōu)勢。圖8 顯示輕量級3DUnet 神經(jīng)網(wǎng)絡(luò)和3DUnet 神經(jīng)網(wǎng)絡(luò)的皮下汗腺提取效果。從圖8 中可以看出,大多數(shù)情況下,輕量級3DUnet 神經(jīng)網(wǎng)絡(luò)和3DUnet 神經(jīng)網(wǎng)絡(luò)結(jié)果基本一致;少數(shù)皮下汗腺區(qū)域在輕量級3DUnet 神經(jīng)網(wǎng)絡(luò)能提取到,而在3DUnet 神經(jīng)網(wǎng)絡(luò)并沒有提取到?？傮w而言,三維深度可分離卷積和標(biāo)準(zhǔn)卷積對皮下汗腺的特征提取效果基本一致。

圖8 不同方法皮下汗腺提取結(jié)果

表1 不同方法在皮下汗腺分割精度對比

2.3 皮下汗腺提取準(zhǔn)確率對比

在2.2 節(jié)討論的皮下汗腺輪廓提取精度實(shí)驗(yàn)需要人工標(biāo)注三維數(shù)據(jù),想要獲得大樣本量的標(biāo)注數(shù)據(jù)是極其困難的。為了進(jìn)行大樣本數(shù)據(jù)對比,本節(jié)對比實(shí)驗(yàn)采用數(shù)據(jù)集D2。在對比皮下汗腺提取準(zhǔn)確率之前,本文先將三維皮下汗腺映射到皮下汗腺截面圖,映射得到的汗孔稱為映射汗孔。圖9 給出了皮下汗腺的映射結(jié)果。

圖9 皮下汗腺映射汗腺截面圖

在皮下汗腺映射得到的映射汗孔的正確性判斷中,本文采用脊線寬度一半作為距離閾值[17]。當(dāng)映射汗孔與最近的真實(shí)汗孔的歐氏距離小于等于閾值時(shí),判斷該映射汗孔為正確檢測到;當(dāng)映射汗孔與最近的真實(shí)汗孔的歐氏距離大于閾值時(shí),判斷該映射汗孔為錯(cuò)誤檢測到。根據(jù)本次對比實(shí)驗(yàn)30 個(gè)指紋的平均脊線寬度,本文距離閾值采用9.8989 像素。

本文采用正確檢測率（RT）和錯(cuò)誤檢測率（RF）指標(biāo)定量評估輕量級3DUnet 和3DUnet 的皮下汗腺提取準(zhǔn)確率。正確檢測率（RT）是正確檢測到的映射汗孔個(gè)數(shù)與標(biāo)注的真實(shí)皮下汗孔總數(shù)所占比例,錯(cuò)誤檢測率（RF）是錯(cuò)誤檢測到的映射汗孔個(gè)數(shù)與神經(jīng)網(wǎng)絡(luò)檢測到的汗孔總數(shù)所占比例。表2 給出了皮下汗腺提取準(zhǔn)確率對比結(jié)果。

表2 皮下汗腺提取準(zhǔn)確率對比

表2 展示了基于三維深度可分離卷積的輕量級3DUnet 和3DUnet 神經(jīng)網(wǎng)絡(luò)的皮下汗腺提取準(zhǔn)確率。實(shí)驗(yàn)結(jié)果表明,輕量級3DUnet 神經(jīng)網(wǎng)絡(luò)的正確檢測率（RT）比3DUnet 神經(jīng)網(wǎng)絡(luò)高出2.5%,但輕量級3DUnet 神經(jīng)網(wǎng)絡(luò)的錯(cuò)誤檢測率（RF）也比3DUnet 神經(jīng)網(wǎng)絡(luò)高出2.1%。神經(jīng)網(wǎng)絡(luò)輕量化后,模型參數(shù)有所下降,模型性能也有所影響,但事實(shí)證明,深度可分離卷積相比于標(biāo)準(zhǔn)卷積僅僅只是參數(shù)量減少,整體性能基本一致。

2.4 模型性能對比

本節(jié)為了全面對比輕量級3DUnet 和3DUnet 神經(jīng)網(wǎng)絡(luò)模型的性能表現(xiàn),一方面記錄損失函數(shù)Loss與準(zhǔn)確率Accuracy 隨訓(xùn)練輪次的變化趨勢,另一方面采用模型參數(shù)量、空間復(fù)雜度和時(shí)間復(fù)雜度作為模型對比指標(biāo)。

準(zhǔn)確率Accuracy 表示提取出的真陽性皮下汗腺和真陽性背景體積之和在三維體數(shù)據(jù)中的占比。準(zhǔn)確率越高表示模型訓(xùn)練得越好。準(zhǔn)確率計(jì)算公式如式（14）所示。

其中,TP表示提取正確的真陽性皮下汗腺區(qū)域,TN表示提取正確的真陽性背景區(qū)域,FP表示漏提取的皮下汗腺區(qū)域,FN表示誤提取的背景區(qū)域。

圖10 展示了神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)損失函數(shù)及準(zhǔn)確率隨輪次的變化趨勢。對比Loss 和Accuracy 訓(xùn)練變化曲線可知,輕量級3DUnet 神經(jīng)網(wǎng)絡(luò)的收斂速度較快。對比兩種模型的Loss 和Accuracy 最終穩(wěn)定值,輕量級3DUnet 略差但二者相差不大,并且輕量級3DUnet 神經(jīng)網(wǎng)絡(luò)穩(wěn)定階段變化波動較小,穩(wěn)定性更高。結(jié)果證明,三維深度可分離卷積模塊可減少模型參數(shù)量會對神經(jīng)網(wǎng)絡(luò)訓(xùn)練造成一定影響,但二者變化趨勢基本一致。

圖10 損失函數(shù)Loss 及準(zhǔn)確率Accuracy 變化趨勢圖

空間復(fù)雜度,即神經(jīng)網(wǎng)絡(luò)模型進(jìn)行一次完整的前向傳播所發(fā)生的內(nèi)存交換總量。空間復(fù)雜度包含模型參數(shù)的內(nèi)存占用與每層輸入特征圖的內(nèi)存占用之和。輕量級3DUnet 神經(jīng)網(wǎng)絡(luò)的空間復(fù)雜度計(jì)算公式如式（15）。

其中,變量D表示神經(jīng)網(wǎng)絡(luò)所具有的卷積層數(shù),Hl×Wl ×Dl表示第l層卷積層的特征圖像尺寸,k表示卷積核尺寸,ml表示第l層卷積層的輸入圖像的通道數(shù),nl表示第l層卷積層的輸出圖像的通道數(shù)。

3DUnet 神經(jīng)網(wǎng)絡(luò)的空間復(fù)雜度計(jì)算公式為

時(shí)間復(fù)雜度,即模型進(jìn)行一次完整的前向傳播所發(fā)生的浮點(diǎn)運(yùn)算次數(shù)。輕量級3DUnet 神經(jīng)網(wǎng)絡(luò)的時(shí)間復(fù)雜度計(jì)算公式為

3DUnet 神經(jīng)網(wǎng)絡(luò)的時(shí)間復(fù)雜度計(jì)算公式如下:

表3 展示了輕量級3DUnet 和3DUnet 神經(jīng)網(wǎng)絡(luò)在皮下汗腺提取工作中的性能對比。對同一數(shù)據(jù)集進(jìn)行訓(xùn)練與測試,輕量級3DUnet 神經(jīng)網(wǎng)絡(luò)更容易在計(jì)算能力有限的小型指紋設(shè)備上實(shí)現(xiàn)。綜合2.2節(jié)、2.3 節(jié)和2.4 節(jié)的實(shí)驗(yàn)結(jié)果,在不降低皮下汗腺輪廓提取精確度和皮下汗腺提取準(zhǔn)確率情況下,輕量級3DUnet 神經(jīng)網(wǎng)絡(luò)的參數(shù)量只有3DUnet 神經(jīng)網(wǎng)絡(luò)的5.1%,空間復(fù)雜度也有一定降低但降低幅度不大,原因是空間復(fù)雜度中的特征圖像內(nèi)存占用數(shù)量級比參數(shù)內(nèi)存占用數(shù)量級高1 ×102～1 ×104倍,而特征圖像內(nèi)存占用在兩個(gè)神經(jīng)網(wǎng)絡(luò)上是一樣的,故參數(shù)量減少的優(yōu)勢在空間復(fù)雜度上體現(xiàn)并不明顯。總體而言輕量級3DUnet 神經(jīng)網(wǎng)絡(luò)進(jìn)行一次完整的前向傳播所發(fā)生的內(nèi)存交換總量是有所減少的。輕量級3DUnet 神經(jīng)網(wǎng)絡(luò)的時(shí)間復(fù)雜度只有3DUnet 神經(jīng)網(wǎng)絡(luò)的6.2%,表明輕量級3DUnet 神經(jīng)網(wǎng)絡(luò)進(jìn)行一次完整的前向傳播所發(fā)生的浮點(diǎn)運(yùn)算次數(shù)只有3DUnet 神經(jīng)網(wǎng)絡(luò)的6.2%,大幅減少了計(jì)算量。實(shí)驗(yàn)結(jié)果證明,輕量級3DUnet 神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時(shí)損失函數(shù)和準(zhǔn)確率變化趨勢與3DUnet 基本一致,但不論是計(jì)算量還是內(nèi)存占用量都有明顯減少,為移植到小型指紋儀器上提供了可行性。

表3 模型性能對比

2.5 皮下汗腺映射驗(yàn)證

為了驗(yàn)證皮下汗腺可以解決表皮汗孔采集困難的問題,本文將皮下汗腺映射到表皮指紋上。圖11給出了映射結(jié)果。

圖11 皮下汗腺映射表皮指紋

由實(shí)驗(yàn)結(jié)果可知,以指紋上比較清晰的表皮汗孔為依據(jù),三維皮下汗腺映射到表皮指紋得到的映射汗孔能比較準(zhǔn)確地還原真實(shí)表皮汗孔的位置。在指紋有褶皺、疤痕的位置,表皮汗孔已經(jīng)不明顯,但皮下汗腺依舊能精確提取到,并通過皮下汗腺映射獲得皮下汗孔的位置。結(jié)果證明,皮下汗腺提取與映射得到的映射汗孔位置并不受指紋疤痕等狀態(tài)的影響,提取效果更加穩(wěn)定。

3 結(jié)論

針對指尖皮膚磨損或出汗導(dǎo)致表皮層汗孔采集困難的問題,本文提出基于三維深度可分離卷積的輕量級3DUnet 神經(jīng)網(wǎng)絡(luò)提取皮下汗腺。首先,將深度可分離卷積擴(kuò)展到三維空間,使用三維深度可分離卷積實(shí)現(xiàn)3DUnet 神經(jīng)網(wǎng)絡(luò)輕量化。其次,采用皮下汗腺映射的方式獲得對應(yīng)表皮汗孔位置。實(shí)驗(yàn)結(jié)果表明,相比于3DUnet 神經(jīng)網(wǎng)絡(luò),輕量級3DUnet 神經(jīng)網(wǎng)絡(luò)在不降低皮下汗腺輪廓提取精確度和皮下汗腺提取準(zhǔn)確率的情況下,參數(shù)量和時(shí)間復(fù)雜度分別僅有3DUnet 的5.1%和6.2%,空間復(fù)雜度也有所下降。不論是計(jì)算量還是內(nèi)存占用量,輕量級3DUnet 神經(jīng)網(wǎng)絡(luò)都更適用于小型指紋設(shè)備。同時(shí)映射驗(yàn)證實(shí)驗(yàn)也表明,在表皮指紋有疤痕的情況下,皮下汗腺映射到表皮指紋能很好地展示表皮汗孔的位置。

本文提出輕量級3DUnet 神經(jīng)網(wǎng)絡(luò)提取皮下汗腺之后,需要將皮下汗腺應(yīng)用到指紋匹配中,提高指紋匹配準(zhǔn)確率。目前還沒有皮下汗腺應(yīng)用在指紋匹配中的相關(guān)算法。針對該問題,本課題組未來將在皮下汗腺應(yīng)用算法方面展開研究工作。