基于卷積神經(jīng)網(wǎng)絡(luò)的指紋條紋圖相位提取方法

王海霞，單魯斌，龐巧玲，張怡龍

（1 浙江工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，杭州 310000）

（2 浙江工業(yè)大學(xué) 信息工程學(xué)院，杭州 310000）

0 引言

生物特征識(shí)別技術(shù)是利用人體固有的生理或行為特征來識(shí)別或者驗(yàn)證個(gè)人身份的技術(shù)。近幾年生物特征識(shí)別技術(shù)［1］中指紋識(shí)別技術(shù)具有普遍性、可靠性、唯一性、永久性、可采集性、可行性等特點(diǎn)，是生物特征識(shí)別領(lǐng)域的研究熱點(diǎn)。傳統(tǒng)的接觸式指紋采集多是通過按壓或者滾動(dòng)采集方式［2］，由于被采集者按壓力大小的不可控和之前指紋采集所留下的殘留物等問題，往往使得采集數(shù)據(jù)不理想。為了消除接觸式采集而導(dǎo)致指紋失真問題，同時(shí)為了獲取多維度指紋信息，近年來許多研究者試圖應(yīng)用非接觸式采集方式獲取三維指紋信息［3］。

目前常用的三維指紋采集技術(shù)有三種，即三維指紋重建［4］、結(jié)構(gòu)光成像［5-6］和超聲掃描［7］。在三種技術(shù)中，重建技術(shù)具有系統(tǒng)構(gòu)成簡(jiǎn)單、成本低的優(yōu)點(diǎn)。基于超聲的三維指紋圖像分辨率高，但特征提取與匹配識(shí)別難度大。相對(duì)而言，雖然結(jié)構(gòu)光成像技術(shù)在收集三維數(shù)據(jù)時(shí)要求人的手指保持靜止，但它具有精度高、成本適中的優(yōu)點(diǎn)，因此廣泛應(yīng)用在三維指紋采集中。

在結(jié)構(gòu)光成像技術(shù)中，條紋投影技術(shù)受到廣泛歡迎和應(yīng)用。條紋投影技術(shù)將余弦條紋通過數(shù)字投影儀投影至被測(cè)物，利用相機(jī)拍攝條紋因物體形貌產(chǎn)生的彎曲圖像，解調(diào)該彎曲條紋得到相位，再將相位轉(zhuǎn)化為目標(biāo)三維信息。該技術(shù)核心算法是對(duì)采集得到的條紋圖像進(jìn)行相位提取。目前對(duì)條紋圖像相位提取方法有傅里葉變換輪廓術(shù)［8-11］、相移法［12-15］和神經(jīng)網(wǎng)絡(luò)方法［16-26］等。傅里葉變換輪廓術(shù)由TAKEDA M 等［8］提出，常用在單幅條紋的相位計(jì)算中；FU Y 等［9］對(duì)傳統(tǒng)的傅里葉變換進(jìn)行改進(jìn)，減少了三次頻移，減少了計(jì)算時(shí)間，提高了濾波精度；PODDER P 等［10］對(duì)漢明窗、漢寧窗和布萊克曼窗的性能進(jìn)行了比較，針對(duì)相位模糊問題進(jìn)行改進(jìn)；MA J 等［11］提出了根據(jù)相位分布連續(xù)性的相位確定規(guī)則，然后根據(jù)常規(guī)二維小波變換分析提出頻率引導(dǎo)方案以獲得正確的相位分布，但傅里葉變換輪廓術(shù)仍存在著對(duì)背景光和噪聲敏感。相移算法是用于三個(gè)以上的條紋圖案中并且需要知道每個(gè)條紋圖像之間相移，從而可以準(zhǔn)確的給出相位信息，對(duì)于靜態(tài)三維測(cè)量具有較好的表現(xiàn)［12］。許多相移算法被提出和擴(kuò)展，例如將格雷碼和四步相移相結(jié)合實(shí)現(xiàn)相位計(jì)算［13］、基于導(dǎo)數(shù)算法的同步雙波長(zhǎng)三幀相移干涉相位提取方法［14］和結(jié)合超分辨條紋圖像重建技術(shù)和五步相移算法獲取相位信息［15］，在這些算法中，標(biāo)準(zhǔn)的N步相移算法因其在噪聲抑制方面的優(yōu)異性能而應(yīng)用最廣泛。為了獲得較高的測(cè)量分辨率和精度，相移法通常是最佳的選擇。

同時(shí)在近幾年，隨著計(jì)算設(shè)備和云資源上計(jì)算能力的不斷提高，應(yīng)用人工智能技術(shù)實(shí)現(xiàn)對(duì)數(shù)據(jù)智能處理是一個(gè)全新的解決方案。許多三維領(lǐng)域?qū)W者嘗試將神經(jīng)網(wǎng)絡(luò)技術(shù)引入到三維測(cè)量中。神經(jīng)網(wǎng)絡(luò)主要分為兩個(gè)階段進(jìn)行，第一個(gè)階段是獲取足夠?qū)嶒?yàn)所需的數(shù)據(jù)，第二個(gè)階段是搭建神經(jīng)網(wǎng)絡(luò)框架對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行訓(xùn)練，從而實(shí)現(xiàn)輸入和輸出的映射。在眾多成功案例中，人工智能已在三維表面測(cè)量中得到證明，在相位展開［16-17］、高速輪廓測(cè)量［18］、鏡頭畸變校正［19］、單次輪廓測(cè)量［20-21］、ToF 三維成像［22］等領(lǐng)域表現(xiàn)都很出色。在相位解調(diào)方面，F(xiàn)ENG S［23］等構(gòu)建兩個(gè)CNN 結(jié)構(gòu)預(yù)測(cè)條紋相位圖的正弦與余弦形式，然后通過反正切計(jì)算相位值。YIN W［24］等使用經(jīng)過適當(dāng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)，從單個(gè)條紋圖像中預(yù)測(cè)相位信息，然后將其轉(zhuǎn)換為三維形狀。QIAN J［25］等將彩色條紋投影引入三維輪廓檢測(cè)，將三種不同波長(zhǎng)的條紋圖像投影到檢測(cè)目標(biāo)表面，將采集到的圖像分成三個(gè)通道，輸入網(wǎng)絡(luò)預(yù)測(cè)分子的相位反正切函數(shù)分母和絕對(duì)相位最終將誤差降低到幾十微米。HU W［26］通過U-Net 網(wǎng)絡(luò)修改實(shí)現(xiàn)了從條紋圖像到相位提取的過程。

本文針對(duì)條紋投影技術(shù)展開非接觸式指紋三維測(cè)量研究，搭建了非接觸式三維指紋采集系統(tǒng)，構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)對(duì)指紋相位圖進(jìn)行提取，并針對(duì)如今主流的相位提取神經(jīng)網(wǎng)絡(luò)中包裹相位2π 間斷處誤差劇增難優(yōu)化問題展開研究，構(gòu)建了新的包裹感知的損失函數(shù)對(duì)該區(qū)域進(jìn)行約束，從而提高網(wǎng)絡(luò)在2π 間斷區(qū)域預(yù)測(cè)的準(zhǔn)確性。

1 系統(tǒng)搭建與數(shù)據(jù)集建立

1.1 條紋投影三維指紋測(cè)量系統(tǒng)

三維指紋測(cè)量主要包含數(shù)據(jù)采集和數(shù)據(jù)訓(xùn)練兩個(gè)部分，數(shù)據(jù)采集部分主要由DLP（Digital Light Processing）投影儀、相機(jī)和計(jì)算機(jī)組成。DLP 投影儀選用的是德州儀器開發(fā)的DLP LightCrafter 4500 投影模塊，相機(jī)采用的是ASI183MM Pro 黑白相機(jī)，相機(jī)的鏡頭配備的是12～36 mm 變焦，型號(hào)為Computar M3Z1228C-MP。

本文搭建的三維指紋測(cè)量系統(tǒng)如圖1所示。條紋投影技術(shù)獲取隨被測(cè)物體形貌變化的條紋圖案，根據(jù)對(duì)應(yīng)的相位信息計(jì)算點(diǎn)云深度信息。在實(shí)際進(jìn)行三維指紋測(cè)量的過程中，對(duì)計(jì)算機(jī)生成的條紋圖像在投影過程中存在Gamma 誤差，本文采用Gamma 校正方法［27］進(jìn)行消除；考慮到采集的指紋條紋圖絕大部分為背景區(qū)域，為降低背景因素的干擾，本文對(duì)采集獲取得到的指紋條紋圖像進(jìn)行感興趣區(qū)域提?。?8］，從而獲取得到指紋有效區(qū)域。

圖1 三維指紋采集平臺(tái)Fig.1 3D fingerprint collection platform

1.2 數(shù)據(jù)集建立

神經(jīng)網(wǎng)絡(luò)算法需要大量的數(shù)據(jù)進(jìn)行網(wǎng)絡(luò)訓(xùn)練和測(cè)試。本文搭建的硬件采集系統(tǒng)采集手指條紋圖像，并采用相移法獲取相位作為真值。目前廣泛使用的相移法有兩步相移［29］、四步相移［30］等。相移的步數(shù)越多，相位提取的精度越高、抗噪聲能力也越強(qiáng)，然而過多的步數(shù)會(huì)導(dǎo)致在一次圖像采集中需要采集的圖像大幅增加，采集時(shí)間變長(zhǎng)，難以保證被測(cè)手指處于靜止?fàn)顟B(tài)。因此，綜合各方面因素，本文采用四歩相移算法計(jì)算相位值作為真值。

相機(jī)拍攝得到的條紋圖像表示為

式中，A(x，y)表示背景光強(qiáng)，B(x，y)為待測(cè)物體表面的反射率，φ(x，y)表示條紋的相位值。四歩相移法拍攝四幅條紋圖像，每幅圖像相差π/2 相位差，因此可以聯(lián)立式（2）四個(gè)相移條紋灰度圖像公式獲取得到真實(shí)的相位值。

聯(lián)立之后再通過反正切函數(shù)，計(jì)算得到相位值為

由于本文針對(duì)三維指紋進(jìn)行研究，測(cè)量得到的條紋圖像類型集中，因而全部采用真實(shí)測(cè)量得到的指紋條紋圖進(jìn)行訓(xùn)練。本文通過四歩相移共采集29 人，每人除去大拇指和小拇指共6 根手指，每根手指各采集3次，共采集得到522 組數(shù)據(jù)。這522 組指紋條紋圖像采集方式為四步相移，即每個(gè)頻率有四個(gè)不同相移圖像，這樣也便可以獲得2 088 組高頻指紋條紋圖與相對(duì)應(yīng)的包裹相位圖，圖像像素大小為480×640，其中2 000 組作為網(wǎng)絡(luò)訓(xùn)練集，剩余88 組作為測(cè)試集進(jìn)行網(wǎng)絡(luò)模型質(zhì)量評(píng)估，圖2是部分采集得到的條紋圖與對(duì)應(yīng)相位圖的展示，其中能觀測(cè)到清晰的指紋信息。

圖2 指紋條紋圖像示例Fig.2 Fringe pattern examples of fingerprints

2 基于卷積網(wǎng)絡(luò)的相位提取

2.1 網(wǎng)絡(luò)模型介紹

針對(duì)三維指紋測(cè)量中的單幅條紋圖相位提取問題，本文的卷積神經(jīng)網(wǎng)絡(luò)框架是基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）搭建的，由編碼器、殘差模塊和解碼器三部分組成，圖3是簡(jiǎn)化后的網(wǎng)絡(luò)結(jié)構(gòu)示意圖，每一層的網(wǎng)絡(luò)具體參數(shù)在表1中給出。

圖3 網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.3 Network structure

表1 神經(jīng)網(wǎng)絡(luò)各層的參數(shù)Table 1 The parameters of each layer of the neural network

在網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)中，首先考慮數(shù)據(jù)輸入的問題。由于手指指紋細(xì)節(jié)具有很細(xì)微的特征，歸一化操作將會(huì)丟失指紋細(xì)節(jié)特征，這是三維指紋采集所不能夠接受的，因此直接以圖像像素值大小為0 到255 范圍進(jìn)行網(wǎng)絡(luò)輸入。編碼器主要由卷積層所組成，卷積層旨在通過卷積操作實(shí)現(xiàn)對(duì)圖像局部細(xì)節(jié)的感知，并在一定程度上降低噪聲的干擾。卷積層中圖像通道數(shù)則取決于卷積濾波器（內(nèi)核）的數(shù)量。一般來說，使用的過濾器越多，網(wǎng)絡(luò)估計(jì)就越準(zhǔn)確。然而，使用更多過濾器也意味著更多的訓(xùn)練時(shí)間，為了平衡網(wǎng)絡(luò)性能和效率，第一層卷積層過濾器的數(shù)量設(shè)置為64，之后兩層卷積層過濾器數(shù)量分別為前一層的兩倍，分別為128 和256。由于指紋條紋圖像絕大部分為背景，因此第一層過濾器的大小設(shè)置為7×7，步長(zhǎng)設(shè)置為1，而之后的兩個(gè)卷積層過濾器大小設(shè)置為3×3，步長(zhǎng)為2。在卷積層之后，本文設(shè)計(jì)加上了九個(gè)殘差塊，每個(gè)殘差塊包含兩個(gè)卷積層。殘差塊的加入加快網(wǎng)絡(luò)訓(xùn)練階段的收斂速度，從而提升網(wǎng)絡(luò)訓(xùn)練效率。在殘差塊之后，采用三個(gè)反卷積用于將多尺度數(shù)據(jù)返回到原始維度。整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)使用Relu 激活函數(shù)，來實(shí)現(xiàn)網(wǎng)絡(luò)線性函數(shù)到非線性函數(shù)的轉(zhuǎn)換，從而加強(qiáng)神經(jīng)網(wǎng)絡(luò)表達(dá)能力。

2.2 損失函數(shù)

損失函數(shù)用于評(píng)估預(yù)測(cè)值與真實(shí)值之間的差異。神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練旨在最小化預(yù)期損失，因而損失函數(shù)的設(shè)置至關(guān)重要?，F(xiàn)有基于神經(jīng)網(wǎng)絡(luò)直接對(duì)相位進(jìn)行提取的算法中，損失函數(shù)往往是真實(shí)值與預(yù)測(cè)值之間的L1 或L2 距離。這是經(jīng)典的神經(jīng)網(wǎng)絡(luò)損失函數(shù)的設(shè)置。然而在包裹相位提取中，由于包裹相位在2π處存在驟變，對(duì)于相位來說，小誤差會(huì)造成該區(qū)域出現(xiàn)較大的損失值，從而造成網(wǎng)絡(luò)優(yōu)化的不確定性，從而在之后的三維重建中產(chǎn)生較大的誤差。為了有效解決指紋包裹相位圖像2π 間斷處預(yù)測(cè)質(zhì)量偏差的問題，本文提出了一種新的混合損失函數(shù)，如式（6）所示。

式中，φreal表示相位真值，即傳統(tǒng)算法四歩相移得出的結(jié)果，φpre表示本文設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)出來的結(jié)果，Mi表示在1.1 節(jié)中提取得到的指紋感興趣區(qū)域掩膜，S表示指紋感興趣區(qū)域面積像素?cái)?shù)量。在網(wǎng)絡(luò)進(jìn)行損失函數(shù)計(jì)算過程中，將提取得到的感興趣區(qū)域分別與真值和預(yù)測(cè)值進(jìn)行點(diǎn)乘的操作去除背景干擾之后計(jì)算損失，從而實(shí)現(xiàn)只是針對(duì)指紋感興趣區(qū)域進(jìn)行損失函數(shù)的計(jì)算?？紤]到Loss2是正弦函數(shù)其值相比于Loss1會(huì)過小而易被網(wǎng)絡(luò)所忽視，因此有必要對(duì)該部分損失加上權(quán)重。同時(shí)經(jīng)分析可得，剛開始網(wǎng)絡(luò)訓(xùn)練注意力應(yīng)主要集中于間斷區(qū)域以外之處，如將權(quán)重設(shè)置過大，會(huì)將網(wǎng)絡(luò)的注意力過度集中于間斷區(qū)域，而忽視指紋細(xì)節(jié)。本文結(jié)合實(shí)驗(yàn)對(duì)比權(quán)重5，10，15，20，最終將Loss2權(quán)重設(shè)置為10。

為了體現(xiàn)Loss2的效果，本文模擬了兩張相差0.01π 的包裹相位圖。圖4（a）為這兩張第200 行的包裹相位值。接著對(duì)這兩張模擬包裹相位圖像分別進(jìn)行式（4）與式（5），即Loss1和Loss2的計(jì)算，為了更加直觀地觀察，本文同樣選取第200 行的結(jié)果進(jìn)行展示，Loss1和Loss2的結(jié)果分別如圖4（b）所示，通過圖像觀察，在應(yīng)用Loss2之后有效降低了包裹相位2π 處因存在驟變而所帶來急劇的誤差影響，從而將網(wǎng)絡(luò)注意力更多的集中于包裹相位的質(zhì)量，提高網(wǎng)絡(luò)對(duì)指紋包裹相位預(yù)測(cè)的精度。

圖4 模擬包裹相位圖Fig.4 Wrapped phase simulation

3 實(shí)驗(yàn)結(jié)果與分析

3.1 相位提取結(jié)果對(duì)比

為驗(yàn)證本文提出的基于神經(jīng)網(wǎng)絡(luò)相位提取方法結(jié)果的可靠性和優(yōu)勢(shì)，本文使用傳統(tǒng)方法包括傅里葉變化（Fourier Transform，F(xiàn)T）［31］和加窗傅里葉變化（Window Fourier Transform，WFT）［32］，神經(jīng)網(wǎng)絡(luò)方法包括HU［26］和FENG［18］神經(jīng)網(wǎng)絡(luò)對(duì)采集獲取得到的指紋數(shù)據(jù)集進(jìn)行相位提取，并對(duì)其結(jié)果與本文提出的方法進(jìn)行比較，其結(jié)果如圖5所示。

圖5 不同相位提取方法結(jié)果及局部效果展示Fig.5 Phase extraction results and corresponding local effect demonstration

在圖5中展示的實(shí)驗(yàn)結(jié)果中，第一行為常規(guī)四歩相移得 到的相位提取結(jié)果，第二行 為傅里葉變化得到的相位提取結(jié)果，第三行為加窗 傅里葉變化相移得到的相位 提取結(jié)果，第四行為應(yīng)用HU 得到的結(jié)果，第五行為應(yīng)用FENG 得到的結(jié)果，第六行則為本文提出的方 法結(jié)果，第二列和第四列分 別為左側(cè)圖像局部細(xì)節(jié)展示。對(duì)比常規(guī)四歩相移結(jié)果，首先可以看出這五種相位提取方法在手指大致結(jié)構(gòu)有著較好的預(yù)測(cè)表現(xiàn)。在指紋特征方面，由于指紋的脊谷紋路跟條紋具有相似性［33-34］，從圖5（b）與5（c）的局部放大圖可以看出，傅里葉變化與加窗傅里葉變化在指紋特征處根據(jù)指紋紋路進(jìn)行相位提取，可以觀察到清晰的纏繞相位變化，這明顯與相移法結(jié)果不同，不利于之后的三維重建。而HU 的方法與FENG 的方法對(duì)比本文的方法，整體觀察與常規(guī)四歩相移算法差距不是很明顯，通過進(jìn)一步分析指紋局部細(xì)節(jié)信息，特別放大2π 間斷處局部特征，可以明顯觀察到本文提出的算法在指紋三維測(cè)量的這些突變區(qū)域的關(guān)鍵指紋細(xì)節(jié)上保留的更加完整，指紋細(xì)節(jié)紋路也是連貫且清晰可見的。因此，通過觀察對(duì)比包括本文在內(nèi)的五種相位提取方法，可以得出本文提出的基于神經(jīng)網(wǎng)絡(luò)相位提取方法有著更加不錯(cuò)的表現(xiàn)。

為進(jìn)一步對(duì)比兩者差距，以常規(guī)四歩相移算法作為真值，用這三種方法分別應(yīng)用平均絕對(duì)誤差（Mean Absolute Error，MAE）進(jìn)行誤差計(jì)算，計(jì)算誤差范圍均為指紋感興趣區(qū)域，即不包含背景區(qū)域。同時(shí)為了規(guī)避單張圖像存在的偶然性，誤差測(cè)試是面向測(cè)試集共88 張手指相位圖然后得出的平均值，結(jié)果如表2所示。指紋包裹相位圖像的像素值范圍為［0，2π］，如表2所示，傅里葉方法誤差為0.394 7，加窗傅里葉變化誤差為0.341 7，應(yīng)用HU 的神經(jīng)網(wǎng)絡(luò)方法誤差為0.165 1，應(yīng)用FENG 的方法誤差則為0.179 2，而本文提出的神經(jīng)網(wǎng)絡(luò)誤差為0.083 9，因此從指標(biāo)上來看也是驗(yàn)證了上述通過觀察得出的結(jié)論，本文提出的神經(jīng)網(wǎng)絡(luò)相位提取方法同樣有著更加好的表現(xiàn)，預(yù)測(cè)結(jié)果更加接近傳統(tǒng)四歩相移算法結(jié)果。

表2 相位提取精度對(duì)比Table 2 Comparison of phase extraction accuracy

本文將圖5中HU、FENG 方法與本文方法獲取的圖像進(jìn)行進(jìn)一步結(jié)果對(duì)比，如圖6選取三種相位提取結(jié)果的200 行與四歩相移第200 行更進(jìn)一步細(xì)節(jié)結(jié)果比對(duì)，三行圖像分別對(duì)應(yīng)本文的算法、HU 和FENG 方法。其中帶‘x’線為四歩相移結(jié)果，帶‘o’線為本文應(yīng)用神經(jīng)網(wǎng)絡(luò)相位提取算法后預(yù)測(cè)得到的結(jié)果，不難觀察到本文提出的算法對(duì)比HU 方法重合度是更高的，由于FENG 方法是預(yù)測(cè)反正切函數(shù)的分子與分母使得其在間斷區(qū)域保持了較高的精度，與本文方法的結(jié)果精度也是相近的。需要注意的是，包裹相位圖像2π 間斷處是神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)的難點(diǎn)，從圖中也可以看出本文算法在該區(qū)域能有較好的表現(xiàn)，這驗(yàn)證了本文應(yīng)用的兩個(gè)損失函數(shù)是可靠的，因此得到包裹相位結(jié)果有著較好的效果表現(xiàn)。

圖6 兩張不同手指相位圖像第200 行精度結(jié)果展示Fig.6 Phase demonstration of the 200th line of two different fingers

3.2 包裹相位間斷處誤差對(duì)比

在損失函數(shù)評(píng)價(jià)中，本文為約束指紋包裹相位圖2π 間斷處誤差設(shè)計(jì)了式（5）的正弦損失函數(shù)，為了評(píng)估包裹相位圖像在間斷處的質(zhì)量本文進(jìn)行了誤差計(jì)算。如圖7（a）首先通過差分方法突出指紋包裹相位圖像間斷處特征，再通過二值化法使得變?yōu)榧兒诤图儼變煞N顏色的圖像如圖7（b）所示，考慮到實(shí)際間斷處范圍會(huì)稍大于由此得到的區(qū)域，因此通過膨脹算法將間斷區(qū)域進(jìn)行擴(kuò)張，得到結(jié)果如圖7（c）所示的包裹相位圖2π 間斷處區(qū)域后，應(yīng)用點(diǎn)乘操作分別得到FT、WFT、HU、FENG 和本文算法在該區(qū)域的誤差進(jìn)行對(duì)比，結(jié)果如表3所示，可以發(fā)現(xiàn)本文網(wǎng)絡(luò)在指紋相位提取方面有著明顯的優(yōu)勢(shì)，證明了本文提出的正弦損失函數(shù)能在一定程度上提升神經(jīng)網(wǎng)絡(luò)在包裹相位2π 間斷處的預(yù)測(cè)誤差。

圖7 包裹相位圖2π 間斷處提取Fig.7 The 2π discontinuity region extraction of wrapped phase map

表3 包裹相位間斷處誤差展示Table 3 Phase errors at the 2π discontinuity region

3.3 圖像相似度實(shí)驗(yàn)

圖像在神經(jīng)網(wǎng)絡(luò)處理過程中都有可能存在失真的問題，因此有必要對(duì)本文算法得到的結(jié)果進(jìn)行相似度評(píng)價(jià)，本文選取了兩種指標(biāo)進(jìn)行客觀評(píng)價(jià)網(wǎng)絡(luò)預(yù)測(cè)的結(jié)果，分別為結(jié)構(gòu)相似度（Structural Similarity Index，SSIM）和直方圖相似度（Histogram similarity），結(jié)構(gòu)相似度是根據(jù)圖像的亮度與對(duì)比度進(jìn)行綜合計(jì)算，而直方圖相似度顧名思義是通過兩張圖像直方圖進(jìn)行相似度對(duì)比，兩種指標(biāo)都是越接近1 就代表越相似，結(jié)果如表4所示，本文算法得到的結(jié)果其結(jié)構(gòu)相似度和直方圖相似度結(jié)果分別為0.980 7 和0.866 1，體現(xiàn)了本文構(gòu)建的神經(jīng)網(wǎng)絡(luò)得到的包裹相位圖像具有較高的質(zhì)量。

表4 圖像相似度結(jié)果展示Table 4 Image similarity results

3.4 不同損失函數(shù)性能比較

在構(gòu)建完神經(jīng)網(wǎng)絡(luò)框架后，本文對(duì)不同損失函數(shù)下的網(wǎng)絡(luò)預(yù)測(cè)結(jié)果進(jìn)行了對(duì)比，包括均方誤差（Mean Squared Error，MSE）、Loss1與Loss。同樣采用整體誤差和2π 間斷區(qū)域誤差進(jìn)行對(duì)比，如表5和表6所示。包裹相位誤差中，使用MSE 誤差為0.157 8，僅使用Loss1誤差為0.084 7，應(yīng)用本文損失函數(shù)，即使用Loss 的綜合誤差為0.083 9。包裹相位2π 間斷區(qū)域，使用MSE 誤差為0.206 1，僅使用Loss1誤差為0.120 9，使用Loss 的誤差為0.104 9。

表5 不同損失下包裹相位誤差Table 5 Phase errors under different losses

表6 不同損失下包裹相位間斷處誤差Table 6 Phase errors at the 2π discontinuity region under different losses

因此可以得出網(wǎng)絡(luò)預(yù)測(cè)結(jié)果在使用L1 距離作為損失函數(shù)計(jì)算會(huì)明顯優(yōu)于使用L2 距離作為損失函數(shù)。如圖8所示，以MSE 為損失函數(shù)可以觀察到在2π 間斷處指紋存在信息丟失的問題。本文應(yīng)用綜合損失不僅能在相位纏繞處提升預(yù)測(cè)精度，也可以在整體上提升網(wǎng)絡(luò)對(duì)包裹相位的預(yù)測(cè)精度。

圖8 不同損失函數(shù)結(jié)果Fig.8 Display of different loss function results

3.5 連續(xù)相位結(jié)果對(duì)比

在上述相位提取的基礎(chǔ)上，本文對(duì)提取得到的包裹相位進(jìn)行解纏，如圖9所示，其中第一行是常規(guī)四步相移法解纏后的絕對(duì)相位，第二行是相對(duì)應(yīng)手指在本文神經(jīng)網(wǎng)絡(luò)相位提取算法后解纏獲取得到的絕對(duì)相位，第三行與第四行為對(duì)應(yīng)的連續(xù)相位圖第200 行進(jìn)行局部細(xì)節(jié)比對(duì)結(jié)果，帶‘x’線為四歩相移結(jié)果，帶‘o’線為本文算法預(yù)測(cè)得到的結(jié)果。從圖（9）可以看出，本文提出的方法在解纏獲取得到絕對(duì)相位仍具備較高的質(zhì)量。

圖9 相位解纏結(jié)果及第200 行相位解纏精度展示Fig.9 Demonstration of phase unwrapping results

不論從整體絕對(duì)相位實(shí)驗(yàn)結(jié)果展示，還是從具體第200 行局部對(duì)比結(jié)果展示，都可以看出本文提出的基于神經(jīng)網(wǎng)絡(luò)相位提取方法所具有較好的效果，與作為真值的常規(guī)四步相移算法差距不大，進(jìn)一步證明了本文提出的基于神經(jīng)網(wǎng)絡(luò)相位提取方法的可靠性。

3.6 三維重建結(jié)果展示

本文對(duì)應(yīng)用常規(guī)四歩相移算法、HU、FENG 與本文算法重建的三維指紋進(jìn)行展示，進(jìn)一步驗(yàn)證本文提出的基于神經(jīng)網(wǎng)絡(luò)的相位提取算法的效果。為了更好地展示效果，指紋點(diǎn)云皆通過Geomagic Studio 12 軟件建模。圖10展示了兩根手指的三維手指結(jié)果，其中第一列是四步相移法得到的三維重建結(jié)果，第二列是對(duì)應(yīng)的手指在HU 方法得到的三維重建結(jié)果，第三列為應(yīng)用FENG 方法得到的三維重建結(jié)果，第四列為應(yīng)用本文方法得到的三維重建結(jié)果，從圖10可以看出，使用本文方法獲取的指紋脈絡(luò)清晰、脊谷分明，特別是在包裹相位2π 間斷區(qū)域有著較好的表現(xiàn)。

圖10 基于Geomatic Studio 12 的三維結(jié)果Fig.10 3D results based on Geomatic Studio 12

4 結(jié)論

針對(duì)非接觸三維指紋測(cè)量，本文對(duì)三維指紋采集系統(tǒng)搭建和應(yīng)用神經(jīng)網(wǎng)絡(luò)進(jìn)行指紋相位提取展開研究。搭建了基于條紋投影技術(shù)的三維指紋采集系統(tǒng)，經(jīng)過Gamma 誤差校正、指紋有效區(qū)域提取，獲取指紋條紋圖像。之后對(duì)采集得到的條紋圖構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)，針對(duì)如今主流的相位提取神經(jīng)網(wǎng)絡(luò)中包裹相位2π間斷處誤差劇增難優(yōu)化問題，構(gòu)建了新的包裹感知的損失函數(shù)對(duì)該區(qū)域進(jìn)行約束，從而提高網(wǎng)絡(luò)在2π 間斷區(qū)域預(yù)測(cè)的準(zhǔn)確性。經(jīng)過實(shí)驗(yàn)與對(duì)比表明，本文所提的方法在三維指紋測(cè)量領(lǐng)域，單幅條紋圖的相位提取方面有著較好的表現(xiàn)。