基于鞋印圖像的性別預(yù)測(cè)方法

張 濤，朱振東，王 慧，劉禹辰，王新年

（1.遼寧師范大學(xué) 物理與電子技術(shù)學(xué)院，遼寧 大連 116029；2.大連海事大學(xué) 信息科學(xué)技術(shù)學(xué)院，遼寧 大連 116026）

0 概述

性別信息可以有效縮小嫌疑人范圍，對(duì)刑事案件的偵破起著至關(guān)重要的作用。性別預(yù)測(cè)方法主要包括基于人臉的性別預(yù)測(cè)、基于步態(tài)的性別預(yù)測(cè)和基于鞋印的性別預(yù)測(cè)。在基于人臉的性別預(yù)測(cè)方法中，通過(guò)多人臉區(qū)域融合［1］、空域與時(shí)域結(jié)合［2］、高斯差分空間提取多尺度局部二值特征［3］，具有較優(yōu)的預(yù)測(cè)效果，但缺點(diǎn)是對(duì)于人臉圖像的質(zhì)量和拍攝角度有一定要求。基于步態(tài)的性別預(yù)測(cè)方法具有隱蔽性強(qiáng)、可遠(yuǎn)距離捕捉的優(yōu)點(diǎn)［4］，在預(yù)測(cè)過(guò)程中無(wú)需被觀察對(duì)象配合，以適用于大流量人群場(chǎng)景或遠(yuǎn)距離場(chǎng)景。其中，步態(tài)主成分圖像［5］、形態(tài)學(xué)運(yùn)算［4］和步態(tài)能量圖像投影模型［6］等方法取得了較優(yōu)的性別預(yù)測(cè)效果。盡管基于人臉或步態(tài)的性別預(yù)測(cè)方法取得了較優(yōu)的預(yù)測(cè)效果，但是在刑事案件中，大多數(shù)嫌疑人是蓄謀作案?，F(xiàn)有預(yù)測(cè)方法難以通過(guò)監(jiān)控系統(tǒng)獲得完整有效的人臉信息和步態(tài)信息，而在案發(fā)現(xiàn)場(chǎng)，鞋印的遺留率卻非常高。因此，基于鞋印的性別預(yù)測(cè)對(duì)于案件偵破有著重要作用。

在刑事偵查過(guò)程中，刑偵人員通過(guò)現(xiàn)場(chǎng)遺留鞋印、腳印或遺留鞋樣進(jìn)行性別預(yù)測(cè)，主要方法有特征分析法和參數(shù)預(yù)測(cè)法。

特征分析法是基于刑偵專家多年積累的案件經(jīng)驗(yàn)根據(jù)特征差異進(jìn)行性別預(yù)測(cè)，特征差異主要包括靜態(tài)特征差異和動(dòng)態(tài)特征差異［7-8］。其中靜態(tài)特征差異是指男性足長(zhǎng)足弓高、鞋較寬大、鞋底花紋較深，而女性足小足弓低、鞋較短小、鞋底花紋細(xì)淺且無(wú)花紋較多，動(dòng)態(tài)特征差異是指男性行走時(shí)偏外落足偏內(nèi)起足或正起足的比例大，步長(zhǎng)大、步角大、步寬窄、重心高，在行走過(guò)程中遺留痕跡較重且不均勻，常出現(xiàn)挖、蹬動(dòng)作痕跡，腳前掌和腳后跟壓力大。女性行走時(shí)正落足正起足的比例遠(yuǎn)高于男性，部分女性會(huì)出現(xiàn)偏內(nèi)落足、偏外起足的現(xiàn)象，步長(zhǎng)較短、步角較小、步寬較寬、重心較低，在行走過(guò)程中遺留痕跡較輕且均勻，不出現(xiàn)挖、蹬動(dòng)作痕跡，腳前掌和腳后跟壓力較輕且程度均勻。雖然男女腳印和鞋印在結(jié)構(gòu)特征和運(yùn)動(dòng)特征上有所區(qū)別，但是根據(jù)這些特征差異準(zhǔn)確地預(yù)測(cè)性別，需要大量的領(lǐng)域知識(shí)和多年的破案經(jīng)驗(yàn)。

參數(shù)預(yù)測(cè)法是根據(jù)現(xiàn)場(chǎng)測(cè)量的鞋印或腳印的長(zhǎng)、寬等相關(guān)參數(shù)進(jìn)行回歸預(yù)測(cè)。文獻(xiàn)［9］使用Logistic 回歸分析對(duì)足部測(cè)量數(shù)據(jù)（足長(zhǎng)、足寬）進(jìn)行性別預(yù)測(cè)，右足判斷準(zhǔn)確率為95.6%，左足判斷準(zhǔn)確率為96.4%。文獻(xiàn)［10］對(duì)足部測(cè)量數(shù)據(jù)和鞋測(cè)量數(shù)據(jù)（鞋長(zhǎng)、鞋寬）進(jìn)行回歸分析，發(fā)現(xiàn)足長(zhǎng)鞋長(zhǎng)比足寬鞋寬對(duì)于性別預(yù)測(cè)更有幫助。文獻(xiàn)［11］利用由鞋測(cè)量數(shù)據(jù)（鞋長(zhǎng)、鞋寬）、鞋碼和足長(zhǎng)組成的四變量模型進(jìn)行性別預(yù)測(cè)，準(zhǔn)確率為96%。文獻(xiàn)［12］提出根據(jù)腳印測(cè)量數(shù)據(jù)進(jìn)行性別預(yù)測(cè)，從腳印提取7 個(gè)維度的特征，包括每個(gè)腳趾前點(diǎn)到后跟中點(diǎn)長(zhǎng)度、腳底寬度和腳跟寬度，使用判別函數(shù)分析，性別預(yù)測(cè)準(zhǔn)確率為69.8%～80.3%。文獻(xiàn)［13］將足部和腳印測(cè)量數(shù)據(jù)作為特征，交叉驗(yàn)證的性別預(yù)測(cè)準(zhǔn)確率為71%～91%，為西澳大利亞人群的性別預(yù)測(cè)提供了可行方案。文獻(xiàn)［14］提出足部指數(shù)結(jié)合足長(zhǎng)、足寬進(jìn)行性別預(yù)測(cè)的方法，使用多元回歸模型取得了84%的性別預(yù)測(cè)準(zhǔn)確率。文獻(xiàn)［15］使用分類和回歸樹(shù)（Classification And Regression Tree，CART）算法對(duì)足部測(cè)量數(shù)據(jù)和手部測(cè)量數(shù)據(jù)進(jìn)行性別預(yù)測(cè)，最優(yōu)模型的性別預(yù)測(cè)準(zhǔn)確率為95.83%。文獻(xiàn)［16］在提取鞋長(zhǎng)、鞋寬和鞋碼特征的基礎(chǔ)上引入步長(zhǎng)特征，使用多元線性回歸算法得到的性別預(yù)測(cè)準(zhǔn)確率為93.5%。上述方法不僅需要人工提取特征、依賴領(lǐng)域知識(shí)，而且在參數(shù)測(cè)量時(shí)可能產(chǎn)生誤差，影響預(yù)測(cè)結(jié)果。文獻(xiàn)［17］將深度學(xué)習(xí)方法引入到足跡分析領(lǐng)域中，使用AlexNet 卷積神經(jīng)網(wǎng)絡(luò)對(duì)赤足圖像的性別進(jìn)行預(yù)測(cè)，準(zhǔn)確率為92.2%，但僅對(duì)赤足圖像進(jìn)行簡(jiǎn)單預(yù)處理，存在樣本比例不均衡、預(yù)測(cè)準(zhǔn)確率較低的問(wèn)題。

本文提出一種基于注意力機(jī)制的性別預(yù)測(cè)方法，實(shí)現(xiàn)對(duì)鞋印圖像特征的自動(dòng)提取。構(gòu)建基于注意力機(jī)制和卷積神經(jīng)網(wǎng)絡(luò)的性別預(yù)測(cè)網(wǎng)絡(luò)，主要包括特征提取模塊、通道注意力模塊和性別預(yù)測(cè)模塊。根據(jù)男性與女性之間的特征差異，采用合成鞋印步態(tài)能量圖表達(dá)被采集者的運(yùn)動(dòng)特征，通過(guò)旋轉(zhuǎn)、翻轉(zhuǎn)、隨機(jī)遮擋和隨機(jī)彈性形變的方式對(duì)鞋印圖像數(shù)據(jù)集進(jìn)行增廣，提高模型預(yù)測(cè)準(zhǔn)確率和泛化能力。

1 數(shù)據(jù)集與預(yù)處理

目前尚沒(méi)有公開(kāi)的用于人身屬性預(yù)估的鞋印圖像數(shù)據(jù)集，為了驗(yàn)證所提算法的有效性，本文分別構(gòu)建單枚鞋印圖像數(shù)據(jù)集（SiSIS）和序列鞋印圖像數(shù)據(jù)集（SeSIS）。

SiSIS 共包含5 652 幅單枚鞋印圖像。在采集鞋印時(shí)，男志愿者1 157 人，女志愿者256 人。為保證鞋印花紋的隨機(jī)性和數(shù)據(jù)集的豐富性，每位志愿者各穿自己具有兩種花紋的鞋，每種花紋左右腳各踩一枚鞋印，男性和女性鞋印圖像分別為4 628 幅和1 024 幅。

SeSIS 共包含686 幅序列鞋印圖像。男志愿者28 人，提供序列鞋印圖像484 幅，女志愿者10 人，提供序列鞋印圖像202 幅。為避免因花紋不同所產(chǎn)生特異性對(duì)實(shí)驗(yàn)造成的影響，所有志愿者均穿統(tǒng)一提供的新鞋，每人至少穿8 類花紋鞋進(jìn)行鞋印采集。

1.1 鞋印步態(tài)能量圖

受承痕體材質(zhì)、隨機(jī)干擾等因素的影響，在人走路時(shí)的每幅鞋印都存在差異。為提取穩(wěn)定的特征，本文采用加權(quán)平均的方法合成鞋印步態(tài)能量圖［18］（Tread Energy Map，TEM）。以左右腳為依據(jù)劃分左右步態(tài)能量圖，左步態(tài)能量圖（LTEM）和右步態(tài)能量圖（RTEM）的計(jì)算如式（1）和式（2）所示：

其中：T表示參與運(yùn)算的行走周期數(shù)；t表示行走周期；TL（x，y，t）表示標(biāo)準(zhǔn)化后的第t個(gè)行走周期內(nèi)的左鞋印圖像，標(biāo)準(zhǔn)化是指對(duì)從鞋印序列中截取包含單枚鞋印的矩形區(qū)域進(jìn)行補(bǔ)零，將單枚鞋印圖像標(biāo)準(zhǔn)化到相同大??；w（TL（x，y，t））表示其對(duì)應(yīng)的權(quán)重系數(shù)；TR（x，y，t）表示標(biāo)準(zhǔn)化后的第t個(gè)行走周期內(nèi)的右鞋印圖像；w（TR（x，y，t））表示其對(duì)應(yīng)的權(quán)重系數(shù)。

為降低鞋印殘缺和外來(lái)噪聲對(duì)能量圖的影響，本文在計(jì)算過(guò)程中對(duì)權(quán)重系數(shù)做出限制：若鞋印圖像中的一點(diǎn)在t時(shí)刻的灰度值極小或極大，則該時(shí)刻的灰度值不參與計(jì)算。以w（TR（x，y，t））為例給出權(quán)重系數(shù)的定義，如式（3）和式（4）所示：

其中：thR（α，x，y）和thH（α，x，y）分別表示對(duì)［TR（x，y，t），t=1，2，…，T］進(jìn)行升序排列，取排在第α位和第T-α位對(duì)應(yīng)的值。w（TL（x，y，t））采用相同的方法計(jì)算。圖1 所示為不同人穿兩種相同鞋底花紋鞋行走得到的左右步態(tài)能量圖（為便于觀看，對(duì)鞋印圖像進(jìn)行了反向），對(duì)比被采集者A 和被采集者B 的步態(tài)能量圖。從圖1 可以看出：不同人行走得到的步態(tài)能量圖有所差異，而同一人穿不同鞋底花紋鞋行走得到的能量圖相對(duì)穩(wěn)定，明顯區(qū)別于其他人。

圖1 不同被采集者的左右步態(tài)能量圖Fig.1 Left and right tread energy maps among different gatherers

1.2 數(shù)據(jù)增廣

由于采集的鞋印圖像較少，因此為了避免網(wǎng)絡(luò)過(guò)擬合，同時(shí)提升模型的泛化能力，本文根據(jù)案發(fā)現(xiàn)場(chǎng)鞋印可能出現(xiàn)的情形設(shè)計(jì)3 種數(shù)據(jù)增廣方式。

1.2.1 鞋印方向差異

本文主要模擬因行走方向和習(xí)慣差異造成的鞋印差別。設(shè)輸入圖像為I，對(duì)其進(jìn)行方向差異增廣的操作包括以下2 個(gè)：

1）對(duì)圖像I旋轉(zhuǎn)180°得到圖像Ir，相當(dāng)于案發(fā)現(xiàn)場(chǎng)遺留的同側(cè)腳從相反方向行走得到鞋印圖像，如式（5）所示：

2）對(duì)圖像I和圖像Ir進(jìn)行180°水平翻轉(zhuǎn)，得到翻轉(zhuǎn)后的圖像If和Irf，相當(dāng)于案發(fā)現(xiàn)場(chǎng)遺留的異側(cè)腳從相同方向行走得到的鞋印圖像，如式（6）和式（7）所示：

經(jīng)以上操作，鞋印圖像數(shù)量擴(kuò)增為原圖像數(shù)量的4 倍，原圖像與旋轉(zhuǎn)、翻轉(zhuǎn)后的圖像如圖2 所示。

圖2 原圖像與旋轉(zhuǎn)、翻轉(zhuǎn)增廣后的圖像Fig.2 The original image and the augmented images after rotation and flip

1.2.2 鞋印殘缺

本文主要模擬因承痕體和外界因素造成的鞋印殘缺。設(shè)輸入圖像I、Ir、If和Irf，對(duì)其進(jìn)行模擬殘缺增廣的操作包括：使用固定圖形進(jìn)行隨機(jī)遮擋，即在鞋印圖像中隨機(jī)生成10 個(gè)大小為400×20 像素且像素值為0 的矩形塊，再將鞋印劃分為3 部分，分別在每部分中隨機(jī)生成10 個(gè)大小為50×50 像素且像素值為0 的矩形塊和10 個(gè)半徑為30 像素且像素值為0 的圓形，生成遮擋后的鞋印圖像Ie、Ire、Ife和Irfe，相當(dāng)于案發(fā)現(xiàn)場(chǎng)因承痕體不均勻、外力破壞和現(xiàn)場(chǎng)保護(hù)不到位等原因?qū)е滦D像殘缺破損。使用固定圖形隨機(jī)遮擋后，圖像數(shù)量擴(kuò)大為原圖像的8 倍，隨機(jī)遮擋后的圖像如圖3 所示。

圖3 隨機(jī)遮擋后的圖像Fig.3 Images after random occlusions

1.2.3 承痕體材質(zhì)與非均勻性對(duì)鞋印圖像的影響

本文主要模擬因泥地、雪地等承痕體形變?cè)斐傻男〔町?。設(shè)輸入圖像I、Ir、If和Irf，對(duì)其進(jìn)行承痕體形變?cè)鰪V的操作包括：將圖像分割為M×N個(gè)相同區(qū)域，每個(gè)區(qū)域大小為20×20 像素，隨機(jī)生成Δx和Δy2 個(gè)平移矩陣；根據(jù)平移矩陣對(duì)各區(qū)域進(jìn)行平移變換，得到隨機(jī)彈性形變的鞋印圖像，計(jì)算過(guò)程如式（8）～式（10）所示：

其中：rand（M，N）表示生成大小為M×N元素值在［-1，1］之間的隨機(jī)均勻分布的矩陣；Xmax和Ymax分別表示x和y方向的最大位移量；（i，j）表示點(diǎn)（x，y）所在區(qū)域?qū)?yīng)的塊編號(hào)；Δx（i，j）表示點(diǎn)（x，y）所在區(qū)域?qū)?yīng)的x方向隨機(jī)位移量；Δy（i，j）表示點(diǎn)（x，y）所在區(qū)域?qū)?yīng)的y方向隨機(jī)位移量；f（x，y）表示輸入圖像I、Ir、If和Irf；g（x，y）表示隨機(jī)彈性形變后的鞋印圖像Id、Ird、Ifd和Irfd。本文模擬承痕體形變后，鞋印圖像數(shù)量擴(kuò)大為原圖像的16倍，其中部分示例如圖4 所示。

圖4 隨機(jī)彈性形變后的圖像Fig.4 Images after random elastic distortions

本文分別對(duì)圖像進(jìn)行旋轉(zhuǎn)、翻轉(zhuǎn)操作，模擬了同側(cè)腳從相反方向行走的遺留鞋印和異側(cè)腳從相同方向行走的遺留鞋印，使用固定圖形對(duì)鞋印圖像進(jìn)行隨機(jī)遮擋，模擬了在案發(fā)現(xiàn)場(chǎng)中鞋印被部分破壞的情況，對(duì)鞋印圖像進(jìn)行隨機(jī)彈性形變，模擬了承痕體材質(zhì)與非均勻性對(duì)鞋印圖像的影響。本文在訓(xùn)練集中加入這部分?jǐn)?shù)據(jù)，提升了模型的魯棒性并擴(kuò)大了實(shí)踐中的適用性。

2 本文方法

本文提出的網(wǎng)絡(luò)由特征提取模塊、通道注意力模塊和性別預(yù)測(cè)模塊組成。本文網(wǎng)絡(luò)的參數(shù)設(shè)置如表1 所示。

表1 本文網(wǎng)絡(luò)參數(shù)設(shè)置Table 1 Parameter settings of the proposed network

本文網(wǎng)絡(luò)結(jié)構(gòu)如圖5 所示，首先，通過(guò)特征提取模塊得到鞋印特征圖，然后，利用通道注意力模塊重新分配每個(gè)特征圖的特征權(quán)重，最后，使用性別預(yù)測(cè)模塊得到性別預(yù)測(cè)結(jié)果。

圖5 本文網(wǎng)絡(luò)結(jié)構(gòu)Fig.5 Structure of the proposed network

2.1 特征提取模塊

鞋印圖像具有種類豐富、花紋復(fù)雜、存在磨損和殘缺等特點(diǎn)，其主要通過(guò)形象特征和步法特征進(jìn)行描述。形象特征主要包括鞋印尺寸、種類和花紋等；步法特征包括在多周期行走過(guò)程中的運(yùn)動(dòng)特征，如步幅、步寬、步角等。傳統(tǒng)的特征提取方法主要是針對(duì)鞋印尺寸提出的，采用鞋長(zhǎng)、鞋寬等長(zhǎng)度特征作為鞋印圖像的量化特征，僅表達(dá)了靜態(tài)特征差異，無(wú)法表達(dá)因行走習(xí)慣不同而造成的動(dòng)態(tài)特征差異。卷積神經(jīng)網(wǎng)絡(luò)模擬人類視覺(jué)神經(jīng)細(xì)胞的感受野，以提取鞋印圖像的局部和細(xì)節(jié)信息，通過(guò)增大感受野進(jìn)一步提取更復(fù)雜、更抽象的信息，最終得到鞋印圖像在不同尺度的抽象表達(dá)。

本文選用Inception V3［19］作為基礎(chǔ)框架來(lái)提取特征，其原因在于：1）方便訓(xùn)練，采用批量標(biāo)準(zhǔn)化（Batch Normalization，BN）正則化方法，解決過(guò)擬合與梯度消失問(wèn)題；2）提取豐富的特征，使用3 個(gè)不同結(jié)構(gòu)的初始模塊，利用不同大小卷積核組成的模塊提取不同尺度的圖像特征，同時(shí)將所有提取的特征進(jìn)行拼接和合并，以挖掘鞋印圖像中更深層的信息，從而提取鞋印圖像的多尺度特征；3）計(jì)算量低且表達(dá)能力更強(qiáng)，將較大的二維卷積拆成2 個(gè)較小的一維卷積，在增加特征表達(dá)能力的同時(shí)減少了模型的計(jì)算量，例如，使用2 個(gè)3×3 卷積串聯(lián)代替1 個(gè)5×5 卷積來(lái)提取鞋印圖像特征，在第1 個(gè)卷積層后添加Relu 激活函數(shù)，有效改善了線性性能，在卷積層后加入卷積填充層使模塊大小加倍，2 個(gè)卷積串聯(lián)后的感受野不變，表達(dá)能力卻優(yōu)于單個(gè)卷積，與單獨(dú)使用5×5的卷積相比，減少了28%的參數(shù)量。

2.2 通道注意力模塊

注意力機(jī)制被廣泛應(yīng)用在計(jì)算機(jī)視覺(jué)領(lǐng)域，如圖像分類［20-21］、語(yǔ)義生成［22］、圖像著色［23］等，其主要目的是學(xué)習(xí)人類觀察物體的行為方式。當(dāng)人類觀察物體時(shí)會(huì)有選擇地重點(diǎn)觀察物體的顯著部分，從而對(duì)物體進(jìn)行識(shí)別和分析，得到更準(zhǔn)確的視覺(jué)信息。通道注意力模塊［24］通過(guò)對(duì)每個(gè)特征的權(quán)重進(jìn)行重新分配，結(jié)合特征圖間的關(guān)系，建立特征通道間的相互依賴關(guān)系，在一定程度上還原了人類對(duì)物體的觀察過(guò)程，使算法更加高效。

在處理鞋印圖像時(shí)，通道注意力模塊根據(jù)每個(gè)特征圖對(duì)應(yīng)特征通道的重要程度來(lái)改變特征的權(quán)重，實(shí)現(xiàn)了根據(jù)全局信息進(jìn)行特征通道的增強(qiáng)或抑制，達(dá)到了特征通道自適應(yīng)校準(zhǔn)的效果，相當(dāng)于重點(diǎn)觀察鞋印圖像中對(duì)性別起顯著作用的部分，適當(dāng)忽視非重點(diǎn)部分。同時(shí)，該模塊在不同深度網(wǎng)絡(luò)中發(fā)揮的作用是不同的。當(dāng)把該模塊添加到較淺層網(wǎng)絡(luò)時(shí)，不同類間共享特征通道的權(quán)重，它所激發(fā)的特征與類別無(wú)關(guān)；當(dāng)把該模塊添加到較深層網(wǎng)絡(luò)時(shí)，特征則表現(xiàn)出更高的特異性。因此，在本文的性別預(yù)測(cè)任務(wù)中，通道注意力模塊放置在網(wǎng)絡(luò)末端，此時(shí)，點(diǎn)積大小和輸入類別呈強(qiáng)相關(guān)關(guān)系，進(jìn)一步增強(qiáng)了分類效果。

通道注意力模塊的結(jié)構(gòu)如圖6 所示，主要包括壓縮、激勵(lì)和點(diǎn)積3 個(gè)重要操作。本文輸入大小為H×W×C的特征圖，首先，經(jīng)過(guò)全局平均池化層（Global Average Pooling，GAP）進(jìn)行特征壓縮，輸出大小為1×1×C的向量；然后，經(jīng)過(guò)2 層全連接層和相應(yīng)的激活函數(shù)進(jìn)行特征激勵(lì)，生成每個(gè)通道的權(quán)重；最后，輸入特征圖中的每個(gè)通道分別乘以對(duì)應(yīng)通道的權(quán)重值，通過(guò)點(diǎn)積操作，輸出特征圖中的不同通道被賦予不同的權(quán)重，用于表示該通道對(duì)性別預(yù)測(cè)的重要性。

圖6 通道注意力模塊結(jié)構(gòu)Fig.6 Structure of channel attention module

2.3 性別預(yù)測(cè)模塊

該模塊由全局平均池化層、全連接層和激活函數(shù)組成。通道注意力模塊最終輸出經(jīng)全局平均池化層整合的全局空間信息，同時(shí)避免了過(guò)擬合現(xiàn)象的發(fā)生，由激活函數(shù)Softmax 對(duì)鞋印圖像進(jìn)行性別預(yù)測(cè)。性別預(yù)測(cè)是二分類問(wèn)題，使用二分類交叉熵?fù)p失函數(shù)，如式（11）所示：

其中：n表示樣本個(gè)數(shù)；yi∈｛0，1｝表示樣本i的標(biāo)簽；yi=1 表示樣本i為男性鞋印；Pi∈［0，1］表示樣本i預(yù)測(cè)為男性的概率。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)方法與評(píng)價(jià)標(biāo)準(zhǔn)

針對(duì)案發(fā)現(xiàn)場(chǎng)遺留鞋印的不同情況，本文分別構(gòu)建了適用于現(xiàn)場(chǎng)遺留單枚鞋印場(chǎng)景的SiSIS 數(shù)據(jù)集和適用于遺留多枚鞋印場(chǎng)景的SeSIS 數(shù)據(jù)集。

SiSIS 數(shù)據(jù)集具有被采集者多、圖像數(shù)量大且鞋印花紋種類豐富的特點(diǎn)，缺點(diǎn)是單枚鞋印圖像不能穩(wěn)定表達(dá)不同性別個(gè)體的特征。本文采用隨機(jī)劃分的方式設(shè)置實(shí)驗(yàn)數(shù)據(jù)，驗(yàn)證所提方法在SiSIS 數(shù)據(jù)集上的性別預(yù)測(cè)能力。

SeSIS 數(shù)據(jù)集的男女占比更加均衡，采集的多周期內(nèi)鞋印可以穩(wěn)定表達(dá)不同性別個(gè)體的特征。根據(jù)該數(shù)據(jù)集的特點(diǎn)，本文共設(shè)置3 組對(duì)照實(shí)驗(yàn)，分別為不同花紋對(duì)照組、不同個(gè)體對(duì)照組和隨機(jī)劃分對(duì)照組。

1）不同花紋對(duì)照組，由于被采集者均穿統(tǒng)一提供的新鞋，因此本文采集不同個(gè)體的鞋印圖像具有相同的花紋。為了避免花紋特異性對(duì)實(shí)驗(yàn)結(jié)果產(chǎn)生影響，在該對(duì)照組的數(shù)據(jù)集劃分中，確保訓(xùn)練集和測(cè)試集不出現(xiàn)相同花紋的鞋印，以驗(yàn)證訓(xùn)練出的模型對(duì)陌生花紋鞋印圖像的性別預(yù)測(cè)能力。

2）不同個(gè)體對(duì)照組，由于人的行走過(guò)程是通過(guò)全身多器官和骨骼協(xié)調(diào)配合完成的，因此不同個(gè)體間的落腳形態(tài)存在一定差異。為了避免個(gè)體落腳形態(tài)對(duì)實(shí)驗(yàn)結(jié)果產(chǎn)生影響，在該對(duì)照組的數(shù)據(jù)集劃分中，確保訓(xùn)練集和測(cè)試集中不出現(xiàn)同一個(gè)體的鞋印，以驗(yàn)證訓(xùn)練出的模型對(duì)陌生個(gè)體鞋印圖像的性別預(yù)測(cè)能力。

3）隨機(jī)劃分對(duì)照組，在現(xiàn)實(shí)生活中，不同個(gè)體有可能穿相同花紋的鞋出現(xiàn)在案發(fā)現(xiàn)場(chǎng)，同一個(gè)體也有可能穿不同花紋的鞋出現(xiàn)在案發(fā)現(xiàn)場(chǎng)。為了盡可能模擬現(xiàn)實(shí)生活中的情況，在該對(duì)照組的數(shù)據(jù)集劃分中，訓(xùn)練集和測(cè)試集均為隨機(jī)劃分，以驗(yàn)證訓(xùn)練出的模型對(duì)隨機(jī)鞋印圖像的性別預(yù)測(cè)能力。

在性別預(yù)測(cè)問(wèn)題中，準(zhǔn)確率（Accuracy）是評(píng)價(jià)模型性能的主要指標(biāo)。準(zhǔn)確率的計(jì)算如式（12）所示：

其中：TTP表示預(yù)測(cè)為男性的男性鞋印數(shù)目；TTN表示預(yù)測(cè)為女性的女性鞋印數(shù)目；FFP表示預(yù)測(cè)為男性的女性鞋印數(shù)目；FFN表示預(yù)測(cè)為女性的男性鞋印數(shù)目。

3.2 實(shí)驗(yàn)環(huán)境與參數(shù)設(shè)置

在Keras 庫(kù)中，本文調(diào)用基于ImageNet 數(shù)據(jù)集預(yù)先訓(xùn)練的Inception V3 模型，去掉全連接層，加入通道注意力模塊，輸出層節(jié)點(diǎn)數(shù)為2，使用Softmax激活函數(shù)。輸入圖像大小為256×256×3，采用Adam優(yōu)化器［25］，初始學(xué)習(xí)率設(shè)置為0.000 2，Batch Size 設(shè)置為16，迭代次數(shù)為100。使用ReduceLROnPlateau函數(shù)自適應(yīng)調(diào)整學(xué)習(xí)率，使用ModelCheckpoint 函數(shù)對(duì)訓(xùn)練過(guò)程進(jìn)行監(jiān)測(cè)并自動(dòng)保存最優(yōu)模型，使用TensorBoard 函數(shù)記錄模型的訓(xùn)練過(guò)程及相關(guān)參數(shù)。

3.3 對(duì)比實(shí)驗(yàn)

為驗(yàn)證本文所提方法的有效性，與文獻(xiàn)［9-11，15-17］所提的方法進(jìn)行對(duì)比實(shí)驗(yàn)。文獻(xiàn)［9］采用足長(zhǎng)、足寬特征作為參數(shù)結(jié)合邏輯回歸進(jìn)行性別預(yù)測(cè)；文獻(xiàn)［10］采用鞋長(zhǎng)、鞋寬特征結(jié)合邏輯回歸對(duì)性別、身高和年齡進(jìn)行預(yù)測(cè)，并分析了各特征與性別的相關(guān)性；文獻(xiàn)［11］提取由足長(zhǎng)、足寬、腳印長(zhǎng)、腳印寬、鞋長(zhǎng)、鞋寬和鞋跟長(zhǎng)、鞋跟寬等多個(gè)特征組成多變量模型，使用判別函數(shù)進(jìn)行性別預(yù)測(cè)，并分析得出對(duì)于性別預(yù)測(cè)最有效的多變量模型由足長(zhǎng)、鞋長(zhǎng)、鞋寬和鞋號(hào)4 個(gè)變量組成的結(jié)論；文獻(xiàn)［15］提取足長(zhǎng)、足寬作為特征，采用分類和回歸樹(shù)算法進(jìn)行性別預(yù)測(cè)；文獻(xiàn)［16］基于鞋長(zhǎng)、鞋寬、鞋碼和步長(zhǎng)特征，使用多元線性回歸進(jìn)行性別預(yù)測(cè)；文獻(xiàn)［17］使用AlexNet 卷積神經(jīng)網(wǎng)絡(luò)對(duì)赤足圖像進(jìn)行性別預(yù)測(cè)。在SiSIS 數(shù)據(jù)集和SeSIS 數(shù)據(jù)集上采用以上文獻(xiàn)的特征提取和預(yù)測(cè)方法進(jìn)行性別預(yù)測(cè)，實(shí)驗(yàn)結(jié)果如表2 所示。

從表2 可以看出，文獻(xiàn)［9-11］提出的方法結(jié)合傳統(tǒng)鞋印長(zhǎng)寬特征，能有效解決性別預(yù)測(cè)問(wèn)題，在不同對(duì)照組上的性能指標(biāo)均值低、標(biāo)準(zhǔn)差較大，雖然文獻(xiàn)［11］在鞋長(zhǎng)、鞋寬特征的基礎(chǔ)上加入了鞋碼特征，有效提升了性別預(yù)測(cè)的準(zhǔn)確率，但性能指標(biāo)均值仍較低。文獻(xiàn)［15］方法相比于文獻(xiàn)［9-11］方法在不同對(duì)照組上的性能指標(biāo)均值有小幅提升，標(biāo)準(zhǔn)差明顯降低，但在SiSIS 數(shù)據(jù)集上性能指標(biāo)明顯下降，魯棒性較差。文獻(xiàn)［16］方法在SeSIS 數(shù)據(jù)集上的性能指標(biāo)明顯優(yōu)于前文所述的方法，但是在數(shù)據(jù)量更大、男女鞋碼大量交叉的SiSIS 數(shù)據(jù)集上的性能指標(biāo)無(wú)明顯優(yōu)勢(shì)，說(shuō)明該方法的泛化能力較差。文獻(xiàn)［17］所提方法在基于鞋印圖像的性別預(yù)測(cè)中準(zhǔn)確率雖然高于前文所述的方法，但性能指標(biāo)均值低于本文方法且標(biāo)準(zhǔn)差較大，尤其是在SiSIS 數(shù)據(jù)集上的性能指標(biāo)與本文方法相差較大。本文方法在SiSIS數(shù)據(jù)集上的準(zhǔn)確率為91.80%，在SeSIS 數(shù)據(jù)集上的不同花紋、不同個(gè)體和隨機(jī)劃分對(duì)照組上，本文方法分別取得了97.86%、99.35%和99.26%的性別預(yù)測(cè)準(zhǔn)確率，性能指標(biāo)均值遠(yuǎn)高于上述文獻(xiàn)提出的方法，且性能指標(biāo)標(biāo)準(zhǔn)差最小，模型泛化能力和抗干擾能力均較優(yōu)。

表2 不同方法的性別預(yù)測(cè)準(zhǔn)確率對(duì)比Table 2 Gender prediction accuracy comparison among different methods %

3.4 消融實(shí)驗(yàn)

為驗(yàn)證本文所提融合通道注意力模塊的有效性，本文對(duì)VGG16 網(wǎng)絡(luò)［26］、未融合通道注意力模塊的特征提取網(wǎng)絡(luò)、VGG16 融合通道注意力模塊后的網(wǎng)絡(luò)和本文方法Inception V3+通道注意力進(jìn)行消融實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表3 所示。

表3 消融實(shí)驗(yàn)結(jié)果Table 3 Ablation experimental results %

從表3 可以看出：1）Inception V3 的指標(biāo)明顯優(yōu)于VGG16 的各項(xiàng)指標(biāo)；2）融合通道注意力模塊的性能優(yōu)于沒(méi)有融合通道注意力模塊的性能，如VGG16+通道注意力和Inception V3+通道注意力的各項(xiàng)指標(biāo)明顯高于Inception V3 和VGG16；3）本文方法受花紋或個(gè)體因素的影響較小，如在SeSIS 數(shù)據(jù)集上，本文方法在不同對(duì)照組上的性能指標(biāo)均值明顯高于其他方法，且性能指標(biāo)標(biāo)準(zhǔn)差較小。但融合通道注意力模塊后，本文方法在不同花紋對(duì)照組上，相比Inception V3 的準(zhǔn)確率下降了0.61 個(gè)百分點(diǎn)，其原因?yàn)橥ǖ雷⒁饬δK起作用的前提是花紋種類足夠多，而SeSIS 數(shù)據(jù)集只包含8 類花紋，沒(méi)有達(dá)到通道注意力模塊起作用所需要的花紋數(shù)目。為了驗(yàn)證此結(jié)論，本文分別在SeSIS 數(shù)據(jù)集和SiSIS 數(shù)據(jù)集上采用不同花紋類別的鞋印進(jìn)行模型訓(xùn)練，結(jié)果如表4和表5 所示。SeSIS 數(shù)據(jù)集包含8 類花紋新鞋，分別設(shè)置3 類、4 類、5 類和6 類花紋作為訓(xùn)練樣本，其余5 類、4 類、3 類和2 類樣本作為測(cè)試樣本。SiSIS 數(shù)據(jù)集包含近2 800 類花紋的鞋印，分別以1 000 類、1 400 類、1 800 類 和2 200 類花紋作為訓(xùn)練樣本，其余類別作為測(cè)試樣本。

表4 在SeSIS 數(shù)據(jù)集上鞋印花紋種類數(shù)目對(duì)不同方法性能的影響Table 4 Influence of the number of types of shoeprint patterns on performance of different methods on SeSIS dataset %

表5 在SiSIS 數(shù)據(jù)集上鞋印花紋種類數(shù)目對(duì)不同方法性能的影響Table 5 Influence of the number of types of shoeprint patterns on performance of different methods on SiSIS dataset %

從表4 可以看出，VGG16+通道注意力和Inception V3+通道注意力的準(zhǔn)確率下降幅度隨著花紋種類數(shù)的增加而逐漸減小。參與訓(xùn)練的鞋印花紋數(shù)越多，本文方法的性能越顯著，但SeSIS 數(shù)據(jù)集的花紋種類只有8 類，因此，未明顯體現(xiàn)出本文方法的優(yōu)勢(shì)。從表5可以看出，當(dāng)參與訓(xùn)練花紋種類數(shù)為1 000類時(shí)，VGG16+通道注意力的準(zhǔn)確率略低于VGG16，Inception V3+通道注意力的準(zhǔn)確率略低于Inception V3；當(dāng)花紋種類數(shù)達(dá)到1 400 類時(shí)，VGG16+通道注意力和Inception V3+通道注意力的性能優(yōu)于未融合通道注意力模塊的性能。隨著花紋種類數(shù)的增加，本文融合通道注意力模塊的性能優(yōu)勢(shì)愈加凸顯。綜合表4 和表5 的實(shí)驗(yàn)結(jié)果表明，本文所提的通道注意力模塊在參與訓(xùn)練的鞋印花紋數(shù)超過(guò)一定數(shù)目時(shí)，效果要優(yōu)于未融合通道注意力的方法。

為驗(yàn)證對(duì)SiSIS 和SeSIS 數(shù)據(jù)集進(jìn)行數(shù)據(jù)增廣的有效性，本文對(duì)原數(shù)據(jù)和增廣后的數(shù)據(jù)進(jìn)行消融實(shí)驗(yàn)，結(jié)果如表6 所示。

表6 數(shù)據(jù)增廣對(duì)性別預(yù)測(cè)準(zhǔn)確率的影響Table 6 Influence of data augmentation on gender prediction accuracy %

從表6 可以看出，對(duì)鞋印數(shù)據(jù)集進(jìn)行數(shù)據(jù)增廣可以有效提高性別預(yù)測(cè)準(zhǔn)確率。在SiSIS 和SeSIS（不同個(gè)體）數(shù)據(jù)集上，經(jīng)數(shù)據(jù)增廣操作后本文方法的預(yù)測(cè)準(zhǔn)確率分別提升了1.49 和1.30 個(gè)百分點(diǎn)，其他方法的預(yù)測(cè)準(zhǔn)確率也均有不同程度的提升。

4 結(jié)束語(yǔ)

本文提出一種基于鞋印的端到端性別預(yù)測(cè)方法，同時(shí)構(gòu)建符合案發(fā)現(xiàn)場(chǎng)實(shí)際情況的單枚和序列鞋印圖像數(shù)據(jù)集。采用卷積神經(jīng)網(wǎng)絡(luò)提取鞋印圖像特征，根據(jù)每個(gè)特征圖對(duì)應(yīng)特征通道的重要程度，通過(guò)通道注意力模塊對(duì)特征權(quán)重進(jìn)行重新分配，達(dá)到特征通道自適應(yīng)校準(zhǔn)的目的。在單枚和序列鞋印圖像數(shù)據(jù)集上的實(shí)驗(yàn)驗(yàn)證本文方法的有效性，結(jié)果表明，相比傳統(tǒng)的性別預(yù)測(cè)方法，本文方法具有較優(yōu)的預(yù)測(cè)準(zhǔn)確率。后續(xù)將對(duì)不同承痕體的鞋印數(shù)據(jù)集進(jìn)行擴(kuò)充，進(jìn)一步優(yōu)化性別預(yù)測(cè)模型。