基于混合域注意力機(jī)制的鞋印檢索算法

韓雨彤, 郭 威, 唐云祁, 張家鈞

(中國(guó)人民公安大學(xué)偵查學(xué)院, 北京 100038)

0 引言

鞋底花紋特征是犯罪偵查過(guò)程中極具價(jià)值的證據(jù)之一，但鞋印痕跡檢索在實(shí)踐應(yīng)用中發(fā)揮的作用大小受到圖像特質(zhì)、設(shè)備引擎、算法技術(shù)以及專(zhuān)業(yè)職業(yè)素養(yǎng)等因素的影響。根據(jù)Alexandre[1]的報(bào)道顯示，在犯罪現(xiàn)場(chǎng)中，大概有30%的現(xiàn)場(chǎng)鞋印可以被提取，但這些被提取的鞋印不一定都能成為偵查破案的線(xiàn)索。 在現(xiàn)場(chǎng)勘查中，通過(guò)攝影或者靜電吸附的方式將鞋印從地面提取，通過(guò)掃描來(lái)實(shí)現(xiàn)數(shù)字化。鞋印圖像檢索任務(wù)如圖1所示，給定一個(gè)犯罪現(xiàn)場(chǎng)提取的嫌疑鞋印，調(diào)查人員在數(shù)據(jù)庫(kù)中搜索出與之較為相似的清晰的樣本鞋印。在公安實(shí)踐中，這一檢索過(guò)程需要調(diào)查人員在一個(gè)大型的圖像數(shù)據(jù)庫(kù)中手動(dòng)搜索，會(huì)造成巨大的人工成本和時(shí)間成本浪費(fèi)。因此，將基于計(jì)算機(jī)視覺(jué)的圖像自動(dòng)檢索技術(shù)引入鞋印檢索領(lǐng)域，并在公安實(shí)踐工作中發(fā)揮作用是非常重要的一項(xiàng)工作。

圖1 鞋印檢索任務(wù)

1 相關(guān)工作

在多年的鞋印自動(dòng)化檢索研究過(guò)程中，研究人員提取不同鞋印圖像特征，如形狀特征，紋理特征等經(jīng)典圖像特征，將其作為特征描述符進(jìn)行特征檢索，并都在當(dāng)時(shí)取得了較好的識(shí)別效果。

近年來(lái)，隨著卷積神經(jīng)網(wǎng)絡(luò)在各個(gè)領(lǐng)域的廣泛應(yīng)用，鞋印檢索算法的研究方向也逐漸發(fā)生轉(zhuǎn)變，很多研究人員以神經(jīng)網(wǎng)絡(luò)作為基本架構(gòu)，訓(xùn)練大量鞋印圖像數(shù)據(jù)，以期讓計(jì)算機(jī)自動(dòng)提取鞋印圖像特征，并根據(jù)提取到的特征，計(jì)算特征距離進(jìn)行匹配。

Zhang等人[2]對(duì)預(yù)訓(xùn)練的VGG-16[3]網(wǎng)絡(luò)進(jìn)行了微調(diào)，該網(wǎng)絡(luò)在公開(kāi)數(shù)據(jù)集[4]上取得了良好的效果，但該方法沒(méi)有對(duì)殘缺鞋印圖像進(jìn)行實(shí)驗(yàn)，存在一定的局限性。史文韜等人[5]將預(yù)訓(xùn)練的VGG-16網(wǎng)絡(luò)在鞋印數(shù)據(jù)集上進(jìn)行了微調(diào)并直接展開(kāi)卷積層特征進(jìn)行檢索實(shí)驗(yàn)，該實(shí)驗(yàn)證明微調(diào)的VGG-16網(wǎng)絡(luò)對(duì)殘缺的鞋印圖像檢索效果并不理想。之后，史文韜[6]等又提出了基于選擇卷積描述子的算法，并將完整鞋印和殘缺鞋印分開(kāi)檢索，提取不同的卷積特征進(jìn)行檢索，其在CSS-200數(shù)據(jù)集上top1%的識(shí)別率達(dá)到了92.5%。Kong等人[7-8]將ResNet50網(wǎng)絡(luò)提取到的卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像的深度特征采用多通道歸一化互相關(guān)的方法進(jìn)行匹配。該算法在公開(kāi)數(shù)據(jù)集FID-300上取得了較好的檢索效果。但是該方法由于通過(guò)滑動(dòng)窗和一定角度之間的旋轉(zhuǎn)獲得了多個(gè)局部區(qū)域，在檢索過(guò)程中耗費(fèi)了大量時(shí)間，并不適用于實(shí)際應(yīng)用中。

Cui等人[9]采用深度信念網(wǎng)絡(luò)(Deep Belief Networks,DBN)提取局部特征，并通過(guò)空間金字塔匹配得到從局部到全局的匹配分?jǐn)?shù)。在該實(shí)驗(yàn)中，前10名的累計(jì)匹配得分為65.67%。Cui等人[10]對(duì)鞋印圖像進(jìn)行預(yù)處理，旋轉(zhuǎn)補(bǔ)償之后劃分圖像為頂部和底部?jī)蓞^(qū)域，計(jì)算兩個(gè)區(qū)域神經(jīng)編碼的余弦相似度的加權(quán)和，得到兩張比對(duì)圖像的匹配分?jǐn)?shù)。經(jīng)過(guò)實(shí)驗(yàn)，top10%的累計(jì)匹配分?jǐn)?shù)為88.7%。該法經(jīng)過(guò)PCA降維后發(fā)現(xiàn)，當(dāng)降低至原圖像特征的95%時(shí)檢索精度最高。

Ma等人[11]在2019年使用多部分加權(quán)卷積神經(jīng)網(wǎng)絡(luò)(Multi-Part Weighted Convolutional Neural Network，MP-CNN)提取鞋印特征，在FID-300數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，top10%的識(shí)別率達(dá)到了89.83%。

張弛等人[12]使用LeNet-5網(wǎng)絡(luò)在183類(lèi)鞋印數(shù)據(jù)集上進(jìn)行分類(lèi)，top5%的分類(lèi)準(zhǔn)確率為99.49%。Wu等人[13]利用基于領(lǐng)域的相似度估計(jì)，提取了鞋印圖像的區(qū)域特征、全局特征和Gabor特征，提升了鞋印檢索算法的性能。

大連海事大學(xué)周思越[14]提出了一種基于局部語(yǔ)義濾波器組的低質(zhì)量鞋印檢索算法，該算法采用相似度曲線(xiàn)封閉區(qū)域面積的多相似度自適應(yīng)融合方法，在MUES-SR10KS2S、FID-300和CS-Dacabase上實(shí)驗(yàn)都取得了優(yōu)秀的檢索結(jié)果。但由于數(shù)據(jù)依賴(lài)大量人工處理，因此檢索結(jié)果并不穩(wěn)定。

2019年彭飛等[15]基于局部語(yǔ)義塊并改進(jìn)了流行排序的鞋印檢索算法，在低質(zhì)量鞋印圖像數(shù)據(jù)集上的top1%的識(shí)別率達(dá)到了90.3%。

通過(guò)對(duì)近幾年鞋印檢索領(lǐng)域經(jīng)典方法的歸納梳理，卷積神經(jīng)網(wǎng)絡(luò)在鞋印圖像中提取到的是全局特征，對(duì)于殘缺鞋印的檢索效果有限，因此自動(dòng)提取細(xì)節(jié)特征、提升殘缺鞋印的檢索精度仍然是當(dāng)前研究的重點(diǎn)?；诖?，本文提出了一種嵌入混合域注意力機(jī)制的鞋印檢索算法，對(duì)預(yù)訓(xùn)練的ResNet34網(wǎng)絡(luò)加入注意力機(jī)制后在鞋印數(shù)據(jù)集上進(jìn)行微調(diào)，提取改進(jìn)網(wǎng)絡(luò)中l(wèi)ayer2和layer4的卷積層特征，直接展開(kāi)作為特征描述符。實(shí)驗(yàn)結(jié)果表明，該方法能夠有效提升殘缺鞋印的檢索效果。

2 算法結(jié)構(gòu)

2.1 混合域注意力機(jī)制

注意力機(jī)制在機(jī)器翻譯領(lǐng)域率先應(yīng)用，經(jīng)過(guò)遷移發(fā)展，在深度學(xué)習(xí)領(lǐng)域大放異彩。卷積神經(jīng)網(wǎng)絡(luò)依靠卷積核獲取通道和空間信息融合來(lái)提取圖像特征，注意力機(jī)制具有可以使神經(jīng)網(wǎng)絡(luò)具備專(zhuān)注于輸入特征的能力。因此，神經(jīng)網(wǎng)絡(luò)加入注意力機(jī)制模塊后獲得需要重點(diǎn)關(guān)注的區(qū)域，在卷積特征的重點(diǎn)區(qū)域產(chǎn)生更大響應(yīng)。在計(jì)算機(jī)視覺(jué)領(lǐng)域中，研究人員將注意力機(jī)制與深度學(xué)習(xí)結(jié)合使用，并注重使用掩碼形成一層新的權(quán)重特征，將圖像中的關(guān)鍵特征進(jìn)行標(biāo)識(shí)，以此來(lái)讓神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到更重要的區(qū)域?；诖朔N思想，注意力機(jī)制形成了兩種不同的類(lèi)型，一種是軟注意力機(jī)制，另一種是強(qiáng)注意力機(jī)制。本文則更加注重通道域和空間域的軟注意力，希望以此提高鞋印的檢索效果。

2.1.1 通道注意力機(jī)制

通道注意力機(jī)制(Channel Ateention Module，CAM)目的是在神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行檢索的過(guò)程中提高對(duì)各通道的依賴(lài)性，并對(duì)各通道進(jìn)行調(diào)整，選擇圖像中的有用的信息，加強(qiáng)圖像特征的選擇性。

在本文中，雖然鞋印圖片在預(yù)處理階段經(jīng)過(guò)二值化變?yōu)閱瓮ǖ缊D像，但在輸入神經(jīng)網(wǎng)絡(luò)時(shí)均轉(zhuǎn)換為普通的RGB三通道圖像。圖像經(jīng)過(guò)不同的卷積核后，在各個(gè)通道中產(chǎn)生的不同的信號(hào)作為該通道的特征表示。

假設(shè)圖像經(jīng)過(guò)卷積核輸出卷積特征U，U有C個(gè)通道，輸出U不是最優(yōu)的特征。因?yàn)槊總€(gè)通道的重要程度不一樣，所以，在提取特征時(shí)，有些通道提取到的特征更加重要。我們希望通過(guò)注意力機(jī)制學(xué)習(xí)并重新分配每個(gè)通道的權(quán)重，從而獲得基于通道的注意力。在通道注意力機(jī)制中(如圖2)，圖像經(jīng)過(guò)卷積層提取到特征，分別經(jīng)過(guò)基于寬度和高度的最大池化層和全局平均池化層，再經(jīng)過(guò)兩個(gè)全連接層，將兩個(gè)特征矩陣拼接在一起，經(jīng)過(guò)sigmoid激活函數(shù)后生成帶有注意力的特征矩陣。將輸入通道注意力機(jī)制前的矩陣和經(jīng)過(guò)通道注意力機(jī)制的特征矩陣相乘作為整個(gè)通道注意力機(jī)制的輸出。通道注意力模塊公式為：

圖2 通道注意力機(jī)制結(jié)構(gòu)圖

(1)

其中W0∈RC/r×C，W1∈RC×C/r，兩個(gè)全連接層中間需加入一層Relu函數(shù)激活。

通道注意力機(jī)制模塊結(jié)構(gòu)如圖2所示。

2.1.2 空間注意力機(jī)制

空間注意力機(jī)制(Spatial Attention Module，SAM)是將原始圖片中的空間信息映射在另一空間中并保留其關(guān)鍵信息?？臻g注意力模塊作為單獨(dú)一層加入到原有的神經(jīng)網(wǎng)絡(luò)中，并與通道注意力模塊一起發(fā)生作用。這個(gè)模塊依舊以上一層的輸出特征矩陣U作為該模塊的輸入：

U∈RH×W×C

(2)

H是上一層特征矩陣的高度,W是上一層特征矩陣的寬度，C是代表通道數(shù)。U輸入空間注意力模塊后進(jìn)入兩條線(xiàn)路，一條線(xiàn)路是信息進(jìn)入定位網(wǎng)絡(luò)，另一條線(xiàn)路是原始信號(hào)直接進(jìn)入采樣層，其中定位網(wǎng)絡(luò)經(jīng)過(guò)學(xué)習(xí)會(huì)生成一個(gè)變換矩陣，與原始圖片相乘之后，可以得到變換之后的矩陣V。

V∈RH′×W′×C

(3)

V是變化之后的圖像特征。

如圖3所示，在采樣路線(xiàn)中，首先對(duì)通道進(jìn)行最大池化和平均池化降維，再使用一個(gè)卷積層進(jìn)行學(xué)習(xí)，將圖像特征降為單通道。在經(jīng)過(guò)sigmoid函數(shù)生成變換矩陣。同通道注意力模塊一樣，空間注意力的輸出特征也要與輸入特征相乘作為最終空間注意力模塊的輸出特征。

(4)

其中，7×7為卷積核的大小

空間注意力機(jī)制模塊結(jié)構(gòu)如圖3所示。

圖3 空間注意力機(jī)制結(jié)構(gòu)

2.1.3 嵌入混合域雙重注意力機(jī)制網(wǎng)絡(luò)

本文在ResNet34骨干網(wǎng)絡(luò)中嵌入注意力機(jī)制并基于遷移學(xué)習(xí)進(jìn)行訓(xùn)練。由于注意力機(jī)制放入殘差模塊中將會(huì)改變ResNet34的網(wǎng)絡(luò)結(jié)構(gòu)，無(wú)法進(jìn)行遷移學(xué)習(xí)，因此，我們?cè)诰W(wǎng)絡(luò)的第一層卷積層和最后一層殘差模塊后分別加入混合域的注意力模塊，將通道注意力機(jī)制和空間注意力機(jī)制融入ResNet34骨干網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 本文網(wǎng)絡(luò)結(jié)構(gòu)

2.2 提取多層卷積特征融合

在很多的圖像檢索工作中，融合不同尺度的卷積層特征是提高神經(jīng)網(wǎng)絡(luò)檢索能力的一個(gè)重要手段。低層卷積特征具有更高的分辨率，提取到的特征更加具象，用于度量細(xì)粒度相似性，但是由于經(jīng)過(guò)較少的卷積層，具象的特征不能很好地作為圖像檢索的特征，具有更低的語(yǔ)義性。高層卷積特征提取到的特征更加抽象，不能很好的感知細(xì)節(jié)，用于度量語(yǔ)義相似性，因此，融合高層卷積特征和低層特征在圖像檢索中可以獲得更好的檢索效果。Chaib等[16]提取VGGNet中第一層和第二層全連接層的輸出進(jìn)行融合作為特征描述子，分別采用標(biāo)準(zhǔn)融合和DCA融合兩種方法，經(jīng)過(guò)實(shí)驗(yàn)證明融合不同層的特征取得了當(dāng)時(shí)最高的精度。Wei等人[17]設(shè)計(jì)了一個(gè)新的映射函數(shù)來(lái)突出低層的相似性，利用不同卷積層之間的互補(bǔ)特征作為特征描述符進(jìn)行圖像檢索，并取得了優(yōu)于流行檢索方法的檢索效果。Zhang等人[18]融合了語(yǔ)義分割網(wǎng)絡(luò)中的高低層特征，增加了低層特征的語(yǔ)義或增加高層特征中的空間信息都帶來(lái)了一定程度的提升效果。本文提取嵌入注意力機(jī)制的ResNet34網(wǎng)絡(luò)layer2和layer4層的卷積特征直接展開(kāi)拼接進(jìn)行鞋印檢索實(shí)驗(yàn)。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集

3.1.1 訓(xùn)練集

本文在CSS-200[5]的原始數(shù)據(jù)上進(jìn)行了不同形式的裁剪，使得殘留的鞋印范圍更加小，提高模型的魯棒性。鞋印原始數(shù)據(jù)來(lái)自某市公安機(jī)關(guān)2018年8個(gè)月的犯罪現(xiàn)場(chǎng)鞋印圖像和與之對(duì)應(yīng)的嫌疑人標(biāo)準(zhǔn)采集鞋印，共篩選出437類(lèi)鞋印圖像，其中210類(lèi)為樣本鞋印，每類(lèi)4幅，其余227類(lèi)鞋印包含嫌疑人樣本鞋印和對(duì)應(yīng)的現(xiàn)場(chǎng)鞋印。每類(lèi)2～50幅。首先，本文對(duì)鞋印圖像先進(jìn)行低質(zhì)量處理來(lái)模擬犯罪現(xiàn)場(chǎng)的鞋印，對(duì)圖片添加高斯噪聲，再用Sobel算子提取鞋印圖像的邊緣特征，如圖6；第二步裁剪，文獻(xiàn)[5]中對(duì)鞋印做了8種不同方式的裁剪，雖然8種裁剪方式盡可能的包括了現(xiàn)場(chǎng)可能出現(xiàn)的各種殘缺部分，但是保留下的殘缺鞋印面積仍然較大。本文對(duì)鞋印圖片進(jìn)行重新裁剪，裁剪出不同的6種殘缺的鞋印，如圖5，更好地模擬鞋印在現(xiàn)場(chǎng)會(huì)出現(xiàn)的殘缺和模糊情況。最終經(jīng)過(guò)新一次數(shù)據(jù)增強(qiáng)，訓(xùn)練集中包含437類(lèi)，共141 646幅鞋印圖像。

圖5 訓(xùn)練集鞋印圖片的隨機(jī)裁剪方式

圖6 訓(xùn)練集鞋印圖片的低質(zhì)量處理方式

3.1.2 CSS-200測(cè)試集

CSS-200測(cè)試集和訓(xùn)練集均是來(lái)自公安機(jī)關(guān)的現(xiàn)場(chǎng)鞋印和嫌疑人樣本鞋印，但測(cè)試集中鞋印種類(lèi)與訓(xùn)練集中鞋印類(lèi)別未有重復(fù)，共200類(lèi)現(xiàn)場(chǎng)鞋印和與之對(duì)應(yīng)的樣本鞋印。測(cè)試集中還有混淆樣本 4 800 幅犯罪現(xiàn)場(chǎng)鞋印。

3.1.3 FID-300數(shù)據(jù)集

FID-300數(shù)據(jù)集是公開(kāi)鞋印數(shù)據(jù)集，其中包含現(xiàn)場(chǎng)鞋印297張，共130類(lèi)，樣本庫(kù)共1 175張鞋印圖片，本文對(duì)所有圖片進(jìn)行二值化預(yù)處理。

3.1.4 Part-FID測(cè)試集

此測(cè)試集源于公開(kāi)鞋印數(shù)據(jù)集FID-300，從中選取所有的殘缺鞋印并刪除質(zhì)量過(guò)低，無(wú)法有效處理的鞋印圖片，共85類(lèi)139張組成殘缺鞋印集，樣本庫(kù)共1 130張鞋印圖片。本文用此數(shù)據(jù)集來(lái)測(cè)試算法對(duì)殘缺鞋印圖片的檢索效果。

3.2 評(píng)價(jià)指標(biāo)

鞋印圖像檢索的目的是希望在大量的鞋印圖像中篩選出與嫌疑鞋印更為相似的樣本鞋印，在返回的樣本鞋印圖像中正確的圖像結(jié)果排在前幾名，減少后續(xù)的人工篩選，因此本文更加注重查準(zhǔn)率，希望正確結(jié)果出現(xiàn)在前幾名的準(zhǔn)確率能夠有所提高。我們使用累計(jì)匹配曲線(xiàn)(Cumulated Matching Characteristic,CMC)作為本文算法的評(píng)價(jià)標(biāo)準(zhǔn)。該曲線(xiàn)橫坐標(biāo)為返回的排序值，縱坐標(biāo)為正確出現(xiàn)在第k位的概率。Rank1(即top1)的值越高即鞋印圖像檢索效果越好，在本文的實(shí)驗(yàn)中，我們分別采用top1、top10、top1%作為主要評(píng)價(jià)指標(biāo)。

3.3 實(shí)驗(yàn)結(jié)果分析

文獻(xiàn)[5]已證明經(jīng)過(guò)微調(diào)的神經(jīng)網(wǎng)絡(luò)模型具有優(yōu)于預(yù)訓(xùn)練的檢索能力，本文將ResNet34網(wǎng)絡(luò)在重新裁剪后的鞋印訓(xùn)練集中進(jìn)行微調(diào)。經(jīng)過(guò)多輪訓(xùn)練測(cè)試，通過(guò)分類(lèi)精度的比較，本文最終確定了超參數(shù)的設(shè)置及損失函數(shù)。在訓(xùn)練過(guò)程中，損失函數(shù)設(shè)置為交叉熵?fù)p失函數(shù)(Cross Entropy Loss Function)，訓(xùn)練過(guò)程中使用Adam隨機(jī)梯度優(yōu)化器，動(dòng)量設(shè)置為0.9，學(xué)習(xí)率設(shè)置為0.001；采用批處理的方式，每次輸入64張?jiān)紙D片進(jìn)行處理，得到分類(lèi)精度最好的訓(xùn)練模型，將其用于圖像檢索實(shí)驗(yàn)。

3.3.1 不同卷積層特征檢索實(shí)驗(yàn)對(duì)比結(jié)果分析

本文提取ResNet34網(wǎng)絡(luò)中l(wèi)ayer4和layer2的卷積特征直接展開(kāi)拼接融合作為特征描述符進(jìn)行檢索。表1為不同特征層在CSS-200上的實(shí)驗(yàn)結(jié)果，由表1可知，本文融合layer2和layer4而得的特征描述符在CSS-200數(shù)據(jù)集中進(jìn)行檢索時(shí)top1準(zhǔn)確率提高到了56%，雖然沒(méi)有達(dá)到最高的檢索精度，但由圖7可知，該方法在前5名的檢索結(jié)果也比其他融合方式準(zhǔn)確率更高；而由表2、圖8可知，在part-FID數(shù)據(jù)集的實(shí)驗(yàn)中，本文算法在top1的準(zhǔn)確率也達(dá)到了17.27%，為所有特征融合方式中最高檢索精度。

表1 不同特征層在CSS-200上的實(shí)驗(yàn)結(jié)果

圖7 不同特征層融合在CSS-200上的實(shí)驗(yàn)結(jié)果

表2 不同特征層融合在part-FID上的實(shí)驗(yàn)結(jié)果

圖8 不同特征層融合在part-FID上的實(shí)驗(yàn)結(jié)果

3.3.2 不同注意力機(jī)制的鞋印檢索實(shí)驗(yàn)結(jié)果對(duì)比

為了探究注意力機(jī)制在鞋印檢索中作用，本文主要從兩個(gè)維度進(jìn)行結(jié)果比較：①對(duì)比添加注意力機(jī)制模塊的ResNet34網(wǎng)絡(luò)模型和沒(méi)有加入注意力機(jī)制在鞋印圖像中的檢索效果；②對(duì)比加入不同注意力機(jī)制模塊在ResNet34網(wǎng)絡(luò)模型中實(shí)驗(yàn)效果。

圖9是同一幅鞋印圖像在嵌入注意力機(jī)制的卷積網(wǎng)絡(luò)結(jié)構(gòu)和未加注意力機(jī)制的卷積網(wǎng)絡(luò)中輸出layer4層的卷積特征可視化圖，由圖9可知，經(jīng)過(guò)注意力模塊的作用，卷積特征更加注重在鞋印的重點(diǎn)圖案區(qū)域。本文所提出的注意力機(jī)制模型能夠準(zhǔn)確學(xué)習(xí)到鞋印圖案的重要特征并且排除了背景的干擾。

圖9 不同網(wǎng)絡(luò)的卷積特征可視化結(jié)果

如圖10所示，嵌入混合域雙重注意力機(jī)制網(wǎng)絡(luò)在鞋印檢索中前5名的準(zhǔn)確率高于單注意力機(jī)制的網(wǎng)絡(luò)模型，由表3可知，top1的識(shí)別率從未加注意力機(jī)制時(shí)的53.5%上升至56%，提高了2.5%。

表3 不同注意力機(jī)制在CSS-200數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果

圖10 不同注意力機(jī)制在CSS-200中的實(shí)驗(yàn)結(jié)果

在part-FID數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果(見(jiàn)表4)表明：top1的準(zhǔn)確率從13.67%上升到17.27%，top1%的準(zhǔn)確率也從44.6%上升到45.32%，且由圖11可知加入雙重混合域的注意力機(jī)制在前5名的檢索結(jié)果都優(yōu)于其他方法。因?yàn)閜art-FID數(shù)據(jù)集全部由殘缺鞋印組成，所以由該數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果證明本文算法有效地提升了殘缺鞋印的檢索精度。

圖11 不同注意力機(jī)制在part-FID上的實(shí)驗(yàn)結(jié)果

表4 在part-FID數(shù)據(jù)集上的檢索方法的比較

3.3.3 實(shí)驗(yàn)結(jié)果比較分析

在表5中，本文算法與當(dāng)前識(shí)別準(zhǔn)確率較高的鞋印檢索算法進(jìn)行了比較，發(fā)現(xiàn)本文算法與其他算法相比鞋印識(shí)別準(zhǔn)確率有所提高，但與最高檢索精度之間仍有所差距。

表5 本文算法和鞋印檢索領(lǐng)域的其他方法比較

表6是不同算法在同一數(shù)據(jù)集CSS-200的實(shí)驗(yàn)結(jié)果，經(jīng)過(guò)對(duì)比發(fā)現(xiàn)，本文算法較微調(diào)的VGG-16算法在top1的識(shí)別率提高了4%，雖然不如基于局部選擇卷積描述子的檢索實(shí)驗(yàn)結(jié)果，但在前top2%兩個(gè)方法的識(shí)別率基本一致，都達(dá)到了最高的檢索精度。經(jīng)過(guò)分析，本文算法為有監(jiān)督的學(xué)習(xí)檢索，訓(xùn)練集中的鞋印種類(lèi)較少，會(huì)降低鞋印檢索的精度；其次卷積網(wǎng)絡(luò)仍然更多地關(guān)注在鞋印的整體特征，對(duì)鞋印的局部特征的關(guān)注仍有不足。

表6 在CSS-200數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果

表7是本文算法在公開(kāi)數(shù)據(jù)集FID-300中實(shí)驗(yàn)結(jié)果與其他方法的比較。在FID-300數(shù)據(jù)集上，本文算法在top1%的識(shí)別率為50.17%，與其他方法相比仍有差距。除了上述原因，本文在對(duì)FID-300數(shù)據(jù)集進(jìn)行預(yù)處理的過(guò)程較為粗糙，嫌疑鞋印圖片中存在大量的背景干擾，花紋模糊等情況，這些都使得檢索結(jié)果不如人意，因此在后續(xù)的工作中，需要進(jìn)一步對(duì)FID-300數(shù)據(jù)集進(jìn)行處理，提高鞋印的數(shù)據(jù)質(zhì)量，另一方面需要提高算法對(duì)殘缺鞋印特征提取的穩(wěn)定性，以獲得更高的檢索精度。

表7 FID-300數(shù)據(jù)集鞋印檢索結(jié)果和相關(guān)方法比較

表8是不同算法在part-FID數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果。在全部由殘缺鞋印組成的part-FID數(shù)據(jù)集上本文算法top1%的識(shí)別率達(dá)到了45.32%，較其他算法的檢索結(jié)果提高了2.87%。在part-FID數(shù)據(jù)集中刪去了背景嚴(yán)重干擾和無(wú)法有效處理的鞋印圖片，這使得數(shù)據(jù)集的圖片質(zhì)量高于FID-300數(shù)據(jù)集中的鞋印圖像。因此本文算法對(duì)質(zhì)量較高的殘缺鞋印的識(shí)別較為有效，但在part-FID數(shù)據(jù)集上檢索精度的提高也證明嵌入混合域注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)能夠更好地在圖片中關(guān)注到有用的鞋印特征信息，并進(jìn)行識(shí)別。

表8 不同算法在part-FID數(shù)據(jù)集上的識(shí)別率

4 結(jié)束語(yǔ)

針對(duì)殘缺鞋印圖像數(shù)據(jù)，本文提出了一種將混合域注意力機(jī)制融入ResNet34網(wǎng)絡(luò)的模型算法，并在鞋印數(shù)據(jù)集上微調(diào)，進(jìn)一步增強(qiáng)了ResNet網(wǎng)絡(luò)對(duì)重點(diǎn)區(qū)域特征的提取能力。同時(shí)本文探究了不同卷積層特征融合對(duì)鞋印圖像檢索精度的影響，得出以下結(jié)論：通過(guò)提取layer2和layer4的卷積特征展開(kāi)后級(jí)聯(lián)作為特征描述符得到的實(shí)驗(yàn)結(jié)果最好。為了提高網(wǎng)絡(luò)模型的魯棒性，重新對(duì)訓(xùn)練集中的數(shù)據(jù)進(jìn)行了低質(zhì)量處理和隨機(jī)裁剪，改變了殘缺鞋印的缺失方式，使得圖片中留下的鞋印信息更少，對(duì)重新處理的數(shù)據(jù)集進(jìn)行學(xué)習(xí)訓(xùn)練，再進(jìn)行鞋印圖像的檢索實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，本文提出的鞋印檢索算法具有較強(qiáng)的應(yīng)用性。

本文的改進(jìn)方法也有一定的局限性，本文提取雙層卷積特征展開(kāi)融合作為特征描述符進(jìn)行檢索，該方法雖然有效提高了鞋印檢索的精度，但是由于卷積輸出特征維數(shù)過(guò)高，存在占用內(nèi)存過(guò)大，檢索時(shí)間較長(zhǎng)的問(wèn)題。因此在后續(xù)的工作中，將進(jìn)一步優(yōu)化算法，降低特征描述符的維度，提高識(shí)別精度。