網(wǎng)格運(yùn)動(dòng)統(tǒng)計(jì)的刑偵現(xiàn)勘圖像匹配算法

劉穎 謝曉飛 來毅 李蕓 柴豪駿

摘? 要： 刑偵現(xiàn)勘圖像存在質(zhì)量差、模糊、目標(biāo)復(fù)雜且分辨力低等缺點(diǎn)，這些缺點(diǎn)導(dǎo)致圖像匹配時(shí)出現(xiàn)效果差、耗時(shí)長等問題，針對該問題提出一種基于網(wǎng)格運(yùn)動(dòng)統(tǒng)計(jì)（GMS）的特征匹配算法。該算法首先使用網(wǎng)格對圖像均勻分割，然后在網(wǎng)格鄰域中統(tǒng)計(jì)額外支持特征的數(shù)量，其次分別計(jì)算正確與錯(cuò)誤匹配的概率以構(gòu)造評分函數(shù)，最后通過評分函數(shù)和評分閾值來區(qū)分正確與錯(cuò)誤匹配。實(shí)驗(yàn)結(jié)果表明，該算法對刑偵現(xiàn)勘圖像能夠?qū)崿F(xiàn)快速準(zhǔn)確的匹配，且該算法對模糊人臉和高紋理的刑偵現(xiàn)勘圖像都有較好的匹配效果。

關(guān)鍵詞： 刑偵現(xiàn)勘; 網(wǎng)格運(yùn)動(dòng)統(tǒng)計(jì); 特征匹配; 平滑運(yùn)動(dòng); 圖像分割; 比較驗(yàn)證

中圖分類號： TN911.73?34? ? ? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識碼： A? ? ? ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2020）06?0178?05

An image matching method for criminal investigation and scene survey

based on grid motion statistics

LIU Ying1，2， XIE Xiaofei2， LAI Yi1，2， LI Yun3， CHAI Haojun2

（1. Key Laboratory of Electronic Information Scene Investigation and Application Technology， Ministry of Public Security， Xian 710121， China;

2. School of Communications and Information Engineering， Xian University of Posts and Telecommunications， Xian 710121， China;

3. CAS Xian Institute of Optics and Precision Mechanics， Xian 710121， China）

Abstract： There are some disadvantages in the image of criminal investigation and scene survey， such as poor quality， fuzzy， complex target and low resolution， resulting in poor effect and long time?consumption in image matching. A feature matching algorithm based on grid motion statistics （GMS） is proposed for above problems. By means of this algorithm， the image is segmented uniformly by grid， and the number of additional supporting features is counted in the grid neighborhood; then the probability of correct and wrong matching is calculated to construct the scoring function， and the correct and wrong matching is distinguished by means of the scoring function and scoring threshold. The experimental results show that the algorithm can achieve fast and accurate matching images of the criminal investigation and scene survey， and the algorithm has a certain matching effect on both fuzzy face and high?texture criminal investigation and scene survey images.

Keywords： criminal investigation and scene survey; grid motion statistics; feature matching; smooth motion; image segmentation; comparison verification

0? 引? 言

在刑事偵查中，公安人員需要將獲取的圖像與刑偵現(xiàn)勘數(shù)據(jù)庫中的圖像進(jìn)行對比分析。但由于某些客觀的特殊因素的影響，人眼無法分析判斷，得出正確的結(jié)論。因此，將圖像特征匹配技術(shù)用于刑偵圖像，輔助公安人員分析判斷，從而得到正確的信息，提高案件偵查的效率，這具有很重要的現(xiàn)實(shí)意義。

近些年以來，許多技術(shù)[1?6]使用匹配分布約束區(qū)分正確和錯(cuò)誤匹配，但這些算法會產(chǎn)生復(fù)雜的很難理解的平滑約束，而且最小化的代價(jià)很大。文獻(xiàn)[2，5]通過一致性約束來獲得更快速準(zhǔn)確的特征匹配，但基于一致性的特征匹配計(jì)算代價(jià)大，實(shí)現(xiàn)起來很復(fù)雜。一些關(guān)于特征匹配的經(jīng)典算法提高了特征描述符的區(qū)分能力、不變性和定位能力，比如SIFT（Scale?Invariant Feature Rransform）[7]，ORB （Oriented Fast and Rotated BRIEF）[8]，SURF （Speeded up Robust Features）[9]，ASIFT（Affine Scale ?Invariant Feature Transform）[10]，Harris Corners （Harris Corner Detection）[11]等，但僅依賴描述符很難區(qū)分正確和錯(cuò)誤匹配，因?yàn)樗鼈冊谙拗棋e(cuò)誤匹配的同時(shí)會消除大量正確匹配[12]。因此提出一種基于網(wǎng)格的運(yùn)動(dòng)統(tǒng)計(jì)方法（Grid?based Motion Statistics，GMS），通過統(tǒng)計(jì)運(yùn)動(dòng)平滑性產(chǎn)生的區(qū)域?qū)χ蓄~外支持特征的數(shù)量，計(jì)算匹配概率，進(jìn)而構(gòu)造概率評分函數(shù)和評分閾值區(qū)分正確與錯(cuò)誤匹配。

在實(shí)際刑偵現(xiàn)勘中對刑偵圖像的處理存在很多問題，比如刑偵圖像中對象形狀不規(guī)則，圖像模糊，分辨率低，包含的信息復(fù)雜，無法判斷圖中的對象是否為同一對象，公安人員無法通過人眼判斷分析得出正確可靠的結(jié)論。并且這樣的刑偵圖像在匹配時(shí)不能提供足夠數(shù)量的特征，而GMS算法恰好需要足夠數(shù)量的特征，所以本文在特征提取部分采用ORB算法提取大量的特征，保障了GMS算法可以產(chǎn)生足夠數(shù)量的正確匹配。

1? 網(wǎng)格運(yùn)動(dòng)統(tǒng)計(jì)

平滑運(yùn)動(dòng)產(chǎn)生的特征是相互支持的，且特征匹配不會隨機(jī)發(fā)生，因此可以通過統(tǒng)計(jì)特征鄰域中支持特征的數(shù)量來區(qū)分正確與錯(cuò)誤匹配。給定一圖像對[Ia]，[Ib]，其各自對應(yīng)的特征數(shù)量為[N]，[M]。圓形區(qū)域?qū)a，b]分別為圖像對[Ia]，[Ib]上的特征點(diǎn)的（?。┼徲?，其分別具有[n]，[m]個(gè)不包含原始像素的額外特征。圖像對上所有鄰域特征匹配的集合用[X={x1，x2，…，xi，…，xN}]表示。平滑運(yùn)動(dòng)使得特征點(diǎn)和其鄰域內(nèi)的相鄰像素一起運(yùn)動(dòng)，因此在正確匹配的特征周圍產(chǎn)生匹配同一位置的鄰域，錯(cuò)誤匹配的特征點(diǎn)位于圖像上不同的位置。

1.1? 概率事件

假設(shè)：[fa]表示圓形區(qū)域[a]中額外的[n]個(gè)支持特征中任意一個(gè)特征;[xi]表示第[i]個(gè)匹配;[si]為第[i]個(gè)匹配的鄰域得分;[Pt]，[pf]分別表示圖像對上正確與錯(cuò)誤匹配概率;[Tab]和[Fab]分別表示正確匹配的相同區(qū)域和錯(cuò)誤匹配產(chǎn)生的不同區(qū)域;[fta]，[ffa]分別表示[fa]發(fā)生正確匹配和錯(cuò)誤匹配;[fba]表示[fa]在區(qū)域中[b]有匹配。

1.2? 網(wǎng)格統(tǒng)計(jì)約束

令[fa]正確匹配的概率為[t]，如果[fa]匹配錯(cuò)誤，則[fba]發(fā)生的概率為：

式中，[α]是添加的一個(gè)調(diào)節(jié)因子。當(dāng)特征點(diǎn)[fa]在區(qū)域[b]中的任一位置產(chǎn)生匹配，則認(rèn)為該匹配是正確的。事件[fba]的發(fā)生存在兩種情況：[fa]在區(qū)域?qū)Φ南嗤恢卯a(chǎn)生正確匹配;[fa]在區(qū)域[b]中其他位置產(chǎn)生錯(cuò)誤匹配。因此，[fa]正確匹配的概率為：

式中：[fta]，[ffa]與[Tab]是獨(dú)立的;[p（fba|ffa）]也獨(dú)立于[Tab]。同樣地，錯(cuò)誤匹配的概率為：

用[si]表示鄰域支持的度量，即鄰域中額外特征點(diǎn)的數(shù)量。平滑運(yùn)動(dòng)也允許正確匹配支持圖像上同一位置的多個(gè)小區(qū)域?qū)?，因此[si]為

式中：[K]是平滑運(yùn)動(dòng)產(chǎn)生的同一位置的多個(gè)小區(qū)域?qū)Φ臄?shù)量;[ak，bk]為區(qū)域?qū)ΑＳ捎诿總€(gè)特征的匹配是獨(dú)立的，因此[si]服從二項(xiàng)分布。

[si]分布的各自的平均值和標(biāo)準(zhǔn)偏差為：

2? 圖像網(wǎng)格化

本節(jié)主要考慮具體實(shí)現(xiàn)區(qū)分正確與錯(cuò)誤匹配的概率評分標(biāo)準(zhǔn)，通過該評分標(biāo)準(zhǔn)得出的結(jié)論進(jìn)一步分析實(shí)現(xiàn)網(wǎng)格化，再通過設(shè)定閾值來實(shí)現(xiàn)正確與錯(cuò)誤匹配的集合。

2.1? 評分函數(shù)

根據(jù)式（6）中的正確和錯(cuò)誤匹配的平均值和標(biāo)準(zhǔn)偏差構(gòu)造概率評分函數(shù)，通過該函數(shù)評估正確與錯(cuò)誤匹配的區(qū)分能力。

式中，[λ=pt-pfpt（1-pt）+Knpf（1-pf）]。當(dāng)[p]越大時(shí)，評分越高，說明區(qū)分能力越強(qiáng)。

2.2? 匹配數(shù)量與質(zhì)量的轉(zhuǎn)換

一些通過增加特征的獨(dú)特性或不變性以獲得良好匹配的算法提取的特征數(shù)量并不多，無法保證能夠獲得足夠數(shù)量的正確匹配。因此，匹配質(zhì)量提高的前提是要有足夠數(shù)量的正確匹配。

通過式（7）可以很明顯地得到一個(gè)結(jié)論：[p]和[Kn]成正比。這表明正確和錯(cuò)誤匹配的區(qū)分能力將隨著特征數(shù)量[n]逐漸增強(qiáng)，且匹配的數(shù)量和質(zhì)量之間存在等價(jià)的轉(zhuǎn)換。也就是說，即使在刑偵圖像正確匹配很少的情況下，如果在正確匹配的位置比在隨機(jī)的位置有更多的支持特征，也可以得到好的匹配，只要特征的數(shù)量足夠大。

2.3? 網(wǎng)格框架

理論上當(dāng)[n]足夠大時(shí)，GMS有較好的匹配性能，但問題是刑偵圖像區(qū)域中特征數(shù)量總是有限的，簡單地增加[n]是不切實(shí)際的。但是通過式（7）可知另一種匹配質(zhì)量和數(shù)量等價(jià)轉(zhuǎn)換的方法是添加更多圖像上共同運(yùn)動(dòng)的區(qū)域來增加[K]，即增大[K]值，因?yàn)槠交\(yùn)動(dòng)支持圖像特征點(diǎn)周圍更多的區(qū)域。

獲得更多圖像區(qū)域的方法是將刑偵圖像網(wǎng)格化，在實(shí)驗(yàn)中，將圖像劃分為[G=16×16]個(gè)非重疊的單元格，設(shè)定每個(gè)圖像上的總特征數(shù)量為8 100，則[n=25]。實(shí)際上有許多的特征位于網(wǎng)格邊緣，為了消除這種情況的影響，分別在[x]，[y]方向上移動(dòng)半個(gè)網(wǎng)格單元的距離。同時(shí)，使用平滑的橫向運(yùn)動(dòng)假設(shè)對匹配區(qū)域分組以提高魯棒性。每一對區(qū)域的得分[sij]為：

式中，[xikjk]是劃分的網(wǎng)格單元對[{ik，jk}]中所有的匹配數(shù)量。理論上，更多的網(wǎng)格單元可以提高匹配位置的精度，但它減少了每個(gè)網(wǎng)格單元中的特征數(shù)量[n]。這可以通過增加[K]來補(bǔ)償，即增加更多的共同運(yùn)動(dòng)的圖像區(qū)域。

3? 評分閾值

正確匹配的數(shù)量越多說明匹配的質(zhì)量越好，因此，需要設(shè)定一個(gè)標(biāo)準(zhǔn)來保證獲得足夠數(shù)量的正確匹配。本文采取的具體措施是通過將[sij]閾值化使單元對分成正確與錯(cuò)誤匹配的集合[T，F(xiàn)]。

為了剔除大多數(shù)錯(cuò)誤的網(wǎng)格單元以獲得更多正確的網(wǎng)格區(qū)域，將期望的閾值設(shè)置為：

式中：[mf]是錯(cuò)誤匹配的平均值;[sf]是適當(dāng)數(shù)量的標(biāo)準(zhǔn)偏差。在實(shí)驗(yàn)中，令[mf=1]，而[μ]非常大。前面介紹了通過增加特征點(diǎn)的數(shù)量來提高匹配質(zhì)量，因此，仍然從特征數(shù)量上設(shè)置閾值[τ]，其可以近似為：

式（10）產(chǎn)生了單個(gè)參數(shù)的閾值，利用該函數(shù)可以將區(qū)域?qū)澐譃檎_匹配與錯(cuò)誤匹配的集合。

式中：[xi]和[xj]分別表示刑偵圖像上所有匹配集合中正確與錯(cuò)誤匹配，通過調(diào)整[ε]以確保剔除大量錯(cuò)誤的單元對;[ni]是單元格中存在的總的特征數(shù)量;[ε]跟式（9）、式（10）中的[μ]一樣，都很大，在實(shí)驗(yàn)中選擇[ε=8]。

4? 實(shí)驗(yàn)和分析

本節(jié)將具體地介紹提出的算法在不同類型的刑偵現(xiàn)勘圖像上的應(yīng)用實(shí)驗(yàn)和數(shù)據(jù)對比分析。

4.1? 實(shí)? 驗(yàn)

GMS是一種拒絕錯(cuò)誤匹配的有效的解決方案，在實(shí)驗(yàn)室（電子信息現(xiàn)場勘驗(yàn)應(yīng)用技術(shù)公安部重點(diǎn)實(shí)驗(yàn)室）建立的數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。在指紋、輪胎、車痕、人臉4個(gè)數(shù)據(jù)集上分別隨機(jī)選擇了4對刑偵現(xiàn)勘圖像進(jìn)行匹配實(shí)驗(yàn)的觀察分析。在評估本文提出的算法性能時(shí)，選擇經(jīng)典匹配算法SIFT，SURF作為比較對象，通過比較正確匹配的數(shù)量和程序運(yùn)行所消耗的時(shí)間來比較匹配質(zhì)量和效率。

首先選擇兩張指紋圖像，在不同的分辨率下統(tǒng)計(jì)本文算法產(chǎn)生的正確匹配數(shù)量，如圖1所示。GMS，SIFT和SURF算法在指紋圖像分辨率為[350×400]（像素）的條件下的實(shí)驗(yàn)結(jié)果如圖2所示，其正確匹配數(shù)量和所耗時(shí)間如表1所示。

通過實(shí)驗(yàn)發(fā)現(xiàn)，在圖像的分辨率為[350×400]（像素）的時(shí)候4類刑偵圖像正確匹配數(shù)量最多，因此在用不同的算法比較時(shí)，所有的圖像尺寸都調(diào)整為[350×400]（像素）。本文從正確匹配數(shù)量和時(shí)間上對GMS算法與SIFT，SURF算法做了比較，實(shí)驗(yàn)數(shù)據(jù)如表2所示。

SURF算法是SIFT算法的改進(jìn)，兩者在原理上有相同之處，而本文提出的GMS在原理上是不同于它們的算法。因此，為了使比較合理，調(diào)整SIFT，SURF算法的閾值（ratio?test），使其處于最佳性能，即有最高的正確匹配數(shù)量和最短的耗時(shí)。實(shí)驗(yàn)中將SIFT和SURF算法的閾值確定為0.62，通過比較，GMS方法產(chǎn)生的正確匹配的數(shù)量更多，其在這4類現(xiàn)勘圖像上的平均耗時(shí)為0.137 ms，而SIFT，SURF方法耗時(shí)遠(yuǎn)超出了GMS的時(shí)間，這在實(shí)際應(yīng)用中存在很大的弊端。因此本文提出的GMS算法在正確匹配數(shù)量和時(shí)間上都有優(yōu)秀的表現(xiàn)，能夠獲得更加快速、準(zhǔn)確的匹配。

4.2? 分? 析

本文提出的算法相對較好是因?yàn)樵撍惴紤]到了平滑運(yùn)動(dòng)，平滑運(yùn)動(dòng)使得特征點(diǎn)和其小鄰域內(nèi)的像素一起運(yùn)動(dòng)，保證了刑偵圖像對上相同位置有大量的正確匹配，平滑運(yùn)動(dòng)產(chǎn)生的匹配不會隨機(jī)發(fā)生。從式（7）可知，匹配的數(shù)量有助于匹配質(zhì)量，從而實(shí)現(xiàn)了匹配數(shù)量和匹配質(zhì)量的轉(zhuǎn)換。通過實(shí)驗(yàn)發(fā)現(xiàn)，GMS算法對高紋理圖像的匹配效果較好，對低紋理刑偵圖像正確匹配的數(shù)量有所下降，但仍然好于SIFT和SURF算法，如圖2～圖4，及表2所示。這是因?yàn)?，像指紋、輪胎壓痕等高紋理的圖像本身就有很規(guī)律的紋理分布，且包含大量的特征信息，因此能提供許多支持特征，并且在特征提取時(shí)本文選取的是ORB算法，能夠提取大量的特征，從而保證建立準(zhǔn)確的匹配關(guān)系。

相比SIFT和SURF算法，GMS算法有很好的匹配效果，如圖5、表2所示，這也得益于算法本身的優(yōu)勢。因此，本文算法對于模糊人臉的準(zhǔn)確匹配在刑偵領(lǐng)域具有較高的應(yīng)用價(jià)值和現(xiàn)實(shí)意義。

5? 結(jié)? 語

本文提出基于網(wǎng)格的運(yùn)動(dòng)統(tǒng)計(jì)算法，該算法首先將被匹配的刑偵圖像網(wǎng)格化獲得區(qū)域?qū)Γ缓筮x擇多個(gè)網(wǎng)格區(qū)域，統(tǒng)計(jì)其中的特征點(diǎn)數(shù)量，再通過構(gòu)造的評分函數(shù)和評分閾值，將所有的匹配劃分為正確與錯(cuò)誤匹配的集合，從而獲得刑偵圖像的匹配。該算法能夠?qū)⑿虃蓤D像中模糊和清晰人臉目標(biāo)實(shí)現(xiàn)準(zhǔn)確匹配，這在刑偵領(lǐng)域中有實(shí)際的應(yīng)用價(jià)值和意義。未來的主要工作是設(shè)計(jì)更加實(shí)用、高效、快速的視頻圖像特征提取和匹配算法，尤其是針對監(jiān)控視頻序列更要考慮到實(shí)時(shí)性，使其在實(shí)際的刑偵領(lǐng)域中有更大的實(shí)用價(jià)值。

參考文獻(xiàn)

[1] PIZARRO D， BARTOLI A. Feature?based deformable surface detection with self?occlusion reasoning [J]. International journal of computer vision， 2012， 97（1）： 54?70.

[2] LIN Wenyan， CHENG Mingming， LU Jingbo， et al. Bilateral functions for global motion modeling [C]// European Conference on Computer Vision. Zurich： Springer， 2014： 341?356.

[3] LIN W Y， LIU S Y， JIANG N J， et al. RepMatch： robust feature matching and pose for reconstructing modern cities [C]// European Conference on Computer Vision. Amsterdam： Springer， 2016： 562?579.

[4] LIPMAN Y， YAGEV S， PORANNE R， et al. Feature matching with bounded distortion [J]. ACM transactions on graphics， 2014， 33（3）： 1?14.

[5] WANG C， WANG L， LIU L Q. Density maximization for improving graph matching with its applications [J]. IEEE transactions on image processing， 2015， 24（7）： 2110?2123.

[6] MAIER J， HUMENBERGER M， MURSCHITZ M， et al. Guided matching based on statistical optical flow for fast and robust correspondence analysis [C]// Processing of European Conference on Computer Vision. Amsterdam： Springer， 2016： 101?117.

[7] LOWE D G. Distinctive image features from scale?invariant keypoints [J]. International journal of computer vision， 2004， 60（2）： 91?110.

[8] RUBLEE E， RABAUD V， KONOLIGE K， et al. ORB： An efficient alternative to SIFT or SURF [C]// 2011 International Conference on Computer Vision. Barcelona： IEEE， 2012： 2564?2571.

[9] BAY H， TUYTELAARS T， GOOL L V. SURF： speeded up robust features [C]// European Conference on Computer Vision. Graz： Springer， 2006： 404?417.

[10] MOREL J M， YU G. ASIFT： a new framework for fully affine invariant image comparison [J]. Siam journal on imaging sciences， 2009， 2（2）： 438?469.

[11] DERPANIS K. The harris corner detector [D]. Toronto： York University， 2004.

[12] LIN Wenyan， CHENG Mingming， LU Jingbo， et al. Bilateral functions for global motion modeling [C]// European Conference on Computer Vision. Zurich： Springer， 2014： 341?356.