一種安檢CT圖像的多視角匹配算法設(shè)計及應(yīng)用

馮瑋 查艷麗 任世龍 公安部第一研究所

引言

近年來，各地隨著平安中國建設(shè)的不斷推進(jìn)，在公共安全領(lǐng)域，無論是大型安保活動，還是軌道交通及民用航空等場景，安全檢查的標(biāo)準(zhǔn)都在不斷提升，尤其是會對旅客行包中是否包含違禁品進(jìn)行重點(diǎn)關(guān)注。隨著人工智能技術(shù)在生活中的應(yīng)用越來越廣泛，以目標(biāo)檢測算法為基礎(chǔ)的違禁品智能探測技術(shù)已逐步走進(jìn)人們的日常安檢過程中。通過智能探測技術(shù)可以快速的將旅客行包進(jìn)行篩查，對禁止攜帶的物品進(jìn)行快速定位并甄別品類，對安檢員判讀起到輔助作用，減少因安檢員疲勞工作引起的漏檢等問題。

隨著安檢設(shè)備的迭代更新，針對行包檢查的CT設(shè)備逐漸應(yīng)用在多個場景中，CT設(shè)備呈現(xiàn)的圖像是三維的，可在不同方向上進(jìn)行旋轉(zhuǎn)，進(jìn)而可在多個角度上對旅客的行包進(jìn)行觀察，減少因物品重疊而導(dǎo)致誤判和漏檢的問題。與常見X射線安檢機(jī)一樣，CT設(shè)備上也應(yīng)用了目標(biāo)檢測算法對違禁品進(jìn)行智能輔助探測，但與普通X射線安檢機(jī)不同的是，為了確定目標(biāo)物的三維坐標(biāo)信息，需要在多個視角同時探測，將同一目標(biāo)物在多個視角下的探測結(jié)果進(jìn)行匹配與處理，最終得到目標(biāo)物的三維空間信息。常見的模板匹配等算法，往往對匹配目標(biāo)的空間位置變化要求較為苛刻，若圖像發(fā)生旋轉(zhuǎn)或大小變化則會對匹配結(jié)果產(chǎn)生較大影響。安檢圖像中的目標(biāo)物會由于觀測視角的不同而在圖像中呈現(xiàn)出角度和尺寸上的改變，這就對匹配過程提出了更高的要求。

為了能夠精準(zhǔn)匹配不同視角的目標(biāo)物，本文提出了一種基于相似性度量的方法，對每個目標(biāo)物在當(dāng)前視角下的探測結(jié)果進(jìn)行特征提取，并與其他視角同類別目標(biāo)物探測框進(jìn)行相似性評價，找到評價分?jǐn)?shù)最接近的目標(biāo)物，再經(jīng)過一系列邏輯判斷，確定兩者是否真正匹配，為后續(xù)的整合處理做準(zhǔn)備。

一、設(shè)計思路

（一）總體設(shè)計思路

目標(biāo)物匹配算法的工作原理如圖1所示。匹配過程輸入同一行包三個角度的探測結(jié)果，針對某類目標(biāo)物的匹配，首先使用視角1與視角3進(jìn)行匹配，其次使用視角1與視角2進(jìn)行匹配，若該類目標(biāo)物在兩次匹配過程中都匹配上且不存在未匹配上的情況，則結(jié)束匹配，若兩次都存在未匹配上的情況，則進(jìn)行視角2與視角3的匹配作為結(jié)果的補(bǔ)充，如圖1所示。

由算法原理圖可知，匹配的過程每次都是兩個視角進(jìn)行比較，具體工作流程如圖2所示。首先對兩個視角的目標(biāo)物探測框進(jìn)行相似性評價，通過尋找最小的評價分?jǐn)?shù)，確定初步匹配結(jié)果，即粗匹配過程，其次再進(jìn)行重疊處理，即需要判斷是否存在重復(fù)匹配的情況，若存在則需要將重復(fù)匹配的幾對目標(biāo)物挑選出來進(jìn)行重新匹配，最后對匹配結(jié)果進(jìn)行截斷處理，即通過將兩個視角目標(biāo)物的二維坐標(biāo)信息進(jìn)行比較，對差距較大的匹配結(jié)果進(jìn)行截斷，最終得到兩個視角的匹配結(jié)果。

（二）探測框的相似性評價方法

為了能夠量化不同視角探測框之間的匹配程度，本文設(shè)計了一種探測框的相似性評價方法，對探測框之間的相似程度進(jìn)行打分，分?jǐn)?shù)越低代表兩探測框差異越小，在空

間位置上越接近，代表同一目標(biāo)物的可能性越高。其主要的設(shè)計思想是對兩個不同探測框分別進(jìn)行特征提取，并對特征的相似性進(jìn)行評價，計算方法如公式（1）所示，具體包括對探測框的中心點(diǎn)位置信息（xcen,ycen）、寬高比w/h、置信度分?jǐn)?shù)score、探測框角點(diǎn)坐標(biāo)與圖信息（x1,w,y1,h,x2,w,y2,h）、探測框區(qū)域面積area共計5種特征進(jìn)行比較，并乘以不同權(quán)重進(jìn)行求和，作為兩探測框的相似性分?jǐn)?shù)。本文使用翻轉(zhuǎn)、調(diào)整圖像尺寸等方式使匹配的兩視角接近于同一空間，然后再進(jìn)行特征的提取，如圖3所示，具體計算方法如公式（2）至公式（8）所示。

由于不同特征對相似性評價分?jǐn)?shù)的貢獻(xiàn)并不一致，本文設(shè)計了不同權(quán)值以客觀反映其重要程度，α、β、γ、δ、ε分別為2、0.2、0.5、6、0.001。

在對探測框完成特征提取后，按類別兩兩進(jìn)行相似性評價分?jǐn)?shù)的計算，具體計算過程如圖4所示。

在評價分?jǐn)?shù)計算完畢后，通過查找視角A中的每個探測框?qū)?yīng)的最小分?jǐn)?shù)，即表1中每一豎列的最小值，并以該值所對應(yīng)的視角B探測框作為匹配對象，至此完成了粗匹配過程。

?

（三）結(jié)果中重疊匹配問題的處理

在使用相似性評價方法進(jìn)行粗匹配后，會存在一些“多對一”的情況，即視角A的多個探測框（記為重疊框）同時匹配上視角B的某個探測框。這是由于在粗匹配的過程中，探測框的匹配僅以評價分?jǐn)?shù)的大小來確定，并未考慮到兩個視角探測框的相對位置信息。為了解決“多對一”的情況，本文設(shè)計了兩種處理策略和一種“查驗(yàn)”機(jī)制。若每個重疊框都可以找到對應(yīng)的探測框，如圖4所示情況，使用策略1，通過相對位置確定各個重疊框具體對應(yīng)的探測框，先確定視角A重疊框的數(shù)量，記為m，然后對視角A上每個重疊框分別在視角B上找到評價分?jǐn)?shù)最接近的m個探測框，形成探測框集合Set，總共會有m個集合，Set1, Set2， …,Setm。若m個集合都相同，如圖5所示，則確定視角A的重疊框與集合Set中的探測框可以一一對應(yīng)，又因?yàn)橹丿B框與探測框之間的相對位置關(guān)系也一致，則可借此將兩者進(jìn)行對應(yīng)匹配。

當(dāng)集合不是完全一樣時，不能使用相對位置確定重疊框與探測框的匹配關(guān)系，此時使用策略2，即通過評價分?jǐn)?shù)最值來確定重疊框的匹配對象。先統(tǒng)計重疊框?qū)Ξ?dāng)前匹配框的所有評價分?jǐn)?shù)，找到分?jǐn)?shù)最小的重疊框作為匹配結(jié)果，對其他重疊框采用次最值的方法，以各自第二小的分?jǐn)?shù)對應(yīng)的框作為其匹配框。值得注意是，評價分?jǐn)?shù)的值一旦大于1，則匹配往往出現(xiàn)錯誤，因此在統(tǒng)計第二小的評價分?jǐn)?shù)時，一旦大于1，則舍棄當(dāng)前匹配結(jié)果。

通過上述方式在一定程度上大幅提高了匹配精度，但仍存在少量“多對一”的情況，對此，本文采用“查驗(yàn)”機(jī)制，對通過上述策略處理后的結(jié)果再次進(jìn)行“多對一”情況的統(tǒng)計，針對仍出現(xiàn)的重疊匹配問題，列出每對匹配結(jié)果的評價分?jǐn)?shù)，進(jìn)行升序排列，只保留分?jǐn)?shù)最小的匹配組合，其余的全部舍棄，減少因重疊匹配對后續(xù)操作的干擾。

（四）截斷原則

在粗匹配的過程中，探測框是以評價分?jǐn)?shù)為紐帶找到彼此的匹配對象，但由于缺少判斷機(jī)制，在某些情況下，即使兩探測框在空間中位置差距較大，因?yàn)榉謹(jǐn)?shù)最小原則兩者仍然會形成配對，這就會對匹配結(jié)果造成較大干擾。對此，本文設(shè)計了一種截斷機(jī)制，即對每個匹配組合進(jìn)行區(qū)域判斷，符合要求的保留，不符合的舍棄，如圖6所示。具體的截斷方法是，首先將視角A中探測框的左上角點(diǎn)G1映射到視角B上得到G2，在視角B上的G2點(diǎn)水平和豎直方向分別延展一定距離，若視角B的探測框左上點(diǎn)在G2的擴(kuò)展區(qū)域里，則判斷該匹配組合符合要求，若不在G2的擴(kuò)展區(qū)域里，則不符合要求，需要舍棄當(dāng)前匹配組合。在水平方向設(shè)置的基礎(chǔ)擴(kuò)展長度為視角B圖像寬度的1/3，豎直方向設(shè)置的基礎(chǔ)擴(kuò)展長度為視角B圖像高度的1/3。由于不同類別的物品尺寸不一，物品的密集松散程度也會影響判斷，因此不能所有物品都使用同樣的擴(kuò)展長度，需要根據(jù)行包內(nèi)物品的類別和密集程度，乘以不同的參數(shù)θ來進(jìn)行調(diào)節(jié)。

二、應(yīng)用效果

為了評測所提出方法的性能，本文使用CT設(shè)備采集了513張行包的三維圖像，其中每個行包中含有2～5個目標(biāo)物。評測過程中先將每個行包的三維圖像分別在視角1、視角2、視角3三個角度下進(jìn)行二維圖像采集，再將三張圖像分別輸入到目標(biāo)檢測模型中進(jìn)行探測，最后使用本算法將三個視角的探測結(jié)果進(jìn)行匹配。為了進(jìn)一步了解圖像中目標(biāo)物的匹配情況，本文將匹配結(jié)果進(jìn)行可視化，如圖7所示，并統(tǒng)計匹配結(jié)果如表2所示，并以公式（11）和公式（12）分別計算匹配查全率和匹配查準(zhǔn)率。

?

經(jīng)過計算，本文所提出的算法對目標(biāo)物的匹配查全率為99.77%，匹配查準(zhǔn)率為99.08%，可以對不同視角下的目標(biāo)物實(shí)現(xiàn)精準(zhǔn)匹配。

三、結(jié)語

本文介紹了一種安檢圖像的匹配算法，對其工作流程，匹配原理作了詳細(xì)介紹，并應(yīng)用其進(jìn)行了實(shí)際測試，結(jié)果表明，該算法的應(yīng)用可以解決多個視角的目標(biāo)物匹配問題，能夠?yàn)镃T的智能探測功能提供強(qiáng)有力的技術(shù)保障。預(yù)計隨著安檢CT設(shè)備使用數(shù)量的不斷增加，安檢圖像的匹配算法也即將投入到生產(chǎn)應(yīng)用中，還會面對更多復(fù)雜的實(shí)際場景，還要不斷調(diào)整以適應(yīng)環(huán)境，增加人工復(fù)核等模塊，減少因未匹配情況影響準(zhǔn)確性的問題。