旅客多模態(tài)識(shí)別在機(jī)場(chǎng)安檢中的應(yīng)用

甄軍平，張平

（1.民航成都電子技術(shù)有限責(zé)任公司，成都610041；2.中國(guó)民用航空總局第二研究所，成都610041）

0 引言

近年來，我國(guó)民航事業(yè)迅速發(fā)展壯大，航班起降架次、旅客及貨物吞吐量均呈現(xiàn)出快速增長(zhǎng)，無形中也為機(jī)場(chǎng)安檢工作帶來挑戰(zhàn)。例如隨著民航安檢難度提升，陳舊的安檢系統(tǒng)不堪重負(fù)，排隊(duì)耗時(shí)增加拉低了整體的服務(wù)質(zhì)量，不少旅客由此提出建議甚至投訴[1]。所以如何解決這一日益加劇的安檢問題，成為機(jī)場(chǎng)工作不得不面臨的難題?？傮w來看，各機(jī)場(chǎng)都在嘗試著安檢模式的創(chuàng)新和改變，例如開設(shè)女性通道、無行李通道，等等，然而這些改變治標(biāo)不治本，難以從根本上解決現(xiàn)狀，后續(xù)改革任重道遠(yuǎn)?；诖?，本文提出結(jié)合人臉識(shí)別與人體識(shí)別的旅客多模態(tài)識(shí)別方法，從而為構(gòu)建智慧安檢、智慧通關(guān)的智慧機(jī)場(chǎng)提供技術(shù)支撐。

1 國(guó)內(nèi)外應(yīng)用現(xiàn)狀

1.1 人臉識(shí)別技術(shù)在機(jī)場(chǎng)中的應(yīng)用

人臉識(shí)別技術(shù)在國(guó)內(nèi)機(jī)場(chǎng)的探索已有10多年的時(shí)間，但大規(guī)模應(yīng)用卻在近五年。2014年7月，南京祿口機(jī)場(chǎng)首次將人臉識(shí)別技術(shù)應(yīng)用于機(jī)場(chǎng)登機(jī)，然而在技術(shù)相對(duì)欠缺的時(shí)代，這一技術(shù)僅限于顯示旅客信息，尚不能實(shí)現(xiàn)自動(dòng)通關(guān)。此后各個(gè)地區(qū)的機(jī)場(chǎng)都進(jìn)行了為數(shù)不少的人臉識(shí)別系統(tǒng)驗(yàn)證，摸索適合機(jī)場(chǎng)應(yīng)用的方式。2016年7月，深圳寶安機(jī)場(chǎng)首次將人臉識(shí)別系統(tǒng)嵌入到機(jī)場(chǎng)安檢信息系統(tǒng)，標(biāo)志著人臉識(shí)別技術(shù)已經(jīng)被機(jī)場(chǎng)所接納。

通過人臉識(shí)別系統(tǒng)的建設(shè)對(duì)機(jī)場(chǎng)而言，最直觀的提升便在于預(yù)防能力[2]。例如動(dòng)態(tài)布控系統(tǒng)實(shí)現(xiàn)“黑名單”主動(dòng)預(yù)警；人證合一檢測(cè)系統(tǒng)可遏制不法分子企圖通過冒用證件、偽造證件等途徑混入機(jī)場(chǎng)控制區(qū)的違法行為；登機(jī)口旅客人臉識(shí)別彌補(bǔ)了傳統(tǒng)機(jī)場(chǎng)安防系統(tǒng)中“換牌登機(jī)”的漏洞，同時(shí)也避免出現(xiàn)旅客上錯(cuò)飛機(jī)的現(xiàn)象。雖然優(yōu)勢(shì)諸多，但是仍未實(shí)現(xiàn)旅客無感身份核驗(yàn)以及對(duì)安檢區(qū)域內(nèi)人員的感知。

1.2 行人重識(shí)別技術(shù)在安防中的應(yīng)用

行人重識(shí)別（Person re-Identification，ReID）技術(shù)是利用計(jì)算機(jī)視覺技術(shù)判斷圖像或者視頻序列中是否存在特定行人的技術(shù)，能夠通過跨設(shè)備下的行人圖像的顏色、紋理、布局及圖像中人物的衣著、發(fā)型、體態(tài)、姿態(tài)等進(jìn)行分析和檢索的圖像檢索技術(shù)，主要用于彌補(bǔ)固定攝像頭人臉識(shí)別的視覺局限[3]。行人重識(shí)別主要是通過特征提取和度量學(xué)習(xí)的方式應(yīng)對(duì)在不同攝像頭下行人變化的特征，將學(xué)習(xí)到的特征映射到新的空間使相同的人更近不同的人更遠(yuǎn)。目前，行人重識(shí)別技術(shù)主要用于交通卡口和安防尋人系統(tǒng)，在機(jī)場(chǎng)的應(yīng)用尚屬空白。

2 旅客多模態(tài)綜合識(shí)別技術(shù)實(shí)現(xiàn)

2.1 旅客模態(tài)數(shù)據(jù)的預(yù)處理

由于安檢通道中旅客數(shù)量的海量性和冗余性，在采集的旅客模態(tài)信息中會(huì)包含大量重復(fù)和無效旅客模態(tài)信息，這些信息構(gòu)成了臟數(shù)據(jù)，同時(shí)浪費(fèi)了大量存儲(chǔ)空間，本文采用網(wǎng)格化的空間模型和感興趣事件觸發(fā)的機(jī)制。因此，在獲取旅客模態(tài)信息前制定觸發(fā)器，在旅客進(jìn)入網(wǎng)格空間后，以事件觸發(fā)的方式對(duì)旅客模態(tài)信息預(yù)處理，本節(jié)主要采用以下步驟，如圖1所示。

圖1 旅客模態(tài)數(shù)據(jù)的預(yù)處理流程

（1）基于安檢通道的建設(shè)標(biāo)準(zhǔn)，計(jì)算安檢通道網(wǎng)格化單元邊長(zhǎng)，對(duì)安檢通道的入口區(qū)域進(jìn)行網(wǎng)格化處理，劃定ROI區(qū)域。

（2）通過識(shí)讀旅客登機(jī)牌、身份證件采集旅客基本信息。

（3）根據(jù)旅客自助驗(yàn)證登機(jī)牌和身份證件信息的傳感信息觸發(fā)攝像機(jī)采集ROI區(qū)域的旅客信息；

（4）對(duì)旅客ROI區(qū)域的旅客照片做模態(tài)分析，提取旅客的屬性特征值，包含性別、年齡、是否戴眼鏡、著裝顏色等。

（5）去除多余旅客模態(tài)信息。

由于安檢入口旅客比較密集，可能存在多個(gè)旅客進(jìn)入攝像機(jī)采集范圍，導(dǎo)致生成的旅客模態(tài)數(shù)據(jù)包含多個(gè)旅客的模態(tài)信息。因此，需要進(jìn)行旅客模態(tài)數(shù)據(jù)的預(yù)處理，剔除無效旅客模態(tài)數(shù)據(jù)。

（6）將旅客模態(tài)屬性與旅客證件信息進(jìn)行關(guān)聯(lián)，以關(guān)聯(lián)后的信息創(chuàng)建旅客綜合識(shí)別結(jié)構(gòu)化數(shù)據(jù)集（人臉數(shù)據(jù)、模態(tài)屬性數(shù)據(jù)集、身份證件信息數(shù)據(jù)集、訂座信息等）并存儲(chǔ)與數(shù)據(jù)庫(kù)。

2.2 人臉特征匹配流程

對(duì)于人臉特征匹配，主要用于當(dāng)前正在識(shí)別目標(biāo)的人臉特征與數(shù)據(jù)庫(kù)中緩存的多個(gè)特征進(jìn)行1:N的匹配。具體的匹配過程如下：

（1）對(duì)輸入的人臉特征feature1，特征feature2通過相似度算法進(jìn)行特征匹配，計(jì)算出相似度；

（2）判斷向量feature1和feature2是否相等：如果不相等，直接返回0。判斷feature1和feature2的向量長(zhǎng)度是否為0，如果其中存在長(zhǎng)度為0的向量，返回0；

（3）根據(jù)輸入的matchMethod進(jìn)行特征向量相似度匹配。Cos-余弦相似度匹配：不需要對(duì)向量進(jìn)行歸一化。Euc-歐氏距離相似度匹配：需要進(jìn)行歸一化操作。后期可以對(duì)比不同的相似度匹配算法對(duì)人臉識(shí)別和人體識(shí)別精度的影響。

（4）輸出算法輸出結(jié)果為當(dāng)前識(shí)別與數(shù)據(jù)庫(kù)中每一個(gè)人的人臉特征向量的相似度；

（5）選取相似度最高的比對(duì)結(jié)果作為人臉識(shí)別最終相似度進(jìn)行反饋。

2.3 人體特征匹配流程

同人臉特征匹配過程類似，用于當(dāng)前正在識(shí)別目標(biāo)的人臉特征與數(shù)據(jù)庫(kù)中緩存的多個(gè)特征進(jìn)行1:N的匹配。具體的匹配過程如下：

（1）對(duì)輸入的人體特征featureA，featureB通過相似度算法進(jìn)行特征匹配，計(jì)算出相似度；

（2）判斷向量featureA和featureB是否相等，如果不相等，直接返回0。判斷featureA和featureB的向量長(zhǎng)度是否為0，如果其中存在長(zhǎng)度為0的向量，返回0；

（3）根據(jù)輸入的matchMethod進(jìn)行特征向量相似度匹配。Cos-余弦相似度匹配：不需要對(duì)向量進(jìn)行歸一化。Euc-歐氏距離相似度匹配：需要進(jìn)行歸一化操作。后期可以對(duì)比不同的相似度匹配算法對(duì)人臉識(shí)別和人體識(shí)別精度的影響。

（4）輸出算法輸出結(jié)果為當(dāng)前識(shí)別與數(shù)據(jù)庫(kù)中每一個(gè)人的人體特征向量的相似度；

（5）選取相似度最高的比對(duì)結(jié)果作為行人重識(shí)別最終相似度進(jìn)行反饋。

2.4 旅客多模態(tài)融合識(shí)別方法

對(duì)人臉和人體特征向量的提取后通過單一的人臉識(shí)別或人體識(shí)別是比較成熟的算法，但對(duì)于人臉和人體進(jìn)行綜合評(píng)價(jià)識(shí)別旅客，目前沒有成熟的案例，因此，本文通過對(duì)常用的目標(biāo)對(duì)象識(shí)別方法進(jìn)行理論分析，總結(jié)各方法優(yōu)缺點(diǎn)，將目標(biāo)對(duì)象轉(zhuǎn)化為n維的特征向量，兩個(gè)同類目標(biāo)的特征向量之間的余弦距離大于某閾值可認(rèn)為是同一目標(biāo)，本文對(duì)旅客多模態(tài)識(shí)別中，將旅客整體作為一個(gè)目標(biāo)對(duì)象，旅客人臉作為目標(biāo)對(duì)象的其中一個(gè)識(shí)別維度，借助以匈牙利匹配算法和卡爾曼濾波預(yù)測(cè)法進(jìn)行旅客單攝像頭跟蹤和跨鏡跟蹤，以此訓(xùn)練出新的旅客人體識(shí)別模型，通過多因子集合評(píng)價(jià)方法實(shí)現(xiàn)多模態(tài)旅客綜合識(shí)別（本文中僅考慮了人臉特征和人體特征匹配結(jié)果的融合）。其主要處理流程如圖2。

圖2 旅客多模態(tài)特征提取流程

圖3為基于人臉特征與人體特征兩種影響因子的綜合模糊評(píng)判算法過程。

圖3 多模態(tài)綜合識(shí)別原理

第一步：對(duì)輸入的人臉和人體比對(duì)的結(jié)果進(jìn)行預(yù)處理，按置信度由高到低進(jìn)行重新排序；

第二步：按預(yù)設(shè)置信度閾值移除低于置信度閾值的比對(duì)結(jié)果；

第三步：判斷兩個(gè)列表的長(zhǎng)度，如果兩個(gè)列表長(zhǎng)度均為0，結(jié)束本次融合；如果其中一個(gè)長(zhǎng)度為0，另一個(gè)長(zhǎng)度不為0，取不為0的列表top1作為識(shí)別結(jié)果，如果兩個(gè)列表的長(zhǎng)度同時(shí)大于等于1進(jìn)入第4步；

第四步：運(yùn)用模糊綜合評(píng)判法，首先確定人臉和人體識(shí)別各自的因素比重，然后生成單因素模糊評(píng)價(jià)矩陣，再次，將單因素評(píng)價(jià)舉證合并為綜合模糊評(píng)價(jià)矩陣，利用矩陣乘法最小值算子將權(quán)重矩陣和綜合模糊評(píng)價(jià)矩陣相乘，得出模糊綜合評(píng)價(jià)結(jié)果，最后以模糊綜合評(píng)價(jià)結(jié)果最高者為融合結(jié)果。

本報(bào)告中主要研究將人臉模態(tài)信息、人體模態(tài)信息進(jìn)行融合，進(jìn)行綜合判斷旅客身份。本系統(tǒng)采用基于匹配層的融合架構(gòu)，具體融合方法為基于模糊綜合評(píng)價(jià)法的多模態(tài)融合方法。

模糊綜合評(píng)價(jià)法是一種基于模糊數(shù)學(xué)的綜合評(píng)價(jià)方法。該綜合評(píng)價(jià)法根據(jù)模糊數(shù)學(xué)的隸屬度理論把定性評(píng)價(jià)轉(zhuǎn)化為定量評(píng)價(jià)，即用模糊數(shù)學(xué)對(duì)受到多種因素制約的事物或?qū)ο笞龀鲆粋€(gè)總體的評(píng)價(jià)。它具有結(jié)果清晰，系統(tǒng)性強(qiáng)的特點(diǎn)，能較好地解決模糊的、難以量化的問題，適合各種非確定性問題的解決。

基于模糊綜合評(píng)價(jià)法的多模態(tài)融合方法算法步驟為：

（1）確定因素集合為U={u1,u2}，其中u1為人臉，u2為人體。

（2）確定各因素的權(quán)重向量W=(w1,w2)。

（5）對(duì)多指標(biāo)綜合評(píng)價(jià)結(jié)果進(jìn)行對(duì)比，得出多模態(tài)識(shí)別結(jié)果。

2.5 基于模糊綜合評(píng)判的特征融合識(shí)別

要將兩種不同維度的特征進(jìn)行過濾、融合，并為后續(xù)業(yè)務(wù)決策（綁定）提供依據(jù)，必須考慮在融合體制下各自對(duì)整個(gè)融合算法造成的影響因子。本文才用模糊綜合評(píng)價(jià)的方法，來解決人臉、人體等多個(gè)特征影響因子下，計(jì)算出旅客的識(shí)別度這一綜合評(píng)判結(jié)果。

模糊綜合評(píng)價(jià)是工程模糊系統(tǒng)的基本方法，很多研究者把它用到了多個(gè)領(lǐng)域的綜合評(píng)價(jià)問題中例如在專家評(píng)分系統(tǒng)、質(zhì)量控制、業(yè)績(jī)?cè)u(píng)估、天氣預(yù)報(bào)、醫(yī)療診斷、經(jīng)濟(jì)管理、心理測(cè)量等領(lǐng)域。

2.6 旅客多模態(tài)融合測(cè)試及驗(yàn)證

為了驗(yàn)證多模態(tài)旅客綜合識(shí)別系統(tǒng)的有效性，我們進(jìn)行了現(xiàn)場(chǎng)試驗(yàn)，針對(duì)旅客通過安檢的多種可能情景進(jìn)行了試驗(yàn)。主要測(cè)試了如下三種情況：

（1）正常安檢多模態(tài)識(shí)別：旅客在進(jìn)行識(shí)別時(shí)，人臉、人體姿態(tài)正常。

（2）人臉姿態(tài)異常多模態(tài)識(shí)別：旅客在安檢時(shí)埋頭整理行李造成旅客人臉姿態(tài)異常。這種情況下，傳統(tǒng)人臉識(shí)別無法正常識(shí)別旅客身份。

（3）面部遮擋多模態(tài)識(shí)別：旅客在安檢時(shí)存在面部遮擋問題，最常見的為戴口罩。這種情況下，傳統(tǒng)人臉識(shí)別無法正常識(shí)別旅客身份。

圖4、圖5、圖6，分別為以上三種情況的識(shí)別結(jié)果。在軟件界面中，數(shù)據(jù)庫(kù)中最相似人臉、數(shù)據(jù)庫(kù)中最相似人體是根據(jù)多模態(tài)旅客綜合識(shí)別算法識(shí)別出的數(shù)據(jù)庫(kù)中與待識(shí)別旅客最相似的人臉、人體。

圖4 正常安檢多模態(tài)識(shí)別

圖5 人臉姿態(tài)異常多模態(tài)識(shí)別

圖6 戴口罩多模態(tài)識(shí)別

由識(shí)別結(jié)果可知，多模態(tài)旅客綜合識(shí)別算法可以應(yīng)對(duì)一般旅客身份識(shí)別。同時(shí)多模態(tài)旅客綜合識(shí)別算法可以完成多種異常情況下的旅客身份識(shí)別，優(yōu)于傳統(tǒng)人臉識(shí)別算法。

2.7 融合識(shí)別技術(shù)的試驗(yàn)結(jié)果

從表1可以看出，人臉識(shí)別在配合情況下，識(shí)別率高，但通行效率較低；在非配合情況下，難以檢測(cè)到清晰的“正臉”，人臉識(shí)別率較低（低于50%），而人體識(shí)別一定程度上補(bǔ)充了無法采集人臉數(shù)據(jù)情況下的旅客身份識(shí)別，但在旅客更換衣服、大面積遮擋等情況下依然無法識(shí)別，綜合上述兩種識(shí)別技術(shù)應(yīng)用與安檢場(chǎng)景，可實(shí)現(xiàn)對(duì)旅客的多模態(tài)綜合識(shí)別，顯著提高了旅客身份的識(shí)別率。

表1 身份識(shí)別識(shí)別率

3 存在的問題

由于本文中旅客識(shí)別的安檢通道室內(nèi)空間模型采用常規(guī)的正四邊形進(jìn)行分割，攝像頭視角存在畸變，得到的模型精度不夠理想。在機(jī)場(chǎng)安檢環(huán)境中，ReID的識(shí)別率和識(shí)別精度受相機(jī)角度、旅客姿態(tài)等諸多因素影響，誤差比較大；其次，本文所描述的旅客多模態(tài)綜合識(shí)別采集的識(shí)別源較少，在今后的實(shí)際應(yīng)用中存在識(shí)別精度問題；最后，由于ReID技術(shù)尚處于起步階段，技術(shù)尚不成熟，因此對(duì)于多模態(tài)的旅客綜合識(shí)別技術(shù)的應(yīng)用，有待進(jìn)一步深入驗(yàn)證。

4 結(jié)語(yǔ)

隨著人工智能技術(shù)的日益精進(jìn)，多種行人識(shí)別的無縫融合，為滿足日常安防全的需求，行人跨鏡識(shí)別技術(shù)和基于人工智能的圖像識(shí)別成為國(guó)內(nèi)外研究的熱點(diǎn)。同時(shí)，隨著人們對(duì)優(yōu)質(zhì)服務(wù)需求的與日俱增。然而，在機(jī)場(chǎng)復(fù)雜的安檢環(huán)境中對(duì)旅客的實(shí)時(shí)識(shí)別和跟蹤成為了旅客無感自助安檢的技術(shù)難點(diǎn)之一。因此，本文主要基于ReID的旅客跨鏡識(shí)別技術(shù)，提出了一種旅客多模態(tài)識(shí)別方案。采用人臉識(shí)別和人體識(shí)別實(shí)現(xiàn)在有限空間對(duì)旅客識(shí)別，簡(jiǎn)化旅客在安檢通道中識(shí)別的復(fù)雜度。