基于多算法融合的靜態(tài)人像比對(duì)平臺(tái)的探究

劉敏

摘要：伴隨著經(jīng)濟(jì)社會(huì)發(fā)展而產(chǎn)生的龐大流動(dòng)人口，特定人員的排查問(wèn)題日趨復(fù)雜和多樣，人像比對(duì)技術(shù)已成為維護(hù)國(guó)家安全和社會(huì)穩(wěn)定的重要手段。針對(duì)目前人像比對(duì)技術(shù)的實(shí)際應(yīng)用現(xiàn)狀，提出一種多算法融合的模型，將多個(gè)算法模型統(tǒng)一到一個(gè)展示系統(tǒng)，更好地為用戶提供技術(shù)服務(wù)支撐。探索了基于算法模型融合的人像比對(duì)平臺(tái)的總體架構(gòu)以及主要功能模塊。

關(guān)鍵詞：算法融合;人像比對(duì)

一、引言

隨著社會(huì)經(jīng)濟(jì)的高速發(fā)展以及城鎮(zhèn)化進(jìn)程的加快，龐大的流動(dòng)人口中特定人員的排查，成為目前社會(huì)面臨的重要課題。人臉識(shí)別系統(tǒng)已成為維護(hù)社會(huì)穩(wěn)定與國(guó)家安全的重要工具和手段。但是，面對(duì)治安防控、反恐維穩(wěn)、社會(huì)管理等形勢(shì)的發(fā)展要求，目前視頻監(jiān)控系統(tǒng)在監(jiān)控點(diǎn)位的覆蓋率和專業(yè)性等方面還有很大差距，從海量的視頻資源中查找特定人員，費(fèi)時(shí)費(fèi)力，亟需一套比對(duì)效率強(qiáng)、業(yè)務(wù)功能豐富的人像比對(duì)分析系統(tǒng)。[1]

二、人像比對(duì)技術(shù)現(xiàn)狀分析

隨著深度學(xué)習(xí)、計(jì)算機(jī)視覺(jué)等技術(shù)推進(jìn)人像比對(duì)技術(shù)的不斷發(fā)展進(jìn)步，實(shí)時(shí)人像采集和匹配識(shí)別的準(zhǔn)確性也越來(lái)越高。人像比對(duì)技術(shù)存在自然性、非接觸性、非強(qiáng)制性、并發(fā)性等優(yōu)勢(shì)特點(diǎn)，大量平安城市的建設(shè)及社會(huì)高清監(jiān)控的普及，為人像比對(duì)平臺(tái)的應(yīng)用提供了大量的數(shù)據(jù)采集來(lái)源，使得人像比對(duì)技術(shù)得以不斷發(fā)展，但也存在平臺(tái)建設(shè)瓶頸。選擇哪一款人像比對(duì)算法成為信息化建設(shè)部門必須面對(duì)的一個(gè)問(wèn)題。目前常用的選擇依據(jù)主要有：

考察案例：實(shí)地考察和調(diào)研各個(gè)算法的建設(shè)應(yīng)用情況，可以很好的屏蔽掉部分算法的夸大宣傳，但是考察時(shí)間一般較短，往往不能全面的體驗(yàn)實(shí)際性能和實(shí)戰(zhàn)效果;

產(chǎn)品PK測(cè)試：讓多個(gè)算法模型同時(shí)參與pk測(cè)試，可以直觀的體驗(yàn)各算法模型的優(yōu)劣，而且隨著測(cè)試時(shí)間增加對(duì)模型的體驗(yàn)也會(huì)越深，不過(guò)這種選型方式的時(shí)間周期會(huì)很長(zhǎng)，而且投入大量的人力和物力，并且存在測(cè)試樣本小的缺陷，與實(shí)際應(yīng)用存在較大差距;

建設(shè)多套人像比對(duì)系統(tǒng)：將較好的幾種算法模型同時(shí)部署到應(yīng)用系統(tǒng)中，讓用戶根據(jù)使用習(xí)慣和實(shí)際使用效果自己選擇合適的算法。這樣做的缺點(diǎn)一是建設(shè)成本較高，而且會(huì)人為的造成數(shù)據(jù)壁壘，不能統(tǒng)一管理和統(tǒng)一展示，也不能直觀的進(jìn)行優(yōu)劣比較。[2]

不管采用哪種選型方式，都有相應(yīng)的不足之處，所以將多個(gè)不同算法模型融合成為必然所趨。

三、人像多算法融合模型系統(tǒng)的提出

人像多算法融合模型系統(tǒng)將多個(gè)算法模型統(tǒng)一到一個(gè)展示系統(tǒng)，既解決了不同算法軟件不能統(tǒng)一界面登錄的問(wèn)題，也解決了不同算法模型特征數(shù)據(jù)和人臉數(shù)據(jù)不能共享比對(duì)的問(wèn)題;人像多算法融合模型系統(tǒng)同時(shí)可以將各算法的使用結(jié)果通過(guò)積分模型進(jìn)行展示和統(tǒng)計(jì)，為人像比對(duì)平臺(tái)的持續(xù)性建設(shè)提供更可靠的數(shù)據(jù)支撐，同時(shí)解決調(diào)研周期時(shí)間長(zhǎng)的問(wèn)題;人像多算法融合模型系統(tǒng)可以多級(jí)分別獨(dú)自應(yīng)用，實(shí)現(xiàn)流程和業(yè)務(wù)數(shù)據(jù)管理的一致性和應(yīng)用的協(xié)同、結(jié)果的統(tǒng)一展示。另外，人像多算法融合模型可以實(shí)現(xiàn)統(tǒng)一規(guī)劃、多級(jí)部署的架構(gòu)，可以將人像比對(duì)平臺(tái)納入統(tǒng)一建設(shè)規(guī)范，避免重復(fù)建設(shè)現(xiàn)象。[3]

相比單一的算法模型，多算法模型具備以下優(yōu)勢(shì)：

（一）支持在同一個(gè)平臺(tái)中同時(shí)部署多個(gè)人像比對(duì)算法模型，而且多個(gè)算法模型之間業(yè)務(wù)流程和數(shù)據(jù)是統(tǒng)一的，可以很好解決同一平臺(tái)多個(gè)算法模型同時(shí)部署時(shí)的數(shù)據(jù)孤島現(xiàn)象。

（二）支持對(duì)各個(gè)算法模型進(jìn)行結(jié)果積分或費(fèi)用統(tǒng)計(jì)，有利于算法模型的技術(shù)改進(jìn)，以及對(duì)用戶進(jìn)行技術(shù)培訓(xùn)，同時(shí)對(duì)長(zhǎng)期規(guī)劃提供科學(xué)、嚴(yán)謹(jǐn)?shù)臄?shù)據(jù)依據(jù)和支撐。

（三）對(duì)人像比對(duì)平臺(tái)建設(shè)有“統(tǒng)籌規(guī)劃、統(tǒng)一管理”的效果，避免分別建設(shè)造成人物數(shù)據(jù)割裂，有利于大數(shù)據(jù)的整合和研判應(yīng)用。

（四）多算法融合模式對(duì)其余算法模型的有利影響。多算法融合模型不再同時(shí)提供單一的算法模型，可保證積分模型的公正性，各個(gè)不同的算法模型軟件統(tǒng)一搭建在多算法模型系統(tǒng)管理的計(jì)算資源群中，力圖使各算法模型的建設(shè)硬件環(huán)境一致，保證各個(gè)算法模型能夠在同一環(huán)境下使用。

綜上所述，多算法融合模型可以對(duì)各算法模型使用結(jié)果進(jìn)行數(shù)據(jù)統(tǒng)計(jì)，這既有利于了解各算法模型的優(yōu)缺點(diǎn)，從而對(duì)算法進(jìn)行有針對(duì)性的優(yōu)化改良，也能讓信息化建設(shè)部門對(duì)算法模型的引進(jìn)更加理性和科學(xué)，更好地為用戶提供技術(shù)服務(wù)支撐。

四、基于算法模型融合的人像比對(duì)平臺(tái)的探究和路徑

基于多種算法模型相融合的靜態(tài)人像比對(duì)平臺(tái)的現(xiàn)實(shí)路徑就是，提供集成人像比對(duì)算法模型的接口，支持第三方算法模型的接入，通過(guò)高效并行的多算法模型調(diào)度機(jī)制，實(shí)現(xiàn)高效的人像檢測(cè)和識(shí)別比對(duì)，快速識(shí)別辨別特定人員真實(shí)身份，把過(guò)去人工排查海量的視頻圖像資源比對(duì)需求變成現(xiàn)實(shí)，從而有效的為視頻偵查、治安管理等工作提供實(shí)踐上的有效幫助和解決方法。

系統(tǒng)平臺(tái)的設(shè)計(jì)和研究總體遵循以下原則：先進(jìn)性和實(shí)用性原則、標(biāo)準(zhǔn)化和資源共享原則、智能性和高效性、高可靠性和穩(wěn)定性原則。人像比對(duì)平臺(tái)的建設(shè)以“高精度識(shí)別、高性能處理、統(tǒng)一標(biāo)準(zhǔn)服務(wù)、突出實(shí)戰(zhàn)、加強(qiáng)資源共享”為原則，強(qiáng)化頂層設(shè)計(jì)和規(guī)劃，提供技術(shù)先進(jìn)、性能可靠、信息安全、易用性強(qiáng)的綜合人像比對(duì)應(yīng)用系統(tǒng)，滿足新形勢(shì)下的公共安全領(lǐng)域的應(yīng)用。

（一）總體架構(gòu)設(shè)計(jì)

1.從應(yīng)用層面，人像比對(duì)平臺(tái)分為原始數(shù)據(jù)層、大數(shù)據(jù)層、云服務(wù)層和應(yīng)用層。

原始數(shù)據(jù)層是整個(gè)系統(tǒng)的數(shù)據(jù)支撐層，為人像比對(duì)平臺(tái)提供基礎(chǔ)數(shù)據(jù)，包括各類基礎(chǔ)人員庫(kù)以及其他采集來(lái)的圖像資源;

大數(shù)據(jù)層是系統(tǒng)建設(shè)的個(gè)人信息庫(kù)、人員分類庫(kù)等用于比對(duì)服務(wù)的各類庫(kù);

云服務(wù)層提供多算法比對(duì)等服務(wù)，為系統(tǒng)提供對(duì)外的統(tǒng)一接口服務(wù);

應(yīng)用層最終向用戶提供基于多算法模型架構(gòu)的各種業(yè)務(wù)功能，包括人像比對(duì)服務(wù)、人像比對(duì)門戶等。

2.從邏輯層面，人像比對(duì)平臺(tái)分為系統(tǒng)支撐層、數(shù)據(jù)通信層、業(yè)務(wù)邏輯層和應(yīng)用展示層。

系統(tǒng)支撐層主要是JDK、數(shù)據(jù)庫(kù)等系統(tǒng)應(yīng)用軟件;

數(shù)據(jù)通信層進(jìn)行人員圖片的采集、分析和存儲(chǔ);

業(yè)務(wù)邏輯層針對(duì)人員圖片進(jìn)行特征值獲取和比對(duì)的算法服務(wù);

應(yīng)用展示層最終向用戶提供基于多引擎架構(gòu)的各種業(yè)務(wù)功能。

（二）主要功能模塊

1.人員基礎(chǔ)庫(kù)

（1）個(gè)人全要素庫(kù)

要建立統(tǒng)一的個(gè)人全要素庫(kù)，實(shí)現(xiàn)不同類別人員的建檔，同時(shí)關(guān)聯(lián)個(gè)人其他信息，實(shí)現(xiàn)人員的多維度管理。其作用是為用戶提供“靜態(tài)比對(duì)”等功能提供個(gè)人基礎(chǔ)特征數(shù)據(jù)信息。

人員全要素庫(kù)的內(nèi)容應(yīng)包括：人員身份信息、戶籍信息、居住信息、虛擬身份信息（QQ、微信號(hào)等）、手機(jī)信息（手機(jī)號(hào)、IMEI、IMSI、MAC等）、擁有的車輛信息、人員分類信息、人臉照片與人臉特征庫(kù)。

（2）人臉數(shù)據(jù)與人臉基礎(chǔ)特征庫(kù)

人臉數(shù)據(jù)與人臉基礎(chǔ)特征庫(kù)的內(nèi)容應(yīng)包括：身份證件照片、視頻監(jiān)控抓取照片、其他來(lái)源照片等。

（3）人員通行庫(kù)

人員通行數(shù)據(jù)庫(kù)的內(nèi)容應(yīng)包括：人證核驗(yàn)檢查站照片、機(jī)場(chǎng)安檢人證核驗(yàn)照片、車輛卡口人臉照片、人員卡口人臉照片、視頻監(jiān)控人臉照片等，并應(yīng)支持時(shí)間、地點(diǎn)、人臉照片三要素的互相關(guān)聯(lián)。

2.人員檔案管理

支持新增人員信息，支持批量導(dǎo)入人口信息;

手工錄入：個(gè)別人員信息;

文件導(dǎo)入：中小規(guī)模人員信息，支持CSV/EXCEL文件格式;

數(shù)據(jù)庫(kù)同步：大規(guī)模數(shù)據(jù)導(dǎo)入，支持oracle及oracle的dump文件。

3.人員詳細(xì)信息

人員檔案庫(kù)關(guān)聯(lián)人員身份信息、戶籍信息、圖片信息、出行信息、住宿信息、通訊信息等。

人員信息：關(guān)聯(lián)人員身份信息、戶籍信息等。

出行信息：購(gòu)票實(shí)名制的落實(shí)使獲取到的出行信息更準(zhǔn)確，利用價(jià)值更高。

通訊信息：通過(guò)（IMEI/IMSI）基站/偽基站信息，可關(guān)聯(lián)到手機(jī)號(hào)碼并獲取機(jī)主信息及其通訊信息。

圖片信息：人員檔案建立過(guò)程中可不斷完善人員圖片信息，支持抓拍圖、自拍照、證件照等相片信息的管理及查詢比對(duì)。

4.身份核查

將目標(biāo)人員圖片在設(shè)置的人像比對(duì)參數(shù)下，依據(jù)多引擎調(diào)度系統(tǒng)中已添加的算法庫(kù)，與系統(tǒng)中已經(jīng)建立的目標(biāo)人臉庫(kù)進(jìn)行比對(duì)。比對(duì)結(jié)果能夠按照一定的條件進(jìn)行展示，且能夠查詢結(jié)果中人員的詳細(xì)信息，并對(duì)目標(biāo)人員執(zhí)行命中操作。

（1）人員比對(duì)

系統(tǒng)提供多樣化的比對(duì)方式，支持單選或多選要比對(duì)的人員庫(kù)。

①兩張照片或者一組照片是否為同一人的判定

1：1模式：兩張照片互相比對(duì)，給出相似度;

1：1：1…模式：一組照片比對(duì)，給出聚類，相似的分為一組;

②單張照片身份識(shí)別

1：N模式：支持證件照、抓拍照、手機(jī)照、自拍照

③批量比對(duì)

M：N模式：批量導(dǎo)入人像照片進(jìn)行比對(duì)，同一人比對(duì)為多個(gè)1：N的結(jié)果按照相似度從高到底排序;非同一人比對(duì)分為M個(gè)1：N，M個(gè)1：1，M個(gè)人員預(yù)警。

④不明身份人員入庫(kù)比對(duì)

不明身份人員和大庫(kù)比對(duì)以確認(rèn)身份;

⑤不明身份人員內(nèi)部比對(duì)（串并比對(duì)）

不明身份人員和不明身份人員庫(kù)比對(duì);不明身份人員和布控人員庫(kù)人員比對(duì)。

（2）人員詳細(xì)信息查詢

系統(tǒng)支持對(duì)比對(duì)結(jié)果列表中的人員進(jìn)行人口信息一鍵查詢，可關(guān)聯(lián)到該人員的身份信息、戶籍信息、通訊信息以及各種照片信息，提升工作效率，簡(jiǎn)化工作流程。

（3）手機(jī)客戶端應(yīng)用

系統(tǒng)支持手機(jī)現(xiàn)場(chǎng)拍照回傳到平臺(tái)進(jìn)行比對(duì)核查，并返回結(jié)果給手機(jī)客戶端。可通過(guò)網(wǎng)絡(luò)傳輸?shù)较到y(tǒng)人員庫(kù)做比對(duì)，迅速查明人員真實(shí)身份。

5.多算法管理模塊。

支持管理系統(tǒng)中接入的算法引擎，并能夠進(jìn)行修改、升級(jí)和刪除操作，并對(duì)系統(tǒng)中的算法使用情況進(jìn)行查詢、統(tǒng)計(jì)、積分、糾錯(cuò)等，對(duì)統(tǒng)計(jì)結(jié)果以圖表的方式進(jìn)行展示且能夠?qū)y(tǒng)計(jì)詳情表進(jìn)行導(dǎo)出。

（三）技術(shù)線路

第一步，多算法模型人像比對(duì)系統(tǒng)從基礎(chǔ)數(shù)據(jù)源同步初始數(shù)據(jù)，然后對(duì)數(shù)據(jù)進(jìn)行清洗并建立對(duì)應(yīng)的人員庫(kù)并對(duì)外提供標(biāo)準(zhǔn)、統(tǒng)一的規(guī)范接口。

第二步，各算法模型按照標(biāo)準(zhǔn)的接口從系統(tǒng)管理的人員庫(kù)進(jìn)行特征提取庫(kù)的建庫(kù)工作，并把相應(yīng)的特征數(shù)據(jù)同步到多算法模型調(diào)度系統(tǒng)，由系統(tǒng)統(tǒng)一管理。

第三步，用戶基于多算法模型系統(tǒng)的頁(yè)面進(jìn)行多算法模型的人員查詢比對(duì)、身份核查等應(yīng)用。

1.與第三方算法工具的對(duì)接

人臉多算法靜態(tài)比對(duì)系統(tǒng)提供基礎(chǔ)庫(kù)及接口協(xié)議給第三方比對(duì)算法，第三方比對(duì)算法按照人像多算法調(diào)度系統(tǒng)的接口進(jìn)行調(diào)用，最終實(shí)現(xiàn)多算法工具的協(xié)同工作。多算法靜態(tài)比對(duì)系統(tǒng)通過(guò)多算法調(diào)度實(shí)現(xiàn)人臉的身份核查，包括1：1，1：N，M：N，多算法模型調(diào)度管理，戰(zhàn)果統(tǒng)計(jì)等功能。[4]

2.與特定數(shù)據(jù)資源庫(kù)的數(shù)據(jù)對(duì)接

人臉多算法靜態(tài)比對(duì)系統(tǒng)可以和各特定資源庫(kù)通過(guò)相關(guān)接口標(biāo)準(zhǔn)及規(guī)范進(jìn)行數(shù)據(jù)交互，包含人員相關(guān)庫(kù)、日志審計(jì)系統(tǒng)、Pgis系統(tǒng)等。通過(guò)從特定數(shù)據(jù)資源庫(kù)中獲取人員照片及個(gè)人信息，進(jìn)行相關(guān)建模、分析、比對(duì)、碰撞、研判等工作。[5]例如，通過(guò)獲取常住地在當(dāng)?shù)氐谋镜靥囟ㄈ藛T人像照片及信息，可導(dǎo)入特定應(yīng)用庫(kù)，實(shí)現(xiàn)人員的實(shí)時(shí)比對(duì)，通過(guò)導(dǎo)入特定數(shù)據(jù)資源庫(kù)，實(shí)現(xiàn)不明人員身份的快速確認(rèn)。

3.提供接口給第三方系統(tǒng)對(duì)接

系統(tǒng)支持提供接口供第三方系統(tǒng)使用，比如提供身份核驗(yàn)的接口，第三方可通過(guò)系統(tǒng)的接口獲取直接查到某人的身份。同時(shí)針對(duì)不同的第三方業(yè)務(wù)系統(tǒng)可提供相應(yīng)的接口，滿足不同業(yè)務(wù)系統(tǒng)的應(yīng)用需求，有效避免人像比對(duì)系統(tǒng)的重復(fù)建設(shè)。

五、結(jié)束語(yǔ)

目前基于人像比對(duì)系統(tǒng)的研究和應(yīng)用已取得一定的成果。本研究是在已有技術(shù)的基礎(chǔ)上進(jìn)行了新的探究，是原有算法的升級(jí)和優(yōu)化，是繼承和創(chuàng)新相結(jié)合。充分考慮了目前成熟的算法平臺(tái)功能，提出了多種算法模型相融合的新架構(gòu)和技術(shù)路線。

參考文獻(xiàn)：

[1]鄧攀.公安智能視頻系統(tǒng)的研究與實(shí)現(xiàn)[D].黑龍江大學(xué)，2017.

[2]葉統(tǒng)生.淺談人臉大數(shù)據(jù)多算法融合技術(shù)[J].通訊世界，2018（04）：87-88.

[3]李仁杰，曾鵬，張龍.多人臉識(shí)別算法和大數(shù)據(jù)融合技術(shù)在公共安全領(lǐng)域的應(yīng)用研究[C]//.2019年全國(guó)公共安全通信學(xué)術(shù)研討會(huì)優(yōu)秀論文集.，2019：305-308.

[4]廖恒鋒.反視頻偵查行為識(shí)別及應(yīng)對(duì)研究[D].中國(guó)人民公安大學(xué)，2021.DOI：10.27634/d.cnki.gzrgu.2021.000255.

[5]陳威.基于大數(shù)據(jù)分析的治安情報(bào)研判系統(tǒng)的開(kāi)發(fā)[D].武漢郵電科學(xué)研究院，2019.DOI：10.27386/d.cnki.gwyky.2019.000025.

基金項(xiàng)目：2021年度廣西高校中青年教師科研基礎(chǔ)能力提升項(xiàng)目“基于多算法融合的靜態(tài)人像比對(duì)系統(tǒng)研究”（項(xiàng)目編號(hào)：2021KY0886）;

2017年度公安部應(yīng)用創(chuàng)新計(jì)劃項(xiàng)目“三維人像辨認(rèn)系統(tǒng)”（項(xiàng)目編號(hào)：2017YYCXGXQT025）。