警務(wù)實(shí)戰(zhàn)環(huán)境下的人臉預(yù)警準(zhǔn)確率評析方法及優(yōu)化策略研究

胡雷地 莊唯 萬潔君 李響 江蘇省蘇州市公安局

引言

隨著人工智能應(yīng)用日趨成熟，以深度學(xué)習(xí)為代表的計(jì)算機(jī)視覺技術(shù)獲得了長足發(fā)展，人臉識別也得到了廣泛的研究和應(yīng)用，尤其是近幾年來，人臉識別得益于被動、無感識別等技術(shù)特性，在公安領(lǐng)域快速發(fā)展，取得了諸多實(shí)戰(zhàn)成效[1]。但是，由于在人臉識別過程中，受到光照、遮擋、面部表情、姿態(tài)等因素的影響，在現(xiàn)實(shí)環(huán)境中人臉預(yù)警準(zhǔn)確率遠(yuǎn)遠(yuǎn)低于實(shí)驗(yàn)室環(huán)境下的性能指標(biāo)，直接影響了一線警務(wù)人員的應(yīng)用信心，造成了系統(tǒng)“可用”到“好用”的鴻溝[2]。蘇州公安在建設(shè)應(yīng)用“城市盾牌”過程中，逐步發(fā)現(xiàn)人臉預(yù)警準(zhǔn)確率直接決定了“城市盾牌”可用性和效能發(fā)揮，因此，開展警務(wù)實(shí)戰(zhàn)環(huán)境的人臉預(yù)警評析方法，分析影響因素并提出優(yōu)化策略，是提升“城市盾牌”實(shí)戰(zhàn)效能的重要舉措。

一、現(xiàn)狀分析

近年來，隨著深度學(xué)習(xí)的迅猛發(fā)展，國內(nèi)涌現(xiàn)出了一大批人臉識別算法廠商，為了凸顯各自的優(yōu)越性能，各個(gè)廠商先后參與了國際上較為主流的人臉?biāo)惴ㄔu測（LFW、IJB、MegaFace、FRVT），通過公開報(bào)道，主流廠商大多取得了優(yōu)秀成績[3]，比如有些算法宣稱LFW達(dá)到了99.8%識別率，但是，這些取得優(yōu)異測試成績的算法在警務(wù)實(shí)戰(zhàn)中，其性能未完全兌現(xiàn)，誤報(bào)、漏報(bào)頻繁出現(xiàn)，這給一線警務(wù)人員帶來巨大困擾[4]。

從一線警務(wù)人員的實(shí)際體驗(yàn)出發(fā)，判定人臉識別算法優(yōu)劣取決于推送到一線警力的預(yù)警質(zhì)量，最為理想的狀況是每次推送的預(yù)警通過民警現(xiàn)場核實(shí)，都判定現(xiàn)場人員身份與預(yù)警身份一致，即人臉預(yù)警準(zhǔn)確率（acc）為100%，按照這一邏輯，面向警務(wù)實(shí)戰(zhàn)環(huán)境的人臉預(yù)警準(zhǔn)確率為：

其中，acc1為第i種專題庫的人臉預(yù)警準(zhǔn)確率，mi是指第i種專題庫正確預(yù)警數(shù)（通過見面核查判定現(xiàn)場人員與預(yù)警人員身份一致），ni為第i種專題庫下發(fā)預(yù)警總數(shù)。

按照以上的評測方法，以2019年蘇州“城市盾牌”約8.3萬條人臉預(yù)警作為數(shù)據(jù)源，經(jīng)統(tǒng)計(jì)發(fā)現(xiàn)未經(jīng)干預(yù)的人臉預(yù)警準(zhǔn)確率僅為37.43%，即出警100次，能正確核查37人，但是針對全國性的布控庫，比如在逃預(yù)警比對庫，人臉預(yù)警準(zhǔn)確率僅達(dá)到9.3%。通過中位數(shù)法對相似度進(jìn)行統(tǒng)計(jì)分析，發(fā)現(xiàn)在逃人員相似度在90%至92%之間非常集中且區(qū)分度不大，因此，單一依賴算法本身難以剔除誤報(bào)預(yù)警，詳細(xì)圖表如圖1所示。

二、影響因素

（一）前端抓拍質(zhì)量

綜合分析2019年蘇州“城市盾牌”預(yù)警數(shù)據(jù)，并結(jié)合2019年全球人臉識別算法測試結(jié)果（FRVT），發(fā)現(xiàn)前端智能設(shè)備抓拍的人臉質(zhì)量與人臉預(yù)警準(zhǔn)確率呈高度正相關(guān)，抓拍照片質(zhì)量是人臉預(yù)警準(zhǔn)確率最為關(guān)鍵的因素。通過分析錯(cuò)誤預(yù)警數(shù)據(jù)發(fā)現(xiàn)，光照、角度、人物姿態(tài)等前端抓拍環(huán)境影響最大，前端抓拍質(zhì)量越差，人臉預(yù)警準(zhǔn)確率越低。

（二）專題庫類型與質(zhì)量

從圖1可以看出，專題庫人員構(gòu)成對于人臉預(yù)警準(zhǔn)確率影響明顯，蘇州本地布控庫、全省布控庫、長三角布控庫、全國布控庫（在逃人員）的人臉預(yù)警準(zhǔn)確率呈遞減形態(tài)，布控專題庫人員覆蓋地域越廣，預(yù)警準(zhǔn)確度越低，這一規(guī)律也驗(yàn)證了地理學(xué)第一定律，即任何地理事物都是空間自相關(guān)，離得越近關(guān)聯(lián)更緊密。同時(shí)，通過對錯(cuò)誤預(yù)警篩查發(fā)現(xiàn)，專題庫照片質(zhì)量（照片年代及照片本身質(zhì)量，包括側(cè)臉、黑白及模糊照片）也是影響預(yù)警準(zhǔn)確率的重要因素。

（三）比對算法本身局限性

在蘇州公安“城市盾牌”建設(shè)過程中，國內(nèi)主流廠商大多參與了測試和試用工作，不同廠商在算法本身有性能差異，也直接影響了人臉預(yù)警準(zhǔn)確率，因此，算法本身也需要不斷提升性能來適應(yīng)復(fù)雜的警務(wù)實(shí)戰(zhàn)場景。

三、優(yōu)化策略

（一）標(biāo)準(zhǔn)化前端采集

結(jié)合警務(wù)實(shí)戰(zhàn)需求，將前端建設(shè)細(xì)分為國省道綜合檢查站、高速出入口、政治核心區(qū)、集貿(mào)中心、居民小區(qū)、校園等30余類典型場景，分場景制定相關(guān)的技術(shù)標(biāo)準(zhǔn)、建設(shè)標(biāo)準(zhǔn)和數(shù)據(jù)接入規(guī)范，通過借助高質(zhì)量前端建設(shè)，來提升人臉抓拍數(shù)據(jù)質(zhì)量，把好人臉應(yīng)用的第一道關(guān)。

（二）輔助迭代更新算法

建立人臉預(yù)警處置反饋的業(yè)務(wù)閉環(huán)，并將各類誤報(bào)、漏報(bào)實(shí)例進(jìn)行統(tǒng)一建庫，形成反向訓(xùn)練集，交由算法廠商進(jìn)行再學(xué)習(xí)、再訓(xùn)練，并針對現(xiàn)有算法反復(fù)迭代，提升算法魯棒性和精準(zhǔn)度。

（三）優(yōu)化提升專題庫數(shù)據(jù)質(zhì)量

建立專題庫更新機(jī)制，將鮮活的高質(zhì)量的旅館核驗(yàn)照片、人口登記照片實(shí)時(shí)納入專題庫替代原有老舊照片；及時(shí)清洗專題庫照片，將模糊、黑白、側(cè)臉等低質(zhì)量照片篩選出來并單獨(dú)建庫，借助其他大數(shù)據(jù)手段不斷迭代更新該類照片。

（四）建立二次自動評估機(jī)制

分析2019FRVT報(bào)告全文可以看出，沒有任何一家算法廠商實(shí)現(xiàn)了“贏家通吃”局面，在各個(gè)細(xì)分場景評測中，各個(gè)算法也有各自傾向性優(yōu)勢。因此，本文創(chuàng)新構(gòu)建二次自動評估機(jī)制，通過引入第二套人臉比對引擎并利用1:1算法對預(yù)警信息作二次評估，以此來提升人臉預(yù)警精準(zhǔn)度和可信度，具體流程如圖2所示。

（五）構(gòu)建貼合實(shí)戰(zhàn)業(yè)務(wù)模型

除了針對數(shù)據(jù)質(zhì)量、識別算法等技術(shù)因素外，通過總結(jié)提煉實(shí)戰(zhàn)經(jīng)驗(yàn)來構(gòu)建業(yè)務(wù)過濾模型，并以此對預(yù)警信息再次驗(yàn)證過濾（如圖2所示），可以進(jìn)一步提升預(yù)警準(zhǔn)確率。比如，針對在逃專題庫，可以建立在逃預(yù)警過濾模型（如圖3所示）：在符合兩次預(yù)警比對的基礎(chǔ)上，如果在逃預(yù)警人員與當(dāng)?shù)氐怯浫丝诘念A(yù)警相似度很高，則認(rèn)為誤報(bào)可能性大，不下發(fā)該條預(yù)警。但這個(gè)邏輯的前提是在蘇登記人口與在逃人員基于身份證號碼已經(jīng)建立了正向和反向的比對，即新增的在蘇登記人口要與在逃人員批量比對（正向比對），新增的在逃人員要與在蘇登記人口批量比對（反向比對）。隨著提煉的戰(zhàn)法模型越來越多，各要素關(guān)聯(lián)性會越來越強(qiáng)，識別準(zhǔn)確率會比單純的依賴算法這一單一要素來的更加準(zhǔn)確。

四、結(jié)語

2019年，蘇州“城市盾牌”率先應(yīng)用二次自動評估機(jī)制與多個(gè)業(yè)務(wù)過濾模型，通過2019年預(yù)警數(shù)據(jù)分析，本文優(yōu)化策略增大了預(yù)警相似度區(qū)分空間，在應(yīng)用策略前，預(yù)警相似度中位數(shù)集中在90%至92%之間，難以通過設(shè)置相似度閾值來過濾區(qū)分預(yù)警真?zhèn)危趹?yīng)用策略后，預(yù)警相似度中位數(shù)分布空間增加，主要集中在67%至97%之間，通過設(shè)置一定閾值后，可以大幅提升人臉預(yù)警識別準(zhǔn)確率（如圖4所示），特別是在逃專題庫的預(yù)警準(zhǔn)確度由原來的9.3%上升到了62.5%，提升了用戶體驗(yàn)，實(shí)現(xiàn)了效能倍增。2019年，全市各級職能部門依托“城市盾牌”已抓獲各類對象6662名（其中在逃人員1680名），協(xié)助巡邏力量精準(zhǔn)盤查16862人（其中入所審查1200余人），累計(jì)輸出各類情報(bào)信息超過93000余條。

“城市盾牌”取得重大實(shí)戰(zhàn)成效，充分驗(yàn)證了人臉預(yù)警準(zhǔn)確率的影響因子分析準(zhǔn)確，優(yōu)化策略有效，可以為全國各地公安機(jī)關(guān)開展動態(tài)人臉應(yīng)用提供參考。