大姿態(tài)人像轉(zhuǎn)正技術(shù)在視頻人像比對(duì)中的應(yīng)用

陳景洲，林繼煌，張 寧,,*，謝蘭遲，黎智輝，李志剛

（1. 江西省興國(guó)縣公安局，江西 興國(guó) 342400；2. 公安部物證鑒定中心，北京100038）

在當(dāng)前偵查破案工作中，監(jiān)控視頻已經(jīng)成為繼現(xiàn)場(chǎng)勘查信息、手機(jī)信息之后的第三大信息來(lái)源，也是繼刑事科學(xué)技術(shù)、行動(dòng)技術(shù)、網(wǎng)絡(luò)偵查技術(shù)之后的第四大偵查技術(shù)領(lǐng)域[1]。視頻中人臉圖像作為最直觀的線索，在各類案件中發(fā)揮著非常重要的作用。犯罪嫌疑人的人臉圖像，相比其它生物特征如指紋、DNA、足跡、虹膜等更為直觀，更容易讓普通人辨別，被廣泛應(yīng)用于嫌疑人識(shí)別、排查、身份辨認(rèn)等過(guò)程，逐漸成為案件偵查訴訟中最常見(jiàn)的線索和證據(jù)，為追逃、破案、尋人等應(yīng)用提供了強(qiáng)大技術(shù)支撐[2-4]。

隨著人臉識(shí)別技術(shù)的不斷進(jìn)步，公安實(shí)際工作中已經(jīng)開(kāi)始廣泛應(yīng)用人像自動(dòng)識(shí)別比對(duì)系統(tǒng)，將視頻截圖或特定人員人像照片在海量數(shù)據(jù)庫(kù)中快速查找、檢索、比對(duì)以確認(rèn)其身份。例如，緝拿在逃罪犯時(shí)，可通過(guò)人臉識(shí)別比對(duì)系統(tǒng)，加快確認(rèn)嫌疑人身份，避免“人海戰(zhàn)術(shù)”的低效率；對(duì)群眾或其它部門提供的照片進(jìn)行比對(duì)、檢索、篩選，幫助尋人尋親；對(duì)于一些無(wú)名尸體的照片入庫(kù)進(jìn)行比對(duì)，確認(rèn)其身份等。但是，在實(shí)戰(zhàn)應(yīng)用過(guò)程中，由于監(jiān)控設(shè)備經(jīng)常安裝于高點(diǎn)，所拍攝到的人像往往是俯視姿態(tài)而非正面姿態(tài)，同時(shí)還存在人像本身的偏轉(zhuǎn)，在直接利用人像比對(duì)系統(tǒng)進(jìn)行檢索比對(duì)時(shí)，識(shí)別效果往往較差，比對(duì)準(zhǔn)確率不高，依然需要進(jìn)行大量人工干預(yù)和排查，大大降低了偵查效率。人像姿態(tài)轉(zhuǎn)正技術(shù)是最近幾年新發(fā)展起來(lái)的一種技術(shù)，可以通過(guò)單張非正面人臉圖像恢復(fù)出該人像三維模型下正臉的模擬圖像，從而提高導(dǎo)入人像比對(duì)系統(tǒng)的比對(duì)準(zhǔn)確率，將原先不可檢索運(yùn)用的人像落地運(yùn)用。實(shí)際案件中常常遇到需要對(duì)偏轉(zhuǎn)角度大于15°的大姿態(tài)人像進(jìn)行比對(duì)，本文報(bào)道一則應(yīng)用大姿態(tài)人像轉(zhuǎn)正技術(shù)偵破的成功案例。

1 案件簡(jiǎn)介

2017年1月以來(lái)，某縣城區(qū)貿(mào)易廣場(chǎng)、鳳凰大道某小區(qū)等區(qū)域陸續(xù)發(fā)生多起盜竊五羊本田等高檔摩托車案件，涉案金額27萬(wàn)余元，且案發(fā)地在人流密集區(qū)域，社會(huì)影響較大。犯罪分子白天連續(xù)作案，氣焰囂張，嚴(yán)重影響人民群眾安全感和滿意度。

2 材料和方法

2.1 檢材

案件發(fā)生后，辦案民警第一時(shí)間趕赴現(xiàn)場(chǎng)采集涉案視頻。經(jīng)認(rèn)真查看分析視頻，捕捉到嫌疑男子的人像信息。該嫌疑男子人臉圖像較清晰，但視頻拍攝角度較高、人像姿態(tài)存在傾斜，如圖1所示。

圖1 嫌疑男子人像（左：視頻截圖；右：放大后人像截圖）Fig.1 The image of the suspect (Left: the screens hot video frame of the suspect; Right: the enlarged face image of the suspect)

將該嫌疑男子圖像截取后直接導(dǎo)入某省視頻圖像綜合應(yīng)用平臺(tái)人像比對(duì)系統(tǒng)進(jìn)行檢索，檢索出的結(jié)果相似度均不高，且相似度從高到低排名前二十位的目標(biāo)經(jīng)核查均排除嫌疑。

2.2 方法

2.2.1 摳圖

將人像（包含脖子）從圖中提取出來(lái)，其余部分背景置為黑色，如圖2所示。摳圖步驟的作用在于去除非人像部分（背景）對(duì)三維人像重建的影響。

圖2 摳圖操作（左：原始圖像；右：摳圖后結(jié)果）Fig.2 Face extraction (Left: original face image; Right: the resulted image after face extracting)

2.2.2 關(guān)鍵點(diǎn)調(diào)整

調(diào)整右側(cè)畫(huà)面中三維人像模型（該模型由采集得到的一定規(guī)模三維人像數(shù)據(jù)統(tǒng)計(jì)建模而成）的姿態(tài)與左側(cè)視頻人像截圖姿態(tài)一致，右側(cè)畫(huà)面中只保留人像模型中所顯示的關(guān)鍵點(diǎn)，把左側(cè)人像中的關(guān)鍵點(diǎn)移動(dòng)到人像對(duì)應(yīng)的位置，保存鋪點(diǎn)，如圖3所示。這一步驟的目的是手動(dòng)標(biāo)記關(guān)鍵點(diǎn)位置，定位姿態(tài)并優(yōu)化主成分分析（principal components analysis，PCA）系數(shù)，最后基于3D人像模型進(jìn)行擬合并轉(zhuǎn)正。

2.2.3 邊緣調(diào)整

在關(guān)鍵點(diǎn)標(biāo)記圖像中，調(diào)整邊緣上下閾值參數(shù)，獲取人像邊緣，得到的邊緣結(jié)果盡可能地保留住人像的輪廓，如圖4所示。這一步驟的目的在于控制臉型和優(yōu)化PCA系數(shù)，對(duì)重建結(jié)果進(jìn)行約束，防止人像重建失敗。

圖3 關(guān)鍵點(diǎn)調(diào)整（左：關(guān)鍵點(diǎn)標(biāo)記圖像；右：三維人像模型）Fig.3 Key-point alignment (Left: the resulted image of key-point alignment; Right: 3D face-image model)

圖4 邊緣調(diào)整（左：關(guān)鍵點(diǎn)標(biāo)記圖像；右：邊緣調(diào)整后結(jié)果）Fig.4 Edge adjustment (Left: the resulted image after key-point alignment; Right: the resulted image after edge adjustment)

2.2.4 姿態(tài)轉(zhuǎn)正

基于3D人像模型以及標(biāo)準(zhǔn)人像關(guān)鍵點(diǎn)位置信息，可以計(jì)算和擬合出人像關(guān)鍵點(diǎn)對(duì)應(yīng)的正面姿態(tài)時(shí)的位置，從而模擬出該人像三維旋轉(zhuǎn)至正面時(shí)的圖像。進(jìn)行了摳圖、關(guān)鍵點(diǎn)調(diào)整和邊緣調(diào)整這三步預(yù)處理后，進(jìn)行姿態(tài)轉(zhuǎn)正處理也即正面人像重建，重建結(jié)果如圖5所示。從圖中可以看到，單張二維半側(cè)面人臉圖像被旋轉(zhuǎn)成為一張完全正面的人臉圖像。

圖5 轉(zhuǎn)正結(jié)果（左：摳圖后圖像；右：姿態(tài)轉(zhuǎn)正后結(jié)果）Fig.5 The result after pose adjustment (Left: the result after face extracting; Right: the resulted face after pose turning to the obverse)

3 結(jié)果

采用大姿態(tài)人像轉(zhuǎn)正技術(shù)處理后，導(dǎo)入某省視頻圖像綜合應(yīng)用平臺(tái)再次進(jìn)行檢索比對(duì)，比中一名相似度較高的前科人員曾某（排名第2，相似度88.37%）。后經(jīng)信息研判，確定嫌疑人為曾某。辦案民警立即對(duì)嫌疑人的行蹤及其關(guān)系人開(kāi)展深度研判和外圍調(diào)查，同時(shí)實(shí)施抓捕。辦案民警在某縣縣城先后抓獲曾某及其同伙謝某、王某等人，破獲這起跨三省的系列盜竊高檔摩托車案件。大姿態(tài)人像轉(zhuǎn)正技術(shù)為鎖定該系列案嫌疑人發(fā)揮了關(guān)鍵技術(shù)支撐作用。

4 討論

在過(guò)去幾年里，人像識(shí)別的研究和應(yīng)用都取得了巨大進(jìn)步，特別是在公安領(lǐng)域的應(yīng)用越來(lái)越深入。面向真實(shí)場(chǎng)景非配合、非受控環(huán)境下的人像識(shí)別成為了研究的熱點(diǎn)和難點(diǎn)。特別是受監(jiān)控設(shè)備安裝位置、人像偏轉(zhuǎn)等因素影響，獲得的人臉圖像經(jīng)常存在姿態(tài)變化的干擾，非正面姿態(tài)會(huì)造成面部信息的部分缺失，對(duì)系統(tǒng)的識(shí)別檢索造成了不利影響，極大制約了人臉圖像線索的應(yīng)用，也一直是人像識(shí)別的一個(gè)技術(shù)難題。

基于三維人像重建的人像姿態(tài)轉(zhuǎn)正技術(shù)可以解決多場(chǎng)景視頻下人像姿態(tài)偏轉(zhuǎn)、信息缺失等問(wèn)題，實(shí)現(xiàn)多角度人像姿態(tài)轉(zhuǎn)正、人像校正和人像修復(fù)合成功能。在三維模型的幫助下，可以使待識(shí)別圖像和庫(kù)中圖像處于同一姿態(tài)。采用多姿態(tài)人像檢測(cè)與比對(duì)相關(guān)技術(shù)，通過(guò)人像關(guān)鍵點(diǎn)定位和三維人像擬合，對(duì)人像進(jìn)行三維重建，估算偏轉(zhuǎn)角度，最終恢復(fù)出該人像三維模型下正臉的模擬圖像，從而有效提升了人像識(shí)別性能。基于姿態(tài)轉(zhuǎn)正技術(shù)，還可以進(jìn)一步實(shí)現(xiàn)變形人像的校正、污損人像修復(fù)重建功能。雖然有研究者嘗試通過(guò)3D人像校正等關(guān)鍵技術(shù)提高人像識(shí)別的準(zhǔn)確率，但是目前這些研究大多仍然基于實(shí)驗(yàn)數(shù)據(jù)庫(kù)進(jìn)行測(cè)試，并未與實(shí)戰(zhàn)使用的人像識(shí)別系統(tǒng)關(guān)聯(lián)對(duì)接，適用場(chǎng)景較為單一和固定，方法的綜合性、集成性、實(shí)用性還不夠強(qiáng)，尚未在公安實(shí)戰(zhàn)中應(yīng)用[5]。而本文所使用的是基于三維形變模型（3D morphable model，3DMM）的三維人像重建方法，三維形變模型是從單張圖像中恢復(fù)三維人像的有效工具[6-7]。本文通過(guò)實(shí)戰(zhàn)案例證明了該方法的實(shí)用性和可行性。

除了本案例，我們還選取了3例實(shí)際視頻監(jiān)控場(chǎng)景下的非正面圖像開(kāi)展實(shí)驗(yàn)研究，對(duì)已知身份人員的非正面圖像進(jìn)行姿態(tài)轉(zhuǎn)正處理，比較處理前后比對(duì)結(jié)果的提升情況，結(jié)果如表1所示。從表中我們可以看到，經(jīng)過(guò)大姿態(tài)人像轉(zhuǎn)正處理后再輸入人像比對(duì)系統(tǒng)，并在同一人像庫(kù)中進(jìn)行檢索，其相似度和排名相比直接導(dǎo)入系統(tǒng)檢索均得到了不同程度提升。當(dāng)然，對(duì)于分辨率較低或五官模糊的圖像，其三維重建后的正面圖像也難以實(shí)現(xiàn)較好的比對(duì)結(jié)果。

表1 非正面圖像轉(zhuǎn)正處理效果比較Table 1 The comparison of face retrieval results before and after large pose 3D face reconstruction

本文所介紹的方法，可以更好地發(fā)揮人像檢索比對(duì)系統(tǒng)的效能，省去了以往大量人工干預(yù)和排查的過(guò)程，大大提升視頻人像線索利用率，提高了工作效率，節(jié)約了辦案資源，真正提升了視頻偵查工作水平。同時(shí)，這一方法緊密結(jié)合實(shí)戰(zhàn)使用的人像比對(duì)系統(tǒng)，轉(zhuǎn)變了以往將原始視頻截圖直接入庫(kù)比對(duì)的“粗放型”工作模式，進(jìn)一步提高了人像檢索的效率和準(zhǔn)確率，這種新的工作模式更符合實(shí)戰(zhàn)一線需求。