有關(guān)證件照自動(dòng)處理技術(shù)的研究

自2021年12月10日起，駕駛證電子化便利措施在全國(guó)全面推行，駕駛?cè)丝梢酝ㄟ^(guò)手機(jī)提交照片的方式在“交管12123”App上申領(lǐng)電子駕駛證。為提高照片審核效率、規(guī)范照片質(zhì)量，基于人工智能的數(shù)字圖像處理算法被運(yùn)用在電子駕駛證業(yè)務(wù)中。本文從人臉檢測(cè)、關(guān)鍵點(diǎn)檢測(cè)、背景去除、質(zhì)量檢測(cè)、合規(guī)性檢測(cè)和亮度調(diào)整共六個(gè)方面，分析證件照自動(dòng)處理技術(shù)，給出了詳細(xì)的分析和解決方法，為下一步如何提高照片自動(dòng)審核效率、改善照片質(zhì)量提出了研究建議。

一、電子駕駛證申領(lǐng)

電子駕駛證具備使用便捷、不易丟失、實(shí)時(shí)可查驗(yàn)等優(yōu)點(diǎn)，既可以在交管窗口辦理業(yè)務(wù)、接受執(zhí)法檢查時(shí)出示使用，也可在客貨運(yùn)輸、汽車租賃、保險(xiǎn)購(gòu)置等各式各樣的應(yīng)用場(chǎng)景下使用。電子駕駛證一經(jīng)推出，受到了社會(huì)各界和群眾的廣泛關(guān)注和好評(píng)。

首次申領(lǐng)電子駕駛證時(shí)，“交管12123”App將自動(dòng)調(diào)取駕駛證申請(qǐng)人已留存的照片作為電子駕駛證照片，電子駕駛證生成后，可自愿選擇是否更換照片。如申請(qǐng)人未留存照片的，將提示申請(qǐng)人通過(guò)手機(jī)拍照或者相冊(cè)選擇的方式提交證件照，通過(guò)審核后，即可生成電子駕駛證。雖然通過(guò)手機(jī)提交證件照的方式便民利民，但存在兩個(gè)問(wèn)題亟需解決：一是提交照片的質(zhì)量一致性差。手機(jī)上采集證件照易受環(huán)境影響，不同拍攝光線、不同角度采集的證件照差異很大，照片規(guī)范性難以約束，質(zhì)量難以統(tǒng)一，很難達(dá)到標(biāo)準(zhǔn)證件照的技術(shù)要求；二是審核工作量大。由于駕駛證屬于法定證照，審核人員需確認(rèn)是否是本人、是否有違規(guī)動(dòng)作、是否有過(guò)分照片處理和美化、是否有裸露等行為，審核通過(guò)后才可發(fā)放電子駕駛證。常規(guī)采用人工方式審核照片工作量大、效率低，照片審核結(jié)果不能及時(shí)反饋給用戶，用戶體驗(yàn)較差。

為了提高照片審核效率、規(guī)范照片質(zhì)量，基于智能手機(jī)平臺(tái)實(shí)現(xiàn)證件照的自動(dòng)處理技術(shù)有待探索。將傳統(tǒng)數(shù)字圖像處理和深度學(xué)習(xí)技術(shù)融合，證件照自動(dòng)處理的精度和效率都得到了大幅提高，有效提升了用戶體驗(yàn)。因此，基于深度學(xué)習(xí)技術(shù)的證件照自動(dòng)處理技術(shù)被應(yīng)用到電子駕駛證業(yè)務(wù)中。

數(shù)字圖像處理學(xué)科大約形成于20世紀(jì)60年代初，早期的圖像處理目的是改善圖像質(zhì)量。伴隨著硬件設(shè)施處理能力的強(qiáng)化和圖像處理研究的深入，數(shù)字圖像處理方法擴(kuò)展至圖像壓縮、圖像增強(qiáng)、目標(biāo)檢測(cè)、圖像分割和圖像識(shí)別等，并在復(fù)雜多變的應(yīng)用場(chǎng)景中得到廣泛使用。智能手機(jī)的普及伴隨著圖像處理能力的飛速提升，使得數(shù)字圖像處理技術(shù)在手機(jī)上的應(yīng)用越來(lái)越廣泛，智能手機(jī)中照相App的各種濾鏡、圖像變換使用的就是數(shù)字圖像處理技術(shù)，包括增強(qiáng)、去噪、對(duì)比度拉伸、縮放、幾何變換、灰度化、二值化、目標(biāo)檢測(cè)、圖像分割、實(shí)例分割、圖像修復(fù)等。

值得注意的是，近幾年基于深度學(xué)習(xí)的人工智能技術(shù)得到了飛速的發(fā)展。得益于深度學(xué)習(xí)強(qiáng)大的圖像特征表示能力，越來(lái)越多的研究學(xué)者將深度學(xué)習(xí)應(yīng)用于圖像處理，取得了諸多令人矚目的研究成果，并在實(shí)際應(yīng)用中體現(xiàn)出了巨大的實(shí)用價(jià)值。2006 年，Geoffrey Everest Hinton（杰弗里·埃弗里斯特·辛頓）提出了深度學(xué)習(xí)算法，它本質(zhì)上屬于神經(jīng)網(wǎng)絡(luò)的一種。之后深度學(xué)習(xí)在諸多領(lǐng)域取得了巨大成功，受到研究學(xué)者廣泛關(guān)注。深度學(xué)習(xí)能夠取得成功有兩個(gè)重要原因。首先是大數(shù)據(jù)的出現(xiàn)在很大程度上緩解了訓(xùn)練過(guò)擬合的問(wèn)題。其次，計(jì)算機(jī)硬件的飛速發(fā)展提供了強(qiáng)大的計(jì)算能力，使得訓(xùn)練大規(guī)模神經(jīng)網(wǎng)絡(luò)成為可能。目前我們使用的手機(jī)中的美顏特效、圖片搜索、人臉識(shí)別等都已經(jīng)使用到了深度學(xué)習(xí)技術(shù)。

二、證件照自動(dòng)處理

傳統(tǒng)證件照的制作與處理主要通過(guò)手工P圖的方式實(shí)現(xiàn)，這種處理方式耗時(shí)耗力，效率較低，不適合批量處理海量數(shù)據(jù)。當(dāng)面對(duì)海量的圖像處理任務(wù)時(shí)，通過(guò)多種的圖像處理算法來(lái)實(shí)現(xiàn)圖片的批量處理成為研究的熱點(diǎn)之一。

基于計(jì)算機(jī)算法的證件照自動(dòng)處理主要包括人臉定位、去背景、亮度調(diào)整三個(gè)步驟。本文將進(jìn)一步細(xì)化為人臉檢測(cè)、關(guān)鍵點(diǎn)檢測(cè)、背景去除、質(zhì)量檢測(cè)、合規(guī)性檢測(cè)和亮度調(diào)整共六個(gè)步驟，詳細(xì)分析每個(gè)步驟的操作目的和實(shí)現(xiàn)原理。證件照自動(dòng)處理流程如圖1所示。

圖1 證件照自動(dòng)處理流程圖

（一）人臉檢測(cè)

證件照自動(dòng)處理首先要做的就是人臉檢測(cè)。所謂的人臉檢測(cè)就是判斷圖像中是否包含人臉肖像及其標(biāo)定包含人臉肖像在圖像中的具體位置。人臉檢測(cè)算法會(huì)采用矩形框來(lái)標(biāo)注出人臉肖像在圖像中的位置，如圖2所示。

圖2 人臉檢測(cè)

在人臉檢測(cè)的過(guò)程中，會(huì)得到一個(gè)預(yù)測(cè)值Score，該預(yù)測(cè)值表明當(dāng)前檢測(cè)到的人臉肖像的置信度，是指當(dāng)前算法檢測(cè)到的這個(gè)框內(nèi)包含真實(shí)人臉的可能性，可通過(guò)調(diào)節(jié)Score閾值的大小，來(lái)定義篩選人臉不清楚等質(zhì)量不合格照片。證件照要求頭部位置居中，通過(guò)人臉檢測(cè)處理算法，一方面可以判定當(dāng)前證件照中是否存在人臉肖像，另一方面可以根據(jù)得到的人臉框位置判定臉部是否偏移，人臉肖像占整個(gè)照片的大小是否滿足要求。

（二）關(guān)鍵點(diǎn)檢測(cè)

為了進(jìn)一步分析證件照質(zhì)量，可采用關(guān)鍵點(diǎn)檢測(cè)算法得到臉部關(guān)鍵位置再進(jìn)行質(zhì)量分析。常見(jiàn)的人臉關(guān)鍵點(diǎn)檢測(cè)算法有5點(diǎn)檢測(cè)、68點(diǎn)檢測(cè)等，根據(jù)檢測(cè)到的關(guān)鍵點(diǎn)再結(jié)合空間幾何映射計(jì)算得到俯仰角pitch、偏航角yaw和滾轉(zhuǎn)角roll，如圖3所示。根據(jù)這三個(gè)角度來(lái)判斷頭部姿態(tài)是否符合證件照要求。電子駕駛證采用了人臉關(guān)鍵點(diǎn)使用5點(diǎn)檢測(cè)，具體包括左眼、右眼、鼻子、左嘴角和右嘴角，如圖4所示，簡(jiǎn)單、快速地進(jìn)行證件照質(zhì)量分析。

圖3 頭部姿態(tài)示意圖

圖4 關(guān)鍵點(diǎn)檢測(cè)

（三）背景去除

證件照要求背景單一，常規(guī)為白底、紅底或藍(lán)底三種。但使用手機(jī)拍攝的人像帶有各式各樣的背景，因此，需對(duì)手機(jī)拍攝的肖像照片先進(jìn)行去背景處理，如何快速準(zhǔn)確地實(shí)現(xiàn)自動(dòng)去背景成為了當(dāng)前亟需解決的難題，也是當(dāng)下計(jì)算機(jī)視覺(jué)領(lǐng)域的研究熱點(diǎn)。

傳統(tǒng)去背景方法利用三分圖（Trimap)來(lái)輔助解決任務(wù)，這類算法由于沒(méi)有考慮背景的復(fù)雜性，算法適應(yīng)性較差。另外，由于依賴用戶提供的三分圖精度，因此不適合自動(dòng)批量處理。近幾年來(lái)，基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)去背景算法相繼被提出。這些算法在精度和魯棒性方面相比傳統(tǒng)方法取得了顯著的進(jìn)步，即使是相對(duì)復(fù)雜的背景也能夠準(zhǔn)確地提取出人像前景。為了能夠在移動(dòng)設(shè)備上實(shí)現(xiàn)基于深度學(xué)習(xí)的去背景應(yīng)用，一些算法嘗試結(jié)合MobileNet網(wǎng)絡(luò)實(shí)現(xiàn)輕量化部署，這大大優(yōu)化了移動(dòng)設(shè)備上的證件照去背景性能，使得復(fù)雜的重模型能夠以輕量化的形態(tài)運(yùn)行在移動(dòng)設(shè)備上，從而提升人像背景去除能力，圖5展示了證件照背景替換的效果圖。

圖5 背景替換效果圖

（四）質(zhì)量檢測(cè)

通過(guò)人臉檢測(cè)和關(guān)鍵點(diǎn)檢測(cè)，可在一定程度上保障用戶的臉部位置和姿態(tài)符合證件照要求。但是受限于拍攝環(huán)境的不確定性，使用者通過(guò)手機(jī)提交的照片往往存在臉部光線過(guò)亮、光線過(guò)暗、偏光、模糊等質(zhì)量問(wèn)題。因此，需要對(duì)臉部光線、模糊等問(wèn)題進(jìn)行檢測(cè)，判斷是否在證件照規(guī)定的要求范圍內(nèi)。

1.臉部光線檢測(cè)

結(jié)合人臉檢測(cè)和去背景人像語(yǔ)義分割的結(jié)果，可得到人臉區(qū)域外輪廓。接下來(lái)只需要計(jì)算人臉區(qū)域的灰度均值和顏色均值即可判斷臉部光線是否過(guò)亮、過(guò)暗以及是否偏光等光線問(wèn)題。圖6顯示了部分典型光線不合格照片示例。

圖6 典型光線問(wèn)題照片

2.模糊檢測(cè)

傳統(tǒng)的圖像清晰度評(píng)價(jià)算法有很多種，主要分為空域和頻域兩大類。在空域中，主要思路是考察圖像的領(lǐng)域?qū)Ρ榷?，即相鄰像素灰度特征之間的梯度差；在頻域中，主要思路是考察圖像的頻率分量，對(duì)焦清晰的圖像高頻分量較多，對(duì)焦模糊的圖像低頻分量較多。典型算法包括Tenengrad梯度方法、Laplacian梯度方法和方差方法。一般來(lái)說(shuō)，單一清晰度評(píng)價(jià)方法誤檢率較高，精度較差。因此，為了提高檢測(cè)精度，可以綜合使用多種清晰度評(píng)價(jià)方法，利用集成學(xué)習(xí)取得更好的檢測(cè)結(jié)果。檢測(cè)證件照是否模糊可以采用傳統(tǒng)的清晰度評(píng)價(jià)算法來(lái)實(shí)現(xiàn)。

傳統(tǒng)清晰度檢測(cè)算法檢測(cè)速度快、對(duì)硬件環(huán)境要求低，但是總體的檢測(cè)精度不高。一些研究學(xué)者開(kāi)始嘗試使用深度學(xué)習(xí)算法來(lái)實(shí)現(xiàn)圖像清晰度評(píng)價(jià)?；谳p量級(jí)卷積神經(jīng)網(wǎng)絡(luò)的清晰度評(píng)價(jià)算法，將清晰度檢測(cè)任務(wù)看作是一個(gè)基本的二分類問(wèn)題：清晰或模糊。對(duì)于證件照任務(wù)來(lái)說(shuō)，樣本場(chǎng)景相對(duì)比較簡(jiǎn)單，因此，通過(guò)大量真實(shí)訓(xùn)練樣本的學(xué)習(xí)可以得到比傳統(tǒng)檢測(cè)算法更好的效果。

（五）合規(guī)性檢測(cè)

除了常見(jiàn)的質(zhì)量問(wèn)題以外，少量用戶存在上傳不合規(guī)照片等行為，例如存在戴口罩、戴墨鏡、戴帽子等不符合證件照規(guī)范的照片。圖7顯示了部分典型的不合規(guī)問(wèn)題照片。

圖7 典型不合規(guī)問(wèn)題照片

合規(guī)性檢測(cè)任務(wù)采用兩種解決方法。一種就是用一個(gè)統(tǒng)一的檢測(cè)模型，檢測(cè)所有類別及其對(duì)應(yīng)的位置，例如YoloV3算法。使用這類算法訓(xùn)練相對(duì)比較簡(jiǎn)單，但是由于是多類集中學(xué)習(xí)，因此檢測(cè)結(jié)果容易產(chǎn)生混淆。還有個(gè)問(wèn)題就是一旦某個(gè)類別多獲取了一些標(biāo)注數(shù)據(jù)，此時(shí)就需要重新訓(xùn)練整個(gè)模型，訓(xùn)練比較耗時(shí)。另一種方法就是將任務(wù)拆分為單個(gè)的二分類算法，針對(duì)每個(gè)二分類算法單獨(dú)訓(xùn)練，這樣有助于精度的提升，并且每個(gè)分類子模型較輕，方便在移動(dòng)設(shè)備上進(jìn)行部署。

（六）亮度調(diào)整

通過(guò)檢測(cè)的照片可能還存在少量光線較弱、較強(qiáng)或者不均勻的問(wèn)題。因此，證件照處理最后的一個(gè)步驟就是照片亮度調(diào)整，從而使所有照片的亮度限定在一個(gè)合理的范圍內(nèi)，進(jìn)一步控制證件照質(zhì)量。所謂的亮度調(diào)整就是對(duì)照片的整個(gè)亮度進(jìn)行分析，使得亮度分布盡可能均勻。傳統(tǒng)的亮度調(diào)整算法包括直方圖均衡化、Gamma矯正、局部亮度補(bǔ)償?shù)?，這類算法運(yùn)算速度快、對(duì)硬件要求較低，很多手機(jī)的照相功能都集成了此類算法。圖8顯示了使用亮度補(bǔ)償功能后的照片處理效果。

圖8 自然場(chǎng)景圖像亮度調(diào)整處理效果

盡管使用方便，但是這類算法在處理不均勻亮度照片時(shí)效果較差，而且算法魯棒性不高。近年來(lái)，一些基于深度學(xué)習(xí)的光線自適應(yīng)調(diào)整算法相繼被提出，尤其是基于生成對(duì)抗網(wǎng)絡(luò)的系列算法，在視覺(jué)體驗(yàn)和魯棒性上均取得了巨大的進(jìn)步，是未來(lái)的重要研究方向。圖9顯示了使用深度學(xué)習(xí)進(jìn)行證件照人像亮度調(diào)整的效果。

圖9 證件照人像亮度調(diào)整效果

上述證件照自動(dòng)處理步驟環(huán)環(huán)相扣，各環(huán)節(jié)之間的信息具有一定的互補(bǔ)性。只有充分掌握各個(gè)環(huán)節(jié)的處理技術(shù)，才能綜合考慮并設(shè)計(jì)出穩(wěn)定、高效的證件照自動(dòng)處理系統(tǒng)。未來(lái)，可以從兩方面來(lái)改進(jìn)現(xiàn)有算法和系統(tǒng)。一方面就是可以結(jié)合前沿的深度學(xué)習(xí)算法，進(jìn)而有效改進(jìn)現(xiàn)有模型精度，例如考慮自監(jiān)督學(xué)習(xí)算法，充分利用無(wú)標(biāo)簽樣本信息來(lái)提升性能。另一方面則是可以研究知識(shí)蒸餾等模型輕量化方法將算法轉(zhuǎn)化到移動(dòng)端實(shí)現(xiàn)快速處理。