基于Candide-3算法的圖像中面部替換技術(shù)

黃誠

摘要：提出了一種基于CANDIDE-3算法的人臉替換算法，該算法使用CLM作為面部特征點(diǎn)定位算法，將2維的面部特征點(diǎn)和CANDIDE中3維的頂點(diǎn)相對應(yīng)，建立相應(yīng)的源人臉?biāo)惴?。根?jù)面部特征點(diǎn)估計(jì)出頭部姿態(tài)和表情相關(guān)參數(shù)，對源人臉進(jìn)行方向和角度調(diào)整，通過顏色轉(zhuǎn)移算法，將源人臉的色彩轉(zhuǎn)換為目標(biāo)人臉的色彩，然后利用圖像融合算法進(jìn)行融合。實(shí)驗(yàn)結(jié)果表明，本文的方法能夠在圖像和視頻中進(jìn)行有效的進(jìn)行人臉替換。

關(guān)鍵詞：圖像處理;人臉替換;面部特征點(diǎn)檢測;人臉建模;圖像融合

中圖分類號：TP317.4

文獻(xiàn)標(biāo)識碼：A

0 引言

人臉替換技術(shù)研究的是如何使用計(jì)算機(jī)或手機(jī)快速的將一張圖像或視頻中的人臉（目標(biāo)人臉）替換成另一張圖像或視頻的人臉區(qū)域（源人臉）[1]。替換的基本需求是使替換后的圖像或視頻具有逼真自然的視覺效果，其次是表情轉(zhuǎn)移，目標(biāo)人臉的表情轉(zhuǎn)移使得換臉效果更具有應(yīng)用意義和使用空間。從2004起，人臉替換技術(shù)從基于圖像庫的人臉替換，至使用3D算法匹配替換[2]，國內(nèi)外一些高校和研究機(jī)構(gòu)已經(jīng)開展了人臉替換技術(shù)方面上的研究[3-5]，并取得了一定的成果，此外，也有不少研究團(tuán)隊(duì)在人臉替換的基礎(chǔ)上加了表情轉(zhuǎn)移[6-7]。

Bitouk D等[8]人實(shí)現(xiàn)了照片中的自動(dòng)人臉置換系統(tǒng)。此系統(tǒng)為使用了一個(gè)從網(wǎng)絡(luò)中收集的人臉作為備選庫，當(dāng)輸入一張圖片時(shí)，系統(tǒng)從人臉庫中找到面部表情和姿勢相似的幾個(gè)圖片，然后調(diào)整這些備選的姿勢，光照和顏色匹配源人臉，最后通過邊界度量法則對這些融合后的人臉進(jìn)行評分，得分最高的將作為最終結(jié)果替換到源圖片上。2011年，Nuri Murat Arar等[9]人提出了一種基于AAM的人臉替換方法，使用了改進(jìn)的Census變換方法（Modified Census Transform，MCD和AAM作為人臉檢測和對面部建模的方法。然后使用分段仿射變形方法（piecewise affine warping）對所要替換的人臉進(jìn)行面部配準(zhǔn)，調(diào)整姿態(tài)和方向。2016年，Thies J等[10]人對于單目攝像頭的數(shù)據(jù)，提出了一種無密集標(biāo)記的面部捕捉方法，實(shí)時(shí)的替換視頻中的人臉。

本文在考慮了人臉替換效果和實(shí)時(shí)性的基礎(chǔ)上，提出了基于Candide-3算法的圖像中人臉替換技術(shù)。在獲取人臉區(qū)域后，通過匹配面部特征點(diǎn)與Candide-3算法建立映射關(guān)系后，將源人臉替換到目標(biāo)人臉上。

1 人臉替換CANDIDE-3算法

1.1 面部特征點(diǎn)定位

面部特征點(diǎn)定位算法是人臉圖像處理中的重要研究課題，它可以為后續(xù)人臉替換，表情轉(zhuǎn)移提供基礎(chǔ)數(shù)據(jù)，也可以用到表情識別，虛擬現(xiàn)實(shí)等場景。由于面部特征點(diǎn)定位算法是基于圖像或視頻的，所以依舊受到光照條件、遮擋、姿態(tài)等因素的影響。

常見的面部特征點(diǎn)定位方法有基于可變形模板（Deformable Template）的定位方法[11]、點(diǎn)分布算法[12]（主動(dòng)表現(xiàn)算法和主動(dòng)形狀算法）、圖算法[13]等。本文的人臉特征點(diǎn)提取算法是基于CLM （Con-strained Local Models）算法[14]，即有約束的局部算法算法，該算法融合了ASM和AAM兩個(gè)算法的優(yōu)點(diǎn)，既有ASM中的約束性，又有AAM的靈活性。CLM也學(xué)習(xí)擁有形狀和紋理的面部算法（類似于AAIVD，但是他的紋理信息是體現(xiàn)在獨(dú)立的Patch算法中，每個(gè)Patch被一些特征點(diǎn)包圍。如圖l所示，CLM算法可以檢測68個(gè)面部特征點(diǎn)。

基于CLM的人臉特征點(diǎn)定位可分兩個(gè)階段：算法構(gòu)建階段和點(diǎn)擬合階段。算法構(gòu)建又分為形狀算法構(gòu)建和Patch算法構(gòu)建，形狀算法構(gòu)建就是通過ASM算法獲取的人臉形狀建模，描述了形狀變化遵循的準(zhǔn)則。而Patch算法就是每個(gè)特征點(diǎn)的鄰域進(jìn)行建模，即建立一個(gè)特征點(diǎn)匹配準(zhǔn)則，獲得最佳匹配。

1.2 CANDIDE-3算法

CANDIDE算法是一組參數(shù)化的面部算法，用于基于算法的人臉編碼。因?yàn)榇怂惴ň哂休^少的多邊形，可以快速的對人臉進(jìn)行重建。CANDIDE算法自問世以來，經(jīng)過兩次改版，最新一版為2001年的Candide-3算法。Candide-3算法具有113個(gè)面部頂點(diǎn)和184個(gè)形變?nèi)切螀^(qū)域。

CANDIDE算法含有動(dòng)作單元（Action Units.Aus）用來處理面部的動(dòng)作。這些動(dòng)作單元編碼是相對于三個(gè)軸的旋轉(zhuǎn)。動(dòng)作單元控制臉部行為來獲得不同的表情行為表達(dá)，這些面部行為包括但不限于嘴巴張合、鼻子聳動(dòng)、眉毛抬起放下、眼睛閉合等。

1.2.1 顏色調(diào)整

由于光照和膚色的原因，源人臉區(qū)域的顏色通常和目標(biāo)人臉區(qū)域的顏色不太一致，這就帶來了一個(gè)色彩調(diào)整和圖像融合的問題。由于在顏色轉(zhuǎn)移的問題上，研究人員普遍選擇Reinhard算法[15]因此本文也將采用此方法。此算法Lαβ是基于色彩空間的算法，由于Lαβ色彩空間是擁有亮度分量L，色彩分量α代表綠色到紅色的光譜變化，色彩分量β代表藍(lán)色到黃色的光譜變化。

對于兩個(gè)不同膚色的人臉，首先分別對源人臉圖像和目標(biāo)人臉圖像進(jìn)行顏色轉(zhuǎn)換處理，把RGB模式下的圖像數(shù)據(jù)轉(zhuǎn)換為Lαβ算法中的表達(dá)形式。然后分離顏色通道，表達(dá)（L，α，β）為類型的向量。然后計(jì)算得到每個(gè)通道的平均值meanO和方差σ。目標(biāo)通道的值減去均值作為目標(biāo)通道值。目標(biāo)圖像的方差和源圖像的方差相除，作為變化比例。將新的目標(biāo)通道值和比例相乘，再疊加上源人臉圖像的顏色通道。最終結(jié)果，再轉(zhuǎn)換為RGB圖像通道的人臉圖像，上述過程可以按照以下所示理解

1.2.2 臉型調(diào)整

臉型調(diào)整用來調(diào)整源人臉與目標(biāo)人臉之間的臉型區(qū)別，是基于面部特征點(diǎn)定位的結(jié)果來進(jìn)行形變處理仿射變換得到的結(jié)果。要實(shí)現(xiàn)對面部形變的替換，將使用仿射變換和經(jīng)線三角形以及混合型變算法得到替換區(qū)域?；旌狭繉⒂蓞?shù)α控制。使用以下步驟創(chuàng)建變形：

（1）在變形圖像中查找特征點(diǎn)的位置：在變形圖像M中，我們可以找到所有特征點(diǎn)（x_m，y_m）的位置。

（2）計(jì)算仿射變換：源圖像中有一組特征點(diǎn)，目標(biāo)圖像中有相同數(shù)量的特征點(diǎn)，在變形圖像中有特征點(diǎn)的第三組。我們也知道這些點(diǎn)定義的三角測量。選擇源圖像中的三角形和變形圖像中的相應(yīng)三角形，并計(jì)算將源圖像中的三角形的三個(gè)角映射到變形圖像中相應(yīng)三角形的三個(gè)角的仿射變換。為每對三角形計(jì)算仿射變換。最后，重復(fù)目標(biāo)圖像的過程和變形的圖像。

（3）經(jīng)線三角形：對于源圖像中的每個(gè)三角形，使用上一步中計(jì)算的仿射變換將三角形內(nèi)的所有像素轉(zhuǎn)換為變形圖像。對源圖像中的所有三角形重復(fù)此操作，以獲得源圖像的翹曲版本。類似地，獲取目標(biāo)圖像的翹曲版本。

（4） Alpha混合變形圖像：在上一步中，獲得了源圖像和目標(biāo)圖像的翹曲版本。這兩個(gè)圖像可以使用進(jìn)行alpha混合，得到最終效果。

大多數(shù)基于68個(gè)特征點(diǎn)的面部特征非常齊全，對面部區(qū)域的扭轉(zhuǎn)變形，可以獲得不錯(cuò)的效果。

1.3 頭部姿態(tài)估計(jì)

頭部姿態(tài)估計(jì)主要用于將源人臉和目標(biāo)人臉的面部朝向和角度進(jìn)行統(tǒng)一，可以使替換效果更自然。對面部的姿態(tài)估計(jì)主要通過跟蹤特征點(diǎn)區(qū)域，通過面部特征點(diǎn)的相對位置判斷面部的朝向和旋轉(zhuǎn)角度。如圖3所示，頭部姿態(tài)估計(jì)可以通過俯仰角（pitch）、偏航角（yaw）和滾轉(zhuǎn)角（roll）來描述。

（b）（c）偏航角，（d）（e）俯仰角，（f）（g）滾轉(zhuǎn)角

對于表情的估計(jì)和傳遞，本文主要使用的是根據(jù)Candide-3算法中的動(dòng)作單元系數(shù)，表情可以通過這些關(guān)鍵表情的組合，使源人臉和目標(biāo)人臉的表情相匹配。面部對齊算法標(biāo)記在每個(gè)臉上標(biāo)記了68個(gè)特征點(diǎn)。在面部特征中，眉毛和輪廓的特征點(diǎn)是最不明確的，因?yàn)樵谶@些區(qū)域很難具體的定義特征點(diǎn)。鼻子上的特征點(diǎn)與面部表情最不相關(guān)。因此，我們的算法集中在嘴部和眼瞼的運(yùn)動(dòng)。有兩個(gè)關(guān)于眼瞼運(yùn)動(dòng)的關(guān)鍵表情：關(guān)閉左眼和關(guān)閉右眼的表達(dá)。眼鏡的閉合部分通過上下眼瞼之間的距離即可判斷閉眼與否，可以根據(jù)圖像中的動(dòng)作反映在三維形變算法上。下面重點(diǎn)推導(dǎo)嘴部的動(dòng)作判斷。

1.4 人臉替換

經(jīng)過上述的人臉建模，表情參數(shù)提取，已經(jīng)得到了源人臉相關(guān)數(shù)據(jù)（基于形變算法的頭部算法，調(diào)整過光照和顏色的頭部紋理，表情系數(shù)），目標(biāo)人臉相關(guān)數(shù)據(jù)（頭部算法和姿態(tài)），通過已有的部件可以組合完成最后一步人臉替換步驟，即圖像融合技術(shù)。良好的圖像融合技術(shù)可以使兩個(gè)不同的圖片自然融合，達(dá)到邊緣幾乎不可見，圖像融合效果好的效果。

圖像融合，就是把不同的兩個(gè)圖片融合到一起，形成一張新的圖像。越能使過渡自然的算法，效果越好。最簡單的融合算法就是將兩個(gè)圖像拼接的位置將兩張圖像進(jìn)行透明度線性疊加。拉普拉斯變換[16]，泊松融合算法[11]都是比較高階的圖像融合算法。本文在這里只選用了最初的版本來進(jìn)行說明。其主要思想是并非將兩幅圖像單純的疊加，而是讓目標(biāo)圖像在融合時(shí)根據(jù)自身的的圖像變換梯度（一階算子或者拉普拉斯算子表示的梯度），將源圖像的紋理按照這個(gè)變換梯度進(jìn)行紋理變換。

在泊松融合中，主要要解決的函數(shù)是以下公式，其中v是原圖區(qū)域的梯度向量，g是源圖像區(qū)域，S表示融合后的結(jié)果，其中f代表融合后的圖像，f*代表目標(biāo)圖像未改變的區(qū)域，Ω表示要融合的區(qū)域，Ω表示融合區(qū)域的邊緣部分：

這個(gè)式子是求解一個(gè)關(guān)系，在目標(biāo)圖像邊緣不變的情況下，求融合部分的圖像，使融合圖像在融合部分的梯度與源圖像在融合部分的梯度最為接近。

2 系統(tǒng)架構(gòu)

將基于CANDIDE算法的視頻人臉替換系統(tǒng)框架設(shè)計(jì)如圖4所示。此系統(tǒng)擁有兩個(gè)輸入，含有源人臉的圖像和含有目標(biāo)人臉的視頻文件。對于含有源人臉的圖像文件，本文使用三維形變算法和源人臉進(jìn)行基于Candide-3算法的建模，獲得一個(gè)人臉?biāo)惴?。對于含有目?biāo)人臉的視頻文件，首先使用人臉跟蹤對齊算法，獲得人臉位置和運(yùn)動(dòng)參數(shù)估計(jì)，根據(jù)人臉特征點(diǎn)的變化，獲得表情參數(shù)。最后將源人臉的CANDIDE算法和目標(biāo)人臉的表情和運(yùn)動(dòng)姿態(tài)合成，重新著色和調(diào)整光線后，使用圖像融合技術(shù)將CANDIDE人臉?biāo)惴ê椭車h(huán)境融為一體。

在人臉檢測方面，本文使用的是MMOD人臉檢測法，人臉跟蹤方面，使用的是Mean-shift跟蹤方法，人臉特征點(diǎn)定位方面，使用的是CLM算法匹配方法。姿態(tài)估計(jì)部分，使用坐標(biāo)變換方法獲得面部的旋轉(zhuǎn)角度等參數(shù)，光照估計(jì)部分，使用光照調(diào)整算法使得兩個(gè)人臉光照條件一致。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)平臺

本文中涉及到的所有算法都是在VS2015中，使用的開源開發(fā)工具為OpenCV3，Dlib，使用C++/Python語言編寫實(shí)現(xiàn)的?；贑LM算法的面部特征點(diǎn)提取依賴于CLM人臉識別庫。實(shí)驗(yàn)運(yùn)行環(huán)境為Win lO，lntel （R） Core （TM） i5-4590 CPU@3.3GHz，8G內(nèi)存，且安裝了普通攝像頭的計(jì)算機(jī)上，攝像頭分辨率為640px*480px。

3.2 實(shí)驗(yàn)效果

基于上述平臺和實(shí)驗(yàn)環(huán)境，本文提出基于圖像和基于視頻的兩個(gè)人臉替換實(shí)現(xiàn)，圖5是基于圖像的人臉替換，圖6是基于視頻的人臉替換，這兩種實(shí)現(xiàn)均使用了圖4所表示的系統(tǒng)架構(gòu)設(shè)計(jì)。

由圖5可以看出對于基于圖像的人臉替換算法具有很好的替換效果，替換后的融合圖像具有和目標(biāo)人臉的色彩范圍，并且具有良好的五官替換效果和融合效果。

圖6表示的用源人臉替換視頻中的效果，左上角為源人臉圖像，其他3張為一組的圖像依次表示：目標(biāo)人臉，Candide-3算法，替換效果。在本文的實(shí)驗(yàn)環(huán)境中，可以做到30FPS的替換速度，并且在此速度的基礎(chǔ)上，仍能實(shí)現(xiàn)對面部五官進(jìn)行替換的良好效果。圖中可以看出對于不同的膚色、角度、方向、表情，都能出現(xiàn)較自然的替換效果。

然而此算法架構(gòu)受限于算法提供的細(xì)節(jié)，導(dǎo)致替換后的效果減少了較多的目標(biāo)人臉面部紋理細(xì)節(jié)，使得面部紋理和頸部紋理出現(xiàn)了差異。其次，對于頭部旋轉(zhuǎn)角度過大的情況，將出現(xiàn)面部丟失的情況，這也是一個(gè)需要繼續(xù)改進(jìn)的方向。上述問題將作為本文后續(xù)的努力方向進(jìn)行研究。

4 結(jié)論

給出了一種基于Candide-3算法進(jìn)行人臉替換的算法實(shí)現(xiàn)，人臉替換系統(tǒng)的實(shí)現(xiàn)主要包括人臉檢測、特征點(diǎn)定位、色彩調(diào)整、人臉對齊、表情轉(zhuǎn)移、圖像融合這幾個(gè)模塊，并且每個(gè)模塊都單獨(dú)做了實(shí)驗(yàn)和測試。主要內(nèi)容是將上述模塊融合成一個(gè)系統(tǒng)，可以自動(dòng)根據(jù)輸入圖像/視頻進(jìn)行人臉替換以及表情轉(zhuǎn)移功能。從實(shí)驗(yàn)效果來看，具有較好的替換效果，可以運(yùn)行到實(shí)際環(huán)境中去。若要使替換效果更進(jìn)一步，保留目標(biāo)人臉的面部紋理，需要在此方向繼續(xù)進(jìn)行研究。

參考文獻(xiàn)

[1]林源，桂良琰，王生進(jìn)，等，基于真實(shí)感三維頭重建的人臉替換[J].清華大學(xué)學(xué)報(bào)：自然科學(xué)版，2012，52 （05）：602-606.

[2]吳樂，黃修訓(xùn)，周霽婷，等，即時(shí)聊天的視頻背景實(shí)時(shí)替換技術(shù)研究[J].電子測量技術(shù)，2014，37 （03）：66-68+72.

[3]劉錦云，彭宏京，基于表情傳輸?shù)慕换ナ秸掌庉媅J].中國圖象圖形學(xué)報(bào)，2015，20 （10）：1390-1402.

[4]魏瑋，馬瑞，王小芳，視頻中人臉位置的定量檢測[J].計(jì)算機(jī)應(yīng)用，2017，37 （03）：801-805.

[5]陳晗，胡新榮，萬立，復(fù)雜背景下人體頭部圖像替換算法研究[J].通信電源技術(shù)，2016，33 （02）：130-131.

[6]徐明亮，孫亞西，呂培，等.呈現(xiàn)人臉顯著性特征的二維碼視覺優(yōu)化[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2016，28 （08）：1215-1223.

[7]成亞玲，譚愛平，張敏.混合多距離圖像的線性判別分析人臉識別算法[J].系統(tǒng)仿真學(xué)報(bào)，2016，28 （09）：2254-2259+2266.

[8] BITOUK D，KUMAR N，DHILLON S，et al.Face swapping：automatically replacing faces in photographs U]. ACM.Transactions on Craphics （TOC）， 2008， 27 （3）： 39.

[9] ARAR N M， BEKMEZCI N K，GUNEY F，et 81.Real-timeface swapping in video sequences： Magic Mirror [C]//SignalProcessing and Communications Applications （SIU）. 2011IEEE 19th Conference on. IEEE， 2011： 825-828.

[10] THIES J，ZOLLHOFER M，SRAMMINCER M，et al.Face2face：Real-time face capture and reenactment of rgb 20 videos ECl//Proceedings of the IEEE Conference on Computer Vision and

Pattem Recognition. 2016： 2387-2395.

[11]宋懷波，齊關(guān)鋒，錢程.基于YUV顏色空間的臉部區(qū)域特征點(diǎn)定位方法[J].吉林大學(xué)學(xué)報(bào)：工學(xué)版，2013，43（Sl）：39-42.

[12]潘翔，陳敖，周春燕，等，基于視圖特征點(diǎn)分布的三維模型檢索算法[J].浙江工業(yè)大學(xué)學(xué)報(bào)，2013，41（06）：641-645.

[13]賈海鵬，張?jiān)迫?，徐建?基于OpenCL的圖像積分圖算法優(yōu)化研究[J].計(jì)算機(jī)科學(xué)，2013，40 （02）：1-7..

[14]束平，桑慶兵，唐曉東.一種復(fù)雜環(huán)境下魯棒的精確人臉檢測算法[J].電子設(shè)計(jì)工程，2017，25 （03）：5-8+13.

[15]邱曉樸.基于CUDA的Reinhard算法研究[J].山東工業(yè)技術(shù)，2016，（08）：141.

[16]汪玉美，陳代梅，趙根保.基于目標(biāo)提取與拉普拉斯變換的紅外和可見光圖像融合算法[J].激光與光電子學(xué)進(jìn)展，2017，54（Ol）：104-112.

[17]儀曉斌，陳瑩，分段仿射變換下基于泊松融合的正面人臉合成[J].計(jì)算機(jī)工程與應(yīng)用，2016，52 （15）：172-177.