基于改進Morphing算法的人臉動畫生成算法

黃曉瑜

摘? 要： 針對人臉漸變動畫真實性和過渡效果難以提高的問題，文中基于圖形漸變動畫技術(shù)，提出一種改進的Morphing算法。該算法通過多次使用Adaboost算法以提高人臉特征定位的準確性和效率，同時又通過彩色和灰色圖像的混合交叉漸變處理提高了人臉圖像漸變效果的穩(wěn)定性和真實性。經(jīng)過測試與實驗結(jié)果表明，該算法在未大幅提高計算量的同時，獲得了真實性、穩(wěn)定性和普適性較好的人臉漸變動畫效果，且漸變過渡較為自然，為當前人臉動畫生成的需求提供一種較為理想的技術(shù)解決方案。

關(guān)鍵詞： 人臉動畫; Morphing算法; 圖像漸變; Adaboost算法; 人臉特征定位; 混合交叉漸變

中圖分類號： TN911.73?34; TP393? ? ? ? ? ? ? ? 文獻標識碼： A? ? ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2020）22?0082?04

Abstract： In allusion to the problem that it is difficult to improve the authenticity and transition effect of facial morphing animation， an improved Morphing algorithm is proposed based on graphics morphing animation technology. The accuracy and efficiency of facial feature location are improved by means of the Adaboost algorithm for more times， and the hybrid cross morphing processing of color and gray images is performed to improve the stability and authenticity of the morphing effect of the facial image. The testing and experimental results show that the algorithm not only does not greatly increase the amount of computation， but also achieves the effect of facial morphing animation with good authenticity， stability and universality， and more natural morphing transition， which provides an ideal technical solution for the current demand of facial animation generation.

Keywords： facial animation; Morphing algorithm; image morphing; Adaboost algorithm; facial feature location; hybrid cross morphing

0? 引? 言

人臉作為面對面直觀溝通的信息傳播載體，能夠通過豐富、復雜的細節(jié)變化傳遞個人的個性和情緒信息，也是動畫領(lǐng)域關(guān)注的長期焦點[1?3]。在計算機出現(xiàn)之后，利用計算機人臉動畫技術(shù)，如人臉漸變動畫技術(shù)對人臉進行模擬和生成，有力推動了人臉動畫的發(fā)展[4]。然而，由于人臉通常呈現(xiàn)出較多且復雜的細節(jié)特征（光照特性、色彩特征、背景特征等），人臉動畫技術(shù)在如何提高真實性和過渡效果方面仍是計算機動畫待解決的困難問題[5?6]。

因此，本文基于圖形漸變動畫技術(shù)提出一種改進的Morphing算法。通過提高人臉特征定位與圖像漸變效果的穩(wěn)定性和準確性，得到更加真實、穩(wěn)定和自然的彩色人臉動畫。

1? 人臉漸變相關(guān)技術(shù)分析

圖像漸變，即從兩個方向?qū)煞鶊D像（分別為源圖像和目標圖像）進行變形，再通過灰度融合產(chǎn)生中間圖像，進而實現(xiàn)兩幅圖像間平滑漸變的操作過程。而人臉漸變意味著兩幅圖像皆為人臉圖像的漸變過程，再添加顏色屬性，即可成為彩色人臉漸變。在彩色人臉漸變中，主要使用到的技術(shù)分別為特征定義與提取、中間幀圖像融合及圖像變形技術(shù)。其典型架構(gòu)如圖1所示[7]。

具體而言，人臉漸變的實現(xiàn)流程為：選擇目標圖像和源圖像的人臉特征，包括人臉特征網(wǎng)格、線段或點，產(chǎn)生DCF目標控制點及SCF源控制特征，并進一步對ICF中間控制特征信息進行描述：

在人臉特征定義過程中，需要依次定義人臉特征范圍（包括基本器官、頭部輪廓等）、確定精細程度（主要為特征點個數(shù)）和確定定義形式（可以選擇特征網(wǎng)格、特征線段或特征點三種類型信息）;在特征提取過程中，則主要考慮使用自動或是手工提取方式[8]。

在人臉圖像變形過程中，主要涉及重采樣（包括領(lǐng)域平均插值、最近鄰插值和雙線性插值等）及空間映射（包括后向和前向映射）兩種技術(shù)。前者用于映射關(guān)系函數(shù)計算像素值的取整，后者用于圖像變形前后像素點映射關(guān)系的建立[9?10]?？紤]到人臉動畫的真實性，本文的重采樣選用了雙線性插值技術(shù);為了避免“空洞”和“交叉”問題，本文的空間映射選用了后向映射。

在中間幀圖像融合過程中，一般采用交叉溶解技術(shù)用于實現(xiàn)圖像混合，即根據(jù)透明度對Image_D目標圖像及Image_S源圖像進行線性插值融合：

目前，常用的人臉圖像漸變算法主要為基于點特征（主要為徑向基函數(shù)變形算法）、基于線段特征及基于網(wǎng)格特征（規(guī)則和不規(guī)則網(wǎng)格）的漸變算法[11]。這3類算法雖均可實現(xiàn)人臉漸變，但也存在用戶操作不友好、復雜背景操作困難等問題?？紤]到點特征具有較容易的映射關(guān)系指定和數(shù)據(jù)獲取，本文在基于點特征的漸變算法基礎(chǔ)上，對其進行改進。

2? 改進的Morphing算法的分析和設(shè)計

2.1? 改進的MR?ASM算法

ASM算法是基于形狀分離、灰度和統(tǒng)計學提出的一種可變形模型，可以用于實現(xiàn)汽車圖像跟蹤、器官分割和特征定位等功能。但該算法在計算速度、效率及檢測準確性上均存在較大的不足[12]。而MR?ASM算法則通過引入多分辨率分析來改善上述問題，其基本思想可描述為：通過較大跳躍尋找粗糙圖像（原始圖像的基礎(chǔ)上縮小后的圖像）中的指定目標，從而進行粗略定位;不斷提高圖像的清晰度，通過越來越小的移動即可實現(xiàn)比傳統(tǒng)的ASM算法更快速、更準確的定位操作。但是令人遺憾的是，MR?ASM算法的人臉區(qū)域檢測和搜索范圍仍過大，因此本文通過引入Adaboost算法來進一步提高人臉特征定位的準確性和效率，該算法可描述為：

1） 輸入待檢測圖像Imag 0。

2） 定義臨時變量Temp 0和Temp 1，分別用于表示搜索前后的人臉區(qū)域。

3） 用待檢測圖像初始化Temp 0。

4） 對Temp 0進行人臉檢測（i層），若檢測成功，令Temp 0=Temp 1，并對Temp 0的區(qū)域進行中心不變的縮?。s小0.20）;否則，跳出循環(huán)，并將Temp 0作為最終人臉區(qū)域進行輸出。

值得注意的是，本文改進的MR?ASM算法多次使用Adaboost算法。在首次使用時，選用較大的搜索尺度，從而提高搜索速度;在后續(xù)使用時，先減小搜索范圍再使用Adaboost算法，從而提高搜索效率和準確性。

2.2? 改進的漸變控制算法

傳統(tǒng)的交叉溶解技術(shù)主要在合成圖像質(zhì)量、對比度等方面存在較大的不足，因此本文在漸變過程中對源圖像的色彩處理（淡入和淡出）與目標圖像的色彩處理分離開來。在保證色彩的連貫性和自然性的同時，分離了兩者的色彩干擾[13]。具體而言，首先需要將彩色圖像轉(zhuǎn)換為灰度圖，以及需要將RGB模式轉(zhuǎn)換為HSI模式。其中，灰度圖由式（5）給出，從而實現(xiàn)彩色像素到對應(yīng)像素灰度值的轉(zhuǎn)化。

在上述處理完成后，對圖像進行漸變處理。在這一過程中，以中間時刻為分界線，用A與B分別代表源圖像和目標圖像，用C與D分別代表由源圖像和目標圖像轉(zhuǎn)化得到的灰度圖像。分析可知，A與B分別在前、后半周期內(nèi)的中間幀M占據(jù)著視覺優(yōu)勢，且在遠離中間幀的過程中逐漸變?nèi)?。因此，可以通過混合漸變A與D及B與C來實現(xiàn)A～B的順滑漸變。此外，考慮到中間幀附近的過渡問題，本文引入HSI模型進行處理并調(diào)整飽和度分量，從而保證前后半周期的自然過渡。其相應(yīng)的算法描述如下：

3? 實驗測試與結(jié)果分析

本文實驗的硬件環(huán)境為Core i9 9900處理器，1 TB硬盤，16 GB內(nèi)存;軟件環(huán)境為Windows 7平臺下的VC++ 6.0。此外，測試所用的源圖像和目標圖像皆為PNG格式，大小為385×228，共200張。

圖2為本文使用改進的MR?ASM算法對人臉進行特征點提取和定位的效果圖。從圖中可以看到，本文的特征點提取效果良好，提取出的特征點位置能夠較好地描述人臉圖像中的五官形狀，且在彩色和灰色圖像下提取的特征點基本一致，表明本文人臉特征點提取與定位具有較高的穩(wěn)定性和可行性。

圖3為本文算法及利用交叉溶解技術(shù)實現(xiàn)的人臉漸變動畫效果圖。易知，本文算法具有更自然的過渡效果，受源圖像和目標圖像色彩差異的影響較小，且只比交叉溶解技術(shù)算法多消耗了42 ms的時間。

本文針對其他圖像同樣采用Morphing算法進行人臉動畫生成測試，如圖4所示。從測試結(jié)果可以看到，本文算法具有普遍的適用性和穩(wěn)定性，人臉動畫效果較為真實，漸變過渡較為自然。

4? 結(jié)? 語

為了提高人臉漸變動畫的真實性，本文基于圖形漸變動畫技術(shù)提出一種改進的Morphing算法。該算法借助Adaboost算法提高人臉特征定位的準確性和效率;借助彩色與灰色圖像的混合交叉漸變處理方法，提高人臉圖像漸變效果的穩(wěn)定性和準確性。經(jīng)過測試，該算法對于人臉漸變動畫真實性和穩(wěn)定性的提高具有較好的效果，且漸變過渡較為自然，能夠給人臉動畫的生成提供一定的技術(shù)指導。

參考文獻

[1] 閆衍芙，呂科，薛健，等.基于深度學習和表情AU參數(shù)的人臉動畫方法[J].計算機輔助設(shè)計與圖形學學報，2019，31（11）：1973?1980.

[2] 李俊龍，章登義，黃珺.Kinect驅(qū)動的人臉動畫合成技術(shù)研究[J].計算機工程，2015，41（3）：237?241.

[3] KONSTANTINOS Vougioukas， STAVROS Petridis， MAJA Pantic. Realistic speech?driven facial animation with GANs [J]. International journal of computer vision， 2019（6）： 1?16.

[4] TERO Karras， TIMO Aila， SAMULI Laine， et al. Audio?driven facial animation by joint end?to?end learning of pose and emotion [J]. ACM transactions on graphics， 2017， 36（4）： 1?12.

[5] HAI X Pham， SAMUEL Cheung， VLADIMIR Pavlovic. Speech?driven 3D facial animation with implicit emotional awareness： a deep learning approach [C]// IEEE Conference on Computer Vision and Pattern Recognition Workshops. Boston： IEEE， 2017： 25?37.

[6] CHRISTOS Ouzounis， ALEX Kilias， CHRISTOS Mousas. Kernel projection of latent structures regression for facial animation retargeting [C]// Workshop on Virtual Reality Interaction & Physical Simulation Vriphys. San Francisco： VRIPHYS， 2017： 611?622.

[7] 董蘭芳，王建富，夏澤舉，等.多張人臉圖像的自適應(yīng)漸變動畫[J].小型微型計算機系統(tǒng)，2015，36（12）：2754?2759.

[8] ROTSHTEIN P， HENSON R N A， TREVES A， et al. Morphing marilyn into maggie dissociates physical and identity face representations in the brain [J]. Nature neuroence， 2005， 8（1）： 107?113.

[9] SEIBOLD C， SAMEK W， HILSMANN A， et al. Detection of face morphing attacks by deep learning [C]// 16th International Workshop on Digital Forensics and Watermarking. Cham： Springer， 2017： 71?79.

[10] BUI T D， POEL M， HEYLEN D， et al. Automatic face morphing for transferring facial animation [C]// Iasted International Conference on Computer Graphics & Imaging. Portland： ACTA Press， 2003： 12?24.

[11] HILDEBRANDT M， NEUBERT T， MAKRUSHIN A， et al. Benchmarking face morphing forgery detection： Application of stirtrace for impact simulation of different processing steps [C]// 2017 5th International Workshop on Biometrics and Forensics. Richmond： IEEE， 2017： 314?326.

[12] LANFANG D， ZEJU X I A， WU Y， et al. Method and device for generating morphing animation： US8531484 [P]. （2013?09?10）[2019?01?24].

[13] RAGHAVENDRA R， RAJA K， VENKATESH S， et al. Face morphing versus face averaging： Vulnerability and detection [C]// 2017 IEEE International Joint Conference on Biometrics. Salt Lake City： IEEE， 2017： 79?91.