基于彈性形變原理的人臉卡通動(dòng)畫系統(tǒng)設(shè)計(jì)

黃曉瑜

摘? 要： 針對現(xiàn)有人臉卡通動(dòng)畫設(shè)計(jì)系統(tǒng)實(shí)現(xiàn)復(fù)雜度高、圖像還原不精確的問題，文中設(shè)計(jì)基于彈性形變原理的人臉卡通動(dòng)畫系統(tǒng)。利用Candide?3建模平臺(tái)對采集到的原始人臉圖像進(jìn)行建模，并根據(jù)提取到的人臉特征進(jìn)行匹配，以獲取相應(yīng)的器官模型。在該模型的基礎(chǔ)上，基于彈性形變原理實(shí)現(xiàn)人臉卡通圖像的生成以及表情的變化。測試和實(shí)現(xiàn)結(jié)果表明，文中所設(shè)計(jì)的系統(tǒng)利用OpenGL平臺(tái)對人臉圖像進(jìn)行圖像渲染，生成具有高還原度的人臉卡通動(dòng)畫，且系統(tǒng)對硬件要求較低，適用于大多數(shù)應(yīng)用場景。

關(guān)鍵詞： 人臉卡通動(dòng)畫系統(tǒng); 彈性形變; 人臉圖像建模; Candide?3建模平臺(tái); 特征匹配; 系統(tǒng)測試

中圖分類號(hào)： TN911.73?34? ? ? ? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼： A? ? ? ? ? ? ? ? ? ? ?文章編號(hào)： 1004?373X（2020）08?0128?04

Design of face cartoon animation system based on elastic deformation principle

HUANG Xiaoyu

（College of Information Science and Technology， Guilin University of Electronic Technology， Guilin 541004， China）

Abstract： A face cartoon animation system based on elastic deformation principle is designed to solve the problem of high complexity and image restoration that the existing face cartoon animation design system cannot deal with. In the designed system， the candide?3 modeling platform is used to modeling the acquired original face images， and match the extracted face features， so as to obtain the corresponding organ modelsing. The generation and expression changes of face cartoon image are realized based on this model and the principle of elastic deformation. The testing and implementation results show that the proposed system renders face images by the OpenGL platform， and generates face cartoon animation with high degree of reduction. The system has low hardware requirements and is suitable for most application scenarios.

Keywords： face cartoon animation system; elastic deformation; facial image modeling; Candide?3 modeling platform; feature matching; system test

0? 引? 言

人臉卡通動(dòng)畫技術(shù)在虛擬現(xiàn)實(shí)技術(shù)、刑事案件追蹤、醫(yī)學(xué)輔助治療等方面均具有重要的意義[1?2]，因此近年來得到了廣泛的應(yīng)用。人臉卡通動(dòng)畫技術(shù)主要涉及兩方面，即人臉建模和模擬人臉動(dòng)畫。人臉建模要考慮人臉各個(gè)器官的形狀和搭配，而模擬人臉動(dòng)畫更要結(jié)合人臉的動(dòng)作表情，難度較大。因此，成為研究的熱點(diǎn)[3?4]。

在現(xiàn)有的人臉建模研究成果中，基于幾何建模和圖像處理的方法得到了廣泛的研究?；趲缀谓５姆椒ㄖ饕菫榱藢θ四樳M(jìn)行建模[5?6]。利用參數(shù)化的人臉建模方法，可以實(shí)現(xiàn)人臉的二維以及三維建模處理，常用的人臉建模模型主要是Candide人臉模型[7]。在人臉建模的基礎(chǔ)上，可以集合線性形變方法實(shí)現(xiàn)人臉表情的變換，從而獲得更為精確的人臉模型[8]?；趫D像學(xué)的方法主要利用參數(shù)化方法，通過表情匹配、顏色選擇、圖像渲染等方法實(shí)現(xiàn)人臉圖像到卡通動(dòng)畫的轉(zhuǎn)變。常用的人臉圖像處理方法有：Morphing方法、表情編碼方法等[9]。結(jié)合幾何建模以及圖像處理方法，可以有效實(shí)現(xiàn)人臉卡通動(dòng)畫的設(shè)計(jì)。

考慮到人臉卡通動(dòng)畫設(shè)計(jì)的實(shí)際需求，本文設(shè)計(jì)了基于彈性形變原理的人臉卡通動(dòng)畫設(shè)計(jì)系統(tǒng)。利用Candide?3模型對人臉進(jìn)行建模，通過圖像采集和特征提取，將人臉數(shù)據(jù)庫與形變模型進(jìn)行匹配以生成卡通人臉。結(jié)合彈性形變原理與圖像處理技術(shù)，對卡通人臉進(jìn)行表情變換和圖像渲染，可以得到較高真實(shí)度的人臉卡通動(dòng)畫，可以有效應(yīng)用于各個(gè)領(lǐng)域，所設(shè)計(jì)系統(tǒng)實(shí)現(xiàn)簡單，具有一定的工程應(yīng)用價(jià)值。

1? 技術(shù)基礎(chǔ)

1.1? 系統(tǒng)原理

人臉卡通動(dòng)畫系統(tǒng)原理結(jié)構(gòu)如圖1所示。將人臉采集數(shù)據(jù)進(jìn)行特征檢測和特征提取，并在人臉圖像庫中進(jìn)行匹配，獲得相應(yīng)的人臉器官數(shù)據(jù)，生成初始的卡通人臉[10]。在此基礎(chǔ)上，將彈性形變模型與人臉圖像庫進(jìn)行匹配，以對生成的卡通人臉進(jìn)行變形處理，并經(jīng)過圖像處理模型，生成最終的人臉卡通動(dòng)畫。

根據(jù)人臉圖像特征提取結(jié)果進(jìn)行匹配，選擇相應(yīng)的卡通器官數(shù)據(jù)并進(jìn)行組合?？ㄍㄈ四樐Ｐ椭饕^型和人臉兩個(gè)部分，其中人臉又可細(xì)分為眉毛、眼睛、鼻子、嘴巴以及臉型等部分，每一個(gè)部分又包含若干細(xì)節(jié)。定義人臉動(dòng)畫參數(shù)單位 （Facial Animation Parameter Units，F(xiàn)APU），則人臉器官包含的動(dòng)畫參數(shù)如表1所示。

1.2? 人臉圖像彈性形變原理

對人臉圖像進(jìn)行變形，以生成各種卡通表情。本文采用彈性形變方法對人臉數(shù)據(jù)進(jìn)行處理，利用BFM人臉庫可以生成新的人臉表情向量，如下：

式中：[Xid]是人臉訓(xùn)練結(jié)果;[αid]是彈性形變系數(shù)。利用彈性形變方法，構(gòu)建的人臉模型偏移量的主成分可以表示為：

式中：[Xexp]是帶表情的人臉模型偏移量;[αexp]是人臉表情偏移系數(shù)。將式（1）和式（2）合并，可以獲得基于彈性形變模型的人臉卡通模型，如下：

利用彈性形變方法可以實(shí)現(xiàn)無約束條件下的人臉表情變化，生成更為精確的人臉模型。此外，還可以對表情進(jìn)行定量控制。

根據(jù)彈性形變方法生成人臉模型，需要計(jì)算相應(yīng)的形變系數(shù)。而模型匹配就是求解系數(shù)的過程，可以利用人臉圖像與二維圖像對象的顏色信息誤差來進(jìn)行模型匹配，最優(yōu)化模型可以表示為：

通過最小化式（4）中的優(yōu)化模型，可以實(shí)現(xiàn)模型匹配，確定人臉卡通模型中的彈性形變系數(shù)與人臉表情偏移系數(shù)，生成人臉卡通圖像數(shù)據(jù)。

2? 系統(tǒng)總體架構(gòu)及模塊設(shè)計(jì)

2.1? 系統(tǒng)架構(gòu)

本文所設(shè)計(jì)的基于彈性形變原理的人臉卡通動(dòng)畫設(shè)計(jì)系統(tǒng)，主要分為3個(gè)部分：人臉采集、形變模型處理以及圖像處理，具體如圖2所示。

1） 人臉采集。人臉采集模塊主要負(fù)責(zé)原始人臉數(shù)據(jù)的收集及預(yù)處理，包括圖像采集和特征點(diǎn)檢測。通過對采集的原始人臉數(shù)據(jù)的特征定位，實(shí)現(xiàn)人臉器官的識(shí)別與匹配，根據(jù)需要生成二維或三維的人臉圖像數(shù)據(jù)。

2） 形變模型處理。形變模型處理模塊包括形變模型和模型匹配兩部分，基于彈性形變原理對人臉圖像數(shù)據(jù)進(jìn)行形變處理，生成卡通表情，將根據(jù)形變模型與人臉圖像數(shù)據(jù)進(jìn)行模型匹配。

3） 圖像處理。圖像處理模塊包括動(dòng)畫設(shè)計(jì)和圖像渲染，主要負(fù)責(zé)實(shí)現(xiàn)人臉圖像數(shù)據(jù)到卡通動(dòng)畫數(shù)據(jù)的轉(zhuǎn)變。并對動(dòng)畫進(jìn)行圖像渲染，增強(qiáng)圖像效果。

2.2? 卡通動(dòng)畫處理

在彈性形變生成人臉模型之后，需要利用圖像處理技術(shù)生成動(dòng)畫，具體過程如圖3所示。

圖像載入模塊利用攝像頭拍攝或者從本地圖片導(dǎo)入獲得原始的人臉圖像數(shù)據(jù)，并利用Candide?3對圖像數(shù)據(jù)進(jìn)行建模，將建模后的圖像進(jìn)行圖像渲染出來。圖像渲染利用OpenGL平臺(tái)實(shí)現(xiàn)，并將渲染后的圖像經(jīng)過I/O處理傳遞給動(dòng)畫生成模塊。根據(jù)前期提取的人臉特征，匹配相應(yīng)的表情動(dòng)畫庫，并利用FreeImage平臺(tái)實(shí)現(xiàn)關(guān)鍵幀的插入。最后，將生成的人臉動(dòng)畫以工程文件或者GIF動(dòng)畫的形式進(jìn)行存儲(chǔ)。

在圖3中的圖像渲染部分，利用OpenGL平臺(tái)實(shí)現(xiàn)，其具體的模型如圖4所示。

圖像渲染主要是對圖像的配色進(jìn)行處理，首先對載入的原始人臉圖像數(shù)據(jù)進(jìn)行顏色匹配，確定初始顏色。在初始配色后，利用圖像回旋技術(shù)，實(shí)現(xiàn)顏色第一次重構(gòu)處理。并對顏色矩陣進(jìn)行操作，查找相應(yīng)的顏色，實(shí)現(xiàn)有顏色的第二次調(diào)整。在顏色選擇結(jié)束后，通過柱狀圖計(jì)算以及最大最小計(jì)算方法，實(shí)現(xiàn)顏色邊界的處理，從而實(shí)現(xiàn)最終的人臉圖像渲染。

3? 系統(tǒng)實(shí)現(xiàn)

人臉卡通動(dòng)畫設(shè)計(jì)系統(tǒng)主要采用Visual 2010和Matlab 2015b工具以及OpenGL進(jìn)行開發(fā)，對軟硬件沒有特殊的要求。由于OpenGL可以跨平臺(tái)提供程序圖像接口，因此具有較好的可移植性，且支持多種語言。系統(tǒng)實(shí)現(xiàn)界面如圖5所示。

在將人臉圖像數(shù)據(jù)加入系統(tǒng)后，需要進(jìn)行人臉特征檢測。并將檢測后的結(jié)果展示在界面中，以便于更直觀地檢查特征檢測結(jié)果，圖6為人臉特征檢測系統(tǒng)界面。

4? 系統(tǒng)測試與數(shù)據(jù)分析

圖7為人臉數(shù)據(jù)原圖，在對其進(jìn)行人臉特征檢測之后，通過彈性形變原理進(jìn)行變形處理，生成的人臉動(dòng)畫表情如圖8所示，可以明顯改變?nèi)四樀谋砬椤?/p>

在產(chǎn)生人臉數(shù)據(jù)形變圖后，可以利用人像投影技術(shù)進(jìn)一步生成卡通人臉數(shù)據(jù)。利用本系統(tǒng)生成的人臉卡通數(shù)據(jù)的投影誤差如表2所示。

由表2中可以看出，本文所設(shè)計(jì)系統(tǒng)生成的人臉數(shù)據(jù)投影誤差比現(xiàn)有算法要低，且針對不同人臉數(shù)據(jù)均有較好的適用性。通過人臉表情形變處理結(jié)果和人臉卡通投影測試的結(jié)果，證明了本文所設(shè)計(jì)系統(tǒng)的有效性。

5? 結(jié)? 語

為滿足人臉卡通動(dòng)畫設(shè)計(jì)系統(tǒng)的研究需求，本文設(shè)計(jì)了基于彈性形變原理的人臉卡通動(dòng)畫設(shè)計(jì)系統(tǒng)。整個(gè)系統(tǒng)劃分為3個(gè)模塊，分別從人臉數(shù)據(jù)采集、彈性形變算法設(shè)計(jì)和卡通動(dòng)畫圖像處理3個(gè)方面對系統(tǒng)進(jìn)行設(shè)計(jì)。利用Candide?3模型對人臉進(jìn)行建模，獲取原始的人臉采集數(shù)據(jù)，并基于彈性形變原理對人臉采集數(shù)據(jù)進(jìn)行變形，得到卡通人臉圖像，最終利用OpenGL平臺(tái)實(shí)現(xiàn)圖像渲染，生成人臉卡通動(dòng)畫。本文所設(shè)計(jì)的人臉卡通動(dòng)畫設(shè)計(jì)系統(tǒng)可以得到較高還原度的人臉卡通動(dòng)畫，且對硬件支持要求較低，具有良好的工程應(yīng)用價(jià)值。

參考文獻(xiàn)

[1] KIM M， PONS?MOLL G， PUJADES S， et al. Data?driven physics for human soft tissue animation [J]. ACM transactions on graphics， 2017， 36（4）： 1?12.

[2] ZHOU J R， CAMPEN M， ZORIN D， et al. Quadrangulation of non?rigid objects using deformation metrics [J]. Computer aided geometric design， 2018（7）： 339?352.

[3] VOUGA E， SMITH B， KAUFMAN D M， et al. All's well that ends well： guaranteed resolution of simultaneous rigid body impact [J]. ACM transactions on graphics， 2017， 36（4）： 1?19.

[4] 靳宏偉.基于形變模型的多視圖人臉圖像的三維重建[D].西安：西北大學(xué)，2018.

[5] 伍菲.結(jié)合人臉表情和變形技術(shù)的人臉卡通動(dòng)畫系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].現(xiàn)代電子技術(shù)，2018，41（12）：64?66.

[6] 王娟.基于形變模型的人臉三維重構(gòu)與表情傳遞的研究[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2018.

[7] 雷騰，侯進(jìn)，王獻(xiàn).基于改進(jìn) Candide?3模型的眼部動(dòng)畫建模[J].哈爾濱工程大學(xué)學(xué)報(bào)，2015（4）：581?586.

[8] MARAMI B， SIROUSPOUR S， GHOUL S， et al. Elastic registration of prostate MR images based on estimation of deformation states [J]. Medical image analysis， 2015， 21（1）： 87?103.

[9] LI Q D， HUA G M， HAO L， et al. Understanding the effect of plastic deformation on elastic modulus of metals based on a percolation model with electron work function [J]. JOM， 2018（7）： 1?6.

[10] 李君涵.針對視頻的人臉卡通化方法研究[D].成都：電子科技大學(xué)，2016.

[11] 王麗娜.實(shí)時(shí)分布式三維卡通動(dòng)畫智能播放控制研究[J].自動(dòng)化與儀器儀表，2018（8）：14?16.