應(yīng)用三角形坐標(biāo)系的風(fēng)格化肖像生成算法

董肖莉, 李衛(wèi)軍, 寧欣, 張麗萍, 路亞旋

(1.中國(guó)科學(xué)院半導(dǎo)體研究所, 100083, 北京; 2.中國(guó)科學(xué)院大學(xué)微電子學(xué)院, 100029, 北京; 3.威富集團(tuán)認(rèn)知計(jì)算技術(shù)威富聯(lián)合實(shí)驗(yàn)室, 100083, 北京)

肖像繪制是一種非常流行的藝術(shù)表現(xiàn)形式,隨著機(jī)器視覺(jué)相關(guān)技術(shù)的不斷發(fā)展,肖像繪制在虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)以及機(jī)器人肖像繪制系統(tǒng)等多媒體、個(gè)性化娛樂(lè)以及互聯(lián)網(wǎng)等有廣泛應(yīng)用。為了增強(qiáng)肖像的藝術(shù)表現(xiàn)力,基于不同的藝術(shù)特性角度產(chǎn)生了多種類型的藝術(shù)化肖像,例如素描、卡通、漫畫等,漫畫作為一種常見(jiàn)的藝術(shù)形式得到了許多學(xué)者的關(guān)注與研究。Liang等通過(guò)訓(xùn)練人臉圖像和手繪漫畫圖像對(duì)來(lái)建立形狀夸張模型[1],對(duì)輸入人臉判定夸張?jiān)筒⒖鋸埳陕?Zhang等提出了一種自動(dòng)化的漫畫生成方法[2],通過(guò)拆分人臉特征實(shí)現(xiàn)對(duì)人臉不同構(gòu)件的夸張從而生成漫畫;Yang等提出了一種基于樣本的夸張人臉構(gòu)件形狀和空間位置關(guān)系的漫畫生成方法[3],但漫畫圖像與原始肖像差別較大;陳文娟等提出了一種利用人臉特征及其關(guān)系的漫畫合成方法[4],需搜集訓(xùn)練數(shù)據(jù),人工標(biāo)注人臉83個(gè)特征點(diǎn);杜曉榮等提出了一種變形規(guī)則套用方法來(lái)夸張卡通人物造型[5],但并沒(méi)有突出個(gè)性特征;蘇延輝等提出了一種參數(shù)化的肖像漫畫生成算法[6],通過(guò)調(diào)整參數(shù)可生成不同的漫畫效果,但是變形隨意,很難從漫畫中識(shí)別原始肖像。

現(xiàn)有肖像漫畫化處理方法中存在的依賴訓(xùn)練樣本以及大量計(jì)算導(dǎo)致算法復(fù)雜度高等問(wèn)題,限制了算法在準(zhǔn)實(shí)時(shí)系統(tǒng)中的應(yīng)用。本文從圖像變形角度出發(fā)提出了一種基于三角形坐標(biāo)系[7]的風(fēng)格化肖像生成算法,無(wú)需訓(xùn)練樣本,僅需要一張參考人臉圖像,通過(guò)簡(jiǎn)單計(jì)算即可快速生成風(fēng)格化肖像。

1　算法框架

對(duì)參考人臉和實(shí)驗(yàn)人臉圖像進(jìn)行預(yù)處理,包括人臉檢測(cè)與特征點(diǎn)定位、對(duì)齊、線條肖像畫生成[8]等,S、Sref、SC分別表示實(shí)驗(yàn)人臉、參考人臉、風(fēng)格化肖像的特征點(diǎn)集,TS、TC分別表示基于S和SC所建立的三角形坐標(biāo)系。基于三角形坐標(biāo)系的風(fēng)格化肖像生成算法的框架如圖1所示。

圖1　風(fēng)格化肖像生成算法框架圖

2　三角形坐標(biāo)系

王守覺(jué)院士為解決圖像變形問(wèn)題提出三角形坐標(biāo)系,通過(guò)在圖像對(duì)上標(biāo)定一一對(duì)應(yīng)的特征點(diǎn)來(lái)建立映射關(guān)系,并以這些特征點(diǎn)為原點(diǎn)建立三角形坐標(biāo)系;然后通過(guò)把一幅圖像的特征點(diǎn)逐漸移動(dòng)到另一幅圖像對(duì)應(yīng)特征點(diǎn)的位置,且保持圖像像素點(diǎn)的三角形坐標(biāo)值不變,反算出像素點(diǎn)的新的笛卡爾坐標(biāo);再通過(guò)像素點(diǎn)位置和顏色的插值來(lái)生成變形后圖像。

基于三角形坐標(biāo)系的圖像變形算法計(jì)算簡(jiǎn)單、變形直觀、快速,僅需事先獲取圖像的特征點(diǎn)集,通過(guò)將特征點(diǎn)集沿不同方向移動(dòng)形成不同的目標(biāo)特征點(diǎn)集,從而產(chǎn)生不同的變形效果。人臉特征點(diǎn)標(biāo)注已有很多成熟的算法,且定位準(zhǔn)確、快速,基于此可自動(dòng)建立三角形坐標(biāo)系,將點(diǎn)集中任一點(diǎn)跟集合中其他點(diǎn)相連,如果新連接線段與已有線段相交,則刪除;對(duì)點(diǎn)集中任一點(diǎn)遍歷點(diǎn)集,找出同時(shí)與它相連的所有點(diǎn)對(duì),如果它與點(diǎn)對(duì)所組成的三角形內(nèi)部沒(méi)有其他點(diǎn),則加入三角形集合。

由于S和SC中的點(diǎn)一一對(duì)應(yīng),將S中點(diǎn)與點(diǎn)之間的連接關(guān)系直接映射到SC中建立TC,則TS與TC中的三角形也一一對(duì)應(yīng),可保證二者之間的一致性。但由于SC相對(duì)于S有位置偏移,可能會(huì)導(dǎo)致TC中不同三角形之間不獨(dú)立,出現(xiàn)邊與邊的交叉。

如果三角形之間有交叉,經(jīng)圖像變形后會(huì)出現(xiàn)變形“黑洞”。針對(duì)該問(wèn)題根據(jù)人臉先驗(yàn)幾何特征設(shè)置變形約束準(zhǔn)則:以S為基礎(chǔ)移動(dòng)形成SC時(shí),需保持人臉不同特征之間的相對(duì)位置不變,如眼睛總在眉毛下方。在準(zhǔn)則的約束下才能生成結(jié)構(gòu)合理的風(fēng)格化肖像。

3　風(fēng)格化肖像生成算法

為計(jì)算實(shí)驗(yàn)人臉的個(gè)性特征,需要將其特征與參考人臉特征進(jìn)行比較。參考圖像為通過(guò)搜集中國(guó)大陸男性和女性各超過(guò)2 000張照片并將這些照片經(jīng)過(guò)預(yù)處理進(jìn)行疊加得到的平均臉圖像。風(fēng)格化肖像生成算法步驟如下。

步驟1已知參考人臉特征點(diǎn)集Sref={Sref(i)|i=1,2,…,n}和實(shí)驗(yàn)人臉特征點(diǎn)集S={S(i)|i=1,2,…,n},其中n為特征點(diǎn)數(shù),Sref(i)的笛卡爾坐標(biāo)為(Sref(i)x,Sref(i)y),S(i)的笛卡爾坐標(biāo)為(S(i)x,S(i)y),S(i)對(duì)應(yīng)的特征點(diǎn)為Sref(i)。

步驟2計(jì)算由Sref移動(dòng)到S的偏移向量VD={VD(i)|i=1,2,…,n}和偏移程度集合MD={MD(i)|i=1,2,…,n}

(1)

(2)

步驟3計(jì)算實(shí)驗(yàn)人臉的個(gè)性特征向量VP={VP(i)|i=1,2,…,n}

(3)

式中:TP為閾值,衡量實(shí)驗(yàn)人臉特征點(diǎn)與參考人臉特征點(diǎn)相比的變化程度,并由此來(lái)確定實(shí)驗(yàn)人臉的個(gè)性特征。

步驟4設(shè)置夸張程度WC={ωi|i=1,2,…,n}以夸張個(gè)性特征,并計(jì)算風(fēng)格化變形向量VC={VC(i)|i=1,2,…,n}

(4)

式中:ωi一般范圍為0.0～2.0,ωi越大,個(gè)性特征越夸張。

步驟5在變形約束準(zhǔn)則下將S沿著VC移動(dòng),得到風(fēng)格化肖像特征點(diǎn)集SC={SC(i)|i=1,2,…,n}

(5)

步驟6以S為原點(diǎn)建立三角形坐標(biāo)系TS,并將S中點(diǎn)與點(diǎn)之間的連接關(guān)系映射到SC中建立三角形坐標(biāo)系TC。對(duì)于實(shí)驗(yàn)人臉圖像中的每一個(gè)像素點(diǎn)P,根據(jù)TS計(jì)算P的三角形坐標(biāo)(xpa,xpb),并根據(jù)TC及(xpa,xpb)來(lái)反算變形后圖像的笛卡爾坐標(biāo),最終插值得到風(fēng)格化肖像。

以一張實(shí)驗(yàn)人臉為例,與參考人臉特征比較,如圖2所示。圖2中黑色點(diǎn)為實(shí)驗(yàn)人臉特征點(diǎn),灰色點(diǎn)為參考人臉特征點(diǎn),圖中箭頭表示由灰色點(diǎn)移動(dòng)到黑色點(diǎn)的方向。以圖2中標(biāo)注序號(hào)特征點(diǎn)為例來(lái)計(jì)算實(shí)驗(yàn)人臉的個(gè)性特征,計(jì)算過(guò)程見(jiàn)表1。

圖2　實(shí)驗(yàn)人臉與參考人臉特征點(diǎn)分布

根據(jù)圖2中10個(gè)示例特征點(diǎn)和表1可知,與⑥～⑩號(hào)特征點(diǎn)相比,①～⑤號(hào)特征點(diǎn)與參考人臉差異較大,不同特征點(diǎn)會(huì)呈現(xiàn)出不同程度的個(gè)性特征,從特征點(diǎn)分布來(lái)說(shuō),可明顯地觀察到實(shí)驗(yàn)人臉比參考人臉臉型更瘦。當(dāng)設(shè)置TP=6時(shí),⑥～⑨號(hào)特征點(diǎn)不參與圖像變形,這在一定程度上遵循了藝術(shù)家的夸張規(guī)則,即優(yōu)先夸張較為明顯的特征,忽略不明顯的特征。

圖3　不同夸張程度對(duì)應(yīng)的形狀特征及風(fēng)格化肖像

一旦計(jì)算得到了個(gè)性特征,可通過(guò)設(shè)置不同夸張程度實(shí)現(xiàn)對(duì)個(gè)性特征不同程度的夸張,生成不同的風(fēng)格化肖像。

圖3顯示了對(duì)實(shí)驗(yàn)人臉設(shè)置不同夸張程度對(duì)應(yīng)生成的風(fēng)格化肖像。為了便于觀察肖像的形狀特征,將特征點(diǎn)集之間進(jìn)行了部分連接。由圖3可以看出,實(shí)驗(yàn)人臉帶有微笑表情,且臉小、眼睛較大。經(jīng)夸張之后,微笑表情更加明顯、眼睛更大、臉更小,從對(duì)應(yīng)特征點(diǎn)的連接形狀上可直觀觀察出來(lái)。

表1　實(shí)驗(yàn)人臉示例點(diǎn)個(gè)性特征計(jì)算

4　實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)所用計(jì)算機(jī)處理器為Intel(R) Core (TM) i5-4460 CPU 3.20 GHz,內(nèi)存為12 GB。采用本文算法對(duì)多張實(shí)驗(yàn)人臉進(jìn)行風(fēng)格化處理,并從風(fēng)格化肖像的視覺(jué)效果以及算法的執(zhí)行效率2個(gè)方面對(duì)算法的性能進(jìn)行評(píng)價(jià)。

4.1　視覺(jué)效果分析

圖4顯示了對(duì)不同實(shí)驗(yàn)人臉應(yīng)用不同WC所對(duì)應(yīng)生成的風(fēng)格化肖像結(jié)果。由圖4可見(jiàn),隨WC增大,不同實(shí)驗(yàn)人臉的個(gè)性特征都更加夸張,但是當(dāng)個(gè)性特征本身就很顯著時(shí),夸張效果會(huì)更加明顯。例如圖4a與圖4f的眼睛都較大,經(jīng)過(guò)同樣的夸張程度變形后,圖4h、圖4i、圖4j的夸張效果分別比圖4c、圖4d、圖4e的夸張效果更加明顯。本實(shí)驗(yàn)設(shè)置夸張程度為統(tǒng)一值,實(shí)際應(yīng)用中可根據(jù)需求設(shè)置不同人臉特征點(diǎn)的不同夸張程度。

(a)實(shí)驗(yàn)人臉1 (b)線條肖像1(c)　　　風(fēng)格化肖像1 (d)　　　風(fēng)格化肖像1 (e)　　　風(fēng)格化肖像1WC={0.5}　　　WC={1.0}　　　WC={1.3}

(f)實(shí)驗(yàn)人臉2 (g)線條肖像2(h)　　　風(fēng)格化肖像2 (i)　　　風(fēng)格化肖像2 (j)　　　風(fēng)格化肖像2WC={0.5}　　　WC={1.0}　　　WC={1.3}

(k)實(shí)驗(yàn)人臉3 (l)線條肖像3 (m)　　　風(fēng)格化肖像3 (n)　　　風(fēng)格化肖像3 (o)　　　風(fēng)格化肖像3WC={0.5}　　　WC={1.0}　　　WC={1.3}圖4　不同實(shí)驗(yàn)人臉不同夸張程度生成的風(fēng)格化肖像

為將本文算法與其他算法比較,設(shè)計(jì)了2組對(duì)比實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果分別如圖5、圖6所示。

(a)原始線條人臉圖像

(b)文獻(xiàn)[1]算法

(c)PICASSO系統(tǒng)

(d)本文算法圖5　算法對(duì)比實(shí)驗(yàn)1

利用文獻(xiàn)[1]中的線條人臉圖像為實(shí)驗(yàn)對(duì)象,將本文算法與文獻(xiàn)[1]算法和PICASSO系統(tǒng)[9]進(jìn)行比較。由圖5可以看出:PICASSO系統(tǒng)所生成的漫畫雖然在一定程度上夸張了個(gè)性特征,但是嘴巴、鼻子等部分變形嚴(yán)重,影響了漫畫整體效果;文獻(xiàn)[1]算法對(duì)2張實(shí)例圖像的漫畫處理效果類似,都對(duì)臉型進(jìn)行了瘦長(zhǎng)夸張?zhí)幚?但是并沒(méi)有很明顯地突出不同人的個(gè)性特征,且忽略了眉毛、姿態(tài)等細(xì)節(jié)特征。本文算法不僅突出了不同人的主要個(gè)性特征,對(duì)于姿態(tài)、眉毛等細(xì)節(jié)個(gè)性特征也得到了夸張。

利用文獻(xiàn)[2]中的實(shí)驗(yàn)圖像,將本文算法與文獻(xiàn)[2]算法進(jìn)行比較。由圖6可以看出,本文算法對(duì)于表達(dá)不同實(shí)驗(yàn)人臉的臉型、眼睛、嘴巴等個(gè)性特征優(yōu)勢(shì)更明顯,整體效果生動(dòng)形象。文獻(xiàn)[2]算法雖然也在一定程度上夸張了部分個(gè)性特征,但是臉型特征夸張并不明顯,且漫畫與原始人臉相似性不高,不同漫畫之間的區(qū)分度也不高。

(a)原始圖像

(b)文獻(xiàn)[2]算法

(c)本文算法圖6　算法對(duì)比實(shí)驗(yàn)2

4.2　本文算法執(zhí)行效率分析

實(shí)驗(yàn)中所用原始圖像大小不等,所生成的風(fēng)格化肖像大都在300像素×350像素～300像素×450像素之間。從對(duì)原始圖像進(jìn)行人臉檢測(cè)到風(fēng)格化肖像生成整個(gè)流程,耗時(shí)情況分析見(jiàn)表2。從輸入原始圖像到風(fēng)格化肖像生成,整個(gè)算法全自動(dòng)運(yùn)行,算法整體耗時(shí)在0.5 s以內(nèi),可見(jiàn)本文算法執(zhí)行效率較高。

表2　本文算法執(zhí)行耗時(shí)分析

文獻(xiàn)[1]算法框架包括線條畫生成、識(shí)別夸張?jiān)汀⒙嬁鋸埖炔僮?算法復(fù)雜度較高,對(duì)于普通分辨率(512像素×512像素)的輸入圖像,其執(zhí)行時(shí)間大約需要幾十秒時(shí)間。文獻(xiàn)[2]算法需要拆分人臉不同特征,用6個(gè)SVM分類器判斷個(gè)性特征并執(zhí)行夸張操作,在判定和生成頭發(fā)區(qū)域時(shí)需要求解圖的優(yōu)化問(wèn)題和執(zhí)行深度優(yōu)先搜索算法,總體算法復(fù)雜度高。本文算法在執(zhí)行效率上優(yōu)于其他2種算法,尤其在VR、AR及肖像繪制機(jī)器人等準(zhǔn)實(shí)時(shí)的系統(tǒng)應(yīng)用中具有顯著優(yōu)勢(shì)。

5　結(jié)　論

本文提出了一種基于三角形坐標(biāo)系的風(fēng)格化肖像生成算法,該算法計(jì)算簡(jiǎn)單、快速、全自動(dòng)、變形空間大且靈活,無(wú)需訓(xùn)練樣本,僅需參考圖像即可生成生動(dòng)的風(fēng)格化肖像,而且可完全脫離對(duì)參考圖像的依賴,可主觀自由移動(dòng)特征點(diǎn)生成任意的風(fēng)格變形模板。本文算法的應(yīng)用更為靈活和廣泛,在VR、AR以及機(jī)器人繪制系統(tǒng)等準(zhǔn)實(shí)時(shí)應(yīng)用中,本文算法體現(xiàn)了明顯優(yōu)勢(shì)。未來(lái)工作主要包括如何實(shí)現(xiàn)實(shí)驗(yàn)人臉較參考人臉有較大姿態(tài)偏轉(zhuǎn)及睜閉眼、張合嘴等不同狀態(tài)的風(fēng)格化變形。

參考文獻(xiàn):

[1]LIANG Lin, CHEN Hong, XU Yingqing, et al. Example-based caricature generation with exaggeration [C]∥Proceedings of the Conference on Computer Graphics and Applications. Piscataway, NJ, USA: IEEE, 2002: 386-393.

[2]ZHANG Wenli, XIAO Shuangjiu, LI Yinglin, et al. Automatic face caricatures synthesis and exaggeration [C]∥Proceedings of the 14th ACM SIGGRAPH International Conference on Virtual Reality Continuum and Its Applications in Industry. New York, USA: ACM, 2015: 77-84.

[3]YANG Wei, TOYOURA M, XU Jiayi, et al. Example-based caricature generation with exaggeration control [J]. Visual Computer International Journal of Computer Graphics, 2016, 32(3): 383-392.

[4]陳文娟, 石民勇, 孫慶杰. 利用人臉特征及其關(guān)系的漫畫夸張與合成 [J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2010, 22(1): 121-128.

CHEN Wenjuan, SHI Minyong, SUN Qingjie. Caricature synthesis and exaggeration based on facial features and their relationship [J]. Journal of Computer-Aided Design and Computer Graphics, 2010, 22(1): 121-128.

[5]杜曉榮, 張雷, 張永. 卡通角色藝術(shù)風(fēng)格化變形方法 [J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2016, 28(2): 363-370.

DU Xiaorong, ZHANG Lei, ZHANG Yong. Artistic style deformation for cartoon character [J]. Journal of Computer-Aided Design and Computer Graphics, 2016, 28(2): 363-370.

[6]蘇延輝, 李帥, 湛永松. 參數(shù)化的肖像漫畫生成算法 [J]. 計(jì)算機(jī)應(yīng)用研究, 2014, 31(5): 1562-1565.

SU Yanhui, LI Shuai, ZHAN Yongsong. Generation algorithm of parameterized caricature [J]. Application Research of Computers, 2014, 31(5): 1562-1565.

[7]王守覺(jué), 梁先揚(yáng). 圖像變形計(jì)算方法及其應(yīng)用 [J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2011, 23(8): 1304-1310.

WANG Shoujue, LIANG Xianyang. Calculation method of image morphing and its applications [J]. Journal of Computer-Aided Design and Computer Graphics, 2011, 23(8): 1304-1310.

[8]KANG H, LEE S, CHUI C K. Coherent line drawing [C]∥Proceedings of the International Symposium on Non-Photorealistic Animation and Rendering. New York, USA: ACM, 2007: 43-50.

[9]MASAFUMI T, SEI F, KAZUHITO M, et al. Facial caricaturing with motion caricaturing in PICASSO system [C]∥Proceedings of the IEEE/ASME International Conference on Advanced Intelligent Mechatronics. Piscataway, NJ, USA: IEEE, 1997: 30.

[本刊相關(guān)文獻(xiàn)鏈接]

陳波,張英杰,張佳瑞,等.結(jié)構(gòu)光中心提取中的條紋灰度退化調(diào)整.2018,52(2):30-36.[doi:10.7652/xjtuxb201802005]

白治寧,周景軍,蔡衛(wèi)軍,等.火箭助飛魚雷分離艙張開(kāi)特性試驗(yàn)與數(shù)值研究.2018,52(1):136-142.[doi:10.7652/xjtuxb201801020]

楊靜,尚夏,榮海軍,等.采用仿射迭代最近點(diǎn)的晶圓分割方法.2017,51(12):56-61.[doi:10.7652/xjtuxb201712009]

鄧燕子,盧朝陽(yáng),李靜,等.采用多層圖模型推理的道路場(chǎng)景分割算法.2017,51(12):62-67.[doi:10.7652/xjtuxb201712 010]

朱愛(ài)斌,何仁杰,吳玥璇,等.考慮變換域融合方法的刀具磨損區(qū)域三維重構(gòu).2017,51(12):76-83.[doi:10.7652/xjtuxb 201712012]