云南重彩畫人臉肖像生成算法

盧麗穩(wěn)， 普園媛， 劉玉清， 錢文華， 徐 丹

（云南大學信息學院，云南 昆明 650091）

云南重彩畫人臉肖像生成算法

盧麗穩(wěn)， 普園媛， 劉玉清， 錢文華， 徐 丹

（云南大學信息學院，云南 昆明 650091）

通過對云南重彩畫作畫風格的研究，論文提出了云南重彩畫人臉肖像生成算法。首先從云南重彩畫繪畫作品中學習云南重彩畫人臉繪制特點，引入特征比例對云南重彩畫人臉特征進行描述，發(fā)現(xiàn)云南重彩畫人臉繪制特點，并歸納總結(jié)云南重彩畫人臉繪制規(guī)律。然后對輸入的人臉照片進行輪廓線提取、特征點標定、特征值及特征比例的計算，將特征比例與云南重彩畫人臉特征比例進行比對，發(fā)現(xiàn)變形程度并進行變形。最后，根據(jù)主觀辨識后的經(jīng)驗值對五官特征的位置進行調(diào)整，再進行風格轉(zhuǎn)換處理。運用該算法生成的云南重彩畫風格的人臉肖像，既與原圖相似，又符合云南重彩畫人臉繪制特點。

非真實感繪制；云南重彩畫；肖像；FDOG；移動最小二乘法

非真實感繪制是計算機技術(shù)和繪畫藝術(shù)相結(jié)合的一個研究領(lǐng)域，其主要內(nèi)容是用計算機軟硬件手段來模擬具有不同繪畫風格的畫面和動畫，如鉛筆畫、水彩畫、油畫等。以丁紹光為代表的云南重彩畫融合了東西方古典藝術(shù)和現(xiàn)代藝術(shù)特色，具有很強的藝術(shù)美感和裝飾性，在國內(nèi)外享有很高的盛譽。對云南重彩畫進行非真實感繪制研究，其成果可用于廣告行業(yè)、室內(nèi)裝修、數(shù)字娛樂等很多領(lǐng)域。在已開展的云南重彩畫風格化繪制算法研究中，普園媛等開發(fā)了一個基于重彩畫圖形元素的云南重彩畫白描圖數(shù)字模擬和仿真合成系統(tǒng)，從重彩畫作品中提取具有重彩畫特點的圖形元素，并將它們應用到人物造型繪制中，以達到模仿云南重彩畫人物繪制特點的效果[1]。但該方法不能生成與真人面貌相似的人物造型。本文從基于照片的云南重彩畫風格繪制算法研究出發(fā)，提出云南重彩畫人臉肖像生成算法，對人臉照片進行重彩畫風格轉(zhuǎn)換，該算法作為基于照片的云南重彩畫風格化繪制研究中的一個重要部分，其結(jié)果將影響到整體風格繪制效果。

近年來，在非真實感繪制領(lǐng)域，諸多研究者已對人臉肖像風格化轉(zhuǎn)換進行了許多研究，如周仁琴等提出基于特征變形的卡通人臉肖像生成算法[2]；閻芳等提出了基于分階段變形漫畫風格的人臉肖像生成算法[3]；陳文娟等提出一種漫畫中人臉特征的夸張以及相像度優(yōu)化算法[4]；閔鋒等提出基于與或圖表示的多風格肖像畫自動生成方法[5]；鄧維等提出基于構(gòu)建徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)將標準網(wǎng)格變形，分別與人臉和卡通人臉匹配校準，生成二者的個性化網(wǎng)格，再通過紋理映射，產(chǎn)生個性化卡通人臉[6]；Lee等提出了多極自由形狀變形方法，并在 1996年提出了能量最小化方法[7-8]；Koshimizu等提出的以模板為基礎(chǔ)的夸張肖像產(chǎn)生系統(tǒng)PICASSO[9]。目前，云南重彩畫人臉肖像繪制方面的研究還未見報道。

在基于照片的云南重彩畫風格化繪制過程中，需對輸入的人物照片進行風格化轉(zhuǎn)換，其中人臉的重彩畫風格轉(zhuǎn)換對繪制效果具有重要影響。本文對云南重彩畫風格化的人臉繪制進行研究，首先學習以丁紹光為代表的云南重彩畫繪畫作品中人臉繪制特點，歸納總結(jié)云南重彩畫人臉繪制規(guī)律；然后對輸入的人臉照片按照歸納總結(jié)的云南重彩畫人臉繪制規(guī)律進行變形，最后生成既與原圖相似，又具有云南重彩畫人臉繪制特點的人臉肖像圖。

1 云南重彩畫人臉肖像生成算法

1.1 算法流程

本文算法分為兩部分，第一部分是學習云南重彩畫人臉繪制特點，歸納總結(jié)人臉繪制規(guī)律；第二部分根據(jù)人臉繪制規(guī)律對輸入人臉照片的五官特征進行變形，然后對五官位置進行相應的調(diào)整，再進行風格轉(zhuǎn)換處理，最后生成即與原圖相似，又具有云南重彩畫風格化的人臉肖像圖。算法流程如圖1所示。

圖1 算法流程

1.2 云南重彩畫人臉繪制規(guī)律的發(fā)現(xiàn)

本文所選用的圖片來自云南重彩畫最具代表性的丁紹光繪畫作品集[10]，從中挑選出可以反映云南重彩畫人臉特征分布規(guī)律的正面人臉及大于等于1/2人臉的38張圖片的人臉截圖作為樣本集，云南重彩畫部分人臉截圖樣本如圖2所示。

通過觀察，我們發(fā)現(xiàn)云南重彩畫人臉具有如下特點：眉毛傾斜度很小呈水平狀，正面及大于1/2人臉的鼻型為倒梯型，櫻桃小嘴，眉毛、眼睛、鼻子、嘴巴4者的分布比較集中。

圖2 云南重彩畫及云南重彩畫人臉截圖

為對云南重彩畫人臉繪制特點進行客觀描述，我們設(shè)定了14個特征值來描述其繪制特點，并在臉部標定 17個關(guān)鍵特征點來計算特征值。關(guān)鍵特征點及 14個特征數(shù)值在人臉模型上的表示如圖3所示。

圖3 特征點標定與特征數(shù)值表示

特征數(shù)值的描述如表1左所示。每個特征數(shù) 值通過計算對應的特征點之間的歐氏距離得到。

表1 特征數(shù)值

另外我們發(fā)現(xiàn)，臉部特征數(shù)值不同對人臉視覺有一定的影響，但對人臉視覺影響起主要作用的是各個特征數(shù)值之間的比例關(guān)系。本文設(shè)定了12個特征比例值描述臉部特征的大小及位置關(guān)系，如表1右所示，前4個特征比例為臉型、眼、鼻、嘴單個人臉特征的比例關(guān)系，后8個特征比例為其他特征數(shù)值之間的比例關(guān)系。

我們在選取的38張云南重彩畫人臉截圖上，標定 17個關(guān)鍵特征點，根據(jù)標定的關(guān)鍵特征點計算出14個特征數(shù)值和12個特征比例。對正面人臉及大于等于1/2人臉的圖片進行分類，計算每類圖片中人臉截圖的臉型、眉、眼、鼻、嘴單個人臉特征的平均特征比例，即可獲得云南重彩畫臉型、眉、眼、鼻、嘴單個人臉特征的繪制規(guī)律，如表2所示。

表 2 云南重彩畫人臉單個特征繪制規(guī)律

除了云南重彩畫臉型、眉、眼、鼻、嘴單個人臉特征具有如表2所示的繪制規(guī)律外，云南重彩畫人臉其他特征數(shù)值之間的比例關(guān)系也呈現(xiàn)一定的規(guī)律，如表3所示。

表3 云南重彩人臉特征數(shù)值之間的比例關(guān)系

為了比較云南重彩畫人臉與標準人臉的差別，我們給出標準人臉各項特征比例[3]和標準人臉圖像，如表4與圖4所示。

表4 標準人臉特征比例

圖4 標準人臉和重彩畫人臉圖對比圖

由以上表格可以看出，云南重彩畫正面人臉的長寬比h:w在區(qū)間[1.42, 1.46]之間，標準人臉的長寬比為1.25；云南重彩畫人臉上庭與臉長比為1:2.5，標準人臉上庭與臉長比為1:3；云南重彩畫人臉上庭、中庭、下庭 3者的比例為1.7:1:1.5，標準人臉中3者的比例為1:1:1等。通過比對人臉各項特征比例可得出云南重彩畫人臉繪制具有一定的規(guī)律，例如云南重彩畫人臉臉型為細長型，額頭較寬、下巴較長，眉、眼、鼻、嘴4者的分布比較集中。

1.3 云南重彩畫風格的人臉肖像生成

基于 1.2節(jié)得到的云南重彩畫人臉繪制規(guī)律，我們構(gòu)建云南重彩畫人臉肖像生成算法，包括人臉輪廓生成、變形程度發(fā)現(xiàn)、臉型變形、五官特征變形、五官位置調(diào)整、風格轉(zhuǎn)換等幾個關(guān)鍵步驟。

1.3.1 人臉輪廓生成

云南重彩畫具有鮮明的線條畫特點，其人臉也是由線條構(gòu)成的，所以要對輸入的人臉照片先進行輪廓線的提取。本文采用基于流的高斯差分濾波器（Flow-based Difference- of- Gaussians，F(xiàn)DOG）提取人臉肖像輪廓線[11]，該算法是在DOG（Difference- of-Gaussians，DOG）濾波器[12]的基礎(chǔ)上改進的。FDOG算法提取人臉輪廓線的步驟如下所示：

1） 輸入一張正面人臉照片，為突出圖像特征，對輸入的照片采用對比度自適應直方圖均衡化方法進行預處理，增強圖像的對比度，得到圖像I(X)。

2） 根據(jù)I(X)構(gòu)建邊緣向量t(X)，記為ETF。t(X)垂直于圖像的梯度 g(X)=▽I(X)，X=(x,y)為圖像I(X)上的像素點坐標。

3） 根據(jù)邊緣向量圖ETF，我們采用基于流的高斯差分濾波器沿 ETF得到的邊緣線進行積分，從而得到人臉輪廓。

圖5給出了canny算子、圖像未預處理及圖像預處理后提取的人臉輪廓對比圖。

圖5 人臉輪廓線生成

通過對圖 5(b)與圖 5(d)的對比發(fā)現(xiàn)，運用FDOG濾波器提取的人臉輪廓線比常用的canny邊緣檢測算子能更有效地提取重要的邊緣信息，去除虛假的邊緣信息；對圖5(c)與圖5(d)對比發(fā)現(xiàn)，對輸入圖片先進行圖像預處理，然后再提取邊緣輪廓線，可以提高線條的連續(xù)性。

1.3.2 變形程度發(fā)現(xiàn)

對輸入的人臉照片進行人臉輪廓線提取后，為使其臉型、眉、眼、鼻、嘴單個人臉特征及它們之間的比例關(guān)系符合云南重彩畫人臉繪制規(guī)律，需要在人臉肖像輪廓圖上標定 17個關(guān)鍵特征點，根據(jù)標定的特征點計算 14個特征數(shù)值和12個特征比例值，然后與1.2節(jié)中發(fā)現(xiàn)的云南重彩畫人臉繪制規(guī)律對比，發(fā)現(xiàn)變形程度，然后變形。

為達到較好的變形效果，本文采用分步變形，先對臉型進行變形，后對五官特征進行變形。

1.3.3 臉型變形

臉型的變形是通過拉伸或壓縮的比例變換方式進行的。首先計算輸入照片人臉的長寬比，如果該比值在云南重彩畫人臉繪制規(guī)律范圍內(nèi)，則對人臉不予調(diào)整，反之調(diào)整到云南重彩畫人臉長寬比所允許的范圍內(nèi)。

設(shè)原圖像中人臉的長、寬分別為h和w，變形后符合云南重彩畫人臉特點的人臉長、寬分別為 h′, w′，在臉型轉(zhuǎn)換過程中，臉寬保持不變，只進行縱向的拉伸或壓縮，則h, w與h′, w′有如下關(guān)系：

其中d為云南重彩畫人臉長寬比允許的范圍值。

圖6 臉型的變形

圖6(b)是對人臉肖像輪廓的臉型變形后得到的效果圖，與圖6(a)進行對比，發(fā)現(xiàn)后者臉部輪廓明顯被拉伸，臉型變?yōu)榧氶L型。

1.3.4 五官特征變形

臉型變形后，輸入照片的臉型符合云南重彩畫的臉型關(guān)系，但輸入人臉照片的眉、眼、鼻、嘴單個特征的形狀所呈現(xiàn)的規(guī)律與云南重彩畫不一定相符，比如圖6(b)中的輸入人臉照片的眉毛是彎曲型的，而云南重彩畫人臉的眉毛呈水平狀；輸入人臉照片的鼻子較寬，而云南重彩畫人臉中鼻子是細長型的等。為此，我們根據(jù)得到的云南重彩畫單個臉部特征所表現(xiàn)出來的規(guī)律，對輸入人臉照片的單個特征進行相應程度的變形。本文所用到的五官特征變形方法為移動最小二乘法(Moving Least Square，MLS)[13]，其步驟為：

1） 交互標定圖像變形前五官特征的關(guān)鍵控制點集q，計算w1:h7, h6:w2, w3:h4，并與表2對應的特征進行比對，如在比例允許范圍內(nèi)，則不予以變形；否則按照步驟2）、3）進行變形。

2） 根據(jù)得到的云南重彩畫人臉特征繪制規(guī)律，計算五官特征變形后對應的控制點集s。

3） 求出變形函數(shù)f使公式（2）取得最小值：

其中si和qi為控制點集中像素點的坐標，wi為權(quán)重，其表達式為：

v是變形前圖像中任一像素點，α為調(diào)節(jié)參數(shù)，本文中取值為1。權(quán)重wi的取值與v到si的距離成反比，即v距離si越遠，受變形的影響越小。

一般地，變形函數(shù)f (x)可以分為線性變換項和平移變換項，分別用M和T表示，則有：

將式（4）代入（2）并求最小值，即對f的變量求導數(shù)且令其等于零有：

矩陣 M可以視為一般化的仿射變換，包含了平移、旋轉(zhuǎn)等變換成分。

圖7 五官特征變形

基于以上步驟對臉型變形后得到效果圖進行五官變形，得到圖7(b)所示的效果。兩者相比可以發(fā)現(xiàn)，后者眉毛被拉平了，鼻子、嘴巴變小了；圖7(a)中的眼睛長寬比w1:h7在云南重彩畫比例允許范圍內(nèi)，因此未變形。

1.3.5 五官位置調(diào)整

通過對圖7(b)觀察發(fā)現(xiàn)：單個臉部特征所表現(xiàn)出來的規(guī)律比較接近云南重彩畫人臉特征規(guī)律的分布，比如臉型由原來的圓臉變?yōu)殚L臉；眉毛傾斜度較小，呈水平狀等；但是五官特征之間的比例關(guān)系還明顯不符合云南重彩畫人臉所呈現(xiàn)出來的規(guī)律，基于此，我們需要對五官特征的位置進行調(diào)整。

通過觀察以丁紹光為代表的云南重彩畫繪畫作品，發(fā)現(xiàn)五官位置比較集中，約集中在臉部的2/5至4/5處。如果只考慮眉、眼、鼻、嘴單個臉部特征的大小關(guān)系，而不考它們之間的位置關(guān)系，將直接影響到最終效果圖。為此，需要對變形后圖像的五官位置進行調(diào)整，根據(jù)表4所發(fā)現(xiàn)的規(guī)律，在單個臉部特征變形的基礎(chǔ)上再采用平移變換對五官特征的位置進行調(diào)整。本文中五官位置的調(diào)整指眉、兩眼、鼻、嘴沿著垂直方向的移動。但在實驗中我們發(fā)現(xiàn)，五官位置的調(diào)整對人臉辨識影響較大，位置移動太大，則會使移動后的人臉不象原來的人臉，移動量太小，又達不到重彩畫風格化的目的，所以我們要在相像性和重彩畫風格之間進行折中，找到一個最優(yōu)移動量。經(jīng)過大量主觀辨識實驗，我們發(fā)現(xiàn)當眉、眼、鼻、嘴單個臉部特征的移動量為最大移動量（由表4計算出來）的一半時，效果圖達到最優(yōu)。超過最優(yōu)移動量時，效果圖與原圖的相象性變得越來越差，小于最優(yōu)移動量時，最終效果圖又不符合云南重彩畫人臉繪制規(guī)律。對五官特征的位置進行移動調(diào)整后的效果圖如圖8所示。

對圖8(a)和圖8(b)進行比較，可以發(fā)現(xiàn)后者眉毛、眼睛均向下移動，嘴巴、鼻子向上移動，調(diào)整后的效果圖更接近于云南重彩畫人臉特征的分布。

圖8 五官位置調(diào)整

1.3.6 風格轉(zhuǎn)換處理

經(jīng)過以上步驟處理后，輸入照片的五官特征及它們之間的比例關(guān)系已經(jīng)比較符合云南重彩畫的人臉特征規(guī)律分布。但是在色彩及發(fā)型上，還未進行任何處理。觀察以丁紹光為代表的云南重彩畫，可以發(fā)現(xiàn)：頭發(fā)主要由發(fā)髻和長發(fā)組成，用流動交錯的線條刻畫長風隨風飄動的靈感，用規(guī)則排列的線條刻畫發(fā)髻規(guī)整緊湊的形狀；線條常為中空輪廓線，中空部分多為金色、白色或灰色，它們被黑線或其它顏色的線條包圍，形成獨特的中空輪廓線效果；臉部特征中嘴唇、眼影的色彩比較鮮艷。

為更符合云南重彩畫的風格，接下來，我們對調(diào)整后的效果圖的嘴唇、眼影進行著色處理，對頭發(fā)進行轉(zhuǎn)換，并同時對線條進行中空處理。

我們運用普園媛等[14]研發(fā)的云南重彩畫著色和渲染系統(tǒng)，如圖9所示，首先對調(diào)整后的圖像進行發(fā)型轉(zhuǎn)換，然后對輪廓線進行中空處理；同時對嘴唇運用填充繪制方式進行點塊狀色彩繪制，對眼影采用筆刷繪制的方式進行著色處理。得到的效果圖如圖10所示。

圖9 云南重彩畫白描圖著色和渲染系統(tǒng)

圖10 著色處理后的效果圖

通過圖 8(b)與圖10的對比，發(fā)現(xiàn)通過增加金色中空輪廓線及對嘴唇和眼影分別進行點塊狀、刮痕狀紋理合成得到的效果圖更符合云南重彩畫的風格特點。

2 實驗結(jié)果

我們對正面免冠照片進行云南重彩畫的風格化模擬，首先根據(jù)1.2節(jié)得到的云南重彩畫人臉繪制規(guī)律對輸入照片的臉型、眉、眼、鼻、嘴單個臉部特征進行變形，再按主觀辨識后的經(jīng)驗值對眉、眼、鼻、嘴單個臉部特征之間的位置關(guān)系進行優(yōu)化，并對優(yōu)化后的效果圖進行風格化處理，得到的最終效果圖既與原圖相似，又符合云南重彩畫人臉特征規(guī)律的分布，得到的效果圖如圖11所示。

圖11 采用本文算法生成的最終效果圖

其中原圖2來自西安交通大學人工智能與機器人研究所的東方人臉數(shù)據(jù)庫。圖11中原圖1、原圖2、原圖3、原圖4是采用的圖2(b)中的發(fā)型，原圖5是采用的是圖2(c)的發(fā)型。

3 結(jié) 論

本文提出云南重彩畫人臉肖像繪制算法。通過學習云南重彩畫人臉繪制特點，采用 17個關(guān)鍵特征點、14個特征數(shù)值和12個特征比例值來描述重彩畫人臉繪制特點，總結(jié)歸納了云南重彩畫人臉特征繪制規(guī)律；對輸入照片進行關(guān)鍵特征點標定，計算特征數(shù)值和特征比例并與云南重彩畫人臉繪制規(guī)律進行比對，發(fā)現(xiàn)變形程度后對臉部特征變形，根據(jù)主觀辨識后的經(jīng)驗值對五官特征之間的位置進行優(yōu)化，然后對發(fā)型、線條進行風格轉(zhuǎn)換，最終生成即保持原圖相像性又符合云南重彩畫人臉特征分布的正面人臉肖像。本文采用FDOG濾波器對圖像輪廓線進行提取，得到的輪廓線比較連續(xù)、光滑，為接下來的臉部特征變形提供了基礎(chǔ)。本文在人臉相像度方面，還需進一步研究。

[1] 普園媛, 蘇 迤, 魏小敏, 等. 云南重彩畫白描圖繪制系統(tǒng)[J]. 計算機工程與設(shè)計, 2011, 32(2): 607-610, 614.

[2] 周仁琴, 周經(jīng)野, 陳益強, 等. 基于特征發(fā)現(xiàn)的卡通人臉肖像生成[J]. 計算機輔助設(shè)計與圖形學學報, 2006, 18(9): 1362-1366.

[3] 閻 芳, 費廣正, 柳婷婷, 等. 漫畫風格的人臉肖像生成算法[J]. 計算機輔助設(shè)計與圖形學學報, 2007, 19(4): 442-447.

[4] 陳文娟, 石民勇, 孫慶杰. 人臉漫畫特征關(guān)系夸張及相像度優(yōu)化[J]. 計算機應用, 2009, 29(z2): 301-304.

[5] 閔 鋒, 桑 農(nóng). 一種基于與或圖表示的多風格肖像畫自動生成方法[J]. 計算機學報, 2009, 32(8): 1595-1602.

[6] 鄧 維, 魏迎梅, 張友根. 利用圖像變形生成個性化人臉卡通[J]. 計算機工程與應用, 2011, 47(24): 132-135.

[7] Lee S Y, Chwa K Y, Hahn J, et al. Image morphing using deformation techniques[J]. Visualization and Computer Animation, 1996, 7(1): 3-23.

[8] Lee S Y，Chwa K Y, Shin S Y，et al. Image metamorphosis using snakes and free form deformations [C]//Computer Graphics Proceedings, Annual Conference Series, ACM SIGGRAPH, New York: ACM Press, 1995: 439-448.

[9] Koshimizu H, Tominage M, Fujiwara T, et al. On Kansei facial processing for computerized facial caricaturing system Picasso [C]//Proceedings of IEEE International Conference on Systems, Man, and Cybernetics, Tokyo, 1999: 294-299.

[10] 劉秉江, 丁紹光. 現(xiàn)代云南重彩畫集[M]. 北京: 北京工藝美術(shù)出版社, 2002.

[11] Kang H, Lee S, Chui C K. Coherent line drawing [C]// Proceedings of the ACM International Symposium on Non-Photorealistic Animation and Rendering (NPR07), pp.43-50. ACM, New York (2007).

[12] Winnem?ller H, Olsen S C, Gooch B. Real-time video abstraction[C]//Proceedings of the ACM SIGGRAPH ’06, ACM, New York, 2006: 1221-1226.

[13] 華順剛, 劉 婷. 利用移動最小二乘法實現(xiàn)圖像變形[J]. 計算機應用, 2009, 29(1): 71-73.

[14] 普園媛. 云南重彩畫藝術(shù)風格的數(shù)字模擬及合成技術(shù)研究[D]. 昆明: 云南大學, 2010.

A Portrait Generation Algorithm of Yunnan Heavy Color Painting

Lu Liwen, Pu Yuanyuan, Liu Yuqing, Qian Wenhua, Xu Dan
( School of Information Science and Engineering，Yunnan University, Kunming Yunnan 650091, China )

A portrait generation algorithm of Yunnan heavy color painting is presented in this paper. First, the painting characteristics of Yunnan heavy color painting are summarized by extracting facial features from Yunnan color painting works and calculating the proportion between facial features. Second, the extent to deformation is calculated by comparing features of real face and painting characteristics and the real face is deformed. Finally, the positions of eyes, the nose and so on are adjusted according to subjective experiences. The portrait generated by this algorithm is similar to the original picture and fits the distribution feature of facial characteristics of Yunnan heavy color painting.

non-photorealistic rendering; Yunnan heavy color painting; portraits; FDOG; moving least square

TP 391

A

2095-302X (2013)03-0126-08

2012-09-02；定稿日期：2012-09-07

國家自然科學基金資助項目（61163019，61271361）；高等學校博士學科點專項科研基金資助項目（20095301110006）；云南省教育廳重點資助項目（2012Z056）

盧麗穩(wěn)（1987-），女，陜西渭南人，碩士，主要研究方向為非真實感圖形繪制。E-mail：422012979@qq.com

普園媛（1972-），女，云南昆明人，博士，副教授，主要研究方向為非真實感圖形繪制，多媒體信息處理。E-mail：km_pyy@126.com