面部美化圖像質(zhì)量無(wú)參考評(píng)價(jià)方法

張俊升，徐晶晶，余 偉

（中國(guó)礦業(yè)大學(xué)信息與控制工程學(xué)院，江蘇徐州221000）

（?通信作者電子郵箱1458589197@qq.com）

0 引言

面部美化這一短語(yǔ)來自Leyvand 等最近的一項(xiàng)研究［1］，它是一種新穎的計(jì)算攝影技術(shù)，以增強(qiáng)人臉圖像的美學(xué)吸引力即質(zhì)量，同時(shí)保持與原始圖像的高度相似性。面部美化是一種引人入勝的技術(shù)，該技術(shù)已經(jīng)深入日常生活，例如廣告，直播、社交等。隨著微信、微博等軟件的流行，對(duì)人臉圖像修飾的需求不斷增加，促進(jìn)了面部美化技術(shù)的進(jìn)一步研究與發(fā)展，進(jìn)而關(guān)于評(píng)判面部美化標(biāo)準(zhǔn)的面部圖像質(zhì)量評(píng)估應(yīng)運(yùn)而生。

在過去的幾年中，面部美化領(lǐng)域已經(jīng)出現(xiàn)了大量的工作，主要從皮膚、眼睛和嘴巴等方面對(duì)面部圖像表觀進(jìn)行美化。例如Chen 等［2］提出了一種基于色溫不敏感皮膚顏色檢測(cè)的自動(dòng)皮膚美化框架，為了打磨選定的皮膚區(qū)域，應(yīng)用雙側(cè)過濾器來平滑面部缺陷，并使用泊松圖像克隆將美化部分集成到原始輸入中；Sakurai 等［3］將超分辨率（Super-Resolution，SR）技術(shù)應(yīng)用于人臉美化的圖像處理，以使眼睛清晰明亮；Chung等［4］為用戶提供4種不同類型的口紅來改變面部風(fēng)格，以滿足他們尋求化妝和個(gè)性的需要。而現(xiàn)有的面部美學(xué)評(píng)價(jià)主要是基于面部基準(zhǔn)點(diǎn)選取的面部幾何評(píng)價(jià)［5-8］，幾何評(píng)價(jià)方法在面部化妝［9］、面部增強(qiáng)［10］等面部表觀美化方法中明顯存在問題，因?yàn)檫@些面部美化主要改變顏色、紋理等表觀特征而非幾何特征；同時(shí)，又因?yàn)槊娌棵阑瘓D像美學(xué)評(píng)價(jià)除了具備一定的“客觀性”之外，還具有很強(qiáng)的“主觀性”，諸如對(duì)白皙光滑的皮膚、清晰明亮的眼睛等的偏愛，導(dǎo)致傳統(tǒng)的圖像質(zhì)量和圖像美學(xué)在面部質(zhì)量評(píng)價(jià)中并不適用。近年來，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）作為機(jī)器學(xué)習(xí)的一個(gè)分支，已被證明能在各種視覺信息處理應(yīng)用中有著出色性能，這種快速發(fā)展的技術(shù)最近也被應(yīng)用到圖像質(zhì)量預(yù)測(cè)問題。Kang等［11］第一次將CNN 模型應(yīng)于圖像質(zhì)量預(yù)測(cè)。Jongyoo 等［12］將無(wú)參考圖像質(zhì)量評(píng)價(jià)的訓(xùn)練分為兩個(gè)階段:在第一階段，用CNN學(xué)習(xí)預(yù)測(cè)客觀誤差圖；第二階段模型學(xué)習(xí)預(yù)測(cè)主觀評(píng)分。但由于缺乏足夠的人類主觀分?jǐn)?shù)，導(dǎo)致訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)識(shí)別準(zhǔn)確率不高。面部圖像質(zhì)量的評(píng)價(jià)能夠促進(jìn)美化技術(shù)進(jìn)一步發(fā)展，甚至指導(dǎo)其發(fā)展方向。由此可見，提出針對(duì)面部美化特性的美學(xué)質(zhì)量評(píng)價(jià)模型是必要的。

面部皮膚美化、面部化妝和面部圖像增強(qiáng)等改變面部表觀的技術(shù)是人臉修飾過程中最重要且最耗時(shí)的任務(wù)，因此本文專注這些技術(shù)提出提取面部美感認(rèn)知特征+支持向量回歸（Support Vactor Regression，SVR）訓(xùn)練的無(wú)參考質(zhì)量評(píng)價(jià)方法。首先，構(gòu)建了包含六種美化方法的面部美化圖像數(shù)據(jù)庫(kù)（Facial Beautification Image Database，F(xiàn)BID）；然后根據(jù)面部美感特性，將面部分為皮膚、眼睛和嘴巴三部分。從人類對(duì)人臉美感的認(rèn)知與感知和面部美化技術(shù)出發(fā)，本文的美學(xué)質(zhì)量評(píng)價(jià)包含基本的皮膚美感屬性為光滑度、光照和顏色；眼睛和嘴巴美學(xué)特性為灰度差和眼睛的清晰度，總共從這5 個(gè)方面提取美學(xué)特征并使用SVR 模型訓(xùn)練美學(xué)質(zhì)量評(píng)價(jià)模型。本文方法的總流程如圖1 所示。在FBID 數(shù)據(jù)庫(kù)的實(shí)驗(yàn)結(jié)果表明本文方法的性能明顯優(yōu)于現(xiàn)有的圖像質(zhì)量評(píng)價(jià)方法。

圖1 本文方法的總流程Fig.1 Overall flowchart of the proposed method

1 面部美化圖像庫(kù)

目前，并沒有可用于面部美化圖像美學(xué)質(zhì)量評(píng)估的數(shù)據(jù)庫(kù)?；诖?，本文建立了一個(gè)由常用美化方法生成的不同美化等級(jí)的圖像數(shù)據(jù)庫(kù)FBID，完整數(shù)據(jù)庫(kù)以及GUI 評(píng)分程序已上傳，對(duì)面部美化質(zhì)量評(píng)價(jià)有興趣的讀者可以下載以作研究（https://pan.baidu.com/s/1xXz7suAynNAPESrZEra4PQ）。

1.1 構(gòu)建

本數(shù)據(jù)庫(kù)共包含25 張面部圖像，其中15 張女性和10 張男性，面部表情為中性，面部美丑相對(duì)一致。這些圖像均來自SCUT-FBP5500 數(shù)據(jù)庫(kù)［13］。圖2 展示了10 張數(shù)據(jù)庫(kù)部分原始圖像。為了生成面部美化圖像，本研究使用磨皮、美白、亮度、對(duì)比度、清晰度和智能優(yōu)化6 種美化增強(qiáng)方法美化圖像。具體而言，使用這6 種美化方法處理每張圖像，每種方法包括4個(gè)等級(jí)，產(chǎn)生24 張美化后的圖像，為使數(shù)據(jù)庫(kù)合理以及更貼近應(yīng)用，本文設(shè)計(jì)時(shí)每種美化均包含了美化不足、美化正常和美化過度3 種情況。最終，F(xiàn)BID 數(shù)據(jù)集共包含600 張美化圖像。圖3展示了數(shù)據(jù)集中6種美化圖像示例。

1.2 主觀測(cè)試

為了評(píng)價(jià)面部美化圖像的真實(shí)得分，每次將同種美化方法不同美化等級(jí)的圖像呈現(xiàn)給觀察者。采用1～10 分評(píng)分規(guī)則，其中10 分表示最美。在測(cè)試中，15 名女性和15 名男性共30名年齡分布在20～30歲的中國(guó)志愿者參與評(píng)分。主觀評(píng)分在具有正常照明條件的實(shí)驗(yàn)室環(huán)境中進(jìn)行。分辨率為1 920×1 080的LCD顯示器用于顯示圖像。為了方便評(píng)級(jí)，開發(fā)了一個(gè)基于Matlab 的GUI 界面，如圖4 所示。為了避免視覺疲勞，所有的測(cè)試被限制在30 min以內(nèi)。

圖2 數(shù)據(jù)庫(kù)中部分原始圖像Fig.2 Part original images in the database

圖3 6種美化效果展示Fig.3 Six beautification effects to display

圖4 主觀質(zhì)量評(píng)分的GUIFig.4 GUI for subjective quality scoring

1.3 主觀實(shí)驗(yàn)結(jié)果分析

獲得所有受試者的評(píng)分后，使用文獻(xiàn)［14］方法去除異常值。對(duì)于每幅圖像，平均移除5 個(gè)異常值。然后計(jì)算剩余分?jǐn)?shù)的平均值并將其用作真實(shí)得分，這也稱為主觀平均意見得分（Mean Opinion Score，MOS），圖5顯示了面部美化圖像的最終主觀評(píng)分。

圖5 數(shù)據(jù)庫(kù)圖像主觀評(píng)分Fig.5 Subjective scores of database images

2 面部美化美學(xué)質(zhì)量模型

近幾年出現(xiàn)的大量面部美學(xué)質(zhì)量評(píng)價(jià)方法主要是基于面部基準(zhǔn)點(diǎn)的選取來表征面部幾何形狀［15-18］。作為面部修飾中最主要組成部分的面部皮膚美化、面部化妝和面部圖像增強(qiáng)，現(xiàn)仍未有可使用的方法來度量美化質(zhì)量。因此，對(duì)于面部美化圖像美學(xué)質(zhì)量評(píng)價(jià)這個(gè)全新的問題，研究有效的面部美化圖像美學(xué)質(zhì)量評(píng)價(jià)方法是非常必要和有意義的。

本文的面部美化圖像美學(xué)質(zhì)量評(píng)價(jià)系統(tǒng)框架中有兩個(gè)關(guān)鍵部分:面部圖像預(yù)處理和美學(xué)特征提取。因?yàn)槊娌课κ懿煌瑓^(qū)域的影響［19］，因此，為了充分提取面部特征，本文將面部分解成皮膚、眼睛和嘴巴三部分。然后，分析每部分影響吸引力大小的因素以及面部美化技術(shù)的編輯內(nèi)容。對(duì)于面部皮膚，使用膚色、光照和光滑度來度量；灰度差被用來衡量眼睛與嘴巴的吸引力；最后，清晰度被用來表征人對(duì)清晰明亮眼睛的喜愛。

2.1 面部圖像預(yù)處理

通過心理學(xué)研究發(fā)現(xiàn)面部不同區(qū)域有著不同的“美感”要求，針對(duì)這一特點(diǎn)，研究人員開發(fā)了大量針對(duì)性的美化技術(shù)。例如皮膚美化可以改變皮膚的光滑度，以使面孔看起來更光澤亮麗并且富有彈性；而紅色或其他顏色可以施加到嘴部以獲得美麗的外觀?；诖?，本文將面部圖像分塊。同時(shí)，對(duì)于面部皮膚，參考影響其吸引力三大主要屬性［20-22］，將皮膚分解成顏色層、光照層和細(xì)節(jié)層。

2.1.1 面部分塊

為了解決面部區(qū)域不同的“美感”需求和充分分析面部不同區(qū)域的美感特征，本文在臉部圖像上使用局部補(bǔ)丁。使用局部補(bǔ)丁還有另一個(gè)優(yōu)點(diǎn)，就是可以使本文方法對(duì)頭部姿勢(shì)、面部表情和美化處理具有魯棒性。最終，特征提取和相關(guān)學(xué)習(xí)都基于局部補(bǔ)丁而不是全局面部圖像。本文采用文獻(xiàn)［23］方法將圖像分塊。在每張臉部圖像中使用的補(bǔ)丁如圖6所示。

圖6 本文實(shí)驗(yàn)在每張圖像上使用的局部補(bǔ)丁Fig.6 Partial patches used in this experiment on each image

2.1.2 皮膚分層

皮膚的光滑度、光照和顏色是影響面部吸引力的3 個(gè)主要因素，許多研究都涉及這些領(lǐng)域。在計(jì)算攝影中，圖像通常通過顏色空間變換分解為亮度層和顏色層。然后，將亮度層通過邊緣保留濾波器分解成平滑的基礎(chǔ)層和用于圖像編輯的細(xì)節(jié)層［24］。本文按照這種思路將皮膚區(qū)域分成細(xì)節(jié)層、光照層和顏色層，如圖7所示。

圖7 使用邊緣保持平滑算子將皮膚圖像分成三個(gè)特定面部層的過程Fig.7 Process of dividing skin image into three specific facial layers using an edge-preserving smoothing operator

首先是輸入皮膚圖像轉(zhuǎn)換到CIELAB 色彩空間，該空間常被用于心理學(xué)中研究人類知覺和面部吸引力工作［25］。轉(zhuǎn)換后的輸入圖像由一個(gè)亮度通道IL和兩個(gè)顏色通道Ia和Ib組成。兩個(gè)顏色通道被視為顏色層。其次，在亮度通道使用邊緣保持平滑算子以捕獲其大尺度變化，被視為光照層I*L。最后，從亮度通道中減去大尺度變化（光照層），結(jié)果被視為細(xì)節(jié)層IT，用于面部平滑度增強(qiáng)。

在這里，選擇基于加權(quán)最小二乘法（Weighted Least Squares，WLS）［25］的邊緣保持平滑算子用于光照和細(xì)節(jié)層分離，因?yàn)樗鼘?duì)于細(xì)節(jié)操作是有效的，且不會(huì)如雙邊濾波器［26］或引導(dǎo)過濾器［27］那樣引入光暈偽像。

2.2 面部美學(xué)特征提取

本文綜合考慮了面部美感心理學(xué)［17-20］、面部美化技術(shù)［2-4］和圖像質(zhì)量的研究分析，合理性地提出5 種“美感”特征來表征面部吸引力，分別是人類對(duì)人臉美感認(rèn)知和感知特征的膚色、光滑度和灰度差以及圖像高質(zhì)量特征的光照和清晰度。它們?cè)诿娌坎煌瑓^(qū)域被提取。

2.2.1 膚色

白皙細(xì)膩的膚色可能使人看起來更美麗、更年輕。面部美白等技術(shù)均是基于此改變面部皮膚色調(diào)以提升面部美感，因此，直觀的面部皮膚色調(diào)［28-29］可用于表征面部吸引力。

本文方法的面部膚色由兩個(gè)顏色通道Ia和Ib的平均值表示，記作符號(hào)C，具體計(jì)算過程如下:

其中:c ∈{Ia，Ib}表示兩個(gè)顏色通道；H(i)表示顏色通道的像素值的歸一化直方圖；i是像素值得索引。

2.2.2 光滑度

面部涂抹粉底、BB 霜等化妝品，能使得面部外觀看起來更光滑。毫無(wú)疑問，人們更傾向于光滑細(xì)膩的皮膚，在面部美化中磨皮等技術(shù)，可以改變面部光滑度。皮膚的光滑度表征為其紋理的復(fù)雜度，在統(tǒng)計(jì)上，粗糙甚至充滿痘印的皮膚圖像表現(xiàn)為較高的熵值。

本文采用空間熵的概念。用一階估計(jì)的辦法來估計(jì)熵值:

其中:rk為皮膚的灰度級(jí)；S為面部圖像中所有灰度級(jí)的集合；P(rk)為該灰度級(jí)在面部中出現(xiàn)的概率。考慮到影響面部皮膚光滑度的主要因素是痘印、皺紋和痣等局部區(qū)域，圖像熵的一階估計(jì)，只能表示圖像全局灰度的復(fù)雜性而無(wú)法體現(xiàn)出空間上的復(fù)雜性。因此，本文將面部皮膚細(xì)節(jié)層IT進(jìn)一步分塊，并分別計(jì)算每一塊的一階熵估計(jì)，最后將所有塊的估計(jì)值累加起來，作為描述光滑度的統(tǒng)計(jì)量空間熵Esum。

2.2.3 灰度差

眼影、眼線和口紅等化妝品的使用，可以改變眼睛和嘴巴的顏色狀態(tài)，以增加面部“美感”。研究表明，在一定范圍內(nèi)增大眼睛嘴巴與周圍皮膚的灰度差，可以增加面部吸引力，進(jìn)而影響人類對(duì)面部美學(xué)質(zhì)量的判斷［25］。這一研究發(fā)現(xiàn)也被廣泛應(yīng)用到面部美化框架中。

為了計(jì)算灰度差這一美學(xué)特征，首先使用SDSP（a novel Saliency Detection method by combining Simple Priors）顯 著性［30］處理眼睛區(qū)域，然后訓(xùn)練不同閾值以實(shí)現(xiàn)眼睛與周圍皮膚分離的最佳效果。其中顯著區(qū)域即為眼睛部分，背景區(qū)域表示周圍皮膚?；叶炔畹挠?jì)算公式為:

其中:HD為灰度差；Fa為眼睛的灰度平均值；Fs為周圍皮膚的灰度平均值；K表示Fa和Fs的均值。

同上，處理嘴巴區(qū)域，得到嘴巴區(qū)域的灰度差。

2.2.4 光照

光照是影響面部吸引力的主要因素之一。在面部美化增強(qiáng)下，無(wú)論是欠增強(qiáng)還是過度增強(qiáng)都會(huì)導(dǎo)致光照不舒服。因此，表征面部光照情況的特征是必需的。

一幅光照良好的面部圖像不但平均照明適宜，而且應(yīng)該具有理想的光照分布。因此，在本工作中，使用式（1）來度量平均光照情況。將真實(shí)光照直方圖與理想均勻光照直方圖之間的距離作為測(cè)量面孔光照分布，KL（Kullback-Leibler）散度［31］被用來計(jì)算這一特性:

其中:P和U分別為真實(shí)光照層與理想光照層的直方圖分布。

2.2.5 清晰度

清晰度是人類評(píng)判質(zhì)量和美學(xué)的最重要指標(biāo)之一。而眼睛是影響人類對(duì)圖像清晰度感知的重要部位。所以，在眼睛區(qū)域利用最近關(guān)于盲圖像模糊評(píng)估工作來計(jì)算清晰度特征，利用概率模型來估計(jì)在圖像中的每個(gè)邊緣處檢測(cè)模糊的概率，然后通過計(jì)算模糊檢測(cè)的累積概率（Cumulative Probability of Blur Detection，CPBD）來匯集信息。

其中:CPBD表示清晰度；PJNR表示預(yù)先設(shè)定的概率閾值；PBLUR表示圖像的邊緣模糊概率；w(ei)表示在邊緣點(diǎn)ei處的邊緣寬度。該方法已被證明對(duì)模擬和真實(shí)迷糊圖像都有效。關(guān)于模糊評(píng)估方法的更多細(xì)節(jié)可參見文獻(xiàn)［32］。

2.3 基于支持向量回歸的美學(xué)訓(xùn)練

3 實(shí)驗(yàn)結(jié)果和應(yīng)用

3.1 評(píng)價(jià)方案

在構(gòu)建的FBID 數(shù)據(jù)庫(kù)上進(jìn)行實(shí)驗(yàn)，驗(yàn)證所提出的美學(xué)質(zhì)量模型的有效性。采用三種廣泛使用的標(biāo)準(zhǔn)來評(píng)估模型性能，包括皮爾遜（Pearson）線性相關(guān)系數(shù)（Pearson Linear Correlation Coefficient，PLCC）、Spearman 等 級(jí) 相 關(guān) 系 數(shù)（Spearman RankOrder Correlation Coefficient，SROCC）和均方根誤差（Root Mean Squared Error，RMSE）。其中，PLCC 和RMSE 用于測(cè)量預(yù)測(cè)精度，SROCC 用于測(cè)量預(yù)測(cè)單調(diào)性；PLCC、SRCC 數(shù)值越大，RMSE 越小代表方法性能越好。在計(jì)算它們之前，在主觀與客觀分?jǐn)?shù)之間進(jìn)行5參數(shù)的邏輯映射:

其中:τi（i = 1，2，…，5）為擬合參數(shù)。

3.2 結(jié)果和比較

3.2.1 與現(xiàn)有質(zhì)量評(píng)價(jià)方法比較

將本文方法性能同最先進(jìn)的無(wú)參考圖像質(zhì)量評(píng)價(jià)結(jié)果進(jìn)行比較，包括BIQI（Blind Image Quality Indices）［34］、BRISQUE（Blind/Referenceless Image Spatial QUality Evaluator）［35］、CCF（Colorfulness index，Contrast index and Fog density index）［36］、DIIVINE（Distortion Identification-based Image Verity and INtegrity Evaluation）［37］、FADE（Fog Aware Density Evaluation）［38］、NIQE（Natural Image Quality Evaluation）［39］、SSEQ（Spatial-Spectral Entropy Quality）［40］、CNN［10］、DIQA（Deep CNN-based Image Quality Assessment）［11］。實(shí)驗(yàn)結(jié)果如表1所示。

表1 不同無(wú)參考評(píng)價(jià)方法在本數(shù)據(jù)庫(kù)上的匯總Tab. 1 Summary of different no-reference evaluation methods on the proposed database

從表1 中可以看出，本文方法能獲得最好的性能表現(xiàn)，而且顯著優(yōu)于傳統(tǒng)特征設(shè)計(jì)的質(zhì)量評(píng)價(jià)方法。這些結(jié)果并不令人驚訝，因?yàn)閹缀醍?dāng)前所有的質(zhì)量指標(biāo)都是基于全局圖像或顯著性區(qū)域測(cè)量，同時(shí)具有很強(qiáng)的客觀性，而面部美化是在面部不同區(qū)域根據(jù)面部的主觀美吸引力處理的。換句話說，面部美感的主觀視覺特性在面部美化圖像的美學(xué)質(zhì)量評(píng)估中起著更重要的作用。同時(shí)，面部圖像美學(xué)評(píng)價(jià)與傳統(tǒng)圖像質(zhì)量評(píng)價(jià)有明顯不同，面部圖像美學(xué)評(píng)價(jià)側(cè)重于面部吸引力的評(píng)價(jià)；雖然最近流行的關(guān)于圖像質(zhì)量評(píng)價(jià)的卷積神經(jīng)網(wǎng)絡(luò)性能也優(yōu)于現(xiàn)有評(píng)價(jià)方法，但本文模型性能優(yōu)勢(shì)更明顯。這主要得益于本文特征是依據(jù)面部美化圖像特性和面部美感心理學(xué)提出的，模型更具有針對(duì)性，這也意味著模型失去了通用性，同時(shí)模型性能依賴于提出的特征；卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)在于其能挖掘圖像更深層次的規(guī)律，提取高級(jí)感知特征，而且具有很好的泛化能力，但由于本文構(gòu)建的數(shù)據(jù)庫(kù)樣本量較少，導(dǎo)致通用的無(wú)參考質(zhì)量評(píng)價(jià)卷積神經(jīng)網(wǎng)絡(luò)性能并不是很理想。綜上所述，本文模型在面部美化圖像質(zhì)量評(píng)價(jià)上更具優(yōu)勢(shì)。

為了更加直觀地展示本文方法的性能，給出了本文方法和傳統(tǒng)取得最好性能的質(zhì)量評(píng)價(jià)方法DIIVINE 的散點(diǎn)圖的對(duì)比，如圖8 所示?？陀^評(píng)分是指測(cè)試圖像在質(zhì)量評(píng)價(jià)方法下的算法得分。

圖8 兩種方法散點(diǎn)圖Fig.8 Scatter graphs of two methods

從圖8 可以看出:與DIIVINE 相比，本文方法線性擬合得更好，評(píng)分更接近主觀評(píng)分。

3.2.2 訓(xùn)練測(cè)試比例的變化

為了驗(yàn)證本實(shí)驗(yàn)是否存在過擬合現(xiàn)象，共選取5 種不同訓(xùn)練測(cè)試比例進(jìn)行測(cè)試。實(shí)驗(yàn)結(jié)果如表2 所示，由本文方法性能相對(duì)于訓(xùn)練測(cè)試比例的變化保持相對(duì)穩(wěn)定，進(jìn)而說明本實(shí)驗(yàn)沒有出現(xiàn)過擬合現(xiàn)象。

近年來，隨著各項(xiàng)工作的逐步展開，遵醫(yī)附院新技術(shù)新項(xiàng)目開展數(shù)量逐年提升，年均開展新技術(shù)新項(xiàng)目數(shù)量從20余項(xiàng)增加到現(xiàn)在的200余項(xiàng)，通過在臨床診療過程中不斷創(chuàng)新、突破，并積極促進(jìn)臨床科研項(xiàng)目實(shí)現(xiàn)成果轉(zhuǎn)化，有效助推了醫(yī)院科研工作水平實(shí)現(xiàn)跨越式發(fā)展，極大提升了醫(yī)院的綜合實(shí)力和市場(chǎng)競(jìng)爭(zhēng)力。

表2 不同訓(xùn)練測(cè)試比例的測(cè)試結(jié)果Tab. 2 Test results for different training test ratios

3.2.3 不同美化方法下的性能

FBID 數(shù)據(jù)庫(kù)根據(jù)美化方法的不同分成6 個(gè)子庫(kù)，分別為磨皮、美白、亮度、對(duì)比度、清晰度和智能優(yōu)化。本文方法在不同美化方法上的穩(wěn)定性結(jié)果如圖9所示。

圖9 本文方法在不同美化方法上的測(cè)試結(jié)果Fig.9 Test results of proposed algorithm on different beautification methods

由圖9 可看出，本文方法總體具有很高的穩(wěn)定性。具體分析，由于本方法是對(duì)面部質(zhì)量的總體討論，在針對(duì)單一圖像增強(qiáng)如美白、亮度和對(duì)比度上，不相關(guān)的特征帶來信息的冗余甚至是干擾，在一定程度上降低了方法的穩(wěn)定性。而智能優(yōu)化是一種綜合性的美化方法，本文方法在其上的高穩(wěn)定性，也進(jìn)一步說明了它的全面性。

3.3 面部不同區(qū)域?qū)ξΦ呢暙I(xiàn)

為了進(jìn)一步了解面部3 個(gè)區(qū)域?qū)γ娌棵缹W(xué)判斷的相對(duì)貢獻(xiàn)，本文進(jìn)行了另一個(gè)實(shí)驗(yàn)。具體而言，分別使用單類補(bǔ)丁以及兩兩結(jié)合組成的區(qū)域進(jìn)行性能測(cè)試。然后將計(jì)算結(jié)果與整體模型進(jìn)行了比較。通過這種方法，可以知道組成區(qū)域的相對(duì)重要性。表3為仿真結(jié)果。

表3 不同區(qū)域結(jié)合對(duì)面部吸引力的貢獻(xiàn)Tab.3 Contribution of different area combinations to facial attractiveness

從表3 可知，皮膚對(duì)整體性能的影響較大，甚至超過了眼睛和嘴巴的組合；而嘴巴區(qū)域的影響較小。這3 個(gè)區(qū)域的組合提供了最佳性能，進(jìn)一步驗(yàn)證了本文美學(xué)質(zhì)量模型的合理性和有效性。

3.4 應(yīng)用

本文方法最終是為了實(shí)現(xiàn)美化方法參數(shù)的最優(yōu)選擇，以達(dá)到美化的最佳效果。本文構(gòu)建了一個(gè)GUI系統(tǒng)來展示面部美化圖像美學(xué)質(zhì)量評(píng)估模型的應(yīng)用，如圖10所示。

圖10 面部質(zhì)量評(píng)估模型應(yīng)用展示Fig.10 Facial quality assessment model application display

該界面展示了面部在不同“美白”參數(shù)下的美化圖像及其美學(xué)得分。在用戶使用美白方法時(shí)，會(huì)自動(dòng)嵌入本文方法結(jié)論篩選出得分最高的美白圖像展示給用戶，節(jié)省了用戶調(diào)參過程。尤其在視頻美化中，用戶無(wú)法實(shí)時(shí)手動(dòng)調(diào)節(jié)美化參數(shù)，本文方法結(jié)論更尤為重要。

4 結(jié)語(yǔ)

本文討論了面部美化圖像的美學(xué)質(zhì)量評(píng)估?；? 種面部美化技術(shù)，構(gòu)建了首個(gè)面部美化圖像數(shù)據(jù)庫(kù)，通過主觀測(cè)試來收集人的真實(shí)評(píng)分?？紤]到目前基于失真的圖像質(zhì)量度量方法在面部美化圖像美學(xué)質(zhì)量評(píng)價(jià)中存在很大的局限性，提出一種新的面部美化圖像美學(xué)質(zhì)量評(píng)價(jià)方法，在構(gòu)建的數(shù)據(jù)庫(kù)上對(duì)該方法的性能進(jìn)行了評(píng)估，實(shí)驗(yàn)結(jié)果和比較驗(yàn)證了本文所提美學(xué)質(zhì)量模型的有效性和優(yōu)越性。但本文只是在傳統(tǒng)方式上做了美化圖像質(zhì)量評(píng)價(jià)相關(guān)工作，下一步將結(jié)合CNN提取符合人感知層次的高水平特征繼續(xù)提高模型的準(zhǔn)確性。