基于HodgeRank的人臉美貌度預測①

蔣婷,朱明(中國科學技術大學 信息科學技術學院,合肥 230022)

?

基于HodgeRank的人臉美貌度預測①

蔣婷,朱明
(中國科學技術大學 信息科學技術學院,合肥 230022)

摘 要:隨著計算機技術的迅速發(fā)展以及人臉識別技術的成熟,人臉美貌度受到越來越多的關注和研究.針對目前的研究方法中存在的對訓練數(shù)據(jù)集的評分過多依賴人工操作,以及對人臉美貌度的預測結果不夠詳細等問題,本文提出基于HodgeRank的人臉美貌度預測系統(tǒng),利用數(shù)據(jù)挖掘方法學習女性人臉的美貌度特征,構造一個模擬預測人臉美貌度的系統(tǒng).明顯區(qū)別于之前的研究,該系統(tǒng)訓練和測試時采用的人臉數(shù)據(jù)集放寬了對姿態(tài)、光照以及所處環(huán)境等條件的限制,評分所需的人工操作大大減少,無需進行大量的人工標定,使用圖像的原始像素或紋理特征作為輸入,分別采用聚類和改進的BP網(wǎng)絡的方法,得到更符合人類特征的美貌度預測結果.

關鍵詞:美貌度預測; HodgeRank排序; 聚類思想; 改進的BP網(wǎng)絡; 人臉特征

美可以給人帶來心靈的愉悅,愛美更是人類的天性.人類對面部美麗的追求吸引了不同領域學者對美的研究,哲學、醫(yī)學、認知心理學方面的專家對人臉美麗進行了很多年的研究工作,但什么樣的人臉才算是美麗的,到目前為止都沒有給出科學的解釋,如何更好的計算美,將有助于人類美麗得到科學、客觀、可量化的描述,使人臉美麗研究得到長足的發(fā)展.隨著社會的發(fā)展,人們不僅滿足于物質生活,還不斷關注自己的外表.越來越多的人正尋求不同的方法,力圖使美貌度上升.整容行業(yè)和化妝品行業(yè)的興起,使對人臉美貌度的研究具有巨大的經濟和社會效益,在臉部創(chuàng)傷修復手術以及計算機動畫和游戲的角色設計中有著重要的參考價值.可見,人臉美貌度的研究應用已深入我們生活中,具有重要的實用價值.

隨著計算機技術的不斷發(fā)展,計算機視覺問題越來越受到人們的關注,對2D和3D人臉圖片的研究更是熱點,例如人臉識別[1,2],面部表情識別[3,4],性別識別[5],面部年齡估計[6,7]等,更加促進了人們對美貌度的研究和關注.對人臉美貌度的預測是計算機視覺和生物學領域研究的熱門話題,然而人臉美貌度卻是個很難定義的概念,我們可以很容易判斷人眼看到的人臉照片是否美麗,但卻很難明確的定義人臉的美麗信息.目前對人臉美貌度的研究常用的方法是計算人臉各部位的比例作為人臉美貌度預測值或利用深度學習的方法來預測人臉的美貌度.根據(jù)人臉比例得到的人臉美貌度預測值是個固定的數(shù)值,無法反應隨著區(qū)域,時間的變化人們審美的變化趨勢.深度學習方法首先要對人臉數(shù)據(jù)集進行評分,需要大量的人工操作且得到的人臉美貌度的預測值并不是一個具體的分值,只能說明圖片所在的人臉美貌度的大致區(qū)域,不能直觀的展示人臉美貌度大小.針對上述問題,我們提出基于HodgeRank的人臉美貌度預測系統(tǒng),該系統(tǒng)能在數(shù)據(jù)集處理上大大減少人工的評分操作,得到人臉美貌度的大致范圍,同時也得到表征人臉美貌度的0～100間的一個具體的值,更直觀的展示人臉美貌度大小.

文章下面的安排如下: 第一章介紹相關工作,第二章介紹提出的方法,第三章介紹實驗及實驗結果,第四章進行總結.

1　相關工作

人臉美貌度預測主要涉及三個方面: 數(shù)據(jù)集準備、人臉特征提取、人臉美貌度預測方法.

1.1數(shù)據(jù)集準備

1.2人臉特征提取

人臉美貌度的研究中選擇的人臉特征主要有: (1)幾何特征,在人臉圖片上提取有意義的特征點,計算感興趣點之間的幾何距離和由這些距離所構成的比率矢量.如[10,11]找出特征點,計算各部分的比例作為特征值; 取人臉的68個關鍵特征點并歸一化作為特征值[12]; 文獻[13]利用面部的對稱信息等.(2)表觀特征,對美麗的分析不再局限于特征點,也不局限于幾何距離,對人臉的美麗信息的描述采用圖片的原始像素或紋理信息等,并不涉及結構和層次性特征表示.如文獻[14]中將整張圖片作為特征輸入.

方法(1)需要的人臉特征和人臉器官的位置相關,要求人臉圖片必須是正面的,且由于要進行人臉識別,環(huán)境因素如關照、人臉所處環(huán)境的復雜性對實驗的影響很大.方法(2)這種方法克服了要求人臉圖片為正面的要求,對環(huán)境條件的要求也相對變得比較寬.在本文中,我們對比幾何特征和表觀特征的實驗結果.

1.3人臉美貌度預測方法

人臉美貌度研究中常用的方法有: 根據(jù)黃金比例的美學標準,將人臉各部分所得的比例和標準值進行比較,得到人臉的美貌度[10]; 文獻[12]選定一個人眼認定的美貌度高的人臉作為平均人臉,計算與平均人臉之間的距離(特征值間的距離)作為人臉的美貌度的預測值; 用深度學習的方法來訓練人臉美貌度的模型從而得到人臉美貌度; 文獻[15]中提出的CSOR方法根據(jù)代價函數(shù)的結果來預測美貌度的類別等.在本文中分別采用聚類算法和BP神經網(wǎng)絡的算法來預測人臉的美貌度.首先由于人臉美貌度類似的人臉圖片的特征是相近的,所以在對人臉圖片根據(jù)美貌度分類時可以采用聚類算法,將人臉分成“很美”、“美”、“一般”、“丑”、“很丑”5大類,其次利用神經網(wǎng)絡算法進行特征上更加細致的匹配,得到更加細致的分類結果.

2　提出的方法

整個系統(tǒng)分為兩個部分: 圖片數(shù)據(jù)集處理和圖片分類,如圖1所示.

圖1　系統(tǒng)框圖

數(shù)據(jù)處理部分輸入圖片數(shù)據(jù)集,進行隨機的圖片間的兩兩對比,使得至少一副圖片和其余三張圖片進行了對比,得到對比矩陣.將該對比矩陣輸入HodgeRank排序算法,得到每幅圖片的相對分數(shù).圖片分類部分輸入圖片的特征和對應的分值,第一種方法根據(jù)圖片分值將某一范圍內的圖片劃分為一類,根據(jù)聚類思想得到聚類中心,根據(jù)距離聚類中心的距離預測人臉美貌值.第二種方法直接將圖片特征作為訓練輸入,圖片對應的分值作為訓練目標矩陣,利用BP神經網(wǎng)絡進行訓練得到圖片分值的學習模型,即我們所需要的美貌度預測模型.

2.1HodgeRank排序

HodgeRank[16]是2008年Yao,Jiang,Lim等人提出來的,作為一個分析數(shù)據(jù)排列尤其是針對不完整、不平衡數(shù)據(jù)集的有用的工具,可以解決選舉理論中的數(shù)據(jù)不一致以及非傳遞性的偏好關系.理論上來說,HodgeRank排序算法將比較結果空間分解為三個子空間: 梯度子空間、諧波子空間、卷曲子空間.梯度子空間包含傳遞性的比較結果,如類似A

令∧={1,2,…,m}是m個測試者,V={1,2,…,n}是圖片數(shù)據(jù)集.對比數(shù)據(jù)集是∧×V×V的函數(shù),對個測試者α結果是反對稱矩陣,如表示第α個測試者對比圖片i和圖片j的結果),用二值化表示為:

定義非負權函數(shù)ω:∧×V×V→[0,∞)

統(tǒng)計排名聚合問題就轉變?yōu)榍笳w排名得分s:V→R 的問題,即轉化為求

其中si,sj表示圖片i和圖片j的得分.上式等價的加權最小平方問題為:

令G=( V,E)表示圖片對比形成的圖,V表示圖片節(jié)點,E表示對比的兩節(jié)點間的邊,有

假設對于每一對比較的圖片{i,j}的對比次數(shù)是nij,有aij個評分者認為圖片i比圖片j美麗(反之有aji個評分者認為j比i美麗),則有aij+aji= nij(沒有交叉發(fā)生時).對每一條邊{i,j}∈E偏好概率為,(4)式可以寫為:

假設圖片的真實偏好概率可以被V上的線性變換函數(shù)代替,有

1)均勻分布模型:

2)Bradley-Terry模型:

3)Thurstone-Mosteller模型:

其中σ和ρ是常量,F是高斯誤差函數(shù)

4)三角變換模型:

這個模型表征了變量穩(wěn)定性,Yij只取決于邊{i,j}的數(shù)量或ωij,但不是真正的概率pij.

HodgeRank提供了一個在不同數(shù)據(jù)模型下的總體分數(shù)的排序以及獲得的總體排序的不一致性的測量值,在圖2中對比每種模型下美貌度的分布.

2.2圖片分類

經過HodgeRank排序的分類后,得到訓練數(shù)據(jù)集每張圖片對應的分值,并將其作為圖片的分類結果.根據(jù)圖片分類結果的詳細程度有兩種預測方法: 粗分類,細分類.

2.2.1粗分類

采用聚類思想.經過分類后得到的分值歸一化后分布在0～100,將分值每隔20分歸為一類,如0～20分作為第一類,21～40作為第二類,依次類推,分別對應人臉美貌度的“很丑”、“丑”、“一般”、“美”、“很美”.在分值分類的同時相應的圖片也進行分類,且提取每個類別的圖片特征.計算每個類別中每個樣本間的相互距離,取到各樣本點距離最近的點為該類別的聚類中心.輸入待測圖片時,提取其相應的特征,計算其與各聚類中心的距離,取距離最近的聚類中心的類別為該測試樣本的類別.

2.2.2細分類

對圖片進行更加細致的分類采用BP神經網(wǎng)絡算法.標準的神經網(wǎng)絡算法因簡單、宜行、計算量小、并行性強等優(yōu)點受到廣泛的應用.但在長期的使用過程中發(fā)現(xiàn)BP算法存在訓練時間長、收斂速度慢、易陷入局部最小點等缺陷.針對以上問題采用改進的BP算法,從以下三個方面來改進標準的BP網(wǎng)絡.

1)增加動量項[17]: 從前一次的權值調整中取出一部分疊加到本次的權值調整中,如

其中α是動量系數(shù),α∈(0,1).動量項反應了以前積累的調整經驗,對于t時刻的調整起阻尼作用,當誤差曲面出現(xiàn)驟然起伏時,可以減小震蕩趨勢,提高訓練速度.

2)自適應調節(jié)學習率: 學習率h就是步長,從誤差曲面上來看,在平坦區(qū)域η太小會使訓練次數(shù)增加,在誤差變化劇烈區(qū)域,η太大或跨過較窄的坑凹處,使訓練出現(xiàn)震蕩,反而增加了迭代次數(shù).這里采用自適應調節(jié)算法,經過權值調整后如果總誤差上升,則本次調整無效即η·β(β＜1),當總誤差開始下降后,再進行η·θ(θ＞1).

根據(jù)得到的圖片類別和提取的圖片特征直接進行BP網(wǎng)絡訓練.這里輸入圖片特征,輸出是對應的類別最終得到一個0～100間的數(shù)值作為最終的分值.

圖2　常用F模型HodgeRank排序結果分布

3　實驗及結果分析

3.1實驗數(shù)據(jù)的HodgeRank排序

使用六個測試者(三個男性,三個女性)對2000張圖片進行隨機的兩兩對比實驗,保證每張圖片都進行了至少3次和其余圖片的對比,平均每人進行的比較次數(shù)為6010次,比次的全連接比較大大減少了測試者的工作量.對實驗結果進行HodgeRank排序時,每張人臉圖片作為一個節(jié)點,測試者的一次比較就是連接任意兩個節(jié)點構成一條邊,這相當于進行了6010次獨立同分布的(I.I.D)的對比實驗.HodgeRank將結果分解為三個正交的部分.即總體分數(shù)的排序以及獲得的總體排序的不一致性的測量值.將實驗得到的分數(shù)值歸一化到0～100作為圖片的相對分值.常用的F模型得到的排序結果分布如圖2所示.在實驗結果,考慮到分類結果的均勻性,選取Bradley-Terry模型和三角變換模型的平均值作分值.如圖3所示,HodgeRank得到的圖片的分數(shù)結果.

圖3　圖片分類結果: (1)人工分類屬于第一類的7張圖片,(2)HodgeRank排序分類得到的7張第一類圖片,(3)人工分類屬于第五類的7張圖片,(4)HodgeRank排序分類得到的7張第五類圖片,(5)實驗得到的圖片相對分值

3.2人臉美貌度預測的實驗結果及分析

圖片特征對實驗結果有很大的影響,我們采用如下的圖片特征進行對比實驗:

1)基于密度: 直接將整張圖片的原始像素作為圖片特征的輸入,圖片大小為100×100,得到的特征向量為10000×1維.

2)LBP特征: 使用常用的8鄰域基本的LBP,并將LBP的結果進行直方圖均衡化,得到特征向量為256×1維

3)基于特征點: 使用ASM算法提取人臉上68個點作為圖片特征,得到特征向量為136×1維.

3.2.1粗分類

針對聚類算法,將2000張圖片按照分值分為5類,在實驗中每個類別所占的比例如下: 16%、19%、24%、24%、17%,圖片分布大致均勻.分別計算圖片所對應的以上三種特征,得到對應類別圖片的聚類中心.選擇100張圖片進行測試,統(tǒng)計錯誤預測的圖片張數(shù),計算誤差,如表3中方法一所示.

3.2.2細分類

針對BP網(wǎng)絡,激活函數(shù)采用單極形Sigmoid函數(shù),為了提高系統(tǒng)的穩(wěn)定性和效率采用交叉驗證的方法來進行網(wǎng)絡訓練,誤差取所有樣本的均方誤差和.針對不同的圖片特征網(wǎng)絡的輸入層、隱含層、輸出層的節(jié)點數(shù)如表1所示.

表1　不同的圖片特征對應的網(wǎng)絡各層的節(jié)點數(shù)

隱含層節(jié)點數(shù)對比取值200,150,100,50,30,20時的實驗結果來取值.表2顯示了標準BP網(wǎng)絡和改進的BP網(wǎng)絡在LBP特征下的迭代次數(shù)的對比.

表2　標準BP和改進BP迭代次數(shù)對比(LBP特征)

由于人臉美麗的主觀性,每個人對同樣的人臉給定的分值是不同的,但總是基于某個分值上上下波動,所以在測試實驗結果的準確率時,我們定義誤差的計算方式時考慮如下兩點: 1)實驗結果和期望值之間的誤差在5的范圍內,我們都認為是可接受的,即數(shù)據(jù)是正確的; 2)實驗結果和期望值之間的誤差不是簡單的0-1的結果,而是將計算結果和期望值之間的差值的相對值作為誤差的結果.即定義誤差計算公式為:

其中shope表示期望的分值,smax是可達到的分值的最大值即100,smin是可達到的分值的最小值即0.

在表3對比了幾種特征提取方法利用改進BP網(wǎng)絡的實驗結果以及運算的耗時,圖4顯示了聚類算法和改進的BP算法對圖片LBP特征進行分類的實驗結果.

表3　使用不同特征提取算法的實驗結果準確率以及計算耗時(取平均值)

圖4　測試樣本的美貌度預測分值: (1)粗分類得到的美貌度預測結果; (2)細分類得到的美貌度預測結果

通過實驗可以看出文中所提的方法在數(shù)據(jù)集處理時體現(xiàn)出很大的優(yōu)勢,采用改進的BP網(wǎng)絡以及人臉的LBP特征進行的人臉美貌度的預測,其效果也很顯著.

4　結語

在這篇文章中,我們提出了一種預測人臉美貌度算法.根據(jù)人臉的兩兩比較的結果得到基于HodgeRank排序的人臉分類,對人臉圖片進行基于聚類思想的粗分類和基于改進的BP網(wǎng)絡的細分類,得到人臉圖片的分類值,將其作為預測的美貌度.通過觀察實驗結果,表明我們的算法有效,可行.在未來的工作中我們首先著力于利用大規(guī)模人臉美麗樣本庫進行研究,提高實驗結果的普適性; 其次由于人臉的美貌度不僅取決于人臉的簡單特征、相關的比例還和膚色,形狀等很多因素有關,如何更加有效的融入其他相關的人臉美貌度的元素進行美貌度預測是今后重點研究課題.

參考文獻

1 Zhao W,Chellappa R,Phillips PJ,et al.Face recognition: A literature survey.ACM Computing Surveys (CSUR),2003,35(4): 399–458.

2Tan X,Chen S,Zhou ZH,et al.Face recognition from a single image per person: A survey.Pattern Recognition,2006,39(9): 1725–1745.

3Fasel B,Luettin J.Automatic facial expression analysis: a survey.Pattern Recognition,2003,36(1): 259–275.

4Shan C,Gong S,McOwan PW.Facial expression recognition based on local binary patterns: A comprehensive study.Image and Vision Computing,2009,27(6):803–816.

5Moghaddam B,Yang MH.Learning gender with support faces.IEEE Trans.on Pattern Analysis and Machine Intelligence,2002,24(5): 707–711.

6 Guo G,Fu Y,Dyer CR,et al.Image–based human age estimation by manifold learning and locally adjusted robust regression.IEEE Trans.on Image Processing,2008,17(7): 1178–1188.

7Fu Y,Huang TS.Human age estimation with regression on discriminative aging manifold.IEEE Trans.on Multimedia,2008,10(4): 578–584.

8Likert R.A technique for the measurement of attitudes.Archives of Psychology,1932.

9Oliva A,Torralba A.Modeling the shape of the scene: A holistic representation of the spatial envelope.International Journal of Computer Vision,2001,42(3): 145–175.

10管業(yè)鵬,夏慧明,時勇杰.非監(jiān)督人臉美貌度評價.電子器件,2012,35(2):244–248.

11Milutinovic J,Zelic K,Nedeljkovic N.Evaluation of facial beauty using anthropometric proportions.The Scientific World Journal,2014.

12Zhang D,Zhao Q,Chen F.Quantitative analysis of human facial beauty using geometric features.Pattern Recognition,2011,44(4): 940–950.

13Grammer K,Thornhill R.Human (Homo sapiens)facial attractiveness and sexual selection: The role of symmetry and averageness.Journal of Comparative Psychology,1994,108(3): 233.

14Gray D,Yu K,Xu W,et al.Predicting facial beauty without landmarks.Computer Vision-ECCV 2010.Springer Berlin Heidelberg,2010: 434–447.

15Yan H.Cost-sensitive ordinal regression for fully automatic facial beauty assessment.Neurocomputing,2014,129: 334 –342.

16Sizemore RK.HodgeRank: Applying Combinatorial Hodge Theory to Sports Ranking.2013.

17胡泱.一種改進型BP算法.信息系統(tǒng)工程,2015,(6):111–115.

Prediction of Facial Beauty Based on HodgeRank

JIANG Ting,ZHU Ming
(School of Information Science and Technology,University of Science and Technology of China,Hefei 230022,China)

Abstract:In recent years,with the rapid development of computer technology,perception of human facial beauty is an important aspect of human intelligence and has attracted more and more attention of researchers.For the current study methods that exist in the training data set of scoring most depends on manual processes,and the facial beauty assessment is not detailed enough to predict the results,this paper aims to investigate and develop intelligent systems for learning the concept of female facial beauty with data mining learning and producing human-like predictors.Our work is notably different from and goes beyond previous works.We impose less restrictions in terms of pose,lighting,background on the face images used for training and testing,which greatly reduces the manual operation for classification and we do not require costly manual annotation of landmark facial features but simply take raw pixels or texture feature as inputs.We show that a biologically-inspired model with clustering and the improved BP network method can produce results that are much more human-like approach.

Key words:facial beauty prediction; HodgeRank sorting; clustering idea; improved BP network; facial feature

基金項目:①中科院先導課題(XDA06011203)

收稿時間:2015-07-28;收到修改稿時間:2015-09-24