圖像美學(xué)質(zhì)量評價綜述

張 艷, 董 武, 李 桐, 李業(yè)麗, 陸利坤

(北京印刷學(xué)院信息工程學(xué)院,北京 102600)

隨著當今科技的發(fā)展,可用于拍攝的設(shè)備越來越豐富,不僅限于相機、攝影機,因此互聯(lián)網(wǎng)中出現(xiàn)了海量的圖片。 隨著社會的發(fā)展,人們越來越重視美,因此計算機能夠自動判斷和推薦給用戶美學(xué)質(zhì)量高的圖像是非常有必要的。

對于圖像美學(xué)質(zhì)量評價的研究最早是2004 年微軟亞洲研究院與清華大學(xué)聯(lián)合進行的一項研究,用于使計算機自動區(qū)分普通用戶和專業(yè)攝影師拍攝的圖像。 目前,圖像美學(xué)質(zhì)量評價已初步應(yīng)用于企業(yè),比如,自 2016 年起,每年淘寶 “雙11” 活動 “魯班系統(tǒng)” 自動設(shè)計出幾億幅商品海報[1], “魯班系統(tǒng)” 算法對設(shè)計出的圖像進行美學(xué)評估,將美學(xué)質(zhì)量最高的圖像作為商品的海報;還有一些視頻網(wǎng)站利用圖像美學(xué)質(zhì)量評價技術(shù)提取出一幀美學(xué)質(zhì)量高的圖像作為對應(yīng)視頻的封面,以吸引用戶眼球,提高點擊率等。 隨著技術(shù)的提升,相信圖像美學(xué)質(zhì)量評價技術(shù)會發(fā)揮越來越重要的作用。

圖像美學(xué)質(zhì)量評價的發(fā)展主要分為兩個階段,第一階段主要是基于手工設(shè)計美學(xué)特征的研究,第二階段為基于深度學(xué)習(xí)的研究。

1 圖像美學(xué)質(zhì)量評價數(shù)據(jù)集

圖像美學(xué)質(zhì)量評價常用的數(shù)據(jù)集有Aesthetic Visual Analysis(AVA)數(shù)據(jù)集、Aesthetics and Attributes DataBase(AADB) 數(shù)據(jù)集和 CUHK-Photo Qua-lity(CUHK-PQ)數(shù)據(jù)集。

AVA 數(shù)據(jù)集是2012 年公布的用于美學(xué)視覺分析的大型數(shù)據(jù)庫,包含25 萬多張圖像[2],每張圖像對應(yīng)三種標注:語義標注、風(fēng)格標注和美學(xué)評分標注。

表1 為AVA 數(shù)據(jù)集中一張圖像的標注實例。表1 中第一列為索引值,第二列為圖像ID,根據(jù)圖像ID 可以下載圖像。 第三列至第十二列為人工美學(xué)評分,評分標準為1-10 分共十個等級。 實例中表示評1 分的有0 人,評 2 分的有 1 人,評3 分的有 5 人,評 4 分的有 17 人,評 5 分的有 38 人,評 6分的有 36 人,評 7 分的有 15 人,評 8 分的有 6 人,評9 分的有5 人,評10 分的有1 人。 第十三列至十四列為語義標注ID。 AVA 數(shù)據(jù)集的語義標注ID 有66 個,范圍從1-66,分別代表廣告、動物、建筑、天文、鳥、黑白、城市等。 每個圖像都有0 到2個語義標注ID。

表1 AVA 標注實例

AADB 數(shù)據(jù)集是2016 年美國加州大學(xué)公布的圖像美學(xué)數(shù)據(jù)庫,包含1 萬張圖像。 每張圖像有一個美學(xué)得分標注以及11 個屬性標注。 11 個屬性標注包含平衡標注、趣味標注、顏色和諧性標注、景深標注、光照標注、運動模糊標注、主體標注、三分標注、顏色鮮明標注、重復(fù)標注和對稱標注。

CUHK-PQ 數(shù)據(jù)集是香港中文大學(xué)公布的圖像美學(xué)數(shù)據(jù)庫,包含17690 張圖像。 每張圖像包含一個美學(xué)等級標注。 CUHK-PQ 數(shù)據(jù)集中共有兩種美學(xué)等級標注,即0 和1,0 代表圖片美學(xué)質(zhì)量低,1 代表圖片美學(xué)質(zhì)量高。 CUHK-PQ 數(shù)據(jù)集把圖像分為8 個場景類別,即動物、植物、靜態(tài)、建筑、風(fēng)景、人、夜和其他。

2 基于手工設(shè)計美學(xué)特征的圖像美學(xué)質(zhì)量評價

基于手工設(shè)計美學(xué)特征的圖像美學(xué)質(zhì)量評價方法首先利用數(shù)學(xué)表達式對圖像的美學(xué)特征進行量化,然后利用量化后的美學(xué)特征和機器學(xué)習(xí)方法對圖像進行美學(xué)質(zhì)量的分類。 常用的機器學(xué)習(xí)方法有貝葉斯分類、支持向量機等。

初期研究者根據(jù)圖像的構(gòu)圖規(guī)則、景深、虛實、色彩度、趣味性等攝影規(guī)則提取美學(xué)特征,之后利用機器學(xué)習(xí)方法對圖像的美學(xué)質(zhì)量進行評價。

Yan 等人[3]提出用圖片簡潔性、虛化、顏色分布、對比度、平均亮度等特征來衡量圖像的美學(xué)質(zhì)量。 在文獻[3]中,使用圖像的邊緣分布衡量圖像的簡潔性,使用圖像顏色分布區(qū)別專業(yè)攝影師與業(yè)余攝影師拍攝圖像的調(diào)色差異,并使用對比度、平均亮度衡量圖像的明亮度。 實驗表明,利用以上美學(xué)特征,可以有效區(qū)分出專業(yè)攝影師與業(yè)余攝影師拍攝的圖像,提高了圖像美學(xué)質(zhì)量評價的準確率。

Datta 等人[4]使用更全面的56 種特征衡量圖像美學(xué)質(zhì)量,包括顏色、紋理、形狀、圖片大小、景深、三分法則、區(qū)域?qū)Ρ榷鹊?進一步提高了圖像美學(xué)質(zhì)量評價的準確率。

李恒達[5]提出以全局構(gòu)圖特征與局部構(gòu)圖特征作為圖像的美學(xué)特征。 全局構(gòu)圖特征是以圖像中心為基準,計算圖像中各主體目標的面積、距圖像中心的距離和角度;局部構(gòu)圖特征是計算各主體目標之間的角度、距離和重疊距離。

2010 年,金鑫等人[6]提出 “基于內(nèi)容的圖像美學(xué)質(zhì)量評價” 概念,認為對不同內(nèi)容的圖像進行美學(xué)質(zhì)量評價,方法應(yīng)該有所不同。 湯曉鷗等人[7]提出根據(jù)圖像內(nèi)容的不同將圖像劃分為7 個類別(風(fēng)景、植物、動物、夜景、人物、靜像、建筑),不同的類別設(shè)計不同的提取特征方式,并使用支持向量機進行分類。

基于手工設(shè)計美學(xué)特征的方法雖然在一定程度上提高了圖像美學(xué)質(zhì)量評價的準確率,但是這種方法需要研究者掌握大量的美學(xué)和攝影知識,而且手工設(shè)計的特征不能全面覆蓋美學(xué)、攝影規(guī)則的各個方面,因此基于手工設(shè)計美學(xué)特征方法具有一定的局限性。

3 基于深度學(xué)習(xí)的圖像美學(xué)質(zhì)量評價

2012 年,AlexNet 獲得了 ImageNet 大規(guī)模圖像分類競賽的冠軍,從此更多的研究者運用卷積神經(jīng)網(wǎng)絡(luò)解決圖像方面的問題。 研究者找到了不依賴圖像攝影規(guī)則的研究方法,深度學(xué)習(xí)強大的提取特征能力以及依據(jù)特征的決策能力極大促進了圖像美學(xué)質(zhì)量評價研究的發(fā)展,從此圖像美學(xué)質(zhì)量評價的研究全面進入基于深度學(xué)習(xí)的時代。

基于深度學(xué)習(xí)的圖像美學(xué)質(zhì)量評價主要在卷積神經(jīng)網(wǎng)絡(luò)(CNN)的基礎(chǔ)上進行研究。 CNN主要由輸入層、卷積層、池化層、全連接層、輸出層等結(jié)構(gòu)組成,具有強大的特征提取和特征映射能力。

近幾年,基于深度學(xué)習(xí)的圖像美學(xué)質(zhì)量評價方法的研究主要包含卷積神經(jīng)網(wǎng)絡(luò)模型的構(gòu)建和基于神經(jīng)網(wǎng)絡(luò)的多任務(wù)聯(lián)合研究。

3.1 卷積神經(jīng)網(wǎng)絡(luò)模型的構(gòu)建

張小威[8]提出了一種基于遷移學(xué)習(xí)的圖像美學(xué)質(zhì)量評價方法,即利用已經(jīng)訓(xùn)練好的網(wǎng)絡(luò)模型作為基準網(wǎng)絡(luò),再利用相關(guān)數(shù)據(jù)集微調(diào)網(wǎng)絡(luò)參數(shù),進一步達到能對不同美學(xué)質(zhì)量的圖像進行分類的目的。 作者對主流的 Caffe-Net、Alex-Net 和 Vgg-Net進行了實驗,實驗結(jié)果表明,和隨機初始化神經(jīng)網(wǎng)絡(luò)參數(shù)方法相比,基于遷移學(xué)習(xí)的圖像美學(xué)質(zhì)量評價方法有更好的性能,實驗結(jié)果如表2 所示。 這種方法的缺點是評價精度可能會因為數(shù)據(jù)集的不同產(chǎn)生變化。

表 2 以 Caffe-Net、A lex-Net、Vgg-Net 為基準的基于遷移學(xué)習(xí)方法性能的比較

為了避免出現(xiàn)基于遷移學(xué)習(xí)的圖像美學(xué)質(zhì)量評價方法產(chǎn)生的評價精度數(shù)據(jù)不穩(wěn)定現(xiàn)象,研究者采用隨機初始化網(wǎng)絡(luò)參數(shù)的方法,即通過圖像數(shù)據(jù)集去訓(xùn)練參數(shù)隨機設(shè)置的網(wǎng)絡(luò)模型,通過訓(xùn)練調(diào)整網(wǎng)絡(luò)參數(shù),從而得到想要的網(wǎng)絡(luò)模型。 但是卷積神經(jīng)網(wǎng)絡(luò)用于圖像處理時存在一個弊端,即卷積神經(jīng)網(wǎng)絡(luò)要求輸入的同一批圖像是一個固定尺寸,因此要對圖像進行預(yù)處理,如縮放或裁剪,但這樣的處理會對圖像的美學(xué)質(zhì)量產(chǎn)生嚴重損失。 為解決這樣的問題,房慧弟在文獻[9]中提出全卷積神經(jīng)網(wǎng)絡(luò)(FCN),FCN 將傳統(tǒng)CNN 的全連接層變換為卷積層,因為全連接層的參數(shù)矩陣是固定的,與特征矩陣進行內(nèi)積時要求特征矩陣也是固定的,所以要求CNN 輸入圖像的大小是固定的。 FCN 去除了全連接層,實現(xiàn)了能夠把任意大小的圖像輸入到網(wǎng)絡(luò)模型。

李恒達在文獻[5]中提出了一種基于語義信息的雙通道卷積網(wǎng)絡(luò)(SDCNN)圖像美學(xué)質(zhì)量評價方法。 該方法在Alex-Net 的基礎(chǔ)上提出雙通道網(wǎng)絡(luò)模型,一個通道提取圖像局部特征與全局特征,另一個通道提取基于語義信息的圖像特征,從而提高圖像美學(xué)質(zhì)量評價的準確率,該網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。

圖1 SDCNN 網(wǎng)絡(luò)結(jié)構(gòu)圖

SDCNN 與單通道卷積網(wǎng)絡(luò)(SCNN)、雙通道卷積網(wǎng)絡(luò)(DCNN)的性能比較如表3 所示。 由表3可以看出,SDCNN 在不同語義下準確率有所提升,總體準確率也有所提升。

表3 SDCNN 與SCNN、DCNN 在圖像不同語義下的比較

孟宣彤[10]認為卷積神經(jīng)網(wǎng)絡(luò)提取出的底層與中層特征與圖像美學(xué)質(zhì)量高度相關(guān),因此提出了多層聚合網(wǎng)絡(luò)(MLAN)。 該網(wǎng)絡(luò)模型以Mobile-Net、VGG16 和Inception-V3 為基準,從中抽取底層、中層和高層特征,然后進行融合,從而實現(xiàn)對圖像的美學(xué)質(zhì)量進行評價,實驗結(jié)果如表4 所示,和原Mobile-Net、VGG16 與 Inception-V3 模型相比,MLAN 準確率都有所提升。

表 4 以 M obile-Net、Vgg-Net、Inception-V 3為基準的M LAN 的精度

劉祥飛[11]提出基于多分支特征融合網(wǎng)絡(luò)(MBFNet)的圖像美學(xué)質(zhì)量評價方法。 該方法使用三個ResNet50 作為網(wǎng)絡(luò)分支,對同一幅圖像從不同角度進行特征提取,之后將不同網(wǎng)絡(luò)分支提取的特征用特征融合模塊進行融合,形成融合特征,依據(jù)融合特征得到圖像的美學(xué)質(zhì)量評價分數(shù),MBFNet 的網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。

圖2 MBFNet 網(wǎng)絡(luò)結(jié)構(gòu)圖

3.2 圖像美學(xué)質(zhì)量評價與圖像描述的多任務(wù)聯(lián)合研究

呂莎莎[12]在VGG-19 模型的基礎(chǔ)上引入殘差網(wǎng)絡(luò)思想,同時引入空間注意力機制、通道注意力機制,提出Deep Image Aesthetic Reviewer(DIAReviewer)模型,該模型實現(xiàn)將美學(xué)質(zhì)量評價與圖像描述兩個任務(wù)結(jié)合起來,DIAReviewer 的網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示。

圖3 DIAReviewer 網(wǎng)絡(luò)結(jié)構(gòu)圖

3.3 圖像美學(xué)質(zhì)量評價與圖像情感分析的聯(lián)合研究

余俊[13]對ResNet50 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)進行改進,提出美學(xué)-情感多任務(wù)學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)(AENet)。 AENet 可以同時得到該圖像對應(yīng)的美學(xué)質(zhì)量評價結(jié)果與情感信息識別結(jié)果,實現(xiàn)了圖像美學(xué)質(zhì)量評價任務(wù)與圖像情感信息識別任務(wù)相結(jié)合的目的。 AENet 由美學(xué)感知網(wǎng)絡(luò)分支、共享感知網(wǎng)絡(luò)分支、情感感知網(wǎng)絡(luò)分支三路分支組成,三路分支實現(xiàn)對圖像特征的提取,之后再用特征融合單元進行融合處理,形成新的特征圖,最后經(jīng)過決策輸出結(jié)果,AENet 的網(wǎng)絡(luò)結(jié)構(gòu)如圖4 所示。

圖4 AENet 網(wǎng)絡(luò)結(jié)構(gòu)圖

實驗結(jié)果表明,加入情感分析的美學(xué)質(zhì)量評價,圖像的美感準確率更高,實驗結(jié)果如表5 所示。

表5 AENet 與各方法之間的準確率比較

4 評價指標與誤差度量

圖像美學(xué)質(zhì)量評價用準確率(Acc)這一指標度量模型的有效性,用均方誤差(Mse)、平均絕對誤差(Mae)、中位數(shù)絕對誤差(Med)來度量評價的誤差率。

4.1 評價指標

圖像美學(xué)質(zhì)量評價的準確率是以人工的美學(xué)質(zhì)量高低分類為標準結(jié)果,模型預(yù)測分類正確個數(shù)占總評價圖像個數(shù)的比例,其公式為:

其中,Ncor 為模型預(yù)測分類正確的個數(shù),Ntol為總的評價圖像個數(shù)。

4.2 誤差度量

均方誤差是模型預(yù)測評分與人工美學(xué)質(zhì)量評分之間差值的平方,其公式為:

其中,Ntol 為總的評價圖像個數(shù),pi為模型預(yù)測評分,gi為人工的美學(xué)質(zhì)量評分。

平均絕對誤差是模型預(yù)測評分與人工美學(xué)質(zhì)量評分之間差值的絕對值,其公式為:

其中,Ntol 為總的評價圖像個數(shù),pi為模型預(yù)測評分,gi為人工的美學(xué)質(zhì)量評分。

中位數(shù)絕對誤差是所有訓(xùn)練圖像模型預(yù)測評分與人工美學(xué)質(zhì)量評分之間差值絕對值排序后的中位數(shù),其公式為:

其中,Ntol 為總的評價圖像個數(shù),pi為模型預(yù)測評分,gi為人工的美學(xué)質(zhì)量評分。

5 總結(jié)與展望

圖像美學(xué)質(zhì)量評價是當前研究的熱點課題之一,目前主要的研究方法是基于深度學(xué)習(xí)進行特征提取與評價。 圖像美學(xué)質(zhì)量評價結(jié)合交叉學(xué)科的研究,如圖像美學(xué)質(zhì)量評價與圖像情感分析的聯(lián)合研究在一定程度上也提高了圖像美學(xué)質(zhì)量評價的準確率。

圖像美學(xué)質(zhì)量評價受主觀因素影響較大,這無疑加大了研究難度,因此圖像美學(xué)質(zhì)量評價還有一定的挑戰(zhàn)空間,可以進一步研究圖像美學(xué)質(zhì)量評價模型的準確率和泛化能力。