基于興趣點密度加權(quán)的圖像美學質(zhì)量評價

于明 彭偉峰 郭迎春

摘要 針對現(xiàn)有方法沒有充分考慮圖像空間美學信息，并且評價效果過分依賴于主體區(qū)域識別效果的問題，提出一種基于興趣點密度加權(quán)的圖像美學質(zhì)量評價模型。首先對圖像進行超像素分割和興趣點檢測并提取特征描述子，然后統(tǒng)計超像素塊內(nèi)的興趣點個數(shù)，根據(jù)興趣點密度對超像素塊內(nèi)的特征描述子進行加權(quán)并進行局部約束線性編碼處理，最后利用機器學習方法進行圖像美學質(zhì)量評價。實驗結(jié)果表明該方法用來圖像美學質(zhì)量評價大大減少了特征維度和計算時間，提高了評價模型的準確率。

關(guān) 鍵 詞 圖像美學;質(zhì)量評價;超像素分割;興趣點密度加權(quán)

中圖分類號 TP391.4? ? ?文獻標志碼 A

Abstract The aesthetic evaluation model has low accuracy since the existing methods heavily rely on the performance of object region extraction and insufficient characterization of image space aesthetic information. Aiming at solving the problem， an image aesthetic quality evaluation model based on density of interest points weighting is proposed. First， superpixel segmentation was used to segment images into irregular superpixel blocks， and interest points were detected and feature descriptors were extracted on the original image; Second， the density of interest points in the superpixel block were calculated， and the feature descriptors were weighted according to the density of interest points and coded by locality-constrained linear coding method. Finally， the machine learning method was used to evaluate the aesthetic quality of images. The experimental results show that this proposed method is effective for image aesthetic quality evaluation， which greatly reduces the feature dimension and the computation time， and improves the accuracy of the evaluation model.

Key words image aesthetic; quality evaluation; superpixel segmentation; density of interest points weighting

0 引言

圖像美學質(zhì)量評價屬于圖像質(zhì)量評價的主觀評價方法，希望能讓計算機模擬人類的審美思維對圖像質(zhì)量做出高低評價[1]。近年來，從美感角度來評價圖像質(zhì)量受到了廣泛關(guān)注，圖像美學質(zhì)量評價可以應(yīng)用于圖像檢索、圖像美化、圖像設(shè)計等領(lǐng)域。

一些研究者致力于設(shè)計更有效的圖像手工特征進行圖像美學質(zhì)量評價。Ke等[2]通過提取圖像的高層視覺特征包括邊緣空間分布、顏色分布、色調(diào)數(shù)和模糊度來識別出高質(zhì)量的專業(yè)照和低質(zhì)量的快照。Wong等[3]提出用顯著性增強的方法區(qū)分專業(yè)照和快照，在顯著性區(qū)域提取視覺特征包括曝光度、形狀度、紋理細節(jié)等，取得了比全局特征更好的分類效果，但該方法依賴于顯著性區(qū)域的檢測效果。Luo等[4]基于專業(yè)攝影照片的相關(guān)技術(shù)特點，在主體背景分離的區(qū)域上提取一系列高層語義特征，有效改善了分類效果，該方法嚴重依賴主體區(qū)域檢測效果。Tang[5]等提出了基于圖像內(nèi)容感知的美學質(zhì)量評估模型，根據(jù)圖像內(nèi)容的識別結(jié)果提取相應(yīng)的特征，提高了分類效果，但評價效果嚴重依賴于圖像內(nèi)容的判定和主體區(qū)域的提取效果。

為了克服圖像美學質(zhì)量評價中美學的手工特征提取缺點，研究人員提出了通用的可計算美學評價模型提取圖像美學信息。Nishiyama等[6]提出了分塊級別下的色彩和諧模型，在顏色通道提取顏色分布特征描述子，取得了一定的成果。Marchesotti[7]等提出用一般圖像描述子進行圖像美學分類任務(wù)，提供了可計算美學評價方案新思路。Zhang等[8]提出了通過圖模型建立圖像局部空間的線索聯(lián)系并在圖像上提取全局和局部的結(jié)構(gòu)描述子特征進行圖像美學評價。Guo[9]等提出手工特征與稠密采樣語義特征結(jié)合的美學評價模型，解決了美學評價結(jié)果嚴重依賴主題區(qū)域提取的問題，但稠密采樣語義特征維度過高，難以實現(xiàn)美學圖像的實時評價。

針對圖像美學質(zhì)量評價模型嚴重依賴圖像主體區(qū)域識別效果并且空間信息表征不足的問題，本文提出了一種新的圖像美學質(zhì)量評價模型，根據(jù)興趣點密度對超像素塊內(nèi)提取的特征描述子進行加權(quán)，通過局部約束線性編碼計算圖像的語義特征，利用機器學習方法進行圖像美學質(zhì)量評價。

1 超像素分割與興趣點密度加權(quán)

1.1 超像素分割

對圖像進行超像素（Superpixels）分塊處理的目的是增加圖像的空間信息，降低圖像匹配算法的復雜度。超像素是指具有相似紋理、顏色、亮度等特征的相鄰像素構(gòu)成的有一定視覺意義的不規(guī)則像素塊。傳統(tǒng)的均勻網(wǎng)格分塊，操作簡單，不同圖像在相等的空間位置處提取固定大小的局部區(qū)域。這樣做割裂了相鄰像素之間的關(guān)系。超像素分割方法是利用像素之間相似性將像素分組，用少量的超像素集合代替大量的像素點來表達圖像特征，很大程度上降低了圖像匹配的復雜度。

圖1展示了均勻網(wǎng)格算法和超像素分割算法對圖像進行分塊處理后的效果圖。通過對比發(fā)現(xiàn)，超像素分割算法產(chǎn)生的超像素塊是不規(guī)則的，比均勻網(wǎng)格分塊算法更接近圖像內(nèi)容的真實形狀。使用超像素分割算法替代均勻網(wǎng)格采樣算法引入圖像空間屬性，大大降低了特征維度和計算時間。在超像素分割算法選擇上，通過圖1分割效果對比可以發(fā)現(xiàn)，SLIC算法[10]的超像素分割效果比SEEDS算法[11]的好。SLIC算法產(chǎn)生的超像素能夠貼合圖像內(nèi)的邊緣區(qū)域并且盡可能保持分割后的超像素塊的規(guī)整性，鄰域特征比較容易表達，有利于后續(xù)的圖像處理。本文最后選擇SLIC算法進行超像素分塊處理。

1.2 興趣點密度加權(quán)

興趣點是根據(jù)一定的數(shù)學模型從圖像中選取某些特征點并對圖像進行局部分析。興趣點周圍的局部圖像結(jié)構(gòu)豐富，利用興趣點可以簡化視覺系統(tǒng)的處理過程。在圖像美學價值判斷中，圖像復雜度影響人類對圖像美感的理解和判斷，圖像復雜度屬性還沒有統(tǒng)一的衡量標準。本文參考SIFT算法的興趣點檢測原理，嘗試通過超像素塊內(nèi)的興趣點密度，來衡量超像素塊的圖像復雜度，進而表征圖像的美學屬性。因此提出了基于興趣點密度加權(quán)的超像素分割方法來提取圖像的局部特征描述子。

本文先用SLIC算法對圖像進行超像素分割，然后通過SIFT、SURF、ORB算法進行興趣點檢測，其中以SIFT興趣點為主，SURF、ORB興趣點作為補充，彌補SIFT興趣點檢測不足問題。再統(tǒng)計落在每一超像素塊內(nèi)的興趣點個數(shù)，在統(tǒng)計過程中，過濾掉重復出現(xiàn)的興趣點。按公式（1）計算圖像中超像素塊的興趣點密度[m]。

式中：[S]表示超像素塊的面積;[n]表示超像素塊的興趣點個數(shù)。

設(shè)定一個閾值[t]，通過比較閾值t與超像素塊的興趣點密度來區(qū)分背景的復雜度，經(jīng)過大量實驗得出t=0.001，當[m<t]時，超像素塊權(quán)重為0，即沒有或者有很少的興趣點的塊，說明是背景單一的區(qū)域塊，這部分提取的特征對美學評價的作用度很小。當[m≥t]時，說明區(qū)域塊內(nèi)背景信息足夠復雜，有很大程度上是人眼注意力焦點所在，直接影響人們對圖像美學的評分，所以對該超像素塊賦予較大權(quán)重，突出該局部區(qū)域的重要性。超像素塊權(quán)重[w]計算公式為

圖2展示了在原圖上進行超像素分割和興趣點檢測之后的效果圖，可以發(fā)現(xiàn)興趣點集中出現(xiàn)在蜜蜂所在的重心區(qū)域，在其他各個超像素塊內(nèi)也會有興趣點落在其中，證明了超像素塊加權(quán)是合理的，當興趣點集中落在信息豐富的超像素塊內(nèi)，也會導致該超像素塊的興趣點密度過高，需要對權(quán)重值[w]設(shè)置上限，來解決興趣點過于集中帶來的高權(quán)值問題。

2 基于興趣點密度加權(quán)的圖像美學質(zhì)量評價模型

2.1 圖像美學質(zhì)量評價模型框架

本文設(shè)計的圖像美學質(zhì)量評價框架如圖3所示，主要工作包含4部分，分別是興趣點密度計算、加權(quán)特征描述子提取、LLC編碼和分類輸出。

首先使用SLIC算法進行超像素分割，然后利用SIFT、SURF、ORB算法進行興趣點檢測，計算超像素塊的興趣點密度，然后對提取的特征描述子進行加權(quán)處理，利用局部約束線性編碼算法（locality-constrained linear coding，LLC） [12]對提取出來的特征描述子進行編碼處理。最后在圖像美學質(zhì)量評價過程中，使用支持向量機（SVM）在AVA圖像美學數(shù)據(jù)集上進行分類實驗。

2.2 特征描述子提取

通過興趣點檢測算法，可以得到3種特征描述子，分別是SIFT特征描述子、SURF特征描述子和ORB特征描述子，用來表征圖像的語義信息。

對圖像利用SLIC算法分割得到超像素，如圖4所示，圖4a）中不規(guī)則的超像素塊的質(zhì)心已經(jīng)不再是均勻網(wǎng)格劃分時的初始中心了。通過迭代聚類之后，超像素的質(zhì)心落在圖像的合理位置上不再移動，超像素質(zhì)心周圍包含著豐富的圖像信息，為此將每個超像素塊的質(zhì)心作為興趣點，根據(jù)超像素塊的權(quán)重計算出該興趣點的SIFT算法中的加權(quán)尺度值。用SIFT方法提取超像素塊的質(zhì)心局部[U×U]區(qū)域的質(zhì)心加權(quán)特征描述子（Centroid Weighting Descriptor， CWD）。質(zhì)心的計算方法為

式中：[xδi]表示第[i]個超像素塊的[x]軸坐標;[yδi]表示第[i]個超像素塊的[y]軸坐標;[I（x，y）∈δi]表示為圖像上落在[δi]內(nèi)的點，如果落在[δi]內(nèi)，則值為1，否則為0。

通過興趣點密度加權(quán)的超像素塊，具備了圖像的空間屬性，為了加入圖像美學屬性，本文在超像素塊內(nèi)提取圖像美學特征，包括HSV顏色直方圖特征、顏色距特征（Color moments）、Tamura紋理特征、Gabor特征和LBP特征作為特征描述子進行實驗。

在超像素塊內(nèi)提取Gabor特征時，由于超像素塊是不規(guī)則的，無法進行Gabor濾波操作。這里以超像素塊質(zhì)心為原點，提取周圍半徑為[R]的圓外矩形圖像來表示當前超像素塊，然后進行Gabor濾波操作，提取8方向5尺度的Gabor特征圖4a）中超像素塊的質(zhì)心圖，每個質(zhì)心用紅色原點表示，圖4b）為超像素塊質(zhì)心的外接矩形示意圖。圖中紅色矩形框表示的是圖像邊緣的超像素塊的外接矩形框會超出圖像，求出1個超像素塊質(zhì)心后，計算質(zhì)心周圍的矩形框大小并與圖像位置比較，保留在圖像區(qū)域內(nèi)的矩形框。

3 實驗結(jié)果與分析

為了驗證本文方法的有效性，使用SVM分類器在AVA數(shù)據(jù)庫上進行圖像美學質(zhì)量分類實驗，通過ROC（AUC）曲線衡量分類器的性能。其中，SLIC算法預(yù)分割的超像素塊數(shù)[K=400]，超像素間的緊湊度為[m=20]。LLC算法中利用K-means聚類算法得到字典集大小[Km=1024]，使用KNN算法找到最近的碼本詞匯[Kn=5]。SVM分類器RBF核函數(shù)的最優(yōu)超參數(shù)[c=62.5]，[γ=0.0338]。

3.1 實驗數(shù)據(jù)集

AVA數(shù)據(jù)庫共包含255 348幅圖像，圖像內(nèi)容涉及建筑，人物，動物，植物，風景等共42種語義標簽[13]，具有代表性。部分圖片如圖5所示，AVA數(shù)據(jù)庫圖像被超過100人進行網(wǎng)上評分，評分范圍[1，10]。圖像的美感度用平均評分表示，分數(shù)越高美感度越高。本文從AVA數(shù)據(jù)庫中抽選圖像6 493張進行實驗。首先從AVA數(shù)據(jù)集中選出美學評分高低兩端各10%數(shù)據(jù)，再以分數(shù)段[4.5，6.5]為邊界，取兩側(cè)數(shù)據(jù)集，各挑選2 000幅用來訓練模型。然后隨機選取1 286張高美感圖像和1 206張低美感圖像共2 493張圖像用來測試模型。

3.2 實驗結(jié)果及分析

為了得到最佳美學分類模型，本文在不同超像素分塊個數(shù)上對提取的加權(quán)特征描述子進行了訓練分類實驗。其中實驗的特征包括：SIFT、SURF、ORB3種特征描述子，在超像素塊內(nèi)提取的HSV顏色直方圖特征、顏色距特征、Tamura紋理特征、Gabor特征、LBP特征，和超像素塊質(zhì)心加權(quán)特征描述子（SLIC-CWD）。

不同超像素塊數(shù)下的實驗分類準確率結(jié)果如表1所示，可以發(fā)現(xiàn)超像素塊數(shù)對實驗結(jié)果有影響，超像素塊數(shù)越多，平均準確率結(jié)果越高。Gabor特征和LBP特征的分類效果好于其他特征。并且在超像素塊數(shù)為400時，LBP特征取平均分類準確率最高，為79.42%。

圖6展示了通過SVM對不同特征訓練的分類器的ROC（AUC）曲線圖。圖中的AUC取值為最高的特征分類器性能。其中SLIC表示在超像素塊內(nèi)提取的加權(quán)特征描述子。通過圖6a）可以發(fā)現(xiàn)本文提出的超像素塊質(zhì)心加權(quán)特征描述子（SLIC-CWD）雖然效果不如SIFT、SURF特征描述子，但效果還是好于ORB特征描述子，在質(zhì)心周圍提取的特征描述子還有待改進。

圖6b）～f）展示了在超像素塊提取的局部加權(quán)特征描述子（SLIC）與全局特征組合的對比實驗。可以發(fā)現(xiàn)通過興趣點密度加權(quán)的局部特征描述子分類效果明顯優(yōu)于全局特征，兩者組合之后，分類效果不在提升，有的特征分類效果還略微下降，說明本文提出的興趣點密度加權(quán)算法是有效的，局部加權(quán)的特征描述子能夠影響分類效果。其中分類效果較好的是Gabor特征和LBP特征，AUC值均超過了0.87，高于其他特征的AUC值。LBP特征得到的分類模型效果最好，AUC達到了0.873 17，并且LBP特征計算簡單，大大降低了圖像美學質(zhì)量評價模型的時間復雜度。

本文還與其他圖像美學質(zhì)量評價模型做了比較。選擇使用加權(quán)超像素下的LBP語義特征作為本文最優(yōu)模型與這些算法對比，對比方法中包括Luo[4]，Nishiyama[6]，Marchesotti[7]，Zhang[8]。對比結(jié)果如表2所示，本文方法明顯優(yōu)于Luo[4]等的方法。相比于Nishiyama[6]等、Marchesotti[7]等方法有提升。雖然比Zhang[8]等人的結(jié)果低，但本文的LBP語義特征維度更小，時間效率更高。說明了基于興趣點密度加權(quán)的圖像美學質(zhì)量評價模型是有效的，還需要再進行特征改進。

4 結(jié)束語

本文提出了一個基于興趣點密度加權(quán)的圖像美學質(zhì)量評價模型。通過計算超像素塊內(nèi)的興趣點密度對提取的局部特征描述子進行加權(quán)處理，來提高圖像美學質(zhì)量評價模型的分類準確率。通過SVM機器學習算法在AVA數(shù)據(jù)集上進行訓練分類實驗，證明了本文提出的興趣點密度加權(quán)分類模型的有效性。隨著深度學習的發(fā)展，對于圖像美學質(zhì)量評價這種主觀性強的分類任務(wù)，今后的研究方向是通過深度學習來挖掘潛在語義特征進行圖像美學質(zhì)量評價。

參考文獻：

[1]? ? 王偉凝，蟻靜緘，賀前華. 可計算圖像美學研究進展[J]. 中國圖象圖形學報，2012，17（8）：893-901.

[2]? ? KE Y，TANG X，JING F. The design of high-level features for photo quality assessment[C]//Computer Vision and Pattern Recognition，2006 IEEE Computer Society Conference on. IEEE，2006，1：419-426.

[3]? ? WONG L K，LOW K L. Saliency-enhanced image aesthetics class prediction[C]//Image Processing （ICIP），2009 16th IEEE International Conference on. IEEE，2009：997-1000.

[4]? ? LUO Y，TANG X. Photo and video quality evaluation：Focusing on the subject[C]//European Conference on Computer Vision. Springer，Berlin，Heidelberg，2008：386-399.

[5]? ? TANG X，LUO W，WANG X. Content-based photo quality assessment[J]. IEEE Transactions on Multimedia，2013，15（8）：1930-1943.

[6]? ? NISHIYAMA M，OKABE T，SATO I，et al. Aesthetic quality classification of photographs based on color harmony[C]//Computer Vision and Pattern Recognition （CVPR），2011 IEEE Conference on. IEEE，2011：33-40.

[7]? ? MARCHESOTTI L，PERRONNIN F，LARLUS D，et al. Assessing the aesthetic quality of photographs using generic image descriptors[C]//Computer Vision （ICCV），2011 IEEE International Conference on. IEEE，2011：1784-1791.

[8]? ? ZHANG L，GAO Y，ZIMMERMANN R，et al. Fusion of multichannel local and global structural cues for photo aesthetics evaluation[J]. IEEE Transactions on Image Processing，2014，23（3）：1419-1429.

[9]? ? GUO L，XIONG Y，HUANG Q，et al. Image esthetic assessment using both hand-crafting and semantic features[J]. Neurocomputing，2014，143：14-26.

[10]? ACHANTA R，SHAJI A，SMITH K，et al. SLIC superpixels compared to state-of-the-art superpixel methods[J]. IEEE transactions on pattern analysis and machine intelligence，2012，34（11）：2274-2282.

[11]? VAN DEN BERGH M，BOIX X，ROIG G，et al. Seeds：Superpixels extracted via energy-driven sampling[C]//European conference on computer vision. Springer，Berlin，Heidelberg，2012：13-26.

[12]? WANG J，YANG J，YU K，et al. Locality-constrained linear coding for image classification[C]//Computer Vision and Pattern Recognition （CVPR），2010 IEEE Conference on. IEEE，2010：3360-3367.

[13]? MURRAY N，MARCHESOTTI L，PERRONNIN F. AVA：A large-scale database for aesthetic visual analysis[C]//Computer Vision and Pattern Recognition，2012 IEEE Conference. Providence RI? ?USA：IEEE，2012：2408-2415.

[責任編輯 田 豐]