基于特征融合的小樣本抽象畫(huà)圖像情感預(yù)測(cè)

白茹意，郭小英，賈春花

（山西大學(xué)軟件學(xué)院，太原030013）

0 引言

繪畫(huà)是由繪畫(huà)者用點(diǎn)、線、面和顏色等組合的形式來(lái)表達(dá)他們的主觀思想，通常被理解為不描述自然的藝術(shù)［1］。抽象畫(huà)大致包含熱抽象和冷抽象兩類(lèi)，其中：熱抽象偏重于主觀感情，表達(dá)某種意趣或情感；冷抽象則形式上趨于簡(jiǎn)單化，不受主觀感情和表象制約，大多顯得安靜。抽象畫(huà)示例如圖1所示。

在圖像處理和計(jì)算機(jī)視覺(jué)領(lǐng)域中，情感計(jì)算是一個(gè)熱門(mén)的研究方向，而抽象畫(huà)圖像作為一種內(nèi)容和表達(dá)的情感都很含蓄的藝術(shù)作品，針對(duì)它的情感研究一直是一個(gè)研究難點(diǎn)。抽象畫(huà)主要來(lái)源于博物館或繪畫(huà)藏館，攝影圖片不容易獲得，因此，目前針對(duì)小樣本抽象畫(huà)圖像情感預(yù)測(cè)的研究文獻(xiàn)較少，而且大都采用基于通用低層特征（顏色、紋理等）或基于藝術(shù)理論特征的機(jī)器學(xué)習(xí)方法。Yanulevskaya 等［2］招募受試者對(duì)抽象繪畫(huà)進(jìn)行1～7 的情感評(píng)分，其中1 表示最消極，7 表示最積極，然后提取圖像的LAB 色彩空間（LAB color space）和尺度不變特征轉(zhuǎn)換（Scale-Invariant Feature Transform，SIFT）特征，并采用支持向量機(jī)（Support Vector Machine，SVM）對(duì)繪畫(huà)進(jìn)行“積極/消極”分類(lèi)；Sartori 等［3］在文獻(xiàn)［2］的基礎(chǔ)上，加入對(duì)繪畫(huà)的語(yǔ)義描述作為特征，并采用schatten p-norm 模型和SVM 實(shí)現(xiàn)分類(lèi)；之后，Sartori 等［4］又采用極限學(xué)習(xí)機(jī)（Extreme Learning Machines，ELM）提取圖像的perlin 參數(shù)作為圖像的整體紋理特征，通過(guò) SVM 實(shí)現(xiàn)情感分類(lèi)；Sartori 等［5］充分利用顏色特征，提出了基于sparse group lasso 的繪畫(huà)情感識(shí)別方法，也取得了很好的分類(lèi)效果；李博等［6］提取顏色和紋理特征，采用加權(quán)K 近鄰算法實(shí)現(xiàn)對(duì)抽象畫(huà)的情感分布預(yù)測(cè)。此外，一些情感研究中也運(yùn)用了藝術(shù)理論的內(nèi)容。Sartori等［7］運(yùn)用統(tǒng)計(jì)分析和藝術(shù)理論，設(shè)計(jì)了一個(gè)識(shí)別專(zhuān)業(yè)和業(yè)余抽象藝術(shù)作品正負(fù)情緒的系統(tǒng)；趙思成［8］提取基于藝術(shù)的情感特征原則（平衡、和諧和層次等），采用依據(jù)這些原則量化的特征對(duì)圖像情感進(jìn)行分類(lèi)與評(píng)估；Machajdik 等［9］運(yùn)用心理學(xué)和藝術(shù)理論的概念來(lái)定義圖像特征，并將其用于圖像情感分類(lèi)。以上方法大都采用低層特征或藝術(shù)理論特征的機(jī)器學(xué)習(xí)方法，而本文基于低層與高層特征，并采用當(dāng)下流行的深度學(xué)習(xí)方法對(duì)抽象畫(huà)圖像進(jìn)行預(yù)測(cè)。

圖1 抽象畫(huà)示例Fig.1 Abstract painting examples

深度學(xué)習(xí)作為當(dāng)圖像情感研究的新熱點(diǎn)，大多數(shù)情況下，它的訓(xùn)練需要在大量樣本的基礎(chǔ)上進(jìn)行，因此目前采用深度學(xué)習(xí)對(duì)圖像進(jìn)行情感分類(lèi)主要基于攝影得到的大量自然圖像或場(chǎng)景圖像［10-12］，并且獲得了非常好的分類(lèi)效果。然而抽象畫(huà)的公開(kāi)研究數(shù)據(jù)集較少，如果直接采用深度學(xué)習(xí)方法，小樣本會(huì)直接影響模型中的網(wǎng)絡(luò)，很容易發(fā)生過(guò)擬合，測(cè)試效果不佳。鑒于以上原因，本文提出了一種將基于抽象藝術(shù)理論獲得的低層特征和基于深度學(xué)習(xí)得到的高層特征進(jìn)行融合的小樣本抽象畫(huà)圖像情感預(yù)測(cè)方法。

本文方法的框架如圖2所示。

圖2 本文方法的整體框架Fig. 2 Overall framework of the proposed method

與現(xiàn)有抽象畫(huà)圖像情感識(shí)別的方法相比，本文方法的優(yōu)勢(shì)在于：1）現(xiàn)有研究中采用的特征大都是基于圖像處理基本原理的低層特征，而本文以“抽象藝術(shù)理論”為依據(jù)，通過(guò)分析組成抽象畫(huà)的基本要素（“點(diǎn)”“線”“面”和“顏色”）與情感的關(guān)系，并對(duì)其中的原理進(jìn)行量化得到抽象畫(huà)圖像的低層特征，這樣的特征更加接近人類(lèi)的審美；2）基于深度學(xué)習(xí)在機(jī)器視覺(jué)中的突出表現(xiàn)，本文采用了在小樣本分類(lèi)中表現(xiàn)出更多優(yōu)勢(shì)的遷移學(xué)習(xí)方法，對(duì)已經(jīng)在大量數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練的網(wǎng)絡(luò)，在小樣本上進(jìn)行微調(diào)，以滿足小樣本抽象畫(huà)圖像分類(lèi)的需求，并將所得結(jié)果作為圖像的高層特征；3）由于抽象畫(huà)圖像樣本量的不足，也為了避免深度學(xué)習(xí)與低級(jí)視覺(jué)特征之間不可避免的語(yǔ)義鴻溝，本文將低層特征與高層特征進(jìn)行融合，不僅從低級(jí)與高級(jí)語(yǔ)義兩方面更全面地表達(dá)了抽象畫(huà)情感，而且提高了分類(lèi)準(zhǔn)確率。

1 基礎(chǔ)理論

1.1 抽象藝術(shù)理論

瓦西里·康定斯基是現(xiàn)代抽象藝術(shù)理論與實(shí)踐的奠基人。他的著名著作《點(diǎn)、線和面——抽象藝術(shù)的基礎(chǔ)》［13］中分析了構(gòu)成繪畫(huà)的幾何元素，即“點(diǎn)、線和面”，以及它們對(duì)觀察者的內(nèi)在影響。他認(rèn)為抽象繪畫(huà)是靠不同的點(diǎn)、線和面在繪畫(huà)上的組合來(lái)傳達(dá)情感，是具有其基本的美學(xué)含義的。

“點(diǎn)”在外形上是最簡(jiǎn)潔的，它的外輪廓決定了它的外在表情，它的形狀、比例和大小又決定了它的內(nèi)在性格、基本語(yǔ)言與感情色彩。

“線”有直線與曲線之分。文獻(xiàn)［13］中提到，一幅畫(huà)的基調(diào)是由水平線和垂直線決定的，水平線會(huì)產(chǎn)生一種平靜而冷淡的基調(diào)，而垂直線則產(chǎn)生一種平靜而溫暖的基調(diào)；斜線則不穩(wěn)定，代表著活力。而且文獻(xiàn)［2］中也證實(shí)，直線或光滑的曲線會(huì)讓人產(chǎn)生積極的情緒；反之，即使顏色鮮亮，粗糙的雜亂的線條也會(huì)產(chǎn)生消極的情緒。這些觀點(diǎn)使本文更加關(guān)注與繪畫(huà)情感有關(guān)的線。

“面”的每一部分都有一個(gè)適當(dāng)?shù)那楦猩?，它影響著將要繪制在其上的圖形元素的色調(diào)。平面的上邊和左邊對(duì)應(yīng)著松散和輕盈，下邊和右邊則喚起凝縮和沉重。此外，在平面構(gòu)圖的基本規(guī)律中，“平衡”和“對(duì)稱(chēng)”是人類(lèi)在長(zhǎng)期生活中形成的一種視覺(jué)和審美習(xí)慣。

此外，“顏色”也是影響人類(lèi)情感重要的因素之一，會(huì)讓人們產(chǎn)生最直觀和最強(qiáng)烈的視覺(jué)心理感知。文獻(xiàn)［2］中通過(guò)眼動(dòng)實(shí)驗(yàn)和反向投影技術(shù)證實(shí)：暗顏色使人們產(chǎn)生負(fù)面的情緒，而紅色、黃色和藍(lán)色往往喚起人們積極的情緒；低亮度和高飽和度給人以沉重的印象，而高亮度和低飽和度給人以明亮的印象。本文將依據(jù)以上這些抽象藝術(shù)理論的基本原理定義抽象畫(huà)圖像的低層特征。

1.2 遷移學(xué)習(xí)

遷移學(xué)習(xí)［14］的原理是，首先在源任務(wù)中對(duì)網(wǎng)絡(luò)進(jìn)行預(yù)先訓(xùn)練，再將訓(xùn)練結(jié)果遷移到新任務(wù)中。因此，該方法非常適用于小樣本數(shù)據(jù)的研究。具體來(lái)說(shuō)，源任務(wù)中擁有較大的樣本量，在大量帶標(biāo)簽的數(shù)據(jù)集上對(duì)模型進(jìn)行訓(xùn)練，之后在新任務(wù)與源任務(wù)相似的情況下，模型把從源任務(wù)學(xué)習(xí)到的特征遷移到小樣本任務(wù)（即新任務(wù)）中，從而實(shí)現(xiàn)小樣本數(shù)據(jù)的分類(lèi)。其中，“微調(diào)網(wǎng)絡(luò)權(quán)重”是遷移學(xué)習(xí)中最主要的方法之一。本文遷移學(xué)習(xí)示意圖如圖3所示。

圖3 本文遷移學(xué)習(xí)示意圖Fig. 3 Schematic diagram of the proposed transfer learning

2 基于特征融合的情感預(yù)測(cè)

2.1 基于抽象藝術(shù)理論的低層特征

本文依據(jù)抽象藝術(shù)理論中“點(diǎn)”“線”“面”和“顏色”與情感的關(guān)系，對(duì)這些理論進(jìn)行量化。

1）“點(diǎn)”，梯度分布。

設(shè)抽象畫(huà)原始圖像為G(x，y){x= 0，1，…，M- 1，y=0，1，…，N- 1}，其中：M表示圖像的高度，N表示寬度。灰度化后得到灰度圖像GRAY_G(x，y)，采用sobel算子得到梯度圖像GRAD_G(x，y)，將GRAD_G歸 一 化 到［0，128］區(qū) 間 ，Max_GRAD_G表示GRAD_G(x，y)中的最大值。然后統(tǒng)計(jì)不同梯度的像素點(diǎn)個(gè)數(shù)，即為梯度直方圖特征，共128維。

2）“點(diǎn)”，顏色分布。

由于色彩是描繪繪畫(huà)心理情感的最基本組成部分，所以在描述藝術(shù)時(shí)，它也是一個(gè)需要關(guān)注的屬性。不同的顏色會(huì)產(chǎn)生不同的情感［15］，如表1 所示。將繪畫(huà)圖像由RGB 顏色空間轉(zhuǎn)換成HSV 模型（色調(diào)（H），飽和度（S），明度（V）），抽象畫(huà)與攝影圖像相比，明度（V）的比重很小，因此將H-S 空間分為16 個(gè)色調(diào)和8 個(gè)飽和度，統(tǒng)計(jì)128 種顏色的像素個(gè)數(shù)作為繪畫(huà)的顏色直方圖特征。

表1 文獻(xiàn)［15］中顏色與情感的對(duì)應(yīng)關(guān)系Tab. 1 Corresponding relationship between color and emotion in literature［15］

3）“線”，線條分布。

文獻(xiàn)［13］中的“線”理論指出，不同方向的線（垂直線、水平線和斜線）會(huì)產(chǎn)生不同的情感。依據(jù)這些理論，通過(guò)小波分解［16］提取抽象畫(huà)圖像的水平、垂直和對(duì)角高頻分量，將小波系數(shù)歸一化后計(jì)算“能量”（表示小波系數(shù)中所有值的平方和）和“方差”，并將這6個(gè)值定義為圖像特征。

4）“線”，靜態(tài)線/動(dòng)態(tài)線。

橫線代表著平靜、祥和和放松；豎線清晰直接，代表著尊嚴(yán)和永恒；斜線代表著活力。線越長(zhǎng)、越粗、越占優(yōu)勢(shì)，誘發(fā)的心理效應(yīng)越強(qiáng)。采用文獻(xiàn)［15］的方法，利用Hough 變換檢測(cè)圖像中的顯著直線，如圖4 所示。根據(jù)測(cè)線的傾角θ，將測(cè)線分為靜態(tài)線和動(dòng)態(tài)線：如果一條線的傾角θ∈ (-15°，15°)或θ∈ (75°，105°)為靜態(tài)線，否則為動(dòng)態(tài)線。計(jì)算靜態(tài)線和動(dòng)態(tài)線的條數(shù)和平均長(zhǎng)度作為圖像特征。

圖4 抽象畫(huà)中的顯著直線Fig. 4 Salient lines in abstract painting

5）“面”，復(fù)雜度。

根據(jù)平面理論，在一幅畫(huà)中，上面和左邊的部分是松散和輕盈的，而下面和右邊的部分則喚起了凝縮和沉重的感覺(jué)。本文定義了“復(fù)雜性”來(lái)描述紋理復(fù)雜性的程度。基于這些理論，將繪畫(huà)平分為上、下、左和右四部分，分別表示為（A，B，L，R），如圖5所示。

復(fù)雜性基于最大梯度圖像Gmax。在RGB 顏色空間中，由式（2）求出RGB 色通道中的最大梯度，作為圖像G的梯度圖像Gmax。

圖5 圖像分割示意圖Fig. 5 Schematic diagram of image segmentation

根據(jù)文獻(xiàn)［17］的方法，將圖像G的復(fù)雜度定義為Gmax的平均值，其中pixelnum(G) 是圖像G的總像素?cái)?shù)。complexity(G)的值越高，圖像部分G就越復(fù)雜。按照此方法分別計(jì)算出上、下、左、右和整幅圖像五部分的復(fù)雜度。

6）“面”，相似度。

從“面”理論出發(fā)，定義特征來(lái)描述繪畫(huà)不同部位的紋理相似性。在繪畫(huà)中，上半部分和左半部分比上半部分和右半部分更相似，而下半部分和右半部分比下半部分和左半部分更相似。按照5）中的分割方法，計(jì)算每?jī)刹糠諥B、AL、AR、BL、BR、LR之間的相似度。

為了計(jì)算相似度，本文使用了方向梯度直方圖金字塔（Pyramid Histogram of Oriented Gradients，PHOG）來(lái)計(jì)算自相似性。通過(guò)將圖像G視為一個(gè)具有8 個(gè)方向的單元，計(jì)算每個(gè)通道(R，G，B)的HOG 特征，單元的標(biāo)準(zhǔn)化值表示每個(gè)方向的方向強(qiáng)度。兩幅圖像之間的相似度通過(guò)式（4）計(jì)算，其中，G1，G2∈ RGB，H1和H2分別是圖像G1和G2的對(duì)應(yīng)歸一化直方圖，m是HOG特征中存在的單元數(shù)。

最后得到的相似度特征維度為6 × 3= 18。

7）“面”，Itten對(duì)比。

Itten 對(duì)比［18］是藝術(shù)理論中的一個(gè)重要概念，對(duì)色彩在藝術(shù)中的運(yùn)用進(jìn)行了廣泛的研究，通過(guò)對(duì)比，將色彩組合的概念形式化，不同的組合產(chǎn)生不同的情感效果。Itten 的顏色模型由12個(gè)色調(diào)級(jí)、3個(gè)飽和度級(jí)和5個(gè)亮度級(jí)組成。

Itten通過(guò)色彩的對(duì)比屬性，確定了以下七種對(duì)比：飽和度對(duì)比、亮度對(duì)比、延伸對(duì)比、互補(bǔ)對(duì)比、色調(diào)對(duì)比、冷暖對(duì)比和同時(shí)對(duì)比。使用文獻(xiàn)［8］中定義的方法對(duì)這7 個(gè)對(duì)比進(jìn)行量化。以亮度對(duì)比為例，將圖像進(jìn)行分水嶺分割產(chǎn)生不同的區(qū)域Ri(i= 1，2，…，n)，表示該區(qū)域中像素的個(gè)數(shù)。

亮度的量化方式采用模糊隸屬度函數(shù)。對(duì)于亮度，計(jì)算 屬 于 5 種 模 糊 亮 度｛‘very dark（VD）’，‘Dark（D）’，‘middle（M）’，‘light（L）’，‘very light（VL）’｝的歸屬函數(shù)，于是得到一幅圖像每個(gè)區(qū)域Ri的亮度為5 維向量（Bi），亮度對(duì)比定義為所有區(qū)域的亮度隸屬度函數(shù)的標(biāo)準(zhǔn)差。

其中j= 1，2，…，5，其余對(duì)比度計(jì)算與此方法類(lèi)似。將以上量 化后的值作為抽象畫(huà)圖像情感預(yù)測(cè)的低級(jí)特征，如表2所示。

表2 特征描述Tab. 2 Feature description

2.2 基于遷移學(xué)習(xí)的高層特征

由于目前研究中的抽象畫(huà)數(shù)據(jù)集較少，因此本文借助擁有大數(shù)據(jù)集的自然圖片，采用遷移學(xué)習(xí)進(jìn)行高層特征學(xué)習(xí)。為了得到高層特征，利用深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行特征學(xué)習(xí)，采用由Krizhevsky等［19］提出的網(wǎng)絡(luò)模型，在文獻(xiàn)［11］中的大規(guī)模圖像數(shù)據(jù)庫(kù)上進(jìn)行預(yù)訓(xùn)練，并將訓(xùn)練后的參數(shù)遷移至目標(biāo)網(wǎng)絡(luò)模型，然后通過(guò)小樣本抽象畫(huà)圖像對(duì)目標(biāo)網(wǎng)絡(luò)參數(shù)進(jìn)行微調(diào)，促使深度學(xué)習(xí)在小樣本下也能發(fā)揮一定的優(yōu)勢(shì)。采用這樣的網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)勢(shì)在于：1）文獻(xiàn)［19］中的網(wǎng)絡(luò)模型是目前已有圖像分類(lèi)模型中較為簡(jiǎn)潔的一個(gè)網(wǎng)絡(luò)結(jié)構(gòu)，便于我們?cè)诖嘶A(chǔ)上進(jìn)行進(jìn)一步的拓展研究；2）文獻(xiàn)［11］中的圖像數(shù)據(jù)庫(kù)是一個(gè)包含2萬(wàn)多個(gè)樣本的大規(guī)模用于情感識(shí)別的自然圖片集，并且圖片的情感標(biāo)注（8類(lèi)）與本文一致，這樣更有助于特征的遷移學(xué)習(xí)。本文小樣本遷移學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示，過(guò)程如下：

1）將原圖的尺寸縮放到224 × 224 × 3，將該圖像矩陣作為網(wǎng)絡(luò)的輸入。

2）采用文獻(xiàn)［19］中的網(wǎng)絡(luò)模型，包括5 個(gè)卷積層，激活函數(shù)采用ReLU，3 個(gè)2×2 的最大池化層和3 個(gè)全連接層。具體如下：第1 層為卷積層，卷積核個(gè)數(shù)為96，大小為11×11，步長(zhǎng)為4；第2 層為卷積層，卷積核個(gè)數(shù)為256，大小為5×5，步長(zhǎng)為1；第3 層為卷積層，卷積核個(gè)數(shù)為384，大小為3×3，步長(zhǎng)為1；第4 層為卷積層，卷積核個(gè)數(shù)為384，大小為3×3，步長(zhǎng)為1；第5 層為卷積層，卷積核個(gè)數(shù)為256，大小為3×3，步長(zhǎng)為1；第6～8層為全連接層，分別包含4 096、4 096和352個(gè)輸出。其他參數(shù)設(shè)置：batch_size為 128，學(xué)習(xí)率為 0.001，Dropout為 0.5，優(yōu)化器為隨機(jī)梯度下降（Stochastic Gradient Descent，SGD）。將該網(wǎng)絡(luò)在文獻(xiàn)［11］的數(shù)據(jù)集上對(duì)該網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練，得到每層的參數(shù)。

3）為了適應(yīng)本文的方法思想，由于后面要對(duì)特征進(jìn)行融合，避免特征信息冗余，因此遷移學(xué)習(xí)得到的特征維度不宜過(guò)高，所以借助文獻(xiàn)［20］的網(wǎng)絡(luò)擴(kuò)展思想，增加了5 層全連接層，最后一層的激活函數(shù)為Softmax，目標(biāo)模型如圖6所示。用小樣本抽象畫(huà)圖像對(duì)目標(biāo)網(wǎng)絡(luò)進(jìn)行微調(diào)，微調(diào)過(guò)程為：

①將2）中模型的前5 層卷積層和第6 層全連接層的網(wǎng)絡(luò)參數(shù)作為目標(biāo)模型的參數(shù)，新增全連接層（7～11 層）的參數(shù)采用隨機(jī)初始化。

②由于小樣本抽象畫(huà)與預(yù)訓(xùn)練圖片的情感標(biāo)注是一樣的，樣本類(lèi)型很相似，因此只對(duì)新增5 個(gè)全連接層層的參數(shù)進(jìn)行微調(diào)，大大降低了計(jì)算量。

此外，本文采用SGD 進(jìn)行參數(shù)更新，該方法每次隨機(jī)選一個(gè)樣本對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行更新，使得網(wǎng)絡(luò)輸出層誤差函數(shù)達(dá)到最小，從而實(shí)現(xiàn)微調(diào)，并且算法能夠很快收斂。例如，包含N個(gè)樣本的數(shù)據(jù)集，采用SGD 進(jìn)行參數(shù)更新，每層wi和bi的計(jì)算公式如下：

其中：ρ為學(xué)習(xí)率；xi表示輸入；ti表示輸出；yi表示類(lèi)別標(biāo)簽，yi∈ {1，2，…，k}，k是類(lèi)別個(gè)數(shù)；學(xué)習(xí)率設(shè)為0.005；損失函數(shù)為交叉熵?fù)p失函數(shù)。微調(diào)結(jié)束后，將網(wǎng)絡(luò)第9層的512維向量作為圖像高層特征。

圖6 本文遷移學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)Fig. 6 Network structure of proposed transfer learning

2.3 基于特征融合的分類(lèi)模型

為了提高分類(lèi)準(zhǔn)確率，將依據(jù)抽象藝術(shù)理論得到的304維低級(jí)特征與遷移學(xué)習(xí)得到的512 維高級(jí)特征進(jìn)行串行融合，采用二叉樹(shù)多分類(lèi)SVM 算法，對(duì)小樣本抽象畫(huà)圖像情感進(jìn)行分類(lèi)，具體流程如圖7所示。能，并且考慮到高級(jí)特征維度和算法復(fù)雜度，本文探討了目標(biāo)模型中高層特征維度的選取對(duì)分類(lèi)效果的影響，并在文獻(xiàn)［2］的數(shù)據(jù)集上進(jìn)行了測(cè)試，實(shí)驗(yàn)結(jié)果如表4 所示，高層特征的維度對(duì)情感分類(lèi)結(jié)果影響不大。雖然采用維度為2 048 和4 096比維度為512 的分類(lèi)準(zhǔn)確率略高，但是考慮到準(zhǔn)確率與算法復(fù)雜性，本文考慮特征個(gè)數(shù)采用512。

圖7 特征融合示意圖Fig. 7 Schematic diagram of feature fusion

表3 數(shù)據(jù)集情感分布Tab. 3 Emotional distribution of datasets

圖9 三個(gè)數(shù)據(jù)集的分類(lèi)準(zhǔn)確率和混淆矩陣Fig.9 Classification accuracy and confusion matrix of three datasets

表4 不同高層特征維度的分類(lèi)準(zhǔn)確率Tab. 4 Classification accuracies of different dimensions of high-level features

二叉樹(shù)多分類(lèi)SVM 的基本思想是：選取N(N≥2)類(lèi)中的N/2（或(N+ 1)/2）類(lèi)作為第一大類(lèi)，剩余的類(lèi)作為第二大類(lèi)，構(gòu)建第一個(gè)二類(lèi)分類(lèi)器；然后再分別對(duì)這兩個(gè)大類(lèi)進(jìn)行單獨(dú)分類(lèi)，各取出其中的N/2 類(lèi)作為第一大類(lèi)，將剩余的看作第二大類(lèi)，再構(gòu)建一個(gè)二類(lèi)分類(lèi)器。按照此方法往下依次建立二類(lèi)分類(lèi)器，如圖8 所示。該分類(lèi)模型的優(yōu)點(diǎn)是：①其中包含的二類(lèi)分類(lèi)器較少；②不會(huì)出現(xiàn)屬于多個(gè)類(lèi)別或無(wú)法分類(lèi)的樣本；③二叉樹(shù)模型簡(jiǎn)潔，訓(xùn)練和分類(lèi)速度較快。本文采用的核函數(shù)為徑向基函數(shù)，sigma= 0.5，C= 50。

圖8 二叉樹(shù)多分類(lèi)SVM示意圖Fig. 8 Schematic diagram of binary tree multi-class SVM

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集

本文依據(jù)心理學(xué)領(lǐng)域中的類(lèi)別情感狀態(tài)（Categorical Emotion States，CES），將情感分為“激動(dòng)、愉悅、滿意、敬畏、害怕、厭惡、悲傷和生氣”八種，并按照這八種情緒對(duì)抽象畫(huà)進(jìn)行情感預(yù)測(cè)。本文算法運(yùn)行的軟件環(huán)境為Anaconda3，編程語(yǔ)言為python。為了驗(yàn)證提出算法的有效性，選用三個(gè)不同的抽象畫(huà)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，分別是：隨機(jī)選取意大利畫(huà)館WikiArt 的500 幅抽象畫(huà)；文獻(xiàn)［9］中的Abstract 抽象繪畫(huà)集，共228 幅；文獻(xiàn)［2］使用的500 幅繪畫(huà)。各數(shù)據(jù)集情感分布如表3 所示。選取數(shù)據(jù)集中的80%作為訓(xùn)練集，剩余20%為測(cè)試集，采用多分類(lèi)SVM 作為分類(lèi)器，使用10 倍交叉驗(yàn)證評(píng)估分類(lèi)模型。

3.2 結(jié)果分析

針對(duì)三個(gè)不同的數(shù)據(jù)集，對(duì)八種不同的類(lèi)別分別計(jì)算了分類(lèi)準(zhǔn)確率，如圖9 所示。從圖中可以看出，對(duì)于三個(gè)不同的數(shù)據(jù)集，對(duì)不同情感的分類(lèi)準(zhǔn)確率基本一致，大致在68%～75%，平均準(zhǔn)確率為71%。為了更好地評(píng)估分類(lèi)模型，本文還計(jì)算了三個(gè)數(shù)據(jù)集的平均混淆矩陣。

為了更好地保證遷移網(wǎng)絡(luò)模型對(duì)小樣本圖像的分類(lèi)性

特征的選擇對(duì)圖像情感分類(lèi)至關(guān)重要，接下來(lái)討論不同特征組合對(duì)分類(lèi)準(zhǔn)確率的影響，并在文獻(xiàn)［2］的數(shù)據(jù)上進(jìn)行了測(cè)試，實(shí)驗(yàn)結(jié)果如表5 所示。在小樣本數(shù)據(jù)集下不采用遷移模型，而直接采用深度學(xué)習(xí)的分類(lèi)效果不好；單獨(dú)使用抽象藝術(shù)理論得到的低層特的分類(lèi)效果也不是很理想；而通過(guò)遷移學(xué)習(xí)得到的高層特征與低層特征相比，分類(lèi)準(zhǔn)確率明顯提高；最終本文采用低層與高層特征進(jìn)行融合的方式，得到的準(zhǔn)確率最高，為71.47%。

為了進(jìn)一步驗(yàn)證所提方法的有效性，將本文方法與現(xiàn)有采用相同數(shù)據(jù)集（表3中）的文獻(xiàn)方法進(jìn)行了比較，結(jié)果如表6所示。文獻(xiàn)［2-4］方法在兩種情感（“積極”與“消極”）分類(lèi)中效果都不錯(cuò)，但是文獻(xiàn)［6-9］方法在八種情感分類(lèi)中效果不佳，而本文采用將低層與高層特征進(jìn)行融合的方法，得到了比較好的效果。

每幅抽象畫(huà)經(jīng)過(guò)多分類(lèi)SVM 計(jì)算后，會(huì)得到屬于不同情感的不同概率，將識(shí)別結(jié)果率最高的情感定義為該抽象畫(huà)的最終情感，抽象畫(huà)情感識(shí)別結(jié)果示例如圖10所示。

表5 不同特征組合的分類(lèi)準(zhǔn)確率單位：%Tab. 5 Classification accuracies of different feature combinations unit：%

表6 不同方法分類(lèi)結(jié)果比較Tab. 6 Comparison of classification results of different methods

圖10 抽象畫(huà)情感識(shí)別結(jié)果示例Fig. 10 Examples of emotion recognition result of abstract paintings

4 結(jié)語(yǔ)

針對(duì)目前抽象畫(huà)來(lái)源少、樣本量小，其情感分析大多數(shù)采用的是圖像低層特征，而且準(zhǔn)確率不高的問(wèn)題，本文提出了一種基于特種融合的抽象畫(huà)圖像情感預(yù)測(cè)方法。首先，依據(jù)抽象藝術(shù)理論量化出抽象畫(huà)圖像的低層特征；然后，采用遷移學(xué)習(xí)算法，在小樣本數(shù)據(jù)上對(duì)預(yù)訓(xùn)練網(wǎng)絡(luò)模型進(jìn)行微調(diào)，得到圖像高層特征；最后，將低層與高層特征進(jìn)行線性融合，采用多分類(lèi)支持向量機(jī)實(shí)現(xiàn)抽象畫(huà)圖像的情感預(yù)測(cè)。本文在三個(gè)小樣本抽象畫(huà)數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，并與采用相同數(shù)據(jù)集的文獻(xiàn)方法（大都采用低層特征）進(jìn)行了比較，分類(lèi)效果顯著。

但是，繪畫(huà)，特別是抽象繪畫(huà)的情感研究，目前還處于初級(jí)階段，仍有許多關(guān)鍵問(wèn)題需要解決。未來(lái)，我們將從以下幾方面進(jìn)行進(jìn)一步研究：

1）多特征融合是目前分類(lèi)研究的一個(gè)熱點(diǎn)，可以提取繪畫(huà)圖像多方面的特征，將這些特征進(jìn)行有效的融合，能更準(zhǔn)確地表達(dá)繪畫(huà)的內(nèi)涵與情感；

2）近年來(lái)，深度學(xué)習(xí)在圖像情感計(jì)算中應(yīng)用廣泛，由于每幅繪畫(huà)的長(zhǎng)與寬都不一樣，因此我們需要選擇合適的深度學(xué)習(xí)算法，應(yīng)用于大批量的繪畫(huà)圖像中；

3）目前的情感計(jì)算方法主要依靠人工標(biāo)注的情感標(biāo)簽，未來(lái)我們可以依據(jù)互聯(lián)網(wǎng)上豐富的上下文信息實(shí)現(xiàn)繪畫(huà)圖像的無(wú)監(jiān)督分析。