視覺影像分析算法在美術(shù)場景中的應(yīng)用

馮 帆

（陜西學(xué)前師范學(xué)院，陜西西安 710061）

隨著社會的發(fā)展，繪畫已經(jīng)從精英藝術(shù)轉(zhuǎn)變?yōu)榇蟊娝囆g(shù)。受西方視覺藝術(shù)以及繪畫形式的影響，中國當(dāng)代藝術(shù)也開始利用符號對社會場、文化構(gòu)建以及大眾審美趣味進(jìn)行闡述［1］。繪畫作為一種重要藝術(shù)創(chuàng)作形式和民族遺產(chǎn)，通過優(yōu)美的表現(xiàn)形式，展現(xiàn)了人類文化的風(fēng)貌，傳遞出人類的思想情感，是人類對世界認(rèn)識的獨特形式。圖像分類是當(dāng)前計算機研究的重點，為人類繪畫圖像數(shù)字化提供幫助，實現(xiàn)了繪畫作品的研究和創(chuàng)新［2］。通過將計算機和繪畫創(chuàng)作相結(jié)合，可以拉近藝術(shù)創(chuàng)作和觀賞者之間的距離，提升藝術(shù)家對繪畫符號語言的認(rèn)識和運用［3］。在歷史長河中，人類創(chuàng)作了大量繪畫作品，其內(nèi)容涵蓋了多種藝術(shù)風(fēng)格，為了更好地學(xué)習(xí)繪畫知識，利用計算機提取繪畫作品特征，實現(xiàn)對繪畫的評估、識別、分類和保護(hù)。

為了研究視覺影像分析算法在藝術(shù)場景中的應(yīng)用，本文利用卷積神經(jīng)網(wǎng)絡(luò)結(jié)合符號學(xué)對繪畫進(jìn)行解讀。首先利用符號學(xué)和藝術(shù)史的理論知識，基于符號學(xué)的角度結(jié)合美學(xué)和現(xiàn)象學(xué)等學(xué)科領(lǐng)域的知識，對當(dāng)代繪畫的符號化表現(xiàn)進(jìn)行橫向分析，并對符號進(jìn)行分類；再進(jìn)行縱向的切片分析，總結(jié)符號的形成和運用技法。結(jié)合神經(jīng)網(wǎng)絡(luò)對繪畫中的圖像特征進(jìn)行分析和解讀。

1 方法

1.1 利用符號學(xué)解讀繪畫中的視覺藝術(shù)

對符號的使用可以追溯到人類生命活動伊始，符號學(xué)說主張藝術(shù)起源于人類用來表示某種含義的符號，藝術(shù)形式是一種符號體系。符號學(xué)注重研究構(gòu)成和表征的問題，將“文本”當(dāng)作具有特定意義的合成符號［7］。因此，符號學(xué)可以作為一種視角和觀念性的工具，消除藝術(shù)品的形式主義和自律性，能動地理解視覺藝術(shù)品。并且符號學(xué)注重意義和產(chǎn)生意義的形式，將視覺藝術(shù)品的外表和細(xì)節(jié)符號化［4］。

符號學(xué)可以提供由心理分析、敘述以及修飾理論產(chǎn)生的思想和理念，來深入細(xì)致地分析藝術(shù)品。查爾斯S·皮爾斯的理論指出，符號可通過3種姿態(tài)發(fā)揮作用：（1）特定的符號或表征。（2）特定的精神圖像，也稱為解釋符號。（3）客體或詞語指標(biāo)的對象。對一幅關(guān)于果盤的荷蘭靜物畫（圖1），就是關(guān)于某種事物的表征或符號，觀察者在看到這幅繪畫時，會將這個事物與腦海形成的意象相結(jié)合。對于第一個觀察者來說，它可以是真實的水果；對另一個人來說，可能是別的靜物畫；對第三個人來說可能是“17世紀(jì)的荷蘭”。因此繪畫所表現(xiàn)的客體是由觀察者的主觀意愿所決定的［5］。

圖1 荷蘭靜物藝術(shù)畫Fig.1 Dutch still life art painting

視覺藝術(shù)中敘述的解釋是關(guān)于如何通過圖像去講故事，羅蘭·報在《S/Z》中提到了5種符碼的解析。行動性符碼是指通過“一系列動作”幫助觀察者將細(xì)節(jié)代入到故事的序列中，在某種意義上，時間圖像是符碼的敘述性描述。闡釋性符碼是通過預(yù)設(shè)有個難題，引導(dǎo)觀察者去尋找解答這個難題的細(xì)節(jié)。當(dāng)圖像的主題難以辨認(rèn)時，闡釋性符碼才會起到作用。語義性符碼包含文化信息，需要觀察者代入到圖像人物的背景信息中［6］。象征性符碼需要觀察者引入象征的方式，對圖像中的某些細(xì)節(jié)進(jìn)行解讀。參照性符碼則包含一定的文化知識，需要觀察者了解圖像中的歷史信息。這些符碼通過對圖像做出敘述，每個解釋的細(xì)節(jié)都有一個恰當(dāng)?shù)恼f法。這種敘述在分析圖像時，被觀察者有力地呈現(xiàn)出來，并將思想代入到這個過程中［7］。

因此，基于繪畫圖像的符號分析可以幫助觀賞者了解藝術(shù)家隱藏在繪畫中的思想和情感，為了更好地對繪畫所蘊含的信息進(jìn)行分析，結(jié)合卷積神經(jīng)網(wǎng)絡(luò)算法對繪畫中的圖像特征進(jìn)行識別，并依據(jù)繪畫風(fēng)格進(jìn)行分類，可以幫助觀察者更好地對繪畫進(jìn)行解讀。

1.2 基于卷積神經(jīng)網(wǎng)絡(luò)的視覺影像分析算法

人工神經(jīng)網(wǎng)絡(luò)是通過模擬生物體的神經(jīng)連接以及大腦處理和記憶信息的方式進(jìn)行數(shù)據(jù)信息的處理。卷積神經(jīng)網(wǎng)絡(luò)是人工神經(jīng)網(wǎng)絡(luò)的一類，對網(wǎng)格狀數(shù)據(jù)結(jié)構(gòu)的處理效果尤為顯著，由于卷積神經(jīng)網(wǎng)絡(luò)具有很好的圖像處理和特征識別效果，因此廣泛應(yīng)用于計算機視覺和自然語言處理領(lǐng)域［8］。卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)包含輸入層、卷積層、池化層、全連接層和輸出層，圖2為LeNet-5卷積神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)圖［9］。該網(wǎng)絡(luò)包含7層結(jié)構(gòu)，C1表示具有6個卷積核的卷積層，S2表示池化層，C3表示具有16個卷積核的卷積層，S4表示池化層，C5和F6表示全連接層，輸出層為基于徑向基函數(shù)的分類層。

圖2 LeNet-5模型結(jié)構(gòu)圖Fig.2 LenNet-5 model structure diagram

卷積層具有權(quán)值共享和局部連接的特點，權(quán)值共享是指在對模型的卷積層輸入圖像后，會增加一個偏置項，使卷積核的參數(shù)量增加一個。卷積運算的函數(shù)公式f()為

其中，ω表示卷積核參數(shù)；×表示卷積運算；b表示偏置項；x表示輸入。

權(quán)值共享意味著卷積核在對圖像進(jìn)行遍歷時，卷積核的參數(shù)固定不變［15］。例如在遍歷圖像時，使用的卷積核參數(shù)為26個，這樣模型中用了6個卷積核，總共權(quán)值參數(shù)也只有156個，可以有效地降低參數(shù)量。

局部連接是指卷積神經(jīng)網(wǎng)絡(luò)中相鄰兩層間，采用部分節(jié)點連接的方式提取局部特征，其構(gòu)思來源于生物視覺神經(jīng)元中起到感知外界環(huán)境功能的只有部分神經(jīng)元，并且圖像中像素之間的相關(guān)性與像素間的距離有關(guān)［10］。因此采用局部感知的方式采集圖像中的信息，最后綜合圖像信息，實現(xiàn)增強圖像信息的目的。采用局部連接的方式，可以降低參數(shù)量，提升參數(shù)的學(xué)習(xí)速率，防止神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過程中發(fā)生過擬合現(xiàn)象。

池化層的具體操作與卷積層相似，但池化只取對應(yīng)位置的最大值和平均值，并且不經(jīng)過反向傳播的修改。進(jìn)行平均池化和最大池化后，以步長為2遍歷特征圖，將特征數(shù)據(jù)的維度減半，池化后的結(jié)果經(jīng)過激活函數(shù)，輸出為下一層網(wǎng)絡(luò)的輸入值。激活函數(shù)是用于實現(xiàn)非線性特征映射，例如：Sigmoid函數(shù)、tanh函數(shù)和ReLU函數(shù)等［11］。

反向傳播算法（Back Propagation）和梯度下降算法（Gradient Descent）是神經(jīng)網(wǎng)絡(luò)訓(xùn)練中重要的權(quán)值迭代更新方法，在神經(jīng)網(wǎng)絡(luò)中從前往后的傳播方式稱為前向傳播，結(jié)構(gòu)如圖3所示。神經(jīng)網(wǎng)絡(luò)中神經(jīng)元的激活值可以利用激活值的公式計算得到，即

圖3 反向傳播算法Fig.3 Back propagation algorithm

然后將神經(jīng)網(wǎng)絡(luò)每層的輸出值作為下一層的輸入值，并不斷向前傳播直至到輸出層進(jìn)行輸出，稱為完成一次前向傳播。接著利用損失函數(shù)將結(jié)果反向傳播，并做出下面兩個假設(shè)條件。

（1）損失函數(shù)可以作為訓(xùn)練樣本X的代價函數(shù)C的均值，公式為

對單一的訓(xùn)練樣本(x，y)，代價函數(shù)Cx的公式為

（2）代價函數(shù)可以作為輸出值的函數(shù)，多個訓(xùn)練樣本的整體損失函數(shù)為

為了使網(wǎng)絡(luò)迭代更新過程中，得到的損失函數(shù)值最小，降低生成的預(yù)測值和實際值之間的誤差，可以利用梯度算法對其進(jìn)行求解。通過梯度下降的方式對參數(shù)進(jìn)行更新，使代價函數(shù)的值最小，公式為

通過調(diào)節(jié)移動步長和梯度下降的方式對參數(shù)進(jìn)行更新。在迭代過程中，根據(jù)公式可以使損失值達(dá)到最小值，得到訓(xùn)練好的網(wǎng)絡(luò)模型參數(shù)。

卷積神經(jīng)網(wǎng)絡(luò)的最后一層通常為Softmax回歸分類層，Softmax是邏輯回歸模型對多分類問題的推廣，可用于處理多分類問題。Softmax的損失函數(shù)J(θ)為

其中，θ表示參數(shù)；m表示訓(xùn)練集大小，即{(x1，y1)，(x2，y2)，…，(xi，yi)，…，(xm，ym)}；I{}表示取值規(guī)則。對于輸入x分類、類別為j的概率為

1.3 基于卷積神經(jīng)網(wǎng)絡(luò)的圖像特征提取

使用卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行預(yù)訓(xùn)練，為保證對比實驗的合理性，將默認(rèn)參數(shù)設(shè)置和預(yù)訓(xùn)練網(wǎng)絡(luò)保持一致。對用戶輸入的風(fēng)格圖像進(jìn)行預(yù)處理，包括顏色通道轉(zhuǎn)換與去均值化。提取圖像風(fēng)格信息特征流程如圖4所示。

圖4 圖像風(fēng)格信息特征提取框架圖Fig.4 Frame diagram of feature extraction of image style information

提取信息特征首先解析風(fēng)格圖像的文件長度，然后對風(fēng)格圖像數(shù)目進(jìn)行裁剪，設(shè)置每一張圖像的尺寸與顏色通道。最后將圖像轉(zhuǎn)化到BGR（Blue Green Red）通道，對通道上的像素去均值化。完成上述準(zhǔn)備工作后，開始對輸入數(shù)據(jù)進(jìn)行提取信息特征。整個圖像像素矩陣預(yù)處理后輸入到網(wǎng)絡(luò)結(jié)構(gòu)中，其中提取的網(wǎng)絡(luò)層包含3層卷積層、Relu層與池化層。紋理信息源自于底層信息特征之間的相關(guān)一致性，所以需要協(xié)調(diào)比較多個相關(guān)的信息特征層，這樣就可以得到最佳的風(fēng)格特征，即

其中，wl為風(fēng)格信息特征層權(quán)值，Sl為輸出的目標(biāo)風(fēng)格信息與某一層的損失值。

具體的數(shù)學(xué)公式為

其中，Tfeature為目標(biāo)輸出圖像的信息特征，Sfeature為當(dāng)前風(fēng)格圖像的輸出特征。

對于輸入的內(nèi)容與風(fēng)格圖像，需要從多層中間輸出層中提取圖像的風(fēng)格特征，而只截取對應(yīng)的高層語義信息特征便可以提取到對應(yīng)的內(nèi)容特征。如圖5為提取圖像內(nèi)容信息特征的流程。把輸入的內(nèi)容圖像進(jìn)行顏色通道轉(zhuǎn)變與去均值化，輸入網(wǎng)絡(luò)結(jié)構(gòu)提取目標(biāo)圖像信息特征。

圖5 圖像內(nèi)容信息特征提取框架圖Fig.5 Frame diagram of feature extraction of image content information

本文采用LeNet-5模型作為視覺影像分析算法的模型，并針對多種風(fēng)格的繪畫進(jìn)行實驗，識別繪畫中的符號特征，并對圖像進(jìn)行分類。訓(xùn)練集的數(shù)量為4878張，測試集的數(shù)量為2500張。為了擴(kuò)大訓(xùn)練集數(shù)量，提升模型訓(xùn)練效果，針對訓(xùn)練集中的一幅繪畫分別旋轉(zhuǎn)90度、180度和270度，將訓(xùn)練集擴(kuò)大4倍。采用同樣的方法對GoogleNet模型和ResNet模型進(jìn)行訓(xùn)練，并進(jìn)行識別效果的對比。

2 算法性能對比

本文采用LeNet-5模型、GoogleNet模型和ResNet模型進(jìn)行實驗，3種模型的網(wǎng)絡(luò)層數(shù)分別為7、22和152層。對2種數(shù)據(jù)集的識別結(jié)果如圖6所示。

圖6 3種模型對2種數(shù)據(jù)集的識別準(zhǔn)確率Fig.6 Recognition accuracy of the three models for two kinds of data sets

由圖6可見，3種卷積神經(jīng)網(wǎng)絡(luò)模型均對數(shù)據(jù)集有較高的識別準(zhǔn)確率，對2種數(shù)據(jù)集的識別準(zhǔn)確率均高于99%，但當(dāng)增加訓(xùn)練集數(shù)量時，模型的識別準(zhǔn)確率沒有明顯的提升，并且隨著網(wǎng)絡(luò)層數(shù)的增加，模型變得更加復(fù)雜，訓(xùn)練模型的時間越來越長。總體來說，卷積神經(jīng)網(wǎng)絡(luò)可以很好地識別繪畫中的符號特點，有效地對繪畫進(jìn)行識別和分類。

綜上所述，本文利用卷積神經(jīng)網(wǎng)絡(luò)結(jié)合符號學(xué)分析繪畫特征，并通過建立視覺影像分析算法對繪畫進(jìn)行識別和分類。實驗結(jié)果證明該算法對繪畫特征識別具有很高的可行性。

3 結(jié) 論

為了利用視覺算法對美術(shù)繪畫圖像進(jìn)行解讀，本文首先通過符號學(xué)對繪畫進(jìn)行解讀。然后基于卷積神經(jīng)網(wǎng)絡(luò)建立視覺影像分析算法，實現(xiàn)利用計算機對繪畫進(jìn)行識別和分類。實驗結(jié)果顯示，視覺影像分析算法對繪畫的分類準(zhǔn)確率為99%以上，具有很好的繪畫識別效果和分類能力。對識別不同繪畫分割的視覺藝術(shù)具有可行性。但本文仍存在一些不足，由于美術(shù)繪畫風(fēng)格多種多樣，而訓(xùn)練集中的樣本數(shù)和包含的繪畫形式相對較少。因此，對繪畫風(fēng)格的識別能力有限。在后續(xù)研究中，將會擴(kuò)大數(shù)據(jù)，提升視覺影像分析算法的識別能力。