摘要: 為了在橋梁方案設(shè)計(jì)中實(shí)現(xiàn)橋梁美學(xué)智能評價(jià),提出一種基于遷移學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)的橋梁圖像美學(xué)自動評價(jià)方法。首先,通過凍結(jié)部分卷積層和修改丟棄率優(yōu)化VGG16網(wǎng)絡(luò)模型;其次,利用遷移學(xué)習(xí)將已知數(shù)據(jù)集AVA模型運(yùn)用到橋梁圖像評價(jià)上,最終可自動輸出對應(yīng)橋梁美學(xué)評分值。結(jié)果表明:與人工主觀評分相比,文中方法的平均吻合度達(dá)到90.2%,該智能評價(jià)方法具有較好的準(zhǔn)確性和工程實(shí)用性。
關(guān)鍵詞: 橋梁美學(xué); 卷積神經(jīng)網(wǎng)絡(luò); 遷移學(xué)習(xí); 美學(xué)評價(jià)
中圖分類號: TU 026文獻(xiàn)標(biāo)志碼: A ""文章編號: 1000-5013(2025)02-0176-07
Aesthetic Evaluation of Bridge Images Based on Transfer Learning and Convolutional Neural Networks
YE Tianzhao, ZHAO Shaojie, YUN Jibiao
(School of Civil Engineering, Xiangtan University, Xiangtan 411105, China)
Abstract: In order to realize intelligent evaluation of bridge schemes in bridge design, an automatic aesthetic evaluation method for bridge images based on transfer learning and convolutional neural networks is proposed. First, the VGG16 network model is optimized by freezing part of convolution layers and modifying the dropout rate. Second, the known data set AVA model is applied to bridge images evaluation by transfer learning, which can automaticlly output the corresponding aesthetic scores. The results show that compared with the manual subjective evaluation, the average coincidence degree of the proposed method is 90.2%, indicating that the intelligent evaluation method has good accuracy and engineering practicability.
Keywords: bridge aesthetics; convolutional neural networks; transfer learning; aesthetic evaluation
隨著人工智能技術(shù)的日益發(fā)展,基于計(jì)算機(jī)視覺對大量圖片進(jìn)行美學(xué)評價(jià)變得可能。傳統(tǒng)基于人的主觀美學(xué)評價(jià)存在因人而異的缺點(diǎn),因此,采用計(jì)算機(jī)視覺技術(shù),摒棄人的主觀性,基于圖像特征的客觀美學(xué)質(zhì)量的評價(jià)方法值得深入研究。目前,基于計(jì)算美學(xué)方法提取的圖像美學(xué)特征對圖像進(jìn)行美學(xué)分類取得了一些進(jìn)展。王偉凝等[1]提出并行深度卷積神經(jīng)網(wǎng)絡(luò)的圖像美感分類方法,從多個(gè)角度對圖片進(jìn)行特征的自動提取和學(xué)習(xí),從而得到更加完整的美感表述。蟻靜緘[2]通過提取低層視覺特征和高層美學(xué)特征,基于機(jī)器學(xué)習(xí)建立圖像美感評估分類模型。Sun等[3]提出一套視覺復(fù)雜度算子對圖像的美學(xué)質(zhì)量進(jìn)行分類。 Zhang等[4]通過多模態(tài)遞歸注意力卷積神經(jīng)網(wǎng)絡(luò)(MRACNN)自動提取圖像的審美特征, 審美質(zhì)量分類明顯優(yōu)于統(tǒng)一審美預(yù)測任務(wù)。文獻(xiàn)[5-7]通過精細(xì)設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu),從顏色、布局、多模態(tài)綜合等角度考慮多種特征因素,以精準(zhǔn)地衡量圖像的美學(xué)價(jià)值。目前,利用神經(jīng)網(wǎng)絡(luò)對圖片進(jìn)行分類已取得不錯(cuò)的效果,卷積神經(jīng)網(wǎng)絡(luò)(CNN)是各種神經(jīng)網(wǎng)絡(luò)中最強(qiáng)大的學(xué)習(xí)結(jié)構(gòu)之一,但鮮少用于橋梁圖片的美學(xué)評價(jià)。梁艷等[8]提出橋梁美學(xué)應(yīng)與實(shí)用、安全、經(jīng)濟(jì)等要素統(tǒng)一考慮。由于圖片的復(fù)雜性和主觀性,局部特征很難全面地表達(dá)出圖片的要素。李素梅等[9]基于卷積神經(jīng)網(wǎng)絡(luò)模型對不同舒適度等級的立體圖像進(jìn)行等級分類。王偉凝等[10]利用三分法則對圖像進(jìn)行美化。王欣等[11]提出多尺度特征提取網(wǎng)絡(luò)的圖像美學(xué)可觀量化評分方法,利用多尺度特征單元對圖片進(jìn)行深層次挖掘,完成更準(zhǔn)確的美學(xué)評估。Daichi等[12]構(gòu)建一個(gè)用于美學(xué)評價(jià)的基于深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)模型,以高精度實(shí)現(xiàn)美學(xué)評估。Luo等[13]提出一系列構(gòu)圖模板,如矩形分割法、黃金分割法則和當(dāng)?shù)匚幕男螒B(tài)學(xué)特征等。Wong等[14]利用視覺注意力機(jī)制模型提取了顯著區(qū)域特征,同時(shí)也考慮顯著區(qū)域和背景之間的聯(lián)系,得出有區(qū)域特征的評價(jià)結(jié)果更貼合人們的審美評價(jià)。Datta等[15]建立了一個(gè)較為完善的美學(xué)自動評分網(wǎng)站ACQUINE,實(shí)時(shí)在線對圖片進(jìn)行打分。Hou等[16]提出基于圖像內(nèi)容的嵌入微調(diào)卷積神經(jīng)網(wǎng)絡(luò)方法評價(jià)圖像美學(xué)質(zhì)量,可很好地解決數(shù)據(jù)規(guī)模小的問題。
綜上,目前美學(xué)評價(jià)還很少有關(guān)注橋梁美學(xué)方面的專用模型。現(xiàn)有評價(jià)模型由更加廣泛的圖片組成,所涵蓋的特征不能很好地適用于橋梁美學(xué)評價(jià)。因此,本文結(jié)合VGG16網(wǎng)絡(luò)模型,采用遷移學(xué)習(xí)將學(xué)習(xí)過的模型運(yùn)用到橋梁美學(xué)評價(jià)領(lǐng)域;采用基于特征的遷移,將源域和目標(biāo)域的數(shù)據(jù)特征變換到統(tǒng)一特征空間中,再進(jìn)行橋梁分類識別和美學(xué)評價(jià),從而實(shí)現(xiàn)從泛化模型到專用模型的轉(zhuǎn)變。
1 數(shù)據(jù)集的構(gòu)建
深度學(xué)習(xí)算法依賴于數(shù)據(jù)樣本的全面性和完整性,需要構(gòu)建適當(dāng)?shù)臉蛄好缹W(xué)圖像庫,為遷移學(xué)習(xí)提供合適的訓(xùn)練樣本及驗(yàn)證樣本,進(jìn)而通過完成特征學(xué)習(xí),實(shí)現(xiàn)對橋梁圖像的美學(xué)評估。
1.1 數(shù)據(jù)集
數(shù)據(jù)集包括通用數(shù)據(jù)集和實(shí)橋數(shù)據(jù)集,其中,通用數(shù)據(jù)集為Aesthetic Visual Analysis(AVA),用于遷移學(xué)習(xí)模型的訓(xùn)練;實(shí)橋數(shù)據(jù)集為自定義數(shù)據(jù)集,用于遷移學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練和驗(yàn)證。
1.1.1 AVA數(shù)據(jù)集 AVA數(shù)據(jù)集包含超過25萬幅社交圖片,每幅圖片采集了來自200個(gè)不同職業(yè)、不同年齡的用戶評分,評分范圍為1~10分,以確保評分的客觀性和廣泛性。
1.1.2 實(shí)橋數(shù)據(jù)集 實(shí)橋數(shù)據(jù)集包括拱橋、梁橋、斜拉橋和懸索橋4類。為了使數(shù)據(jù)集樣本充足,對橋梁圖片進(jìn)行裁剪、旋轉(zhuǎn)、平移及灰度處理等操作得到新數(shù)據(jù)集(圖1),以此產(chǎn)生更多的圖片用于后續(xù)的特征提取和訓(xùn)練學(xué)習(xí)。新數(shù)據(jù)集包含了12 862張圖片,其中,拱橋有3 237張,梁橋有2 625張,斜拉橋有3 500張,懸索橋有3 500張。
2 基于卷積神經(jīng)網(wǎng)絡(luò)的圖像美學(xué)評估
基于卷積神經(jīng)網(wǎng)絡(luò)的圖像美學(xué)量化方法的步驟如下:1) 數(shù)據(jù)收集和圖像預(yù)處理;2) 卷積神經(jīng)網(wǎng)絡(luò)模型搭建;3) 模型訓(xùn)練;4) 模型評估與優(yōu)化;5) 應(yīng)用模型進(jìn)行圖像美學(xué)量化評分。
2.1 卷積神經(jīng)網(wǎng)絡(luò)
卷積神經(jīng)網(wǎng)絡(luò)作為一種深度學(xué)習(xí)模型,在圖像分類識別上具有顯著優(yōu)勢:1) 輸入圖像和網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)能高度契合;2) 能很好地獲取特征圖的全局結(jié)構(gòu)信息[17];3) 特征提取和模式分類緊密相連,網(wǎng)絡(luò)通過多層卷積和池化操作自動學(xué)習(xí)到有用的特征;4) 權(quán)重共享可以減少網(wǎng)絡(luò)的訓(xùn)練參數(shù),降低模型復(fù)雜度,在處理大規(guī)模圖像數(shù)據(jù)時(shí)具有高效性能。
因此,選取VGG16卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),初始步驟將224×224×3通道圖像輸入卷積層。該層利用大小為3×3的卷積核進(jìn)行特征提取,卷積步驟的步長設(shè)定為1,卷積層采用“same”填充,以保證特征圖的尺寸與輸入相同。在卷積過程之后,數(shù)據(jù)通過ReLU激活函數(shù)進(jìn)行非線性處理,隨著網(wǎng)絡(luò)層數(shù)的增加,數(shù)據(jù)分布可能會趨向于飽和極限區(qū)域,導(dǎo)致梯度消失。為了解決這一問題,對輸入數(shù)據(jù)進(jìn)行歸一化處理,使其符合均值為0、方差為1的正態(tài)分布標(biāo)準(zhǔn)。最后,進(jìn)入池化層,使用2×2的池化核進(jìn)行特征提取,減少特征圖的尺寸,同時(shí)保留了關(guān)鍵特征信息。經(jīng)過4輪以上的卷積和池化操作后,圖像的特征信息得到逐步的提取和精簡,橋梁特征信息即可進(jìn)入全連接層,將特征圖的高、寬和通道數(shù)轉(zhuǎn)換為一個(gè)4 096維的向量。這個(gè)過程將二維的特征圖扁平化為一維,并通過全連接層進(jìn)行線性和非線性變換,最終輸出分類結(jié)果。
2.2 遷移學(xué)習(xí)
遷移學(xué)習(xí)的主要原理是利用源域中已有的大量標(biāo)注數(shù)據(jù),顯著減少在新任務(wù)上對模型訓(xùn)練所需時(shí)間。這種方法在很大程度上增強(qiáng)了模型的穩(wěn)定性和魯棒性。
其核心目標(biāo)是將模型在源數(shù)據(jù)集上積累的先驗(yàn)知識,即模型的權(quán)重,轉(zhuǎn)嫁至新的任務(wù)或數(shù)據(jù)集上,以提高學(xué)習(xí)效率。遷移學(xué)習(xí)原理,如圖2所示。遷移學(xué)習(xí)通常保持模型的卷積層結(jié)構(gòu)不變,已經(jīng)訓(xùn)練好的權(quán)重和參數(shù)能夠有效地遷移到新的模型結(jié)構(gòu)中。因此,設(shè)計(jì)適用于新任務(wù)凍結(jié)部分卷積層的網(wǎng)絡(luò)模型,為了提高識別準(zhǔn)確率,修改丟棄率,其余網(wǎng)絡(luò)層結(jié)構(gòu)保持不變,并使用新數(shù)據(jù)集對模型進(jìn)行訓(xùn)練。實(shí)驗(yàn)中將所有層都進(jìn)行了訓(xùn)練,以保證網(wǎng)絡(luò)結(jié)構(gòu)的真實(shí)性。
2.3 丟棄層
加入丟棄層(dropout),使全連接層節(jié)點(diǎn)隨機(jī)失活,減少模型過擬合現(xiàn)象的出現(xiàn)。具體公式為
(1)
式(1)中:Bernoulli函數(shù)是以概率p隨機(jī)生成一個(gè)0、1的向量;y(l)表示第l層隨機(jī)失活的特征;y(l),y(l+1)分別表示第l層和第l+1層特征;w(l+1)、b(l+1)分別表示第l+1層的權(quán)重參數(shù)和偏置項(xiàng);z(l+1)表示未經(jīng)激活函數(shù)的第l+1層特征;f(z(l+1))表示將特征經(jīng)過激活函數(shù)。
2.4 基于遷移學(xué)習(xí)的VGG16網(wǎng)絡(luò)模型優(yōu)化
設(shè)計(jì)優(yōu)化的基于遷移學(xué)習(xí)的VGG16網(wǎng)絡(luò)模型,如圖3所示,總共有12層。該網(wǎng)絡(luò)凍結(jié)了VGG16模型中第4組卷積層的最后1層(28×28×512)和第5組卷積層(14×14×512),由9個(gè)卷積層、3個(gè)全連接層和2個(gè)丟棄層構(gòu)成。為了適應(yīng)特定的分類任務(wù),將模型的修改分類設(shè)定為4。卷積層被分成4組,卷積層的卷積核都為3×3,步長為1;池化層的卷積核都為2×2,步長為2。數(shù)據(jù)第1組經(jīng)過2層64個(gè)卷積核的卷積層捕捉局部特征,尺寸變?yōu)?24×224×64,通道數(shù)變?yōu)?4,并進(jìn)行池化處理;第2組經(jīng)過2層128個(gè)卷積核的卷積操作后,尺寸變?yōu)?12×112×128,通道數(shù)變?yōu)?28,通過池化層;第3組經(jīng)過3層256個(gè)卷積核的卷積操作,尺寸變?yōu)?6×56×256,通道數(shù)變?yōu)?56,再池化;第4組經(jīng)過3層512個(gè)卷積核的卷積操作,尺寸變?yōu)?8×28×512,通道數(shù)變?yōu)?12,再進(jìn)行池化;最后,經(jīng)過2次全連接和丟棄層,再經(jīng)過一次全連接。
3 實(shí)驗(yàn)結(jié)果與及分析
測試環(huán)境為Windows 10,GPU為NVIDIA GeForce RTX 2060 SUPER,運(yùn)用tensorflow 2.5,python 3.9進(jìn)行深度學(xué)習(xí)。批處理大小設(shè)置為128,使用SGD優(yōu)化器,動量參數(shù)為0.9,初始學(xué)習(xí)率為0.01,每100輪訓(xùn)練將學(xué)習(xí)率下調(diào)至原來的1/10。
3.1 模型驗(yàn)證分析
橋梁分類主要關(guān)注準(zhǔn)確率(ηa)和損失值(L)這兩個(gè)評估指標(biāo),為確保每種橋型的識別準(zhǔn)確率,修改dropout層的丟棄率,分別設(shè)置為0、0.2、0.4、0.5。不同丟棄率的VGG16網(wǎng)絡(luò)模型實(shí)驗(yàn)結(jié)果,如圖4所示。圖4中:n為整個(gè)數(shù)據(jù)集在神經(jīng)網(wǎng)絡(luò)中訓(xùn)練過的次數(shù)。
由圖4(a)可知:模型的準(zhǔn)確率和損失在訓(xùn)練集和驗(yàn)證集之間波動幅度較大,訓(xùn)練過程中存在過擬合現(xiàn)象,說明模型在訓(xùn)練數(shù)據(jù)上表現(xiàn)良好,但在驗(yàn)證數(shù)據(jù)上表現(xiàn)不佳。由圖4(b)~(d)可知:加入dropout層后,模型準(zhǔn)確率和損失值的訓(xùn)練集和驗(yàn)證集曲線更加一致,同時(shí)減少收斂所需的迭代次數(shù),識別結(jié)果準(zhǔn)確率有明顯提升;隨著丟棄率的增加,準(zhǔn)確率和損失值曲線更加接近;當(dāng)丟棄率為0.2時(shí),訓(xùn)練集與驗(yàn)證集的準(zhǔn)確率誤差為0.069,訓(xùn)練集與驗(yàn)證集的損失值誤差為0.170;當(dāng)丟棄率為0.4時(shí),訓(xùn)練集與驗(yàn)證集的準(zhǔn)確率誤差為0.090,訓(xùn)練集與驗(yàn)證集的損失值誤差為0.150;當(dāng)丟棄率為0.5時(shí),準(zhǔn)確率和損失值曲線幾乎重合,說明丟棄率為0.5的VGG16網(wǎng)絡(luò)模型具有更佳的收斂和擬合效果。
利用已有的預(yù)訓(xùn)練模型知識遷移到新的任務(wù)上,凍結(jié)部分卷積層能很好地保留預(yù)訓(xùn)練模型已學(xué)習(xí)到的有用特征。因此,VGG16網(wǎng)絡(luò)模型凍結(jié)卷積層第4組最后1層、第5組卷積層和全部凍結(jié)卷積層。
凍結(jié)部分卷積層,結(jié)果如圖5(a)所示。由圖5(a)可知:模型在迭代40次左右趨于穩(wěn)定,表明未出現(xiàn)過擬合和梯度消失等問題,網(wǎng)絡(luò)結(jié)構(gòu)相對比較穩(wěn)定。凍結(jié)全部卷積層,結(jié)果如圖5(b)所示。由圖5(b)可知:模型在訓(xùn)練次數(shù)達(dá)到20次時(shí)趨于穩(wěn)定,收斂于100%和83%,表明訓(xùn)練集和驗(yàn)證集相差較大;損失值曲線在訓(xùn)練次數(shù)達(dá)到20次時(shí),開始收斂,最終趨于0,但驗(yàn)證集的損失值開始逐漸增大到100%,分析可知該過程出現(xiàn)梯度消失現(xiàn)象,參數(shù)無法更新,模型不可用。此外,凍結(jié)部分卷積層可以簡化模型結(jié)構(gòu),預(yù)期效果較好。
按照8∶2劃分訓(xùn)練集和驗(yàn)證集,其中,10 290張為訓(xùn)練集圖片,其余為驗(yàn)證集圖片。數(shù)據(jù)集在使用遷移學(xué)習(xí)的VGG16網(wǎng)絡(luò)模型上的熱力圖,如圖6所示。在所建立的數(shù)據(jù)集中,拱橋識別準(zhǔn)確率最高,可以達(dá)到98%;梁橋的識別準(zhǔn)確率最低,只有86%;斜拉橋和懸索橋的識別準(zhǔn)確率分別為94%和96%。由于拱橋具有獨(dú)特的拱形結(jié)構(gòu)和實(shí)腹式、空腹式等多種構(gòu)造形式,其拱軸線形狀和不同構(gòu)造形式在圖像上呈現(xiàn)出特征多樣性。相較于梁橋相對單一的直線梁結(jié)構(gòu),這些豐富多樣的曲線形態(tài)和不同構(gòu)造使得模型能更好地捕捉到區(qū)別于梁橋的關(guān)鍵特征,從而使拱橋的識別準(zhǔn)確率高于梁橋。由此可見,該數(shù)據(jù)集有很好的分辨性,且該網(wǎng)絡(luò)模型也表現(xiàn)出很好的適應(yīng)性,具有較好的使用性。
文中算法在實(shí)橋數(shù)據(jù)集上的準(zhǔn)確率及損失值曲線,如圖7所示。由圖7可知:使用遷移學(xué)習(xí)的模型
在學(xué)習(xí)的初步階段準(zhǔn)確率很高,且保持較高上升趨勢,但是驗(yàn)證集的準(zhǔn)確率和損失值存在較大的振蕩,原因是網(wǎng)絡(luò)模型開始迭代時(shí)初始參數(shù)隨機(jī)分布,不同的隨機(jī)參數(shù)會使神經(jīng)元對輸入數(shù)據(jù)的響應(yīng)差異較大;由于分類較少,模型在第30輪訓(xùn)練后接近收斂,并在后續(xù)訓(xùn)練中維持了較高的穩(wěn)定性,最終準(zhǔn)確率達(dá)到94.7%。由此可知,使用遷移學(xué)習(xí)的網(wǎng)絡(luò)模型在實(shí)驗(yàn)中具有良好表現(xiàn)。
3.2 橋梁圖像美學(xué)評估
根據(jù)以上模型驗(yàn)證分析結(jié)果,對AVA數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。選取AVA數(shù)據(jù)集中評分1~10分各分段圖像共4 000幅,其中,80%作為訓(xùn)練集,20%作為測試集。網(wǎng)絡(luò)結(jié)構(gòu)模型及參數(shù),如圖3所示。
基于AVA數(shù)據(jù)集得出實(shí)驗(yàn)?zāi)P?,輸入?shù)據(jù)集任意橋梁圖片。圖像美學(xué)量化評分結(jié)果,如圖8所示。圖8中:每幅圖片下方的數(shù)據(jù)為文中方法的結(jié)果,括號內(nèi)數(shù)據(jù)為人工評分得到的均分;直方圖是對應(yīng)選取100人作為調(diào)查對象得到的概率密度質(zhì)量函數(shù)圖,橫坐標(biāo)為人工評分,縱坐標(biāo)為對應(yīng)的概率密度,求均值便得到了人工評分值。由圖8可知:自動評價(jià)結(jié)果與人工評分值基本吻合,平均吻合度達(dá)到90.2%,說明使用遷移學(xué)習(xí)的橋梁圖片美學(xué)量化方法是準(zhǔn)確和可行的。
經(jīng)遷移學(xué)習(xí)評價(jià)橋梁圖片的量化方法得到的評分值接近人工評分值,評價(jià)精度較好,大部分評分值略高于人工評分值,分析原因主要有以下2點(diǎn):1) 使用遷移學(xué)習(xí)訓(xùn)練的源數(shù)據(jù)集包含較多種類,含有的橋梁圖片的評分訓(xùn)練較分散,導(dǎo)致結(jié)果準(zhǔn)確性降低;2) 人工評分因選取的對象專業(yè)性不統(tǒng)一,導(dǎo)致分?jǐn)?shù)評價(jià)差異較大。因此,后續(xù)可進(jìn)一步優(yōu)化源數(shù)據(jù)集,提高人工評分的準(zhǔn)確性,從而提高訓(xùn)練網(wǎng)絡(luò)的評價(jià)準(zhǔn)確性。
4 結(jié)束語
提出一種基于遷移學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)的橋梁圖像美學(xué)評估方法,可用于改善橋梁美學(xué)評估因數(shù)據(jù)量少導(dǎo)致的評估不準(zhǔn)確的問題。所用卷積神經(jīng)網(wǎng)絡(luò)經(jīng)過遷移學(xué)習(xí)優(yōu)化改善后,采用AVA數(shù)據(jù)集作為源域,凍結(jié)部分卷積層和修改丟棄率,輸出橋梁圖像的客觀量化值,從而達(dá)到對橋梁圖片的評分。實(shí)驗(yàn)結(jié)果表明,所提方法能較準(zhǔn)確地對橋梁圖片進(jìn)行美學(xué)評估。由于數(shù)據(jù)集的數(shù)量限制,所得結(jié)果與人工評分值還存在一定的差距,后續(xù)工作可進(jìn)一步提高算法精度,并不斷完善數(shù)據(jù)集。
參考文獻(xiàn):
[1] 王偉凝,王勵(lì),趙明權(quán),等.基于并行深度卷積神經(jīng)網(wǎng)絡(luò)的圖像美感分類[J].自動化學(xué)報(bào),2016,42(6):904-914.DOI:10.16383/j.aas.2016.c150718.
[2] 蟻靜緘.可計(jì)算的圖像美學(xué)分類與評價(jià)系統(tǒng)研究[D].廣州: 華南理工大學(xué),2013.
[3] SUN Litian,YAMASAKI T,AIZAWA K.Photo aesthetic quality estimation using visual complexity features[J].Multimedia Tools and Applications,2018,77(5):5189-5213.DOI:10.1007/s11042-017-4424-4.
[4] ZHANG Xiaodan,GAO Xinbo,LU Wen,et al.Beyond vision: A multimodal recurrent attention convolutional neural network for unified image aesthetic prediction tasks[J].IEEE Transactions on Multimedia,2020,23:611-623.DOI:10.1109/TMM.2020.2985526.
[5] SHE Dongyu,LAI Yukun,YI Gaoxiong,et al.Hierarchical layout-aware graph convolutional network for unified aesthetics assessment[C]∥Computer Vision and Pattern Recognition.Nashville:IEEE Press,2021:8471-8480.DOI:10.1109/CVPR46437.2021.00837.
[6] MARTIN-RODRIGUEZ F,GARCIA-MOJON R,F(xiàn)ERNANDEZ-BARCIELA M.Detection of AI-created images using pixel-wise feature extraction and convolutional neural networks[J].Sensors,2023,23(22):9037.DOI:10.3390/s23229037.
[7] HE Shuai,XIAO Yi,MING Anlong,et al.Prompt-guided image color aesthetics assessment: Models, datasets and benchmarks[J].Information Fusion,2025,114:102706.DOI:10.1016/j.inffus.2024.102706.
[8] 梁艷,何畏,唐茂林.橋梁美學(xué)2020年度研究進(jìn)展[J].土木與環(huán)境工程學(xué)報(bào)(中英文),2021,43(增刊1):234-241.DOI:10.11835/j.issn.2096-6717.2021.226.
[9] 李素梅,常永莉,段志成.基于卷積神經(jīng)網(wǎng)絡(luò)的立體圖像舒適度客觀評價(jià)[J].光學(xué)學(xué)報(bào),2018,38(6):138-144.DOI:10.3788/AOS201838.0610003.
[10] 王偉凝,劉劍聰,徐向民,等.基于構(gòu)圖規(guī)則的圖像美學(xué)優(yōu)化[J].華南理工大學(xué)學(xué)報(bào)(自然科學(xué)版),2015,43(5):51-58.DOI:10.3969/j.issn.1000-565X.2015.05.009.
[11] 王欣,穆紹碩,陳華鋒.基于多尺度特征提取網(wǎng)絡(luò)的圖像美學(xué)量化評分方法[J].浙江大學(xué)學(xué)報(bào)(理學(xué)版),2021,48(1):69-73.DOI:10.3785/j.issn.1008-9497.2021.01.010.
[12] DAICHI S,HIRONORI T,AKIHIRO K.Study on relationship between composition and prediction of photo aesthetics using CNN[J].Cogent Engineering,2022,9(1):2107472.DOI:10.1080/23311916.2022.2107472.
[13] LUO Xiaoyu,WU Yue,CHEN Airong,et al.Form finding and aesthetic design for pylons of cable-supported bridges[J].Structural Engineering International,2021,31(6):468-476.DOI:10.1080/10168664.2020.1870056.
[14] WONG LAIKUAN,LOW K.Saliency-enhanced image aesthetics class prediction[C]∥IEEE International Conference on Image Processing.Cairo:IEEE Press,2009:993-996.DOI:10.1109/ICIP.2009.5413825.
[15] DATTA R,JOSHI D,LI Jia,et al.Studying aesthetics in photographic images using a computational approach[C]∥9th European Conference on Computer Vision.Graz:Springer-Verlag,2006:288-301.DOI:10.1007/1174407 8_23.
[16] HOU Le,YU Chenping,SAMARAS D.Squared earth mover′s distance-based loss for training deep neural networks[EB/OL].(2016-11-17)[2024-10-10].https:∥arxiv.org/abs/1611.05916.
[17] 牛頓,林寧,林振超,等.多特征融合的焊縫圖像多標(biāo)簽分類算法[J].華僑大學(xué)學(xué)報(bào)(自然科學(xué)版),2024,45(4):514-523.DOI:10.11830/ISSN.1000-5013.202403033.
(責(zé)任編輯:" 黃曉楠 "英文審校: 陳婧)
收稿日期: 2024-10-21
通信作者: 趙少杰(1982-),男,副教授,博士,主要從事橋梁工程安全可靠性的研究。E-mail:shaojiez@qq.com。
https:∥hdxb.hqu.edu.cn/