基于全卷積神經(jīng)網(wǎng)絡(luò)的侗族聚落景觀圖像分割與美景度評(píng)價(jià)

鄭文俊 吳曼妮 周茂杰

（桂林理工大學(xué)旅游與風(fēng)景園林學(xué)院，廣西 桂林 541004）

“十四五規(guī)劃”建議提出“實(shí)施鄉(xiāng)村建設(shè)行動(dòng)”“保護(hù)傳統(tǒng)村落和鄉(xiāng)村風(fēng)貌”。侗族傳統(tǒng)聚落具有豐富的自然和人文景觀，彰顯了地域性的建筑藝術(shù)魅力與傳統(tǒng)山地生態(tài)文明智慧，是西南地區(qū)人居環(huán)境建設(shè)和旅游開發(fā)的重要載體。提高聚落景觀品質(zhì)、提升聚落景觀的視覺美感和營造具有吸引力的民族特色鄉(xiāng)村景觀，是新時(shí)期侗族地區(qū)鄉(xiāng)村可持續(xù)發(fā)展面臨的現(xiàn)實(shí)需求，也是規(guī)劃設(shè)計(jì)學(xué)科領(lǐng)域亟需研究的重點(diǎn)課題。在鄉(xiāng)村景觀視覺質(zhì)量評(píng)價(jià)研究領(lǐng)域，劉濱誼、謝花林等較早提出并構(gòu)建了鄉(xiāng)村景觀評(píng)價(jià)指標(biāo)體系[1-2]；也有學(xué)者嘗試將景觀視覺質(zhì)量評(píng)價(jià)從單純的美學(xué)角度向生態(tài)角度衍生[3-4]，或通過視覺現(xiàn)狀質(zhì)量、敏感度及吸收力等構(gòu)建評(píng)價(jià)體系，將指標(biāo)轉(zhuǎn)化為數(shù)值進(jìn)行疊加，對(duì)景觀視覺研究區(qū)域的管理及未來發(fā)展提出具體對(duì)策，重塑鄉(xiāng)村歸屬感[5-6]。不同群體對(duì)于典型鄉(xiāng)村景觀元素的審美具有一致性，不同景觀要素在不同鄉(xiāng)村群落中體現(xiàn)出差異性[7]。VR技術(shù)[8]、眼動(dòng)儀分析法[9-10]等現(xiàn)代科學(xué)技術(shù)也引入鄉(xiāng)村視覺景觀質(zhì)量評(píng)價(jià)中，這些技術(shù)從機(jī)體反應(yīng)層面為景觀視覺感知與審美偏好研究提供了客觀證據(jù)?？傮w而言，通過構(gòu)建指標(biāo)體系，以問卷調(diào)查的方法過度依賴人為評(píng)價(jià)，受評(píng)價(jià)主體的專業(yè)、學(xué)識(shí)、認(rèn)知的影響較大。所以建立客觀評(píng)價(jià)模型，從認(rèn)知尺度和物理特征出發(fā)，以多種方式結(jié)合建立新的視覺評(píng)價(jià)模型成為當(dāng)下主要的研究方向。

美景度評(píng)價(jià)法(scenic beauty estimation，SBE)以實(shí)景照片（幻燈片）作為評(píng)價(jià)的媒介載體，評(píng)判者通過觀看以實(shí)景照片制作的幻燈片后，依據(jù)主觀直接感受進(jìn)行評(píng)價(jià)。這種方法可操作性較強(qiáng)，優(yōu)點(diǎn)顯著，被認(rèn)為是景觀評(píng)價(jià)心理物理學(xué)派最嚴(yán)格且準(zhǔn)確的方法[11-12]。利用SBE，可以從人的感知角度分析景觀的質(zhì)量[13-15]。圖像分割方法將圖像分成若干不相交的區(qū)域，現(xiàn)有的圖像分割方法大多基于邊緣、紋理等，可以將圖像分成前景和背景兩個(gè)部分[16]。隨著深度學(xué)習(xí)的發(fā)展，利用全卷積神經(jīng)網(wǎng)（FCN）可實(shí)現(xiàn)圖像的像素級(jí)分類，解決圖像的語義分割問題[17-19]。利用圖像分割法可以將圖像細(xì)分成不同的語義單元，實(shí)現(xiàn)景觀資源精細(xì)化評(píng)價(jià)。本文針對(duì)景觀評(píng)價(jià)中對(duì)景觀要素內(nèi)容、構(gòu)成比例分析的不足，利用SBE與全卷積神經(jīng)網(wǎng)絡(luò)圖像分割法相結(jié)合構(gòu)建景觀評(píng)價(jià)模型，建立景觀評(píng)價(jià)值與景觀圖像構(gòu)圖比例的關(guān)聯(lián)，通過圖像的語義組合比例分析圖像構(gòu)圖對(duì)美景度的影響。這些研究有利于解決景觀美景度與圖像構(gòu)圖的定量分析問題，更全面有效、精細(xì)化地解譯景觀圖像美感。

1 研究地概況與分析方法

1.1 研究地概況

湘桂黔侗族聚居區(qū)主要包括貴州省南侗地區(qū)（從江縣、榕江縣、黎平縣），湖南省南侗地區(qū)（通道侗族自治縣、靖州苗族侗族自治縣），廣西壯族自治區(qū)三江侗族自治縣、龍勝各族自治縣等，總面積約2.0萬km2。該區(qū)域分布有300余座“中國傳統(tǒng)村落”“中國少數(shù)民族特色村寨”等國字號(hào)侗族村寨，還有1 000余座保護(hù)相對(duì)較好的侗族聚落[20]。為了保證研究案例的有效性與代表性，選取3省（區(qū)）中知名度較高、保存完整并已經(jīng)進(jìn)行了不同程度旅游開發(fā)的3處典型村寨為案例地，即廣西三江程陽八寨、湖南通道芋頭古侗寨和貴州黎平肇興侗寨。程陽八寨是知名的少數(shù)民族旅游村寨；芋頭侗寨擁有保存完整的明清古建筑群[21]，被列入第5批全國重點(diǎn)文物保護(hù)名錄；肇興侗寨距今有860多年的歷史，占地約18萬m2，是全國最大的侗族村寨之一[22]。

1.2 分析方法

1.2.1 美景度評(píng)價(jià)法

（1）圖像選取

眾多研究證實(shí)，在景觀評(píng)價(jià)中采用照片作為實(shí)景替代材料具有較高可靠性與可操作性，突破現(xiàn)場(chǎng)評(píng)價(jià)對(duì)人力、物力的限制并對(duì)評(píng)判內(nèi)容和程序進(jìn)行有效監(jiān)督。同時(shí)，為保證觀察視角更豐富多元，避免單一拍攝者主觀偏好，選取馬蜂窩、攜程、同程等網(wǎng)站游客上傳的案例地實(shí)景照片作為研究素材。剔除像素較低、過度處理、鏡頭畸變等不合格圖像，并咨詢多位專家意見，最終確定210張案例地景觀照片為評(píng)價(jià)對(duì)象，每個(gè)案例地各70張，并按照景觀要素特征分成復(fù)合景觀、農(nóng)林景觀、濱水景觀、街巷景觀、建筑景觀等5類。

（2）被試選擇及評(píng)判方式

選擇不同專業(yè)在校大學(xué)生作為被試者，將其分為專業(yè)組（風(fēng)景園林專業(yè)）、非專業(yè)組社科（旅游管理專業(yè)）、非專業(yè)組工科（環(huán)境工程、給排水等專業(yè)）三類，最終共招募350人，男女比例接近1∶1。采用7分制李克特量表為評(píng)價(jià)尺度（1分=非常不美，4分=一般，7分=非常美），以紙質(zhì)問卷形式進(jìn)行[11]。由于不同個(gè)體的審美尺度存在差異，其原始評(píng)價(jià)分值不能直接用于比較，需進(jìn)行標(biāo)準(zhǔn)化處理，本文采用改良后的SBE標(biāo)準(zhǔn)化方法[20]。

（3）評(píng)價(jià)流程

評(píng)價(jià)在裝有投影設(shè)備的教室中進(jìn)行。將選取的210張聚落景觀照片按隨機(jī)序列標(biāo)號(hào)導(dǎo)入PPT，并分為A、B、C三組，每組各70張，避免同類景觀連續(xù)出現(xiàn)導(dǎo)致視覺疲勞。每張圖像播放時(shí)間為6 s，每一組播放完休息1 min，圖像不回放，評(píng)價(jià)結(jié)果不修改，使評(píng)價(jià)者集中注意力、憑第一印象給予分值。具體步驟為：①工作人員發(fā)放問卷，講解評(píng)價(jià)步驟。②在正式評(píng)價(jià)開始前，播放3張類似照片引導(dǎo)被試者預(yù)練習(xí)。使被試者了解評(píng)價(jià)內(nèi)容，適應(yīng)播放時(shí)間與打分模式，再開始正式評(píng)判。③開始正式測(cè)評(píng)并回收問卷。

1.2.2 基于全卷積神經(jīng)網(wǎng)絡(luò)的圖像分割方法

（1）全卷積神經(jīng)網(wǎng)絡(luò)模型

全卷積神經(jīng)網(wǎng)絡(luò)采用卷積化、上采樣、跳躍結(jié)構(gòu)相結(jié)合的方法構(gòu)建深度學(xué)習(xí)模型[23]。卷積運(yùn)算部分采用經(jīng)典VGG16模型的前5層，每層縮小200/100，總共縮小3 200/100[16,24]。然后采用fcn-8s反卷積與跳躍結(jié)構(gòu)結(jié)合，將卷積化縮小后的結(jié)果通過轉(zhuǎn)置卷積擴(kuò)大2倍，與第4層下采樣的結(jié)果相加，再通過轉(zhuǎn)置卷積擴(kuò)大2倍，與第3層下采樣的結(jié)果相加，最后通過轉(zhuǎn)置卷積擴(kuò)大8倍得到和輸入形狀一樣大的結(jié)果。

（2）圖像預(yù)處理及增強(qiáng)

基于小樣本的機(jī)器學(xué)習(xí)方法，為了獲得足夠的學(xué)習(xí)樣本，通常采用圖像擴(kuò)充法處理圖像并加入圖像庫。圖像的本質(zhì)是一個(gè)多維矩陣，一般是N×M×K的矩陣，可以理解為有K個(gè)N×M的二維矩陣疊加；圖像的處理是對(duì)這樣的矩陣進(jìn)行計(jì)算操作，使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像分類識(shí)別也是圖像處理的一種，但它的操作是對(duì)圖像特征的提取和分類，利用圖像預(yù)處理是對(duì)圖像中的數(shù)值進(jìn)行改變形成新的圖像。

圖像處理可以對(duì)圖像進(jìn)行統(tǒng)一化和擴(kuò)充。項(xiàng)目中主要對(duì)圖像的大小進(jìn)行統(tǒng)一，采用灰度化、對(duì)比度等方式進(jìn)行圖像庫的擴(kuò)充，包括圖像縮放、歸一化、隨機(jī)旋轉(zhuǎn)、對(duì)比度增強(qiáng)等方法。

利用現(xiàn)有的210張侗族景觀圖像進(jìn)行預(yù)處理及增強(qiáng)，每張圖像擴(kuò)充成30張，得到總共6 300張圖像，用于深度學(xué)習(xí)模型訓(xùn)練。圖像中的語義單元分成6類，分別是天空、建筑、水面、森林、農(nóng)田、道路。

（3）模型訓(xùn)練

基于全卷積神經(jīng)網(wǎng)絡(luò)的圖像分割分成4個(gè)步驟，首先將圖像分成訓(xùn)練集、驗(yàn)證集、測(cè)試集3個(gè)部分[25]。然后采用Labelme軟件分別對(duì)訓(xùn)練集、驗(yàn)證集的圖像內(nèi)容進(jìn)行分類標(biāo)注，圖像中每類語義單元用一種顏色值表示。最后訓(xùn)練集數(shù)據(jù)訓(xùn)練圖像分割模型，并用驗(yàn)證集數(shù)據(jù)驗(yàn)證模型的分割精度，完成訓(xùn)練后保存模型并用測(cè)試集觀察圖像分割效果，用全卷積神經(jīng)網(wǎng)絡(luò)模型實(shí)現(xiàn)圖像分割。

圖像分割訓(xùn)練時(shí)采用batch大小為15，訓(xùn)練次數(shù)為2萬次，采用交叉熵評(píng)價(jià)圖像分割效果。采用酷睿i7處理器、20G內(nèi)存的計(jì)算機(jī)進(jìn)行機(jī)器學(xué)習(xí)模型訓(xùn)練，完成一次訓(xùn)練約20 h，訓(xùn)練交叉熵值和驗(yàn)證交叉熵值約為1.83。

2 結(jié)果與分析

2.1 侗族聚落景觀美景度（SBE）分析

在SBE景觀質(zhì)量評(píng)價(jià)實(shí)驗(yàn)中，聚落景觀美景度分值整體分布在-4.62~9.01；平均美景度為2.24；其中分值在0~4分最為集中。使用聚類分析將SBE值進(jìn)一步劃分為4等級(jí)，美景度等級(jí)劃分如表1所示。結(jié)果表明：美景度為高等級(jí)的個(gè)案數(shù)有32個(gè)，占比15%；美景度為中等偏上的個(gè)案數(shù)有77個(gè)，占比37%；美景度為中等偏下的個(gè)案數(shù)有74個(gè)，占比35%；美景度為低等級(jí)的個(gè)案數(shù)有27個(gè)，占比13%。整體來看，案例地大多數(shù)景觀樣點(diǎn)視覺質(zhì)量處于中等水平。

表1 美景度等級(jí)劃分

各類型景觀的SBE值分布情況，可從一定程度反映不同類型景觀之間的視覺質(zhì)量差異與公眾景觀偏好。本研究中5類景觀的SBE均值比較結(jié)果為：復(fù)合景觀（3.35）＞農(nóng)林景觀（3.12）＞濱水景觀（2.58）＞街巷景觀（1.76）＞建筑景觀（1.46）。復(fù)合景觀SBE分值上限、下線均為最高，說明其更受人們喜愛，且被認(rèn)為具有更高美學(xué)價(jià)值；其次是農(nóng)林與濱水景觀，較高分值上限表明田園風(fēng)光在聚落視覺景觀中占據(jù)重要地位，但其中也存在視覺質(zhì)量較低的部分；街巷與建筑景觀SBE值下限最低且出現(xiàn)了最低離群值，說明這兩類景觀視覺質(zhì)量大多不佳；全體圖像中得分最低的樣點(diǎn)出現(xiàn)在建筑景觀中，同時(shí)，與其他類型相比，建筑景觀分值波動(dòng)最大，說明其景觀視覺質(zhì)量最容易受到干擾和破壞。

2.2 侗族聚落景觀圖像的語義分割結(jié)果分析

利用全卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)圖像分割，在訓(xùn)練完深度學(xué)習(xí)模型后，將原有的210張?jiān)紙D像作為輸入，測(cè)試其輸出分類圖像，輸出的圖像中將每個(gè)素都?xì)w為一類，而不是具體的像素值。圖像分割效果如圖1所示。

圖1 圖像分割效果

圖1中左邊是原始圖像，右邊是為分割后的圖像，其中綠色區(qū)域表示建筑，紅色表示天空，紫色表示森林，粉色表示田地，黃色表示道路。經(jīng)過圖像分割，可以將一副圖像分成語義實(shí)體的有機(jī)組合。每張圖像用一個(gè)6維向量表示，分別代表5類語義塊的占比，用各語義塊的像素?cái)?shù)量與圖像的總像素相除得到。

2.3 美景度與圖像構(gòu)景要素占比回歸分析

為解決圖像拍攝中諸多條件不一致引發(fā)的美景度值變化的問題，利用專家分析法，篩選出95張陽光充足、景觀內(nèi)容本身沒有瑕疵的圖像進(jìn)行統(tǒng)計(jì)分析，旨在找到美景度與圖像內(nèi)容構(gòu)成比例之間的關(guān)系。其中濱水類13張，道路類12張，全景類27張，建筑類37張，農(nóng)林類6張。利用SPSS進(jìn)行回歸分析，得到SBE值與6類語義塊之間的關(guān)系。

經(jīng)過線性回歸分析得到R值為0.69，R方值為0.476，與0.5差別不大，更改F值為16.195，因?yàn)橐蜃兞坑?個(gè)，所以基本可以說明用回歸方程可以擬合描述出變量與SBE值的關(guān)系。

因?yàn)榻ㄖ拿娣e占比與其他5個(gè)變量具有線性相關(guān)性，所以便排除在回歸方程之外，最后得到SBE值與道路，水面、田地、樹木、天空等要素面積占比之間的關(guān)系回歸方程為公式（1）：

其中，X1為天空，X2為樹木，X3為田地，X4為水面，X5為道路?；貧w分析中除了道路的sig值為0.101，大于0.05外，其他的值均小于0.05，顯著性較強(qiáng)。

3 討論

本文利用全卷積神經(jīng)網(wǎng)絡(luò)圖像分割算法，實(shí)現(xiàn)侗族聚落景觀圖像語義分割。構(gòu)建了美景度與圖像語義單元占比回歸方程，對(duì)美景度進(jìn)行了定量分析。采用的圖像分割方法與閾值法、邊緣檢測(cè)法、區(qū)域生長法等傳統(tǒng)的分割方法相比，不僅分割前景和背景，且實(shí)現(xiàn)了圖像的內(nèi)容識(shí)別，圖像元素間具有語義聯(lián)系，符合人對(duì)圖像的理解。與基于卷積神經(jīng)網(wǎng)絡(luò)算法[16,19,25-27]以圖像為單位進(jìn)行分類不同，全卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了像素級(jí)分類，對(duì)圖像進(jìn)行了深層次分析,應(yīng)用于侗族景觀圖像分割，可以分析復(fù)雜的場(chǎng)景，開拓了新的圖像分割應(yīng)用領(lǐng)域。利用圖像語義塊的像素占比向量表示圖像，構(gòu)建美景度與圖像語義塊的線性回歸方程，發(fā)現(xiàn)美景度與構(gòu)圖、圖像內(nèi)容的關(guān)聯(lián)性，實(shí)現(xiàn)圖像構(gòu)成與美景度的聯(lián)系。本方法在圖像評(píng)價(jià)過程中減少了專家依賴，為建立全自動(dòng)圖像景觀評(píng)價(jià)系統(tǒng)，大規(guī)模自動(dòng)識(shí)別、評(píng)價(jià)景觀圖像打下了基礎(chǔ)。實(shí)驗(yàn)分析表明美景度與圖像內(nèi)容之間具有有機(jī)關(guān)聯(lián)，可以用線性方程表示。從SBE值與圖像內(nèi)容的回歸方程中可看出，侗族聚落景觀的美景度與樹木關(guān)聯(lián)性最強(qiáng)，其次是天空，與道路和田地的關(guān)聯(lián)性最弱。

由于本文景觀圖像來源于網(wǎng)絡(luò)，拍攝人員、環(huán)境、自然條件不統(tǒng)一，全部圖像不能用一個(gè)方程表示，需要介入專家進(jìn)行人工篩選，挑選出拍攝條件一致的圖像進(jìn)行回歸分析，而人工介入，會(huì)導(dǎo)致誤差疊加，回歸方程的擬合效果需要提升。在后續(xù)研究中，可通過控制拍攝條件并統(tǒng)一景觀區(qū)域，來提升圖像內(nèi)容分析的精確度。