基于深度學(xué)習(xí)和哈希方法的敦煌壁畫(huà)移動(dòng)視覺(jué)搜索研究

殷婕　曾子明　孫守強(qiáng)

關(guān)鍵詞： 移動(dòng)視覺(jué)搜索； 圖像； 敦煌壁畫(huà)； 深度學(xué)習(xí)； 哈希； 語(yǔ)義融合

ＤＯＩ：１０．３９６９ ／ ｊ．ｉｓｓｎ．１００８－０８２１．２０２３．０５．００４

〔中圖分類(lèi)號(hào)〕Ｇ２０３ 〔文獻(xiàn)標(biāo)識(shí)碼〕Ａ 〔文章編號(hào)〕１００８－０８２１ （２０２３） ０５－００３５－１１

文化遺產(chǎn)是人類(lèi)文明的載體， 文化遺產(chǎn)保護(hù)是全球高度重視的議題。敦煌石窟開(kāi)鑿于前秦建元二年， 融合中外多民族千余年的歷史文化， 形成了具有中國(guó)特色的佛教藝術(shù)體系， 敦煌壁畫(huà)是全面認(rèn)識(shí)中國(guó)藝術(shù)史必不可少的部分， 同時(shí)對(duì)于推動(dòng)現(xiàn)代藝術(shù)創(chuàng)新具有重要意義［１］ 。信息技術(shù)快速發(fā)展， 文化遺產(chǎn)數(shù)字化進(jìn)程加快， 敦煌壁畫(huà)修復(fù)技術(shù)和數(shù)字化采集技術(shù)日趨成熟， 圖書(shū)館、檔案館和博物館（Ｌｉ?ｂｒａｒｉｅｓ， Ａｒｃｈｉｖｅｓ ａｎｄ Ｍｕｓｅｕｍｓ， ＬＡＭｓ）中存儲(chǔ)了大量敦煌壁畫(huà)圖像資源。因其抽象的視覺(jué)表現(xiàn)形式和晦澀的圖像語(yǔ)義內(nèi)容， 用戶(hù)難以用準(zhǔn)確語(yǔ)言描述搜索對(duì)象， 敦煌壁畫(huà)存在搜索難度大、資源利用率低等問(wèn)題， 阻礙科研人員對(duì)敦煌壁畫(huà)研究工作的開(kāi)展， 打擊用戶(hù)通過(guò)搜索敦煌壁畫(huà)了解敦煌文化的積極性。

移動(dòng)視覺(jué)搜索（Ｍｏｂｉｌｅ Ｖｉｓｕａｌ Ｓｅａｒｃｈ， ＭＶＳ）借助移動(dòng)設(shè)備上傳實(shí)體的視覺(jué)資源， 并在網(wǎng)絡(luò)上搜索相關(guān)信息［２］ 。將該項(xiàng)技術(shù)應(yīng)用到敦煌壁畫(huà)搜索領(lǐng)域能有效提高資源獲取效率， 在壁畫(huà)實(shí)體修復(fù)與保護(hù)、數(shù)字化采集與存儲(chǔ)等環(huán)節(jié)的基礎(chǔ)上， 從資源利用與信息傳播角度助力敦煌文化遺產(chǎn)保護(hù)與文化傳承。移動(dòng)視覺(jué)搜索強(qiáng)調(diào)移動(dòng)泛在、實(shí)時(shí)便捷的用戶(hù)體驗(yàn)， 在網(wǎng)絡(luò)覆蓋環(huán)境下對(duì)模型計(jì)算速度、信息傳輸穩(wěn)定性等技術(shù)要求更高， 其準(zhǔn)確性、完整性、靈活性等是影響用戶(hù)體驗(yàn)的核心要素［３］ 。

傳統(tǒng)基于文本的圖像檢索只考慮文本關(guān)鍵詞，缺少圖像特征融合， 導(dǎo)致搜索準(zhǔn)確性不高。基于內(nèi)容的圖像檢索存在語(yǔ)義鴻溝， 圖像高層語(yǔ)義和用戶(hù)檢索意圖未被考慮。目前深度卷積神經(jīng)網(wǎng)絡(luò)（ＤｅｅｐＣｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ， ＤＣＮＮ）性能突出［４－６］ ，能提取到敦煌壁畫(huà)更復(fù)雜和更深層的圖像特征， 語(yǔ)義標(biāo)簽文本特征的融合能減少圖像語(yǔ)義鴻溝， 彌補(bǔ)傳統(tǒng)圖像檢索的不足。使用ＤＣＮＮ 提取圖像特征時(shí)， 高維的特征向量對(duì)設(shè)備的存儲(chǔ)能力和計(jì)算性能要求較高， 導(dǎo)致搜索耗時(shí)長(zhǎng)、端到端成功率無(wú)法保證， 會(huì)嚴(yán)重影響用戶(hù)搜索體驗(yàn)。在此基礎(chǔ)上引入哈希方法對(duì)高維圖像特征向量進(jìn)行壓縮， 能提高計(jì)算速度和傳輸穩(wěn)定性。因此， 本文基于ＤＣＮＮ 和哈希方法并融合圖像語(yǔ)義特征構(gòu)建敦煌壁畫(huà)的移動(dòng)視覺(jué)搜索模型， 為用戶(hù)提供結(jié)果準(zhǔn)確、檢索快速、知識(shí)豐富的即時(shí)即地資源獲取服務(wù)， 幫助用戶(hù)深入理解敦煌壁畫(huà)內(nèi)涵。

１相關(guān)研究

１.１敦煌壁畫(huà)

敦煌壁畫(huà)融合東西方特色， 蘊(yùn)藏豐富的經(jīng)濟(jì)、政治、宗教和文化內(nèi)涵， 是研究古代歷史最有價(jià)值的文化遺產(chǎn)之一。學(xué)者以敦煌壁畫(huà)為對(duì)象， 研究古代絲綢之路上的文化交融、歷史變遷、禮儀功能、人與自然、宗教信仰等； 從線(xiàn)條語(yǔ)言、色彩語(yǔ)言、人物形象、圖像敘事、情感表達(dá)等角度探討敦煌壁畫(huà)對(duì)現(xiàn)代服裝設(shè)計(jì)、建筑設(shè)計(jì)、構(gòu)圖與美術(shù)創(chuàng)作、影視動(dòng)畫(huà)創(chuàng)作等領(lǐng)域的影響與啟發(fā)。

敦煌壁畫(huà)是數(shù)字人文領(lǐng)域的重點(diǎn)研究對(duì)象。

“數(shù)字人文” 起源于“人文計(jì)算”［７］ ， 涉及多學(xué)科有機(jī)融合， 強(qiáng)調(diào)對(duì)計(jì)算機(jī)科學(xué)和人文社會(huì)科學(xué)交叉領(lǐng)域的研究創(chuàng)新以及數(shù)字技術(shù)在文化傳播中的應(yīng)用， 引發(fā)了傳統(tǒng)人文研究范式的變革， 推動(dòng)了人文社會(huì)科學(xué)研究的進(jìn)步［８］ 。王曉光等［９］ 搭建敦煌壁畫(huà)語(yǔ)義框架并構(gòu)建領(lǐng)域詞匯， 解決圖像檢索中的語(yǔ)義鴻溝問(wèn)題。Ｚｅｎｇ Ｚ 等［１０］ 使用視覺(jué)詞袋方法提取壁畫(huà)圖像特征并用支持向量機(jī)進(jìn)行圖像分類(lèi)， 探討敦煌壁畫(huà)的主題分布特點(diǎn)和朝代演變規(guī)律。ＷａｎｇＨ 等［１１］ 研究了基于生成對(duì)抗網(wǎng)絡(luò)的敦煌壁畫(huà)修復(fù)技術(shù)， 通過(guò)學(xué)習(xí)退化和恢復(fù)的壁畫(huà)紋理之間的關(guān)聯(lián)， 實(shí)現(xiàn)壁畫(huà)的自動(dòng)修復(fù)。李清泉等［１２］ 提出了基于線(xiàn)描圖稀疏編碼的壁畫(huà)修復(fù)算法。陳永等［１３］ 改進(jìn)曲率擴(kuò)散算法， 結(jié)合自適應(yīng)策略研究壁畫(huà)的修復(fù)方法。Ｆｕ Ｘ 等［１４］ 設(shè)計(jì)了基于虛擬現(xiàn)實(shí)的ＲｅｓｔｏｒｅＶＲ系統(tǒng)， 讓用戶(hù)在洞窟的數(shù)字游覽中體驗(yàn)敦煌壁畫(huà)復(fù)原。“數(shù)字敦煌” 項(xiàng)目利用科學(xué)技術(shù)完成對(duì)敦煌文化遺產(chǎn)的數(shù)字化采集、處理和保存［１５］，通過(guò)構(gòu)建多模態(tài)互聯(lián)的敦煌數(shù)字化資源庫(kù)在世界范圍共享［１６］ 。但是， 如何高效、便捷搜索敦煌壁畫(huà)提高文化遺產(chǎn)資源利用率的研究還不夠充分。

１.２移動(dòng)視覺(jué)搜索

移動(dòng)視覺(jué)搜索由Ｄａｖｉｄ Ｍ Ｃ 等［１７］ 于２００９年首次提出， 關(guān)鍵技術(shù)涉及關(guān)鍵點(diǎn)檢測(cè)、特征提取、特征表示、特征索引等［１８］ ； 被廣泛應(yīng)用于植物、雜志、購(gòu)物、旅游、地標(biāo)、博物館、圖書(shū)館等多個(gè)領(lǐng)域［１９］ 。圖博檔中存儲(chǔ)的大量非結(jié)構(gòu)化數(shù)據(jù)資源于數(shù)字人文研究而言具有極高價(jià)值［２０］ 。然而資源利用效率低下是當(dāng)今圖博檔建設(shè)面臨的主要問(wèn)題之一， 研究移動(dòng)視覺(jué)搜索在該領(lǐng)域的應(yīng)用， 優(yōu)化資源獲取服務(wù)是解決此問(wèn)題的有效途徑［２１］ 。

在數(shù)字人文領(lǐng)域視覺(jué)資源組織中， 移動(dòng)視覺(jué)搜索作為核心技術(shù)， 提高了圖書(shū)館資源組織效率和知識(shí)服務(wù)水平［２２］ 。在體系結(jié)構(gòu)與服務(wù)模式研究方面，張玥等［２３］ 提出了圖書(shū)館文旅融合發(fā)展的ＭＶＳ 解決方案。韓璽等［２４］ 融合用戶(hù)、資源、服務(wù)、時(shí)空、技術(shù)、線(xiàn)索要素， 設(shè)計(jì)了基于情景感知的ＭＶＳ 服務(wù)。李晨暉等［２５］ 以文化遺產(chǎn)數(shù)字化為基礎(chǔ)， 對(duì)數(shù)字圖書(shū)館ＭＶＳ 機(jī)制建設(shè)提出了新的見(jiàn)解。曾子明等［２６］ 構(gòu)建模型為讀者提供情景化服務(wù)， 提升了文化遺產(chǎn)領(lǐng)域知識(shí)服務(wù)的智慧化水平； 在模型中引入用戶(hù)畫(huà)像概念， 解決用戶(hù)搜索過(guò)程中的個(gè)性化需求滿(mǎn)足問(wèn)題［２７］ 。李默［２８］ 討論了將深度學(xué)習(xí)應(yīng)用到智慧圖書(shū)館ＭＶＳ 的可行性， 提出了基于深度學(xué)習(xí)的服務(wù)模式。董晶等［２９］ 基于該技術(shù)構(gòu)建了智慧公共文化服務(wù)模型。在技術(shù)研究方面， 秦思琪等［３０］ 從提取圖像語(yǔ)義特征和提高搜索速度出發(fā)， 將哈希編碼嵌入卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行端到端的圖像特征提取和壓縮， 實(shí)現(xiàn)了數(shù)字人文領(lǐng)域資源的圖像檢索， 但該方法缺乏資源針對(duì)性且搜索性能有待提升。曾子明等［３１］ 搭建了基于視覺(jué)詞袋（Ｂａｇ－ｏｆ－Ｗｏｒｄｓ， ＢｏＷ）的ＭＶＳ 模型， 但該模型使用機(jī)器學(xué)習(xí)方法提取圖像特征， 敦煌壁畫(huà)的深層特征和高層語(yǔ)義未被考慮，且搜索性能仍有提升空間。已有研究聚焦在體系結(jié)構(gòu)與服務(wù)模式的探討， 而技術(shù)研究主要圍繞普適性的搜索方法或模型框架展開(kāi)， 欠缺對(duì)領(lǐng)域資源特征的考慮， 且搜索性能亟需提升。

１.３ＤＣＮＮ 和哈希方法

隨著計(jì)算能力的提高， 深度學(xué)習(xí)在圖像特征提取上顯示出了優(yōu)越的性能。ＡｌｅｘＮｅｔ［３２］ 、ＶＧＧ１６［３３］ 、ＶＧＧ１９［３４］ 、ＲｅｓＮｅｔ［３５］ 、ＤｅｎｓｅＮｅｔ［３６］ 、Ｉｎｃｅｐｔｉｏｎ［３７］ 、ＩｎｃｅｐｔｉｏｎＲｅｓＮｅｔ［３８］ 、Ｘｃｅｐｔｉｏｎ［３９］ 、ＮａｓＮｅｔ［４０］ 、Ｅｆｆｉ?ｃｉｅｎｔＮｅｔ［４１］ 等多個(gè)ＤＣＮＮ 算法被相繼提出。在應(yīng)用層面， Ｌｉ Ｗ 等［４２］ 設(shè)計(jì)了基于ＤＣＮＮ 的車(chē)位檢測(cè)方法， 對(duì)于從不同角度觀(guān)察到的不同形狀的停車(chē)位，根據(jù)入口線(xiàn)的類(lèi)型、位置、長(zhǎng)度和方向等特征推斷出完整的停車(chē)位。Ｎａｎｄａｇｏｐａｌ Ｓ 等［４３］ 基于關(guān)鍵點(diǎn)提取和ＤＣＮＮ 設(shè)計(jì)了人體姿勢(shì)估計(jì)模型， 可用于多場(chǎng)景的人體動(dòng)作識(shí)別。Ｉｓｌａｍ Ｍ Ｓ 等［４４］ 提出了一種基于ＤｅｎｓｅＮｅｔ 的新冠肺炎圖像識(shí)別方法， 從胸部Ｘ 光圖像中檢測(cè)新冠肺炎、普通肺炎和正常病例。哈希方法是一種輸出特定長(zhǎng)度二進(jìn)制編碼的加密算法， 現(xiàn)在多被用于區(qū)塊鏈［４５］ 、云計(jì)算［４６］ 等場(chǎng)景。除用于加密傳輸外， 也有可直接用于相似圖像計(jì)算的感知哈希、均值哈希和差異哈希， 以及用于相似文本計(jì)算的ＳｉｍＨａｓｈ［４７］ 等。

在移動(dòng)視覺(jué)搜索的圖像特征提取過(guò)程中， 部分學(xué)者將深度學(xué)習(xí)和哈希方法結(jié)合， 同時(shí)實(shí)現(xiàn)特征的精確提取和快速計(jì)算。主要有先使用算法完成圖像特征提取再進(jìn)行哈希壓縮［４８－４９］，以及在神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中嵌入隱藏層構(gòu)造端到端的圖像特征二進(jìn)制編碼輸出模型［５０－５１］兩種模式。前者的特征提取和壓縮過(guò)程相對(duì)獨(dú)立， 方便對(duì)各模塊進(jìn)行單獨(dú)優(yōu)化， 在不同數(shù)據(jù)集上尋求更好的效果； 后者將圖像處理過(guò)程封裝， 能充分利用深度學(xué)習(xí)機(jī)制的優(yōu)勢(shì)， 但泛化能力相對(duì)較弱。綜上， 本文提出基于深度學(xué)習(xí)和哈希方法的語(yǔ)義融合ＭＶＳ 模型， 同時(shí)構(gòu)建包含人工語(yǔ)義標(biāo)注的敦煌壁畫(huà)圖像數(shù)據(jù)集， 以驗(yàn)證該模型搜索敦煌壁畫(huà)的優(yōu)越性。

２基于ＤＣＮＮ 和哈希方法的移動(dòng)視覺(jué)搜索模型構(gòu)建

基于ＤＣＮＮ 和哈希方法， 融合圖像語(yǔ)義特征，構(gòu)建敦煌壁畫(huà)移動(dòng)視覺(jué)搜索模型， 如圖１ 所示， 實(shí)現(xiàn)敦煌壁畫(huà)的高效便捷搜索。本文創(chuàng)新點(diǎn)如下： ①技術(shù)層面?？紤]資源特征和用戶(hù)需求， 構(gòu)建了全新的移動(dòng)視覺(jué)搜索模型； 結(jié)合深度學(xué)習(xí)和哈希方法，在特征提取準(zhǔn)確性和模型計(jì)算效率上改進(jìn)傳統(tǒng)基于機(jī)器學(xué)習(xí)方法的移動(dòng)視覺(jué)搜索； 此外， 通過(guò)融合語(yǔ)義特征并對(duì)搜索結(jié)果進(jìn)行重排序， 解決圖像搜索的語(yǔ)義鴻溝問(wèn)題， 返回更貼近用戶(hù)檢索意圖的可視化結(jié)果； ②應(yīng)用層面。將移動(dòng)視覺(jué)搜索的理念應(yīng)用到敦煌壁畫(huà)的資源獲取， 打破傳統(tǒng)信息檢索的時(shí)空限制， 提高敦煌壁畫(huà)資源的利用率， 亦可將該模型用于數(shù)字人文領(lǐng)域的其他視覺(jué)資源檢索， 促進(jìn)數(shù)字人文研究與文化交流。

基于標(biāo)準(zhǔn)化架構(gòu)［１８］ ， 模型搭建具體步驟為：①資源庫(kù)構(gòu)建： 向系統(tǒng)上傳敦煌壁畫(huà)原始圖像， 根據(jù)壁畫(huà)內(nèi)容和主題進(jìn)行人工語(yǔ)義標(biāo)注， 構(gòu)建敦煌壁畫(huà)圖像庫(kù)和語(yǔ)義庫(kù)； ②圖像特征提?。?用戶(hù)于移動(dòng)端上傳待檢索圖像并傳輸至云服務(wù)器， 模型在服務(wù)器端使用ＤＣＮＮ 完成圖像特征提??； ③圖像特征壓縮： 使用哈希算法將特征向量壓縮為哈希編碼，計(jì)算漢明距離與資源庫(kù)中的圖像進(jìn)行相似圖像匹配， 鎖定ｔｏｐ－１ 相似圖像； ④語(yǔ)義特征融合： 使用ＳｉｍＨａｓｈ 處理語(yǔ)義標(biāo)簽， 融合圖文特征， 計(jì)算ｔｏｐ－１圖文特征與資源庫(kù)中其余圖文特征的漢明距離進(jìn)行二次匹配和重排序， 得到最相似的前１６ 個(gè)圖文組合， 最后將搜索結(jié)果可視化并返回用戶(hù)端。

２.１圖像特征提取

當(dāng)前移動(dòng)視覺(jué)搜索模型普遍采用機(jī)器學(xué)習(xí)方法提取圖像特征， 如ＳＩＦＴ（Ｓｃａｌｅ－Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓ?ｆｏｒｍ）、ＳＵＲＦ（Ｓｐｅｅｄｅｄ －Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）、ＨＳＶ（Ｈｕｅ， Ｓａｔｕｒａｔｉｏｎ， Ｖａｌｕｅ）、ＨＯＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎ?ｔｅｄ Ｇｒａｄｉｅｎｔｓ）等。此類(lèi)方法提取到的特征維度不高，能較好滿(mǎn)足移動(dòng)視覺(jué)搜索對(duì)設(shè)備性能的要求， 但基于機(jī)器學(xué)習(xí)的圖像特征提取僅能檢測(cè)圖像局部特征點(diǎn)或淺層的全局特征。在計(jì)算機(jī)視覺(jué)領(lǐng)域， 圖像的顏色、紋理、幾何形狀等屬于全局特征， 容易受到拍攝環(huán)境和拍攝角度的影響， 可以通過(guò)ＨＳＶ、ＨＯＧ等方法實(shí)現(xiàn)提取， 若僅提取敦煌壁畫(huà)的全局特征，用戶(hù)實(shí)地參觀(guān)時(shí)， 通過(guò)拍攝上傳的方式進(jìn)行搜索的效果會(huì)大打折扣； 局部特征是在圖像內(nèi)部選擇能夠代表圖像主要內(nèi)容的特征點(diǎn)， 這些特征點(diǎn)可以在方向、大小上進(jìn)行調(diào)整， 提高了特征匹配的靈活性和魯棒性， ＳＩＦＴ、ＳＵＲＦ 等是使用較多的局部特征提取方法， 但對(duì)于富含語(yǔ)義內(nèi)容的敦煌壁畫(huà)而言， 語(yǔ)義鴻溝問(wèn)題難以解決。

２０１２年， ＤＣＮＮ 被首次用于ＩｍａｇｅＮｅｔ 的圖像分類(lèi)， 同時(shí)ＡｌｅｘＮｅｔ 算法模型被提出［３２］ 。此后的模型多是基于ＡｌｅｘＮｅｔ 從增加神經(jīng)網(wǎng)絡(luò)的深度、寬度、優(yōu)化特征傳輸效率等維度去優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)， 實(shí)現(xiàn)模型精度和計(jì)算效率的提高。ＶＧＧ１６［３３］和ＶＧＧ１９［３４］ 主要通過(guò)增加網(wǎng)絡(luò)的深度來(lái)提高模型性能， 將ＡｌｅｘＮｅｔ 中較大卷積核替換成堆疊的３×３卷積核， 增加網(wǎng)絡(luò)層數(shù)的同時(shí)減少參數(shù)量， ＶＧＧ１９比ＶＧＧ１６ 更深， 特征提取效果更好。ＲｅｓＮｅｔ 從特征利用角度切入， 首次引入殘差連接來(lái)優(yōu)化全連接導(dǎo)致的信息丟失現(xiàn)象［３５］ 。ＤｅｎｓｅＮｅｔ 延續(xù)了ＲｅｓＮｅｔ的思想， 每個(gè)卷積層與其他所有卷積層通過(guò)前饋方式連接， 傳統(tǒng)Ｌ 層的卷積網(wǎng)絡(luò)有Ｌ 個(gè)連接， 在ＤｅｎｓｅＮｅｔ 中有Ｌ（Ｌ＋１） ／ ２ 個(gè)連接， 從而加強(qiáng)特征傳遞并減輕因?yàn)榫W(wǎng)絡(luò)太深帶來(lái)的梯度消失問(wèn)題［３６］ 。在增加寬度方面， Ｉｎｃｅｐｔｉｏｎ 將不同數(shù)量的卷積和池化組合成一個(gè)更寬的模塊， 整個(gè)網(wǎng)絡(luò)由多個(gè)不同的模塊以稀疏連接的方式堆疊加深［３７］ 。ＩｎｃｅｐｔｉｏｎＲｅｓ?ｎｅｔ 在Ｉｎｃｅｐｔｉｏｎ 基礎(chǔ)上引入殘差結(jié)構(gòu)， ＲｅｓＮｅｔ 提供了有效地將上一層的特征匯總到下一層的快捷鏈接， 從而最大限度地利用這些特征并獲得更高的精度［３８］ 。Ｘｃｅｐｔｉｏｎ 將原Ｉｎｃｅｐｔｉｏｎ 的模塊更換成深度可分離卷積， 以此來(lái)減少模型參數(shù)， 提升模型計(jì)算效率， 同時(shí)使用殘差連接來(lái)加快模型收斂， 提高準(zhǔn)確率［３９］ 。ＮａｓＮｅｔ 基本思想與Ｉｎｃｅｐｔｉｏｎ 類(lèi)似， 但在細(xì)節(jié)結(jié)構(gòu)上更復(fù)雜， 在ＩｍａｇｅＮｅｔ 上圖像分類(lèi)的準(zhǔn)確率優(yōu)于所有的Ｉｎｃｅｐｔｉｏｎ 模型， 且支持調(diào)整模型大小來(lái)實(shí)現(xiàn)準(zhǔn)確率和計(jì)算量的平衡［４０］ 。此外， Ｅｆ?ｆｉｃｉｅｎｔＮｅｔ 同時(shí)增加神經(jīng)網(wǎng)絡(luò)的深度、寬度和分辨率， 使用縮放系數(shù)實(shí)現(xiàn)這３ 個(gè)維度在不同數(shù)據(jù)集上的平衡以達(dá)到最優(yōu)效果［４１］ 。

模型在圖像特征提取模塊采用深度卷積神經(jīng)網(wǎng)絡(luò)提取敦煌壁畫(huà)更深層和復(fù)雜的圖像特征， 并綜合考慮底層特征和高層語(yǔ)義。由于敦煌壁畫(huà)在線(xiàn)條、構(gòu)圖、顏色等繪制元素上呈現(xiàn)出豐富的視覺(jué)特征以及具有價(jià)值極高的抽象語(yǔ)義特征， 實(shí)驗(yàn)部分探索不同優(yōu)化方式的ＤＣＮＮ 在敦煌壁畫(huà)圖像上的表現(xiàn)差異， 在更深的網(wǎng)絡(luò)上選擇ＶＧＧ１９， 更寬的網(wǎng)絡(luò)上選擇Ｉｎｃｅｐｔｉｏｎ、ＩｎｃｅｐｔｉｏｎＲｅｓｎｅｔ、Ｘｃｅｐｔｉｏｎ 和ＮＡＳ?Ｎｅｔ， 在優(yōu)化特征傳遞效率方面選擇具有代表性的ＤｅｎｓｅＮｅｔ， 在多維度優(yōu)化上選擇最新的Ｅｆｆｉｃｉｅｎｔ?Ｎｅｔ； 并選出在敦煌壁畫(huà)ＭＶＳ 模型中性能最優(yōu)的算法。如圖２ 所示， 使用ＤＣＮＮ 提取敦煌壁畫(huà)圖像特征時(shí)， 輸入原始圖像后， 首先在壁畫(huà)圖像上移動(dòng)卷積核并執(zhí)行計(jì)算， 得到一組平行的特征圖， 即卷積層； 隨后進(jìn)行池化操作， 對(duì)特征圖進(jìn)行降采樣， 保留重要的壁畫(huà)特征信息， 減小圖像空間大小， 能減少過(guò)擬合率， 加快計(jì)算速度； 最后在經(jīng)過(guò)多個(gè)卷積層和池化層之后， 通過(guò)全連接層進(jìn)行輸出， 得到敦煌壁畫(huà)圖像的特征表示。

２.２圖像特征壓縮

３實(shí)驗(yàn)方法與結(jié)果分析

３.１數(shù)據(jù)收集與處理

１）本文從《中國(guó)敦煌壁畫(huà)全集》［５４］上收集敦煌壁畫(huà)圖像， 為保證樣本平衡性， 從北魏到西夏元１０個(gè)時(shí)期中各抽?。保玻?張壁畫(huà)， 構(gòu)建總數(shù)為１２００張的圖像數(shù)據(jù)集。

２）根據(jù)敦煌壁畫(huà)內(nèi)容和主題， 人工添加語(yǔ)義標(biāo)簽構(gòu)建文本數(shù)據(jù)集， 邀請(qǐng)５位熟悉敦煌壁畫(huà)的研究人員從壁畫(huà)的描述中提取標(biāo)簽進(jìn)行語(yǔ)義標(biāo)注， 其中４位研究人員被分成兩組并行完成圖像初始標(biāo)注， １位博士負(fù)責(zé)核查兩組標(biāo)注的最終結(jié)果。語(yǔ)義標(biāo)簽主要集中在“菩薩” “飛天” “觀(guān)音” “說(shuō)法”“藻井”“文殊”“觀(guān)無(wú)量壽經(jīng)變”“彌勒經(jīng)變”“維摩詰經(jīng)變” “天王” “力士” 等。不同朝代的敦煌壁畫(huà)圖像前２０個(gè)高頻主題的語(yǔ)義標(biāo)簽如表１所示。

３.２實(shí)驗(yàn)環(huán)境與實(shí)驗(yàn)設(shè)計(jì)

實(shí)驗(yàn)環(huán)境為Ｗｉｎｄｏｗ１０， ６４ 位操作系統(tǒng)， ３２Ｇ 運(yùn)行內(nèi)存， ＲＴＸ３０６０－６Ｇ 獨(dú)顯， ＡＭＤ Ｒｙｚｅｎ ７ ５８００Ｈｗｉｔｈ Ｒａｄｅｏｎ Ｇｒａｐｈｉｃｓ ３ ２０ ＧＨｚ 處理器， Ｐｙｃｈａｒｍ＋Ａｎａｃｏｎｄａ， Ｐｙｔｈｏｎ３ ９， 加載Ｓｃｉｋｉｔ－Ｌｅａｒｎ， ＯｐｅｎＣＶ－３ ４ ２ １６ 庫(kù)等。設(shè)計(jì)兩個(gè)實(shí)驗(yàn)： 實(shí)驗(yàn)一， 篩選圖像特征提取算法與圖像特征壓縮算法的最優(yōu)組合； 實(shí)驗(yàn)二， 在實(shí)驗(yàn)一的基礎(chǔ)上進(jìn)行模型對(duì)比， 并驗(yàn)證模型搜索效果。選擇平均搜索時(shí)間、特征存儲(chǔ)空間作為無(wú)序搜索結(jié)果評(píng)價(jià)指標(biāo)； 選擇Ｐ＠ ｋ（ｋ ＝ ４、８、１６）、Ｒ＠ ｋ（ｋ＝ ４、８、１６）、ｍＡＰ 作為有序搜索結(jié)果評(píng)價(jià)指標(biāo)。Ｐ＠ ｋ 用于衡量前ｋ 個(gè)搜索結(jié)果的準(zhǔn)確率， Ｒ＠ ｋ 用于衡量前ｋ 個(gè)搜索結(jié)果的召回率，ｍＡＰ 可綜合反映模型的平均搜索性能［３０］ 。

３.３基于ＤＣＮＮ 和哈希方法的相似圖像搜索

３.３.１最優(yōu)算法組合選取

實(shí)驗(yàn)一使用ＤｅｎｓｅＮｅｔ、ＥｆｆｉｃｉｅｎｔＮｅｔ、Ｉｎｃｅｐｔｉｏｎ、ＩｎｃｅｐｔｉｏｎＲｅｓｎｅｔ、ＮＡＳＮｅｔ、ＶＧＧ１９、Ｘｃｅｐｔｉｏｎ 提取敦煌壁畫(huà)圖像特征； 使用ＭＤ５、ＳＨＡ２ 壓縮圖像特征， ＭＤ５ 將高維圖像特征向量壓縮至１２８ 位的哈希編碼（ＭＤ５－１２８）， ＳＨＡ２ 將向量壓縮至２１６ 位（ＳＨＡ２－２５６）和５１２ 位（ＳＨＡ２－５１２）； 并使用Ｓｉｍ?Ｈａｓｈ 算法提取語(yǔ)義標(biāo)簽的文本特征進(jìn)行圖文特征融合與重排序。如圖３ 所示， ＭＤ５ 算法與各ＤＣＮＮ算法組合的平均搜索性能顯著優(yōu)于使用ＳＨＡ２ 壓縮圖像特征的各算法組合， 其中ＭＤ５ 與ＥｆｆｉｃｉｅｎｔＮｅｔ組合時(shí)模型平均搜索性能最好（ｍＡＰ ＝０.６９９３）。如圖４ 所示， 隨著壓縮后圖像特征維度的升高， 模型搜索的準(zhǔn)確率和召回率均有下降， 最終導(dǎo)致模型平均搜索性能的下降。一方面， 特征編碼的維度越高， 稀疏性越強(qiáng)； 另一方面， 在壓縮過(guò)程中ＳＨＡ２比ＭＤ５ 信息丟失更多， 影響特征區(qū)分和相似度計(jì)算。ＭＤ５ 具有易計(jì)算、抗修改碰撞等特點(diǎn)［５５］ ， 在敦煌壁畫(huà)圖像數(shù)據(jù)集上表現(xiàn)更好。

模型選用ＥｆｆｉｃｉｅｎｔＮｅｔ 提取敦煌壁畫(huà)圖像特征，再用ＭＤ５ 將圖像特征壓縮為１２８ 位的哈希編碼，此時(shí)模型在存儲(chǔ)空間占用（０.３ＭＢ， 如圖４ 所示）和平均搜索時(shí)間（０.５６ｓ， 如圖５ 所示）上均呈現(xiàn)出顯著優(yōu)勢(shì)。ＥｆｆｉｃｉｅｎｔＮｅｔ在進(jìn)行模型縮放時(shí)， 同時(shí)提升了神經(jīng)網(wǎng)絡(luò)的深度、寬度和分辨率， 并通過(guò)平衡這３ 種縮放以實(shí)現(xiàn)更好的效果， 使得模型在保證性能的同時(shí)能提取到敦煌壁畫(huà)圖像更深層且復(fù)雜的特征， 相比其他ＤＣＮＮ 算法在敦煌壁畫(huà)圖像特征提取上具有更高的精度和效率。

３.３.２模型效果驗(yàn)證

實(shí)驗(yàn)二進(jìn)行模型對(duì)比實(shí)驗(yàn)： ①與未使用Ｓｉｍ?Ｈａｓｈ 提取語(yǔ)義特征的Ｅｆｆｉｃｉｅｎｔ＋ＭＤ５模型對(duì)比， 突出語(yǔ)義融合效果； ②與僅使用ＥｆｆｉｃｉｅｎｔＮｅｔ 提取圖像特征、不進(jìn)行哈希壓縮、未融合語(yǔ)義特征的相似圖像搜索模型對(duì)比， 體現(xiàn)特征壓縮效果； ③與敦煌壁畫(huà)移動(dòng)視覺(jué)搜索領(lǐng)域最新的ＢｏＷ＿ＳＩＦＴ（ｎｕｍ＿ｗｏｒｄ＝１０００）［３１］ 模型對(duì)比， 驗(yàn)證模型性能提升。如圖６ 所示， 將ＥｆｆｉｃｉｅｎｔＮｅｔ 用于圖像特征提取后，用ＭＤ５算法壓縮圖像特征， 并融合ＳｉｍＨａｓｈ 提取的語(yǔ)義標(biāo)簽的文本特征時(shí)， 模型搜索性能（ｍＡＰ ＝０.６９９３）顯著高于①未使用Ｓｉｍｈａｓｈ 進(jìn)行語(yǔ)義融合的模型（ｍＡＰ ＝ ０.２８１３）； ②僅使用ＥｆｆｉｃｉｅｎｔＮｅｔ 提取圖像特征的模型（ｍＡＰ ＝０.３５７６）； ③當(dāng)前最新的ＢｏＷ＿ＳＩＦＴ 模型（ｍＡＰ ＝ ０.２８６６）。從模型搭建來(lái)看， 使用ＥｆｆｉｃｉｅｎｔＮｅｔ 深度學(xué)習(xí)方法提取敦煌壁畫(huà)圖像特征時(shí)， 相比于基于ＢｏＷ＿ＳＩＦＴ 機(jī)器學(xué)習(xí)方法的模型的準(zhǔn)確率和召回率有明顯提升， ｍＡＰ 值提高０.０７１０； 但同時(shí)在存儲(chǔ)空間占用和平均搜索時(shí)間上有顯著升高， 該問(wèn)題在引入ＭＤ５ 算法進(jìn)行特征壓縮后得到解決， 且存儲(chǔ)空間占用遠(yuǎn)低于原ＢｏＷ＿ＳＩＦＴ 模型， 如圖７ 所示。融合語(yǔ)義特征后，模型搜索時(shí)間略微增加， 但對(duì)用戶(hù)搜索體驗(yàn)影響不大； 而此時(shí)模型搜索性能較其他組合優(yōu)勢(shì)十分顯著， ｍＡＰ 值比僅考慮圖像特征時(shí)提升０.４１８０， 說(shuō)明敦煌壁畫(huà)圖像搜索的語(yǔ)義鴻溝問(wèn)題得到有效改善。從整體來(lái)看， 該模型ｍＡＰ 值為０.６９９３、存儲(chǔ)空間占用０.３ＭＢ、平均搜索時(shí)間０.５６ｓ， 在搜索性能和空間占用上顯著優(yōu)于ＢｏＷ＿ＳＩＦＴ模型， 本模型在同類(lèi)模型中的優(yōu)越性得到驗(yàn)證， 能有效實(shí)現(xiàn)敦煌壁畫(huà)的移動(dòng)視覺(jué)搜索。

因此， 模型首先使用ＥｆｆｉｃｉｅｎｔＮｅｔ 提取敦煌壁畫(huà)圖像特征， 然后使用ＭＤ５將圖像特征壓縮為１２８維的圖像特征向量； 同時(shí)用ＳｉｍＨａｓｈ 提取語(yǔ)義標(biāo)簽的文本特征， 表示為１２８ 維的文本特征向量。在輸入圖像進(jìn)行搜索時(shí)， 根據(jù)圖像特征的漢明距離進(jìn)行相似圖像匹配， 如圖８（ａ）所示； 提?。簦铮穑?返回結(jié)果， 拼接圖像和文本特征， 再次計(jì)算漢明距離，返回最相似的前１６ 項(xiàng)搜索結(jié)果并輸出， 如圖８（ｂ）所示。

在通過(guò)相似圖像匹配得到的搜索結(jié)果中， 僅能精準(zhǔn)匹配最相似圖像， 返回的其余圖像與目標(biāo)圖像關(guān)聯(lián)不大。如圖８（ａ）所示， 輸入待搜索圖像， 返回一組在圖像底層特征上相似的壁畫(huà)圖像， 除了有體現(xiàn)“供養(yǎng)人” 的ｔｏｐ－１ 相似圖像外， 還有體現(xiàn)“飛天” （ｒｅｓｕｌｔ ９）、“菩薩” （ｒｅｓｕｌｔ １０）、“藻井”（ｒｅｓｕｌｔ １４）等元素的壁畫(huà)圖像。在融合語(yǔ)義特征后， 向模型輸入目標(biāo)圖像能同時(shí)返回視覺(jué)特征相似圖像和語(yǔ)義特征相似圖像， 并加以語(yǔ)義標(biāo)簽輔助用戶(hù)對(duì)壁畫(huà)的理解。如圖８（ｂ）所示， 輸入未知語(yǔ)義的待搜索圖像， 模型返回與目標(biāo)圖像視覺(jué)上最相似的圖像和語(yǔ)義標(biāo)簽“供養(yǎng)人”， 同時(shí)返回資源庫(kù)中表示“供養(yǎng)人” 的其他相似圖像， 這些圖像具有不同的視覺(jué)表現(xiàn)形式， 繪制于不同的朝代， 分布在不同的洞窟。使用該模型進(jìn)行搜索， 用戶(hù)不僅能了解到目標(biāo)圖像的相關(guān)知識(shí)， 還能獲取具有相似語(yǔ)義的圖像資源， 能輔助有關(guān)敦煌壁畫(huà)相同語(yǔ)義本體的朝代演變研究和關(guān)于不同洞窟內(nèi)具有相同語(yǔ)義的敦煌壁畫(huà)的差異研究， 對(duì)于加深用戶(hù)對(duì)敦煌壁畫(huà)的理解以及提高用戶(hù)進(jìn)一步探索敦煌壁畫(huà)的興趣具有重要價(jià)值。

４結(jié)語(yǔ)

隨著文化遺產(chǎn)數(shù)字化進(jìn)程的加快和數(shù)字人文研究的不斷深入， 圖博檔中存儲(chǔ)的海量文化遺產(chǎn)數(shù)字資源亟需高效便捷的獲取方式?；诖?， 本文構(gòu)建基于ＥｆｆｉｃｉｅｎｔＮｅｔ 圖像特征提取、ＭＤ５ 圖像特征壓縮和ＳｉｍＨａｓｈ 語(yǔ)義特征融合的敦煌壁畫(huà)移動(dòng)視覺(jué)搜索模型， 提供移動(dòng)泛在的敦煌文化遺產(chǎn)數(shù)字資源智慧搜索服務(wù)， 滿(mǎn)足科研人員和普通用戶(hù)的資源獲取需求。用戶(hù)僅需借助手機(jī)、平板、筆記本等移動(dòng)智能設(shè)備即可實(shí)現(xiàn)搜索： 使用移動(dòng)智能設(shè)備的攝像頭拍攝敦煌壁畫(huà)實(shí)景圖片或使用網(wǎng)絡(luò)上獲取的敦煌壁畫(huà)圖片， 于５Ｇ網(wǎng)絡(luò)環(huán)境下將圖像傳輸至云服務(wù)器， 在后臺(tái)進(jìn)行圖像特征提取和壓縮， 完成特征匹配和相似度計(jì)算， 返回相似圖像和語(yǔ)義描述， 再將搜索結(jié)果傳輸至用戶(hù)端， 實(shí)現(xiàn)敦煌壁畫(huà)的移動(dòng)視覺(jué)搜索。

后續(xù)研究可以從以下角度進(jìn)行優(yōu)化： ①結(jié)合用戶(hù)實(shí)驗(yàn)研究對(duì)本文提出的模型搜索效果進(jìn)行進(jìn)一步檢驗(yàn)和分析， 從用戶(hù)角度優(yōu)化該模型； ②研究推薦算法與移動(dòng)視覺(jué)搜索的結(jié)合， 采集用戶(hù)歷史行為數(shù)據(jù)， 搭建用戶(hù)畫(huà)像， 感知移動(dòng)環(huán)境情景要素， 為用戶(hù)提供個(gè)性化的搜索與推薦一體化服務(wù)； ③關(guān)聯(lián)敦煌壁畫(huà)圖像與圖博檔中存儲(chǔ)的文獻(xiàn)、古籍、音頻、視頻、３Ｄ 模型等多模態(tài)資源， 實(shí)現(xiàn)敦煌文化遺產(chǎn)數(shù)字資源的跨模態(tài)搜索， 為用戶(hù)提供豐富多元的信息， 深化用戶(hù)對(duì)敦煌文化的感知和理解。