融合情境的智慧圖書館移動(dòng)視覺搜索服務(wù)研究

曾子明 蔣琳

摘要：[目的/意義]移動(dòng)視覺搜索是智慧圖書館知識(shí)服務(wù)創(chuàng)新的重要內(nèi)容。移動(dòng)環(huán)境下，根據(jù)動(dòng)態(tài)變化的情境推斷用戶意圖，為用戶提供合適的資源是智慧型知識(shí)服務(wù)的必然要求。[方法/過程]在分析融合情境的智慧圖書館移動(dòng)視覺搜索服務(wù)模型構(gòu)建動(dòng)因的基礎(chǔ)上，歸納模型的內(nèi)在特征，對(duì)模型體系框架和關(guān)鍵問題進(jìn)行了設(shè)計(jì)和論述，并提出相應(yīng)的技術(shù)要點(diǎn)。[結(jié)果/結(jié)論]將情境計(jì)算應(yīng)用于移動(dòng)視覺搜索服務(wù)中，是彌補(bǔ)語(yǔ)義鴻溝、提高查詢相關(guān)度和用戶滿意度的有效途徑。該研究可為智慧圖書館個(gè)性化知識(shí)服務(wù)的優(yōu)化提供參考。

關(guān)鍵詞：智慧圖書館：移動(dòng)視覺搜索：情境感知：知識(shí)服務(wù)

DOl： 10.3969/j .issn .1008 -0821 .2019 .12 .006

[中圖分類號(hào)] G254. 929.1 [文獻(xiàn)標(biāo)識(shí)碼]A [文章編號(hào)]1008-0821（ 2019） 12-0046-09

隨著物聯(lián)網(wǎng)、云計(jì)算、大數(shù)據(jù)和人工智能等信息技術(shù)的高速發(fā)展，以及用戶對(duì)深層次、個(gè)性化、泛在化知識(shí)服務(wù)的質(zhì)量要求的不斷提高，圖書館學(xué)界掀起了一場(chǎng)“智慧”革新。智慧化已成為圖書館未來(lái)發(fā)展的必然趨勢(shì)、主導(dǎo)模式和最高形態(tài)[1]。智慧圖書館以數(shù)字化、智能化、網(wǎng)絡(luò)化的信息技術(shù)為基礎(chǔ)，其真正的內(nèi)在特征表現(xiàn)為互聯(lián)、高效和便利[2]。圖書館應(yīng)借助智能技術(shù)，敏銳感知讀者情境，充分理解讀者需求，無(wú)縫嵌入到讀者的工作、科研、學(xué)習(xí)活動(dòng)中，提供資源類型豐富、高效率、泛在化、個(gè)性化的智慧型知識(shí)服務(wù)。

由于大數(shù)據(jù)技術(shù)的發(fā)展以及一系列文化資源數(shù)字化工程的開展，以圖書館為代表的一批文化服務(wù)機(jī)構(gòu)生成、積累了大量的視覺資源，圖像、視頻、幾何模型、地圖等視覺資源逐漸成為知識(shí)內(nèi)容的重要信息載體。與此同時(shí)，隨著移動(dòng)互聯(lián)網(wǎng)產(chǎn)業(yè)的高速發(fā)展，移動(dòng)智能終端的普及，以及云計(jì)算和大數(shù)據(jù)等技術(shù)應(yīng)用的不斷深入，用戶對(duì)多媒體信息的移動(dòng)便捷性、查詢意圖精確性提出了進(jìn)一步的要求。移動(dòng)視覺搜索（ Mobile Visual Search，MVS）以智能手機(jī)、平板電腦等移動(dòng)終端為載體，從攝像頭獲取現(xiàn)實(shí)對(duì)象的圖像或視頻作為檢索對(duì)象，通過無(wú)線網(wǎng)絡(luò)查詢視覺對(duì)象及其關(guān)聯(lián)信息并在移動(dòng)終端顯示[3]。用戶使用移動(dòng)智能終端的攝像頭捕捉視覺對(duì)象并利用觸摸屏交互修正查詢意圖進(jìn)行檢索，相比于傳統(tǒng)的檢索模式，由手動(dòng)輸入文本關(guān)鍵詞轉(zhuǎn)變?yōu)槲淖?、圖像、體感及情境信息的綜合輸入，檢索信息更豐富，交互性更強(qiáng)，因此有助于減少查詢的語(yǔ)義鴻溝，提升用戶體驗(yàn)?？梢钥闯觯瑘D書館借助MVS技術(shù)擴(kuò)展其信息資源檢索服務(wù)模式有其合理性和可行性，能夠更好地為讀者提供智慧化知識(shí)服務(wù)，二者的有機(jī)結(jié)合勢(shì)在必行。

在圖書情報(bào)領(lǐng)域，目前研究主要集中于移動(dòng)視覺搜索服務(wù)機(jī)制和資源建設(shè)，僅僅意識(shí)到用戶移動(dòng)情境的動(dòng)態(tài)變化特性導(dǎo)致了用戶個(gè)性化信息需求的變化，較少有全面研究融合情境的智慧圖書館MVS的構(gòu)建動(dòng)因、內(nèi)在特征與體系架構(gòu);缺乏深度挖掘用戶在MVS任務(wù)下的情境要素與情境感知需求，而用戶情境感知才是真正關(guān)系到MVS結(jié)果質(zhì)量，決定了智慧圖書館信息服務(wù)的精準(zhǔn)性。針對(duì)這些問題，本文將情境計(jì)算應(yīng)用到MVS服務(wù)中，針對(duì)MVS的特點(diǎn)采用分層和模塊化思想，構(gòu)建了融合情境的智慧圖書館MVS服務(wù)模型，分析其內(nèi)在特征、體系框架及關(guān)鍵問題，為移動(dòng)情境下智慧圖書館知識(shí)服務(wù)優(yōu)化提供思路。

1 相關(guān)研究

1.1 移動(dòng)視覺搜索

2009年，在斯坦福大學(xué)主辦的第一屆移動(dòng)視覺搜索研討會(huì)上首次系統(tǒng)提出移動(dòng)視覺搜索概念，吸引了學(xué)術(shù)界和產(chǎn)業(yè)界的廣泛關(guān)注。目前MVS在國(guó)外市場(chǎng)營(yíng)銷、電子商務(wù)、旅游服務(wù)等領(lǐng)域已有較為成熟的應(yīng)用，如谷歌“Goggoles”、亞馬遜“Snaptell”和“Kooaba”，在國(guó)內(nèi)，淘寶、京東等電商平臺(tái)上也已推出了移動(dòng)圖像搜索人口。學(xué)術(shù)界研究的重點(diǎn)在技術(shù)發(fā)展和理論研究?jī)煞矫妗?/p>

Girod B等[3]提出了一個(gè)完整的MVS流程，包括特征提取、特征匹配和幾何驗(yàn)證等，對(duì)各環(huán)節(jié)設(shè)計(jì)了適用于移動(dòng)環(huán)境的技術(shù)解決方案。為了更好地應(yīng)對(duì)移動(dòng)環(huán)境下設(shè)備內(nèi)存、電量、網(wǎng)絡(luò)帶寬有限的挑戰(zhàn)，一些新的移動(dòng)視覺識(shí)別方法被開發(fā)出來(lái)改善MVS體驗(yàn)，研究者提出了一些壓縮視覺特征的移動(dòng)端編碼方法，例如SURF[4]、ChoC[5]、BoHB[6]。除了分析圖像內(nèi)容，情境信息（位置、時(shí)間、方向等）也被利用來(lái)提高視覺識(shí)別性能，例如，Chen D M等利用GPS信息縮小搜索空間，進(jìn)行地標(biāo)圖片識(shí)別[7]; Ji R等設(shè)計(jì)了基于GPS的詞匯編碼，實(shí)現(xiàn)了對(duì)移動(dòng)地標(biāo)搜索的極低比特速率查詢傳輸[8];Runge N等建議使用位置名稱和時(shí)間段來(lái)標(biāo)記圖像[9]。

國(guó)內(nèi)圖書館領(lǐng)域?qū)VS的研究主要集中在服務(wù)機(jī)制探討、視覺資源建設(shè)和應(yīng)用實(shí)現(xiàn)3個(gè)方面。張興旺等分析了數(shù)字圖書館移動(dòng)視覺搜索機(jī)制建設(shè)的內(nèi)涵、分類和架構(gòu)設(shè)計(jì)，提出軟硬件資源局限性、用戶體驗(yàn)質(zhì)量、用戶需求多樣性、協(xié)同管理、互操作性等關(guān)鍵要素[10]。趙宇翔等提出了移動(dòng)視覺搜索在大數(shù)據(jù)環(huán)境下的游戲化機(jī)制設(shè)計(jì)[11]。李晨暉等對(duì)基于大數(shù)據(jù)的文化遺產(chǎn)領(lǐng)域移動(dòng)視覺搜索機(jī)制的基本原理、業(yè)務(wù)流程、體系結(jié)構(gòu)、功能模塊等進(jìn)行了研究[12]。張亭亭等提出建設(shè)數(shù)字圖書館移動(dòng)視覺資源庫(kù)的眾包模式[13]。齊云飛等探討關(guān)聯(lián)數(shù)據(jù)在移動(dòng)視覺搜索方法中的應(yīng)用，實(shí)現(xiàn)了語(yǔ)義搜索和移動(dòng)視覺搜索的融合[14]。曾子明等將去中心化思想和云計(jì)算、區(qū)塊鏈等技術(shù)應(yīng)用于智慧圖書館MVS資源管理[15]。胡蓉等以學(xué)術(shù)期刊中文內(nèi)圖像為研究對(duì)象，探索文內(nèi)視覺資源的移動(dòng)搜索實(shí)現(xiàn)框架并開發(fā)原型系統(tǒng)進(jìn)行了驗(yàn)證[16]。

1.2 情境感知

目前學(xué)術(shù)界普遍采用Dey的關(guān)于情境的定義：情境（ Context）是指任何可以描述實(shí)體特征的信息，該實(shí)體可以是與人和應(yīng)用的交互相關(guān)的物理或虛擬的對(duì)象，包括人和應(yīng)用本身[17]。情境感知（ Context Awareness）是試圖利用人機(jī)交互或傳感器提供給計(jì)算設(shè)備關(guān)于人和設(shè)備環(huán)境等情境信息，并讓計(jì)算設(shè)備給出相應(yīng)的反應(yīng)，實(shí)際上反映了從以計(jì)算機(jī)為中心到以人為中心的轉(zhuǎn)變[18]。圖書情報(bào)領(lǐng)域?qū)η榫掣兄难芯恐饕P(guān)注理論探討和方法研究方面。潘旭偉等提出采用本體和情境感知的方法實(shí)現(xiàn)自適應(yīng)的個(gè)性化信息服務(wù)，以解決獲取用戶信息需求的準(zhǔn)確性、可靠性和自適應(yīng)性較差等問題[19]。袁靜認(rèn)為具有環(huán)境導(dǎo)向性、情景適應(yīng)性、智能性和主動(dòng)性等特征的個(gè)性化情景感知服務(wù)是圖書館信息服務(wù)未來(lái)發(fā)展的方向，可應(yīng)用于檢索、推薦和咨詢等服務(wù)[20]。李楓林等基于本體建模、語(yǔ)義關(guān)聯(lián)的實(shí)例相似度算法和情境后過濾模式為用戶推薦符合當(dāng)前情境和用戶興趣偏好的項(xiàng)目，并進(jìn)行實(shí)驗(yàn)驗(yàn)證了方法有效性[21]。陳氫等采集多維情境數(shù)據(jù)提取用戶特征，再結(jié)合情境的相似度為用戶進(jìn)行個(gè)性化推薦[22]。周樸雄等結(jié)合BP神經(jīng)網(wǎng)絡(luò)方法和項(xiàng)目協(xié)同過濾算法實(shí)現(xiàn)情境化信息推薦[23]。

1.3 融合情境的智慧圖書館MVS服務(wù)

國(guó)內(nèi)外學(xué)者已對(duì)融合情境的移動(dòng)視覺搜索進(jìn)行了一定的研究，提供了理論基礎(chǔ)和技術(shù)支持，部分研究引入情境信息優(yōu)化視覺特征提取與表示方法，但大多數(shù)研究對(duì)融合情境的智慧圖書館MVS服務(wù)需求、特征和關(guān)鍵問題等挖掘不夠深入。目前，圖書館領(lǐng)域?qū)η榫掣兄难芯恳仓饕性趥€(gè)性化資源推薦方面，將其應(yīng)用于移動(dòng)視覺搜索服務(wù)的研究還很少。智慧圖書館知識(shí)服務(wù)以用戶需求為根本出發(fā)點(diǎn)，不斷優(yōu)化其服務(wù)手段，為用戶提供精準(zhǔn)化、人性化的服務(wù)[1]。移動(dòng)環(huán)境下用戶情境和信息需求易變，采集移動(dòng)情境信息并挖掘用戶個(gè)性化需求，在移動(dòng)視覺搜索流程的各個(gè)環(huán)節(jié)融合情境因素，為用戶提供便捷、高效、互聯(lián)的搜索體驗(yàn)，實(shí)現(xiàn)泛在智能的嵌入式知識(shí)服務(wù)。因此，研究融合情境的MVS模型對(duì)提升智慧圖書館個(gè)性化知識(shí)服務(wù)水平具有積極意義。

2 構(gòu)建融合情境的智慧圖書館MVS模型的動(dòng)因分析

融合情境的智慧圖書館MVS模型的研究，目的是通過敏銳感知移動(dòng)環(huán)境和捕捉用戶行為、感受、反饋等情境要素，豐富視覺資源語(yǔ)義信息，在語(yǔ)義層面上理解用戶偏好及查詢意圖，為用戶提供個(gè)性化、敏捷化的信息服務(wù)和高質(zhì)量的用戶體驗(yàn)?？梢詮?個(gè)角度分析建設(shè)融合情境的智慧圖書館MVS模型的動(dòng)因：服務(wù)過程，用戶個(gè)性化需求，情境載體。

2.1 提供高效、智能化的MVS服務(wù)

服務(wù)過程的高效性是指利用GPS、時(shí)間、用戶交互等情境信息來(lái)標(biāo)記圖像、重建視覺索引，系統(tǒng)能夠縮小搜索空間、加快識(shí)別速度、優(yōu)化結(jié)果排序，有效提高檢索效率與準(zhǔn)確性。服務(wù)過程的智能化是指系統(tǒng)通過圖像內(nèi)容分析和情境分析執(zhí)行交互式半自動(dòng)圖像注釋，從高層語(yǔ)義上理解查詢視覺對(duì)象，減小圖像底層特征和高層語(yǔ)義之間的語(yǔ)義鴻溝，提供與查詢視覺對(duì)象相關(guān)聯(lián)的圖像、視頻、音頻、文本等多模態(tài)信息，提高檢索結(jié)果的全面性與準(zhǔn)確性。

2.2 適應(yīng)大數(shù)據(jù)和移動(dòng)交互環(huán)境下的用戶個(gè)性化查詢需求

大數(shù)據(jù)環(huán)境下，海量視覺資源帶來(lái)“信息超載”問題，目前MVS系統(tǒng)單純分析圖像內(nèi)容，這種固定、無(wú)差異的檢索方式無(wú)法滿足智慧圖書館用戶在復(fù)雜場(chǎng)景、不同研究階段、不同目的、不同偏好下的個(gè)性化搜索需求，因而無(wú)法真正解決“信息超載”問題。用戶的信息需求與決策行為往往與其所處環(huán)境緊密相關(guān)。搜索研究專家Broder A指出第四代搜索引擎的核心是實(shí)現(xiàn)“情境驅(qū)動(dòng)的信息服務(wù)（ Context Driven Imformation Supply）[24]”，情境信息將在提高智慧圖書館移動(dòng)視覺搜索質(zhì)量中發(fā)揮非常重要的作用。移動(dòng)交互環(huán)境下，用戶和MVS系統(tǒng)的互動(dòng)構(gòu)建了有關(guān)用戶環(huán)境、意圖、認(rèn)知信息的潛在情境信息庫(kù)，將這些情境信息整合檢索過程中，幫助系統(tǒng)增強(qiáng)對(duì)特定情境下用戶真實(shí)查詢意圖的理解，以提高查詢相關(guān)度和用戶滿意度，在“所見即所得”的基礎(chǔ)上，進(jìn)一步為用戶提供“所得即所需”的MVS服務(wù)。用戶的個(gè)性化視覺查詢需求意味著將情境感知引入智慧圖書館MVS勢(shì)在必行。

2.3 移動(dòng)智能終端成為用戶情境信息的載體

用戶當(dāng)前的移動(dòng)智能終端搭載iOS、Android等智能操作系統(tǒng)和強(qiáng)大的多類型傳感器系統(tǒng)，能夠精準(zhǔn)地獲取用戶各種類型的情境數(shù)據(jù)。一方面能通過物理傳感器獲取用戶的環(huán)境情境信息，比如通過GPS傳感器獲取用戶的地理位置信息;另一方面也能通過日志、監(jiān)測(cè)軟件等獲得用戶使用MVS服務(wù)的交互行為數(shù)據(jù)，理解用戶的查詢意圖、期望和反饋，與用戶的認(rèn)知需求產(chǎn)生共鳴。因此，移動(dòng)智能終端已成為獲取用戶情境信息的最佳載體，全面理解智慧圖書館MVS用戶在文獻(xiàn)調(diào)研、實(shí)地考察、參觀展覽等不同情境下的搜索意圖并提供個(gè)性化服務(wù)成為可能。

3 融合情境的智慧圖書館MVS模型體系

在充分分析模型構(gòu)建動(dòng)因的基礎(chǔ)上歸納其內(nèi)在特征，面向融合情境的智慧圖書館MVS服務(wù)搭建一個(gè)系統(tǒng)框架，并探討其中的關(guān)鍵問題。

3.1 融合情境的智慧圖書館MVS模型內(nèi)在特征

根據(jù)構(gòu)建模型的動(dòng)因來(lái)看，融合情境的智慧圖書館MVS模型應(yīng)當(dāng)滿足3方面要求：智能搜索體驗(yàn)，多模態(tài)資源融合輸出，情境分析豐富、深化，應(yīng)從用戶體驗(yàn)、檢索結(jié)果、應(yīng)用場(chǎng)景3方面保障MVS服務(wù)質(zhì)量，模型的主要特征如下：

1）智能搜索體驗(yàn)。考慮到移動(dòng)視覺搜索的強(qiáng)交互性和高復(fù)雜性，為了減輕視覺識(shí)別和檢索的負(fù)擔(dān)，同時(shí)降低錯(cuò)誤預(yù)測(cè)用戶意圖的可能性，提高用戶滿意度，MVS模型采用顯性和隱性結(jié)合的情境感知交互模式。顯性交互是指用戶明確傳達(dá)自我意圖的輸入行為。例如ROI（ Region of Interest）興趣熱區(qū)檢測(cè)，用戶可以在智能手機(jī)的觸摸屏上用手指勾勒出任意形狀的圖像作為感興趣的視覺對(duì)象，在之后的視覺識(shí)別過程中，ROI的視覺特征將作為優(yōu)先級(jí)信息，ROI周圍的視覺對(duì)象特征作為輔助信息;以及智能終端將感知與計(jì)算的結(jié)果明確傳達(dá)給用戶的輸出行為，例如智能終端通過視覺上的彈出框?qū)⑾到y(tǒng)建議的圖像注釋主動(dòng)推送給用戶。隱性交互是指不需要用戶輸入或者做出明確響應(yīng)，智能終端主動(dòng)獲取并理解用戶的情境信息（比如位置、設(shè)備狀態(tài)等）。顯性交互明確傳達(dá)用戶意圖，加快視覺識(shí)別速度;隱性交互減少打擾和用戶認(rèn)知負(fù)擔(dān)。有效結(jié)合兩者并平衡兩者關(guān)系可以為用戶提供智能搜索體驗(yàn)。

2）融合情境的跨模態(tài)圖像檢索。移動(dòng)視覺搜索并不只是簡(jiǎn)單的“以圖搜圖”，返回與查詢圖像視覺特征類似的圖像，也應(yīng)當(dāng)返回與查詢圖像語(yǔ)義、用戶偏好及當(dāng)前情境相關(guān)的文本、圖像、視頻、網(wǎng)頁(yè)等多模態(tài)信息?？缒B(tài)圖像檢索即查詢和候選對(duì)象語(yǔ)義上相似但模態(tài)不同，如以圖像搜索文本、視頻等，其關(guān)鍵在于多模態(tài)數(shù)據(jù)的語(yǔ)義理解與關(guān)聯(lián)表達(dá)，解決異構(gòu)鴻溝問題，常用的方法有基于公共空間學(xué)習(xí)的方法和基于相關(guān)性度量的方法等[25]。同時(shí)，多模態(tài)數(shù)據(jù)之間存在著空間、時(shí)間以及內(nèi)容關(guān)聯(lián)關(guān)系，利用模態(tài)內(nèi)和模態(tài)間的情境關(guān)聯(lián)，可以增強(qiáng)多模態(tài)數(shù)據(jù)的語(yǔ)義關(guān)聯(lián)，降低語(yǔ)義間隙，有效減小異構(gòu)鴻溝。

3）情境分析豐富、深化。融合情境的MVS是以用戶需求為核心，因此全面、深入的用戶情境分析是其本質(zhì)特征，體現(xiàn)在兩個(gè)方面，一方面是情境采集內(nèi)容多樣化、深層化，既包括較為簡(jiǎn)單直觀的環(huán)境和設(shè)備情境，如地點(diǎn)、時(shí)間、照相機(jī)參數(shù)等;也包括用戶自身認(rèn)知、興趣、情感等深層情境。另一方面是指情境感知深入用戶檢索、學(xué)習(xí)的全過程，在制定視覺查詢對(duì)象、檢索匹配、結(jié)果輸出、評(píng)價(jià)反饋、資源推送的整個(gè)過程中融人情境因素，生成用戶、情境、資源多維關(guān)聯(lián)模型，實(shí)現(xiàn)資源精準(zhǔn)定位和豐富資源的情境屬性描述。

3.2 融合情境的智慧圖書館MVS模型體系結(jié)構(gòu)

情境感知計(jì)算包括情境獲取、情境處理與識(shí)別、情境建模、情境應(yīng)用等步驟，融合情境的智慧圖書館MVS服務(wù)模型應(yīng)當(dāng)是自底向上的包括傳輸感知層、情境處理層、視覺檢索層、智慧應(yīng)用層的完整體系，如圖1所示。

1）傳輸感知層。傳輸感知層主要是對(duì)相關(guān)信息源和數(shù)據(jù)組織模塊的描述，獲取數(shù)字資源和情境信息并進(jìn)行分析、組織和存儲(chǔ)，是MVS服務(wù)的基礎(chǔ)。數(shù)字資源包括各種館藏信息、影像資料和數(shù)字文獻(xiàn)等，應(yīng)按照國(guó)內(nèi)外通用的數(shù)據(jù)處理標(biāo)準(zhǔn)來(lái)規(guī)范資源的采集、標(biāo)引、分類、關(guān)聯(lián)等加工過程，構(gòu)建數(shù)字資源的多維特征索引庫(kù)。情境選擇與特定領(lǐng)域相關(guān)，智慧圖書館MVS服務(wù)主要關(guān)注用戶視覺檢索的情境，用戶信息需求受時(shí)間、地點(diǎn)、興趣偏好、用戶任務(wù)以及用戶與系統(tǒng)的交互等一系列因素影響，因此主要采集以下3類情境信息：①用戶情境，包括種族、語(yǔ)言、性別、年齡、職業(yè)等基本屬性，以及個(gè)性、習(xí)慣、文化程度、興趣偏好等個(gè)人主觀性因素。②物理情境，指查詢?nèi)蝿?wù)運(yùn)行的物理環(huán)境，包括設(shè)備特性、地理位置、時(shí)間、網(wǎng)絡(luò)通信狀況、電量等，可通過搭載在移動(dòng)設(shè)備上的物理傳感器獲得，或者提取記錄照片屬性信息和拍攝參數(shù)的Exif（Exchangeable image file format）信息。③查詢情境，指用戶檢索過程中與系統(tǒng)之間的交互，包括制定ROI興趣熱區(qū)、用戶標(biāo)注圖像等，可通過監(jiān)測(cè)工具或問卷采集用戶行為和反饋數(shù)據(jù)。情境數(shù)據(jù)處理模塊主要是通過數(shù)據(jù)融合、數(shù)據(jù)預(yù)處理、情境解釋等技術(shù)對(duì)獲取的原始情境數(shù)據(jù)進(jìn)行分析和處理，提高數(shù)據(jù)質(zhì)量，整合異構(gòu)數(shù)據(jù)。情境解釋是指通過訪問網(wǎng)絡(luò)數(shù)據(jù)源或定義推理規(guī)則將低級(jí)情境轉(zhuǎn)換為高級(jí)情境，獲取情境語(yǔ)義。由于情境數(shù)據(jù)中含有用戶敏感信息，應(yīng)采用切實(shí)可行的數(shù)據(jù)安全技術(shù)防止用戶隱私信息泄露或非法使用。

2）情境處理層。情境處理層主要根據(jù)傳輸感知層所提供的情境信息，為智慧圖書館個(gè)性化MVS的實(shí)現(xiàn)提供核心支持。該層次相應(yīng)地包含有模型定義、情境使用以及分析優(yōu)化等主要模塊。①模型定義：對(duì)情境、用戶、視覺資源以及其它關(guān)聯(lián)對(duì)象的特征進(jìn)行有效的知識(shí)表示是實(shí)現(xiàn)個(gè)性化MVS的前提。情境建模是指以一種機(jī)器可處理的形式定義和存儲(chǔ)多維情境數(shù)據(jù)[18]，以支持個(gè)性化MVS中用戶查詢意圖挖掘和資源匹配等推理活動(dòng)。構(gòu)建數(shù)據(jù)模型的方法多種多樣，基于描述邏輯（Description Logic，DL）的網(wǎng)絡(luò)本體語(yǔ)言O(shè)WL（ Web Ontology Language）兼有本體語(yǔ)言的知識(shí)表達(dá)與共享能力和邏輯系統(tǒng)的描述與推理能力，被大量用于情境建模[26]。用戶模型主要記錄用戶個(gè)人信息、興趣偏好等信息。用戶興趣獲取來(lái)源主要有用戶添加的圖像標(biāo)簽、對(duì)圖像的操作信息（如查詢，瀏覽，保存等）、對(duì)檢索結(jié)果的反饋等。常用的用戶興趣表示方法主要有本體表示法、向量表示法和主題模型表示法[27]。多模態(tài)數(shù)據(jù)模型是對(duì)數(shù)據(jù)模態(tài)及模態(tài)間關(guān)系進(jìn)行抽象和表示。②情境使用：情境推理主要根據(jù)用戶當(dāng)前情境信息，執(zhí)行推理規(guī)則并通過數(shù)據(jù)挖掘、數(shù)據(jù)分析等技術(shù)來(lái)推導(dǎo)未知或隱藏的情境信息以及用戶查詢意圖的相關(guān)信息。語(yǔ)義匹配主要基于用戶、情境、資源的知識(shí)模型對(duì)查詢視覺對(duì)象和在庫(kù)資源進(jìn)行語(yǔ)義相似度計(jì)算，為資源匹配和深度推薦提供知識(shí)支持。③分析優(yōu)化：該模塊主要通過分析歷史數(shù)據(jù)和用戶對(duì)查詢結(jié)果的反饋信息，挖掘情境化的用戶興趣偏好，不斷更新用戶知識(shí)模型，優(yōu)化推理規(guī)則，提高情境感知MVS服務(wù)的智能性與易用性。

3）視覺檢索層。視覺檢索層主要根據(jù)情境處理層所提供的信息，采用相應(yīng)的移動(dòng)圖像檢索技術(shù)來(lái)生成與用戶情境及查詢意圖相似的最終檢索結(jié)果，其基本實(shí)現(xiàn)流程如圖2所示。首先，獲取待查詢視覺對(duì)象，進(jìn)行視覺特征提取和聚合編碼，視覺特征向量基于用戶ROI進(jìn)行加權(quán)處理，特征點(diǎn)距ROI區(qū)域中心點(diǎn)越遠(yuǎn)，其權(quán)重越低。然后計(jì)算其與在庫(kù)圖像的視覺特征相似度，并進(jìn)行幾何一致性校驗(yàn)，得到與查詢對(duì)象相似的圖像列表。在此基礎(chǔ)上，利用情境信息進(jìn)行基于文本語(yǔ)義的圖像檢索，包括文本相似度計(jì)算和情境語(yǔ)義相似度計(jì)算兩個(gè)部分。采用文本相似度算法，用向量空間模型表征文本，計(jì)算文本關(guān)鍵詞匹配度。隨后基于本體模型計(jì)算情境屬性語(yǔ)義相似度，確定各自權(quán)重計(jì)算文本語(yǔ)義綜合匹配度，得到符合條件的相似圖像和關(guān)聯(lián)文本。最后綜合兩次檢索結(jié)果，按相關(guān)度降序排列，同時(shí)為用戶個(gè)性化推薦相關(guān)聯(lián)的多媒體資源，即為融合情境的個(gè)性化MVS的輸出結(jié)果。由于在檢索過程中融入了用戶所處的具體情境信息，發(fā)揮了情境語(yǔ)義、視覺內(nèi)容對(duì)圖像檢索各自的優(yōu)勢(shì)，圖文結(jié)合的結(jié)果呈現(xiàn)形式也有助于用戶理解圖像語(yǔ)義，因此本文所建立的個(gè)性化MVS模式是基于視覺內(nèi)容和情境語(yǔ)義的混合圖像檢索模式。

4）視覺檢索層。視覺檢索層主要根據(jù)情境處理層所提供的信息，采用相應(yīng)的移動(dòng)圖像檢索技術(shù)來(lái)生成與用戶情境及查詢意圖相似的最終檢索結(jié)果，其基本實(shí)現(xiàn)流程如圖2所示。首先，獲取待查詢視覺對(duì)象，進(jìn)行視覺特征提取和聚合編碼，視覺特征向量基于用戶ROI進(jìn)行加權(quán)處理，特征點(diǎn)距ROI區(qū)域中心點(diǎn)越遠(yuǎn)，其權(quán)重越低。然后計(jì)算其與在庫(kù)圖像的視覺特征相似度，并進(jìn)行幾何一致性校驗(yàn)，得到與查詢對(duì)象相似的圖像列表。在此基礎(chǔ)上，利用情境信息進(jìn)行基于文本語(yǔ)義的圖像檢索，包括文本相似度計(jì)算和情境語(yǔ)義相似度計(jì)算兩個(gè)部分。采用文本相似度算法，用向量空間模型表征文本，計(jì)算文本關(guān)鍵詞匹配度。隨后基于本體模型計(jì)算情境屬性語(yǔ)義相似度，確定各自權(quán)重計(jì)算文本語(yǔ)義綜合匹配度，得到符合條件的相似圖像和關(guān)聯(lián)文本。綜合兩次檢索結(jié)果，按相關(guān)度降序排列，同時(shí)為用戶個(gè)性化推薦相關(guān)聯(lián)的多媒體資源，即為融合情境的個(gè)性化MVS的輸出結(jié)果。最后采取相關(guān)反饋策略重新調(diào)整相應(yīng)特征權(quán)值，進(jìn)行查詢擴(kuò)展，使得檢索結(jié)果不斷接近用戶的查詢意圖。由于在檢索過程中融入了用戶所處的具體情境信息，發(fā)揮了情境語(yǔ)義、視覺內(nèi)容對(duì)圖像檢索各自的優(yōu)勢(shì)，圖文結(jié)合的結(jié)果呈現(xiàn)形式也有助于用戶理解圖像語(yǔ)義，因此本文所建立的個(gè)性化MVS模式屬于基于視覺內(nèi)容和情境語(yǔ)義的混合圖像檢索模式。

5）智慧應(yīng)用層。智慧應(yīng)用層主要負(fù)責(zé)為用戶提供泛在化、協(xié)作化、個(gè)性化、智慧化、交互式的MVS知識(shí)服務(wù)。MVS使用戶可以隨時(shí)隨地掃描檢索獲取感興趣的相關(guān)資源，成為物理世界與互聯(lián)網(wǎng)世界之間視覺對(duì)象關(guān)聯(lián)的橋梁。例如，在智慧圖書館移動(dòng)導(dǎo)覽和特藏資源揭示方面，用戶通過拍攝古籍、手稿、實(shí)物模型等實(shí)景進(jìn)行搜索即可實(shí)時(shí)獲取相關(guān)文本、音頻、視頻等數(shù)字化內(nèi)容。社區(qū)共享是指利用社會(huì)網(wǎng)絡(luò)分析、協(xié)同過濾等技術(shù)，當(dāng)用戶未檢索到滿意的結(jié)果時(shí)，可以求助于相似情境下的其他用戶，也可以直接與該領(lǐng)域的專家溝通，實(shí)現(xiàn)社區(qū)內(nèi)知識(shí)交流與共享。個(gè)性化推送根據(jù)用戶的位置、時(shí)間、歷史搜索記錄等情境信息，向用戶主動(dòng)推送相關(guān)聯(lián)和個(gè)性化的相關(guān)資源或資訊，例如用戶在MVS系統(tǒng)中曾提交敦煌壁畫圖像查詢?nèi)蝿?wù)，當(dāng)圖書館新購(gòu)進(jìn)關(guān)于敦煌研究的書籍或是最近有關(guān)于敦煌研究的講座時(shí)，用戶將收到資源更新的實(shí)時(shí)提醒，通過實(shí)時(shí)感知用戶應(yīng)用情境，包括靜態(tài)情境（職業(yè)、興趣偏好等）和動(dòng)態(tài)情境（位置、時(shí)間等），分析用戶、情境和資源之間的關(guān)系，實(shí)現(xiàn)信息一對(duì)一精準(zhǔn)推送服務(wù)，提高用戶滿意度。智慧應(yīng)用層除檢索人口外，還提供瀏覽、主題導(dǎo)航、個(gè)人信息管理、評(píng)價(jià)反饋等功能。主題導(dǎo)航模塊把與用戶感興趣主題相關(guān)的知識(shí)體系系統(tǒng)化地展示給用戶。用戶可以完善個(gè)人信息，自定義情境推理規(guī)則，標(biāo)注圖像，評(píng)價(jià)反饋等。

3.3 融合情境的智慧圖書館MVS模型關(guān)鍵問題

移動(dòng)環(huán)境的特點(diǎn)是高度動(dòng)態(tài)變化，因此需要不斷更新知識(shí)模型，構(gòu)建資源語(yǔ)義網(wǎng)絡(luò);待查詢的視覺對(duì)象攜帶豐富的情境信息，應(yīng)加以利用;基于傳感器的情境數(shù)據(jù)采集意味著數(shù)據(jù)的不完整和不確定性。在模型構(gòu)建中，需要關(guān)注基于情境信息的圖像標(biāo)注、語(yǔ)義關(guān)聯(lián)、穩(wěn)健性保障等關(guān)鍵問題，全面保障模型實(shí)現(xiàn)。

1）基于情境信息的半自動(dòng)圖像標(biāo)注。由于移動(dòng)設(shè)備電量、網(wǎng)絡(luò)帶寬有限，移動(dòng)視覺搜索技術(shù)目前關(guān)注圖像底層視覺特征的提取，利用中層視覺特征進(jìn)行圖像分類必須使用更高維向量的形式，引發(fā)了“維數(shù)災(zāi)難”問題，加劇算法開銷，難以在移動(dòng)環(huán)境下應(yīng)用。其次，在視覺上相似的圖像，由于用戶認(rèn)知和拍攝環(huán)境的不同，用戶理解的圖像語(yǔ)義可能有很大差異。因此，應(yīng)利用移動(dòng)設(shè)備本身攜帶豐富情境信息這一特點(diǎn)，描述圖像在時(shí)間、地點(diǎn)、事件等各方面情境信息的相似性，使用標(biāo)簽傳播技術(shù)如K最近鄰方法，將相似圖像的標(biāo)簽推薦給待查詢的視覺對(duì)象，用戶執(zhí)行交互式半自動(dòng)圖像語(yǔ)義標(biāo)注，可以選擇推薦標(biāo)簽，也可以手動(dòng)輸入自定義標(biāo)簽，根據(jù)用戶自身認(rèn)知豐富圖像的語(yǔ)義描述，在一定程度上起到了彌補(bǔ)“語(yǔ)義鴻溝”的作用，同時(shí)也讓更多用戶參與到視覺資源建設(shè)中，提高讀者交互體驗(yàn)。

2）基于多模態(tài)特征的視覺資源聚類分析。從互聯(lián)網(wǎng)采集的視覺資源和館藏虛擬資源有著豐富的多模態(tài)特征，除視覺特征外，還有文本信息，如圖像附帶的元數(shù)據(jù)信息、社會(huì)化標(biāo)簽等。應(yīng)用增量層次聚類算法[28]，分別基于圖像內(nèi)容相似性、空間、時(shí)間或主題相關(guān)性等進(jìn)行聚類，形成分層聚類樹結(jié)構(gòu)。屬于相同視覺內(nèi)容類別的圖像可能被劃分到不同的地理或時(shí)間聚類中，反之亦然。通過這種互連的多模態(tài)聚類，可以實(shí)現(xiàn)圖像高級(jí)語(yǔ)義自動(dòng)預(yù)測(cè)，用戶也可以根據(jù)多種圖像特征（如內(nèi)容、位置、時(shí)間等）來(lái)快速定位感興趣的圖像。利用可視化開發(fā)工具以直觀、生動(dòng)、富有交互性的圖形形式來(lái)進(jìn)行知識(shí)關(guān)聯(lián)和揭示。例如，借助地理信息系統(tǒng)（ GIS）實(shí)現(xiàn)視覺資源地圖可視化，構(gòu)建時(shí)空索引，將視覺對(duì)象圍繞地理空間特征進(jìn)行匯聚和組織。從時(shí)間維度對(duì)視覺資源進(jìn)行分析，建立相關(guān)語(yǔ)義主題模型，訓(xùn)練得到視覺資源在時(shí)間維度下的主題分布，達(dá)到分類、聚類、模式發(fā)現(xiàn)和查詢等目的。視覺資源的多維可視化呈現(xiàn)通過增強(qiáng)資源的關(guān)聯(lián)性，實(shí)現(xiàn)知識(shí)聚合直觀展示，幫助用戶整體把握相關(guān)領(lǐng)域的知識(shí)結(jié)構(gòu)，更加明確自己的信息檢索方向，提高瀏覽效率。

3）穩(wěn)健性保障。穩(wěn)健性保障是融合情境的智慧圖書館MVS建模的重點(diǎn)工作，情境建模方面的穩(wěn)定性表現(xiàn)為應(yīng)該適應(yīng)不斷變化的用戶習(xí)慣或環(huán)境條件，并且處理不確定和不完整的數(shù)據(jù)。不確定性數(shù)據(jù)處理，包括任意不確定性和認(rèn)知不確定性[29]。任意不確定性是由統(tǒng)計(jì)變異性和固有隨機(jī)性的影響引起的，反映為不精確的傳感器讀數(shù);認(rèn)知不確定性是由缺失數(shù)據(jù)或缺乏關(guān)于該數(shù)據(jù)的背景知識(shí)引起的，因而無(wú)法進(jìn)行推理。處理不確定性數(shù)據(jù)的方法主要有：模糊邏輯方法，如使用模糊OWL和FiRE模糊推理引擎來(lái)表達(dá)和推斷用戶在分布式異構(gòu)計(jì)算環(huán)境中的動(dòng)態(tài)情境[30]：基于本體和基于規(guī)則的方法的組合可以高效率地解決語(yǔ)義不精確引起的不確定性問題：機(jī)器學(xué)習(xí)方法適用于情境意義較為復(fù)雜的應(yīng)用，或者參與建模的特征數(shù)量較多的情況，適應(yīng)性較強(qiáng)，但需要時(shí)間和數(shù)據(jù)來(lái)適應(yīng)新的情況，對(duì)快速變化的環(huán)境不敏感。應(yīng)根據(jù)實(shí)際情況和視覺資源的特點(diǎn)設(shè)計(jì)處理不完整和不完善信息的機(jī)制，對(duì)用戶習(xí)慣和偏好的長(zhǎng)期變化建?？梢允褂脵C(jī)器學(xué)習(xí)方法，捕獲高度動(dòng)態(tài)的移動(dòng)環(huán)境變化時(shí)可以采用基于規(guī)則的方法，當(dāng)無(wú)法執(zhí)行可靠的推斷時(shí)，可以利用人機(jī)交互界面詢問用戶問題以獲得缺失信息，提高模型的適應(yīng)性。

4 結(jié)語(yǔ)

移動(dòng)視覺搜索技術(shù)的應(yīng)用擴(kuò)展了智慧圖書館的資源檢索模式，為用戶提供所見即所知的泛在化知識(shí)服務(wù)，移動(dòng)智能終端上配置的各種傳感器使得移動(dòng)情境感知變得可行，具有情境感知能力的MVS引擎能夠了解用戶特征，提供個(gè)性化視覺搜索服務(wù)。本文提出一種融合情境的智慧圖書館移動(dòng)視覺搜索服務(wù)模型，歸納其構(gòu)建動(dòng)因，分析其內(nèi)在特征、整體架構(gòu)和關(guān)鍵問題，以期為移動(dòng)情境下智慧圖書館知識(shí)服務(wù)發(fā)展提供思路。后續(xù)的研究我們將深入到模型的具體構(gòu)建中，從用戶情境本體模型的構(gòu)建到基于情境信息的圖像標(biāo)注，以及視覺對(duì)象語(yǔ)義描述和資源關(guān)聯(lián)，嘗試開發(fā)原型框架進(jìn)行驗(yàn)證。

參考文獻(xiàn)

[1]初景利，段美珍，智慧圖書館與智慧服務(wù)[J].圖書館建設(shè)，2018， （4）：85-90， 95.

[2]王世偉.論智慧圖書館的三大特點(diǎn)[J].中國(guó)圖書館學(xué)報(bào)，2012， 38 （6）：22-28.

[3] Girod B， Chandrasekhar V. Chen D M， et al. Mobile VisualSearch [J]. IEEE Signal Processing Magazine， 2011， 28 （4）：61-76.

[4] Bay H， Tuytelaars T， Cool L V.SURF： Speeded Up Robust Fea-tures[ C]. Proceedings of the 9th European Conference on Com-puter Vision-Volume Part I. Springer， Berlin， Heidelberg， 2006.

[5] Chandrasekhar V， Takacs G，Chen D，et al. CHoG： Com-pressed Histogram of Cradients A Low Bit-rate Feature Descriptor[P]. Computer Vision and Pattern Recognition， 2009. CVPR2009. IEEE Conference on， 2009.

[6] He J F， Feng J Y， Liu X L，et al. Mobile Product Search withBag of Hash Bits and Boundary Reranking[ P]. Computer Visionand Pattem Recognition（ CVPR）， 2012 IEEE Conference on，2012.

[7] Chen D M， Baatz G，Koser K， et al. City-scale Landmark Iden-tification on Mobile Devices[P].Computer Vision and PatternRecognition（ CVPR）， 2011 IEEE Conference on， 2011.

[8.] Ji R， Duan L Y， Chen J，et al. Location Discriminative Vocabu-lary Coding for Mobile Landmark Search[J].Intemational Journalof Computer Vision， 2012， 96 （3）： 290-314.

[9] Runge N， Wenig D， Malaka R.Keep an Eye on Your Photos：Automatic Image Tagging on Mobile Devices[C]//lntemationalConference on Human-computer Interaction with Mobile Devices&Services. ACM.2014.

[10]張興旺，李晨暉.數(shù)字圖書館移動(dòng)視覺搜索機(jī)制建設(shè)的若干關(guān)鍵問題[J].圖書情報(bào)工作，2015，59（ 15）：42-48.

[11]趙宇翔，朱慶華.大數(shù)據(jù)環(huán)境下移動(dòng)視覺搜索的游戲化機(jī)制設(shè)計(jì)[J].情報(bào)資料工作，2016， （4）：19-25.

[12]李晨暉，張興旺，秦曉珠，基于大數(shù)據(jù)的文化遺產(chǎn)數(shù)字圖書館移動(dòng)視覺搜索機(jī)制建設(shè)研究[J].情報(bào)理論與實(shí)踐，2018，41（ 4）：139-144， 133.

[13]張亭亭，趙宇翔，朱慶華，數(shù)字圖書館移動(dòng)視覺搜索的眾包模式初探[J].情報(bào)資料工作，2016， （4）：11-18.

[14]齊云飛，趙宇翔，朱慶華，關(guān)聯(lián)數(shù)據(jù)在數(shù)字圖書館移動(dòng)視覺搜索系統(tǒng)中的應(yīng)用研究[J].數(shù)據(jù)分析與知識(shí)發(fā)現(xiàn)，2017，1（1）：81-90.

[15]曾子明，秦思琪.去中心化的智慧圖書館移動(dòng)視覺搜索管理 體系[J].情報(bào)科學(xué)，2018，36（1）：11-15，60.

[16]胡蓉，唐振貴，朱慶華.混合需求驅(qū)動(dòng)的文內(nèi)視覺資源移動(dòng)視覺搜索框架[J].情報(bào)學(xué)報(bào)，2018， 37 （3）：285-293.

[17] DEY A K.Providing Architectural Support for Building ContextAware Applications[ D]. Atlanta： Ceorgia Institute of Technolo-gy，2000.

[18]顧君忠.情景感知計(jì)算[J].華東師范大學(xué)學(xué)報(bào)：自然科學(xué)版，2009，（5）：1-20，145.

[19]潘旭偉，李澤彪，祝錫永，等.自適應(yīng)個(gè)性化信息服務(wù)：基于情境感知和本體的方法[J].中國(guó)圖書館學(xué)報(bào)，2009，35（6）：41-48.

[20]袁靜，情景感知自適應(yīng)：圖書館個(gè)性化服務(wù)新方向[J].圖書情報(bào)工作，2012，56 （7）：79-82，97.

[21]李楓林，陳德鑫，梁少星，基于語(yǔ)義關(guān)聯(lián)和情景感知的個(gè)性化推薦方法研究[J].情報(bào)雜志，2015，34 （10）：189-195.

[22]陳氫，馮進(jìn)杰.多維情境融合的移動(dòng)情境感知服務(wù)系統(tǒng)構(gòu)建研究[J].情報(bào)理論與實(shí)踐，2018，41（8）：115-119，160.

[23]周樸雄，張兵榮，趙龍文.基于BP神經(jīng)網(wǎng)絡(luò)的情境化信息推薦服務(wù)研究[J].情報(bào)科學(xué)，2016，34 （3）：71-75.

[24]Broder A.The Next Ceneration Web Search and the Demise of theClassic IR Model[ Rl. Report on the 29th European Conferenceon Information Retrieval， Rome， 2007.

[25]董建鋒.跨模態(tài)檢索中的相關(guān)度計(jì)算研究[D].杭州：浙江大學(xué)，2018.

[26] Wang Wusheng， Li Weiping， Wu Zhonghai，et al.An Ontology- Based Context Model for Building Context - Aware Services[C] //Proc of the 2nd Int Conf on Intelligent Systems， Modellingand Simulation. Los Alamitos， CA： IEEE Computer Society，2011： 296-299.

[27]冀振燕，姚偉娜，皮懷雨，個(gè)性化圖像檢索和推薦[J].北京郵電大學(xué)學(xué)報(bào)，2017， 40 （3）：19-30.

[28] Li K， Zhu C， Lv Q， et al.Personalized Multi-modality ImageManagement and Search for Mobile Devices[ J]. Personal and U一biquitous Computing， 2013，17（8）：1817- 1834.

[29] Senge R， Bosner S，Dembczynski K， et al.Reliable Classifica-tion： Learning Classifiers that Distinguish Aleatoric and EpistemicUncertainty[J].Information Sciences An Intemational Joumal，2014， 255 （1）：16-29.

[30] Lukasiewicz T，Straccia U.Managing Uncertainty and Vaguenessin Description Logics for the Semantic Web[J].Journal of WebSemantics， 2008.6（4）： 291-308.

（責(zé)任編輯：郭沫含）

收稿日期：2019-05-15

基金項(xiàng)目：國(guó)家自然科學(xué)基金項(xiàng)目“云環(huán)境下智慧圖書館移動(dòng)視覺搜索模型與實(shí)現(xiàn)研究”（項(xiàng)目編號(hào)：71673203）。

作者簡(jiǎn)介：曾子明（1977-），男，教授，博士生導(dǎo)師，研究方向：移動(dòng)視覺搜索及應(yīng)用、大數(shù)據(jù)資源智能管理與決策等。蔣琳（1996一），女，碩士研究生，研究方向：智慧圖書館移動(dòng)視覺搜索。