國內外移動視覺搜索研究綜述

孟猛 朱慶華

收稿日期：2020-08-06

基金項目：國家社會科學基金重大項目“面向大數據的數字圖書館移動視覺搜索機制與應用研究”（項目編號：15ZDB126）。

作者簡介：孟猛（1977-），男，副研究員，博士，研究方向：用戶信息行為。朱慶華（1963-），男，教授，博士生導師，研究方向：社會化媒體，互聯網用戶行為。

摘 要：[目的/意義]總結國內外移動視覺搜索（Mobile Visual Search，MVS）研究進展，發(fā)現現有研究已經取得的成績、存在的局限性以及未來值得關注的潛在研究方向。[方法/過程]通過對文獻內容進行分析，從關鍵點檢測、特征提取與表示、特征索引與匹配、幾何一致性驗證、系統(tǒng)框架與搜索算法、系統(tǒng)應用與交互式系統(tǒng)、MVS產品分類比較、視覺數據集構建與數據庫壓縮、體系結構與模式機制、MVS用戶行為意愿以及異構MVS系統(tǒng)標準化等對當前研究成果進行梳理。[結果/結論]未來移動視覺搜索的研究可考慮從用戶行為視角開展諸如用戶體驗、初始采納、持續(xù)使用以及情感依戀等方面的研究。

關鍵詞：移動視覺搜索;交互式信息檢索;綜述

DOI：10.3969/j.issn.1008-0821.2021.01.019

〔中圖分類號〕G250.7 〔文獻標識碼〕A 〔文章編號〕1008-0821（2021）01-0158-11

Review of Research on Mobile Visual Search at Home and Abroad

Meng Meng1 Zhu Qinghua2

（1.Institute of Scientific and Technical Information，Chinese Academy of Tropical Agricultural Sciences，

Haikou 571737，China;

2.School of Information Management，Nanjing University，Nanjing 210023，China）

Abstract：[Purpose/Significance]This paper summarizes the research progress of Mobile Visual Search（MVS）at home and abroad，and finds out the achievements，limitations and potential research directions worthy of attention in the future.[Method/Process]Through the analysis of the literature content，the current research results were sorted out from key index detection，feature extraction and representation，feature indexing and matching，geometric consistency verification，system framework and search algorithm，system application and interactive system，MVS product classification and comparison，visual data set construction and database compression，system structure and model mechanism，MVS user behavior intention and heterogeneous MVS system standardization.[Result/Conclusion]The future research on MVS can be carried out from the perspective of user behavior，such as user experience，initial adoption，continuous use and emotional attachment.

Key words：mobile visual search;MVS;interactive information retrieval;review

移動視覺搜索（Mobile Visual Search，MVS）是指利用移動智能終端獲取用戶視覺接近對象的圖像或視頻為檢索項，通過移動互聯網搜索視覺對象關聯信息的一種交互式信息檢索方式[1-3]。此類應用程序可用于識別產品、藝術品、印刷媒體和地標等，諸如Google Goggles、Kooaba、SnapTell、GazoPa、TinEye，以及拍立淘、拍照購、手機百度、微軟識花、形色等。MVS技術克服了基于文本的信息檢索（Text-based Information Retrieval，TBIR）系統(tǒng)固有的局限性，例如語義模糊性和語言的抽象表達。隨著大數據時代的到來，基于視覺的信息提取、分析和檢索將比其他信息處理方法更具優(yōu)勢[4]。然而，作為一種新興的領域，MVS面臨著以下獨特的挑戰(zhàn)[5-6]：①較大的查詢視覺差異;②嚴格的內存和計算約束;③網絡帶寬限制;④即時搜索體驗。國內外學者為了克服這些獨特的挑戰(zhàn)，從不同視角開展了MVS的相關研究。為幫助學術界了解MVS的研究進展，有學者對MVS的內涵、主要研究方法、相關技術及主要挑戰(zhàn)、應用實踐等進行了闡述，并對MVS技術在數字圖書館中的應用前景進行了分析[7];有學者對大規(guī)模MVS的特征提取與表示、高維索引與匹配、幾何一致性校驗等關鍵問題進行了分析和歸納[8]。

目前，有關MVS的綜述研究還存在一定的局限性，原因是對國內外MVS相關研究現狀的梳理還不夠系統(tǒng)全面，不足以反映當下MVS相關研究的總體概貌。因此，為幫助學術界全面了解當前國內外MVS的研究進展，筆者在必應學術、谷歌學術、百度學術，以及Web of Science、LISA、EI、ACM、CCF和CNKI等數據庫中，分別檢索關鍵詞、標題及主題中含有“Mobile Visual（Image or Video）Search”和“移動視覺（圖像或視頻）搜索”的文獻，通過梳理、分析及歸納總結，國內外MVS研究視角的分布，如圖1所示。依據國內外MVS研究現狀，本文擬從關鍵點檢測、特征提取與表示、特征索引與匹配、幾何一致性驗證、系統(tǒng)框架與搜索算法、系統(tǒng)應用與交互式系統(tǒng)、MVS產品分類比較、視覺數據集構建與數據庫壓縮、體系結構與模式機制、MVS用戶行為意愿以及異構MVS系統(tǒng)標準化等方面梳理和評析MVS的研究進展，發(fā)現現有研究已經取得的成績、存在的局限性以及未來值得關注的潛在研究方向。

1 關鍵技術研究

1.1 關鍵點檢測

特征提取通常從圖像中找到突出的關鍵點開始[9]，然而移動終端拍攝的隨意性以及外界環(huán)境因素的影響造成了巨大的視覺變異，這就要求關鍵點在背景雜亂、前景遮擋、物體變形、抖動模糊、視角變化、尺度變化、旋轉變化、光照變化等條件下是可重復的。為了實現尺度的不變性，通常使用圖像金字塔在多個尺度上計算關鍵點[10];為了實現旋轉不變性，每個關鍵點周圍的補丁都定向在主梯度的方向上[1];并通過歸一化每個補丁中灰度值像素的均值和標準差來補償光照變化[9，11]。

國外關于關鍵點檢測子研究成果頗豐，Harris C等[12]提出一種基于圖像灰度的關鍵點檢測子——Harris Corner。Mikolajczyk K等[13]考慮了尺度空間理論，提出了一種應用拉普拉斯高斯進行自動尺度選擇的關鍵點檢測子——Harris-Laplacian。Lowe D G[10]在尺度不變特征變換（Scale Invariant Feature Transform，SIFT）算法中應用高斯差分濾波器，提出了尺度不變特征變換高斯差分關鍵點檢測子——SIFT DoG。此外，還有一些關鍵點檢測子，諸如加速魯棒特征（Speeded Up Robust Feature，SURF）[14]、良好特征追蹤、最大穩(wěn)定極值區(qū)域、中心環(huán)繞極值、加速分段測試特征、Hessian Affine、Hessian Blobs等。由于不同關鍵點檢測子在可重復性和復雜性方面提供了不同權衡，Mikolajczyk K等[15]在一個通用框架內對SIFT、梯度位置和方向直方圖（Gradient Location and Orientation Histogram，GLOH）、方向可調濾波器、差分不變量、復數濾波器和不變矩等關鍵點檢測子的性能進行了評估。實驗結果顯示，GLOH性能最佳、SIFT緊隨其后;在低維描述符中，矩和方向可調濾波器性能最佳。

1.2 特征提取

全局特征是指可以表示整體圖像的特征，傳統(tǒng)的全局特征包括顏色、紋理和形狀等整體特征，如紋理直方圖等。局部特征則是指從具有局部顯著結構的圖像區(qū)塊（如邊緣、角點、斑塊等）中提取的視覺特征。盡管傳統(tǒng)全局特征（顏色、形狀、紋理等）可能會產生較好效果，但是在移動環(huán)境下全局特征已無法滿足對視覺特征的新需求[8]。基于此，本文主要介紹局部特征提取。

自從1999年以來，Lowe D G[16]提出的SIFT描述符仍是計算機視覺中最流行的描述符，該描述符對放縮、旋轉、光照變化、視角變化以及噪聲失真具有高度的判別力和魯棒性。然而，SIFT描述符的尺寸比較大，有時甚至比捕獲圖像還大，這使得它不適合直接用于MVS系統(tǒng)。因此，后續(xù)研究主要集中于如何將128維的SIFT描述符降低到低維空間[17]。如Datar M等[18]的局部敏感哈希SIFT，Ke Y等[19]的主成分分析SIFT，以及Shakhnarovich G[20]的相似敏感編碼SIFT等。此外，還有一些學者提出了GLOH、壓縮梯度直方圖、二進制魯棒獨立基本特征、二進制魯棒不變可擴展關鍵點、快速視網膜關鍵點等描述符。然而，MVS是在帶寬有限的無線網絡環(huán)境下進行的，大數據量傳輸帶來的上行查詢傳輸延遲，將直接影響用戶體驗。近年來，學者們的研究工作更多地關注描述符緊湊提取[21-23]、描述符改進[24-25]、描述符評估[26]等方面。此外，還有學者從分層結構化多視圖特征[27]、局部強度比較[28]和3D對象視頻序列特征[29]等方面開展了描述符相關研究。

1.3 特征表示

視覺對象特征表示是MVS的關鍵環(huán)節(jié)，為進一步減少無線網絡傳輸流量、降低網絡延遲，MVS領域的特征表示研究主要包括二進制哈希、特征量化等。在二進制哈希研究方面，Chang S F等[30]提出了一種基于哈希位袋（Bag of Hash Bit，BoHB）的MVS系統(tǒng)，在該系統(tǒng)中，整個圖像被表示為BoHB。Qi H等[31]提出了一種參數少、低延遲和高精度的深度哈希方法來構建用于MVS的二進制哈希代碼。Zhang Q等[32]提出了一種基于BoHB的MVS方案，該方案可以顯著減少從移動設備到服務器的數據傳輸量。此外，Zhao B等[33]根據人類視覺系統(tǒng)（HVS）的稀疏編碼原理，采用局部近鄰保持的哈希函數來建立SIFT特征的二進制稀疏表達式。在特征量化研究方面，Zhang G等[34]為了解決MVS的準確性和快速傳輸問題，提出一種與費希爾向量（Fisher Vector，FV）互補的方法。Lin J等[35]提出了一個多碼本學習和查詢專用碼本生成方法，以減少在極低比特率MVS中出現的詞匯編碼中的冗余碼字。Zhou W等[36]提出了一種大規(guī)模移動圖像搜索的無碼本算法。Zhang X等[37]提出了一種新的MVS解決方案，它以一個短視頻片段為查詢對象，并為查詢視頻生成了一個緊湊而具有區(qū)分性的時空費希爾矢量（TSFV）。Chen J等[38]針對在移動端提取緊湊視覺描述符時，樹結構向量量化器會占用較大內存，提出了一種修剪樹結構向量量化器方案。此外，還有學者為了減少無線網絡傳輸流量、降低網絡延遲，開展了分層稀疏編碼[39]、多層級小波分解[40]和詞匯分解[41]等在MVS中的應用研究。

1.4 特征索引

為了實現MVS在大型圖像數據庫中快速而準確的匹配，必須對大型圖像數據庫中局部特征進行索引，目前主要有兩種索引方法[42]：第一種方法涉及嘗試搜索近似最近鄰（Approximate Nearest Neighbor，ANN），如Lowe D G[10]采用最優(yōu)節(jié)點優(yōu)先策略對SIFT描述符進行ANN搜索。高維空間內的ANN搜索主要通過哈希技術來實現[8]，如局部敏感哈希[43-44]。第二種方法涉及詞袋（Bag-of-Words，BoW）模型[45-47]，通過量化特征空間以實現更快的速度。然而，隨著圖像數據庫大幅度地增加，BoW和倒排索引會占用大量內存空間。目前，學者們主要通過壓縮倒排索引或穩(wěn)定點過濾方法來減少倒排索引文件的大小。如Chen D M等[48]針對倒排索引占用大量內存會阻礙圖像數據庫的可伸縮性，并減慢內存擁塞服務器上的進程，提出了一種壓縮的倒排索引，該索引可以顯著減少多達5倍的內存使用量，而且對分類精度沒有任何影響。Wang Y等[49]針對SIFT等高維局部特征的索引機制不夠快，而許多低維特征不能確保高精度，提出了一種用于MVS的全自動離線穩(wěn)定點過濾方法。

1.5 幾何一致性驗證

為了解決BoW模型出現錯誤匹配的問題，幾何驗證[10，50-51]成為獲得合理檢索精度的重要后處理步驟，特別是對于低分辨率圖像。為此，學者們提出了許多幾何一致性驗證方法，這些方法主要分為兩類[52]：局部幾何信息一致性驗證和全局幾何信息一致性驗證。在局部幾何信息一致性驗證研究方面，Luo J等[53]認為兩個真正匹配的局部特征不僅應在相似的空間上下文中，而且還應具有一致的空間關系，因此應同時引入上下文相似性和空間相似性來描述幾何一致性。Gao K等[54]為了防止查詢擴展中的查詢偏移，預先消除擴展特征引起的錯誤匹配，將每個特征的代表性視點用于有效的幾何一致性驗證，以支持快速和準確的特征匹配。此外，Lyu X等[27]針對描述符匹配結果可能包含異常值，使用多視圖基礎矩陣（Multi-View Fundamental Matrix），對層級提升算法進行適當的幾何驗證，以提高MVS的性能。在全局幾何信息一致性驗證研究方面，1981年由Fischler M A等[55]提出的隨機抽樣一致性（Random Sample Consensus，RANSAC）算法是最流行的全局幾何信息一致性驗證方法。Yang X等[56]在移動地標圖像搜索系統(tǒng)中，將BoW模型和倒排文件一起用于索引和匹配，為了進一步消除誤報，使用RANSAC算法來估計查詢與目標之間的幾何變換。盡管RANSAC算法精度較高，但是RANSAC算法需要耗費比較多的計算時間。為此，Jégou H等[57]提出了弱幾何一致性驗證方法，該方法以犧牲一定的精度為代價，極大地提高了驗證速度。此外，還有學者基于幾何統(tǒng)計方法[58]和嵌入式3D幾何評分[59]開展了相關研究。

2 MVS系統(tǒng)框架、算法與應用研究

2.1 MVS系統(tǒng)框架與算法研究

在MVS系統(tǒng)框架研究方面，學者們主要針對MVS面臨的挑戰(zhàn)，結合MVS基本流程的各模塊所需關鍵技術（如圖2所示），開展了如何提高MVS檢索性能的系統(tǒng)框架研究。Liu X等[60]提出了一個僅在拍照手機上運行的視覺搜索系統(tǒng)框架，該框架通過手機攝像頭捕獲打印文檔的圖像來搜索電子文檔。Qi H等[61]為了減少MVS傳輸開銷，提出了一種基于詞匯分解（Vocabulary Decomposition，VD）的MVS低傳輸開銷框架。Peng P等[62]提出了一種基于查詢質量依賴融合方法的MVS質量感知框架。al瘙塂r F等[63]提出了一種新的多視圖視覺查詢模型，該模型在多視圖對象圖像數據庫上進行MVS。Duan L Y等[64]提出了一個移動文檔圖像檢索的總體框架。Hu H等[65]提出了一個基于各種最新深度學習視覺特性的級聯學習排序框架。Gao W等[66]提出了一種基于多模式哈希的即時移動視頻搜索框架。此外，齊云飛等[67]提出了一種將語義搜索與視覺搜索相結合的數字圖書館MVS系統(tǒng)框架。胡蓉等[68]提出了一個混合需求驅動的文內視覺資源MVS總體框架。在MVS搜索算法研究方面，學者們?yōu)榱嗽鰪娪脩羲阉黧w驗、提高系統(tǒng)檢索性能，主要開展了MVS相關技術算法的改進、優(yōu)化與集成等方面的研究。Patel H[69]提出了一個視覺搜索算法，該算法可以根據輸入圖像的特征或關鍵點發(fā)現匹配的圖像。Shen X等[70]提出一種可以同時從查詢中提取產品實例、識別實例并從視覺上檢索相似產品圖像的方法。Yang D S等[71]提出了一種有效的圖像檢索方法，該方法利用地理參考屬性和低層視覺特征的組合，對圖像進行索引和檢索。Ahmad J等[72]提出了一種基于草圖的移動設備圖像檢索方法，該方法通過一個高效的卷積神經網絡對面向草圖的增強數據集進行微調，從部分彩色草圖中提取深層神經代碼。Mennesson J等[73]提出了一種基于內容的圖像檢索（Content-based Image Retrieval，CBIR）方法，該方法使用專門在移動設備上構建匹配的BoW。此外，Li H等[74]提出了一種使用立體特征進行3D對象識別的移動3D視覺搜索方案。

2.2 MVS系統(tǒng)應用及比較研究

MVS系統(tǒng)應用研究主要集中在專業(yè)領域MVS系統(tǒng)和交互式MVS系統(tǒng)兩個方面。在專業(yè)領域MVS系統(tǒng)方面，學者們主要在文檔[75-77]、雜志[78]、畫廊[79]、旅游[80]、地標[81]、購物[82-83]、視頻[84-85]、博物館[86]、圖書館[87]和植物[88]等領域開展了MVS應用方面的研究。在交互式MVS系統(tǒng)方面，學者們的研究主要圍繞在多模式聯合搜索系統(tǒng)和多點觸控交互式搜索系統(tǒng)兩個方面：①針對多模式聯合搜索系統(tǒng)研究，Wang Y等[89]利用智能手機的多模式和多觸點交互等功能，為手機用戶提出了一個創(chuàng)新的應用程序（JIGSAW），以促進他們的視覺搜索體驗。Li H等[90]提出了一種基于移動設備的多模式交互式圖像搜索系統(tǒng)（JIGSAW+）。類似的，還有學者提出了一種允許用戶與移動終端多模式交互的MVS系統(tǒng)（JIGSAW+）[91]。此外，Bagul M R E等[92]提出了一種多類型輸入（如文本、圖像、語音等）的交互式視覺搜索系統(tǒng)。②針對多點觸控交互式搜索系統(tǒng)研究，Zhang N等[93]提出了一種交互式的“點擊-搜索”系統(tǒng)，該系統(tǒng)既利用了個人在移動觸摸屏上通過“點擊”動作選擇感興趣區(qū)域的意圖，又利用了大規(guī)模圖像數據庫中的搜索機制。Aher K V等[94]提出了一個智能圖像檢索系統(tǒng)，該系統(tǒng)充分利用智能手機的多模式和多點觸控功能，允許在手機上進行圖像、語音和文本搜索。Sang J等[95]通過利用移動設備上的多點觸控交互，提出了一種交互式MVS原型（TapTell），幫助用戶更方便地表達他們的視覺意圖。類似的，Muneesawang P等[96]將BoW模型和先進的檢索算法相結合，提出了一種MVS和社交活動推薦系統(tǒng)。除MVS系統(tǒng)應用研究之外，為了能給產業(yè)界研發(fā)與完善MVS提供新的方向和思路以及學術界研究MVS提供參考和幫助，學者們還開展了國內外MVS應用案例分析與分類比較研究。如Nikolopoulos S等[97]從采用技術、目標領域和經營模式3個方面對國外12個MVS應用進行了比較分析。張興旺等[7]從商業(yè)背景、應用領域、服務模式和基本功能4個方面對國外不同類型MVS應用案例進行了比較分析。馬騰騰等[98]從依托設備及使用的技術兩個層面對國外部分視覺搜索產品進行了分類研究。類似地，史昱天等[99]從搜索架構和運營模式兩個方面，對國內主流MVS工具進行了比較研究。

當前，學術界和產業(yè)界都對MVS這一新興搜索模式給予了極大關注，并開發(fā)了大量的MVS系統(tǒng)框架、算法與應用，而且?guī)缀跛械腗VS系統(tǒng)都提供不同的搜索界面和圖像元數據描述格式，從而阻礙了統(tǒng)一和高效的訪問，這使得異構MVS系統(tǒng)之間必然會存在互操作性問題。為了解決MVS的互操作性問題，創(chuàng)建統(tǒng)一的圖像存儲庫接口，國際標準化組織ISO/IEC SC29/WG11提供了用于標準化多媒體存儲庫查詢語言的標準ISO/IEC 15938-12：2008[124-126]和標準化視覺搜索緊湊描述符（Compact Descriptors for Visual Search，CDVS）的標準ISO/IEC DIS 15938-13：2014[127];國際標準化組織ISO/IEC SC29/WG1提供了圖像元數據互操作性問題解決方案的標準ISO/IEC 24800：2010[128-129]。此外，Tous R等[130-131]通過對ISO/IEC 15938-12和ISO/IEC 24800的研究，發(fā)現了與這兩個標準整合以及它們涵蓋視覺搜索場景方式有關的一些問題，并向標準化委員會提出了解決方案。

6 結 論

通過文獻綜述發(fā)現，國內外學者對MVS的相關研究主要集中在關鍵點檢測、特征提取與表示、特征索引與匹配、幾何一致性驗證、體系結構、系統(tǒng)框架、搜索算法、系統(tǒng)應用、交互式系統(tǒng)和視覺數據集構建等方面。此外，為了在數字圖書館能夠更好地利用MVS這種信息服務模式，也有學者從模式機制視角對數字圖書館MVS的信息服務模式和機制建設等進行了研究。但是到目前為止，國內外有關MVS用戶行為研究方面的文獻還相當匱乏，僅有個別學者開展了MVS用戶行為意向研究。另外，在“互聯網+”和大數據時代背景下，MVS作為新一代互聯網服務模式，具有重要的研究價值、社會效益和廣闊的市場應用前景。然而，與國外相比，國內MVS應用還存在巨大差距。盡管已有一些應用案例，但是尚未得到廣泛應用，使用率并不高，用戶黏性較差。因而，快速準確地把握影響MVS用戶行為的顯著因素是推動MVS快速發(fā)展的重要前提，而系統(tǒng)嚴謹地對MVS用戶行為進行學術研究是十分必要的。鑒于此，本研究認為學者們未來可考慮從用戶行為視角開展MVS的相關研究，具體可從用戶體驗、初始采納、持續(xù)使用以及情感依戀等方面進行深入探討：

1）從用戶行為視角開展MVS用戶體驗研究，發(fā)現影響MVS用戶體驗的顯著因素，分析MVS用戶體驗影響因素的作用機理，進而提出MVS用戶體驗提升策略，以期為MVS的管理者、設計者及運營商提供理論借鑒與實踐指導，進而采取有效措施改善用戶體驗，優(yōu)化MVS應用。此外，可以開展MVS用戶體驗跨文化和跨地域比較研究，通過跨文化和跨地域的比較研究，力求全面深入地探尋影響MVS用戶體驗的因素;還可以開展不同的MVS用戶體驗比較研究，通過開展不同的MVS用戶行為橫向比較研究，發(fā)現存在的不足，以便于為不同的MVS提出更有針對性的用戶體驗提升策略。

2）在“互聯網+”和大數據時代背景下，MVS作為新一代互聯網服務模式，具有廣闊的市場應用前景。但從目前來看，MVS尚未得到廣泛應用，使用率并不高，用戶實際采納規(guī)模和利用水平也十分有限。因此，MVS在采納過程的初始階段，如何獲得用戶的認可已成為一個現實問題。學者們未來可以考慮以理性行為理論（TRA）、技術接受模型（TAM）、技術接受與利用整合理論（UTAUT）、信息系統(tǒng)成功模型（ISM）為基礎，引入認知理論中的首因效應，開展MVS用戶初始采納行為研究。

3）由于MVS作為新一代互聯網服務模式，用戶對MVS初始采納是實現MVS成功的第一步，MVS的長期存活和最終的成功取決于它的持續(xù)使用。因此，如何提高用戶滿意度和忠誠度，增強用戶黏性，洞察用戶真正興趣和心理需求，培養(yǎng)用戶習慣等，確保用戶在初始采納MVS后持續(xù)使用，并對MVS產生情感依戀，進而產生長期使用行為，這些對MVS運營商來說尤為重要。學者們未來可以考慮從認知范式視角出發(fā)，整合擴展的信息系統(tǒng)持續(xù)使用模型（ECM-ISC）模型、習慣等構建概念模型，開展MVS用戶持續(xù)使用行為研究;還可以考慮從情感范式視角出發(fā)，在擴展的ECM-ISC模型基礎上整合情感依戀理論、依戀強度ARC模型等構建概念模型，進一步開展MVS用戶持續(xù)使用行為研究。

參考文獻

[1]Girod B，Chandrasekhar V，Grzeszczuk R，et al.Mobile Visual Search：Architectures，Technologies，and the Emerging MPEG Standard[J].IEEE Multimedia，2011，18（3）：86-94.

[2]朱慶華.大數據環(huán)境下數字資源移動視覺搜索機制[J].情報資料工作，2016，（4）：5.

[3]趙宇翔，朱慶華.大數據環(huán)境下移動視覺搜索的游戲化機制設計[J].情報資料工作，2016，（4）：19-25.

[4]Sun H G.Mobile Visual Search[D].Master of Engineering By Research thesis，School of Electrical，Computer and Telecommunications Engineering，University of Wollongong，2013.http：//ro.uow.edu.au/theses/4108.

[5]Liu W，Mei T，Zhang Y.Instant Mobile Video Search With Layered Audio-Video Indexing and Progressive Transmission[J].IEEE Transactions on Multimedia，2014，16（8）：2242-2255.

[6]Liu W，Ma H，Qi H，et al.Deep Learning Hashing for Mobile Visual Search[J].Eurasip Journal on Image & Video Processing，2017，2017（1）：17.

[7]張興旺，黃曉斌.國外移動視覺搜索研究述評[J].中國圖書館學報，2014，40（3）：114-128.

[8]賈佳，唐勝，謝洪濤，等.移動視覺搜索綜述[J].計算機輔助設計與圖形學學報，2017，29（6）：1007-1021.

[9]Girod B，Chandrasekhar V，Chen D M，et al.Mobile Visual Search[J].IEEE Signal Processing Magazine，2011，28（4）：61-76.

[10]Lowe D G.Distinctive Image Features from Scale-Invariant Keypoints[J].International Journal of Computer Vision，2004，60（2）：91-110.

[11]Mikolajczyk K，Tuytelaars T，Schmid C，et al.A Comparison of Affine Region Detectors[J].International Journal of Computer Vision，2005，65（1-2）：43-72.

[12]Harris C，Stephens M.A Combined Corner and Edge Detector[C]//Proceedings of the 4th Alvey Vision Conference.Manchester，UK：The Plessey Company，1988：147-151.

[13]Mikolajczyk K，Schmid C.Indexing Based on Scale Invariant Interest Points[C]//Computer Vision，2001.ICCV 2001.Proceedings.Eighth IEEE International Conference on.IEEE，2001，（1）：525-531.

[14]Bay H，Ess A，Tuytelaars T，et al.Speeded-Up Robust Features[J].Computer Vision & Image Understanding，2008，110（3）：404-417.

[15]Mikolajczyk K，Schmid C.A Performance Evaluation of Local Descriptors[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27（10）：1615-1630.

[16]Lowe D G.Object Recognition from Local Scale-Invariant Features[C]//iccv.IEEE Computer Society，1999：1150.

[17]Du Y，Li Z，Qu W，et al.MVSS：Mobile Visual Search Based on Saliency[C]//IEEE，International Conference on High PERFORMANCE Computing and Communications & 2013 IEEE International Conference on Embedded and Ubiquitous Computing.IEEE，2013：922-928.

[18]Datar M，Immorlica N，Indyk P，et al.Locality-sensitive Hashing Scheme Based on P-stable Distributions[C]//Twentieth Symposium on Computational Geometry.ACM，2004：253-262.

[19]Ke Y，Sukthankar R.PCA-SIFT：A More Distinctive Representation for Local Image Descriptors[C]//IEEE Computer Society，2004：506-513.

[20]Shakhnarovich G.Learning Task-specific Similarity[D].PhD thesis，Massachusetts Institute of Technology，2005.

[21]Ji R，Duan L Y，Chen J，et al.Towards Low Bit Rate Mobile Visual Search with Multiple-channel Coding[C]//ACM International Conference on Multimedia.ACM，2011：573-582.

[22]Chen D，Tsai S，Chandrasekhar V，et al.Residual Enhanced Visual Vector as a Compact Signature for Mobile Visual Search[J].Signal Processing，2013，93（8）：2316-2327.

[23]Ji R，Duan L Y，Chen J，et al.Mining Compact Bag-of-Patterns for Low Bit Rate Mobile Visual Search[J].IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society，2014，23（7）：3099-3113.

[24]Seo J J，Yoona K R.Modified Speeded Up Robust Features（SURF）for Performance Enhancement of Mobile Visual Search System[J].Journal of Broadcast Engineering，2012，17（2）：388-399.

[25]Zeng K，Wu N，Kang K Y.A Color Boosted Local Feature Extraction Method for Mobile Product Search[J].International Journal on Recent Trends in Engineering & Technolo，2014.

[26]Chatzilari E，Liaros G，Nikolopoulos S，et al.A Comparative Study on Mobile Visual Recognition[C]//International Workshop on Machine Learning and Data Mining in Pattern Recognition.Springer，Berlin，Heidelberg，2013：442-457.

[27]Lyu X，Li H，Flierl M.Hierarchically Structured Multi-view Features for Mobile Visual Search[C]//Data Compression Conference，2014：23-32.

[28]Na S I，Lee K D，Lee S J，et al.Intensity Comparison Based Compact Descriptor for Mobile Visual Search[C]//Frontiers of Computer Vision.IEEE，2013：103-106.

[29]Yabushita H，Osawa T，Shimamura J，et al.Mobile Visual Search for 3-D Objects：Matching User-captured Video to Single Reference Image[C]//Consumer Electronics.IEEE，2013：122-123.

[30]Chang S F，Chung H，Lin T H，et al.Mobile Product Search with Bag of Hash Bits and Boundary Reranking[C]//IEEE Conference on Computer Vision and Pattern Recognition.IEEE Computer Society，2012：3005-3012.

[31]Qi H，Liu W，Liu L.An Efficient Deep Learning Hashing Neural Network for Mobile Visual Search[J].arXiv Preprint arXiv：1710.07750，2017.

[32]Zhang Q，Li Z，Du Y，et al.A Novel Progressive Transmission in Mobile Visual Search[C]//IEEE，International Conference on Dependable，Autonomic and Secure Computing.IEEE，2014：259-264.

[33]Zhao B，Zhao H W，Liu P P，et al.A New Mobile Visual Search System Based on the Human Visual System[J].Applied Mechanics & Materials，2013，461（461）：792-800.

[34]Zhang G，Zeng Z，Zhang S，et al.Transmitting Informative Components of Fisher Codes for Mobile Visual Search[C]//IEEE International Conference on Acoustics，Speech and Signal Processing.IEEE，2015：1136-1140.

[35]Lin J，Duan L Y，Chen J，et al.Learning Multiple Codebooks for Low Bit Rate Mobile Visual Search[C]//IEEE International Conference on Acoustics，Speech and Signal Processing.IEEE，2012：933-936.

[36]Zhou W，Yang M，Li H，et al.Towards Codebook-Free：Scalable Cascaded Hashing for Mobile Image Search[J].IEEE Transactions on Multimedia，2014，16（3）：601-611.

[37]Zhang X，Wang Y，Liu Z，et al.Selectively Aggregated Fisher Vectors of Query Video for Mobile Visual Search[C]//IEEE Second International Conference on Multimedia Big Data.IEEE，2016：334-341.

[38]Chen J，Duan L Y，Ji R，et al.Pruning Tree-structured Vector Quantizer Towards Low Bit Rate Mobile Visual Search[C]//IEEE International Conference on Acoustics，Speech and Signal Processing.IEEE，2012：965-968.

[39]Yang X，Liu L，Qian X，et al.Mobile Visual Search Via Hievarchical Sparse Coding[C]//IEEE International Conference on Multimedia and Expo.IEEE，2014：1-6.

[40]Miao S，Li Z，Qu W，et al.Progressive Transmission Based on Wavelet Used in Mobile Visual Search[J].International Journal of Embedded Systems，2014，6（2/3）：114-123.

[41]Khaire P S.Mobile Visual Search：A Low Transmission Overhead Framework Based on Vocabulary Decomposition[J].International Journal of Innovative and Emerging Research in Engineering，2015，2（3）：118-122.

[42]Duan L Y，Chen J，Wang C Y，et al.Key Technologies in Mobile Visual Search and MPEG Standardization Activities[J].ZTE Communications，2012，10（2）：57-66.

[43]Andoni A，Indyk P.Near-Optimal Hashing Algorithms for Approximate Nearest Neighbor in High Dimensions[J].Communications of the ACM，2008，51（1）：117-122.

[44]Wang J，Shen H T，Song J，et al.Hashing for Similarity Search：A Survey[J].Computer Science，2014.

[45]Sivic J，Zisserman A.Video Google：A Text Retrieval Approach to Object Matching in Videos[C]//IEEE International Conference on Computer Vision.IEEE Computer Society，2003：1470.

[46]Nister D，Stewenius H.Scalable Recognition with a Vocabulary Tree[C]//Computer Vision and Pattern Recognition，2006 IEEE Computer Society Conference on.Leee，2006，（2）：2161-2168.

[47]Xie H，Gao K，Zhang Y，et al.Efficient Feature Detection and Effective Post-verification for Large Scale Near-duplicate Image Search[J].IEEE TRANSACTIONS on Multimedia，2011，13（6）：1319-1332.

[48]Chen D M，Tsai S S，Chandrasekhar V，et al.Inverted Index Compression for Scalable Image Matching[C]//Data Compression Conference.IEEE，2010.

[49]Wang Y，Chen K，Zhou Y，et al.An Improved Offline Stable Point Filtering Method for Mobile Search Application[C]//International Conference on Information Engineering and Computer Science.IEEE，2009：1-5.

[50]Jegou H，Douze M，Schmid C.Hamming Embedding and Weak Geometric Consistency for Large Scale Image Search[M]//Computer Vision-ECCV 2008.OAI，2008：304-317.

[51]Philbin J，Chum O，Isard M，et al.Object Retrieval with Large Vocabularies and Fast Spatial Matching[C]//Computer Vision and Pattern Recognition，2007.CVPR07.IEEE Conference on.IEEE，2007：1-8.

[52]衡星.基于幾何信息的近相似圖像檢索[D].成都：電子科技大學，2016.

[53]Luo J，Lang B.Efficient Geometric Re-ranking for Mobile Visual Search[M].Computer Vision-ACCV 2012 Workshops.Springer Berlin Heidelberg，2013：520-532.

[54]Gao K，Zhang Y，Zhang D，et al.Accurate Off-line Query Expansion for Large-scale Mobile Visual Search[J].Signal Processing，2013，93（8）：2305-2315.

[55]Fischler M A，Bolles R C.Random Sample Consensus：A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography[J].Communications of the ACM，1981，24（6）：381-395.

[56]Yang X，Pang S，Cheng K T T.Mobile Image Search with Multimodal Context-aware Queries[C]//Computer Vision and Pattern Recognition Workshops.IEEE，2010：25-32.

[57]Jégou H，Douze M，Schmid C.Improving Bag-of-Features for Large Scale Image Search[J].International Journal of Computer Vision，2010，87（3）：316-336.

[58]Zhang M，Li S，Lin X，et al.Fast Verification Via Statistical Geometric for Mobile Visual Search[J].Multimedia Systems，2016，22（4）：525-534.

[59]Wu H，Li H，Flierl M.An Embedded 3D Geometry Score for Mobile 3D Visual Search[C]//IEEE，International Workshop on Multimedia Signal Processing.IEEE，2017：1-6.

[60]Liu X，Hull J J，Graham J，et al.Mobile Visual Search，Linking Printed Documents to Digital Media[J].Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2010.

[61]Qi H，Stojmenovic M，Li K，et al.A Low Transmission Overhead Framework of Mobile Visual Search Based on Vocabulary Decomposition[J].IEEE Transactions on Multimedia，2014，16（7）：1963-1972.

[62]Peng P，Li J，Li Z N.Quality-aware Mobile Visual Search[J].Procedia-Social and Behavioral Sciences，2014，147：383-389.