基于內(nèi)容的圖像檢索技術(shù)研究綜述

楊 慧，施水才

（北京信息科技大學(xué) 計(jì)算機(jī)學(xué)院，北京 100101）

0 引言

隨著現(xiàn)代互聯(lián)網(wǎng)技術(shù)快速發(fā)展，大量圖像數(shù)據(jù)信息（圖片與圖片文本描述）迅速增長(zhǎng)，可收集圖像構(gòu)建圖像庫(kù)應(yīng)用于各領(lǐng)域。目前，圖像數(shù)據(jù)信息的表現(xiàn)方式呈現(xiàn)多樣化，不同形式的數(shù)據(jù)可描述同一主題圖片。基于多種數(shù)據(jù)信息，研究者們?cè)谶M(jìn)行圖像檢索研究中，從何種角度選取特征表征圖像的方法眾多，涌現(xiàn)了許多新模型與算法。圖像檢索技術(shù)在搜索引擎、公共安全、醫(yī)療診斷、商品服飾搜索等眾多領(lǐng)域應(yīng)用廣泛，包括時(shí)尚圖像檢索、專利產(chǎn)品檢索、醫(yī)學(xué)圖像檢索、淘寶物品搜索、圖文檢索等，并已取得了較大成績(jī)。

本文對(duì)圖像檢索的經(jīng)典與最新方法進(jìn)行概述性總結(jié)，從全局與局部特征提取、無(wú)監(jiān)督與有監(jiān)督學(xué)習(xí)、深度學(xué)習(xí)等方面概括傳統(tǒng)方法與機(jī)器學(xué)習(xí)方法在圖像檢索方面存在的區(qū)別。總結(jié)目前圖像檢索任務(wù)中面臨的挑戰(zhàn)及亟需解決的問(wèn)題，并在此基礎(chǔ)上分析該技術(shù)未來(lái)的研究方向。

1 圖像檢索任務(wù)與評(píng)價(jià)方法

1.1 圖像檢索任務(wù)

圖像檢索是計(jì)算機(jī)視覺(jué)領(lǐng)域的一個(gè)重要研究方向，目的在圖像數(shù)據(jù)庫(kù)中查詢與輸入圖像相似的內(nèi)容。圖像檢索按描述圖像內(nèi)容方式可分基于文本的圖像檢索（Text Based Image Retrieval，TBIR）與基于內(nèi)容的圖像檢索（Content Based Image Retrieval，CBIR）。

TBIR 利用人工標(biāo)注或通過(guò)圖像識(shí)別技術(shù)的半自動(dòng)標(biāo)注方式描述圖像內(nèi)容，為每幅圖像形成描述圖像內(nèi)容的關(guān)鍵詞。在檢索階段，用戶通過(guò)關(guān)鍵字從圖像庫(kù)中檢索標(biāo)注相關(guān)的圖片。此外，該方法易于實(shí)現(xiàn)，由于存在人工或圖像識(shí)別技術(shù)標(biāo)注，算法的查準(zhǔn)率相對(duì)較高，在面對(duì)中小規(guī)模圖像搜索問(wèn)題時(shí)具有較好的應(yīng)用前景。

由于TBIR 技術(shù)人工標(biāo)注費(fèi)時(shí)費(fèi)力，過(guò)程中易受到標(biāo)注者知識(shí)水平、言語(yǔ)使用及主觀判斷等因素影響，發(fā)生文字描述圖片差異等問(wèn)題。為解決檢索圖像的高級(jí)語(yǔ)義與低級(jí)視覺(jué)特征間的“語(yǔ)義鴻溝”，學(xué)術(shù)界、工業(yè)界均做出了努力逐步建立CBIR 技術(shù)。隨著深度學(xué)習(xí)理論不斷完善，CBIR 取得了巨大進(jìn)步，其圖像檢索一般框架如圖1 所示。在大規(guī)模圖像檢索中，CBIR 任務(wù)是在一個(gè)大型圖像集合中搜索與給定查詢數(shù)據(jù)最相關(guān)的內(nèi)容，主要包含特征提取和相似性度量?jī)蓚€(gè)階段，借助計(jì)算機(jī)優(yōu)勢(shì)克服TBIR 技術(shù)存在的缺陷，提高模型檢索效率，在電子商務(wù)、醫(yī)療診斷、版權(quán)保護(hù)、公共安全等領(lǐng)域具有廣闊的應(yīng)用前景。

Fig.1 General framework for content-based image retrieval圖1 CBIR一般框架

現(xiàn)階段，圖像檢索任務(wù)最需要注意的問(wèn)題是“語(yǔ)義鴻溝”，即描述圖像的低級(jí)特征與圖像包含的高級(jí)感知概念間存在鴻溝，導(dǎo)致無(wú)法檢索不相關(guān)的圖像，在過(guò)去30 年一直是眾多學(xué)者研究的焦點(diǎn)［1］。不少學(xué)者提出各種方法將圖像高級(jí)概念轉(zhuǎn)換為特征，根據(jù)不同特征提取方法將傳統(tǒng)特征劃分為全局、局部特征。例如顏色、紋理、形狀和空間信息等全局特征展現(xiàn)了整副圖像的表示，適用于對(duì)象分類與檢測(cè)［2］。相較于全局特征，局部特征更適用應(yīng)用于圖像檢索、匹配任務(wù)和識(shí)別［3］?；谏疃葘W(xué)習(xí)的特征提取則主要利用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN），所提取的特征一般為圖像的全局特征表示。

1.2 圖像檢索評(píng)價(jià)方法

在圖像檢索任務(wù)中選擇合適的評(píng)估公式取決于所用方法、算法自身、問(wèn)題領(lǐng)域這3 個(gè)因素。目前，CBIR 技術(shù)常用評(píng)價(jià)指標(biāo)包括召回率（R）、精確率（P）、綜合評(píng)價(jià)（Fscore）和均值平均精度（mAP）。

召回率（R）指檢索系統(tǒng)正確檢索圖像占數(shù)據(jù)集中相關(guān)圖像總數(shù)百分比［4］，計(jì)算公式如式（1）所示。

其中，T表示檢索返回正確檢索的樣本數(shù)量，V表示數(shù)據(jù)集中未返回與檢索圖像相關(guān)的樣本數(shù)量。

精確率（P）指檢索系統(tǒng)正確檢索圖像占檢索到的圖像總數(shù)百分比［5］，計(jì)算公式如式（2）所示。

其中，U表示檢索返回與查詢樣本不相關(guān)的樣本數(shù)量。一般情況下，R、P相互矛盾，針對(duì)特定領(lǐng)域圖像檢索任務(wù)可根據(jù)需求對(duì)召回率和精確率進(jìn)行判斷。

綜合評(píng)價(jià)指標(biāo)（F-score）指召回率與精確率的加權(quán)調(diào)和平均值［6］，計(jì)算公式如式（3）所示。

其中，β為調(diào)整召回率與精確率權(quán)重的參數(shù)，若需要更高的精確率則減小β，若需要更高的召回率則增大β。當(dāng)β=1 時(shí)，R、P同樣重要，即為F1-score［7］，F(xiàn)1 值越高說(shuō)明系統(tǒng)檢索性能越好。

均值平均精度（mAP）是目前圖像檢索任務(wù)中最流行的評(píng)價(jià)指標(biāo)，當(dāng)給定一個(gè)查詢q和top-K 檢索到數(shù)據(jù)的情況下，平均精度（AP）的計(jì)算公式如式（4）所示［8］。

其中，k表示檢索返回的第k個(gè)數(shù)據(jù)，P(k)表示返回前k個(gè)檢索數(shù)據(jù)時(shí)的精確率，N表示數(shù)據(jù)庫(kù)中當(dāng)前查詢圖像q的相關(guān)圖像數(shù)量。若第k個(gè)檢索返回的數(shù)據(jù)與查詢q相關(guān)，則α(k)=1，否則α(k)=0。

mAP 是所有查詢數(shù)據(jù)的AP 的平均值［9］，計(jì)算如式（5）所示。

其中，Q表示查詢樣本總數(shù)。相較于上述各種評(píng)價(jià)指標(biāo)，mAP 在衡量算法的檢索能力時(shí)能反映全局性能。

2 經(jīng)典數(shù)據(jù)集

在圖像檢索技術(shù)各項(xiàng)研究中，數(shù)據(jù)是重要的驅(qū)動(dòng)力，表1 展示了常用圖像檢索任務(wù)數(shù)據(jù)集。Google Landmarks Dataset v2 數(shù)據(jù)集包含超過(guò)5×106張圖像和2×105張不同的實(shí)例標(biāo)簽［10］，其中訓(xùn)練集圖片4 132 914 張，索引集圖片 761 757 張，測(cè)試集圖片117 577 張。GLDv2 是最大的地標(biāo)性數(shù)據(jù)集，包含標(biāo)注的人造地標(biāo)與自然地標(biāo)圖像。NUSWIDE 是多標(biāo)簽定義關(guān)于圖像文本匹配的數(shù)據(jù)集，包含269 648 張圖片，每張圖片平均含有2～5 個(gè)標(biāo)簽［11］。MS COCO 數(shù)據(jù)集包含123 287 幅圖像，每張圖片至少含有5 個(gè)語(yǔ)句標(biāo)注［12］。Flickr30k 包含31 783 張圖片，每張圖片含有5 個(gè)語(yǔ)句標(biāo)注［13］。Oxford-5k 由11 座牛津建筑的5 062 幅圖像組成，每幅圖像由5 個(gè)手繪邊界框表示，總計(jì)55 個(gè)查詢感興趣區(qū)域［14］。Sketchy 包含125 個(gè)不同類別的草圖圖像對(duì)，每個(gè)類別包含100 張圖像，還收集了與12 500 張圖像對(duì)相對(duì)應(yīng)的手繪草圖75 471張［15］。

Table 1 Common image retrieval datasets表1 常見(jiàn)圖像檢索數(shù)據(jù)集

3 傳統(tǒng)低層特征

表示圖像語(yǔ)義內(nèi)容的特征提取與選擇在CBIR 中發(fā)揮重要作用，可分為全局特征與局部特征。其中，全局特征描述整幅圖像；局部特征通常將圖像分割為塊或通過(guò)計(jì)算某些關(guān)鍵點(diǎn)進(jìn)行獲取。以下將對(duì)傳統(tǒng)圖像全局、局部特征提取進(jìn)行回顧與總結(jié)，闡述它們對(duì)圖像檢索系統(tǒng)性能的影響。

3.1 全局特征

傳統(tǒng)視覺(jué)特征在發(fā)展早期主要利用顏色、紋理、形狀、空間信息等全局特征，這些特征計(jì)算簡(jiǎn)單、表示直觀。在圖像檢索任務(wù)中廣泛使用的圖像全局特征包括顏色、紋理、形狀和空間信息特征，如圖2所示。

Fig.2 Classification and extraction methods of global features圖2 全局特征的分類及提取方法

3.1.1 顏色特征

人們可直觀根據(jù)顏色特征區(qū)分圖像，是圖像檢索系統(tǒng)中廣泛應(yīng)用的重要特征之一。研究者們根據(jù)顏色空間計(jì)算顏色特征，在CBIR 領(lǐng)域中最常用的顏色空間包括RGB、HSV、YCbCr、LAB 和YUV。這些顏色空間可使用顏色直方圖（CH）、顏色集、顏色矩、顏色聚合向量、顏色相關(guān)圖等描述符進(jìn)行表示。并且，顏色特征不受圖像旋轉(zhuǎn)與平移變化的影響，歸一化后對(duì)圖像尺度變化具有較高的魯棒性，結(jié)合顏色空間信息可更好地表征圖像。為了得到紋理與顏色間的對(duì)應(yīng)關(guān)系，Kanaparthi 等［25］采用通道間投票方法，在色調(diào)、飽和度和亮度上使用一致性，提出一種綜合顏色與亮度直方圖的全局相關(guān)性與局部紋理特性的圖像檢索方法。

3.1.2 紋理特征

紋理存在于許多真實(shí)的圖像中，且被認(rèn)為是計(jì)算機(jī)視覺(jué)的關(guān)鍵特征，因此紋理特征被廣泛應(yīng)用于圖像檢索與模式識(shí)別中。紋理是用來(lái)識(shí)別圖像中感興趣的物體或區(qū)域的重要特征之一，Haralick 等［26］描述基于灰度空間相關(guān)性的易計(jì)算紋理特征，說(shuō)明其在顯微照片、航空照片和衛(wèi)星圖像這3 種不同類型圖像數(shù)據(jù)分類識(shí)別任務(wù)中的應(yīng)用。實(shí)驗(yàn)表明，易計(jì)算的紋理特征對(duì)各圖像分類應(yīng)用具有普遍適用性。然而，基于紋理的圖像檢索的主要缺點(diǎn)是計(jì)算復(fù)雜度與噪聲敏感性較高［9］。

Haralick 等［26］提出最著名的圖像統(tǒng)計(jì)特征提取方法灰度共生矩陣（Gray-Level Co-Occurrence Matrix，GLCM）。對(duì)紋理進(jìn)行分析的方法還包括Gabor 濾波器、Voronio 棋盤格特征法、結(jié)構(gòu)法、馬爾可夫隨機(jī)場(chǎng)（Markov random field，MRF）模型法、邊緣直方圖描述符（EHD）、離散小波變換（DWT）等。Alaei 等［27］研究來(lái)自于統(tǒng)計(jì)、變換、模型和結(jié)構(gòu)四大類紋理特征提取方法的26 種紋理特征提取方法。Banerjee 等［28］提出基于局部領(lǐng)域亮度模式（Local Neighborhood Intensity Pattern，LNIP）的紋理描述符。Yu 等［29］提出一種用于圖像檢索多趨勢(shì)二進(jìn)制碼描述符（Multi-Trend Binary Code Descriptor，MTBCD）特征提取方法。Lan 等［30］提出一種利用醫(yī)學(xué)圖像紋理特征進(jìn)行檢索的簡(jiǎn)單方法。Dhingra 等［31］提出一種基于紋理的圖像智能高效處理方法。Singh 等［32］提出一種新的彩色圖像局部二值模式（Local Binary Pattern For Color Image，LBPC）描述符。

3.1.3 形狀特征

形狀是標(biāo)識(shí)圖像的低層特征之一，基于形狀特征的檢索方法可有效利用圖像感興趣的目標(biāo)進(jìn)行檢索。一般情況下形狀描述符會(huì)隨圖像比例與平移發(fā)生變化，因此通常與其他描述符合并使用來(lái)提高圖像檢索準(zhǔn)確性。其中，典型的形狀特征描述方法包括邊界特征法、傅里葉形狀描述符法、幾何參數(shù)法和形狀不變矩法等。

3.1.4 空間信息特征

以前研究提取的低層特征大多缺乏空間信息，由于空間特征主要與圖像分割的多個(gè)目標(biāo)間的相互空間位置相關(guān)?？臻g關(guān)系的使用可加強(qiáng)對(duì)圖像內(nèi)容的描述區(qū)分能力，但對(duì)圖像旋轉(zhuǎn)、尺度變化等較為敏感。在實(shí)際檢索應(yīng)用中，空間信息常與其他低層特征相配合以獲得更精確的檢索結(jié)果。Lazebnik 等［33］提出空間金字塔匹配（Spatial Pyramid Matching，SPM）是一種利用空間金字塔進(jìn)行圖像匹配、識(shí)別、分類的算法，實(shí)驗(yàn)證明該方法是捕捉圖像空間屬性的最佳方法之一。Mehmood 等［34］將局部視覺(jué)直方圖表示圖像中心區(qū)域的空間信息與全局視覺(jué)直方圖相連接，將組成的視覺(jué)單詞添入BoVW 表示的倒排索引中，該方法在Corel-A、Caltech-256 和Ground Truth 數(shù)據(jù)集上的表現(xiàn)均優(yōu)于傳統(tǒng)方法。表2 展示了部分基于傳統(tǒng)全局特征的圖像檢索方法的效果及特點(diǎn)。

在早期CBIR 研究中，使用全局特征能帶來(lái)良好的準(zhǔn)確性，但該特征容易受到光照、旋轉(zhuǎn)、噪聲、遮擋等環(huán)境干擾，影響全局特征提取準(zhǔn)確率，并且各特征計(jì)算量較大。

3.2 局部特征

相較于全局特征，圖像局部特征在比例與旋轉(zhuǎn)不變性方面更優(yōu)。為了對(duì)圖像特征進(jìn)行更細(xì)致表示，局部特征描述逐步出現(xiàn)。例如，斑點(diǎn)檢測(cè)SIFT、SURF 等算法；角點(diǎn)檢測(cè)Harris、FAST 等算法；二進(jìn)制字符串特征描述BRISK、ORB、FREAK 等算法。這類算法僅需簡(jiǎn)單計(jì)算與統(tǒng)計(jì)，無(wú)需大規(guī)模學(xué)習(xí)與訓(xùn)練。圖3 展示了局部特征的分類及提取方法。

3.2.1 斑點(diǎn)檢測(cè)

Lowe 等［48］提出尺度不變特征變換（Scale-invariant Feature Transform，SIFT）是一種可在圖像中檢測(cè)關(guān)鍵點(diǎn)的局部特征描述子。為了解決SIFT 算法在處理CBIR 問(wèn)題時(shí)內(nèi)存占用與匹配時(shí)間較大的缺點(diǎn)，Montazer 等［49］利用SIFT提取圖像特征并對(duì)其進(jìn)行K-means 聚類，在保持圖像特征鑒別能力同時(shí)將SIFT 提取的特征降低了一個(gè)維度數(shù)，該降維方法使SIFT 特征更真實(shí)、有效地應(yīng)用于圖像檢索。

雖然，通過(guò)SIFT 提取的特征具有旋轉(zhuǎn)、縮放、平移、光照不變性，但高度依賴局部區(qū)域像素梯度，若區(qū)域選取不合適將導(dǎo)致檢索結(jié)果發(fā)生錯(cuò)誤。Bay 等［50］引入一種尺度與旋轉(zhuǎn)不變性檢測(cè)器和描述符——加速魯棒特征（Speeded-Up Robust Features，SURF），克服了SIFT 的高維限制，計(jì)算、比較速度相較于SIFT 更快，并在興趣點(diǎn)提取及特征向量描述方面進(jìn)行了改進(jìn)。

3.2.2 角點(diǎn)檢測(cè)

Harris 等［51］首次提出一種魯棒的角點(diǎn)檢測(cè)器——Harris 檢測(cè)器，通過(guò)分析自相關(guān)矩陣特征值定位亮度變化較大的點(diǎn)。Mikolajczyk 等［52］提出一種檢測(cè)對(duì)尺度和仿射變換不變的興趣點(diǎn)方法，使用Harris 檢測(cè)器提取的興趣點(diǎn)可適應(yīng)仿射變換，是一種視頻穩(wěn)定、圖像匹配、攝像機(jī)校準(zhǔn)和定位的參考技術(shù)手段［53］。

Fig.3 Classification and extraction methods of local features圖3 局部特征的分類及提取方法

Table 2 Effects and characteristics of image retrieval methods based on traditional global features（part）表2 基于傳統(tǒng)全局特征圖像檢索方法的效果及特點(diǎn)（部分）

雖然，Harris 檢測(cè)器對(duì)噪聲、尺度和旋轉(zhuǎn)具有較強(qiáng)的魯棒性，但計(jì)算成本較高。Xu等［54］發(fā)現(xiàn)Harris檢測(cè)器對(duì)大型圖像數(shù)據(jù)集的處理效率并不理想，而FAST（Features from Accelerated Segment Test）能突破Harris 在計(jì)算成本方面的限制［55］。同時(shí)，本文研究發(fā)現(xiàn)FAST 具有極強(qiáng)重復(fù)性，能在不同變化下檢測(cè)興趣點(diǎn)，實(shí)驗(yàn)表明該方法的角點(diǎn)檢測(cè)優(yōu)于邊緣檢測(cè)。

3.2.3 二進(jìn)制字符串特征描述子

SIFT、SURF 特征描述子會(huì)占用大量?jī)?nèi)存空間，實(shí)際上其并非所有維度均在匹配中具有實(shí)質(zhì)性作用。因此，可使用PCA 等特征降維方法壓縮特征描述子維度。例如，LSH算法可將SIFT 特征描述子轉(zhuǎn)換為一個(gè)二值碼串，使用漢明距離匹配特征點(diǎn)。BRIEF 提供一種計(jì)算二值串的捷徑，無(wú)需計(jì)算一個(gè)類似于SIFT 的特征描述子［56］，大幅度加快了特征描述子的建立速度，便于在硬件上實(shí)施。但該方法的缺點(diǎn)是描述子旋轉(zhuǎn)與尺度不變性較差，對(duì)噪聲較為敏感。Leutenegger 等［57］提出一種關(guān)鍵點(diǎn)檢測(cè)、描述和匹配方法二進(jìn)制魯棒不變可伸縮關(guān)鍵點(diǎn)（Binary Robust Invariant Scalable Keypoints，BRISK），該方法具有較好的旋轉(zhuǎn)不變性、尺度不變性及魯棒性等，在對(duì)較大模糊的圖像進(jìn)行匹配搜索時(shí)表現(xiàn)最出色。Rublee 等［58］在FAST 中添加快速、準(zhǔn)確的方向組件，提出一種非?？焖俚幕诿嫦騀AST 旋轉(zhuǎn)BRIEF（Oriented FAST Rotated and BRIEF，ORB）的二進(jìn)制描述符ORB，實(shí)驗(yàn)證明ORB 相較于SIFT 快兩個(gè)數(shù)量級(jí)，且ORB 具有旋轉(zhuǎn)不變性和抗噪聲性。為了使描述符在保持對(duì)縮放、旋轉(zhuǎn)和噪聲的魯棒性情況下，計(jì)算速度更快、更緊湊，Alahi 等［59］提出快速視網(wǎng)膜關(guān)鍵點(diǎn)（Fast Retina Key-Point，F(xiàn)REAK）的關(guān)鍵點(diǎn)描述符。表3 展示了部分基于傳統(tǒng)局部特征圖像檢索方法的效果及特點(diǎn)。

Table 3 Effects and characteristics of image retrieval methods based on traditional local features（part）表3 基于傳統(tǒng)局部特征圖像檢索方法效果及其特點(diǎn)（部分）

由表3 可見(jiàn)，局部特征具有較好的穩(wěn)定性，對(duì)旋轉(zhuǎn)、尺度縮放、亮度變化等方面穩(wěn)定性較好，不易受視角變化、仿射變換、噪聲干擾［73］。綜上，圖像的局部特征點(diǎn)能反映圖像的局部特殊性，適用于進(jìn)行圖像匹配、檢索等應(yīng)用。

4 機(jī)器學(xué)習(xí)

近年來(lái)CBIR 系統(tǒng)逐漸使用機(jī)器學(xué)習(xí)，獲得能處理新輸入數(shù)據(jù)并給出正確預(yù)測(cè)結(jié)果的模型，以提高圖像檢索效率。以下將從無(wú)監(jiān)督學(xué)習(xí)與監(jiān)督學(xué)習(xí)方面，對(duì)現(xiàn)階段在圖像檢索技術(shù)中應(yīng)用的算法進(jìn)行闡述。

4.1 無(wú)監(jiān)督學(xué)習(xí)

在CBIR 中使用最廣泛的兩類無(wú)監(jiān)督學(xué)習(xí)算法為聚類和降維。在特征選擇、提取時(shí)對(duì)圖像進(jìn)行降維能在保留數(shù)據(jù)結(jié)構(gòu)、有用性的同時(shí)壓縮數(shù)據(jù)。聚類則是將圖像特征描述符按相似度聚集成不同分組。其中，K 均值聚類算法和主成分分析（Principal Component Analysis，PCA）降維算法在CBIR 系統(tǒng)使用廣泛。

當(dāng)CBIR 系統(tǒng)使用局部特征提取方法時(shí)，通常會(huì)進(jìn)行聚類處理來(lái)確定圖像所屬語(yǔ)義組。其中，K-means 與Kmeans++方法是CBIR 系統(tǒng)中使用最廣泛的兩種聚類算法［74-75］。Yousuf 等［76］將K-means 應(yīng)用于SIFT 與LIOP 視覺(jué)詞匯融合后構(gòu)建的視覺(jué)詞上，提高檢索性能。

然而，K-means 算法的局限性在于需要指定初始聚類數(shù)量，并且初始質(zhì)心選擇也會(huì)影響聚類算法性能。此外，K-means 無(wú)法處理離群點(diǎn)和噪聲數(shù)據(jù)。Azarakhsh 等［77］采用自動(dòng)聚類方法，利用進(jìn)化與元啟發(fā)式算法分類與識(shí)別各種數(shù)字圖像，實(shí)驗(yàn)表明優(yōu)化后的K-means 聚類具有更高的平均檢索精度。Ghodratnama 等［78］將聚類與分類思想相結(jié)合，提出一種在多標(biāo)簽框架下進(jìn)行圖像檢索的方法，有效解決了“語(yǔ)義鴻溝”問(wèn)題。Anju 等［79］提出基于內(nèi)容的安全圖像檢索方案，提取圖像的MPEG-7 視覺(jué)描述符并將其進(jìn)行聚類以便于索引，相較于最快、最先進(jìn)的方案，該方案具有高度可擴(kuò)展性，搜索、索引速度分別提升7 倍和23 倍，且檢索精度更高。Mehmood 等［80］將K-means++應(yīng)用于由HOG 與SURF 視覺(jué)詞典融合而成的視覺(jué)詞典，通過(guò)賦予初始質(zhì)心權(quán)值克服K-means 的局限性，雖然K-means++選擇初始質(zhì)心的過(guò)程相較于K-means 更復(fù)雜、耗時(shí)更長(zhǎng)，但聚類迭代次數(shù)更少，結(jié)果更精確，計(jì)算成本有所降低。

通常，圖像特征提取伴隨著高維特征向量表示，PCA是一種用于高維數(shù)據(jù)降維的方法，該方法能提取數(shù)據(jù)的主要特征分量。Adegbola 等［81］提出一種基于PCA 特征降維技術(shù)的CBIR 系統(tǒng)，以計(jì)算成本換取檢索精度，實(shí)驗(yàn)表明在允許平均精度值減少5%的情況下可實(shí)現(xiàn)特征向量維數(shù)減少80%，但繼續(xù)增加特征向量維數(shù)減少百分比會(huì)導(dǎo)致檢索結(jié)果變差。Kumar 等［82］將PCA 與其他技術(shù)相結(jié)合對(duì)醫(yī)學(xué)圖像進(jìn)行混合特征提取，在醫(yī)學(xué)圖像數(shù)據(jù)集中取得了較好的檢索精度。

4.2 監(jiān)督學(xué)習(xí)

相較于無(wú)監(jiān)督學(xué)習(xí)，監(jiān)督學(xué)習(xí)算法具有圖像分組和標(biāo)簽的先驗(yàn)知識(shí)。監(jiān)督學(xué)習(xí)就是最常見(jiàn)的分類問(wèn)題，通過(guò)已有訓(xùn)練樣本訓(xùn)練得到一個(gè)在某一評(píng)價(jià)準(zhǔn)則下的最優(yōu)模型，利用模型將所有輸入映射為相應(yīng)的輸出，對(duì)輸出進(jìn)行簡(jiǎn)單判別從而實(shí)現(xiàn)分類。監(jiān)督學(xué)習(xí)是訓(xùn)練神經(jīng)網(wǎng)絡(luò)與決策樹(shù)的常見(jiàn)技術(shù)，常見(jiàn)的有監(jiān)督學(xué)習(xí)算法包括回歸分析、統(tǒng)計(jì)分類。其中，應(yīng)用于圖像檢索領(lǐng)域最典型的算法為支持向量機(jī)（Support Vector Machine，SVM）與人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，ANN）。

Cortes 等［83］提出模式識(shí)別與圖像分類中最常用的監(jiān)督分類器——SVM。研究者們可利用SVM 為輸入圖片數(shù)據(jù)分配類別，解決高維問(wèn)題，有效避免“維數(shù)災(zāi)難”，缺點(diǎn)是無(wú)法適用于超大型數(shù)據(jù)集，對(duì)缺失數(shù)據(jù)敏感。ANN 的吸引力來(lái)自于顯著的信息處理特性，例如非線性、高并行性、容錯(cuò)性、抗噪性及學(xué)習(xí)和泛化能力［84］，可應(yīng)用于計(jì)算機(jī)視覺(jué)、醫(yī)學(xué)診斷、語(yǔ)音識(shí)別和機(jī)器翻譯等特定任務(wù)。

4.3 深度學(xué)習(xí)

傳統(tǒng)視覺(jué)特征極大程度依賴人為設(shè)計(jì)，無(wú)法準(zhǔn)確表征圖像特征進(jìn)而對(duì)檢索性能造成一定的影響。目前，深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)任務(wù)中取得了巨大成功。深度學(xué)習(xí)是一種實(shí)現(xiàn)機(jī)器學(xué)習(xí)的技術(shù)，包含監(jiān)督學(xué)習(xí)與無(wú)監(jiān)督學(xué)習(xí)算法，例如卷積神經(jīng)網(wǎng)絡(luò)（CNN）是監(jiān)督學(xué)習(xí)方法，生成對(duì)抗網(wǎng)絡(luò)（GAN）是無(wú)監(jiān)督學(xué)習(xí)方法［85］。相較于傳統(tǒng)機(jī)器學(xué)習(xí)方法，深度學(xué)習(xí)的性能使圖像識(shí)別、計(jì)算機(jī)視覺(jué)、機(jī)器翻譯、語(yǔ)音識(shí)別等領(lǐng)域的新應(yīng)用成為可能。

4.3.1 深度網(wǎng)絡(luò)架構(gòu)類型

深度神經(jīng)網(wǎng)絡(luò)的層次結(jié)構(gòu)與廣泛的參數(shù)化使其在計(jì)算機(jī)視覺(jué)任務(wù)中取得了顯著成功。目前在圖像檢索領(lǐng)域存 在AlexNet［86］、VGG［87］、GoogLeNet［88］、ResNet［89］、MobileNet［90］和EfficientNet［91］共6 種網(wǎng)絡(luò)模型作為特征提取的基礎(chǔ)。

（1）AlexNet。該模型在2012ILSVRC 中顯著提高了ImageNet 分類精度，使CNN 成為圖像分類上的核心算法模型。模型結(jié)構(gòu)由5 個(gè)卷積層和3 個(gè)全連接層組成，數(shù)據(jù)增強(qiáng)時(shí)在前兩個(gè)全連接層引入Dropout 防止模型發(fā)生過(guò)擬合現(xiàn)象，將ReLU 代替?zhèn)鹘y(tǒng)sigmod 或Tanh 激活函數(shù)，采用雙GPU 設(shè)計(jì)模式提升模型訓(xùn)練速度。同時(shí)，模型的重疊池化既減少了系統(tǒng)發(fā)生過(guò)擬合現(xiàn)象，又提高了預(yù)測(cè)精度。此外，AlexNet 借鑒側(cè)抑制的思想提出局部響應(yīng)歸一化（Local Response Normalization，LRN），使響應(yīng)比較大的值相對(duì)更大，以進(jìn)一步提高模型泛化能力。

（2）VGG。該模型具有多層標(biāo)準(zhǔn)深度卷積神經(jīng)網(wǎng)絡(luò)（CNN）架構(gòu)，其中VGG-16 與VGG-19 被廣泛使用，分別由13 和16 個(gè)卷積層組成［87］。VGG 網(wǎng)絡(luò)使用逐層訓(xùn)練方法，由非常小的卷積濾波器構(gòu)成，實(shí)驗(yàn)表明不斷加深網(wǎng)絡(luò)結(jié)構(gòu)能提升模型性能。

（3）GoogLeNet。該模型設(shè)計(jì)了inception 模塊，可構(gòu)造更稀疏的CNN 結(jié)構(gòu)［88］，通過(guò)使用不同大小卷積核抓取不同大小的感受野，最后一層采用全局均值池化層替換全連接層，減少了模型參數(shù)。相較于AlxeNet、VGGNet、GoogLeNet 模型更深更寬，模型參數(shù)更少，學(xué)習(xí)效率更高。更深層次的體系結(jié)構(gòu)有利于學(xué)習(xí)更高層次的抽象特征，從而減少語(yǔ)義差距。

（4）ResNet（Deep Residual Learning for Image Recognition）。該模型使用插入快捷連接將普通網(wǎng)絡(luò)轉(zhuǎn)換為殘差網(wǎng) 絡(luò)［89］，相較于VGGNets 而 言ResNets 過(guò)濾器更少。ResNet 使用跳躍連接或跳過(guò)某些層避免發(fā)生梯度消失的問(wèn)題，跳躍連接充當(dāng)梯度高速公路，使梯度不受干擾地流動(dòng)。

（5）MobileNet。相較于AlexNet、ResNet 等神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，在某些性能、速度、設(shè)備資源受限的情況下，MobileNet輕量級(jí)網(wǎng)絡(luò)結(jié)構(gòu)的準(zhǔn)確度尚可接受且效率較高。該模型的基本單元深度可分離卷積是一種可分解卷積操作，不僅降低了模型計(jì)算復(fù)雜度，還大幅度縮減了模型大小，為手機(jī)或嵌入式等移動(dòng)端提供了便利。

（6）EfficientNet。相較于傳統(tǒng)模型隨機(jī)縮放技術(shù)，EfficientNet 使用復(fù)合系數(shù)技術(shù)，即平衡寬度、深度和圖像分辨率3 個(gè)維度的比例，簡(jiǎn)單、有效的放大模型［91］。此外還開(kāi)發(fā)了7 個(gè)不同維度的模型，實(shí)驗(yàn)表明該模型均超過(guò)了大多數(shù)卷積神經(jīng)網(wǎng)絡(luò)的精度，且效率更高。

4.3.2 深度特征提取

基于深度學(xué)習(xí)的特征提取主要是從各深度網(wǎng)絡(luò)模型的全連接層或卷積層中進(jìn)行，既可提取全連接層的全局特征，也可提取卷積層的局部特征，還可兩種方式相互結(jié)合。具體的，特征的融合方式包括層級(jí)別和模型級(jí)別。

（1）深度特征選擇。卷積提取的是局部特征，全連接將以前的局部特征重新通過(guò)權(quán)值矩陣組裝成完整圖，因此代表了圖像的全局特征。將全連接層提取到的特征使用PCA 降維及標(biāo)準(zhǔn)化后，即可進(jìn)行圖像間的相似性度量。

然而，單獨(dú)使用全連接層特征可能會(huì)限制圖像檢索精度。Song 等［92］指出在第一個(gè)全連接層和最后一個(gè)全連接層間建立直接連接可實(shí)現(xiàn)由粗到細(xì)的提升。此外，由于全連接層表示圖像級(jí)特征，包含圖像的不相關(guān)信息及缺乏局部幾何不變性。為此，Song等［92］還在更精細(xì)的尺度上提取區(qū)域級(jí)特征，解決背景雜波問(wèn)題。由于缺乏幾何不變性會(huì)影響對(duì)圖像變換的魯棒性，例如圖像發(fā)生裁剪、遮擋等情況。為此，研究者們提出使用中間卷積層解決該問(wèn)題［93-95］。

卷積神經(jīng)網(wǎng)絡(luò)中每層卷積層均由若干卷積單元組成，靠前的卷積層提取圖像角點(diǎn)、紋理等低級(jí)特征，靠后的卷積層提取高維度、抽象特征。對(duì)于圖像檢索而言，卷積神經(jīng)網(wǎng)絡(luò)的效果優(yōu)于全連接神經(jīng)網(wǎng)絡(luò)。卷積層中包含更多圖像的局部結(jié)構(gòu)信息特征，對(duì)圖像變換具有較強(qiáng)魯棒性［93］。Li 等［96］使用卷積層作為特征提取器，從CNN 不同層提取多尺度區(qū)域最大激活卷積特征，在3 個(gè)基準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)表明該算法在準(zhǔn)確性、魯棒性方面均優(yōu)于現(xiàn)有算法。

在標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)中通常使用池化操作聚合特征，其中和/平均池化和最大池化是兩種最簡(jiǎn)單的池化方法。將卷積層提取的特征進(jìn)行池化操作可有效減小參數(shù)數(shù)量，增強(qiáng)特征表示的魯棒性。此外，R-MAC［97］、SPoC［93］、CroW［98］、SCDA［99］和GeM 池化［100］等特征聚合方法也能有效提升提取的圖像特征檢索性能。

（2）深度特征融合。特征融合是想結(jié)合不同特征長(zhǎng)處，達(dá)到優(yōu)勢(shì)互補(bǔ)。Liu 等［101］合并來(lái)自不同全連接層的多個(gè)深度全局特征。Li 等［96］將R-MAC 編碼方案應(yīng)用于VGG16 的5 個(gè)卷積層，將其連接為多尺度特征向量。Wang等［102］選擇VGG-16 所有卷積層提取圖像特征表示實(shí)現(xiàn)多特征融合，該方法相較于僅使用單層特征具有更強(qiáng)的穩(wěn)健性。

在細(xì)粒度圖像檢索中為重視局部特征在細(xì)微特征差異方面的決定性作用，Yu 等［103］利用不同層次CNN 特征的更多互補(bǔ)優(yōu)勢(shì)，低層特征用于細(xì)化高層特征的排序結(jié)果而非僅將多層直接連接。通過(guò)映射函數(shù)，利用低層特征度量查詢與圖像具有相同語(yǔ)義的最近鄰圖像間的細(xì)粒度相似性。Gong 等［104］提出一種多尺度無(wú)序池化CNN，將CNN 特征分別從不同層中進(jìn)行提取與編碼，然后將不同層的聚合特征相連接測(cè)量圖像。Li 等［105］在多層無(wú)序池的基礎(chǔ)上提出多層無(wú)序融合（Multi-layer Orderless Fusion，MOF）算法，在Holiday、UKBench 數(shù)據(jù)集的實(shí)驗(yàn)證明，融合卷積層與全連接層性能更優(yōu)。Zhang 等［106］融合從同一CNN 中提取的兩種特征類型生成的索引矩陣，該方法計(jì)算復(fù)雜度較低。Yang 等［107］放棄兩段式的檢索，提出一種深度正交局部和全局（DOLG）特征融合框架用于檢索端到端圖像，在重新修改的Oxford、Paris 數(shù)據(jù)集上驗(yàn)證了該方法的圖像檢索性能。

將不同模型特征進(jìn)行融合需要注重模型間的互補(bǔ)性。Simonyan 等［87］引入ConvNet 模型內(nèi)融合策略，融合VGG-16 與VGG-19 提高VGG 的特征學(xué)習(xí)能力。Yang 等［108］引入一個(gè)雙流注意力CNNs 實(shí)現(xiàn)圖像檢索，該方法可像人類一樣通過(guò)保留顯著內(nèi)容和抑制不相關(guān)區(qū)域計(jì)算圖像相似性，取得了較強(qiáng)的圖像檢索性能。Zheng 等［109］認(rèn)為模型間融合可彌合中級(jí)和高級(jí)特征之間的差距，結(jié)合VGG-19 與AlexNet 學(xué)習(xí)組合特征。Qzaki 等［110］將來(lái)自6 個(gè)不同模型的描述符連接。Ge等［111］提出一種多級(jí)特征融合方法改進(jìn)高分辨率遙感圖像檢索的特征表示。Jiang 等［112］提出一種基于圖像特征融合和離散余弦變換的圖像檢索方法，分別從基于淺層特征融合方法和基于深度特征融合方法進(jìn)行比較。在Corel、Oxford 建筑數(shù)據(jù)集上的實(shí)驗(yàn)表明，兩種方法均能提升檢索系統(tǒng)性能。

研究者們通過(guò)融合多層提升圖像檢索性能，按照融合與預(yù)測(cè)先后順序可分為早融合和晚融合。其中，早融合先融合候選特征，然后在融合后的唯一特征表示上進(jìn)行圖像檢索［101，107-108］。晚融合則通過(guò)結(jié)合不同特征檢索結(jié)果改進(jìn)檢索性能［105］。在CBIR 中使用深度學(xué)習(xí)算法雖能提高檢索準(zhǔn)確率，但在訓(xùn)練與測(cè)試階段需要花費(fèi)較長(zhǎng)時(shí)間。

4.3.3 基于深度學(xué)習(xí)的圖像檢索

依據(jù)不同數(shù)據(jù)集圖像的應(yīng)用領(lǐng)域，在基于深度學(xué)習(xí)的圖像檢索應(yīng)用中，從不同檢索類型進(jìn)行以下總結(jié)，具體內(nèi)容如表4所示。

（1）跨模態(tài)檢索。隨著深度神經(jīng)網(wǎng)絡(luò)在圖像檢索研究領(lǐng)域的應(yīng)用，跨模態(tài)檢索受到廣泛關(guān)注。圖像與文本兩個(gè)模態(tài)在檢索領(lǐng)域中非常常見(jiàn)，當(dāng)給定一個(gè)模態(tài)數(shù)據(jù)時(shí)，跨模態(tài)檢索任務(wù)在另一個(gè)空間中找到與給定模態(tài)對(duì)應(yīng)或最接近的若干數(shù)據(jù)。跨模態(tài)匹配可理解為判斷給定的兩種不同模態(tài)的數(shù)據(jù)是否相關(guān)。例如，Wei 等［135］基于CNN 視覺(jué)特征進(jìn)行跨模態(tài)檢索。

多模態(tài)檢索方法包括深度視覺(jué)語(yǔ)義哈希［136］、自監(jiān)督對(duì)抗性哈希［137］、深度級(jí)聯(lián)跨模態(tài)排序模型［138］、深度互信息最大化算法［139］、深度聯(lián)合語(yǔ)義跨模態(tài)哈希算法［140］。Dey 等［141］提出一種跨模態(tài)深度網(wǎng)絡(luò)結(jié)構(gòu)，允許文本、草圖作為查詢輸入，利用注意力模型使用查詢中的多個(gè)對(duì)象進(jìn)行檢索。Lee 等［142］研究圖文匹配問(wèn)題，提出堆疊交叉注意力機(jī)制，使用圖像區(qū)域和句子中的單詞作為上下文發(fā)現(xiàn)完整的潛在對(duì)齊，推斷圖像—文本相似性。Wang 等［143］提出由跨模態(tài)消息聚合和跨模態(tài)門控融合組成的跨模態(tài)自適應(yīng)消息傳遞模型，自適應(yīng)探索文本圖像匹配中圖像與語(yǔ)句間的交互。Chaudhuri 等［144］提出基于深度神經(jīng)網(wǎng)絡(luò)的遙感跨模態(tài)檢索框架。Sumbul 等［145］提出一種新的自監(jiān)督跨模態(tài)圖像檢索方法，該方法在無(wú)需任何注釋的訓(xùn)練圖像情況下，仍能有效保持模態(tài)內(nèi)與模態(tài)間的相似性，且消除模態(tài)間差異。此外，劉穎等［146-147］也提出基于深度學(xué)習(xí)的跨模態(tài)檢索的方法。

Table 4 Some methods of different retrieval types based on deep learning and their characteristics表4 基于深度學(xué)習(xí)的不同檢索類型的部分方法及其特點(diǎn)

（2）類別級(jí)檢索。類別級(jí)圖像檢索（Category level Image Retrieval，CIR）的主要任務(wù)是查詢圖像與相同類別的任意圖像，例如狗、汽車［148-150］。Sharma 等［151］提出有監(jiān)督判別式遠(yuǎn)距離學(xué)習(xí)方法和基于水機(jī)梯度的學(xué)習(xí)方法，在基于語(yǔ)義類別的圖像檢索任務(wù)中優(yōu)于標(biāo)準(zhǔn)基線。Meng等［152］在類別級(jí)上進(jìn)行特征提取和匹配，提出一種新的基于合并區(qū)域的圖像檢索方法。Xu 等［153］提出跨域表示學(xué)習(xí)框架，在類別級(jí)SBIR 中取得了很強(qiáng)的性能。

（3）實(shí)例級(jí)檢索。實(shí)例級(jí)圖像檢索（Instance level Image Retrieval，IIR）的目標(biāo)是尋到包含查詢圖像中特定實(shí)例的圖像，這些圖像可能是在不同背景條件所捕獲。為了在大規(guī)模圖像數(shù)據(jù)庫(kù)中實(shí)現(xiàn)準(zhǔn)確、高效的檢索，IIR 的核心任務(wù)是獲取圖像緊湊且判別的特征表示。Razavian 等［95］使用基于ConvNet 表示的局部特征提取，開(kāi)發(fā)基于深度CNN 的視覺(jué)實(shí)例檢索基線。

圖像實(shí)例檢索的其他方法包括局部卷積特征包［154］、多標(biāo)簽圖像數(shù)據(jù)的實(shí)例感知圖像表示方法［155］和深度多實(shí)例排序的哈希模型［156］等。Amato 等［157］引入一種基于標(biāo)量量化的深度特征表示方法，在實(shí)例級(jí)檢索基準(zhǔn)測(cè)試中證明了該方法的有效性。Bai 等［158］提出一種關(guān)注圖像中實(shí)例對(duì)象的無(wú)監(jiān)督框架，被稱為對(duì)抗性實(shí)例級(jí)圖像檢索，是第一次在實(shí)例級(jí)圖像檢索任務(wù)的檢索過(guò)程中采用對(duì)抗性訓(xùn)練，可顯著提高檢索精度且不增加時(shí)間成本。Krishna等［159］在圖像檢索任務(wù)中評(píng)估對(duì)比模型，發(fā)現(xiàn)在檢索任務(wù)中使用對(duì)比方法訓(xùn)練的模型相較于在ImageNet 標(biāo)簽上訓(xùn)練的預(yù)訓(xùn)練的監(jiān)督基線，實(shí)驗(yàn)結(jié)果相當(dāng)甚至更優(yōu)?；趯?duì)比學(xué)習(xí)方法，即在無(wú)監(jiān)督方式下使用對(duì)比損失進(jìn)行訓(xùn)練，能超越有監(jiān)督的方式。Zhang 等［160］構(gòu)建一個(gè)查詢自適應(yīng)相似性度量框架，由外部標(biāo)記數(shù)據(jù)集訓(xùn)練的CNN 模型提取特征，利用深度特征表示與弱監(jiān)督目標(biāo)檢測(cè)的數(shù)據(jù)集驅(qū)動(dòng)的框架，對(duì)數(shù)據(jù)集進(jìn)行目標(biāo)發(fā)現(xiàn)實(shí)現(xiàn)檢索，從上述3 方面利用數(shù)據(jù)集驅(qū)動(dòng)方法提高實(shí)例圖像檢索性能。此外，Chen等［161］也提出有關(guān)基于深度學(xué)習(xí)的實(shí)例檢索的方法。

（4）基于草圖的圖像檢索?；诓輬D的圖像檢索（Sketch Based Image Retrieval，SBIR）實(shí)質(zhì)上是跨模態(tài)信息檢索，研究者們從深度多模態(tài)特征的生成、跨模態(tài)相關(guān)性建模、相似度函數(shù)優(yōu)化3 方面建立有效的SBIR 模型。Eitz等［162］對(duì)SBIR 進(jìn)行基準(zhǔn)測(cè)試。Qi 等［163］提出基于孿生CNN體系結(jié)構(gòu)的SBIR。Song 等［164］通過(guò)引入注意力模塊、快捷連接融合塊與高階可學(xué)習(xí)能量函數(shù)構(gòu)建一種新的細(xì)粒度SBIR（FG-SBIR）模型。Pang 等［165］首次發(fā)現(xiàn)并解決跨類別FG-SBIR 泛化問(wèn)題，將FG-SBIR 跨類別泛化定義為一個(gè)域泛化問(wèn)題，提出一種無(wú)監(jiān)督學(xué)習(xí)方法建模一個(gè)通用的視覺(jué)草圖特征流形，自動(dòng)適應(yīng)新類別。Yelamarthi 等［166］提出一個(gè)零樣本SBIR（ZS-SBIR）的基準(zhǔn)測(cè)試，用于未被訓(xùn)練的類進(jìn)行檢索。Dey 等［167］向社區(qū)貢獻(xiàn)了一個(gè)用于大規(guī)模ZSSBIR 的數(shù)據(jù)集QuickDrawerExtended。

SBIR 的其他方法包括跨域表示學(xué)習(xí)框架［153］、基于CNN 的語(yǔ)義重排序系統(tǒng)［168］、語(yǔ)義對(duì)齊的成對(duì)循環(huán)一致生成網(wǎng)絡(luò)［169］。Bhunia 等［170］為解決繪制草圖耗時(shí)較長(zhǎng)的問(wèn)題，設(shè)計(jì)一個(gè)基于強(qiáng)化學(xué)習(xí)的跨模態(tài)檢索框架FG-SBIR。Torres 等［171］利用一致的流形近似和投影（UMAP）進(jìn)行降維，提出在SBIR 環(huán)境中使用緊湊的特征表示。Sain 等［172］針對(duì)不同用戶在繪制草圖時(shí)風(fēng)格多樣性問(wèn)題，提出能適應(yīng)繪制風(fēng)格不可知的SBIR 模型。Yu 等［173］首次定義并解決使用徒手草圖進(jìn)行細(xì)粒度實(shí)例級(jí)圖像檢索問(wèn)題，提供了一個(gè)大規(guī)模的細(xì)粒度草圖數(shù)據(jù)庫(kù)QMUL FG-SBIR 數(shù)據(jù)集。在該數(shù)據(jù)集上的大量實(shí)驗(yàn)表明，F(xiàn)G-SBIR 跨域注意力模型明顯優(yōu)于當(dāng)前方案。此外，Li 等［174］也提出有關(guān)SBIR 的方法。

（5）細(xì)粒度圖像檢索。Xie 等［175］提出細(xì)粒度圖像搜索概念。在深度學(xué)習(xí)技術(shù)的推動(dòng)下，越來(lái)越多基于深度學(xué)習(xí)的細(xì)粒度圖像檢索方法被提出［176-178］。Wang 等［149］提出一種直接從圖像中學(xué)習(xí)細(xì)粒度圖像相似性模型的深度排序模型。Ahmad 等［179］提出一種面向?qū)ο蟮奶卣鬟x擇機(jī)制，用于預(yù)訓(xùn)練CNN 的深度卷積特征。該模型使用局部敏感哈希方法使其在大規(guī)模監(jiān)控?cái)?shù)據(jù)集中也能進(jìn)行細(xì)粒度檢索。

細(xì)粒度圖像檢索的其他方法包括基于卷積神經(jīng)網(wǎng)絡(luò)模型、基于分段交叉熵?fù)p失模型［180-181］。茍光磊等［182］提出一種選擇性加權(quán)聚合卷積特征和K-RNN 重排的細(xì)粒度圖像檢索方法。針對(duì)細(xì)粒度服飾圖像檢索問(wèn)題，周前前等［183］提出一種全局—局部特征提取模型進(jìn)行民族服飾圖像的細(xì)粒度檢索。此外，Wei等［184］也提出基于深度學(xué)習(xí)細(xì)粒度檢索的方法。

（6）語(yǔ)義檢索?；谡Z(yǔ)義的圖像檢索一般指基于目標(biāo)與高級(jí)語(yǔ)義的圖像檢索技術(shù)。Gordo 等［185］考慮到在復(fù)雜場(chǎng)景中語(yǔ)義圖像檢索任務(wù)，建立模型利用人工生成的文字注釋間的相似性來(lái)學(xué)習(xí)如何在語(yǔ)義空間中嵌入圖像，其中嵌入圖像間的相似性與語(yǔ)義相似性相關(guān)。通過(guò)利用圖像標(biāo)題學(xué)習(xí)視覺(jué)與文本表示聯(lián)合嵌入，允許向查詢中添加文本修飾符，進(jìn)一步提高檢索準(zhǔn)確性。Bouchakwa 等［186］提出基于TQSR 與MLID 兩級(jí)處理的語(yǔ)義圖像檢索技術(shù)，在兩個(gè)層次上進(jìn)行基于語(yǔ)義的聚類算法，提高了檢索準(zhǔn)確度。

基于深度學(xué)習(xí)的語(yǔ)義信息建模工作包括無(wú)監(jiān)督圖像檢索［187］、監(jiān)督檢索［188］、SBIR［164］［168］、跨模態(tài)檢索［189］。基于語(yǔ)義的圖像檢索其他方法包括結(jié)合CNN 和哈希學(xué)習(xí)方法［190］、深度視覺(jué)語(yǔ)義量化方法［191］、結(jié)合深度神經(jīng)網(wǎng)絡(luò)分類器和圖像信號(hào)小波分解方法［192］。Nhi 等［193］提出結(jié)合聚類樹(shù)和鄰域圖的基于語(yǔ)義的圖像檢索系統(tǒng)。

（7）安全圖像檢索。在多媒體和云計(jì)算時(shí)代下，在圖像數(shù)據(jù)庫(kù)中如何進(jìn)行安全的圖像檢索是一項(xiàng)重要問(wèn)題。Qin 等［65］提出一種用于加密圖像檢索的新特征提取方法。首先，采用改進(jìn)的Harris 算法提取圖像特征，利用加速魯棒特征算法和詞袋模型生成每幅圖像的特征向量。然后，應(yīng)用局部敏感哈希算法構(gòu)造特征向量的可搜索索引，采用混合加密方案保護(hù)圖像與索引的安全性。Xu 等［54］提出一種云環(huán)境下的大規(guī)模安全圖像檢索方法，利用漢明嵌入算法生成圖像描述符的二值特征，結(jié)合頻率直方圖與二值特征精確表示圖像特征，提高模型檢索準(zhǔn)確性。通過(guò)隨機(jī)抽樣方法從直方圖中選取視覺(jué)詞，然后對(duì)所選視覺(jué)詞的二值特征使用min-Hash 算法生成安全索引，既保證了搜索索引的安全性，又提高了圖像檢索效率。Wang 等［194］針對(duì)用戶圖像隱私保護(hù)不足的問(wèn)題，提出一種具有正確檢索身份的安全可搜索圖像檢索方案，使用橢圓曲線密碼學(xué)實(shí)現(xiàn)實(shí)體身份識(shí)別，通過(guò)局部敏感哈希函數(shù)構(gòu)建預(yù)過(guò)濾表優(yōu)化檢索效率。Iida 等［195］提出一種由原始圖像數(shù)據(jù)集生成碼本的隱私保護(hù)圖像檢索方案，研究了一種針對(duì)加密壓縮（Encryption-then-Compression，EtC）系統(tǒng)提出的基于塊加擾（block scrambling-based）的圖像加密方法。

（8）會(huì)話式圖像檢索。會(huì)話式圖像檢索能根據(jù)交互式用戶反應(yīng)逐步明確用戶檢索意圖，實(shí)現(xiàn)更精確的檢索結(jié)果。Liao 等［196］提出一種知識(shí)感知的多模態(tài)對(duì)話模型，該模型考慮視覺(jué)內(nèi)容中所包含的語(yǔ)義與領(lǐng)域知識(shí)。Guo等［197］引入一種基于深度學(xué)習(xí)的交互式圖像搜索方法，使用戶通過(guò)自然語(yǔ)言提供反饋。在此基礎(chǔ)上，Zhang 等［198］提出一種約束增強(qiáng)強(qiáng)化學(xué)習(xí)框架有效結(jié)合用戶隨時(shí)間的偏好。Zhang 等［199］針對(duì)基于文本的交互式推薦，提出一種獎(jiǎng)勵(lì)約束推薦框架，以對(duì)抗性方式定義約束條件具有更好的泛化性。Yuan 等［200］提出一種可有效處理會(huì)話式時(shí)尚圖像檢索的多回合自然語(yǔ)言反饋文本框架，該框架可利用編碼后的參考圖像、反饋文本信息及會(huì)話歷史，通過(guò)一種新的神經(jīng)框架搜索候選圖像。Kim 等［133］結(jié)合合成網(wǎng)絡(luò)與校正網(wǎng)絡(luò)，提出一種雙合成網(wǎng)絡(luò)（DCNet）的交互式圖像檢索方法，該方法相較于僅基于合成網(wǎng)絡(luò)的TIRG［201］、VAL［202］方法，學(xué)習(xí)多模態(tài)表示魯棒性更強(qiáng)。Kaushik 等［203］引入一個(gè)多視圖會(huì)話式圖像搜索系統(tǒng)［134］，基于初始運(yùn)行狀態(tài)、激勵(lì)和會(huì)話開(kāi)發(fā)了一個(gè)強(qiáng)化學(xué)習(xí)模型，通過(guò)定制的搜索算法預(yù)測(cè)在一組有限的固定響應(yīng)中向用戶提供哪些回復(fù)與圖像。

5 結(jié)語(yǔ)

本文回顧了基于傳統(tǒng)低層特征與基于機(jī)器學(xué)習(xí)的深層特征提取方法的CBIR 技術(shù)研究進(jìn)展，闡述了各方法間的聯(lián)系并對(duì)具有代表性的方法進(jìn)行了概括總結(jié)，分析算法間的優(yōu)點(diǎn)與不足。其中，基于深度學(xué)習(xí)的CBIR 技術(shù)現(xiàn)階段已成為熱點(diǎn)研究方向，研究者們對(duì)基于深度學(xué)習(xí)的CBIR 方法進(jìn)行了大量創(chuàng)新性工作，在檢索精度、檢索效率等方面取得了巨大進(jìn)步，但也隨之產(chǎn)生了許多新問(wèn)題。

首先，無(wú)論是采用傳統(tǒng)低層特征還是深層特征進(jìn)行檢索，特征選擇與提取是CBIR 技術(shù)的基礎(chǔ)，如何選擇適當(dāng)?shù)奶卣鞣从硤D像中包含的語(yǔ)義和視覺(jué)感知仍然尚未解決。此外，面對(duì)特征融合帶來(lái)的特征向量維數(shù)增加問(wèn)題，降維技術(shù)值得進(jìn)一步深入研究，目前只有維度低、判別性好的特征才能保證檢索性能與效率，如何使用低到中等的特征向量維數(shù)進(jìn)行圖像表示仍是一大難題。

其次，數(shù)據(jù)是生產(chǎn)力的根本，針對(duì)特定檢索任務(wù)需要特定領(lǐng)域數(shù)據(jù)集進(jìn)行訓(xùn)練，對(duì)于各類型數(shù)據(jù)集的引入便成為研究者們的迫切需求?，F(xiàn)階段CBIR 方法側(cè)重于靜態(tài)數(shù)據(jù)集，無(wú)法適用于增量場(chǎng)景。隨著新數(shù)據(jù)增加，如何對(duì)訓(xùn)練好的系統(tǒng)進(jìn)行改動(dòng)以學(xué)習(xí)新數(shù)據(jù)中蘊(yùn)含的知識(shí)是一個(gè)值得考慮的問(wèn)題。

最后，圖像檢索的最終目的是以人為本，如何利用反饋技術(shù)實(shí)現(xiàn)最小迭代的用戶滿意度需仍需要深入研究。