基于卷積自編碼和哈希算法的圖像檢索研究

周 纖，邱奕敏，吳振宇

(武漢科技大學(xué)信息科學(xué)與工程學(xué)院，湖北武漢 430081)

0 引言

隨著互聯(lián)網(wǎng)上圖像資源指數(shù)級增長，根據(jù)不同用戶的要求來查找相似圖像極為困難?；趦?nèi)容的圖像檢索與給定查詢圖像類似的圖像，其中“相似”可以指視覺上相似或語義相似。因此，本文針對語義相似性進(jìn)行檢索。假設(shè)數(shù)據(jù)庫中的圖像和待查詢圖像都是由實(shí)值特征表示的，那么查找相關(guān)圖像最簡單的方法，是根據(jù)數(shù)據(jù)庫圖像與特征空間中查詢圖像的距離對數(shù)據(jù)庫圖像進(jìn)行排序，并返回最接近的圖像[1]。然而，對于當(dāng)前常見的數(shù)據(jù)庫而言，即使進(jìn)行線性搜索也會花費(fèi)大量的時(shí)間和內(nèi)存，所以基于深度學(xué)習(xí)哈希檢索的方法被學(xué)者們廣泛研究[2-4]。

近些年，深度學(xué)習(xí)廣泛應(yīng)用于圖像檢索，因此基于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)[5-7]提取特征的方法被廣泛研究。深度卷積神經(jīng)網(wǎng)絡(luò)在各類數(shù)據(jù)集中應(yīng)用廣泛，且其性能也較為優(yōu)良。但神經(jīng)網(wǎng)絡(luò)取決于訓(xùn)練數(shù)據(jù)集的大小，當(dāng)訓(xùn)練樣本覆蓋范圍較大時(shí)，所訓(xùn)練網(wǎng)絡(luò)的準(zhǔn)確性相對較高。但在神經(jīng)網(wǎng)絡(luò)模型建立中，若采用特征覆蓋性較小的數(shù)據(jù)集進(jìn)行訓(xùn)練測試，所訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型將會過度擬合數(shù)據(jù)集。此外，卷積神經(jīng)網(wǎng)絡(luò)池化層會丟失較多的信息，從而降低空間分辨率，導(dǎo)致對于輸入的微小變化，其輸出幾乎是不變的，容易降低模型的準(zhǔn)確性。因此找到合適的特征提取算法，以及選擇特征覆蓋較大的圖像數(shù)據(jù)集來訓(xùn)練數(shù)據(jù)，成為相似圖像檢索的關(guān)鍵問題之一。

為了解決特征提取的準(zhǔn)確性問題，本文將自編碼器與卷積神經(jīng)網(wǎng)相結(jié)合，提出基于卷積自編碼神經(jīng)網(wǎng)絡(luò)(convolutional auto-encoders,CAE)的特征提取算法。該算法根據(jù)手寫數(shù)字圖像與服裝圖像特點(diǎn)，設(shè)置卷積核參數(shù)，以此進(jìn)行特征提取。所提取的特征不僅具有自動編碼器輸出特征與輸入相同、無監(jiān)督快速提取的優(yōu)點(diǎn)，還擁有卷積神經(jīng)網(wǎng)絡(luò)權(quán)值共享的優(yōu)點(diǎn)，能夠較大程度解決卷積神經(jīng)網(wǎng)絡(luò)池化易丟失信息，以及自動編碼器提取特征準(zhǔn)確率低的缺點(diǎn)。同時(shí)，為了解決圖像檢索時(shí)間和精確率問題，本文將CAE與哈希算法結(jié)合，提出了基于卷積自編碼和哈希算法相結(jié)合的圖像檢索算法(convolutional auto-encoder and hash,CAEH)，能夠顯著降低相似圖像檢索的時(shí)間，提高圖像檢索的準(zhǔn)確率。

1 相關(guān)工作

1.1 相關(guān)基礎(chǔ)研究

傳統(tǒng)的圖像檢索方法一般是將SIFT、GIST和HOG等的人工特征[8-9]編譯成哈希編碼[10]。雖然這些哈希方法在某種程度上取得了一定的效果，但均使用了手工制作的特征，這些特征無法捕捉真實(shí)數(shù)據(jù)中劇烈外觀變化下的語義信息，低層特征對圖像內(nèi)容的表現(xiàn)力亦不足，不能反映圖像之間的語義相似性。

為了解決語義相似問題，近年來學(xué)者們提出了幾種基于卷積神經(jīng)網(wǎng)絡(luò)的哈希方法[11-15]，利用CNN來學(xué)習(xí)圖像的二進(jìn)制代碼和表示。Zhao F等[11]提出了一種基于語義排序和深度學(xué)習(xí)模型框架，用于學(xué)習(xí)哈希函數(shù)，以保持語義空間中多標(biāo)簽圖像之間的多級相似性。Lai H等[12]提出了一種“one stage”的監(jiān)督哈希方法，通過將輸入圖像映射到二進(jìn)制代碼的深層架構(gòu)來進(jìn)行哈希編碼。Xia R等[13]提出了一種用于圖像檢索的監(jiān)督哈希方法，該方法同時(shí)學(xué)習(xí)圖像的良好表示以及一組哈希函數(shù)，通過深度卷積網(wǎng)絡(luò)，學(xué)習(xí)哈希編碼和可選離散類標(biāo)簽的圖像。雖然使用卷積神經(jīng)網(wǎng)絡(luò)自動學(xué)習(xí)圖像的特征表示，已經(jīng)取得較好的性能。然而，由于卷積網(wǎng)絡(luò)池化會丟失較多信息，特別是當(dāng)數(shù)據(jù)量較大時(shí)，容易降低檢索精度，因此深度學(xué)習(xí)獲取圖像深層有限特征成為檢索的關(guān)鍵。Lin K等[14]提出了一種簡單有效的深度學(xué)習(xí)框架來創(chuàng)建類似哈希的二進(jìn)制編碼，用于圖像檢索。Zhang R等[15]提出了一種比特可擴(kuò)展的哈希方法，通過深度卷積神經(jīng)網(wǎng)絡(luò)特征學(xué)習(xí)和哈希函數(shù)學(xué)習(xí)，集成到聯(lián)合優(yōu)化框架中，利用卷積神經(jīng)網(wǎng)絡(luò)建立原始數(shù)據(jù)與二進(jìn)制哈希碼之間端到端的關(guān)系，實(shí)現(xiàn)快速檢索。然而，這些方法仍存在以下缺點(diǎn)：圖像特征表示不夠準(zhǔn)確，導(dǎo)致檢索精度下降；由于用于學(xué)習(xí)的哈希函數(shù)不同，對檢索的時(shí)間和精度均有影響。針對這些缺點(diǎn)，本文提出了基于卷積自編碼和哈希算法相結(jié)合的圖像檢索算法CAEH，能夠極大降低相似圖像檢索的時(shí)間，提高圖像檢索的準(zhǔn)確率。其中，卷積自編碼神經(jīng)網(wǎng)絡(luò)特征提取是基于卷積神經(jīng)網(wǎng)絡(luò)和自編碼器兩者特征提取的優(yōu)勢而確定的。

1.2 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是一種常見的深度學(xué)習(xí)網(wǎng)絡(luò)框架，受生物自然視覺認(rèn)知機(jī)制啟發(fā)而來。CNN是分層模型，其卷積層與子采樣層交替，使人聯(lián)想到初級視覺皮層中的簡單和復(fù)雜細(xì)胞[16]。卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)體系結(jié)構(gòu)由3個(gè)基本構(gòu)建塊組成，可根據(jù)需要進(jìn)行堆疊和組合。由于它的權(quán)值共享結(jié)構(gòu)和生物神經(jīng)網(wǎng)絡(luò)更類似，因此可以減少權(quán)值的數(shù)量，從而降低網(wǎng)絡(luò)模型的復(fù)雜度，其近年來已成為深度學(xué)習(xí)的研究熱點(diǎn)之一。

1.3 自動編碼器

自編碼器是一種基于無監(jiān)督學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，用來提取樣本內(nèi)在特征，由編碼器和解碼器2部分組成，通常用來作特征學(xué)習(xí)或數(shù)據(jù)降維[17]。編碼器將輸入數(shù)據(jù)編碼成潛在變量，解碼器再把潛在變量重構(gòu)為原數(shù)據(jù)。由于自編碼器能夠?qū)?shù)據(jù)進(jìn)行降維，并有效濾除冗余信息，在圖像檢索方面極具優(yōu)勢，因此被廣泛采用。

2 研究方法

本文結(jié)合基于卷積自編碼神經(jīng)網(wǎng)絡(luò)的非線性特征提取方法，以及哈希算法加速檢索的特點(diǎn)，分析無監(jiān)督特征提取和哈希方法降低存儲空間(低內(nèi)存耗費(fèi))的特點(diǎn)，綜合兩者優(yōu)勢，提出了一種基于卷積自編碼神經(jīng)網(wǎng)絡(luò)和哈希算法的圖像檢索算法CAEH，本文算法模型如圖1所示。

圖1 本文算法模型

本文算法將28×28大小的圖片輸入到卷積自編碼網(wǎng)絡(luò)，經(jīng)過卷積層和反卷積層，預(yù)訓(xùn)練卷積自編碼，得到編碼器模型。提取圖像深層特征向量，進(jìn)行哈希編碼，用較短的編碼來代表一張圖片。

當(dāng)輸入一張要查詢的圖像時(shí)，將其經(jīng)過上述處理后，得到哈希編碼。然后，將該編碼與圖像庫里圖片的哈希編碼共同計(jì)算漢明距離。距離越小，表明哈希編碼越接近，那么可以認(rèn)為這兩張圖片也越相似。

本文算法將從圖像預(yù)處理、卷積自編碼特征提取、哈希編碼3部分來介紹圖像檢索的研究方法。

2.1 圖像預(yù)處理

本文圖像預(yù)處理階段分為2步進(jìn)行，第一步對MNIST數(shù)據(jù)集和Fashion-MNIST數(shù)據(jù)集中的圖像進(jìn)行灰度處理，轉(zhuǎn)化為灰度圖像，所處理的圖像均為28×28像素。第二步將得到的灰度圖像歸一化，加快訓(xùn)練網(wǎng)絡(luò)的收斂性。

2.2 卷積自編碼特征提取方法

卷積自編碼器實(shí)現(xiàn)的過程與自編碼器的思想是一致的，都是使用先編碼再解碼，比較解碼數(shù)據(jù)與原始數(shù)據(jù)的差異來進(jìn)行訓(xùn)練，最后獲得穩(wěn)定的參數(shù)。卷積自編碼神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)是使其損失函數(shù)最小，對于輸入圖像x={x1,x2,…,xi},假設(shè)有k個(gè)卷積核，每個(gè)卷積核參數(shù)由Wk和bk組成，用hk表示卷積層，得到式(1)：

hk=σ(x*Wk+bk)

(1)

式中：σ為Relu激活函數(shù)；*表示2D卷積。

其中偏差被廣播到整個(gè)圖，每個(gè)潛在圖使用單個(gè)偏差，因此每個(gè)濾波器對整個(gè)輸入的特征進(jìn)行特殊化操作，再利用該方法進(jìn)行重建。每張?zhí)卣鲌Dh與其對應(yīng)的卷積核的轉(zhuǎn)置進(jìn)行卷積操作并將結(jié)果求和，然后加上偏置，得到反卷積操作,如式(2)：

(2)

將輸入的樣本和最終利用特征重構(gòu)得出來的結(jié)果進(jìn)行歐幾里得距離比較，并通過BP算法進(jìn)行優(yōu)化，就可以得到一個(gè)完整的卷積自編碼器損失函數(shù)，如式(3)所示：

(3)

與標(biāo)準(zhǔn)網(wǎng)絡(luò)一樣，反向傳播算法用于計(jì)算誤差函數(shù)相對于參數(shù)的梯度。使用式(4)通過卷積運(yùn)算可以很容易地獲得梯度值。

(4)

式中：δh和δy分別為隱藏狀態(tài)和重建狀態(tài)的增量。

然后使用隨機(jī)梯度來更新權(quán)重。

適當(dāng)改變CAE編解碼器中的卷積核的大小與卷積層的個(gè)數(shù)，可以實(shí)現(xiàn)特征全面有效提取，易于各層分工合作，實(shí)現(xiàn)相應(yīng)的特征提取功能。本文使用的卷積自編碼網(wǎng)絡(luò)結(jié)構(gòu)及參數(shù)如表1所示。

表1 卷積自編碼網(wǎng)絡(luò)結(jié)構(gòu)及參數(shù)配置

CAE模型由2個(gè)卷積層(conv1～2)，3個(gè)反卷積層(deconv1～3)和1個(gè)潛在層構(gòu)成。表1中卷積層和反卷積層的第一行參數(shù)表示卷積濾波器的數(shù)量和局部感受野的大小。其中，“st.”表示卷積的步幅，“pad”表示空間填充，“ 2 pooling”表示max-pooling下采樣，“ 2 Upsampling”表示上采樣。CAE的激活函數(shù)除了反卷積第三層采用sigmod激活函數(shù)外，其余的都使用矯正線性單元Relu。

2.3 哈希編碼

在獲得圖像深層特征表達(dá)式之后，通過哈希算法可以獲得最終的檢索結(jié)果。哈希方法是一種常用的近似最近鄰搜索(approximate nearest neighbor search,ANNS)方法，它將高維的特征映射到低維空間，隨之產(chǎn)生二進(jìn)制編碼，再計(jì)算漢明距離，這樣大幅度降低了計(jì)算代價(jià)。

近年來，雖然利用哈希方法來學(xué)習(xí)保持相似性的二進(jìn)制代碼已得到廣泛的應(yīng)用，但普遍受到手工制作的特征或線性投影的限制，因此大規(guī)模圖像檢索時(shí)，檢索性能會極大降低。為了解決上述問題，本文對圖像進(jìn)行緊湊二進(jìn)制編碼，以便使得類似的圖像編碼為漢明空間中的類似二進(jìn)制編碼，以便有效地計(jì)算二進(jìn)制編碼，從而提升圖像檢索的精度，并降低檢索時(shí)間。

這種二進(jìn)制緊湊編碼可以使用漢明距離進(jìn)行快速比較圖像深層特征的相似性，能有效降低計(jì)算成本。對于輸入的圖像x，提取LatentFC1層的輸出記為O(x)，然后通過將閾值進(jìn)行二值化，從而得到圖像x的二進(jìn)制編碼。對LatentFC1層中的每一位，將其二進(jìn)制碼表示為X：

(5)

使用Γ={x1,x2,…,xn}表示用于檢索的數(shù)據(jù)集，包括n張圖像。與其對應(yīng)的每張圖像的二進(jìn)編碼表示為Γx={X1,X2,…,Xn}，其中Xi={0,1}k對于任意查詢圖像xq和它的二進(jìn)制編碼Xq，使用xq的特征向量和第i幅圖像的特征向量之間的漢明距離來表示它們之間的相似性。漢明距離越小，兩幅圖像就越相似。按照漢明距離的大小將用于檢索的數(shù)據(jù)集中的圖像按照升序排列，故而能夠檢索出排在前k的圖像。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 數(shù)據(jù)集

為了證明本文方法的有效性，在以下2個(gè)圖像集上對本文方法進(jìn)行了評估。MNIST[18]數(shù)據(jù)集是美國國家技術(shù)與標(biāo)準(zhǔn)研究所收集制作的0～9手寫數(shù)字?jǐn)?shù)據(jù)集，來自250個(gè)不同的人手寫而來。其中訓(xùn)練集包含60 000個(gè)28×28灰度圖的數(shù)字(0～9)圖像及標(biāo)簽，測試集包含10 000個(gè)28×28灰度圖的數(shù)字圖像及標(biāo)簽。MNIST部分測試圖像2所示。

圖2 MNIST部分測試圖像

Fashion-MNIST[19]是由德國的時(shí)尚科技公司Zalando旗下的研究部門提供，涵蓋了來自10種類別共7萬個(gè)不同商品的正面圖像。Fashion-MNIST的大小、格式和訓(xùn)練集/測試集劃分與原始的MNIST完全一致，該數(shù)據(jù)集部分測試圖像如圖3所示。

圖3 Fashion-MNIST部分測試圖像

本文中，相似性標(biāo)簽由語義級標(biāo)簽定義。對于MNIST/Fashion-MNIST，來自相同類別的圖像被認(rèn)為在語義上是相似的，反之亦然。本文方法僅采用10類70 000張圖像，輸入圖像尺寸均為數(shù)據(jù)集原始尺寸。其中，60 000張圖像用于訓(xùn)練模型,10 000張圖像用于評估模型的測試。在選取的圖像中，隨機(jī)抽樣10 000張圖像形成測試查詢集，并將剩余圖像用作訓(xùn)練集。

3.2 實(shí)驗(yàn)設(shè)置

實(shí)現(xiàn)評估部分，將本文方法的檢索性能與其他的哈希方法作比較，包括非監(jiān)督的哈希方法LSH、SH、ITQ，監(jiān)督的哈希方法KSH，以及深度學(xué)習(xí)與哈希技術(shù)相結(jié)合的哈希方法CNNH、DLBHC。本文實(shí)驗(yàn)環(huán)境采用Windows10系統(tǒng)，Python編程語言，Keras框架作為神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)框架。在MNIST和Fashion-MNIST數(shù)據(jù)集中，每一類選擇1 000張圖像構(gòu)成包含10 000張圖像的測試集。對于無監(jiān)督的哈希方法，其余的數(shù)據(jù)作為訓(xùn)練集。對于監(jiān)督的哈希方法，每類選擇6 000張，組成包括60 000張圖像的訓(xùn)練集。對于深度學(xué)習(xí)與哈希計(jì)算相結(jié)合的算法，直接使用圖像作為輸入。而其余的方法，數(shù)據(jù)集MNIST和Fashion-MNIST采用深層特征表示圖像。

為了評估圖像檢索性能并與已有方法作比較，本文采用平均精度均值(mean average precision，MAP)、檢索返回top-k近鄰域的準(zhǔn)確率曲線這2個(gè)參數(shù)進(jìn)行評估。通常根據(jù)查詢圖像的漢明距離和計(jì)算的MAP值來對圖像進(jìn)行排序，MAP值是由Precision-Recall曲線所包圍的面積，MAP的值是哈希函數(shù)整體性能指標(biāo)。MAP值計(jì)算過程主要分為2步。第一步計(jì)算平均準(zhǔn)確率AP，假設(shè)經(jīng)過檢索系統(tǒng)返回K個(gè)相關(guān)圖像，其位置分為x1，x2,…,xK，則單個(gè)類別的平均準(zhǔn)確率APi表示為

(6)

第二步對AP進(jìn)行算術(shù)平均，定義圖像類別數(shù)為M，則MAP為

(7)

除此之外，本文還采用top-k近鄰域檢索準(zhǔn)確率作為評估的方法，該指標(biāo)表示的是與查詢圖像漢明距離最小的k張圖像中正確的結(jié)果所占的比列，換言之，就是查詢出來排名前k的圖像中有正確結(jié)果的比例。

3.3 實(shí)驗(yàn)性能分析

在MNIST數(shù)據(jù)集上，本文方法與現(xiàn)有方法MAP值的比較結(jié)果如表2所示。從表2可以看出，本文算法的MAP值遠(yuǎn)遠(yuǎn)高于傳統(tǒng)特征與哈希方法結(jié)合的算法(KSH、ITQ),因?yàn)楸疚睦蒙疃染矸e自編碼網(wǎng)絡(luò)同時(shí)學(xué)習(xí)特征表示和哈希函數(shù)，極大提高了圖像的表示能力。與其他的深度卷積神經(jīng)網(wǎng)絡(luò)與哈希技術(shù)相結(jié)合的方法相比，本文算法的MAP值最高，表明深度哈希的效果更好，說明深度網(wǎng)絡(luò)是一種學(xué)習(xí)圖像深層特征表示和生成哈希編碼的有效方法。在任何情況下，本文提出的CAEH方法在檢索性能優(yōu)于其他比較方法。

表2 在數(shù)據(jù)集MNIST上按漢明距離排序的MAP值

表3中給出在Fashion-MNIST數(shù)據(jù)集上，本文方法和現(xiàn)有方法MAP值的比較結(jié)果。從表3可以看出，本文算法的MAP值遠(yuǎn)遠(yuǎn)高于傳統(tǒng)特征與哈希方法相結(jié)合的算法(如KSH)，提高了40%。與現(xiàn)有的深度卷積網(wǎng)絡(luò)與哈希技術(shù)相結(jié)合的方法相比，不僅同時(shí)進(jìn)行特征學(xué)習(xí)和哈希函數(shù)的學(xué)習(xí)，并且采用了深度結(jié)構(gòu)去學(xué)習(xí)哈希函數(shù)與深度特征，因此本文算法的MAP值最高。

表3 在數(shù)據(jù)集Fashion-MNIST上按漢明距離排序的MAP值

圖4和圖5分別為本文方法在MNIST和Fashion-MNIST數(shù)據(jù)上的top-10檢索結(jié)果。從圖中可以看出，通過潛在二進(jìn)制代碼的變化位數(shù)從MNIST和Fashion-MNIST數(shù)據(jù)集中檢索到前10個(gè)圖像，當(dāng)位數(shù)增加時(shí)，檢索具有相似外觀的相關(guān)圖像。

圖5 Fashion-MNIST數(shù)據(jù)集中檢索到的前10個(gè)圖像

本文的實(shí)驗(yàn)部分統(tǒng)一使用48位二進(jìn)制編碼和漢明距離測量來檢索相關(guān)圖像的檢索評估。通過從系統(tǒng)的測試集中隨機(jī)選擇1 000個(gè)查詢圖像來執(zhí)行檢索，獲得相關(guān)的查詢圖像。圖6為不同哈希算法在Fashion-MNIST數(shù)據(jù)集上top-k檢索精度曲線圖，從圖6可以看出，本文算法CAEH的檢索精度明顯優(yōu)于其他哈希算法。

圖6 不同哈希算法top-k檢索精度曲線

4 結(jié)束語

本文提出一種基于卷積自編碼神經(jīng)網(wǎng)絡(luò)與哈希編碼的圖像檢索算法CAEH。在大規(guī)模相似圖像檢索問題上，檢索準(zhǔn)確率和檢索時(shí)間上得到明顯提升。本文算法先采用CAE網(wǎng)絡(luò)模型對目標(biāo)圖像集提取圖像的深層特征表示，再使用哈希編碼策略把這些特征編碼成二進(jìn)制碼。為了驗(yàn)證本文算法的有效性和準(zhǔn)確性，實(shí)驗(yàn)采用MAP值和檢索返回top-k近鄰域的準(zhǔn)確率曲線的評估方法。實(shí)驗(yàn)結(jié)果表明，本文方法與LSH、SH、ITQ、KSH CNNH和DLBHC相比，能獲得更高的性能。在MAP值上遠(yuǎn)高于傳統(tǒng)方法，在top-k檢索相似圖像上獲得非常高的精確率。雖然本文算法對比傳統(tǒng)方法和深度學(xué)習(xí)方法取得了很好的效果，但是還有一些問題有待解決，如卷積自編碼器不是對所有圖像深層特征的提取，都能表現(xiàn)良好的效果；如哈希編碼也并不是對所有圖像深層特征編碼進(jìn)行圖像檢索，都能表現(xiàn)良好的效果，這些問題均有待進(jìn)一步的深入研究。