基于深度學(xué)習(xí)的服裝圖像檢索方法①

陳 雙,何利力,鄭軍紅

(浙江理工大學(xué) 信息學(xué)院,杭州 310018)

隨著服裝電子商務(wù)的飛速發(fā)展,互聯(lián)網(wǎng)上服裝圖像數(shù)據(jù)量急劇增長(zhǎng),如何從海量的圖像庫(kù)中進(jìn)行快速精準(zhǔn)檢索成為了近幾年研究的熱點(diǎn)[1].

目前服裝圖像檢索的常規(guī)方法有兩類,一類是基于文字的圖像檢索(TBIR),通過(guò)對(duì)服裝圖像的文字描述進(jìn)行語(yǔ)義式匹配;另一類是基于圖像內(nèi)容的圖像檢索(CBIR),從圖像的顏色、紋理等方面進(jìn)行特征提取,實(shí)現(xiàn)“以圖搜圖”[2].但這兩類方法都具有一定的局限性,文字描述所進(jìn)行的人工語(yǔ)義標(biāo)簽十分繁瑣,且具有主觀性;而內(nèi)容特征不能全面地反映圖像豐富的視覺(jué)特征,機(jī)器從低級(jí)的可視化特征得到的相似性與人從高級(jí)的語(yǔ)義特征得到的相似性間存在著巨大的“語(yǔ)義鴻溝”[3],造成檢索的效果不佳.為此,在深度學(xué)習(xí)技術(shù)與圖像處理技術(shù)飛速發(fā)展的當(dāng)下,借助深度學(xué)習(xí)強(qiáng)大的特征提取能力,直接對(duì)圖像進(jìn)行處理,消除不同底層特征帶來(lái)的影響,進(jìn)行服裝圖像檢索研究.

基于深度學(xué)習(xí)的方法在圖像分類、圖像檢索方面具有獨(dú)特的優(yōu)越性.AlexNet模型[4]與 VGG 模型[5]成功地驗(yàn)證了深度卷積神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)圖像特征表示上的能力.而對(duì)于有著紋理、款式等特有視覺(jué)特征的服裝圖像的檢索,目前仍處于探索階段.如基于深度學(xué)習(xí)進(jìn)行對(duì)服裝圖片的自動(dòng)標(biāo)注[6],以及著重于深度卷積神經(jīng)網(wǎng)絡(luò)的層次多任務(wù)服裝分類等[7],它們主要借助于深度學(xué)習(xí)的圖像特征表達(dá)能力來(lái)進(jìn)行研究.面對(duì)大規(guī)模服裝圖像,利用深度卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練樣本的近似哈希編碼得到哈希構(gòu)造函數(shù),采用CNN與哈希方法相結(jié)合的算法[8]能有效提高圖像檢索的速度.

本文主要進(jìn)行3方面的研究.1)基于Fashion-MNIST數(shù)據(jù)集建立卷積神經(jīng)網(wǎng)絡(luò)模型,進(jìn)行服裝類別標(biāo)簽分類.2)基于VGG-16預(yù)訓(xùn)練模型,對(duì)服裝數(shù)據(jù)集進(jìn)行特征提取,并映射成哈希編碼,建立服裝特征哈希索引庫(kù),實(shí)現(xiàn)圖像的快速檢索.3)綜合以上兩個(gè)模型,以爬取的服裝圖像進(jìn)行分類訓(xùn)練,建立大規(guī)模服裝數(shù)據(jù)集,提出一種新的Fashin-16神經(jīng)網(wǎng)絡(luò)模型,實(shí)現(xiàn)基于深度學(xué)習(xí)的先分類再類內(nèi)檢索的服裝圖像檢索,并通過(guò)實(shí)驗(yàn)分析與對(duì)比實(shí)驗(yàn)的設(shè)計(jì)驗(yàn)證其檢索效果.

1 研究方法

1.1 研究環(huán)境與預(yù)處理

實(shí)驗(yàn)環(huán)境:基于 Keras深度學(xué)習(xí)框架,Tensorflow做為后端.

預(yù)訓(xùn)練數(shù)據(jù):采用Fashion-MNIST數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練.Fashion-MNIST 是德國(guó)研究機(jī)構(gòu) Zalando Research發(fā)布的一個(gè)服裝圖像數(shù)據(jù)集[9],含有60 000個(gè)訓(xùn)練樣本和 10 000 個(gè)測(cè)試樣本,包括 10 個(gè)類別標(biāo)簽:T 恤,褲子,套頭衫,裙子,外套,涼鞋,襯衫,運(yùn)動(dòng)鞋,包,踝靴.

實(shí)驗(yàn)數(shù)據(jù):使用爬蟲爬取服裝圖像與網(wǎng)上相關(guān)服裝數(shù)據(jù)集,獲取了總計(jì) 325 820張服裝圖像,關(guān)聯(lián)對(duì)應(yīng)的服裝類別標(biāo)簽,建立大規(guī)模服裝圖像數(shù)據(jù)集作為實(shí)驗(yàn)樣本集,并將樣本集隨機(jī)分為三批,20萬(wàn)個(gè)樣本作為訓(xùn)練數(shù)據(jù),進(jìn)行模型的訓(xùn)練,10萬(wàn)個(gè)樣本進(jìn)行模型的參數(shù)調(diào)優(yōu),剩下的樣本用來(lái)衡量最優(yōu)模型的性能.

標(biāo)簽選擇:為實(shí)現(xiàn)高效精準(zhǔn)的分類,本文參考Fashin-MNIST數(shù)據(jù)集的類別標(biāo)簽,采用單標(biāo)簽的方法.考慮缺少多標(biāo)簽之間的關(guān)聯(lián),泛化能力不足[10],后期將對(duì)Fashion-16模型進(jìn)行調(diào)整,實(shí)現(xiàn)多標(biāo)簽的分類檢索.

預(yù)處理:對(duì)于輸入預(yù)訓(xùn)練模型與進(jìn)行檢索的圖像,為減少圖像冗余信息,去除背景、光照、多主體等因素的影響,需對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練格式標(biāo)準(zhǔn)化,主要進(jìn)行去均值與歸一化:去均值是指對(duì)圖像的每個(gè)數(shù)據(jù)點(diǎn)進(jìn)行均值消除,移除圖像的平均亮度,消除數(shù)據(jù)的直流分量;歸一化是指令 x_train=x_train/255,使樣本值處于[0,1]之間,減少各維度數(shù)據(jù)取值范圍的差異帶來(lái)的干擾[11].

圖1 Fashion-MNIST 及抓取圖像部分?jǐn)?shù)據(jù)集

1.2 基于卷積神經(jīng)網(wǎng)絡(luò)的服裝類別標(biāo)簽分類模型

服裝圖像中含有豐富的服裝特有屬性信息,如顏色、花紋、袖子的長(zhǎng)短等.本文從服裝的類別進(jìn)行研究,采用卷積神經(jīng)網(wǎng)絡(luò)的非線性映射能力與自學(xué)習(xí)能力,根據(jù)服裝圖像與類別標(biāo)簽,自動(dòng)學(xué)習(xí)服裝類別標(biāo)簽特征,以網(wǎng)絡(luò)的高層語(yǔ)義激活值表示服裝的類別標(biāo)簽特征,實(shí)現(xiàn)服裝高效精準(zhǔn)分類,構(gòu)建基于卷積神經(jīng)網(wǎng)絡(luò)的服裝類別標(biāo)簽分類模型[12].建立卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如表1所示.

表1 服裝類別標(biāo)簽分類模型結(jié)構(gòu)

卷積層通過(guò)卷積核與輸入的相互作用進(jìn)行特征提取,池化層弱化位置信息并過(guò)濾不重要的高頻信息,形成更抽象的特征,逐層提取并組合成完備的描述特征,保證圖像的局部關(guān)聯(lián)性與空間不變性[13].服裝類別標(biāo)簽分類模型采用卷積層和池化層兩次交替,對(duì)Fashion-MNIST 28×28 的輸入圖像采用 3×3 的卷積核,f(x)=max(0,x)的ReLU激活函數(shù),每?jī)纱尉矸e后進(jìn)行一次2×2 的 Max pooling 池化.

在全連接層展平像素前引入兩層Dropout層,以0.25與0.5的閾值隨機(jī)去除權(quán)重,這一過(guò)程雖然降低了訓(xùn)練速度,但提高了網(wǎng)絡(luò)的泛化能力,防止過(guò)度擬合.

在最后一層輸出層中使用Softmax函數(shù)進(jìn)行分類,采用Logistic回歸代價(jià)函數(shù)做為Softmax分類器的代價(jià)函數(shù),給出樣本對(duì)每一類別的概率,獲得類別標(biāo)簽[14].在表達(dá)中,令模型的參數(shù)為θ1,θ2,···,θk,采用歸一化使所有的概率和為1,對(duì)所有輸入的列向量,有:

通過(guò)模型訓(xùn)練,對(duì)預(yù)訓(xùn)練數(shù)據(jù)進(jìn)行參數(shù)fine-tune,使模型效果達(dá)到預(yù)定的分類準(zhǔn)確率,形成以4層卷積層初步提取服裝圖像特征,2層池化層提取其主要特征,2層全連接層進(jìn)行特征匯總,Softmax分類層進(jìn)行分類預(yù)測(cè),最終返回一個(gè)包含10個(gè)類別的對(duì)應(yīng)概率的一維矩陣,概率的最大值即該圖像的服裝類別,實(shí)現(xiàn)基于卷積神經(jīng)網(wǎng)絡(luò)的服裝類別標(biāo)簽分類模型.

1.3 基于VGG-16的圖像檢索模型

實(shí)驗(yàn)中用到的VGG-16模型是深度卷積神經(jīng)網(wǎng)絡(luò)VGGNet的一種,是由16層神經(jīng)網(wǎng)絡(luò)構(gòu)成的經(jīng)典模型,采用由ImageNet預(yù)訓(xùn)練的權(quán)重.采用小核堆疊的思想,反復(fù)堆疊3×3的小型卷積核和2×2的最大池化層,包含13個(gè)卷積層、3個(gè)全連接層,對(duì)224×224×3的輸入數(shù)據(jù),以多層卷積與池化進(jìn)行特征提取[15].其整體結(jié)構(gòu)如圖2所示.

利用VGG-16的卷積層與池化層學(xué)習(xí)到的服裝圖像特征,對(duì)模型進(jìn)行調(diào)整,在原模型中引入哈希層,采用局部敏感哈希算法思想,以隨機(jī)超平面的方法構(gòu)造哈希函數(shù)[16],將高維的服裝圖像特征映射成二進(jìn)制哈希碼,具有相同的二進(jìn)制哈希碼的樣本保存在相同庫(kù)中,以此構(gòu)建服裝數(shù)據(jù)集的特征哈希索引庫(kù)[17].

在檢索時(shí),對(duì)輸入的圖像進(jìn)行同樣的特征提取與映射,對(duì)比得到與輸入圖像相似性高的樣本所在的索引庫(kù),將輸入圖像的二進(jìn)制哈希碼傳入庫(kù)中與庫(kù)中的哈希碼逐一進(jìn)行相似性度量[18],根據(jù)比較結(jié)果返回20個(gè)相似度最高的圖片及對(duì)應(yīng)的相似度,實(shí)現(xiàn)服裝圖像的快速檢索.

1.4 Fashion-16服裝圖像檢索模型

結(jié)合基于卷積神經(jīng)網(wǎng)絡(luò)的服裝類別標(biāo)簽分類模型與基于VGG-16的圖像檢索模型,本文提出了一種新的模型:Fashion-16服裝圖像檢索模型.

整體采用先分類再類內(nèi)檢索的思想.借助于上述兩個(gè)模型的特征提取能力與Softmax分類功能,對(duì)訓(xùn)練樣本進(jìn)行先分類再根據(jù)類別進(jìn)行特征信息的保存,對(duì)于檢索圖像進(jìn)行特征提取及局部敏感哈希進(jìn)行近似最近鄰的查找,在相應(yīng)類別的服裝圖像集中檢索到按相似度降序圖像[19].實(shí)現(xiàn)圖像的精準(zhǔn)分類與快速檢索,以分類優(yōu)化檢索.

首先采用VGG-16模型對(duì)爬取的服裝圖像樣本集進(jìn)行特征提取,并映射成哈希編碼.然后對(duì)VGG-16模型的最后一個(gè)卷積層進(jìn)行調(diào)整,添加能處理服裝類別標(biāo)簽的網(wǎng)絡(luò),即卷積神經(jīng)網(wǎng)絡(luò)模型的Softmax分類層.根據(jù)分類信息將訓(xùn)練模型信息存至HDF5文件,分別構(gòu)造特征哈希索引庫(kù).對(duì)測(cè)試樣本進(jìn)行相似性度量,衡量模型的性能并進(jìn)行調(diào)參.

對(duì)于一次完整的檢索過(guò)程,將待檢索圖像輸入網(wǎng)絡(luò)模型進(jìn)行前向傳播,層層采樣獲得圖像特征,哈希編碼后根據(jù)服裝類別標(biāo)簽卷積神經(jīng)網(wǎng)絡(luò)模型Softmax分類器的結(jié)果傳入對(duì)應(yīng)的索引庫(kù)進(jìn)行近似最近鄰查找,返回按相似度排序的圖像結(jié)果,實(shí)現(xiàn)服裝圖像的精準(zhǔn)分類和快速檢索[20].模型整體構(gòu)造如圖3所示.

圖3 Fashion-16 模型整體架構(gòu)

2 實(shí)驗(yàn)分析與對(duì)比

2.1 結(jié)果分析

根據(jù)實(shí)驗(yàn)設(shè)計(jì),對(duì)實(shí)驗(yàn)數(shù)據(jù)集進(jìn)行20次迭代,總計(jì)用時(shí)7301 s,得到損失率(Loss)與準(zhǔn)確率(Accurancy)如圖4所示.

圖4 20次迭代過(guò)程損失值與準(zhǔn)確率變化情況

從圖中可以發(fā)現(xiàn),前幾次準(zhǔn)確率上升、損失值下降速度較快,后續(xù)趨于平緩,表明實(shí)驗(yàn)在多次迭代后結(jié)果趨于穩(wěn)定.

采用Flask進(jìn)行Web實(shí)現(xiàn),得到服裝圖像分類檢索頁(yè)面樣式如圖5所示.

圖5 服裝圖像分類檢索頁(yè)面樣式

2.1.1 分類精確度

考慮在圖像領(lǐng)域常用的評(píng)價(jià)指標(biāo),對(duì)于服裝圖像檢索的精確率,分類精確度直接影響檢索精確度,本文采用查準(zhǔn)率對(duì)分類精確度進(jìn)行度量,定義為檢索結(jié)果中正確圖像數(shù)目m與返回圖像數(shù)目k的比值,計(jì)算公式為:

對(duì)服裝圖像集2萬(wàn)個(gè)隨機(jī)樣本進(jìn)行測(cè)試,得到Softmax分類器的分類精確度為92.71%.實(shí)驗(yàn)表明,檢索對(duì)服裝圖像的類別具有良好的針對(duì)性,能達(dá)到預(yù)期的檢索效果.

2.1.2 穩(wěn)定性

設(shè)計(jì)實(shí)驗(yàn),對(duì)于數(shù)據(jù)集大小從預(yù)實(shí)驗(yàn)的Fashin-MNIST數(shù)據(jù)集進(jìn)行逐50 000數(shù)據(jù)量的增加,對(duì)于驗(yàn)證數(shù)據(jù)實(shí)驗(yàn)生成的檢索精確度如表2所示.

表2 數(shù)據(jù)量與檢索精確度

實(shí)驗(yàn)表明,隨著數(shù)據(jù)集的擴(kuò)大,檢索精確度同步得到了提升,而后續(xù)逐漸趨于穩(wěn)定,保證了模型面向超大規(guī)模服裝圖像集具有一定的穩(wěn)定性.

2.1.3 檢索速度

對(duì)于驗(yàn)證數(shù)據(jù),隨機(jī)取1000次檢索時(shí)間的平均值,得到平均檢索用時(shí)為3.2416 s,檢索具有較好的檢索速度,能應(yīng)對(duì)日常的圖像檢索需求.

這主要是采用類內(nèi)檢索縮小了檢索范圍,并協(xié)同哈希方法在檢索中計(jì)算速度和存儲(chǔ)空間的優(yōu)越性,保證了模型優(yōu)異的檢索速度.

2.2 實(shí)驗(yàn)對(duì)比

2.2.1 SIFT特征提取與卷積神經(jīng)網(wǎng)絡(luò)特征提取

特征提取方法選用基于內(nèi)容的圖像檢索中比較著名的局部特征描述子SIFT特征,SIFT由于對(duì)旋轉(zhuǎn)、尺度交換以及一定的視角和光照變化等圖像變化具有不變性,可以獲得較好的特征效果[21].而在本模型中,使用預(yù)訓(xùn)練模型VGG-16進(jìn)行服裝圖像特征的提取,依靠多層卷積與池化,層層采樣,得到的不同層次的特征,同樣具有良好的特征表達(dá)能力.

對(duì)兩種特征提取方式得到的特征分別進(jìn)行后續(xù)的分類與檢索,通過(guò)對(duì)驗(yàn)證數(shù)據(jù)集20 000個(gè)樣本的實(shí)驗(yàn),得到各自檢索結(jié)果準(zhǔn)確率如表3所示.

表3 檢索結(jié)果準(zhǔn)確率

實(shí)驗(yàn)結(jié)果表明,相比于SIFT特征,使用VGG-16模型所進(jìn)行的對(duì)低層次特征學(xué)習(xí)、抽象、組合形成的高層特征具有更好的圖像特征表示能力.

2.2.2 直接檢索與類內(nèi)檢索

先分類再進(jìn)行類內(nèi)檢索的方法限定了檢索的范圍,得到的檢索結(jié)果與目標(biāo)的類別相同,避免了特征描述的偏差引起不同類別間的相似性過(guò)高,相比直接檢索具有更高的準(zhǔn)確性.而對(duì)于檢索速度而言,對(duì)不分類直接進(jìn)行檢索與分類后進(jìn)行類內(nèi)檢索這兩種情況下進(jìn)行對(duì)比,隨機(jī)取各自1000次檢索時(shí)間的平均值,得到平均檢索用時(shí)如表4所示.

表4 平均檢索用時(shí)

實(shí)驗(yàn)結(jié)果表明,分類后進(jìn)行類內(nèi)檢索相比直接檢索在檢索速度上有10.88%的提升,并且可預(yù)期的對(duì)于更大規(guī)模的圖像集,因檢索范圍的限定,檢索速度的差別將會(huì)更大.

3 結(jié)語(yǔ)

本文提出了一個(gè)新的深度學(xué)習(xí)模型Fashion-16服裝圖像檢索模型,借助于卷積神經(jīng)網(wǎng)絡(luò)強(qiáng)大的圖像特征提取能力,采用先分類,再類內(nèi)檢索的思想,在類內(nèi)以局部敏感哈希算法進(jìn)行近似最近鄰的查找.通過(guò)實(shí)驗(yàn),驗(yàn)證了模型具有良好的分類精確度、穩(wěn)定性與檢索速度.模型針對(duì)服裝領(lǐng)域類別屬性的修正優(yōu)化,能夠達(dá)到較好的服裝檢索效果.