深度卷積神經(jīng)網(wǎng)絡(luò)在品牌服裝圖像檢索中的應(yīng)用

董訪訪，張 明，鄧 星

（江蘇科技大學(xué)計(jì)算機(jī)學(xué)院，江蘇鎮(zhèn)江 212100）

0 引言

隨著電子商務(wù)的迅速發(fā)展，網(wǎng)絡(luò)上有越來越多的服裝圖像，如何從海量的數(shù)據(jù)圖像庫中精確查找出自己想要的目標(biāo)圖像成為許多奢侈品官方網(wǎng)站的研究熱點(diǎn)［1］。

圖像檢索技術(shù)最早于20 世紀(jì)70 年代開始浮現(xiàn)，從剛開始基于文本的圖像檢索技術(shù)（TBIR）逐漸轉(zhuǎn)變?yōu)榛趦?nèi)容的圖像檢索技術(shù)（CBIR）［2］。在如今的網(wǎng)絡(luò)商業(yè)中，許多購物系統(tǒng)將TBIR 作為搜索的主流方式，例如京東、淘寶購物平臺(tái)都是在人工標(biāo)注文本的基礎(chǔ)上進(jìn)行圖片檢索的［3］。基于文本的圖像檢索原理是對圖片上人工標(biāo)注過的關(guān)鍵詞進(jìn)行查詢，關(guān)鍵詞包括圖像的顏色、形狀等，雖然其檢索精度高且速度快，但在數(shù)據(jù)量如此巨大的情況下，需要耗費(fèi)更多的人力資源，且這種方法對圖像描述不夠充分，具有人為主觀性，由此基于內(nèi)容的圖像檢索迅速發(fā)展［4］。圖像內(nèi)容指其本身特征，包括形狀、顏色、紋理等，常見的特征提取方法有SIFT［5］、SURF、HOG 和GIST 等。

Perronnin 等［6］為了實(shí)現(xiàn)對大規(guī)模圖像的有效檢索，提出利用Fisher 核作為連接局部特征到全局表示的編碼方法度量相似性，并通過壓縮Fisher 矢量達(dá)到減少內(nèi)存并加快檢索效果。Yang 等［7］提出基于形狀相關(guān)性方法得到圖像相似程度從而使檢索準(zhǔn)確率提高，但是該方法只側(cè)重于服裝形狀特征，對于服裝豐富的顏色、紋理等特征欠缺考慮。Ji等［8］針對服裝細(xì)節(jié)設(shè)計(jì)了采用多尺度的方向梯度直方圖特征進(jìn)行檢索，并利用投票選擇的方法對其檢索結(jié)果進(jìn)行篩選，然而該方法對于背景復(fù)雜的服裝圖像，難以產(chǎn)生較好的效果。Lu 等［9］使用人體部位檢測器檢測圖像中人物主體的關(guān)鍵區(qū)域，如肩、膝蓋等部位，然后提取和融合這些區(qū)域的HOG、LBP、顏色矩、顏色直方圖等特征，以此進(jìn)行圖像檢索，但該方法過于重視局部特征，反而忽視了服裝的整體特征?；谝陨蠁栴}，為了降低圖像檢索時(shí)間損耗并提升準(zhǔn)確率，越來越多研究人員將深度卷積神經(jīng)網(wǎng)絡(luò)強(qiáng)大的特征提取能力應(yīng)用于圖像處理，進(jìn)而達(dá)到目的。

隨著神經(jīng)網(wǎng)絡(luò)的較快發(fā)展，ImageNet 競賽中在圖像識別率上實(shí)現(xiàn)不斷突破的網(wǎng)絡(luò)模型，如AlexNet［10］、VGGNet、GoogLeNet 等相繼被提出，并且網(wǎng)絡(luò)層數(shù)也在不斷加深。但通過以往實(shí)驗(yàn)發(fā)現(xiàn)，只將卷積層與池化層進(jìn)行簡單堆疊而成的深度網(wǎng)絡(luò)，會(huì)出現(xiàn)梯度消失、梯度爆炸、網(wǎng)絡(luò)退化等現(xiàn)象，進(jìn)而影響檢索準(zhǔn)確率。2015 年，何凱明等［11］提出的ResNet 較好地解決了這些問題。當(dāng)前，大多數(shù)研究人員利用深度卷積神經(jīng)網(wǎng)絡(luò)在大規(guī)模數(shù)據(jù)集ImageNet［12］上針對預(yù)訓(xùn)練好的模型提取圖像特征然后進(jìn)行圖像檢索［13］。卷積神經(jīng)網(wǎng)絡(luò)目前在檢索性能上仍然存在片面化的問題，這是因?yàn)樗趫D像檢索上雖然能提取到圖像的深層特征，在細(xì)節(jié)處理上表現(xiàn)較好，但是對底層特征提取不充分［14］，而對于服裝圖像，提取的特征也會(huì)受到圖像的拍攝視角、背景圖像、遮擋情況等影響，因此需要進(jìn)一步對服裝圖像檢索進(jìn)行研究。

綜上可以看出，近年來服裝圖像檢索或多或少都存在冗余過大或者提取特征不充分進(jìn)而導(dǎo)致檢索精度不夠高等問題，因此本文基于圖像處理中的卷積核刪減策略對VGG16 進(jìn)行改進(jìn)得到新的模型modify_vgg，以達(dá)到減少時(shí)間與空間復(fù)雜度的同時(shí)提升檢索準(zhǔn)確率的目的。本文最后通過實(shí)驗(yàn)對比分析改進(jìn)的模型以及原VGG16 和Inception_v3模型在已有數(shù)據(jù)集上的性能表現(xiàn)。

1 研究方法與相關(guān)理論

1.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)［15］（Convolutional Neural Network，CNN）是一種典型的深度學(xué)習(xí)架構(gòu)［16］，主要由輸入層、卷積層、池化層、全連接層和輸出層組成［17］。通過以往的實(shí)驗(yàn)證明，圖像基本特征如紋理、顏色等是通過卷積神經(jīng)網(wǎng)絡(luò)較低的層進(jìn)行學(xué)習(xí)，圖像抽象特征則是通過較高的層進(jìn)行學(xué)習(xí)。神經(jīng)網(wǎng)絡(luò)的卷積層作用是利用卷積運(yùn)算對圖像局部特征進(jìn)行提取。卷積運(yùn)算簡單理解就是利用一個(gè)固定大小的卷積核與圖像的各區(qū)域像素依次進(jìn)行矩陣相乘相加操作。一個(gè)待檢索圖像輸入卷積神經(jīng)網(wǎng)絡(luò)中，然后將它的像素依次與各卷積核進(jìn)行卷積運(yùn)算，得到與卷積核個(gè)數(shù)相同的特征映射圖，卷積運(yùn)算公式如下：

其中，x(l)表示上一層的輸出，k(l)表示l層中某個(gè)卷積核，b(l)表示偏置，則當(dāng)前層的輸出為：

其中，f(*)表示激活函數(shù)。

池化層的作用是防止過擬合，通過聚合統(tǒng)計(jì)各位置的特征，然后進(jìn)行降采樣得到維度低的統(tǒng)計(jì)特征，目前池化常用方法有最大池化和均值池化等。全連接層的作用是將所有特征連接后將輸出值送給分類器進(jìn)行圖像分類。卷積神經(jīng)網(wǎng)絡(luò)模型與其他模型相比主要優(yōu)點(diǎn)是輸入圖像不用經(jīng)過復(fù)雜的前期處理，簡化了圖像預(yù)處理步驟。

1.2 VGG16 Net模型

VGG16 網(wǎng)絡(luò)［18］是應(yīng)用廣泛的深度網(wǎng)絡(luò)模型之一，由牛津大學(xué)計(jì)算機(jī)視覺組和Google Deep Mind 公司研究員于2014 年共同研發(fā)。VGG16 網(wǎng)絡(luò)結(jié)構(gòu)如表1 所示，該網(wǎng)絡(luò)一共有16 層，包含13 個(gè)卷積層、3 個(gè)全連接層和5 個(gè)池化層，其中卷積層和全連接層有權(quán)重系數(shù)，計(jì)入總層數(shù)，池化層沒有權(quán)重系數(shù)，不計(jì)入總層數(shù)。卷積層使用3×3 卷積核提取特征，池化層選擇最大池化方法，全連接層對輸出的特征進(jìn)行加權(quán)和，用來分類，其中1 000 表示類別數(shù)目，可以根據(jù)自己的分類種數(shù)進(jìn)行更改。

Table 1 VGG16 structure表1 VGG16結(jié)構(gòu)

VGG 網(wǎng)絡(luò)的特點(diǎn)是采用尺寸較小的3×3 卷積核（步長為1），極大降低了計(jì)算量。通過padding 對卷積結(jié)果進(jìn)行填充，保證卷積后特征圖尺寸和前層保持一致，然后通過池化層運(yùn)算，特征圖的尺寸降低為前一層的一半。

1.3 Inception_v3模型

在深度學(xué)習(xí)中，許多神經(jīng)網(wǎng)絡(luò)模型深度增加了，但是精度卻不高，因?yàn)闀?huì)出現(xiàn)過擬合，并且深度增加會(huì)導(dǎo)致計(jì)算資源消耗更大［19］。為了避免出現(xiàn)上述情況，Szegedy等［20］提出Inception 系列模型，該模型能夠在提升精度的同時(shí)減少參數(shù)量。它是GoogLeNet 模型的其中一個(gè)系列。將多個(gè)卷積和池化操作組裝在一起就形成了一個(gè)Inception 模塊，將多個(gè)Inception 模塊組裝就形成了一個(gè)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，它是一種更深更窄的網(wǎng)絡(luò)，可以自動(dòng)判斷是否需要?jiǎng)?chuàng)建卷積層和池化層，并且自己選擇卷積層中的過濾器類型，從而減少人工成本。

Inception_v3 是經(jīng)過改進(jìn)的GoogLeNet［21］版本，總共有46 層，由11 個(gè)改進(jìn)的Inception 模塊組成，其中一個(gè)改進(jìn)的Inception 模塊結(jié)構(gòu)如圖1 所示，與之前的Inception_v2 相比，它最重要的改進(jìn)就是將7×7 的卷積分解成兩個(gè)一維卷積（1×7、7×1）、3×3 分成（1×3、3×1）。這種做法可以在加速計(jì)算的同時(shí)對網(wǎng)絡(luò)進(jìn)行加深。此外，可以將一個(gè)卷積操作拆成兩個(gè)，例如一個(gè)兩個(gè)3×3 代替一個(gè)5×5，在處理更豐富的空間特征以及增加特征多樣性等方面，這種非對稱的卷積拆分比對稱的卷積結(jié)構(gòu)拆分效果更好，同時(shí)能減少計(jì)算量［20］。

Fig.1 Improved Inception structure圖1 改進(jìn)的Inception結(jié)構(gòu)

2 服裝圖像檢索方法

2.1 服裝圖像檢索系統(tǒng)概述

本文圖像檢索的系統(tǒng)模型如圖2 所示。圖像檢索步驟首先是對數(shù)據(jù)集中的每張圖片分別進(jìn)行特征提取并將其名字與特征一對一存到特征數(shù)據(jù)庫中，對于待檢索的圖片采取同一模型抽取特征向量，然后將該向量和數(shù)據(jù)庫中的向量進(jìn)行相似度匹配即向量距離計(jì)算，找出距離最小的特征向量，其對應(yīng)圖片即為檢索結(jié)果。

2.2 服裝圖像數(shù)據(jù)集

本文數(shù)據(jù)集源自某知名服裝品牌的圖片數(shù)據(jù)，通過網(wǎng)絡(luò)爬蟲技術(shù)從官方網(wǎng)站上獲取圖片，經(jīng)過篩選剔除某些讀取異常的錯(cuò)誤圖片后剩余約34 000 張圖片，包括女裝、男裝、童裝以及配飾、帽子、腰帶等。按照8∶2 的比例將圖片隨機(jī)劃分為訓(xùn)練集和測試集，訓(xùn)練集包括約27 200 張圖片，測試集包含約6 800 張圖片。所有圖片均來源于網(wǎng)絡(luò)，可能有少量干擾元素比如水印，此外可能也會(huì)受模特動(dòng)作和拍攝角度的影響，同時(shí)有些圖片背景復(fù)雜，可能也會(huì)對提取的有效特征產(chǎn)生影響，從而影響到檢索結(jié)果。部分?jǐn)?shù)據(jù)集如圖3—圖4 所示，圖3 是無背景的圖像，受背景影響較小，圖4 為背景復(fù)雜的圖像，檢索效果可能會(huì)受背景圖像影響較大。

Fig.2 System model圖2 系統(tǒng)模型

Fig.3 Part of data set without background image圖3 部分無背景圖像數(shù)據(jù)集示例圖

Fig.4 Part of data set with background image圖4 部分有背景圖像數(shù)據(jù)集示例圖

對于輸入的圖像由于大小可能存在不同，因此需要對圖像進(jìn)行預(yù)處理后再進(jìn)行特征提取。由于需要檢測的目標(biāo)圖像的像素分布不確定，為了提高系統(tǒng)的通用性并確保數(shù)據(jù)集的特征一致，邏輯中將圖片統(tǒng)一處理成（224，224，3）類型的數(shù)據(jù)作為神經(jīng)網(wǎng)絡(luò)的輸入。

2.3 模型改進(jìn)與評價(jià)指標(biāo)

通過以上介紹可以知道，在卷積神經(jīng)網(wǎng)絡(luò)中，有些層比較重要，對特征提取起到重要作用，但是也有些層作用不大，因此對一些不重要的卷積核進(jìn)行刪除，將比較重要的卷積核進(jìn)行保留，這樣可以降低時(shí)間復(fù)雜度，減少冗余，節(jié)約計(jì)算資源。圖像處理中的刪減策略主要有基于權(quán)重的刪減、基于相關(guān)性的刪減以及基于卷積核的刪減［22］。本文主要利用基于卷積核權(quán)重大小進(jìn)行刪減的策略開展實(shí)驗(yàn)。

基于卷積核的刪減策略最重要的步驟是正確判斷卷積核的權(quán)重，可根據(jù)如下規(guī)則判斷權(quán)重：如果神經(jīng)網(wǎng)絡(luò)某一層中神經(jīng)算子的一個(gè)子集能夠無限接近原來的集合，就可以進(jìn)行無失真替代，那么這個(gè)子集之外的其他集合就可以進(jìn)行刪除。在進(jìn)行卷積核刪減操作時(shí)，還可以采用對權(quán)重取絕對值并求和的方法，對于計(jì)算結(jié)果中較大的權(quán)值所對應(yīng)的卷積核予以保留，較小的則可以刪除。計(jì)算卷積核權(quán)重的一個(gè)方法是根據(jù)神經(jīng)網(wǎng)絡(luò)算子的矩陣作特征值分析，對特征值進(jìn)行分解，然后將計(jì)算得到的大的特征值所對應(yīng)的卷積核予以保留，較小的則刪除。

特征值的分解過程可以簡述如下：假設(shè)用于圖像處理的卷積神經(jīng)網(wǎng)絡(luò)中，卷積層的卷積核為向量（Q，L，W，H），其中Q 為卷積核數(shù)量，L 為長度，W 為寬度，H 為深度。首先對該向量中的各元素進(jìn)行絕對值處理，然后將其轉(zhuǎn)換成（Q，L×W×H）大小的矩陣如式（3）。

然后將上述矩陣轉(zhuǎn)變成協(xié)方差矩陣（4）。

最后對上述協(xié)方差矩陣進(jìn)行特征值分解可以得到式（5）。

其中，δ1，δ2，…，δQ決定了卷積核的權(quán)重，數(shù)值越大表示權(quán)重越大，對應(yīng)的卷積核越重要，就要將其保留，否則進(jìn)行刪除操作。

本文利用卷積核刪減思想改進(jìn)VGG16，通過將原來模型中需要保留的卷積核復(fù)制到新的模型中以完成刪除操作，新的模型在本文中命名為modify_vgg。網(wǎng)絡(luò)刪減后神經(jīng)元與神經(jīng)元之間的連接改變，此時(shí)模型準(zhǔn)確率一般會(huì)降低，且刪除過度會(huì)造成圖像不清晰，因此需要再采用較小的學(xué)習(xí)率對過度刪除的網(wǎng)絡(luò)模型進(jìn)行微調(diào)修正，刪減完之后需要對模型作進(jìn)一步訓(xùn)練，采用梯度下降算法，通過較小的動(dòng)量更新權(quán)重，避免刪減過度造成特征損失，隨著迭代次數(shù)增多，網(wǎng)絡(luò)性能逐漸達(dá)到最優(yōu)。

評價(jià)指標(biāo)是評價(jià)圖像檢索系統(tǒng)好壞的指標(biāo)，即圖像檢索精確度。本文圖像檢索的精確度一般由檢索結(jié)果分類準(zhǔn)確率決定，若檢索結(jié)果所屬類別正確則判定為1，否則判定為0。準(zhǔn)確率p定義如式（6）。

其中，m為檢索結(jié)果中的正確類別圖像數(shù)量，k為返回的檢索結(jié)果總數(shù)。

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)運(yùn)行環(huán)境

本文實(shí)驗(yàn)運(yùn)行環(huán)境是Intel（R）Xeon（R）CPU E3-1226 v3 @ 3.30GHz；運(yùn)行內(nèi)存為16GB，操作系統(tǒng)是64 位Windows10 企業(yè)版，開發(fā)工具為pyCharm，需安裝Python3.6。

3.2 特征向量提取與度量

服裝圖像檢索的關(guān)鍵步驟是對圖像特征進(jìn)行提取，然后將其保存到數(shù)據(jù)庫中。方便后續(xù)進(jìn)行特征比對時(shí)快速找到對應(yīng)圖像。本文通過Google Brain 團(tuán)隊(duì)開發(fā)的開源深度神經(jīng)網(wǎng)絡(luò)軟件庫TensorFlow 中的VGG16、inception_v3 深度神經(jīng)網(wǎng)絡(luò)模型以及改進(jìn)的模型modify_vgg 對獲取的數(shù)據(jù)集進(jìn)行訓(xùn)練并提取特征。

本文實(shí)驗(yàn)采用在ImageNet 數(shù)據(jù)集上預(yù)訓(xùn)練好的初始化模型參數(shù)，池化方法均選擇最大池化層，全連接層include_top 設(shè)為False，因?yàn)橹恍柽M(jìn)行圖像特征提取，無需通過全連接層對其進(jìn)行分類。

特征提?。禾卣飨蛄渴侵敢幌盗杏刑囟ㄒ饬x的數(shù)值，可以將圖像抽象為一個(gè)特征向量。圖像的相似程度就是特征向量之間的距離，距離越近相似度越高。特征提取完成后，為了方便后續(xù)實(shí)驗(yàn)，需要將提取到的feature 進(jìn)行歸一化處理，將數(shù)據(jù)歸一化到［0，1］范圍內(nèi)，并進(jìn)行存儲(chǔ)。

特征相似度度量：兩個(gè)特征向量之間的距離表示兩張圖片的相似度，該距離計(jì)算方式有多種，常見方法如表2所示。以兩個(gè)特征向量ki和kj為例，其中ki={ki1，ki2，ki3，...，kin}，kj={kj1，kj2，kj3，...，kjn}。

Table 2 Vector similarity measurement method表2 向量相似度度量方法

本文選擇余弦距離作為度量方式，計(jì)算兩個(gè)特征之間的相似性。

3.3 實(shí)驗(yàn)結(jié)果比較與分析

在自建的服裝圖像數(shù)據(jù)集上進(jìn)行測試，提取圖像特征，然后進(jìn)行特征匹配，比較VGG16、Inception_v3 以及modify_vgg 在模型參數(shù)量大小、檢索消耗時(shí)間、檢索相似度及檢索準(zhǔn)確率4個(gè)方面的性能。

模型的參數(shù)數(shù)量比較如表3 所示，可以清晰看出VGG16 模型參數(shù)量巨大，經(jīng)過改進(jìn)的網(wǎng)絡(luò)模型參數(shù)量明顯減少。參數(shù)數(shù)量與特征提取時(shí)間成正比，因此在特征提取過程中VGG16 消耗時(shí)間最長，Inception_v3 模型消耗時(shí)間最短。

Table 3 Comparison of model parameters表3 模型參數(shù)量比較

模型檢索時(shí)間比較如圖5 所示，其中Inception_v3 模型檢索時(shí)間隨檢索數(shù)量增多而呈指數(shù)增長，平均檢索時(shí)間最長，其次是VGG16，modify_vgg 模型平均檢索速率普遍高于其他網(wǎng)絡(luò)。

Fig.5 Comparison of different model retrieval time圖5 不同模型檢索時(shí)間比較

3 種模型檢索出來的圖片特征相似度如圖6 所示，平均相似度均隨著檢索數(shù)量增多而下降。綜合看來，改進(jìn)的modify_vgg 模型平均檢索出的相似度最高，其次是Inception_v3。

特征相似度僅僅表示兩個(gè)圖片特征向量之間的距離，檢索準(zhǔn)確度在于檢索出的圖像類別正確率，即模型檢索準(zhǔn)確率。

本文將新的改進(jìn)模型在測試集上進(jìn)行準(zhǔn)確率驗(yàn)證。其中，驗(yàn)證的圖片集包括有背景和無背景的，驗(yàn)證結(jié)果是計(jì)算所有測試集圖片的平均檢索準(zhǔn)確率，結(jié)果如表4所示。

實(shí)驗(yàn)結(jié)果表明，在本文使用的品牌服裝數(shù)據(jù)集上，改進(jìn)的modify_vgg 模型檢索效果總體表現(xiàn)更優(yōu)。因此，本文選用modify_vgg 作為最終圖像檢索模型進(jìn)行圖像檢索展示。對于無背景圖片的檢索結(jié)果如圖7 所示，有背景圖片的檢索結(jié)果如圖8所示。

Table 4 Comparison of model retrieval precision表4 模型檢索準(zhǔn)確率比較

Fig.6 Comparison of different model retrieval similarity圖6 不同模型檢索相似度比較

Fig.7 Retrieval results of image without background圖7 無背景圖像檢索結(jié)果

Fig.8 Retrieval results of image with background圖8 有背景圖像檢索結(jié)果

圖7、圖8 中框選出來的圖像是搜出來的同款，可以看出，無背景的圖像檢索出來的整體相似度比有背景圖像的相似度更高。圖8 中雖然檢索出來的都是裙子的款式，但受背景顏色影響，整體樣式相差較大，而圖7 中待檢索圖像背景較簡單，因此對檢索結(jié)果影響不大，整體樣式較為相似。

4 結(jié)語

深度學(xué)習(xí)的快速發(fā)展使得卷積神經(jīng)網(wǎng)絡(luò)提取圖像特征的能力顯著提升，本文在分析不同網(wǎng)絡(luò)模型結(jié)構(gòu)和特點(diǎn)基礎(chǔ)上，分別采用經(jīng)典的VGG16 和Inception_v3 模型，以及經(jīng)過改進(jìn)的modify_vgg 模型在品牌服裝圖像數(shù)據(jù)集上進(jìn)行圖像預(yù)處理后提取特征，將提取的特征保存為h5 文件，計(jì)算數(shù)據(jù)庫中的特征向量與待檢索圖像特征向量之間的余弦距離，得到圖像相似度，進(jìn)而利用可視化界面進(jìn)行展示。

從測試結(jié)果可以看出，由于模型參數(shù)量不同，占用內(nèi)存空間不同，加載模型的速度也不相同，因此他們對品牌服裝圖像的檢索效率及準(zhǔn)確率也各不相同。對于檢索的相似度，并不是層數(shù)越深相似度及準(zhǔn)確率就越高，如含有13 個(gè)卷積層 的VGG16 相比46 層的Inception_v3 模型的檢索準(zhǔn)確率更高。經(jīng)過實(shí)驗(yàn)驗(yàn)證，本文改進(jìn)的modify_vgg 在檢索準(zhǔn)確率及效率上都有優(yōu)勢。

目前，深度卷積神經(jīng)網(wǎng)絡(luò)仍處于發(fā)展階段，模型仍有許多不足，例如本文圖像檢索會(huì)受到水印、背景圖、模特動(dòng)作、拍攝角度等因素影響。因此，還需對圖像處理作更深入的研究，比如：如何將圖片中服裝的主體精準(zhǔn)定位進(jìn)行特征提?。灰部梢詫矸e層進(jìn)行研究，讓其提取特征更有效，大幅度提升檢索效率和準(zhǔn)確率。