基于卷積神經(jīng)網(wǎng)絡(luò)和遷移學習的服裝圖像分類

高櫻萍,宋 丹,陳玉婷

(湖南工程學院,湖南 湘潭 411100)

隨著服裝電子商務(wù)的發(fā)展,越來越多的人選擇網(wǎng)絡(luò)進行線上購物,人們對服裝圖像識別技術(shù)的準確率的要求也在不斷提高。如何更好地實現(xiàn)快速、準確的服裝圖像的分類成為當前服裝研究的一個熱點。傳統(tǒng)的服裝圖像分類方法主要依據(jù)文本描述進行分類,提取圖像的顏色、紋理、邊緣等低級特征,花費了大量的人力物力且分類精度較低。

近年來,深度學習的發(fā)展為圖像處理領(lǐng)域提供了一種新的思路,在機器學習中,圖像分類的實質(zhì)是對提取的圖像特征進行分析,并利用神經(jīng)網(wǎng)絡(luò)將其分類的過程。卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)是目前最流行的深度神經(jīng)網(wǎng)絡(luò)學習算法之一,經(jīng)過訓練的卷積神經(jīng)網(wǎng)絡(luò)能夠?qū)W習到圖像中的特征,并且完成對圖像特征的提取和分類。目前,使用卷積神經(jīng)網(wǎng)絡(luò)解決圖像分類中的問題逐漸成為主流。

白琮等[1]提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)Alex Net的二值化哈希圖像分類方法,主要對原有的Alex Net網(wǎng)絡(luò)模型進行了改進,在池化階段采用最大-均值池化,并在全連接層采用最大值激活輸出,使網(wǎng)絡(luò)表達更精確的圖像特征信息,同時在全連接層引入隱層來學習哈希編碼,提高分類效率,該文提出的優(yōu)化方法可以明顯地提升深度卷積網(wǎng)絡(luò)在大規(guī)模圖像分類任務(wù)上的性能。高妍等[2]針對圖像分類中網(wǎng)絡(luò)訓練時間長、形變服裝圖像識別率低的問題,提出了一種改進HSR-FCN 的服裝圖像識別分類算法,將R-FCN 中的區(qū)域建議網(wǎng)絡(luò)和Hyper Net網(wǎng)絡(luò)結(jié)合,使得HSRFCN 可以在更短的訓練時間內(nèi)達到更高的準確率。

Liu等[3]提出了一個數(shù)據(jù)量大且標注完整的服裝數(shù)據(jù)集Deep Fashion,并在此基礎(chǔ)上提出了一種新的模型即Fashion Net,該模型通過共同預測服裝屬性和標簽來學習服裝特征,通過大量的試驗證明了Fashion-Net的有效性和Deep Fashion的實用性。謝小紅等[4]為了提高服裝圖像的分類性能,提出了一種基于遷移學習的卷積神經(jīng)網(wǎng)絡(luò)服裝圖像分類方法,選取了VGG16、VGG19、Inception_v3等6種經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)在Deep Fashion數(shù)據(jù)集上進行試驗,結(jié)果表明,該方法能夠提高模型的分類精度和時效性。

為了提高服裝圖像分類的準確率,提出了一種基于VGG16和遷移學習的服裝圖像分類方法,使用在ImageNet數(shù)據(jù)集上進行預訓練的VGG16網(wǎng)絡(luò),然后采用遷移學習的方法,將模型遷移到對服裝圖像分類的問題中,并對網(wǎng)絡(luò)進行微調(diào),實現(xiàn)更高的準確率。

1 卷積神經(jīng)網(wǎng)絡(luò)VGG16

VGG16 是牛津大學在2014 年提出的一個模型[5],它是一個比Alex Net網(wǎng)絡(luò)更深層次的網(wǎng)絡(luò),在對圖像進行識別與分類的時候,可以更準確地表達數(shù)據(jù)集的特征。VGG16的基本結(jié)構(gòu)包括輸入層、卷積層、池化層、全連接層和輸出層,卷積層利用卷積核進行卷積操作,提取輸入圖像的特征;池化層進行特征降維,降低網(wǎng)絡(luò)復雜度,最后的全連接層和輸出層對結(jié)果進行分類,VGG16網(wǎng)絡(luò)架構(gòu)如圖1所示。

圖1 VGG16網(wǎng)絡(luò)結(jié)構(gòu)及參數(shù)

圖像經(jīng)過預處理后進入卷積層,卷積層輸入的圖像尺寸為224×224×3,在第一次卷積層時經(jīng)64個3×3的卷積核作兩次卷積后尺寸變?yōu)?24×224×64,池化層對輸入的圖片進行壓縮,池化后的尺寸為112×112×64,接著繼續(xù)作卷積以及池化操作,后面幾層卷積核的數(shù)量分別為128、256、512、512,最后得到7×7×512的特征圖輸入到全連接層。與Ale×Net網(wǎng)絡(luò)不同的是VGG16使用的是三個3×3的卷積層,一方面,用三個非線性單元代替前一個單元,使決策函數(shù)更具判別性;另一方面,這樣可以減少訓練參數(shù)。

2 基于VGG16和遷移學習的服裝圖像分類

2.1 數(shù)據(jù)增強

在神經(jīng)網(wǎng)絡(luò)中,訓練過程中分配的數(shù)據(jù)集是決定神經(jīng)網(wǎng)絡(luò)性能的因素之一,當分配的數(shù)據(jù)集數(shù)量較少時,此時神經(jīng)網(wǎng)絡(luò)的精度要低于使用大量數(shù)據(jù)集訓練的神經(jīng)網(wǎng)絡(luò)。因此需要對現(xiàn)有的數(shù)據(jù)集進行數(shù)據(jù)增強,以增加多樣性。數(shù)據(jù)增強是一種重要的圖像預處理技術(shù),主要用來產(chǎn)生更多的訓練數(shù)據(jù)以及減少模擬過擬合[6]。數(shù)據(jù)增強可以表示為:

其中X 為原始訓練集,Y 為X 的增廣集,通過數(shù)據(jù)增強后的訓練集可以表示為:

其中X'包含原始訓練集和經(jīng)過數(shù)據(jù)增強后得到的數(shù)據(jù)集。

數(shù)據(jù)增強的方式主要有翻轉(zhuǎn)、平移、旋轉(zhuǎn)、噪聲注入等,考慮到服裝圖像的特性,本文主要采用水平翻轉(zhuǎn)和注入高斯噪聲兩種數(shù)據(jù)增強方式。

2.1.1 翻轉(zhuǎn)

在對圖像的處理中,對圖像進行翻轉(zhuǎn)是最常用的方法之一,這種增強是最容易實現(xiàn)的,并且已經(jīng)證明在CIFAR-10和ImageNet等數(shù)據(jù)集上很有用。翻轉(zhuǎn)分為水平翻轉(zhuǎn)與垂直翻轉(zhuǎn),較為常用的是水平翻轉(zhuǎn),水平翻轉(zhuǎn)一般不會大幅度改變檢測目標的整體結(jié)構(gòu)。對圖像進行水平翻轉(zhuǎn)操作,效果圖如圖2所示。

圖2 水平翻轉(zhuǎn)

2.1.2 噪聲注入

訓練神經(jīng)網(wǎng)絡(luò)時,如果數(shù)據(jù)集比較少,往往會出現(xiàn)過擬合,因此可以通過在訓練期間添加噪聲提高模型的泛化能力和容錯率。噪聲注入就是在原圖中引入噪聲,生成新的圖片,Moreno-Barea等對UCI存儲庫[7]中的9個數(shù)據(jù)集注入噪聲進行測試,試驗結(jié)果證明向圖像中添加噪聲可以幫助神經(jīng)網(wǎng)絡(luò)學習更穩(wěn)健的特征。對圖像注入高斯噪聲,效果圖如圖3所示。

圖3 加入高斯噪聲

2.2 遷移學習

VGG16網(wǎng)絡(luò)在圖像分類中具有較好的分類能力,但在模型訓練過程中耗時較長,在小數(shù)據(jù)集中獲得的準確率不高,而遷移學習的應(yīng)用可以有效地解決這一問題。

遷移學習(Transfer Learning)是機器學習領(lǐng)域的一個重要分支,其工作原理是在ImageNet這樣的大數(shù)據(jù)集上訓練網(wǎng)絡(luò),然后在新的分類任務(wù)中使用這些權(quán)重作為初始權(quán)重,簡單來說就是把已訓練好的模型的參數(shù)遷移到新的模型上來幫助訓練新模型。采用遷移學習的方法可以減少對數(shù)據(jù)的依賴,提高模型的泛化能力。遷移學習的過程如圖4所示。

圖4 遷移學習過程

文中使用的遷移學習模型分為兩部分:預訓練網(wǎng)絡(luò)和遷移網(wǎng)絡(luò)。預訓練模型的參數(shù)從ImageNet數(shù)據(jù)集中獲取,然后遷移到服裝圖像分類任務(wù)中。預訓練模型的網(wǎng)絡(luò)層主要用于特征提取和數(shù)據(jù)獲取,幫助訓練收斂,減少訓練時間。

2.3 VGG16網(wǎng)絡(luò)優(yōu)化

雖然VGG16網(wǎng)絡(luò)模型具有識別準確的優(yōu)點,但隨著網(wǎng)絡(luò)結(jié)構(gòu)的加深,訓練過程中模型參數(shù)的數(shù)量和計算的復雜性也增加了,導致訓練時間長,訓練效率低。為了保持模型提取的主要特征,提高模型的訓練率,減少模型的訓練時間,主要采用以下方法對VGG16模型進行改進。

深層神經(jīng)網(wǎng)絡(luò)的訓練過程中,隨著前一層參數(shù)的變化,每一層輸入的分布也會發(fā)生變化,訓練速度會變慢,并使訓練帶有飽和非線性的模型變得非常困難,而在網(wǎng)絡(luò)中加入BN(Bath Normalization)層可以解決這個問題[9]。

BN 層是一種規(guī)范化神經(jīng)網(wǎng)絡(luò)的激活方法,該方法可以加快網(wǎng)絡(luò)的收斂速度,使網(wǎng)絡(luò)訓練變得容易。BN是對同一層的輸入信號進行歸一化,即對與每個神經(jīng)元做歸一化處理,公式如式(2)所示。

3 試驗和分析

3.1 數(shù)據(jù)集

本試驗中使用的服裝圖片均來自香港中文大學的Deep Fashion數(shù)據(jù)集,從中選取了640張包含8類服裝類型的服裝圖片制作自己的數(shù)據(jù)集,包含的服裝類型標簽為T 恤、連衣裙、毛衣、短裙、牛仔褲、西服外套、無袖連衣裙、無袖上衣,每類各80張。為了減少訓練階段圖像集的過擬合,采用水平翻轉(zhuǎn)以及添加高斯噪聲對原始圖像進行處理,使得最后每種類型的樣本集擴展到240張,總樣本集為2 560張,其中80%的數(shù)據(jù)集被劃分到訓練集,用于模型訓練和參數(shù)學習,20%作為驗證數(shù)據(jù)集,用于對模型進行優(yōu)化。隨機選取的部分數(shù)據(jù)集中的圖片如圖5所示。

圖5 試驗用到的數(shù)據(jù)集中的部分圖片

3.2 對比試驗結(jié)果

本次試驗主要是基于VGG16網(wǎng)絡(luò)模型,采用遷移學習的方法,利用在ImageNet上訓練完成的VGG16模型進行訓練。為了驗證提出的模型的有效性,對試驗中選取的VGG16網(wǎng)絡(luò)模型以及Alex Net模型進行對比,3個模型在文中的服裝圖像數(shù)據(jù)集中進行訓練,將訓練數(shù)據(jù)保存并繪制成如圖6所示的曲線。3個模型的平均精確度見表1。

表1 VGG16、VGG16_improve、Alex Net模型的平均精確度

圖6 VGG16、VGG16_improve、Alex Net模型精度比較

從圖6 中可以看出,Alex Net 模型與改進的VGG16模型初始精度較高,隨著訓練的開始,準確度開始呈現(xiàn)上升趨勢。進行遷移學習的VGG16_improve模型的準確率最高,其次是VGG16模型,Alex-Net模型的準確度最低。從表1 中可以看出,未進行遷移學習的模型在數(shù)據(jù)集上的準確率低于90%,而進行遷移學習的VGG16_improve模型的準確率達到了93.02%。

3.3 測試結(jié)果

為了進一步測試該模型的準確率,從Deep Fashion數(shù)據(jù)集中另外選取400張圖片組成測試集,每類圖片50張,將測試集分別用VGG16_improve、VGG16、Alex Net進行測試,測試結(jié)果見表2。從表中可以看出,VGG16_improve模型的泛化能力在3個模型中是最好的,平均準確率達到了92.25%。

表2 不同網(wǎng)絡(luò)模型對不同類別的分類的準確度

從表2 中我們可以看出,在8 類服裝圖像中,VGG16_improve均取得了最好的分類準確率,其中有7類服裝圖像的分類準確度都達到了90%以上。VGG16與Alex Net兩個模型中,分類效果較好的是VGG16模型,有四個類別的分類準確度都比Alex Net模型高,另外有三類服裝圖像的分類準確率表現(xiàn)相當。

4 結(jié)語

針對傳統(tǒng)服裝圖像分類方法效率低、準確度不高的問題,提出了一種基于VGG16和遷移學習的服裝圖像分類方法。用遷移學習的方法把在ImageNet數(shù)據(jù)集上訓練的VGG16網(wǎng)絡(luò)遷移到自己的數(shù)據(jù)集上進行微調(diào),并通過數(shù)據(jù)增強、在網(wǎng)絡(luò)中添加BN 層來防止模型過擬合,提高模型的泛化能力。通過對比試驗表明,文中提出的模型的平均準確率達到93.02%,能夠?qū)Ψb圖像進行有效分類。