基于輕量化卷積神經(jīng)網(wǎng)絡(luò)的服裝分類(lèi)方法①

羅夢(mèng)研,劉雁飛

(浙江理工大學(xué) 信息學(xué)院,杭州 310018)

根據(jù)央視財(cái)經(jīng)頻道聯(lián)合中國(guó)社科院財(cái)經(jīng)戰(zhàn)略研究院發(fā)布的《2017中國(guó)電商年度發(fā)展報(bào)告》中國(guó)的相關(guān)數(shù)據(jù)顯示,在我國(guó),電商產(chǎn)業(yè)發(fā)展迅猛,體量也日益龐大.就目前而言,電商交易額達(dá)到了全世界電商總交易額的40%以上.一直以來(lái)我國(guó)網(wǎng)絡(luò)購(gòu)物市場(chǎng)銷(xiāo)售占比最高的品類(lèi)是服裝鞋帽類(lèi),2017年服裝鞋帽類(lèi)網(wǎng)購(gòu)率比例已達(dá)8成.

伴隨著市場(chǎng)需求的增大,一個(gè)待需解決的問(wèn)題逐漸凸顯出來(lái):電商平臺(tái)對(duì)于商品往往需要對(duì)平臺(tái)內(nèi)的商品進(jìn)行分類(lèi),貼上合適的標(biāo)簽,以便于用戶(hù)通過(guò)類(lèi)別進(jìn)行挑選或者搜索.但是采用人工進(jìn)行分類(lèi)和標(biāo)注的方式往往會(huì)難以避免諸如時(shí)間和人力成本,標(biāo)注結(jié)果容易受到個(gè)體差異的影響等問(wèn)題.

傳統(tǒng)的圖像分類(lèi)算法主要是集中在對(duì)圖像的全局特征和局部特征進(jìn)行提取上,其中全局特征又包括顏、形狀、紋理等.對(duì)于形狀特征,使用鏈碼直方圖[1]、P階矩陣[2].以及使用了幾何不變矩[3]等方式.除此之外,有基于結(jié)構(gòu)的LBP描述子[4]、基于頻譜的Gabor[5]描述子等對(duì)紋理特征進(jìn)行提取的方法.對(duì)于局部特征而言,可以利用 Harris[6]角點(diǎn)、SIFT[7]特征、HOG[8]特征進(jìn)行分類(lèi).Bossard[9]利用了HOG和LBP等局部特征,結(jié)合機(jī)器學(xué)習(xí)當(dāng)中的SVM和隨機(jī)森林等方式來(lái)進(jìn)行分類(lèi).

以上這些傳統(tǒng)圖像分類(lèi)算法,在具有較高質(zhì)量、沒(méi)有復(fù)雜背景的服裝圖像中可以得到較好的效果.但是在實(shí)際的使用場(chǎng)景中,會(huì)因?yàn)楸尘靶畔⒌母蓴_,圖像采集過(guò)程不夠規(guī)范,圖像質(zhì)量不高等因素導(dǎo)致模型準(zhǔn)確率下降,不能很好地應(yīng)用到實(shí)際的使用場(chǎng)景中來(lái).

本文設(shè)計(jì)了一套基于輕量化卷積神經(jīng)網(wǎng)絡(luò)的服裝分類(lèi)方法.著重針對(duì)于傳統(tǒng)圖像分類(lèi)中易受背景干擾,魯棒性較差等缺點(diǎn)進(jìn)行改進(jìn).利用物體檢測(cè)算法對(duì)圖像中的行人進(jìn)行檢測(cè),來(lái)對(duì)輸入圖片進(jìn)行初步的預(yù)處理,從而將其與背景相分離,減少無(wú)關(guān)的背景信息對(duì)分類(lèi)結(jié)果產(chǎn)生的干擾;為了提升模型的分類(lèi)效果,增強(qiáng)魯棒性,使用局部信息輔助進(jìn)行分類(lèi).通過(guò)對(duì)服裝圖片中的關(guān)鍵點(diǎn)進(jìn)行定位,從而將局部特征和全局特征進(jìn)行融合,輔助提高模型的分類(lèi)效果.考慮到卷積神經(jīng)網(wǎng)絡(luò)的運(yùn)行需要較高的硬件支持,為了拓寬模型的應(yīng)用范圍,在保證模型一定的分類(lèi)效果的前提下,對(duì)模型進(jìn)行了壓縮處理,極大的減少了計(jì)算量,使得在算法模型在低配置硬件或者移動(dòng)設(shè)備也可以運(yùn)行.

1 模型的設(shè)計(jì)方案

本論文從實(shí)際應(yīng)用場(chǎng)景出發(fā),結(jié)合當(dāng)下在圖像分類(lèi)領(lǐng)域取得巨大突破的卷積神經(jīng)網(wǎng)絡(luò)算法,設(shè)計(jì)基于卷積神經(jīng)網(wǎng)絡(luò)的服裝分類(lèi)算法模型.雖然基于卷積神經(jīng)網(wǎng)絡(luò)的圖像分類(lèi)算法在各大數(shù)據(jù)集競(jìng)賽(ImageNet、Kaggle等)都取得了不俗的成績(jī)[10,11],但是針對(duì)于本文所涉及的實(shí)際應(yīng)用場(chǎng)景,還是存在一些難題需要進(jìn)行解決.于是本論文針對(duì)一些問(wèn)題進(jìn)行了改進(jìn)和優(yōu)化,設(shè)計(jì)了應(yīng)用場(chǎng)景更廣,模型的魯棒性更強(qiáng)的算法模型.

1.1 剔除背景信息的干擾

在分類(lèi)模型實(shí)際進(jìn)行使用過(guò)程中,進(jìn)行分類(lèi)的圖片除了包含服裝信息之外,不可避免的會(huì)包含部分背景信息,對(duì)最終的分類(lèi)結(jié)果產(chǎn)生極大的干擾.為了提升模型的分類(lèi)效果以及魯棒性,背景信息的剔除就顯得尤為重要了.本文巧妙的利用了卷積神經(jīng)網(wǎng)絡(luò)在物體檢測(cè)領(lǐng)域的優(yōu)勢(shì),使用物體檢測(cè)算法進(jìn)行行人檢測(cè),從而將圖片中的行人和背景相分離.利用物體檢測(cè)比賽MPII中的數(shù)據(jù)集(包括行人在內(nèi)的20種物體的標(biāo)注數(shù)據(jù)),將其中包含行人的圖片提取出來(lái),得到了5717張標(biāo)注了圖片中行人位置的訓(xùn)練數(shù)據(jù),用來(lái)進(jìn)行行人檢測(cè)算法的訓(xùn)練.這里我們分析對(duì)比了主流的物體檢測(cè)算法模型的實(shí)現(xiàn)方案,從檢測(cè)效果mAP和處理速度FPS上進(jìn)行考量.采用了Faster-RCNN和YOLO3進(jìn)行測(cè)試對(duì)比,對(duì)比結(jié)果如表1所示.

表1 運(yùn)行時(shí)間和 IOU 對(duì)比

雖然Faster-RCNN預(yù)測(cè)的準(zhǔn)確率較YOLOv3有較大優(yōu)勢(shì),但是作為模型的預(yù)處理階段,不宜耗費(fèi)太高的計(jì)算成本和時(shí)間成本,于是本論文選擇基于YOLOv3算法訓(xùn)練出的行人檢測(cè)模型來(lái)進(jìn)行背景信息的移除,減少干擾.

1.2 局部特征的提取

針對(duì)于服裝圖像的分類(lèi)問(wèn)題,往往可以對(duì)局部信息比如Harris[6]角點(diǎn)、SIFT[7]特征、HOG[8]特征進(jìn)行分類(lèi).一般而言,對(duì)于服裝圖片,其袖口、衣領(lǐng)、雙肩等位置的特征往往包含了更多的關(guān)于服裝種類(lèi)的信息.傳統(tǒng)的基于卷積神經(jīng)網(wǎng)絡(luò)的分類(lèi)算法使用整張圖片作為輸入,利用若干層層卷積層的疊加進(jìn)行全局特征的提取,然后再利用分類(lèi)器進(jìn)行分類(lèi)操作.為了對(duì)服裝圖片當(dāng)中的局部信息加以利用,論文考慮設(shè)計(jì)服裝圖片的關(guān)鍵點(diǎn)定位算法,用來(lái)定位到服裝圖片當(dāng)中的衣領(lǐng)、袖口等部位,幫助進(jìn)行局部特征的提取操作.

對(duì)于關(guān)鍵點(diǎn)定位問(wèn)題,本文對(duì)傳統(tǒng)的卷機(jī)神經(jīng)網(wǎng)絡(luò)進(jìn)行改進(jìn),一方面借鑒了 Residual Learning 中的“跳層連接”,對(duì)模型結(jié)構(gòu)進(jìn)行改進(jìn).

如圖1所示,首先通過(guò)卷積核大小為1×1 的卷積操作調(diào)整 Feature map 的通道數(shù)量,減少計(jì)算量.然后再經(jīng)過(guò)卷積核大小為3×3的卷積操作,最終輸出的Feature map的同道數(shù)量再經(jīng)過(guò)1×1大小的卷積核進(jìn)行調(diào)整.

圖1 “跳層連接”結(jié)構(gòu)示意

除此之外,增加了一條由1×1的卷積核構(gòu)成的卷積層作為旁路,將輸入該卷積模塊的Feature map分別通過(guò)兩條同道進(jìn)行計(jì)算,最終的結(jié)果進(jìn)行通道上的疊加.一方面可以保存原Feature map在更多尺度下的特征信息,另一方面增加了旁路連接可以更好的幫助梯度進(jìn)行傳遞,幫助模型進(jìn)行訓(xùn)練.

為了更好的處理不同尺度的特征向量,一些常見(jiàn)的做法是針對(duì)不同尺度的特征分別進(jìn)行處理,然后再將處理的結(jié)果進(jìn)行融合和疊加[12,13].本文則是采用了通過(guò)多次使用短連接的方式不斷的將不同尺度的信息進(jìn)行融合.

在通過(guò)堆疊的卷積模塊進(jìn)行特征提取的同時(shí),為了提升對(duì)多尺度信息的處理能力,增加了若干層旁路連接,多次將不同尺度的特征信息進(jìn)行融合,圖中的橘黃色向下箭頭表示使用Max-Pooling進(jìn)行下采樣操作,橘黃色向上的箭頭表示通過(guò)使用雙線(xiàn)性插值的方式進(jìn)行上采樣.從而產(chǎn)生了不同尺度下的特征信息,很好的兼顧到了由于圖片中衣服大小不一而導(dǎo)致的信息提取困難的問(wèn)題.

考慮到對(duì)于不同種類(lèi)的服裝圖像,其圖片中所含的關(guān)鍵點(diǎn)數(shù)量也不一致.而 Convolutional Pose Machine和Hourglass只能對(duì)圖片中固定數(shù)量的關(guān)鍵點(diǎn)進(jìn)行定位.于是對(duì)上述兩種算法的Loss進(jìn)行改進(jìn),綜合考慮到各種不同服裝圖像中關(guān)鍵點(diǎn)數(shù)量,每張圖片中輸出20個(gè)關(guān)鍵點(diǎn)位置進(jìn)行損失函數(shù)的計(jì)算,不存在的關(guān)鍵點(diǎn)的Loss值設(shè)置為 0.采用了 Online Hard Keypoints Mining (CPN),僅保留損失值較大的關(guān)鍵點(diǎn)進(jìn)行回傳,閾值設(shè)置總關(guān)鍵點(diǎn)數(shù)量的一半.

1.3 卷積神經(jīng)網(wǎng)絡(luò)的輕量化處理

基于卷積神經(jīng)網(wǎng)絡(luò)的算法模型,由于堆疊了大量的卷積運(yùn)算,模型的訓(xùn)練和使用階段都需要較高硬件環(huán)境的支持,由此而導(dǎo)致了時(shí)間成本和硬件成本的提升.目前深度學(xué)習(xí)模型的研究主要也是集中在了提升模型的效果和減少參數(shù)和計(jì)算量這兩個(gè)方面.考慮到為了節(jié)省運(yùn)行本設(shè)計(jì)所需要花費(fèi)的硬件成本(如果需要花費(fèi)較高價(jià)格購(gòu)買(mǎi)高配置的設(shè)備,則與本設(shè)計(jì)節(jié)省成本的初衷相違背).為了使得所設(shè)計(jì)的算法模型有更多的應(yīng)用場(chǎng)景,勢(shì)必需要對(duì)本設(shè)計(jì)的模型采用輕量化的模型結(jié)構(gòu),對(duì)計(jì)算量進(jìn)行壓縮.以便于在保證一定準(zhǔn)確度的前提下盡量減少運(yùn)算開(kāi)銷(xiāo)和時(shí)間成本.

當(dāng)使用1×1的卷積核進(jìn)行卷操作時(shí),會(huì)使得輸出的Feature map的尺寸不發(fā)生變化,而只會(huì)改變Feature map的通道數(shù).所以卷積核大小為1×1的卷及操作往往被用來(lái)對(duì)Feature map的大小進(jìn)行調(diào)節(jié).在進(jìn)行卷積操作之前先對(duì)Feature map的通道數(shù)量進(jìn)行壓縮,從而可以一定程度上減少計(jì)算量和參數(shù)量.GoogleNet和ResNet均采用這種方式對(duì)模型的計(jì)算量進(jìn)行一定程度的削減.輕量化模型結(jié)構(gòu)SqueezeNet中的Fire modul模塊通過(guò)這種方式達(dá)到了輕量化模型的設(shè)計(jì).

壓縮Feature map通道的方式雖然可以大幅減少模型的計(jì)算量,但是由于在壓縮過(guò)程中往往會(huì)丟失部分?jǐn)?shù)據(jù)信息,對(duì)最終的模型結(jié)果產(chǎn)生一定的影響.于是考慮從卷積操作的方式上進(jìn)行改進(jìn).將尺度為Dk×Dk×M的 (Dk為 size.M為通道數(shù)量)Feature map 切分成M/2 個(gè)獨(dú)立的 Feature map,每個(gè) Feature map 的通道數(shù)均為2.然后分別進(jìn)行卷積核大小為3×3,輸出通道數(shù)為2,Padding為1的卷積操作,得到的結(jié)果按順序進(jìn)行通道上的疊加.得到尺度為Dk×Dk×M的Feature map.這種卷積方式稱(chēng)之為“分塊卷積”具體操作如圖2所示.

圖2 分塊卷積操作示意

使用傳統(tǒng)的卷積方式,一次卷積操作的計(jì)算量為(卷積核大小為Df):

由于分塊卷積是將Feature map分離開(kāi)來(lái)進(jìn)行操作,會(huì)在一定程度上減少Feature map不同通道的信息之間的相互關(guān)聯(lián)性.于是在進(jìn)行卷積操作之后通過(guò)1×1 大小的卷積核進(jìn)行卷積操作.有三點(diǎn)作用:1)幫助不同通道之間的信息進(jìn)行融合.2)可以對(duì)通道數(shù)量進(jìn)行融合.3)可以對(duì)通道數(shù)量進(jìn)行調(diào)節(jié)(輸出的同道數(shù)量設(shè)置為N).于是完整的一次分塊卷積操作所需要的計(jì)算量大小為:

現(xiàn)在最常用的卷積核大小為3×3,即則計(jì)算量減少的到原來(lái)的1/4以?xún)?nèi)(N一般遠(yuǎn)大于9,可忽略不計(jì)).

2 算法實(shí)現(xiàn)及結(jié)果對(duì)比

2.1 訓(xùn)練與測(cè)試數(shù)據(jù)

訓(xùn)練數(shù)據(jù)采取的是 Large-scale Fashion (Deep Fashion)Database 數(shù)據(jù)集,其中針對(duì)于服裝的種類(lèi),材質(zhì),風(fēng)格等方面進(jìn)行的劃分.關(guān)于服裝種類(lèi)的標(biāo)注數(shù)據(jù)有20萬(wàn)張.足以滿(mǎn)足本算法的需求.

2.2 不同結(jié)構(gòu)模型效果對(duì)比

在Ubuntu16.04、CUDA9.0環(huán)境下,采用Pytorch框架進(jìn)行模型結(jié)構(gòu)的搭建.首先采用了DenseNet-121、DenseNet-169、DenseNet-201、DenseNet-264模型進(jìn)行測(cè)試.為了使得輸出尺寸大小不收限制,將最終的輸出層采用 Global Average Pool+1×1 的卷積層 (卷積層輸出通道數(shù)為分類(lèi)數(shù)量)進(jìn)行替換.模型結(jié)構(gòu)如圖3所示.

圖3 模型結(jié)構(gòu)

訓(xùn)練過(guò)程中,使用了 Color Jittering,Random Crop Resize,Rotate等數(shù)據(jù)增強(qiáng)方法,對(duì)比了使用行人檢測(cè)消除背景前后的分類(lèi)結(jié)果差異.

使用以上幾種模型結(jié)構(gòu)進(jìn)行訓(xùn)練并且測(cè)試,測(cè)試結(jié)果如圖4所示.

2.3 關(guān)鍵點(diǎn)定位效果對(duì)比

針對(duì)關(guān)鍵點(diǎn)定位問(wèn)題,采用這里采用的是阿里天池大賽中服裝標(biāo)注點(diǎn)定位比賽里所采用的衡量標(biāo)準(zhǔn)NE值來(lái)對(duì)模型的定位效果進(jìn)行衡量和比較,數(shù)值越大則代表定位效果越好.

其中,k為關(guān)鍵點(diǎn)編號(hào),dk表示預(yù)測(cè)關(guān)鍵點(diǎn)和標(biāo)注關(guān)鍵點(diǎn)的距離,sk為距離的歸一化參數(shù)(上衣、外套、連衣裙為兩個(gè)腋窩點(diǎn)歐式距離,褲子和半身裙為兩個(gè)褲頭點(diǎn)的歐式距離),vk表示關(guān)鍵點(diǎn)是否可見(jiàn).

1)Convolutional Pose Machine 進(jìn)行關(guān)鍵點(diǎn)定位,使用了6個(gè)stage的CPM訓(xùn)練之后NE為13.37%.

2)嘗試使用Hourglass進(jìn)行定位,僅使用了翻轉(zhuǎn)進(jìn)行了數(shù)據(jù)增強(qiáng),NE值為10.78%.

3)增加了 Color Jittering,Random Crop Resize,Rotate等數(shù)據(jù)增強(qiáng)方法,降低到8.8.

4)使用Hourglass在MPII比賽上的模型參數(shù)進(jìn)行參數(shù)初始化,降低到7.86%.

5)僅訓(xùn)練單個(gè)模型進(jìn)行預(yù)測(cè),對(duì)Loss進(jìn)行修改,不存在的關(guān)鍵點(diǎn)Loss為0,采用了CPN中提出的Online Hard Keypoints Mining (OHKM),僅保留損失較大的關(guān)鍵點(diǎn)進(jìn)行回傳.之前訓(xùn)練過(guò)的模型進(jìn)行權(quán)重的初始化,預(yù)測(cè)時(shí)通過(guò)Yolo進(jìn)行裁剪,NE降低到6.76%.

圖4 不同模型結(jié)構(gòu)測(cè)試準(zhǔn)確率對(duì)比

使用以上5種方式進(jìn)行關(guān)鍵點(diǎn)定位,測(cè)試得到的NE值對(duì)比,如圖5所示.

圖5 5種不同關(guān)鍵點(diǎn)定位的NE值對(duì)比

使用關(guān)鍵點(diǎn)定位算法來(lái)進(jìn)行局部特征提取,對(duì)原模型的提升效果如圖6所示.

圖6 關(guān)鍵點(diǎn)定位對(duì)模型準(zhǔn)確率效果提升對(duì)比

2.4 模型輕量化的實(shí)現(xiàn)及效果對(duì)比

考慮到大多數(shù)應(yīng)用場(chǎng)景下無(wú)法提供較高的硬件設(shè)備支持,故使用入門(mén)級(jí)的硬件設(shè)備進(jìn)行測(cè)試對(duì)比.本文采用的是 Inter Core i5 7300H CPU 搭配 NVIDIA 940mx低端入門(mén)級(jí)顯卡進(jìn)行測(cè)試.使用CUDA9.0搭配Pytorch框架進(jìn)行模型結(jié)構(gòu)的搭建.對(duì)上述采用的模型進(jìn)行測(cè)試,得到不同模型結(jié)構(gòu)進(jìn)行預(yù)測(cè)時(shí)所花費(fèi)的時(shí)間對(duì)比.如圖7所示.

圖7 分塊卷積方式和傳統(tǒng)卷積方式在不同的網(wǎng)絡(luò)結(jié)構(gòu)下的運(yùn)行時(shí)間以及準(zhǔn)確率(均未使用數(shù)據(jù)增強(qiáng)操作和背景信息的剔除操作)

從圖中的實(shí)驗(yàn)數(shù)據(jù)我們可以看到,使用分塊卷積來(lái)替代傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)中的卷積方式,可以大幅度減少進(jìn)行計(jì)算時(shí)間,加快模型的訓(xùn)練以及預(yù)測(cè)階段的速度.降低了對(duì)硬件設(shè)備的要求,從而可以節(jié)約成本,以便于拓寬應(yīng)用場(chǎng)景.除此之外,使用分塊卷積的方式也減少了部分權(quán)重參數(shù),節(jié)約了存儲(chǔ)開(kāi)銷(xiāo).當(dāng)然,不可避免的是,隨著模型參數(shù)的減少,模型的擬合能力也隨之下降,準(zhǔn)確率也有了一定的損失.但是減少模型的參數(shù)量,在一定程度上降低了模型的復(fù)雜程度,從而起到減少過(guò)擬合的作用,使得模型的可遷移性更強(qiáng),適用于更多場(chǎng)景下采集的服裝圖像.

3 總結(jié)

通過(guò)以上的理論論述和實(shí)驗(yàn)部分的結(jié)果,得到了我們最終的模型設(shè)計(jì)方案.首先使用基于YOLOV3算法訓(xùn)練出的行人檢測(cè)模型來(lái)對(duì)輸入數(shù)據(jù)進(jìn)行預(yù)處理操作,減少背景信息對(duì)最終結(jié)果造成的干擾.將進(jìn)行裁剪后的圖像輸入關(guān)鍵點(diǎn)定位模型中,得到關(guān)鍵點(diǎn)的位置信息,與全局信息一同傳入卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行特征提取,輔助提高模型的預(yù)測(cè)效果以及算法模型的魯棒性.除此之外,使用分塊卷積對(duì)模型進(jìn)行輕量化的處理,可以幫助在較差的硬件環(huán)境下進(jìn)行使用,提高算法模型的運(yùn)行效率.

本文從實(shí)際的應(yīng)用需求出發(fā),分析了使用計(jì)算機(jī)輔助進(jìn)行服裝類(lèi)別的分類(lèi)的意義以及可行性.利用當(dāng)下在圖像分類(lèi)領(lǐng)域取得極好效果的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行嘗試和研究.同時(shí)結(jié)合了實(shí)際的應(yīng)用場(chǎng)景,從背景信息干擾,對(duì)關(guān)鍵部位信息的利用以及考慮到硬件條件限制這三個(gè)角度,設(shè)計(jì)了三種輔助操作,幫助提升基礎(chǔ)分類(lèi)模型DenseNet在服裝類(lèi)別分類(lèi)這一應(yīng)用場(chǎng)景下的效果進(jìn)行提升.

最終得到的實(shí)驗(yàn)結(jié)果可以基本滿(mǎn)足日常的使用需求.通過(guò)一系列的改進(jìn)和優(yōu)化,極大程度的減少了拍攝場(chǎng)景對(duì)最終的分類(lèi)效果的不良影響.很好的拓寬了模算法模型的應(yīng)用場(chǎng)景,很多在非幕布場(chǎng)景下拍攝的圖片也可以取得很好的分類(lèi)效果.除此之外,在普通的PC設(shè)備上運(yùn)行基本可以達(dá)到每張1～2 s.在訓(xùn)練所使用的1080Ti顯卡上進(jìn)行計(jì)算可以達(dá)到4FPS的速度,相對(duì)于使用人工進(jìn)行分類(lèi)的方式更加的高效快捷.可以很好替代人工分類(lèi),或者提供輔助.