基于輕量級神經(jīng)網(wǎng)絡的服裝圖像檢索

高繼強

（湖南工業(yè)大學，湖南 株洲412007）

圖像檢索指的是對目標圖像中的某一物體，從圖像庫中找出包含有該物體的圖像，并且返回所有與之相似的圖像。將輕量級神經(jīng)網(wǎng)絡應用于服裝圖形檢索，屬于深度學習在時尚領域內(nèi)的實際應用，因為深度學習作為機器學習領域內(nèi)的一個重要分支，其算法具有強大的自動特征提取能力及高效的特征表達能力。

在計算機視覺領域內(nèi)，深度學習算法可以實現(xiàn)從低層到高層漸進的特征提取，最終獲得較理想的特征表達，因此深度學習具有廣闊的應用前景。神經(jīng)網(wǎng)絡作為深度學習領域內(nèi)的高效算法，近年來隨著深度學習的火熱也獲得了大規(guī)模應用。自2012 年AlexNet以來，各種神經(jīng)網(wǎng)絡模型層出不窮，如GoogLeNet、ResNet 等。這些神經(jīng)網(wǎng)絡為了獲得更好的性能，網(wǎng)絡層數(shù)不斷增加，對于硬件資源的消耗越來越大，對于計算能力的需求也越來越高。雖然網(wǎng)絡性能得到了提高，但隨之而來的就是效率問題。為了使神經(jīng)網(wǎng)絡獲得更加廣泛的應用，需要設計出更高效的網(wǎng)絡模型。

輕量級神經(jīng)網(wǎng)絡的核心思想并不是傳統(tǒng)的模型壓縮，即在已經(jīng)訓練好的模型上進行壓縮，而是設計出更高效的卷積方式，從而使網(wǎng)絡攜帶更少的網(wǎng)絡參數(shù)，減少內(nèi)存的消耗，進而可以減少網(wǎng)絡的計算量，對于計算能力也沒有過高的要求，尤其適合于移動端，嵌入式設備，配置較低的電腦等場景，這為神經(jīng)網(wǎng)絡走出學術界，邁向工業(yè)界打下了堅實的基礎，具有很高的實際意義。

MobileNet 系列網(wǎng)絡作為典型的輕量級神經(jīng)網(wǎng)絡，以此為基礎搭建神經(jīng)網(wǎng)絡模型更加便捷與高效。Deep Fashion 服裝圖像數(shù)據(jù)集共50 種類別，約為28 萬張圖片，可以保證神經(jīng)網(wǎng)絡得到充分的訓練，對其進行數(shù)據(jù)增強之后，可以盡量減少欠擬合現(xiàn)象的出現(xiàn)。

1 算法流程

基于輕量級神經(jīng)網(wǎng)絡的服裝圖像檢索的算法流程主要分為三個步驟：

1.1 對Deep Fashion 數(shù)據(jù)集中的圖像進行預處理。Deep Fashion 數(shù)據(jù)集是香港中文大學多媒體實驗室發(fā)布的數(shù)據(jù)集，主要圖片來源為網(wǎng)絡電商購物平臺中的服裝圖片。其中類別預測中包含28 萬張圖片，分為50 類衣物，每種衣服有不同姿勢的若干張圖片。預處理中包括數(shù)據(jù)集的劃分，數(shù)據(jù)增強，數(shù)據(jù)歸一化處理，數(shù)據(jù)類型的轉化等操作。

1.2 以MobileNet 神經(jīng)網(wǎng)絡的v2 版本作為基礎來進行模型搭建。模型搭建完畢之后，將步驟一中經(jīng)過預處理之后的圖片送入神經(jīng)網(wǎng)絡模型中進行訓練，保證網(wǎng)絡模型得到充分的訓練。

1.3 利用劃分出的驗證集進行網(wǎng)絡功能的測試，得到輸出的結果。

2 圖像預處理

首先是對數(shù)據(jù)集的劃分，按照8:1:1 的比例劃分成訓練集，驗證集和測試集。訓練集主要通過學習樣本數(shù)據(jù)集，進而匹配一些參數(shù)來建立一個分類器。驗證集主要針對學習出來的模型，調(diào)整分類器的參數(shù)，驗證集還用來確定網(wǎng)絡結構或者控制模型復雜程度的參數(shù)。測試集的作用主要就是測試訓練好的模型的分辨能力、泛化能力等。

將數(shù)據(jù)集中的圖片劃分為訓練集、驗證集和測試集之后，下一步是制作存放有圖片路徑及其標簽的文本文件，PyTorch 依據(jù)該文本文件上的信息尋找圖片，并讀取圖片數(shù)據(jù)和標簽數(shù)據(jù)，再通過Dataset 類讀取數(shù)據(jù)集中的圖片。

在預處理過程中還需要對圖像進行數(shù)據(jù)增強，主要通過：

transforms.CenterCrop 實 現(xiàn) 中 心 裁 剪； 通 過 transforms.RandomRotation 實現(xiàn)隨機旋轉；通過transforms.ToTensor 實現(xiàn)數(shù)據(jù)類型的轉換；通過transforms.RandomChoice(transforms)，從給定的一系列transforms 中選一個進行操作；通過自定義函數(shù)計算出數(shù)據(jù)集的均值和方差，并通過transforms.Normalize()函數(shù)進行數(shù)據(jù)的歸一化。其中進行數(shù)據(jù)歸一化是因為歸一化后會加快梯度下降求最優(yōu)解的速度，還可以提高精度。

3 構建輕量級神經(jīng)網(wǎng)絡

本文以MobileNet 神經(jīng)網(wǎng)絡的v2 版本作為基礎來進行模型搭建。MobileNet 由谷歌團隊提出，v1 版本論文發(fā)表于2017 年的國際計算機視覺與模式識別會議。V2 版本在v1 的基礎上進行了改進，在采用深度可分離卷積的基礎上引入了線性瓶頸結構和反向殘差結構。這使得該網(wǎng)絡擁有更小的體積，更少的計算量，更高的精度，在輕量級神經(jīng)網(wǎng)絡中擁有極大的優(yōu)勢。

表1 MobileNet v2 網(wǎng)絡結構特點

圖1 實驗結果

線性瓶頸結構是網(wǎng)絡結構的重要創(chuàng)新點，從Bottleneck 結構演變而來的。Bottleneck 結構首次被提出是在ResNet 網(wǎng)絡中。該網(wǎng)絡結構的第一層使用逐點卷積，第二層采用3×3 大小的卷積，使用深度可分離卷積，第三層使用逐點卷積。線性瓶頸結構相對普通的卷積能夠減少參數(shù)數(shù)量，減少卷積計算量，能夠從空間和時間上進行網(wǎng)絡的優(yōu)化。

MobileNetV2 版本中的殘差結構使用第一層逐點卷積升維并使用Relu6 激活函數(shù)，普通的Relu 激活函數(shù)對于大于0 的值不進行處理，但是對于Relu6 而言，當輸入的值大于6 的時候，返回6，它作為非線性激活函數(shù)，在低精度計算下具有更強的魯棒性。之后使用深度可分離卷積，同樣使用Relu6 激活函數(shù)，再使用逐點卷積降維，降維后使用線性激活函數(shù)。這樣的卷積操作方式更有利于降低計算量。

該網(wǎng)絡模型中共有17 個Bottleneck 層，每個Bottleneck 包含兩個逐點卷積層和一個深度卷積層，一個標準卷積層，兩個逐點卷積層，整個網(wǎng)絡模型中一共有54 層可訓練參數(shù)層。MobileNetV2 中使用線性瓶頸和反向殘差結構優(yōu)化了網(wǎng)絡，加深了網(wǎng)絡層次的同時，壓縮了模型的體積，使模型的運算速度更快。

4 結果與分析

本實驗所用主要硬件參數(shù)為：英偉達rtx2080ti-11G GPU 一塊，英特爾i9-9900k CPU 一顆，DDR4 2400MHz 16G 內(nèi)存兩條。深度學習框架采用pytorch，Python 版本為3.7.2。實驗過程中，訓練集數(shù)據(jù)量為圖像數(shù)據(jù)集的80%，測試集數(shù)據(jù)量為圖像數(shù)據(jù)集的10%，驗證集數(shù)據(jù)量為圖像數(shù)據(jù)集的10%，選取圖像的方式為隨機抽取，實驗訓練次數(shù)為60 次(圖1，表3)。

表3 測試集結果

本文將輕量級神經(jīng)網(wǎng)絡應用于服裝圖像檢索中，具有一定的實用性。從實驗結果來看，輕量級神經(jīng)網(wǎng)絡基本完成了服裝的圖像檢索任務，準確率和召回率都較高。本文使用的神經(jīng)網(wǎng)絡以盡可能小的網(wǎng)絡結構更高效地完成了服裝檢索工作，與其他大型的網(wǎng)絡模型相比，在未降低準確率的前提下完成了檢索工作。在之后的改進中，將著眼于模型的實際應用，將其應用于移動客戶端等。