基于遷移學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)圖像識(shí)別方法研究

張文韜 張婷

摘 ?要：卷積神經(jīng)網(wǎng)絡(luò)是圖像分類(lèi)領(lǐng)域效果卓越的深度學(xué)習(xí)算法，然而訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)是一項(xiàng)繁瑣且復(fù)雜的工作，不僅在結(jié)構(gòu)設(shè)計(jì)上依賴(lài)開(kāi)發(fā)人員豐富的經(jīng)驗(yàn)，還容易產(chǎn)生過(guò)擬合現(xiàn)象。因此，該文提出一種基于模型遷移的圖像識(shí)別方法，該方法能夠在簡(jiǎn)化設(shè)計(jì)思路的同時(shí)極大地提升卷積神經(jīng)網(wǎng)絡(luò)的性能。此外還在三個(gè)小型圖片集上進(jìn)行了多次模型訓(xùn)練和對(duì)比分析。研究結(jié)果表明，經(jīng)過(guò)遷移學(xué)習(xí)優(yōu)化的卷積神經(jīng)網(wǎng)絡(luò)的測(cè)試集準(zhǔn)確率均得到顯著提升。

關(guān)鍵詞：圖像識(shí)別；深度學(xué)習(xí)；卷積神經(jīng)網(wǎng)絡(luò)；遷移學(xué)習(xí)；預(yù)訓(xùn)練模型

中圖分類(lèi)號(hào)：TP391.4 ? ? 文獻(xiàn)標(biāo)識(shí)碼：A ? 文章編號(hào)：2096-4706（2023）14-0057-04

Research on Convolutional Neural Network Image Recognition Method

Based on Transfer Learning

ZHANG Wentao， ZHANG Ting

（School of Mechanical and Automotive Engineering， Shanghai University of Engineering Science， Shanghai ?201620， China）

Abstract： Convolutional neural network is an effective deep learning algorithm in the field of image classification. However， training the deep neural network is a tedious and complex work， not only relying on the rich experience of developers in structural design， but also prone to over fitting. Therefore， this paper proposes an image recognition method based on model migration， which can greatly improve the performance of convolutional neural network while simplifying the design idea. In addition， multiple model training and comparative analysis are conducted on three small image sets. The research results show that the test set accuracy of convolutional neural network optimized by Transfer learning is significantly improved.

Keywords： image recognition; Deep Learning; Convolutional Neural Network; Transfer Learning; Pre-trained Model

0 ?引 ?言

隨著智能手機(jī)與社交媒體的普及，大量的圖片信息相繼產(chǎn)生。人類(lèi)能夠在復(fù)雜的自然環(huán)境中識(shí)別物體并判斷出物體的類(lèi)別，然而如何將這種能力應(yīng)用于計(jì)算機(jī)，令其靈活自如地對(duì)圖片信息進(jìn)行分類(lèi)，提高信息獲取的效率，并將這些分類(lèi)識(shí)別方法應(yīng)用于后續(xù)的目標(biāo)檢測(cè)、目標(biāo)跟蹤等領(lǐng)域，是一個(gè)值得深入研究和探討的重要課題[1]。

傳統(tǒng)的分類(lèi)方法通常采用淺層的模型結(jié)構(gòu)，例如高斯混合模型、K-均值聚類(lèi)、支持向量機(jī)與邏輯回歸模型等，這些結(jié)構(gòu)最多含有一兩個(gè)隱含層，難以刻畫(huà)復(fù)雜的映射關(guān)系，通常不能在大規(guī)模的數(shù)據(jù)集上取得很高的識(shí)別準(zhǔn)確率。隨著人工智能的發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN）在圖像識(shí)別領(lǐng)域取得重大突破。CNN結(jié)構(gòu)具有權(quán)值共享與稀疏連接等特點(diǎn)，展現(xiàn)出良好的自適應(yīng)性和強(qiáng)大的學(xué)習(xí)能力，能夠在大幅度減少訓(xùn)練參數(shù)量的同時(shí)保證圖像的識(shí)別準(zhǔn)確率[2]。因而，CNN對(duì)于傳統(tǒng)算法而言擁有極大的優(yōu)勢(shì)，在圖像識(shí)別領(lǐng)域廣受青睞。

訓(xùn)練一款有效的CNN是一項(xiàng)繁瑣且復(fù)雜的工作。首先，在設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)時(shí)，卷積層的數(shù)量和卷積核的大小沒(méi)有明確的設(shè)計(jì)準(zhǔn)則，往往需要多次嘗試積累經(jīng)驗(yàn)。其次，采用常規(guī)方法訓(xùn)練的網(wǎng)絡(luò)中的可訓(xùn)練參數(shù)沒(méi)有穩(wěn)定的初始化方法，通常為一定范圍內(nèi)的隨機(jī)初始化，容易陷入局部最優(yōu)解。最后，在訓(xùn)練樣本數(shù)不足的情況下，深度神經(jīng)網(wǎng)絡(luò)普遍容易產(chǎn)生過(guò)擬合的現(xiàn)象[3]。因此，本文針對(duì)上述問(wèn)題提出一種相對(duì)簡(jiǎn)單且高效的圖像識(shí)別方法，采用基于模型的遷移學(xué)習(xí)思路，引入先進(jìn)的CNN作為預(yù)訓(xùn)練模型，使網(wǎng)絡(luò)能夠以較快的速度收斂并取得較高的識(shí)別準(zhǔn)確率，同時(shí)還能有效緩解過(guò)擬合現(xiàn)象。

1 ?卷積神經(jīng)網(wǎng)絡(luò)模型

CNN經(jīng)過(guò)多年的發(fā)展，在圖像識(shí)別領(lǐng)域頻頻取得優(yōu)異成績(jī)，甚至能夠取得優(yōu)于人眼識(shí)別的準(zhǔn)確率。接下來(lái)按照時(shí)間順序介紹幾種性能優(yōu)異的CNN[4]。

1.1 ?AlexNet

AlexNet是一個(gè)包含5層卷積層和3層全連接層的8層CNN模型[5]，其在多個(gè)方面進(jìn)行了創(chuàng)新。例如采用線性整流單元作為激活函數(shù)，利用Dropout正則化緩解過(guò)擬合，采用重疊的最大池化避免模糊化效果，提出通過(guò)局部響應(yīng)歸一化增強(qiáng)泛化能力，使用數(shù)據(jù)增強(qiáng)擴(kuò)大樣本集規(guī)模等。這些方法極大地提升了模型性能，使其在ImageNet數(shù)據(jù)集上遠(yuǎn)超第二名的識(shí)別準(zhǔn)確率，給當(dāng)時(shí)的學(xué)術(shù)界和工業(yè)界帶來(lái)了巨大沖擊。

1.2 ?VGGNet

VGGNet是牛津大學(xué)計(jì)算機(jī)視覺(jué)組和Google合作研發(fā)的CNN[6]，采用反復(fù)堆疊的小尺寸卷積核代替AlexNet中的大卷積核，在減少參數(shù)的同時(shí)將網(wǎng)絡(luò)深度增加至16～19層，顯著改善了當(dāng)前的技術(shù)成果，證明網(wǎng)絡(luò)深度的增加對(duì)于其性能的提升具有重要意義。VGGNet的結(jié)構(gòu)規(guī)整，整個(gè)網(wǎng)絡(luò)都使用同樣大小的卷積核和池化核，尤其適于硬件加速，同時(shí)還具有良好的泛化能力，因此廣泛應(yīng)用于諸多圖像識(shí)別任務(wù)中。

1.3 ?GoogLeNet

GoogLeNet是由Google研究院推出的CNN[7]，采用模塊化設(shè)計(jì)的思想，通過(guò)大量堆疊Inception模塊，設(shè)計(jì)出稀疏連接的網(wǎng)絡(luò)結(jié)構(gòu)，并通過(guò)密集矩陣的高計(jì)算性能來(lái)提升計(jì)算資源的利用率。如圖1所示，Inception模塊是一種將多個(gè)卷積和池化操作組裝在一起的網(wǎng)絡(luò)模塊，一方面可以讓網(wǎng)絡(luò)的深度和寬度高效率地?cái)U(kuò)充，另一方面也提升了網(wǎng)絡(luò)對(duì)尺度的適應(yīng)性和感知力。

1.4 ?ResNet

ResNet是2015年提出的CNN[8]，通過(guò)殘差結(jié)構(gòu)成功訓(xùn)練出深層的神經(jīng)網(wǎng)絡(luò)。如圖2所示，ResNet通過(guò)在卷積層的輸入和輸出之間添加一條跳連線，將前邊的特征信息直接輸送到后面，有效緩解了因梯度消失或梯度爆炸帶來(lái)的模型退化，網(wǎng)絡(luò)得以在輸入特征的基礎(chǔ)上在堆積層學(xué)習(xí)到新的特征，從而獲得性能優(yōu)越且能穩(wěn)定訓(xùn)練的深層網(wǎng)絡(luò)模型。

1.5 ?DenseNet

DenseNet是2017年提出的[9]，通過(guò)全新的密集連接機(jī)制，以前饋的方式將每一層與前面所有層的輸出特征進(jìn)行通道合并實(shí)現(xiàn)特征重用，不但緩解了梯度彌散問(wèn)題，而且還能夠在參數(shù)與計(jì)算量很少的情況下實(shí)現(xiàn)更優(yōu)的性能，如圖3所示。DenseNet可以使用少量的卷積核生成大量的特征，不需要重新學(xué)習(xí)多余的特征圖，每個(gè)層都能訪問(wèn)到網(wǎng)絡(luò)的“集體知識(shí)”，同時(shí)緊湊的內(nèi)部結(jié)構(gòu)減少了特征冗余，隨著參數(shù)數(shù)量的增加也不會(huì)出現(xiàn)性能下降或過(guò)度擬合的跡象，因而成為各種計(jì)算機(jī)視覺(jué)任務(wù)中良好的特征提取器。

1.6 ?MobileNet

MobileNet是Google為移動(dòng)端和嵌入式設(shè)備而設(shè)計(jì)的一款輕量化CNN[10]。MobileNet使用深度可分離卷積來(lái)構(gòu)建輕量化網(wǎng)絡(luò)，將標(biāo)準(zhǔn)卷積分解成深度卷積和逐點(diǎn)卷積，二者結(jié)合達(dá)到的效果與一個(gè)標(biāo)準(zhǔn)卷積相近，但計(jì)算量卻遠(yuǎn)遠(yuǎn)少于標(biāo)準(zhǔn)卷積。MobileNet還引入了寬度因子和分辨率因子兩個(gè)全局超參數(shù)，使用戶依據(jù)約束條件在內(nèi)存大小和準(zhǔn)確率之間取舍，構(gòu)建出滿足嵌入式設(shè)備小內(nèi)存、低延遲等要求的模型。

2 ?遷移學(xué)習(xí)

遷移學(xué)習(xí)是一種重要的機(jī)器學(xué)習(xí)方法，本著將預(yù)訓(xùn)練模型的參數(shù)遷移到新的模型來(lái)幫助新模型訓(xùn)練的思路，利用數(shù)據(jù)、任務(wù)或模型之間的相似性，將在舊領(lǐng)域?qū)W習(xí)過(guò)的模型應(yīng)用于新的領(lǐng)域。遷移學(xué)習(xí)引入預(yù)訓(xùn)練模型的參數(shù)并將其作為學(xué)習(xí)的起點(diǎn)，在此基礎(chǔ)上對(duì)網(wǎng)絡(luò)高層的參數(shù)進(jìn)行微調(diào)。這樣，新模型能夠運(yùn)用預(yù)訓(xùn)練模型學(xué)習(xí)到的知識(shí)更好地實(shí)現(xiàn)相應(yīng)功能。遷移學(xué)習(xí)涉及兩個(gè)基本的領(lǐng)域——源域和目標(biāo)域，當(dāng)目標(biāo)領(lǐng)域數(shù)據(jù)量遠(yuǎn)遠(yuǎn)小于源領(lǐng)域數(shù)據(jù)量時(shí)，遷移學(xué)習(xí)能夠借助源領(lǐng)域的知識(shí)有效幫助模型去學(xué)習(xí)目標(biāo)領(lǐng)域的知識(shí)，本文采用的基于遷移學(xué)習(xí)的CNN圖像識(shí)別過(guò)程如圖4所示。

CNN適合于從圖像中學(xué)習(xí)層次表示，低層網(wǎng)絡(luò)通常能提取圖像中常見(jiàn)的低級(jí)特征（例如邊緣和曲線），其所包含的知識(shí)適用于絕大多數(shù)的圖像識(shí)別任務(wù)，而高層網(wǎng)絡(luò)更傾向于學(xué)習(xí)抽象化的高級(jí)特征，往往僅適用于某些特定的任務(wù)，因而高層的網(wǎng)絡(luò)權(quán)重在遷移后需要進(jìn)行微調(diào)以適應(yīng)目標(biāo)領(lǐng)域任務(wù)的需求。CNN包含許多在大型圖像數(shù)據(jù)集ImageNet識(shí)別任務(wù)中取得高精度的模型，這些模型在開(kāi)發(fā)的時(shí)候已經(jīng)消耗了大量的時(shí)間和計(jì)算資源，包含有豐富的圖像識(shí)別知識(shí)，可以作為預(yù)訓(xùn)練模型完成其他圖像識(shí)別任務(wù)，以大幅減少訓(xùn)練所需的數(shù)據(jù)量并加快網(wǎng)絡(luò)的收斂過(guò)程[11]。

3 ?圖像識(shí)別實(shí)戰(zhàn)

本節(jié)以MNIST、Fashion-MNIST和CIFAR-10三個(gè)圖像數(shù)據(jù)集為例，選擇VGG16、ResNet50、InceptionV3、DenseNet121、Xception和MobileNetV1六種CNN作為研究對(duì)象，將是否進(jìn)行遷移學(xué)習(xí)作為兩種不同的訓(xùn)練方式開(kāi)展對(duì)照實(shí)驗(yàn)，在深度學(xué)習(xí)框架TensorFlow的高級(jí)API Keras上進(jìn)行訓(xùn)練并測(cè)試其性能，相關(guān)設(shè)置如表1所示[12]。

MNIST數(shù)據(jù)集由0～9共十種手寫(xiě)數(shù)字圖片組成，這些圖片均由真人書(shū)寫(xiě)，其圖像數(shù)據(jù)識(shí)別主要依賴(lài)于模型對(duì)黑白輪廓的特征提取能力，識(shí)別難度最低。表2展示了六種CNN在MNIST數(shù)據(jù)集上取得的測(cè)試集準(zhǔn)確率，可以看出在不使用遷移學(xué)習(xí)的情況下，不同CNN的收斂速度存在差異，例如Xception的準(zhǔn)確率達(dá)到了99.09%，而MobileNet的準(zhǔn)確率僅有95.60%，可以認(rèn)為MobileNet并未完全收斂。而應(yīng)用遷移學(xué)習(xí)后，所有CNN均實(shí)現(xiàn)99%以上的準(zhǔn)確率，這說(shuō)明所有CNN都達(dá)到收斂到最優(yōu)解的狀態(tài)。由此可知遷移學(xué)習(xí)具有加快CNN收斂速度的效果。

Fashion-MNIST數(shù)據(jù)集圖像共包含70 000張十種不同類(lèi)別的時(shí)尚穿戴品圖像，分別是T恤、牛仔褲、套衫、裙子、外套、涼鞋、襯衫、運(yùn)動(dòng)鞋、包、短靴，不僅考驗(yàn)?zāi)Ｐ蛯?duì)輪廓的提取能力，更考驗(yàn)?zāi)Ｐ蛯?duì)真實(shí)物品的細(xì)節(jié)掌控能力。表3展示了六種CNN在Fashion-MNIST數(shù)據(jù)集上所取得的測(cè)試集準(zhǔn)確率，可以看出遷移學(xué)習(xí)對(duì)網(wǎng)絡(luò)性能提升的作用更加明顯，全部取得高于91%的測(cè)試集準(zhǔn)確率，同時(shí)不同CNN之間的性能差異也體現(xiàn)出來(lái)。例如在不使用遷移學(xué)習(xí)的情況下，InceptionV3、DenseNet121和Xception有很高的測(cè)試準(zhǔn)確率，原因可能在于GoogLeNet系列的CNN對(duì)于不同尺寸的感知能力更強(qiáng)。而DenseNet121、Xception和MobileNet產(chǎn)生了過(guò)擬合現(xiàn)象，在應(yīng)用遷移學(xué)習(xí)方法之后，訓(xùn)練集與測(cè)試集的準(zhǔn)確率差距縮小，說(shuō)明過(guò)擬合現(xiàn)象得到一定程度的緩解。

CIFAR-10數(shù)據(jù)集是一個(gè)用于識(shí)別普通物體的小型數(shù)據(jù)集，包含10個(gè)類(lèi)別3通道的RGB彩色圖片：飛機(jī)、汽車(chē)、鳥(niǎo)類(lèi)、貓、鹿、狗、蛙類(lèi)、馬、船和卡車(chē)，相較于前面的數(shù)據(jù)集包含更加豐富的細(xì)節(jié)，同時(shí)物體的角度和背景也不盡相同，場(chǎng)景更加接近于現(xiàn)實(shí)世界，導(dǎo)致識(shí)別難度大幅提升。表4展示了六種CNN在CIFAR-10數(shù)據(jù)集上所取得的測(cè)試集準(zhǔn)確率。由于數(shù)據(jù)樣本的復(fù)雜程度大幅提升，六種網(wǎng)絡(luò)取得的準(zhǔn)確率都遠(yuǎn)遠(yuǎn)小于前兩個(gè)數(shù)據(jù)集。無(wú)遷移學(xué)習(xí)條件下大部分CNN甚至難以在訓(xùn)練集上取得高精度，只有DenseNet121和Xception訓(xùn)練集的準(zhǔn)確率相對(duì)較高，然而卻因?yàn)檫^(guò)擬合而無(wú)法在測(cè)試集上取得良好的效果。而在遷移學(xué)習(xí)條件下，所有訓(xùn)練集的準(zhǔn)確率都上升到95%以上，而測(cè)試集準(zhǔn)確率的提升幅度則在10%～38%之間，原因可能在于CIFAR-10更接近于ImageNet數(shù)據(jù)集，預(yù)訓(xùn)練模型能夠有效避免CNN陷于局部最優(yōu)解，緩解過(guò)擬合現(xiàn)象，最終以更快的收斂速度取得更高的識(shí)別準(zhǔn)確率。

4 ?結(jié) ?論

本文采用基于模型的遷移學(xué)習(xí)方法對(duì)CNN的性能進(jìn)行優(yōu)化，驗(yàn)證了遷移學(xué)習(xí)對(duì)CNN性能的正向影響包括提升準(zhǔn)確率、加快收斂速度、緩解過(guò)擬合，以及避免局部最優(yōu)解等方面。本文選用六種CNN作為研究對(duì)象，通過(guò)在三個(gè)小型圖像數(shù)據(jù)集上進(jìn)行模型訓(xùn)練和對(duì)比，展現(xiàn)了這些方法在處理不同圖像識(shí)別任務(wù)時(shí)的性能差異性。本文采用的方法能夠在較短的時(shí)間內(nèi)獲得高準(zhǔn)確率，一定程度上簡(jiǎn)化了深度學(xué)習(xí)模型的設(shè)計(jì)思路，具有更高的實(shí)用性和可操作性。然而，數(shù)據(jù)增強(qiáng)和正則化等常用的深度學(xué)習(xí)優(yōu)化策略尚未在文中采用，同時(shí)也未涉及CNN之外的深度學(xué)習(xí)模型，因此可以說(shuō)神經(jīng)網(wǎng)絡(luò)的圖像識(shí)別性能優(yōu)化還可以有更多的研究思路以及更大的提升空間。

參考文獻(xiàn)：

[1] 董瀟.卷積神經(jīng)網(wǎng)絡(luò)的圖像分類(lèi)優(yōu)化算法研究 [D].淮南：安徽理工大學(xué)，2020.

[2] 李炳臻，劉克，顧佼佼，等.卷積神經(jīng)網(wǎng)絡(luò)研究綜述 [J].計(jì)算機(jī)時(shí)代，2021，346（4）：8-12+17.

[3] 丁文博，許玥.預(yù)訓(xùn)練模型的跨領(lǐng)域跨任務(wù)遷移學(xué)習(xí) [J].科技資訊，2020，18（2）：107-110.

[4] 張珂，馮曉晗，郭玉榮，等.圖像分類(lèi)的深度卷積神經(jīng)網(wǎng)絡(luò)模型綜述 [J].中國(guó)圖象圖形學(xué)報(bào)，2021，26（10）：2305-2325.

[5] KRIZHEVSKY A，SUTSKEVER I，HINTON G E. ImageNet Classification with Deep Convolutional Neural Networks [J].Communications of the Acm，2017，60（6）：84-90.

[6] SIMONYAN K，ZISSERMAN A. Very Deep Convolutional Networks for Large-Scale Image Recognition [J/OL]. arXiv：1409.1556.[2022-11-05]. https：//ui.adsabs.harvard.edu/abs/2014arXiv1409.1556S/abstract.

[7] SZEGEDY C，LIU W，JIA Y Q，et al. Going Deeper with Convolutions [J/OL].arXiv：1409.4842 [cs.CV].[2022-11- 05].https：//arxiv.org/abs/1409.4842.

[8] HE K M，ZHANG X R，REN S Q，et al. Deep Residual Learning for Image Recognition [C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Las Vegas：IEEE，2016：770-778.

[9] HUANG G，LIU Z，MAATEN L V D. Densely Connected Convolutional Networks [C]//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Honolulu：IEEE，2017：2261-2269.

[10] HOWARD A G，ZHU M L，CHEN B，et al. MobileNets： Efficient Convolutional Neural Networks for Mobile Vision Applications [J/OL].arXiv：1704.04861 [cs.CV].[2022-11- 09].https：//arxiv.org/abs/1704.04861.

[11] 趙衛(wèi)東，施實(shí)偉，周嬋. 基于ImageNet 預(yù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)的圖像風(fēng)格遷移 [J]. 成都大學(xué)學(xué)報(bào)：自然科學(xué)版， 2021，40（4）：367-373.

[12] 龍良曲.TensorFlow 深度學(xué)習(xí) [M]. 北京：清華大學(xué)出版社，2020.

作者簡(jiǎn)介：張文韜（1997—），男，漢族，河南平頂山人，碩士研究生在讀，研究方向：深度學(xué)習(xí)與故障診斷。