改進(jìn)的VGG-16卷積神經(jīng)網(wǎng)絡(luò)算法在丁腈橡膠片材識(shí)別中的應(yīng)用

何 琛,李云紅，謝蓉蓉

(西安工程大學(xué) 電子信息學(xué)院,陜西 西安 710048)

0 引 言

制備某些固體火箭內(nèi)絕熱層時(shí),首先將丁腈橡膠原料混合并碾壓,然后通過(guò)剪裁等工藝,形成特定規(guī)格的片材。傳統(tǒng)的視覺(jué)識(shí)別常采用紋理、形狀、顏色[1]、局部二值模式[2]、方向梯度直方圖[3]等作為特征分析,進(jìn)而應(yīng)用到目標(biāo)識(shí)別。但在特征設(shè)計(jì)上步驟繁瑣,往往需要結(jié)合多種特征,以增強(qiáng)識(shí)別準(zhǔn)確率。當(dāng)現(xiàn)場(chǎng)環(huán)境稍微改變時(shí),如光射強(qiáng)度突然改變、攝像機(jī)角度稍微移位等,識(shí)別效果不佳。

隨著視覺(jué)技術(shù)與深度學(xué)習(xí)算法相結(jié)合[4-7],設(shè)計(jì)者只需將采集的圖像和類別標(biāo)簽輸入深度卷積神經(jīng)網(wǎng)絡(luò),網(wǎng)絡(luò)經(jīng)過(guò)訓(xùn)練,便可得到圖像的特征規(guī)律,該規(guī)律可用于今后的類別辨識(shí)。2014年VGG-16卷積神經(jīng)網(wǎng)絡(luò)[8]在ILSVRC比賽[9]中取得了驕人的成績(jī),從此廣泛應(yīng)用于視覺(jué)任務(wù)。王羽徽等通過(guò)減少卷積核數(shù)量、加入批歸一化等方法,提高了訓(xùn)練速度和準(zhǔn)確率,改進(jìn)了VGG網(wǎng)絡(luò)[10]。岳有軍等通過(guò)向VGG加入批歸一化、全局平均池化等,提高了準(zhǔn)確率[11]。張建華等通過(guò)優(yōu)化全連接層數(shù)、改變分類器標(biāo)簽數(shù)量等,優(yōu)化了VGG網(wǎng)絡(luò)[12]。上述改進(jìn)的VGG網(wǎng)絡(luò),可概括為通過(guò)調(diào)參、優(yōu)化結(jié)構(gòu)完成了識(shí)別任務(wù)。本文在使用VGG網(wǎng)絡(luò)識(shí)別丁腈橡膠片時(shí),遇到的問(wèn)題如過(guò)擬合[13]、參數(shù)量大、準(zhǔn)確率不高,在上述文獻(xiàn)中并沒(méi)有給出一個(gè)全面的處理方案,且本文的數(shù)據(jù)集也有所不同,需要具體問(wèn)題具體解決。因此考慮重建網(wǎng)絡(luò)結(jié)構(gòu)更適合問(wèn)題的解決。在控制過(guò)擬合方面,SRIVASTAVA等提出隨機(jī)失活,它主要削弱神經(jīng)元節(jié)點(diǎn)間的連接,從而降低過(guò)擬合風(fēng)險(xiǎn)[14]。在降低參數(shù)量方面,縮減特征圖大小和壓縮網(wǎng)絡(luò)結(jié)構(gòu)都是可行的辦法,BOUREAU等給出了關(guān)于最大池化和均值池化的具體理論分析,說(shuō)明了池化的各種特性,其中就包含降低參數(shù)量[15]。YU等提出混合池化,不僅巧妙利用池化縮減特征圖大小進(jìn)而降低參數(shù),而且有防過(guò)擬合作用[16]。HOWARD等提出分組卷積結(jié)構(gòu),使參數(shù)量降低了一個(gè)數(shù)量級(jí)[17],但訓(xùn)練過(guò)程存在特征退化現(xiàn)象。IANDOLA等人提出多分辨率分組卷積結(jié)構(gòu),分組后使用不同大小的卷積核壓縮網(wǎng)絡(luò)參數(shù)[18]。提高識(shí)別準(zhǔn)確率方面,歸一化有一定影響,BA等提出層歸一化(layer normalization,LN),主要是拋棄對(duì)批量的依賴,讓每個(gè)樣本數(shù)據(jù)在所有通道中進(jìn)行歸一化[19]。HUANG等提出實(shí)例歸一化(instance normalization,IN)主要將網(wǎng)絡(luò)同一卷積層中的每個(gè)通道拿出來(lái)做歸一化[20]。LUO等提出SN歸一化,將批歸一化(batch normalization,BN),IN,LN相結(jié)合,讓網(wǎng)絡(luò)去學(xué)習(xí)歸一化層應(yīng)該使用那種算法,效果最好[21],此方法可有效提高準(zhǔn)確率,但計(jì)算量有所增加。針對(duì)VGG-16和僅縮減深度的VGG-16識(shí)別橡膠片材時(shí),效果不佳。本文在縮減網(wǎng)絡(luò)深度的基礎(chǔ)上,向網(wǎng)絡(luò)嵌入多分辨率分組卷積、混合池化、SN歸一化算法,重新制定了網(wǎng)絡(luò)層級(jí),改變了VGG-16原有結(jié)構(gòu)。

1 VGG-16網(wǎng)絡(luò)結(jié)構(gòu)和數(shù)據(jù)集

1.1 VGG-16網(wǎng)絡(luò)結(jié)構(gòu)

VGG-16網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)點(diǎn)是網(wǎng)絡(luò)層數(shù)深、卷積層多、結(jié)構(gòu)規(guī)整,是后續(xù)很多網(wǎng)絡(luò)設(shè)計(jì)的基石。但輸入的特征圖每經(jīng)過(guò)一個(gè)池化層,通道數(shù)會(huì)增加一倍,使得網(wǎng)絡(luò)參數(shù)加大。其結(jié)構(gòu)如圖1所示。

圖1 VGG-16卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Structure of VGG-16 convolutional neural network

該網(wǎng)絡(luò)由卷積層、池化層、全連接層堆疊而成。卷積核步長(zhǎng)都為1,大小都為3×3,最大池化的窗口都為2×2,步長(zhǎng)都為1。第1、2卷積層由64個(gè)卷積核組成,第3、4卷積層由128個(gè)卷積核組成,第5、6、7卷積層由256個(gè)卷積核組成,第8、9、10、11、12、13卷積層由512個(gè)卷積核組成,最后是3個(gè)全連接層。

1.2 數(shù)據(jù)集

本文收集了500張位置各異的片材圖像,包括圓形、方形、同心圓形。使用數(shù)據(jù)增廣技術(shù)添加了1 035張樣本,合計(jì)1 535張樣本。增廣技術(shù)包含圖像隨機(jī)旋轉(zhuǎn)、水平方向上平移、垂直方向上平移、隨機(jī)錯(cuò)切變換、圖像水平翻轉(zhuǎn)。由于片材樣本未經(jīng)允許不得公開,所以本文使用相似圖像示意，如圖2所示。

圖2 相似的數(shù)據(jù)集

2 改進(jìn)的網(wǎng)絡(luò)

2.1 改進(jìn)網(wǎng)絡(luò)的結(jié)構(gòu)

本文在訓(xùn)練和驗(yàn)證過(guò)程中,通過(guò)增加相同層級(jí)或者減少相同層級(jí),搭配不同結(jié)構(gòu)和參數(shù),依據(jù)運(yùn)行結(jié)果,如準(zhǔn)確率升高或降低、參數(shù)量增加或減少、訓(xùn)練速度加快或減緩和網(wǎng)絡(luò)是否穩(wěn)定為判斷,設(shè)置了如圖3所示的網(wǎng)絡(luò)結(jié)構(gòu)。

圖3 改進(jìn)的網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Improved network structure

網(wǎng)絡(luò)包含:卷積層1(用C1表示)、卷積層2(用C2表示)、卷積層3(用C3表示)、卷積層4(用C4表示)、卷積層5(用C5表示)、卷積層6(用C6表示)、卷積層7(用C7表示)、卷積層8(用C8表示)、卷積層9(用C9表示)、2個(gè)SN歸一化層、混合池化層1(用S1表示)、混合池化層2(用S2表示)、混合池化層3(用S3表示)、混合池化層4(用S4表示)、展平層(用F1表示)、隨機(jī)失活層(用D1表示)、全連接層、第1個(gè)通道合并層(用M1表示),第2個(gè)合并層(用M2表示)。

相比VGG-16結(jié)構(gòu),網(wǎng)絡(luò)縮減了4個(gè)卷積層,使用了2組并行結(jié)構(gòu)的多分辨率分組卷積。刪除了2個(gè)參數(shù)最多的全連接層。使用混合池化取代了最大池化。向網(wǎng)絡(luò)添加了SN歸一化層。改進(jìn)的網(wǎng)絡(luò)在實(shí)驗(yàn)時(shí),已表現(xiàn)出了預(yù)期的效果。以改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)為模板，分別向網(wǎng)絡(luò)單獨(dú)添加或減少一個(gè)卷積層、混合池化層、SN歸一化層，用于觀察網(wǎng)絡(luò)性能的變化。迭代50次的同等條件下，當(dāng)增加一個(gè)相同層時(shí)，卷積層會(huì)使網(wǎng)絡(luò)出現(xiàn)過(guò)擬合拐點(diǎn)，混合池化層會(huì)使網(wǎng)絡(luò)參數(shù)量下降且驗(yàn)證準(zhǔn)確率下降，SN歸一化層會(huì)使網(wǎng)絡(luò)準(zhǔn)確率無(wú)變化；當(dāng)減少一個(gè)相同層時(shí)，卷積層會(huì)使網(wǎng)絡(luò)的訓(xùn)練和驗(yàn)證準(zhǔn)確率同時(shí)降低，混合池化層會(huì)使網(wǎng)絡(luò)參數(shù)量上升且訓(xùn)練速度有遲緩跡象，SN歸一化層會(huì)使網(wǎng)絡(luò)出現(xiàn)小震蕩?？梢钥闯?，當(dāng)目前的網(wǎng)絡(luò)結(jié)構(gòu)發(fā)生改變時(shí),準(zhǔn)確率、訓(xùn)練速度、穩(wěn)定性皆有所改變,網(wǎng)絡(luò)的性能有下降趨勢(shì)。可認(rèn)為改進(jìn)的網(wǎng)絡(luò)結(jié)構(gòu)是最優(yōu)組合之一。

2.2 改進(jìn)網(wǎng)絡(luò)的參數(shù)

當(dāng)輸入RGB片材圖像時(shí),C1層由32個(gè)步長(zhǎng)為1的3×3卷積核對(duì)其卷積;S1、S2、S3和S4以步長(zhǎng)為1的2×2窗口對(duì)其混合池化;C2由96個(gè)步長(zhǎng)為1的3×3卷積核組成;C3由16個(gè)步長(zhǎng)為1的1×1的卷積組成;C4由64個(gè)步長(zhǎng)為1的1×1的卷積組成;C5由64個(gè)步長(zhǎng)為1的3×3的卷積組成;M1和M2分別將上一層的2個(gè)64通道合并為一個(gè)128通道;C6、C7、C8的參數(shù)分別與C3、C4、C5相同;C9由128個(gè)步長(zhǎng)為1的1×1的卷積組成;F1層將三維數(shù)據(jù)展平至二維;D1層50%的連接被隨機(jī)切斷;全連接層在Softmax的處理下輸出3種類別標(biāo)簽。卷積層的激活函數(shù)都為Relu,采用的優(yōu)化器為帶動(dòng)量的SGD,動(dòng)量大小為0.9,學(xué)習(xí)率為0.01。相比VGG-16的參數(shù)設(shè)計(jì),本文將部分卷積核大小改為了1×1,調(diào)參后各層卷積核數(shù)量也有所改變。C2層在參數(shù)設(shè)置方面稍有不同,卷積核數(shù)量沒(méi)有遵循常規(guī)的32或者64,而是直接增加到了96,原因是使用該參數(shù)時(shí),網(wǎng)絡(luò)整體效果最佳。當(dāng)卷積核數(shù)量為64時(shí),網(wǎng)絡(luò)稍有不穩(wěn)定,有兩處震蕩。C3～C8的參數(shù)設(shè)定,仿照了fire結(jié)構(gòu)的參數(shù)設(shè)計(jì),C9設(shè)置的原因是M2合并了多分辨率分組卷積的特征,使用C9承接M2的128個(gè)輸出,再以步長(zhǎng)為1的1×1卷積核進(jìn)行卷積,不會(huì)遺漏太多特征圖信息。

2.3 SN歸一化

片材的特征圖,經(jīng)過(guò)卷積層的先乘再加運(yùn)算,像素值在空間上改變了原始分布。如果不逼近獨(dú)立分布,識(shí)別準(zhǔn)確率會(huì)有所影響,反之提高。歸一化算法可調(diào)整卷積后的數(shù)據(jù)分布,常見的歸一化算法有:BN及其變種LN、IN。3種歸一化方法的出發(fā)點(diǎn),都是以不同的方式調(diào)整數(shù)據(jù)的空間分布,各有利弊,具體選擇上主要根據(jù)運(yùn)算后的數(shù)據(jù)分布。SN歸一化利用該算法中的自變量k,逐一對(duì)BN、LN、IN算法進(jìn)行比較,挑選對(duì)片材識(shí)別準(zhǔn)確率貢獻(xiàn)最大的算法,作為網(wǎng)絡(luò)的歸一化算法。算法的數(shù)學(xué)表達(dá)式為

(1)

2.4 混合池化策略

(2)

式中：ye,f為混合池化后的輸出特征圖；Re,f為池化區(qū)域；e,f為輸出像素點(diǎn)的位置坐標(biāo);am,n為輸入的片材特征圖;m,n為輸入像素點(diǎn)的位置坐標(biāo)；參數(shù)λ取0時(shí)網(wǎng)絡(luò)選用平均池化，取1時(shí)網(wǎng)絡(luò)選用最大池化。

2.5 多分辨率分組卷積降參

卷積神經(jīng)網(wǎng)絡(luò)關(guān)注參數(shù)量大小，降低參數(shù)量可提升訓(xùn)練速度。本文已經(jīng)刪除VGG-16參數(shù)量占比最大的2個(gè)全連接層，因此參數(shù)主要來(lái)自卷積層。卷積層參數(shù)計(jì)算可表示為

p=c0(kwkhci+b)

(3)

式中:p代表卷積層參數(shù)量;c0為輸出通道數(shù)；kw為卷積核寬；kh為卷積核高；ci為輸入通道數(shù)；b為偏移量。本文的多分辨率分組卷積結(jié)構(gòu)，選擇添加在網(wǎng)絡(luò)相對(duì)靠后的C3層到M2層。因?yàn)殡S著卷積核數(shù)量的增加，越靠后的卷積層，c0和ci越大,當(dāng)這兩個(gè)值都比較大時(shí)，多分辨率分組卷積可以實(shí)現(xiàn)不改變前后通道數(shù)的情況下，很大比例的壓縮參數(shù)。假如不考慮偏移量，網(wǎng)絡(luò)的這部分使用2個(gè)VGG-16的3×3的卷積，參數(shù)量為96×3×3×128×2=221 184,使用2組多分辨率分組卷積的參數(shù)量為(1×1×96×16+1×1×16×64+3×3×16×64)×2=23 552，參數(shù)壓縮比約為1/10。

3 實(shí)驗(yàn)分析

3.1 訓(xùn)練過(guò)程對(duì)比

實(shí)驗(yàn)的硬件平臺(tái)為Inter(R) Core(TM) i5-7300HQ處理器 2.5 GHz、DDR4 8 GB、Nvidia GeForce GTX1050Ti顯卡4 GB。實(shí)驗(yàn)軟件環(huán)境為Ubuntu18.04系統(tǒng)、Python3.7環(huán)境、Keras2.0深度學(xué)習(xí)框架、TensorFlow1.14。網(wǎng)絡(luò)構(gòu)建應(yīng)用的是Keras提供的API方法。收集的1 535個(gè)片材樣本，以6∶2∶2劃分為訓(xùn)練集(921個(gè))、驗(yàn)證集(307個(gè))、測(cè)試集(307個(gè))。

圖4為訓(xùn)練和驗(yàn)證時(shí)的準(zhǔn)確率曲線和損失函數(shù)曲線，圖4(a)、(b)對(duì)應(yīng)VGG-16，圖4(c)、(d)對(duì)應(yīng)刪除VGG-16最后4個(gè)卷積層與2個(gè)全連接層的網(wǎng)絡(luò)(用VGG-10表示)，圖4(e)、(f)對(duì)應(yīng)改進(jìn)后的網(wǎng)絡(luò)。

(a)VGG-16訓(xùn)練和驗(yàn)證準(zhǔn)確率 (b) VGG-16訓(xùn)練和驗(yàn)證損失 (c)VGG-10訓(xùn)練和驗(yàn)證準(zhǔn)確率

(d)VGG-10訓(xùn)練和驗(yàn)證損失 (e)改進(jìn)網(wǎng)絡(luò)的訓(xùn)練和驗(yàn)證準(zhǔn)確率 (f)改進(jìn)網(wǎng)絡(luò)的訓(xùn)練和驗(yàn)證損失圖 4 不同網(wǎng)絡(luò)下片材訓(xùn)練和驗(yàn)證的準(zhǔn)確率和損失曲線Fig.4 Accuracy and loss curves of sheet training and verification under different networks

圖4中，3個(gè)網(wǎng)絡(luò)都迭代50次，VGG-16與VGG-10的準(zhǔn)確率和損失分別在18次、46次出現(xiàn)最大拐點(diǎn)，即開始過(guò)擬合。拐點(diǎn)的準(zhǔn)確率分別為78.26%、99.65%?？梢钥闯隹s減網(wǎng)絡(luò)深度后，VGG-10相比VGG-16的準(zhǔn)確率有所提高，但依舊存在過(guò)擬合的情形。改進(jìn)后的網(wǎng)絡(luò)并未過(guò)擬合，30次后趨于穩(wěn)定，訓(xùn)練和驗(yàn)證的準(zhǔn)確率保持增長(zhǎng)直至100%，中途的波動(dòng)是由于學(xué)習(xí)率造成，屬于正?，F(xiàn)象，訓(xùn)練過(guò)程中，驗(yàn)證損失一直跟隨訓(xùn)練損失下降，表明反向傳播持續(xù)更新參數(shù)，網(wǎng)絡(luò)有持續(xù)訓(xùn)練能力。

3.2 參數(shù)量、訓(xùn)練時(shí)間對(duì)比

VGG-16、VGG-10、改進(jìn)網(wǎng)絡(luò)的參數(shù)量、訓(xùn)練時(shí)間對(duì)比如表1所示。

表1 參數(shù)、訓(xùn)練時(shí)間對(duì)比Tab.1 Comparison of parameters and training time

從表1可知，改進(jìn)的網(wǎng)絡(luò)深度(層數(shù))共18層,介于VGG-16和VGG-10之間,其中并行結(jié)構(gòu)的C4、C5,C7、C8卷積層在同一層級(jí)上,算作2層。本文改進(jìn)的網(wǎng)絡(luò)參數(shù)量最少,約相當(dāng)于VGG-16的0.098%。迭代50次的同等條件下,因?yàn)閰?shù)量最少,所以訓(xùn)練時(shí)間最短。

3.3 測(cè)試集測(cè)試

加載網(wǎng)絡(luò)訓(xùn)練得到的權(quán)重，在測(cè)試集測(cè)試時(shí)，由于VGG-16的訓(xùn)練和驗(yàn)證準(zhǔn)確率不高,泛化能力必定不強(qiáng),所以并沒(méi)有使用權(quán)重測(cè)試。而VGG-10的測(cè)試準(zhǔn)確率為92.83%，訓(xùn)練得到的權(quán)重,在測(cè)試集測(cè)試時(shí),比訓(xùn)練和驗(yàn)證時(shí)的準(zhǔn)確率有所降低。為了查看VGG-10具體哪些類別被識(shí)別錯(cuò)誤,使用了混淆矩陣,如圖5(a)所示，圖5(b)為改進(jìn)網(wǎng)絡(luò)的混淆矩陣。

圖5中，縱軸為測(cè)試集樣本的真實(shí)類別標(biāo)簽,橫軸為網(wǎng)絡(luò)預(yù)測(cè)的標(biāo)簽,第a行第b列的數(shù)值表示第a類片材圖像被識(shí)別為第b類的數(shù)量。參與測(cè)試的總樣本有307個(gè),其中標(biāo)簽為0、1、2(分別代表圓、方、同心圓)的樣本分別為93、111、103個(gè)。從圖5(a)可以看出，3個(gè)類別均有相互識(shí)別錯(cuò)誤,其中圓和同心圓相互識(shí)別錯(cuò)誤最多,說(shuō)明VGG-10網(wǎng)絡(luò)的泛化能力還不強(qiáng)。從圖5(b)可以看出,數(shù)值都集中在對(duì)角線上,表明改進(jìn)的網(wǎng)絡(luò)沒(méi)有識(shí)別錯(cuò)誤,泛化能力更好。

(a) VGG-10的混淆矩陣

(b) 改進(jìn)網(wǎng)絡(luò)的混淆矩陣圖 5 不同網(wǎng)絡(luò)下片材的混淆矩陣Fig.5 Confusion matrix of sheet materialunder different networks

4 結(jié) 語(yǔ)

從實(shí)驗(yàn)結(jié)果來(lái)看,本文的小樣本數(shù)據(jù)集不適用于VGG-16的大容量網(wǎng)絡(luò),準(zhǔn)確率沒(méi)有達(dá)到預(yù)期前,容易過(guò)擬合。不增加樣本數(shù)量的情況下,縮減網(wǎng)絡(luò)深度可降低一定風(fēng)險(xiǎn)的過(guò)擬合,準(zhǔn)確率有所提高,但網(wǎng)絡(luò)穩(wěn)定性依然不佳。向網(wǎng)絡(luò)添加算法,如SN歸一化、混合池化、多分辨率分組卷積,可降低過(guò)擬合風(fēng)險(xiǎn)和網(wǎng)絡(luò)參數(shù),提高識(shí)別準(zhǔn)確率。通過(guò)加載訓(xùn)練獲得的權(quán)重,在測(cè)試集中全部識(shí)別正確,證實(shí)改進(jìn)的網(wǎng)絡(luò)更適合橡膠片材識(shí)別,該權(quán)重可替代人工特征,可免去分析特征和組合多種特征以增強(qiáng)識(shí)別率的繁瑣步驟。改進(jìn)的網(wǎng)絡(luò)仍有可優(yōu)化的余地,如當(dāng)前的結(jié)構(gòu)和參數(shù)設(shè)計(jì)只是最優(yōu)組合之一,相信經(jīng)過(guò)更多的實(shí)驗(yàn),仍可在確保準(zhǔn)確率的基礎(chǔ)上,繼續(xù)降低參數(shù)量、繼續(xù)提高訓(xùn)練速度。