圖像識(shí)別中的卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用研究*

張玉紅，白韌祥，孟凡軍，王思斯，吳 彪

(1.吉林建筑大學(xué) 電氣與計(jì)算機(jī)學(xué)院，吉林 長(zhǎng)春 130118；2.長(zhǎng)春設(shè)備工藝研究所，吉林 長(zhǎng)春 130012；3.吉林省喬富建設(shè)股份有限公司，吉林 長(zhǎng)春 130000)

當(dāng)今社會(huì)的計(jì)算機(jī)技術(shù)不斷發(fā)展，圖像識(shí)別技術(shù)在許多領(lǐng)域中得到了應(yīng)用。1950年，手寫的字體可以通過圖像識(shí)別技術(shù)進(jìn)行識(shí)別。1965年，人們開始著手?jǐn)?shù)字化圖像領(lǐng)域的識(shí)別研究。數(shù)字化圖像有下述幾種優(yōu)勢(shì)：便于縮減存儲(chǔ)空間，不易失真，圖片處理起來(lái)比較容易等。這些優(yōu)點(diǎn)促進(jìn)了該領(lǐng)域的發(fā)展。目前對(duì)圖像識(shí)別的方法有統(tǒng)計(jì)模式識(shí)別、結(jié)構(gòu)模式識(shí)別、模糊模式識(shí)別和深度學(xué)習(xí)[1]。

深度學(xué)習(xí)是人工智能中十分重要的部分，且最早在圖像處理中得以成功應(yīng)用。在1989年加拿大教授 Yann Le Cun與其小組成員提出卷積神經(jīng)網(wǎng)絡(luò)并得以應(yīng)用。卷積神經(jīng)網(wǎng)絡(luò)是帶有卷積結(jié)構(gòu)的多層網(wǎng)絡(luò)，它解決了深層的神經(jīng)網(wǎng)絡(luò)占用內(nèi)存和內(nèi)部參數(shù)多的問題，同時(shí)也緩解了模型在訓(xùn)練時(shí)出現(xiàn)的圖像過擬合現(xiàn)象。剛一問世，卷積神經(jīng)網(wǎng)絡(luò)就在小規(guī)模圖片集上獲得了當(dāng)時(shí)世界上最好的成績(jī)，但受限于當(dāng)時(shí)的理論及技術(shù)水平，在隨后相當(dāng)長(zhǎng)一段時(shí)間內(nèi)，卷積神經(jīng)網(wǎng)絡(luò)領(lǐng)域沒有得到太多的進(jìn)展。2012年10月，加拿大教授Hinton與自己的小組成員在Image Net競(jìng)賽中應(yīng)用了卷積神經(jīng)網(wǎng)絡(luò)技術(shù)，這使他們獲得了競(jìng)賽的最好成績(jī)。通過這次競(jìng)賽他們使神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別領(lǐng)域有了實(shí)質(zhì)性的突破，這次之后，卷積神經(jīng)網(wǎng)絡(luò)模型能夠識(shí)別和理解一般的自然圖片的內(nèi)容[2]。

針對(duì)圖像識(shí)別，傳統(tǒng)的識(shí)別方法包括統(tǒng)計(jì)模式識(shí)別、結(jié)構(gòu)模式識(shí)別和模糊模式識(shí)別。這些傳統(tǒng)的識(shí)別方法有自適應(yīng)性能差的缺點(diǎn)，如果待識(shí)別的圖像存在比較大的殘缺或者有比較強(qiáng)的噪聲干擾，則傳統(tǒng)的識(shí)別方法就無(wú)法得到預(yù)期的結(jié)果。而深度學(xué)習(xí)則剛好彌補(bǔ)了傳統(tǒng)識(shí)別方法的這些劣勢(shì)，它大大提高了圖像識(shí)別準(zhǔn)確率和模型在線運(yùn)算速率，并且降低了提取待識(shí)別圖像特征的工作[3]。通過綜合考慮，本文在圖像識(shí)別中加入了卷積神經(jīng)網(wǎng)絡(luò)技術(shù)。

1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)是根據(jù)大腦神經(jīng)元而設(shè)計(jì)，其本質(zhì)就是將一個(gè)個(gè)簡(jiǎn)單的神經(jīng)元連起來(lái)，利用每個(gè)底層的神經(jīng)元提取圖像的信息，然后將許多這樣的神經(jīng)元結(jié)合起來(lái)提取一個(gè)十分復(fù)雜的圖像信息，最終獲得圖像的高級(jí)語(yǔ)義特征[4]。圖片中提取的高級(jí)語(yǔ)義特征種類越多，則越可以體現(xiàn)圖片的主要內(nèi)容，同時(shí)反映出對(duì)圖片的識(shí)別和理解能力也越強(qiáng)。

卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)主要包括卷積層、池化層和全連接層。

1)卷積層。卷積層的運(yùn)算是卷積神經(jīng)網(wǎng)絡(luò)的重要組成部分，其主要作用是圖像特征的提取和抽象。而卷積層的核心則是卷積運(yùn)算，卷積運(yùn)算時(shí)，圖像應(yīng)該先轉(zhuǎn)換成數(shù)值矩陣，然后再進(jìn)行運(yùn)算。假定有一個(gè)尺寸為6×6的圖像，每一個(gè)像素點(diǎn)里都存儲(chǔ)著圖像的信息。定義一個(gè)卷積核(相當(dāng)于權(quán)重)，用來(lái)從圖像中提取一定的特征(見圖1)。卷積核與數(shù)字矩陣對(duì)應(yīng)位相乘再相加，得到卷積層輸出結(jié)果(見式1)。

圖1 特征值的卷積運(yùn)算18×1+54×0+51×1+55×0+221×1+75×0+35×1+24×0+204×1=429

(1)

卷積核的取值在沒有以往學(xué)習(xí)的經(jīng)驗(yàn)下，可由函數(shù)隨機(jī)生成，再逐步訓(xùn)練調(diào)整。當(dāng)所有的像素點(diǎn)都至少被覆蓋一次后，就可以產(chǎn)生一個(gè)卷積層的輸出(卷積步長(zhǎng)為1)(見圖2)。

圖2 卷積層的輸出

卷積層輸出值越高，就說明匹配程度越高，越能表現(xiàn)該圖片的特征。

2)池化層。池化層的作用主要是減少參數(shù)的數(shù)量，提高計(jì)算速度，并增強(qiáng)所提取特征的魯棒性，同時(shí)防止過擬合現(xiàn)象的發(fā)生，池化層一般放于卷積層之后，縮減模型的大小，降低特征維度。

最常見的2種池化層的形式：最大池化和均值池化。

以最大池化為例，池化層輸入的4×4矩陣，選用的池化層尺寸大小為2×2，池化步長(zhǎng)為2，則最后可以得到2×2的池化輸出(見圖3)，圖中粗線方框代表一次最大池化運(yùn)算。

圖3 池化層的輸出

3)全連接層。卷積層和池化層的工作就是提取特征，并減少原始圖像帶來(lái)的參數(shù)。然而，為了生成最終的輸出，需要應(yīng)用全連接層來(lái)生成一個(gè)等于所需要的類的數(shù)量的分類器。

全連接層的工作原理和之前的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)很類似，需要把池化層輸出的張量重新切割成一些向量，乘上權(quán)重矩陣，加上偏置值，然后對(duì)其使用ReLU激活函數(shù)，用梯度下降法優(yōu)化參數(shù)即可。

本文設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)包括5個(gè)卷積層、3個(gè)池化層和3個(gè)全連接層[5-6]。待識(shí)別圖片可以通過卷積層和池化層來(lái)提取圖片中的特征，而全連接層是把二維的特征圖變?yōu)橐痪S的特征向量。卷積神經(jīng)網(wǎng)絡(luò)模型在預(yù)訓(xùn)練時(shí)存在2個(gè)過程，即前向傳播與反向傳播。

1)前向傳播。每一層輸出的特征如下：

(2)

2)反向傳播。通過前向傳播對(duì)樣本的預(yù)測(cè)與網(wǎng)絡(luò)期望值的輸出來(lái)確定模型內(nèi)部的參數(shù)。定義網(wǎng)絡(luò)的目標(biāo)函數(shù)：

(3)

2 試驗(yàn)準(zhǔn)備與結(jié)果分析

本文基于開源框架TensorFlow和Keras進(jìn)行試驗(yàn)研究。試驗(yàn)配置：i5-4200U CPU和AMD Radeon HD 8600M series顯卡[7]。

2.1 數(shù)據(jù)集

數(shù)據(jù)集共分為3類，包括60張訓(xùn)練模型優(yōu)化模型參數(shù)的訓(xùn)練集、10張檢測(cè)訓(xùn)練模型每次訓(xùn)練結(jié)束后訓(xùn)練效果的驗(yàn)證集和10張測(cè)試圖樣識(shí)別模型的測(cè)試集。選擇2張圖樣，其中用紅綠藍(lán)三色圖作為正確的圖樣(見圖4)；用非紅綠藍(lán)三色圖作為錯(cuò)誤的圖樣(見圖5)。分別在不同角度拍攝40張照片，每張圖樣取30張拍攝的照片作為訓(xùn)練網(wǎng)絡(luò)參數(shù)的訓(xùn)練集，再各取5張照片作為檢測(cè)訓(xùn)練模型訓(xùn)練結(jié)果的驗(yàn)證集，則每張圖樣剩余的5張照片作為測(cè)試集。

圖4 用作正確的圖樣

圖5 用作錯(cuò)誤的圖樣

2.2 試驗(yàn)過程

本次訓(xùn)練中通過40個(gè)epoch來(lái)更新學(xué)習(xí)率，在訓(xùn)練開始時(shí)設(shè)一個(gè)較大的學(xué)習(xí)率，隨著學(xué)習(xí)過程中系統(tǒng)總誤差的減小，學(xué)習(xí)率也逐漸減小，每當(dāng)完成一次epoch訓(xùn)練，將最佳權(quán)重保存至特定的文件，以便后期神經(jīng)網(wǎng)絡(luò)模型的部署，訓(xùn)練過程中使用隨機(jī)梯度下降法對(duì)訓(xùn)練系統(tǒng)進(jìn)行優(yōu)化，同時(shí)使用minibatch訓(xùn)練加快模型收斂。訓(xùn)練模型流程圖[8-12]如圖6所示。在完成40個(gè)epoch訓(xùn)練后，保存了訓(xùn)練中的最佳權(quán)重，在模型預(yù)測(cè)中則直接調(diào)用已保存的最佳權(quán)重進(jìn)行模型預(yù)測(cè)參數(shù)初始化，開始對(duì)圖片進(jìn)行預(yù)測(cè)。待測(cè)圖片識(shí)別流程圖如圖7所示。

圖6 訓(xùn)練模型流程圖

圖7 圖片識(shí)別流程圖

在訓(xùn)練開始之前，先加載需要訓(xùn)練的圖片，對(duì)訓(xùn)練集進(jìn)行預(yù)處理，包括圖片歸一化、圖片通道統(tǒng)一等，然后進(jìn)行模型的搭建并進(jìn)行訓(xùn)練，即開始前向傳播和反向傳播，反向傳播采用隨機(jī)梯度下降法進(jìn)行優(yōu)化，每完成一次優(yōu)化則進(jìn)行一次判斷是否結(jié)果更優(yōu)，如果更優(yōu)，則更新相關(guān)的權(quán)重，否則判斷是否完成所有epoch訓(xùn)練，如果未完成則返回訓(xùn)練模型繼續(xù)訓(xùn)練，否則整個(gè)模型訓(xùn)練完成。

在神經(jīng)網(wǎng)絡(luò)模型預(yù)測(cè)中，先加載已經(jīng)訓(xùn)練完成的模型參數(shù)，加載圖片分類的標(biāo)簽值，以便模型后續(xù)預(yù)測(cè)結(jié)果輸出，然后在用戶端傳入需要分類的圖片，系統(tǒng)得到待識(shí)別的圖片后，顯示進(jìn)行圖片的預(yù)處理，將相關(guān)的參數(shù)進(jìn)行統(tǒng)一化，使用已經(jīng)加載的神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)，最后輸出當(dāng)前圖片的識(shí)別結(jié)果，完成整個(gè)圖像識(shí)別的流程。

2.3 卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練結(jié)果及分析

本次設(shè)計(jì)的訓(xùn)練模型在訓(xùn)練過程中模型訓(xùn)練的迭代次數(shù)最大為40，選用的塊大小為128，通過采用GPU模式來(lái)加速神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，在訓(xùn)練模型中加入了Dropout正則化[13]對(duì)系統(tǒng)進(jìn)行優(yōu)化處理來(lái)防止訓(xùn)練過程中發(fā)生過擬合現(xiàn)象，同時(shí)對(duì)數(shù)據(jù)集照片進(jìn)行圖集擴(kuò)充，如：旋轉(zhuǎn)、縮放、翻轉(zhuǎn)等，模型對(duì)擴(kuò)充以后的數(shù)據(jù)集在訓(xùn)練過程中也無(wú)發(fā)生過擬合現(xiàn)象。由損失函數(shù)曲線圖(見圖8)可知，訓(xùn)練模型訓(xùn)練到后期時(shí)，隨著模型學(xué)習(xí)率逐漸降低，損失函數(shù)也保持穩(wěn)定下降，當(dāng)卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練模型在迭代次數(shù)達(dá)到25次時(shí)，損失函數(shù)的曲線就開始逐漸趨向于穩(wěn)定。而根據(jù)模型訓(xùn)練的準(zhǔn)確率曲線圖(見圖9)可知，在剛開始幾次中，訓(xùn)練模型的準(zhǔn)確率偏低，這是由于模型訓(xùn)練迭代次數(shù)較少而導(dǎo)致的模型參數(shù)沒有得到最優(yōu)化，不過在模型訓(xùn)練迭代次數(shù)逐漸增加的過程中，同時(shí)模型數(shù)據(jù)集的識(shí)別率也逐漸提高，當(dāng)卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型在更迭次數(shù)達(dá)到25次時(shí)，模型的準(zhǔn)確率曲線圖也逐步趨于穩(wěn)定。綜合2張曲線圖可知，該模型迭代25次時(shí)達(dá)到模型的最佳迭代次數(shù)。通過采用一種基于卷積神經(jīng)網(wǎng)絡(luò)而設(shè)計(jì)的訓(xùn)練模型，其準(zhǔn)確率可達(dá)到96%。

圖8 損失函數(shù)下降曲線

圖9 訓(xùn)練模型識(shí)別準(zhǔn)確率曲線

3 結(jié)語(yǔ)

本文基于卷積神經(jīng)網(wǎng)絡(luò)AlexNet設(shè)計(jì)的圖像識(shí)別模型，對(duì)于小規(guī)模的圖像分類，即使對(duì)數(shù)據(jù)加入旋轉(zhuǎn)、縮放、翻轉(zhuǎn)，預(yù)測(cè)時(shí)仍然保持穩(wěn)定的精確度。但是面向大規(guī)模圖像分類還有待提高，未來(lái)的工作將進(jìn)一步調(diào)整網(wǎng)絡(luò)框架、網(wǎng)絡(luò)內(nèi)部?jī)?yōu)化學(xué)習(xí)更精確的特征表達(dá)，使得該訓(xùn)練模型具有更好的應(yīng)用前景。隨著這一領(lǐng)域理論的不斷深入研究，圖像識(shí)別和理解中的卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用將會(huì)有更好的發(fā)展。