基于深度學(xué)習(xí)的圖像識(shí)別算法研究

◆衣世東

(信息工程大學(xué) 河南 450002)

0 引言

隨著科技的不斷發(fā)展，智能手機(jī)、數(shù)碼相機(jī)等電子設(shè)備逐漸普及，人們獲取圖像的手段也越來(lái)越豐富。如何從海量的圖像中提取到有用的特征信息，進(jìn)而對(duì)圖像進(jìn)行辨別變得十分重要。2006年深度學(xué)習(xí)算法的提出，憑借其強(qiáng)大的數(shù)學(xué)表征能力，迅速成為圖像識(shí)別領(lǐng)域的研究熱點(diǎn)。深度學(xué)習(xí)通過(guò)深度神經(jīng)網(wǎng)絡(luò)構(gòu)建算法，能夠?qū)D像特征進(jìn)行分層提取，并且通過(guò)大量數(shù)據(jù)訓(xùn)練自動(dòng)學(xué)習(xí)特征，提取全局特征和上下文信息的能力，極大推動(dòng)了圖像識(shí)別技術(shù)的發(fā)展。

近些年來(lái)，用于圖像識(shí)別的深度學(xué)習(xí)算法不斷取得突破，算法模型不斷涌現(xiàn)。主要有早期的深度信念網(wǎng)絡(luò)（Deep Belief Nets,DBN）、去噪自動(dòng)編碼機(jī)（DenosingAutoencoder）、三元因子玻爾茲曼機(jī)、深度玻爾茲曼機(jī)及卷積神經(jīng)網(wǎng)絡(luò)等。本文梳理了深度學(xué)習(xí)的基本原理，基于深度學(xué)習(xí)的圖像識(shí)別算法的研究現(xiàn)狀及性能對(duì)比，并展望了深度學(xué)習(xí)在圖像識(shí)別領(lǐng)域的發(fā)展方向。

1 深度學(xué)習(xí)的原理及發(fā)展歷程

1.1 深度學(xué)習(xí)的基本原理

深度學(xué)習(xí)通過(guò)模擬人類大腦處理信息的分層機(jī)理，構(gòu)建一個(gè)包含不少于3層的隱含層的架構(gòu)模型，逐層對(duì)輸入樣本提取特征，最后輸出能夠正確還原該樣本。

設(shè)一個(gè)系統(tǒng) S包含了 n層網(wǎng)絡(luò)結(jié)構(gòu),各層分別標(biāo)記為S1,S2,S3,…Sn,系統(tǒng)的輸入為I,輸出為O,則該系統(tǒng)的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)數(shù)學(xué)表達(dá)式可以簡(jiǎn)單表示為：I=>S1=>S2=>S3…=>Sn=>O，如果得到的輸出O與輸入I相等,則表示I經(jīng)過(guò)逐層變換之后，得到的O與I之間包含的數(shù)據(jù)沒有改變，每一層Si都是輸入I的另外一種表示。在實(shí)際的深度學(xué)習(xí)模型中，輸入I經(jīng)過(guò)每一層都會(huì)丟失部分信息，所以需要不斷調(diào)整系統(tǒng)的參數(shù)，使得O與I之間的誤差盡可能的小，從而獲取I的每一層近似的特征表示S1’,S2’,S3’,…Sn’。

利用這種深層網(wǎng)絡(luò)系統(tǒng)可以很好地進(jìn)行圖像識(shí)別，其中I表示輸入的原始圖像，經(jīng)過(guò)逐層提取圖像特征，最終輸出O實(shí)現(xiàn)圖像的分類識(shí)別。第Si層的輸出作為第Si+1層的輸入，第Si+1層的特征比第Si層的特征具有更高的區(qū)分性，并且通過(guò)訓(xùn)練調(diào)整各層參數(shù)使輸入與輸出的結(jié)果接近，最后利用分類器對(duì)O中的特征進(jìn)行分類識(shí)別。

1.2 深度學(xué)習(xí)的發(fā)展歷程

深度學(xué)習(xí)起源于人工智能，主要模擬人腦的神經(jīng)網(wǎng)絡(luò)，采用多個(gè)非線性變換結(jié)構(gòu)對(duì)已知數(shù)據(jù)進(jìn)行高層次的抽象建模，并對(duì)未知事件作出預(yù)測(cè)和決定。20世紀(jì)80年代以來(lái)，隨著適用于多層感知器的反向傳播算法的提出，有效解決了人工神經(jīng)網(wǎng)絡(luò)的非線性分類和學(xué)習(xí)問(wèn)題，神經(jīng)網(wǎng)絡(luò)迎來(lái)了大發(fā)展。

2006年，加拿大多倫多大學(xué)的Hinton教授提出了深度置信網(wǎng)絡(luò)（deep belief network，DBN），該網(wǎng)絡(luò)由一系列受限波爾茲曼機(jī)（Restricted Boltzmann Machine,RBM）構(gòu)成，采用無(wú)監(jiān)督的逐層貪婪訓(xùn)練提取特征，獲取多個(gè)層級(jí)的深度網(wǎng)絡(luò)結(jié)構(gòu)，通過(guò)有監(jiān)督的調(diào)整訓(xùn)練，避免網(wǎng)絡(luò)收斂到局部最小值。該研究成果的發(fā)表，掀起了深度學(xué)習(xí)的發(fā)展熱潮。2012年的 ImageNet挑戰(zhàn)賽上，Hinton教授的研究小組采用基于CNN的檢測(cè)模型Alexnet一舉奪得冠軍，使得深度學(xué)習(xí)在圖像識(shí)別領(lǐng)域的應(yīng)用取得巨大成功，Google、Facebook、Microsoft、百度等科技巨頭紛紛成立研究機(jī)構(gòu)繼續(xù)開展深度學(xué)習(xí)領(lǐng)域的研究。

2 基于深度學(xué)習(xí)的圖像識(shí)別算法研究及性能對(duì)比

2.1 基于深度學(xué)習(xí)的圖像識(shí)別算法的基本原理

由于圖像數(shù)據(jù)可以認(rèn)為是一組二維像素值輸入，而卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neuron Networks，CNN）由若干個(gè)卷積層及全連接層組成，并且包括相關(guān)權(quán)值和池化層，CNN的這種結(jié)構(gòu)能夠充分利用數(shù)據(jù)的二維結(jié)構(gòu)，使得識(shí)別圖像具有較高的準(zhǔn)確率。CNN還使用標(biāo)準(zhǔn)的反向傳播算法進(jìn)行訓(xùn)練，具有較少的參數(shù)估計(jì)，相較其他深度模型也更容易訓(xùn)練。

圖1 基于CNN的圖像識(shí)別的模型圖

如圖1所示為基于CNN的圖像識(shí)別基本模型。首先該模型對(duì)輸入圖像進(jìn)行區(qū)域劃分，之后將圖像輸入 CNN網(wǎng)絡(luò)進(jìn)行特征提取和識(shí)別，最后根據(jù)圖像特征進(jìn)行分類。

2.2 基于深度學(xué)習(xí)的圖像識(shí)別算法的研究進(jìn)展

（1）區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Region CNN）算法

區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（R-CNN）算法首先利用Selective Search將圖像劃分為2000個(gè)統(tǒng)一分辨率的分塊，之后輸入CNN提取特征值，再經(jīng)分類器進(jìn)行分類識(shí)別，找到最終的特征窗口，最后使用回歸器精細(xì)修正特征窗口的位置。文獻(xiàn)[14]針對(duì)傳統(tǒng)基于深度學(xué)習(xí)的圖像識(shí)別候選窗選擇隨機(jī)識(shí)別速度慢及準(zhǔn)確率不高等問(wèn)題，將RCNN方法引入檢測(cè)領(lǐng)域，一舉將PASCAL VOC 2010上的檢測(cè)準(zhǔn)確率從35.1mAP提升到了53.7mAP。

（2）空間金字塔池化算法

空間金字塔池化（Spatial Pyramid Pooling，SPP）算法引入SPP層進(jìn)行提取特征。首先SPP-Net對(duì)待檢測(cè)的圖像劃分出2000個(gè)候選窗，之后采用金字塔空間池化將整幅待檢測(cè)圖像送入 CNN網(wǎng)絡(luò)，提取固定長(zhǎng)度的特征向量，最后采用支持向量機(jī)（Support Vector Machine，SVM）算法進(jìn)行特征向量的分類識(shí)別。由于SPP-Net算法將所有的卷積只計(jì)算一次，解決了R-CNN算法中特征提取重復(fù)計(jì)算的問(wèn)題，因此檢測(cè)效率大大提高。文獻(xiàn)[15]中在同等條件下與 R-CNN進(jìn)行比較發(fā)現(xiàn)識(shí)別速度大幅提高，將R-CNN的識(shí)別準(zhǔn)確率從58.5mAP提高到59.2mAP，而且速度快了24倍。

（3）快速R-CNN算法

快速R-CNN（Fast R-CNN）算法引入一個(gè)簡(jiǎn)易的SPP層——感興趣池化層（Region of Interest Pooling Layer）進(jìn)行特征提取。Fast R-CNN首先對(duì)輸入圖像提取出 2000個(gè)左右的區(qū)塊，通過(guò)CNN中的卷積層和池化層生成特征映射，在最后一個(gè)卷積層上對(duì)每個(gè)RoI求映射，并引入RoI池化層統(tǒng)一大小。經(jīng)過(guò)兩個(gè)全連接層之后得到兩個(gè)輸出向量：一個(gè)是分類函數(shù)，使用softmax函數(shù)進(jìn)行目標(biāo)識(shí)別；另一個(gè)是用回歸模型進(jìn)行邊框位置大小的微調(diào)。

RoI池化層的輸入是N個(gè)特征映射和R個(gè)RoI（R>>N）。N個(gè)特征映射來(lái)自于最后一個(gè)卷積層，每個(gè)特征映射大小均為H×W×C。每個(gè)RoI是一個(gè)元組(n, r, c, h, w)，n是特征映射的索引，n∈{0, ... ,N-1}，(r,c)是RoI左上角的坐標(biāo)，(h, w)是高與寬。池化層的輸出是最大池化過(guò)的特征映射，大小為 H′×W′×C（H′≤H，W′≤W）。對(duì)于RoI，網(wǎng)格大小近似為h/H′×w/W′，這樣就有H′W′個(gè)輸出映射，其大小取決于RoI的大小。

文獻(xiàn)[16]實(shí)驗(yàn)證明，在相同情況下Fast R-CNN比R-CNN的訓(xùn)練速度快8.8倍，測(cè)試時(shí)間快213倍，比SPP-Net訓(xùn)練速度快2.6倍，測(cè)試速度快10倍左右。

（4）Faster R-CNN算法

Faster R-CNN算法引入?yún)^(qū)域建議網(wǎng)絡(luò)（Region Proposal Network，RPN）替代R-CNN中候選框提取法，采用了RPN+Fast R-CNN的方法。Faster R-CNN首先利用RPN對(duì)圖像進(jìn)行候選框提取，之后采用Fast R-CNN的方法對(duì)RPN提取的特征框進(jìn)行檢測(cè)并識(shí)別圖像中的目標(biāo)。

圖2 RPN流程圖

RPN流程如圖 2所示，這里以 ZF模型為例。首先 Faster R-CNN使用一個(gè)3×3的滑動(dòng)窗口在末端卷積得到的特征圖上進(jìn)行卷積，生成一個(gè)長(zhǎng)度為256維的低維向量，最后將該向量送到兩個(gè)全連接層分別用于分類和邊框回歸，同時(shí) 3×3的滑動(dòng)窗口對(duì)應(yīng)每個(gè)特征區(qū)域同時(shí)預(yù)測(cè)輸入圖像的3種尺寸和長(zhǎng)寬比，稱為錨點(diǎn)。

文獻(xiàn)[17]測(cè)試的該算法在簡(jiǎn)單網(wǎng)絡(luò)目標(biāo)檢測(cè)速度達(dá)到了17FPS，在VOC 2007上檢測(cè)準(zhǔn)確率達(dá)到了59.9%，復(fù)雜網(wǎng)絡(luò)檢測(cè)速度可達(dá)5FPS，準(zhǔn)確率為73.2%。

（5）YOLO算法

YOLO網(wǎng)絡(luò)借鑒了GoogLeNet分類網(wǎng)絡(luò)結(jié)構(gòu)，首先將輸入圖像分成若干個(gè)網(wǎng)格，每個(gè)格子負(fù)責(zé)檢測(cè)劃分到該格子中的物體。若某個(gè)物體中心位置的坐標(biāo)落入到某個(gè)格子，那么這個(gè)格子就負(fù)責(zé)檢測(cè)出該物體。每個(gè)格子的輸出包含物體的邊界框信息及物體類別的概率信息。因此，輸入圖像只要經(jīng)過(guò)一次檢測(cè)，就會(huì)得到圖像中所有物體的位置及其所屬類別的置信概率。

文獻(xiàn)[20]中描述該方法基礎(chǔ)版的檢測(cè)速度可達(dá)45FPS的實(shí)時(shí)檢測(cè)，快速版檢測(cè)速度可高達(dá)155FPS，并且背景誤差率低。

（6）SSD算法

SSD網(wǎng)絡(luò)分為兩個(gè)部分，包括一個(gè)去掉與分類相關(guān)層的圖像分類基礎(chǔ)網(wǎng)絡(luò)和卷積特征層。卷積層的特征圖選取大小隨機(jī)，以便能夠檢測(cè)出不同尺度的物體。卷積特征層獲取到的每個(gè)特征圖上的每個(gè)點(diǎn)，按照不同的分類和長(zhǎng)寬比生成k個(gè)默認(rèn)框。

新增加的每個(gè)卷積層的特征圖都會(huì)通過(guò)一些小的卷積核操作，得到對(duì)應(yīng)的默認(rèn)框相對(duì)不同物體類別 (c1,c2,…,cp) 的偏移及其置信度。在大小為 m×n, 具有 p通道的特征圖上，若使用的卷積核為3×3×p，則對(duì)于一個(gè)特征圖上k個(gè)默認(rèn)框中的每一個(gè)點(diǎn)，需要計(jì)算出c個(gè)類別，還有這個(gè)點(diǎn)相對(duì)于它的默認(rèn)框的4個(gè)偏移值。在特征圖中的每一個(gè)點(diǎn)上，需要有(c+4)×k個(gè)卷積濾波器。對(duì)于一張m×n大小的特征圖，會(huì)有(c+4)×k×m×n個(gè)輸出結(jié)果。

文獻(xiàn)[22]驗(yàn)證了SSD 相比較于其他單結(jié)構(gòu)模型（如YOLO）能夠取得更高的精度，在VOC 2007測(cè)試中，當(dāng)輸入大小為300×300的圖像時(shí)，SSD在GPU中能夠以46FPS取得74.3%的mAP。當(dāng)輸入圖像大小為512×512時(shí)，SSD能夠以22FPS取得了76.8%的mAP。

（7）各算法的比較分析

R-CNN算法采用了滑動(dòng)窗口的方法進(jìn)行候選框提取，再用CNN對(duì)候選框進(jìn)行圖像特征提取，最后用SVM分類器進(jìn)行圖像分類；SPP-Net取消了候選框大小固定的限制，可以對(duì)任意尺寸的特征進(jìn)行池化；Fast R-CNN、Faster R-CNN則分別用分類+回歸和RPN代替了SVM和特征框提取，更好地加速了訓(xùn)練和識(shí)別的速度。YOLO與R-CNN類似，但是通過(guò)共享卷積特征方法提取候選框和目標(biāo)識(shí)別；SSD則采納了RPN和YOLO的特長(zhǎng)，能夠達(dá)到更高的識(shí)別精度。各算法的具體性能對(duì)比如表1所示。

表1 各識(shí)別算法性能對(duì)比

3 深度學(xué)習(xí)在圖像識(shí)別領(lǐng)域的未來(lái)發(fā)展

隨著深度學(xué)習(xí)的發(fā)展以及圖像識(shí)別領(lǐng)域需求量的不斷增加，未來(lái)深度學(xué)習(xí)在圖像識(shí)別的發(fā)展趨勢(shì)會(huì)越來(lái)越優(yōu)化，越來(lái)越智能。本文提出了未來(lái)深度學(xué)習(xí)在圖像識(shí)別領(lǐng)域的一些發(fā)展方向：

3.1 模型層次不斷增加，結(jié)構(gòu)日趨復(fù)雜

深度學(xué)習(xí)需要對(duì)圖像的目標(biāo)特征進(jìn)行逐層建模，如果網(wǎng)絡(luò)模型的深度不夠，其所需要的計(jì)算單元會(huì)呈指數(shù)增加，而隨著圖像識(shí)別復(fù)雜度的增加，需要將圖像劃分成越來(lái)越多的局部區(qū)域，這就需要不斷加深模型層次。通過(guò)多個(gè)層次的特征學(xué)習(xí)，模型學(xué)到的特征越來(lái)越全局化，越來(lái)越真實(shí)的還原圖像，例如，AlexNet獲得ImageNet 2012冠軍時(shí)所用的網(wǎng)絡(luò)使用了5個(gè)卷積層、3個(gè)pool層和2個(gè)全連接層。ILSVRC2014的冠軍GoogLeNet使用了59個(gè)卷積層、16個(gè) pool層和 2個(gè)全連接層。2015年，微軟的ResNet更是使用了152個(gè)卷積層，模型的深度和復(fù)雜度可見一斑。

3.2 訓(xùn)練數(shù)據(jù)的規(guī)模迅速增加

由于深度學(xué)習(xí)模型越來(lái)越復(fù)雜，需要的特征也越來(lái)越多，這就需要大量的訓(xùn)練數(shù)據(jù)來(lái)提升分類或預(yù)測(cè)的準(zhǔn)確性。目前，深度學(xué)習(xí)算法的訓(xùn)練數(shù)據(jù)普遍都是幾十萬(wàn)、上百萬(wàn)級(jí)別，對(duì)于Google、Facebook、Microsoft、百度等科技巨頭來(lái)講，其訓(xùn)練數(shù)據(jù)則是千萬(wàn)、甚至數(shù)億級(jí)別，ImageNet全庫(kù)已經(jīng)收集將近2.2萬(wàn)個(gè)類別共約1420萬(wàn)幅圖像，但是現(xiàn)有的圖像數(shù)據(jù)依然不能滿足日益增長(zhǎng)的訓(xùn)練需求。

3.3 模型的識(shí)別效率和檢測(cè)精度越來(lái)越高

隨著深度學(xué)習(xí)模型的不斷發(fā)展，圖像識(shí)別效率和準(zhǔn)確率都有了大幅度的提升。早期的R-CNN模型在GPU上處理一張圖片需要13s，CPU上則需要53s，其在PASCAL VOC 2007上的檢測(cè)準(zhǔn)確率可達(dá)53.7%。而2015年的Faster R-CNN模型在簡(jiǎn)單網(wǎng)絡(luò)目標(biāo)的檢測(cè)速度達(dá)到了17FPS，復(fù)雜網(wǎng)絡(luò)環(huán)境下也可到5FPS，準(zhǔn)確率可達(dá)78.8%。2016年的YOLO模型在保證檢測(cè)準(zhǔn)確率不下降的前提下，可以達(dá)到45FPS的檢測(cè)速度。模型識(shí)別效率和檢測(cè)精度不斷提高。

4 結(jié)束語(yǔ)

近些年來(lái)，隨著深度學(xué)習(xí)領(lǐng)域的研究不斷深入，極大地推動(dòng)了圖像識(shí)別技術(shù)的研究進(jìn)展，圖像識(shí)別技術(shù)的研究和應(yīng)用突飛猛進(jìn)。世界各大科技公司紛紛投入巨資收購(gòu)和建設(shè)以圖像識(shí)別為主要課題的智能團(tuán)隊(duì)?？梢灶A(yù)見，在未來(lái)的數(shù)年內(nèi)，深度學(xué)習(xí)將會(huì)在理論、算法和應(yīng)用等各方面進(jìn)入高速發(fā)展的時(shí)期，也必將對(duì)圖像識(shí)別領(lǐng)域和其他相關(guān)行業(yè)產(chǎn)生深遠(yuǎn)的影響。

[1]王曉剛.圖像識(shí)別中的深度學(xué)習(xí)[J].中國(guó)計(jì)算機(jī)學(xué)會(huì)通訊，2015.

[2] Hinton G E，Osindero S，Teh Y W．A fast learning algorithm for deep belief nets[J]．Neural Computation，2006.

[3] Vincent P，Larochelle H，Bengio Y，et al．Extracting and composing robust features with denoising autoencoder s[C]//Proc eedings of the 25th International Conference on Machine Learning，New York，Ny，Usa，2008.

[4] Ranzato M A，Hinton G E．Modeling pixel means and covariances using factorized third-order boltzmann machines[C]//IEEE Conference on Computer Vision and Pattern Recognition，SanFrancisc，CA:IEEE，2010.

[5] Salakhutdinov R，Hinton G E．Deep boltzmann machines[C]//International Conference on Artificial Intelligence and Statistics，2009.

[6] Deng L，Abdel-Hamid O，Yu D．A deep convolutional neural network using heterogeneous pooling for trading acoustic invariance with phonetic confusion[C]//Acoustics，Speech and Signal Processing(ICASSP)，2013 IEEE International Conference on．IEEE，2013.

[7] Y Bengio，A Courvile，P Vincent．Representation learning:A Review and New Perspectives[C]//IEEE Trans． PAMI，special issue Learning Deep Architectures，2013.

[8] Rumelhart D E，Hinton G E，Williams R J.Learning representations by back-propagating errors[J].Nature，1986.

[9] Mohamed A R，Dahl G，Hinton G E．Deep belief networks for phone recognition[C]//NIPS 22 Workshop Deep Learning for Speech Recognition，2009.

[10] Salakhutdinov R,Mnih A,Hinton G E．Restricted Boltzmann machines for collaborative filtering[C]//Proceedings of the 24th International Conference on Machine Learning，ACM，2007.

[11] Krizhevsky A，Sutskever I，Hinton G E．ImageNet classification with deep convolutional neural networks[C]//Neural Information Processing Systems，2012.

[12]LeCun Y，Bottou L，Bengio Y，et al．Gradient-based learning applied to document recognition[C]．Proceedings of the IEEE，1998.

[13]Scherer D，Müller A，Behnke S．Evaluation of pooling operations in convolutional architectures for object recognition[C]//International Conference on Artifical Neural Networks，2010.

[14]Girshick R，Donahue J，Darrell T，et al．Rich feature hierarchies for accurate object detection and semantic segmentation[C]//International Conference on Computer Vision and Pattern Recogintion(CVPR)，2014.

[15]He K M，Zhang X Y，Ren S Q，et al．Spatial pyramid pooling in deep convolutional networks for visual recognition[C]．IEEE Transactions on Pattern Analysis & Machine Intelligence，2015.

[16]Girshick R.Fast R-CNN[C]//International Comference on Computer Vision(ICCV)，2015.

[17]Ren S Q，He K M，Girshick R，et al．Faster R-CNN:towards real-time object detection with region proposal networks[C]．IEEE Transactions on Pattern Analysis & Machine Intelligence，2015.

[18]Zeiler M D，F(xiàn)ergus R．Visualizing and understanding convolutional networks[C]．European Conference on Computer Vision，2014.

[19]Szegedy C，Liu W，Jia Y，et al．Going deeper with convolutions[C]//International Conference on Computer Vision& Pattern Recogintion(CVPR)，2015.

[20]Redmon J，Divvala S，Girshick R，et al．You only look once:unified,real-time object detection[C]//International Conference on Computer Vision & Pattern Recogintion(CVPR)，2016.

[21]Simonyan K，Zisserman，A．Very deep convolutional networks for large-scale image recognition[C]//International Conference on Learning Representations(ICLR)，2015.

[22]Liu W，Anguelov D，Erhan D，et al．SSD:single shot multiBox detector[C]//European Conference on Computer Vision(ECCV)，2016.

[23]He K M，Zhang X Y，Ren S Q，et al．Deep residual learning for image recognition.[C]//International Conference on Computer Vision & Pattern Recogintion(CVPR)，2016.