基于輕量型卷積神經(jīng)網(wǎng)絡的交通標志識別方法①

程 越, 劉志剛

(東北石油大學 計算機與信息技術學院, 大慶 163318)

隨著城市現(xiàn)代化建設和人工智能技術的崛起, 現(xiàn)代城市智能化交通系統(tǒng)得到了進一步發(fā)展.道路交通標志識別技術作為無人駕駛和智能輔助駕駛系統(tǒng)的重要組成部分, 在智能化交通系統(tǒng)的建設中有重要的戰(zhàn)略意義[1], 如何實時高效地完成交通標志識別任務成為國內(nèi)外研究的熱點.

對于交通標志的識別方法可分為兩類, 基于手工選取典型特征的方法和深度學習中的卷積神經(jīng)網(wǎng)絡方法CNN[2].基于手工典型特征的方法如方向梯度直方圖HOG[3]、尺度不變特征變換SIFT[4], 局部二值模式LBP[5]等, 這類方法基于人工設計獲取特征, 數(shù)據(jù)預處理工作繁瑣, 提取的特征局限性大.而CNN 無需對圖像做復雜預處理, 直接以像素作為輸入, 在輸入到識別的過程中提取圖像特征, 具有很強的自適應性和學習能力, 成為了圖像識別領域的核心模型.

在ILSVRC 2012 競賽中AlexNet[6]取得了冠軍, 之后GoogleNet[7], VGGNet[8], ResNet[9]等模型又被相繼提出, CNN 在圖像分類任務上的精度不斷提高.然而,現(xiàn)有CNN 應用于嵌入式交通標志識別設備有以下不足: (1)模型內(nèi)存占用高, 無法嵌入交通標志識別設備.以AlexNet 為例, 其參數(shù)一共6000 萬之多, 在Imagenet-1000 上的訓練模型達到200 MB, 而VGG16 模型參數(shù)更是達到了1.38 億.(2)模型計算開銷大, 小型嵌入式設備無法支持運算.現(xiàn)有CNN 模型在訓練和使用中需要在高性能設備上進行, 如高性能CPU 和GPU 等, 這些設備往往體積大、價格高、計算開銷大, 而交通標志識別設備的功耗和硬件性能較低, 無法支持計算.(3)現(xiàn)有CNN 模型的全連接層參數(shù)訓練慢, 無法滿足識別設備的實時性.

針對以上問題, 本文引入兩種輕量化卷積方法: 深度可分離卷積[10]和混洗分組卷積[11]并與極限學習機[12]相結(jié)合, 提出兩種輕量型卷積神經(jīng)網(wǎng)絡模型: DSCELM 模型和SGC-ELM 模型.新模型首先利用輕量化卷積方法構(gòu)建卷積層, 減少卷積層的參數(shù)使模型輕量化, 然后以ELM 作為分類器, 接受經(jīng)卷積層提取的特征進行分類.設計實驗, 在德國交通標志數(shù)據(jù)集[13]和比利時交通標志數(shù)據(jù)集[14]上, 通過VGG16 模型、基于深度分離卷積的MobileNet 模型、基于混洗分組卷積的ShuffleNet 模型與新模型DSC-ELM 和SGC-ELM 進行對比實驗.實驗結(jié)果表明: 新模型在識別精度上高于其他模型, 并且訓練速度比MobileNet 和Shuffle-Net 模型更快.新模型有著模型輕量化、可嵌入性高、訓練速度快以及識別精度高的優(yōu)點, 使得新模型在分類識別交通標志的總體性能較現(xiàn)有CNN 模型更加優(yōu)秀.

1 輕量型卷積神經(jīng)網(wǎng)絡

1.1 深度可分離卷積

深度可分離卷積(Depthwise Separable Convolution, DSC)的創(chuàng)新點在于將卷積操作分為兩部分: 深度卷積(depthwise convolution)和1×1 卷積(pointwise convolution).如圖1 所示, 深度可分離卷積先保持通道間的分離, 進行深度卷積, 然后再進行1×1 卷積.

圖1 卷積核

普通卷積與深度可分離卷積的參數(shù)對比: 設M 為通道數(shù), 卷積核的高度為 DK, 輸入的寬和高為 DF, 卷積核的個數(shù)為N.普通卷積的計算量為:

深度可分離卷積的計算量為:

深度可分離卷積與普通卷積計算量之比為:

由此可得, 使用深度可分離卷積代替普通卷積來構(gòu)建模型可使模型輕量化.標準卷積核和深度可分離卷積核如圖1 所示.

1.2 混洗分組卷積

混洗分組卷積(Shuffled Grouped Convolution,SGC)是將分組卷積法和通道混洗機制結(jié)合起來.分組卷積法如圖2 所示, 將卷積核拆分為兩組進行分組卷積, 每組包含 Dout/2個卷積核, 分別與對應部分的輸入進行卷積.每組卷積核卷積完成后都會得到 Dout/2通道的輸出, 然后將通道堆疊最終得到所需的 Dout通道輸出.此時卷積的計算量為:

圖2 分組卷積法

相比普通卷積的計算量減少一半, 當分組數(shù)增加時, 模型的參數(shù)也就隨之減少.

分組卷積雖然可以減少模型參數(shù), 但是每組卷積核僅對輸入的固定部分向后傳遞的信息進行處理, 這樣就局限了卷積核學習的特征, 阻礙了訓練過程中通道組之間的信息流動, 減弱了特征表示.解決以上問題的方法就是在分組卷積的基礎上引入通道混洗機制.

通道混洗機制如圖3 所示, 將卷積核分為三組的分組卷積, 在執(zhí)行一次卷積操作后, 將得到的特征拆分為若干組, 混洗后再輸入下一次分組卷積.利用分組卷積法和通道混洗機制相結(jié)合的方法構(gòu)建卷積層, 可以減少模型參數(shù)量, 加強通道組間的信息流通, 增強特征表示能力.

圖3 通道混洗機制

2 極限學習機

現(xiàn)有CNN 網(wǎng)絡利用全連接層進行分類, 需要依靠梯度下降訓練算法更新參數(shù), 導致模型學習慢, 而且泛化能力較差, 易陷入局部最小[15].極限學習機(Extreme Learning Machines, ELM)是由南洋理工大學黃廣斌教授提出的求解單隱層前饋神經(jīng)網(wǎng)絡的學習算法.極限學習機只需要人為確定隱含層中神經(jīng)元的個數(shù), 輸入層到隱含層的權重為一次隨機確定并且在算法執(zhí)行過程中無需再調(diào)整, 隱含層到輸出層的權重則是通過求廣義逆的方法得到, 無需經(jīng)過迭代.由于極限學習機獨特的求參機制, 將CNN 全連接層替換為ELM 可以加快模型訓練速度, 提高泛化性.

極限學習機結(jié)構(gòu)如圖4 所示.假設有 N個任意樣本(Xi,ti), 其中:

圖4 極限學習機

具有L 個隱層節(jié)點的單隱層神經(jīng)網(wǎng)絡可以表示為:

其中, g(x) 為激活函數(shù), Wi=[wi,1,wi,2,···,wi,n]T為輸入權重, βi為輸出權重, bi是 第i 個隱層單元的偏置,Wi·Xj是 Wi和 Xj的內(nèi)積, o i=[oi1,oi2,···,oim]T表示網(wǎng)絡輸出值.ELM 成本函數(shù) E為:

學習目標是使得 E 最小, 即存在 βi, Wi和 bi使得:

矩陣表示為:

其中, H 為神經(jīng)網(wǎng)絡隱層節(jié)點的輸出矩陣, β為輸出權重, T 為期望輸出.

式中, W 為輸入層到隱含層的權值; b 為隱含層偏置;g()為激活函數(shù).極限學習機的思想為: 隨機確定 Wi和bi進 而可得到輸出矩陣H, 再通過式(6)求得輸出權重 β.

3 輕量級卷積神經(jīng)網(wǎng)絡與ELM 相結(jié)合

現(xiàn)有CNN 模型內(nèi)存占用高、計算開銷大、訓練速度慢, 無法適用于移動交通標志識別設備.模型采用輕量化卷積代替普通卷積的策略, 可實現(xiàn)在犧牲合理精度的基礎上極大減少卷積層的參數(shù), 提升訓練速度.然而, 模型的全連接層在訓練過程中需要耗費大量時間確定自身參數(shù), 所以要想使模型訓練更加快速, 除修改卷積層外, 還應對分類器進行改進.ELM 有著獨特的求參機制, 將其作為分類器有訓練速度快、泛化性強的優(yōu)點.但ELM 對輸入特征的質(zhì)量有較高的要求.

根據(jù)以上情況, 將輕量型卷積神經(jīng)網(wǎng)絡與ELM 結(jié)合起來可以充分發(fā)揮各自的優(yōu)勢: 使用輕量化卷積方法構(gòu)建卷積層可使模型輕量化, 并且提取的特征可靠,滿足ELM 對特征的高要求[16]; ELM 分類器獨特的求參機制, 使得模型分類更加快速準確.

3.1 DSC-ELM 模型

DSC-ELM (Depthwise Separable Convolution-ELM)模型結(jié)構(gòu)可分為兩部分:

(1)特征提取部分: 特征提取部分采用深度可分離卷積構(gòu)建卷積層.此部分包含兩個普通3×3 卷積和17 個bottleneck.每個bottleneck 包含以下3 個操作:首先經(jīng)過pointwise convolution 擴展通道, 擴展倍數(shù)除第一個bottleneck 為1 倍外均為6 倍; 再進行depthwise convolution; 最后再利用pointwise convolution 壓縮通道.這種“先擴張, 后壓縮”的設計可以通過將通道數(shù)擴大, 從中間層獲得更多特征.圖像輸入模型后首先進行3×3 卷積, 然后將得到的特征圖送入17 個bottleneck中, 經(jīng)過17 個bottleneck 后, 再進行一次3×3 卷積, 特征提取部分結(jié)束.表1 為特征提取部分結(jié)構(gòu).

表1 DSC-ELM 特征提取部分結(jié)構(gòu)

(2)分類部分: 模型使用ELM 分類器替換卷積神經(jīng)網(wǎng)絡中的全連接層.將特征提取部分提取的特征展平后作為ELM 分類器的輸入, 然后進行分類.

近年來，各高校投入了大量經(jīng)費用于學科技術建設和實驗室建設改造，為跟上時代步伐，對實驗儀器進行了大量更新，各實驗室都添置了大量的新型儀器，學校的綜合實力得到了提高，實驗教學的設施條件得到了明顯的改善。但同時，各實驗室也積累了大量閑置和淘汰的儀器設備；實驗室的儀器、設備，必然要報廢、淘汰、更新，這是無可非議的。但如何處理這些數(shù)額龐大的淘汰儀器，更科學、更合理地利用資源，使之發(fā)揮更多作用，是值得思考的。若能變“廢”為“寶”，有效利用，不僅能為學校節(jié)約可觀的資源，還可另辟“蹊徑”，打開一條鍛煉學生動手能力、拓展思維空間之路。

DSC-ELM 模型總體結(jié)構(gòu)如圖5 所示.

圖5 DSC-ELM 模型結(jié)構(gòu)

3.2 SGC-ELM 模型

SGC-ELM (Shuffled Grouped Convolution-ELM)模型結(jié)構(gòu)可分為兩部分:

(1)特征提取部分: 特征提取部分采用混洗分組卷積構(gòu)建卷積層.此部分包括: 1 個3×3 卷積、1 個3×3 的最大池化、3 個Stage 以及GlobalPool.每個Stage包含若干個ShuffleNet unit, ShuffleNet unit 結(jié)構(gòu)如圖6所示.

圖像輸入模型后先經(jīng)過3×3 卷積和3×3 的最大池化操作, 然后將特征送入3 個Stage.經(jīng)過3 個Stage后, 再進行1 次GlobalPool 操作, 特征提取部分結(jié)束.表2 為特征提取部分結(jié)構(gòu).

(2)分類部分: 將特征提取部分提取的特征展平后輸入ELM 進行分類.

SGC-ELM 模型總體結(jié)構(gòu)如圖7 所示.

3.3 新模型的訓練

(1)首先對模型進行預訓練.預訓練模型的目的是保證網(wǎng)絡卷積層提取的特征是有效的, 若不進行預訓練, 模型提取的特征質(zhì)量低, 影響最終的分類結(jié)果;

(2)預訓練結(jié)束后, 將圖像輸入模型提取特征;

(3)分類器訓練.將提取的特征展平后輸入ELM分類器, 通過公式 β= H+T求得極限學習機隱含層到輸出層的權值參數(shù), 模型訓練結(jié)束.

圖6 ShuffleNet unit 結(jié)構(gòu)

表2 SGC-ELM 特征提取部分結(jié)構(gòu)

圖7 SGC-ELM 模型結(jié)構(gòu)

4 實驗與分析

4.1 數(shù)據(jù)集

4.2 實驗設計

所有實驗的硬件環(huán)境為CPU: Intel(R) Core(TM)i5-8300H 2.30 GHz 8 G.GPU: NVIDIA GeForce GTX 1050 Ti 4G.網(wǎng)絡模型: 實驗使用預訓練VGG16、預訓練MobileNet、預訓練ShuffleNet 與新模型DSC-ELM和SGC-ELM 作對比實驗.

(1)準備數(shù)據(jù)集, 并對數(shù)據(jù)集進行預處理.將數(shù)據(jù)集圖片轉(zhuǎn)換為jpg 格式, 每張圖片歸一化為48×48, 其目的是為了節(jié)省內(nèi)存開銷, 加快訓練速度.

(2)準備模型, 并加載預訓練參數(shù): VGG16 加載ImageNet 數(shù)據(jù)集預訓練參數(shù); MobileNet 加載Cifa100數(shù)據(jù)集預訓練參數(shù); ShuffleNet 加載ImageNet 數(shù)據(jù)集預訓練參數(shù); 新模型DSC-ELM 和SGC-ELM 的特征提取部分分別加載Cifa100 和ImageNet 數(shù)據(jù)集預訓練參數(shù).加載預訓練參數(shù)的目的是使ELM 接收的特征可靠, 從而達到更精確的分類結(jié)果.

(3)設置網(wǎng)絡超參數(shù): 迭代次數(shù)在GTSRB 數(shù)據(jù)集上設為10, 在Belgium TSC 數(shù)據(jù)集上設為50; 批處理大小設為32; 學習率設為0.001, 并在每次循環(huán)后對學習率進行衰減, 衰減率為0.98.

(4)如圖8 所示, 將數(shù)據(jù)集送入模型進行訓練和測試.

圖8 模型的訓練和測試

(5)從精度、訓練時間、內(nèi)存占用對比5 種模型的實驗結(jié)果.

4.3 實驗結(jié)果與對比分析

5 種網(wǎng)絡模型在GTSRB 和Belgium TSC 數(shù)據(jù)集上的實驗結(jié)果如表3 所示.

表3 實驗結(jié)果

(1)測試精度對比分析.5 種模型的測試精度從高到低依次為DSC-ELM、SGC-ELM、VGG16、MobileNet、ShuffleNet.MobileNet 和ShuffleNet 精度低于VGG16,原因是采用了輕量化卷積方法構(gòu)建卷積層, 卷積層參數(shù)減少, 導致?lián)p失一定的精度.DSC-ELM 與SGCELM 模型精度均達到98%以上, 高于其他模型, 其原因在于新模型采用ELM 作為分類器, ELM 泛化性強,在接受到良好特征后能達到很好的分類效果, 而其他模型采用梯度下降算法更新參數(shù), 易陷入局部極值, 損失精度.

(2)訓練時間對比分析.從表3 看出, 5 種模型訓練速度從快到慢依次為: SGC-ELM、DSC-ELM、ShuffleNet、MobileNet、VGG16.VGG16 模型參數(shù)龐大, 導致計算緩慢, 在5 種模型中耗時最長.ShuffleNet、MobileNet 模型參數(shù)量少, 訓練速度較快, 而ShuffleNet相較于MobileNet 少了1×1 卷積, 速度快于MobileNet.SGC-ELM 和DSC-ELM 在訓練速度上明顯優(yōu)于其他模型, 原因在模型的ELM 分類器可通過廣義逆一次求得權值參數(shù), 而其他模型在訓練時需要計算梯度信息,并通過迭代進行調(diào)整, 耗費時間較長.

(3)內(nèi)存占用對比分析: 從表3 看出, 5 種模型內(nèi)存占用從高到低依次為: VGG16、MobileNet、ShuffleNet、DSC-ELM、SGC-ELM.VGG16 模型參數(shù)龐大, 導致內(nèi)存占用高.MobileNet 和ShuffleNet 采用輕量化卷積構(gòu)建卷積層, 模型參數(shù)量較少, 內(nèi)存占用較VGG16 低,而ShuffleNet 模型結(jié)構(gòu)中采用Shuffle 替換1×1 卷積,相比MobileNet 減少大量權值參數(shù).DSC-ELM、SGCELM 模型無全連接層, 而是采用單隱層的ELM 作為分類器, 相比其他模型內(nèi)存占用低, SGC-ELM 采用ShuffleNet unit 構(gòu)成, 模型參數(shù)量小于DSC-ELM, 內(nèi)存占用較DSC-ELM 低.

5 結(jié)論

現(xiàn)有CNN 為了追求高的分類精度, 模型深度加深, 復雜度提高, 導致模型內(nèi)存占用高, 訓練速度慢.交通標志識別設備的功耗和硬件性能較低, 對模型的速度和精度要求較高, 使得現(xiàn)有CNN 模型無法應用于這種設備.針對以上問題, 本文通過引入兩種輕量化卷積方法并與極限學習機相結(jié)合, 提出兩種輕量型卷積神經(jīng)網(wǎng)絡模型: DSC-ELM 模型和SGC-ELM 模型.新模型通過采用輕量化卷積方法構(gòu)建卷積層進行特征提取,使模型輕量化, 并以ELM 作為分類器, 接受提取的特征進行分類, 解決了現(xiàn)有CNN 全連接層參數(shù)訓練速度慢的問題.通過實驗驗證, 新模型相較于對比模型訓練速度快, 分類精度高, 內(nèi)存占用低, 可以很好的應用于嵌入式交通標志識別設備.