基于隨機(jī)化網(wǎng)絡(luò)的自主平臺(tái)實(shí)時(shí)場(chǎng)景分類方法研究

代英鵬，王軍政，李靜

（北京理工大學(xué) 自動(dòng)化學(xué)院, 北京 100081）

自主平臺(tái)在許多領(lǐng)域有著廣泛的應(yīng)用. 場(chǎng)景分類作為自主平臺(tái)的關(guān)鍵技術(shù)，用于理解環(huán)境信息以執(zhí)行后續(xù)任務(wù). 對(duì)于場(chǎng)景分類任務(wù)，卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks, CNN）具有優(yōu)異的性能.然而，這些方法往往通過(guò)誤差反向傳播來(lái)調(diào)整參數(shù)，從而導(dǎo)致收斂速度慢[1].

基于隨機(jī)化的神經(jīng)網(wǎng)絡(luò)[2?4]隨機(jī)分配隱藏層的參數(shù)，以獲得更好的泛化能力和提高參數(shù)的訓(xùn)練效率. 其在各種各樣的任務(wù)上都取得了顯著的效果，近年來(lái)受到了越來(lái)越多的關(guān)注[5?12]. 為了進(jìn)一步提高隨機(jī)特征表示能力，基于隨機(jī)化的神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)了核函數(shù)[13?14]，實(shí)驗(yàn)結(jié)果表明，這些算法具有較快的收斂速度和良好的泛化性能. 由于單一隱藏層結(jié)構(gòu)的特征提取能力有限，為克服這一問(wèn)題，常用的解決方法是深化網(wǎng)絡(luò)結(jié)構(gòu)[7,15?19]. 例如，提出了多層極限學(xué)習(xí)機(jī)[15]實(shí)現(xiàn)逐層無(wú)監(jiān)督學(xué)習(xí). 與深度網(wǎng)絡(luò)類似，多層極限學(xué)習(xí)機(jī)基于自動(dòng)編碼器獲得多層網(wǎng)絡(luò). 相對(duì)于單隱藏層隨機(jī)化網(wǎng)絡(luò)，多層極限學(xué)習(xí)機(jī)的分割精度大幅度提高. H-ELM 算法由無(wú)監(jiān)督的多層特征編碼和有監(jiān)督的特征分類兩部分組成. 對(duì)于實(shí)際的計(jì)算機(jī)視覺應(yīng)用，H-ELM 算法比其他許多方法具有更快的收斂速度和更好的泛化性能. 此外，基于隨機(jī)化的神經(jīng) 網(wǎng) 絡(luò) 與CNN 結(jié) 合[19?23]，CNN 被 用 于 特 征 提 取 器，隨機(jī)化神經(jīng)網(wǎng)絡(luò)被用于分類器. 卷積隨機(jī)向量函數(shù)連接（convolutional random vector function link network，CRVFL）網(wǎng)絡(luò)[20]結(jié)合了隨機(jī)向量函數(shù)連接（random vector function link network，RVFL）網(wǎng)絡(luò)和卷積操作.在CRVFL 網(wǎng)絡(luò)中，卷積層的參數(shù)被隨機(jī)初始化并保持固定，只需要學(xué)習(xí)全連接層的參數(shù). 與現(xiàn)有基于RVFL 的方法相比，CRVFL 具有良好的性能和較高的訓(xùn)練效率. 基于隨機(jī)化的神經(jīng)網(wǎng)絡(luò)避免了傳統(tǒng)反向傳播神經(jīng)網(wǎng)絡(luò)的缺陷，具有更快的訓(xùn)練速度和良好的學(xué)習(xí)性能. 然而，基于隨機(jī)化的方法中的全連接結(jié)構(gòu)導(dǎo)致網(wǎng)絡(luò)具有許多參數(shù). 同時(shí)，基于隨機(jī)化的方法提取局部特征的能力較差.

目前對(duì)于分類任務(wù)，基于隨機(jī)化的網(wǎng)絡(luò)結(jié)構(gòu)能夠進(jìn)行實(shí)時(shí)處理，但其全連接結(jié)構(gòu)導(dǎo)致模型不能有效地提取局部特征，從而導(dǎo)致單隱層隨機(jī)化網(wǎng)絡(luò)的精度受限. 集成算法能夠有效提升算法的準(zhǔn)確性早已被證明，通過(guò)集成結(jié)構(gòu)提高單隱層隨機(jī)化網(wǎng)絡(luò)的精度是一種有效的方法，但集成結(jié)構(gòu)通過(guò)大量增加模型的復(fù)雜度及引入大量參數(shù)實(shí)現(xiàn)精度的提高，不利于實(shí)時(shí)任務(wù). 為了解決上述問(wèn)題，從提高隨機(jī)化網(wǎng)絡(luò)提取特征能力以及保持集成性能的同時(shí)降低集成結(jié)構(gòu)的復(fù)雜性兩方面入手，設(shè)計(jì)了一種隨機(jī)化網(wǎng)絡(luò)集成結(jié)構(gòu)E-MCRNet. 作為集成網(wǎng)絡(luò)的核心，MCRNet 引入了多尺度卷積層. 大步長(zhǎng)卷積運(yùn)算可以保留更多的細(xì)節(jié)信息并減少計(jì)算量；大膨脹率有利于擴(kuò)大感受野；多種卷積模板能夠提取多尺度特征信息.這些操作可以提取豐富的特征并更好地描述目標(biāo).為進(jìn)一步提高網(wǎng)絡(luò)泛化能力，多個(gè)MCRNet 構(gòu)成集成框架E-MCRNet，并且每個(gè)分支網(wǎng)絡(luò)共享部分隱藏層加快推理速度和降低模型復(fù)雜度.

主要貢獻(xiàn)如下：

①針對(duì)實(shí)時(shí)場(chǎng)景分類任務(wù)，提出了一種輕量級(jí)網(wǎng)絡(luò)集成體系結(jié)構(gòu)E-MCRNet. 在單一網(wǎng)絡(luò)的基礎(chǔ)上，E-MCRNet 可以有效地提高精度和泛化能力. 每個(gè)分支網(wǎng)絡(luò)共享部分隱藏層，可以加快推理速度和減少參數(shù)數(shù)量. 該算法部署到自主平臺(tái)上，并在真實(shí)環(huán)境中進(jìn)行了測(cè)試，能夠快速有效地識(shí)別場(chǎng)景信息.

②提出基于多級(jí)卷積隨機(jī)化的神經(jīng)網(wǎng)絡(luò)MCRNet，用多尺度卷積層代替全連接層，可以提取多尺度局部特征信息，更好地表達(dá)隨機(jī)特征，從而提高模型性能，降低模型復(fù)雜度.

1 E-MCRNet 算法

在本節(jié)中，將詳細(xì)介紹總體集成結(jié)構(gòu)和分支網(wǎng)絡(luò). 首先，介紹作為核心組件的MCRNet 的設(shè)計(jì)思想、理論基礎(chǔ)以及網(wǎng)絡(luò)結(jié)構(gòu)；然后，在MCRNet 的基礎(chǔ)上，設(shè)計(jì)網(wǎng)絡(luò)集成框架結(jié)構(gòu)E-MCRNet. 本文主要研究在保證精度的基礎(chǔ)上如何加快推理速度以及降低模型復(fù)雜度.

1.1 MCRNet 框架設(shè)計(jì)

基于隨機(jī)化的神經(jīng)網(wǎng)絡(luò)，如基于ELM、基于RVFL和基于寬度學(xué)習(xí)（broad learning system，BLS）的算法，隨機(jī)生成隱藏層權(quán)重并解析計(jì)算輸出權(quán)重. 因此，這些模型具有良好的泛化能力. 然而，輸入層和隱藏層之間的全連接方法會(huì)產(chǎn)生大量參數(shù)，增加計(jì)算復(fù)雜度. 此外，全連接方法也不能有效地提取局部特征.這些將導(dǎo)致基于隨機(jī)化的神經(jīng)網(wǎng)絡(luò)花費(fèi)更多的計(jì)算資源訓(xùn)練其權(quán)重. 為了解決這些問(wèn)題，將全連接層替換為卷積層. 圖1 展示了MCRNet 框架.

圖1 MCRNet 框架Fig.1 MCRNet architecture

MCRNet 框架結(jié)構(gòu)包括輸入層、隱藏層和輸出層. 在輸入層和隱藏層之間，采用多尺度卷積運(yùn)算提取局部特征. 與全連接方法相比，卷積運(yùn)算可以引入較少的參數(shù)提取隱藏層的特征，并且能夠同時(shí)處理二維數(shù)據(jù)和一維數(shù)據(jù). 在這里，“卷積+最大池”操作被大步長(zhǎng)卷積操作取代，以降低特征維數(shù)，這可以保留更多的空間特征信息. 此外，采用不同膨脹率的卷積運(yùn)算進(jìn)一步提取豐富的特征信息. 這一過(guò)程表現(xiàn)為

式中：Hmain和Hsub為不同特征空間中的隱藏層特征；σ和 ?分別表示激活函數(shù)和卷積運(yùn)算；X、W和b分別為輸入數(shù)據(jù)、卷積模板和偏差. 提取隨機(jī)特征后，將不同的二維隱藏層特征映射展平并進(jìn)行級(jí)聯(lián)操作.最后，將串聯(lián)的一維隱藏層特征輸入分類器，表示如下

式中：Y為預(yù)測(cè)分類結(jié)果；Fβ為關(guān)于權(quán)重β的全連接操作. 對(duì)于給定的標(biāo)簽T，使用J來(lái)描述預(yù)測(cè)結(jié)果Y和真實(shí)值T之間的差異. 此處，價(jià)值函數(shù)定義如下

為尋找最佳的β，令 ?βJ為0. 此時(shí)，最佳權(quán)重矩陣β可以通過(guò)下式得到

定義H=[HmainHsub].Hξ為H的偽逆矩陣，表示為Hξ=(HTH)?1HT. 由此，預(yù)測(cè)的類別可以用下式表示

MCRNet 將全連接層替換為卷積層，并且卷積層使用不同大小的卷積核在不同的特征空間提取局部特征. 與CRVFL 相比，MCRNet 能夠以更少的計(jì)算資源提取更豐富的空間特征和保留更多的細(xì)節(jié)特征.

1.2 E-MCRNet 集成框架設(shè)計(jì)

集成框架具有更強(qiáng)的泛化能力，從而提高精度.然而，這種架構(gòu)極大的降低了推理速度，并引入大量的參數(shù). 為了解決這個(gè)問(wèn)題，設(shè)計(jì)E-MCRNet 集成框架，如圖2 所示.

圖2 E-MCRNet 框架Fig.2 E-MCRNet architecture

E-MCRNet 結(jié)構(gòu)堆疊多個(gè)MCRNet 以預(yù)測(cè)結(jié)果.與并行集成結(jié)構(gòu)不同，E-MCRNet 的每個(gè)分支學(xué)習(xí)器共享隱藏層的部分通道，以降低計(jì)算復(fù)雜度，加快推理速度. 對(duì)于E-MCRNet 架構(gòu)，首先生成一個(gè)主隱藏層和多個(gè)子隱藏層以提取隨機(jī)特征. 然后，將主隱藏層分別與每個(gè)子隱藏層級(jí)聯(lián)形成多個(gè)分支學(xué)習(xí)器.利用偽逆運(yùn)算計(jì)算每個(gè)分支學(xué)習(xí)器的輸出層權(quán)重，并預(yù)測(cè)結(jié)果. 最后使用投票法等集成機(jī)制對(duì)每個(gè)分支學(xué)習(xí)器的預(yù)測(cè)結(jié)果進(jìn)行處理，得到最終的預(yù)測(cè)分類結(jié)果. 在此，使用相對(duì)多數(shù)投票法對(duì)每個(gè)分支學(xué)習(xí)器的預(yù)測(cè)結(jié)果進(jìn)行集成

2 實(shí)驗(yàn)結(jié)果與分析

在本節(jié)中，將在MNIST 手寫數(shù)字?jǐn)?shù)據(jù)集[24]和CIFAR-10 數(shù)據(jù)集[25]對(duì)E-MCRNet 的性能進(jìn)行驗(yàn)證.在上述數(shù)據(jù)集，將E-MCRNet 與可訓(xùn)練網(wǎng)絡(luò)（如FCCNN[26]、DC-GD[27]、BPNDSS[28]、Coarse-to-fine CNN[29]）以及基于隨機(jī)化的神經(jīng)網(wǎng)絡(luò)（如基于ELM 的算法、基于RVFL 的算法和基于BLS 的算法）在準(zhǔn)確性和訓(xùn)練時(shí)間方面進(jìn)行比較. 實(shí)驗(yàn)使用Python 2.7 進(jìn)行測(cè)試，處理設(shè)備信息為：ubuntu 16.04 LTS 64 位，AMD Ryzen 72700 八核處理器×16，RAM 16 Gib. 算法的性能主要通過(guò)測(cè)試精度（ACC.）來(lái)衡量，如下所示

式中：N為測(cè)試數(shù)據(jù)的數(shù)量；yi和ti分別為預(yù)測(cè)結(jié)果和相應(yīng)的標(biāo)簽； ?(yi,ti)為一個(gè)指示函數(shù)

模型的參數(shù)量由兩部分組成，一是卷積操作的參數(shù)量，由下式表示

式中：Cin與Cout分別為相鄰兩層的通道數(shù)；K×M為卷積核的大小. 二是全連接操作的參數(shù)量，由下式表示

式中Nin和Nout分別為相鄰兩層的節(jié)點(diǎn)數(shù).

2.1 在CIFAR-10 數(shù)據(jù)集上的性能估計(jì)

CIFAR-10 數(shù)據(jù)集由60 000 個(gè)32×32 彩色圖像組成. 50 000 張圖像用于訓(xùn)練，10 000 張圖像用于測(cè)試.數(shù)據(jù)集有10 個(gè)類，每個(gè)類包含6 000 個(gè)圖像，其中包含5 000 張訓(xùn)練圖片和1 000 張測(cè)試圖片. 訓(xùn)練數(shù)據(jù)集被劃分為12 個(gè)分支訓(xùn)練數(shù)據(jù)集，每個(gè)分支訓(xùn)練數(shù)據(jù)集包含從50 000 張圖像中隨機(jī)選擇的30 000 張圖像.在CIFAR-10 數(shù)據(jù)集上，E-MCRNet 與ELM、ELMKMPE、V-ELM、RVFL 和CRVFL 等網(wǎng)絡(luò)結(jié)構(gòu)在測(cè)試精度、參數(shù)量及模型的計(jì)算復(fù)雜度三個(gè)方面進(jìn)行比較，結(jié)果如表1 所示[30?34]. 其中，模型的計(jì)算復(fù)雜度使用浮點(diǎn)運(yùn)算數(shù)（FLOPs）表示，1 MFLOPs=106FLOPs.N1表示經(jīng)過(guò)全連接層輸出的隱藏層節(jié)點(diǎn)數(shù)量，C1表示經(jīng)過(guò)卷積層輸出的隱藏層通道數(shù)量.

表1 在CIFAR-10 數(shù)據(jù)集上的結(jié)果Tab.1 Results on the CIFAR-10 dataset

ELM 的輸出層僅與隱藏層連接，而RVFL 輸入層與輸出層之間存在直接連接. 因此，RVFL 利用隱藏層學(xué)習(xí)的非線性核增強(qiáng)原始數(shù)據(jù)來(lái)提高泛化能力. 表1 中，RVFL 的測(cè)試精度比ELM 高5.30%，同時(shí)參數(shù)低312.53 萬(wàn). 但RVFL 所需的計(jì)算力比ELM 高6.25 MFLOPs. 與ELM 算法相比，ELM-KMPE 算法使用KMPE 作為損失函數(shù)以獲得更好的性能. 表1 中ELM-KMPE 的測(cè)試精度比ELM 高2.85%. V-ELM 合并了多個(gè)獨(dú)立的ELM，并通過(guò)多數(shù)表決法進(jìn)行決策.與ELM 相比，V-ELM 的測(cè)試精度比其高5.72%. 但由于其平行的集成結(jié)構(gòu)，V-ELM 的MFLOPs 約為ELM的11 倍. CRVFL 是為了簡(jiǎn)化視覺跟蹤系統(tǒng)而提出的，它只需要學(xué)習(xí)全連接層中的參數(shù). 在CIFAR-10數(shù)據(jù)集上的實(shí)驗(yàn)表明，CRVFL 的測(cè)試精度高于ELM、RVFL 和ELM-KMPE，但CRVFL 的參數(shù)量?jī)H為10.51萬(wàn). MCRNet 改變?nèi)B接提取隨機(jī)特征的方式，采用多尺度卷積操作提取局部隨機(jī)特征，同時(shí)使用大步長(zhǎng)代替池化操作保留更多的空間特征信息. MCRNet 僅使用10.3 萬(wàn)個(gè)參數(shù)即可達(dá)到83.21%的測(cè)試精度，而其所需的算力僅為1.57 MFLOPs. 相對(duì)于ELM等全連接方式提取特征的網(wǎng)絡(luò)，MCRNet 具有明顯的精度、計(jì)算復(fù)雜度及參數(shù)優(yōu)勢(shì). 為進(jìn)一步提高M(jìn)CRNet 的泛化性能，提出了E-MCRNet 集成框架結(jié)構(gòu).E-MCRNet 在CIFAR-10 數(shù)據(jù)集上的測(cè)試精度達(dá)到93.49%，遠(yuǎn)遠(yuǎn)高于表1 中的其他算法. 雖然E-MCRNet 比MCRNet 多了117.07 萬(wàn)個(gè)參數(shù)，但其測(cè)試精度比MCRNet 高10.28%. 總體來(lái)說(shuō)，E-MCRNet 在CIFAR-10 數(shù)據(jù)集上實(shí)現(xiàn)了良好的性能.

2.2 在MNIST 數(shù)據(jù)集上的性能估計(jì)

MNIST 手寫數(shù)字?jǐn)?shù)據(jù)庫(kù)由70 000 個(gè)0～9 的灰度數(shù)字圖像組成，圖像大小為28×28. 其中，60 000 張圖像用于訓(xùn)練，10 000 張圖像用于測(cè)試. 實(shí)驗(yàn)中，卷積步長(zhǎng)為2，隱藏層通道數(shù)為30，分支網(wǎng)絡(luò)數(shù)量為15.由于可訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)的計(jì)算復(fù)雜度遠(yuǎn)高于隨機(jī)化網(wǎng)絡(luò)，并且對(duì)于相同的隨機(jī)化網(wǎng)絡(luò)，在不同數(shù)據(jù)集中模型復(fù)雜度的相對(duì)大小是不變的. 所以在MNIST數(shù)據(jù)集，將E-MCRNet 與可訓(xùn)練神經(jīng)網(wǎng)絡(luò)和基于隨機(jī)化的神經(jīng)網(wǎng)絡(luò)僅在精度方面進(jìn)行了比較，分類結(jié)果如表2 所示.

表2 在MNIST 數(shù)據(jù)集上的結(jié)果Tab.2 Results on the MNIST dataset

作為早期的神經(jīng)網(wǎng)絡(luò)，LeNet-5 的測(cè)試精度達(dá)到98.96%. 其他的可訓(xùn)練網(wǎng)絡(luò)也取得與LeNet-5 類似或者更加優(yōu)異的性能. 特別是Coarse-to-fine CNN 產(chǎn)生99.29%的準(zhǔn)確率. 總體來(lái)說(shuō)，大多數(shù)可訓(xùn)練神經(jīng)網(wǎng)絡(luò)的誤差在2%以內(nèi). 然而，這些模型通常要花很長(zhǎng)的時(shí)間來(lái)訓(xùn)練它們的權(quán)重. 此外，這些深而寬的網(wǎng)絡(luò)結(jié)構(gòu)引入了大量的參數(shù)及高的計(jì)算復(fù)雜度. 基于隨機(jī)化的神經(jīng)網(wǎng)絡(luò)，如ELM 和BLS 可以在一定程度上緩解這些問(wèn)題. 它們像可訓(xùn)練的神經(jīng)網(wǎng)絡(luò)一樣產(chǎn)生高精度，但卻花費(fèi)更少的時(shí)間訓(xùn)練權(quán)重. 同時(shí)淺層架構(gòu)引入了較低的模型復(fù)雜性. 在表2 中，除ELM 外，其他隨機(jī)化神經(jīng)網(wǎng)絡(luò)產(chǎn)生的精度均高于98%. 基于隨機(jī)化網(wǎng)絡(luò)設(shè)計(jì)的MCRNet，用帶有不同卷積模板的卷積層代替全連接層，進(jìn)一步降低了模型的復(fù)雜性和參數(shù). 隨后，將多個(gè)MCRNet 疊加形成E-MCRNet. 在MNIST 手寫數(shù)字?jǐn)?shù)據(jù)庫(kù)上，E-MCRNet 達(dá)到99.47%的測(cè)試準(zhǔn)確率. 與可訓(xùn)練神經(jīng)網(wǎng)絡(luò)和基于隨機(jī)化的神經(jīng)網(wǎng)絡(luò)相比，E-MCRNet 在保持較低計(jì)算復(fù)雜度和較少參數(shù)的同時(shí)，產(chǎn)生了具有競(jìng)爭(zhēng)力的精度.

2.3 真實(shí)環(huán)境場(chǎng)景分類

在工程應(yīng)用中，自主平臺(tái)需要判別場(chǎng)景信息. 在實(shí)際環(huán)境中，本地校園環(huán)境作為測(cè)試環(huán)境，自主平臺(tái)[36?37]如圖3 所示. CCD 攝像機(jī)用于捕捉圖像. 然后，這些圖像被傳輸?shù)紸I 嵌入式設(shè)備（Nvidia Jetson AGX Xavier），并通過(guò)E-MCRNet 進(jìn)行處理. 控制系統(tǒng)根據(jù)處理結(jié)果做出相應(yīng)的響應(yīng). 圖4 顯示了場(chǎng)景分類的結(jié)果. 根據(jù)環(huán)境信息，局部的校園環(huán)境分為4 種情況：停車場(chǎng)/建筑、道路、道路/建筑、汽車/道路/花園. 自主平臺(tái)識(shí)別不同的場(chǎng)景以調(diào)整其自身的狀態(tài).例如，在速度方面，當(dāng)在當(dāng)前場(chǎng)景中識(shí)別停車場(chǎng)時(shí)，自主平臺(tái)需要減速. 在該測(cè)試中，E-MCRNet 能夠很好地識(shí)別每個(gè)場(chǎng)景信息.

圖3 自主平臺(tái)Fig.3 Autonomous platform

圖4 場(chǎng)景分類結(jié)果Fig.4 Scene classification results

3 結(jié) 論

基于隨機(jī)化的神經(jīng)網(wǎng)絡(luò)，提出MCRNet 網(wǎng)絡(luò)結(jié)構(gòu). MCRNet 將全連接層替換為卷積層. 利用多尺度卷積模板提取多尺度特征信息；大步長(zhǎng)能夠在降低計(jì)算量的同時(shí)保留更多大的空間信息. 為進(jìn)一步提高精度，多個(gè)MCRNet 框架形成E-MCRNet 集成框架. 與廣泛使用的并行集成結(jié)構(gòu)不同，E-MCRNet 中的分支網(wǎng)絡(luò)彼此共享部分隱藏層，達(dá)到減少參數(shù)量及降低集成模型復(fù)雜度的目的. 在MNIST 和CIFAR-10 數(shù)據(jù)集上，E-MCRNet 的準(zhǔn)確率分別達(dá)到99.44%和93.51%. 與其他類似的算法相比，E-MCRNet 在保持可接受的模型運(yùn)行速度的同時(shí)，產(chǎn)生具有競(jìng)爭(zhēng)力的精度. 實(shí)際環(huán)境中的實(shí)驗(yàn)顯示，E-MCRNet 能夠很好地在移動(dòng)平臺(tái)運(yùn)行. 總體而言，E-MCRNet 能夠克服嵌入式設(shè)備有限內(nèi)存的影響，很好地完成場(chǎng)景分類任務(wù).