基于ResNet18的減速帶識別及其環(huán)境影響研究*

管淑賢，葛萬成

（同濟(jì)大學(xué)，上海 200092）

0 引言

近年來，關(guān)于自動駕駛的研究正在如火如荼的開展中。自動駕駛意在減少人力勞動，增加車輛駕駛的安全性和可靠性。傳統(tǒng)的自動駕駛決策算法需要人類設(shè)定許多繁復(fù)的規(guī)則，系統(tǒng)效率低，而基于深度學(xué)習(xí)的自動駕駛是讓汽車通過與環(huán)境交互便可以做出正確的判斷與決策[1]，具有巨大的優(yōu)勢。其中，用來獲取自動駕駛汽車視野中信息的是系統(tǒng)中的視覺感知模塊，可以通過攝像機(jī)獲取豐富的圖像信息，對行車視野中出現(xiàn)的目標(biāo)進(jìn)行識別[2]。

對目標(biāo)進(jìn)行識別是后期對目標(biāo)進(jìn)行定位、檢測以及分割的基礎(chǔ)。通過查閱相關(guān)資料尚未看到對減速帶這一場景的研究，甚至沒有找到關(guān)于減速帶的公開數(shù)據(jù)集。本文研究自動駕駛中的減速帶分類，使得車輛在即將遇到減速帶時正確識別并及時減速。

本文基于ResNet18 訓(xùn)練出一個網(wǎng)絡(luò)，可以獲得較好的減速帶識別準(zhǔn)確率，并比較了不同的光照、雨雪量等影響下的識別準(zhǔn)確率?？梢钥闯?，ResNet18 在訓(xùn)練不太大數(shù)據(jù)集時具備優(yōu)越性，以及利用OpenCV 合成不同的模擬現(xiàn)實(shí)環(huán)境能夠影響減速帶識別的準(zhǔn)確率，為自動駕駛技術(shù)的進(jìn)一步發(fā)展奠定了基礎(chǔ)。

1 減速帶分類系統(tǒng)層次化框架結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）在計(jì)算機(jī)視覺和自動駕駛等領(lǐng)域受到了廣泛應(yīng)用。傳統(tǒng)的前饋神經(jīng)網(wǎng)絡(luò)只有全連接層，而卷積神經(jīng)網(wǎng)絡(luò)主要采用卷積層和池化層作為其核心層，因而相較傳統(tǒng)神經(jīng)網(wǎng)絡(luò)其在特征提取和泛化方面能力更強(qiáng)，也具備更好的識別和預(yù)測性能[3]。理論上隨著網(wǎng)絡(luò)深度的增加，網(wǎng)絡(luò)的學(xué)習(xí)能力應(yīng)該同步增加，訓(xùn)練結(jié)果越來越好。但是，實(shí)際結(jié)果并非如此。簡單的堆疊層數(shù)不僅沒有提高模型訓(xùn)練能力，反而出現(xiàn)了模型退化，使梯度爆炸或消失。

基于這種情況，深度殘差網(wǎng)絡(luò)ResNet 被提出。這種網(wǎng)絡(luò)大大提高了模型層數(shù)，也提高了模型準(zhǔn)確率，主要通過在一個準(zhǔn)確率很高的淺層網(wǎng)絡(luò)后面加入一個輸入和輸出相等的恒等映射[4]，提高模型準(zhǔn)確率的同時，再次將模型轉(zhuǎn)化為一個淺層網(wǎng)絡(luò)。

1.1 ResNets 殘差網(wǎng)絡(luò)構(gòu)成

如果可以完全擬合恒等映射函數(shù)H(x)=X，那么自然無需考慮網(wǎng)絡(luò)疊加所導(dǎo)致的退化問題，但是現(xiàn)有的網(wǎng)絡(luò)無法做到這一點(diǎn)。如果可以將網(wǎng)絡(luò)設(shè)計(jì)為H(x)=F(x)+x，其中恒等映射是網(wǎng)絡(luò)的一部分，那該問題需從得出恒等映射轉(zhuǎn)化為了研究殘差函數(shù)F(x)=H(x)-x。從該等式很容易看出，當(dāng)F(x)=0，恒等映射H(x)=x成立[5]，由此產(chǎn)生了殘差塊（Residual Block）結(jié)構(gòu)，殘差塊結(jié)構(gòu)圖如圖1 所示。圖1 中右側(cè)曲線即為“跳遠(yuǎn)連接”（Shortcut Connection），指的是跳過一層或者多層的連接，將信息送往神經(jīng)網(wǎng)絡(luò)的更深層，通過“跳遠(yuǎn)連接”的方式使得殘差塊可以訓(xùn)練到更深層次的神經(jīng)網(wǎng)絡(luò)。

圖1 殘差塊結(jié)構(gòu)原理

ResNets 網(wǎng)絡(luò)由許許多多的殘差塊構(gòu)成。構(gòu)建一個ResNets 網(wǎng)絡(luò)即將很多殘差塊堆疊在一起而形成的一個深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)。

1.2 ResNets 網(wǎng)絡(luò)的優(yōu)越性

假設(shè)現(xiàn)有一個大型神經(jīng)網(wǎng)絡(luò)，當(dāng)逐漸增加神經(jīng)網(wǎng)絡(luò)的深度時，網(wǎng)絡(luò)難以學(xué)習(xí)恒等函數(shù)的參數(shù)，導(dǎo)致最后的訓(xùn)練效果往往達(dá)不到預(yù)期，也會影響網(wǎng)絡(luò)性能。殘差網(wǎng)絡(luò)學(xué)習(xí)恒等函數(shù)比較容易，可將添加的網(wǎng)絡(luò)層看成一個個殘差塊。例如，一個20 層的普通網(wǎng)絡(luò)，每兩層之間通過跳遠(yuǎn)連接構(gòu)成一個殘差塊，那么這個普通網(wǎng)絡(luò)就成為一個由10 個殘差塊構(gòu)成的殘差網(wǎng)絡(luò)。網(wǎng)絡(luò)性能不僅沒有下降，而且甚至有所提提高。普通網(wǎng)絡(luò)轉(zhuǎn)化為殘差網(wǎng)絡(luò)也比較容易，只需要加入殘差塊即可。殘差網(wǎng)絡(luò)大大提高了網(wǎng)絡(luò)層數(shù)，通過殘差映射的方式進(jìn)行擬合，簡單易操作，同時提高了準(zhǔn)確率。

1.3 ResNet18

ResNets 網(wǎng)絡(luò)的變形有很多，如表1 所示，是一個常見的不同層數(shù)的ResNets 網(wǎng)絡(luò)的簡介。

表1 ResNets 結(jié)構(gòu)

其中，ResNet18 和ResNet34 采用包括兩個3×3 卷積操作的Basic Block（圖2）作為基本單元，而ResNet50、ResNet101 和ResNet152 則采用包含兩個1×1 卷積操作的Bottlenet Block（圖3）作為基本單元，目的是減少參數(shù)。

圖2 Basic Block

圖3 Bottlenet Block

本文采用的網(wǎng)絡(luò)是ResNet18，由17 個卷積層（conv）+1 個全連接層（fc）構(gòu)成。因?yàn)楸疚难芯康臏p速帶數(shù)據(jù)集并不大，所以不需要過多層次的殘差網(wǎng)絡(luò)，否則容易出現(xiàn)過擬合現(xiàn)象。

2 基于外部環(huán)境因素的圖像預(yù)處理設(shè)計(jì)

2.1 數(shù)據(jù)集的采集

因?yàn)椴⑽丛诰W(wǎng)上找到任何關(guān)于減速帶的數(shù)據(jù)集，所以本次實(shí)驗(yàn)的原始數(shù)據(jù)集由自己采集。采用1 200 萬像素的雙目攝像頭拍攝原始數(shù)據(jù)集共1 093張，其中隨機(jī)挑選875 張作為訓(xùn)練集，218 張作為測試集。原始數(shù)據(jù)集像素大小為3 024×3 024。

2.2 數(shù)據(jù)集預(yù)處理

本文采用的實(shí)驗(yàn)平臺：Ubuntu18.04.5 LTS（操作系統(tǒng)），32 GB（CPU），GeForce RTX 2080 super 8 GB（GPU），Python3.6，Pytorch1.6.0（深度學(xué)習(xí)框架）。在處理圖片時，首先將圖片大小由3 024×3 024 轉(zhuǎn)變?yōu)?56×256。

本次實(shí)驗(yàn)的主要目的是研究系統(tǒng)是否能夠正確分類減速帶，即向圖像傳感器中輸入一張圖片時系統(tǒng)是否可以正確識別減速帶，同時研究在不同的外部環(huán)境下如黑夜、下雨以及下雪等情況下系統(tǒng)識別的準(zhǔn)確率是否會有影響，且哪種外部環(huán)境所導(dǎo)致的準(zhǔn)確率影響最大。

為了達(dá)到這些目的，使用仿真技術(shù)處理數(shù)據(jù)集，模擬不同外部環(huán)境可能造成的準(zhǔn)確率變化。本文使用開源計(jì)算機(jī)視覺圖書館（Open Source Computer Vision Library，OpenCV）處理數(shù)據(jù)集，目的是合成模擬真實(shí)世界的仿真圖。OpenCV 是一個在計(jì)算機(jī)領(lǐng)域極其常見的數(shù)據(jù)庫，主要功能是處理視覺圖像[6]。而本文的圖像處理主要涉及亮度的調(diào)整以及雨雪效果的增加，其中亮度調(diào)整主要通過對圖片像素值調(diào)參實(shí)現(xiàn)，而雨雪效果則主要通過使用不同效果的卷積核對圖片像素進(jìn)行卷積運(yùn)算達(dá)成。圖4 是部分圖像進(jìn)行預(yù)處理后的展示。

圖4 opencv 處理出來的不同場景

3 實(shí)驗(yàn)結(jié)果及其分析

3.1 不同場景下減速帶分類準(zhǔn)確度的對比

對比不同雨量下減速帶分類的準(zhǔn)確度，如圖5所示。其中，橫坐標(biāo)是逐漸增大的雨量，縱坐標(biāo)是減速帶分類的準(zhǔn)確率。從圖5 可以看出：在雨量大小為0～600 時，準(zhǔn)確率下降不明顯；當(dāng)雨量大小超過600 時，準(zhǔn)確率下降明顯；在雨量大小到達(dá)1 000 時，在測試集上準(zhǔn)確率只有74.31%。

圖5 不同雨量下減速帶的識別準(zhǔn)確率

對比不同雪量下減速帶分類的準(zhǔn)確度，結(jié)果如圖6 所示。其中，縱坐標(biāo)依然是目標(biāo)識別的準(zhǔn)確率，橫坐標(biāo)是不同雪量。如圖6所示，隨著降雪量的增加，減速帶識別準(zhǔn)確率基本呈下降趨勢，但是下降并不是特別明顯。當(dāng)降雪量到達(dá)1 000 時，該網(wǎng)絡(luò)在測試集上的準(zhǔn)確率仍然有91.28%。

在光線不好的時候行車或者是夜間行車都是比較常見的駕駛場景，因此研究不同亮度下目標(biāo)識別的準(zhǔn)確率格外重要。本次試驗(yàn)中對比了不同亮度值下減速帶分類的準(zhǔn)確率，結(jié)果如圖7 所示，可以非常直觀地看到亮度值對減速帶識別準(zhǔn)確率的影響。當(dāng)量度比低于0.6 時，準(zhǔn)確率已經(jīng)很低。在傍晚（即亮度比為0.5）時，在測試集上的準(zhǔn)確率只有30.28%。

實(shí)驗(yàn)橫向?qū)Ρ攘瞬煌h(huán)境下目標(biāo)識別的準(zhǔn)確率，其中雨雪的準(zhǔn)確率都是選擇了最大雨雪量時的情況，即雨雪量為1 000 下的準(zhǔn)確率，將其和原圖識別情況做對比。如表2 所示，下雪對準(zhǔn)確率的影響最小，即使是在降雪量為1 000 的情況下，仍有91.28%的準(zhǔn)確率。此外，降雨使得準(zhǔn)確率下降不少，但是仍然是可接受的狀態(tài)。相比較雨雪場景，傍晚的準(zhǔn)確率最低，只有30.28%，已經(jīng)影響到安全駕駛。由于傍晚的模型分類效果最差，所以又做了兩組對比實(shí)驗(yàn)，分別是傍晚加不同雨量和傍晚加不同雪量的準(zhǔn)確率對比。

圖6 不同雪量下減速帶識別準(zhǔn)確率

圖7 不同亮度下減速帶識別準(zhǔn)確率

表2 不同場景下減速帶的識別準(zhǔn)確率

傍晚加不同雨量下減速帶識別準(zhǔn)確率的折線圖如圖8 所示。在傍晚的情況下雨量加到100 時，在測試集上的準(zhǔn)確率僅有27.06%，有了斷崖式下跌。

傍晚不同雪量下減速帶識別準(zhǔn)確率的折線圖如圖9 所示，與傍晚不同雨量場景的準(zhǔn)確率測試結(jié)果相似，準(zhǔn)確率下降明顯。在雪量為100 時，識別準(zhǔn)確率僅僅只有28.44%。

圖8 傍晚不同雨量中減速帶識別準(zhǔn)確率

圖9 傍晚不同雪量下減速帶識別準(zhǔn)確率

從對比試驗(yàn)中可以看出，在傍晚且有雨的情況下，目標(biāo)識別的準(zhǔn)確率最低，識別效果最差。為提升準(zhǔn)確率，決定對原數(shù)據(jù)集加入傍晚加不同雨量產(chǎn)生的新數(shù)據(jù)集進(jìn)行重新訓(xùn)練，然后測試不同雨量和傍晚加不同雨量下減速帶識別的準(zhǔn)確率，觀察其準(zhǔn)確率是否有上升，結(jié)果如圖10、圖11 所示。可見，混合訓(xùn)練下目標(biāo)識別準(zhǔn)確率有了較大提升，兩者測試集的準(zhǔn)確率都在97.2%以上。

圖10 經(jīng)混合訓(xùn)練后不同雨量下減速帶的識別準(zhǔn)確率

圖11 經(jīng)混合訓(xùn)練后傍晚不同雨量下減速帶的識別準(zhǔn)確率

3.2 實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)主要對比了不同雨量、雪量、亮度下減速帶識別準(zhǔn)確率的不同，可以看出，隨著雨雪量的增大和亮度的減少，準(zhǔn)確率呈下降趨勢。然后，定量地將傍晚、下雨以及下雪3 種情況與原圖作比較，可以發(fā)現(xiàn)，在傍晚目標(biāo)識別準(zhǔn)確率最低，僅有30.28%?；诎矸诸愋Ч畹默F(xiàn)象，又多做了兩組對比實(shí)驗(yàn)，分別是在傍晚下雨和在傍晚下雪的準(zhǔn)確率測試，顯而易見，準(zhǔn)確率大幅度下降?？梢钥闯?，這些外部場景都可以影響目標(biāo)分類的準(zhǔn)確性，其中傍晚下雨的環(huán)境下，網(wǎng)絡(luò)識別效果最差?；谶@個現(xiàn)象，在原數(shù)據(jù)集中加入傍晚加雨后生成的圖像構(gòu)成新數(shù)據(jù)集進(jìn)行重新訓(xùn)練，混合訓(xùn)練后不同雨量下識別的準(zhǔn)確率和傍晚不同雨量下識別的準(zhǔn)確率都有了較大提升，證明混合訓(xùn)練后的這個網(wǎng)絡(luò)具備良好的減速帶識別性能。

4 結(jié)語

本文基于ResNet18 訓(xùn)練出了一種可以較為準(zhǔn)確的識別減速帶的網(wǎng)絡(luò)，主要通過識別準(zhǔn)確率來判定網(wǎng)絡(luò)的性能，同時實(shí)驗(yàn)驗(yàn)證了通過OpenCV 生成的模擬現(xiàn)實(shí)場景是可以影響目標(biāo)識別的準(zhǔn)確率的?；诮Y(jié)果，后續(xù)繼續(xù)對自動駕駛場景進(jìn)行研究時，可以更多考慮這些環(huán)境影響，盡可能消除或減少不良影響。