基于ResNet50的惡劣天氣識(shí)別研究

劉奧強(qiáng)，張 旭

（上海工程技術(shù)大學(xué) 機(jī)械與汽車工程學(xué)院，上海 201620）

0 引 言

機(jī)器視覺(jué)在惡劣的天氣條件，特別是在霧、雪和雨天，大大降低了能見(jiàn)度，從而常常影響了圖像和視頻的清晰度。迄今為止，對(duì)智能交通管理與天氣識(shí)別的關(guān)系的研究仍然比較少見(jiàn)，因此，惡劣天氣分類識(shí)別值得學(xué)界去研究并應(yīng)用。機(jī)器視覺(jué)有助于更好地了解天氣。

近年來(lái)，對(duì)自動(dòng)駕駛的研究已經(jīng)逐步展開(kāi)，但在惡劣天氣下仍然沒(méi)法安全駕駛。對(duì)惡劣天氣進(jìn)行實(shí)時(shí)的檢測(cè)，并及時(shí)反饋給駕駛員，則可以進(jìn)一步提高駕駛安全性。本研究旨在針對(duì)單幅圖像（如雨、霧、雪、雷）進(jìn)行惡劣天氣識(shí)別，鑒于此擬將建立一個(gè)更好、更準(zhǔn)確的模型。

分析可知，從單一的圖像中理解天氣的研究仍亟待完善。雖然文獻(xiàn)［2-3］提出了車輛的天氣識(shí)別，但卻依賴于車輛的特定先驗(yàn)。場(chǎng)景理解方法依賴于結(jié)構(gòu)信息將場(chǎng)景分為不同的類別。結(jié)構(gòu)信息基于光照不變的特征，如SIFT或HOG。天氣線索更加復(fù)雜，而且不是特定場(chǎng)景的，使得傳統(tǒng)的天氣分類方法不適用。由于缺乏天氣預(yù)報(bào)，無(wú)監(jiān)督的視覺(jué)學(xué)習(xí)方法也不適合這項(xiàng)任務(wù)。近年來(lái)，有許多人關(guān)注與提取天氣特征的分類研究，如Roser等人基于灰度圖片提取了圖像特定區(qū)域的顏色及飽和度等表面特征來(lái)進(jìn)行分類；Zhang等人利用相似的框架針對(duì)不同天氣下的特定區(qū)域來(lái)構(gòu)建天氣特征，例如天空、陰影、雨條紋和雪花區(qū)域等，來(lái)實(shí)現(xiàn)4類天氣分類；如Elhoseiny等人使用AlexNet解決晴天和多云分類問(wèn)題；Zhu等人使用GoogleNet進(jìn)行惡劣天氣識(shí)別。

在現(xiàn)如今的天氣分類中，大部分學(xué)者還是通過(guò)利用人工設(shè)計(jì)特征去識(shí)別天氣數(shù)據(jù)集。本次研究將在卷積神經(jīng)網(wǎng)絡(luò)中加入HDA分層深度聚合。HDA聚合了不同層級(jí)特征信息，不僅僅在軸方向上從淺到深聚合特征，還增加了軸方向的層級(jí)聚合。因此本文提出一種卷積神經(jīng)網(wǎng)絡(luò)模型，并在自建的惡劣天氣數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)研究。結(jié)果表明，本文提出的模型進(jìn)一步提高了識(shí)別精度。

1 方法

1.1 算法概述

本文的研究工作是受到這些年來(lái)深度學(xué)習(xí)在圖像分類領(lǐng)域不斷成功的啟發(fā)，采用了ResNet50來(lái)解決惡劣天氣分類識(shí)別任務(wù)，如圖1所示。由圖1可知，模型中主要包括卷積層、池化層、全連接層。其中，輸入尺寸是224×224，輸出層是4個(gè)類別，包括雨天、霧天、雪天、雷電。

圖1 ResNet50天氣分類模型的基礎(chǔ)示意圖Fig.1 Schematic of the basis of the ResNet50 model for weather classification

1.2 損失函數(shù)

本文的損失函數(shù)選用的是交叉熵（），這是從KL散度中引出，用于衡量2個(gè)分布之間差異的大小，其值總是大于等于0。2個(gè)分布越相似，其值越接近于0，與函數(shù)結(jié)合用于此天氣分類模型，此處需用到如下數(shù)學(xué)公式：

其中，［，，…，p］是一個(gè)概率分布，每個(gè)元素p表示樣本屬于第類的概率，而［，，…，y］是樣本標(biāo)簽的one-hot表示，當(dāng)樣本屬于第類別時(shí)y＝1，否則y＝0，是樣本標(biāo)簽。

1.3 訓(xùn)練技巧

圖像分類的常用數(shù)據(jù)增強(qiáng)方法是人工設(shè)計(jì)的，然而最好的增強(qiáng)方法是根據(jù)任務(wù)數(shù)據(jù)集特定的。研究中常見(jiàn)的模型使用旋轉(zhuǎn)、縮放、平移、隨機(jī)裁剪、圖像鏡像和色彩漂移／白化，由于這些方法是手動(dòng)設(shè)計(jì)的，因此需要專業(yè)知識(shí)和時(shí)間。本文中采取了數(shù)據(jù)自動(dòng)增強(qiáng)方法，該方法創(chuàng)建一個(gè)數(shù)據(jù)增強(qiáng)策略的搜索空間，每一個(gè)策略都是為數(shù)據(jù)集中的單一圖像隨機(jī)選擇的，表示一些可能的增強(qiáng)運(yùn)算選擇和順序。每個(gè)運(yùn)算都是前文提到的圖像增強(qiáng)方法，還有使用該方法的概率。此后將利用搜索算法選取適合多類天氣數(shù)據(jù)集的最佳策略，使模型有很好的準(zhǔn)確率，同時(shí)又使用了強(qiáng)化學(xué)習(xí)作為搜索策略。最后，文中還使用了正則化，這有助于提升訓(xùn)練效果。

2 HDA分層深度聚合

即使在卷積網(wǎng)絡(luò)中有深度的特征，一個(gè)孤立的層也是不夠的，分層深度聚合（Hierarchical Deep Aggregation，HDA）這些表示可以改進(jìn)對(duì)內(nèi)容和位置的推斷。聚合，就像深度和寬度一樣，是架構(gòu)的一個(gè)關(guān)鍵維度。在該項(xiàng)工作中，本文研究了如何聚合層來(lái)更好地融合語(yǔ)義和空間信息以進(jìn)行識(shí)別和定位。擴(kuò)展當(dāng)前方法的“淺層”跳過(guò)連接，文中得到的聚合體系結(jié)構(gòu)為分層深度聚合（HDA），如圖2所示。這些結(jié)構(gòu)通過(guò)獨(dú)立于主干框架表示，以與當(dāng)前ResNet50網(wǎng)絡(luò)模型兼容。HDA組裝自己的樹結(jié)構(gòu)連接層次結(jié)構(gòu)，這些樹結(jié)構(gòu)連接跨越和合并階段，以聚合不同級(jí)別的表示。

圖2 聚合體系結(jié)構(gòu)Fig.2 Aggregation architecture

分層深度聚合將塊和階段合并到樹中，用來(lái)保留和組合特征通道。通過(guò)HDA，可以將較淺和較深的層結(jié)合起來(lái)，以了解跨越更多特征層次，創(chuàng)建更豐富的組合。建立了HDA的總體結(jié)構(gòu)后，就可以提高其深度和效率。這將傳播所有先前塊的聚合，而不是僅傳播前一個(gè)塊，從而能更好地保留特征。深度為的分層深度聚合函數(shù)T表示如下：

其中，是聚合節(jié)點(diǎn)，和定義如下：

其中，表示卷積塊。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)平臺(tái)及數(shù)據(jù)集

本文是在Windows 7（x64）操作系統(tǒng)下進(jìn)行仿真實(shí)驗(yàn)，仿真開(kāi)發(fā)軟件平臺(tái)為Python 3.6.3，Pytorch 1.1.0，采取了一些訓(xùn)練技巧，惡劣天氣數(shù)據(jù)集的特征學(xué)習(xí)較高，達(dá)到了不錯(cuò)的準(zhǔn)確率。

實(shí)驗(yàn)的流程圖如圖3所示，本文天氣狀態(tài)數(shù)據(jù)采用自建的惡劣天氣數(shù)據(jù)集，按天氣狀態(tài)分類為霧天、雨天、雪天、雷電共4個(gè)種類，每類均為1 000張，天氣狀態(tài)分類如圖4所示。經(jīng)過(guò)圖像預(yù)處理后，文中提供10次隨機(jī)訓(xùn)練／測(cè)試。在每次實(shí)驗(yàn)中，將從每個(gè)天氣類別中隨機(jī)選擇80%的數(shù)據(jù)用于訓(xùn)練，其余的用于測(cè)試，與此同時(shí)記錄了仿真得到的分類準(zhǔn)確率和方差。

圖3 提出的天氣狀況分類系統(tǒng)的流程圖Fig.3 Flow chart of the proposed weather condition classification system

圖4 數(shù)據(jù)集中每類的例子Fig.4 Examples of each class in the dataset

3.2 不同方法實(shí)驗(yàn)對(duì)比分析

4種天氣類型不同學(xué)習(xí)模型的實(shí)驗(yàn)精度比較如圖5所示。各模型實(shí)驗(yàn)平均準(zhǔn)確度分類結(jié)果詳見(jiàn)表1。實(shí)驗(yàn)中，主要與其他廣泛使用的分類方法AlexNet、VGG16、ResNet50進(jìn)行比較。同時(shí)也注意到，基于ResNet的網(wǎng)絡(luò)模型在圖像分類上具有不錯(cuò)的識(shí)別效果，本文的方法比原先的基礎(chǔ)網(wǎng)絡(luò)提高了識(shí)別結(jié)果，因?yàn)楸疚牡姆椒ɡ昧祟A(yù)先訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型的優(yōu)勢(shì)。

圖5 4種天氣類型不同學(xué)習(xí)模型的實(shí)驗(yàn)精度比較Fig.5 Comparison of the experimental accuracies of different learning models for the four weather types

表1 各模型實(shí)驗(yàn)平均準(zhǔn)確度分類結(jié)果Tab.1 Classification results of average accuracy of each experimental model %

4 結(jié)束語(yǔ)

深度學(xué)習(xí)在解決各類圖像問(wèn)題上都有不錯(cuò)的表現(xiàn)。本文選用深度學(xué)習(xí)的方法，結(jié)合HDA分層深度聚合，對(duì)常見(jiàn)的4類天氣狀態(tài)進(jìn)行分類識(shí)別。結(jié)果顯示：HDA分層深度聚合模型與調(diào)整的ResNet50結(jié)合具有較高的識(shí)別準(zhǔn)確率，在本文的數(shù)據(jù)集中平均識(shí)別準(zhǔn)確率達(dá)到95.1%，且該模型具有較好的泛化能力。通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，提出的深度學(xué)習(xí)模型在參數(shù)和架構(gòu)上仍然具有提升的空間，所以將來(lái)在提高識(shí)別準(zhǔn)確率的圖像識(shí)別處理工作中，完善天氣狀態(tài)數(shù)據(jù)集、改善網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)，提高計(jì)算效率是下一個(gè)研究目標(biāo)。