基于特征融合的室外天氣圖像分類

郭志強(qiáng)，胡永武，劉 鵬，楊 杰

（1. 寬帶無(wú)線通信與傳感器網(wǎng)絡(luò)湖北重點(diǎn)實(shí)驗(yàn)室（武漢理工大學(xué)），武漢430070；2. 武漢理工大學(xué)信息工程學(xué)院，武漢430070）

（?通信作者電子郵箱991307071@qq.com）

0 引言

在機(jī)器視覺(jué)領(lǐng)域，天氣狀況對(duì)成像效果的影響是不可避免的。隨著機(jī)器視覺(jué)在生活中的廣泛應(yīng)用，比如室外監(jiān)控、自動(dòng)駕駛等，自動(dòng)獲取當(dāng)前天氣狀況并實(shí)現(xiàn)成像設(shè)備的自適應(yīng)調(diào)整就顯得極為重要。目前，“特征表達(dá)+分類器”是廣泛使用的目標(biāo)檢測(cè)與分類框架，基于圖像的天氣識(shí)別分類也不例外，核心在于高效準(zhǔn)確的特征提取與表達(dá)并構(gòu)建合理的分類器。傳統(tǒng)的特征提取方法是針對(duì)某個(gè)特定的問(wèn)題或者一類問(wèn)題來(lái)設(shè)計(jì)特征，雖然具有極強(qiáng)的代表性，但實(shí)現(xiàn)起來(lái)比較耗時(shí)。比如圖像梯度特征中使用最為廣泛的尺度不變（Scale-Invariant Feature Transform，SIFT）特征［1］和梯度直方圖（Histogram of Oriented Gradient，HOG）特征［2］。此外，在模式識(shí)別中，支持向量機(jī)（Support Vector Machine，SVM）作為分類器以其特有的優(yōu)勢(shì)被應(yīng)用于各個(gè)領(lǐng)域，如人像識(shí)別、文本分類等。Roser等［3］提取車載監(jiān)控圖像不同區(qū)域的亮度、對(duì)比度、銳度、飽和度等直方圖特征構(gòu)建特征向量，利用支持向量機(jī)實(shí)現(xiàn)對(duì)晴天、小雨和大雨三種天氣圖像的分類；Li 等［4］手動(dòng)提取圖像功率譜斜率、對(duì)比度、噪聲和飽和度等特征，選擇分類決策樹(shù)作為分類器并用支持向量機(jī)作為樹(shù)的節(jié)點(diǎn)對(duì)特征進(jìn)行分類，但該模型對(duì)降雨天氣識(shí)別率較低；Lu 等［5］構(gòu)建了包含10 000 張晴天和陰天圖像的數(shù)據(jù)庫(kù)，對(duì)分組后的天氣圖像提取天空、陰影、反射、對(duì)比和陰霾等天氣線索作為天氣特征，再利用支持向量機(jī)進(jìn)行分類；Zhang等［6］構(gòu)建了任意背景的多類天氣圖像數(shù)據(jù)庫(kù)，提取局部特征和全局特征并利用多核支持向量機(jī)方法（Mutiple Kernel Learning，MKL）進(jìn)行分類；Zhang 等［7］又在此基礎(chǔ)上對(duì)分類方法進(jìn)行改進(jìn)，提升了分類效果；Zheng 等［8］提取天空和非天空區(qū)域的特征，使用判別字典作為分類模型對(duì)天氣圖像進(jìn)行分類。隨著深度學(xué)習(xí)的發(fā)展，基于深度學(xué)習(xí)的特征表達(dá)方法免去了人工設(shè)計(jì)特征的繁瑣，其中卷積神經(jīng)網(wǎng)絡(luò)［9］廣泛應(yīng)用于圖像分類并取得了許多優(yōu)秀的成果，但在圖像天氣分類上的應(yīng)用不多。Elhoseiny等［10］使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)晴陰兩種天氣圖像進(jìn)行分類并達(dá)到了82.2%的分類準(zhǔn)確度；Li等［11］利用天氣線索的語(yǔ)義分割作為輔助任務(wù)，開(kāi)發(fā)出基于卷積神經(jīng)網(wǎng)絡(luò)的多任務(wù)框架，用來(lái)同時(shí)解決天氣圖像分類任務(wù)和天氣線索分割任務(wù)；Villarreal 等［12］對(duì)雨霧雪圖像做超像素分割的增強(qiáng)處理后用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行分類，也取得了較好的分類效果；An等［13］將AlexNet和SVM結(jié)合起來(lái)，把卷積神經(jīng)網(wǎng)絡(luò)提取出來(lái)的天氣特征用支持向量機(jī)進(jìn)行分類，在天氣圖像分類上也有不錯(cuò)的表現(xiàn)。

本文在對(duì)傳統(tǒng)人工設(shè)計(jì)算法和卷積神經(jīng)網(wǎng)絡(luò)的研究基礎(chǔ)上，對(duì)原有的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)，把傳統(tǒng)算法與神經(jīng)網(wǎng)絡(luò)結(jié)合，以五種常見(jiàn)天氣現(xiàn)象晴天、陰天、雨天、霧天、雪天的天氣圖像作為樣本，實(shí)現(xiàn)天氣圖像的傳統(tǒng)特征和深層特征的融合，并利用融合特征進(jìn)行天氣圖像分類。本文算法框架如圖1所示。

圖1 特征融合模型算法框架Fig.1 Algorithm framework of feature fusion model

1 特征提取

傳統(tǒng)的特征提取方法需要根據(jù)檢測(cè)對(duì)象進(jìn)行針對(duì)性設(shè)計(jì)，設(shè)計(jì)方法極大地依賴于先驗(yàn)知識(shí)，對(duì)于檢測(cè)對(duì)象的本質(zhì)特征刻畫(huà)較為薄弱，同時(shí)提取效果受人工設(shè)計(jì)算法影響較大，局限性較多。同時(shí)，在文獻(xiàn)［14］中也提到，卷積神經(jīng)網(wǎng)絡(luò)的方法通過(guò)讓機(jī)器自動(dòng)學(xué)習(xí)樣本特征，無(wú)需大量的先驗(yàn)知識(shí)及繁瑣的算法設(shè)計(jì)，可以反映出人為設(shè)計(jì)難以實(shí)現(xiàn)的特征。但卷積神經(jīng)網(wǎng)絡(luò)也有其局限性，比如低層卷積層感受野太小導(dǎo)致難以兼顧全局特征。在此基礎(chǔ)上，如果可以將針對(duì)性的設(shè)計(jì)特征與卷積神經(jīng)網(wǎng)絡(luò)特征相結(jié)合，對(duì)于天氣的特征表達(dá)將會(huì)大有裨益。本文在傳統(tǒng)圖像處理方法的基礎(chǔ)上，研究并提取了4 種基于統(tǒng)計(jì)的天氣圖像特征，并稱其為傳統(tǒng)特征；相對(duì)地，通過(guò)多層卷積神經(jīng)網(wǎng)絡(luò)所提取出來(lái)的天氣特征則稱為深層特征。本文希望能兼顧傳統(tǒng)算法與深度學(xué)習(xí)的優(yōu)點(diǎn)，將傳統(tǒng)與深層特征提取方法相結(jié)合，增加特征表達(dá)方法的多樣性，從而使天氣特征得到更加完善的表達(dá)。

1.1 傳統(tǒng)天氣特征提取

傳統(tǒng)特征的設(shè)計(jì)問(wèn)題是傳統(tǒng)天氣圖像分類研究的重點(diǎn)，早期的天氣特征提取著眼在圖像的全局統(tǒng)計(jì)特征，如文獻(xiàn)［3］中的對(duì)比度、飽和度，這些方法一定程度上可以反映不同天氣條件下的光照等特征，但是忽略了圖像背景信息，并且當(dāng)天氣圖像背景比較復(fù)雜時(shí)易受背景干擾。文獻(xiàn)［5］中提出了利用不同天氣狀況下的天氣線索，比如天空、陰影、反射作為局部特征，同時(shí)加上了對(duì)比度、暗通道等全局特征，合理利用了背景信息，但是局部特征的分割較為繁瑣，并且容易引入誤差。本文綜合考慮了各種傳統(tǒng)特征的提取方法及其效果，并結(jié)合實(shí)驗(yàn)情況選擇了天空、對(duì)比度、飽和度和暗通道這4 種特征作為傳統(tǒng)天氣特征。

1.1.1 天空特征

在不同的天氣圖像中，天空區(qū)域的特征差異是較為明顯的。比如晴天的天空比較干凈，受攝像頭不同的影響表現(xiàn)出藍(lán)色或灰色，雜色較少；陰天則會(huì)有不同程度的云彩聚集等。在文獻(xiàn)［5］中詳細(xì)介紹了分割天空區(qū)域的方法，并對(duì)天空區(qū)域提取了RGB 顏色直方圖作為天空特征向量。該文中的天空區(qū)域的分割算法需要大量的訓(xùn)練圖片，工作量較大，且分割效果并不完美，容易引入不必要的誤差。本文在對(duì)比統(tǒng)計(jì)大量監(jiān)控圖像的基礎(chǔ)上，采取了較為簡(jiǎn)單的天空區(qū)域特征提取方法，將天氣圖像的高度4 等分，將最上層的部分圖像區(qū)域直接作為天空區(qū)域，再提取天空區(qū)域的Lab 顏色空間［7］的a 通道和b 通道直方圖，直方圖劃分為24 個(gè)區(qū)間，歸一化處理后得到1× 24 的特征向量作為天空特征向量。樣本圖像的天空特征如圖2所示。

1.1.2 對(duì)比度特征

對(duì)比度特征可以反映一幅圖像中最亮與最暗之間的對(duì)比差異。不同的天氣條件下會(huì)有較為明顯的對(duì)比度差異，比如晴天圖像中陽(yáng)光和陰影部分亮暗對(duì)比強(qiáng)烈，而霧天圖像的亮度分布較為平均等，因此本文選擇對(duì)比度特征作為傳統(tǒng)特征之一。本文根據(jù)Michelson 公式［15］計(jì)算對(duì)比度C 如式（1）所示:

其中:Lmax和Lmin分別代表圖像的最大亮度和最小亮度。而圖像亮度（Luminance）為HLS 顏色模型［16］中L 分量，代表顏色的明亮程度，體現(xiàn)了無(wú)色的強(qiáng)度概念。HLS 顏色模型亮度分量計(jì)算方法如式（2）所示:

其中:Vmax= max(R，G，B)；Vmin= min(R，G，B)。樣本的亮度圖像如圖3所示。

1.1.3 飽和度特征

在HLS 顏色模型中，飽和度（Saturation）反映顏色的鮮艷程度，與人的眼睛識(shí)別色彩機(jī)制密切相關(guān)，可以較好地反映不同天氣條件下的顏色特征。除天空區(qū)域以外，圖像的其他區(qū)域有較為復(fù)雜的背景，比如森林、草地、建筑等，在不同的光照條件下會(huì)呈現(xiàn)出不同的視覺(jué)效果，地面干燥及濕潤(rùn)程度的不同也會(huì)有視覺(jué)上的差異。因而飽和度可以是體現(xiàn)不同天氣圖像差異的重要特征。飽和度的計(jì)算方法如式（3）所示:

本文將提取HLS 顏色空間的飽和度直方圖，圖像中每個(gè)像素點(diǎn)取值范圍為0～255，劃分為24 個(gè)區(qū)間，并作歸一化處理。結(jié)果得到維度為1× 24的特征向量。樣本圖像的飽和度特征如圖4所示。

1.1.4 暗通道特征

He等［17］在單幅圖像去霧中提出暗通道先驗(yàn)規(guī)律，即在無(wú)霧圖像的非天空區(qū)域里，把圖像分為若干子塊，每個(gè)子塊中都會(huì)有某些像素點(diǎn)的一個(gè)顏色通道的亮度接近于0。在此規(guī)律的基礎(chǔ)上，暗通道圖像隨不同的天氣狀況會(huì)有不同的特征表現(xiàn)。本文將此規(guī)律推廣至所有天氣圖像，提取每一種天氣狀況下的暗通道圖像，即每個(gè)RGB 分量中最小值構(gòu)成的圖像，然后提取暗通道圖像的直方圖，并將直方圖劃分為24 個(gè)區(qū)間，歸一化處理后得到維度為1× 24的特征向量。其中，輸入圖像J的暗通道可以表示為:

其中；Jc表示彩色圖像的RGB 通道。樣本圖像的暗通道特征圖展示如圖5。

圖2 五種天氣的a、b通道直方圖Fig.2 a channel histograms and b channel histograms of 5 kinds of weather

圖3 五種天氣圖像的亮度圖Fig.3 Brightness images of 5 kinds of weather images

圖4 五種天氣圖像的飽和度圖、飽和度直方圖Fig.4 Saturation images and saturation histograms of 5 kinds of weather images

圖5 五種天氣圖像的暗通道圖像、暗通道直方圖Fig.5 Dark channel images and dark channel histograms of 5 kinds of weather images

1.2 深層天氣特征提取

卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)有輸入層、卷積層、池化層、全連接層、輸出層。其中，卷積層可以通過(guò)卷積操作提取天氣圖像的不同局部特征，低層的卷積層提取邊緣、線條等低級(jí)特征，高層的卷積層可以提取更為高級(jí)和抽象的特征；池化層一般在卷積層之后，并與卷積層交替出現(xiàn)，通過(guò)降低輸入特征的分辨率來(lái)獲取天氣圖像的空間不變性特征，達(dá)到二次特征提取的效果。長(zhǎng)久以來(lái)，卷積神經(jīng)網(wǎng)絡(luò)的研究與實(shí)踐表明，深層的卷積神經(jīng)網(wǎng)絡(luò)可以獲取高層次的抽象特征。最后，全連接層通過(guò)層間神經(jīng)元的全連接對(duì)卷積層及池化層提取的全部局部特征進(jìn)行整合。因此，卷積神經(jīng)網(wǎng)絡(luò)可以滿足天氣圖像特征提取的需求。

卷積神經(jīng)網(wǎng)絡(luò)在圖像分類領(lǐng)域廣泛應(yīng)用的同時(shí)，也存在有一定的不足。卷積神經(jīng)網(wǎng)絡(luò)的核心操作是卷積，通過(guò)特定維度的卷積核獲取圖像局部的感知信息。在文獻(xiàn)［18］中提到，兩層3× 3 卷積層堆疊后（無(wú)池化）的感受野大小是5× 5。低層的網(wǎng)絡(luò)層感受野很小，隨著網(wǎng)絡(luò)堆疊，感受野逐步增大。要想獲得更大的感受野，就需要更大尺寸的卷積核和更深的網(wǎng)絡(luò)層，與之俱來(lái)的是更加復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)、更多的網(wǎng)絡(luò)參數(shù)和運(yùn)算。目前經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)如AlexNet［18］、VGG［19］等輸入圖像尺寸為227× 227，而室外監(jiān)控圖像的尺寸一般高于這個(gè)尺寸，因而在圖像輸入之前就要放棄一部分圖像信息，再加上局部感受野的卷積操作，會(huì)對(duì)圖像的全局判斷造成影響。比如陰天云量的不同會(huì)導(dǎo)致部分區(qū)域亮度很高，表現(xiàn)出晴天特征；而晴天的陰影部分亮度較低，有陰天特征。如果僅著眼于局部信息，很容易造成誤判。人工設(shè)計(jì)的特征大多為全局的統(tǒng)計(jì)特征，并且受圖像尺寸影響較小，可以為卷積神經(jīng)網(wǎng)絡(luò)提取的天氣特征進(jìn)行一定程度的補(bǔ)充，增加特征的多樣性表達(dá)。本文中用到的AlexNet 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及參數(shù)將在下一部分給出。圖6 展示了天氣圖像在卷積神經(jīng)網(wǎng)絡(luò)中各卷積層及池化層的部分變化過(guò)程，所有特征圖的尺寸與AlexNet對(duì)應(yīng)各層的維度保持一致。

圖6 天氣圖像在卷積神經(jīng)網(wǎng)絡(luò)中的特征圖像變化Fig.6 Feature map changes of weather image in convolutional neural network

1.3 特征融合方法

正如引言中所談到，已經(jīng)有很多工作分別將傳統(tǒng)方法和深度學(xué)習(xí)方法用于天氣圖像分類；而將兩種方法結(jié)合用于天氣圖像分類的工作還不是很多，特征融合的方法也并不固定。如何進(jìn)行特征融合，需要考慮的問(wèn)題有特征融合的位置以及特征融合的方法。在文獻(xiàn)［20］中對(duì)于深度學(xué)習(xí)的特征融合算法有較為詳細(xì)的介紹，主要針對(duì)神經(jīng)網(wǎng)絡(luò)卷積層輸出的2 個(gè)特征圖進(jìn)行空間上的特征融合。融合方法有加性融合、最大融合、級(jí)聯(lián)融合等。其中，加性融合就是特征圖對(duì)應(yīng)位置元素的值相加，而融合后的特征圖的通道數(shù)不變。該方法適用于維度相同的兩個(gè)特征圖融合。最大融合類似于加性融合，將2 個(gè)特征圖對(duì)應(yīng)位置元素值較大的作為融合特征的值，同樣適用于維度相同的兩個(gè)特征圖。級(jí)聯(lián)融合則是將兩個(gè)特征圖直接相連接，元素全部保留，與之相應(yīng)的融合后特征圖通道數(shù)也是兩個(gè)特征圖之和。級(jí)聯(lián)融合方法適用于任何維度的兩個(gè)特征圖。特征圖的選擇可以是原始數(shù)據(jù)或神經(jīng)網(wǎng)絡(luò)的中間層進(jìn)行融合。本文采用傳統(tǒng)算法提取到的傳統(tǒng)特征為一維的行特征向量，而在卷積神經(jīng)網(wǎng)絡(luò)中，除全連接層外，其余中間層均為二維或多維特征向量。因此，特征融合的位置確定為卷積神經(jīng)網(wǎng)絡(luò)的全連接層。此時(shí)傳統(tǒng)特征和深層特征均為一維特征向量，但二者維度并不相同。考慮到傳統(tǒng)特征與深層特征僅提取方法不同而功能相同，作為分類器的輸入來(lái)講并沒(méi)有優(yōu)劣之分，故采用級(jí)聯(lián)的融合方法更為合適，可以完全保留兩種方法提取出來(lái)的不同特征。具體的特征維度以及特征圖級(jí)聯(lián)結(jié)果將在下一部分介紹。

2 分類模型

2.1 數(shù)據(jù)采集及處理

本文在前人研究的基礎(chǔ)上，結(jié)合自身實(shí)驗(yàn)情況，選定的天氣圖像類別為5 類，分別是陰天、霧天、雨天、雪天和晴天。所采用圖像數(shù)據(jù)集分為兩個(gè)部分，命名為Dataset Ⅰ和DatasetⅡ。DatasetⅠ為多背景室外監(jiān)控圖像，圖像來(lái)源為公開(kāi)數(shù)據(jù)集AMOS（Archive of Many Outdoor Scenes）［21］。數(shù)據(jù)集中的圖像由分布在世界各地的固定攝像頭長(zhǎng)時(shí)間拍攝得到，包含超過(guò)10 000個(gè)場(chǎng)景，部分圖像有地理位置信息，但沒(méi)有天氣信息的標(biāo)注。從AMOS 數(shù)據(jù)集中選擇了20 個(gè)左右場(chǎng)景，圖中天氣現(xiàn)象的標(biāo)注由多人協(xié)助完成，每人單獨(dú)對(duì)圖中天氣現(xiàn)象作標(biāo)注，最終取得票數(shù)最高的標(biāo)簽作為圖片代表的天氣。由于AMOS數(shù)據(jù)集中的圖像大小不一，為了便于后續(xù)處理，將DatasetⅠ中的圖像統(tǒng)一尺寸到1280 × 720。DatasetⅡ?yàn)樽孕信臄z的單背景天氣圖像，采用的攝像機(jī)為普通佳能相機(jī)，相機(jī)位置固定保證背景不變，長(zhǎng)期拍攝保證獲取足夠多的天氣圖像，拍攝時(shí)間集中在上午9 點(diǎn)至下午4 點(diǎn)間，獲取一幅圖像的時(shí)間間隔約為5 min，圖像分辨率為1280 × 720。數(shù)據(jù)集圖像構(gòu)成如表1所示。

表1 本文所用數(shù)據(jù)集的構(gòu)成Tab. 1 Composition of datasets used in this paper

選取了兩個(gè)數(shù)據(jù)集中的部分圖像進(jìn)行展示，涵蓋了幾種常見(jiàn)的天氣狀況，如圖7～8所示。

2.2 分類網(wǎng)絡(luò)

在傳統(tǒng)特征的提取過(guò)程中，首先將圖片長(zhǎng)寬4 等分，這樣原始圖片被均勻分為16 張子圖，然后對(duì)最上層子圖提取天空特征Lab 直方圖，得到1× 192 維天空特征向量；對(duì)所有子圖提取對(duì)比度、飽和度和暗通道特征，得到1× 784 維局部特征向量；再加上整張圖的1× 49維全局特征向量，經(jīng)過(guò)串聯(lián)融合后構(gòu)成維度為1× 1025 的傳統(tǒng)特征向量。提取深層特征時(shí)，本文對(duì)比了幾個(gè)經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)LeNet-5、AlexNet、VGG-16、GoogLeNet［22］等的網(wǎng)絡(luò)結(jié)構(gòu)與參數(shù)，考慮到AlexNet的輸入圖 像 維 度227× 227，相 對(duì) 于LeNet-5 的 輸 入 維 度32 × 32，AlexNet 可以更多地保留圖片中的天氣信息；此外，AlexNet 的網(wǎng)絡(luò)層數(shù)及參數(shù)遠(yuǎn)少于VGG-16，且網(wǎng)絡(luò)結(jié)構(gòu)較GoogLeNet 簡(jiǎn)單，因此，本文初步選擇AlexNet 作為天氣圖像的深層特征提取框架，所用的AlexNet 各層網(wǎng)絡(luò)參數(shù)如表2 所示。深層天氣特征的提取則選擇天氣圖像經(jīng)過(guò)全部卷積層和池化層后的特征向量，即為最后一個(gè)池化層的輸出。

同時(shí)，為了實(shí)現(xiàn)特征融合的目的，本文對(duì)原有的AlexNet結(jié)構(gòu)進(jìn)行適度的改造，在輸入層之后并聯(lián)傳統(tǒng)天氣提取網(wǎng)絡(luò)，用于提取4 種傳統(tǒng)天氣圖像特征；在最后一個(gè)池化層之后構(gòu)建特征融合層，將深層特征與歸一化后的傳統(tǒng)特征進(jìn)行串聯(lián)，得到的特征融合層維度為10 241× 1；最后，原AlexNet最后一層的1 000分類的輸出被改為5分類，經(jīng)過(guò)softmax分類器用于5種天氣狀況的判別?？傮w的網(wǎng)絡(luò)模型如圖9所示。

圖7 DatasetⅠ部分圖像展示Fig.7 Some images in DatasetⅠ

圖8 DatasetⅡ部分圖像展示Fig.8 Some images in DatasetⅡ

圖9 基于特征融合改進(jìn)的天氣識(shí)別網(wǎng)絡(luò)Fig. 9 Weather recognition network improved by feature fusion

表2 AlexNet各層參數(shù)Tab. 2 Parameters of each layer of AlexNet

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)參數(shù)

本文實(shí)驗(yàn)在Intel Xeon CPU E5 @3.5 GHz、8 GB 內(nèi)存、64位Windows 10 操作系統(tǒng)、Python 3.5 和OpenCV2 平臺(tái)下進(jìn)行。為了驗(yàn)證本文提出的融合模型對(duì)天氣圖像的分類效果，使用DatasetⅠ和DatasetⅡ分別對(duì)模型進(jìn)行訓(xùn)練和驗(yàn)證。其中，DatasetⅠ的訓(xùn)練集和測(cè)試集比例為8∶2，融合模型中的卷積神經(jīng)網(wǎng)絡(luò)部分訓(xùn)練次數(shù)設(shè)置為1 000，batchsize 大小為100，學(xué)習(xí)率設(shè)為0.001，衰減率為0.1，使用Adam 優(yōu)化算法進(jìn)行優(yōu)化。DatasetⅠ的測(cè)試結(jié)果如表3 所示。DatasetⅡ全部作為訓(xùn)練集，測(cè)試集由同一時(shí)間收集的其余圖像構(gòu)成，同時(shí)測(cè)試集數(shù)量及測(cè)試結(jié)果將在表4中給出。

為了驗(yàn)證實(shí)驗(yàn)?zāi)Ｐ图疤卣魅诤戏椒ǖ挠行裕谕瑯拥臏y(cè) 試 集 和 訓(xùn) 練 集 上，將 本 文 方 法 與SVM［3］、AlexNet［10］和AlexNet+SVM［13］進(jìn)行對(duì)比。實(shí)驗(yàn)時(shí)為達(dá)到最好的分類效果，需要對(duì)各個(gè)模型參數(shù)進(jìn)行設(shè)置。其中，SVM 使用Python 環(huán)境下sklearn 庫(kù)集成的SVM 算法，核函數(shù)選擇線性核函數(shù)，輸入為人工設(shè)計(jì)提取的維度為1× 1025 的天氣特征向量。AlexNet 的所有參數(shù)與本文提出的融合模型中神經(jīng)網(wǎng)絡(luò)部分的參數(shù)保持一致，輸入為數(shù)據(jù)集中的圖像。同時(shí)，AlexNet 提取出來(lái)的特征還要作為AlexNet+SVM 模型中SVM 的輸入特征向量，這里SVM 的參數(shù)與之前保持一致。為了衡量各個(gè)模型的性能，本文選擇每一類天氣的分類精準(zhǔn)率（Precision，P）和召回率（Recall，R）以及整體的平均精準(zhǔn)率（Average Precision，AP）、平均召回率（Average Recall，AR）和準(zhǔn)確率（accuracy）指標(biāo)進(jìn)行評(píng)價(jià)。各個(gè)模型的實(shí)驗(yàn)結(jié)果如表5～6 所示。其中，精準(zhǔn)率、召回率和準(zhǔn)確率的計(jì)算方法如下所示:

其中:TP（True Positive）表示圖像標(biāo)定為正樣本，分類結(jié)果也為正樣本；FN（False Negative）表示圖像標(biāo)定為正樣本，分類結(jié)果為負(fù)樣本；FP（False Positive）表示圖像標(biāo)定為負(fù)樣本，分類結(jié)果為正樣本；TN（True Negative）表示標(biāo)定為負(fù)樣本，分類結(jié)果也為負(fù)樣本。

表3 DatasetⅠ實(shí)驗(yàn)準(zhǔn)確率Tab. 3 Accuracy on DatasetⅠ

表4 DatasetⅡ?qū)嶒?yàn)準(zhǔn)確率Tab. 4 Accuracy on DatasetⅡ

3.2 結(jié)果與分析

從表5～6中可看出:在多背景數(shù)據(jù)集DatasetⅠ上，本文的特征融合方法在AP 和accuracy 兩項(xiàng)指標(biāo)上均優(yōu)于其他模型；而在AR 指標(biāo)上略低于AlexNet+SVM 模型，原因是本文融合模型在霧天類上的分類效果較其他模型差。此外，AlexNet+SVM模型準(zhǔn)確率比本文模型稍低，而優(yōu)于另外兩個(gè)模型，也有不錯(cuò)的表現(xiàn)，說(shuō)明特征提取+分類器的不同組合會(huì)對(duì)分類效果有一定的影響。SVM方法因?yàn)槿斯ぴO(shè)計(jì)特征的局限性分類效果較差。在單背景數(shù)據(jù)集DatasetⅡ上，本文特征融合方法在所有指標(biāo)上遠(yuǎn)優(yōu)于其他模型，而AlexNet 在accuracy 和AR 上表現(xiàn)較AlexNet+SVM 更為優(yōu)秀一些，AP 指標(biāo)則略有不如，SVM在所有的評(píng)價(jià)指標(biāo)上表現(xiàn)均為最差。

同時(shí)，從表5～6中還可看出:本文融合模型在陰天、雨天、雪天和晴天上的分類效果是所有模型中最好的，但在霧天上的分類效果比其他三個(gè)模型都差；同時(shí)可以注意到SVM 在晴天上的分類效果也十分的優(yōu)秀，因此本文認(rèn)為人工設(shè)計(jì)特征對(duì)于融合模型分類效果產(chǎn)生了影響，但是這種影響并不一定完全有利，就像融合后可以極大提升晴天分類效果，卻對(duì)霧天分類效果造成了差的影響。此外，在單背景數(shù)據(jù)集上，除了晴天和陰天以外，所有模型在霧天、雨天和雪天上的表現(xiàn)極為接近且識(shí)別率均接近100%，原因是與多背景圖片相比，單背景的天氣圖像變化較少，受背景影響小，不同類之間的天氣現(xiàn)象差異更為明顯，因此不需要復(fù)雜的分類模型便可以達(dá)到較好的分類效果，比如SVM 的表現(xiàn)就已經(jīng)非常優(yōu)秀。但是，在去除背景影響后，在單背景數(shù)據(jù)集上，不同的模型在晴天和陰天上的分類結(jié)果有不同的傾向性，SVM 在晴天上的分類表現(xiàn)優(yōu)于另外3 個(gè)模型，但在陰天上表現(xiàn)較差，結(jié)合精準(zhǔn)率來(lái)看，SVM 更傾向于把晴天圖像歸類為陰天；AlexNet在晴天上表現(xiàn)優(yōu)于SVM，但陰天上不如SVM，同樣結(jié)合精準(zhǔn)率來(lái)看，AlexNet更傾向于把陰天圖像歸類為晴天。這里給出各模型的部分預(yù)測(cè)結(jié)果以便直觀展示模型性能。

本文選取了圖10 對(duì)測(cè)試集中的雨天圖片和陰天圖片的對(duì)比，以及陰天和晴天的對(duì)比進(jìn)行展示，表7 展示了各個(gè)模型對(duì)于該雨天和陰天圖像的預(yù)測(cè)結(jié)果?？梢钥吹饺搜塾^測(cè)下陰雨天氣的圖片有很多相似的特征，表現(xiàn)為烏云、整體亮度等，而在地面上有細(xì)節(jié)差異，本文融合模型在特征表達(dá)上較其他模型更為多樣，可以正確區(qū)分這兩種相近的天氣；類似地，晴天和陰天圖片在天空、建筑陰影上較為相似，而在整體亮度上差異較大，傳統(tǒng)特征和深層特征的融合可以更好地兼顧整體和細(xì)節(jié)，預(yù)測(cè)的準(zhǔn)確率就更高。

綜合以上結(jié)果來(lái)看，本文的融合模型在分類效果上同時(shí)受人工設(shè)計(jì)特征和AlexNet的影響，在各個(gè)天氣狀況下都有不錯(cuò)的分類精度，在陰天和晴天的分類上并沒(méi)有明顯的傾向性，但是由于AlexNet提取的陰天特征的影響，導(dǎo)致在陰天類的分類結(jié)果較SVM弱一些。AlexNet+SVM 受卷積神經(jīng)網(wǎng)絡(luò)特征提取的影響，在陰天分類上表現(xiàn)更差，而在晴天分類上效果更優(yōu)，說(shuō)明AlexNet+SVM 模型也是同時(shí)受特征提取方法和分類方法的影響，對(duì)于AlexNet 未能準(zhǔn)確提取到的陰天特征，SVM也難以有好的分類結(jié)果，甚至更差。

表5 各個(gè)模型在DatasetⅠ的精準(zhǔn)率和召回率結(jié)果對(duì)比Tab. 5 Precision and recall results of each model on DatasetⅠ

表6 各個(gè)模型在DatasetⅡ的精準(zhǔn)率和召回率結(jié)果對(duì)比Tab. 6 Precision and recall results of each model on DatasetⅡ

圖10 用于預(yù)測(cè)的雨天和陰天圖片及對(duì)比Fig.10 Rainy and cloudy images and comparison images for prediction

表7 四個(gè)模型預(yù)測(cè)結(jié)果對(duì)比Tab. 7 Prediction result comparison of four models

4 結(jié)語(yǔ)

本文在研究圖像分類的基礎(chǔ)上，對(duì)現(xiàn)有的天氣圖像分類方法進(jìn)行了總結(jié)和改進(jìn)，結(jié)合傳統(tǒng)的人工設(shè)計(jì)特征方法和深度學(xué)習(xí)方法，將傳統(tǒng)天氣特征和深層天氣特征進(jìn)行融合，得到了較好的分類效果。同時(shí)，從實(shí)驗(yàn)結(jié)果中可以得出以下結(jié)論:首先，從圖像中識(shí)別天氣會(huì)受到背景的影響，背景越復(fù)雜，分類難度越大，復(fù)雜模型的表現(xiàn)越好，而在單一背景天氣圖像下，簡(jiǎn)單的分類方法也可以有更優(yōu)的表現(xiàn)；其次，本文的融合模型同時(shí)受到人工設(shè)計(jì)特征和卷積神經(jīng)網(wǎng)絡(luò)兩個(gè)方面的影響，既有可能結(jié)合兩者的優(yōu)點(diǎn)，在相近天氣狀況下表現(xiàn)出更好的分類效果，也有可能結(jié)合二者的缺點(diǎn)，使得分類結(jié)果變得更差，需要進(jìn)行更多的訓(xùn)練和嘗試以使得融合的優(yōu)點(diǎn)更為突出；最后，融合模型較其他模型分類效果有一定的提升，如果有更為優(yōu)秀的人工設(shè)計(jì)特征方法和特征融合方法，融合模型的性能應(yīng)該可以進(jìn)一步提升。因此，在下一步工作中，我們將繼續(xù)嘗試不同的人工設(shè)計(jì)特征及其組合，同時(shí)嘗試更多的特征融合方法，并不斷改進(jìn)網(wǎng)絡(luò)架構(gòu)使其更適合進(jìn)行天氣特征融合及天氣圖像分類。