基于視頻的天氣現(xiàn)象識(shí)別及其應(yīng)用研究

摘 要：針對(duì)傳統(tǒng)天氣現(xiàn)象觀測(cè)因采用專(zhuān)用設(shè)備導(dǎo)致布設(shè)和維護(hù)成本高、獲取難的問(wèn)題，提出一種利用廣泛布設(shè)的視頻實(shí)現(xiàn)對(duì)天氣現(xiàn)象觀測(cè)的方法。通過(guò)將因特網(wǎng)獲取的16327張?zhí)鞖猬F(xiàn)象圖片放入深度神經(jīng)網(wǎng)絡(luò)中訓(xùn)練，建立一個(gè)天氣現(xiàn)象分類(lèi)的預(yù)訓(xùn)練模型。在此基礎(chǔ)上加入上海徐家匯和洋山港氣象站2021年視頻圖像，對(duì)模型進(jìn)行微調(diào)，開(kāi)發(fā)基于站點(diǎn)視頻的天氣現(xiàn)象識(shí)別模型。利用2022年1—10月份的視頻圖像數(shù)據(jù)對(duì)模型進(jìn)行檢驗(yàn)，模型識(shí)別結(jié)果的F1評(píng)分分別為0.74和0.67，而人工識(shí)別結(jié)果分別為0.67和0.61，表明所建立的模型性能接近或優(yōu)于人眼識(shí)別的效果。通過(guò)例舉兩個(gè)應(yīng)用案例，證明該項(xiàng)技術(shù)具有較好的應(yīng)用前景。

關(guān)鍵詞：太陽(yáng)能；圖像識(shí)別；視頻；神經(jīng)網(wǎng)絡(luò)；天氣現(xiàn)象；日照時(shí)數(shù)

中圖分類(lèi)號(hào)：TP391 文獻(xiàn)標(biāo)志碼：A

DOI：10.19912/j.0254-0096.tynxb.2023-0602

文章編號(hào)：0254-0096（2024）08-0441-07

1. 上海市生態(tài)氣象和衛(wèi)星遙感中心，上海 200030；

2. 上海市氣象信息與技術(shù)支持中心，上海 200030

0 引 言

不同的天氣現(xiàn)象會(huì)影響地面接收的太陽(yáng)總輻射進(jìn)而影響光伏出力［1-2］，因此天氣現(xiàn)象的獲取對(duì)光伏發(fā)電評(píng)估和調(diào)節(jié)有重要意義。通常天氣現(xiàn)象的自動(dòng)觀測(cè)需使用專(zhuān)門(mén)的儀器，配合常規(guī)氣象探測(cè)設(shè)備才能實(shí)現(xiàn)。這些儀器一般屬于專(zhuān)用設(shè)備，對(duì)安裝環(huán)境、管理方面有一定的規(guī)范要求，因而安裝和維護(hù)成本較高，高密度的氣象探測(cè)設(shè)備意味著大量的前期資金投入和后期維護(hù)成本［3］。隨著社會(huì)的發(fā)展，大量視頻監(jiān)控設(shè)備被使用，如果能利用現(xiàn)有視頻獲取天氣現(xiàn)象信息，將為人們實(shí)時(shí)獲取天氣現(xiàn)象提供一種更為便捷的技術(shù)手段。

利用單幅圖像開(kāi)展天氣現(xiàn)象分類(lèi)研究較多。從技術(shù)實(shí)現(xiàn)來(lái)說(shuō)，早期多利用特征工程，提取圖像的梯度、飽和度、色相、暗通道特征，采用支持向量機(jī)（support vector machine， SVM）、貝葉斯等傳統(tǒng)機(jī)器學(xué)習(xí)方法分類(lèi)［4-7］，后來(lái)采用機(jī)器學(xué)習(xí)中深度神經(jīng)網(wǎng)絡(luò)如VGG16、AlexNet、ResNet、EfficientNet等對(duì)圖像進(jìn)行分類(lèi)［8-11］，也有采用特征工程提取圖像特征和深度神經(jīng)網(wǎng)絡(luò)相結(jié)合的方式進(jìn)行分類(lèi)［12-14］。由于有監(jiān)督學(xué)習(xí)需要大量的人力進(jìn)行樣本標(biāo)注，文獻(xiàn)［15］開(kāi)始嘗試采用無(wú)監(jiān)督方法對(duì)圖像進(jìn)行天氣現(xiàn)象分類(lèi)。

在一些基于固定圖像數(shù)據(jù)集的天氣現(xiàn)象分類(lèi)中，單幅圖像的分類(lèi)精度已經(jīng)較高［16］，但離天氣現(xiàn)象實(shí)時(shí)獲取的應(yīng)用需求還有很大距離。主要原因是在單幅圖像的天氣現(xiàn)象分類(lèi)研究中，大部分訓(xùn)練樣本是通過(guò)研究者自己拍攝或從公開(kāi)渠道獲取的圖片，其圖片質(zhì)量高、天氣現(xiàn)象特征比較明顯，而一般的視頻監(jiān)控設(shè)備往往受觀測(cè)距離和角度的影響，區(qū)分天氣現(xiàn)象的特征并不明顯。如在現(xiàn)有研究中使用的降雨圖片可能包含人們打著傘、地面濺著明顯的水花、空中雨落下等明顯的降水特征，而在視頻圖像中可能僅出現(xiàn)了地面潮濕、地面反光明顯、能見(jiàn)度降低的現(xiàn)象。利用視頻實(shí)現(xiàn)對(duì)天氣現(xiàn)象實(shí)時(shí)觀測(cè)的研究較少，本文的研究目的是如何利用視頻低成本的實(shí)現(xiàn)對(duì)天氣現(xiàn)象的實(shí)時(shí)觀測(cè)。首先基于網(wǎng)絡(luò)爬取的圖片利用深度神經(jīng)網(wǎng)絡(luò)建立識(shí)別天氣現(xiàn)象的預(yù)訓(xùn)練模型，然后通過(guò)微調(diào)技術(shù)，建立針對(duì)單個(gè)視頻站點(diǎn)的天氣現(xiàn)象識(shí)別模型，并對(duì)模型進(jìn)行性能評(píng)估，最后例舉大范圍獲取實(shí)時(shí)天氣現(xiàn)象和反演日照時(shí)數(shù)的兩個(gè)模型應(yīng)用案例，以證明該項(xiàng)技術(shù)的應(yīng)用前景。

1 資料和方法

1.1 天氣現(xiàn)象分類(lèi)及標(biāo)準(zhǔn)

將天氣現(xiàn)象分成晴天、陰天、霧、輕霧、降雨、降雪6個(gè)類(lèi)別，劃分標(biāo)準(zhǔn)見(jiàn)表1。由于夜間光線條件復(fù)雜，本文暫時(shí)只考慮白天視頻圖像分類(lèi)。

1.2 資料

建立模型使用的資料包含用于建立預(yù)訓(xùn)練模型的樣本和建立單視頻站點(diǎn)模型的樣本兩部分。建立預(yù)訓(xùn)練模型的樣本是通過(guò)互聯(lián)網(wǎng)上搜索與天氣有關(guān)的圖片，并通過(guò)人工分類(lèi)和質(zhì)量控制，對(duì)太小的或無(wú)法分辨天氣現(xiàn)象的圖片進(jìn)行剔除。為保證圖像不變形，并且適合模型訓(xùn)練，統(tǒng)一將圖片處理成300×300的正方形，對(duì)于原始圖片中長(zhǎng)寬不同的，將短邊兩邊加上黑邊使得和長(zhǎng)邊長(zhǎng)度一樣。舍棄原始圖片中長(zhǎng)寬比大于1.5的圖片。

對(duì)單視頻站點(diǎn)建立模型的視頻來(lái)自位于徐家匯氣象站和洋山港氣象站的臺(tái)站內(nèi)的站點(diǎn)監(jiān)控視頻設(shè)備，分別用于代表城市場(chǎng)景和郊區(qū)場(chǎng)景。城市場(chǎng)景一般視野較小，有較多的建筑物遮擋；郊區(qū)場(chǎng)景一般視野開(kāi)闊，可以看到地平線。洋山港氣象站位于北緯30.6°，東徑122.1°，面朝洋山深水港碼頭，海拔高度為4.6 m。設(shè)備架設(shè)于洋山港氣象站東面小山坡上，距離觀測(cè)場(chǎng)邊緣34.4 m，海拔高度為55.2 m。徐家匯氣象站視頻設(shè)備位于北緯31.2°，東徑121.4°，放置在上海氣象局業(yè)務(wù)大樓樓頂，高約59.0 m，朝向?yàn)闁|北方向。視野范圍內(nèi)主要是街道和建筑以及小部分天空。兩處均使用?？低曇曨l，型號(hào)為DS-2DE4220-AE，圖像分辨率為1920像素×1080像素。本文所用時(shí)間均為北京時(shí)間。

為方便將視頻圖像進(jìn)行天氣現(xiàn)象的類(lèi)別劃分，本文使用MICAPS［17］下發(fā)的Diamond One類(lèi)型的地面填圖資料和自動(dòng)氣象站整點(diǎn)觀測(cè)資料，分別包含徐家匯氣象站、洋山港氣象站的天氣報(bào)文和降水、能見(jiàn)度觀測(cè)數(shù)據(jù)。地面填圖資料中包含現(xiàn)在天氣現(xiàn)象編碼，從世界時(shí)0時(shí)開(kāi)始每隔3 h一個(gè)記錄，自動(dòng)氣象站觀測(cè)資料中包含整點(diǎn)降水和當(dāng)前時(shí)刻能見(jiàn)度觀測(cè)數(shù)據(jù)，每隔1 h一個(gè)記錄。根據(jù)天氣現(xiàn)象編碼，將截取整點(diǎn)的視頻圖像進(jìn)行初步分類(lèi)，然后對(duì)照自動(dòng)氣象站觀測(cè)資料人工進(jìn)行質(zhì)量控制，調(diào)整分類(lèi)有明顯問(wèn)題的圖片。天氣現(xiàn)象編碼的文件為每隔3 h整點(diǎn)，取白天數(shù)據(jù)即08：00、11：00、14：00、17：00時(shí)刻的視頻圖像。其中2021年1—12月份的圖片用于訓(xùn)練，2022年1—10月份的圖片用于測(cè)試模型性能。具體的樣本情況見(jiàn)表2。

1.3 模型建立方法

1.3.1 建立預(yù)訓(xùn)練模型

選擇VGG16［18］、Inception-ResNet-v2［19］、EfficientNets-B7［20］、MaxViT-Base［21］4種深度神經(jīng)網(wǎng)絡(luò)模型作為基礎(chǔ)模型進(jìn)行訓(xùn)練，對(duì)比各模型在測(cè)試集上的表現(xiàn)，選擇最優(yōu)模型為后續(xù)訓(xùn)練視頻模型的預(yù)訓(xùn)練模型。VGG16、Inception-ResNet-v2、EfficientNets-B7為卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，MaxViT-Base為T(mén)ransformer神經(jīng)網(wǎng)絡(luò)架構(gòu)。它們都曾在一定時(shí)期在ImageNet1000這個(gè)公開(kāi)數(shù)據(jù)集上獲得SOTA（state of the arts，指的是在某一個(gè)領(lǐng)域做的成績(jī)最好的模型）的成績(jī)。

1.3.2 單個(gè)視頻的識(shí)別模型建立

在預(yù)訓(xùn)練模型的基礎(chǔ)上，采用微調(diào)技術(shù)對(duì)單個(gè)視頻圖像建立模型。這樣的好處是針對(duì)單個(gè)視頻圖像訓(xùn)練調(diào)整模型參數(shù)可提高單個(gè)視頻點(diǎn)的性能，同時(shí)采用預(yù)訓(xùn)練模型可加快訓(xùn)練的速度，有利于大量視頻采集點(diǎn)的應(yīng)用場(chǎng)景。本文直接使用原來(lái)的模型，只是將新增加的單個(gè)視頻站點(diǎn)圖片連同原有的圖片放在一起訓(xùn)練，對(duì)模型進(jìn)行微調(diào)，只需較少的訓(xùn)練迭代次數(shù)。本文將單個(gè)視頻的模型訓(xùn)練迭代次數(shù)設(shè)為20次即達(dá)到收斂效果。

1.3.3 模型訓(xùn)練過(guò)程及超參數(shù)設(shè)置

將分類(lèi)標(biāo)注好的樣本隨機(jī)選取90%作為訓(xùn)練集，10%作為測(cè)試集。優(yōu)化器采用Adagrad，其中學(xué)習(xí)率為0.01，權(quán)重衰減率為0.001，損失函數(shù)采用交叉熵?fù)p失函數(shù)（cross entropy loss）。為提高模型的泛化能力，減少過(guò)擬合，每次訓(xùn)練時(shí)對(duì)數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)。由于天氣現(xiàn)象中霧和輕霧的分類(lèi)和視頻點(diǎn)能觀測(cè)的到最遠(yuǎn)距離相關(guān)，為了保證整幅圖片的完整性，盡量不在原圖中截取太小的區(qū)域用于訓(xùn)練，所以增強(qiáng)方式為從300×300分辨率的圖像中隨機(jī)采樣224×224大小圖片。視頻的安裝一般會(huì)要求近似水平安裝，不太出現(xiàn)翻轉(zhuǎn)的情況，因此增強(qiáng)方式中對(duì)圖像進(jìn)行了隨機(jī)水平翻轉(zhuǎn)，不進(jìn)行隨機(jī)旋轉(zhuǎn)或垂直翻轉(zhuǎn)。訓(xùn)練迭代次數(shù)選擇100次。模型搭建框架采用Python的PyTorch［22］工具包，預(yù)訓(xùn)練模型時(shí)每個(gè)模型采用隨機(jī)初始化參數(shù)，最后一層分類(lèi)器設(shè)置為6類(lèi)。

1.4 檢驗(yàn)和評(píng)估方法

為了評(píng)估預(yù)訓(xùn)練模型和單個(gè)視頻站點(diǎn)模型的識(shí)別效果，本文采用準(zhǔn)確率、查準(zhǔn)率、查全率和F1評(píng)分［23］對(duì)模型進(jìn)行評(píng)估。定義圖像識(shí)別天氣現(xiàn)象的的準(zhǔn)確率[A]、查準(zhǔn)率[P]、查全率[R]、F1評(píng)分[F1]公式分別為：

[A=（TP+TN）/（TP+TN+FP+FN）] （1）

[P=TP/（TP+FP）] （2）

[R=TP/（TP+FN）] （3）

[F1=2×TP/（2×TP+FP+FN）] （4）

式中：[TP]——把正樣本判別為正樣本的數(shù)量；[FN]——把正樣本判別為負(fù)樣本的數(shù)量；[FP]——把負(fù)樣本判別為正樣本的數(shù)量；[TN]——把負(fù)樣本判別為負(fù)樣本的數(shù)量。

通過(guò)自動(dòng)氣象資料難以準(zhǔn)確區(qū)分晴天和陰天，一般在氣象上認(rèn)為這兩種類(lèi)型都屬于無(wú)特殊天氣現(xiàn)象，因此在統(tǒng)計(jì)時(shí)將陰天和晴天一起歸為無(wú)天氣現(xiàn)象類(lèi)型進(jìn)行統(tǒng)計(jì)。為檢驗(yàn)單個(gè)視頻站點(diǎn)模型的識(shí)別效果和人工識(shí)別的差距，從2022年徐家匯氣象站視頻圖像和洋山港氣象站視頻圖像中分別隨機(jī)抽取100張測(cè)試圖片，選3人人工對(duì)圖片進(jìn)行天氣現(xiàn)象分類(lèi)，選擇3人中每個(gè)天氣現(xiàn)象子類(lèi)F1評(píng)分最高的數(shù)值組合在一起取平均值與模型結(jié)果進(jìn)行對(duì)比。

2 模型評(píng)估結(jié)果分析

2.1 預(yù)訓(xùn)練模型結(jié)果

圖1為訓(xùn)練集和測(cè)試集的準(zhǔn)確率與測(cè)試集損失函數(shù)隨迭代次數(shù)的變化情況。從準(zhǔn)確率的變化曲線可看出，Inception-Resnet-v2模型無(wú)論是訓(xùn)練集還是測(cè)試集準(zhǔn)確率均最高，且收斂速度最快，迭代30次之后就收斂了。EfficientNets-B7開(kāi)始訓(xùn)練時(shí)抖動(dòng)最大，迭代20步之后趨于平穩(wěn)，MaxViT-Base模型收斂速度也較快，而且在隨后的訓(xùn)練過(guò)程中訓(xùn)練集和測(cè)試集的準(zhǔn)確率穩(wěn)步上升且偏離不大，但測(cè)試集準(zhǔn)確率略低于Inception-Resnet-v2和EfficientNets-B7模型，VGG16在準(zhǔn)確率上表現(xiàn)最差。

因考慮后續(xù)如果有大規(guī)模的視頻攝像頭需要訓(xùn)練和部署，因此對(duì)4個(gè)模型的圖片解析速度和訓(xùn)練效率也進(jìn)行對(duì)比。迭代次數(shù)均為100次，測(cè)試機(jī)器配置為CPU i7-6700@3.40 GHz ，內(nèi)存20.0 GB-RAM，訓(xùn)練時(shí)使用顯卡為Nvidia A4000 16 GB，具體情況見(jiàn)表3。

從表3可看出，從訓(xùn)練耗時(shí)、每秒解析圖片張數(shù)以及測(cè)試集的準(zhǔn)確率上，Inception-Resnet-v2均有明顯優(yōu)勢(shì)，訓(xùn)練耗時(shí)明顯小于其他模型，而且準(zhǔn)確率最高，達(dá)到0.87。因此，后續(xù)的站點(diǎn)視頻識(shí)別模型將以Inception-Resnet-v2預(yù)訓(xùn)練模型為基礎(chǔ)開(kāi)展訓(xùn)練。

2.2 單視頻站點(diǎn)模型識(shí)別結(jié)果

兩個(gè)站點(diǎn)視頻圖像模型識(shí)別的測(cè)評(píng)結(jié)果和人工識(shí)別結(jié)果見(jiàn)表4和表5。

從表4、表5可看出，在所有指標(biāo)的平均值中，除洋山港氣象站的查準(zhǔn)率是人工識(shí)別優(yōu)于模型識(shí)別外，其他指標(biāo)均為模型識(shí)別的分值高于人工識(shí)別的分值。其中模型F1評(píng)分在徐家匯和洋山港氣象站的視頻圖像的識(shí)別中平均得分分別為0.74和0.67，證明模型識(shí)別效果優(yōu)于人眼識(shí)別效果。其原因可能是由于建立樣本時(shí)參考了自動(dòng)氣象站的觀測(cè)資料，其分類(lèi)相當(dāng)于由一個(gè)有經(jīng)驗(yàn)的專(zhuān)家進(jìn)行，模型通過(guò)學(xué)習(xí)獲得其分類(lèi)技能，而普通人員未經(jīng)過(guò)專(zhuān)門(mén)練習(xí)，抓取圖像中天氣特征的能力相對(duì)較弱。從單個(gè)天氣現(xiàn)象類(lèi)型的F1評(píng)分中可看出，模型分類(lèi)和人工分類(lèi)對(duì)降雨的類(lèi)型分值均較低，在有天氣現(xiàn)象的類(lèi)型中，對(duì)霧的分類(lèi)效果較好。

3 模型應(yīng)用案例

3.1 基于網(wǎng)絡(luò)視頻的天氣實(shí)況監(jiān)測(cè)

本示例利用央視網(wǎng)直播中國(guó)（https：//livechina.cctv.com/）中實(shí)景中國(guó)的視頻監(jiān)控圖片，實(shí)現(xiàn)大范圍當(dāng)前時(shí)刻的天氣實(shí)況監(jiān)控。共截取63個(gè)視頻，其中成像質(zhì)量較好且包含部分天空的視頻為主。獲取2023年1月每日08：00—18：00時(shí)段內(nèi)6175張視頻截圖進(jìn)行人工分類(lèi)，將不同的天氣現(xiàn)象放入原有的樣本庫(kù)中，并利用基礎(chǔ)模型重新訓(xùn)練，建立新的識(shí)別模型。這些圖片中，晴天占2090張、陰天占1509張、霧天占810張、輕霧占1057張、降雨占568張，降雪占141張。通過(guò)將實(shí)時(shí)獲取的圖片輸入模型進(jìn)行識(shí)別，可獲得當(dāng)前時(shí)刻大范圍天氣分布狀況。針對(duì)2023年2月19日13：30獲取的站點(diǎn)視頻截圖，從中剔除未成功打開(kāi)或視頻停在過(guò)去時(shí)間的視頻點(diǎn)，最終得到49個(gè)可用視頻圖像，并將其放入模型進(jìn)行識(shí)別。根據(jù)識(shí)別結(jié)果可得到天氣狀況的分布。將識(shí)別結(jié)果與對(duì)應(yīng)時(shí)刻13：50葵花8衛(wèi)星可見(jiàn)光云圖進(jìn)行對(duì)比，發(fā)現(xiàn)基本符合云團(tuán)分布情況（圖2）。

3.2 日照時(shí)數(shù)統(tǒng)計(jì)

本示例利用模型識(shí)別的天氣現(xiàn)象，實(shí)現(xiàn)了對(duì)徐家匯地區(qū)每日日照時(shí)數(shù)的統(tǒng)計(jì)。具體方法為每隔 10 min采集視頻圖像，然后通過(guò)模型對(duì)天氣現(xiàn)象進(jìn)行解析，如果分類(lèi)為晴天，則記錄10 min的日照時(shí)間，并將每日的日照時(shí)間轉(zhuǎn)化為小時(shí)計(jì)數(shù)。通過(guò)與徐家匯氣象臺(tái)自動(dòng)日照觀測(cè)儀器在2023年2月整月的觀測(cè)結(jié)果進(jìn)行對(duì)比，發(fā)現(xiàn)兩者接近（圖3）。視頻解析的每日日照時(shí)數(shù)與觀測(cè)平均誤差為0.13 h，均方根誤差為0.52 h，當(dāng)月累計(jì)日照時(shí)數(shù)分別為76.2 h和80 h，誤差為4.98%。但視頻解析的日照時(shí)數(shù)略大于觀測(cè)，可能是由于兩者安放的位置不同。自動(dòng)日照觀測(cè)儀安放在上海氣象博物館樓頂，高約30 m，而視頻安放的位置在上海市氣象業(yè)務(wù)大樓樓頂，高約59 m，兩者相差29 m，因此可能觀測(cè)到的日照時(shí)間更長(zhǎng)。在早晨，當(dāng)視頻觀測(cè)到晴天時(shí)，陽(yáng)光還未照射到日照觀測(cè)儀，因?yàn)樗粬|邊的樓宇遮擋。

4 結(jié) 論

通過(guò)對(duì)從互聯(lián)網(wǎng)下載的天氣現(xiàn)象圖片進(jìn)行分類(lèi)和訓(xùn)練，得到一種基于天氣現(xiàn)象分類(lèi)的預(yù)訓(xùn)練模型。在此基礎(chǔ)上，將各視頻點(diǎn)的圖像加入訓(xùn)練數(shù)據(jù)，從而構(gòu)建各站點(diǎn)天氣現(xiàn)象視頻識(shí)別模型。經(jīng)過(guò)與人工識(shí)別的對(duì)比評(píng)估分析，主要得出以下結(jié)論：

1）在徐家匯和洋山港氣象站的視頻圖像中，識(shí)別模型在大部分評(píng)分指標(biāo)中均取得了高于人眼識(shí)別的分值，其中F1評(píng)分均值分別為0.74和0.67，而人工識(shí)別的得分分別為0.67和0.61，這表明所建立的識(shí)別模型接近或優(yōu)于人眼識(shí)別的效果。

2）該模型對(duì)晴天和大霧等天氣現(xiàn)象的解析和識(shí)別較好，對(duì)降雨的識(shí)別能力較差，但仍?xún)?yōu)于人工識(shí)別。通過(guò)兩個(gè)應(yīng)用案例，說(shuō)明該項(xiàng)技術(shù)具有較好的應(yīng)用前景。該方法由于無(wú)需購(gòu)置和維護(hù)專(zhuān)用氣象設(shè)備，因此實(shí)現(xiàn)天氣現(xiàn)象監(jiān)測(cè)的成本較低，特別是在無(wú)法獲取氣象觀測(cè)站數(shù)據(jù)的情況下，可利用視頻提取的氣象信息作為替代方案。

本文未將該模型與其他天氣現(xiàn)象儀進(jìn)行比較，但根據(jù)文獻(xiàn)［24］，現(xiàn)有業(yè)務(wù)運(yùn)行的降水天氣現(xiàn)象儀，對(duì)于細(xì)分的降水天氣現(xiàn)象的過(guò)程捕獲率最高在69%左右，其性能與該模型相當(dāng)。這表明，該模型具備一定的氣象業(yè)務(wù)應(yīng)用能力。但在降雨識(shí)別的精度和夜間識(shí)別的能力方面，該模型仍需進(jìn)一步的研究和探索。

［參考文獻(xiàn)］

［1］ 于瑛， 郭佳豪， 姚星， 等. 天氣類(lèi)型對(duì)逐時(shí)太陽(yáng)總輻射模型適應(yīng)性的影響［J］. 太陽(yáng)能學(xué)報(bào)， 2022， 43（12）： 186-193.

YU Y， GUO J H， YAO X， et al. Influence of weather types on adaptability of hourly global solar radiation models［J］. Acta energiae solaris sinica， 2022， 43（12）： 186-193.

［2］ 李芬， 楊勇， 胡超， 等. 基于天氣類(lèi)型識(shí)別的跟蹤式光伏發(fā)電系統(tǒng)能量評(píng)估及優(yōu)化［J］. 太陽(yáng)能學(xué)報(bào)， 2020， 41（11）： 112-119.

LI F， YANG Y， HU C， et al. Energy evaluation analysis and optimization of tracking photovoltaic generation system based" "on" "weather" type recognition［J］." Acta" "energiae solaris sinica， 2020， 41（11）： 112-119.

［3］ 劉冬韡， 穆海振， 賀千山， 等. 一種基于實(shí)景圖像的低能見(jiàn)度識(shí)別算法［J］. 應(yīng)用氣象學(xué)報(bào)， 2022， 33（4）： 501-512.

LIU D W， MU H Z， HE Q S， et al. A low visibility recognition algorithm based on surveillance video［J］. Journal of applied meteorological science， 2022， 33（4）： 501-512.

［4］ LU C W， LIN D， JIA J Y， et al. Two-class weather classification［C］//2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus， OH， USA， 2014： 3718-3725.

［5］ 張紅艷， 李茵茵， 萬(wàn)偉. 改進(jìn)K近鄰和支持向量機(jī)相融合的天氣識(shí)別［J］. 計(jì)算機(jī)工程與應(yīng)用， 2014， 50（14）： 148-151， 167.

ZHANG H Y， LI Y Y， WAN W. Weather identification based on improved K nearest neighbor and support vector machine［J］. Computer engineering and applications， 2014， 50（14）： 148-151， 167.

［6］ 李騫， 范茵， 張璟， 等. 基于室外圖像的天氣現(xiàn)象識(shí)別方法［J］. 計(jì)算機(jī)應(yīng)用， 2011， 31（6）： 1624-1627.

LI Q， FAN Y， ZHANG J， et al. Method of weather recognition based on decision-tree-based SVM［J］. Journal of computer applications， 2011， 31（6）： 1624-1627.

［7］ 于浩， 王孝通， 徐冠雷. 基于貝葉斯分類(lèi)的霧天和雨天兩類(lèi)天氣圖像自動(dòng)識(shí)別［J］. 艦船電子工程， 2016， 36（9）： 73-75， 94.

YU H， WANG X T， XU G L. Automatic recognition of two different weathers of foggy and rainy based on Bayesian classification［J］. Ship electronic engineering， 2016， 36（9）： 73-75， 94.

［8］ XIA J M， XUAN D W， TAN L， et al. ResNet15： weather recognition on traffic road with deep convolutional neural network［J］. Advances in meteorology， 2020， 2020： 6972826.

［9］ XIAO H X， ZHANG F， SHEN Z P， et al. Classification of weather phenomenon from images by using deep convolutional neural network［J］. Earth and space science， 2021， 8（5）： e2020EA001604.

［10］ ZHAO B， HUA L L， LI X L， et al. Weather recognition via classification labels and weather-cue maps［J］. Pattern recognition， 2019， 95： 272-284.

［11］ 王亞朝， 趙偉， 徐海洋， 等. 基于輕量型卷積神經(jīng)網(wǎng)絡(luò)的非固定場(chǎng)景天氣識(shí)別算法［J］. 電子測(cè)量技術(shù)， 2019， 42（17）： 152-156.

WANG Y Z， ZHAO W， XU H Y， et al. Non-fixed scene weather classification algorithm based on lightweight convolutional neural network［J］. Electronic measurement technology， 2019， 42（17）： 152-156.

［12］ ZHANG Z， MA H D， FU H Y， et al. Scene-free multi-class" "weather" "classification" "on" "single" "images［J］. Neurocomputing， 2016， 207： 365-373.

［13］ 左杰格， 柳曉鳴， 蔡兵. 基于圖像分塊與特征融合的戶外圖像天氣識(shí)別［J］. 計(jì)算機(jī)科學(xué)， 2022， 49（3）： 197-203.

ZUO J G， LIU X M， CAI B. Outdoor image weather recognition based on image blocks and feature fusion［J］. Computer science， 2022， 49（3）： 197-203.

［14］ 郭志強(qiáng)， 胡永武， 劉鵬， 等. 基于特征融合的室外天氣圖像分類(lèi)［J］. 計(jì)算機(jī)應(yīng)用， 2020， 40（4）： 1023-1029.

GUO Z Q， HU Y W， LIU P， et al. Outdoor weather image classification" "based" "on" "feature" "fusion［J］." Journal" "of computer applications， 2020， 40（4）： 1023-1029.

［15］ XIE K Z， HUANG L， WEI Z Q， et al. WCATN： Unsupervised deep learning to classify weather conditions from" "outdoor" "images［J］." "Engineering" "applications" "of artificial intelligence， 2022， 113： 104928.

［16］ ZHANG Z， MA H D. Multi-class weather classification on single images［C］//2015 IEEE International Conference on Image Processing （ICIP）.Quebec City， QC， Canada， 2015： 4396-4400.

［17］ 高嵩， 畢寶貴， 李月安， 等. MICAPS4預(yù)報(bào)業(yè)務(wù)系統(tǒng)建設(shè)進(jìn)展與未來(lái)發(fā)展［J］. 應(yīng)用氣象學(xué)報(bào)， 2017， 28（5）： 513-531.

GAO S， BI B G， LI Y A， et al. Implementation and development plan of MICAPS4［J］. Journal of applied meteorological science， 2017， 28（5）： 513-531.

［18］ SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition［J］. arXiv e-prints， 2014： arXiv： 1409.1556.

［19］ SZEGEDY C， IOFFE S， VANHOUCKE V， et al. Inception-v4， inception-ResNet and the impact of residual connections on learning［C］//Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence. San Francisco， California， USA， 2017： 4278-4284.

［20］ TAN M， LE Q. EfficientNet： rethinking model scaling for convolutional" " " " "neural" " " " " networks［C］//International Conference on Machine Learning. PMLR， 2019： 6105-6114.

［21］ TU Z Z， TALEBI H， ZHANG H， et al. MaxViT： multi-axis vision transformer［C］//Computer Vision-ECCV 2022： 17th European conference. Tel Aviv， Israel， 2022： 459-479.

［22］ 廖星宇. 深度學(xué)習(xí)入門(mén)之 PyTorch［M］. 北京： 電子工出版社， 2017： 13-14.

LIAO X Y. PyTorch， an introduction to deep learning［M］. Beijing： Publishing House of Electronics Industry， 2017： 13-14.

［23］ 周志華. 機(jī)器學(xué)習(xí)［M］. 北京： 清華大學(xué)出版社， 2016： 30.

ZHOU Z H. Machine learning［M］. Beijing： Tsinghua University Press， 2016： 30.

［24］ 馬寧， 任芝花， 王妍， 等. 全國(guó)降水天氣現(xiàn)象平行觀測(cè)對(duì)比分析［J］. 干旱區(qū)研究， 2022， 39（1）： 54-63.

MA N， REN Z H， WANG Y， et al. Comparative analysis of parallel observations of precipitation phenomena in China［J］. Arid zone research， 2022， 39（1）： 54-63.

VIDEO-BASED WEATHER PHENOMENON RECOGNITION AND

ITS APPLICATION RESEARCH

Liu Dongwei1，Shi Jun1，Yu Wei1，Wang Yadong2，Guo Wei1，Du Mingbin1

（1. Shanghai Ecological Forecasting and Remote Sensing Center， Shanghai 200030， China；

2. Shanghai Meteorological Information and Technology Support Center， Shanghai 200030， China）

Abstract： In this study a newly method is proposed to identify weather phenomena with widely dispersed video data to address the issues of high deployment and maintenance costs by traditional weather phenomenon observation equipment. In this method， a deep neural network is firstly used to train 16327 weather phenomenon photographs from internet for building a pre-training categorization model， and then a fine-tuning procedure is applied with those video photographs from two meteorological observation station to improve the identifying accuracy. The model was testeel by using the video image data from January to October 2022. The results indicate that the performance of the proposed model is comparable to or superior to that of human eye recognition with the F1 scores of 0.74 and 0.67 for the model recognition in the two different station compared with 0.67 and 0.61 for the manual recognition. A cases analysis shows that the proposed model is mostly perfect for identifying sunny and fog but unsatisfactory for rainfall. Further， two application cases show that the model can be used to retrieve the sunshine duration and identify weather phenomena in real time using the online video images. Most important， this method can be employed as a substituted scheme for the present weather phenomena instrument to achieve low-cost weather information observation.

Keywords：solar energy； image recognition； video cameras； neural networks； weather phenomena； sunshine duration