• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    深度學(xué)習(xí)模型TAGAN 在強(qiáng)對(duì)流回波臨近預(yù)報(bào)中的應(yīng)用

    2022-08-01 23:29:38胡家暉盧楚翰姜有山何婧
    大氣科學(xué) 2022年4期
    關(guān)鍵詞:損失雷達(dá)卷積

    胡家暉 盧楚翰 姜有山 何婧

    1 南京信息工程大學(xué)氣象災(zāi)害教育部重點(diǎn)實(shí)驗(yàn)室/氣候與環(huán)境變化國際合作聯(lián)合實(shí)驗(yàn)室/氣象災(zāi)害預(yù)報(bào)預(yù)警與評(píng)估協(xié)同創(chuàng)新中心,南京 210044

    2 南京市氣象局, 南京 210009

    1 引言

    對(duì)流降水的臨近預(yù)報(bào)長期以來一直是天氣領(lǐng)域的一個(gè)重要研究課題。目前,制作0~3 小時(shí)內(nèi)臨近天氣預(yù)報(bào)和發(fā)布災(zāi)害性天氣警報(bào)的主要依據(jù)是天氣雷達(dá)觀測(cè)資料以及結(jié)合快速同化的數(shù)值模型,雷達(dá)回波的外推法是臨近預(yù)報(bào)的主要手段(俞小鼎等, 2012; 王國榮等, 2019)。 傳統(tǒng)的雷達(dá)回波外推法主要是質(zhì)心跟蹤法、交叉相關(guān)法以及變分回波跟蹤算法(陳明軒等, 2007; 韓雷等, 2007; 吳劍坤等,2019),一些計(jì)算機(jī)視覺技術(shù),如基于光流的方法也可以用于預(yù)測(cè)雷達(dá)回波圖(韓雷等, 2008; 曹春燕等, 2015)。但傳統(tǒng)的方法對(duì)長時(shí)間的預(yù)測(cè)效果不佳,且不能很好地推演出回波的生消情況。

    近年來,深度學(xué)習(xí)模型在處理視頻預(yù)測(cè)任務(wù)上有較多應(yīng)用(Oprea et al., 2020),基于雷達(dá)的臨近預(yù)報(bào)本質(zhì)是一個(gè)時(shí)空序列預(yù)測(cè)任務(wù),同樣也可看成一個(gè)視頻預(yù)測(cè)任務(wù),以過去序列雷達(dá)回波圖作為輸入,預(yù)測(cè)未來的雷達(dá)回波圖,因而通過深度學(xué)習(xí)的技術(shù)來解決臨近預(yù)報(bào)問題是一個(gè)很好的思路。Shi et al.(2015)使用ConvLSTM模型(Convolutional Long-Short Term Memory)在降水臨近預(yù)報(bào)中獲得顯著效果,該模型的時(shí)空相關(guān)性更優(yōu)于FC-LSTM(Graves, 2013),且模型相對(duì)于傳統(tǒng)的基于光流的模型有一定的優(yōu)勢(shì)。在后續(xù)的改進(jìn)中,Shi et al.(2017)考慮了雷達(dá)回波旋轉(zhuǎn)特性,通過動(dòng)態(tài)改變隱狀態(tài)間的連接結(jié)構(gòu)提出TrajGRU(Trajectory Gated Recurrent Unit),并為深度學(xué)習(xí)模型在臨近預(yù)報(bào)的應(yīng)用提供了極具參考意義的基準(zhǔn)對(duì)比試驗(yàn)。韓豐等(2019)使用ST-LSTM 單元組成的循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)行雷達(dá)臨近預(yù)報(bào)試驗(yàn),其預(yù)報(bào)結(jié)果比交叉相關(guān)法在各項(xiàng)指標(biāo)上要表現(xiàn)的更好,但雷達(dá)強(qiáng)回波中心預(yù)報(bào)效果不太理想。施恩等(2018)使用動(dòng)態(tài)卷積神經(jīng)網(wǎng)絡(luò)模型在雷達(dá)回波外推任務(wù)中進(jìn)行了嘗試,相對(duì)于傳統(tǒng)的外推方法有一定提升。郭瀚陽等(2019)的試驗(yàn)表明深度學(xué)習(xí)模型較之傳統(tǒng)外推法在準(zhǔn)確率上有明顯的提升。近年來,模型結(jié)構(gòu)構(gòu)建與改進(jìn)的嘗試逐步得以開展,通常雷達(dá)回波外推模型采用多層編碼—解碼結(jié)構(gòu),而模型的改進(jìn)一般分兩種。一種是對(duì)編解碼結(jié)構(gòu)進(jìn)行修改擴(kuò)充,如在編碼解碼端連接處加入注意力模塊,或如Star-BridgeNet(Cao et al., 2019)在解碼端改造每個(gè)輸出時(shí)間步之間的連接方式。另外,也有對(duì)基本的循環(huán)神經(jīng)網(wǎng)(RNN)模塊改造如針對(duì)回波的平穩(wěn)和非平穩(wěn)隨機(jī)過程建模的MIM(Wang et al., 2019)。

    需指出的是,當(dāng)前大部分深度學(xué)習(xí)模型結(jié)構(gòu)主要基于RNN 和卷積神經(jīng)網(wǎng)(CNN),受限于卷積核的大小,普通的卷積層只能提取到有限范圍且固定的信息,對(duì)于范圍較大的系統(tǒng)性回波刻畫能力往往受到限制。對(duì)于RNN模型,預(yù)測(cè)的效果往往隨時(shí)間變差,一方面由于大氣的混沌和高度非線性難以預(yù)測(cè),另一方面RNN 的預(yù)測(cè)依賴于上一時(shí)間步的輸出,誤差將會(huì)增加和累積。生成式對(duì)抗網(wǎng)絡(luò)(GAN)是另一個(gè)在計(jì)算機(jī)視覺任務(wù)中常用的模型,它通過生成器和判別器的博弈學(xué)習(xí)數(shù)據(jù)真實(shí)的分布。而Woo et al.(2018)提出利用嵌入式的注意力模塊,可以提高神經(jīng)網(wǎng)絡(luò)的不同尺度特征提取能力,關(guān)注重要的特征抑制不重要的特征。另一方面,盡管光流法對(duì)系統(tǒng)生消以及時(shí)效有其局限性,但其對(duì)已知時(shí)刻的回波系統(tǒng)的位置變化以及運(yùn)行特征有較強(qiáng)的刻畫能力,因此能否在深度模型編碼階段(預(yù)報(bào)因子構(gòu)建)融入光流法刻畫信息,從而提升模型的預(yù)報(bào)性能?為此,針對(duì)上述兩個(gè)問題本文嘗試使用雙流注意力生成對(duì)抗網(wǎng)(Two-stream Attention GAN,TAGAN),通過加入計(jì)算機(jī)視覺任務(wù)中常用的注意力模塊并且融入帶有運(yùn)動(dòng)信息的光流場,使用過去1 h 的雷達(dá)回波拼圖數(shù)據(jù)預(yù)測(cè)未來1 h 的回波演變,將此模型與Woo and Wong(2017)提出的Rover 變分光流法(Real-time Optical flow by Variational methods for Echoes of Radar)和基于3D 卷積原理的3D U-Net(簡稱3DUnet )模型進(jìn)行對(duì)比檢驗(yàn),給出了測(cè)試集上的對(duì)比檢驗(yàn)結(jié)果和回波過程個(gè)例可視化結(jié)果,并分析了導(dǎo)致預(yù)測(cè)效果差異的原因。

    2 資料與方法

    2.1 雷達(dá)資料選取及數(shù)據(jù)預(yù)處理

    本文使用的數(shù)據(jù)集是深圳市氣象局與香港天文臺(tái)根據(jù)近年的雷達(dá)數(shù)據(jù)共同建立的“標(biāo)準(zhǔn)雷達(dá)數(shù)據(jù)集2018”(https://tianchi.aliyun.com/competition/entrance/231662/information [2021-01-05])。該 數(shù)據(jù)集由32 萬組連續(xù)雷達(dá)回波圖像組成。在本次實(shí)驗(yàn)中取前1 h 間隔6 min 共10 幀的回波圖(反射率因子),預(yù)測(cè)后1 h 共10 幀回波圖,挑選出了具有明顯回波過程(即樣本中至少一個(gè)時(shí)次含有10 dBZ以上的數(shù)據(jù)占比20%以上)的樣本(共2.2 萬組序列樣本),將缺測(cè)值用相鄰四個(gè)不為缺測(cè)的格點(diǎn)數(shù)值取平均后填充,分別在數(shù)據(jù)集的訓(xùn)練組和測(cè)試組上用長度為20、步長為10 的滑窗進(jìn)行切割獲得輸入部分不相交的序列樣本,在訓(xùn)練組上切割出本次試驗(yàn)的訓(xùn)練集和驗(yàn)證集,在測(cè)試組上切出測(cè)試集。其中訓(xùn)練集和驗(yàn)證集一共2 萬組序列樣本比例為8:2,測(cè)試集一共2000 組序列樣本。為濾除回波噪聲,對(duì)訓(xùn)練和測(cè)試數(shù)據(jù)進(jìn)行中值濾波(即將每一個(gè)像素點(diǎn)的值設(shè)置為窗口內(nèi)所有像素點(diǎn)的中值),濾波會(huì)對(duì)圖像有一定的模糊化。之后進(jìn)行歸一化處理。整套所用數(shù)據(jù)中,10~20 dBZ、20~30 dBZ、30~40 dBZ和大于40 dBZ的格點(diǎn)頻率分別為28%、37%、29%、5.7%。

    2.2 模型

    2.2.1 TAGAN模型

    在搭建TAGAN模型的過程中基本預(yù)測(cè)模型采用3 層編碼—解碼結(jié)構(gòu)的RNN,RNN 基本單元使用Ballas et al.(2015)提出的ConvGRU(Convolutional Gated Recurrent Unit),ConvGRU 的公式如下:

    其中,*表示卷積操作, ?表示哈達(dá)瑪積操作。Zt為GRU 單元的更新門,Rt為GRU 單元的重置門,σ為激活函數(shù),為上一時(shí)刻的隱狀態(tài)、經(jīng)重置門的數(shù)據(jù)、輸入數(shù)據(jù)Xt計(jì)算而成的。而最終輸出的Ht為經(jīng)過更新門更新的隱狀態(tài)。ConvGRU 是基于門控的循環(huán)單元,將其進(jìn)行堆疊可以擴(kuò)大頂層的感受野捕捉到更大范圍的回波從而更好的學(xué)習(xí)到雷達(dá)回波演變特征。具體編碼解碼結(jié)構(gòu)共有三層(如圖1),每一層都由RNN(ConvGRU 單元)、注意力模塊和卷積層組成,卷積層一方面用來對(duì)數(shù)據(jù)進(jìn)行上、下采樣,從而讓模型訓(xùn)練的顯存控制在可以接受的范圍內(nèi),另一方面可以提取到回波數(shù)據(jù)的低維到高維的信息。其中編碼端和解碼端ConvGRU 單元的卷積核數(shù)量分別為64、192、192。輸入數(shù)據(jù)在編碼端經(jīng)過多層信息提取,被壓縮成隱狀態(tài)輸入到解碼端,經(jīng)過解碼端解碼成預(yù)測(cè)的雷達(dá)回波數(shù)據(jù),編碼解碼結(jié)構(gòu)對(duì)稱,在編碼解碼連接端每一層的解碼器接受對(duì)應(yīng)層編碼器輸出的隱狀態(tài)數(shù)據(jù)。

    圖1 TAGAN模型生成器模型圖Fig. 1 TAGAN model generator model diagram

    如圖2 所示模型訓(xùn)練框架基于生成對(duì)抗網(wǎng)絡(luò)(Goodfellow et al., 2014),包括生成器(Generator)和判別器(Discriminator)兩部分,訓(xùn)練過程中生成器與鑒別器交替訓(xùn)練,最終達(dá)到平衡時(shí)生成器可以生成接近真實(shí)的數(shù)據(jù)。模型內(nèi)部的卷積層均由2D 卷積層、批量歸一化層、LeaklyReLU(負(fù)斜率設(shè)置為0.2)激活函數(shù)組成。GAN 的原理如公式(5)所示:

    圖2 TAGAN模型結(jié)構(gòu)圖Fig. 2 TAGAN model structure diagram

    其中,生成器的目的是生成更為真實(shí)的雷達(dá)回波序列從而騙過判別器,判別器的目的是盡可能地區(qū)分出來自生成器和來自真實(shí)的雷達(dá)回波序列。c表示輸入雷達(dá)回波序列,D(x|c)表示鑒別器對(duì)真實(shí)數(shù)據(jù)輸出的概率,D(G(x|c))表示鑒別器對(duì)生成器預(yù)測(cè)數(shù)據(jù)輸出的概率。

    雷達(dá)回波的預(yù)測(cè)由生成器(編解碼結(jié)構(gòu))完成,以往的大多數(shù)模型試驗(yàn)中輸入部分只有雷達(dá)回波數(shù)據(jù),而TAGAN 在回波數(shù)據(jù)進(jìn)入模型時(shí)加入了其對(duì)應(yīng)時(shí)刻的光流圖,因此模型接受的數(shù)據(jù)不僅是過去時(shí)刻的回波圖。其目的一方面在于融入了預(yù)測(cè)因子(前序回波圖)的額外光流信息,另一方面光流圖又起到了約束的作用,使模型做預(yù)測(cè)的時(shí)候能在更小的范圍里進(jìn)行選擇。回波序列圖和光流圖分別經(jīng)過對(duì)應(yīng)的卷積層(第一層)進(jìn)行特征融合,之后數(shù)據(jù)流經(jīng)過卷積層下采樣通過注意力模塊進(jìn)入ConvGRU 單元,在訓(xùn)練的過程中嘗試了在卷積層中加入若干殘差塊(He et al., 2016),提高卷積層提取信息的能力。判別器使用若干卷積層組成,后使用sigmoid 函數(shù)激活,數(shù)值范圍在0~1 之間。

    此外,生成器的前兩層采用CBAM(Convlutional Block Attention Module)注意力模塊(圖3),該模塊是Woo et al.(2018)提出的輕量級(jí)注意力模塊,它可以自由地嵌入到卷積網(wǎng)絡(luò)中從而提高網(wǎng)絡(luò)的特征提取能力,對(duì)重要特征起突顯作用。例如,在不同種類貓圖像分類的任務(wù)中,對(duì)于分類結(jié)果影響最大的部分就是圖像中貓形態(tài)的特征而非背景,注意力模塊可以賦予圖中貓部分高權(quán)重和背景低權(quán)重。CBAM 包含通道注意力和空間注意力兩個(gè)部分,通道和空間注意力模塊采用全局平均池化和最大池化來計(jì)算注意的權(quán)重系數(shù),將兩者順序組合成CBAM 后嵌入TAGAN 中,在數(shù)據(jù)流入CBAM模塊時(shí)可以學(xué)到相對(duì)整個(gè)過程中需要更加注意的區(qū)域。

    圖3 CBAM模塊結(jié)構(gòu)圖,包含通道注意力模塊(左部)和空間注意力模型(右部)Fig. 3 CBAM module structure diagram, including the channel attention module (left part) and the spatial attention model (right part)

    最后,在模型的最后一層采用self-attention 自注意力模塊(Zhang et al., 2019),該模塊的結(jié)構(gòu)圖如圖4 所示。該模塊與CBAM模塊的作用類似,其也是強(qiáng)調(diào)在原始特征中何處需要加強(qiáng)注意從而更好的提高網(wǎng)絡(luò)特征提取與變換的能力,模塊中原特征圖經(jīng)過三個(gè)1×1 的卷積后分別得到三個(gè)特征圖,通過前兩個(gè)特征圖計(jì)算出attention 權(quán)重系數(shù)在與第三個(gè)特征圖作矩陣乘法運(yùn)算得到注意力特征圖,最后將注意力特征圖與原特征圖相加得到最終輸出的特征圖,自注意力模塊可以學(xué)到任意位置的依賴關(guān)系。由于自注意力的計(jì)算開銷比較大,所以放在編碼和預(yù)測(cè)模塊的底層(最后一層)。

    圖4 Self-attention模塊結(jié)構(gòu)圖, ?表示矩陣乘法運(yùn)算Fig. 4 Self-attention module structure diagram ( ?: matrix multiplication operation)

    基于上述的模型,完整的回波數(shù)據(jù)進(jìn)入模型到預(yù)測(cè)的過程如下:10 幀回波數(shù)據(jù)和對(duì)應(yīng)光流場依次經(jīng)過第一層卷積層融合后進(jìn)入CBAM 注意力模塊接著進(jìn)入ConvGRU 單元,繼而以相同方式進(jìn)入第二層和第三層,但第三層的注意力模塊為Selfattention模塊。其中第一個(gè)時(shí)間步的ConvGRU 單元隱狀態(tài)初始化為0,數(shù)據(jù)在編碼端最終被壓縮成3 個(gè)張量(最后一個(gè)時(shí)間步3 層ConvGRU 輸出的隱狀態(tài)),這三個(gè)張量包含著從低維到高維10 幀回波圖像以及對(duì)應(yīng)光流場演變的信息,以此作為初始化的隱狀態(tài)進(jìn)入解碼端對(duì)應(yīng)的ConvGRU 中,在解碼端的計(jì)算首先從第三層開始,第三層ConvGRU的輸入初始化為0,隱狀態(tài)來自對(duì)應(yīng)層的編碼端ConvGRU,數(shù)據(jù)流方向與編碼端相反,卷積層使用轉(zhuǎn)置卷積進(jìn)行上采樣將尺寸較小的特征圖重構(gòu)為預(yù)測(cè)的回波圖像,在后續(xù)預(yù)測(cè)的時(shí)間步中計(jì)算依據(jù)上一時(shí)刻輸出的隱狀態(tài),這種方式可以預(yù)測(cè)變長序列。最終解碼端將會(huì)輸出10 幀預(yù)測(cè)的回波圖像,接著預(yù)測(cè)的回波數(shù)據(jù)和真實(shí)回波數(shù)據(jù)分別拼接輸入回波數(shù)據(jù)交替進(jìn)入判別器進(jìn)行訓(xùn)練,判別器反向傳播的梯度也會(huì)進(jìn)入生成器(編碼解碼結(jié)構(gòu))幫助生成器更好的預(yù)測(cè),理想的判別器輸出概率應(yīng)為0.5,即生成器生成的回波數(shù)據(jù)達(dá)到了以假亂真的效果,使得判別器不能以較大的概率判定其是真是假,生成器和判別器達(dá)到納什平衡。

    2.2.2 損失函數(shù)

    在雷達(dá)回波預(yù)測(cè)的任務(wù)中,常用的損失函數(shù)有平均平方誤差(MSE)和平均絕對(duì)誤差(MAE),但該兩個(gè)損失函數(shù)容易造成預(yù)測(cè)圖像的模糊化,為了更好的生成圖像和更精確的預(yù)測(cè)還引入了圖像梯度差損失函數(shù)(GDL)和結(jié)構(gòu)相似性損失函數(shù)(SSIM)。

    SSIM 是計(jì)算兩張圖片的相似度的函數(shù),其定義如下:

    其中,l(x,y)為亮度相似度,c(x,y)為對(duì)比相似度,s(x,y)為結(jié)構(gòu)相似度。μx和μy分別是x和y的平均值,而σx和σy則是x和y的方差,σxy是x和y的協(xié)方差。C1、C2、C3是維持?jǐn)?shù)值計(jì)算穩(wěn)定的常數(shù)。訓(xùn)練過程中使用的SSIM 損失函數(shù)(Zhao et al.,2017)如下:

    訓(xùn)練過程中的圖像梯度差損失函數(shù)如下所示:

    其中,i和j為坐標(biāo),在訓(xùn)練過程中α取1。

    對(duì)抗損失函數(shù)如下:

    其中Lbce為二分類交叉熵?fù)p失函數(shù),D為鑒別器。

    最后本次試驗(yàn)中使用的損失函數(shù)如下:

    關(guān)于對(duì)抗損失函數(shù)Ladv的參數(shù)設(shè)置,訓(xùn)練步驟請(qǐng)?jiān)敿?xì)參考Mathieu et al.(2016)和Isola et al.(2017),Lp是帶權(quán)重的MSE 和MAE,越高的回波值賦予越高的權(quán)重。

    2.2.3 對(duì)比模型

    U-Net 是圖像分割領(lǐng)域常用的模型,其多尺度融合的結(jié)構(gòu)常用于高分辨率圖像分割任務(wù)。作為本次試驗(yàn)的對(duì)比模型我們采用了圖5 基于三維卷積的3DUNet模型(?i?ek et al., 2016),在開源模型的基礎(chǔ)上對(duì)網(wǎng)絡(luò)深度,卷積核及步長進(jìn)行修改以適用于本次試驗(yàn)數(shù)據(jù)。較之于2D 卷積3DUnet模型的卷積操作全部采用3D 卷積,在提取時(shí)序信息的功能上更為強(qiáng)大。另一個(gè)對(duì)比模型是傳統(tǒng)的基于光流的Rover模型。

    圖5 3DUnet模型概念示意圖Fig. 5 Conceptual schematic diagram of the 3DUnet model

    3 試驗(yàn)

    3.1 試驗(yàn)方案

    TAGAN模型訓(xùn)練使用Adam 優(yōu)化器,初始學(xué)習(xí)率根據(jù)繪制不同學(xué)習(xí)率下的損失函數(shù)下降速率圖,選擇合適的學(xué)習(xí)率,學(xué)習(xí)率衰減采用每2 個(gè)輪次減0.7。在訓(xùn)練過程中采用l2 正則約束,訓(xùn)練策略采用早停策略,當(dāng)驗(yàn)證集損失函數(shù)值連續(xù)1 個(gè)epoch 不下降后停止訓(xùn)練,在試驗(yàn)過程中批量大小分別選擇2 進(jìn)行訓(xùn)練,效果在卷積層不使用批量歸一化層時(shí)較好。在訓(xùn)練過程中嘗試了DCGAN(Radford et al., 2015),WGAN-GP(Gulrajani et al., 2017)等不同GAN 的損失函數(shù)和訓(xùn)練方式,發(fā)現(xiàn)對(duì)抗損失的權(quán)重系數(shù)對(duì)訓(xùn)練結(jié)果至關(guān)重要,單獨(dú)只使用對(duì)抗損失函數(shù)訓(xùn)練時(shí)非常容易導(dǎo)致訓(xùn)練失敗,需要模型訓(xùn)練初期以MSE 與MAE 損失函數(shù)為主導(dǎo)損失函數(shù),然后再將對(duì)抗損失函數(shù)作為主導(dǎo)損失函數(shù)進(jìn)行訓(xùn)練。作為基線對(duì)比模型3DUnet 只使用帶權(quán)重的平均平方誤差和平均絕對(duì)誤差作為損失函數(shù),驗(yàn)證集結(jié)果最優(yōu)的TAGAN 迭代了10 萬次,3DUNet 迭代了6 萬次。

    3.2 檢驗(yàn)方法與結(jié)果

    測(cè)試集上的檢驗(yàn)指標(biāo)采用氣象中常用的命中率(POD)、虛警率(FAR)也稱誤報(bào)率以及臨界成功指數(shù)(CSI),以及HSS(Heidke Skill Score)技巧評(píng)分(Hogan et al., 2010)。各檢驗(yàn)指標(biāo)的計(jì)算公式如下:

    其中,TP 表示觀測(cè)回波大于閾值且預(yù)測(cè)回波大于閾值,F(xiàn)N 表示觀測(cè)回波大于閾值且預(yù)測(cè)回波小于閾值,F(xiàn)P 表示觀測(cè)回波小于閾值且預(yù)測(cè)回波大于閾值,TN 表示觀測(cè)回波小于閾值且預(yù)測(cè)回波也小于閾值。相應(yīng)的混淆矩陣如表1 所示。根據(jù)不同閾值下的混淆矩陣,按上述公式計(jì)算檢驗(yàn)指標(biāo)。為了更全面的對(duì)比模型預(yù)測(cè)的效果還計(jì)算了MSE、MAE 以及空間相關(guān)系數(shù)。

    表1 混淆矩陣Table 1 Confusion matrix

    表2 的檢驗(yàn)結(jié)果顯示,本文所設(shè)計(jì)的TAGAN模型在10~40 dBZ閾值下的臨界成功指數(shù)、命中率和HSS 評(píng)分基本高于傳統(tǒng)光流法,而對(duì)于虛警率FAR 這一指數(shù)兩種深度學(xué)習(xí)模型均低于傳統(tǒng)光流法。特別地,TAGAN模型在未來30 min 和60 min的預(yù)測(cè)評(píng)分上明顯優(yōu)于3DUnet模型。另外,由表3顯示,深度學(xué)習(xí)模型尤其TAGAN模型在測(cè)試集上的6~60 min 整體平均的平方誤差和絕對(duì)誤差數(shù)值也明顯低于光流法,同時(shí)空間相關(guān)系數(shù)TAGAN模型也為最高,這表明TAGAN模型性能在本文的三種方法中最優(yōu)。需指出的是,在40 dBZ閾值下三種模型的預(yù)測(cè)效果均很差,這可能與訓(xùn)練樣本中強(qiáng)回波數(shù)據(jù)稀少有關(guān),盡管在數(shù)據(jù)預(yù)處理時(shí)已經(jīng)對(duì)數(shù)據(jù)集樣本進(jìn)行過篩選,但受限于整個(gè)數(shù)據(jù)集里的強(qiáng)回波樣本稀少(5.7%),導(dǎo)致模型對(duì)強(qiáng)回波預(yù)測(cè)的能力欠佳。

    表2 測(cè)試集檢驗(yàn)對(duì)比Table 2 Test set comparison

    表3 測(cè)試集檢驗(yàn)對(duì)比Table 3 Test set comparison

    為進(jìn)一步顯示三種不同方法對(duì)于強(qiáng)降水過程的預(yù)測(cè)性能,圖6 分別給出了30 dBZ閾值樣本子集的三種模型FAR 和HSS 測(cè)試集平均得分在6~60 min的時(shí)間變化??梢郧逦目闯?,30 dBZ閾值下三種方法的平均FAR 及其離散度均隨時(shí)間逐漸增加,平均FAR 由低至高依次為TAGAN、3DUnet 和光流法。三種方法的平均HSS 隨時(shí)間則逐漸降低,同時(shí)離散度隨時(shí)間而增加,TAGAN 平均HSS 評(píng)分最高,而3DUnet 在前30 min 優(yōu)于光流法,但30 min后性能差于光流法。總體看,TAGAN模型的強(qiáng)降水過程預(yù)測(cè)性能依然明顯好于其他兩種方法。

    圖6 30 dBZ 閾值下三種模型FAR 和HSS 測(cè)試集平均得分隨時(shí)間變化(折線),陰影上下界代表測(cè)試集所有樣本得分的上下四分位數(shù)Fig. 6 Average scores of the False Alarm Rate and Heidke Skill Score test sets of the three models under 30 dBZ threshold change over time (broken line): the upper and lower bounds of the shade represent the upper and lower quartiles, respectively, of the scores of all samples in the test set

    為了更加直觀和定量化的展示不同模型之間的差異,選取四組個(gè)例并對(duì)它們6~60 min 預(yù)測(cè)的效果作詳細(xì)分析。圖7 首先給出了這四組個(gè)例在最后一幀(60 min)的三種不同方法與真實(shí)場的回波分布情況,總體上三種方法能較好地預(yù)測(cè)這四個(gè)個(gè)例未來一小時(shí)的回波系統(tǒng)位置以及強(qiáng)度。從清晰度看,光流法的清晰度最高,但圖像有扭曲現(xiàn)象,其次為3DUnet,TAGAN 相對(duì)模糊。兩種深度方法的清晰度均弱于光流法,主要是由于深度學(xué)習(xí)模型預(yù)測(cè)過程中使用了平均平方誤差(MSE)和平均絕對(duì)誤差(MAE),這兩個(gè)損失函數(shù)容易造成預(yù)測(cè)圖像的模糊化,且圖像模糊情況隨著時(shí)間增加,它們更趨向一個(gè)“平均”的結(jié)果。但是,如果仔細(xì)對(duì)比這些個(gè)例的強(qiáng)回波區(qū)(如大于30 dBZ區(qū)域)的位置以及強(qiáng)度,會(huì)發(fā)現(xiàn)TAGAN 的預(yù)測(cè)情況較光流法和3DUnet 更接近真實(shí)的回波分布,即光流法和3DUnet 對(duì)于強(qiáng)回波的區(qū)域的預(yù)測(cè)存在部分偏移以及局部地區(qū)系統(tǒng)把握不準(zhǔn)所致,導(dǎo)致FAR 偏高。而TAGAN模型的圖像更為平滑,回波形狀與真實(shí)形狀相符合,F(xiàn)AR 更低。為更細(xì)致地刻畫三種方法對(duì)強(qiáng)回波的預(yù)測(cè)效果,圖8 進(jìn)一步給出了四組個(gè)例對(duì)預(yù)測(cè)的10 個(gè)時(shí)次逐次計(jì)算的FAR 和HSS 得分??梢钥吹?,TAGAN 在6~60 min時(shí)段預(yù)報(bào)的虛警率明顯低于光流法和3DUnet,與此同時(shí)TAGAN的HSS 評(píng)分也明顯高于其余兩種方法。并且,隨著時(shí)間的推移,其他兩種方法相對(duì)TAGAN 的性能差距進(jìn)一步拉大。相對(duì)而言,光流法和3DUnet 對(duì)這四個(gè)個(gè)例的6~60 min 預(yù)測(cè)評(píng)分接近。

    圖7 四組預(yù)測(cè)個(gè)例最后一幀對(duì)比。(a–d)分別為四組回波過程,每一列分別為真實(shí)過程、Rover、TAGAN、3DUnet 在四組預(yù)測(cè)個(gè)例中的最后一幀F(xiàn)ig. 7 Comparison of the last frame of the four sets of prediction cases, where (a–d) are the four sets of echo processes, and each column is the last frame of the real process, Rover, TAGAN, and 3DUnet in the four sets of process predictions

    圖8 四組預(yù)測(cè)個(gè)例三種模型(紅色:3DUnet,綠色:Rover,藍(lán)色:TAGAN)6~60 min 30 dBZ 閾值的FAR(實(shí)線)和HSS(虛線)技巧評(píng)分Fig. 8 Four groups of prediction cases and three models (red: 3DUnet; green: Rover; and blue: TAGAN) under 6–60 min of 30 dBZ threshold FAR(solid line) and HSS (dashed line) skill scores

    此外,為進(jìn)一步對(duì)比三種方法個(gè)例中強(qiáng)回波區(qū)隨時(shí)間的演變,分別計(jì)算了四個(gè)個(gè)例大于30 dBZ強(qiáng)回波主體(圖9 紅框區(qū)域)質(zhì)心在6~60 min 的變化(圖10),可以清晰地看出TAGAN模型對(duì)強(qiáng)回波主體隨時(shí)間變化的預(yù)測(cè)與真實(shí)情況更為接近。以個(gè)例4 為例(圖10d),TAGAN模型預(yù)測(cè)的強(qiáng)回波區(qū)移動(dòng)以西南—東北向?yàn)橹鳎c真實(shí)情況相接近,而光流法則是以西南—東北偏南為主,3DUnet 的偏移更大,以偏北移動(dòng)為主。從這四個(gè)個(gè)例強(qiáng)回波質(zhì)心的相對(duì)移速和60 min 的質(zhì)心位置看,TAGAN模型仍然優(yōu)于其它兩種方法。

    圖9 四組預(yù)測(cè)個(gè)例第一幀回波圖真實(shí)值,其中紅框?yàn)橛?jì)算質(zhì)心的范圍(覆蓋未來9 幀回波主體范圍),藍(lán)線輪廓為回波值大于30 dBZ 的回波主體Fig. 9 True value of the first frame of the four groups of prediction cases: the red box represents the range of the calculated centroid covering the range of the echo subject of the next nine frames), while the blue line outline is the echo subject with an echo value greater than 30 dBZ

    圖10 四組預(yù)測(cè)個(gè)例10 個(gè)時(shí)次回波值大于30 dBZ 回波主體的質(zhì)心移動(dòng)軌跡。其中,紅色:真實(shí)回波;棕色:3DUnet;灰色:Rover;綠色:TAGANFig. 10 Four groups of prediction cases during the 10 times the echo value is greater than 30 dBZ. Center of mass movement trajectory of the echo subject: real echo (red); 3DUnet (brown); Rover (gray); TAGAN (green)

    其中雷達(dá)質(zhì)心的計(jì)算方式如下:

    式中,m(i,j)為橫縱坐標(biāo)為(i,j)的網(wǎng)格上回波反射率大于30 dBZ的值。

    因此,綜合以上四個(gè)個(gè)例的結(jié)果分析表明,TAGAN模型在三種方法中性能最優(yōu),盡管光流法和3DUnet 的圖像清晰度高于TAGAN,但更容易出現(xiàn)扭曲和偏差現(xiàn)象,導(dǎo)致誤報(bào)率明顯上升以及預(yù)報(bào)準(zhǔn)確率的下降。另外,在TAGAN模型的訓(xùn)練和預(yù)測(cè)過程中發(fā)現(xiàn),對(duì)于TAGAN 在訓(xùn)練過程中如果提高對(duì)抗損失函數(shù)的權(quán)重,生成的圖像也會(huì)相對(duì)更加“銳化”,但卻會(huì)出現(xiàn)圖像清晰后回波位置準(zhǔn)確度明顯降低的現(xiàn)象,從而導(dǎo)致檢驗(yàn)評(píng)分下降的情況,因此超參數(shù)的設(shè)置對(duì)最終預(yù)測(cè)圖像的效果至關(guān)重要。3DUnet 的預(yù)測(cè)性能相對(duì)較差可能與其模型參數(shù)量小有關(guān),雖然3D 卷積在處理時(shí)空序列數(shù)據(jù)時(shí)比2D 卷積有強(qiáng)大的優(yōu)勢(shì),Unet 多尺度融合的結(jié)構(gòu)也常用來生成高分辨率的圖像,但參數(shù)量小可能會(huì)導(dǎo)致模型的泛化能力大大下降,在預(yù)測(cè)復(fù)雜多變的任務(wù)時(shí)效果會(huì)欠佳。

    4 結(jié)論與討論

    雷達(dá)回波外推為短時(shí)臨近預(yù)報(bào)提供了重要的指導(dǎo),本文使用TAGAN模型進(jìn)行臨近預(yù)報(bào)試驗(yàn)和多模型對(duì)比檢驗(yàn)。該模型在傳統(tǒng)的多層編碼解碼結(jié)構(gòu)的基礎(chǔ)上將兩種注意力模塊組合嵌入結(jié)構(gòu)中,在輸入的雷達(dá)回波數(shù)據(jù)中融合對(duì)應(yīng)時(shí)刻的光流數(shù)據(jù),并在訓(xùn)練時(shí)結(jié)合對(duì)抗生成損失函數(shù)、權(quán)重的MSE 和MAE 等多種損失聯(lián)合訓(xùn)練模型,以此提升模型的預(yù)測(cè)能力。研究結(jié)果表明, TAGAN 在多種檢驗(yàn)指標(biāo)的評(píng)分上優(yōu)于基于卷積神經(jīng)網(wǎng)絡(luò)的3DUnet模型和傳統(tǒng)Rover 光流法模型。總體上,雖然光流法的預(yù)測(cè)圖像清晰度高于TAGAN 和3DUnet 深度學(xué)習(xí)

    模型,但在各項(xiàng)評(píng)分指標(biāo)上深度學(xué)習(xí)模型尤其是TAGAN 優(yōu)于光流法。相較而言,3DUnet 和光流法在未來一小時(shí)的預(yù)報(bào)場上會(huì)更多出現(xiàn)回波圖像扭曲和偏差現(xiàn)象,對(duì)強(qiáng)回波系統(tǒng)執(zhí)行的移動(dòng)描述能力有待提高。另外,TAGAN 的超參數(shù)設(shè)置對(duì)預(yù)測(cè)效果作用明顯,隨著損失函數(shù)中對(duì)抗損失函數(shù)權(quán)重的提高,圖形清晰度隨之提高,但清晰度到達(dá)一定程度后其整體評(píng)分反而會(huì)出現(xiàn)下降的情況。

    需指出的是,試驗(yàn)過程中我們嘗試了不同損失函數(shù)的組合。發(fā)現(xiàn)如只用MSE 和MAE 損失函數(shù),清晰度明顯較光流法預(yù)測(cè)差,主要原因是在使用MSE 損失函數(shù)的時(shí)候假設(shè)數(shù)據(jù)是高斯分布的,但在梯度反傳的時(shí)候,損失函數(shù)計(jì)算的是拼接在一起的序列預(yù)測(cè)值與真實(shí)序列值,于是對(duì)空間上出現(xiàn)的不連續(xù)回波區(qū)和時(shí)間上的旋轉(zhuǎn)和耗散擬合不夠,導(dǎo)致訓(xùn)練的結(jié)果是在總體上的距離與真實(shí)分布相近,因此預(yù)測(cè)的結(jié)果就會(huì)出現(xiàn)直觀上的一個(gè)“平均”現(xiàn)象。另一方面,但是如果只使用對(duì)抗損失或者以對(duì)抗損失為主導(dǎo)的損失函數(shù),則容易出現(xiàn)模式崩塌現(xiàn)象。例如,預(yù)測(cè)的數(shù)據(jù)本應(yīng)局限在有雷達(dá)回波的位置,但卻覆蓋了整個(gè)空間并出現(xiàn)明顯的不連續(xù)以及不合理回波區(qū)。這主要是由于GAN 訓(xùn)練過程中,目標(biāo)映射可能不在生成器的可表示泛函空間之中,導(dǎo)致了收斂困難。因此,有必要同時(shí)結(jié)合MAE、MSE 和對(duì)抗損失進(jìn)行模型構(gòu)建。

    需指出的是,近年來機(jī)器學(xué)習(xí)在氣象領(lǐng)域應(yīng)用廣泛,而利用深度學(xué)習(xí)方法進(jìn)行雷達(dá)回波外推及短時(shí)預(yù)測(cè)作為當(dāng)前的一個(gè)研究熱點(diǎn)仍存在三個(gè)亟待解決的問題:(1)雷達(dá)回波或降水?dāng)?shù)據(jù)集歷史積累不夠,樣本量需要進(jìn)一步擴(kuò)大。傳統(tǒng)的解決辦法包括但不限于:針對(duì)數(shù)據(jù)集過采樣、欠采樣、使用帶權(quán)重的損失函數(shù)以分割數(shù)據(jù)集訓(xùn)練不同的模型訓(xùn)練然后集成。但試驗(yàn)中發(fā)現(xiàn)效果提升不明顯,反映在模型預(yù)測(cè)中強(qiáng)回波過程的強(qiáng)度和落區(qū)不能很好地表現(xiàn)出來,一些強(qiáng)回波過程諸如臺(tái)風(fēng),因訓(xùn)練集中樣本較小導(dǎo)致預(yù)測(cè)效果很差。此外,機(jī)器學(xué)習(xí)嚴(yán)重依賴數(shù)據(jù)集的質(zhì)量和特征工程,數(shù)據(jù)集的質(zhì)量直接決定了預(yù)測(cè)效果的下限,如何從氣象的角度出發(fā)構(gòu)建清洗數(shù)據(jù)集并提高數(shù)據(jù)質(zhì)量,針對(duì)包括雷達(dá)回波外推在內(nèi)的氣象預(yù)測(cè)任務(wù)做出更對(duì)應(yīng)的特征工程亟待解決。(2)預(yù)測(cè)圖像模糊,這是當(dāng)前雷達(dá)回波外推深度學(xué)習(xí)乃至視頻預(yù)測(cè)領(lǐng)域的難題,當(dāng)圖像的尺寸較小時(shí)效果尚佳,但當(dāng)做高分辨率預(yù)測(cè)時(shí)模糊的問題尤其凸顯,本次試驗(yàn)也對(duì)改善此問題做了一定的嘗試。除了引入改善圖像的損失函數(shù)外,另一解決辦法就是將高分辨率圖像分割成尺寸較小的不同塊訓(xùn)練,在預(yù)測(cè)時(shí)再拼接回去,但這樣會(huì)造成整體圖像不連續(xù)拼接痕跡明顯。(3)預(yù)測(cè)效果隨時(shí)間變差,PredRNN++(Wang et al., 2018)的設(shè)計(jì)結(jié)構(gòu)以及其使用的CausalLSTM 單元對(duì)此問題有一定的改善。綜上,深度學(xué)習(xí)方法對(duì)降水臨近預(yù)報(bào)業(yè)務(wù)的提升具有一定的科學(xué)意義和較好的應(yīng)用,但仍有待進(jìn)一步探索和研究。

    致謝感謝深圳市氣象局與香港天文臺(tái)根據(jù)近年的雷達(dá)數(shù)據(jù)共同建立的“標(biāo)準(zhǔn)雷達(dá)數(shù)據(jù)集2018”。感謝審稿專家和編輯對(duì)本文的改進(jìn)提出的寶貴意見。

    猜你喜歡
    損失雷達(dá)卷積
    有雷達(dá)
    大自然探索(2023年7期)2023-08-15 00:48:21
    少問一句,損失千金
    基于3D-Winograd的快速卷積算法設(shè)計(jì)及FPGA實(shí)現(xiàn)
    胖胖損失了多少元
    從濾波器理解卷積
    電子制作(2019年11期)2019-07-04 00:34:38
    玉米抽穗前倒伏怎么辦?怎么減少損失?
    雷達(dá)
    基于傅里葉域卷積表示的目標(biāo)跟蹤算法
    基于空時(shí)二維隨機(jī)輻射場的彈載雷達(dá)前視成像
    一般自由碰撞的最大動(dòng)能損失
    日日摸夜夜添夜夜添av毛片| a级毛片在线看网站| 免费观看a级毛片全部| 国产精品欧美亚洲77777| 王馨瑶露胸无遮挡在线观看| 久久精品国产a三级三级三级| 91精品三级在线观看| 亚洲国产精品一区二区三区在线| 国产成人91sexporn| 中文字幕av电影在线播放| 国产视频内射| 国产精品不卡视频一区二区| 只有这里有精品99| 久久久久人妻精品一区果冻| 建设人人有责人人尽责人人享有的| 日韩电影二区| 男的添女的下面高潮视频| 搡女人真爽免费视频火全软件| 天堂8中文在线网| 少妇 在线观看| av专区在线播放| 午夜福利在线观看免费完整高清在| 九九久久精品国产亚洲av麻豆| 在线观看美女被高潮喷水网站| 久久精品夜色国产| 亚洲精品一二三| 美女大奶头黄色视频| 亚洲av成人精品一二三区| 校园人妻丝袜中文字幕| 纯流量卡能插随身wifi吗| 久久亚洲国产成人精品v| 22中文网久久字幕| 午夜激情久久久久久久| 国产精品久久久久久精品电影小说| 亚洲精品乱码久久久v下载方式| 欧美+日韩+精品| 超色免费av| 夫妻午夜视频| 国产精品国产三级国产专区5o| 欧美变态另类bdsm刘玥| 国产极品天堂在线| 综合色丁香网| 国产欧美日韩一区二区三区在线 | 国产伦精品一区二区三区视频9| 亚洲综合色网址| 亚洲婷婷狠狠爱综合网| 乱人伦中国视频| 亚洲成色77777| 少妇丰满av| 国产免费视频播放在线视频| 亚洲少妇的诱惑av| 欧美日韩综合久久久久久| 搡女人真爽免费视频火全软件| 日日摸夜夜添夜夜爱| 嘟嘟电影网在线观看| a级片在线免费高清观看视频| 久久久亚洲精品成人影院| 夫妻午夜视频| 嘟嘟电影网在线观看| 免费看光身美女| 2022亚洲国产成人精品| 视频中文字幕在线观看| 亚洲国产欧美日韩在线播放| 精品酒店卫生间| 婷婷色综合大香蕉| 亚洲婷婷狠狠爱综合网| 国产精品麻豆人妻色哟哟久久| 人体艺术视频欧美日本| 日韩大片免费观看网站| 国产黄色视频一区二区在线观看| 蜜桃在线观看..| 亚洲精品日韩在线中文字幕| 黄色怎么调成土黄色| 妹子高潮喷水视频| 黄色一级大片看看| 日日撸夜夜添| 国产精品久久久久久精品电影小说| 久久这里有精品视频免费| 久久久亚洲精品成人影院| 国产亚洲最大av| 久久久久网色| 亚洲欧美成人精品一区二区| 免费观看a级毛片全部| 日日摸夜夜添夜夜爱| 国产深夜福利视频在线观看| 人妻夜夜爽99麻豆av| 777米奇影视久久| 热99国产精品久久久久久7| 亚洲国产毛片av蜜桃av| 我的老师免费观看完整版| 欧美精品国产亚洲| 热re99久久精品国产66热6| 麻豆成人av视频| 欧美日韩在线观看h| 亚洲,一卡二卡三卡| 18禁动态无遮挡网站| 波野结衣二区三区在线| 亚洲av福利一区| 亚洲精品日本国产第一区| 亚洲精品久久成人aⅴ小说 | 国产在视频线精品| 男人添女人高潮全过程视频| 日产精品乱码卡一卡2卡三| 男女高潮啪啪啪动态图| 国产69精品久久久久777片| 日韩成人伦理影院| 欧美日韩视频精品一区| 少妇猛男粗大的猛烈进出视频| 亚洲精品乱码久久久v下载方式| 99视频精品全部免费 在线| 桃花免费在线播放| 久久国内精品自在自线图片| 亚洲精品久久成人aⅴ小说 | 在线免费观看不下载黄p国产| 18+在线观看网站| 如日韩欧美国产精品一区二区三区 | 春色校园在线视频观看| 久久这里有精品视频免费| 2022亚洲国产成人精品| 18禁在线无遮挡免费观看视频| 新久久久久国产一级毛片| 中文字幕人妻丝袜制服| 狂野欧美激情性xxxx在线观看| 人妻系列 视频| 亚洲在久久综合| 婷婷色综合大香蕉| 免费日韩欧美在线观看| 午夜福利,免费看| 欧美日韩精品成人综合77777| 国产免费一区二区三区四区乱码| 免费人成在线观看视频色| 日韩av不卡免费在线播放| 丰满迷人的少妇在线观看| 在线免费观看不下载黄p国产| 久久精品国产亚洲av涩爱| 精品久久久久久久久亚洲| 日日爽夜夜爽网站| 精品一品国产午夜福利视频| 国产熟女午夜一区二区三区 | 欧美精品一区二区大全| 免费观看无遮挡的男女| 丝袜喷水一区| 亚洲精品视频女| 美女xxoo啪啪120秒动态图| 51国产日韩欧美| tube8黄色片| 一级,二级,三级黄色视频| 18禁在线播放成人免费| 亚洲国产毛片av蜜桃av| 视频在线观看一区二区三区| 久久综合国产亚洲精品| 亚洲精品乱码久久久v下载方式| 亚洲第一区二区三区不卡| 丰满乱子伦码专区| 精品99又大又爽又粗少妇毛片| 在线天堂最新版资源| 夫妻午夜视频| 国产乱人偷精品视频| av网站免费在线观看视频| 我的女老师完整版在线观看| 人妻系列 视频| 久久久国产精品麻豆| 99热网站在线观看| 亚洲五月色婷婷综合| 在线播放无遮挡| 日韩精品有码人妻一区| 国模一区二区三区四区视频| 亚洲性久久影院| 亚洲欧美成人综合另类久久久| 99久久精品国产国产毛片| 国产又色又爽无遮挡免| 一级毛片 在线播放| a 毛片基地| 欧美日本中文国产一区发布| 亚洲天堂av无毛| 日韩免费高清中文字幕av| 午夜免费男女啪啪视频观看| 最近最新中文字幕免费大全7| 九色亚洲精品在线播放| 欧美最新免费一区二区三区| 日韩强制内射视频| 亚洲国产精品国产精品| 午夜福利网站1000一区二区三区| 日韩成人av中文字幕在线观看| 久久久久久人妻| 我的老师免费观看完整版| 国产成人av激情在线播放 | 国产精品无大码| 毛片一级片免费看久久久久| 日日啪夜夜爽| 性高湖久久久久久久久免费观看| 国产精品免费大片| 亚洲欧美一区二区三区国产| 国产在线视频一区二区| 男女国产视频网站| 国产精品麻豆人妻色哟哟久久| av在线观看视频网站免费| 亚洲色图综合在线观看| 80岁老熟妇乱子伦牲交| 精品久久久久久电影网| 美女视频免费永久观看网站| 全区人妻精品视频| 高清不卡的av网站| 国产精品不卡视频一区二区| 大片电影免费在线观看免费| av黄色大香蕉| 黄片无遮挡物在线观看| 国产片特级美女逼逼视频| 国产在线视频一区二区| 中文精品一卡2卡3卡4更新| 热re99久久精品国产66热6| 你懂的网址亚洲精品在线观看| 成人影院久久| 久久久国产欧美日韩av| 国产熟女午夜一区二区三区 | 91aial.com中文字幕在线观看| 亚洲精品国产av成人精品| 尾随美女入室| 十分钟在线观看高清视频www| 国产精品一二三区在线看| 国产高清不卡午夜福利| 人人澡人人妻人| 久久久久久久亚洲中文字幕| 国产 一区精品| 国产老妇伦熟女老妇高清| 精品人妻熟女毛片av久久网站| 亚洲伊人久久精品综合| 97精品久久久久久久久久精品| 精品酒店卫生间| 男女高潮啪啪啪动态图| 黄色欧美视频在线观看| 国产一区二区在线观看av| 亚洲欧美中文字幕日韩二区| 亚洲成色77777| 制服人妻中文乱码| 极品少妇高潮喷水抽搐| 免费播放大片免费观看视频在线观看| 久久精品国产亚洲网站| 成人毛片a级毛片在线播放| 91精品伊人久久大香线蕉| 免费看不卡的av| 色吧在线观看| 久久精品国产a三级三级三级| 18在线观看网站| 久久久久久久精品精品| 考比视频在线观看| 大片电影免费在线观看免费| 日本91视频免费播放| 日本色播在线视频| 青春草国产在线视频| 天堂中文最新版在线下载| 26uuu在线亚洲综合色| 亚洲国产精品成人久久小说| 免费观看在线日韩| 亚洲国产最新在线播放| 免费大片黄手机在线观看| 国产亚洲午夜精品一区二区久久| 国产精品蜜桃在线观看| 免费高清在线观看视频在线观看| 成年人午夜在线观看视频| 国产在线免费精品| xxxhd国产人妻xxx| 精品视频人人做人人爽| 菩萨蛮人人尽说江南好唐韦庄| 亚洲欧美日韩另类电影网站| 男女免费视频国产| 91精品伊人久久大香线蕉| 中国美白少妇内射xxxbb| 日韩三级伦理在线观看| 国产欧美日韩一区二区三区在线 | 免费黄网站久久成人精品| 2022亚洲国产成人精品| 97精品久久久久久久久久精品| 全区人妻精品视频| 精品久久久精品久久久| 亚洲久久久国产精品| 中文精品一卡2卡3卡4更新| 高清毛片免费看| 你懂的网址亚洲精品在线观看| 国产av国产精品国产| 人妻 亚洲 视频| 视频区图区小说| 韩国av在线不卡| .国产精品久久| 日韩成人av中文字幕在线观看| 一区二区日韩欧美中文字幕 | 中文字幕最新亚洲高清| 一个人免费看片子| 99久久中文字幕三级久久日本| 成人二区视频| 国产精品无大码| 久久久久国产精品人妻一区二区| 在线天堂最新版资源| 国产成人免费无遮挡视频| 精品亚洲成国产av| av福利片在线| 久久人人爽人人片av| 满18在线观看网站| 王馨瑶露胸无遮挡在线观看| 亚洲av二区三区四区| 在线观看美女被高潮喷水网站| 国产av一区二区精品久久| 搡女人真爽免费视频火全软件| 妹子高潮喷水视频| 街头女战士在线观看网站| 成人无遮挡网站| 午夜影院在线不卡| 日韩中文字幕视频在线看片| 国产精品麻豆人妻色哟哟久久| 精品国产一区二区久久| 亚洲成人一二三区av| 中文天堂在线官网| 一级毛片我不卡| 免费大片黄手机在线观看| 99九九线精品视频在线观看视频| 中国美白少妇内射xxxbb| 国国产精品蜜臀av免费| 亚洲国产毛片av蜜桃av| 少妇人妻久久综合中文| 性色av一级| 婷婷色麻豆天堂久久| 国产精品久久久久久精品电影小说| 日本免费在线观看一区| 国产精品久久久久成人av| 久久久久久久久久久免费av| 丝袜美足系列| 波野结衣二区三区在线| 午夜91福利影院| 亚洲国产日韩一区二区| 国产一区二区在线观看av| 亚洲精品国产av蜜桃| 哪个播放器可以免费观看大片| 一级毛片我不卡| 国产精品一区二区在线观看99| 校园人妻丝袜中文字幕| 日韩,欧美,国产一区二区三区| 少妇的逼好多水| 老熟女久久久| 日韩制服骚丝袜av| 新久久久久国产一级毛片| 日本wwww免费看| 亚洲成人一二三区av| 国产精品偷伦视频观看了| 精品人妻熟女av久视频| 边亲边吃奶的免费视频| 曰老女人黄片| av网站免费在线观看视频| 女性被躁到高潮视频| 中文字幕人妻丝袜制服| 色婷婷久久久亚洲欧美| 伊人亚洲综合成人网| 国产片特级美女逼逼视频| 午夜福利在线观看免费完整高清在| 午夜福利影视在线免费观看| 久久久久久久久久人人人人人人| 99久久综合免费| 日韩三级伦理在线观看| 女的被弄到高潮叫床怎么办| 日韩精品有码人妻一区| 久久精品国产鲁丝片午夜精品| 欧美人与性动交α欧美精品济南到 | 国产精品 国内视频| 99久久精品国产国产毛片| 国产精品久久久久久久电影| 日韩亚洲欧美综合| 美女大奶头黄色视频| 下体分泌物呈黄色| 天天躁夜夜躁狠狠久久av| 日韩 亚洲 欧美在线| 国产免费一级a男人的天堂| 美女cb高潮喷水在线观看| 国产免费现黄频在线看| 插阴视频在线观看视频| 免费观看在线日韩| 丝袜脚勾引网站| 国产永久视频网站| 亚洲五月色婷婷综合| 婷婷色麻豆天堂久久| 久久人人爽人人片av| 日产精品乱码卡一卡2卡三| 国产精品一二三区在线看| 日本与韩国留学比较| 亚洲国产最新在线播放| 制服丝袜香蕉在线| av女优亚洲男人天堂| 精品熟女少妇av免费看| av电影中文网址| 免费观看在线日韩| 欧美日韩av久久| 国产免费一级a男人的天堂| 久久久久精品性色| 免费高清在线观看视频在线观看| 嘟嘟电影网在线观看| 看非洲黑人一级黄片| 免费黄网站久久成人精品| 少妇人妻 视频| 亚洲精品一区蜜桃| xxx大片免费视频| 国产免费又黄又爽又色| a级毛片免费高清观看在线播放| 蜜桃在线观看..| 美女xxoo啪啪120秒动态图| 在线精品无人区一区二区三| 亚洲欧美日韩卡通动漫| 美女脱内裤让男人舔精品视频| 高清欧美精品videossex| 大话2 男鬼变身卡| 97精品久久久久久久久久精品| 最新的欧美精品一区二区| 性色av一级| 五月伊人婷婷丁香| 精品人妻一区二区三区麻豆| 国产一区亚洲一区在线观看| 久久婷婷青草| 亚洲情色 制服丝袜| 人人妻人人爽人人添夜夜欢视频| 在线观看免费高清a一片| 伦理电影大哥的女人| 国模一区二区三区四区视频| 成人毛片60女人毛片免费| 最近的中文字幕免费完整| 波野结衣二区三区在线| 日韩亚洲欧美综合| 免费高清在线观看视频在线观看| 在线亚洲精品国产二区图片欧美 | 丝袜喷水一区| 又大又黄又爽视频免费| 亚洲精品乱码久久久v下载方式| 桃花免费在线播放| 日韩一区二区视频免费看| 在线观看国产h片| 人妻一区二区av| 人人妻人人添人人爽欧美一区卜| 91精品三级在线观看| 国产成人a∨麻豆精品| 国产熟女欧美一区二区| 国产成人aa在线观看| 国产黄频视频在线观看| 亚洲精品456在线播放app| 国产极品粉嫩免费观看在线 | 3wmmmm亚洲av在线观看| 精品亚洲成国产av| 黑人猛操日本美女一级片| 人妻一区二区av| 少妇猛男粗大的猛烈进出视频| 精品国产露脸久久av麻豆| 久久久久网色| 黄片无遮挡物在线观看| 久久久久久久久久久丰满| 五月玫瑰六月丁香| 亚洲精品,欧美精品| 亚洲av综合色区一区| 最黄视频免费看| 久久精品国产亚洲av天美| 日韩中文字幕视频在线看片| 免费看不卡的av| 国产高清有码在线观看视频| 肉色欧美久久久久久久蜜桃| 曰老女人黄片| 亚洲熟女精品中文字幕| 精品人妻一区二区三区麻豆| 欧美国产精品一级二级三级| 精品少妇黑人巨大在线播放| 亚洲精品久久久久久婷婷小说| 少妇熟女欧美另类| 亚洲欧洲国产日韩| 男女无遮挡免费网站观看| 亚洲国产精品一区三区| 看十八女毛片水多多多| 日韩免费高清中文字幕av| 天天躁夜夜躁狠狠久久av| 成人二区视频| 日韩大片免费观看网站| kizo精华| 亚洲婷婷狠狠爱综合网| 欧美精品人与动牲交sv欧美| 欧美丝袜亚洲另类| 国产伦精品一区二区三区视频9| 国产色婷婷99| 国产成人av激情在线播放 | 久久精品久久精品一区二区三区| 日本免费在线观看一区| 久久精品国产亚洲网站| 亚洲国产av新网站| 人妻 亚洲 视频| 一区二区三区四区激情视频| 日本-黄色视频高清免费观看| 国产精品99久久99久久久不卡 | 又黄又爽又刺激的免费视频.| 建设人人有责人人尽责人人享有的| 日韩伦理黄色片| 国产亚洲av片在线观看秒播厂| 欧美另类一区| 国产欧美亚洲国产| 日韩亚洲欧美综合| 亚洲精品日韩av片在线观看| 国产精品麻豆人妻色哟哟久久| 国产精品一区二区在线不卡| 夫妻性生交免费视频一级片| 亚洲欧美中文字幕日韩二区| 少妇被粗大猛烈的视频| 久久狼人影院| 天美传媒精品一区二区| 免费观看在线日韩| 另类精品久久| 我的女老师完整版在线观看| 日韩成人伦理影院| 亚洲国产最新在线播放| 2022亚洲国产成人精品| 亚洲少妇的诱惑av| 中文字幕最新亚洲高清| 欧美日韩综合久久久久久| 久久久久国产精品人妻一区二区| 亚洲欧洲国产日韩| 久久久精品免费免费高清| 国产成人免费无遮挡视频| 成人毛片60女人毛片免费| 亚洲精品456在线播放app| 亚州av有码| 一本一本久久a久久精品综合妖精 国产伦在线观看视频一区 | 日韩中字成人| 天天影视国产精品| 日本爱情动作片www.在线观看| 精品熟女少妇av免费看| 亚洲成人一二三区av| 各种免费的搞黄视频| 欧美激情 高清一区二区三区| 欧美日韩国产mv在线观看视频| 亚洲av中文av极速乱| 久久精品国产a三级三级三级| 黑人猛操日本美女一级片| 看十八女毛片水多多多| 午夜激情av网站| 国产国语露脸激情在线看| 秋霞伦理黄片| 精品少妇内射三级| 精品人妻偷拍中文字幕| 国产爽快片一区二区三区| 亚洲内射少妇av| 伦理电影大哥的女人| 熟女人妻精品中文字幕| 国产伦精品一区二区三区视频9| 考比视频在线观看| videossex国产| 欧美日韩成人在线一区二区| 久久久a久久爽久久v久久| 在线观看美女被高潮喷水网站| 欧美三级亚洲精品| 飞空精品影院首页| 免费久久久久久久精品成人欧美视频 | 精品一品国产午夜福利视频| 视频中文字幕在线观看| videosex国产| 亚洲色图综合在线观看| 交换朋友夫妻互换小说| 内地一区二区视频在线| 亚洲欧洲日产国产| 国产精品.久久久| 简卡轻食公司| 汤姆久久久久久久影院中文字幕| 欧美亚洲日本最大视频资源| 日韩精品有码人妻一区| 午夜免费男女啪啪视频观看| 一级毛片我不卡| 国产成人精品无人区| 精品人妻熟女av久视频| 哪个播放器可以免费观看大片| 青春草视频在线免费观看| 啦啦啦中文免费视频观看日本| 日本黄大片高清| 亚洲精品国产av蜜桃| a级毛片免费高清观看在线播放| 欧美日韩综合久久久久久| 丰满饥渴人妻一区二区三| 一级毛片 在线播放| 99国产精品免费福利视频| 亚洲av免费高清在线观看| 看非洲黑人一级黄片| 少妇被粗大的猛进出69影院 | 秋霞在线观看毛片| 日韩大片免费观看网站| 亚洲精品美女久久av网站| 国产片特级美女逼逼视频| 人人妻人人澡人人看| 国产精品不卡视频一区二区| 欧美 亚洲 国产 日韩一| 亚洲熟女精品中文字幕| 日韩一区二区视频免费看| 精品国产国语对白av| 91aial.com中文字幕在线观看| 男女无遮挡免费网站观看| 丝袜美足系列| 街头女战士在线观看网站| 国产淫语在线视频| 卡戴珊不雅视频在线播放| 大话2 男鬼变身卡| 欧美成人午夜免费资源| 美女xxoo啪啪120秒动态图| 我的老师免费观看完整版| 丝瓜视频免费看黄片| 国产精品女同一区二区软件| 纵有疾风起免费观看全集完整版| 亚洲av在线观看美女高潮| 久久ye,这里只有精品| 国产熟女欧美一区二区| 亚洲av不卡在线观看| 国产亚洲最大av| 亚洲欧美精品自产自拍| 国产欧美日韩一区二区三区在线 | 亚洲人成77777在线视频| 热re99久久精品国产66热6| 日本猛色少妇xxxxx猛交久久| 色网站视频免费| 晚上一个人看的免费电影| 精品一区在线观看国产|