• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    結(jié)合注意力機(jī)制與LSTM 的短期風(fēng)電功率預(yù)測模型

    2022-09-15 06:59:40廖雪超伍杰平陳才圣
    計算機(jī)工程 2022年9期
    關(guān)鍵詞:電功率注意力誤差

    廖雪超,伍杰平,陳才圣

    (1.武漢科技大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院,武漢 430065;2.武漢科技大學(xué)智能信息處理與實時工業(yè)系統(tǒng)重點實驗室,武漢 430065)

    0 概述

    隨著全球能源結(jié)構(gòu)的變化,風(fēng)能在未來能源中的比重逐漸提高[1]。風(fēng)力發(fā)電的快速發(fā)展使得電力系統(tǒng)可靠性和安全性面臨諸多挑戰(zhàn)[2]。由于風(fēng)速具有間歇性和隨機(jī)性,因此電力系統(tǒng)的電壓和頻率波動較大,導(dǎo)致風(fēng)力發(fā)電過程具有不確定性[3]。風(fēng)電功率預(yù)測對于保障電力系統(tǒng)的不間斷運(yùn)行和風(fēng)能資源的充分利用具有重要意義。風(fēng)電功率的短期預(yù)測方法分為模型驅(qū)動、數(shù)據(jù)驅(qū)動、模型與數(shù)據(jù)集成驅(qū)動[4]。

    模型驅(qū)動基于數(shù)值天氣預(yù)報(Numerical Weather Prediction,NWP)模型,通過計算熱力學(xué)和計算流體動力學(xué)(Computational Fluid Dynamics,CFD)模型的三維空間和時間信息來預(yù)測氣象變量,并使用適合于給定風(fēng)電場的風(fēng)電功率曲線,將氣象數(shù)據(jù)和風(fēng)力發(fā)電機(jī)的物理特性數(shù)據(jù)轉(zhuǎn)換為風(fēng)電功率[5]。這種模型驅(qū)動方法的準(zhǔn)確性在很大程度上取決于NWP 模型。NWP 模型需提供氣象數(shù)據(jù)和風(fēng)力發(fā)電機(jī)的物理特性數(shù)據(jù),但這些數(shù)據(jù)并不總是可用的。因此,模型驅(qū)動方法可能不適用于實際的風(fēng)電功率預(yù)測(Wind Power Forecast,WPF)應(yīng)用[6]。

    數(shù)據(jù)驅(qū)動是通過構(gòu)建輸入變量與風(fēng)電功率之間的映射關(guān)系進(jìn)行預(yù)測。統(tǒng)計模型分為持久性模型[7]、自回歸移動平均(ARMA)模型[8]、高斯進(jìn)程模型[9]、卡爾曼濾波模型[10]等。機(jī)器學(xué)習(xí)模型包括人工神經(jīng)網(wǎng)絡(luò)[11]、極限學(xué)習(xí)機(jī)(Extreme Learning Machine,ELM)[12]、支持向量機(jī)(Support Vector Machine,SVM)[13]等。隨著大數(shù)據(jù)的發(fā)展,多變量時間序列數(shù)據(jù)呈爆炸式增長,并具有高維度性、時空相關(guān)性、動態(tài)性、非線性等特征,使得傳統(tǒng)統(tǒng)計模型和機(jī)器學(xué)習(xí)模型在處理海量并且復(fù)雜的數(shù)據(jù)時面臨諸多困難,而深度學(xué)習(xí)算法能挖掘更多的深層特征[14]。因此,基于深度學(xué)習(xí)的預(yù)測方法成為研究熱點。深度學(xué)習(xí)模型主要有卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)[15]、層疊自編碼器[16]、深度信念神經(jīng)網(wǎng)絡(luò)[17]、循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)[18]等。

    集成驅(qū)動是模型驅(qū)動與數(shù)據(jù)驅(qū)動的結(jié)合[19],集成了信號預(yù)處理技術(shù)(如小波變換[20]和經(jīng)驗?zāi)B(tài)分解(Empirical Mode Decomposition,EMD)[21]、優(yōu)化算法(如粒子群優(yōu)化和網(wǎng)格搜索[22])以及預(yù)測模型(如ELM、反向傳播神經(jīng)網(wǎng)絡(luò)和SVM[23])。

    本文提出一種結(jié)合變分模態(tài)分解(Variational Mode Decomposition,VMD)、雙階段注意力機(jī)制(DA)、深度學(xué)習(xí)模型和誤差修正(VEC)的風(fēng)電功率預(yù)測模型。利用互信息(Mutual Information,MI)計算多維特征和風(fēng)電功率之間的互信息量,選擇與風(fēng)電功率相關(guān)性較強(qiáng)的特征,利用VMD 對原始特征序列和預(yù)測誤差序列進(jìn)行變分模態(tài)分解,同時采用基于雙階段注意力機(jī)制與編解碼架構(gòu)的長短時記憶(Long Short-Term Memory,LSTM)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行風(fēng)電功率預(yù)測。在此基礎(chǔ)上,采用誤差分解預(yù)處理的誤差修正模塊修正原始預(yù)測結(jié)果,以得到最終的預(yù)測結(jié)果。

    1 相關(guān)工作

    風(fēng)電功率和風(fēng)速數(shù)據(jù)具有隨機(jī)性強(qiáng)和復(fù)雜性大的特點,而信號預(yù)處理算法能有效地提取信號特征。研究人員通過結(jié)合信號預(yù)處理算法和機(jī)器學(xué)習(xí)算法進(jìn)行風(fēng)電預(yù)測。例如,小波包分解[24]、EMD[25]、完全集合經(jīng)驗?zāi)B(tài)分解(CEEMD)[26]、集合經(jīng)驗?zāi)B(tài)分解和自適應(yīng)小波神經(jīng)網(wǎng)絡(luò)(EEMD+AWNN[27]),自適應(yīng)噪聲的完全集合經(jīng)驗?zāi)B(tài)分解等方法。研究結(jié)果表明,與無信號預(yù)處理的單一模型相比,結(jié)合信號分解與機(jī)器學(xué)習(xí)算法的模型具有更優(yōu)的穩(wěn)定性和預(yù)測精度,但是傳統(tǒng)機(jī)器學(xué)習(xí)算法難以很好地把握時序依賴關(guān)系,在較長時間步長情況下性能較差。

    深度學(xué)習(xí)被認(rèn)為是最強(qiáng)大的表征學(xué)習(xí)算法,近年來,研究人員將信號預(yù)處理與深度學(xué)習(xí)算法相結(jié)合用于風(fēng)電功率預(yù)測。文獻(xiàn)[28]提出基于流形算法與徑向基函數(shù)網(wǎng)絡(luò)相結(jié)合的風(fēng)速預(yù)測模型,文獻(xiàn)[29]介紹了基于VMD-奇異譜分析-ELM-LSTM的組合模型。文獻(xiàn)[30]使用VMD 分解預(yù)處理和LSTM 的風(fēng)速預(yù)測模型,利用VMD 分解得到穩(wěn)定的風(fēng)電功率信號,從而提升模型性能。文獻(xiàn)[31]結(jié)合EMD 分解,使用基于注意力機(jī)制的門控循環(huán)單元神經(jīng)網(wǎng)絡(luò)以降低模型復(fù)雜度,從而得到較高的預(yù)測精度。

    LSTM 在多步預(yù)測時存在誤差累積的問題,而編解碼框架雖然能解決誤差累積問題,但是當(dāng)輸入較長的時間步長時預(yù)測精度會出現(xiàn)顯著的降低[32]。研究人員引入注意力機(jī)制提升模型對于時間相關(guān)性的選擇能力,例如,文獻(xiàn)[33]提出使用一種基于注意力機(jī)制的編解碼模型進(jìn)行多變量時間序列數(shù)據(jù)預(yù)測。文獻(xiàn)[34]提出將LSTM-Attention 與CNN 相結(jié)合用于風(fēng)速的預(yù)測。上述注意力機(jī)制只考慮時間維度上的相關(guān)性,并沒有解決在特征維度上不同特征的重要性也不相同的問題。

    因此,傳統(tǒng)的ARMA 模型難以處理非線性和非平穩(wěn)性的復(fù)雜數(shù)據(jù),而單一的SVR、LSTM 模型存在預(yù)測滯后的問題,并且在多步預(yù)測上存在誤差累積問題,編解碼模型雖然能較好地解決誤差累積問題,但是不能把握輸入特征間的長時序相關(guān)性,一般的注意力機(jī)制只考慮時間相關(guān)性,沒有考慮特性相關(guān)性。

    2 相關(guān)理論與方法

    2.1 互信息特征選擇

    互信息是用于捕捉每個特征與標(biāo)簽之間的線性或非線性關(guān)系的過濾方法[35]?;バ畔⒘炕ㄟ^一個隨機(jī)變量獲得有關(guān)另一個隨機(jī)變量的信息量。對于連續(xù)型變量,互信息計算如式(1)所示:

    其中:p(x,y)為x與y的聯(lián)合概率密度函數(shù);p(x)和p(y)為邊際密度函數(shù)?;バ畔⒘靠梢源_定聯(lián)合分布與分解的邊際分布p(x,y)的相關(guān)性。文獻(xiàn)[36]提出基于K 近鄰的無參數(shù)方法,將X和Y方向上的歐氏距離最大值作為選擇最近鄰的標(biāo)準(zhǔn),并進(jìn)行統(tǒng)計計數(shù)和概率密度估計。

    本文提出模型使用MI 分別計算多維特征與風(fēng)電功率之間的互信息量,排序后選擇相關(guān)性強(qiáng)的特征用于后續(xù)模型的訓(xùn)練和預(yù)測。

    2.2 變分模態(tài)分解

    DRAGOMIRETSKIY[37]提出一種VMD 方法。該方法具有計算效率高和魯棒性優(yōu)的特點,以解決模態(tài)混合問題。通過應(yīng)用VMD 將信號x(t)分解為K個子序列或者模態(tài)分量uk(k=1,2,…,k),并且每個模態(tài)分量的帶寬估計之和被最小化。VMD 算法分為構(gòu)造和求解變分,主要有以下3 個步驟:1)通過對每個模態(tài)函數(shù)uk進(jìn)行希爾伯特變換得到相應(yīng)的頻譜;2)通過指數(shù)混合調(diào)制算法將uk的頻譜移動到各自的估計中心頻率ωk;3)使用信號的高斯平滑度和梯度平方準(zhǔn)則來解調(diào)和估計uk的帶寬。

    帶約束的變分問題計算如式(2)所示:

    本文提出模型采用VMD 算法選擇MI 特征后,并對選取的前3 維特征進(jìn)行分解,得到具有一定中心頻率的模態(tài)分量。

    2.3 長短時記憶神經(jīng)網(wǎng)絡(luò)

    RNN 在反向傳播過程中存在梯度消失和梯度爆炸問題,使其難以連續(xù)優(yōu)化網(wǎng)絡(luò)參數(shù)[38]。LSTM[39]能夠有效地解決這個問題。LSTM單元結(jié)構(gòu)如圖1所示。

    圖1 LSTM 單元結(jié)構(gòu)Fig.1 Unit structure of LSTM

    LSTM 存儲單元由遺忘門、輸入門和輸出門3 個激活門結(jié)構(gòu)控制,以便有效地存儲和更新單元信息。

    1)遺忘門,在單元信息更新中控制上一單元Ct-1信息被遺忘。遺忘門的計算如式(3)所示:

    2)輸入門,控制信息被輸入到本單元中。輸入門的計算如式(4)和式(5)所示:

    3)單元信息更新,通過遺忘門和輸入門有選擇地更新Ct。單元信息更新過程如式(6)所示:

    4)輸出門,將Ct激活,并控制Ct的過濾程度。輸出門的計算如式(7)和式(8)所示:

    其中:W*為權(quán)重矩陣;b*為偏置項;⊙表示矩陣元素乘積;σ為sigmoid 激活函數(shù);tanh 為雙曲正切激活函數(shù)。激活函數(shù)的定義如式(9)和式(10)所示:

    輸出層依據(jù)式(11)得到最終預(yù)測值:

    3 系統(tǒng)模型設(shè)計

    3.1 符號描述與問題建模

    對于給定的n維特征風(fēng)電功率時間序列,例如X=(X1,X2,…,Xn)T=(X1,X2,…,XT) ∈Rn×T,其中,T為觀測時間序列的窗口長度。本文使用Xk=表示第k維特征序列,Xt=表示第t時刻的n維特征序列。

    對于風(fēng)電功率預(yù)測問題,本文給定觀測序列歷史值(X1,X2,…,XT-1),其中Xt∈Rn,其目標(biāo)是確定觀測特征變量與目標(biāo)預(yù)測變量yT之間的非線性映射關(guān)系,即找到一個非線性映射函數(shù)F(·),使得yT=F(X1,X2,…,XT-1)。

    3.2 雙階段注意力機(jī)制

    受人類注意力機(jī)制理論的啟發(fā),在第一階段選擇基本刺激特征,在第二階段使用分類信息來解碼刺激[40]。本文在模型編碼層通過注意力機(jī)制輸入特征,使得該編碼器能夠自適應(yīng)地關(guān)注相關(guān)特征,同時在解碼層注意力機(jī)制捕獲長時間依賴關(guān)系,從而獲取更加豐富的全局上下文信息。

    傳統(tǒng)的編解碼模型對于編碼層的所有輸入特征都具有相同的權(quán)重,說明在編碼階段未利用特征之間的關(guān)系。同時,在解碼層不同時刻的輸入會產(chǎn)生相同的上下文向量。因此,傳統(tǒng)的編解碼模型不能關(guān)注時序上的重要時刻特征,當(dāng)時序較長時,通常會導(dǎo)致模型預(yù)測性能降低。

    在編解碼器中使用的注意力機(jī)制僅對解碼層不同時刻的輸入?yún)?shù)產(chǎn)生不同的上下文向量,因此,忽略了不同特征與目標(biāo)預(yù)測變量之間的相關(guān)性。

    本文提出基于雙階段注意力機(jī)制編解碼模型(DA-EDLSTM)的風(fēng)電功率預(yù)測方法。DA-EDLSTM模型結(jié)構(gòu)如圖2 所示。在編碼層和解碼層上引入注意力機(jī)制,在空間和時間兩個維度上獲取上下文依賴關(guān)系,從而在把握長期時序依賴關(guān)系的同時實現(xiàn)對重要特征因子的選擇。

    圖2 DA-EDLSTM 模型結(jié)構(gòu)Fig.2 Structure of DA-EDLSTM model

    3.2.1 基于注意力機(jī)制的編碼層

    基于特征注意力機(jī)制的編碼層結(jié)構(gòu)如圖3 所示。

    圖3 基于特征注意力機(jī)制的編碼層結(jié)構(gòu)Fig.3 Structure of encoder layer based on feature attention mechanism

    對于輸入觀測序列X中的第k維特征序列Xk,根據(jù)上一時刻編碼器的隱藏狀態(tài)ht-1和單元狀態(tài)st-1構(gòu)造注意力機(jī)制,如式(12)和式(13)所示:

    其中:Ve,be∈RT,We∈RT×2m和Ue∈RT×T為模型需要學(xué)習(xí)的參數(shù);ht-1∈Rm和st-1∈Rm為編碼層的隱藏狀態(tài)和單元狀態(tài);m為隱藏層的大小。通過這種方式,當(dāng)前饋神經(jīng)網(wǎng)絡(luò)訓(xùn)練完成后,在LSTM 獲取長時序相關(guān)性的同時得到重要程度不同的特征信息,重要程度表現(xiàn)在每個特征訓(xùn)練后得到的權(quán)重Ue不同。由于在注意力機(jī)制中輸入上一時刻的隱藏狀態(tài)ht-1和單元狀態(tài)st-1,因此特征信息具有時序依賴性。當(dāng)?shù)玫街?,通過softmax 函數(shù)將其歸一化,使得注意力權(quán)重之和為1。每個時刻的輸入Xt為其中每個影響因子賦予一定的注意力權(quán)重可以衡量時刻t的第k維特征的重要性。由于每個時刻的每個特征都有其對應(yīng)的權(quán)重,因此在第一階段注意力加權(quán)后的輸出如式(14)所示:

    本文使用代替Xt,并將其輸入到編碼層中,如式(15)所示:

    其中:f1為LSTM 神經(jīng)網(wǎng)絡(luò),通過輸入注意力機(jī)制,編碼層可以關(guān)注重要的特征因子而不是平等對待所有特征屬性。

    3.2.2 基于注意力機(jī)制的解碼層

    在傳統(tǒng)編解碼模型的結(jié)構(gòu)中,編碼層輸出的所有時刻都具有相同的上下文向量,然而,并不是每個時刻的輸入序列Xt和編碼層的隱藏狀態(tài)ht對上下文向量都具有相同的貢獻(xiàn)。因此,傳統(tǒng)的編解碼模型忽略了輸入特征在時序上的重要性差別。因此,采用時間注意力機(jī)制選擇性地關(guān)注相關(guān)的輸入序列?;跁r間注意力機(jī)制的解碼層結(jié)構(gòu)如圖4 所示。

    圖4 基于時間注意力機(jī)制的解碼層結(jié)構(gòu)Fig.4 Structure of decoder layer based on time attention mechanism

    注意力權(quán)重向量ei表示未歸一化的輸入重要性。注意力權(quán)重向量ei的計算如式(16)所示:

    其中:Wd表示模型學(xué)習(xí)的權(quán)重參數(shù)。模型經(jīng)過訓(xùn)練后,得到表示隱藏狀態(tài)重要性的ei,通過式(17)進(jìn)行歸一化,得到各個時刻輸入序列的關(guān)注概率βi,βi表示在不同時刻產(chǎn)生上下文的重要程度:

    解碼層在t時刻計算上下文向量中的加權(quán)求和,并對不同時刻隱藏狀態(tài)分配權(quán)重大小,得到最終進(jìn)入LSTM 門控單元的向量xt1,如式(18)所示:

    該向量表示不同時刻的編碼輸入變量在預(yù)測輸出時的重要性。在解碼結(jié)構(gòu)中基于時間注意力機(jī)制,學(xué)習(xí)不同時刻隱藏狀態(tài)間的內(nèi)在時間相關(guān)性,利用注意力機(jī)制對加權(quán)得到的信息進(jìn)行預(yù)測。此外,注意力機(jī)制為前饋神經(jīng)網(wǎng)絡(luò),可以與模型整體一起進(jìn)行參數(shù)學(xué)習(xí)。

    3.3 模型架構(gòu)

    本文提出MI-VMD-DA-EDLSTM-VEC 的新型組合模型來進(jìn)行風(fēng)電短期預(yù)測,模型整體架構(gòu)如圖5所示。

    圖5 本文模型的整體架構(gòu)Fig.5 Overall architecture of the proposed model

    MI-VMD-DA-EDLSTM-VEC 的新型組合模型主要包括以下4 個部分:

    1)MI 特征選擇:通過計算原始6 維特征與目標(biāo)序列的互信息,并進(jìn)行互信息量排序,以選擇互信息量較大特征,從而降低相關(guān)性弱的冗余特征對預(yù)測精度的影響。

    2)VMD 分解:為了得到較強(qiáng)的平穩(wěn)性,并且在不同頻域上均勻分布的特征序列,分別對風(fēng)電功率、風(fēng)速和空氣溫度序列進(jìn)行VMD 分解。

    3)DA-EDLSTM 模型訓(xùn)練:為了同時把握時序相關(guān)性與特征相關(guān)性,通過雙階段注意力機(jī)制的編解碼LSTM 模型對VMD 分解得到的模態(tài)分量(IMFs)進(jìn)行訓(xùn)練和預(yù)測,得到初始預(yù)測序列,通過得到原始預(yù)測誤差e(t)。

    4)誤差修正:由于誤差序列具有波動性較強(qiáng)且平穩(wěn)性弱的特點,因此對e(t)進(jìn)行VMD 分解預(yù)處理,使用單層LSTM 模型進(jìn)行再訓(xùn)練預(yù)測,得到誤差預(yù)測序列,并對原始預(yù)測結(jié)果進(jìn)行修正,得到最終預(yù)測結(jié)果

    本文提出的模型首先對原始數(shù)據(jù)進(jìn)行MI 選擇,以選擇出與風(fēng)電功率相關(guān)性強(qiáng)的特征;其次對相關(guān)特征進(jìn)行VMD 分解,以降低各個特征序列的復(fù)雜性和非平穩(wěn)性,使用新型的基于雙階段注意力機(jī)制和編解碼神經(jīng)網(wǎng)絡(luò)的模型進(jìn)行預(yù)測;最后對模型預(yù)測誤差進(jìn)行VMD 分解和誤差修正,從而進(jìn)一步提高模型的預(yù)測精度。

    4 實驗與結(jié)果分析

    4.1 數(shù)據(jù)集

    本文實驗使用的數(shù)據(jù)集為美國國家可再生能源實驗室(NREL)提供的觀測站站點數(shù)據(jù),原始數(shù)據(jù)集時間跨度為2013 年全年,包含風(fēng)電功率、風(fēng)向、風(fēng)速、空氣溫度、氣壓和密度6 個維度特征,每5 min 采樣一次。觀測站點的地理位置如圖6 所示。

    圖6 觀測站點位置信息Fig.6 Location information of observation station

    實驗數(shù)據(jù)集取自馬薩諸塞州南塔基特島西部的巴特利特的海景風(fēng)電場(BOV)以及巴恩斯特布爾的丹尼斯的CCRTA 站點。

    BOV 站點風(fēng)電功率隨時間的變化曲線如圖7 所示。從圖7 可以看出,風(fēng)電功率變化幅度較大,風(fēng)電功率中不同頻率的信號相互干擾,受噪聲影響較嚴(yán)重。由于BOV 站點風(fēng)電場風(fēng)電時間序列的變化幅度和波動頻率的特點,因此選擇該風(fēng)電場數(shù)據(jù)來驗證本文模型的有效性。

    圖7 在BOV 站點上風(fēng)電功率隨時間的變化曲線Fig.7 Change curves of wind power with time at BOV station

    從2013 年1 月 到2013 年12 月,NREL 提供每5 min 采樣一次的數(shù)據(jù)集,本文對1 h 內(nèi)12 個采樣點進(jìn)行平均值重采樣,以獲得每小時的數(shù)據(jù)。實驗評估中使用訓(xùn)練集、驗證集和測試集3 個數(shù)據(jù)子集,根據(jù)固定比例7∶1∶2 進(jìn)行劃分。本文實驗共有8 760 h的數(shù)據(jù)樣本,其中6 132 個樣本作為訓(xùn)練集,876 個樣本作為驗證集,1 752 個樣本用于測試。

    4.2 評價指標(biāo)

    本文使用3 個評價指標(biāo)來評估預(yù)測模型的性能。評價指標(biāo)分別為平均絕對誤差(MMAE)、根均方誤差(RRMSE)和對稱平均絕對百分比誤差(SSMAPE)。RRMSE是在預(yù)測定量數(shù)據(jù)時測量模型誤差的標(biāo)準(zhǔn)指標(biāo)。SSMAPE是基于百分比誤差的準(zhǔn)確性度量。3 個評價指標(biāo)的計算如式(19)~式(21)所示:

    其中:y(t)為時間t的實際風(fēng)電值;為時間t的預(yù)測風(fēng)電值;N為測試集的數(shù)據(jù)樣本數(shù)。

    4.3 實驗基準(zhǔn)模型

    為驗證本文VMD-DA-EDLSTM-VEC 組合模型的預(yù)測效果,本文選擇基準(zhǔn)模型用于實驗對比,基準(zhǔn)模型的描述如表1 所示。單一模型的參數(shù)設(shè)置如表2 所示。

    表1 基準(zhǔn)模型描述Table 1 Description of benchmark models

    表2 單一模型的主要參數(shù)設(shè)置Table 2 The main parameters setting of single model

    4.4 數(shù)據(jù)預(yù)處理

    為確定時間序列預(yù)測模型的最佳階數(shù),本文分析時間序列數(shù)據(jù)的自相關(guān)性。風(fēng)電功率的自相關(guān)系數(shù)和偏自相關(guān)系數(shù)隨時間的變化曲線如圖8 所示,自相關(guān)系數(shù)圖的特征是拖尾,而偏自相關(guān)系數(shù)圖是截尾。因此,該風(fēng)電功率信號滿足自回歸(Auto Regressive,AR)模型的特性,從圖8(a)可以看出,數(shù)據(jù)在滯后30 步左右完全進(jìn)入置信區(qū)間中,因此時序預(yù)測模型的最佳階數(shù)p初步確定為30。

    圖8 風(fēng)電功率的自相關(guān)系數(shù)與偏自相關(guān)系數(shù)隨時間的變化曲線Fig.8 Change curves of autocorrelation coefficient and partial autocorrelation coefficient of wind power with time

    由于原始數(shù)據(jù)為6 維,包含風(fēng)電功率、風(fēng)向、風(fēng)速、空氣溫度、氣壓和密度,為了消除或者減弱冗余特性以及不相關(guān)特性帶來的噪聲對模型預(yù)測結(jié)果的影響,本文使用MI 作為特征選擇方法進(jìn)行特征選擇,選擇與PW 相關(guān)性較強(qiáng)的特征作為主要特征進(jìn)行模型預(yù)測。通過互信息計算的每個特征維度的互信息量排序如圖9 所示。

    圖9 不同特征的互信息量排序Fig.9 Mutual information ranking among different features

    從圖9 可以看出,風(fēng)電功率、風(fēng)速和空氣溫度為前3 維主要相關(guān)特征,相關(guān)性較強(qiáng)的是風(fēng)電功率和風(fēng)速,互信息量分別為5.9 和3.5,而其他4 維特征相關(guān)性較弱,互信息量小于0.3。實驗選擇相關(guān)性排序前3 位的特征序列:風(fēng)電功率、風(fēng)速和空氣溫度。后續(xù)模型根據(jù)這3 維特征數(shù)據(jù)進(jìn)行信號分解、模型訓(xùn)練和預(yù)測。

    為驗證MI 特征選擇的效果,不同維度特征使用單一LSTM 模型進(jìn)行預(yù)測的結(jié)果如圖10 所示。從圖10 可以看出,MI 選擇3 維特征序列的預(yù)測結(jié)果優(yōu)于6 維特征序列的結(jié)果,但是仍然較1 維特征序列的預(yù)測結(jié)果差,這是由于加入的風(fēng)速信號具有不平穩(wěn)性和復(fù)雜性,導(dǎo)致模型的精度下降,后續(xù)采用VMD算法將信號分解為不同頻率的平穩(wěn)分量,從而提高模型精度。

    圖10 采用不同維度特征序列預(yù)測風(fēng)電功率的對比分析Fig.10 Comparative analysis of prediction wind power using different dimensional features sequence

    4.5 特征提取

    本文分別使用VMD 算法將風(fēng)電功率、風(fēng)速、空氣溫度數(shù)據(jù)分解為20、10 和1 個IMFs,使各個特征分解為在不同頻域上均勻分布的分量。風(fēng)電功率、風(fēng)速的VMD 分解結(jié)果如圖11 所示,VMD 分解能夠充分地提取信號在頻域上的特征。

    圖11 風(fēng)電功率與風(fēng)速序列VMD 分解結(jié)果Fig.11 VMD decomposition results of wind power and wind speed series

    風(fēng)電功率和風(fēng)速模態(tài)分量的分解層數(shù)通過參數(shù)尋優(yōu)實驗獲得:p為20,s為10,t為1;風(fēng)電功率IMFs[IMF1,IMF2,…,IMFp];風(fēng)速IMFs[IMF1,IMF2,…,IMFs];空氣溫度IMFs[IFM1,IMF2,…,IMFt]。

    在BOV 和CCRTA 站點上不同模型的評價指標(biāo)對比如表3 所示。在BOV 站點上VMD-LSTM 模型的預(yù)測結(jié)果RMSE 和MAE 分別為1.117 kW 和0.799 kW,與3 維特征序列直接使用LSTM 模型預(yù)測的RMSE相比,VMD-LSTM 模型的RMSE指標(biāo)明顯降低。

    表3 不同模型的評價指標(biāo)對比Table 3 Evaluation indexs comparison among different models kW

    VMD-EDLSTM的預(yù)測指標(biāo)MAE 和RMSE 分別為0.266 和0.568,比使用單層LSTM 的VMDLSTM 提高了5.33 和5.49 個百分點。在解碼層基于注意力機(jī)制的VMD-AT-EDLSTM 模型利用不同上下文向量關(guān)注重要時刻的隱藏狀態(tài),因此,相比VMD-EDLSTM 模型的RMSE 和MAE 分別提升了3.4 和4.9 個百分點,具有更優(yōu)的預(yù)測精度。在VMD-AT-EDLSTM 模型的基礎(chǔ)上,VMD-DAEDLSTM 模型在編碼層的輸入階段運(yùn)用注意力機(jī)制,使模型不僅能把握長期時序依賴關(guān)系和關(guān)注重要時刻,而且實現(xiàn)重要特征因子的選取。VMDDA-EDLSTM 模型預(yù)測指標(biāo)MAE 和RMSE 分別為0.218 和0.381,具有最優(yōu)的預(yù)測性能,相比VMDEDLSTM 模型降低了4.8 和18.7 個百分點,相比VMD-AT-EDLSTM 模型降低了1.4和13.8個百分點。

    雙階段注意力機(jī)制的注意力權(quán)重分布如圖12所示。在第一階段的注意力機(jī)制中,注意力機(jī)制被用于選擇關(guān)鍵的IMFs分量,風(fēng)電功率、風(fēng)速和空氣溫度的IMFs數(shù)量分別是20、10、1。從圖12(a)可以看出,模型主要關(guān)注每組IMFs分量中的低頻趨勢分量,在圖中分別為第1、21、31 號輸入特征,說明模型充分提取了特征序列中的主要趨勢信息。在第二階段的注意力機(jī)制中,模型主要關(guān)注關(guān)鍵時間步的隱藏狀態(tài),從圖12(b)可以看出,在第24 步時擁有最大的注意力權(quán)重,并且靠后的時間步擁有較大的權(quán)重,說明在第二階段的解碼層注意力機(jī)制可以選擇長時間相關(guān)性中的關(guān)鍵信息,并且該信息在靠后時刻。以上兩個結(jié)論都符合客觀事實,即主要趨勢分量和靠后時間步的特征對預(yù)測結(jié)果影響更大。

    圖12 注意力權(quán)重分布Fig.12 Weight distribution of attention

    4.6 模型實驗對比

    在CCRTA 站點上不同模型的預(yù)測結(jié)果如圖13所示。以CCRTA 站點的結(jié)果為例,從圖13 可以看出,VMD-LSTM 的預(yù)測結(jié)果優(yōu)于統(tǒng)計模型ARMA 和機(jī)器學(xué)習(xí)模型SVR。在圖13 的散點圖中VMD 分解后的預(yù)測結(jié)果比使用LSTM 直接進(jìn)行預(yù)測的結(jié)果更接近基準(zhǔn)線,說明VMD 分解后進(jìn)行預(yù)測有較高的精度。

    圖13 在CCRTA 站點不同模型的預(yù)測結(jié)果Fig.13 Prediction results of different models at CCRTA site

    在BOV 和CCRTA 站點上不同模型的誤差值對比如圖14 所示,本文提出的VMD-DA-EDLSTMVEC 組合模型在BOV 站點和CCRTA 站點上都具有最優(yōu)的預(yù)測誤差指標(biāo)。

    圖14 不同模型的誤差值對比Fig.14 Errors values comparison among different models

    4.7 誤差修正

    為驗證誤差修正模塊的效果,本文在雙階段注意力機(jī)制的編解碼模型基礎(chǔ)上,加入了誤差修正模塊,以原始預(yù)測誤差作為數(shù)據(jù)樣本,使用單層LSTM模型預(yù)測誤差,并通過誤差預(yù)測序列對原始預(yù)測誤差進(jìn)行修正。本文考慮到預(yù)測誤差具有不平穩(wěn)性和波動性較強(qiáng)的特點,使用VMD 分解對預(yù)測誤差序列進(jìn)行預(yù)處理。實驗結(jié)果表明,基于VMD 分解預(yù)處理的誤差修正模塊能有效提高模型的預(yù)測精度。在BOV 和CCRTA 站點上引入誤差修正模塊的預(yù)測結(jié)果如圖15 所示。

    圖15 不同模型引入誤差修正模塊的預(yù)測結(jié)果對比Fig.15 Prediction results of introducing error correction module into different models

    在兩個站點上,引入誤差修正模塊的模型得到的預(yù)測曲線更趨近于實際值。從表3 可以看出,VMD-DA-EDLSTM-VEC 模型的性能指標(biāo)RMSE 和MAE 達(dá)到了0.179 和0.121,對比 未使用VMD 分解預(yù)處理的VMD-DA-EDLSTM-EC 分別提高了17.5和7.6 個百分點,在VMD-DA-EDLSTM 模型的基礎(chǔ)上提高了20.2 和9.7 個百分點。

    4.8 模型參數(shù)尋優(yōu)

    不同的VMD 分解層數(shù)K會影響IMFs在頻域上的分布情況[37],進(jìn)而影響模型的預(yù)測結(jié)果。不同的滯后時間步長同樣也影響模型的預(yù)測精度。本文使用VMD-DA-EDLSTM 模型確定自相關(guān)階數(shù)p和特征分解層數(shù)K。在不同自相關(guān)階數(shù)和分解層數(shù)下,本文模型的預(yù)測結(jié)果對比如圖16 所示。

    圖16 在不同自相關(guān)階數(shù)和分解層數(shù)下本文模型的預(yù)測結(jié)果對比Fig.16 Prediction results comparison of the proposed model under different autocorrelation orders and decomposition levels

    自相關(guān)階段p和特征分解層數(shù)K確定取值:

    1)自相關(guān)階數(shù)p,在確定了K值的基礎(chǔ)上尋找p值,從圖8 可以看出,自相關(guān)階數(shù)從30 左右完全進(jìn)入置信區(qū)間;從圖16(a)可以看出,當(dāng)自相關(guān)階數(shù)p為30 時具有相對最小的RMSE 和MAE 誤差,與偏自相關(guān)系數(shù)圖得出的結(jié)果一致。

    2)特征分解層數(shù)K,假設(shè)p=30,貪心算法尋找風(fēng)電功率、風(fēng)速和空氣溫度的分解層數(shù)Kp、Ks、Kt,在Kp為15~25 范圍內(nèi)尋找誤差相對較低的Kp,在此基礎(chǔ)上確定Ks,進(jìn)一步確定Kt取值。如圖16(b)、圖16(c)和圖16(d)所示,當(dāng)Kp、Ks、Kt取值分別為20、10、1時,誤差最小。

    4.9 預(yù)測精度與穩(wěn)定性分析

    本文利用VMD-LSTM、VMD-EDLSTM、VMD-ATEDLSTM、VMD-DA-EDLSTM、VMD-DA-EDLSTMVEC 這5 種模型在BOV 站點上分別進(jìn)行20 組預(yù)測實驗,并對實驗結(jié)果的誤差指標(biāo)MAE、RMSE 進(jìn)行對比,結(jié)果如圖17 所示。

    圖17 不同模型的預(yù)測值對比Fig.17 Prediction values comparison among different models

    從圖17 可以看出,增加解碼層注意力機(jī)制的VMD-AT-EDLSTM 的平均預(yù)測誤差MAE 為0.14,RMSE 為0.52,普遍優(yōu)于VMD-LSTM 和VMDEDLSTM,而增加編碼層注意力機(jī)制的VMD-DAEDLSTM 的平均誤差MAE 為0.27,RMSE 為0.38,優(yōu)于單注意力機(jī)制模型,使用誤差修正模塊后模型的預(yù)測誤差降低到MAE 為0.06,RMSE 為0.17,同時模型性能也更加穩(wěn)定。

    綜合上述對比實驗數(shù)據(jù),本文得到如下結(jié)論:

    1)常規(guī)預(yù)測模型:ARMA 模型能夠預(yù)測風(fēng)電功率的主要趨勢,但是在出現(xiàn)突發(fā)峰值時準(zhǔn)確度較低;而SVR 和LSTM 單個模型在預(yù)測風(fēng)電功率時存在滯后現(xiàn)象,難以準(zhǔn)確地預(yù)測下一時刻風(fēng)電功率。

    2)互信息特征選擇的作用:對于多維特征時間序列,通過互信息選擇與目標(biāo)序列相關(guān)性較強(qiáng)的特征序列,從而減弱冗余特征和不相關(guān)特征對預(yù)測模型產(chǎn)生的干擾。

    3)信號分解的作用:從圖12 可以看出,VMD 分解可以提取復(fù)雜性強(qiáng)、不平穩(wěn)信號的不同頻域特征,解決LSTM 模型存在預(yù)測滯后的問題,提高模型的預(yù)測精度。

    4)VMD-DA-EDLSTM 模型:提升模型在風(fēng)電等數(shù)據(jù)急劇變化時的決策能力;能更加準(zhǔn)確地預(yù)測風(fēng)電功率出現(xiàn)峰值或低谷的情況;用于編碼層輸入和解碼層隱藏狀態(tài)的雙階段注意力機(jī)制,以選擇關(guān)鍵信息,通過第一階段注意力關(guān)注重要的特征維度,同時第二階段注意力關(guān)注長期時序中的重要時刻,從而把握長期時序依賴關(guān)系;選取重要特征因子,解決編解碼模型隨著輸入序列長度增加時性能變差的問題,進(jìn)一步提高模型性能。

    5)誤差修正模塊的效果:使用信號預(yù)處理的誤差修正機(jī)制能夠進(jìn)一步提高預(yù)測精度,VMD 算法解決了誤差序列存在不平穩(wěn)、復(fù)雜性強(qiáng)等問題,實現(xiàn)了對誤差序列很好的特征提取,從而進(jìn)一步提高模型的預(yù)測性能。

    5 結(jié)束語

    本文提出一種由信號分解、雙階段注意力機(jī)制、誤差修正策略和深度學(xué)習(xí)算法組合的新型短期風(fēng)電功率預(yù)測模型。通過互信息計算多維特征序列與風(fēng)電功率之間的互信息量,排序后選擇相關(guān)特征用于后續(xù)模型訓(xùn)練與預(yù)測,利用變分模態(tài)分解對多維特征序列進(jìn)行分解。在此基礎(chǔ)上,采用基于雙階段注意力機(jī)制、編解碼架構(gòu)的長短時記憶神經(jīng)網(wǎng)絡(luò)模型和誤差修正模塊進(jìn)行風(fēng)電功率預(yù)測,得到最終預(yù)測結(jié)果。實驗結(jié)果表明,本文提出組合模型具有較優(yōu)的預(yù)測精度和較強(qiáng)的預(yù)測穩(wěn)定性,為利用深度學(xué)習(xí)探索時間序列的預(yù)測分析提供研究思路。后續(xù)將結(jié)合編解碼模型的多步預(yù)測優(yōu)勢進(jìn)行多步風(fēng)電功率的預(yù)測,進(jìn)一步提高風(fēng)能的利用效率。

    猜你喜歡
    電功率注意力誤差
    基于PCC-CNN-GRU的短期風(fēng)電功率預(yù)測
    讓注意力“飛”回來
    輕松上手電功率
    你會計算電功率嗎
    角接觸球軸承接觸角誤差控制
    哈爾濱軸承(2020年2期)2020-11-06 09:22:26
    Beidou, le système de navigation par satellite compatible et interopérable
    壓力容器制造誤差探究
    解讀電功率
    “揚(yáng)眼”APP:讓注意力“變現(xiàn)”
    傳媒評論(2017年3期)2017-06-13 09:18:10
    A Beautiful Way Of Looking At Things
    国产亚洲精品第一综合不卡| avwww免费| 亚洲欧洲精品一区二区精品久久久| 国产欧美日韩一区二区精品| 精品免费久久久久久久清纯| 色综合站精品国产| 美女午夜性视频免费| 18禁观看日本| 搞女人的毛片| 国产成人av激情在线播放| 国产人伦9x9x在线观看| 精品少妇一区二区三区视频日本电影| 美女免费视频网站| 大型av网站在线播放| 国产亚洲欧美98| 成人欧美大片| 757午夜福利合集在线观看| 欧美中文综合在线视频| 国产区一区二久久| 一边摸一边抽搐一进一小说| 久久中文字幕人妻熟女| 一个人免费在线观看电影 | 老司机福利观看| 久久久久免费精品人妻一区二区| 亚洲专区中文字幕在线| 一个人免费在线观看的高清视频| 国产视频内射| 欧美日韩国产亚洲二区| 天天躁狠狠躁夜夜躁狠狠躁| 欧美成人性av电影在线观看| 日韩欧美在线二视频| 欧美 亚洲 国产 日韩一| 亚洲av成人不卡在线观看播放网| 国产精品一区二区三区四区久久| 丝袜美腿诱惑在线| 国产欧美日韩一区二区三| 一级a爱片免费观看的视频| 国产亚洲精品久久久久久毛片| 三级男女做爰猛烈吃奶摸视频| 不卡一级毛片| 999久久久国产精品视频| 国产精品98久久久久久宅男小说| 婷婷亚洲欧美| 欧美绝顶高潮抽搐喷水| 欧美性长视频在线观看| 国产三级在线视频| 精品国产乱码久久久久久男人| 精品一区二区三区四区五区乱码| 香蕉久久夜色| 亚洲国产看品久久| 日韩av在线大香蕉| 男女那种视频在线观看| 国产高清视频在线播放一区| 国产三级黄色录像| 黄色片一级片一级黄色片| 人妻丰满熟妇av一区二区三区| 国产99白浆流出| 国产精品,欧美在线| 国产精品久久视频播放| 亚洲av成人精品一区久久| 日本黄色视频三级网站网址| 久久久水蜜桃国产精品网| 丝袜人妻中文字幕| 国产aⅴ精品一区二区三区波| 黄色成人免费大全| 波多野结衣高清作品| 久久午夜亚洲精品久久| 亚洲精品av麻豆狂野| 悠悠久久av| 久久久水蜜桃国产精品网| 别揉我奶头~嗯~啊~动态视频| 亚洲欧美日韩高清在线视频| 可以免费在线观看a视频的电影网站| 久久这里只有精品19| 在线播放国产精品三级| 亚洲精品中文字幕在线视频| 日韩精品免费视频一区二区三区| 亚洲男人天堂网一区| 99国产极品粉嫩在线观看| 一区二区三区高清视频在线| 国产一级毛片七仙女欲春2| 欧美日韩瑟瑟在线播放| 国产精品99久久99久久久不卡| 全区人妻精品视频| 亚洲欧美精品综合一区二区三区| 婷婷精品国产亚洲av在线| videosex国产| 成人av在线播放网站| svipshipincom国产片| 国产亚洲欧美98| 少妇被粗大的猛进出69影院| 2021天堂中文幕一二区在线观| 国产高清激情床上av| 中文字幕熟女人妻在线| 法律面前人人平等表现在哪些方面| 国产精品1区2区在线观看.| 少妇被粗大的猛进出69影院| 搡老妇女老女人老熟妇| 日本 欧美在线| av超薄肉色丝袜交足视频| 又大又爽又粗| 免费看十八禁软件| 国产精品久久电影中文字幕| 久久国产精品影院| 国产亚洲精品第一综合不卡| 男女下面进入的视频免费午夜| 亚洲国产看品久久| 最好的美女福利视频网| 日韩精品免费视频一区二区三区| 2021天堂中文幕一二区在线观| 精华霜和精华液先用哪个| www.999成人在线观看| 免费在线观看黄色视频的| 国产熟女xx| 99re在线观看精品视频| 亚洲成av人片免费观看| 亚洲 欧美一区二区三区| 一进一出抽搐gif免费好疼| 床上黄色一级片| 国产视频内射| 熟女电影av网| 舔av片在线| 久久久久国产一级毛片高清牌| 欧美日韩精品网址| 深夜精品福利| 国产亚洲欧美98| 婷婷亚洲欧美| 久久久久久久午夜电影| 特大巨黑吊av在线直播| 在线观看日韩欧美| 免费电影在线观看免费观看| 99在线人妻在线中文字幕| 一本久久中文字幕| 91在线观看av| 久久婷婷人人爽人人干人人爱| 午夜亚洲福利在线播放| 亚洲欧洲精品一区二区精品久久久| 欧美绝顶高潮抽搐喷水| 亚洲中文av在线| 亚洲av第一区精品v没综合| 中亚洲国语对白在线视频| 日本撒尿小便嘘嘘汇集6| 国产精品野战在线观看| 国产三级在线视频| a级毛片在线看网站| 天堂影院成人在线观看| 日韩免费av在线播放| 琪琪午夜伦伦电影理论片6080| 精品久久久久久久末码| 一级毛片女人18水好多| 国产精品综合久久久久久久免费| 国产精品九九99| 黄色片一级片一级黄色片| 一区二区三区国产精品乱码| 久久精品人妻少妇| 日韩av在线大香蕉| 中文字幕久久专区| 亚洲自拍偷在线| 大型av网站在线播放| 欧洲精品卡2卡3卡4卡5卡区| 久久婷婷成人综合色麻豆| 国产黄a三级三级三级人| 中文字幕精品亚洲无线码一区| 国产av一区二区精品久久| 国产成人精品无人区| 伦理电影免费视频| 久久精品人妻少妇| 一边摸一边抽搐一进一小说| 精品久久久久久久人妻蜜臀av| 久久久久久人人人人人| 久久精品国产亚洲av高清一级| 成人亚洲精品av一区二区| 小说图片视频综合网站| 在线视频色国产色| 五月伊人婷婷丁香| 巨乳人妻的诱惑在线观看| 999精品在线视频| 国产精品1区2区在线观看.| 精品不卡国产一区二区三区| 亚洲专区国产一区二区| 精品不卡国产一区二区三区| 悠悠久久av| 亚洲精品一区av在线观看| 99re在线观看精品视频| 一进一出好大好爽视频| 波多野结衣高清作品| 90打野战视频偷拍视频| 人成视频在线观看免费观看| 十八禁人妻一区二区| 亚洲欧洲精品一区二区精品久久久| 每晚都被弄得嗷嗷叫到高潮| 人成视频在线观看免费观看| 一级毛片高清免费大全| 99久久精品热视频| 18美女黄网站色大片免费观看| 午夜福利视频1000在线观看| 给我免费播放毛片高清在线观看| 国产成人精品久久二区二区91| 在线观看美女被高潮喷水网站 | 床上黄色一级片| 99国产综合亚洲精品| 啪啪无遮挡十八禁网站| 午夜福利视频1000在线观看| 精品一区二区三区四区五区乱码| 色av中文字幕| 波多野结衣巨乳人妻| 无遮挡黄片免费观看| 色精品久久人妻99蜜桃| 日日摸夜夜添夜夜添小说| 在线视频色国产色| 成人av在线播放网站| 成人永久免费在线观看视频| 国产欧美日韩精品亚洲av| e午夜精品久久久久久久| 老司机在亚洲福利影院| 亚洲av电影在线进入| 国产激情久久老熟女| 老汉色∧v一级毛片| 久久精品综合一区二区三区| 久久久久国产一级毛片高清牌| 亚洲成人免费电影在线观看| 91av网站免费观看| 99精品在免费线老司机午夜| 久久精品国产亚洲av香蕉五月| 久久久国产成人免费| 亚洲专区字幕在线| 麻豆国产97在线/欧美 | 日本五十路高清| 中亚洲国语对白在线视频| 麻豆一二三区av精品| 国产主播在线观看一区二区| 国产日本99.免费观看| 免费无遮挡裸体视频| 长腿黑丝高跟| 法律面前人人平等表现在哪些方面| 黄色 视频免费看| 性色av乱码一区二区三区2| 中文在线观看免费www的网站 | 国产成人啪精品午夜网站| 我的老师免费观看完整版| 搡老妇女老女人老熟妇| 黑人欧美特级aaaaaa片| 人人妻人人看人人澡| 国语自产精品视频在线第100页| 久久久久久人人人人人| 久久精品综合一区二区三区| xxx96com| av在线播放免费不卡| 国产av又大| 欧美 亚洲 国产 日韩一| 美女高潮喷水抽搐中文字幕| 亚洲avbb在线观看| 亚洲精品在线观看二区| 后天国语完整版免费观看| 日韩国内少妇激情av| 88av欧美| 色尼玛亚洲综合影院| 嫩草影视91久久| 日本 欧美在线| 欧美日本视频| АⅤ资源中文在线天堂| 亚洲男人的天堂狠狠| 两个人的视频大全免费| 这个男人来自地球电影免费观看| 欧美乱码精品一区二区三区| АⅤ资源中文在线天堂| 久久人妻av系列| 亚洲成人精品中文字幕电影| 美女 人体艺术 gogo| 麻豆成人av在线观看| 最近视频中文字幕2019在线8| 国产人伦9x9x在线观看| 日本 av在线| 亚洲人成伊人成综合网2020| 三级国产精品欧美在线观看 | 亚洲国产中文字幕在线视频| 久久国产乱子伦精品免费另类| 国产欧美日韩一区二区精品| 欧美精品亚洲一区二区| av视频在线观看入口| 亚洲国产欧美网| 长腿黑丝高跟| 午夜精品一区二区三区免费看| 欧美黑人精品巨大| 黄色视频,在线免费观看| 伦理电影免费视频| 国产真人三级小视频在线观看| 免费在线观看黄色视频的| 一级黄色大片毛片| 国产精品爽爽va在线观看网站| 久久久久久久久免费视频了| 精品国产美女av久久久久小说| 成人国语在线视频| 18禁观看日本| 青草久久国产| 一边摸一边做爽爽视频免费| 老鸭窝网址在线观看| 国产亚洲精品一区二区www| 19禁男女啪啪无遮挡网站| 成人18禁高潮啪啪吃奶动态图| 国产一区在线观看成人免费| 1024手机看黄色片| 女同久久另类99精品国产91| 久久亚洲真实| 曰老女人黄片| 岛国在线免费视频观看| 99国产精品一区二区三区| 国产亚洲欧美在线一区二区| 精品国内亚洲2022精品成人| 日本精品一区二区三区蜜桃| 黑人欧美特级aaaaaa片| 黄色女人牲交| 伦理电影免费视频| 1024香蕉在线观看| 亚洲第一电影网av| 色噜噜av男人的天堂激情| 国产日本99.免费观看| 日韩欧美 国产精品| 中国美女看黄片| www日本在线高清视频| 成在线人永久免费视频| 中文字幕高清在线视频| 波多野结衣高清作品| 久久午夜综合久久蜜桃| 亚洲激情在线av| 一卡2卡三卡四卡精品乱码亚洲| 免费看a级黄色片| 99久久国产精品久久久| 神马国产精品三级电影在线观看 | 美女大奶头视频| x7x7x7水蜜桃| 人人妻,人人澡人人爽秒播| 国产熟女午夜一区二区三区| 久久香蕉精品热| 夜夜爽天天搞| 欧美日韩精品网址| 啪啪无遮挡十八禁网站| 一二三四在线观看免费中文在| 性色av乱码一区二区三区2| 在线观看舔阴道视频| 国产一区二区激情短视频| 中文字幕久久专区| 亚洲精品国产精品久久久不卡| 两个人看的免费小视频| 国产精品久久久久久精品电影| 老司机福利观看| 久久久国产欧美日韩av| 国产成人欧美在线观看| 天天躁狠狠躁夜夜躁狠狠躁| 久久精品国产99精品国产亚洲性色| 婷婷精品国产亚洲av在线| 国产成人av教育| 好男人电影高清在线观看| 欧美日韩福利视频一区二区| 97碰自拍视频| 桃色一区二区三区在线观看| 午夜影院日韩av| 成年免费大片在线观看| 精品人妻1区二区| 午夜老司机福利片| 婷婷精品国产亚洲av在线| 中文字幕精品亚洲无线码一区| 91字幕亚洲| 在线观看日韩欧美| 波多野结衣高清无吗| 国产成人aa在线观看| 欧美一区二区精品小视频在线| 国产真实乱freesex| 不卡一级毛片| 99在线视频只有这里精品首页| 精品一区二区三区视频在线观看免费| 久久久国产成人免费| 日韩欧美 国产精品| 一级作爱视频免费观看| 亚洲av成人不卡在线观看播放网| 非洲黑人性xxxx精品又粗又长| 此物有八面人人有两片| 国产视频内射| 欧美av亚洲av综合av国产av| 色综合欧美亚洲国产小说| 色噜噜av男人的天堂激情| 美女扒开内裤让男人捅视频| 国产欧美日韩一区二区三| 国内久久婷婷六月综合欲色啪| 亚洲精品久久成人aⅴ小说| 99热这里只有精品一区 | 欧美黑人欧美精品刺激| 看免费av毛片| 亚洲av电影在线进入| 女人爽到高潮嗷嗷叫在线视频| 舔av片在线| 欧美乱码精品一区二区三区| 狠狠狠狠99中文字幕| 欧美精品啪啪一区二区三区| 一个人观看的视频www高清免费观看 | 日韩有码中文字幕| 又粗又爽又猛毛片免费看| bbb黄色大片| 久久欧美精品欧美久久欧美| 国产区一区二久久| 午夜a级毛片| 国产精品 欧美亚洲| 亚洲激情在线av| 久久久久久久久免费视频了| 国产av不卡久久| 窝窝影院91人妻| 琪琪午夜伦伦电影理论片6080| 欧美高清成人免费视频www| 叶爱在线成人免费视频播放| 超碰成人久久| 老鸭窝网址在线观看| 国产亚洲av高清不卡| 午夜精品在线福利| 久久欧美精品欧美久久欧美| 久久久久国产一级毛片高清牌| 午夜a级毛片| 正在播放国产对白刺激| 长腿黑丝高跟| 91九色精品人成在线观看| 香蕉丝袜av| 两性午夜刺激爽爽歪歪视频在线观看 | 日本一本二区三区精品| 99在线人妻在线中文字幕| 丁香六月欧美| 亚洲九九香蕉| av免费在线观看网站| 18禁裸乳无遮挡免费网站照片| 日韩中文字幕欧美一区二区| 别揉我奶头~嗯~啊~动态视频| 久久久久久九九精品二区国产 | 久久99热这里只有精品18| 天堂影院成人在线观看| 麻豆国产97在线/欧美 | 琪琪午夜伦伦电影理论片6080| 精品高清国产在线一区| 欧美日韩乱码在线| 国产精品99久久99久久久不卡| 日本撒尿小便嘘嘘汇集6| 国产三级中文精品| 久久久国产成人精品二区| 美女午夜性视频免费| 级片在线观看| 国产一区二区激情短视频| 91在线观看av| 欧美zozozo另类| 亚洲专区国产一区二区| 亚洲一卡2卡3卡4卡5卡精品中文| av天堂在线播放| 99久久综合精品五月天人人| 宅男免费午夜| 日日爽夜夜爽网站| 国产黄色小视频在线观看| 亚洲av五月六月丁香网| 国产av又大| 国产精品影院久久| 成人亚洲精品av一区二区| 国产精品,欧美在线| 国产av麻豆久久久久久久| 久久人妻福利社区极品人妻图片| 欧美日韩精品网址| 亚洲精品国产一区二区精华液| 国产免费av片在线观看野外av| 日本一本二区三区精品| 亚洲性夜色夜夜综合| 成人国产综合亚洲| 久久性视频一级片| 欧美又色又爽又黄视频| 成人亚洲精品av一区二区| 精品乱码久久久久久99久播| 天堂av国产一区二区熟女人妻 | 日日摸夜夜添夜夜添小说| av在线天堂中文字幕| 欧美激情久久久久久爽电影| 男人的好看免费观看在线视频 | www.精华液| 99热只有精品国产| 午夜日韩欧美国产| 久久久久久久精品吃奶| 久久婷婷成人综合色麻豆| av片东京热男人的天堂| 美女午夜性视频免费| 两个人看的免费小视频| 国产精品精品国产色婷婷| 亚洲色图av天堂| 国产亚洲av嫩草精品影院| 欧美又色又爽又黄视频| 色尼玛亚洲综合影院| 日韩三级视频一区二区三区| 欧美性长视频在线观看| 香蕉国产在线看| 欧美又色又爽又黄视频| 成人18禁在线播放| 欧美日韩中文字幕国产精品一区二区三区| 欧美激情久久久久久爽电影| 亚洲欧美日韩高清专用| 亚洲乱码一区二区免费版| 国产av一区在线观看免费| 久久香蕉国产精品| 亚洲午夜精品一区,二区,三区| 午夜免费激情av| 日韩欧美国产一区二区入口| 欧美国产日韩亚洲一区| 黄色视频不卡| 岛国在线观看网站| 成人手机av| 久久欧美精品欧美久久欧美| 国产精品永久免费网站| 色综合站精品国产| 国产精品98久久久久久宅男小说| 在线观看免费午夜福利视频| 18禁黄网站禁片免费观看直播| 午夜久久久久精精品| 久久久国产精品麻豆| 色老头精品视频在线观看| 亚洲欧美日韩高清专用| 五月伊人婷婷丁香| 国产探花在线观看一区二区| 精品国产乱码久久久久久男人| 国产黄片美女视频| 精品熟女少妇八av免费久了| 午夜a级毛片| 亚洲精品av麻豆狂野| 99国产精品一区二区蜜桃av| 少妇粗大呻吟视频| 午夜福利成人在线免费观看| 日韩三级视频一区二区三区| 国产精品一区二区三区四区免费观看 | 天堂√8在线中文| 女人爽到高潮嗷嗷叫在线视频| 18禁裸乳无遮挡免费网站照片| 亚洲精品在线观看二区| 一本精品99久久精品77| 国产精品自产拍在线观看55亚洲| 亚洲欧美精品综合一区二区三区| 国产麻豆成人av免费视频| 亚洲片人在线观看| 中文字幕av在线有码专区| 大型av网站在线播放| 一进一出抽搐gif免费好疼| 中出人妻视频一区二区| 哪里可以看免费的av片| 欧美精品啪啪一区二区三区| 久9热在线精品视频| 午夜福利欧美成人| 亚洲 欧美一区二区三区| 日日干狠狠操夜夜爽| 麻豆久久精品国产亚洲av| 国产精品亚洲av一区麻豆| 美女黄网站色视频| 国产午夜精品论理片| 男人的好看免费观看在线视频 | 最近最新中文字幕大全电影3| 成在线人永久免费视频| 日韩中文字幕欧美一区二区| 少妇的丰满在线观看| www.999成人在线观看| 超碰成人久久| 亚洲人成电影免费在线| 久久婷婷人人爽人人干人人爱| 色综合婷婷激情| 18禁裸乳无遮挡免费网站照片| 久久人人精品亚洲av| 久久久精品大字幕| 欧美在线一区亚洲| 成人国产一区最新在线观看| 亚洲第一电影网av| 国内毛片毛片毛片毛片毛片| 久久婷婷成人综合色麻豆| 人妻久久中文字幕网| 琪琪午夜伦伦电影理论片6080| 三级男女做爰猛烈吃奶摸视频| 老司机午夜十八禁免费视频| 美女高潮喷水抽搐中文字幕| 欧美日韩瑟瑟在线播放| 99久久国产精品久久久| 久久中文看片网| 欧美 亚洲 国产 日韩一| 别揉我奶头~嗯~啊~动态视频| 国产高清激情床上av| 欧美高清成人免费视频www| 男人的好看免费观看在线视频 | 50天的宝宝边吃奶边哭怎么回事| 精品免费久久久久久久清纯| 黄色 视频免费看| 国产精品 欧美亚洲| 黄色视频,在线免费观看| 欧美日韩黄片免| 亚洲男人的天堂狠狠| 天天添夜夜摸| 亚洲精品中文字幕在线视频| 亚洲国产精品久久男人天堂| 亚洲人成77777在线视频| 成人特级黄色片久久久久久久| 久久久久久亚洲精品国产蜜桃av| 99精品欧美一区二区三区四区| 国内精品一区二区在线观看| 午夜老司机福利片| 亚洲精品色激情综合| 久久久久国产精品人妻aⅴ院| 日本一区二区免费在线视频| 精品国产美女av久久久久小说| 亚洲自偷自拍图片 自拍| 日韩有码中文字幕| 免费电影在线观看免费观看| 欧美精品啪啪一区二区三区| 精品一区二区三区四区五区乱码| 国产成年人精品一区二区| 欧美日韩精品网址| 最新在线观看一区二区三区| 亚洲av成人av| 又紧又爽又黄一区二区| 国产v大片淫在线免费观看| 淫秽高清视频在线观看| 精品国产超薄肉色丝袜足j| www.精华液|