• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于MRMR 和雙重注意力機制的城市能源多元負荷短期預(yù)測

    2022-09-19 02:41:52白冰青劉江濤蔣傳文張沈習(xí)
    電力系統(tǒng)自動化 2022年17期
    關(guān)鍵詞:注意力神經(jīng)網(wǎng)絡(luò)負荷

    白冰青,劉江濤,王 旭,蔣傳文,江 婷,張沈習(xí)

    (1. 電力傳輸與功率變換控制教育部重點實驗室(上海交通大學(xué)),上海市 200240;2. 南京電力設(shè)計研究院有限公司,江蘇省南京市 210036)

    0 引言

    在“雙碳”目標的背景下,城市能源系統(tǒng)因其能源利用效率高和可再生能源消納比例高的優(yōu)勢,成為低碳化發(fā)展的重要方向[1-3]。為了保證城市能源系統(tǒng)的正常調(diào)度運行,需要在調(diào)度前預(yù)知系統(tǒng)內(nèi)的負荷需求情況。但不同于傳統(tǒng)的電力調(diào)度,城市能源系統(tǒng)是城市供熱、供冷、供電和滿足其他需求的能源系統(tǒng)的集合,負荷結(jié)構(gòu)多樣且復(fù)雜[4-5],包含商業(yè)、辦公、娛樂等多種建筑,人員分布不規(guī)律,空調(diào)等能源設(shè)備開關(guān)頻繁,用戶需求波動性強[6]。城市能源系統(tǒng)通過能源轉(zhuǎn)換裝置和存儲裝置實現(xiàn)能源間的聯(lián)動[7-9],能源系統(tǒng)在調(diào)度運行時需要考慮大量的非線性約束和離散變量,導(dǎo)致能源負荷彼此會受到復(fù)雜的非線性影響[10-12]。因此,城市能源系統(tǒng)負荷波動性強、耦合關(guān)系復(fù)雜,需要精準的多元負荷預(yù)測結(jié)果以保證能源系統(tǒng)的正常運行。為解決這一問題,本文提出一種基于最小冗余最大相關(guān)性(minimum redundancy maximum relevance,MRMR)方法和雙重注意力(dual-attention,DA)機制的城市能源系統(tǒng)多元負荷短期預(yù)測方法。

    現(xiàn)有的負荷預(yù)測方法可以分為統(tǒng)計方法和機器學(xué)習(xí)方法[13]。統(tǒng)計方法包括線性回歸[14]、指數(shù)平滑[15]、自回歸差分移動平均[16]等,調(diào)節(jié)參數(shù)簡單且可解釋性強;而機器學(xué)習(xí)方法包括支持向量機[17]、人工神經(jīng)網(wǎng)絡(luò)[18]、深度神經(jīng)網(wǎng)絡(luò)[19]、模糊邏輯[20]等,調(diào)節(jié)參數(shù)相對復(fù)雜,解釋性也較弱,但預(yù)測精度高于一般統(tǒng)計方法[21],是未來研究的重要方向。

    在使用機器學(xué)習(xí)進行負荷預(yù)測的過程中,需要進行特征分析并建立神經(jīng)網(wǎng)絡(luò)模型。常用的特征分析方法包括協(xié)方差法、皮爾遜系數(shù)法、最大互信息系數(shù)(maximal information coefficient,MIC)法[22]和以MIC 法為基礎(chǔ)的MRMR 方法[23]。其中,協(xié)方差法和皮爾遜系數(shù)法能夠分析序列之間的線性關(guān)系,但城市能源系統(tǒng)中的能源耦合存在大量非線性關(guān)系,用戶的用能需求也難以線性描述,更適合使用MIC法和MRMR 方法。現(xiàn)有研究將MIC 法應(yīng)用到短期電價預(yù)測[24],有效提高了特征序列的篩選效果,但城市能源系統(tǒng)中特征序列的冗余度較高,MIC 指標沒有考慮這一問題,而MRMR 方法將序列中的冗余度融入篩選指標,更適用于高冗余度的城市能源系統(tǒng)。常用的神經(jīng)網(wǎng)絡(luò)主要有小波神經(jīng)網(wǎng)絡(luò)(wavelet neural network,WNN)[25]、卷 積 神 經(jīng) 網(wǎng) 絡(luò)(convolutional neural network,CNN)[26]、循 環(huán) 神 經(jīng)網(wǎng) 絡(luò)(recurrent neural network,RNN)[27]及 其 變種—— 長 短 期 記 憶(long short-term memory,LSTM)網(wǎng)絡(luò)[28-29]。

    CNN 和LSTM 網(wǎng)絡(luò)已被應(yīng)用于城市能源負荷預(yù)測。文獻[30]使用皮爾遜系數(shù)法分析負荷與特征之間的相關(guān)性,將卷積網(wǎng)絡(luò)和支持向量回歸相結(jié)合來預(yù)測城市能源系統(tǒng)的負荷,但受限于分析方法,相關(guān)性分析階段沒有考慮輸入信息的冗余問題。文獻[31]對多能負荷進行像素重構(gòu)和特征融合,在CNN-LSTM 網(wǎng)絡(luò)的基礎(chǔ)上結(jié)合圖像識別領(lǐng)域的方法實現(xiàn)負荷預(yù)測,但特征處理工作相對復(fù)雜,且預(yù)測跨度為1 h。實際調(diào)度工作中需要更久的時間跨度,以便提前制作調(diào)度方案。在神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)上,可以添加注意力機制以提高網(wǎng)絡(luò)的性能[32]。文獻[33]采用灰色關(guān)聯(lián)度法分析多元負荷之間的耦合性,將注意力機制應(yīng)用到LSTM 網(wǎng)絡(luò)中,驗證了注意力機制的作用。文獻[34]應(yīng)用核主成分分析和模態(tài)分解將能源系統(tǒng)的負荷數(shù)據(jù)降維分解為非平穩(wěn)序列和平穩(wěn)序列,再分別采用深度雙向LSTM 網(wǎng)絡(luò)和多元線性回歸預(yù)測最終結(jié)果,預(yù)測步長仍為1 h,僅通過降維分解對負荷特征的處理也較為有限。上述研究中建立的神經(jīng)網(wǎng)絡(luò)模型均表現(xiàn)為LSTM 網(wǎng)絡(luò)或者CNN 的拼接,未將神經(jīng)網(wǎng)絡(luò)內(nèi)部結(jié)構(gòu)做出創(chuàng)新性修改以應(yīng)對城市復(fù)雜能源耦合系統(tǒng)的預(yù)測需求。因此,可以采用LSTM 網(wǎng)絡(luò)搭建序列到序列(sequence to sequence,Seq2Seq)結(jié)構(gòu),并輔以DA機制搭建適用于城市能源系統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型。其中,Seq2Seq 模型在處理文本翻譯、時序預(yù)測等問題時易于解釋、拓展性強,具有明顯優(yōu)勢[35]。該模型使用了2 個RNN,分別為編碼器和解碼器。編碼器處理輸入序列后生成語義向量,交由解碼器生成輸出序列,可以對這2 個神經(jīng)網(wǎng)絡(luò)特別設(shè)計以適用于城市能源系統(tǒng)。文獻[36]提出了DA 機制,在解碼器和編碼器階段分別加入注意力機制,以突出輸入和輸出環(huán)節(jié)中重要信息的作用,將其應(yīng)用到城市能源系統(tǒng)多元負荷預(yù)測領(lǐng)域中,可以使Seq2Seq 模型充分學(xué)習(xí)多元能源間的耦合關(guān)系。

    因此,在能源系統(tǒng)負荷波動性強和能源耦合關(guān)系復(fù)雜的背景下,為了提高多元負荷的預(yù)測精度,本文使用MRMR 方法篩選特征序列,在LSTM 網(wǎng)絡(luò)的基礎(chǔ)上,應(yīng)用Seq2Seq 模型針對性地學(xué)習(xí)城市能源序列的信息,應(yīng)用DA 機制加強神經(jīng)網(wǎng)絡(luò)的特征提取能力,在輸出階段考慮歷史數(shù)據(jù)特征和能源系統(tǒng)特征以應(yīng)對能源負荷的隨機波動,得到間隔24 h的負荷預(yù)測結(jié)果。最后,提出一種基于MRMR 方法和DA 機制的城市能源系統(tǒng)多元負荷短期預(yù)測方法。主要包含以下兩方面貢獻:

    1)針對輸入數(shù)據(jù)特征處理的問題,對不同類型的數(shù)據(jù)進行無量綱化和特征序列篩選,并對比了MIC 法和MRMR 方法的原理與篩選結(jié)果,有效降低了特征序列的冗余度。實驗結(jié)果表明,與MIC 法相比,采用MRMR 方法篩選的特征序列的預(yù)測精度明顯提高,為城市能源系統(tǒng)多元負荷特征處理提供了技術(shù)基礎(chǔ)。

    2)建立基于DA 機制的Seq2Seq 神經(jīng)網(wǎng)絡(luò),在編碼器和解碼器階段都引入注意力機制,學(xué)習(xí)城市能源負荷序列的時空特征,突出其中的關(guān)鍵信息。實驗結(jié)果表明,DA 機制提高了模型的精度和魯棒性,可以服務(wù)于城市能源系統(tǒng)多元負荷預(yù)測的神經(jīng)網(wǎng)絡(luò)構(gòu)建。

    1 輸入數(shù)據(jù)特征處理

    城市能源系統(tǒng)的結(jié)構(gòu)包括能源輸入、能源轉(zhuǎn)換和能源輸出。電和天然氣等能源進入系統(tǒng)后,在冷熱電聯(lián)供、電轉(zhuǎn)氣等系統(tǒng)內(nèi)轉(zhuǎn)化為電、熱、冷負荷,輸出給用戶。這個過程中涉及的數(shù)據(jù)繁多,需要在原始數(shù)據(jù)的基礎(chǔ)上重新調(diào)整數(shù)據(jù)格式,調(diào)整數(shù)據(jù)分布,提高數(shù)據(jù)信息密度,從而和神經(jīng)網(wǎng)絡(luò)模型匹配。因此,在進行多元負荷預(yù)測前需要進行數(shù)據(jù)預(yù)處理和特征篩選工作。

    1.1 數(shù)據(jù)修正和無量綱化

    城市能源系統(tǒng)中存儲的數(shù)據(jù)存在數(shù)據(jù)缺失和數(shù)據(jù)突變的情況,本文采用插值法保證數(shù)據(jù)的平滑性。當判斷原始數(shù)據(jù)為0 或突變時,使用前一時刻和后一時刻的數(shù)據(jù)平均值代替缺失數(shù)據(jù)。若出現(xiàn)連續(xù)數(shù)據(jù)為0 的情況,則統(tǒng)一使用前一時刻數(shù)據(jù)代替。

    式中:dt-1為前一時刻數(shù)據(jù);dt+1為后一時刻數(shù)據(jù);dt和d't分別為當前時刻t修正前和修正后的數(shù)據(jù)。

    城市能源系統(tǒng)中的數(shù)據(jù)包括能源數(shù)據(jù)和相關(guān)氣象數(shù)據(jù),都具有不同的量綱,需要進行無量綱化,使數(shù)據(jù)具有相同規(guī)格,加速神經(jīng)網(wǎng)絡(luò)的收斂。

    城市能源系統(tǒng)中,能源負荷和氣象序列的數(shù)據(jù)可以歸一化到[-0.5,0.5]區(qū)間以實現(xiàn)無量綱化,不同于常見的[0,1]區(qū)間,神經(jīng)網(wǎng)絡(luò)偏向于以0 為中心的數(shù)據(jù)輸入。因此,將歸一化區(qū)間的中心設(shè)置為0有利于神經(jīng)網(wǎng)絡(luò)的收斂。數(shù)據(jù)d的表達式為:

    式中:dmax和dmin分別為數(shù)據(jù)d的最大值和最小值。

    星期數(shù)據(jù)序列將雙休日定義為0,工作日定義為1,用以分辨雙休日的能源特征。時刻數(shù)據(jù)若使用[-0.5,0.5]區(qū)間,則區(qū)分度較低,所以將時刻數(shù)據(jù)[1,24]的區(qū)間映射到[0.25,6]區(qū)間上,以更大的區(qū)間范圍提高對時刻信息的敏感度。

    1.2 特征序列選擇

    城市能源系統(tǒng)中存在諸多類別的特征序列,包括城市能源系統(tǒng)內(nèi)各子系統(tǒng)的多元負荷、新能源出力、碳排放水平、氣象數(shù)據(jù)、日期數(shù)據(jù)等,需要計算這些特征序列和待預(yù)測負荷序列之間的相關(guān)性,選擇合適的特征序列集合作為預(yù)測模型的輸入。

    為了考慮單特征變量和目標變量之間的相關(guān)性,同時考慮線性關(guān)系和非線性關(guān)系,可以選擇MIC 法來判斷2 個序列間的相關(guān)性。

    MIC 法 由Reshef 在2011 年 提 出,可 以 有 效 檢 測2 個變量之間的線性或其他函數(shù)關(guān)系[17]。MIC 法利用互信息的概念,可表示為:

    式 中:dX和dY分 別 為 離 散 化 的dx和dy;a和b分 別為dX和dY方向上離散化的個數(shù);IMIC(x,y)為序列x和y的MIC。

    本文采用的數(shù)據(jù)集特征向量包含13 個負荷序列維度:電、熱、冷3 種能源負荷和其他能源類型在不同時間和空間下的數(shù)據(jù);2 個時間序列維度(時刻和星期數(shù)據(jù));8 個氣象維度(太陽輻射、溫度、濕度等)。對上述數(shù)據(jù)進行無量綱化后計算MIC,結(jié)果如圖1 所示。圖中,23 種特征序列每小時采集一次,共采集8 784 個點。Y1-e、Y2-h、Y3-c 分別表示待預(yù)測區(qū)域內(nèi)的電、熱、冷3 種負荷;e-24、h-24、c-24 分別表示輸入信息中同預(yù)測時段間隔24 h 的已知電、熱、冷負荷;all-e-24、all-h-24、all-c-24 分別表示城市能源系統(tǒng)總的電、熱、冷負荷;Carbon 表示碳排放水平;Combined 表示聯(lián)合機組出力;Total 表示能源負荷之和;PV 表示光伏出力;Week 表示星期數(shù)據(jù);Time 表示時刻數(shù)據(jù);DHI 表示太陽散射輻射;DNI表示太陽直接輻射;Humidity 表示濕度;Temperature 表示溫度;Dew Point 表示露點;S Albedo 表示地表反射率;Wind Speed 表示風(fēng)速;Pressure 表 示 氣 壓。Week 序 列 和S Albedo 序 列 與自身相關(guān)的MIC 分別為0.86 和0.89,這是因為計算MIC 時需要對給定dX、dY進行網(wǎng)格化,當序列為離散數(shù)據(jù)且分布非常不均勻時,同自身的MIC 很可能出現(xiàn)不為1 的現(xiàn)象,屬于正常情況,不影響結(jié)論。

    圖1 各特征序列間的MICFig.1 MIC among each characteristic sequence

    按照MIC 法從高到低選擇的特征子集如表1 所示。可以看到,所選擇的特征子集存在很多冗余信息,例如:e-24 和all-e-24 的相關(guān)性非常高(0.85),h-24 和all-h-24 的相關(guān)性為1,信息幾乎完全重復(fù),它們不應(yīng)該同時存在特征子集中;Week、Time 和Y1-e、Y1-h、Y1-c 的相關(guān)性僅為0.06、0.04 和0.06,被剔除出特征子集,但這些信息可以對時間序列進行關(guān)鍵判別,不應(yīng)該被剔除,因此,MIC 法有待改進。

    表1 采用MIC 法的特征序列選擇Table 1 Selection of characteristic sequence using MIC method

    為了降低特征序列的冗余性,本文在MIC 法的基礎(chǔ)上選擇MRMR 方法來實現(xiàn)特征選擇[18]。MRMR 方法可以對已選擇特征中相關(guān)性較高的冗余特征進行處罰。在所有的特征序列中,遞增式地選擇新的特征序列,每次都選擇局部最優(yōu)的特征。

    定義D(S,y)為所有特征和目標變量y之間的相關(guān)度,R(S)為所有特征的冗余度,其中,S為所有特征共同構(gòu)成的特征集合,即

    式中:di為第i個特征序列;m為最終選擇的特征集合中特征序列的數(shù)量;IMRMR為特征序列的MRMR值。通過求解優(yōu)化問題式(8)即可得到最終的特征子集。針對本文數(shù)據(jù)集選擇的特征子集如表2所示。

    表2 采用MRMR 方法的特征序列選擇Table 2 Selection of characteristic sequence using MRMR method

    在MRMR 方法中,重點考慮降低特征序列內(nèi)部之間的冗余性,面對不同目標變量時,特征序列和目標變量之間相關(guān)性發(fā)揮的作用較小,所以3 種負荷通過MRMR 方法篩選為同一組特征序列。所選擇的11 種特征序列包含常規(guī)數(shù)據(jù)中同負荷數(shù)據(jù)強相關(guān)的數(shù)據(jù),其中濕度、太陽輻射、溫度數(shù)據(jù)直接影響負荷需求,電、冷、熱負荷作為直接相關(guān)的負荷數(shù)據(jù),是負荷預(yù)測必備的輸入特征,碳排放出力和光伏出力反映了綜合能源系統(tǒng)內(nèi)的能源輸入和輸出信息,也是關(guān)鍵的特征信息,同時去掉了冗余的總負荷和無關(guān)的氣象信息,因此,經(jīng)過MRMR 方法篩選的結(jié)果符合正常認知,是符合負荷預(yù)測需要的篩選結(jié)果。從算例結(jié)果可以看出,采用MRMR 方法的預(yù)測效果得到了提高。

    2 預(yù)測模型的構(gòu)建

    在特征處理的基礎(chǔ)上建立多元負荷的預(yù)測模型,考慮到城市能源系統(tǒng)負荷波動性強和能源耦合關(guān)系復(fù)雜,本文使用基于LSTM 網(wǎng)絡(luò)的Seq2Seq 模型來簡化預(yù)測數(shù)據(jù)輸入格式的限制,引入DA 機制增強模型的特征提取能力,改善預(yù)測效果,以有效提高城市能源系統(tǒng)的預(yù)測精度。

    2.1 Seq2Seq-LSTM 模型

    Seq2Seq 模型由編碼器和解碼器構(gòu)成。在編碼器階段將輸入序列編碼為指定長度的向量,在解碼器階段將編碼后的向量按照神經(jīng)網(wǎng)絡(luò)訓(xùn)練得到的規(guī)則解碼,生成輸出序列。Seq2Seq 模型可以搭載多種神經(jīng)網(wǎng)絡(luò),但一般保持編碼器和解碼器中的神經(jīng)網(wǎng)絡(luò)一致。本文選擇LSTM 網(wǎng)絡(luò),這種方法適用于時間序列的處理,與注意力機制的親和度高。LSTM 網(wǎng)絡(luò)是一種特殊的RNN,用于解決RNN 在訓(xùn)練中存在的梯度爆炸或梯度消失的問題[23-24]。本文在預(yù)測模型的編碼器階段和解碼器階段分別用到了一次LSTM 網(wǎng)絡(luò),建立的Seq2Seq-LSTM 模型整體結(jié)構(gòu)如圖2 所示。

    圖2 Seq2Seq-LSTM 模型結(jié)構(gòu)Fig.2 Structure of Seq2Seq-LSTM model

    2.2 DA 機制的定義

    1)注意力機制

    注意力機制是神經(jīng)網(wǎng)絡(luò)中的常用模塊,首先應(yīng)用于機器翻譯,隨后在眾多領(lǐng)域中廣泛應(yīng)用,因其出色的數(shù)據(jù)處理能力和良好的解釋性,近年來在電力系統(tǒng)的負荷預(yù)測中也發(fā)揮了重要作用。

    注意力機制源自對人類思維模式的模擬,人類在理解事物時會自動忽略低價值的信息,而將注意力集中到價值最高的信息上。因此,在人工神經(jīng)網(wǎng)絡(luò)中模擬這一現(xiàn)象,可以避免無關(guān)信息的干擾,實現(xiàn)信息的高效利用。在一般的神經(jīng)網(wǎng)絡(luò)中,輸入資源被平均分配,而注意力機制可以根據(jù)預(yù)測對象的重要程度重新分配資源,優(yōu)化資源對應(yīng)的權(quán)重配比,如附錄A 圖A1 所示。

    2)DA 機制

    傳統(tǒng)的注意力機制能夠有效篩選提取模型內(nèi)部信息,解決一般的RNN 中存在的輸入長度、輸入順序不合理而造成收斂效率不高、信息丟失的問題,因此,在一般電力負荷的預(yù)測上具有良好的表現(xiàn)。但是在城市能源系統(tǒng)中,不同于傳統(tǒng)電力負荷只需進行單一電力負荷預(yù)測,其同時存在冷、熱、電等多種能源,不同能源之間存在復(fù)雜的耦合關(guān)系,在預(yù)測數(shù)據(jù)輸入的信息中存在很多難以直觀描述但關(guān)聯(lián)明顯的特征信息,因此需要采用DA 機制強化特征信息的提取。

    DA 機制下的編碼器和解碼器中各包含一個注意力層,可以分別從空間和時間上尋找特征表示和目標序列之間的相關(guān)性,為不同的信息賦予不同的權(quán)重,以便更準確地預(yù)測目標序列,編碼器注意力機制和解碼器注意力機制的原理分別如圖3和圖4所示。

    圖3 編碼器注意力機制Fig.3 Attention mechanism of encoder

    圖4 解碼器注意力機制Fig.4 Attention mechanism of decoder

    2.3 基于DA-Seq2Seq 的城市能源系統(tǒng)負荷預(yù)測模型

    1)編碼器階段

    在編碼器階段,引入空間注意力機制在模型輸入的每個時間步中進行特征提取,分析該時間步下所有特征向量序列中價值更高的一組,賦予其更高的權(quán)重,學(xué)習(xí)多元負荷同其他輸入特征之間空間上的依賴關(guān)系。

    2)解碼器階段

    在解碼器階段,引入時間注意力機制在模型輸入的多個時間步隱藏層狀態(tài)中進行特征提取,分析不同時間步的隱藏層狀態(tài)中價值更高的時間步,賦予其更高的權(quán)重,作為參數(shù)更新語義向量ct,并結(jié)合負荷序列的歷史數(shù)據(jù),得到最終的預(yù)測結(jié)果。

    傳統(tǒng)的Seq2Seq 模型中,對編碼器輸出的隱藏層狀態(tài)取平均值或直接僅以T時刻編碼器輸出的隱藏層狀態(tài)hen,T作為編碼器的語義向量,但這樣神經(jīng)網(wǎng)絡(luò)不能將注意力集中到關(guān)鍵部分。因此,可以通過解碼器的注意力機制,利用解碼器的隱藏層狀態(tài)hde,t-1和神經(jīng)元狀態(tài)sde,t-1對編碼器隱藏層狀態(tài)hen,t進行加權(quán)平均。

    首先,根據(jù)編碼器隱藏層狀態(tài)和解碼器的神經(jīng)元狀態(tài)、隱藏層狀態(tài)計算權(quán)重βm t:

    式中:fde(?)為解碼器階段LSTM 函數(shù)。

    3)輸出階段

    在輸出階段,傳統(tǒng)統(tǒng)計方法中一般會輸入臨近時間點的歷史負荷序列和其他特征序列的集合。因此,選擇hde,T代表[1,T]時段內(nèi)的歷史負荷特征,cT代表[1,T]時段內(nèi)的能源系統(tǒng)特征,共同輸入得到結(jié)果yT+Δt:

    式中:vy、Wy、bm、b0為待學(xué)習(xí)的參數(shù);Δt為預(yù)測負荷序列和輸入的歷史負荷序列的時間間隔,本文取24 h;f(y1,y2,…,yT,x1,x2,…,xT)表示最終結(jié)果由(y1,y2,…,yT)和(x1,x2,…,xT)決定。

    3 預(yù)測流程

    本文的預(yù)測模型流程如圖5 所示,主要分為原始數(shù)據(jù)處理、神經(jīng)網(wǎng)絡(luò)構(gòu)建和模型訓(xùn)練及預(yù)測3 個部分。其中,原始數(shù)據(jù)處理采用歸一化和MRMR 方法得到訓(xùn)練集和測試集。神經(jīng)網(wǎng)絡(luò)構(gòu)建采用本文所提的基于DA-Seq2Seq 的城市能源負荷預(yù)測模型。最后,根據(jù)所選擇的數(shù)據(jù)集和網(wǎng)絡(luò)進行模型訓(xùn)練與測試,得到最終的城市能源系統(tǒng)電、熱、冷負荷的預(yù)測結(jié)果。

    圖5 預(yù)測模型流程圖Fig.5 Flow chart of forecasting model

    4 算例分析

    4.1 實驗環(huán)境

    本文實驗均通過Python(版本3.6.10)實現(xiàn),以PyTorch(版本1.7.1)作為深度學(xué)習(xí)框架。使用的計算機配置為Intel Core i5-10210U 1.60 GHz CPU,操作系統(tǒng)為Windows 10。

    4.2 數(shù)據(jù)來源

    本文選擇的數(shù)據(jù)集為美國亞利桑那州立大學(xué)Campus Metabolism 項 目 網(wǎng) 站[37]2020 年1 月1 日 至2020 年12 月31 日的能源系統(tǒng)負荷數(shù)據(jù)和美國國家氣象局網(wǎng)站[38]的氣象數(shù)據(jù),數(shù)據(jù)集為距離亞利桑那州立大學(xué)最近的數(shù)據(jù)點同時間段的氣象序列,數(shù)據(jù)以1 h 為單位進行采樣,每天采集24 個點,共8 784 個采集點。 輸入序列分別由MIC 法和MRMR 方法選擇,序列選擇如表1 和表2 所示。

    4.3 誤差評價指標

    選用下述指標對城市能源負荷預(yù)測的整體結(jié)果和峰值結(jié)果進行評價。

    式 中:y?i為 預(yù) 測 負 荷;yi為 實 際 負 荷;IRMSE和ISMAPE分別為預(yù)測結(jié)果的絕對誤差和相對誤差;IMASE為預(yù)測結(jié)果和天真預(yù)測結(jié)果之間的誤差,其中天真預(yù)測[39]直接將前一天對應(yīng)時刻的結(jié)果作為預(yù)測時刻的結(jié)果。IMASE值越小,說明預(yù)測效果越好,當IMASE值大于1 時,說明預(yù)測效果差于天真預(yù)測。

    4.4 不同模型的預(yù)測結(jié)果

    各深度學(xué)習(xí)模型的學(xué)習(xí)率設(shè)為0.001,步長T設(shè)為10,批大小設(shè)為256,迭代次數(shù)設(shè)為200 次,隱藏層的神經(jīng)元數(shù)量為128,Seq2Seq 模型編碼器和解碼器的隱藏層神經(jīng)元數(shù)量也設(shè)為128。

    模型訓(xùn)練樣本為2020 年1 月1 日至2020 年6 月15 日的數(shù)據(jù),測試樣本為6 月16 日至6 月29 日的數(shù)據(jù)。選取作為對比的模型包括差分整合移動平均自回 歸(ARIMA)模 型、LSTM 網(wǎng) 絡(luò) 模 型、CNNLSTM 模型、Seq2Seq 模型、注意力機制-LSTM(ALSTM)模型、MRMR-注意力機制-LSTM(MR-ALSTM)模 型、MRMR-DA-Seq2Seq(MR-A-DASeq2Seq)模型等。MR-A-LSTM 模型采用MRMR方法進行特征選取,輸入序列如表2 所示,其他模型均采用MIC 法進行特征選擇,輸入序列如表1 所示。全部模型預(yù)測結(jié)果如表3 所示,其中,mmBTU 表示百萬英熱單位。圖6 展示了以LSTM 網(wǎng)絡(luò)模型和Seq2Seq 模型為基礎(chǔ)的5 種模型后7 天的預(yù)測結(jié)果曲線。

    圖6 負荷預(yù)測結(jié)果Fig.6 Result of load forecasting

    表3 不同模型的預(yù)測結(jié)果對比Table 3 Comparison of forecasting results with different models

    首先,關(guān)注電、熱、冷3 種能源負荷的MASE 按照2∶1∶1 的比例加權(quán)平均得到的wMASE 指標,可以通過對比天真預(yù)測反映預(yù)測方法的有效性。Seq2Seq 和ARIMA 模型預(yù)測結(jié)果的wMASE 指標分別為1.04 和1.70,均大于1,預(yù)測效果差于手動平移前一天負荷的天真預(yù)測方法,說明城市能源系統(tǒng)通過一般方法進行預(yù)測時難以學(xué)習(xí)到系統(tǒng)內(nèi)的耦合關(guān)系,預(yù)測難度較大。LSTM、CNN-LSTM、ALSTM、DA-Seq2Seq 模型的wMASE 指標都在0.9附近,說明在單純MIC 法的特征序列篩選下,上述負荷預(yù)測模型都不能實現(xiàn)有效預(yù)測,輸入特征的選擇對神經(jīng)網(wǎng)絡(luò)具有顯著的影響。而MR-A-LSTM和MR-DA-Seq2Seq 模型的wMASE 指標都明顯小于1,說明選擇正確的特征輸入后可以顯著提升預(yù)測效果,而MR-A-LSTM 模型的wMASE 指標相較A-LSTM 模型降低了0.13,MR-DASeq2Seq 模型的wMASE 指標相較DA-Seq2Seq 模型降低了0.37,說明MRMR 指標的特征選擇方法適用于Seq2Seq 模型,能夠使其顯著提高預(yù)測效果。

    其次,關(guān)注電、熱、冷3 種能源負荷的SMAPE按照2∶1∶1 的比例加權(quán)平均得到的wSMAPE 指標,可以反映預(yù)測模型的精度。對比所有模型可以看出,本文所提MR-DA-Seq2Seq 模型具有最好的測試效果,其平均相對誤差相比A-LSTM 模型降低了1.32%,相比Seq2Seq 模型降低了2.27%,相比MR-A-LSTM 模型降低了0.67%。說明本文所提模型可在注意力機制和Seq2Seq 模型的基礎(chǔ)上,提高城市能源多元負荷預(yù)測的精度。

    具體到每一種負荷,可以看到電負荷預(yù)測中本文模型具有最好的效果,MR-A-LSTM 模型緊隨其后,ARIMA 模型的預(yù)測效果很差,這是因為電負荷波動水平高,對輸入特征依賴程度高,ARIMA 模型只能輸入歷史電負荷數(shù)據(jù),所以預(yù)測精度最差。如圖6(a)所示,90~95 h 時段內(nèi),本文所提MR-DASeq2Seq 模型貼合實際負荷曲線效果最好,交錯在實際負荷之間,對負荷變化趨勢掌握準確。而MRA-LSTM 模型的預(yù)測波動較大,說明可以學(xué)習(xí)到負荷變化的趨勢但仍有缺陷,其他模型的預(yù)測結(jié)果都比較保守,精度不高。

    熱負荷預(yù)測中,眾多預(yù)測模型精度區(qū)別不大,本文所提模型表現(xiàn)最好。由圖6(b)中的熱負荷預(yù)測結(jié)果可以看出,這段時間內(nèi)熱負荷的相對波動性非常強,而且沒有明顯規(guī)律,但波動的絕對值很小,這是因為所選時段為夏季,綜合能源系統(tǒng)內(nèi)具有熱負荷需求的區(qū)域很少,熱負荷需求變化受到的隨機影響很多,但本文所提MR-DA-Seq2Seq 模型仍能學(xué)習(xí)到熱負荷的波動規(guī)律,提高了熱負荷預(yù)測的精度。

    冷負荷需求的規(guī)律較為明顯,整體波動性較小。 由 圖6(c)可 以 看 出,本 文 所 提MR-DASeq2Seq 模型全程貼近實際負荷,在22~30 h 時段內(nèi)距離實際負荷最近,在最后3 天內(nèi)實際冷負荷向下波動時,也很好地預(yù)測了負荷的波動趨勢,相比沒有及時發(fā)現(xiàn)負荷下降的LSTM 模型,具有更好的表現(xiàn)。

    同樣模型架構(gòu)下采用LSTM 網(wǎng)絡(luò)建立神經(jīng)網(wǎng)絡(luò)模型時,應(yīng)用注意力機制和MRMR 方法可以提升預(yù)測效果,但提升效果不夠明顯。而使用Seq2Seq模型作為基礎(chǔ)的模型中,使用DA 機制后可以降低0.36%的平均相對誤差,使用MRMR 方法后可以再降低1.84%的平均相對誤差,說明MRMR 方法和DA 機制在Seq2Seq 模型上具有比較好的應(yīng)用效果,能夠更好地提取負荷特征信息,提升預(yù)測負荷的精度。

    4.5 注意力機制在能源耦合關(guān)系上的體現(xiàn)

    模型的訓(xùn)練集為2020 年1 月1 日至2020 年6 月22 日 的 數(shù) 據(jù),測 試 集 為6 月23 日 至6 月29 日 的 數(shù)據(jù)。分別考慮如下4 種算法:

    算法1:分別輸入電、熱、冷單一能源的數(shù)據(jù),不考慮注意力機制,輸出對應(yīng)類型能源;

    算法2:分別輸入電、熱、冷單一能源的數(shù)據(jù),考慮注意力機制,輸出對應(yīng)類型能源;

    算法3:同時輸入電、熱、冷能源數(shù)據(jù)和其他相關(guān)耦合信息,不考慮注意力機制,分別輸出電、熱、冷能源數(shù)據(jù);

    算法4:同時輸入電、熱、冷能源數(shù)據(jù)和其他相關(guān)耦合信息,并考慮注意力機制,分別輸出電、熱、冷能源數(shù)據(jù),為本文采用的方法。

    4 種算法的預(yù)測結(jié)果如表4 所示。

    表4 不同算法的預(yù)測結(jié)果對比Table 4 Comparison of forecasting results with different algorithms

    從表4 可以看出,同時輸入多種能源并考慮注意力機制的算法4 效果最好。輸入單一能源數(shù)據(jù)時,考慮注意力機制帶來的提升不夠明顯,即算法2較算法1 的平均相對誤差降低了0.50%,說明當輸入信息不夠充足,難以反映城市能源系統(tǒng)的能源耦合關(guān)系時,注意力機制發(fā)揮的作用有限,模型預(yù)測的精度也不夠高。而在預(yù)測模型同時輸入多種能源時,考慮注意力機制明顯提升了精度,即算法4 的平均相對誤差相比算法3 降低了1.90%,說明當信息密度充足時,DA 機制能夠幫助神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到多種能源間的復(fù)雜耦合關(guān)系,從而提高城市能源系統(tǒng)多元負荷預(yù)測的精度。

    4.6 預(yù)測算法的魯棒性分析

    1)不同季節(jié)數(shù)據(jù)間的對比

    使用K均值聚類算法對每個季節(jié)的電、熱、冷負荷進行聚類,得到一個聚類中心。然后,計算每天負荷同聚類中心的均方根并進行從小到大排序,平均排名最低的日期是同聚類中心最相似的日期,選擇其作為典型日進行不同季節(jié)的負荷預(yù)測。

    根據(jù) 上述方法選擇2 月27 日、6 月23 日、9 月17日和11 月29 日分別作為4 個季節(jié)的典型日,該訓(xùn)練集選擇典型日前60 天,預(yù)測模型使用A-LSTM 模型和MR-DA-Seq2Seq 模型。

    不同季節(jié)的多元負荷預(yù)測結(jié)果如表5 所示,可以看到,常用的A-LSTM 模型預(yù)測精度在2%~10%波動,不能保持穩(wěn)定的預(yù)測精度,而本文所提模型在每一個季度典型日的預(yù)測誤差都能保持在3%左右,預(yù)測精度比較穩(wěn)定。因此,本文所提模型具有足夠的魯棒性應(yīng)對季節(jié)變化。

    表5 不同季節(jié)的預(yù)測結(jié)果對比Table 5 Comparison of forecasting results in different seasons

    2)氣象預(yù)測誤差的影響

    模型訓(xùn)練樣本為2020 年1 月1 日至2020 年6 月22 日的數(shù)據(jù),評價指標為SMAPE,測試樣本為6 月23 日至6 月29 日的數(shù)據(jù)。在模型訓(xùn)練完成后,調(diào)整測試數(shù)據(jù)的氣象信息,在無氣象誤差的基礎(chǔ)上,分別增加10%、20%、100%的隨機誤差,重新得到測試集結(jié)果,如表6 所示。預(yù)測模型使用A-LSTM 模型和MR-DA-Seq2Seq 模型。

    表6 氣象預(yù)測誤差的影響Table 6 Impact of meteorological forecasting errors

    城市能源系統(tǒng)中的電、熱、冷負荷都會受到氣象數(shù)據(jù)的影響,從表6 中可以看到,當氣象數(shù)據(jù)誤差為100% 時,預(yù) 測 模 型A-LSTM 和MR-DA-Seq2Seq的預(yù)測精度都有明顯的下降。但是在城市能源系統(tǒng)的生產(chǎn)實踐中,氣象數(shù)據(jù)都是預(yù)測數(shù)據(jù),預(yù)測誤差不容忽視。因此,需要預(yù)測模型在面對氣象預(yù)測誤差時具有足夠的魯棒性。

    本節(jié)分別考慮了輸出氣象數(shù)據(jù)存在0%~20%隨機誤差帶來的影響,表6 中對比A-LSTM 和MRDA-Seq2Seq 模型可以看到,在應(yīng)對氣象誤差時本文所提模型依然能夠保持良好的預(yù)測效果,平均預(yù)測誤差在“20%誤差”時僅從2.8%上升到3.0%,說明本文所提模型具有足夠的魯棒性應(yīng)對氣象的變化。

    5 結(jié)語

    針對城市能源系統(tǒng)多元負荷短期預(yù)測問題,本文提出了一種基于MRMR 方法和DA 機制的預(yù)測方法。所提方法首先對輸入序列特征進行處理,即無量綱化處理和基于MRMR 方法的特征序列選?。蝗缓?輸入DA-Seq2Seq 神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練和預(yù)測,并在實際城市能源系統(tǒng)數(shù)據(jù)集上進行了仿真實驗,得到如下結(jié)論:

    1)相比已有負荷預(yù)測方法,所提基于DA 機制的城市能源系統(tǒng)多元負荷預(yù)測方法具有更好的預(yù)測精度。常用的A-LSTM 模型的平均誤差為4.20%,而本文所提多元負荷預(yù)測技術(shù)的平均誤差僅為2.88%,有效提高了城市能源系統(tǒng)多元負荷短期預(yù)測的精度。

    2)DA 機制可以反映城市能源系統(tǒng)中的能源耦合關(guān)系,在多種能源負荷需求同時存在時,能更好地解決負荷預(yù)測問題。

    3)MRMR 的相關(guān)性分析方法能有效篩選與城市能源負荷信息相關(guān)的特征序列,同時有效降低信息的冗余度,提升A-LSTM 模型和DA-Seq2Seq 模型的城市能源系統(tǒng)多元負荷預(yù)測精度。

    4)不同季節(jié)和氣象數(shù)據(jù)精度會對負荷預(yù)測的精度造成明顯的影響,基于DA 機制的方法在不同季節(jié)和不同氣象場景下都具有很高的預(yù)測精度,驗證了本文所提方法的魯棒性。

    此外,本文所建立的基于MRMR 方法和DA 機制的城市能源多元負荷短期預(yù)測模型中可以加入多種能源的價格數(shù)據(jù)和城市能源系統(tǒng)的運行數(shù)據(jù)以提高預(yù)測精度,但受限于數(shù)據(jù)集中缺乏相關(guān)的信息,所以尚未在本文方法中考慮,在后續(xù)研究過程中可以進一步分析,以提高預(yù)測模型的精度。

    附錄見本刊網(wǎng)絡(luò)版(http://www.aeps-info.com/aeps/ch/index.aspx),掃英文摘要后二維碼可以閱讀網(wǎng)絡(luò)全文。

    猜你喜歡
    注意力神經(jīng)網(wǎng)絡(luò)負荷
    讓注意力“飛”回來
    神經(jīng)網(wǎng)絡(luò)抑制無線通信干擾探究
    電子制作(2019年19期)2019-11-23 08:42:00
    “揚眼”APP:讓注意力“變現(xiàn)”
    傳媒評論(2017年3期)2017-06-13 09:18:10
    A Beautiful Way Of Looking At Things
    防止過負荷時距離保護誤動新判據(jù)
    主動降負荷才是正經(jīng)事
    基于神經(jīng)網(wǎng)絡(luò)的拉矯機控制模型建立
    重型機械(2016年1期)2016-03-01 03:42:04
    復(fù)數(shù)神經(jīng)網(wǎng)絡(luò)在基于WiFi的室內(nèi)LBS應(yīng)用
    負荷跟蹤運行下反應(yīng)堆一回路控制系統(tǒng)仿真與驗證
    基于支持向量機回歸和RBF神經(jīng)網(wǎng)絡(luò)的PID整定
    色在线成人网| 久久久久国产一级毛片高清牌| 欧美日韩精品网址| 午夜久久久久精精品| 夜夜躁狠狠躁天天躁| netflix在线观看网站| 九九在线视频观看精品| 变态另类成人亚洲欧美熟女| 亚洲成人久久性| 五月伊人婷婷丁香| 国产精品,欧美在线| 制服丝袜大香蕉在线| 日韩高清综合在线| bbb黄色大片| 91麻豆av在线| 观看免费一级毛片| 91麻豆av在线| 淫妇啪啪啪对白视频| 国产高清三级在线| 黑人操中国人逼视频| 国产精品久久久久久久电影 | 亚洲欧美激情综合另类| 午夜两性在线视频| 久久香蕉精品热| 亚洲乱码一区二区免费版| 久久精品夜夜夜夜夜久久蜜豆| 亚洲av免费在线观看| 999久久久国产精品视频| 1000部很黄的大片| www日本黄色视频网| 97超视频在线观看视频| 亚洲av第一区精品v没综合| 嫁个100分男人电影在线观看| 热99re8久久精品国产| 又爽又黄无遮挡网站| 九色国产91popny在线| 亚洲在线自拍视频| 精品久久久久久久人妻蜜臀av| 国产午夜精品论理片| 亚洲欧美精品综合一区二区三区| 国产男靠女视频免费网站| 中文字幕人成人乱码亚洲影| 午夜免费观看网址| 男女床上黄色一级片免费看| 久久久成人免费电影| 国产一区二区在线av高清观看| 99国产精品一区二区蜜桃av| 国产亚洲精品久久久com| 国产午夜精品久久久久久| 日韩 欧美 亚洲 中文字幕| 国产爱豆传媒在线观看| 成人国产综合亚洲| 精品一区二区三区视频在线观看免费| 日韩精品青青久久久久久| 久久亚洲精品不卡| 国产私拍福利视频在线观看| 日韩三级视频一区二区三区| 久久久久久大精品| 成人午夜高清在线视频| 在线观看午夜福利视频| 国产亚洲精品久久久com| 国产视频内射| 成人18禁在线播放| 日日夜夜操网爽| 韩国av一区二区三区四区| 国产精品乱码一区二三区的特点| 国产极品精品免费视频能看的| 国产亚洲精品久久久久久毛片| 人人妻人人澡欧美一区二区| 国产精品久久久久久精品电影| 少妇裸体淫交视频免费看高清| 亚洲五月婷婷丁香| 欧美日韩亚洲国产一区二区在线观看| 一级毛片女人18水好多| 亚洲色图av天堂| 久久欧美精品欧美久久欧美| 草草在线视频免费看| 黄片小视频在线播放| 在线观看美女被高潮喷水网站 | 老司机午夜福利在线观看视频| 热99re8久久精品国产| 久久午夜亚洲精品久久| 在线观看美女被高潮喷水网站 | 校园春色视频在线观看| 三级毛片av免费| 99热这里只有是精品50| 首页视频小说图片口味搜索| 性欧美人与动物交配| 欧美日韩一级在线毛片| 在线免费观看不下载黄p国产 | 高清毛片免费观看视频网站| 亚洲欧美一区二区三区黑人| 免费看十八禁软件| 99在线视频只有这里精品首页| 国产单亲对白刺激| 色尼玛亚洲综合影院| 日韩欧美在线乱码| 国产精品98久久久久久宅男小说| 男人舔女人的私密视频| 婷婷六月久久综合丁香| 成人特级av手机在线观看| 亚洲精品久久国产高清桃花| 亚洲天堂国产精品一区在线| 精品电影一区二区在线| 亚洲精品中文字幕一二三四区| 成人亚洲精品av一区二区| 欧美不卡视频在线免费观看| 深夜精品福利| 日本撒尿小便嘘嘘汇集6| 一本综合久久免费| 色吧在线观看| 热99re8久久精品国产| 国产午夜精品论理片| www日本黄色视频网| 亚洲精华国产精华精| 制服人妻中文乱码| 国产精品98久久久久久宅男小说| 12—13女人毛片做爰片一| 国产主播在线观看一区二区| 中文字幕人成人乱码亚洲影| 国产主播在线观看一区二区| 观看美女的网站| 国产淫片久久久久久久久 | 一级a爱片免费观看的视频| 黑人巨大精品欧美一区二区mp4| 国产91精品成人一区二区三区| 久久性视频一级片| 国产亚洲精品av在线| 日韩成人在线观看一区二区三区| 搡老妇女老女人老熟妇| 久久人妻av系列| 日本黄大片高清| 欧美一区二区国产精品久久精品| 国产亚洲欧美98| 老司机深夜福利视频在线观看| 亚洲一区二区三区不卡视频| 好男人在线观看高清免费视频| 丝袜人妻中文字幕| 国产成人影院久久av| 99精品久久久久人妻精品| 在线观看日韩欧美| 精品无人区乱码1区二区| 中出人妻视频一区二区| 亚洲人成网站高清观看| 欧美激情久久久久久爽电影| 精品电影一区二区在线| 一二三四社区在线视频社区8| 日本 欧美在线| 一本精品99久久精品77| 国产高潮美女av| 亚洲av电影在线进入| 又爽又黄无遮挡网站| 一二三四在线观看免费中文在| 欧美黄色片欧美黄色片| 久久久国产成人精品二区| 成人高潮视频无遮挡免费网站| 香蕉av资源在线| 最近最新免费中文字幕在线| 午夜福利成人在线免费观看| 亚洲国产高清在线一区二区三| 一级a爱片免费观看的视频| 国产伦人伦偷精品视频| 色尼玛亚洲综合影院| 国产高潮美女av| 亚洲九九香蕉| 精品一区二区三区av网在线观看| 欧美+亚洲+日韩+国产| 亚洲欧美日韩卡通动漫| 一级毛片高清免费大全| 国产真人三级小视频在线观看| 久久久久国内视频| 搡老熟女国产l中国老女人| 亚洲美女视频黄频| 一本一本综合久久| 欧美不卡视频在线免费观看| or卡值多少钱| 99热这里只有是精品50| 国产男靠女视频免费网站| 色精品久久人妻99蜜桃| 免费在线观看日本一区| 草草在线视频免费看| 午夜精品久久久久久毛片777| 亚洲国产日韩欧美精品在线观看 | 97超视频在线观看视频| 成人三级做爰电影| 欧美一区二区精品小视频在线| 免费观看人在逋| 国产aⅴ精品一区二区三区波| 日韩免费av在线播放| 亚洲精品中文字幕一二三四区| 国产高清三级在线| 日韩 欧美 亚洲 中文字幕| 1024手机看黄色片| 国产黄片美女视频| 久久中文字幕人妻熟女| 欧美一级a爱片免费观看看| 人人妻人人澡欧美一区二区| 嫁个100分男人电影在线观看| 在线观看舔阴道视频| 欧美午夜高清在线| 99久久综合精品五月天人人| 一区二区三区高清视频在线| a级毛片在线看网站| 成人精品一区二区免费| 国产私拍福利视频在线观看| 美女高潮的动态| 中文亚洲av片在线观看爽| 色综合站精品国产| 精品一区二区三区av网在线观看| 久久亚洲精品不卡| 欧美黄色淫秽网站| 伊人久久大香线蕉亚洲五| 亚洲精品中文字幕一二三四区| 精品国产乱子伦一区二区三区| 少妇人妻一区二区三区视频| bbb黄色大片| 亚洲精品一卡2卡三卡4卡5卡| 久久久国产精品麻豆| 日本三级黄在线观看| 大型黄色视频在线免费观看| 亚洲国产精品成人综合色| 国产精品野战在线观看| 免费av毛片视频| 很黄的视频免费| 国产精品1区2区在线观看.| 亚洲精品国产精品久久久不卡| 99久久综合精品五月天人人| www.自偷自拍.com| 日本一二三区视频观看| 成人国产综合亚洲| 香蕉丝袜av| 精品国产乱子伦一区二区三区| 午夜福利欧美成人| av片东京热男人的天堂| 国产高潮美女av| 日本 欧美在线| 亚洲国产日韩欧美精品在线观看 | 欧美色视频一区免费| 熟妇人妻久久中文字幕3abv| 琪琪午夜伦伦电影理论片6080| 高清在线国产一区| 日韩 欧美 亚洲 中文字幕| 日韩有码中文字幕| 三级男女做爰猛烈吃奶摸视频| 亚洲无线在线观看| 人妻丰满熟妇av一区二区三区| 亚洲成人中文字幕在线播放| 精品一区二区三区四区五区乱码| 国产极品精品免费视频能看的| 成人午夜高清在线视频| 无限看片的www在线观看| 老汉色av国产亚洲站长工具| 亚洲欧洲精品一区二区精品久久久| 久久人人精品亚洲av| 真人一进一出gif抽搐免费| 欧美日韩瑟瑟在线播放| 少妇裸体淫交视频免费看高清| 一级毛片女人18水好多| 日韩欧美三级三区| 中文字幕最新亚洲高清| 久久婷婷人人爽人人干人人爱| 欧美黑人巨大hd| 国产视频内射| 亚洲黑人精品在线| 桃色一区二区三区在线观看| 美女被艹到高潮喷水动态| 变态另类成人亚洲欧美熟女| 国产精品,欧美在线| 后天国语完整版免费观看| 国产精品野战在线观看| 男女午夜视频在线观看| 看片在线看免费视频| 午夜福利在线在线| 午夜亚洲福利在线播放| 国产av一区在线观看免费| 久久香蕉精品热| 久久久水蜜桃国产精品网| 亚洲成a人片在线一区二区| 免费看光身美女| 一a级毛片在线观看| 给我免费播放毛片高清在线观看| 婷婷亚洲欧美| 性色av乱码一区二区三区2| 可以在线观看毛片的网站| 国产精品av视频在线免费观看| 老司机午夜十八禁免费视频| 波多野结衣高清无吗| 久久久色成人| 九九在线视频观看精品| 欧美成人一区二区免费高清观看 | 综合色av麻豆| 窝窝影院91人妻| 国产精品免费一区二区三区在线| 午夜久久久久精精品| 亚洲国产看品久久| 久久草成人影院| 两个人的视频大全免费| 国产亚洲精品久久久com| 亚洲精品一卡2卡三卡4卡5卡| 性色av乱码一区二区三区2| 中文字幕高清在线视频| 亚洲国产欧美人成| 精品国内亚洲2022精品成人| 波多野结衣高清作品| 国产精品 欧美亚洲| 久久久国产欧美日韩av| 欧美色欧美亚洲另类二区| 午夜视频精品福利| 一本久久中文字幕| 女同久久另类99精品国产91| 天天躁日日操中文字幕| 免费无遮挡裸体视频| 午夜亚洲福利在线播放| 亚洲自偷自拍图片 自拍| 国产精品自产拍在线观看55亚洲| 久久精品国产综合久久久| 日本精品一区二区三区蜜桃| 免费在线观看成人毛片| 成年女人看的毛片在线观看| 久久久久九九精品影院| 欧美日韩精品网址| 日本 欧美在线| 国产精品亚洲美女久久久| 亚洲片人在线观看| 欧美丝袜亚洲另类 | 淫秽高清视频在线观看| 美女被艹到高潮喷水动态| 欧美黄色片欧美黄色片| 淫妇啪啪啪对白视频| 免费电影在线观看免费观看| 日本在线视频免费播放| 在线永久观看黄色视频| 国产激情久久老熟女| 无遮挡黄片免费观看| 99久久国产精品久久久| 91字幕亚洲| 成人性生交大片免费视频hd| 欧美一区二区精品小视频在线| 久久久色成人| 亚洲 欧美 日韩 在线 免费| 青草久久国产| 人妻夜夜爽99麻豆av| 国产精华一区二区三区| 国产一区二区三区视频了| 天天躁日日操中文字幕| 在线观看66精品国产| 亚洲aⅴ乱码一区二区在线播放| 好看av亚洲va欧美ⅴa在| 欧美性猛交黑人性爽| 国产精品电影一区二区三区| 久久精品综合一区二区三区| 精品久久久久久久人妻蜜臀av| 亚洲熟妇熟女久久| 天堂av国产一区二区熟女人妻| 九色成人免费人妻av| 亚洲在线自拍视频| 国产黄a三级三级三级人| 淫妇啪啪啪对白视频| 欧美黑人欧美精品刺激| 99热精品在线国产| 久久香蕉国产精品| 麻豆一二三区av精品| 长腿黑丝高跟| 精品国内亚洲2022精品成人| 视频区欧美日本亚洲| 国产激情偷乱视频一区二区| 久久久精品欧美日韩精品| 亚洲国产欧美网| or卡值多少钱| 国产精品99久久久久久久久| 国产黄色小视频在线观看| 在线观看舔阴道视频| 天天添夜夜摸| 免费看光身美女| 日日干狠狠操夜夜爽| 熟妇人妻久久中文字幕3abv| cao死你这个sao货| 一个人看的www免费观看视频| 岛国在线免费视频观看| 曰老女人黄片| 久久精品91无色码中文字幕| 女同久久另类99精品国产91| 亚洲色图 男人天堂 中文字幕| 日本黄大片高清| 亚洲欧美日韩高清专用| 久久久久久人人人人人| 国内精品久久久久久久电影| 国产男靠女视频免费网站| 夜夜夜夜夜久久久久| 精品人妻1区二区| 国产亚洲欧美98| 欧美av亚洲av综合av国产av| 亚洲国产中文字幕在线视频| 国产精品久久久人人做人人爽| 精品久久久久久久久久久久久| 日韩欧美一区二区三区在线观看| 国产在线精品亚洲第一网站| 国产av不卡久久| 国产伦精品一区二区三区四那| 亚洲av日韩精品久久久久久密| 亚洲av成人一区二区三| 免费大片18禁| 欧美激情久久久久久爽电影| 这个男人来自地球电影免费观看| 老汉色∧v一级毛片| 香蕉国产在线看| 国内精品美女久久久久久| 国产淫片久久久久久久久 | 中文字幕高清在线视频| 观看美女的网站| 亚洲国产精品合色在线| 这个男人来自地球电影免费观看| 999久久久精品免费观看国产| 男人和女人高潮做爰伦理| 每晚都被弄得嗷嗷叫到高潮| 无人区码免费观看不卡| 欧美av亚洲av综合av国产av| 国产精品永久免费网站| 中文字幕人妻丝袜一区二区| 看片在线看免费视频| 最近视频中文字幕2019在线8| 成人永久免费在线观看视频| 欧美黑人巨大hd| 午夜两性在线视频| 在线观看免费午夜福利视频| 国产三级在线视频| 法律面前人人平等表现在哪些方面| 他把我摸到了高潮在线观看| 99热精品在线国产| 国产精品av久久久久免费| 两性午夜刺激爽爽歪歪视频在线观看| 91久久精品国产一区二区成人 | 国产蜜桃级精品一区二区三区| 给我免费播放毛片高清在线观看| 在线十欧美十亚洲十日本专区| 琪琪午夜伦伦电影理论片6080| 欧美大码av| 丁香欧美五月| 在线观看日韩欧美| 又紧又爽又黄一区二区| 国产成人精品无人区| 在线国产一区二区在线| 一进一出好大好爽视频| 亚洲成a人片在线一区二区| 午夜福利高清视频| 中国美女看黄片| 欧美精品啪啪一区二区三区| 噜噜噜噜噜久久久久久91| 久久久精品大字幕| 色综合站精品国产| 757午夜福利合集在线观看| 免费看十八禁软件| 午夜福利高清视频| 久久久久国产一级毛片高清牌| 久久婷婷人人爽人人干人人爱| 国产精品一区二区免费欧美| 亚洲av电影在线进入| 在线十欧美十亚洲十日本专区| 欧美xxxx黑人xx丫x性爽| 亚洲中文字幕一区二区三区有码在线看 | 午夜福利成人在线免费观看| 黄片小视频在线播放| 国产精品野战在线观看| 18禁美女被吸乳视频| 在线a可以看的网站| 麻豆国产av国片精品| av中文乱码字幕在线| 美女扒开内裤让男人捅视频| 亚洲av美国av| 日韩欧美在线乱码| 一个人观看的视频www高清免费观看 | 男女做爰动态图高潮gif福利片| 久久午夜综合久久蜜桃| 亚洲中文av在线| 成人永久免费在线观看视频| 在线观看午夜福利视频| 伊人久久大香线蕉亚洲五| 老司机午夜福利在线观看视频| 免费av毛片视频| 一级毛片精品| 欧美日韩乱码在线| 国产精品久久久久久久电影 | 午夜日韩欧美国产| av视频在线观看入口| 精品不卡国产一区二区三区| 在线观看免费午夜福利视频| 国产一区在线观看成人免费| 淫妇啪啪啪对白视频| 成在线人永久免费视频| 欧美日韩精品网址| 在线观看日韩欧美| www日本黄色视频网| 男女那种视频在线观看| 99国产综合亚洲精品| 一二三四在线观看免费中文在| 午夜精品久久久久久毛片777| 无遮挡黄片免费观看| 亚洲欧洲精品一区二区精品久久久| 国产三级黄色录像| 天天一区二区日本电影三级| 男插女下体视频免费在线播放| 日韩欧美国产一区二区入口| 亚洲avbb在线观看| 床上黄色一级片| 少妇熟女aⅴ在线视频| 毛片女人毛片| 日本五十路高清| 久久伊人香网站| 亚洲av成人av| 欧美日韩瑟瑟在线播放| 99在线视频只有这里精品首页| 色在线成人网| 日本一本二区三区精品| 香蕉丝袜av| 熟女电影av网| e午夜精品久久久久久久| 久久精品aⅴ一区二区三区四区| 人妻丰满熟妇av一区二区三区| 我要搜黄色片| 午夜福利在线观看免费完整高清在 | 午夜福利免费观看在线| 黄色日韩在线| 国产精品美女特级片免费视频播放器 | 18禁黄网站禁片午夜丰满| 国产一区在线观看成人免费| 精品国内亚洲2022精品成人| 国产成人精品久久二区二区91| 动漫黄色视频在线观看| 久久精品国产99精品国产亚洲性色| 日韩欧美三级三区| 又黄又粗又硬又大视频| 亚洲国产欧美一区二区综合| 在线观看免费视频日本深夜| 日韩精品青青久久久久久| 成人无遮挡网站| 在线十欧美十亚洲十日本专区| 午夜亚洲福利在线播放| 亚洲中文日韩欧美视频| 亚洲国产欧美人成| 国产av麻豆久久久久久久| 亚洲国产欧美人成| 成人欧美大片| 亚洲av日韩精品久久久久久密| 色综合婷婷激情| 久久中文字幕人妻熟女| 搞女人的毛片| 51午夜福利影视在线观看| 曰老女人黄片| 性色avwww在线观看| 亚洲国产高清在线一区二区三| 香蕉国产在线看| 久久久久久人人人人人| 热99re8久久精品国产| 男女午夜视频在线观看| 亚洲第一欧美日韩一区二区三区| 亚洲成人中文字幕在线播放| 亚洲国产中文字幕在线视频| 久久精品国产清高在天天线| 久久人妻av系列| 床上黄色一级片| 亚洲成av人片在线播放无| 一夜夜www| av天堂中文字幕网| 一本一本综合久久| 久久欧美精品欧美久久欧美| 欧美中文日本在线观看视频| 国产真人三级小视频在线观看| 免费在线观看日本一区| 夜夜爽天天搞| 99国产极品粉嫩在线观看| 欧美大码av| 搡老妇女老女人老熟妇| 国产精品综合久久久久久久免费| 校园春色视频在线观看| a级毛片a级免费在线| 亚洲欧美精品综合一区二区三区| xxxwww97欧美| 在线免费观看的www视频| 亚洲最大成人中文| 一进一出抽搐动态| 18禁国产床啪视频网站| 日本熟妇午夜| 国产真实乱freesex| 国产伦精品一区二区三区视频9 | 美女被艹到高潮喷水动态| 精品久久久久久久末码| 国产野战对白在线观看| 亚洲av成人精品一区久久| 亚洲精品国产精品久久久不卡| netflix在线观看网站| 国内毛片毛片毛片毛片毛片| 两性午夜刺激爽爽歪歪视频在线观看| 制服丝袜大香蕉在线| 欧美精品啪啪一区二区三区| 精品久久久久久久末码| 亚洲 欧美 日韩 在线 免费| 日韩有码中文字幕| 精品久久久久久,| 国产精品永久免费网站| 免费高清视频大片| 人人妻人人看人人澡| 国产成人精品无人区| 1000部很黄的大片| 久久草成人影院| 色吧在线观看| 久久久久久久久中文| 欧美激情在线99| 久久精品91蜜桃| 国产成人av教育| 国产真人三级小视频在线观看| 最近最新中文字幕大全电影3| 亚洲精品粉嫩美女一区| 一本综合久久免费| 欧美成人一区二区免费高清观看 | 麻豆国产av国片精品|