• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于深度強化學習的輸電網(wǎng)網(wǎng)架規(guī)劃方法

    2021-07-09 09:31:58劉帥孔亮劉自發(fā)李玉文陳逸軒
    電力建設(shè) 2021年7期
    關(guān)鍵詞:輸電網(wǎng)信息熵典型

    劉帥,孔亮,劉自發(fā),李玉文,陳逸軒

    (1. 國網(wǎng)山東省電力公司威海供電公司,山東省威海市 264200;2.華北電力大學電氣與電子工程學院,北京市 102206)

    0 引 言

    輸電網(wǎng)規(guī)劃包括對輸電網(wǎng)網(wǎng)架結(jié)構(gòu)和輸電線路容量進行規(guī)劃,目的是達到相應(yīng)時期輸電能力要求,同時滿足可靠性指標和經(jīng)濟性優(yōu)化,是電力系統(tǒng)規(guī)劃的重要組成部分,也是保障電力系統(tǒng)健康發(fā)展的重要工作。在高比例可再生能源并網(wǎng)與智能電網(wǎng)快速發(fā)展的背景下,電力系統(tǒng)不確定性進一步增加[1],不確定性問題給輸電網(wǎng)規(guī)劃帶來重大挑戰(zhàn),傳統(tǒng)的規(guī)劃方法已經(jīng)無法適用新形態(tài)下的輸電網(wǎng)規(guī)劃,需要更加完善的規(guī)劃方法來滿足電力系統(tǒng)發(fā)展的需求。

    輸電網(wǎng)規(guī)劃的傳統(tǒng)確定性方法存在一定的弊端,如無法處理規(guī)劃中的不確定因素、靈活性差、與其他方法配合較差等。考慮到電力系統(tǒng)對靈活性和適應(yīng)性的更高要求,就必須要研究新的輸電網(wǎng)規(guī)劃方法。電網(wǎng)柔性規(guī)劃將不確定因素引入規(guī)劃模型和過程中,以尋求靈活性更強、適應(yīng)性更好的規(guī)劃方案。電網(wǎng)柔性規(guī)劃的研究成果包括基于多場景技術(shù)的電網(wǎng)規(guī)劃模型和基于不確定理論的電網(wǎng)規(guī)劃模型。

    文獻[2]基于未來場景的不確定性,從場景的發(fā)生概率出發(fā),提出了造價期望最優(yōu)模型和各場景最優(yōu)方案綜合偏離程度最小模型。文獻[3]以場景分析和概率計算的方式描述不確定性因素,快速準確地得到基于決策者偏好的輸電網(wǎng)柔性規(guī)劃方案。文獻[4]采用多場景概率法分析不確定性數(shù)據(jù)并劃分出多種場景,計算場景概率并得到輸電網(wǎng)擴展規(guī)劃模型。文獻[5]采用多場景方法處理未來電網(wǎng)規(guī)劃中的不確定性因素,以各場景下最優(yōu)方案的最小期望投資悔值為目標函數(shù)并進行求解。

    基于多場景技術(shù)的電網(wǎng)規(guī)劃模型研究了不確定規(guī)劃問題的普遍解決方案,即將不確定因素轉(zhuǎn)化為多個確定性場景,計算較為簡單。但該方法也存在一定弊端。其中,基于場景發(fā)生概率的規(guī)劃方法沒有考慮場景中各種因素的關(guān)聯(lián)性,增加了場景數(shù)和計算量;基于決策偏好的場景技術(shù)憑決策者的喜好處理規(guī)劃問題,主觀色彩較強,不利于實際應(yīng)用;基于最小期望悔值的規(guī)劃方法以犧牲經(jīng)濟性來提高規(guī)劃方案的適應(yīng)性和魯棒性,電網(wǎng)規(guī)劃的結(jié)果可能產(chǎn)生大量的冗余線路。

    為獲得更為安全、經(jīng)濟的輸電網(wǎng)規(guī)劃方案,學者們將概率論、模糊集理論、可信性理論、區(qū)間理論等不確定理論引入輸電網(wǎng)規(guī)劃中,提出了考慮各類不確定因素的輸電網(wǎng)規(guī)劃模型。

    文獻[6]提出了區(qū)間負荷下的輸電網(wǎng)規(guī)劃模型,并基于改進的分支定界法給出了區(qū)間至多切負荷量的快速評估方法。文獻[7]對灰信息進行確定化處理并求解若干個確定性信息下的規(guī)劃模型,得到灰數(shù)模型下的最優(yōu)規(guī)劃方案。文獻[8]采用基于聯(lián)系數(shù)的輸電網(wǎng)規(guī)劃模型,根據(jù)聯(lián)系數(shù)四則運算得到考慮聯(lián)系數(shù)的直流潮流以獲得最優(yōu)輸電網(wǎng)規(guī)劃方案。

    綜上所述,雖然基于不確定理論的輸電網(wǎng)規(guī)劃方法已有大量成果,但仍存在一些問題:現(xiàn)有規(guī)劃方法大多是建立在某一斷面的基礎(chǔ)上,在多場景情況下存在靈活性、適應(yīng)性不足的問題;規(guī)劃模型中較少考慮不確定因素的相互耦合關(guān)系。

    深度強化學習屬于機器學習的一種,能夠自行與環(huán)境交互產(chǎn)生樣本,并用以對自身的網(wǎng)絡(luò)結(jié)構(gòu)進行訓練。該方法目前在多個領(lǐng)域有所應(yīng)用,一些學者也已經(jīng)將深度強化學習應(yīng)用于電力系統(tǒng)問題研究中。文獻[9]應(yīng)用深度策略梯度模型進行建筑能量管理調(diào)度優(yōu)化,該方法比常規(guī)方法能更有效地節(jié)省成本;文獻[10]應(yīng)用深度強化學習優(yōu)化微電網(wǎng)儲能調(diào)度。然而,目前深度學習在電力系統(tǒng)中的應(yīng)用僅限于調(diào)度問題,并不包括電力系統(tǒng)規(guī)劃問題。

    本文首先提出基于信息熵的典型場景提取方法(typical scenario set with entropy,TSSE),引入場景信息熵的概念進行典型場景提取。得到多場景集合后,再將提取到的場景輸入規(guī)劃模型,得到基于多場景的輸電網(wǎng)靈活規(guī)劃模型。接著采用深度強化學習的方法,提出一種適用于輸電網(wǎng)規(guī)劃的改進指針網(wǎng)絡(luò)模型(revised pointer network,RPN),并進一步使用深度強化學習中的Actor-Critic方法對網(wǎng)絡(luò)進行訓練。應(yīng)用改進指針網(wǎng)絡(luò)與Actor-Critic結(jié)合的方法(revised pointer network with Actor-Critic, RPNAC)對電力系統(tǒng)規(guī)劃問題進行求解,以解決傳統(tǒng)輸電網(wǎng)規(guī)劃方法靈活性、適應(yīng)性較差及運算效率較低的問題。

    1 基于多場景的輸電網(wǎng)靈活規(guī)劃模型

    首先提出基于信息熵的典型場景提取方法,引入場景信息熵的概念,提取生成包含風電、光伏、負荷的多種典型場景。得到多場景集合后,再將提取到的場景輸入規(guī)劃模型,最后得到基于多場景的輸電網(wǎng)靈活規(guī)劃模型。本文主要應(yīng)用文獻[11]提出的輸電網(wǎng)柔性約束規(guī)劃模型,在此基礎(chǔ)上實現(xiàn)基于多場景的輸電網(wǎng)靈活規(guī)劃。

    1.1 不確定性因素的定量分析

    場景法主要用于對電力系統(tǒng)內(nèi)的不確定性因素進行定量分析。通過將不確定性因素的概率分布轉(zhuǎn)化成帶權(quán)典型值組合,并對結(jié)果進行加權(quán)求和,即可得到不確定性因素的評價結(jié)果,進而生成典型場景。

    因此,得到不確定性因素的概率分布是場景提取的首要前提。分布式電源具有高度隨機性與波動性,另外受用戶側(cè)需求的影響,負荷結(jié)構(gòu)、功率不斷發(fā)生變化。因此,本文考慮的不確定性因素主要有風力發(fā)電、光伏發(fā)電以及負荷功率。

    對于風力發(fā)電,采用雙參數(shù)Weibull概率分布模型進行模擬[12];對于光伏發(fā)電,采用Beta分布進行模擬;對于負荷功率則采用正態(tài)分布進行模擬。

    1.2 基于信息熵的多場景提取方法

    信息熵的概念來源于熱力學,用以度量對象的不確定性[13]。熵的大小表征著信息含量的多少,熵值較大說明信息含量較大,熵值較小說明信息含量較小。信息熵理論已經(jīng)在很多領(lǐng)域有所應(yīng)用,包括迭代二叉樹三代(iterative dichotomiser 3, ID3)類決策樹。ID3類決策樹模型采用最大化信息熵變化量為評判依據(jù),選取盡可能將樣本分為完全不同的兩類節(jié)點進行節(jié)點分割。

    本文采取類似的思路進行典型場景提取,通過最大化場景信息熵變化量進行場景分類,再用遞歸方式將原始場景分為多個子類,對熵值較大的場景區(qū)段分配更多場景數(shù)目,對熵值較小的場景區(qū)段分配較少場景數(shù)目。取每個子類的平均值作為該類的典型場景,所有子類的場景集合即為所提取的典型場景集。該方法能在對電力系統(tǒng)運行場景有較好的表征能力的基礎(chǔ)上增加典型場景多樣性,提升規(guī)劃方案對不同場景的適應(yīng)性。

    首先,輸入待分場景功率分布密度函數(shù)作為初始根節(jié)點,并計算初始根節(jié)點信息熵,即:

    (1)

    式中:H(v0)為初始根節(jié)點信息熵;v0為初始根節(jié)點;x為功率;p(x)為x對應(yīng)的概率密度;xmax為功率最大值。

    接下來選取初始根節(jié)點的分割位置。對于某一分割位置,其分割后的信息熵為分割后形成的兩個新節(jié)點的信息熵之和:

    H(v0,x0)=H(v′0)+H(v″0)

    (2)

    (3)

    (4)

    式中:x0為任一分割位置;H(v0,x0)為初始根節(jié)點分割后的信息熵;H(v′0)為分割后形成的左子節(jié)點;H(v″0)為分割后形成的右子節(jié)點;p′(x)為左子節(jié)點的概率密度函數(shù);p″(x)為右子節(jié)點的概率密度函數(shù)。

    節(jié)點分割的選取原則是信息熵減小量最大化,即:

    ΔH=H(v0)-H(v0,x0)

    (5)

    式中:ΔH為節(jié)點分割后信息熵的減小量。能夠使得式(5)最大化的分割位置即為當前節(jié)點的最優(yōu)分割位置。

    節(jié)點分割之后,父節(jié)點所有可能的功率值也會被分成2份,因此在某一子節(jié)點中,便不會再出現(xiàn)另一子節(jié)點的功率值。每個節(jié)點保留的可能功率值的相應(yīng)概率會增加,功率概率密度函數(shù)也會發(fā)生變化。

    對初始節(jié)點分割完成并形成兩個子節(jié)點后,需要對產(chǎn)生的新子節(jié)點進行校驗,判斷節(jié)點信息熵是否小于臨界值εH。小于臨界值εH的子節(jié)點信息熵較小,稱為“葉節(jié)點”。信息熵較小代表節(jié)點內(nèi)功率分布較為一致,在單一節(jié)點內(nèi)進行功率采樣得到的功率值趨同,不會發(fā)生較大波動。因此,對于葉節(jié)點,可以取功率分布的期望作為該節(jié)點對應(yīng)的典型場景。

    未通過信息熵校驗的新節(jié)點則作為待分根節(jié)點,繼續(xù)進行節(jié)點分割,直至所有節(jié)點都成為葉節(jié)點則遞歸停止。接著計算所有葉節(jié)點對應(yīng)的典型場景,作為提取的典型場景集合輸出。每個葉節(jié)點內(nèi)部場景數(shù)量占總場景的比例作為該葉節(jié)點對應(yīng)典型場景的權(quán)重。

    另外,為了保持算法內(nèi)容名稱上的前后一致,初始節(jié)點先作為葉節(jié)點輸入,隨后才被修改為根節(jié)點。

    基于信息熵的場景提取步驟如圖1所示。

    圖1 基于信息熵的典型場景提取方法Fig.1 Typical scenarios extraction method based on information entropy

    結(jié)合前文敘述和圖1,基于信息熵的場景提取步驟可概括為:

    步驟一:輸入包含風電、光伏、負荷功率的數(shù)據(jù)集信息作為初始葉節(jié)點,并根據(jù)式(1)計算初始葉節(jié)點信息熵。

    步驟二:判斷所有節(jié)點是否均不可分割,若滿足,將所有葉節(jié)點作為典型場景輸出,并獲取該場景對應(yīng)包含的小時數(shù),計算概率;若不滿足,將不滿足的葉節(jié)點作為根節(jié)點,繼續(xù)以下步驟三。

    步驟三:根據(jù)式(5)信息熵減小量最大化原則,及式(2)—(4)對根節(jié)點進行分割,確定分割位置。

    步驟四:針對分割出的新葉節(jié)點,利用步驟二進行判斷,反復迭代,直至所有節(jié)點均滿足終止條件。

    1.3 輸電網(wǎng)網(wǎng)架柔性規(guī)劃模型

    電網(wǎng)柔性規(guī)劃方法是用于求解未來多個不確定性場景的綜合最優(yōu)方案,通過提出適應(yīng)未來環(huán)境變化的柔性規(guī)劃方案,以最小的代價彌補環(huán)境變化造成的經(jīng)濟損失[14]。將提取到的場景輸入規(guī)劃模型,得到基于多場景的輸電網(wǎng)靈活規(guī)劃模型。

    本文目標函數(shù)綜合考慮線路投資成本、發(fā)電機組運行成本、棄風懲罰成本,目標函數(shù)如下:

    minF=∑Finvest+∑Foperation+∑Fcur

    (6)

    式中:∑Finvest、∑Foperation、∑Fcur分別為輸電網(wǎng)的線路投資成本、發(fā)電機組運行成本、棄風懲罰成本。

    (7)

    ∑Foperation=

    (8)

    ∑Fcur=

    (9)

    規(guī)劃模型具有以下幾個約束條件:

    1)功率平衡約束:

    (10)

    2)線路潮流約束:

    Pn-ij=Bn-ij(θn-i-θn-j)i,j∈L

    (11)

    式中:Bn-ij為場景n中線路ij的電納;θn-i、θn-j分別為場景n中節(jié)點i、j的電壓相角。

    3)風機出力約束:

    Pwind-min≤Pwind-n(t)≤Pwind-max

    (12)

    式中:Pwind-min、Pwind-max分別為風機出力的最小值、最大值;Pwind-n(t)為場景n中的風機出力值。

    4)發(fā)電機運行約束:

    (13)

    2 基于改進指針網(wǎng)絡(luò)的規(guī)劃模型求解方法

    遺傳算法在大規(guī)模最優(yōu)化問題中,能取得最優(yōu)值或者次優(yōu)值。然而其本身存在諸多缺陷,如在處理規(guī)模較大的最優(yōu)化問題時,算法容易陷入局部最優(yōu)、收斂速度慢等。

    為解決如遺傳算法等啟發(fā)式算法存在的問題,本文在原始指針網(wǎng)絡(luò)的基礎(chǔ)上進行改進,使其能夠適用于電力系統(tǒng)網(wǎng)架規(guī)劃問題。與原始指針網(wǎng)絡(luò)應(yīng)用標簽樣本進行神經(jīng)網(wǎng)絡(luò)訓練不同,本文使用強化學習中的Actor-Critic模型進行網(wǎng)絡(luò)訓練,從而實現(xiàn)無需標簽樣本的訓練。

    2.1 基于改進指針網(wǎng)絡(luò)的規(guī)劃問題求解模型

    指針網(wǎng)絡(luò)(pointer network)是一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),能有效用于學習中低維度的組合優(yōu)化問題,并能以高準確度預測出問題的解。其結(jié)構(gòu)類似于sequence to sequence(seq2seq)[15]。指針網(wǎng)絡(luò)的原理是將輸入映射為一系列按概率指向輸入序列元素的指針,由一個編碼器(encoder)和一個解碼器(decoder)組成。編碼器的輸入為節(jié)點坐標組成的向量,解碼器的輸出則為節(jié)點坐標的某個排序。但是,該模型不能直接應(yīng)用于網(wǎng)架規(guī)劃問題中,需要進行一定的改進。因此,本文提出一種適用于網(wǎng)架規(guī)劃問題的改進指針網(wǎng)絡(luò)模型,如圖2所示。

    圖2 改進指針網(wǎng)絡(luò)模型結(jié)構(gòu)Fig.2 Structure of revised pointer network

    與原始模型使用節(jié)點坐標作為輸入不同,改進指針網(wǎng)絡(luò)模型(revised pointer network, RPN)以網(wǎng)絡(luò)的節(jié)點-支路關(guān)聯(lián)矩陣中對應(yīng)的向量作為節(jié)點輸入,在圖2中以n1、n2表示。圖2中接受輸入的白框表示編碼器與解碼器中的循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network, RNN)。RNN每次以一個新節(jié)點和上一個節(jié)點的輸出作為輸入,并給出當前節(jié)點的輸出。當所有的輸入節(jié)點順序輸入結(jié)束后,編碼器的最終輸出即為指針網(wǎng)絡(luò)對于電力系統(tǒng)網(wǎng)絡(luò)結(jié)構(gòu)信息的嵌入(embedding)。

    對于解碼器,其中的RNN每次接受上一個節(jié)點的輸出,并把上一個節(jié)點給出的預測節(jié)點作為輸入。解碼器中首節(jié)點的輸入為編碼器給出的嵌入以及用待訓練參數(shù)表示的起始節(jié)點ng。因此,解碼器中每個節(jié)點對應(yīng)的輸出便是編碼器輸入節(jié)點的概率分布,取概率最大的節(jié)點作為預測節(jié)點,在圖2中用指向編碼器的箭頭表示。此外,解碼器每次給出預測節(jié)點時,已在解碼器中出現(xiàn)過的節(jié)點不再出現(xiàn),以此保證結(jié)果的有效性。圖2中的圓圈表示不可選節(jié)點。由所有解碼器給出的節(jié)點即為RPN給出的一個解。

    由于網(wǎng)架規(guī)劃問題的解往往僅包含可建設(shè)線路中的某幾條,因此輸出向量的長度將遠小于輸入向量。針對此問題,RPN在輸入向量的尾部追加一個停止節(jié)點ns,當停止節(jié)點出現(xiàn)在輸出向量中時,便僅保留停止節(jié)點前的節(jié)點,而后續(xù)產(chǎn)生的節(jié)點無效。

    值得注意的是,RPN并不能保證單次輸出即可得到最優(yōu)解。因此,在利用訓練好的RPN網(wǎng)絡(luò)進行求解時,需要將輸入向量隨機排序,重復輸入到網(wǎng)絡(luò)中,獲得多個輸出,并在輸出集合中進行搜索,得分最高者即作為最優(yōu)解輸出。

    2.2 基于Actor-Critic的網(wǎng)絡(luò)訓練方法

    神經(jīng)網(wǎng)絡(luò)通常使用監(jiān)督學習的方法進行訓練,但對于包括網(wǎng)架規(guī)劃在內(nèi)的組合優(yōu)化問題和復雜的現(xiàn)實場景,很難在線獲得大量訓練數(shù)據(jù),且獲得足夠數(shù)量的高質(zhì)量標簽數(shù)據(jù)代價高昂,導致求解結(jié)果出現(xiàn)局部最優(yōu)解等問題。

    因此,本文采用強化學習中的Actor-Critic方法訓練RPN。這類算法雖然利用值函數(shù)評估策略,但是又不純粹依賴值函數(shù)求解最優(yōu)策略,而是利用值函數(shù)信息指導策略的搜索。通過自行與環(huán)境進行交互來獲得訓練樣本,無需事先給定大量訓練數(shù)據(jù),因此適用于網(wǎng)架規(guī)劃問題。

    RPN的損失函數(shù)定義為:

    J(θ)=Eπ-pθL(π)

    (14)

    式中:θ為神經(jīng)網(wǎng)絡(luò)參數(shù);J(θ)為神經(jīng)網(wǎng)絡(luò)損失函數(shù);pθ為參數(shù)θ對應(yīng)的RPN的決策策略概率分布;π為根據(jù)策略概率分布做出的決策;L(π)為當前決策的目標函數(shù)值,由式(6)給出。

    根據(jù)Actor-Critic算法,損失函數(shù)的梯度定義為:

    ?θJ(θ)=Eπ-pθ[(L(π)-b)?θlogpθ(π)]

    (15)

    式中:b為梯度的基準線方程(baseline function);pθ(π)為當前θ對應(yīng)決策概率分布下決策π的概率。

    通過蒙特卡洛采樣對式(14)進行逼近,可得損失函數(shù)的梯度:

    (16)

    式中:B為蒙特卡洛采樣的次數(shù);k為B次采樣中的第k次采樣;πk為B次采樣中第k次采樣時根據(jù)策略概率分布做出的決策。

    對于基準線方程,文獻[15]中在指針網(wǎng)絡(luò)之外為Actor-Critic單獨建立網(wǎng)絡(luò)進行計算,但這種方法具有較差的穩(wěn)定性,在實際計算中可能會導致網(wǎng)絡(luò)訓練無法收斂。因此,本文采用指數(shù)移動平均作為基準線方程。指數(shù)移動平均相比簡單移動平均,更注重近期內(nèi)的數(shù)據(jù),且數(shù)據(jù)的權(quán)重會隨著時間按照指數(shù)規(guī)律下降[16]?;鶞示€方程的形式為:

    (17)

    神經(jīng)網(wǎng)絡(luò)參數(shù)更新選用隨機梯度下降方式進行計算。先計算出損失函數(shù)的梯度,然后按梯度的方向,通過對權(quán)值的不斷更新調(diào)整,使函數(shù)損失值達到最小,從而獲得最優(yōu)解。該方法每次隨機選擇一個樣本來迭代更新一次,而不是針對所有樣本,因而該方法顯著提升了計算效率。

    3 算例分析

    本節(jié)首先針對系統(tǒng)中的3種不確定性因素(風力發(fā)電功率、光伏發(fā)電功率、負荷功率)進行典型場景提取并與原分布進行對比。然后在IEEE Garver-6系統(tǒng)上進行輸電網(wǎng)規(guī)劃,通過與粒子群優(yōu)化算法(particle swarm optimization, PSO)算法的對比,證明RPNAC在輸電網(wǎng)規(guī)劃方面的科學性和優(yōu)勢。

    3.1 典型場景集表征效果驗證

    為了驗證本文提出的基于信息熵的典型場景集構(gòu)建方法(typical scenario set with entropy, TSSE)的有效性,選用拉丁超立方抽樣(Latin hypercube sampling, LHS)[17]、蒙特卡洛抽樣(Monte Carlo, MC)[18]、基于推土機距離的場景提取方法(generation algorithm of typical scenario set, GATSS)[19]進行對比,針對系統(tǒng)中3種不確定因素進行典型場景提取。為衡量對原始場景的表征程度,從原始場景中進行抽樣得到規(guī)模為106的場景集合Y,計算Y與各種方法提取的規(guī)模為102的典型場景集W之間的距離T,并進行對比。計算公式為:

    (18)

    式中:u、w為單個場景;d為絕對值距離;ui、wj分別為各單個場景u、w中的i和j節(jié)點。計算結(jié)果如表1所示。

    表1 不同方法提取結(jié)果對原場景逼近能力比較Table 1 Comparison of different methods with respect to approximating the original scenarios

    由表1中結(jié)果可得,MC、GATSS、TSEE三者提取的典型場景集對原始場景的逼近能力相近,均優(yōu)于LHS。MC、GATSS、TSEE三者關(guān)于負荷功率提取的典型場景逼近效果優(yōu)于風電與光伏功率。這是由于負荷功率采用高斯分布進行逼近,其概率分布偏度為0,具有較強的對稱性,且分布曲線整體較為平坦,而風電與光伏分別采用Weibull分布與Beta分布,具有較強的不對稱性。

    在保證表征效果的基礎(chǔ)上,應(yīng)使典型場景集有盡可能多樣化的典型場景,保證規(guī)劃方案在更多場景下滿足安全性校驗,從而提升規(guī)劃方案的魯棒性。本文選用方差來衡量典型場景集的多樣性,計算中忽略典型場景權(quán)重的影響,計算結(jié)果如表2所示。

    表2 不同方法提取結(jié)果場景多樣性比較Table 2 Comparison of different methods with respect to scenario diversity

    MC是對概率分布整體的隨機抽樣,因此其提取的典型場景集方差與概率分布方差相近。LHS在MC的基礎(chǔ)上對概率分布進行均勻分層抽樣,因此可以保證覆蓋至概率密度較小的區(qū)域,有較大的場景多樣性,但對原始分布的表征性能較差。GATSS類似于逆變換采樣,本質(zhì)上是根據(jù)概率進行等間隔采樣,因此其場景多樣性與MC相近。TSEE提取結(jié)果方差與LHS提取結(jié)果相近,且相比于MC和GATSS,對場景的覆蓋能力更強。結(jié)果表明,在保證對原始場景分布逼近效果的基礎(chǔ)上,TSEE根據(jù)信息熵來分配采樣點,能夠在概率密度變化較大的區(qū)域增加采樣頻率,保證了提取結(jié)果的多樣性。

    3.2 應(yīng)用RPNAC進行輸電網(wǎng)規(guī)劃

    為了驗證提出的RPNAC方法對于解決輸電網(wǎng)網(wǎng)架規(guī)劃問題的實用性,本文選用IEEE Garver-6系統(tǒng)進行計算分析驗證。

    風電場中切入風速、切出風速、額定風速分別為4.0、20.0、11.1 m/s。圖3為IEEE Garver-6系統(tǒng)的網(wǎng)絡(luò)結(jié)構(gòu)。圖3中,實線代表已有的輸電線路,虛線代表備選線路。系統(tǒng)包含11臺發(fā)電機、5個負荷、6條輸電線路。計算標幺值時,功率基準為100 MW,線路長度造價為50萬元/km。

    圖3 IEEE Garver-6系統(tǒng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Network structure of the Garver-6 system

    為了驗證RPNAC在不同場景下都具有良好的求解能力和靈活性,結(jié)合3.1節(jié)中提取出的場景,分別采用RPNAC和PSO對3個典型場景的輸電網(wǎng)規(guī)劃問題進行求解,結(jié)果如表3所示。

    表3 典型場景規(guī)劃結(jié)果對比Table 3 Comparison of planning results of typical scenarios

    通過對比兩種方法對不同典型場景下的輸電系統(tǒng)規(guī)劃的結(jié)果可以看出,在絕大多數(shù)場景下,本文提出的RPNAC方法都具較為優(yōu)秀的求解能力。

    使用算法進行求解前,需要對模型進行訓練。在訓練數(shù)據(jù)集上進行大量訓練,便可以利用事先學習的成果進行下一步求解,避免從零開始。模型訓練階段,抽取10個與測試集不同的規(guī)劃問題作為訓練集進行訓練,以增強模型的泛化性能。訓練的每一步迭代需從10個問題中隨機選取一個問題進行訓練,以保證訓練樣本的獨立同分布假設(shè),防止樣本之間的關(guān)聯(lián)性影響模型的效果。

    通過與PSO的求解結(jié)果進行對比,可以驗證RPNAC在參數(shù)變化情況下對輸電網(wǎng)規(guī)劃問題的求解能力。通過抽樣方法可得到基于原問題的測試集。對原問題所有節(jié)點橫、縱坐標分別增加一個擾動ξ,ξ符合[-0.1,0.1]的均勻分布,保持容量等其他條件不變,通過對ξ進行抽樣,以此得到10個參數(shù)不同的規(guī)劃問題,它們組成測試集。接著采用本文提出的RPNAC和PSO對測試集中的10個問題進行求解,以便對二者進行比較。二者在測試集上的表現(xiàn)如表4所示。

    表4 PSO與RPNAC測試集規(guī)劃結(jié)果Table 4 Comparison of PSO and RPNAC based on test set

    對于IEEE Garver-6系統(tǒng),大部分情況下,PSO與RPNAC得分均為1.0。因此,測試集結(jié)果說明,對于IEEE Garver-6系統(tǒng)規(guī)劃問題,在大部分情況下,PSO與RPNAC均可求得最優(yōu)解。

    根據(jù)表4可知,10次試驗中,僅有第2次試驗時,采用PSO與RPNAC進行規(guī)劃的結(jié)果不同。首先對除第2次試驗之外的其他試驗進行簡要說明。規(guī)劃結(jié)果表明,雖然第4—10次試驗中PSO與RPNAC求解結(jié)果相同,但所得結(jié)果的綜合評價均低于第1—3次試驗,不具有現(xiàn)實意義和實用價值,因此不再贅述。接著下面對對試驗2中RPNAC不能求得最優(yōu)解的情況進行分析。

    圖4為表4中的輸電網(wǎng)規(guī)劃問題的部分規(guī)劃結(jié)果。試驗2中,PSO得分高于RPNAC,故同時畫出了RPNAC與PSO的規(guī)劃結(jié)果,如圖4中(b)、(c)所示。而其他試驗中,RPNAC與PSO規(guī)劃結(jié)果相同且同為最優(yōu),故無需重復畫出,如圖4中(a)、(d)所示。

    圖4 測試集問題規(guī)劃結(jié)果Fig.4 Some of the results of the planning problems

    表5為RPNAC和PSO對Garver-6系統(tǒng)規(guī)劃結(jié)果對比。試驗2中,采用PSO與RPNAC進行規(guī)劃的結(jié)果不同,故分別展示了RPNAC與PSO的規(guī)劃結(jié)果。其他試驗中,RPNAC與PSO規(guī)劃結(jié)果相同,未重復展示。表6為試驗2結(jié)果評價指標數(shù)據(jù)。

    表5 RPNAC和PSO對Garver-6系統(tǒng)規(guī)劃結(jié)果對比Table 5 Comparison of planning results of Garver-6 system between RPNAC and PSO

    表6 試驗2結(jié)果評價指標數(shù)據(jù)Table 6 Data of evaluation indices of experiment 2

    如圖4中(a)、(d)所示,對于一般情況,RPNAC可以輸出正確的最優(yōu)規(guī)劃結(jié)果,即當節(jié)點位置變動情況較小時,RPNAC可以準確得到全局最優(yōu)解。

    如表5所示,試驗2中,由RPNAC產(chǎn)生的規(guī)劃結(jié)果比由PSO產(chǎn)生的規(guī)劃結(jié)果在節(jié)點2-6增加了一條線路,可在圖4中(b)、(c)更直觀看到,此方案安全性最好,但線路投資相對較多,欠缺經(jīng)濟性,故該方案不予采用。此時通過PSO得出的規(guī)劃結(jié)果明顯優(yōu)于RPNAC。但這種情況并沒有出現(xiàn)在訓練集中,RPNAC網(wǎng)絡(luò)并沒有針對該情況得到訓練。由此可知,當測試集中出現(xiàn)與訓練集差距較大的特殊情況時,RPNAC就無法輸出最優(yōu)的規(guī)劃結(jié)果。這類問題可以通過增加訓練時長和增加訓練集規(guī)模來解決。

    根據(jù)表6可知,在靈活性方面,試驗2中,相比PSO得出的規(guī)劃結(jié)果,RPNAC得出的結(jié)果具有較好的可擴展性。當規(guī)劃條件發(fā)生不可預見變化時,該系統(tǒng)能更快進行調(diào)整,并且更好應(yīng)對供需兩側(cè)響應(yīng)系統(tǒng)的不確定性變化,因此相比傳統(tǒng)的PSO,RPNAC提高了規(guī)劃模型的靈活性。

    在計算速度方面,RPNAC顯著優(yōu)于PSO。這是由于RPNAC在訓練完成后,對于任意一個問題,輸出預測結(jié)果只需要根據(jù)訓練好的網(wǎng)絡(luò)進行幾次前向傳播計算并搜索最優(yōu)值即可得到結(jié)果,往往只需要不到1 s的時間。而當邊界條件發(fā)生變化時,PSO需要重新進行計算,無法利用歷史計算結(jié)果。

    因此,對于規(guī)劃精度要求不高、對計算速度要求較高的問題,可以利用RPNAC進行計算。對于規(guī)劃精度要求較高的問題,可以利用增加訓練時長及訓練集規(guī)模的方法提升RPNAC的規(guī)劃精度。

    4 結(jié) 論

    首先提出基于信息熵的典型場景提取方法,結(jié)合風電、光伏、負荷這3個不確定性因素的數(shù)學模擬結(jié)果,引入場景信息熵的概念進行典型場景提取。再將提取到的多場景輸入規(guī)劃模型,最后得到基于多場景的輸電網(wǎng)靈活規(guī)劃模型。

    接著采用深度強化學習的方法,在原始指針網(wǎng)絡(luò)的基礎(chǔ)上進行改進,提出一種適用于輸電網(wǎng)規(guī)劃的改進指針網(wǎng)絡(luò)模型,并采用深度強化學習中的Actor-Critic方法對網(wǎng)絡(luò)進行訓練,然后應(yīng)用RPNAC對輸電網(wǎng)規(guī)劃問題進行求解。

    本文選用IEEE Garver-6系統(tǒng)進行分析驗證。算例證明,本文的場景提取方法可以在保證場景表征效果的基礎(chǔ)上增加場景的多樣性,從而增加規(guī)劃方案對場景的適應(yīng)性。在此基礎(chǔ)上的規(guī)劃模型可以用RPNAC進行求解,該方法能夠在保證相當程度求解精度的基礎(chǔ)上,相比傳統(tǒng)方法極大地提升了運算效率,提高了規(guī)劃模型的靈活性、適應(yīng)性。

    猜你喜歡
    輸電網(wǎng)信息熵典型
    用最典型的事寫最有特點的人
    基于信息熵可信度的測試點選擇方法研究
    多項式求值題的典型解法
    典型胰島素瘤1例報道
    基于信息熵的實驗教學量化研究
    電子測試(2017年12期)2017-12-18 06:35:48
    一種基于信息熵的雷達動態(tài)自適應(yīng)選擇跟蹤方法
    雷達學報(2017年6期)2017-03-26 07:52:58
    計及多重不確定因素的輸電網(wǎng)隨機潮流計算
    含光伏電站的輸電網(wǎng)不對稱故障分析方法
    電測與儀表(2016年4期)2016-04-11 09:44:34
    基于信息熵的IITFN多屬性決策方法
    基于差分和聲搜索算法的輸電網(wǎng)差異化規(guī)劃
    亚洲国产精品国产精品| 国产精品人妻久久久影院| 秋霞在线观看毛片| 丝袜美腿诱惑在线| 悠悠久久av| 亚洲综合色网址| 日韩 欧美 亚洲 中文字幕| 久久性视频一级片| 久久精品国产a三级三级三级| 色视频在线一区二区三区| 精品国产乱码久久久久久男人| 欧美日韩黄片免| 国产精品久久久久久人妻精品电影 | 亚洲欧洲国产日韩| 欧美av亚洲av综合av国产av| 久久精品久久精品一区二区三区| 美女大奶头黄色视频| 亚洲av在线观看美女高潮| 永久免费av网站大全| 一级a爱视频在线免费观看| 国产精品偷伦视频观看了| 久久精品国产综合久久久| 男女无遮挡免费网站观看| 18在线观看网站| 人人妻,人人澡人人爽秒播 | 欧美另类一区| 视频在线观看一区二区三区| 在线观看人妻少妇| av不卡在线播放| 一级毛片女人18水好多 | 亚洲三区欧美一区| 人人妻人人澡人人看| 成年动漫av网址| 777米奇影视久久| 天天躁夜夜躁狠狠躁躁| 18禁黄网站禁片午夜丰满| 女人高潮潮喷娇喘18禁视频| 国产亚洲午夜精品一区二区久久| 国产有黄有色有爽视频| 亚洲精品在线美女| 日韩中文字幕视频在线看片| 成人亚洲精品一区在线观看| 国产一级毛片在线| av片东京热男人的天堂| 亚洲精品一二三| 9191精品国产免费久久| 满18在线观看网站| 9热在线视频观看99| 亚洲国产av影院在线观看| 97精品久久久久久久久久精品| 亚洲成国产人片在线观看| 男女免费视频国产| 免费人妻精品一区二区三区视频| 青春草亚洲视频在线观看| 人成视频在线观看免费观看| av视频免费观看在线观看| 欧美精品av麻豆av| 久久久亚洲精品成人影院| 午夜福利影视在线免费观看| 亚洲,欧美,日韩| 在现免费观看毛片| 免费在线观看黄色视频的| 午夜福利乱码中文字幕| 欧美乱码精品一区二区三区| 亚洲av男天堂| 午夜福利在线免费观看网站| 亚洲av片天天在线观看| 亚洲欧美精品自产自拍| 国产精品一二三区在线看| 色综合欧美亚洲国产小说| 久久人妻福利社区极品人妻图片 | 国产1区2区3区精品| 久久久久久久久久久久大奶| 国产高清视频在线播放一区 | 国产爽快片一区二区三区| 一边亲一边摸免费视频| 欧美激情极品国产一区二区三区| av国产久精品久网站免费入址| 又大又黄又爽视频免费| 欧美性长视频在线观看| 中文字幕另类日韩欧美亚洲嫩草| 真人做人爱边吃奶动态| 欧美日韩福利视频一区二区| 国产精品久久久久久精品古装| 可以免费在线观看a视频的电影网站| 18禁国产床啪视频网站| 夜夜骑夜夜射夜夜干| 亚洲成色77777| 欧美国产精品va在线观看不卡| 欧美精品一区二区免费开放| 丝袜喷水一区| 精品卡一卡二卡四卡免费| 99热国产这里只有精品6| 亚洲中文字幕日韩| 成年女人毛片免费观看观看9 | 国产成人精品久久久久久| a级毛片黄视频| 亚洲欧美成人综合另类久久久| 国产免费现黄频在线看| 热99国产精品久久久久久7| 最近最新中文字幕大全免费视频 | 久久精品久久精品一区二区三区| 亚洲av日韩精品久久久久久密 | 老汉色∧v一级毛片| kizo精华| 永久免费av网站大全| 国产精品国产三级专区第一集| 99久久精品国产亚洲精品| 色综合欧美亚洲国产小说| 黄色a级毛片大全视频| 欧美国产精品va在线观看不卡| 欧美成人精品欧美一级黄| 久久天堂一区二区三区四区| a级毛片在线看网站| 天天添夜夜摸| 午夜老司机福利片| 亚洲国产欧美网| 久久久久久久大尺度免费视频| 尾随美女入室| 日本av免费视频播放| 18禁裸乳无遮挡动漫免费视频| 国产成人精品久久二区二区免费| 亚洲 国产 在线| 捣出白浆h1v1| 婷婷色综合大香蕉| 久久综合国产亚洲精品| 国产无遮挡羞羞视频在线观看| 亚洲国产看品久久| 欧美精品一区二区大全| 男女边吃奶边做爰视频| 久热爱精品视频在线9| 精品国产一区二区三区四区第35| 肉色欧美久久久久久久蜜桃| 精品久久蜜臀av无| 9191精品国产免费久久| 免费黄频网站在线观看国产| 51午夜福利影视在线观看| 一本色道久久久久久精品综合| 99久久99久久久精品蜜桃| 校园人妻丝袜中文字幕| a级毛片黄视频| 欧美精品高潮呻吟av久久| 亚洲av电影在线进入| 午夜老司机福利片| 中文字幕精品免费在线观看视频| 波多野结衣av一区二区av| 国产av精品麻豆| 国产精品秋霞免费鲁丝片| 亚洲欧洲精品一区二区精品久久久| 午夜激情av网站| 国产xxxxx性猛交| 日本a在线网址| 大片电影免费在线观看免费| 亚洲精品一卡2卡三卡4卡5卡 | 久久天堂一区二区三区四区| 伊人亚洲综合成人网| 美女扒开内裤让男人捅视频| 一级a爱视频在线免费观看| 午夜免费观看性视频| 欧美精品人与动牲交sv欧美| 可以免费在线观看a视频的电影网站| 婷婷色综合www| 精品亚洲成国产av| 大型av网站在线播放| 国产精品欧美亚洲77777| 亚洲国产精品成人久久小说| 欧美变态另类bdsm刘玥| 久久九九热精品免费| 青青草视频在线视频观看| 久久久久久免费高清国产稀缺| 国产成人一区二区在线| 精品国产乱码久久久久久小说| 久久 成人 亚洲| 亚洲图色成人| 性色av乱码一区二区三区2| 久久久久视频综合| 欧美精品亚洲一区二区| 国产伦理片在线播放av一区| 美女主播在线视频| 夜夜骑夜夜射夜夜干| 国产免费又黄又爽又色| 久久精品成人免费网站| 黄色怎么调成土黄色| 中文字幕亚洲精品专区| 欧美日韩综合久久久久久| 日韩大片免费观看网站| 狂野欧美激情性bbbbbb| 久久久久精品人妻al黑| 国产一区二区在线观看av| 国语对白做爰xxxⅹ性视频网站| 久久久国产欧美日韩av| 亚洲国产欧美一区二区综合| 久久久久久久久免费视频了| 亚洲图色成人| 久热爱精品视频在线9| 性色av乱码一区二区三区2| 啦啦啦在线观看免费高清www| 飞空精品影院首页| 亚洲欧美成人综合另类久久久| 久久亚洲精品不卡| 黄色怎么调成土黄色| 日韩一本色道免费dvd| 欧美成人午夜精品| 国产精品一国产av| 激情五月婷婷亚洲| 欧美成人精品欧美一级黄| 黑丝袜美女国产一区| 又粗又硬又长又爽又黄的视频| 欧美日韩精品网址| 看免费成人av毛片| 成人国产av品久久久| 人人妻人人澡人人看| 午夜福利影视在线免费观看| 另类亚洲欧美激情| 精品国产乱码久久久久久小说| 欧美乱码精品一区二区三区| 人妻 亚洲 视频| 大话2 男鬼变身卡| 在线观看人妻少妇| 精品国产一区二区三区久久久樱花| 亚洲欧美一区二区三区久久| 国产成人精品久久二区二区91| av视频免费观看在线观看| 狂野欧美激情性xxxx| 九色亚洲精品在线播放| 嫁个100分男人电影在线观看 | www.自偷自拍.com| 久久影院123| 亚洲人成77777在线视频| 亚洲欧美日韩另类电影网站| 黄色片一级片一级黄色片| 精品人妻一区二区三区麻豆| 夫妻性生交免费视频一级片| 国产精品三级大全| 亚洲精品中文字幕在线视频| 午夜福利在线免费观看网站| 国产精品成人在线| 国产免费一区二区三区四区乱码| 久久亚洲精品不卡| 黄色片一级片一级黄色片| 热99国产精品久久久久久7| 午夜免费男女啪啪视频观看| 电影成人av| 精品一区二区三区av网在线观看 | 啦啦啦在线免费观看视频4| 国产在线一区二区三区精| 永久免费av网站大全| 日本av手机在线免费观看| 18禁观看日本| 亚洲av欧美aⅴ国产| 国产视频首页在线观看| 国产黄色视频一区二区在线观看| 在线精品无人区一区二区三| av又黄又爽大尺度在线免费看| 日韩一区二区三区影片| 精品国产一区二区三区久久久樱花| 男女国产视频网站| 亚洲精品一区蜜桃| 亚洲精品久久久久久婷婷小说| 久久国产亚洲av麻豆专区| 午夜福利乱码中文字幕| 亚洲欧洲国产日韩| 亚洲欧美激情在线| 欧美在线一区亚洲| 亚洲国产最新在线播放| 看免费成人av毛片| 人人澡人人妻人| 欧美在线黄色| 99久久精品国产亚洲精品| 精品国产超薄肉色丝袜足j| 免费观看人在逋| 人人妻人人添人人爽欧美一区卜| 80岁老熟妇乱子伦牲交| 成年女人毛片免费观看观看9 | 久久精品亚洲av国产电影网| 男人爽女人下面视频在线观看| 五月开心婷婷网| 制服人妻中文乱码| 80岁老熟妇乱子伦牲交| 国产亚洲欧美精品永久| 91成人精品电影| 97人妻天天添夜夜摸| 国产精品一区二区在线观看99| 国产精品一区二区免费欧美 | 国产女主播在线喷水免费视频网站| 国产99久久九九免费精品| 亚洲精品久久成人aⅴ小说| 99热网站在线观看| 午夜精品国产一区二区电影| 中文欧美无线码| 老司机亚洲免费影院| 国产一区二区激情短视频 | 欧美成人午夜精品| 一级,二级,三级黄色视频| 欧美乱码精品一区二区三区| 亚洲av电影在线进入| 色视频在线一区二区三区| 日韩精品免费视频一区二区三区| 爱豆传媒免费全集在线观看| 亚洲国产欧美网| 一级a爱视频在线免费观看| 亚洲av男天堂| 性少妇av在线| 亚洲欧美成人综合另类久久久| 中文字幕色久视频| 少妇猛男粗大的猛烈进出视频| 亚洲国产精品成人久久小说| 成年av动漫网址| 久久亚洲国产成人精品v| 少妇裸体淫交视频免费看高清 | 中文精品一卡2卡3卡4更新| 国产爽快片一区二区三区| 只有这里有精品99| 侵犯人妻中文字幕一二三四区| 日本a在线网址| 看免费av毛片| 天天影视国产精品| 亚洲av成人精品一二三区| 亚洲精品在线美女| 又大又爽又粗| 水蜜桃什么品种好| 大陆偷拍与自拍| 久久久国产一区二区| 男人舔女人的私密视频| 免费看十八禁软件| netflix在线观看网站| 少妇被粗大的猛进出69影院| 亚洲国产中文字幕在线视频| 中文字幕人成人乱码亚洲影| www国产在线视频色| 亚洲精品在线观看二区| 亚洲人成伊人成综合网2020| 精品电影一区二区在线| 中文字幕人妻熟女乱码| 丝袜在线中文字幕| 久久午夜亚洲精品久久| 亚洲精品在线美女| 欧美成狂野欧美在线观看| 日本成人三级电影网站| 99riav亚洲国产免费| 岛国在线观看网站| а√天堂www在线а√下载| 亚洲午夜理论影院| av在线天堂中文字幕| 久久久久久久久中文| 欧美激情极品国产一区二区三区| 一级毛片女人18水好多| 久久精品影院6| 91老司机精品| 美女高潮喷水抽搐中文字幕| 夜夜躁狠狠躁天天躁| 1024香蕉在线观看| 黄片播放在线免费| 国产精品二区激情视频| 成人一区二区视频在线观看| 日韩三级视频一区二区三区| 中文字幕高清在线视频| a级毛片a级免费在线| 中文字幕高清在线视频| 俄罗斯特黄特色一大片| 国产精品亚洲美女久久久| 国产精品精品国产色婷婷| 看片在线看免费视频| 99在线人妻在线中文字幕| 中文在线观看免费www的网站 | www.www免费av| 久久国产精品影院| 一本久久中文字幕| 欧美日韩黄片免| 男人的好看免费观看在线视频 | 99精品欧美一区二区三区四区| 一本精品99久久精品77| 在线免费观看的www视频| 久久人妻av系列| 99热只有精品国产| 精品国产乱子伦一区二区三区| 亚洲精品美女久久久久99蜜臀| 男男h啪啪无遮挡| www.999成人在线观看| 男女那种视频在线观看| 男女床上黄色一级片免费看| 夜夜躁狠狠躁天天躁| 亚洲久久久国产精品| 日韩大尺度精品在线看网址| 19禁男女啪啪无遮挡网站| 中文字幕av电影在线播放| 国产亚洲欧美在线一区二区| 真人做人爱边吃奶动态| 精品久久久久久久毛片微露脸| 99久久99久久久精品蜜桃| 黄色视频,在线免费观看| av电影中文网址| 国产精品av久久久久免费| 亚洲国产日韩欧美精品在线观看 | 国产精品99久久99久久久不卡| 亚洲国产精品成人综合色| 国产精品一区二区精品视频观看| 亚洲精品中文字幕一二三四区| 日韩精品中文字幕看吧| 欧美zozozo另类| 国产精品99久久99久久久不卡| 午夜福利在线观看吧| 变态另类成人亚洲欧美熟女| 男人的好看免费观看在线视频 | 哪里可以看免费的av片| 精品卡一卡二卡四卡免费| 黑丝袜美女国产一区| 无限看片的www在线观看| 日日干狠狠操夜夜爽| 亚洲一区中文字幕在线| 久久天躁狠狠躁夜夜2o2o| 一级a爱视频在线免费观看| 18禁裸乳无遮挡免费网站照片 | 母亲3免费完整高清在线观看| 手机成人av网站| 啪啪无遮挡十八禁网站| 欧美成人午夜精品| 在线观看日韩欧美| 韩国精品一区二区三区| 欧美黄色淫秽网站| 国产不卡一卡二| 日韩欧美在线二视频| 国产一卡二卡三卡精品| 人妻丰满熟妇av一区二区三区| 久久久久久国产a免费观看| 韩国av一区二区三区四区| 两性夫妻黄色片| 亚洲精品一卡2卡三卡4卡5卡| 国产精品久久视频播放| 欧美三级亚洲精品| 久99久视频精品免费| 嫩草影视91久久| 十分钟在线观看高清视频www| 国产真人三级小视频在线观看| 丰满人妻熟妇乱又伦精品不卡| 国产私拍福利视频在线观看| 精品国产乱子伦一区二区三区| 视频区欧美日本亚洲| netflix在线观看网站| 国产伦人伦偷精品视频| 侵犯人妻中文字幕一二三四区| 两性夫妻黄色片| 好男人电影高清在线观看| 成人国语在线视频| 午夜a级毛片| 亚洲天堂国产精品一区在线| 亚洲精品粉嫩美女一区| 韩国av一区二区三区四区| 亚洲一码二码三码区别大吗| 亚洲国产日韩欧美精品在线观看 | 搡老妇女老女人老熟妇| 我的亚洲天堂| 男人舔奶头视频| 在线观看免费日韩欧美大片| 色婷婷久久久亚洲欧美| 琪琪午夜伦伦电影理论片6080| 欧美日韩亚洲国产一区二区在线观看| 亚洲真实伦在线观看| 在线观看日韩欧美| 国产午夜福利久久久久久| 69av精品久久久久久| 搞女人的毛片| a级毛片a级免费在线| 啦啦啦韩国在线观看视频| 久久精品国产清高在天天线| 国产成人啪精品午夜网站| 欧美在线黄色| 人妻久久中文字幕网| 香蕉av资源在线| 国产精品电影一区二区三区| 亚洲九九香蕉| 婷婷精品国产亚洲av| 国产欧美日韩一区二区精品| 国产av在哪里看| 特大巨黑吊av在线直播 | 可以在线观看毛片的网站| 国产一区二区三区在线臀色熟女| 亚洲一区中文字幕在线| 国产av又大| 男女午夜视频在线观看| 黄色丝袜av网址大全| 亚洲精品美女久久久久99蜜臀| 亚洲国产日韩欧美精品在线观看 | 老熟妇仑乱视频hdxx| 性欧美人与动物交配| 久热这里只有精品99| 免费在线观看日本一区| 欧美日韩亚洲综合一区二区三区_| 国产精品一区二区精品视频观看| av福利片在线| 国产精品久久久av美女十八| 中文字幕最新亚洲高清| or卡值多少钱| 国产精品1区2区在线观看.| 久久香蕉激情| 亚洲国产毛片av蜜桃av| 制服人妻中文乱码| 日韩视频一区二区在线观看| 国产成+人综合+亚洲专区| 国产极品粉嫩免费观看在线| 淫妇啪啪啪对白视频| 亚洲全国av大片| 免费在线观看黄色视频的| 成人av一区二区三区在线看| 国产真实乱freesex| 此物有八面人人有两片| 成年免费大片在线观看| 日韩成人在线观看一区二区三区| 在线av久久热| 国产男靠女视频免费网站| 十分钟在线观看高清视频www| 午夜福利18| 亚洲成a人片在线一区二区| 巨乳人妻的诱惑在线观看| 欧美日韩亚洲国产一区二区在线观看| 一进一出好大好爽视频| 国产aⅴ精品一区二区三区波| 日本精品一区二区三区蜜桃| 国产精品一区二区免费欧美| 变态另类丝袜制服| 亚洲av成人一区二区三| 欧美日韩乱码在线| 国产乱人伦免费视频| 一本久久中文字幕| 亚洲精品中文字幕在线视频| 麻豆成人午夜福利视频| 国产99白浆流出| 精品欧美国产一区二区三| 日韩欧美 国产精品| 两性夫妻黄色片| 亚洲成人久久性| 欧美成人免费av一区二区三区| 天堂动漫精品| 在线十欧美十亚洲十日本专区| 精品欧美国产一区二区三| 丁香欧美五月| 亚洲国产精品久久男人天堂| 天堂√8在线中文| 欧美精品啪啪一区二区三区| 99精品久久久久人妻精品| 国产不卡一卡二| 一级毛片精品| 中亚洲国语对白在线视频| 此物有八面人人有两片| 天堂影院成人在线观看| 嫩草影院精品99| 在线观看66精品国产| 免费在线观看成人毛片| 亚洲,欧美精品.| 成人国产综合亚洲| 久久午夜亚洲精品久久| 国产又爽黄色视频| 日日夜夜操网爽| 久久亚洲真实| 好男人电影高清在线观看| 精品欧美一区二区三区在线| 变态另类丝袜制服| 亚洲专区字幕在线| 成年免费大片在线观看| 国产精品久久久人人做人人爽| 成人精品一区二区免费| 又大又爽又粗| 无遮挡黄片免费观看| 黑人欧美特级aaaaaa片| 欧美日韩乱码在线| 悠悠久久av| 午夜久久久在线观看| 亚洲精品国产精品久久久不卡| 国产精品国产高清国产av| 日本一区二区免费在线视频| 免费av毛片视频| 人妻丰满熟妇av一区二区三区| cao死你这个sao货| 久久欧美精品欧美久久欧美| 级片在线观看| 亚洲九九香蕉| 老司机靠b影院| 法律面前人人平等表现在哪些方面| 90打野战视频偷拍视频| 亚洲三区欧美一区| 成人国语在线视频| 99在线人妻在线中文字幕| 国产精品一区二区精品视频观看| 欧美色欧美亚洲另类二区| 亚洲成av片中文字幕在线观看| 成人国产综合亚洲| 亚洲人成伊人成综合网2020| 亚洲男人天堂网一区| 久久久久国产精品人妻aⅴ院| 国产极品粉嫩免费观看在线| 久久婷婷人人爽人人干人人爱| 国产亚洲精品一区二区www| 禁无遮挡网站| 男女下面进入的视频免费午夜 | 欧美日本视频| 真人一进一出gif抽搐免费| 久久亚洲精品不卡| 好看av亚洲va欧美ⅴa在| 麻豆国产av国片精品| 久久精品夜夜夜夜夜久久蜜豆 | 婷婷精品国产亚洲av| 国产区一区二久久| 天堂动漫精品| 777久久人妻少妇嫩草av网站| 国产区一区二久久| 日韩三级视频一区二区三区| 亚洲五月色婷婷综合| 91麻豆av在线| 精品久久久久久久毛片微露脸| 亚洲中文字幕一区二区三区有码在线看 | 日韩精品免费视频一区二区三区| 亚洲午夜理论影院| 欧美色视频一区免费| 久久精品aⅴ一区二区三区四区| 国产伦一二天堂av在线观看|