• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于深度強化學習的輸電網(wǎng)網(wǎng)架規(guī)劃方法

    2021-07-09 09:31:58劉帥孔亮劉自發(fā)李玉文陳逸軒
    電力建設(shè) 2021年7期
    關(guān)鍵詞:輸電網(wǎng)信息熵典型

    劉帥,孔亮,劉自發(fā),李玉文,陳逸軒

    (1. 國網(wǎng)山東省電力公司威海供電公司,山東省威海市 264200;2.華北電力大學電氣與電子工程學院,北京市 102206)

    0 引 言

    輸電網(wǎng)規(guī)劃包括對輸電網(wǎng)網(wǎng)架結(jié)構(gòu)和輸電線路容量進行規(guī)劃,目的是達到相應(yīng)時期輸電能力要求,同時滿足可靠性指標和經(jīng)濟性優(yōu)化,是電力系統(tǒng)規(guī)劃的重要組成部分,也是保障電力系統(tǒng)健康發(fā)展的重要工作。在高比例可再生能源并網(wǎng)與智能電網(wǎng)快速發(fā)展的背景下,電力系統(tǒng)不確定性進一步增加[1],不確定性問題給輸電網(wǎng)規(guī)劃帶來重大挑戰(zhàn),傳統(tǒng)的規(guī)劃方法已經(jīng)無法適用新形態(tài)下的輸電網(wǎng)規(guī)劃,需要更加完善的規(guī)劃方法來滿足電力系統(tǒng)發(fā)展的需求。

    輸電網(wǎng)規(guī)劃的傳統(tǒng)確定性方法存在一定的弊端,如無法處理規(guī)劃中的不確定因素、靈活性差、與其他方法配合較差等。考慮到電力系統(tǒng)對靈活性和適應(yīng)性的更高要求,就必須要研究新的輸電網(wǎng)規(guī)劃方法。電網(wǎng)柔性規(guī)劃將不確定因素引入規(guī)劃模型和過程中,以尋求靈活性更強、適應(yīng)性更好的規(guī)劃方案。電網(wǎng)柔性規(guī)劃的研究成果包括基于多場景技術(shù)的電網(wǎng)規(guī)劃模型和基于不確定理論的電網(wǎng)規(guī)劃模型。

    文獻[2]基于未來場景的不確定性,從場景的發(fā)生概率出發(fā),提出了造價期望最優(yōu)模型和各場景最優(yōu)方案綜合偏離程度最小模型。文獻[3]以場景分析和概率計算的方式描述不確定性因素,快速準確地得到基于決策者偏好的輸電網(wǎng)柔性規(guī)劃方案。文獻[4]采用多場景概率法分析不確定性數(shù)據(jù)并劃分出多種場景,計算場景概率并得到輸電網(wǎng)擴展規(guī)劃模型。文獻[5]采用多場景方法處理未來電網(wǎng)規(guī)劃中的不確定性因素,以各場景下最優(yōu)方案的最小期望投資悔值為目標函數(shù)并進行求解。

    基于多場景技術(shù)的電網(wǎng)規(guī)劃模型研究了不確定規(guī)劃問題的普遍解決方案,即將不確定因素轉(zhuǎn)化為多個確定性場景,計算較為簡單。但該方法也存在一定弊端。其中,基于場景發(fā)生概率的規(guī)劃方法沒有考慮場景中各種因素的關(guān)聯(lián)性,增加了場景數(shù)和計算量;基于決策偏好的場景技術(shù)憑決策者的喜好處理規(guī)劃問題,主觀色彩較強,不利于實際應(yīng)用;基于最小期望悔值的規(guī)劃方法以犧牲經(jīng)濟性來提高規(guī)劃方案的適應(yīng)性和魯棒性,電網(wǎng)規(guī)劃的結(jié)果可能產(chǎn)生大量的冗余線路。

    為獲得更為安全、經(jīng)濟的輸電網(wǎng)規(guī)劃方案,學者們將概率論、模糊集理論、可信性理論、區(qū)間理論等不確定理論引入輸電網(wǎng)規(guī)劃中,提出了考慮各類不確定因素的輸電網(wǎng)規(guī)劃模型。

    文獻[6]提出了區(qū)間負荷下的輸電網(wǎng)規(guī)劃模型,并基于改進的分支定界法給出了區(qū)間至多切負荷量的快速評估方法。文獻[7]對灰信息進行確定化處理并求解若干個確定性信息下的規(guī)劃模型,得到灰數(shù)模型下的最優(yōu)規(guī)劃方案。文獻[8]采用基于聯(lián)系數(shù)的輸電網(wǎng)規(guī)劃模型,根據(jù)聯(lián)系數(shù)四則運算得到考慮聯(lián)系數(shù)的直流潮流以獲得最優(yōu)輸電網(wǎng)規(guī)劃方案。

    綜上所述,雖然基于不確定理論的輸電網(wǎng)規(guī)劃方法已有大量成果,但仍存在一些問題:現(xiàn)有規(guī)劃方法大多是建立在某一斷面的基礎(chǔ)上,在多場景情況下存在靈活性、適應(yīng)性不足的問題;規(guī)劃模型中較少考慮不確定因素的相互耦合關(guān)系。

    深度強化學習屬于機器學習的一種,能夠自行與環(huán)境交互產(chǎn)生樣本,并用以對自身的網(wǎng)絡(luò)結(jié)構(gòu)進行訓練。該方法目前在多個領(lǐng)域有所應(yīng)用,一些學者也已經(jīng)將深度強化學習應(yīng)用于電力系統(tǒng)問題研究中。文獻[9]應(yīng)用深度策略梯度模型進行建筑能量管理調(diào)度優(yōu)化,該方法比常規(guī)方法能更有效地節(jié)省成本;文獻[10]應(yīng)用深度強化學習優(yōu)化微電網(wǎng)儲能調(diào)度。然而,目前深度學習在電力系統(tǒng)中的應(yīng)用僅限于調(diào)度問題,并不包括電力系統(tǒng)規(guī)劃問題。

    本文首先提出基于信息熵的典型場景提取方法(typical scenario set with entropy,TSSE),引入場景信息熵的概念進行典型場景提取。得到多場景集合后,再將提取到的場景輸入規(guī)劃模型,得到基于多場景的輸電網(wǎng)靈活規(guī)劃模型。接著采用深度強化學習的方法,提出一種適用于輸電網(wǎng)規(guī)劃的改進指針網(wǎng)絡(luò)模型(revised pointer network,RPN),并進一步使用深度強化學習中的Actor-Critic方法對網(wǎng)絡(luò)進行訓練。應(yīng)用改進指針網(wǎng)絡(luò)與Actor-Critic結(jié)合的方法(revised pointer network with Actor-Critic, RPNAC)對電力系統(tǒng)規(guī)劃問題進行求解,以解決傳統(tǒng)輸電網(wǎng)規(guī)劃方法靈活性、適應(yīng)性較差及運算效率較低的問題。

    1 基于多場景的輸電網(wǎng)靈活規(guī)劃模型

    首先提出基于信息熵的典型場景提取方法,引入場景信息熵的概念,提取生成包含風電、光伏、負荷的多種典型場景。得到多場景集合后,再將提取到的場景輸入規(guī)劃模型,最后得到基于多場景的輸電網(wǎng)靈活規(guī)劃模型。本文主要應(yīng)用文獻[11]提出的輸電網(wǎng)柔性約束規(guī)劃模型,在此基礎(chǔ)上實現(xiàn)基于多場景的輸電網(wǎng)靈活規(guī)劃。

    1.1 不確定性因素的定量分析

    場景法主要用于對電力系統(tǒng)內(nèi)的不確定性因素進行定量分析。通過將不確定性因素的概率分布轉(zhuǎn)化成帶權(quán)典型值組合,并對結(jié)果進行加權(quán)求和,即可得到不確定性因素的評價結(jié)果,進而生成典型場景。

    因此,得到不確定性因素的概率分布是場景提取的首要前提。分布式電源具有高度隨機性與波動性,另外受用戶側(cè)需求的影響,負荷結(jié)構(gòu)、功率不斷發(fā)生變化。因此,本文考慮的不確定性因素主要有風力發(fā)電、光伏發(fā)電以及負荷功率。

    對于風力發(fā)電,采用雙參數(shù)Weibull概率分布模型進行模擬[12];對于光伏發(fā)電,采用Beta分布進行模擬;對于負荷功率則采用正態(tài)分布進行模擬。

    1.2 基于信息熵的多場景提取方法

    信息熵的概念來源于熱力學,用以度量對象的不確定性[13]。熵的大小表征著信息含量的多少,熵值較大說明信息含量較大,熵值較小說明信息含量較小。信息熵理論已經(jīng)在很多領(lǐng)域有所應(yīng)用,包括迭代二叉樹三代(iterative dichotomiser 3, ID3)類決策樹。ID3類決策樹模型采用最大化信息熵變化量為評判依據(jù),選取盡可能將樣本分為完全不同的兩類節(jié)點進行節(jié)點分割。

    本文采取類似的思路進行典型場景提取,通過最大化場景信息熵變化量進行場景分類,再用遞歸方式將原始場景分為多個子類,對熵值較大的場景區(qū)段分配更多場景數(shù)目,對熵值較小的場景區(qū)段分配較少場景數(shù)目。取每個子類的平均值作為該類的典型場景,所有子類的場景集合即為所提取的典型場景集。該方法能在對電力系統(tǒng)運行場景有較好的表征能力的基礎(chǔ)上增加典型場景多樣性,提升規(guī)劃方案對不同場景的適應(yīng)性。

    首先,輸入待分場景功率分布密度函數(shù)作為初始根節(jié)點,并計算初始根節(jié)點信息熵,即:

    (1)

    式中:H(v0)為初始根節(jié)點信息熵;v0為初始根節(jié)點;x為功率;p(x)為x對應(yīng)的概率密度;xmax為功率最大值。

    接下來選取初始根節(jié)點的分割位置。對于某一分割位置,其分割后的信息熵為分割后形成的兩個新節(jié)點的信息熵之和:

    H(v0,x0)=H(v′0)+H(v″0)

    (2)

    (3)

    (4)

    式中:x0為任一分割位置;H(v0,x0)為初始根節(jié)點分割后的信息熵;H(v′0)為分割后形成的左子節(jié)點;H(v″0)為分割后形成的右子節(jié)點;p′(x)為左子節(jié)點的概率密度函數(shù);p″(x)為右子節(jié)點的概率密度函數(shù)。

    節(jié)點分割的選取原則是信息熵減小量最大化,即:

    ΔH=H(v0)-H(v0,x0)

    (5)

    式中:ΔH為節(jié)點分割后信息熵的減小量。能夠使得式(5)最大化的分割位置即為當前節(jié)點的最優(yōu)分割位置。

    節(jié)點分割之后,父節(jié)點所有可能的功率值也會被分成2份,因此在某一子節(jié)點中,便不會再出現(xiàn)另一子節(jié)點的功率值。每個節(jié)點保留的可能功率值的相應(yīng)概率會增加,功率概率密度函數(shù)也會發(fā)生變化。

    對初始節(jié)點分割完成并形成兩個子節(jié)點后,需要對產(chǎn)生的新子節(jié)點進行校驗,判斷節(jié)點信息熵是否小于臨界值εH。小于臨界值εH的子節(jié)點信息熵較小,稱為“葉節(jié)點”。信息熵較小代表節(jié)點內(nèi)功率分布較為一致,在單一節(jié)點內(nèi)進行功率采樣得到的功率值趨同,不會發(fā)生較大波動。因此,對于葉節(jié)點,可以取功率分布的期望作為該節(jié)點對應(yīng)的典型場景。

    未通過信息熵校驗的新節(jié)點則作為待分根節(jié)點,繼續(xù)進行節(jié)點分割,直至所有節(jié)點都成為葉節(jié)點則遞歸停止。接著計算所有葉節(jié)點對應(yīng)的典型場景,作為提取的典型場景集合輸出。每個葉節(jié)點內(nèi)部場景數(shù)量占總場景的比例作為該葉節(jié)點對應(yīng)典型場景的權(quán)重。

    另外,為了保持算法內(nèi)容名稱上的前后一致,初始節(jié)點先作為葉節(jié)點輸入,隨后才被修改為根節(jié)點。

    基于信息熵的場景提取步驟如圖1所示。

    圖1 基于信息熵的典型場景提取方法Fig.1 Typical scenarios extraction method based on information entropy

    結(jié)合前文敘述和圖1,基于信息熵的場景提取步驟可概括為:

    步驟一:輸入包含風電、光伏、負荷功率的數(shù)據(jù)集信息作為初始葉節(jié)點,并根據(jù)式(1)計算初始葉節(jié)點信息熵。

    步驟二:判斷所有節(jié)點是否均不可分割,若滿足,將所有葉節(jié)點作為典型場景輸出,并獲取該場景對應(yīng)包含的小時數(shù),計算概率;若不滿足,將不滿足的葉節(jié)點作為根節(jié)點,繼續(xù)以下步驟三。

    步驟三:根據(jù)式(5)信息熵減小量最大化原則,及式(2)—(4)對根節(jié)點進行分割,確定分割位置。

    步驟四:針對分割出的新葉節(jié)點,利用步驟二進行判斷,反復迭代,直至所有節(jié)點均滿足終止條件。

    1.3 輸電網(wǎng)網(wǎng)架柔性規(guī)劃模型

    電網(wǎng)柔性規(guī)劃方法是用于求解未來多個不確定性場景的綜合最優(yōu)方案,通過提出適應(yīng)未來環(huán)境變化的柔性規(guī)劃方案,以最小的代價彌補環(huán)境變化造成的經(jīng)濟損失[14]。將提取到的場景輸入規(guī)劃模型,得到基于多場景的輸電網(wǎng)靈活規(guī)劃模型。

    本文目標函數(shù)綜合考慮線路投資成本、發(fā)電機組運行成本、棄風懲罰成本,目標函數(shù)如下:

    minF=∑Finvest+∑Foperation+∑Fcur

    (6)

    式中:∑Finvest、∑Foperation、∑Fcur分別為輸電網(wǎng)的線路投資成本、發(fā)電機組運行成本、棄風懲罰成本。

    (7)

    ∑Foperation=

    (8)

    ∑Fcur=

    (9)

    規(guī)劃模型具有以下幾個約束條件:

    1)功率平衡約束:

    (10)

    2)線路潮流約束:

    Pn-ij=Bn-ij(θn-i-θn-j)i,j∈L

    (11)

    式中:Bn-ij為場景n中線路ij的電納;θn-i、θn-j分別為場景n中節(jié)點i、j的電壓相角。

    3)風機出力約束:

    Pwind-min≤Pwind-n(t)≤Pwind-max

    (12)

    式中:Pwind-min、Pwind-max分別為風機出力的最小值、最大值;Pwind-n(t)為場景n中的風機出力值。

    4)發(fā)電機運行約束:

    (13)

    2 基于改進指針網(wǎng)絡(luò)的規(guī)劃模型求解方法

    遺傳算法在大規(guī)模最優(yōu)化問題中,能取得最優(yōu)值或者次優(yōu)值。然而其本身存在諸多缺陷,如在處理規(guī)模較大的最優(yōu)化問題時,算法容易陷入局部最優(yōu)、收斂速度慢等。

    為解決如遺傳算法等啟發(fā)式算法存在的問題,本文在原始指針網(wǎng)絡(luò)的基礎(chǔ)上進行改進,使其能夠適用于電力系統(tǒng)網(wǎng)架規(guī)劃問題。與原始指針網(wǎng)絡(luò)應(yīng)用標簽樣本進行神經(jīng)網(wǎng)絡(luò)訓練不同,本文使用強化學習中的Actor-Critic模型進行網(wǎng)絡(luò)訓練,從而實現(xiàn)無需標簽樣本的訓練。

    2.1 基于改進指針網(wǎng)絡(luò)的規(guī)劃問題求解模型

    指針網(wǎng)絡(luò)(pointer network)是一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),能有效用于學習中低維度的組合優(yōu)化問題,并能以高準確度預測出問題的解。其結(jié)構(gòu)類似于sequence to sequence(seq2seq)[15]。指針網(wǎng)絡(luò)的原理是將輸入映射為一系列按概率指向輸入序列元素的指針,由一個編碼器(encoder)和一個解碼器(decoder)組成。編碼器的輸入為節(jié)點坐標組成的向量,解碼器的輸出則為節(jié)點坐標的某個排序。但是,該模型不能直接應(yīng)用于網(wǎng)架規(guī)劃問題中,需要進行一定的改進。因此,本文提出一種適用于網(wǎng)架規(guī)劃問題的改進指針網(wǎng)絡(luò)模型,如圖2所示。

    圖2 改進指針網(wǎng)絡(luò)模型結(jié)構(gòu)Fig.2 Structure of revised pointer network

    與原始模型使用節(jié)點坐標作為輸入不同,改進指針網(wǎng)絡(luò)模型(revised pointer network, RPN)以網(wǎng)絡(luò)的節(jié)點-支路關(guān)聯(lián)矩陣中對應(yīng)的向量作為節(jié)點輸入,在圖2中以n1、n2表示。圖2中接受輸入的白框表示編碼器與解碼器中的循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network, RNN)。RNN每次以一個新節(jié)點和上一個節(jié)點的輸出作為輸入,并給出當前節(jié)點的輸出。當所有的輸入節(jié)點順序輸入結(jié)束后,編碼器的最終輸出即為指針網(wǎng)絡(luò)對于電力系統(tǒng)網(wǎng)絡(luò)結(jié)構(gòu)信息的嵌入(embedding)。

    對于解碼器,其中的RNN每次接受上一個節(jié)點的輸出,并把上一個節(jié)點給出的預測節(jié)點作為輸入。解碼器中首節(jié)點的輸入為編碼器給出的嵌入以及用待訓練參數(shù)表示的起始節(jié)點ng。因此,解碼器中每個節(jié)點對應(yīng)的輸出便是編碼器輸入節(jié)點的概率分布,取概率最大的節(jié)點作為預測節(jié)點,在圖2中用指向編碼器的箭頭表示。此外,解碼器每次給出預測節(jié)點時,已在解碼器中出現(xiàn)過的節(jié)點不再出現(xiàn),以此保證結(jié)果的有效性。圖2中的圓圈表示不可選節(jié)點。由所有解碼器給出的節(jié)點即為RPN給出的一個解。

    由于網(wǎng)架規(guī)劃問題的解往往僅包含可建設(shè)線路中的某幾條,因此輸出向量的長度將遠小于輸入向量。針對此問題,RPN在輸入向量的尾部追加一個停止節(jié)點ns,當停止節(jié)點出現(xiàn)在輸出向量中時,便僅保留停止節(jié)點前的節(jié)點,而后續(xù)產(chǎn)生的節(jié)點無效。

    值得注意的是,RPN并不能保證單次輸出即可得到最優(yōu)解。因此,在利用訓練好的RPN網(wǎng)絡(luò)進行求解時,需要將輸入向量隨機排序,重復輸入到網(wǎng)絡(luò)中,獲得多個輸出,并在輸出集合中進行搜索,得分最高者即作為最優(yōu)解輸出。

    2.2 基于Actor-Critic的網(wǎng)絡(luò)訓練方法

    神經(jīng)網(wǎng)絡(luò)通常使用監(jiān)督學習的方法進行訓練,但對于包括網(wǎng)架規(guī)劃在內(nèi)的組合優(yōu)化問題和復雜的現(xiàn)實場景,很難在線獲得大量訓練數(shù)據(jù),且獲得足夠數(shù)量的高質(zhì)量標簽數(shù)據(jù)代價高昂,導致求解結(jié)果出現(xiàn)局部最優(yōu)解等問題。

    因此,本文采用強化學習中的Actor-Critic方法訓練RPN。這類算法雖然利用值函數(shù)評估策略,但是又不純粹依賴值函數(shù)求解最優(yōu)策略,而是利用值函數(shù)信息指導策略的搜索。通過自行與環(huán)境進行交互來獲得訓練樣本,無需事先給定大量訓練數(shù)據(jù),因此適用于網(wǎng)架規(guī)劃問題。

    RPN的損失函數(shù)定義為:

    J(θ)=Eπ-pθL(π)

    (14)

    式中:θ為神經(jīng)網(wǎng)絡(luò)參數(shù);J(θ)為神經(jīng)網(wǎng)絡(luò)損失函數(shù);pθ為參數(shù)θ對應(yīng)的RPN的決策策略概率分布;π為根據(jù)策略概率分布做出的決策;L(π)為當前決策的目標函數(shù)值,由式(6)給出。

    根據(jù)Actor-Critic算法,損失函數(shù)的梯度定義為:

    ?θJ(θ)=Eπ-pθ[(L(π)-b)?θlogpθ(π)]

    (15)

    式中:b為梯度的基準線方程(baseline function);pθ(π)為當前θ對應(yīng)決策概率分布下決策π的概率。

    通過蒙特卡洛采樣對式(14)進行逼近,可得損失函數(shù)的梯度:

    (16)

    式中:B為蒙特卡洛采樣的次數(shù);k為B次采樣中的第k次采樣;πk為B次采樣中第k次采樣時根據(jù)策略概率分布做出的決策。

    對于基準線方程,文獻[15]中在指針網(wǎng)絡(luò)之外為Actor-Critic單獨建立網(wǎng)絡(luò)進行計算,但這種方法具有較差的穩(wěn)定性,在實際計算中可能會導致網(wǎng)絡(luò)訓練無法收斂。因此,本文采用指數(shù)移動平均作為基準線方程。指數(shù)移動平均相比簡單移動平均,更注重近期內(nèi)的數(shù)據(jù),且數(shù)據(jù)的權(quán)重會隨著時間按照指數(shù)規(guī)律下降[16]?;鶞示€方程的形式為:

    (17)

    神經(jīng)網(wǎng)絡(luò)參數(shù)更新選用隨機梯度下降方式進行計算。先計算出損失函數(shù)的梯度,然后按梯度的方向,通過對權(quán)值的不斷更新調(diào)整,使函數(shù)損失值達到最小,從而獲得最優(yōu)解。該方法每次隨機選擇一個樣本來迭代更新一次,而不是針對所有樣本,因而該方法顯著提升了計算效率。

    3 算例分析

    本節(jié)首先針對系統(tǒng)中的3種不確定性因素(風力發(fā)電功率、光伏發(fā)電功率、負荷功率)進行典型場景提取并與原分布進行對比。然后在IEEE Garver-6系統(tǒng)上進行輸電網(wǎng)規(guī)劃,通過與粒子群優(yōu)化算法(particle swarm optimization, PSO)算法的對比,證明RPNAC在輸電網(wǎng)規(guī)劃方面的科學性和優(yōu)勢。

    3.1 典型場景集表征效果驗證

    為了驗證本文提出的基于信息熵的典型場景集構(gòu)建方法(typical scenario set with entropy, TSSE)的有效性,選用拉丁超立方抽樣(Latin hypercube sampling, LHS)[17]、蒙特卡洛抽樣(Monte Carlo, MC)[18]、基于推土機距離的場景提取方法(generation algorithm of typical scenario set, GATSS)[19]進行對比,針對系統(tǒng)中3種不確定因素進行典型場景提取。為衡量對原始場景的表征程度,從原始場景中進行抽樣得到規(guī)模為106的場景集合Y,計算Y與各種方法提取的規(guī)模為102的典型場景集W之間的距離T,并進行對比。計算公式為:

    (18)

    式中:u、w為單個場景;d為絕對值距離;ui、wj分別為各單個場景u、w中的i和j節(jié)點。計算結(jié)果如表1所示。

    表1 不同方法提取結(jié)果對原場景逼近能力比較Table 1 Comparison of different methods with respect to approximating the original scenarios

    由表1中結(jié)果可得,MC、GATSS、TSEE三者提取的典型場景集對原始場景的逼近能力相近,均優(yōu)于LHS。MC、GATSS、TSEE三者關(guān)于負荷功率提取的典型場景逼近效果優(yōu)于風電與光伏功率。這是由于負荷功率采用高斯分布進行逼近,其概率分布偏度為0,具有較強的對稱性,且分布曲線整體較為平坦,而風電與光伏分別采用Weibull分布與Beta分布,具有較強的不對稱性。

    在保證表征效果的基礎(chǔ)上,應(yīng)使典型場景集有盡可能多樣化的典型場景,保證規(guī)劃方案在更多場景下滿足安全性校驗,從而提升規(guī)劃方案的魯棒性。本文選用方差來衡量典型場景集的多樣性,計算中忽略典型場景權(quán)重的影響,計算結(jié)果如表2所示。

    表2 不同方法提取結(jié)果場景多樣性比較Table 2 Comparison of different methods with respect to scenario diversity

    MC是對概率分布整體的隨機抽樣,因此其提取的典型場景集方差與概率分布方差相近。LHS在MC的基礎(chǔ)上對概率分布進行均勻分層抽樣,因此可以保證覆蓋至概率密度較小的區(qū)域,有較大的場景多樣性,但對原始分布的表征性能較差。GATSS類似于逆變換采樣,本質(zhì)上是根據(jù)概率進行等間隔采樣,因此其場景多樣性與MC相近。TSEE提取結(jié)果方差與LHS提取結(jié)果相近,且相比于MC和GATSS,對場景的覆蓋能力更強。結(jié)果表明,在保證對原始場景分布逼近效果的基礎(chǔ)上,TSEE根據(jù)信息熵來分配采樣點,能夠在概率密度變化較大的區(qū)域增加采樣頻率,保證了提取結(jié)果的多樣性。

    3.2 應(yīng)用RPNAC進行輸電網(wǎng)規(guī)劃

    為了驗證提出的RPNAC方法對于解決輸電網(wǎng)網(wǎng)架規(guī)劃問題的實用性,本文選用IEEE Garver-6系統(tǒng)進行計算分析驗證。

    風電場中切入風速、切出風速、額定風速分別為4.0、20.0、11.1 m/s。圖3為IEEE Garver-6系統(tǒng)的網(wǎng)絡(luò)結(jié)構(gòu)。圖3中,實線代表已有的輸電線路,虛線代表備選線路。系統(tǒng)包含11臺發(fā)電機、5個負荷、6條輸電線路。計算標幺值時,功率基準為100 MW,線路長度造價為50萬元/km。

    圖3 IEEE Garver-6系統(tǒng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Network structure of the Garver-6 system

    為了驗證RPNAC在不同場景下都具有良好的求解能力和靈活性,結(jié)合3.1節(jié)中提取出的場景,分別采用RPNAC和PSO對3個典型場景的輸電網(wǎng)規(guī)劃問題進行求解,結(jié)果如表3所示。

    表3 典型場景規(guī)劃結(jié)果對比Table 3 Comparison of planning results of typical scenarios

    通過對比兩種方法對不同典型場景下的輸電系統(tǒng)規(guī)劃的結(jié)果可以看出,在絕大多數(shù)場景下,本文提出的RPNAC方法都具較為優(yōu)秀的求解能力。

    使用算法進行求解前,需要對模型進行訓練。在訓練數(shù)據(jù)集上進行大量訓練,便可以利用事先學習的成果進行下一步求解,避免從零開始。模型訓練階段,抽取10個與測試集不同的規(guī)劃問題作為訓練集進行訓練,以增強模型的泛化性能。訓練的每一步迭代需從10個問題中隨機選取一個問題進行訓練,以保證訓練樣本的獨立同分布假設(shè),防止樣本之間的關(guān)聯(lián)性影響模型的效果。

    通過與PSO的求解結(jié)果進行對比,可以驗證RPNAC在參數(shù)變化情況下對輸電網(wǎng)規(guī)劃問題的求解能力。通過抽樣方法可得到基于原問題的測試集。對原問題所有節(jié)點橫、縱坐標分別增加一個擾動ξ,ξ符合[-0.1,0.1]的均勻分布,保持容量等其他條件不變,通過對ξ進行抽樣,以此得到10個參數(shù)不同的規(guī)劃問題,它們組成測試集。接著采用本文提出的RPNAC和PSO對測試集中的10個問題進行求解,以便對二者進行比較。二者在測試集上的表現(xiàn)如表4所示。

    表4 PSO與RPNAC測試集規(guī)劃結(jié)果Table 4 Comparison of PSO and RPNAC based on test set

    對于IEEE Garver-6系統(tǒng),大部分情況下,PSO與RPNAC得分均為1.0。因此,測試集結(jié)果說明,對于IEEE Garver-6系統(tǒng)規(guī)劃問題,在大部分情況下,PSO與RPNAC均可求得最優(yōu)解。

    根據(jù)表4可知,10次試驗中,僅有第2次試驗時,采用PSO與RPNAC進行規(guī)劃的結(jié)果不同。首先對除第2次試驗之外的其他試驗進行簡要說明。規(guī)劃結(jié)果表明,雖然第4—10次試驗中PSO與RPNAC求解結(jié)果相同,但所得結(jié)果的綜合評價均低于第1—3次試驗,不具有現(xiàn)實意義和實用價值,因此不再贅述。接著下面對對試驗2中RPNAC不能求得最優(yōu)解的情況進行分析。

    圖4為表4中的輸電網(wǎng)規(guī)劃問題的部分規(guī)劃結(jié)果。試驗2中,PSO得分高于RPNAC,故同時畫出了RPNAC與PSO的規(guī)劃結(jié)果,如圖4中(b)、(c)所示。而其他試驗中,RPNAC與PSO規(guī)劃結(jié)果相同且同為最優(yōu),故無需重復畫出,如圖4中(a)、(d)所示。

    圖4 測試集問題規(guī)劃結(jié)果Fig.4 Some of the results of the planning problems

    表5為RPNAC和PSO對Garver-6系統(tǒng)規(guī)劃結(jié)果對比。試驗2中,采用PSO與RPNAC進行規(guī)劃的結(jié)果不同,故分別展示了RPNAC與PSO的規(guī)劃結(jié)果。其他試驗中,RPNAC與PSO規(guī)劃結(jié)果相同,未重復展示。表6為試驗2結(jié)果評價指標數(shù)據(jù)。

    表5 RPNAC和PSO對Garver-6系統(tǒng)規(guī)劃結(jié)果對比Table 5 Comparison of planning results of Garver-6 system between RPNAC and PSO

    表6 試驗2結(jié)果評價指標數(shù)據(jù)Table 6 Data of evaluation indices of experiment 2

    如圖4中(a)、(d)所示,對于一般情況,RPNAC可以輸出正確的最優(yōu)規(guī)劃結(jié)果,即當節(jié)點位置變動情況較小時,RPNAC可以準確得到全局最優(yōu)解。

    如表5所示,試驗2中,由RPNAC產(chǎn)生的規(guī)劃結(jié)果比由PSO產(chǎn)生的規(guī)劃結(jié)果在節(jié)點2-6增加了一條線路,可在圖4中(b)、(c)更直觀看到,此方案安全性最好,但線路投資相對較多,欠缺經(jīng)濟性,故該方案不予采用。此時通過PSO得出的規(guī)劃結(jié)果明顯優(yōu)于RPNAC。但這種情況并沒有出現(xiàn)在訓練集中,RPNAC網(wǎng)絡(luò)并沒有針對該情況得到訓練。由此可知,當測試集中出現(xiàn)與訓練集差距較大的特殊情況時,RPNAC就無法輸出最優(yōu)的規(guī)劃結(jié)果。這類問題可以通過增加訓練時長和增加訓練集規(guī)模來解決。

    根據(jù)表6可知,在靈活性方面,試驗2中,相比PSO得出的規(guī)劃結(jié)果,RPNAC得出的結(jié)果具有較好的可擴展性。當規(guī)劃條件發(fā)生不可預見變化時,該系統(tǒng)能更快進行調(diào)整,并且更好應(yīng)對供需兩側(cè)響應(yīng)系統(tǒng)的不確定性變化,因此相比傳統(tǒng)的PSO,RPNAC提高了規(guī)劃模型的靈活性。

    在計算速度方面,RPNAC顯著優(yōu)于PSO。這是由于RPNAC在訓練完成后,對于任意一個問題,輸出預測結(jié)果只需要根據(jù)訓練好的網(wǎng)絡(luò)進行幾次前向傳播計算并搜索最優(yōu)值即可得到結(jié)果,往往只需要不到1 s的時間。而當邊界條件發(fā)生變化時,PSO需要重新進行計算,無法利用歷史計算結(jié)果。

    因此,對于規(guī)劃精度要求不高、對計算速度要求較高的問題,可以利用RPNAC進行計算。對于規(guī)劃精度要求較高的問題,可以利用增加訓練時長及訓練集規(guī)模的方法提升RPNAC的規(guī)劃精度。

    4 結(jié) 論

    首先提出基于信息熵的典型場景提取方法,結(jié)合風電、光伏、負荷這3個不確定性因素的數(shù)學模擬結(jié)果,引入場景信息熵的概念進行典型場景提取。再將提取到的多場景輸入規(guī)劃模型,最后得到基于多場景的輸電網(wǎng)靈活規(guī)劃模型。

    接著采用深度強化學習的方法,在原始指針網(wǎng)絡(luò)的基礎(chǔ)上進行改進,提出一種適用于輸電網(wǎng)規(guī)劃的改進指針網(wǎng)絡(luò)模型,并采用深度強化學習中的Actor-Critic方法對網(wǎng)絡(luò)進行訓練,然后應(yīng)用RPNAC對輸電網(wǎng)規(guī)劃問題進行求解。

    本文選用IEEE Garver-6系統(tǒng)進行分析驗證。算例證明,本文的場景提取方法可以在保證場景表征效果的基礎(chǔ)上增加場景的多樣性,從而增加規(guī)劃方案對場景的適應(yīng)性。在此基礎(chǔ)上的規(guī)劃模型可以用RPNAC進行求解,該方法能夠在保證相當程度求解精度的基礎(chǔ)上,相比傳統(tǒng)方法極大地提升了運算效率,提高了規(guī)劃模型的靈活性、適應(yīng)性。

    猜你喜歡
    輸電網(wǎng)信息熵典型
    用最典型的事寫最有特點的人
    基于信息熵可信度的測試點選擇方法研究
    多項式求值題的典型解法
    典型胰島素瘤1例報道
    基于信息熵的實驗教學量化研究
    電子測試(2017年12期)2017-12-18 06:35:48
    一種基于信息熵的雷達動態(tài)自適應(yīng)選擇跟蹤方法
    雷達學報(2017年6期)2017-03-26 07:52:58
    計及多重不確定因素的輸電網(wǎng)隨機潮流計算
    含光伏電站的輸電網(wǎng)不對稱故障分析方法
    電測與儀表(2016年4期)2016-04-11 09:44:34
    基于信息熵的IITFN多屬性決策方法
    基于差分和聲搜索算法的輸電網(wǎng)差異化規(guī)劃
    亚洲精品亚洲一区二区| av专区在线播放| 国产成人aa在线观看| 九色成人免费人妻av| 亚洲av欧美aⅴ国产| 十八禁网站网址无遮挡 | 久久久久国产精品人妻一区二区| 色吧在线观看| 边亲边吃奶的免费视频| 亚洲图色成人| 亚洲,一卡二卡三卡| 亚洲自偷自拍三级| 日产精品乱码卡一卡2卡三| 国产白丝娇喘喷水9色精品| 欧美精品高潮呻吟av久久| 少妇 在线观看| 久久国产亚洲av麻豆专区| 我的女老师完整版在线观看| 91久久精品电影网| 人人妻人人爽人人添夜夜欢视频 | 日韩电影二区| 亚洲人与动物交配视频| 亚洲,一卡二卡三卡| 中文精品一卡2卡3卡4更新| 亚洲精品视频女| 日韩,欧美,国产一区二区三区| 内地一区二区视频在线| 日韩免费高清中文字幕av| 亚洲精品国产色婷婷电影| 日韩精品有码人妻一区| av福利片在线| 极品教师在线视频| 精品一区二区三区视频在线| 国产高清国产精品国产三级| 视频区图区小说| 交换朋友夫妻互换小说| 伦理电影大哥的女人| 国产欧美日韩精品一区二区| 亚洲av不卡在线观看| 色婷婷久久久亚洲欧美| 一级毛片久久久久久久久女| 亚洲精品乱久久久久久| a级毛片在线看网站| www.av在线官网国产| 国产成人精品一,二区| 久久久午夜欧美精品| 日韩一区二区视频免费看| 国产视频内射| 我要看黄色一级片免费的| 丰满迷人的少妇在线观看| 亚洲国产精品专区欧美| 在线观看av片永久免费下载| 欧美激情国产日韩精品一区| tube8黄色片| 在线观看www视频免费| 亚洲va在线va天堂va国产| 久久久精品94久久精品| 美女主播在线视频| 亚洲美女黄色视频免费看| 亚洲成人av在线免费| 在线观看一区二区三区激情| 极品教师在线视频| 久久久久国产精品人妻一区二区| 国产在视频线精品| 国产亚洲最大av| 99久久中文字幕三级久久日本| av网站免费在线观看视频| 久久国产精品大桥未久av | 国内揄拍国产精品人妻在线| 婷婷色麻豆天堂久久| 肉色欧美久久久久久久蜜桃| 亚洲国产日韩一区二区| 夜夜爽夜夜爽视频| 国产精品国产三级国产专区5o| 高清欧美精品videossex| av在线播放精品| 亚洲av福利一区| 日本色播在线视频| 日韩av在线免费看完整版不卡| 亚洲中文av在线| 另类亚洲欧美激情| 熟妇人妻不卡中文字幕| 99热6这里只有精品| 人妻人人澡人人爽人人| 欧美日韩视频高清一区二区三区二| 一级爰片在线观看| 男人和女人高潮做爰伦理| 嫩草影院新地址| av一本久久久久| 亚洲av福利一区| 哪个播放器可以免费观看大片| 男女免费视频国产| 免费av不卡在线播放| 99re6热这里在线精品视频| 午夜视频国产福利| 99热这里只有是精品50| 久久久久久久久久久丰满| 99热6这里只有精品| 精品一区二区三区视频在线| 国内精品宾馆在线| 亚洲,一卡二卡三卡| 午夜免费鲁丝| 久久久久人妻精品一区果冻| 久久久国产一区二区| www.色视频.com| 日韩中字成人| 街头女战士在线观看网站| 成人毛片a级毛片在线播放| 精品熟女少妇av免费看| 久久久久久久久久成人| 久热这里只有精品99| 在线观看一区二区三区激情| 亚洲精品一区蜜桃| 超碰97精品在线观看| 国产成人aa在线观看| 国语对白做爰xxxⅹ性视频网站| 99九九线精品视频在线观看视频| 99久久精品热视频| 久久国产乱子免费精品| 亚洲精品亚洲一区二区| 国产永久视频网站| 国产精品久久久久久久电影| 国产精品一区二区在线不卡| 亚洲精品乱码久久久久久按摩| 久久精品国产亚洲av涩爱| 亚洲人成网站在线观看播放| 观看免费一级毛片| 老熟女久久久| 亚洲av不卡在线观看| 另类精品久久| 日韩一区二区三区影片| 一本大道久久a久久精品| 欧美日韩国产mv在线观看视频| 国产精品久久久久久av不卡| 久久精品久久精品一区二区三区| 搡老乐熟女国产| 日韩成人av中文字幕在线观看| 国产男女内射视频| 大码成人一级视频| 亚州av有码| 国产精品国产三级国产av玫瑰| 少妇人妻 视频| 亚洲av成人精品一二三区| 91aial.com中文字幕在线观看| 国产免费一级a男人的天堂| 制服丝袜香蕉在线| 蜜臀久久99精品久久宅男| 男的添女的下面高潮视频| 女性生殖器流出的白浆| 女性生殖器流出的白浆| 亚洲成色77777| 日韩,欧美,国产一区二区三区| 国产成人freesex在线| 欧美97在线视频| 老女人水多毛片| 日日啪夜夜爽| 日日啪夜夜爽| 免费黄频网站在线观看国产| 少妇精品久久久久久久| 日本欧美视频一区| 男人添女人高潮全过程视频| 蜜桃久久精品国产亚洲av| 欧美 日韩 精品 国产| 91精品国产九色| 如何舔出高潮| 亚洲美女搞黄在线观看| 三上悠亚av全集在线观看 | 国产免费福利视频在线观看| 久久国产精品大桥未久av | 久久青草综合色| 免费观看无遮挡的男女| 国模一区二区三区四区视频| 亚洲综合精品二区| 亚洲国产最新在线播放| 欧美日韩国产mv在线观看视频| 一级毛片我不卡| 99久久人妻综合| 一本一本综合久久| 精品久久久精品久久久| 春色校园在线视频观看| 插阴视频在线观看视频| 精品卡一卡二卡四卡免费| 国产精品嫩草影院av在线观看| 一本久久精品| 欧美日韩国产mv在线观看视频| 简卡轻食公司| 国产精品一区www在线观看| 青青草视频在线视频观看| 搡女人真爽免费视频火全软件| 久久免费观看电影| 国产精品无大码| 国产 一区精品| 精华霜和精华液先用哪个| 爱豆传媒免费全集在线观看| 少妇的逼好多水| 一级毛片电影观看| 国产精品女同一区二区软件| 国产精品一区二区在线不卡| 大香蕉97超碰在线| 特大巨黑吊av在线直播| 男女无遮挡免费网站观看| 中文资源天堂在线| 高清午夜精品一区二区三区| 精品人妻偷拍中文字幕| 最黄视频免费看| 午夜久久久在线观看| 久久97久久精品| 五月天丁香电影| 高清av免费在线| √禁漫天堂资源中文www| 亚洲精品久久午夜乱码| 欧美 亚洲 国产 日韩一| 秋霞在线观看毛片| 国产精品蜜桃在线观看| 中文在线观看免费www的网站| 久久毛片免费看一区二区三区| 亚洲经典国产精华液单| 夫妻性生交免费视频一级片| 中文字幕人妻丝袜制服| 边亲边吃奶的免费视频| 一区二区三区精品91| 国产一区二区在线观看av| 成人特级av手机在线观看| 丰满少妇做爰视频| 狂野欧美激情性bbbbbb| 国产91av在线免费观看| 中文字幕人妻熟人妻熟丝袜美| 日日摸夜夜添夜夜添av毛片| www.av在线官网国产| 肉色欧美久久久久久久蜜桃| 精品久久久久久久久亚洲| 亚洲av男天堂| 一级片'在线观看视频| 亚洲av电影在线观看一区二区三区| 人妻人人澡人人爽人人| 国产精品一二三区在线看| 在线亚洲精品国产二区图片欧美 | 乱系列少妇在线播放| 特大巨黑吊av在线直播| 成人午夜精彩视频在线观看| 亚洲无线观看免费| 亚洲经典国产精华液单| 看十八女毛片水多多多| 日产精品乱码卡一卡2卡三| 国产一区二区在线观看av| 久久人人爽av亚洲精品天堂| 中文字幕精品免费在线观看视频 | 国产精品成人在线| 一级二级三级毛片免费看| 插阴视频在线观看视频| 熟女人妻精品中文字幕| 国产亚洲av片在线观看秒播厂| 午夜福利,免费看| 亚洲精品日韩在线中文字幕| 久久久久精品久久久久真实原创| 中文精品一卡2卡3卡4更新| 搡老乐熟女国产| 99久久精品国产国产毛片| 热re99久久精品国产66热6| 大又大粗又爽又黄少妇毛片口| 亚洲在久久综合| 欧美xxⅹ黑人| 搡女人真爽免费视频火全软件| 97在线视频观看| 免费观看无遮挡的男女| 久久久久国产精品人妻一区二区| 久久久久久久亚洲中文字幕| 高清视频免费观看一区二区| 一级,二级,三级黄色视频| 国产成人免费观看mmmm| 99九九线精品视频在线观看视频| 嫩草影院入口| 啦啦啦啦在线视频资源| 一级爰片在线观看| 久久久久久久久久成人| 你懂的网址亚洲精品在线观看| 国产精品无大码| 精品久久久久久电影网| 欧美性感艳星| 精品久久久精品久久久| 亚洲国产成人一精品久久久| 成人综合一区亚洲| 亚洲av日韩在线播放| 汤姆久久久久久久影院中文字幕| xxx大片免费视频| 国产精品久久久久久av不卡| 黄色视频在线播放观看不卡| 91成人精品电影| 久久久国产精品麻豆| 欧美精品一区二区免费开放| 久久人人爽人人爽人人片va| 免费观看无遮挡的男女| 一级黄片播放器| 成人综合一区亚洲| av福利片在线| 色婷婷久久久亚洲欧美| 国产亚洲一区二区精品| 中文乱码字字幕精品一区二区三区| 亚洲人成网站在线播| 亚洲丝袜综合中文字幕| 大香蕉久久网| 日韩av在线免费看完整版不卡| 又大又黄又爽视频免费| av天堂久久9| 热99国产精品久久久久久7| 国产深夜福利视频在线观看| 精品少妇黑人巨大在线播放| 汤姆久久久久久久影院中文字幕| 九色成人免费人妻av| 国模一区二区三区四区视频| 国产无遮挡羞羞视频在线观看| 99久久精品一区二区三区| 日本免费在线观看一区| 亚洲天堂av无毛| 国产亚洲最大av| 我要看黄色一级片免费的| 伊人久久国产一区二区| 三级经典国产精品| 如日韩欧美国产精品一区二区三区 | 99久久中文字幕三级久久日本| 久久久精品94久久精品| 大香蕉97超碰在线| 特大巨黑吊av在线直播| 欧美激情国产日韩精品一区| 一区二区三区精品91| 青春草亚洲视频在线观看| 国产精品99久久久久久久久| 寂寞人妻少妇视频99o| 国产精品秋霞免费鲁丝片| 日本av手机在线免费观看| 欧美日韩av久久| 久久狼人影院| 人妻夜夜爽99麻豆av| 女人精品久久久久毛片| 六月丁香七月| 丰满饥渴人妻一区二区三| 久久亚洲国产成人精品v| 日韩人妻高清精品专区| 黑人猛操日本美女一级片| 国产精品99久久99久久久不卡 | 美女国产视频在线观看| 久久97久久精品| 欧美日韩亚洲高清精品| 麻豆成人av视频| 亚洲av欧美aⅴ国产| 激情五月婷婷亚洲| 狂野欧美白嫩少妇大欣赏| 午夜免费男女啪啪视频观看| 国产成人精品无人区| 少妇的逼好多水| 国产精品99久久99久久久不卡 | 大码成人一级视频| 春色校园在线视频观看| 乱人伦中国视频| 欧美最新免费一区二区三区| 久久精品国产自在天天线| 久久6这里有精品| 午夜精品国产一区二区电影| 日韩,欧美,国产一区二区三区| 国产黄频视频在线观看| 视频中文字幕在线观看| 三级国产精品片| 两个人免费观看高清视频 | 亚洲色图综合在线观看| 免费看日本二区| 国产精品一区二区三区四区免费观看| 亚洲真实伦在线观看| 美女xxoo啪啪120秒动态图| 久久人人爽人人片av| 久热这里只有精品99| 亚洲av欧美aⅴ国产| 多毛熟女@视频| 嘟嘟电影网在线观看| 精品少妇黑人巨大在线播放| 久久国产乱子免费精品| 日韩欧美精品免费久久| 中文字幕制服av| 国产精品一区二区三区四区免费观看| 精华霜和精华液先用哪个| av卡一久久| 亚洲国产精品国产精品| 成人亚洲精品一区在线观看| 日本vs欧美在线观看视频 | 大香蕉久久网| 久久精品久久久久久噜噜老黄| 能在线免费看毛片的网站| 在线观看人妻少妇| 91久久精品电影网| 中国国产av一级| 国产69精品久久久久777片| 大香蕉久久网| 搡女人真爽免费视频火全软件| 亚洲婷婷狠狠爱综合网| 新久久久久国产一级毛片| 在线看a的网站| 伦理电影免费视频| 热re99久久精品国产66热6| 岛国毛片在线播放| 亚洲av成人精品一二三区| 亚洲婷婷狠狠爱综合网| 精品亚洲成a人片在线观看| 天天躁夜夜躁狠狠久久av| 久久国产亚洲av麻豆专区| 在线播放无遮挡| 一边亲一边摸免费视频| 熟妇人妻不卡中文字幕| 欧美亚洲 丝袜 人妻 在线| 老司机亚洲免费影院| 伦理电影大哥的女人| 激情五月婷婷亚洲| 久久久国产欧美日韩av| 黄片无遮挡物在线观看| 嫩草影院新地址| 成人美女网站在线观看视频| 午夜av观看不卡| 国产精品久久久久成人av| 久久久久久久久久成人| 国产男人的电影天堂91| 国产乱来视频区| 九九在线视频观看精品| 搡老乐熟女国产| 伊人久久国产一区二区| 亚洲一区二区三区欧美精品| av国产精品久久久久影院| 99久久人妻综合| 大香蕉久久网| 亚洲美女视频黄频| 精品一区二区三区视频在线| 日韩成人伦理影院| 看非洲黑人一级黄片| 亚洲成人手机| 免费人成在线观看视频色| 自拍偷自拍亚洲精品老妇| 久久韩国三级中文字幕| 欧美精品高潮呻吟av久久| 婷婷色麻豆天堂久久| 久久韩国三级中文字幕| 乱人伦中国视频| 日韩欧美 国产精品| 免费大片18禁| 伊人久久国产一区二区| 国产永久视频网站| 少妇裸体淫交视频免费看高清| 伊人久久国产一区二区| 交换朋友夫妻互换小说| 视频中文字幕在线观看| 久久久久久人妻| 成人毛片60女人毛片免费| 亚洲精品国产成人久久av| 亚洲成人一二三区av| 欧美区成人在线视频| 欧美少妇被猛烈插入视频| 久热久热在线精品观看| 女人久久www免费人成看片| 亚洲自偷自拍三级| 国产精品国产三级国产专区5o| 国产白丝娇喘喷水9色精品| 美女国产视频在线观看| 国产精品女同一区二区软件| 中文字幕亚洲精品专区| 欧美日韩综合久久久久久| 99热网站在线观看| 欧美 亚洲 国产 日韩一| 国产又色又爽无遮挡免| 亚洲一区二区三区欧美精品| av在线播放精品| 精品亚洲乱码少妇综合久久| 天天操日日干夜夜撸| 久久久久久久精品精品| 又爽又黄a免费视频| 亚洲精品乱码久久久久久按摩| 黑人猛操日本美女一级片| 三上悠亚av全集在线观看 | 一级二级三级毛片免费看| 亚洲国产精品成人久久小说| 91精品一卡2卡3卡4卡| av免费观看日本| 精品国产国语对白av| 人妻 亚洲 视频| 亚洲欧洲国产日韩| av女优亚洲男人天堂| 欧美日本中文国产一区发布| 国产一区亚洲一区在线观看| 国产精品一区www在线观看| 国产成人一区二区在线| 五月伊人婷婷丁香| 99久国产av精品国产电影| 精品久久久噜噜| 国产精品成人在线| 最近手机中文字幕大全| 亚洲人成网站在线观看播放| av播播在线观看一区| 91久久精品国产一区二区三区| 热re99久久精品国产66热6| 日本免费在线观看一区| 91久久精品国产一区二区三区| 自线自在国产av| freevideosex欧美| 日韩免费高清中文字幕av| 欧美+日韩+精品| 大片电影免费在线观看免费| 美女视频免费永久观看网站| 天天操日日干夜夜撸| 91精品国产国语对白视频| 人妻 亚洲 视频| av免费在线看不卡| 麻豆成人午夜福利视频| 国产精品一区二区三区四区免费观看| 亚洲精品国产色婷婷电影| 一级毛片aaaaaa免费看小| 精华霜和精华液先用哪个| 欧美xxxx性猛交bbbb| 两个人的视频大全免费| 久久 成人 亚洲| 欧美97在线视频| 久久精品国产自在天天线| 男人狂女人下面高潮的视频| 日韩av不卡免费在线播放| 六月丁香七月| 亚洲欧美成人精品一区二区| 亚洲av男天堂| 丰满饥渴人妻一区二区三| 美女大奶头黄色视频| 亚洲va在线va天堂va国产| 不卡视频在线观看欧美| 啦啦啦在线观看免费高清www| 狠狠精品人妻久久久久久综合| 亚洲精品久久久久久婷婷小说| 国产老妇伦熟女老妇高清| 国产欧美亚洲国产| 伦理电影免费视频| 黄色欧美视频在线观看| 国内揄拍国产精品人妻在线| 中文字幕免费在线视频6| 视频区图区小说| 亚洲国产欧美日韩在线播放 | 国精品久久久久久国模美| 免费看不卡的av| 久久久国产一区二区| av在线老鸭窝| 99久久中文字幕三级久久日本| 免费看日本二区| 国产精品成人在线| 午夜激情福利司机影院| 亚洲欧美一区二区三区黑人 | 夜夜骑夜夜射夜夜干| 国产精品久久久久久久电影| 欧美日韩国产mv在线观看视频| av有码第一页| 久久精品久久精品一区二区三区| 国产色婷婷99| 亚洲综合色惰| 涩涩av久久男人的天堂| 国产成人免费观看mmmm| 嘟嘟电影网在线观看| freevideosex欧美| 久久人人爽人人片av| 国内少妇人妻偷人精品xxx网站| 国产淫片久久久久久久久| 亚洲成人av在线免费| 免费观看无遮挡的男女| 国产成人精品福利久久| 久久久久久久精品精品| 精品人妻熟女毛片av久久网站| 一级毛片久久久久久久久女| 欧美高清成人免费视频www| 精品一区在线观看国产| 日韩一区二区视频免费看| 丰满人妻一区二区三区视频av| av黄色大香蕉| 九九久久精品国产亚洲av麻豆| 中文字幕制服av| 免费人妻精品一区二区三区视频| 亚洲欧美日韩另类电影网站| 日韩av在线免费看完整版不卡| 2021少妇久久久久久久久久久| .国产精品久久| 亚洲高清免费不卡视频| 日本黄色日本黄色录像| 91精品国产国语对白视频| 九九在线视频观看精品| 国产亚洲精品久久久com| 国产成人精品久久久久久| 亚洲欧美日韩卡通动漫| 欧美激情极品国产一区二区三区 | 久久精品熟女亚洲av麻豆精品| 国产精品人妻久久久影院| 精品亚洲乱码少妇综合久久| www.色视频.com| 涩涩av久久男人的天堂| 亚州av有码| 欧美一级a爱片免费观看看| 一级片'在线观看视频| 两个人免费观看高清视频 | 国产免费又黄又爽又色| 精品久久久久久电影网| 亚洲av在线观看美女高潮| 久久久久久久久大av| 又黄又爽又刺激的免费视频.| 一本色道久久久久久精品综合| av在线app专区| 18禁裸乳无遮挡动漫免费视频| 久久久a久久爽久久v久久| a 毛片基地| 欧美精品一区二区大全| 国产精品嫩草影院av在线观看| 欧美日韩综合久久久久久| 一二三四中文在线观看免费高清| 伦精品一区二区三区| 伦理电影免费视频| 久久亚洲国产成人精品v| 9色porny在线观看| 国产成人精品福利久久| 精品国产国语对白av| 久久人妻熟女aⅴ|