• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    面向虛擬數(shù)據(jù)空間的智能TCP擁塞控制算法

    2021-05-11 07:05:14王龍翔董凱李小軒董小社張興軍朱正東王宇菲張利平
    關(guān)鍵詞:控制算法長(zhǎng)度狀態(tài)

    王龍翔,董凱,李小軒,董小社,張興軍,朱正東,王宇菲,張利平

    (1.西安交通大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,710049,西安;2.西安美術(shù)學(xué)院信息中心,710065,西安)

    當(dāng)前,國(guó)家高性能計(jì)算環(huán)境中存儲(chǔ)資源廣域分散且隔離自治,大型計(jì)算應(yīng)用迫切需要可支持跨域統(tǒng)一訪問、廣域數(shù)據(jù)共享、存儲(chǔ)與計(jì)算協(xié)同的全局?jǐn)?shù)據(jù)空間。因此,我國(guó)擬構(gòu)建跨域虛擬數(shù)據(jù)空間,實(shí)現(xiàn)廣域安全可靠數(shù)據(jù)共享、計(jì)算與存儲(chǔ)高效協(xié)同、跨域多源數(shù)據(jù)聚合處理等關(guān)鍵科學(xué)問題,從而發(fā)揮廣域資源聚合效應(yīng),有效支撐大型計(jì)算應(yīng)用。虛擬數(shù)據(jù)空間的部署環(huán)境包括3個(gè)國(guó)家級(jí)超算中心(廣州、濟(jì)南、長(zhǎng)沙)、兩個(gè)國(guó)家網(wǎng)格南北主節(jié)點(diǎn)(中國(guó)科學(xué)院、上海)。虛擬數(shù)據(jù)空間在線存儲(chǔ)近30 PB,活躍用戶數(shù)超過6 000個(gè),長(zhǎng)期支撐數(shù)值模擬、大數(shù)據(jù)、人工智能等眾多大型計(jì)算應(yīng)用。虛擬數(shù)據(jù)空間存儲(chǔ)數(shù)據(jù)規(guī)模達(dá)到PB級(jí),其上層典型應(yīng)用包括天氣預(yù)報(bào)、全基因組關(guān)聯(lián)分析等。不同超算中心在進(jìn)行跨域節(jié)點(diǎn)數(shù)據(jù)遷移時(shí),規(guī)模通??蛇_(dá)GB級(jí)甚至TB級(jí),對(duì)網(wǎng)絡(luò)傳輸性能提出了挑戰(zhàn)。

    為了實(shí)現(xiàn)虛擬數(shù)據(jù)空間可靠數(shù)據(jù)遷移,需要構(gòu)建高效的可靠網(wǎng)絡(luò)傳輸協(xié)議,而擁塞控制是實(shí)現(xiàn)高效可靠傳輸?shù)年P(guān)鍵技術(shù)。虛擬數(shù)據(jù)空間構(gòu)建于廣域網(wǎng)之上,其網(wǎng)絡(luò)環(huán)境復(fù)雜多變,盡管在過去30年中研究者提出了各種各樣的TCP擁塞控制算法(例如NewReno、Cubic等),但是這些算法普遍針對(duì)特定的網(wǎng)絡(luò)環(huán)境,只能按照預(yù)先定義的規(guī)則進(jìn)行擁塞控制,難以適應(yīng)虛擬數(shù)據(jù)空間復(fù)雜多變的網(wǎng)絡(luò)環(huán)境。

    NewReno[1]和Cubic[2]使用數(shù)據(jù)包丟失來檢測(cè)擁塞,并在檢測(cè)到擁塞后降低擁塞窗口長(zhǎng)度。Vegas[3]使用延遲、而不是丟包作為擁塞信號(hào),可以解決基于丟包的擁塞控制問題。當(dāng)Vegas檢測(cè)到往返時(shí)延(RTT)超過設(shè)定值時(shí),就會(huì)開始降低擁塞窗口長(zhǎng)度。Westwood[4]改良自NewReno,基于傳輸能力的擁塞控制機(jī)制使用鏈路發(fā)送能力的預(yù)測(cè)作為擁塞控制的依據(jù),通過測(cè)量確認(rèn)字符(ACK)包來確定合適的發(fā)送速度,并以此調(diào)整窗口和慢啟動(dòng)閾值。混合擁塞控制機(jī)制組合兩種擁塞控制機(jī)制,以得到它們各自的優(yōu)勢(shì),進(jìn)而更好地進(jìn)行擁塞控制。Compound[5]、BBR[6]都屬于混合擁塞控制機(jī)制。

    傳統(tǒng)擁塞控制機(jī)制使用確定的規(guī)則集對(duì)擁塞窗口及其他相關(guān)參數(shù)進(jìn)行控制,很難適應(yīng)現(xiàn)代網(wǎng)絡(luò)的復(fù)雜性和快速發(fā)展。因此,研究者提出了基于強(qiáng)化學(xué)習(xí)的擁塞控制算法。強(qiáng)化學(xué)習(xí)作為機(jī)器學(xué)習(xí)的研究熱點(diǎn),已經(jīng)廣泛應(yīng)用于無人機(jī)控制[7]、機(jī)器人控制[8]、優(yōu)化與調(diào)度[9-11]以及游戲博弈[12]等領(lǐng)域。強(qiáng)化學(xué)習(xí)的基本思想是構(gòu)造一個(gè)智能體,使智能體與環(huán)境進(jìn)行互動(dòng),通過最大化智能體從環(huán)境中獲得的累計(jì)獎(jiǎng)賞,學(xué)習(xí)到完成目標(biāo)的最優(yōu)策略。相比傳統(tǒng)擁塞控制算法,基于強(qiáng)化學(xué)習(xí)的擁塞控制算法適應(yīng)性好,能自主從網(wǎng)絡(luò)環(huán)境中學(xué)習(xí)新的擁塞控制策略。

    文獻(xiàn)[13]提出了一種基于強(qiáng)化學(xué)習(xí)的算法生成擁塞控制規(guī)則,專門針對(duì)多媒體應(yīng)用優(yōu)化體驗(yàn)質(zhì)量。文獻(xiàn)[14]使用強(qiáng)化學(xué)習(xí)算法來自適應(yīng)地更改參數(shù)配置,從而提高了視頻流的體驗(yàn)質(zhì)量。文獻(xiàn)[15]提出了一種自定義的擁塞控制算法Hd-TCP,應(yīng)用深度強(qiáng)化學(xué)習(xí)從傳輸層角度處理高鐵上網(wǎng)絡(luò)頻繁切換引起的網(wǎng)絡(luò)體驗(yàn)較差的情況。文獻(xiàn)[16]利用模型輔助的深度強(qiáng)化學(xué)習(xí)框架提高了虛擬網(wǎng)絡(luò)功能的適用性。文獻(xiàn)[17]主要針對(duì)災(zāi)難性5G毫米波網(wǎng)絡(luò),通過監(jiān)測(cè)節(jié)點(diǎn)的移動(dòng)性信息和信號(hào)強(qiáng)度,并通過預(yù)測(cè)何時(shí)斷開和重新連接網(wǎng)絡(luò)來調(diào)整TCP擁塞窗口長(zhǎng)度。文獻(xiàn)[18]提出了一種基于深度學(xué)習(xí)的5G移動(dòng)邊緣計(jì)算擁塞窗口長(zhǎng)度。文獻(xiàn)[19]基于深度強(qiáng)化學(xué)習(xí),設(shè)計(jì)并開發(fā)了一種針對(duì)命名數(shù)據(jù)網(wǎng)絡(luò)的擁塞控制機(jī)制DRL-CCP。TCP-Drinc[20]是基于深度強(qiáng)化學(xué)習(xí)的無模型智能擁塞控制算法,它從過去的網(wǎng)絡(luò)狀態(tài)和經(jīng)驗(yàn)中獲得特征值,并根據(jù)這些特征值的集合調(diào)整擁塞窗口長(zhǎng)度。TCP-Drinc在吞吐量和RTT之間取得了平衡,比NewReno、Vegas等算法具有更穩(wěn)定、平均的表現(xiàn),但在吞吐量上并沒有明顯的改善。Rax算法[21]使用在線強(qiáng)化學(xué)習(xí),根據(jù)給定的獎(jiǎng)勵(lì)函數(shù)和網(wǎng)絡(luò)狀況維持最佳的擁塞窗口長(zhǎng)度。該算法丟包率較低,但對(duì)比Reno、PCC等算法,吞吐率提升較小。QTCP[22]基于Q-learning進(jìn)行擁塞控制[23],吞吐率有進(jìn)一步提升。Q-learning的核心思想是求出所有狀態(tài)-動(dòng)作對(duì)(s,a)的價(jià)值Q,Q代表了在當(dāng)前狀態(tài)s下選擇a可以獲得的回合內(nèi)預(yù)期獎(jiǎng)勵(lì)值。如果求出了所有狀態(tài)-動(dòng)作對(duì)(s,a)的價(jià)值Q,則只需每次在狀態(tài)s下選擇能使Q最大的動(dòng)作a即可實(shí)現(xiàn)最優(yōu)擁塞控制策略。然而,Q-learning算法存在學(xué)習(xí)速度慢、收斂難的問題。由于Q-learning算法旨在求出所有狀態(tài)-動(dòng)作對(duì)(s,a)的無偏Q,因此需要根據(jù)Bellman方程反復(fù)迭代才能求出Q的準(zhǔn)確值,當(dāng)Q發(fā)生輕微變化時(shí),可能導(dǎo)致訓(xùn)練過程發(fā)生反復(fù)振蕩。當(dāng)Q-learning算法的動(dòng)作空間較大時(shí),Q-learning極易收斂到局部最優(yōu)解,而基于策略梯度的強(qiáng)化學(xué)習(xí)算法則解決了Q-learning算法存在的學(xué)習(xí)速度慢、收斂難等缺陷,策略梯度算法的思想是直接優(yōu)化策略函數(shù),通過梯度上升的方式使策略函數(shù)獲得的獎(jiǎng)勵(lì)值最大。近端策略優(yōu)化(PPO2)是目前最佳的策略梯度算法之一[24],已被OpenAI公司作為默認(rèn)梯度策略算法。

    有鑒于此,本文提出了基于PPO2算法的擁塞控制算法TCP-PPO2,該算法可以在學(xué)習(xí)過程快速收斂,實(shí)現(xiàn)虛擬數(shù)據(jù)空間的高效可靠數(shù)據(jù)遷移。與主流擁塞控制算法相比的結(jié)果表明,本文算法在虛擬數(shù)據(jù)空間應(yīng)用環(huán)境中可行有效。

    1 基于PPO2的TCP擁塞控制算法

    TCP-PPO2算法框架如圖1所示。強(qiáng)化學(xué)習(xí)需要構(gòu)造環(huán)境和智能體。將虛擬數(shù)據(jù)空間網(wǎng)絡(luò)作為環(huán)境,通過觀察環(huán)境中的狀態(tài)信息,構(gòu)造智能體使用的策略函數(shù),生成最優(yōu)控制動(dòng)作,策略函數(shù)采用人工神經(jīng)網(wǎng)絡(luò)進(jìn)行擬合。智能體根據(jù)策略函數(shù)輸出的動(dòng)作對(duì)擁塞窗口長(zhǎng)度進(jìn)行調(diào)節(jié),優(yōu)化虛擬數(shù)據(jù)空間網(wǎng)絡(luò)性能。在生成動(dòng)作并與環(huán)境互動(dòng)后,智能體會(huì)從環(huán)境中收獲獎(jiǎng)勵(lì)值。智能體根據(jù)獎(jiǎng)勵(lì)值評(píng)判所選動(dòng)作的優(yōu)劣,并根據(jù)獎(jiǎng)勵(lì)值更新人工神經(jīng)網(wǎng)絡(luò)參數(shù),使策略函數(shù)能夠生成收獲獎(jiǎng)勵(lì)值更多的動(dòng)作。

    圖1 TCP-PPO2算法框架Fig.1 Framework of TCP-PPO2 algorithm

    根據(jù)是否求出狀態(tài)概率轉(zhuǎn)移矩陣,可將強(qiáng)化學(xué)習(xí)分為無模型和基于模型兩種類型。

    基于模型算法從環(huán)境模型中交互得到樣本,根據(jù)樣本估計(jì)狀態(tài)概率轉(zhuǎn)移矩陣對(duì)環(huán)境進(jìn)行建模。獲得的樣本能夠多次使用,樣本利用率高。根據(jù)狀態(tài)概率轉(zhuǎn)移矩陣能夠更好地設(shè)計(jì)獎(jiǎng)勵(lì)值來引導(dǎo)智能體學(xué)習(xí)。但是,基于模型算法對(duì)環(huán)境的建??赡艽嬖谄?。模型一旦確立,訓(xùn)練好之后,環(huán)境出現(xiàn)新的改變就會(huì)失效,泛化能力差?;谀P退惴ǖ牡湫痛硎莿?dòng)態(tài)規(guī)劃。

    無模型算法直接根據(jù)從環(huán)境交互中得到的反饋信息(獎(jiǎng)勵(lì)值)求出最優(yōu)控制策略,而不是求出狀態(tài)概率轉(zhuǎn)移矩陣。該算法泛化能力強(qiáng),但是存在學(xué)習(xí)效率低、收斂慢的問題。這是因?yàn)樵撍惴愃茖h(huán)境作為一個(gè)黑盒進(jìn)行反復(fù)試錯(cuò)求出最優(yōu)控制策略,智能體缺少足夠的指引。Q-learning[23]、PPO2[24]都是典型的無模型算法。

    這兩類算法的區(qū)別在于是否能夠求出狀態(tài)概率轉(zhuǎn)移矩陣。對(duì)于本文要研究的虛擬數(shù)據(jù)空間網(wǎng)絡(luò)擁塞控制,求出狀態(tài)概率轉(zhuǎn)移矩陣難度大、代價(jià)高,而且網(wǎng)絡(luò)環(huán)境會(huì)不斷發(fā)生變化,從而導(dǎo)致需要不斷更新狀態(tài)概率轉(zhuǎn)移矩陣。因此,本文采用的是無模型算法,智能體在不了解狀態(tài)概率轉(zhuǎn)移矩陣的情況下求得最優(yōu)擁塞控制策略。

    1.1 問題形式化

    將基于強(qiáng)化學(xué)習(xí)的TCP擁塞控制過程抽象為一個(gè)可部分觀察的馬爾可夫決策過程,定義為五元組{S,A,R,P,γ}。其中:S為所有環(huán)境狀態(tài)的集合,st∈S表示在t時(shí)刻觀察到的狀態(tài),初始狀態(tài)為s0;A為可執(zhí)行動(dòng)作的集合,at∈A表示在t時(shí)刻所采取的動(dòng)作;R為獎(jiǎng)勵(lì)值函數(shù),定義為R(st,at)=E[Rt+1|st,at],表示在t時(shí)刻觀察到狀態(tài)為st、選擇動(dòng)作at后,在t+1時(shí)刻收到獎(jiǎng)勵(lì)Rt+1;P為轉(zhuǎn)移概率矩陣;γ∈[0,1]為折扣因子,是對(duì)未來得到獎(jiǎng)勵(lì)的懲罰比例,折扣因子體現(xiàn)了強(qiáng)化學(xué)習(xí)算法的設(shè)計(jì)思想,即優(yōu)先考慮能夠立刻得到的獎(jiǎng)勵(lì)值,未來得到的獎(jiǎng)勵(lì)值會(huì)按一定比例進(jìn)行衰減。

    強(qiáng)化學(xué)習(xí)算法從初始狀態(tài)s0開始,根據(jù)當(dāng)前觀察到的狀態(tài)st,由策略函數(shù)π(at|st)選擇動(dòng)作at,根據(jù)狀態(tài)轉(zhuǎn)移概率P(st+1|st,at)到達(dá)新狀態(tài)st+1,從環(huán)境中得到獎(jiǎng)勵(lì)rt+1。強(qiáng)化學(xué)習(xí)的目標(biāo)是優(yōu)化策略函數(shù)使獎(jiǎng)勵(lì)期望值最大,獎(jiǎng)勵(lì)值期望定義為

    (1)

    式中T代表結(jié)束時(shí)刻。

    1.2 PPO2原理

    強(qiáng)化學(xué)習(xí)算法需要設(shè)計(jì)策略函數(shù)π(at|st),使其能夠在狀態(tài)st下生成執(zhí)行某個(gè)動(dòng)作at的概率。人工神經(jīng)網(wǎng)絡(luò)理論上能夠擬合任意函數(shù),因此目前強(qiáng)化學(xué)習(xí)算法通過人工神經(jīng)網(wǎng)絡(luò)擬合策略函數(shù)π(at|st),神經(jīng)網(wǎng)絡(luò)參數(shù)記作θ。強(qiáng)化學(xué)習(xí)的目標(biāo)是使得每次做出的動(dòng)作都能取得最大獎(jiǎng)勵(lì)值,核心是如何評(píng)判所選擇動(dòng)作的優(yōu)劣。為此,定義優(yōu)勢(shì)函數(shù)

    (2)

    式中Vφ(st)是狀態(tài)st的值函數(shù),反映了在狀態(tài)st下,預(yù)期本次回合結(jié)束后能夠取得的所有累計(jì)獎(jiǎng)勵(lì)值。優(yōu)勢(shì)函數(shù)反映了在時(shí)刻t選擇動(dòng)作at相對(duì)平均動(dòng)作的優(yōu)勢(shì)。如果保存所有狀態(tài)st和動(dòng)作at對(duì)應(yīng)的價(jià)值vt為二維表格,由于狀態(tài)st取值范圍龐大,會(huì)導(dǎo)致二維表格存儲(chǔ)空間巨大而難以存儲(chǔ)。因此,同樣選擇人工神經(jīng)網(wǎng)絡(luò)對(duì)值函數(shù)Vφ(st)進(jìn)行近似表示。最終,定義強(qiáng)化學(xué)習(xí)的優(yōu)化目標(biāo)函數(shù)

    (3)

    式(3)函數(shù)的目標(biāo)是通過更新策略函數(shù)參數(shù)θ使得每次做出動(dòng)作都能獲得更大的獎(jiǎng)勵(lì)值。然而,目標(biāo)函數(shù)LMSE存在的問題是如果參數(shù)θ更新幅度過大,會(huì)造成梯度上升時(shí)反復(fù)振蕩而無法快速收斂到最優(yōu)點(diǎn)。為此,PPO2算法重新定義目標(biāo)函數(shù)

    Lclip(θ)=

    (4)

    式中:clip函數(shù)是截?cái)嗪瘮?shù),定義為

    clip(r,1-ε,1+ε)=

    (5)

    rt(θ)為概率比函數(shù),定義為

    (6)

    rt(θ)反映了參數(shù)更新的變化幅度,rt(θ)越大,則更新參數(shù)幅度越大,反之則越小。

    式(3)的目標(biāo)是求得值函數(shù)Vφ(st)的有偏估計(jì),因此采用常用的最小二乘法定義目標(biāo)函數(shù),平方運(yùn)算保證了目標(biāo)函數(shù)非負(fù)性。式(4)中的優(yōu)勢(shì)函數(shù)取值為正時(shí),代表當(dāng)前動(dòng)作獲取的獎(jiǎng)勵(lì)值高于平均值,目標(biāo)函數(shù)優(yōu)化目標(biāo)是讓智能體盡量選擇這類動(dòng)作;優(yōu)勢(shì)函數(shù)為負(fù)時(shí),代表當(dāng)前動(dòng)作獲取的獎(jiǎng)勵(lì)值低于平均值,智能體應(yīng)該避免選擇該動(dòng)作。Lclip(θ)函數(shù)通過截取rt(θ),將其限制在[1-ε,1+ε]之間,從而避免更新波動(dòng)過大。Lclip(θ)函數(shù)示意如圖2所示。當(dāng)優(yōu)勢(shì)函數(shù)L>0時(shí),如果rt(θ)大于1+ε,則將其截?cái)?使其不會(huì)過大。同樣,當(dāng)L<0時(shí),如果rt(θ)小于1-ε,也將其截?cái)?使其不會(huì)過小。Lclip(θ)函數(shù)保證了rt(θ)不會(huì)出現(xiàn)劇烈波動(dòng)。

    (a)L>0 (b)L<0圖2 截?cái)嗪瘮?shù)示意Fig.2 Schematic diagram of clip function

    1.3 算法收斂性

    PPO2在TRPO算法[24]基礎(chǔ)上進(jìn)一步改進(jìn),兩者都是基于minorize-maximization算法,目標(biāo)是最大化期望獎(jiǎng)勵(lì)η(θ*)。其中,η為折扣獎(jiǎng)勵(lì)函數(shù),θ*為待尋找的最佳策略參數(shù)。在每一次迭代中,找到一個(gè)替代函數(shù)M,M為折扣期望獎(jiǎng)勵(lì)的下界,也是當(dāng)前策略下對(duì)折扣期望獎(jiǎng)勵(lì)的估計(jì)。本文M為目標(biāo)函數(shù)Lclip(θ),其迭代過程如圖3所示。

    圖3 PPO2迭代過程示意Fig.3 Schematic diagram of PPO2 iteration process

    當(dāng)前策略參數(shù)θk建立折扣獎(jiǎng)勵(lì)函數(shù)η的下界Mk。最優(yōu)化Mk,找到θk+1作為下一個(gè)策略參數(shù)。用θk+1重新估計(jì)下界Mk+1,并重復(fù)這個(gè)過程。由于只有有限個(gè)可能的策略,且每一次迭代的策略都使得新策略更加接近最佳策略,PPO2最終會(huì)收斂到局部或全局最優(yōu)。

    為了對(duì)這一過程進(jìn)行證明,定義折扣獎(jiǎng)勵(lì)函數(shù)

    (7)

    折扣獎(jiǎng)勵(lì)函數(shù)是強(qiáng)化學(xué)習(xí)算法要優(yōu)化的目標(biāo)函數(shù)。

    定義函數(shù)

    (8)

    式中ρπ(s)是狀態(tài)分布,公式為

    ρπ(s)=P(s0=s)+γP(s1=s)+γ2P(s2=s)+…

    (9)

    文獻(xiàn)[25]證明了不等式(10)成立

    (10)

    式中

    (11)

    (12)

    其中DKL是兩個(gè)策略之間的KL散度。

    定義替代函數(shù)M為

    (13)

    根據(jù)式(10)定義有

    η(πi+1)≥Mi(πi+1)

    (14)

    由于兩個(gè)相同的策略KL散度為0,因此

    η(πi)=Mi(πi)=Li(πi)

    (15)

    從而得到

    η(πi+1)-η(πi)≥Mi(πi+1)-Mi(πi)

    (16)

    如果新的策略函數(shù)πi+1能使得Mi最優(yōu),那么有不等式Mi(πi+1)-Mi(πi)≥0成立,進(jìn)而有

    η(πi+1)-η(πi)≥0

    (17)

    因此,只要不斷尋找能使Mi最優(yōu)的策略就能保證強(qiáng)化學(xué)習(xí)目標(biāo)函數(shù)η在每次迭代中不會(huì)下降,最終收斂到局部或者全局最優(yōu)點(diǎn),即

    (18)

    文獻(xiàn)[25]指出,式(18)更新幅度過小,導(dǎo)致收斂慢。為增加策略更新幅度,可將優(yōu)化問題轉(zhuǎn)換為

    (19)

    (20)

    新的優(yōu)化問題為

    (21)

    對(duì)Lπθold(π)展開,并采用重要性采樣進(jìn)行替換,可將優(yōu)化目標(biāo)變化為

    (22)

    論述PPO2算法的文獻(xiàn)[24]指出,為了算法更加易于實(shí)現(xiàn),可將優(yōu)化目標(biāo)函數(shù)L變?yōu)?/p>

    (23)

    優(yōu)化問題變?yōu)?/p>

    (24)

    式(24)仍然滿足不等式(16),因此PPO2可以最終收斂到最優(yōu)點(diǎn)。

    1.4 狀態(tài)空間設(shè)計(jì)

    選取合理的狀態(tài)st是實(shí)現(xiàn)高效強(qiáng)化學(xué)習(xí)算法的關(guān)鍵,只有觀察到足夠多的信息才能使強(qiáng)化學(xué)習(xí)算法做出正確的動(dòng)作選擇。然而,狀態(tài)信息過多也會(huì)增加計(jì)算量,減慢學(xué)習(xí)速度。因此,本文參考了Cubic等主流TCP算法進(jìn)行決策需要的狀態(tài)參數(shù),設(shè)計(jì)狀態(tài)st。st包含以下參數(shù)。

    (1)當(dāng)前相對(duì)時(shí)間tr。定義為從TCP建立連接開始到目前已消耗的時(shí)間。在Cubic等算法中,窗口長(zhǎng)度被設(shè)計(jì)為時(shí)間tr的3次函數(shù)。因此,tr是決定擁塞窗口的重要參數(shù)。

    (2)當(dāng)前擁塞窗口長(zhǎng)度。擁塞控制算法需要根據(jù)當(dāng)前擁塞窗口長(zhǎng)度來調(diào)節(jié)窗口新值,如果當(dāng)前擁塞窗口長(zhǎng)度較小,則可以更快的速率增加窗口長(zhǎng)度,如果窗口較大,則停止增加窗口或更緩慢地增加窗口長(zhǎng)度。

    (3)未被確認(rèn)的字節(jié)數(shù)。定義為已發(fā)送但還未被接收方確認(rèn)的字節(jié)數(shù)。如果把網(wǎng)絡(luò)鏈路比喻做水管,則未被確認(rèn)的字節(jié)數(shù)可以形象地理解為管道中儲(chǔ)存的水量。該參數(shù)也是擁塞控制算法需要參考的重要參數(shù),如果管道中水量充足,則應(yīng)該停止或減少向管道中注水,如果管道中水量較小,則應(yīng)該向管道中增加注水量,并且可以根據(jù)管道中的水量決定注水速率(擁塞窗口長(zhǎng)度)。

    (4)已收到的ACK包數(shù)量。該參數(shù)能夠間接反映擁塞情況,如果收到的ACK包數(shù)量正常,則說明網(wǎng)絡(luò)狀況良好,未發(fā)生擁塞,可以適時(shí)增大擁塞窗口長(zhǎng)度,否則說明網(wǎng)絡(luò)發(fā)生擁塞,應(yīng)該維持或減小擁塞窗口長(zhǎng)度。

    (5)RTT。時(shí)延指一個(gè)數(shù)據(jù)包從發(fā)送到接收確認(rèn)包花費(fèi)的總時(shí)間,可形象地理解為數(shù)據(jù)從發(fā)送端到接收端進(jìn)行一次往返的時(shí)間。時(shí)延跟網(wǎng)絡(luò)擁塞情況密切相關(guān),如果網(wǎng)絡(luò)擁塞嚴(yán)重,則時(shí)延會(huì)顯著上升。因此,時(shí)延可以反映網(wǎng)絡(luò)擁塞情況,擁塞控制算法可以根據(jù)時(shí)延對(duì)擁塞窗口進(jìn)行調(diào)節(jié)。

    (6)吞吐率。定義為接收方每秒確認(rèn)的數(shù)據(jù)字節(jié)數(shù)。該參數(shù)直接反映了網(wǎng)絡(luò)狀況,吞吐率高說明目前鏈路中已發(fā)送足夠的數(shù)據(jù)包,否則說明當(dāng)前網(wǎng)絡(luò)帶寬剩余較多,可向鏈路中增加發(fā)送數(shù)據(jù)包。

    (7)丟失包數(shù)量。丟失包數(shù)量越多說明當(dāng)前網(wǎng)絡(luò)擁塞嚴(yán)重,需要減小擁塞窗口長(zhǎng)度,丟失包數(shù)量少說明當(dāng)前網(wǎng)絡(luò)未發(fā)生擁塞,應(yīng)該增大擁塞窗口長(zhǎng)度。

    1.5 動(dòng)作空間設(shè)計(jì)

    at為在時(shí)刻t對(duì)擁塞窗口做出的控制動(dòng)作。本文定義動(dòng)作為將擁塞窗口長(zhǎng)度c增加n個(gè)段長(zhǎng)度s′

    c=cold+ns′

    (25)

    式(25)設(shè)計(jì)的思路是提供一個(gè)泛化公式,根據(jù)觀察到的狀態(tài)參數(shù)信息,決定擁塞窗口長(zhǎng)度增長(zhǎng)速率。在不同的網(wǎng)絡(luò)場(chǎng)景下,選擇不同的策略。在高帶寬環(huán)境下,調(diào)節(jié)n>1,使擁塞窗口長(zhǎng)度以指數(shù)速度增長(zhǎng);在低帶寬環(huán)境下,調(diào)節(jié)n=1,使擁塞窗口以線性速度增長(zhǎng);在網(wǎng)絡(luò)發(fā)生擁塞時(shí),調(diào)節(jié)n≤0,保持或減小擁塞窗口長(zhǎng)度,減輕網(wǎng)絡(luò)擁塞壓力。

    1.6 獎(jiǎng)勵(lì)函數(shù)

    獎(jiǎng)勵(lì)rt定義為在時(shí)刻t從環(huán)境中收到的獎(jiǎng)勵(lì),設(shè)計(jì)獎(jiǎng)勵(lì)函為

    (26)

    式中:O為當(dāng)前觀察到的吞吐率,Omax為歷史觀察到的最大吞吐率,兩者的比反映了動(dòng)作at能增加的吞吐率效果;l代表觀察期間的平均時(shí)延,lmin代表歷史中觀察到的最小時(shí)延,兩者的比反映了動(dòng)作at改善的時(shí)延效果;α為權(quán)重因子,屬于超參數(shù),反映了吞吐率和時(shí)延對(duì)獎(jiǎng)勵(lì)的權(quán)重比例。α決定了擁塞控制算法的優(yōu)化目標(biāo)更側(cè)重于吞吐率還是時(shí)延。本文選擇α=0.5以平衡吞吐率和時(shí)延。此外,保存歷史最小吞吐率與最大時(shí)延。當(dāng)觀察到當(dāng)前吞吐率小于等于最小吞吐率或者大于等于最大時(shí)延時(shí),設(shè)置獲得獎(jiǎng)勵(lì)為-10,使智能體避免到達(dá)這兩種極端狀態(tài)。

    1.7 算法描述及復(fù)雜度分析

    算法的輸入為網(wǎng)絡(luò)當(dāng)前狀態(tài)st,輸出為新的窗口長(zhǎng)度cnew,偽代碼如下。

    輸入:st={擁塞窗口長(zhǎng)度,ACK包數(shù)量,時(shí)延,吞吐率,丟包率}

    輸出:調(diào)節(jié)后新?lián)砣翱陂L(zhǎng)度

    1.初始化策略參數(shù)θ0=θold=θnew

    2.運(yùn)行策略πθk共T個(gè)時(shí)間步,收集{st,at}

    3.θold←θnew

    7.通過梯度上升法更新參數(shù)θ,使Lclip(θ)最大

    8.c=cold+ns′

    TCP-PPO2只需存儲(chǔ)神經(jīng)網(wǎng)絡(luò)的參數(shù),本文實(shí)驗(yàn)中構(gòu)建了一個(gè)3層神經(jīng)網(wǎng)絡(luò),因此空間復(fù)雜度為O(1)。TCP-PPO2在做訓(xùn)練和推理時(shí)需要根據(jù)輸入的觀察狀態(tài)由模型計(jì)算得到動(dòng)作值,因此時(shí)間復(fù)雜度與輸入數(shù)據(jù)量成正比,即O(n)。

    2 實(shí) 驗(yàn)

    2.1 實(shí)驗(yàn)環(huán)境

    2.1.1 軟硬件環(huán)境 實(shí)驗(yàn)使用了一臺(tái)高性能服務(wù)器,具體配置如下:①CPU,Intel(R) Xeon(R) Silver 4110 CPU @ 2.10 GHz;②內(nèi)存,32 GB DDR4;③GPU,NVIDIA Titan V;④操作系統(tǒng),Red Hat 4.8.5-28。

    通過NS3仿真器模擬了虛擬數(shù)據(jù)空間網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu),并實(shí)現(xiàn)了TCP-PPO2算法,與具有代表性的TCP擁塞控制算法Cubic、NewReno和HighSpeed進(jìn)行了對(duì)比。Cubic在Linux內(nèi)核2.6.19版本以后作為默認(rèn)TCP擁塞控制算法;NewReno是經(jīng)典的擁塞控制算法;HighSpeed是面向高速網(wǎng)絡(luò)環(huán)境設(shè)計(jì)的擁塞控制算法。TCP-PPO2時(shí)間步長(zhǎng)設(shè)為0.1 s,一共訓(xùn)練了50萬步,在訓(xùn)練到6萬步以后,獲得的獎(jiǎng)勵(lì)值已趨于穩(wěn)定,表明算法已經(jīng)收斂。

    2.1.2 網(wǎng)絡(luò)拓?fù)?實(shí)驗(yàn)用經(jīng)典的啞鈴型網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)模擬了虛擬數(shù)據(jù)空間兩個(gè)超算中心中間的網(wǎng)絡(luò)特點(diǎn)。網(wǎng)絡(luò)拓?fù)淙鐖D4所示。圖中:N1和N2代表兩個(gè)超算中心之間的前端通信節(jié)點(diǎn),負(fù)責(zé)進(jìn)行虛擬數(shù)據(jù)空間網(wǎng)絡(luò)數(shù)據(jù)遷移,N1為數(shù)據(jù)發(fā)送方,N2為數(shù)據(jù)接收方;N1-T1和N2-T2鏈路代表超算中心內(nèi)部網(wǎng)絡(luò)鏈路,平均網(wǎng)絡(luò)帶寬設(shè)置為1 Gb/s,時(shí)延為60 μs,丟包率為0;T1-T2代表廣域網(wǎng)通信鏈路,實(shí)驗(yàn)中設(shè)置平均網(wǎng)絡(luò)帶寬為100 Mb/s,時(shí)延為80 ms,丟包率設(shè)為104。這些參數(shù)設(shè)置來源于虛擬數(shù)據(jù)空間廣域網(wǎng)環(huán)境性能實(shí)測(cè)數(shù)據(jù),盡量模擬了真實(shí)廣域網(wǎng)特點(diǎn)。

    圖4 網(wǎng)絡(luò)拓?fù)銯ig.4 Network topology

    2.1.3 PPO2參數(shù)設(shè)置 PPO2的主要參數(shù)設(shè)置如下:折扣因子為0.99,學(xué)習(xí)速率為0.000 25,ε為0.2,每次更新運(yùn)行的訓(xùn)練步數(shù)為128。

    2.2 吞吐率對(duì)比

    圖5 吞吐率性能對(duì)比Fig.5 Comparison of throughput performance

    圖6 吞吐率累計(jì)概率密度分布對(duì)比Fig.6 Comparison of cumulative probability density distribution of throughput rate

    吞吐率為每秒確認(rèn)的全部數(shù)據(jù)包數(shù)量。圖5是吞吐率性能對(duì)比,可以看出,TCP-PPO2的網(wǎng)絡(luò)吞吐率約為HighSpeed和Cubic算法的2倍,約為NewReno算法的3倍。圖6是4種算法吞吐率的累計(jì)概率密度函數(shù)曲線對(duì)比,可以看出:NewReno只有約3%采樣點(diǎn)的吞吐率大于4 MB/s,1%采樣點(diǎn)的吞吐率大于6 MB/s;Highspeed和Cubic有30%采樣點(diǎn)的吞吐率大于4 MB/s,約3%采樣點(diǎn)的吞吐率大于6 MB/s;TCP-PPO2有90%采樣點(diǎn)的吞吐率大于4 MB/s,40%采樣點(diǎn)的吞吐率大于6 MB/s。結(jié)果表明:NewReno這類傳統(tǒng)擁塞控制算法已無法適應(yīng)虛擬數(shù)據(jù)空間的廣域網(wǎng)特點(diǎn),不適合應(yīng)用于虛擬數(shù)據(jù)空間數(shù)據(jù)遷移;Cubic和Highspeed比NewReno具有顯著的性能提升,但是仍未能完全有效利用可用帶寬實(shí)現(xiàn)高速傳輸;TCP-PPO2具有最好的性能,在進(jìn)行一定的學(xué)習(xí)后,能夠充分利用網(wǎng)絡(luò)帶寬實(shí)現(xiàn)虛擬數(shù)據(jù)空間高效數(shù)據(jù)遷移。

    2.3 網(wǎng)絡(luò)時(shí)延對(duì)比

    圖7 RTT對(duì)比Fig.7 Comparison of RTT

    RTT代表一個(gè)數(shù)據(jù)包從發(fā)送到接收到確認(rèn)包的耗費(fèi)時(shí)間,反映了當(dāng)前網(wǎng)絡(luò)延遲狀況。圖7是RTT對(duì)比,可以看出,總體上TCP-PPO2算法的RTT相比其他3種算法的有所上升,這是由于TCP-PPO2算法更加激進(jìn),嘗試?yán)盟锌捎脦?向鏈路中發(fā)送過多數(shù)據(jù)包,造成網(wǎng)絡(luò)擁塞,導(dǎo)致RTT增加,但是TCP-PPO2算法的RTT相比其他3種算法的上升幅度不大。圖8是RTT累計(jì)概率密度函數(shù)對(duì)比,可以看出,TCP-PPO2算法有80%的RTT小于167 ms。由于鏈路本身RTT最小值為160 ms,因此TCP-PPO2算法的大部分RTT相比最小值只增加了4%。

    圖8 RTT累計(jì)概率密度分布對(duì)比Fig.8 Comparison of RTT cumulative probability density distribution

    2.4 隊(duì)列長(zhǎng)度對(duì)比

    對(duì)T1上的隊(duì)列長(zhǎng)度進(jìn)行了采樣,結(jié)果如圖9所示。可以看出,TCP-PPO2算法的隊(duì)列長(zhǎng)度顯著高于其他3種算法的。這是因?yàn)門CP-PPO2算法單位時(shí)間內(nèi)發(fā)送的數(shù)據(jù)包數(shù)量最多,所以在T1路由器上需要緩存的隊(duì)列長(zhǎng)度也最長(zhǎng)。

    圖9 隊(duì)列長(zhǎng)度對(duì)比Fig.9 Comparison of queue length

    2.5 丟包率對(duì)比

    N1向N2發(fā)送數(shù)據(jù)過程中的丟包率如圖10所示??梢钥闯?4種算法的丟包率都接近0.01%,與NS3參數(shù)設(shè)置一致;TCP-PPO2丟包率為0.124%,略高于其他3種算法的。這是因?yàn)門CP-PPO2發(fā)送的數(shù)據(jù)包最多,部分?jǐn)?shù)據(jù)包由于鏈路節(jié)點(diǎn)緩存已滿被丟棄,從而出現(xiàn)丟包現(xiàn)象。

    圖10 丟包率對(duì)比Fig.10 Comparison of packet loss rate

    圖11 收斂速度對(duì)比Fig.11 Comparison of convergence speed

    2.6 收斂速度對(duì)比

    DQN算法是Q-learning家族的最新研究成果,采用神經(jīng)網(wǎng)絡(luò)對(duì)Q表格進(jìn)行了近似,已應(yīng)用在Alpha Go智能圍棋系統(tǒng)中。本文對(duì)PPO2算法和DQN的收斂速度進(jìn)行了對(duì)比,結(jié)果如圖11所示??梢钥闯?PPO2算法在訓(xùn)練到7萬步以后,收到的獎(jiǎng)勵(lì)值已趨于穩(wěn)定,表明算法已經(jīng)收斂。根據(jù)1.3小節(jié)的收斂性分析,PPO2具有單調(diào)上升性,圖11驗(yàn)證了該結(jié)論,PPO2收到的獎(jiǎng)勵(lì)值隨訓(xùn)練步數(shù)不斷上升,最終趨于穩(wěn)定。DQN算法在訓(xùn)練到42萬步以后仍然反復(fù)振蕩,難以收斂。實(shí)驗(yàn)結(jié)果表明PPO2算法具有更快的收斂速度。

    3 結(jié) 論

    虛擬數(shù)據(jù)空間對(duì)于聚合國(guó)家高性能計(jì)算資源具有重要意義,高效可靠數(shù)據(jù)傳輸是構(gòu)建虛擬數(shù)據(jù)空間的核心技術(shù)。本文針對(duì)主流TCP擁塞控制算法適應(yīng)性差、無法有效利用虛擬數(shù)據(jù)空間網(wǎng)絡(luò)帶寬等問題,提出了一種基于近端策略優(yōu)化算法的TCP擁塞控制算法,用于實(shí)現(xiàn)虛擬數(shù)據(jù)空間高效可靠數(shù)據(jù)遷移。本文得出的主要結(jié)論如下。

    (1)提出了基于近端策略優(yōu)化算法的TCP擁塞控制算法,將基于強(qiáng)化學(xué)習(xí)的TCP擁塞控制過程抽象為可部分觀察的馬爾可夫決策過程。通過借鑒主流算法,合理設(shè)計(jì)了狀態(tài)空間、動(dòng)作空間、獎(jiǎng)勵(lì)函數(shù)。

    (2)通過NS3仿真實(shí)驗(yàn)對(duì)比得出結(jié)論,TCP-PPO2與HighSpeed、Cubic、NewReno算法相比吞吐率可達(dá)2~3倍以上。

    未來將在真實(shí)虛擬數(shù)據(jù)空間系統(tǒng)中測(cè)試TCP-PPO2算法的性能,并針對(duì)測(cè)試性能結(jié)果,進(jìn)一步提出優(yōu)化算法,更好地服務(wù)國(guó)家高性能計(jì)算環(huán)境。

    猜你喜歡
    控制算法長(zhǎng)度狀態(tài)
    1米的長(zhǎng)度
    狀態(tài)聯(lián)想
    生命的另一種狀態(tài)
    基于ARM+FPGA的模塊化同步控制算法研究
    愛的長(zhǎng)度
    怎樣比較簡(jiǎn)單的長(zhǎng)度
    熱圖
    家庭百事通(2016年3期)2016-03-14 08:07:17
    堅(jiān)持是成功前的狀態(tài)
    山東青年(2016年3期)2016-02-28 14:25:52
    不同長(zhǎng)度
    讀寫算(上)(2015年6期)2015-11-07 07:17:55
    一種優(yōu)化的基于ARM Cortex-M3電池組均衡控制算法應(yīng)用
    好男人视频免费观看在线| 亚洲精品国产区一区二| 久久精品熟女亚洲av麻豆精品| 黄色一级大片看看| av福利片在线| 亚洲欧洲精品一区二区精品久久久| av电影中文网址| 亚洲国产成人一精品久久久| 欧美老熟妇乱子伦牲交| 亚洲激情五月婷婷啪啪| 欧美另类一区| 老司机亚洲免费影院| 精品福利观看| 丝袜脚勾引网站| 99久久综合免费| 久久久久精品国产欧美久久久 | 午夜福利一区二区在线看| 麻豆乱淫一区二区| 老司机在亚洲福利影院| 国产1区2区3区精品| 激情五月婷婷亚洲| 亚洲成国产人片在线观看| 国产一区二区三区av在线| 欧美激情高清一区二区三区| 国产熟女欧美一区二区| 成人国语在线视频| 亚洲av片天天在线观看| 亚洲精品一区蜜桃| 国产av精品麻豆| 日韩伦理黄色片| 国产一区二区 视频在线| 侵犯人妻中文字幕一二三四区| 日韩 欧美 亚洲 中文字幕| 亚洲av电影在线进入| 日本色播在线视频| 久久精品久久精品一区二区三区| 在线亚洲精品国产二区图片欧美| 国产三级黄色录像| 久久久精品国产亚洲av高清涩受| 王馨瑶露胸无遮挡在线观看| 99久久人妻综合| 国产精品.久久久| 后天国语完整版免费观看| av一本久久久久| 不卡av一区二区三区| 99久久人妻综合| 国产精品.久久久| 成人黄色视频免费在线看| 欧美精品av麻豆av| 国产精品免费视频内射| 1024香蕉在线观看| 国产精品 国内视频| 啦啦啦在线观看免费高清www| 好男人视频免费观看在线| 18禁观看日本| 夫妻性生交免费视频一级片| 日本wwww免费看| 中文字幕av电影在线播放| 国产无遮挡羞羞视频在线观看| 热99久久久久精品小说推荐| 超色免费av| 欧美少妇被猛烈插入视频| 亚洲精品日本国产第一区| 国产精品久久久av美女十八| 丝袜美腿诱惑在线| av网站在线播放免费| 一本综合久久免费| 男人添女人高潮全过程视频| 1024视频免费在线观看| 国产一区二区 视频在线| 日韩一区二区三区影片| 91精品三级在线观看| 十八禁人妻一区二区| 欧美少妇被猛烈插入视频| 97人妻天天添夜夜摸| 国产xxxxx性猛交| 国产亚洲精品久久久久5区| 性少妇av在线| 国产老妇伦熟女老妇高清| 欧美av亚洲av综合av国产av| 日本a在线网址| 一本—道久久a久久精品蜜桃钙片| 欧美日韩国产mv在线观看视频| 好男人电影高清在线观看| 岛国毛片在线播放| 两人在一起打扑克的视频| 91精品伊人久久大香线蕉| 久久久久久人人人人人| 色94色欧美一区二区| 99热国产这里只有精品6| 脱女人内裤的视频| 亚洲少妇的诱惑av| 国产成人精品无人区| 婷婷丁香在线五月| 亚洲欧美精品综合一区二区三区| 另类亚洲欧美激情| 亚洲天堂av无毛| 国产av国产精品国产| 免费在线观看影片大全网站 | 多毛熟女@视频| 亚洲人成网站在线观看播放| 最新的欧美精品一区二区| 久久ye,这里只有精品| 久热爱精品视频在线9| 午夜福利乱码中文字幕| 国产福利在线免费观看视频| 欧美少妇被猛烈插入视频| 国产亚洲av高清不卡| 1024香蕉在线观看| 亚洲色图 男人天堂 中文字幕| 黄色a级毛片大全视频| 韩国高清视频一区二区三区| 成年人免费黄色播放视频| 最黄视频免费看| 国产99久久九九免费精品| 国产亚洲av高清不卡| 午夜福利,免费看| 久久九九热精品免费| 校园人妻丝袜中文字幕| 每晚都被弄得嗷嗷叫到高潮| 夫妻性生交免费视频一级片| 18禁裸乳无遮挡动漫免费视频| 无限看片的www在线观看| 一个人免费看片子| 天天躁夜夜躁狠狠久久av| 激情五月婷婷亚洲| 久久久久久免费高清国产稀缺| 欧美激情 高清一区二区三区| 国产黄频视频在线观看| 日本av手机在线免费观看| 老汉色∧v一级毛片| 一二三四社区在线视频社区8| 日本色播在线视频| 美国免费a级毛片| 精品亚洲成国产av| 久久天躁狠狠躁夜夜2o2o | 欧美人与善性xxx| 最新的欧美精品一区二区| 爱豆传媒免费全集在线观看| 一级片'在线观看视频| 国产精品 欧美亚洲| 久久午夜综合久久蜜桃| 黄色毛片三级朝国网站| 欧美少妇被猛烈插入视频| 成年女人毛片免费观看观看9 | 国产一区二区在线观看av| 99热国产这里只有精品6| 日本一区二区免费在线视频| 日本wwww免费看| 一级片'在线观看视频| 国产亚洲午夜精品一区二区久久| xxxhd国产人妻xxx| 在线 av 中文字幕| 亚洲成av片中文字幕在线观看| 女警被强在线播放| 亚洲欧美中文字幕日韩二区| 亚洲成av片中文字幕在线观看| 国产成人av教育| 少妇猛男粗大的猛烈进出视频| 女人高潮潮喷娇喘18禁视频| 麻豆av在线久日| 高潮久久久久久久久久久不卡| 99久久人妻综合| 免费观看av网站的网址| 久久久国产一区二区| 水蜜桃什么品种好| 国产精品九九99| 桃花免费在线播放| 亚洲中文字幕日韩| www.av在线官网国产| 精品久久久久久电影网| 在线观看免费高清a一片| 新久久久久国产一级毛片| 国产伦人伦偷精品视频| 久久国产精品人妻蜜桃| 午夜免费成人在线视频| 免费人妻精品一区二区三区视频| 王馨瑶露胸无遮挡在线观看| 久久精品aⅴ一区二区三区四区| 国产成人影院久久av| 啦啦啦中文免费视频观看日本| av在线app专区| 中文字幕人妻丝袜制服| 伦理电影免费视频| av天堂在线播放| 欧美精品人与动牲交sv欧美| 脱女人内裤的视频| 精品一品国产午夜福利视频| 中文字幕人妻熟女乱码| 中文乱码字字幕精品一区二区三区| a级片在线免费高清观看视频| 如日韩欧美国产精品一区二区三区| 一区二区三区四区激情视频| 日韩视频在线欧美| 99热国产这里只有精品6| 中文字幕精品免费在线观看视频| 久久精品aⅴ一区二区三区四区| 又大又爽又粗| 亚洲欧美一区二区三区久久| 高清视频免费观看一区二区| 久久久久国产一级毛片高清牌| 久久国产精品影院| 成人亚洲欧美一区二区av| 精品久久蜜臀av无| 亚洲国产欧美日韩在线播放| 国产熟女欧美一区二区| 国产成人av激情在线播放| 国产在线一区二区三区精| 亚洲国产精品一区二区三区在线| 亚洲欧美日韩高清在线视频 | 日韩中文字幕欧美一区二区 | 在现免费观看毛片| 国产一区二区激情短视频 | 又黄又粗又硬又大视频| 中文字幕人妻丝袜一区二区| 国产精品人妻久久久影院| 侵犯人妻中文字幕一二三四区| 国产在线免费精品| 伦理电影免费视频| 国产野战对白在线观看| 亚洲美女黄色视频免费看| 亚洲,一卡二卡三卡| 亚洲精品第二区| 国产在线视频一区二区| 亚洲av男天堂| 老汉色∧v一级毛片| 久久人妻熟女aⅴ| 国产精品一区二区在线不卡| 欧美在线黄色| 国产精品秋霞免费鲁丝片| 亚洲午夜精品一区,二区,三区| 18禁国产床啪视频网站| 极品人妻少妇av视频| 五月天丁香电影| 人人妻人人爽人人添夜夜欢视频| 免费观看av网站的网址| 午夜日韩欧美国产| 亚洲男人天堂网一区| 日韩制服骚丝袜av| 久久久久国产精品人妻一区二区| 精品国产一区二区三区久久久樱花| 国产男人的电影天堂91| 欧美日韩亚洲高清精品| 亚洲av日韩在线播放| 午夜免费鲁丝| 久热这里只有精品99| 国产精品秋霞免费鲁丝片| 久久国产精品影院| 国产成人精品无人区| 日日夜夜操网爽| 男女无遮挡免费网站观看| 国产极品粉嫩免费观看在线| 99热全是精品| 国产精品久久久久久人妻精品电影 | 丁香六月天网| 免费高清在线观看视频在线观看| 国产精品99久久99久久久不卡| 视频区欧美日本亚洲| 青春草亚洲视频在线观看| 国产精品麻豆人妻色哟哟久久| 欧美日韩视频精品一区| 欧美精品亚洲一区二区| 日本a在线网址| 国产成人a∨麻豆精品| 久久天堂一区二区三区四区| 多毛熟女@视频| 国产亚洲av片在线观看秒播厂| 亚洲美女黄色视频免费看| 丝袜脚勾引网站| 美女脱内裤让男人舔精品视频| 欧美日韩视频高清一区二区三区二| 美女中出高潮动态图| 午夜老司机福利片| 国产高清视频在线播放一区 | 亚洲欧洲精品一区二区精品久久久| av在线老鸭窝| 免费不卡黄色视频| www.自偷自拍.com| 国产成人av教育| 亚洲精品在线美女| 亚洲五月婷婷丁香| 亚洲中文字幕日韩| 永久免费av网站大全| 我的亚洲天堂| 亚洲av成人不卡在线观看播放网 | 18禁国产床啪视频网站| 香蕉国产在线看| 自拍欧美九色日韩亚洲蝌蚪91| 亚洲国产欧美网| 涩涩av久久男人的天堂| 亚洲欧美精品自产自拍| 少妇人妻 视频| 看免费av毛片| 久久久久久久国产电影| 亚洲情色 制服丝袜| 只有这里有精品99| 精品熟女少妇八av免费久了| 国产男人的电影天堂91| 久久热在线av| 一本综合久久免费| 久久久久久久国产电影| 黄色一级大片看看| 日日夜夜操网爽| 国产免费又黄又爽又色| 中文欧美无线码| 一级黄色大片毛片| 国产精品.久久久| 一本—道久久a久久精品蜜桃钙片| 黄色片一级片一级黄色片| 精品国产超薄肉色丝袜足j| 看十八女毛片水多多多| 成年女人毛片免费观看观看9 | 久久国产亚洲av麻豆专区| 搡老乐熟女国产| 校园人妻丝袜中文字幕| 一级毛片我不卡| 亚洲综合色网址| 国产精品免费大片| 亚洲精品国产色婷婷电影| 欧美日韩精品网址| 色播在线永久视频| 久久精品亚洲熟妇少妇任你| 国产老妇伦熟女老妇高清| 亚洲欧美激情在线| 精品第一国产精品| 女警被强在线播放| 精品国产乱码久久久久久男人| 国产精品偷伦视频观看了| 国产成人av教育| 中国国产av一级| 日日夜夜操网爽| 亚洲自偷自拍图片 自拍| 性色av一级| 亚洲图色成人| 狠狠婷婷综合久久久久久88av| 亚洲美女黄色视频免费看| 亚洲国产中文字幕在线视频| 人妻人人澡人人爽人人| 亚洲图色成人| 精品国产一区二区三区四区第35| h视频一区二区三区| 考比视频在线观看| 99国产精品免费福利视频| 人人妻人人澡人人爽人人夜夜| 最新的欧美精品一区二区| 青春草亚洲视频在线观看| 午夜福利影视在线免费观看| 亚洲专区国产一区二区| 午夜两性在线视频| 男女午夜视频在线观看| 深夜精品福利| 少妇裸体淫交视频免费看高清 | 中文字幕高清在线视频| 欧美日韩精品网址| 女人久久www免费人成看片| 久久午夜综合久久蜜桃| 午夜福利视频在线观看免费| 欧美精品一区二区免费开放| 我要看黄色一级片免费的| 午夜福利免费观看在线| 欧美久久黑人一区二区| 精品亚洲成a人片在线观看| 大香蕉久久成人网| 欧美 亚洲 国产 日韩一| 国产一区二区激情短视频 | 免费在线观看黄色视频的| 欧美性长视频在线观看| 亚洲av美国av| 多毛熟女@视频| 亚洲图色成人| 欧美xxⅹ黑人| 一区二区三区四区激情视频| 国产又爽黄色视频| 亚洲精品国产av成人精品| 美女视频免费永久观看网站| 满18在线观看网站| 日本猛色少妇xxxxx猛交久久| 久久久久久久国产电影| 亚洲国产欧美一区二区综合| 又黄又粗又硬又大视频| 日本黄色日本黄色录像| 国产激情久久老熟女| 99久久人妻综合| 日本av免费视频播放| 97精品久久久久久久久久精品| 免费观看av网站的网址| 人人澡人人妻人| 日本五十路高清| 麻豆国产av国片精品| 人妻人人澡人人爽人人| 久久亚洲国产成人精品v| 操出白浆在线播放| 日本欧美国产在线视频| 巨乳人妻的诱惑在线观看| 亚洲av在线观看美女高潮| 永久免费av网站大全| 中文字幕高清在线视频| 一二三四社区在线视频社区8| 亚洲欧洲日产国产| av在线老鸭窝| 亚洲欧美成人综合另类久久久| 婷婷色av中文字幕| 男的添女的下面高潮视频| 免费一级毛片在线播放高清视频 | 19禁男女啪啪无遮挡网站| 日韩中文字幕视频在线看片| 国产成人欧美| 永久免费av网站大全| 黄色毛片三级朝国网站| av欧美777| 1024视频免费在线观看| 男男h啪啪无遮挡| 80岁老熟妇乱子伦牲交| 国产一区二区三区av在线| 午夜91福利影院| 日本欧美视频一区| 日韩大码丰满熟妇| 国精品久久久久久国模美| 国产日韩欧美亚洲二区| 满18在线观看网站| 免费一级毛片在线播放高清视频 | 色网站视频免费| 一级毛片电影观看| 欧美成人精品欧美一级黄| 欧美xxⅹ黑人| 亚洲国产精品一区三区| 亚洲国产毛片av蜜桃av| 久久99精品国语久久久| 精品久久久精品久久久| 另类精品久久| 中文字幕人妻丝袜一区二区| 精品欧美一区二区三区在线| 狠狠精品人妻久久久久久综合| 大陆偷拍与自拍| 桃花免费在线播放| 亚洲精品日本国产第一区| 一本一本久久a久久精品综合妖精| 亚洲激情五月婷婷啪啪| 啦啦啦视频在线资源免费观看| 色婷婷久久久亚洲欧美| 人妻一区二区av| 人人妻人人澡人人看| 色播在线永久视频| 91字幕亚洲| 在线观看免费视频网站a站| 别揉我奶头~嗯~啊~动态视频 | 久久精品国产亚洲av高清一级| 日日摸夜夜添夜夜爱| 两个人免费观看高清视频| 国产精品一国产av| 亚洲精品久久午夜乱码| videos熟女内射| 99精国产麻豆久久婷婷| 亚洲欧美成人综合另类久久久| 久久久久精品国产欧美久久久 | 亚洲人成电影免费在线| av在线播放精品| 国产一区有黄有色的免费视频| 亚洲中文av在线| 精品久久久久久电影网| 亚洲精品中文字幕在线视频| 蜜桃在线观看..| 成人国语在线视频| 狂野欧美激情性bbbbbb| 人体艺术视频欧美日本| 99精品久久久久人妻精品| 天天操日日干夜夜撸| 美女高潮到喷水免费观看| 操出白浆在线播放| 99热全是精品| 捣出白浆h1v1| 最黄视频免费看| 老司机在亚洲福利影院| 亚洲精品久久成人aⅴ小说| 美女大奶头黄色视频| 精品欧美一区二区三区在线| 亚洲五月色婷婷综合| 久久人妻熟女aⅴ| 国产精品人妻久久久影院| 嫩草影视91久久| 19禁男女啪啪无遮挡网站| 麻豆av在线久日| 91精品伊人久久大香线蕉| 亚洲欧美色中文字幕在线| 久久99精品国语久久久| 青春草亚洲视频在线观看| 黑人巨大精品欧美一区二区蜜桃| 久久久国产精品麻豆| 少妇人妻久久综合中文| 日本vs欧美在线观看视频| 日日摸夜夜添夜夜爱| 亚洲伊人色综图| 国产精品久久久久久人妻精品电影 | 丰满少妇做爰视频| 人妻 亚洲 视频| 久久精品成人免费网站| 亚洲国产欧美网| 999精品在线视频| 午夜福利乱码中文字幕| 久久免费观看电影| 日日爽夜夜爽网站| 久久久久久人人人人人| 交换朋友夫妻互换小说| 少妇人妻 视频| 一级黄片播放器| 午夜免费男女啪啪视频观看| 18禁黄网站禁片午夜丰满| 一边摸一边做爽爽视频免费| 国产av一区二区精品久久| 亚洲国产av新网站| 中文字幕精品免费在线观看视频| 成年动漫av网址| 亚洲一码二码三码区别大吗| 欧美另类一区| 欧美av亚洲av综合av国产av| 亚洲色图 男人天堂 中文字幕| 国产精品一区二区在线不卡| 国产亚洲av高清不卡| 亚洲国产精品一区二区三区在线| 激情五月婷婷亚洲| 国产真人三级小视频在线观看| 中国美女看黄片| 日本欧美国产在线视频| 国产又爽黄色视频| 99香蕉大伊视频| 一本大道久久a久久精品| 亚洲av日韩精品久久久久久密 | 精品欧美一区二区三区在线| 在线观看www视频免费| 色精品久久人妻99蜜桃| 午夜福利视频精品| 欧美人与善性xxx| 少妇人妻久久综合中文| 蜜桃国产av成人99| 视频区欧美日本亚洲| 99香蕉大伊视频| 另类精品久久| 精品久久久久久久毛片微露脸 | 嫩草影视91久久| 天堂中文最新版在线下载| 18禁裸乳无遮挡动漫免费视频| 纯流量卡能插随身wifi吗| 国产女主播在线喷水免费视频网站| 亚洲欧美清纯卡通| 赤兔流量卡办理| 日韩av免费高清视频| 免费在线观看影片大全网站 | 纵有疾风起免费观看全集完整版| 日本wwww免费看| 亚洲国产成人一精品久久久| 亚洲中文av在线| 日韩av免费高清视频| 亚洲精品在线美女| 精品福利永久在线观看| 91老司机精品| 午夜免费观看性视频| 成人手机av| 亚洲熟女毛片儿| 肉色欧美久久久久久久蜜桃| 老司机深夜福利视频在线观看 | 午夜两性在线视频| 亚洲一区二区三区欧美精品| 丁香六月欧美| 国产在线视频一区二区| 少妇的丰满在线观看| 男女午夜视频在线观看| 两性夫妻黄色片| 丰满饥渴人妻一区二区三| 精品久久久久久久毛片微露脸 | 三上悠亚av全集在线观看| 欧美精品一区二区免费开放| 中文乱码字字幕精品一区二区三区| 国产成人精品久久二区二区91| 亚洲,一卡二卡三卡| 亚洲成av片中文字幕在线观看| 免费不卡黄色视频| 丝袜在线中文字幕| 色94色欧美一区二区| 校园人妻丝袜中文字幕| 免费少妇av软件| 午夜激情久久久久久久| 亚洲国产欧美日韩在线播放| 国产熟女午夜一区二区三区| 少妇 在线观看| 又大又爽又粗| 9191精品国产免费久久| 啦啦啦 在线观看视频| 国产成人91sexporn| 亚洲专区中文字幕在线| 久久久亚洲精品成人影院| 久久久久网色| 性高湖久久久久久久久免费观看| 国精品久久久久久国模美| 日韩电影二区| 日本猛色少妇xxxxx猛交久久| 十八禁高潮呻吟视频| 国产麻豆69| 亚洲熟女毛片儿| 国产黄色免费在线视频| 侵犯人妻中文字幕一二三四区| 久久久久久久久久久久大奶| 在线观看免费高清a一片| 亚洲欧美色中文字幕在线| 黄频高清免费视频| 老司机亚洲免费影院| 天堂中文最新版在线下载| av国产精品久久久久影院| 久久久久精品人妻al黑| 2018国产大陆天天弄谢| 国产xxxxx性猛交| 女警被强在线播放| 好男人电影高清在线观看| 亚洲精品久久久久久婷婷小说| 狂野欧美激情性bbbbbb| 最近中文字幕2019免费版|