• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于在線學(xué)習(xí)的數(shù)據(jù)中心節(jié)能方案設(shè)計

    2022-11-02 03:06:24張乾徐歡樂劉敬民
    東莞理工學(xué)院學(xué)報 2022年5期
    關(guān)鍵詞:臺數(shù)搖臂數(shù)據(jù)中心

    張乾 徐歡樂 劉敬民

    (1. 東莞理工學(xué)院 計算機科學(xué)與技術(shù)學(xué)院,廣東東莞 523808;2. 香港中文大學(xué) 計算機學(xué)院,中國香港 999077;3. 維諦技術(shù)(西安)有限公司,陜西西安 710018)

    數(shù)據(jù)中心是支撐大規(guī)模、關(guān)鍵任務(wù)的計算機領(lǐng)域基礎(chǔ)設(shè)施,需要保持不間斷運行,推動了IT行業(yè)的快速增長,甚至影響到經(jīng)濟(jì)發(fā)展[1]。數(shù)據(jù)中心的廣泛應(yīng)用主要由兩個現(xiàn)象引起:一方面,大規(guī)模云服務(wù)提供商、電信運營商、銀行和其他公司對數(shù)據(jù)計算、處理和存儲的需求日益增長,這需要大型數(shù)據(jù)中心的支持,其中有的數(shù)據(jù)中心有數(shù)千臺服務(wù)器(有時有數(shù)百萬臺服務(wù)器)[2];另一方面,應(yīng)用程序的需求也促進(jìn)了大規(guī)模計算機基礎(chǔ)設(shè)施的建設(shè)。隨著移動互聯(lián)網(wǎng)的發(fā)展,我國已有數(shù)十億網(wǎng)民使用移動互聯(lián)網(wǎng)應(yīng)用[3],例如淘寶、抖音、微信等,這類應(yīng)用背后需要部署大量數(shù)據(jù)中心以支撐其向上億人口提供服務(wù)。因此,數(shù)據(jù)中心在當(dāng)今科技生活中發(fā)揮了重要作用,已成為必要的基礎(chǔ)設(shè)施。

    數(shù)據(jù)中心作為大規(guī)模計算基礎(chǔ)設(shè)施,擁有巨大的能源預(yù)算,也導(dǎo)致了各種能源效率問題[4]。由于經(jīng)濟(jì)、環(huán)境和性能方面的影響,數(shù)據(jù)中心的能源效率也變得至關(guān)重要。首先,數(shù)據(jù)中心具有較高的經(jīng)濟(jì)影響力。數(shù)據(jù)中心空間的耗電量可能是同等面積大小的標(biāo)準(zhǔn)辦公空間耗電量的100至200倍[5]。其次,數(shù)據(jù)中心消耗大量電能,而發(fā)電會造成多項環(huán)境問題[6]。在美國,數(shù)據(jù)中心消耗了全國所有用電量的1.7%至2.2%[7]。2012年全球數(shù)據(jù)中心消耗了270千瓦時的能源,從2007年至2012年,這種消耗的復(fù)合年增長率(Compound Annual Growth Rate,CAGR)為4.4%[8]。

    數(shù)據(jù)中心內(nèi)部系統(tǒng)中,主要有兩類設(shè)備消耗電能:IT設(shè)備、相關(guān)基礎(chǔ)設(shè)施(如冷卻系統(tǒng))[9]。衡量數(shù)據(jù)中心能源效率的一項重要指標(biāo)便由以上兩類設(shè)備的耗電量計算得出,這一指標(biāo)為電能利用效率——PUE(Power Usage Effectiveness),2007年由美國綠色網(wǎng)格組織(The Green Grid,TGG)提出并將其作為數(shù)據(jù)中心能源效率的一項指標(biāo),目前被國內(nèi)外數(shù)據(jù)中心行業(yè)廣泛使用[10]。PUE計算公式如式(1):

    PUE=Pt/Pit,

    (1)

    公式(1)中,Pt為數(shù)據(jù)中心總耗電量,Pit為數(shù)據(jù)中心IT設(shè)備耗電量。數(shù)據(jù)中心總耗電量必然包含數(shù)據(jù)中心IT設(shè)備的耗電量,所以PUE是一個大于1的數(shù)值,PUE越低,說明數(shù)據(jù)中心用于IT設(shè)備以外的能耗越低。在數(shù)據(jù)中心長期運行期間,PUE的值也會受到季節(jié)、天氣以及IT負(fù)載等多方面的影響。通常來說,夜間的PUE要低于中午的PUE,為綜合判斷數(shù)據(jù)中心能源利用效率,使用連續(xù)24小時內(nèi)檢測得到的PUE均值進(jìn)行評估。

    在數(shù)據(jù)中心能耗構(gòu)成中,制冷系統(tǒng)的能耗占比高達(dá)30%以上[11]。研究并優(yōu)化數(shù)據(jù)中心的制冷方案,對于數(shù)據(jù)中心的能源節(jié)約有著十分重要的意義。本文要優(yōu)化模塊化數(shù)據(jù)中心(圖1)的空調(diào)管理系統(tǒng),是維諦技術(shù)有限公司開發(fā)并推向市場的模塊化數(shù)據(jù)中心,其優(yōu)勢是有統(tǒng)一的建設(shè)標(biāo)準(zhǔn),客戶可根據(jù)自身業(yè)務(wù)需求進(jìn)行定制。如圖1所示,在數(shù)據(jù)中心內(nèi)部,兩側(cè)交錯擺放服務(wù)器S和空調(diào)AC,中間的通道稱為冷通道,數(shù)據(jù)中心外部兩側(cè)稱為熱通道。當(dāng)數(shù)據(jù)中心運行時處于封閉狀態(tài),服務(wù)器產(chǎn)生的熱量進(jìn)入冷通道,空調(diào)則會持續(xù)向冷通道吹入冷風(fēng),從而達(dá)到降溫的目的。這種情況下,數(shù)據(jù)中心內(nèi)部始終處于相對低溫的環(huán)境,且冷通道與外界隔離,減少冷量流失,最大化利用空調(diào)制冷量[12]。此外,數(shù)據(jù)中心的IT負(fù)載以及外界環(huán)境溫度都會發(fā)生變化,那么空調(diào)的開啟狀態(tài)設(shè)置也是要進(jìn)行改變的。不合適的空調(diào)設(shè)置可能會制造過多或過少的冷量,冷量過多會浪費電能,冷量過少甚至?xí)龎姆?wù)器。

    圖1 模塊化數(shù)據(jù)中心平面圖

    在對冷卻系統(tǒng)進(jìn)行設(shè)置后,還需要考慮以下問題:

    1)延遲影響??照{(diào)的設(shè)置在需要一定的時間才能起到調(diào)節(jié)環(huán)境溫度的作用。在開啟的瞬間空調(diào)能效比很低,會比較耗電,經(jīng)過一段時間,隨著環(huán)境狀態(tài)趨于穩(wěn)定,空調(diào)耗電也趨于穩(wěn)定,這種情況下檢測到的PUE值更具有代表性。

    2)隨機偏差??刂颇K讀取位于數(shù)據(jù)中心相應(yīng)位置的檢測設(shè)備(傳感器、溫度計等)的檢測結(jié)果,其得到的檢測數(shù)據(jù)不可避免會帶來一定的隨機偏差。

    3)熱點問題。模塊化數(shù)據(jù)中心內(nèi)部按照一個標(biāo)準(zhǔn)建設(shè),但會發(fā)生一些無法預(yù)知熱點問題,例如某個位置機柜只能吹到少量的冷風(fēng),導(dǎo)致這一位置散熱效果略差。

    為更好地控制數(shù)據(jù)中心冷卻系統(tǒng),本文提出一種基于在線學(xué)習(xí)的模塊化數(shù)據(jù)中心空調(diào)管理方案,該方案可根據(jù)數(shù)據(jù)中心實時環(huán)境狀態(tài),給出空調(diào)設(shè)置決策(包括空調(diào)開啟臺數(shù)和設(shè)置溫度),并始終保持在線學(xué)習(xí),可適應(yīng)環(huán)境的變化。此方案含有兩個機器學(xué)習(xí)模型,第一個模型采用基于高斯過程置信上界(Gaussian Process Upper Confidence Bound,Gaussian Process UCB)的多搖臂賭博機(Multi Armed Bandit)決策出空調(diào)開啟臺數(shù),第二個模型采用XGBoost回歸模型在已確定空調(diào)開啟臺數(shù)的基礎(chǔ)上決策出空調(diào)設(shè)置溫度。雙模型將決策空間解耦可加速學(xué)習(xí)過程,并且得到的決策可在保證數(shù)據(jù)中心安全的基礎(chǔ)上,實現(xiàn)最低PUE。方案在維諦技術(shù)有限公司提供的數(shù)據(jù)中心模擬實驗室進(jìn)行測試,可在一周內(nèi)實現(xiàn)出明顯的優(yōu)化效果,訓(xùn)練一周后,日均PUE穩(wěn)定在1.25左右(IT負(fù)載固定在59 KW)。

    1 相關(guān)工作

    二十一世紀(jì)初,人們更關(guān)注對冷卻系統(tǒng)的優(yōu)化,通過降低冷卻系統(tǒng)自身耗能,以實現(xiàn)節(jié)能的目的。冷卻系統(tǒng)優(yōu)化涉及復(fù)雜的冷卻系統(tǒng)控制,其中冷卻系統(tǒng)由多個部件組成,如冷卻塔、水冷機組和通風(fēng)系統(tǒng)等。冷卻系統(tǒng)控制的一種常見做法是調(diào)整設(shè)定點,即不同控制變量的目標(biāo)值。例如,通過將空調(diào)器出口處的溫度控制變量設(shè)置為所需的值,空調(diào)器可以通過消耗一定的能量來調(diào)整其內(nèi)部狀態(tài)以滿足設(shè)定點。這些設(shè)定點的最佳選擇可能是具有挑戰(zhàn)性的,因為這個過程依賴于冷卻系統(tǒng)的知識,從熱動力學(xué)到力學(xué)。許多現(xiàn)有的方法都是基于一個近似的系統(tǒng)模型,該模型通常包含熱、電和機械原理的一階效應(yīng)[13-14]。這些近似模型有時無法充分或準(zhǔn)確地捕捉各種相互作用過程的復(fù)雜冷卻操作,無法得到最佳或穩(wěn)定的冷卻控制。

    因本研究要研究冷卻系統(tǒng)設(shè)置結(jié)合當(dāng)前環(huán)境狀態(tài)對PUE的影響,以此開發(fā)算法模型對冷卻系統(tǒng)進(jìn)行控制,所以需要關(guān)注數(shù)據(jù)中心PUE相關(guān)的能耗模型。AeBischer等人[15]較早地提出數(shù)據(jù)中心能耗模型,如公式(2)所示:

    (2)

    在公式(2)中,n是類型i的設(shè)備數(shù)量,e是處于功能狀態(tài)j的功率負(fù)載,u是用戶k的使用強度。

    Liu等人[16]研究發(fā)現(xiàn),不同的工作負(fù)載下,電能使用效率也不同,他們將數(shù)據(jù)中心t時刻總電能表示為

    V(t)=ηpue(t)(a(t)+b(t)),

    (3)

    在公式(3)中,a(t)是固定負(fù)載下的電能使用情況,b(t)是變負(fù)載下的電能使用情況。AeBischer和Liu的研究表明數(shù)據(jù)中心冷卻系統(tǒng)設(shè)置同PUE之間存在聯(lián)系,這為研究通過機器學(xué)習(xí)對數(shù)據(jù)中心進(jìn)行節(jié)能控制提供了可行性。事實上,已經(jīng)有學(xué)者嘗試過在數(shù)據(jù)中心采用機器學(xué)習(xí)算法控制冷卻系統(tǒng)并進(jìn)行優(yōu)化。

    近年來,人們開始研究機器學(xué)習(xí)在數(shù)據(jù)中心節(jié)能中的應(yīng)用,這類方案不假定底層系統(tǒng)的任何特定模型,而是從系統(tǒng)狀態(tài)和能耗上收集的海量數(shù)據(jù)中學(xué)習(xí)并得到控制策略[17]。2014年,谷歌工程師首次采用神經(jīng)網(wǎng)絡(luò)解決超大型數(shù)據(jù)中心節(jié)能問題,他們利用大型神經(jīng)網(wǎng)絡(luò)建模,采用監(jiān)控數(shù)據(jù)進(jìn)行訓(xùn)練,從而去預(yù)測整個數(shù)據(jù)中心下一時刻的PUE[18]。其中,神經(jīng)網(wǎng)絡(luò)包含5個隱層,輸入達(dá)19個參數(shù),包含IT負(fù)載、溫度、濕度、冷水機組、冷卻塔數(shù)量、設(shè)備位置等。這一方案使用預(yù)先采集的離線數(shù)據(jù),適用于超大型數(shù)據(jù)中心,無法被大面積推廣,但證明了機器學(xué)習(xí)用于提升數(shù)據(jù)中心能效方面是可行的。楊振等人[10]在谷歌模型基礎(chǔ)上做出了改進(jìn),他們在輸入?yún)?shù)中加入了室內(nèi)外溫度、濕度、以及冷卻水管溫度等特征,從而更全面地描述環(huán)境狀態(tài)。但以上方案有兩點不適用于解決本文的問題。一是以上方案均采用離線數(shù)據(jù)集訓(xùn)練,需要收集足夠數(shù)量的數(shù)據(jù);二是以上方案面向超大型數(shù)據(jù)中心設(shè)計,最終訓(xùn)練得到的模型僅適用于被采樣的數(shù)據(jù)中心,無法直接用于其他數(shù)據(jù)中心。本文目標(biāo)是全程采用在線學(xué)習(xí)的方式,在較短時間內(nèi)訓(xùn)練模型并有較好的優(yōu)化效果,且模型始終處于學(xué)習(xí)狀態(tài),以適應(yīng)環(huán)境的變化。

    除了大型神經(jīng)網(wǎng)絡(luò)模型,還有人研究采用強化學(xué)習(xí)進(jìn)行數(shù)據(jù)中心節(jié)能。強化學(xué)習(xí)屬于機器學(xué)習(xí),近年來其研究發(fā)展迅速,為應(yīng)對解決復(fù)雜的問題,人們采用神經(jīng)網(wǎng)絡(luò)作為強化學(xué)習(xí)決策模型,將其稱為深度強化學(xué)習(xí)(Deep Reinforcement Learning,DRL)。在游戲領(lǐng)域和虛擬機任務(wù)調(diào)度領(lǐng)域,深度強化學(xué)習(xí)已取得了進(jìn)展[19-20]。深度強化學(xué)習(xí)可實現(xiàn)在線學(xué)習(xí)的方式,適合解決一些數(shù)據(jù)中心節(jié)能問題。Li等人[21]就已經(jīng)采用深度強化學(xué)習(xí)算法進(jìn)行處理數(shù)據(jù)中心冷卻系統(tǒng)優(yōu)化,他們將工作負(fù)載列表和環(huán)境溫度列表定義為狀態(tài)空間,采用PUE和每個區(qū)域的IT設(shè)備出風(fēng)口溫度作為收益值。他們的訓(xùn)練目標(biāo)是最小化PUE,同時將IT設(shè)備出風(fēng)口溫度保持設(shè)定目標(biāo)溫度,收益值如公式(4):

    (4)

    在公式(4)中,s表示當(dāng)前的冷卻系統(tǒng)設(shè)置,εpue表示檢測到的PUE值,T是檢測到的IT設(shè)備出風(fēng)口溫度,φ則是設(shè)定的標(biāo)準(zhǔn)溫度。但基于現(xiàn)實條件,可以獲得的數(shù)據(jù)中心監(jiān)測數(shù)據(jù)量還是太小,依靠PUE收益值的設(shè)計排除那些PUE低但溫度較高的決策無疑會影響學(xué)習(xí)效率。經(jīng)過實驗,發(fā)現(xiàn)深度強化學(xué)習(xí)效果并不理想,轉(zhuǎn)而采用一種復(fù)合式的在線學(xué)習(xí)方案。該方案采用多搖臂賭博機和XGBoost兩個機器學(xué)習(xí)模型將空調(diào)設(shè)置的決策空間解耦,可加速訓(xùn)練。

    2 模型介紹

    2.1 多搖臂賭博機

    多搖臂賭博機模型將決策視為一個個搖臂,決策時根據(jù)估計的各個搖臂收益值選擇搖臂,做出選擇后可根據(jù)真實的收益值進(jìn)行訓(xùn)練。經(jīng)過多輪決策,模型估計各個搖臂的收益越來越精確,從而做出最佳選擇。

    實現(xiàn)多搖臂賭博機的重要挑戰(zhàn)是需要平衡探索和利用,以盡量能選擇到哪些收益最高的搖臂。一方面,要多選擇那些過去的實驗中收益最高的搖臂,這屬于利用;另一方面,要均衡選擇,爭取所有搖臂都被充分選擇,這屬于探索。在訓(xùn)練過程中,若過多注重利用,即頻繁選擇之前收益值更高的決策,一些潛在的好決策將無法被選擇,造成模型訓(xùn)練陷入局部最優(yōu),對收益值的估計失準(zhǔn);若過多注重探索,即頻繁隨機選擇決策,不參考模型對各個決策的收益估計值,那么會做出大量不好的決策,這樣會大大降低模型的有效率。因此,需要對探索和利用做一個合適的權(quán)衡,避免過于偏向兩者任何一方。

    對于平衡探索和利用,最簡單直接的策略就是ε貪心策略。在每輪試驗t中,該算法首先估計每個搖臂的平均收益μt。然后,用ε的概率進(jìn)行貪心選擇,即選擇收益最高的搖臂,以1-ε的概率隨機選擇搖臂。在訓(xùn)練輪次夠多的情況下,每個搖臂都會被充分地嘗試,模型每個搖臂的收益估計值μt也會更加精確。 此外,隨著訓(xùn)練輪次的增加,可適當(dāng)增大ε,這樣將會逐漸降低探索的機率,增加利用的機率,從而保證模型收斂后做出更多收益高的決策。

    與ε貪心所采用的非引導(dǎo)探索策略相比,置信上界(Upper Confidence Bound,UCB)策略使用一種更聰明的方法來平衡探索和利用。簡單來說,就是每個搖臂的預(yù)估收益值由根據(jù)歷史數(shù)據(jù)估計的收益值加上置信區(qū)間的長度得到。在第t輪訓(xùn)練期間,采用相應(yīng)的算法去估計各個搖臂的收益值μt,a和相對應(yīng)的置信區(qū)間ct,a,使得|μt,a-μr|

    (5)

    在一輪訓(xùn)練中,對于過去訓(xùn)練中選擇次數(shù)較少甚至未選擇過的搖臂,其置信區(qū)間比較大,最終預(yù)估到的置信上界也會很大。對于多次選擇且收益較高的搖臂,雖然置信區(qū)間很小,但預(yù)測的收益值很大。因此,UCB可以引導(dǎo)學(xué)習(xí)器傾向于選擇那些表現(xiàn)好的或者選擇次數(shù)不足的搖臂,從而比較好地解決探索和利用之間的權(quán)衡問題。

    近些年多搖臂賭博機模型在多個領(lǐng)域(推薦系統(tǒng),云資源配置等)皆有應(yīng)用,并有了改進(jìn)的實現(xiàn)方式。Li等人[22]提出了基于的Linear UCB多搖臂賭博機的個性化新聞推薦模型,用于雅虎的新聞推薦系統(tǒng)。Linear UCB是線性回歸結(jié)合多搖臂賭博機的方案,其中使用嶺回歸對收益值進(jìn)行回歸預(yù)測。Liu等人[23]提出了Accordia模型——利用高斯過程置信上界(Gaussian Process UCB)結(jié)合多搖臂賭博機去決策自適應(yīng)云服務(wù)最佳資源配置,其中采用Gaussian Process UCB進(jìn)行計算各搖臂的收益值和置信區(qū)間。本文的在線學(xué)習(xí)方案也是將基于Gaussian Process UCB的多搖臂賭博機作為第一個模型。

    2.2 高斯過程置信上界

    μt(x)=kt(x)T(Kt+σ2I)-1yt,

    (6)

    kt(x,x′)=k(x,x')-kt(x)T(Kt+σ2I)-1kt(x′),

    (7)

    (8)

    在第t輪決策周期,已經(jīng)觀察到t-1個樣本數(shù)據(jù),yt-1={y1,y2,…,yt-1}和At-1={x1,x2,…,xt-1},則可以采用公式(6)和公式(8)進(jìn)行預(yù)測當(dāng)前狀態(tài)下選擇每個搖臂所得到的收益值以及方差??梢愿鶕?jù)公式(9)來選擇第t輪要選擇的搖臂(決策,即開啟的空調(diào)臺數(shù)):

    (9)

    在公式(9)中,

    其中times表示迭代次數(shù),n表示存儲的樣本的數(shù)據(jù)量。

    3 方案設(shè)計

    3.1 方案目標(biāo)

    為了優(yōu)化模塊化數(shù)據(jù)中心冷卻控制系統(tǒng),提出的方案要能夠根據(jù)當(dāng)前的環(huán)境狀態(tài)決策出數(shù)據(jù)中心的空調(diào)開啟臺數(shù)和設(shè)定溫度,使得當(dāng)前數(shù)據(jù)中心的冷通道溫度維持在設(shè)定的目標(biāo)溫度,且空調(diào)的耗電量最低。采用日均PUE作為衡量數(shù)據(jù)中心能源利用效率的指標(biāo),并且保證冷通道溫度穩(wěn)定。一方面,數(shù)據(jù)中心的冷通道溫度過高,會降低服務(wù)器散熱效率,甚至?xí)龎姆?wù)器硬件;另一方面,只有控制住冷通道溫度這一變量,才可根據(jù)日均PUE來評估數(shù)據(jù)中心電能利用效率。因此,本目標(biāo)就是:在冷通道溫度維持在設(shè)定值的情況下,使得模塊化數(shù)據(jù)中心PUE值最低,用數(shù)學(xué)公式表達(dá)如下:

    珠三角、長三角、京津冀作為中國區(qū)域經(jīng)濟(jì)一體化的三大重點經(jīng)濟(jì)圈均受到了不同程度的政策傾斜與支持,改革開放之后,隨著上世紀(jì)70年代深圳經(jīng)濟(jì)特區(qū)和90年代上海浦東新區(qū)的建立,珠三角與長三角的對外貿(mào)易和區(qū)域經(jīng)濟(jì)發(fā)展都得到了不同程度的推動。京津冀地區(qū)身處內(nèi)陸,缺乏長三角和珠三角的對外貿(mào)易地理優(yōu)勢。同時相較于北京天津高水平的科技實力和對人才的強勁吸引力,河北省在基礎(chǔ)設(shè)施建設(shè)、高新技術(shù)水平提升和產(chǎn)業(yè)結(jié)構(gòu)優(yōu)化等多個領(lǐng)域都與京津地區(qū)有較大差距。因而,要推進(jìn)區(qū)域經(jīng)濟(jì)的協(xié)調(diào)發(fā)展,推動京津冀地區(qū)一體化水平的提升,需要通過新區(qū)的建設(shè)來增強河北省經(jīng)濟(jì)發(fā)展和產(chǎn)業(yè)結(jié)構(gòu)調(diào)整的動力,從而提升京津冀協(xié)調(diào)發(fā)展水平[2]。

    s.t:T0-V

    (10)

    公式(10)中,T0表示目標(biāo)冷通道溫度,V表示允許溫度波動的范圍,Ps,t表示數(shù)據(jù)中心在t時刻的空調(diào)設(shè)置為s情況下的PUE,Ts,t表示數(shù)據(jù)中心在t時刻的空調(diào)設(shè)置為s情況下的平均冷通道溫度。

    為實現(xiàn)目標(biāo),要求模型可在一輪決策周期內(nèi)對空調(diào)的開啟臺數(shù)和設(shè)置溫度進(jìn)行控制,并在保持冷通道溫度達(dá)標(biāo)的情況下,降低模塊化數(shù)據(jù)中心PUE,直到PUE收斂到某一值。從模型上線時起,模型即可對冷卻系統(tǒng)設(shè)置不斷做出決策,同時搜集數(shù)據(jù)進(jìn)行在線學(xué)習(xí)。在一輪決策周期內(nèi),模型首先從各類傳感器得到環(huán)境狀態(tài),然后給出決策,之后得到新的環(huán)境狀態(tài)和收益值,模型根據(jù)新的環(huán)境狀態(tài)做出決策并使用收益值進(jìn)行在線學(xué)習(xí)。決策共包含兩個信息:空調(diào)開啟數(shù)和設(shè)置溫度。假定模塊化數(shù)據(jù)中心配有6臺空調(diào),設(shè)置溫度區(qū)間范圍是18 ℃-22 ℃,只取整數(shù)選項。通常情況下,決策空間由全部空調(diào)開啟臺數(shù)決策和全部空調(diào)設(shè)置溫度排列組合得到,那么決策空間大小將是空調(diào)開啟臺數(shù)決策空間和設(shè)置溫度決策空間大小的乘積,即6*5=30,這樣會產(chǎn)生兩個問題:

    1)決策空間過大,且含有過多無用決策,從而降低學(xué)習(xí)效率。例如,開啟全部空調(diào),設(shè)置18 ℃情況下冷通道溫度會遠(yuǎn)低于設(shè)定值,導(dǎo)致制冷過度

    2)決策空間中含有高危決策。例如,開啟兩臺空調(diào),設(shè)置21 ℃情況下,冷通道溫度過高,服務(wù)器產(chǎn)生的熱量無法及時排出,導(dǎo)致燒壞服務(wù)器。

    為避免以上問題,采用兩個算法模型分別對空調(diào)開啟數(shù)和設(shè)置溫度給出決策。即第一個模型首先給出空調(diào)開啟臺數(shù)決策,第二個模型跟據(jù)環(huán)境狀態(tài)和空調(diào)開啟臺數(shù)決策空調(diào)的設(shè)置溫度。雙模型可將動作空間進(jìn)行解耦,使得動作空間縮小數(shù)十倍,又可以避免選擇不合適的決策。

    3.2 方案流程

    每5分鐘讀取一次環(huán)境檢測采樣,設(shè)定訓(xùn)練周期為一個半小時,包含18組樣本數(shù)據(jù)。在一輪決策周期開始時,模型會做出決策,包含空調(diào)開啟臺數(shù)和設(shè)置溫度,采用決策周期最后4次檢測樣本的平均值作為此次決策后的環(huán)境狀態(tài)state和PUE值,從而解決延遲影響和隨機偏差。為解決熱點問題,按照空調(diào)臺數(shù)進(jìn)行分區(qū),每個區(qū)域所有檢測結(jié)果的平均值作為該區(qū)域的環(huán)境狀態(tài)。

    對于空調(diào)開啟臺數(shù),采用基于Gaussian Process UCB的多搖臂賭博機模型進(jìn)決策。當(dāng)一輪決策周期開始時,多搖臂賭博機模型會得到當(dāng)前的環(huán)境信息,將環(huán)境狀態(tài)同各個空調(diào)開啟臺數(shù)組合得到一組x(包括IT負(fù)載、平均送風(fēng)溫度、平均回風(fēng)溫度、平均冷通道溫度、平均熱通道溫度、空調(diào)開啟臺數(shù)),然后將其分別代入Gaussian Process UCB公式進(jìn)行計算,最后根據(jù)公式(9)進(jìn)行決策空調(diào)開啟臺數(shù)。

    對于設(shè)置溫度,采用XGBoost回歸模型進(jìn)行決策。XGBoost是基于決策樹的回歸模型[26]。當(dāng)多搖臂賭博機模型給出空調(diào)開啟臺數(shù)的決策時,將其同環(huán)境狀態(tài)組合,作為監(jiān)督學(xué)習(xí)的樣本值,然后根據(jù)XGBoost回歸模型預(yù)測各個空調(diào)設(shè)置溫度下的冷通道溫度,選擇最接近設(shè)定的目標(biāo)冷通道溫度的設(shè)置溫度決策。

    圖2 XGBoost模型預(yù)測過程

    如圖2所示,為了精準(zhǔn)調(diào)節(jié)冷通道溫度,將每個決策周期的環(huán)境狀態(tài)以及空調(diào)設(shè)置作為特征X,將每個控制周期穩(wěn)定后的冷通道溫度作為標(biāo)簽Y。一方面,XGBoost回歸模型采用數(shù)據(jù)集進(jìn)行擬合訓(xùn)練;另一方面,XGBoost根據(jù)特征X去預(yù)測一輪訓(xùn)練周期結(jié)束時的冷通道溫度。圖3描述了使用XGBoost回歸模型進(jìn)行決策的全部過程。在進(jìn)行空調(diào)設(shè)置溫度決策時,首先將環(huán)境狀態(tài)同空調(diào)開啟臺數(shù)組合,并依次拼接所有的設(shè)置溫度(例如18 ℃,19 ℃,20 ℃,21 ℃,22 ℃)得到幾組特征X,接著使用XGBoost回歸模型依次預(yù)測每組特征X對應(yīng)的冷通道溫度Y,最后選出最接近目標(biāo)溫度的冷通道溫度Y,其對應(yīng)的特征X中的設(shè)置溫度即為此次溫度決策。整個過程如圖3所示,此時環(huán)境狀態(tài)(包括IT負(fù)載、平均冷通道溫度、平均熱通道溫度、平均送風(fēng)溫度、平均回風(fēng)溫度)和空調(diào)開啟臺數(shù)已經(jīng)確定,將各種設(shè)置溫度決策帶入,依次預(yù)測相應(yīng)的冷通道溫度。圖3中可以看出,空調(diào)設(shè)置溫度為19℃時,預(yù)測的冷通道溫度最接近設(shè)定的目標(biāo)溫度(22℃)。

    圖3 XGBoost模型決策過程

    3.3 整體方案流程

    介紹了多搖臂賭博機模型和XGBoost回歸模型各自模塊的決策過程,那么方案整體流程如圖4所示,方案總共包括四個階段:

    1)每個決策周期開始時,在線學(xué)習(xí)模型得到當(dāng)前的環(huán)境狀態(tài),將其輸入第一個決策模型多搖臂賭博機,該模型根據(jù)公式(9)得出空調(diào)開啟臺數(shù)決策。

    2)將空調(diào)開啟臺數(shù)同環(huán)境狀態(tài)組合,得到新的數(shù)據(jù),輸入第二個決策模型XGBoost,該模型可得出空調(diào)設(shè)置溫度決策。

    3)將空調(diào)的完整決策輸入控制系統(tǒng)進(jìn)行應(yīng)用,數(shù)據(jù)中心相應(yīng)數(shù)量的空調(diào)將會處于開啟狀態(tài),同時設(shè)定相應(yīng)的溫度。

    4)數(shù)據(jù)中心環(huán)境隨之變化,等到?jīng)Q策周期結(jié)束的時候,在線學(xué)習(xí)模型可得到數(shù)據(jù)中心PUE值,可用于模型訓(xùn)練,同時獲得新的環(huán)境狀態(tài),接著重復(fù)1)、2)、3)步驟,進(jìn)入新一輪訓(xùn)練周期。

    圖4 整體方案流程

    4 實驗分析

    4.1 測試環(huán)境

    在維諦技術(shù)有限公司提供的模塊化數(shù)據(jù)中心實驗室測試算法模型,每次測試為期十天左右。該類數(shù)據(jù)中心實驗室可模擬真實場景下的數(shù)據(jù)中心并提供相應(yīng)的IT負(fù)載環(huán)境。在數(shù)據(jù)中心實驗室測試算法模型要注意以下兩點:1)測試流程按照現(xiàn)實進(jìn)行,比較費時且花費巨大,故在實驗室部署測試前需要確保算法有效,避免無效的方案浪費時間;2)實驗室完全模擬模塊化數(shù)據(jù)中心環(huán)境,需要考慮安全性問題,部署前須確保方案不會導(dǎo)致實驗室處于危險狀態(tài)——機柜溫度過高。針對以上兩點,在設(shè)計開發(fā)方案時,需要提前在相應(yīng)的環(huán)境模擬器進(jìn)行測試。模擬器可像真實部署環(huán)境一樣提供環(huán)境狀態(tài),并接受方案提供的決策。

    在開發(fā)過程中,模擬器由公司相關(guān)業(yè)內(nèi)人員根據(jù)服務(wù)器產(chǎn)生熱量,空調(diào)制冷等相關(guān)參數(shù)開發(fā)并提供。最終采用環(huán)境模擬器和實驗室對方案進(jìn)行測試,并進(jìn)行對比實驗。其中,第二個模型固定XGBoost不變,第一個模型除了基于Gaussian Process UCB的多搖臂賭博機算法外,還會換成深度強化學(xué)習(xí)和基于Linear UCB的多搖臂賭博機進(jìn)行測試對比。

    4.2 測試流程

    首先在模擬器上面進(jìn)行固定IT負(fù)載環(huán)境測試,之后在模擬器上面進(jìn)行變IT負(fù)載測試,最后選擇方案在維諦技術(shù)有限公司提供的實驗室進(jìn)行測試。

    測試過程包含如下兩個階段:

    1)實驗的前三天,進(jìn)行隨機決策以獲得樣本數(shù)據(jù)用于XGBoost模型初始訓(xùn)練數(shù)據(jù)集;

    2)采樣完畢模型即會進(jìn)行在線學(xué)習(xí),并跟據(jù)當(dāng)前環(huán)境狀態(tài)做出空調(diào)控制決策。

    4.3 固定IT負(fù)載

    首先設(shè)定數(shù)據(jù)中心的IT負(fù)載變化幅度很小,在數(shù)據(jù)中心整體IT負(fù)載穩(wěn)定時,環(huán)境狀態(tài)整體比較穩(wěn)定,空調(diào)的決策也趨于穩(wěn)定。這種情況下,空調(diào)的開啟臺數(shù)在晝夜交替的時候會變化,甚至不變,PUE的變化也會趨于穩(wěn)定,因此學(xué)習(xí)難度也會更低。在環(huán)境模擬器上進(jìn)行測試Gaussian Process UCB,Linear UCB,深度強化學(xué)習(xí)(DRL)三種方案。三種方案只有第一個模型不同,第二個模型均為XGBoost回歸模型。

    由于固定IT負(fù)載情況下學(xué)習(xí)難度較小,三種方案經(jīng)過短時間訓(xùn)練即表現(xiàn)出優(yōu)化效果,PUE迅速下降到較低的水平,且可以收斂。如圖5所示,在固定IT負(fù)載情況下運行三種方案,可見到三種方案均起到優(yōu)化效果,PUE降低,并可收斂。并且基于多搖臂賭博機的方案比基于強化學(xué)習(xí)的方案更優(yōu),其最終PUE更低。

    圖5 固定IT負(fù)載下PUE變化趨勢

    4.4 變IT負(fù)載

    實際應(yīng)用場景中,IT負(fù)載會因為業(yè)務(wù)變化或者一些外界因素出現(xiàn)抖動,這一現(xiàn)象勢必也使得PUE變化,增大優(yōu)化控制難度。調(diào)整了模擬器的參數(shù),使得IT負(fù)載隨著時間變化,且變化頻率和幅度超過實際應(yīng)用場景的變化程度,其他條件不變,在此基礎(chǔ)上進(jìn)行上述三種方案的測試。

    兩種基于多搖臂賭博機模型的方案可以較快地降低PUE,使其最終收斂在較低的水平,優(yōu)化效果比較好。如圖6所示,在IT負(fù)載變動情況下運行三種方案,深度強化學(xué)習(xí)的效果遠(yuǎn)不如Gaussian Process UCB 和Linear UCB方案,PUE優(yōu)化效果不佳,后期無法穩(wěn)定,甚至?xí)UE轉(zhuǎn)而升高的現(xiàn)象。 Linear UCB同Gaussian Process UCB算法效果接近,使得PUE降低,直至收斂穩(wěn)定。其中,Linear UCB收斂速度很快,Gaussian Process UCB方案探索性更好。

    圖6 變IT負(fù)載下PUE優(yōu)化效果對比

    4.5 模擬實驗室

    將Gaussian Process UCB方案和深度強化學(xué)習(xí)方案部署在維諦技術(shù)有限公司提供的數(shù)據(jù)中心模擬實驗室進(jìn)行測試對比。實驗室完全擬真模塊化數(shù)據(jù)中心,前期設(shè)定IT負(fù)載為59 KW,若一周內(nèi)觀察到PUE明顯降低且趨于穩(wěn)定則會將IT負(fù)載降低為45 KW測試模型是否能適應(yīng)IT負(fù)載的變化。在此需要說明,兩個方案的測試時間相隔兩個月,而現(xiàn)實數(shù)據(jù)中心環(huán)境會隨著季節(jié),天氣發(fā)生改變,所以在模擬實驗室的測試并非為了單純比較PUE值的高低,而是比較PUE的下降趨勢和冷通道平均溫度是否穩(wěn)定。

    經(jīng)過兩周的實驗室測試,Gaussian Process UCB方案效果比較理想,可根據(jù)環(huán)境選擇合適的空調(diào)設(shè)置,降低數(shù)據(jù)中心PUE,并且可適應(yīng)IT負(fù)載的變化。如圖7所示,測試前七天內(nèi),Gaussian Process UCB方案可發(fā)揮明顯的優(yōu)化效果,PUE呈現(xiàn)下降趨勢,第七天降低IT負(fù)載后,PUE短暫升高,但Gaussian Process UCB方案可適應(yīng)環(huán)境的變化,繼續(xù)進(jìn)行學(xué)習(xí)優(yōu)化,PUE隨后降低并保持穩(wěn)定。而基于強化學(xué)習(xí)的方案在實際場景中表現(xiàn)不理想,在全程沒改變IT負(fù)載地情況下,初期可以見到PUE曲線降低,后期PUE曲線一直不穩(wěn)定,出現(xiàn)了PUE再次上升的情況。

    圖7 場景測試PUE趨勢對比圖

    在測試過程中,Gaussian Process UCB方案不僅可以降低PUE,還可以維持冷通道溫度在設(shè)定值,可保證數(shù)據(jù)中心的安全。如圖8所示,Gaussian Process UCB方案將冷通道溫度維持在設(shè)定的目標(biāo)溫度(22℃)附近,數(shù)據(jù)中心的安全得以保證。而強化學(xué)習(xí)方案對冷通道溫度控制不佳,始終在波動,后期甚至出現(xiàn)冷通道溫度上升的情況。

    5 結(jié)語

    提出了用于數(shù)據(jù)中心節(jié)能的在線學(xué)習(xí)方案,該方案包含兩種機器學(xué)習(xí)模型,首先采用基于Gaussian Process UCB的多搖臂賭博機模型決策空調(diào)開啟臺數(shù),然后用XGBoost回歸模型決策空調(diào)設(shè)置溫度。實驗表明,該方案可使數(shù)據(jù)中心控制系統(tǒng)根據(jù)環(huán)境狀態(tài)智能選擇空調(diào)開啟臺數(shù)和設(shè)置溫度。在沒有任何前置訓(xùn)練的情況下,該算法搜集數(shù)據(jù)并進(jìn)行學(xué)習(xí),可在一周之內(nèi)達(dá)到較好的優(yōu)化效果。在技術(shù)細(xì)節(jié)方面,該方案有以下兩個優(yōu)勢:第一、多搖臂賭博機模型結(jié)合XGBoost模型進(jìn)行在線學(xué)習(xí)與空調(diào)控制,將可選動作空間解耦,加快在線學(xué)習(xí)的收斂速度,并可靈活調(diào)整目標(biāo)溫度;第二、模型以在線學(xué)習(xí)的方式持續(xù)學(xué)習(xí),可適應(yīng)環(huán)境的變化,包括IT負(fù)載變化、晝夜輪轉(zhuǎn)、季節(jié)變換。

    圖8 場景測試?yán)渫ǖ罍囟融厔輰Ρ葓D

    猜你喜歡
    臺數(shù)搖臂數(shù)據(jù)中心
    柴油機搖臂與搖臂軸粘連原因分析及改進(jìn)
    酒泉云計算大數(shù)據(jù)中心
    專利名稱:電腦機箱沖壓廢料回收裝置及操作方法
    一種加工搖臂裝置銷孔的工藝
    水泥工程(2020年4期)2020-12-18 07:12:12
    最優(yōu)開機臺數(shù)對水利泵站的節(jié)能研究
    民航綠色云數(shù)據(jù)中心PUE控制
    電子測試(2018年11期)2018-06-26 05:56:24
    2016年XX市工業(yè)鍋爐內(nèi)部檢驗缺陷統(tǒng)計及原因分析
    汽車搖臂中頻電磁感應(yīng)加熱爐控制系統(tǒng)設(shè)計
    基于云計算的交通運輸數(shù)據(jù)中心實現(xiàn)與應(yīng)用
    Overlay Network技術(shù)在云計算數(shù)據(jù)中心中的應(yīng)用
    河南科技(2014年11期)2014-02-27 14:16:49
    国产单亲对白刺激| 午夜精品在线福利| 巨乳人妻的诱惑在线观看| 婷婷亚洲欧美| 一本大道久久a久久精品| 怎么达到女性高潮| 午夜老司机福利片| 一级片免费观看大全| 18禁裸乳无遮挡免费网站照片 | АⅤ资源中文在线天堂| 亚洲第一青青草原| 2021天堂中文幕一二区在线观 | 国产一区二区三区在线臀色熟女| 色精品久久人妻99蜜桃| 亚洲国产中文字幕在线视频| 精华霜和精华液先用哪个| 国产免费av片在线观看野外av| 日本免费a在线| 无人区码免费观看不卡| 国产激情偷乱视频一区二区| 日本免费一区二区三区高清不卡| 变态另类丝袜制服| 国产成人精品无人区| 最新在线观看一区二区三区| 日本熟妇午夜| 久久精品aⅴ一区二区三区四区| 狠狠狠狠99中文字幕| 欧美丝袜亚洲另类 | 天天添夜夜摸| 久久久久久久久久黄片| 香蕉av资源在线| 日韩精品免费视频一区二区三区| 国产精品亚洲一级av第二区| 9191精品国产免费久久| 好看av亚洲va欧美ⅴa在| 精品国产超薄肉色丝袜足j| 男女做爰动态图高潮gif福利片| 欧美成人性av电影在线观看| √禁漫天堂资源中文www| 欧美 亚洲 国产 日韩一| 人人妻,人人澡人人爽秒播| 女性生殖器流出的白浆| 18禁黄网站禁片午夜丰满| 淫妇啪啪啪对白视频| 亚洲一区中文字幕在线| 亚洲国产精品999在线| 黄色视频,在线免费观看| 非洲黑人性xxxx精品又粗又长| 国产精品电影一区二区三区| 国产一级毛片七仙女欲春2 | 在线观看舔阴道视频| 97碰自拍视频| 午夜亚洲福利在线播放| 国内久久婷婷六月综合欲色啪| 老司机在亚洲福利影院| 亚洲第一青青草原| 一本一本综合久久| 欧美成人免费av一区二区三区| 免费看日本二区| 婷婷丁香在线五月| 无人区码免费观看不卡| 国产成人av教育| 久久精品国产99精品国产亚洲性色| 嫁个100分男人电影在线观看| 大型av网站在线播放| 久久精品国产亚洲av高清一级| 国产精品爽爽va在线观看网站 | 亚洲精品中文字幕一二三四区| 日本 欧美在线| 亚洲色图 男人天堂 中文字幕| 91国产中文字幕| 成人午夜高清在线视频 | 一本大道久久a久久精品| 亚洲电影在线观看av| 亚洲电影在线观看av| 韩国精品一区二区三区| 天天躁夜夜躁狠狠躁躁| 亚洲中文字幕日韩| 国产精品免费视频内射| 精品福利观看| 色哟哟哟哟哟哟| 村上凉子中文字幕在线| 久久精品aⅴ一区二区三区四区| 亚洲熟妇熟女久久| 69av精品久久久久久| e午夜精品久久久久久久| 看黄色毛片网站| 黄色 视频免费看| 88av欧美| 99在线视频只有这里精品首页| 精品久久久久久久久久久久久 | 国产私拍福利视频在线观看| 丝袜人妻中文字幕| 国产激情偷乱视频一区二区| 午夜影院日韩av| 欧美午夜高清在线| av在线播放免费不卡| 欧美丝袜亚洲另类 | 亚洲男人天堂网一区| 免费高清视频大片| 国内毛片毛片毛片毛片毛片| 欧美一级毛片孕妇| 国产亚洲精品久久久久久毛片| 国产精品二区激情视频| 午夜精品久久久久久毛片777| 日日摸夜夜添夜夜添小说| 999久久久国产精品视频| 90打野战视频偷拍视频| 欧美一级毛片孕妇| 不卡一级毛片| 精品国产乱码久久久久久男人| 久久草成人影院| 国产精品一区二区精品视频观看| 亚洲熟妇熟女久久| 免费看日本二区| 国语自产精品视频在线第100页| 香蕉av资源在线| 午夜精品在线福利| 一本大道久久a久久精品| 国内揄拍国产精品人妻在线 | 色婷婷久久久亚洲欧美| 国产精品,欧美在线| 国产精华一区二区三区| 韩国av一区二区三区四区| 国产一区在线观看成人免费| 久久久久国内视频| 一级毛片高清免费大全| 久久狼人影院| 中文字幕人妻熟女乱码| 搞女人的毛片| 久久精品国产清高在天天线| 午夜激情福利司机影院| 亚洲色图av天堂| 国产一卡二卡三卡精品| 免费在线观看亚洲国产| 国产视频一区二区在线看| 亚洲av成人av| 久久草成人影院| 99久久精品国产亚洲精品| 久久精品国产综合久久久| 午夜福利18| 99国产精品一区二区蜜桃av| 亚洲欧美日韩高清在线视频| 美女大奶头视频| 老鸭窝网址在线观看| 九色国产91popny在线| 国产爱豆传媒在线观看 | www国产在线视频色| 一级a爱视频在线免费观看| 亚洲精品美女久久久久99蜜臀| 18禁黄网站禁片午夜丰满| 免费在线观看视频国产中文字幕亚洲| 国产成年人精品一区二区| 久久这里只有精品19| 免费在线观看视频国产中文字幕亚洲| 亚洲成av片中文字幕在线观看| x7x7x7水蜜桃| 女同久久另类99精品国产91| av在线天堂中文字幕| 美女扒开内裤让男人捅视频| ponron亚洲| 黄频高清免费视频| 黄色丝袜av网址大全| 日韩欧美 国产精品| 久久中文字幕一级| 天堂影院成人在线观看| 日本五十路高清| 搡老妇女老女人老熟妇| 两个人看的免费小视频| 亚洲国产精品sss在线观看| 老鸭窝网址在线观看| 亚洲在线自拍视频| 亚洲精品一区av在线观看| 亚洲七黄色美女视频| 99精品在免费线老司机午夜| 国产亚洲精品久久久久久毛片| 国产精品久久久人人做人人爽| 精品久久久久久久末码| 黄色毛片三级朝国网站| 久久精品国产清高在天天线| 成年女人毛片免费观看观看9| 变态另类成人亚洲欧美熟女| 免费高清在线观看日韩| 午夜精品久久久久久毛片777| 精品日产1卡2卡| 精品久久久久久久毛片微露脸| 亚洲精品国产精品久久久不卡| 久久精品91无色码中文字幕| 国产精品久久电影中文字幕| 超碰成人久久| 久久国产乱子伦精品免费另类| 欧美性猛交╳xxx乱大交人| 非洲黑人性xxxx精品又粗又长| 国产1区2区3区精品| 黄色 视频免费看| 亚洲av成人av| 欧美人与性动交α欧美精品济南到| 国产精品一区二区免费欧美| 国产午夜福利久久久久久| 一级a爱片免费观看的视频| 女性生殖器流出的白浆| 国产精品久久视频播放| 亚洲免费av在线视频| 国产亚洲精品av在线| 亚洲全国av大片| 亚洲精品美女久久久久99蜜臀| 午夜福利在线观看吧| 亚洲avbb在线观看| 日本熟妇午夜| 99精品在免费线老司机午夜| 国产精品国产高清国产av| 2021天堂中文幕一二区在线观 | 首页视频小说图片口味搜索| 看片在线看免费视频| 老熟妇仑乱视频hdxx| 亚洲熟妇中文字幕五十中出| 午夜福利视频1000在线观看| 久久人妻av系列| 亚洲中文字幕日韩| 黄片小视频在线播放| 大香蕉久久成人网| 精品国产乱子伦一区二区三区| 亚洲成人免费电影在线观看| 宅男免费午夜| 国产精华一区二区三区| 亚洲天堂国产精品一区在线| 国产亚洲精品久久久久久毛片| 国产一卡二卡三卡精品| 高清毛片免费观看视频网站| 两个人看的免费小视频| 久久精品91蜜桃| 亚洲,欧美精品.| 丝袜人妻中文字幕| 欧美大码av| 一边摸一边做爽爽视频免费| 一进一出好大好爽视频| 欧美成人一区二区免费高清观看 | 欧美黄色片欧美黄色片| 两性夫妻黄色片| 观看免费一级毛片| 国产亚洲精品久久久久久毛片| 成人亚洲精品一区在线观看| 一个人免费在线观看的高清视频| 免费看十八禁软件| 18禁黄网站禁片午夜丰满| 欧美成人免费av一区二区三区| 午夜日韩欧美国产| 国产成人欧美| 又大又爽又粗| 激情在线观看视频在线高清| 久久人妻福利社区极品人妻图片| 成人一区二区视频在线观看| 99精品欧美一区二区三区四区| www国产在线视频色| 日韩欧美 国产精品| av超薄肉色丝袜交足视频| 色播在线永久视频| 亚洲中文av在线| 国内久久婷婷六月综合欲色啪| 国产三级在线视频| 久久这里只有精品19| 亚洲 欧美 日韩 在线 免费| 国产精品 国内视频| 国产亚洲精品综合一区在线观看 | 69av精品久久久久久| 国产高清videossex| 又黄又爽又免费观看的视频| 日韩欧美在线二视频| 波多野结衣巨乳人妻| 一级a爱视频在线免费观看| 国产成人系列免费观看| 成在线人永久免费视频| 久久香蕉激情| 成人18禁在线播放| 激情在线观看视频在线高清| 久久国产精品男人的天堂亚洲| 精品免费久久久久久久清纯| 亚洲欧美精品综合久久99| 欧美日本视频| 精华霜和精华液先用哪个| 男女视频在线观看网站免费 | 看免费av毛片| 成人av一区二区三区在线看| 变态另类丝袜制服| 可以在线观看的亚洲视频| 精品久久久久久久久久久久久 | 国产精品久久久久久精品电影 | 亚洲三区欧美一区| 国产精品免费一区二区三区在线| 一本一本综合久久| 丁香六月欧美| 久久久国产欧美日韩av| 99国产综合亚洲精品| 成人国语在线视频| 一级黄色大片毛片| 免费高清在线观看日韩| 欧美一级毛片孕妇| 亚洲国产精品sss在线观看| 在线观看免费午夜福利视频| 每晚都被弄得嗷嗷叫到高潮| 麻豆国产av国片精品| 老熟妇乱子伦视频在线观看| av天堂在线播放| 成人精品一区二区免费| 一级a爱视频在线免费观看| 国产主播在线观看一区二区| 日韩高清综合在线| 国产精品野战在线观看| 999久久久精品免费观看国产| 亚洲成av片中文字幕在线观看| 人人妻人人澡人人看| 中文资源天堂在线| 久久久久久人人人人人| 国产精品一区二区三区四区久久 | 中文字幕人妻熟女乱码| 精品久久久久久久久久免费视频| 久久国产精品影院| 国内揄拍国产精品人妻在线 | 国产又黄又爽又无遮挡在线| 亚洲成人久久性| 99国产综合亚洲精品| 欧美成人免费av一区二区三区| 久久 成人 亚洲| 精品电影一区二区在线| 女性生殖器流出的白浆| 日本三级黄在线观看| 国产视频一区二区在线看| 国产精品,欧美在线| 最近最新免费中文字幕在线| 校园春色视频在线观看| 91九色精品人成在线观看| 人人妻人人澡欧美一区二区| 老鸭窝网址在线观看| 欧美国产日韩亚洲一区| 亚洲一区二区三区不卡视频| 村上凉子中文字幕在线| 18禁裸乳无遮挡免费网站照片 | 国产精品日韩av在线免费观看| 亚洲欧洲精品一区二区精品久久久| 日本五十路高清| 无人区码免费观看不卡| 久久精品人妻少妇| 老司机午夜十八禁免费视频| 国产午夜福利久久久久久| 亚洲无线在线观看| 国产成人一区二区三区免费视频网站| 亚洲欧美日韩高清在线视频| 久久国产精品影院| 久久精品影院6| 欧美黄色淫秽网站| 亚洲午夜精品一区,二区,三区| 午夜免费成人在线视频| 日本免费a在线| 老司机午夜福利在线观看视频| 国语自产精品视频在线第100页| 欧美午夜高清在线| 亚洲黑人精品在线| 亚洲欧美精品综合久久99| 又紧又爽又黄一区二区| 午夜a级毛片| 久9热在线精品视频| 老司机在亚洲福利影院| 欧美成人一区二区免费高清观看 | 日日摸夜夜添夜夜添小说| 在线免费观看的www视频| 在线观看免费日韩欧美大片| 黑人操中国人逼视频| 欧美av亚洲av综合av国产av| 欧美日韩黄片免| 日韩精品免费视频一区二区三区| a级毛片在线看网站| 亚洲欧美日韩高清在线视频| 亚洲 国产 在线| 久久中文字幕人妻熟女| 一卡2卡三卡四卡精品乱码亚洲| 国产一级毛片七仙女欲春2 | 久久热在线av| 两人在一起打扑克的视频| 亚洲自偷自拍图片 自拍| 亚洲精品一区av在线观看| 老鸭窝网址在线观看| 日本三级黄在线观看| 黄色 视频免费看| 亚洲av电影在线进入| 亚洲免费av在线视频| 好看av亚洲va欧美ⅴa在| 精品乱码久久久久久99久播| 亚洲人成电影免费在线| 天天一区二区日本电影三级| 十八禁网站免费在线| 成人18禁高潮啪啪吃奶动态图| 午夜免费观看网址| 免费在线观看日本一区| 久久久久久大精品| 亚洲自偷自拍图片 自拍| 天天添夜夜摸| 亚洲最大成人中文| cao死你这个sao货| 国产精品免费视频内射| 国产真人三级小视频在线观看| 亚洲欧美精品综合久久99| 午夜a级毛片| 在线播放国产精品三级| 深夜精品福利| 免费一级毛片在线播放高清视频| 天天添夜夜摸| 亚洲一区中文字幕在线| 日韩高清综合在线| 少妇粗大呻吟视频| 两人在一起打扑克的视频| 欧美日本亚洲视频在线播放| 首页视频小说图片口味搜索| 久久精品夜夜夜夜夜久久蜜豆 | 亚洲欧美精品综合久久99| 亚洲片人在线观看| 最新美女视频免费是黄的| 亚洲国产欧洲综合997久久, | 满18在线观看网站| 女同久久另类99精品国产91| 中文字幕人妻熟女乱码| 久久精品91蜜桃| 亚洲精品中文字幕一二三四区| 99精品在免费线老司机午夜| 日韩欧美一区二区三区在线观看| 99热这里只有精品一区 | 波多野结衣巨乳人妻| 听说在线观看完整版免费高清| 美国免费a级毛片| 日日干狠狠操夜夜爽| 一级a爱视频在线免费观看| 高清毛片免费观看视频网站| ponron亚洲| 亚洲成a人片在线一区二区| 啦啦啦免费观看视频1| 亚洲第一电影网av| 一二三四社区在线视频社区8| 一区二区三区国产精品乱码| 国产高清有码在线观看视频 | 岛国视频午夜一区免费看| 一夜夜www| 一级毛片女人18水好多| 国产主播在线观看一区二区| 美女 人体艺术 gogo| 悠悠久久av| 在线观看午夜福利视频| 免费无遮挡裸体视频| 国产精品久久视频播放| 亚洲人成网站在线播放欧美日韩| 桃红色精品国产亚洲av| 一进一出抽搐gif免费好疼| 色精品久久人妻99蜜桃| 老汉色∧v一级毛片| 久久这里只有精品19| 亚洲第一av免费看| 亚洲avbb在线观看| 精品国产美女av久久久久小说| 高潮久久久久久久久久久不卡| 国产精品日韩av在线免费观看| 久久精品亚洲精品国产色婷小说| a级毛片在线看网站| 妹子高潮喷水视频| 日本撒尿小便嘘嘘汇集6| 久久国产精品男人的天堂亚洲| 国产人伦9x9x在线观看| 国产亚洲欧美在线一区二区| 国产伦一二天堂av在线观看| 日本 欧美在线| 老汉色∧v一级毛片| 欧美色欧美亚洲另类二区| 啦啦啦免费观看视频1| 国产aⅴ精品一区二区三区波| 99在线人妻在线中文字幕| 香蕉久久夜色| 亚洲aⅴ乱码一区二区在线播放 | 国产高清视频在线播放一区| 亚洲免费av在线视频| 黄色女人牲交| 中文字幕av电影在线播放| 欧美性猛交╳xxx乱大交人| av电影中文网址| 夜夜爽天天搞| 久久久久久人人人人人| 久久久久国产一级毛片高清牌| 亚洲激情在线av| 看片在线看免费视频| 狠狠狠狠99中文字幕| 亚洲国产高清在线一区二区三 | 在线观看www视频免费| 精品无人区乱码1区二区| 美女午夜性视频免费| 日本一本二区三区精品| 叶爱在线成人免费视频播放| 国产精品一区二区精品视频观看| 麻豆成人午夜福利视频| 久久国产乱子伦精品免费另类| 国产精品 欧美亚洲| 18禁国产床啪视频网站| 久久久久久久久中文| 亚洲黑人精品在线| 999精品在线视频| 性欧美人与动物交配| 午夜免费观看网址| 91在线观看av| 日韩高清综合在线| av天堂在线播放| 丰满人妻熟妇乱又伦精品不卡| 啦啦啦 在线观看视频| 在线十欧美十亚洲十日本专区| 99riav亚洲国产免费| 亚洲av成人不卡在线观看播放网| 亚洲avbb在线观看| 国产精品九九99| 欧美国产精品va在线观看不卡| 嫁个100分男人电影在线观看| 亚洲精品在线观看二区| 伦理电影免费视频| 亚洲人成77777在线视频| 曰老女人黄片| 一级作爱视频免费观看| av在线播放免费不卡| 啦啦啦韩国在线观看视频| 两个人视频免费观看高清| 老汉色∧v一级毛片| 亚洲第一欧美日韩一区二区三区| 一进一出好大好爽视频| 国产激情偷乱视频一区二区| 欧美黑人巨大hd| 国产高清视频在线播放一区| 熟女少妇亚洲综合色aaa.| 亚洲熟妇中文字幕五十中出| 我的亚洲天堂| 十八禁网站免费在线| 窝窝影院91人妻| av有码第一页| 热re99久久国产66热| 琪琪午夜伦伦电影理论片6080| 日韩大尺度精品在线看网址| 久久中文看片网| www.熟女人妻精品国产| 欧美黑人精品巨大| 欧美另类亚洲清纯唯美| 男女下面进入的视频免费午夜 | 国产精品免费视频内射| 亚洲五月天丁香| 国产精品一区二区精品视频观看| 一级片免费观看大全| 欧美精品亚洲一区二区| 中亚洲国语对白在线视频| 国产亚洲精品一区二区www| 丝袜美腿诱惑在线| 女人爽到高潮嗷嗷叫在线视频| 丝袜美腿诱惑在线| 一本大道久久a久久精品| 欧美激情极品国产一区二区三区| 久久国产亚洲av麻豆专区| 久久久水蜜桃国产精品网| 国内精品久久久久精免费| 久久久水蜜桃国产精品网| 亚洲天堂国产精品一区在线| 日韩欧美三级三区| 看免费av毛片| 琪琪午夜伦伦电影理论片6080| 国产成人精品久久二区二区免费| 女性生殖器流出的白浆| 91在线观看av| 欧美激情极品国产一区二区三区| 高潮久久久久久久久久久不卡| 亚洲av美国av| 757午夜福利合集在线观看| 久久久国产成人免费| 亚洲国产精品sss在线观看| 精品久久蜜臀av无| 亚洲国产精品999在线| 久久久久久久久免费视频了| 免费女性裸体啪啪无遮挡网站| 亚洲中文字幕日韩| 精品欧美一区二区三区在线| 女生性感内裤真人,穿戴方法视频| 欧美精品亚洲一区二区| 中文字幕精品亚洲无线码一区 | 成年免费大片在线观看| 精品乱码久久久久久99久播| 少妇熟女aⅴ在线视频| 一级作爱视频免费观看| 国产精品影院久久| 黄色丝袜av网址大全| 精品国产乱码久久久久久男人| 国产成人欧美| svipshipincom国产片| 久久中文字幕一级| 12—13女人毛片做爰片一| 成人18禁在线播放| 成在线人永久免费视频| 身体一侧抽搐| 免费高清在线观看日韩| 黑人巨大精品欧美一区二区mp4| 久久久国产成人精品二区| 国产黄a三级三级三级人| 777久久人妻少妇嫩草av网站| 亚洲成a人片在线一区二区| 亚洲av成人av| 亚洲欧美精品综合一区二区三区| 老司机午夜十八禁免费视频| 国产精品一区二区三区四区久久 | 嫩草影院精品99| 欧美精品亚洲一区二区| 禁无遮挡网站| 亚洲国产精品sss在线观看| 国产1区2区3区精品| 桃红色精品国产亚洲av| 一a级毛片在线观看| netflix在线观看网站| 1024手机看黄色片| 黄色女人牲交| 天天一区二区日本电影三级|