• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于在線學(xué)習(xí)的數(shù)據(jù)中心節(jié)能方案設(shè)計

    2022-11-02 03:06:24張乾徐歡樂劉敬民
    東莞理工學(xué)院學(xué)報 2022年5期
    關(guān)鍵詞:臺數(shù)搖臂數(shù)據(jù)中心

    張乾 徐歡樂 劉敬民

    (1. 東莞理工學(xué)院 計算機科學(xué)與技術(shù)學(xué)院,廣東東莞 523808;2. 香港中文大學(xué) 計算機學(xué)院,中國香港 999077;3. 維諦技術(shù)(西安)有限公司,陜西西安 710018)

    數(shù)據(jù)中心是支撐大規(guī)模、關(guān)鍵任務(wù)的計算機領(lǐng)域基礎(chǔ)設(shè)施,需要保持不間斷運行,推動了IT行業(yè)的快速增長,甚至影響到經(jīng)濟(jì)發(fā)展[1]。數(shù)據(jù)中心的廣泛應(yīng)用主要由兩個現(xiàn)象引起:一方面,大規(guī)模云服務(wù)提供商、電信運營商、銀行和其他公司對數(shù)據(jù)計算、處理和存儲的需求日益增長,這需要大型數(shù)據(jù)中心的支持,其中有的數(shù)據(jù)中心有數(shù)千臺服務(wù)器(有時有數(shù)百萬臺服務(wù)器)[2];另一方面,應(yīng)用程序的需求也促進(jìn)了大規(guī)模計算機基礎(chǔ)設(shè)施的建設(shè)。隨著移動互聯(lián)網(wǎng)的發(fā)展,我國已有數(shù)十億網(wǎng)民使用移動互聯(lián)網(wǎng)應(yīng)用[3],例如淘寶、抖音、微信等,這類應(yīng)用背后需要部署大量數(shù)據(jù)中心以支撐其向上億人口提供服務(wù)。因此,數(shù)據(jù)中心在當(dāng)今科技生活中發(fā)揮了重要作用,已成為必要的基礎(chǔ)設(shè)施。

    數(shù)據(jù)中心作為大規(guī)模計算基礎(chǔ)設(shè)施,擁有巨大的能源預(yù)算,也導(dǎo)致了各種能源效率問題[4]。由于經(jīng)濟(jì)、環(huán)境和性能方面的影響,數(shù)據(jù)中心的能源效率也變得至關(guān)重要。首先,數(shù)據(jù)中心具有較高的經(jīng)濟(jì)影響力。數(shù)據(jù)中心空間的耗電量可能是同等面積大小的標(biāo)準(zhǔn)辦公空間耗電量的100至200倍[5]。其次,數(shù)據(jù)中心消耗大量電能,而發(fā)電會造成多項環(huán)境問題[6]。在美國,數(shù)據(jù)中心消耗了全國所有用電量的1.7%至2.2%[7]。2012年全球數(shù)據(jù)中心消耗了270千瓦時的能源,從2007年至2012年,這種消耗的復(fù)合年增長率(Compound Annual Growth Rate,CAGR)為4.4%[8]。

    數(shù)據(jù)中心內(nèi)部系統(tǒng)中,主要有兩類設(shè)備消耗電能:IT設(shè)備、相關(guān)基礎(chǔ)設(shè)施(如冷卻系統(tǒng))[9]。衡量數(shù)據(jù)中心能源效率的一項重要指標(biāo)便由以上兩類設(shè)備的耗電量計算得出,這一指標(biāo)為電能利用效率——PUE(Power Usage Effectiveness),2007年由美國綠色網(wǎng)格組織(The Green Grid,TGG)提出并將其作為數(shù)據(jù)中心能源效率的一項指標(biāo),目前被國內(nèi)外數(shù)據(jù)中心行業(yè)廣泛使用[10]。PUE計算公式如式(1):

    PUE=Pt/Pit,

    (1)

    公式(1)中,Pt為數(shù)據(jù)中心總耗電量,Pit為數(shù)據(jù)中心IT設(shè)備耗電量。數(shù)據(jù)中心總耗電量必然包含數(shù)據(jù)中心IT設(shè)備的耗電量,所以PUE是一個大于1的數(shù)值,PUE越低,說明數(shù)據(jù)中心用于IT設(shè)備以外的能耗越低。在數(shù)據(jù)中心長期運行期間,PUE的值也會受到季節(jié)、天氣以及IT負(fù)載等多方面的影響。通常來說,夜間的PUE要低于中午的PUE,為綜合判斷數(shù)據(jù)中心能源利用效率,使用連續(xù)24小時內(nèi)檢測得到的PUE均值進(jìn)行評估。

    在數(shù)據(jù)中心能耗構(gòu)成中,制冷系統(tǒng)的能耗占比高達(dá)30%以上[11]。研究并優(yōu)化數(shù)據(jù)中心的制冷方案,對于數(shù)據(jù)中心的能源節(jié)約有著十分重要的意義。本文要優(yōu)化模塊化數(shù)據(jù)中心(圖1)的空調(diào)管理系統(tǒng),是維諦技術(shù)有限公司開發(fā)并推向市場的模塊化數(shù)據(jù)中心,其優(yōu)勢是有統(tǒng)一的建設(shè)標(biāo)準(zhǔn),客戶可根據(jù)自身業(yè)務(wù)需求進(jìn)行定制。如圖1所示,在數(shù)據(jù)中心內(nèi)部,兩側(cè)交錯擺放服務(wù)器S和空調(diào)AC,中間的通道稱為冷通道,數(shù)據(jù)中心外部兩側(cè)稱為熱通道。當(dāng)數(shù)據(jù)中心運行時處于封閉狀態(tài),服務(wù)器產(chǎn)生的熱量進(jìn)入冷通道,空調(diào)則會持續(xù)向冷通道吹入冷風(fēng),從而達(dá)到降溫的目的。這種情況下,數(shù)據(jù)中心內(nèi)部始終處于相對低溫的環(huán)境,且冷通道與外界隔離,減少冷量流失,最大化利用空調(diào)制冷量[12]。此外,數(shù)據(jù)中心的IT負(fù)載以及外界環(huán)境溫度都會發(fā)生變化,那么空調(diào)的開啟狀態(tài)設(shè)置也是要進(jìn)行改變的。不合適的空調(diào)設(shè)置可能會制造過多或過少的冷量,冷量過多會浪費電能,冷量過少甚至?xí)龎姆?wù)器。

    圖1 模塊化數(shù)據(jù)中心平面圖

    在對冷卻系統(tǒng)進(jìn)行設(shè)置后,還需要考慮以下問題:

    1)延遲影響??照{(diào)的設(shè)置在需要一定的時間才能起到調(diào)節(jié)環(huán)境溫度的作用。在開啟的瞬間空調(diào)能效比很低,會比較耗電,經(jīng)過一段時間,隨著環(huán)境狀態(tài)趨于穩(wěn)定,空調(diào)耗電也趨于穩(wěn)定,這種情況下檢測到的PUE值更具有代表性。

    2)隨機偏差??刂颇K讀取位于數(shù)據(jù)中心相應(yīng)位置的檢測設(shè)備(傳感器、溫度計等)的檢測結(jié)果,其得到的檢測數(shù)據(jù)不可避免會帶來一定的隨機偏差。

    3)熱點問題。模塊化數(shù)據(jù)中心內(nèi)部按照一個標(biāo)準(zhǔn)建設(shè),但會發(fā)生一些無法預(yù)知熱點問題,例如某個位置機柜只能吹到少量的冷風(fēng),導(dǎo)致這一位置散熱效果略差。

    為更好地控制數(shù)據(jù)中心冷卻系統(tǒng),本文提出一種基于在線學(xué)習(xí)的模塊化數(shù)據(jù)中心空調(diào)管理方案,該方案可根據(jù)數(shù)據(jù)中心實時環(huán)境狀態(tài),給出空調(diào)設(shè)置決策(包括空調(diào)開啟臺數(shù)和設(shè)置溫度),并始終保持在線學(xué)習(xí),可適應(yīng)環(huán)境的變化。此方案含有兩個機器學(xué)習(xí)模型,第一個模型采用基于高斯過程置信上界(Gaussian Process Upper Confidence Bound,Gaussian Process UCB)的多搖臂賭博機(Multi Armed Bandit)決策出空調(diào)開啟臺數(shù),第二個模型采用XGBoost回歸模型在已確定空調(diào)開啟臺數(shù)的基礎(chǔ)上決策出空調(diào)設(shè)置溫度。雙模型將決策空間解耦可加速學(xué)習(xí)過程,并且得到的決策可在保證數(shù)據(jù)中心安全的基礎(chǔ)上,實現(xiàn)最低PUE。方案在維諦技術(shù)有限公司提供的數(shù)據(jù)中心模擬實驗室進(jìn)行測試,可在一周內(nèi)實現(xiàn)出明顯的優(yōu)化效果,訓(xùn)練一周后,日均PUE穩(wěn)定在1.25左右(IT負(fù)載固定在59 KW)。

    1 相關(guān)工作

    二十一世紀(jì)初,人們更關(guān)注對冷卻系統(tǒng)的優(yōu)化,通過降低冷卻系統(tǒng)自身耗能,以實現(xiàn)節(jié)能的目的。冷卻系統(tǒng)優(yōu)化涉及復(fù)雜的冷卻系統(tǒng)控制,其中冷卻系統(tǒng)由多個部件組成,如冷卻塔、水冷機組和通風(fēng)系統(tǒng)等。冷卻系統(tǒng)控制的一種常見做法是調(diào)整設(shè)定點,即不同控制變量的目標(biāo)值。例如,通過將空調(diào)器出口處的溫度控制變量設(shè)置為所需的值,空調(diào)器可以通過消耗一定的能量來調(diào)整其內(nèi)部狀態(tài)以滿足設(shè)定點。這些設(shè)定點的最佳選擇可能是具有挑戰(zhàn)性的,因為這個過程依賴于冷卻系統(tǒng)的知識,從熱動力學(xué)到力學(xué)。許多現(xiàn)有的方法都是基于一個近似的系統(tǒng)模型,該模型通常包含熱、電和機械原理的一階效應(yīng)[13-14]。這些近似模型有時無法充分或準(zhǔn)確地捕捉各種相互作用過程的復(fù)雜冷卻操作,無法得到最佳或穩(wěn)定的冷卻控制。

    因本研究要研究冷卻系統(tǒng)設(shè)置結(jié)合當(dāng)前環(huán)境狀態(tài)對PUE的影響,以此開發(fā)算法模型對冷卻系統(tǒng)進(jìn)行控制,所以需要關(guān)注數(shù)據(jù)中心PUE相關(guān)的能耗模型。AeBischer等人[15]較早地提出數(shù)據(jù)中心能耗模型,如公式(2)所示:

    (2)

    在公式(2)中,n是類型i的設(shè)備數(shù)量,e是處于功能狀態(tài)j的功率負(fù)載,u是用戶k的使用強度。

    Liu等人[16]研究發(fā)現(xiàn),不同的工作負(fù)載下,電能使用效率也不同,他們將數(shù)據(jù)中心t時刻總電能表示為

    V(t)=ηpue(t)(a(t)+b(t)),

    (3)

    在公式(3)中,a(t)是固定負(fù)載下的電能使用情況,b(t)是變負(fù)載下的電能使用情況。AeBischer和Liu的研究表明數(shù)據(jù)中心冷卻系統(tǒng)設(shè)置同PUE之間存在聯(lián)系,這為研究通過機器學(xué)習(xí)對數(shù)據(jù)中心進(jìn)行節(jié)能控制提供了可行性。事實上,已經(jīng)有學(xué)者嘗試過在數(shù)據(jù)中心采用機器學(xué)習(xí)算法控制冷卻系統(tǒng)并進(jìn)行優(yōu)化。

    近年來,人們開始研究機器學(xué)習(xí)在數(shù)據(jù)中心節(jié)能中的應(yīng)用,這類方案不假定底層系統(tǒng)的任何特定模型,而是從系統(tǒng)狀態(tài)和能耗上收集的海量數(shù)據(jù)中學(xué)習(xí)并得到控制策略[17]。2014年,谷歌工程師首次采用神經(jīng)網(wǎng)絡(luò)解決超大型數(shù)據(jù)中心節(jié)能問題,他們利用大型神經(jīng)網(wǎng)絡(luò)建模,采用監(jiān)控數(shù)據(jù)進(jìn)行訓(xùn)練,從而去預(yù)測整個數(shù)據(jù)中心下一時刻的PUE[18]。其中,神經(jīng)網(wǎng)絡(luò)包含5個隱層,輸入達(dá)19個參數(shù),包含IT負(fù)載、溫度、濕度、冷水機組、冷卻塔數(shù)量、設(shè)備位置等。這一方案使用預(yù)先采集的離線數(shù)據(jù),適用于超大型數(shù)據(jù)中心,無法被大面積推廣,但證明了機器學(xué)習(xí)用于提升數(shù)據(jù)中心能效方面是可行的。楊振等人[10]在谷歌模型基礎(chǔ)上做出了改進(jìn),他們在輸入?yún)?shù)中加入了室內(nèi)外溫度、濕度、以及冷卻水管溫度等特征,從而更全面地描述環(huán)境狀態(tài)。但以上方案有兩點不適用于解決本文的問題。一是以上方案均采用離線數(shù)據(jù)集訓(xùn)練,需要收集足夠數(shù)量的數(shù)據(jù);二是以上方案面向超大型數(shù)據(jù)中心設(shè)計,最終訓(xùn)練得到的模型僅適用于被采樣的數(shù)據(jù)中心,無法直接用于其他數(shù)據(jù)中心。本文目標(biāo)是全程采用在線學(xué)習(xí)的方式,在較短時間內(nèi)訓(xùn)練模型并有較好的優(yōu)化效果,且模型始終處于學(xué)習(xí)狀態(tài),以適應(yīng)環(huán)境的變化。

    除了大型神經(jīng)網(wǎng)絡(luò)模型,還有人研究采用強化學(xué)習(xí)進(jìn)行數(shù)據(jù)中心節(jié)能。強化學(xué)習(xí)屬于機器學(xué)習(xí),近年來其研究發(fā)展迅速,為應(yīng)對解決復(fù)雜的問題,人們采用神經(jīng)網(wǎng)絡(luò)作為強化學(xué)習(xí)決策模型,將其稱為深度強化學(xué)習(xí)(Deep Reinforcement Learning,DRL)。在游戲領(lǐng)域和虛擬機任務(wù)調(diào)度領(lǐng)域,深度強化學(xué)習(xí)已取得了進(jìn)展[19-20]。深度強化學(xué)習(xí)可實現(xiàn)在線學(xué)習(xí)的方式,適合解決一些數(shù)據(jù)中心節(jié)能問題。Li等人[21]就已經(jīng)采用深度強化學(xué)習(xí)算法進(jìn)行處理數(shù)據(jù)中心冷卻系統(tǒng)優(yōu)化,他們將工作負(fù)載列表和環(huán)境溫度列表定義為狀態(tài)空間,采用PUE和每個區(qū)域的IT設(shè)備出風(fēng)口溫度作為收益值。他們的訓(xùn)練目標(biāo)是最小化PUE,同時將IT設(shè)備出風(fēng)口溫度保持設(shè)定目標(biāo)溫度,收益值如公式(4):

    (4)

    在公式(4)中,s表示當(dāng)前的冷卻系統(tǒng)設(shè)置,εpue表示檢測到的PUE值,T是檢測到的IT設(shè)備出風(fēng)口溫度,φ則是設(shè)定的標(biāo)準(zhǔn)溫度。但基于現(xiàn)實條件,可以獲得的數(shù)據(jù)中心監(jiān)測數(shù)據(jù)量還是太小,依靠PUE收益值的設(shè)計排除那些PUE低但溫度較高的決策無疑會影響學(xué)習(xí)效率。經(jīng)過實驗,發(fā)現(xiàn)深度強化學(xué)習(xí)效果并不理想,轉(zhuǎn)而采用一種復(fù)合式的在線學(xué)習(xí)方案。該方案采用多搖臂賭博機和XGBoost兩個機器學(xué)習(xí)模型將空調(diào)設(shè)置的決策空間解耦,可加速訓(xùn)練。

    2 模型介紹

    2.1 多搖臂賭博機

    多搖臂賭博機模型將決策視為一個個搖臂,決策時根據(jù)估計的各個搖臂收益值選擇搖臂,做出選擇后可根據(jù)真實的收益值進(jìn)行訓(xùn)練。經(jīng)過多輪決策,模型估計各個搖臂的收益越來越精確,從而做出最佳選擇。

    實現(xiàn)多搖臂賭博機的重要挑戰(zhàn)是需要平衡探索和利用,以盡量能選擇到哪些收益最高的搖臂。一方面,要多選擇那些過去的實驗中收益最高的搖臂,這屬于利用;另一方面,要均衡選擇,爭取所有搖臂都被充分選擇,這屬于探索。在訓(xùn)練過程中,若過多注重利用,即頻繁選擇之前收益值更高的決策,一些潛在的好決策將無法被選擇,造成模型訓(xùn)練陷入局部最優(yōu),對收益值的估計失準(zhǔn);若過多注重探索,即頻繁隨機選擇決策,不參考模型對各個決策的收益估計值,那么會做出大量不好的決策,這樣會大大降低模型的有效率。因此,需要對探索和利用做一個合適的權(quán)衡,避免過于偏向兩者任何一方。

    對于平衡探索和利用,最簡單直接的策略就是ε貪心策略。在每輪試驗t中,該算法首先估計每個搖臂的平均收益μt。然后,用ε的概率進(jìn)行貪心選擇,即選擇收益最高的搖臂,以1-ε的概率隨機選擇搖臂。在訓(xùn)練輪次夠多的情況下,每個搖臂都會被充分地嘗試,模型每個搖臂的收益估計值μt也會更加精確。 此外,隨著訓(xùn)練輪次的增加,可適當(dāng)增大ε,這樣將會逐漸降低探索的機率,增加利用的機率,從而保證模型收斂后做出更多收益高的決策。

    與ε貪心所采用的非引導(dǎo)探索策略相比,置信上界(Upper Confidence Bound,UCB)策略使用一種更聰明的方法來平衡探索和利用。簡單來說,就是每個搖臂的預(yù)估收益值由根據(jù)歷史數(shù)據(jù)估計的收益值加上置信區(qū)間的長度得到。在第t輪訓(xùn)練期間,采用相應(yīng)的算法去估計各個搖臂的收益值μt,a和相對應(yīng)的置信區(qū)間ct,a,使得|μt,a-μr|

    (5)

    在一輪訓(xùn)練中,對于過去訓(xùn)練中選擇次數(shù)較少甚至未選擇過的搖臂,其置信區(qū)間比較大,最終預(yù)估到的置信上界也會很大。對于多次選擇且收益較高的搖臂,雖然置信區(qū)間很小,但預(yù)測的收益值很大。因此,UCB可以引導(dǎo)學(xué)習(xí)器傾向于選擇那些表現(xiàn)好的或者選擇次數(shù)不足的搖臂,從而比較好地解決探索和利用之間的權(quán)衡問題。

    近些年多搖臂賭博機模型在多個領(lǐng)域(推薦系統(tǒng),云資源配置等)皆有應(yīng)用,并有了改進(jìn)的實現(xiàn)方式。Li等人[22]提出了基于的Linear UCB多搖臂賭博機的個性化新聞推薦模型,用于雅虎的新聞推薦系統(tǒng)。Linear UCB是線性回歸結(jié)合多搖臂賭博機的方案,其中使用嶺回歸對收益值進(jìn)行回歸預(yù)測。Liu等人[23]提出了Accordia模型——利用高斯過程置信上界(Gaussian Process UCB)結(jié)合多搖臂賭博機去決策自適應(yīng)云服務(wù)最佳資源配置,其中采用Gaussian Process UCB進(jìn)行計算各搖臂的收益值和置信區(qū)間。本文的在線學(xué)習(xí)方案也是將基于Gaussian Process UCB的多搖臂賭博機作為第一個模型。

    2.2 高斯過程置信上界

    μt(x)=kt(x)T(Kt+σ2I)-1yt,

    (6)

    kt(x,x′)=k(x,x')-kt(x)T(Kt+σ2I)-1kt(x′),

    (7)

    (8)

    在第t輪決策周期,已經(jīng)觀察到t-1個樣本數(shù)據(jù),yt-1={y1,y2,…,yt-1}和At-1={x1,x2,…,xt-1},則可以采用公式(6)和公式(8)進(jìn)行預(yù)測當(dāng)前狀態(tài)下選擇每個搖臂所得到的收益值以及方差??梢愿鶕?jù)公式(9)來選擇第t輪要選擇的搖臂(決策,即開啟的空調(diào)臺數(shù)):

    (9)

    在公式(9)中,

    其中times表示迭代次數(shù),n表示存儲的樣本的數(shù)據(jù)量。

    3 方案設(shè)計

    3.1 方案目標(biāo)

    為了優(yōu)化模塊化數(shù)據(jù)中心冷卻控制系統(tǒng),提出的方案要能夠根據(jù)當(dāng)前的環(huán)境狀態(tài)決策出數(shù)據(jù)中心的空調(diào)開啟臺數(shù)和設(shè)定溫度,使得當(dāng)前數(shù)據(jù)中心的冷通道溫度維持在設(shè)定的目標(biāo)溫度,且空調(diào)的耗電量最低。采用日均PUE作為衡量數(shù)據(jù)中心能源利用效率的指標(biāo),并且保證冷通道溫度穩(wěn)定。一方面,數(shù)據(jù)中心的冷通道溫度過高,會降低服務(wù)器散熱效率,甚至?xí)龎姆?wù)器硬件;另一方面,只有控制住冷通道溫度這一變量,才可根據(jù)日均PUE來評估數(shù)據(jù)中心電能利用效率。因此,本目標(biāo)就是:在冷通道溫度維持在設(shè)定值的情況下,使得模塊化數(shù)據(jù)中心PUE值最低,用數(shù)學(xué)公式表達(dá)如下:

    珠三角、長三角、京津冀作為中國區(qū)域經(jīng)濟(jì)一體化的三大重點經(jīng)濟(jì)圈均受到了不同程度的政策傾斜與支持,改革開放之后,隨著上世紀(jì)70年代深圳經(jīng)濟(jì)特區(qū)和90年代上海浦東新區(qū)的建立,珠三角與長三角的對外貿(mào)易和區(qū)域經(jīng)濟(jì)發(fā)展都得到了不同程度的推動。京津冀地區(qū)身處內(nèi)陸,缺乏長三角和珠三角的對外貿(mào)易地理優(yōu)勢。同時相較于北京天津高水平的科技實力和對人才的強勁吸引力,河北省在基礎(chǔ)設(shè)施建設(shè)、高新技術(shù)水平提升和產(chǎn)業(yè)結(jié)構(gòu)優(yōu)化等多個領(lǐng)域都與京津地區(qū)有較大差距。因而,要推進(jìn)區(qū)域經(jīng)濟(jì)的協(xié)調(diào)發(fā)展,推動京津冀地區(qū)一體化水平的提升,需要通過新區(qū)的建設(shè)來增強河北省經(jīng)濟(jì)發(fā)展和產(chǎn)業(yè)結(jié)構(gòu)調(diào)整的動力,從而提升京津冀協(xié)調(diào)發(fā)展水平[2]。

    s.t:T0-V

    (10)

    公式(10)中,T0表示目標(biāo)冷通道溫度,V表示允許溫度波動的范圍,Ps,t表示數(shù)據(jù)中心在t時刻的空調(diào)設(shè)置為s情況下的PUE,Ts,t表示數(shù)據(jù)中心在t時刻的空調(diào)設(shè)置為s情況下的平均冷通道溫度。

    為實現(xiàn)目標(biāo),要求模型可在一輪決策周期內(nèi)對空調(diào)的開啟臺數(shù)和設(shè)置溫度進(jìn)行控制,并在保持冷通道溫度達(dá)標(biāo)的情況下,降低模塊化數(shù)據(jù)中心PUE,直到PUE收斂到某一值。從模型上線時起,模型即可對冷卻系統(tǒng)設(shè)置不斷做出決策,同時搜集數(shù)據(jù)進(jìn)行在線學(xué)習(xí)。在一輪決策周期內(nèi),模型首先從各類傳感器得到環(huán)境狀態(tài),然后給出決策,之后得到新的環(huán)境狀態(tài)和收益值,模型根據(jù)新的環(huán)境狀態(tài)做出決策并使用收益值進(jìn)行在線學(xué)習(xí)。決策共包含兩個信息:空調(diào)開啟數(shù)和設(shè)置溫度。假定模塊化數(shù)據(jù)中心配有6臺空調(diào),設(shè)置溫度區(qū)間范圍是18 ℃-22 ℃,只取整數(shù)選項。通常情況下,決策空間由全部空調(diào)開啟臺數(shù)決策和全部空調(diào)設(shè)置溫度排列組合得到,那么決策空間大小將是空調(diào)開啟臺數(shù)決策空間和設(shè)置溫度決策空間大小的乘積,即6*5=30,這樣會產(chǎn)生兩個問題:

    1)決策空間過大,且含有過多無用決策,從而降低學(xué)習(xí)效率。例如,開啟全部空調(diào),設(shè)置18 ℃情況下冷通道溫度會遠(yuǎn)低于設(shè)定值,導(dǎo)致制冷過度

    2)決策空間中含有高危決策。例如,開啟兩臺空調(diào),設(shè)置21 ℃情況下,冷通道溫度過高,服務(wù)器產(chǎn)生的熱量無法及時排出,導(dǎo)致燒壞服務(wù)器。

    為避免以上問題,采用兩個算法模型分別對空調(diào)開啟數(shù)和設(shè)置溫度給出決策。即第一個模型首先給出空調(diào)開啟臺數(shù)決策,第二個模型跟據(jù)環(huán)境狀態(tài)和空調(diào)開啟臺數(shù)決策空調(diào)的設(shè)置溫度。雙模型可將動作空間進(jìn)行解耦,使得動作空間縮小數(shù)十倍,又可以避免選擇不合適的決策。

    3.2 方案流程

    每5分鐘讀取一次環(huán)境檢測采樣,設(shè)定訓(xùn)練周期為一個半小時,包含18組樣本數(shù)據(jù)。在一輪決策周期開始時,模型會做出決策,包含空調(diào)開啟臺數(shù)和設(shè)置溫度,采用決策周期最后4次檢測樣本的平均值作為此次決策后的環(huán)境狀態(tài)state和PUE值,從而解決延遲影響和隨機偏差。為解決熱點問題,按照空調(diào)臺數(shù)進(jìn)行分區(qū),每個區(qū)域所有檢測結(jié)果的平均值作為該區(qū)域的環(huán)境狀態(tài)。

    對于空調(diào)開啟臺數(shù),采用基于Gaussian Process UCB的多搖臂賭博機模型進(jìn)決策。當(dāng)一輪決策周期開始時,多搖臂賭博機模型會得到當(dāng)前的環(huán)境信息,將環(huán)境狀態(tài)同各個空調(diào)開啟臺數(shù)組合得到一組x(包括IT負(fù)載、平均送風(fēng)溫度、平均回風(fēng)溫度、平均冷通道溫度、平均熱通道溫度、空調(diào)開啟臺數(shù)),然后將其分別代入Gaussian Process UCB公式進(jìn)行計算,最后根據(jù)公式(9)進(jìn)行決策空調(diào)開啟臺數(shù)。

    對于設(shè)置溫度,采用XGBoost回歸模型進(jìn)行決策。XGBoost是基于決策樹的回歸模型[26]。當(dāng)多搖臂賭博機模型給出空調(diào)開啟臺數(shù)的決策時,將其同環(huán)境狀態(tài)組合,作為監(jiān)督學(xué)習(xí)的樣本值,然后根據(jù)XGBoost回歸模型預(yù)測各個空調(diào)設(shè)置溫度下的冷通道溫度,選擇最接近設(shè)定的目標(biāo)冷通道溫度的設(shè)置溫度決策。

    圖2 XGBoost模型預(yù)測過程

    如圖2所示,為了精準(zhǔn)調(diào)節(jié)冷通道溫度,將每個決策周期的環(huán)境狀態(tài)以及空調(diào)設(shè)置作為特征X,將每個控制周期穩(wěn)定后的冷通道溫度作為標(biāo)簽Y。一方面,XGBoost回歸模型采用數(shù)據(jù)集進(jìn)行擬合訓(xùn)練;另一方面,XGBoost根據(jù)特征X去預(yù)測一輪訓(xùn)練周期結(jié)束時的冷通道溫度。圖3描述了使用XGBoost回歸模型進(jìn)行決策的全部過程。在進(jìn)行空調(diào)設(shè)置溫度決策時,首先將環(huán)境狀態(tài)同空調(diào)開啟臺數(shù)組合,并依次拼接所有的設(shè)置溫度(例如18 ℃,19 ℃,20 ℃,21 ℃,22 ℃)得到幾組特征X,接著使用XGBoost回歸模型依次預(yù)測每組特征X對應(yīng)的冷通道溫度Y,最后選出最接近目標(biāo)溫度的冷通道溫度Y,其對應(yīng)的特征X中的設(shè)置溫度即為此次溫度決策。整個過程如圖3所示,此時環(huán)境狀態(tài)(包括IT負(fù)載、平均冷通道溫度、平均熱通道溫度、平均送風(fēng)溫度、平均回風(fēng)溫度)和空調(diào)開啟臺數(shù)已經(jīng)確定,將各種設(shè)置溫度決策帶入,依次預(yù)測相應(yīng)的冷通道溫度。圖3中可以看出,空調(diào)設(shè)置溫度為19℃時,預(yù)測的冷通道溫度最接近設(shè)定的目標(biāo)溫度(22℃)。

    圖3 XGBoost模型決策過程

    3.3 整體方案流程

    介紹了多搖臂賭博機模型和XGBoost回歸模型各自模塊的決策過程,那么方案整體流程如圖4所示,方案總共包括四個階段:

    1)每個決策周期開始時,在線學(xué)習(xí)模型得到當(dāng)前的環(huán)境狀態(tài),將其輸入第一個決策模型多搖臂賭博機,該模型根據(jù)公式(9)得出空調(diào)開啟臺數(shù)決策。

    2)將空調(diào)開啟臺數(shù)同環(huán)境狀態(tài)組合,得到新的數(shù)據(jù),輸入第二個決策模型XGBoost,該模型可得出空調(diào)設(shè)置溫度決策。

    3)將空調(diào)的完整決策輸入控制系統(tǒng)進(jìn)行應(yīng)用,數(shù)據(jù)中心相應(yīng)數(shù)量的空調(diào)將會處于開啟狀態(tài),同時設(shè)定相應(yīng)的溫度。

    4)數(shù)據(jù)中心環(huán)境隨之變化,等到?jīng)Q策周期結(jié)束的時候,在線學(xué)習(xí)模型可得到數(shù)據(jù)中心PUE值,可用于模型訓(xùn)練,同時獲得新的環(huán)境狀態(tài),接著重復(fù)1)、2)、3)步驟,進(jìn)入新一輪訓(xùn)練周期。

    圖4 整體方案流程

    4 實驗分析

    4.1 測試環(huán)境

    在維諦技術(shù)有限公司提供的模塊化數(shù)據(jù)中心實驗室測試算法模型,每次測試為期十天左右。該類數(shù)據(jù)中心實驗室可模擬真實場景下的數(shù)據(jù)中心并提供相應(yīng)的IT負(fù)載環(huán)境。在數(shù)據(jù)中心實驗室測試算法模型要注意以下兩點:1)測試流程按照現(xiàn)實進(jìn)行,比較費時且花費巨大,故在實驗室部署測試前需要確保算法有效,避免無效的方案浪費時間;2)實驗室完全模擬模塊化數(shù)據(jù)中心環(huán)境,需要考慮安全性問題,部署前須確保方案不會導(dǎo)致實驗室處于危險狀態(tài)——機柜溫度過高。針對以上兩點,在設(shè)計開發(fā)方案時,需要提前在相應(yīng)的環(huán)境模擬器進(jìn)行測試。模擬器可像真實部署環(huán)境一樣提供環(huán)境狀態(tài),并接受方案提供的決策。

    在開發(fā)過程中,模擬器由公司相關(guān)業(yè)內(nèi)人員根據(jù)服務(wù)器產(chǎn)生熱量,空調(diào)制冷等相關(guān)參數(shù)開發(fā)并提供。最終采用環(huán)境模擬器和實驗室對方案進(jìn)行測試,并進(jìn)行對比實驗。其中,第二個模型固定XGBoost不變,第一個模型除了基于Gaussian Process UCB的多搖臂賭博機算法外,還會換成深度強化學(xué)習(xí)和基于Linear UCB的多搖臂賭博機進(jìn)行測試對比。

    4.2 測試流程

    首先在模擬器上面進(jìn)行固定IT負(fù)載環(huán)境測試,之后在模擬器上面進(jìn)行變IT負(fù)載測試,最后選擇方案在維諦技術(shù)有限公司提供的實驗室進(jìn)行測試。

    測試過程包含如下兩個階段:

    1)實驗的前三天,進(jìn)行隨機決策以獲得樣本數(shù)據(jù)用于XGBoost模型初始訓(xùn)練數(shù)據(jù)集;

    2)采樣完畢模型即會進(jìn)行在線學(xué)習(xí),并跟據(jù)當(dāng)前環(huán)境狀態(tài)做出空調(diào)控制決策。

    4.3 固定IT負(fù)載

    首先設(shè)定數(shù)據(jù)中心的IT負(fù)載變化幅度很小,在數(shù)據(jù)中心整體IT負(fù)載穩(wěn)定時,環(huán)境狀態(tài)整體比較穩(wěn)定,空調(diào)的決策也趨于穩(wěn)定。這種情況下,空調(diào)的開啟臺數(shù)在晝夜交替的時候會變化,甚至不變,PUE的變化也會趨于穩(wěn)定,因此學(xué)習(xí)難度也會更低。在環(huán)境模擬器上進(jìn)行測試Gaussian Process UCB,Linear UCB,深度強化學(xué)習(xí)(DRL)三種方案。三種方案只有第一個模型不同,第二個模型均為XGBoost回歸模型。

    由于固定IT負(fù)載情況下學(xué)習(xí)難度較小,三種方案經(jīng)過短時間訓(xùn)練即表現(xiàn)出優(yōu)化效果,PUE迅速下降到較低的水平,且可以收斂。如圖5所示,在固定IT負(fù)載情況下運行三種方案,可見到三種方案均起到優(yōu)化效果,PUE降低,并可收斂。并且基于多搖臂賭博機的方案比基于強化學(xué)習(xí)的方案更優(yōu),其最終PUE更低。

    圖5 固定IT負(fù)載下PUE變化趨勢

    4.4 變IT負(fù)載

    實際應(yīng)用場景中,IT負(fù)載會因為業(yè)務(wù)變化或者一些外界因素出現(xiàn)抖動,這一現(xiàn)象勢必也使得PUE變化,增大優(yōu)化控制難度。調(diào)整了模擬器的參數(shù),使得IT負(fù)載隨著時間變化,且變化頻率和幅度超過實際應(yīng)用場景的變化程度,其他條件不變,在此基礎(chǔ)上進(jìn)行上述三種方案的測試。

    兩種基于多搖臂賭博機模型的方案可以較快地降低PUE,使其最終收斂在較低的水平,優(yōu)化效果比較好。如圖6所示,在IT負(fù)載變動情況下運行三種方案,深度強化學(xué)習(xí)的效果遠(yuǎn)不如Gaussian Process UCB 和Linear UCB方案,PUE優(yōu)化效果不佳,后期無法穩(wěn)定,甚至?xí)UE轉(zhuǎn)而升高的現(xiàn)象。 Linear UCB同Gaussian Process UCB算法效果接近,使得PUE降低,直至收斂穩(wěn)定。其中,Linear UCB收斂速度很快,Gaussian Process UCB方案探索性更好。

    圖6 變IT負(fù)載下PUE優(yōu)化效果對比

    4.5 模擬實驗室

    將Gaussian Process UCB方案和深度強化學(xué)習(xí)方案部署在維諦技術(shù)有限公司提供的數(shù)據(jù)中心模擬實驗室進(jìn)行測試對比。實驗室完全擬真模塊化數(shù)據(jù)中心,前期設(shè)定IT負(fù)載為59 KW,若一周內(nèi)觀察到PUE明顯降低且趨于穩(wěn)定則會將IT負(fù)載降低為45 KW測試模型是否能適應(yīng)IT負(fù)載的變化。在此需要說明,兩個方案的測試時間相隔兩個月,而現(xiàn)實數(shù)據(jù)中心環(huán)境會隨著季節(jié),天氣發(fā)生改變,所以在模擬實驗室的測試并非為了單純比較PUE值的高低,而是比較PUE的下降趨勢和冷通道平均溫度是否穩(wěn)定。

    經(jīng)過兩周的實驗室測試,Gaussian Process UCB方案效果比較理想,可根據(jù)環(huán)境選擇合適的空調(diào)設(shè)置,降低數(shù)據(jù)中心PUE,并且可適應(yīng)IT負(fù)載的變化。如圖7所示,測試前七天內(nèi),Gaussian Process UCB方案可發(fā)揮明顯的優(yōu)化效果,PUE呈現(xiàn)下降趨勢,第七天降低IT負(fù)載后,PUE短暫升高,但Gaussian Process UCB方案可適應(yīng)環(huán)境的變化,繼續(xù)進(jìn)行學(xué)習(xí)優(yōu)化,PUE隨后降低并保持穩(wěn)定。而基于強化學(xué)習(xí)的方案在實際場景中表現(xiàn)不理想,在全程沒改變IT負(fù)載地情況下,初期可以見到PUE曲線降低,后期PUE曲線一直不穩(wěn)定,出現(xiàn)了PUE再次上升的情況。

    圖7 場景測試PUE趨勢對比圖

    在測試過程中,Gaussian Process UCB方案不僅可以降低PUE,還可以維持冷通道溫度在設(shè)定值,可保證數(shù)據(jù)中心的安全。如圖8所示,Gaussian Process UCB方案將冷通道溫度維持在設(shè)定的目標(biāo)溫度(22℃)附近,數(shù)據(jù)中心的安全得以保證。而強化學(xué)習(xí)方案對冷通道溫度控制不佳,始終在波動,后期甚至出現(xiàn)冷通道溫度上升的情況。

    5 結(jié)語

    提出了用于數(shù)據(jù)中心節(jié)能的在線學(xué)習(xí)方案,該方案包含兩種機器學(xué)習(xí)模型,首先采用基于Gaussian Process UCB的多搖臂賭博機模型決策空調(diào)開啟臺數(shù),然后用XGBoost回歸模型決策空調(diào)設(shè)置溫度。實驗表明,該方案可使數(shù)據(jù)中心控制系統(tǒng)根據(jù)環(huán)境狀態(tài)智能選擇空調(diào)開啟臺數(shù)和設(shè)置溫度。在沒有任何前置訓(xùn)練的情況下,該算法搜集數(shù)據(jù)并進(jìn)行學(xué)習(xí),可在一周之內(nèi)達(dá)到較好的優(yōu)化效果。在技術(shù)細(xì)節(jié)方面,該方案有以下兩個優(yōu)勢:第一、多搖臂賭博機模型結(jié)合XGBoost模型進(jìn)行在線學(xué)習(xí)與空調(diào)控制,將可選動作空間解耦,加快在線學(xué)習(xí)的收斂速度,并可靈活調(diào)整目標(biāo)溫度;第二、模型以在線學(xué)習(xí)的方式持續(xù)學(xué)習(xí),可適應(yīng)環(huán)境的變化,包括IT負(fù)載變化、晝夜輪轉(zhuǎn)、季節(jié)變換。

    圖8 場景測試?yán)渫ǖ罍囟融厔輰Ρ葓D

    猜你喜歡
    臺數(shù)搖臂數(shù)據(jù)中心
    柴油機搖臂與搖臂軸粘連原因分析及改進(jìn)
    酒泉云計算大數(shù)據(jù)中心
    專利名稱:電腦機箱沖壓廢料回收裝置及操作方法
    一種加工搖臂裝置銷孔的工藝
    水泥工程(2020年4期)2020-12-18 07:12:12
    最優(yōu)開機臺數(shù)對水利泵站的節(jié)能研究
    民航綠色云數(shù)據(jù)中心PUE控制
    電子測試(2018年11期)2018-06-26 05:56:24
    2016年XX市工業(yè)鍋爐內(nèi)部檢驗缺陷統(tǒng)計及原因分析
    汽車搖臂中頻電磁感應(yīng)加熱爐控制系統(tǒng)設(shè)計
    基于云計算的交通運輸數(shù)據(jù)中心實現(xiàn)與應(yīng)用
    Overlay Network技術(shù)在云計算數(shù)據(jù)中心中的應(yīng)用
    河南科技(2014年11期)2014-02-27 14:16:49
    国产亚洲午夜精品一区二区久久| 亚洲伊人色综图| 精品人妻在线不人妻| 国产男女超爽视频在线观看| 一区二区av电影网| 丝袜美足系列| 亚洲伊人色综图| 国产成人精品福利久久| 观看av在线不卡| 成人漫画全彩无遮挡| 日本欧美国产在线视频| 精品国产一区二区三区四区第35| av.在线天堂| 最新中文字幕久久久久| 天堂8中文在线网| 一级黄片播放器| 在线观看免费视频网站a站| 夫妻性生交免费视频一级片| 最近最新中文字幕免费大全7| 国精品久久久久久国模美| 久久久精品区二区三区| 黄片小视频在线播放| 电影成人av| 少妇人妻久久综合中文| 亚洲精品国产av成人精品| 99久久人妻综合| www.av在线官网国产| 两性夫妻黄色片| 国产人伦9x9x在线观看 | 久久99精品国语久久久| 丰满迷人的少妇在线观看| 侵犯人妻中文字幕一二三四区| 国产精品香港三级国产av潘金莲 | 免费大片黄手机在线观看| 在线观看免费日韩欧美大片| 啦啦啦中文免费视频观看日本| 一区二区三区激情视频| 亚洲精品美女久久av网站| 青草久久国产| 一区二区三区四区激情视频| www.自偷自拍.com| 国产熟女欧美一区二区| 自拍欧美九色日韩亚洲蝌蚪91| 久久精品国产综合久久久| 久久久久久久国产电影| 伦理电影大哥的女人| 69精品国产乱码久久久| 国精品久久久久久国模美| 国产精品蜜桃在线观看| 国产成人精品在线电影| 一本色道久久久久久精品综合| 天天躁日日躁夜夜躁夜夜| 九九爱精品视频在线观看| 欧美日本中文国产一区发布| 菩萨蛮人人尽说江南好唐韦庄| 亚洲成人手机| 男女午夜视频在线观看| 永久免费av网站大全| xxx大片免费视频| 亚洲四区av| 欧美精品高潮呻吟av久久| 狠狠婷婷综合久久久久久88av| 一本色道久久久久久精品综合| 亚洲欧美清纯卡通| 国产精品麻豆人妻色哟哟久久| 深夜精品福利| 看十八女毛片水多多多| 秋霞在线观看毛片| 老女人水多毛片| 国产欧美亚洲国产| 日韩av不卡免费在线播放| 久久久久国产一级毛片高清牌| 精品久久久精品久久久| 美女视频免费永久观看网站| 免费少妇av软件| 国产欧美亚洲国产| 国产黄频视频在线观看| 欧美另类一区| 国产精品99久久99久久久不卡 | 另类精品久久| 国产日韩欧美在线精品| 欧美人与善性xxx| 看十八女毛片水多多多| 久久免费观看电影| 69精品国产乱码久久久| 自拍欧美九色日韩亚洲蝌蚪91| 人人澡人人妻人| 亚洲欧美一区二区三区久久| 国产精品99久久99久久久不卡 | 伊人久久大香线蕉亚洲五| 亚洲国产看品久久| 精品少妇黑人巨大在线播放| 你懂的网址亚洲精品在线观看| 久久精品亚洲av国产电影网| 国产成人91sexporn| 国产精品三级大全| 日韩中文字幕视频在线看片| 中国国产av一级| 国产综合精华液| 亚洲,一卡二卡三卡| 午夜日韩欧美国产| 久久久久网色| 亚洲三区欧美一区| 午夜福利视频在线观看免费| 一区福利在线观看| 成年人免费黄色播放视频| 久久人妻熟女aⅴ| 亚洲av电影在线进入| 亚洲精品一二三| tube8黄色片| 午夜福利一区二区在线看| 亚洲精品自拍成人| 久久久久久久久免费视频了| 丝瓜视频免费看黄片| 精品国产一区二区三区久久久樱花| 日本vs欧美在线观看视频| 最近最新中文字幕大全免费视频 | 亚洲欧美精品自产自拍| 国产精品三级大全| 999精品在线视频| 国产在线免费精品| 18禁裸乳无遮挡动漫免费视频| 99久久精品国产国产毛片| 久久精品熟女亚洲av麻豆精品| 91午夜精品亚洲一区二区三区| 搡老乐熟女国产| 亚洲av综合色区一区| 欧美激情极品国产一区二区三区| 精品久久蜜臀av无| 亚洲av综合色区一区| 久久精品人人爽人人爽视色| 日韩av免费高清视频| 亚洲精品第二区| 欧美人与善性xxx| 久久这里只有精品19| 一本大道久久a久久精品| 日韩精品免费视频一区二区三区| 精品国产乱码久久久久久小说| 好男人视频免费观看在线| tube8黄色片| 男女啪啪激烈高潮av片| 国产成人a∨麻豆精品| 女人被躁到高潮嗷嗷叫费观| 欧美精品一区二区大全| 日本爱情动作片www.在线观看| 久久人人97超碰香蕉20202| 丝袜美腿诱惑在线| 亚洲国产精品一区三区| 老熟女久久久| 亚洲av国产av综合av卡| 9191精品国产免费久久| 久久久欧美国产精品| 99香蕉大伊视频| 亚洲国产最新在线播放| kizo精华| 99久久中文字幕三级久久日本| av女优亚洲男人天堂| 久久亚洲国产成人精品v| av福利片在线| 少妇 在线观看| 老汉色av国产亚洲站长工具| 亚洲国产欧美在线一区| 国产日韩欧美视频二区| 熟女电影av网| 日本爱情动作片www.在线观看| 男女午夜视频在线观看| 午夜av观看不卡| 王馨瑶露胸无遮挡在线观看| kizo精华| 亚洲欧美成人综合另类久久久| 99久国产av精品国产电影| 国产不卡av网站在线观看| 欧美人与性动交α欧美精品济南到 | 曰老女人黄片| 国产精品.久久久| 午夜激情久久久久久久| 亚洲精品中文字幕在线视频| 在线看a的网站| 天堂8中文在线网| 丁香六月天网| 日本午夜av视频| 国产精品嫩草影院av在线观看| 宅男免费午夜| 亚洲国产av新网站| 超碰97精品在线观看| 久久久久久久久久人人人人人人| 青春草亚洲视频在线观看| 成年av动漫网址| 国产女主播在线喷水免费视频网站| 国产综合精华液| 久久久国产欧美日韩av| 如日韩欧美国产精品一区二区三区| 99九九在线精品视频| 少妇的逼水好多| 久久精品国产自在天天线| 欧美 亚洲 国产 日韩一| kizo精华| 各种免费的搞黄视频| 国产精品国产三级国产专区5o| 国产成人精品在线电影| 国产成人av激情在线播放| 日日啪夜夜爽| 91午夜精品亚洲一区二区三区| 美女福利国产在线| 亚洲精华国产精华液的使用体验| 成人国语在线视频| 妹子高潮喷水视频| 亚洲欧美精品自产自拍| 99久久综合免费| 国产av一区二区精品久久| 日韩精品有码人妻一区| 一区二区三区激情视频| 久久人妻熟女aⅴ| 观看美女的网站| 国产又爽黄色视频| 菩萨蛮人人尽说江南好唐韦庄| 97精品久久久久久久久久精品| 亚洲经典国产精华液单| 两个人看的免费小视频| 一区二区日韩欧美中文字幕| 日韩精品有码人妻一区| 热re99久久精品国产66热6| 国产熟女欧美一区二区| 啦啦啦视频在线资源免费观看| 国产淫语在线视频| 性少妇av在线| 999精品在线视频| 亚洲精品aⅴ在线观看| 国精品久久久久久国模美| 一区福利在线观看| 国产精品亚洲av一区麻豆 | 日本黄色日本黄色录像| 久久久国产一区二区| 18禁观看日本| 欧美日韩视频精品一区| 国产 精品1| 看十八女毛片水多多多| 久久影院123| 国产日韩欧美在线精品| 色婷婷av一区二区三区视频| 精品国产超薄肉色丝袜足j| 国产熟女欧美一区二区| 国产1区2区3区精品| 久热这里只有精品99| 久久这里只有精品19| 麻豆精品久久久久久蜜桃| 亚洲第一区二区三区不卡| 日本av手机在线免费观看| 久久久久久久亚洲中文字幕| 精品久久久久久电影网| 久久久久久人人人人人| av在线观看视频网站免费| 国产精品久久久久成人av| 免费大片黄手机在线观看| 多毛熟女@视频| 久久精品国产鲁丝片午夜精品| 最新的欧美精品一区二区| 高清欧美精品videossex| 久久久久国产网址| 青春草亚洲视频在线观看| 亚洲第一av免费看| 色婷婷av一区二区三区视频| 自线自在国产av| 久久99精品国语久久久| 一二三四在线观看免费中文在| 大陆偷拍与自拍| 久久综合国产亚洲精品| 午夜福利一区二区在线看| 亚洲av.av天堂| 婷婷色av中文字幕| 一级,二级,三级黄色视频| 亚洲精品国产av成人精品| 免费大片黄手机在线观看| www.熟女人妻精品国产| 久久久久久久久久人人人人人人| 久久 成人 亚洲| 亚洲精品一二三| 欧美精品国产亚洲| 日本91视频免费播放| av免费观看日本| 日韩 亚洲 欧美在线| 叶爱在线成人免费视频播放| 久久韩国三级中文字幕| 看免费成人av毛片| 看免费av毛片| 国产精品不卡视频一区二区| 国产视频首页在线观看| 日韩精品免费视频一区二区三区| 自拍欧美九色日韩亚洲蝌蚪91| 国产在线一区二区三区精| 在线观看免费日韩欧美大片| 日韩一区二区三区影片| 18在线观看网站| 亚洲国产色片| 永久免费av网站大全| 一区二区三区乱码不卡18| 久久久久精品人妻al黑| 黄色怎么调成土黄色| 人妻 亚洲 视频| 美女国产视频在线观看| 国产欧美日韩一区二区三区在线| 亚洲熟女精品中文字幕| 天堂俺去俺来也www色官网| 国产成人精品久久二区二区91 | 久久精品夜色国产| a级毛片在线看网站| 欧美国产精品va在线观看不卡| 欧美最新免费一区二区三区| 好男人视频免费观看在线| 久久鲁丝午夜福利片| 国产一区二区 视频在线| 久久婷婷青草| 国产精品三级大全| 久热这里只有精品99| 中文精品一卡2卡3卡4更新| 天天躁夜夜躁狠狠躁躁| 国产极品粉嫩免费观看在线| 超碰97精品在线观看| 2022亚洲国产成人精品| 侵犯人妻中文字幕一二三四区| 高清黄色对白视频在线免费看| 亚洲精品国产av成人精品| 国产精品一区二区在线观看99| 最近中文字幕高清免费大全6| 免费看不卡的av| 欧美中文综合在线视频| 日韩精品免费视频一区二区三区| 亚洲内射少妇av| 国产xxxxx性猛交| 一本色道久久久久久精品综合| 国产在线一区二区三区精| 最新中文字幕久久久久| 黑人巨大精品欧美一区二区蜜桃| 国产国语露脸激情在线看| 黄色 视频免费看| 欧美精品一区二区免费开放| 欧美亚洲日本最大视频资源| 成人手机av| 一级黄片播放器| 久久久亚洲精品成人影院| av女优亚洲男人天堂| 国产成人精品久久久久久| 午夜老司机福利剧场| 国产白丝娇喘喷水9色精品| 久久青草综合色| 午夜福利,免费看| 在线观看国产h片| 亚洲视频免费观看视频| 久久ye,这里只有精品| 日韩欧美一区视频在线观看| 97在线视频观看| 日韩一区二区视频免费看| 欧美精品国产亚洲| 日韩欧美一区视频在线观看| 国产亚洲最大av| 国产av一区二区精品久久| 亚洲欧洲日产国产| 少妇的逼水好多| 国产精品免费大片| 日韩电影二区| 色哟哟·www| 国产免费又黄又爽又色| 成人手机av| 久久久久网色| 边亲边吃奶的免费视频| videossex国产| 午夜福利一区二区在线看| www.精华液| 久久久精品免费免费高清| 日韩av免费高清视频| 男女无遮挡免费网站观看| 亚洲国产欧美在线一区| 久久精品aⅴ一区二区三区四区 | 国产免费又黄又爽又色| 国产精品三级大全| 国产精品不卡视频一区二区| 观看美女的网站| 不卡视频在线观看欧美| 一二三四中文在线观看免费高清| 欧美最新免费一区二区三区| 欧美人与性动交α欧美软件| 国产女主播在线喷水免费视频网站| 男人爽女人下面视频在线观看| 纵有疾风起免费观看全集完整版| 97精品久久久久久久久久精品| 亚洲av中文av极速乱| 99热全是精品| 视频在线观看一区二区三区| 99久久精品国产国产毛片| 午夜影院在线不卡| 秋霞伦理黄片| 视频区图区小说| 久久久久国产精品人妻一区二区| 色94色欧美一区二区| 制服人妻中文乱码| 高清在线视频一区二区三区| 电影成人av| 在线观看免费高清a一片| 热99久久久久精品小说推荐| 青春草亚洲视频在线观看| 亚洲男人天堂网一区| 久久人人爽av亚洲精品天堂| av有码第一页| 午夜福利影视在线免费观看| 在线看a的网站| 下体分泌物呈黄色| 免费人妻精品一区二区三区视频| 国产精品久久久久久久久免| 日韩不卡一区二区三区视频在线| av在线老鸭窝| 国产亚洲午夜精品一区二区久久| 欧美黄色片欧美黄色片| 综合色丁香网| 久久国产精品大桥未久av| 一本大道久久a久久精品| 满18在线观看网站| 日韩一区二区三区影片| 少妇被粗大猛烈的视频| 十八禁高潮呻吟视频| 日韩大片免费观看网站| 一区二区日韩欧美中文字幕| 青青草视频在线视频观看| 岛国毛片在线播放| 春色校园在线视频观看| 美女大奶头黄色视频| 人妻系列 视频| 波多野结衣一区麻豆| 天天躁夜夜躁狠狠躁躁| 各种免费的搞黄视频| 午夜福利乱码中文字幕| 久久综合国产亚洲精品| 人人妻人人澡人人爽人人夜夜| 欧美日韩国产mv在线观看视频| 午夜福利在线观看免费完整高清在| 中文乱码字字幕精品一区二区三区| 日韩人妻精品一区2区三区| 国产精品一二三区在线看| 亚洲熟女精品中文字幕| 国产日韩欧美亚洲二区| 午夜久久久在线观看| 欧美激情 高清一区二区三区| 亚洲 欧美一区二区三区| 老司机影院毛片| 日本欧美国产在线视频| 亚洲人成电影观看| 纯流量卡能插随身wifi吗| 日韩一卡2卡3卡4卡2021年| 亚洲第一av免费看| 成人18禁高潮啪啪吃奶动态图| 日本黄色日本黄色录像| 婷婷色综合www| 精品人妻偷拍中文字幕| 欧美 日韩 精品 国产| 久久久久久伊人网av| 男女无遮挡免费网站观看| 亚洲av电影在线观看一区二区三区| 十八禁网站网址无遮挡| av国产久精品久网站免费入址| 日本-黄色视频高清免费观看| a 毛片基地| 亚洲精品,欧美精品| 伊人久久大香线蕉亚洲五| 日韩中文字幕视频在线看片| 亚洲欧美成人精品一区二区| 中文字幕精品免费在线观看视频| 成人毛片60女人毛片免费| 一边摸一边做爽爽视频免费| 日韩中字成人| av在线老鸭窝| 亚洲国产精品一区三区| 午夜福利在线免费观看网站| 亚洲欧美中文字幕日韩二区| 欧美日韩成人在线一区二区| 黑人巨大精品欧美一区二区蜜桃| 日韩av免费高清视频| 国产成人一区二区在线| 精品卡一卡二卡四卡免费| 边亲边吃奶的免费视频| 亚洲国产欧美日韩在线播放| 少妇的丰满在线观看| 国产不卡av网站在线观看| 啦啦啦视频在线资源免费观看| 成人亚洲精品一区在线观看| 亚洲 欧美一区二区三区| 看免费成人av毛片| 日韩三级伦理在线观看| 在线观看三级黄色| 国产淫语在线视频| 色哟哟·www| 美女午夜性视频免费| 一本—道久久a久久精品蜜桃钙片| 一区二区三区激情视频| 欧美亚洲 丝袜 人妻 在线| 侵犯人妻中文字幕一二三四区| a级毛片在线看网站| 中文乱码字字幕精品一区二区三区| 亚洲av欧美aⅴ国产| 在线免费观看不下载黄p国产| 亚洲精品日韩在线中文字幕| 久久久久久免费高清国产稀缺| 国产 一区精品| 亚洲成人一二三区av| 一区在线观看完整版| 国产乱来视频区| 国产极品天堂在线| 麻豆精品久久久久久蜜桃| 91aial.com中文字幕在线观看| 一级黄片播放器| 午夜av观看不卡| 久久久久久人人人人人| 久久久精品国产亚洲av高清涩受| 国产野战对白在线观看| 久久精品国产自在天天线| 亚洲国产欧美日韩在线播放| 老鸭窝网址在线观看| 久久午夜福利片| 亚洲男人天堂网一区| 各种免费的搞黄视频| 欧美av亚洲av综合av国产av | 精品国产一区二区久久| 人妻 亚洲 视频| 91精品国产国语对白视频| 亚洲欧美一区二区三区黑人 | 成人国产av品久久久| 成年人免费黄色播放视频| 亚洲 欧美一区二区三区| 国产成人精品福利久久| 国产精品久久久久久精品电影小说| 黄片无遮挡物在线观看| 精品亚洲成国产av| 成人18禁高潮啪啪吃奶动态图| 欧美日韩综合久久久久久| 国产黄色视频一区二区在线观看| 亚洲av成人精品一二三区| 久热这里只有精品99| 男男h啪啪无遮挡| 亚洲av欧美aⅴ国产| 999久久久国产精品视频| 午夜久久久在线观看| 亚洲中文av在线| 亚洲欧美一区二区三区国产| 1024视频免费在线观看| 天堂俺去俺来也www色官网| 1024视频免费在线观看| 97精品久久久久久久久久精品| 午夜福利在线观看免费完整高清在| 亚洲欧美一区二区三区久久| 国产高清不卡午夜福利| 伦理电影免费视频| 少妇被粗大猛烈的视频| 亚洲av在线观看美女高潮| 婷婷色麻豆天堂久久| 如何舔出高潮| 亚洲av.av天堂| 欧美在线黄色| 国产精品三级大全| 亚洲国产精品999| 日日摸夜夜添夜夜爱| 成人亚洲精品一区在线观看| 亚洲欧美清纯卡通| 午夜福利网站1000一区二区三区| a级毛片黄视频| 青草久久国产| 亚洲图色成人| 国产男女内射视频| 国产成人一区二区在线| 亚洲婷婷狠狠爱综合网| 久久精品国产亚洲av高清一级| 日韩免费高清中文字幕av| 国产成人精品无人区| 国产在视频线精品| 免费观看在线日韩| 婷婷色综合www| 最新的欧美精品一区二区| 亚洲国产成人一精品久久久| 黄片无遮挡物在线观看| 免费黄网站久久成人精品| 午夜激情久久久久久久| 国产精品二区激情视频| 亚洲国产欧美网| 老鸭窝网址在线观看| 久久久久久人人人人人| 日韩中文字幕视频在线看片| 久久久精品免费免费高清| 青青草视频在线视频观看| 捣出白浆h1v1| 久久综合国产亚洲精品| 午夜福利在线免费观看网站| 一级毛片我不卡| 最新的欧美精品一区二区| 韩国精品一区二区三区| 最近最新中文字幕免费大全7| 日韩欧美一区视频在线观看| 中文字幕av电影在线播放| 国产成人精品久久二区二区91 | 9色porny在线观看| av有码第一页| 中文乱码字字幕精品一区二区三区| 人成视频在线观看免费观看| 亚洲欧美中文字幕日韩二区| 亚洲av国产av综合av卡| 美女视频免费永久观看网站| 国产国语露脸激情在线看| 丝袜喷水一区| 一边亲一边摸免费视频| 国产精品不卡视频一区二区| 少妇猛男粗大的猛烈进出视频| 狠狠婷婷综合久久久久久88av| 久久精品夜色国产| 日韩伦理黄色片| 波多野结衣av一区二区av| 一级毛片电影观看| 免费大片黄手机在线观看| 又黄又粗又硬又大视频| 麻豆av在线久日|