• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    遠(yuǎn)程教育云數(shù)據(jù)中心的研究與實(shí)踐
    ——以山東電大數(shù)據(jù)中心為例

    2014-05-25 00:26:05韓磊陳巖范華
    中國遠(yuǎn)程教育 2014年3期
    關(guān)鍵詞:備份虛擬化數(shù)據(jù)中心

    □ 韓磊 陳巖 范華

    遠(yuǎn)程教育云數(shù)據(jù)中心的研究與實(shí)踐
    ——以山東電大數(shù)據(jù)中心為例

    □ 韓磊 陳巖 范華

    從遠(yuǎn)程教育云基礎(chǔ)架構(gòu)的整體性出發(fā),以建設(shè)IaaS為主要服務(wù)形式的山東開放大學(xué)私有云為目的,在研究虛擬化技術(shù)的同時(shí)也對(duì)虛擬機(jī)的備份和性能監(jiān)控進(jìn)行了分析和應(yīng)用,解決了虛擬化系統(tǒng)中的網(wǎng)絡(luò)和存儲(chǔ)瓶頸。實(shí)踐表明,山東開放大學(xué)遠(yuǎn)程教育云平臺(tái)的構(gòu)建,實(shí)現(xiàn)了遠(yuǎn)程教育信息資源的集中部署、有效共享以及云基礎(chǔ)設(shè)施在山東電大系統(tǒng)的按需分配。

    遠(yuǎn)程教育云;IaaS;服務(wù)器虛擬化;交換機(jī)虛擬化;存儲(chǔ)虛擬化;虛擬化備份與監(jiān)控

    一、山東電大遠(yuǎn)程教育云構(gòu)建的背景

    山東開放大學(xué)是以現(xiàn)代信息技術(shù)為支撐、辦學(xué)網(wǎng)絡(luò)立體覆蓋城鄉(xiāng)、學(xué)歷與非學(xué)歷教育并重、面向全體社會(huì)成員、沒有圍墻的新型大學(xué)。隨著網(wǎng)絡(luò)技術(shù)的發(fā)展,信息化成為開放大學(xué)發(fā)展的有力支撐和重要組成部分。山東廣播電視大學(xué)在向開放大學(xué)轉(zhuǎn)變的過程中遇到了一系列問題:一是技術(shù)上難以實(shí)現(xiàn)海量資源的共享與訪問。在WEB1.0時(shí)代,山東廣播電視大學(xué)的門戶網(wǎng)站、學(xué)習(xí)平臺(tái)、管理系統(tǒng)及網(wǎng)考系統(tǒng)等由中央電大、省電大和地市分校三級(jí)平臺(tái)組成,這樣的分布式部署在當(dāng)時(shí)最大限度地緩解了網(wǎng)絡(luò)和服務(wù)器的壓力,取得了一定的效果,但是分級(jí)部署也帶來了不可彌補(bǔ)的缺陷,各級(jí)電大網(wǎng)絡(luò)教學(xué)資源重復(fù)上傳、數(shù)據(jù)不能同步、信息不能共享而導(dǎo)致信息孤島大量存在[1]。二是由于基層信息化基礎(chǔ)薄弱,信息暢通難以保證。受當(dāng)?shù)亟?jīng)濟(jì)條件和技術(shù)力量的制約,多數(shù)基層電大信息化條件仍然較差,沒有建立支持教學(xué)活動(dòng)的數(shù)據(jù)中心,也缺少專業(yè)的信息化管理人員,不少教學(xué)點(diǎn)連必備的學(xué)習(xí)平臺(tái)和站點(diǎn)主頁等也無法保證“時(shí)時(shí)通”,難以實(shí)現(xiàn)“學(xué)習(xí)平臺(tái)校校通、學(xué)習(xí)空間人人通、教學(xué)信息及時(shí)通”的目標(biāo)。三是初期的虛擬化構(gòu)建缺乏系統(tǒng)性規(guī)劃和實(shí)踐。為解決遠(yuǎn)程教育信息化快速發(fā)展帶來的問題,山東廣播電視大學(xué)從2009年開始對(duì)數(shù)據(jù)中心進(jìn)行虛擬化探究和實(shí)踐,但是最初的虛擬化應(yīng)用規(guī)模較小,缺乏系統(tǒng)的規(guī)劃和設(shè)計(jì),只有一套支持4CPU群集的虛擬化系統(tǒng)和管理軟件,沒有考慮到專業(yè)監(jiān)控及備份恢復(fù)支持等方案,對(duì)虛擬化帶來的數(shù)據(jù)安全等問題也缺乏周密的部署,存在著不少隱患和不足。這些問題,制約了山東電大信息化發(fā)展和教育資源的開發(fā)利用,而云計(jì)算的研究和應(yīng)用為解決這些問題提供了技術(shù)支撐。

    云計(jì)算(CloudComputing)是分布式計(jì)算(DistributedComputing)、并行計(jì)算 (Parallel Computing)、效用計(jì)算(UtilityComputing)、網(wǎng)絡(luò)存儲(chǔ)(NetworkStorageTechnologies)、虛擬化(Virtualization)和負(fù)載均衡(LoadBalance)等傳統(tǒng)計(jì)算機(jī)和網(wǎng)絡(luò)技術(shù)融合發(fā)展的新型技術(shù)架構(gòu),利用這些技術(shù)通過網(wǎng)絡(luò)超級(jí)計(jì)算形成計(jì)算資源池,使用戶能按需、便利地獲得資源。遠(yuǎn)程教育云[2]是云計(jì)算在遠(yuǎn)程教育領(lǐng)域中的遷移,包括了虛擬化后的所有遠(yuǎn)程教學(xué)軟硬件系統(tǒng)和數(shù)字化學(xué)習(xí)資源等。虛擬化后的遠(yuǎn)程教育云平臺(tái)擁有強(qiáng)大的處理能力,可以有效地組織和利用數(shù)字化教學(xué)資源為遠(yuǎn)程網(wǎng)絡(luò)教學(xué)服務(wù),有利于組織和搭建系統(tǒng)性的學(xué)習(xí)和資源平臺(tái),為遠(yuǎn)程教育提供云服務(wù)。云計(jì)算按照服務(wù)形式可以分為三個(gè)層次:架構(gòu)即服務(wù)(IaaS)、平臺(tái)即服務(wù)(PaaS)和軟件即服務(wù)(SaaS)。這里所謂的層次,是分層體系架構(gòu)意義上的“層次”。IaaS、PaaS和SaaS分別在基礎(chǔ)設(shè)施層、軟件開發(fā)運(yùn)行平臺(tái)層和應(yīng)用軟件層實(shí)現(xiàn)。其中,IaaS(架構(gòu)即服務(wù))定義為:將硬件資源虛擬化,轉(zhuǎn)換成量化、自動(dòng)化、動(dòng)態(tài)化、可調(diào)度的計(jì)算能力、存儲(chǔ)空間和網(wǎng)絡(luò)服務(wù)等,是目前公認(rèn)的主要云服務(wù)形式之一。

    2008年初,Google率先與清華大學(xué)合作開展了云計(jì)算教育研究。2011年11月16日,中央廣播電視大學(xué)“國家開放大學(xué)遠(yuǎn)程教育云服務(wù)平臺(tái)架構(gòu)”研究課題專家研討會(huì)在京召開?!皣医逃Y源公共服務(wù)平臺(tái)”(簡(jiǎn)稱“國家教育云”)在2013年1月25日正式上線開通,網(wǎng)站資源涵蓋了從小學(xué)到高中各門學(xué)科的教學(xué)資源。2013年8月23日國家開放大學(xué)信息化推進(jìn)會(huì)議確定國家開放大學(xué)信息化要以公有云為主要方式進(jìn)行建設(shè)。

    山東開放大學(xué)通過教育云解決開放大學(xué)省級(jí)分部的發(fā)展瓶頸,建設(shè)以IaaS為主的私有云,將開放大學(xué)總部的公有云與分部的私有云結(jié)合起來,公有云提供整個(gè)開放大學(xué)的資源共享和教學(xué)服務(wù),分部的私有云發(fā)展和支持分部系統(tǒng)內(nèi)有特色的教育信息化應(yīng)用。山東電大數(shù)據(jù)中心作為山東開放大學(xué)教育云的核心實(shí)驗(yàn)室,在向開放大學(xué)遠(yuǎn)程教育云轉(zhuǎn)變的過程中,對(duì)所有硬件通過虛擬化后形成邏輯上的資源池,為山東開放大學(xué)各地市學(xué)院和縣市學(xué)習(xí)中心提供基礎(chǔ)架構(gòu)服務(wù),包括處理、存儲(chǔ)、網(wǎng)絡(luò)和其他基本的計(jì)算資源,用戶能夠部署和運(yùn)行包括操作系統(tǒng)和應(yīng)用程序在內(nèi)的任意軟件。整個(gè)山東開放大學(xué)系統(tǒng)內(nèi)的網(wǎng)絡(luò)應(yīng)用人員和教學(xué)教務(wù)管理人員不需要管理或控制任何云計(jì)算基礎(chǔ)設(shè)施(由山東分部中心管理人員處理),就能實(shí)現(xiàn)控制操作系統(tǒng)的選擇、儲(chǔ)存空間和應(yīng)用的部署,也有獲得有限制的網(wǎng)絡(luò)組件(如防火墻、負(fù)載均衡器等)控制,實(shí)現(xiàn)開放大學(xué)各級(jí)用戶應(yīng)用平臺(tái)的集中部署、各級(jí)學(xué)習(xí)資源在虛擬化數(shù)據(jù)中心的統(tǒng)一存儲(chǔ)和各級(jí)用戶的IaaS服務(wù)。

    二、教育云架構(gòu)技術(shù)對(duì)比與選型

    山東電大數(shù)據(jù)中心在開放大學(xué)遠(yuǎn)程教育云構(gòu)建過程中,根據(jù)實(shí)際需求,借鑒其他開放大學(xué)的經(jīng)驗(yàn),著重在服務(wù)器虛擬化技術(shù)、VMware虛擬機(jī)備份及監(jiān)控技術(shù)、交換設(shè)備可靠性技術(shù)和存儲(chǔ)設(shè)備應(yīng)用方面進(jìn)行了充分比較,以選取最適合的技術(shù)方案。

    1.服務(wù)器虛擬化技術(shù)選型

    主流虛擬化操作系統(tǒng)功能對(duì)比表

    當(dāng)前主流的虛擬化技術(shù)都支持三個(gè)基本功能:實(shí)時(shí)遷移、高可用性和負(fù)載平衡。實(shí)時(shí)遷移是指能把群集內(nèi)正在運(yùn)行的虛擬機(jī)從一臺(tái)主機(jī)移動(dòng)到另一臺(tái)主機(jī)而無需重新啟動(dòng);高可用性體現(xiàn)在一臺(tái)物理主機(jī)宕機(jī)時(shí),會(huì)自動(dòng)重新在群集內(nèi)其他主機(jī)上啟動(dòng)該主機(jī)上運(yùn)行的虛擬機(jī);自動(dòng)負(fù)載均衡是指服務(wù)器中的虛擬機(jī)會(huì)根據(jù)負(fù)載情況自動(dòng)與群集內(nèi)其他服務(wù)器進(jìn)行資源重分配[3]。目前,主流的虛擬化產(chǎn)品包括VMware的vSphere、Citrix的XenServer以及微軟Windows Server2008的Hyper-V,其中VMwarevSphere是目前x86平臺(tái)上市場(chǎng)占有率最高的虛擬化產(chǎn)品。

    基于開放大學(xué)教學(xué)業(yè)務(wù)的多樣性,虛擬機(jī)模板部署要有靈活的資源分配功能,而網(wǎng)絡(luò)考試等教學(xué)活動(dòng)又對(duì)服務(wù)器的高可用性和安全性有極大要求。通過下表對(duì)虛擬化操作系統(tǒng)功能的對(duì)比可知,VMware vSphere適合作為教育云架構(gòu)中的虛擬化平臺(tái)。

    2.VMware虛擬機(jī)備份及監(jiān)控技術(shù)選型(1)虛擬備份技術(shù)選型

    備份虛擬機(jī)有多種方法,第一是利用傳統(tǒng)的備份方式,在每一個(gè)GuestOS里安裝備份代理,虛擬層所處的位置在物理硬件和客戶端操作系統(tǒng)之間,執(zhí)行效率低下。第二種方式是采用VCB,單獨(dú)安裝一臺(tái)服務(wù)器做Proxyserver,負(fù)責(zé)將所有存儲(chǔ)設(shè)備上的VM掛載過來,避免了采用傳統(tǒng)備份在每一個(gè)虛擬機(jī)上安裝代理的情況,但是后端備份仍然依靠備份軟件來完成,備份過程過于繁瑣。第三種是目前最新的備份方式,采用vStorageAPIforDataProtection(VADP),讓第三方備份軟件廠商開發(fā)VirtualAppliances在線備份所有的VM。VADP是VCB的繼任者,克服了VCB過程繁瑣的缺點(diǎn),不再需要把數(shù)據(jù)復(fù)制到代理服務(wù)器,而是直接調(diào)用VMware生成的快照將其備份到磁盤或磁帶。

    VADP方式的備份工具常用的有VMware開發(fā)的VDR(DataRecovery),適合規(guī)模較小的學(xué)習(xí)資源中心備份VM。此外,還有功能強(qiáng)大的第三方備份工具,包括PHDVirtualTechnologies公司的esX?press、VeeamSoftware公司的BackupandRepli?cation,以及Vizioncore公司的vRangerPro,都是為處理VMware備份而全新設(shè)計(jì)出來的。這三種工具中vRanger用戶最多、速度最快、安全性好,使用用戶熟悉的傳統(tǒng)WINDOWS界面;esXpress穩(wěn)定性突出,且在esXpress管理系統(tǒng)不存在的情況下,可以直接運(yùn)行備份文件恢復(fù),但是它沒有采用像VSS等保障數(shù)據(jù)一致性的措施;Veeam恢復(fù)備份的速度最快,但是備份速度較慢。

    經(jīng)過上述比較,由于遠(yuǎn)程教育云要備份海量的數(shù)字化教學(xué)資源,而VAPD中Quest的vRanger備份速度快且安全,適合遠(yuǎn)程教育云的虛擬機(jī)備份。

    (2)虛擬機(jī)監(jiān)控技術(shù)選型

    從虛擬機(jī)的操作系統(tǒng)屬性出發(fā),對(duì)其性能和其他數(shù)據(jù)進(jìn)行監(jiān)控是非常重要的。由于虛擬機(jī)不像物理機(jī)那樣有可見的硬件設(shè)備,作為管理人員想通過傳統(tǒng)的GuestOS中的性能工具了解虛擬化層發(fā)生的變化是比較困難的,每一個(gè)虛擬機(jī)都消耗主機(jī)資源,vSphere擁有的虛擬機(jī)越多,主機(jī)上的資源被耗費(fèi)的就越多,如果不控制虛擬機(jī)的數(shù)量,就會(huì)導(dǎo)致主機(jī)資源不足并影響所有虛擬機(jī)的性能。但是,想獲得關(guān)于虛擬機(jī)的性能數(shù)據(jù),就需要一些不在虛擬機(jī)內(nèi)部運(yùn)行的軟件做參考,可采用VMwarevCenter或第三方工具,vCenter是為通用的性能監(jiān)控及告警而設(shè)計(jì)的,而第三方工具可以彌補(bǔ)vCenter的不足,為管理員提供非常具體的容量分析或故障診斷功能。如Quest旗下VizioncorevFoglight、VeeamMonitor、VKernel vOperations,以及VMtrubo公司的虛擬化管理套件(VMS),都是運(yùn)行于虛擬機(jī)之外的可用于衡量虛擬機(jī)和ESX主機(jī)性能的工具,都可以提供ESX宿主機(jī)情況的整體視圖。

    考慮到山東開放大學(xué)在原有的小部分業(yè)務(wù)中使用了MicrosoftHyper-V虛擬化平臺(tái),目前大量的業(yè)務(wù)需要進(jìn)行VMware虛擬化,而 Quest的vFoglight(之前稱為VizioncorevFoglight)是一種跨平臺(tái)性能監(jiān)控工具,可以同時(shí)監(jiān)控VMwarevSphere和Micro?softHyper-V,所以教育云平臺(tái)選擇它作為虛擬機(jī)管理監(jiān)控平臺(tái)。

    3.交換設(shè)備可靠性技術(shù)選型

    傳統(tǒng)的交換設(shè)備采用VRRP協(xié)議的雙機(jī)冗余熱備來保證其可靠性。為了承載虛擬化后資源和分配的遷移、高可用性等數(shù)據(jù)開銷,虛擬化群集需要建立在高性能的網(wǎng)絡(luò)架構(gòu)上,但傳統(tǒng)的數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)由于多層結(jié)構(gòu)、安全區(qū)域、安全等級(jí)、二層環(huán)路、冗余設(shè)計(jì)等諸多因素,導(dǎo)致網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜,使得數(shù)據(jù)中心基礎(chǔ)網(wǎng)絡(luò)的運(yùn)維管理難度較高,無負(fù)載均衡等缺陷。H3C的IRF(IntelligentResilientFramework,智能彈性架構(gòu))能將多臺(tái)物理設(shè)備虛擬化成一臺(tái)“虛擬設(shè)備”,簡(jiǎn)化了管理節(jié)點(diǎn)。更重要的是,可以將兩條線路同時(shí)啟用,實(shí)現(xiàn)跨設(shè)備的鏈路聚合交換,實(shí)現(xiàn)多臺(tái)設(shè)備協(xié)同工作、負(fù)載均衡、統(tǒng)一管理和不間斷維護(hù),提升可靠性。

    山東開放大學(xué)在架構(gòu)教育云平臺(tái)之前,利用H3C7506R全100M交換機(jī)(已經(jīng)利用VRRP協(xié)議實(shí)現(xiàn)雙機(jī)熱備)對(duì)VMware虛擬化平臺(tái)進(jìn)行測(cè)試,結(jié)果表明,虛擬化平臺(tái)在基于100M的雙機(jī)熱備交換設(shè)備中,當(dāng)數(shù)據(jù)交換頻繁時(shí)經(jīng)常性中斷通信,且出現(xiàn)在物理機(jī)重啟后網(wǎng)卡不能正常工作的現(xiàn)象,而在采用全1000M的IRF技術(shù)后平臺(tái)的各項(xiàng)應(yīng)用流暢,未出現(xiàn)假死機(jī)現(xiàn)象。

    4.存儲(chǔ)設(shè)備應(yīng)用選型

    服務(wù)器虛擬化后計(jì)算機(jī)資源中的硬件、操作系統(tǒng)和應(yīng)用程序變成靈活的邏輯資源。山東開放大學(xué)在未來的發(fā)展中承擔(dān)著國家數(shù)字化資源中心山東中心的任務(wù),其區(qū)域中心的職責(zé)意味著在將來的發(fā)展中可能用到越來越多的存儲(chǔ),但數(shù)據(jù)存放卻都束縛在相互割裂的物理硬件空間中。而EMCVPLEX具有可跨異構(gòu)陣列提供簡(jiǎn)化管理和無中斷數(shù)據(jù)移動(dòng)功能。為此,采用存儲(chǔ)虛擬化能夠使數(shù)據(jù)中心完全自動(dòng)地執(zhí)行數(shù)據(jù)的放置以適應(yīng)任何業(yè)務(wù)配置或使用,在存儲(chǔ)陣列之間實(shí)現(xiàn)無縫、不限存儲(chǔ)類型、吻合而且透明的數(shù)據(jù)訪問[4]。

    三、遠(yuǎn)程教育云的構(gòu)建

    1.IP網(wǎng)絡(luò)虛擬化的構(gòu)建

    IP網(wǎng)絡(luò)虛擬化包括服務(wù)器虛擬化和網(wǎng)絡(luò)交換設(shè)備虛擬化。

    (1)服務(wù)器虛擬化設(shè)計(jì)

    (2)網(wǎng)絡(luò)交換設(shè)備虛擬化設(shè)計(jì)

    對(duì)于普通的數(shù)據(jù)中心,網(wǎng)絡(luò)可靠性一般用兩臺(tái)交換機(jī)雙機(jī)熱備的形式來保證,但進(jìn)行雙機(jī)熱備的兩臺(tái)交換機(jī)之間卻不能進(jìn)行有效的負(fù)載均衡,傳統(tǒng)的交換設(shè)備VRRP不能有效地為云架構(gòu)服務(wù)。為此,在山東開放教育云的網(wǎng)絡(luò)層建設(shè)中構(gòu)建了網(wǎng)絡(luò)虛擬化層。一是網(wǎng)絡(luò)核心層由兩臺(tái)64口全千兆S7506E-V交換機(jī)組建,兩臺(tái)交換機(jī)通過萬兆接口相連,利用IRF2技術(shù)實(shí)現(xiàn)將兩臺(tái)設(shè)備虛擬成一臺(tái)設(shè)備,負(fù)責(zé)整個(gè)網(wǎng)絡(luò)的數(shù)據(jù)轉(zhuǎn)發(fā),在為網(wǎng)絡(luò)提供高可靠性服務(wù)的同時(shí),保證核心層數(shù)據(jù)負(fù)載均衡;二是服務(wù)器接入層由2臺(tái)48口全千兆S5500-HI高性能交換機(jī)組建,兩臺(tái)交換機(jī)通過萬兆接口相連,利用IRF2技術(shù)實(shí)現(xiàn)兩臺(tái)設(shè)備的虛擬化,實(shí)現(xiàn)跨設(shè)備的鏈路聚合;三是虛擬化后的核心層與接入層交換機(jī)兩兩間通過六類雙絞線交叉相連,確保服務(wù)器接入后網(wǎng)絡(luò)的高可靠性;四是每臺(tái)物理機(jī)的四個(gè)網(wǎng)口中兩個(gè)一組進(jìn)行綁定,第一組設(shè)定為VMware虛擬交換機(jī)的Console+Vkernal功能,分別與H3C5500_A和H3C5500_B的“管理VLan區(qū)”相連,另外兩個(gè)設(shè)定為虛擬交換機(jī)的應(yīng)用數(shù)據(jù)通道,分別與H3C5500_A和H3C5500_B的“應(yīng)用VLan區(qū)”相連。這樣的設(shè)計(jì)不僅最大化地保證了虛擬機(jī)在網(wǎng)絡(luò)層的高可靠性和可用性,而且虛擬化后接入層網(wǎng)絡(luò)設(shè)備負(fù)載均衡,保證了服務(wù)器群集管理通道和應(yīng)用通道數(shù)據(jù)的高效率傳輸(如圖1所示)。

    圖1 IP網(wǎng)絡(luò)虛擬化

    2.存儲(chǔ)網(wǎng)絡(luò)虛擬化構(gòu)建

    山東開放大學(xué)遠(yuǎn)程教育云的存儲(chǔ)系統(tǒng)通過配置一臺(tái)VPLEX控制主機(jī),與容量為41T的VNX5500_1和容量為21T的VNX5500_2陣列之間形成存儲(chǔ)虛擬化,具體部署如下:每個(gè)存儲(chǔ)柜包括SPA0和SPA1兩個(gè)控制器,共四個(gè)通道,每個(gè)控制器的上下兩個(gè)通道都與相互冗余的兩個(gè)HP光纖交換機(jī)交叉相連,保證近存儲(chǔ)端存儲(chǔ)鏈路的高可靠性;采用群集配置的ESX服務(wù)器,每臺(tái)服務(wù)器包含兩個(gè)HBA卡,分別接入兩個(gè)相互冗余的HP光纖交換機(jī)上,保證虛擬化群集存儲(chǔ)鏈路的可靠性;最后,在光交換上將共享通道的存儲(chǔ)和服務(wù)器劃分在同一個(gè)LUN中實(shí)現(xiàn)存儲(chǔ)與虛擬群集的對(duì)應(yīng)(如圖2所示)。

    通過VPLEXLocal存儲(chǔ)虛擬化,實(shí)現(xiàn)了應(yīng)用程序在不中斷的情況下,使數(shù)據(jù)從VNX5500_1到VNX 5500_2進(jìn)行遷移。同時(shí),在啟用“虛擬資源調(diào)配”后實(shí)現(xiàn)了存儲(chǔ)空間的自動(dòng)“按需分配”,大大提高了數(shù)據(jù)中心的存儲(chǔ)空間利用率,滿足了應(yīng)用軟件與資源在教育云中的靈活部署。

    圖2 存儲(chǔ)網(wǎng)絡(luò)虛擬化

    3.備份和監(jiān)控子系統(tǒng)的構(gòu)建

    (1)備份系統(tǒng)

    參照彭紀(jì)生等(2008)[23]的政策測(cè)量手冊(cè)以及羋凌云和楊潔(2017)[24]、蔣園園和楊秀云(2018)[25]等對(duì)這一手冊(cè)的情景化操作與應(yīng)用,構(gòu)建“政策力度-政策目標(biāo)-政策措施”效力評(píng)估模型,并對(duì)三者分別進(jìn)行賦值。其中,對(duì)政策力度的各個(gè)標(biāo)準(zhǔn)賦值1-5分;考慮到政策樣本主要是針對(duì)機(jī)動(dòng)車這單一污染源,目標(biāo)客體相對(duì)集中,為使評(píng)估結(jié)果具有顯著差異性,對(duì)政策目標(biāo)的賦值層次確定為5、3、1;結(jié)合趙新峰和袁宗威(2016)[26]的政策工具理論,對(duì)政策措施分別賦值5、3、1分。具體測(cè)量標(biāo)準(zhǔn)及賦值如表2。

    開放大學(xué)需要存儲(chǔ)海量的遠(yuǎn)程教育資源和教學(xué)管理數(shù)據(jù),雖然通過EMC存儲(chǔ)虛擬化進(jìn)行集中存儲(chǔ)管理,但還需要部署統(tǒng)一的自動(dòng)化軟件備份,才能保證整個(gè)信息系統(tǒng)的數(shù)據(jù)安全。本文對(duì)備份子系統(tǒng)做了如下設(shè)計(jì):在每個(gè)虛擬化集群中增加一個(gè)虛擬機(jī)用作備份服務(wù)器,安裝Vizioncore的vRanger虛擬化備份工具,將數(shù)據(jù)備份到本地曙光存儲(chǔ)中。Vizioncore的vRangerPro是一種行業(yè)標(biāo)準(zhǔn)備份和復(fù)原解決方案,提供了一種全新的功能,即P2V災(zāi)難恢復(fù),用于獲取所有物理Windows服務(wù)器的映象級(jí)備份。

    山東開放大學(xué)教育云虛擬化備份子環(huán)境實(shí)現(xiàn)了如下功能:構(gòu)建了統(tǒng)一的數(shù)據(jù)備份系統(tǒng),規(guī)劃統(tǒng)一的備份策略,自動(dòng)將整個(gè)平臺(tái)中的所有關(guān)鍵業(yè)務(wù)數(shù)據(jù)進(jìn)行集中備份,無需中斷物理服務(wù)器,方便安全。

    (2)虛擬化管理監(jiān)控系統(tǒng)

    對(duì)于將來逐步完善的教育云,管理員必須關(guān)注整個(gè)云架構(gòu)資源的穩(wěn)定性和健康狀況,可通過在物理機(jī)上安裝VizioncorevFoglight軟件來監(jiān)控服務(wù)器虛擬機(jī),與VMware虛擬化環(huán)境無縫集成,無需在虛擬機(jī)中安裝代理即可對(duì)整個(gè)環(huán)境進(jìn)行全面的監(jiān)控、規(guī)劃、預(yù)警、事件分析和報(bào)表。采用監(jiān)控工具Vfoglight后不僅可以全方位、準(zhǔn)確地監(jiān)控每個(gè)虛擬機(jī)中進(jìn)程的運(yùn)行狀況,同時(shí)針對(duì)關(guān)鍵應(yīng)用進(jìn)程,通過后臺(tái)龐大的專家?guī)煸\斷,給出最合理的優(yōu)化建議,使管理人員能夠合理分配資源。遠(yuǎn)程教育云基礎(chǔ)架構(gòu)平臺(tái)拓?fù)鋱D如圖3所示。

    圖3 遠(yuǎn)程教育云基礎(chǔ)架構(gòu)

    四、各分部遠(yuǎn)程教育云IaaS的應(yīng)用

    1.實(shí)驗(yàn)云平臺(tái)

    開放教育計(jì)算機(jī)學(xué)科的學(xué)生實(shí)驗(yàn)或?qū)嵺`環(huán)境由于部署的復(fù)雜性和對(duì)軟硬件的高要求導(dǎo)致一直沒有好的解決辦法,通過云平臺(tái)可快速部署、刪除基于操作系統(tǒng)實(shí)驗(yàn)的遠(yuǎn)程實(shí)驗(yàn)平臺(tái)。山東廣播電視大學(xué)開放教育《動(dòng)態(tài)網(wǎng)頁制作》和《網(wǎng)絡(luò)操作系統(tǒng)》等課程的實(shí)驗(yàn)就通過在虛擬機(jī)中部署需要使用的網(wǎng)絡(luò)GuestOS,供學(xué)生實(shí)驗(yàn)使用。學(xué)生可以方便地通過普通PC遠(yuǎn)程登錄,也可以在云教室通過瘦客戶機(jī)訪問真實(shí)的實(shí)驗(yàn)環(huán)境,促使學(xué)生快速掌握所學(xué)的理論知識(shí)。不但提高了學(xué)生的動(dòng)手能力,還增加了學(xué)習(xí)興趣。在實(shí)驗(yàn)完成后系統(tǒng)管理員會(huì)把實(shí)驗(yàn)用虛擬機(jī)刪除,在下一次實(shí)驗(yàn)開始前利用所需實(shí)驗(yàn)?zāi)0婵焖偕尚碌膶?shí)驗(yàn)環(huán)境。

    2.Moodle云分發(fā)信息系統(tǒng)

    Moodle是基于建構(gòu)主義教育理論開發(fā)的課程管理系統(tǒng),是一個(gè)免費(fèi)的開放源代碼軟件,可以用于學(xué)校教育的各個(gè)方面,如課堂教學(xué)、課外活動(dòng)、班團(tuán)組織、研究型學(xué)習(xí)等。由于該系統(tǒng)擁有免費(fèi)獲取、跨平臺(tái)以及可自由組合的動(dòng)態(tài)模塊化設(shè)計(jì)等特點(diǎn),已經(jīng)被廣泛應(yīng)用。但是,在使用過程中也遇到不少問題,如配置復(fù)雜、難以個(gè)性化、難以大量快速部署等[5]。

    山東開放大學(xué)教育云在VMwarevSphere中按照使用類別建立了多類個(gè)性化的Moodle虛擬模板,較好地解決了Moodle等大型教學(xué)系統(tǒng)的快速部署。當(dāng)進(jìn)行相關(guān)教學(xué)活動(dòng)時(shí),用戶通過云應(yīng)用管理系統(tǒng)提出申請(qǐng),管理員通過申請(qǐng)描述在提前配置好的相近的虛擬機(jī)模板類中選擇適當(dāng)?shù)哪0鍖?duì)象,通過VM?warevCenter,只要幾十秒就可按需克隆一個(gè)虛擬機(jī)并啟動(dòng)運(yùn)行和完成部署。山東廣播電視大學(xué)開放教育的網(wǎng)絡(luò)教學(xué)活動(dòng)很大程度上得益于云分發(fā)系統(tǒng),《網(wǎng)絡(luò)程序設(shè)計(jì)》、《Photoshop制作技術(shù)》等課程互動(dòng)都是通過克隆安裝Moodle平臺(tái)的虛擬機(jī)完成快速的個(gè)性化配置。

    3.快速存取海量教育資源

    通過遠(yuǎn)程教育云的虛擬存儲(chǔ)空間解決了海量教育資源的快速存取。山東開放大學(xué)是首批加入國家數(shù)字化學(xué)習(xí)資源中心的18家省市電大之一。目前,山東中心已有1,412門優(yōu)質(zhì)數(shù)字課程資源,包括電大在線、社區(qū)在線等學(xué)習(xí)平臺(tái)和相應(yīng)的教學(xué)資源,總資源容量已經(jīng)達(dá)到2.5TB。此外,山東中心規(guī)劃每年新增包括總中心共享的資源80門及自建資源30門,總?cè)萘窟_(dá)1T。在云平臺(tái)的強(qiáng)力支持下,部署的存儲(chǔ)虛擬化LUN空間或NAS空間完全滿足了這些資源和數(shù)據(jù)的需求,如山東日照廣播電視大學(xué)的社區(qū)教育和兗州學(xué)院的“一村一名大學(xué)生”等教學(xué)服務(wù),就是在遠(yuǎn)程教育云的基礎(chǔ)上開展的。

    4.VMwareView云教室

    山東開放大學(xué)的學(xué)生機(jī)房采用瘦客戶端+VM?wareView的方式建立云教室。View是基于VM?warevSphere構(gòu)建的,作為云計(jì)算服務(wù)的一部分。作為單一集成平臺(tái)交付桌面,其特點(diǎn)是:具有可動(dòng)態(tài)分配資源,為終端用戶提供快速響應(yīng)和高度可用的環(huán)境;可按需擴(kuò)展和縮減桌面服務(wù),以快速滿足不斷變化的業(yè)務(wù)需求并主動(dòng)防范計(jì)劃內(nèi)和計(jì)劃外停機(jī)?;赩Mware的云教室節(jié)約了機(jī)房設(shè)備的投入,節(jié)省了安裝空間,降低了硬件能耗,為教學(xué)活動(dòng)提供了簡(jiǎn)單快捷的系統(tǒng)及應(yīng)用部署。源中心服務(wù)器的CPU利用率顯著增加;B/S架構(gòu)的應(yīng)用系統(tǒng)整合效果良好,其中整合度(指群集承擔(dān)的應(yīng)用與實(shí)際數(shù)量物理機(jī)承擔(dān)的應(yīng)用之比)達(dá)到9:1。二、部署應(yīng)用簡(jiǎn)單快捷,只要有了新的需求,就可以很快在虛擬機(jī)上進(jìn)行安裝和實(shí)施,縮短了服務(wù)器重建的時(shí)間,提高了管理和工作效率。山東廣播電視大學(xué)利用兩個(gè)工作日便部署完成基于4個(gè)虛擬機(jī)包含17個(gè)地市子站組成的網(wǎng)站群。同時(shí),還可以根據(jù)具體應(yīng)用預(yù)先建立一些應(yīng)用模板類,在需要時(shí)進(jìn)行簡(jiǎn)單的克隆就可完成工作。三、保證了業(yè)務(wù)的高可用性。由于虛擬構(gòu)架可使虛擬機(jī)具有動(dòng)態(tài)可遷移性,當(dāng)群集中的物理機(jī)偶然出現(xiàn)問題時(shí)也不必?fù)?dān)心應(yīng)用系統(tǒng)不能正常運(yùn)行,虛擬機(jī)制會(huì)把應(yīng)用瞬間切換到其他正常主機(jī)上,以此來保證業(yè)務(wù)的連續(xù)運(yùn)行。

    [1]方慕真,孫雨,薛海峰,吳淑蘋,袁亞興.國家開放大學(xué)遠(yuǎn)程教育云的探索研究[J].中國教育信息化,2011,(21):6-9.

    [2]袁亞興,孫雨,吳淑蘋.國家開放大學(xué)遠(yuǎn)程教育云網(wǎng)絡(luò)架構(gòu)研究[J].中國教育信息化,2011,(21):10-13.

    [3]任星,李青榮.基于VMwarevSphere虛擬化資源管理平臺(tái)研究[J].計(jì)算機(jī)應(yīng)用與軟件,2012,(5):220-221.

    [4]孟凡立,徐明,張慰.基于云計(jì)算的高校數(shù)據(jù)中心設(shè)計(jì)與實(shí)現(xiàn)[J].現(xiàn)代教育技術(shù),2012,(3):100-102.

    [5]鄒建梅,原變青.利用云計(jì)算技術(shù)構(gòu)筑大規(guī)模Moodle應(yīng)用系統(tǒng)的研究[J].中國教育技術(shù)裝備,2011,(29):56-59.

    陳巖,中級(jí)教師,本科,兗州市第一中學(xué)(272101)。

    五、結(jié)束語

    遠(yuǎn)程教育云的應(yīng)用在實(shí)現(xiàn)了既定目標(biāo)的同時(shí)也為山東開放大學(xué)的進(jìn)一步建設(shè)和發(fā)展提供了可擴(kuò)展的平臺(tái)。利用VMware服務(wù)器虛擬化技術(shù),山東開放大學(xué)共部署了47個(gè)虛擬機(jī)。通過服務(wù)器虛擬化技術(shù)的部署和實(shí)施,山東開放大學(xué)實(shí)現(xiàn)了以下目標(biāo):一、服務(wù)器利用率得到極大提高,硬件投入成本不斷降低,通過服務(wù)器虛擬化實(shí)施,電大在線平臺(tái)、國家數(shù)字化資

    責(zé)任編輯 日 新

    G40-057

    A

    1009—458x(2014)03—0082—06

    2013-08-26

    韓磊,工程師,碩士研究生;范華,工程師,碩士研究生。山東廣播電視大學(xué)現(xiàn)代教育技術(shù)中心(250014)。

    猜你喜歡
    備份虛擬化數(shù)據(jù)中心
    “備份”25年:鄧清明圓夢(mèng)
    酒泉云計(jì)算大數(shù)據(jù)中心
    基于OpenStack虛擬化網(wǎng)絡(luò)管理平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)
    電子制作(2019年10期)2019-06-17 11:45:10
    對(duì)基于Docker的虛擬化技術(shù)的幾點(diǎn)探討
    電子制作(2018年14期)2018-08-21 01:38:20
    民航綠色云數(shù)據(jù)中心PUE控制
    虛擬化技術(shù)在計(jì)算機(jī)技術(shù)創(chuàng)造中的應(yīng)用
    存儲(chǔ)虛擬化還有優(yōu)勢(shì)嗎?
    淺析數(shù)據(jù)的備份策略
    科技視界(2015年6期)2015-08-15 00:54:11
    基于云計(jì)算的交通運(yùn)輸數(shù)據(jù)中心實(shí)現(xiàn)與應(yīng)用
    Overlay Network技術(shù)在云計(jì)算數(shù)據(jù)中心中的應(yīng)用
    河南科技(2014年11期)2014-02-27 14:16:49
    久久韩国三级中文字幕| 青春草视频在线免费观看| 18+在线观看网站| 亚洲av二区三区四区| 日韩人妻高清精品专区| 一级a做视频免费观看| 亚洲高清免费不卡视频| 国产精品熟女久久久久浪| videossex国产| 国产在视频线精品| 亚洲五月色婷婷综合| 一区二区三区免费毛片| 男男h啪啪无遮挡| 91午夜精品亚洲一区二区三区| 免费观看在线日韩| 国产成人一区二区在线| 热99久久久久精品小说推荐| 亚洲久久久国产精品| 日韩成人伦理影院| 免费看不卡的av| 十八禁高潮呻吟视频| 午夜精品国产一区二区电影| 久久精品国产亚洲av天美| 蜜桃国产av成人99| 热re99久久精品国产66热6| 久久久久久久大尺度免费视频| 亚洲人与动物交配视频| 久久人人爽人人片av| 精品一区二区三区视频在线| 一区二区三区乱码不卡18| 国产精品嫩草影院av在线观看| 亚洲国产最新在线播放| 最近2019中文字幕mv第一页| 一本久久精品| 精品少妇内射三级| 亚洲四区av| 久久久久网色| 国产亚洲精品久久久com| 免费观看的影片在线观看| 午夜激情福利司机影院| 久久99热6这里只有精品| 少妇人妻精品综合一区二区| 欧美国产精品一级二级三级| 视频区图区小说| 成人国产麻豆网| 成人国语在线视频| 日本wwww免费看| 成人国产麻豆网| 看非洲黑人一级黄片| 精品一区二区免费观看| 亚洲精品,欧美精品| 国产黄色免费在线视频| 国产熟女午夜一区二区三区 | 国产精品人妻久久久影院| 亚洲av福利一区| 97在线视频观看| 亚洲情色 制服丝袜| 欧美国产精品一级二级三级| 欧美性感艳星| 亚洲综合精品二区| 日韩 亚洲 欧美在线| 久久久久久久大尺度免费视频| 少妇的逼水好多| 亚洲精品乱码久久久v下载方式| 欧美变态另类bdsm刘玥| 久久久久久久久久成人| 欧美老熟妇乱子伦牲交| 亚洲精品中文字幕在线视频| 国产熟女午夜一区二区三区 | 国产片特级美女逼逼视频| 久久精品久久久久久久性| 高清在线视频一区二区三区| 色5月婷婷丁香| 免费高清在线观看日韩| freevideosex欧美| 亚洲国产av影院在线观看| 欧美少妇被猛烈插入视频| 亚洲高清免费不卡视频| 日韩免费高清中文字幕av| 成人无遮挡网站| 啦啦啦视频在线资源免费观看| 国产精品一区二区免费欧美| 国产精品一区二区免费欧美| 精品第一国产精品| 亚洲精品久久午夜乱码| 国产aⅴ精品一区二区三区波| 国产aⅴ精品一区二区三区波| 欧美精品av麻豆av| av天堂久久9| 精品高清国产在线一区| 变态另类成人亚洲欧美熟女 | 午夜免费鲁丝| 黑人巨大精品欧美一区二区蜜桃| 男女之事视频高清在线观看| 夫妻午夜视频| 免费在线观看影片大全网站| 国产精品一区二区在线观看99| 亚洲国产av新网站| 岛国在线观看网站| 久久av网站| 丝袜人妻中文字幕| 日日夜夜操网爽| 中文字幕制服av| 露出奶头的视频| 国产精品秋霞免费鲁丝片| 色播在线永久视频| 九色亚洲精品在线播放| 国产精品久久久久久精品电影小说| 国产精品亚洲一级av第二区| 午夜成年电影在线免费观看| 夜夜爽天天搞| 欧美在线黄色| 每晚都被弄得嗷嗷叫到高潮| xxxhd国产人妻xxx| 久久免费观看电影| 亚洲视频免费观看视频| 亚洲国产成人一精品久久久| 亚洲精品一卡2卡三卡4卡5卡| 999久久久精品免费观看国产| 激情视频va一区二区三区| 纯流量卡能插随身wifi吗| 欧美av亚洲av综合av国产av| 亚洲久久久国产精品| 天堂中文最新版在线下载| 亚洲av国产av综合av卡| 国产黄色免费在线视频| 大型av网站在线播放| 国产精品av久久久久免费| 18禁美女被吸乳视频| 午夜福利在线观看吧| 一边摸一边抽搐一进一小说 | 精品国产乱码久久久久久小说| 亚洲成国产人片在线观看| 国产精品久久电影中文字幕 | 波多野结衣一区麻豆| 国产亚洲欧美精品永久| 国产精品一区二区免费欧美| 亚洲三区欧美一区| 亚洲国产av新网站| 午夜福利在线观看吧| av有码第一页| 午夜精品国产一区二区电影| 欧美国产精品va在线观看不卡| 免费久久久久久久精品成人欧美视频| 在线天堂中文资源库| 一本大道久久a久久精品| 夫妻午夜视频| 免费久久久久久久精品成人欧美视频| 欧美一级毛片孕妇| 久久久久国产一级毛片高清牌| 丰满迷人的少妇在线观看| 午夜福利影视在线免费观看| 丰满饥渴人妻一区二区三| 午夜精品国产一区二区电影| 一区福利在线观看| 19禁男女啪啪无遮挡网站| 男女之事视频高清在线观看| 亚洲人成电影观看| 女警被强在线播放| 久久久久久久久免费视频了| 热99国产精品久久久久久7| 国产精品影院久久| 女人久久www免费人成看片| 久久久久视频综合| 每晚都被弄得嗷嗷叫到高潮| 亚洲av日韩在线播放| 黄色丝袜av网址大全| 热re99久久精品国产66热6| 视频区欧美日本亚洲| 老司机午夜福利在线观看视频 | 久久久国产精品麻豆| 最新在线观看一区二区三区| 久久久精品区二区三区| 欧美日韩亚洲综合一区二区三区_| 午夜成年电影在线免费观看| 亚洲三区欧美一区| 国产精品国产av在线观看| 人妻 亚洲 视频| 不卡一级毛片| 一本综合久久免费| 日韩制服丝袜自拍偷拍| 超碰成人久久| 多毛熟女@视频| 久久久精品国产亚洲av高清涩受| 久久九九热精品免费| 大型av网站在线播放| 日韩熟女老妇一区二区性免费视频| 黄色 视频免费看| 老司机深夜福利视频在线观看| 久久精品亚洲精品国产色婷小说| 在线观看66精品国产| 十八禁高潮呻吟视频| 久久av网站| 天堂中文最新版在线下载| 久久性视频一级片| 亚洲国产av影院在线观看| 怎么达到女性高潮| 国产精品99久久99久久久不卡| 精品人妻1区二区| 欧美日本中文国产一区发布| 成年人黄色毛片网站| 精品久久久精品久久久| 日韩欧美三级三区| 亚洲综合色网址| 国产成人欧美| 狠狠狠狠99中文字幕| 最新美女视频免费是黄的| 三上悠亚av全集在线观看| 男女下面插进去视频免费观看| 国产aⅴ精品一区二区三区波| 黑人巨大精品欧美一区二区蜜桃| 亚洲av第一区精品v没综合| 日本vs欧美在线观看视频| 热99re8久久精品国产| 色精品久久人妻99蜜桃| 免费看十八禁软件| 美女高潮到喷水免费观看| 国产亚洲一区二区精品| 99国产精品99久久久久| 婷婷丁香在线五月| 夜夜爽天天搞| 热99久久久久精品小说推荐| 欧美 日韩 精品 国产| 国产淫语在线视频| 狠狠婷婷综合久久久久久88av| 极品人妻少妇av视频| 久久 成人 亚洲| 国产欧美日韩一区二区三区在线| 亚洲第一青青草原| 色精品久久人妻99蜜桃| 久久久国产一区二区| 色老头精品视频在线观看| 国产一区有黄有色的免费视频| 叶爱在线成人免费视频播放| 午夜精品久久久久久毛片777| 9色porny在线观看| 精品福利观看| 国产淫语在线视频| 久久免费观看电影| 久久国产精品人妻蜜桃| 国产亚洲精品一区二区www | 丁香欧美五月| 女人久久www免费人成看片| 一区在线观看完整版| 日日摸夜夜添夜夜添小说| 伊人久久大香线蕉亚洲五| www.999成人在线观看| 桃红色精品国产亚洲av| 高清av免费在线| 久久 成人 亚洲| 妹子高潮喷水视频| 免费少妇av软件| 久久中文字幕人妻熟女| 亚洲免费av在线视频| 欧美日韩国产mv在线观看视频| 丝袜喷水一区| 久久精品91无色码中文字幕| 成人永久免费在线观看视频 | 在线观看免费高清a一片| 国产主播在线观看一区二区| a级毛片黄视频| av有码第一页| 免费av中文字幕在线| 涩涩av久久男人的天堂| 久久久国产成人免费| 亚洲精品一卡2卡三卡4卡5卡| 国产av精品麻豆| 久久人妻av系列| av天堂在线播放| 高清黄色对白视频在线免费看| 777米奇影视久久| 午夜两性在线视频| 日韩欧美一区二区三区在线观看 | 丰满饥渴人妻一区二区三| 精品第一国产精品| 一二三四在线观看免费中文在| av在线播放免费不卡| 99国产综合亚洲精品| 少妇的丰满在线观看| 无限看片的www在线观看| 日韩成人在线观看一区二区三区| 51午夜福利影视在线观看| 日韩大片免费观看网站| 精品卡一卡二卡四卡免费| 国产精品影院久久| 狠狠狠狠99中文字幕| av天堂久久9| 悠悠久久av| 成人亚洲精品一区在线观看| 啦啦啦中文免费视频观看日本| 两个人免费观看高清视频| av片东京热男人的天堂| 老汉色∧v一级毛片| 亚洲七黄色美女视频| 99精品在免费线老司机午夜| 99re6热这里在线精品视频| 免费久久久久久久精品成人欧美视频| 欧美av亚洲av综合av国产av| 日韩大片免费观看网站| 老熟妇仑乱视频hdxx| 丝袜人妻中文字幕| 九色亚洲精品在线播放| 老鸭窝网址在线观看| 日韩免费高清中文字幕av| 成年人免费黄色播放视频| 国产片内射在线| 丁香欧美五月| 精品久久蜜臀av无| 免费黄频网站在线观看国产| 日本vs欧美在线观看视频| 老司机靠b影院| 1024视频免费在线观看| 女性被躁到高潮视频| 精品国产一区二区三区久久久樱花| 国精品久久久久久国模美| 久久天堂一区二区三区四区| 在线播放国产精品三级| 国产高清激情床上av| 亚洲成国产人片在线观看| 伊人久久大香线蕉亚洲五| 成人手机av| 亚洲五月色婷婷综合| 亚洲av欧美aⅴ国产| 夜夜骑夜夜射夜夜干| 国产在线免费精品| 亚洲精品久久午夜乱码| 日本精品一区二区三区蜜桃| 色视频在线一区二区三区| 一区二区日韩欧美中文字幕| 免费久久久久久久精品成人欧美视频| av欧美777| 亚洲成国产人片在线观看| 欧美+亚洲+日韩+国产| 99香蕉大伊视频| 天堂俺去俺来也www色官网| 啪啪无遮挡十八禁网站| 老熟妇乱子伦视频在线观看| 国产成人精品久久二区二区91| 亚洲专区字幕在线| 91av网站免费观看| 亚洲av片天天在线观看| 国产精品自产拍在线观看55亚洲 | 亚洲国产欧美日韩在线播放| 欧美日韩视频精品一区| 欧美日韩黄片免| 久久天躁狠狠躁夜夜2o2o| 老熟妇乱子伦视频在线观看| 天天操日日干夜夜撸| 国产亚洲精品一区二区www | 日韩中文字幕视频在线看片| 丁香六月天网| 日韩中文字幕视频在线看片| 日本欧美视频一区| 91麻豆av在线| 在线观看免费视频网站a站| 可以免费在线观看a视频的电影网站| 新久久久久国产一级毛片| 国产国语露脸激情在线看| 悠悠久久av| 麻豆国产av国片精品| 丰满饥渴人妻一区二区三| 久久精品成人免费网站| 在线观看免费视频日本深夜| 久久精品亚洲av国产电影网| 亚洲熟女毛片儿| 丝袜人妻中文字幕| 另类精品久久| 国产欧美日韩一区二区精品| 亚洲全国av大片| 精品国产乱码久久久久久小说| 另类精品久久| 操出白浆在线播放| 伊人久久大香线蕉亚洲五| 精品国产乱码久久久久久小说| 亚洲精品中文字幕在线视频| 99热国产这里只有精品6| 欧美日韩亚洲高清精品| 国产欧美日韩综合在线一区二区| 韩国精品一区二区三区| 亚洲伊人久久精品综合| 在线观看人妻少妇| 欧美一级毛片孕妇| 久久狼人影院| 免费av中文字幕在线| 国产免费av片在线观看野外av| www.精华液| 80岁老熟妇乱子伦牲交| 亚洲情色 制服丝袜| 亚洲,欧美精品.| 国产片内射在线| netflix在线观看网站| 久久天堂一区二区三区四区| 国产成人av激情在线播放| 国产高清激情床上av| 国产精品 欧美亚洲| 国产精品久久久人人做人人爽| 免费av中文字幕在线| 热99久久久久精品小说推荐| 黄色a级毛片大全视频| 中文字幕人妻丝袜一区二区| 亚洲色图综合在线观看| 啦啦啦 在线观看视频| 久久99热这里只频精品6学生| 19禁男女啪啪无遮挡网站| 国产免费视频播放在线视频| 免费高清在线观看日韩| 两性午夜刺激爽爽歪歪视频在线观看 | 天堂8中文在线网| 一本一本久久a久久精品综合妖精| 高潮久久久久久久久久久不卡| 成年人免费黄色播放视频| 国产aⅴ精品一区二区三区波| 人人妻人人爽人人添夜夜欢视频| 亚洲 欧美一区二区三区| 国产在线视频一区二区| 精品卡一卡二卡四卡免费| 91av网站免费观看| 亚洲一区中文字幕在线| 高清毛片免费观看视频网站 | 国产日韩一区二区三区精品不卡| 深夜精品福利| 精品国内亚洲2022精品成人 | 满18在线观看网站| 亚洲欧美精品综合一区二区三区| 成人手机av| 纯流量卡能插随身wifi吗| 99久久国产精品久久久| 在线观看一区二区三区激情| 黄色丝袜av网址大全| a级片在线免费高清观看视频| 欧美大码av| 捣出白浆h1v1| 黑人操中国人逼视频| 精品国产乱码久久久久久男人| 五月天丁香电影| 中国美女看黄片| 亚洲三区欧美一区| 最黄视频免费看| 午夜免费成人在线视频| 久久久久国产一级毛片高清牌| 国产淫语在线视频| 亚洲情色 制服丝袜| 岛国毛片在线播放| 高清欧美精品videossex| 久久99一区二区三区| 黄片播放在线免费| 国产91精品成人一区二区三区 | 国产成人精品在线电影| 夜夜骑夜夜射夜夜干| 久久亚洲真实| 老汉色∧v一级毛片| 亚洲天堂av无毛| 久久精品国产a三级三级三级| 国产精品亚洲av一区麻豆| 午夜福利欧美成人| 男女高潮啪啪啪动态图| 十八禁网站网址无遮挡| 成人精品一区二区免费| 亚洲九九香蕉| 美女国产高潮福利片在线看| 欧美日韩成人在线一区二区| 丝瓜视频免费看黄片| 一本色道久久久久久精品综合| av在线播放免费不卡| 丰满迷人的少妇在线观看| 国产三级黄色录像| 欧美人与性动交α欧美软件| 色精品久久人妻99蜜桃| 在线亚洲精品国产二区图片欧美| 久久精品国产99精品国产亚洲性色 | 性高湖久久久久久久久免费观看| 欧美乱码精品一区二区三区| 亚洲黑人精品在线| 变态另类成人亚洲欧美熟女 | 国产在线一区二区三区精| 最新在线观看一区二区三区| 国产主播在线观看一区二区| 一级毛片女人18水好多| 中文字幕另类日韩欧美亚洲嫩草| 亚洲自偷自拍图片 自拍| 亚洲精品自拍成人| 天天躁夜夜躁狠狠躁躁| 精品欧美一区二区三区在线| 国产伦理片在线播放av一区| 亚洲中文日韩欧美视频| 黄频高清免费视频| 国产视频一区二区在线看| 如日韩欧美国产精品一区二区三区| 女人被躁到高潮嗷嗷叫费观| 国产精品亚洲av一区麻豆| 国产精品国产av在线观看| 国精品久久久久久国模美| 午夜福利在线免费观看网站| 亚洲午夜精品一区,二区,三区| 亚洲人成电影观看| 精品亚洲乱码少妇综合久久| 777米奇影视久久| 人妻一区二区av| 男男h啪啪无遮挡| 国产免费福利视频在线观看| 日韩中文字幕欧美一区二区| 免费不卡黄色视频| 他把我摸到了高潮在线观看 | 国内毛片毛片毛片毛片毛片| 国产视频一区二区在线看| 黄色片一级片一级黄色片| 国产成人系列免费观看| √禁漫天堂资源中文www| 精品少妇黑人巨大在线播放| 9191精品国产免费久久| 视频在线观看一区二区三区| 悠悠久久av| 久久久久久亚洲精品国产蜜桃av| 国产主播在线观看一区二区| 脱女人内裤的视频| 国产福利在线免费观看视频| 亚洲精品国产区一区二| 欧美黄色淫秽网站| 久久av网站| 女人爽到高潮嗷嗷叫在线视频| 纵有疾风起免费观看全集完整版| 久久婷婷成人综合色麻豆| 一本色道久久久久久精品综合| 国产欧美日韩一区二区三| 成人精品一区二区免费| a级毛片在线看网站| 悠悠久久av| 少妇的丰满在线观看| 久久av网站| 一本综合久久免费| 汤姆久久久久久久影院中文字幕| 亚洲专区中文字幕在线| www.精华液| 成人免费观看视频高清| 岛国在线观看网站| av福利片在线| 日韩 欧美 亚洲 中文字幕| 50天的宝宝边吃奶边哭怎么回事| 欧美日韩亚洲综合一区二区三区_| 久热爱精品视频在线9| 欧美人与性动交α欧美精品济南到| 日韩成人在线观看一区二区三区| 久久影院123| 午夜福利在线免费观看网站| 国产精品免费视频内射| 国产成人av教育| 亚洲精品久久成人aⅴ小说| 国产1区2区3区精品| 亚洲欧美一区二区三区黑人| 999久久久精品免费观看国产| 中文字幕色久视频| 国产精品二区激情视频| 色婷婷久久久亚洲欧美| 操出白浆在线播放| 国产淫语在线视频| 午夜免费鲁丝| 69av精品久久久久久 | 欧美黄色淫秽网站| 精品乱码久久久久久99久播| 女人爽到高潮嗷嗷叫在线视频| 大香蕉久久成人网| 在线观看一区二区三区激情| 高潮久久久久久久久久久不卡| 久久99一区二区三区| 三上悠亚av全集在线观看| 高清av免费在线| 日韩熟女老妇一区二区性免费视频| 亚洲欧美精品综合一区二区三区| 性少妇av在线| 国产91精品成人一区二区三区 | 日韩大码丰满熟妇| av天堂在线播放| 欧美久久黑人一区二区| 亚洲七黄色美女视频| 老熟妇仑乱视频hdxx| 国产精品免费大片| 人人妻人人澡人人爽人人夜夜| 国产精品亚洲av一区麻豆| 亚洲久久久国产精品| 久久精品亚洲熟妇少妇任你| 精品国产乱码久久久久久小说| 午夜福利一区二区在线看| 丰满少妇做爰视频| 欧美日韩视频精品一区| 美女午夜性视频免费| 一区二区三区国产精品乱码| 国产成人影院久久av| 久久精品国产a三级三级三级| 久久ye,这里只有精品| 99国产综合亚洲精品| 美女视频免费永久观看网站| 夫妻午夜视频| 亚洲九九香蕉| 欧美日韩黄片免| 国产精品久久电影中文字幕 | 亚洲国产欧美一区二区综合| 在线亚洲精品国产二区图片欧美| svipshipincom国产片| 国产精品一区二区在线观看99| 天堂俺去俺来也www色官网| 亚洲综合色网址| 国产精品一区二区在线观看99| 亚洲熟女毛片儿| av又黄又爽大尺度在线免费看| 女性生殖器流出的白浆| 午夜两性在线视频| 色综合欧美亚洲国产小说| 美女高潮到喷水免费观看| 亚洲熟女毛片儿| 老司机福利观看| 视频区欧美日本亚洲| 动漫黄色视频在线观看| 国产男女内射视频| 久久中文字幕人妻熟女| 欧美亚洲日本最大视频资源|