• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    云計(jì)算時(shí)代的企業(yè)級(jí)存儲(chǔ)之特性

    2016-10-27 06:59:24葉毓睿
    關(guān)鍵詞:存儲(chǔ)資源虛擬化數(shù)據(jù)中心

    葉毓睿

    (VMware公司 北京 100190)

    ?

    云計(jì)算時(shí)代的企業(yè)級(jí)存儲(chǔ)之特性

    葉毓睿

    (VMware公司 北京 100190)

    云計(jì)算勢(shì)不可擋,在未來(lái)較長(zhǎng)的時(shí)間段內(nèi),私有云和混合云是主流。作為數(shù)據(jù)中心的基礎(chǔ)部件之一,企業(yè)級(jí)存儲(chǔ)面臨了新的挑戰(zhàn),云計(jì)算要求存儲(chǔ)具有如下特性:自助服務(wù)、存儲(chǔ)池化、彈性擴(kuò)展、快速部署、按量計(jì)費(fèi)等。軟件定義存儲(chǔ)是解決這一挑戰(zhàn)的最佳選擇。

    企業(yè)級(jí)存儲(chǔ);云計(jì)算;軟件定義數(shù)據(jù)中心;軟件定義存儲(chǔ)

    一、什么是企業(yè)級(jí)存儲(chǔ)?

    企業(yè)對(duì)數(shù)據(jù)存儲(chǔ)有著額外的需求,它的高標(biāo)準(zhǔn)體現(xiàn)在:高可靠性、高可用性、可維護(hù)性、高性能、大容量、可擴(kuò)展性和高級(jí)的數(shù)據(jù)保護(hù)(備份和容災(zāi))。

    有別于個(gè)人用戶(hù)使用的移動(dòng)硬盤(pán)、U盤(pán)等消費(fèi)級(jí)存儲(chǔ),企業(yè)級(jí)存儲(chǔ)因?yàn)槭瞧髽I(yè)信息資產(chǎn)存放的地方,需要極高的可靠性、穩(wěn)定性。而且,在當(dāng)今信息化逐漸深入的時(shí)代背景下,大多數(shù)行業(yè)都需要借助信息技術(shù)(簡(jiǎn)稱(chēng)IT)去提高管理效率,維護(hù)客戶(hù)關(guān)系,快速響應(yīng)訊息萬(wàn)變的商業(yè)環(huán)境,并給領(lǐng)導(dǎo)者提供值得信賴(lài)的決策信息。這使得IT數(shù)據(jù)的產(chǎn)生、存放、傳輸、保護(hù)變得日益重要,對(duì)于重要的關(guān)鍵業(yè)務(wù)應(yīng)用,還需要通過(guò)備份、容災(zāi)等手段,更好地將數(shù)據(jù)保護(hù)起來(lái),以應(yīng)對(duì)可能突如其來(lái)的災(zāi)難事件。例如:15年前,也就是2001年的911事件中,許多金融機(jī)構(gòu)聚集的世貿(mào)大廈里的大量數(shù)據(jù)化為烏有。其中,紐約銀行的數(shù)據(jù)中心遭到嚴(yán)重破壞,由于缺乏可靠的災(zāi)備系統(tǒng),在30天后關(guān)閉一些分支機(jī)構(gòu),幾月后只能破產(chǎn)清盤(pán)。而摩根士丹利(Morgan Stanley)在世貿(mào)大廈租用了高達(dá)25層的辦公室,許多人以為它的運(yùn)營(yíng)將受到重創(chuàng)。然而,摩根士丹利宣布,全球營(yíng)業(yè)部第二天可以照常工作。因?yàn)橄惹敖⒌臄?shù)據(jù)備份和遠(yuǎn)程容災(zāi)系統(tǒng),保護(hù)了重要的數(shù)據(jù)。不得不承認(rèn),數(shù)據(jù)備份和遠(yuǎn)程容災(zāi)系統(tǒng)在這時(shí)挽救了Morgan Stanley。

    據(jù)統(tǒng)計(jì),金融業(yè)在信息系統(tǒng)遭到破壞的兩天內(nèi),遭受的損失為日營(yíng)業(yè)額的一半,如果14天內(nèi)無(wú)法恢復(fù)信息系統(tǒng),3/4的公司業(yè)務(wù)不得不停頓,43%的公司將永久停業(yè),沒(méi)有實(shí)施災(zāi)備措施的公司3/5將在災(zāi)難發(fā)生后的兩到三年間破產(chǎn)。這里提到的災(zāi)難備份,都是企業(yè)級(jí)存儲(chǔ)技術(shù)中的重要一環(huán)。

    此外,數(shù)據(jù)7x24小時(shí)可以被持續(xù)訪(fǎng)問(wèn),也越來(lái)越重要。有些企業(yè),停機(jī)1分鐘,甚至都會(huì)導(dǎo)致數(shù)十萬(wàn),甚至數(shù)百萬(wàn)美元的損失;丟失數(shù)據(jù)則被視為更嚴(yán)重的事故。

    二、什么是云計(jì)算?

    云計(jì)算發(fā)端于十年前,至今已經(jīng)推動(dòng)著IT洪流,滾滾向前,極大地影響了整個(gè)IT產(chǎn)業(yè)的格局。云計(jì)算其實(shí)并不特指一種或幾種技術(shù),實(shí)際上是使用IT資源的模式的創(chuàng)新。雖然一萬(wàn)個(gè)人的眼里,就有一萬(wàn)個(gè)不同的云計(jì)算的定義,不過(guò)被大家公認(rèn)的,接受度比較高的是NIST(美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)委員會(huì))對(duì)于云計(jì)算的定義[1],如圖1所示[2]。

    圖1美國(guó)NIST關(guān)于云計(jì)算的定義

    NIST認(rèn)為,云計(jì)算有如下五個(gè)核心本質(zhì)特征:

    1.按需提供的自助服務(wù)

    消費(fèi)者可以單方面地按需自動(dòng)獲取計(jì)算能力,如服務(wù)器時(shí)間和網(wǎng)絡(luò)存儲(chǔ),從而免去了與每個(gè)服務(wù)提供者進(jìn)行交互的過(guò)程。

    2.通過(guò)網(wǎng)絡(luò)廣泛訪(fǎng)問(wèn)

    網(wǎng)絡(luò)中提供許多可用功能,可通過(guò)各種統(tǒng)一的標(biāo)準(zhǔn)機(jī)制從多樣化的瘦客戶(hù)端或者胖客戶(hù)端平臺(tái)獲取(例如,手機(jī)、筆記本電腦、或臺(tái)式機(jī))。

    3.資源的池化整合

    服務(wù)提供者將計(jì)算資源匯集到資源池中,通過(guò)多租戶(hù)模式共享給多個(gè)消費(fèi)者,根據(jù)消費(fèi)者的需求對(duì)不同的物理資源和虛擬資源進(jìn)行動(dòng)態(tài)分配或重分配。資源的所在地具有保密性,消費(fèi)者通常不知道資源的確切位置,也無(wú)力控制資源的分配,但是可以指定較精確的概要位置(如,國(guó)家、省或數(shù)據(jù)中心)。資源類(lèi)型包括存儲(chǔ)、處理、內(nèi)存、帶寬和虛擬機(jī)等。

    4.快速而彈性的部署

    能夠快速而靈活地提供各種功能以實(shí)現(xiàn)擴(kuò)展,并且可以快速釋放資源來(lái)實(shí)現(xiàn)收縮。對(duì)消費(fèi)者來(lái)說(shuō),可取用的功能是應(yīng)有盡有的,并且可以在任何時(shí)間進(jìn)行任意數(shù)量的購(gòu)買(mǎi)。

    5.可量化的服務(wù)

    云系統(tǒng)利用一種計(jì)量功能(通常是通過(guò)一個(gè)付費(fèi)使用的業(yè)務(wù)模式)來(lái)自動(dòng)調(diào)控和優(yōu)化資源利用,根據(jù)不同的服務(wù)類(lèi)型按照合適的度量指標(biāo)進(jìn)行計(jì)量(如存儲(chǔ)、處理、帶寬和活躍用戶(hù)賬戶(hù))。監(jiān)控、控制和報(bào)告資源使用情況,提升服務(wù)提供者和服務(wù)消費(fèi)者的透明度。

    從業(yè)務(wù)交付模式來(lái)看,包括如下三種:

    1.軟件即服務(wù)(SaaS)

    該模式的云服務(wù),是在云基礎(chǔ)設(shè)施上運(yùn)行的,由提供者提供的應(yīng)用程序。這些應(yīng)用程序可以被各種不同的客戶(hù)端設(shè)備,通過(guò)像Web瀏覽器(例如:基于Web的電子郵件)這樣的瘦客戶(hù)端界面所訪(fǎng)問(wèn)。消費(fèi)者不直接管理或控制底層云基礎(chǔ)設(shè)施,包括網(wǎng)絡(luò)、服務(wù)器、操作系統(tǒng)、存儲(chǔ),甚至單個(gè)應(yīng)用的功能,但有限的特定于用戶(hù)的應(yīng)用程序配置設(shè)置則可能是個(gè)例外。

    2.平臺(tái)即服務(wù)(PaaS)

    該模式的云服務(wù),是將消費(fèi)者創(chuàng)建或獲取的應(yīng)用程序,利用資源提供者指定的編程語(yǔ)言和工具部署到云的基礎(chǔ)設(shè)施上。消費(fèi)者不直接管理或控制包括網(wǎng)絡(luò)、服務(wù)器、運(yùn)行系統(tǒng)、存儲(chǔ),甚至單個(gè)應(yīng)用的功能在內(nèi)的底層云基礎(chǔ)設(shè)施,但可以控制部署的應(yīng)用程序,也有可能配置應(yīng)用的托管環(huán)境。

    3.基礎(chǔ)設(shè)施即服務(wù)(IaaS)

    該模式的云服務(wù),是租用處理、存儲(chǔ)、網(wǎng)絡(luò)和其它基本的計(jì)算資源,消費(fèi)者能夠在上面部署和運(yùn)行任意軟件,包括操作系統(tǒng)和應(yīng)用程序。消費(fèi)者不管理或控制底層的云計(jì)算基礎(chǔ)設(shè)施,但可以控制操作系統(tǒng)、存儲(chǔ)、部署的應(yīng)用,也有可能選擇網(wǎng)絡(luò)構(gòu)件(例如:主機(jī)防火墻)。

    在筆者看來(lái),這三種交付模式的不同,其實(shí)對(duì)應(yīng)的就是三類(lèi)不同的使用者的角色。SAAS對(duì)應(yīng)業(yè)務(wù)應(yīng)用的用戶(hù),例如著名的Salesforce,許多外企都在使用其云端的客戶(hù)關(guān)系管理軟件,通過(guò)瀏覽器即可使用;PAAS對(duì)應(yīng)開(kāi)發(fā)部署人員,例如開(kāi)源PAAS平臺(tái)提供商Cloud Foundry;而IAAS對(duì)應(yīng)運(yùn)維管理人員,公有云領(lǐng)域中,最著名的有亞馬遜AWS、微軟Azure,另外還有谷歌GCE、IBM Softlayer、VMware vCloud Air等。

    從架構(gòu)部署模型來(lái)看,包括如下四種:

    1.公共云(Public cloud)

    公共云對(duì)一般公眾或一個(gè)大型的行業(yè)組織公開(kāi)可用,由銷(xiāo)售云服務(wù)的組織機(jī)構(gòu)所有。

    2.私有云(Private cloud)

    私有云是為一個(gè)用戶(hù)/機(jī)構(gòu)單獨(dú)使用而構(gòu)建的,可以由該用戶(hù)/機(jī)構(gòu)或第三方管理,存在預(yù)置(on premise)和外置(off premise)兩個(gè)狀態(tài)。

    3.團(tuán)體云,也叫社區(qū)云(Community cloud)

    社區(qū)云是指一些由有著共同利益(如任務(wù)、安全需求、政策、遵約考慮等)并打算共享基礎(chǔ)設(shè)施的組織共同創(chuàng)立的云,可以由該用戶(hù)/機(jī)構(gòu)或第三方管理,存在on premise或off premise兩個(gè)狀態(tài)。

    4.混合云(Hybrid cloud)

    混合云由兩個(gè)或兩個(gè)以上的云(私有云、社區(qū)云或公共云)組成,它們各自獨(dú)立,但通過(guò)標(biāo)準(zhǔn)化技術(shù)或?qū)S屑夹g(shù)綁定在一起,云之間實(shí)現(xiàn)了數(shù)據(jù)和應(yīng)用程序的可移植性(例如,解決云之間負(fù)載均衡的云爆發(fā)(cloud bursting))。

    在筆者看來(lái),公有云意味著用戶(hù)的所有權(quán)和使用權(quán)相分離;私有云意味著用戶(hù)不僅有使用權(quán)還有所有權(quán)。團(tuán)體云通常專(zhuān)注在具體行業(yè)或地域?;旌显疲櫭剂x,業(yè)務(wù)可以在不同于以上三種不同部署模型云之間漂移。例如,鐵路系統(tǒng)的購(gòu)票網(wǎng)站12306,平時(shí)運(yùn)行在鐵道部自己的私有云上;春運(yùn)高峰時(shí)期,12306會(huì)將車(chē)票查詢(xún)業(yè)務(wù)放到阿里云(公有云)計(jì)算平臺(tái)上。從長(zhǎng)遠(yuǎn)來(lái)看,公有云的份額或越來(lái)越大,但在中期、近期的時(shí)間段內(nèi),考慮到安全性、政府合規(guī)、管理、兼容性、慣性、遷移成本等因素,許多用戶(hù)仍然會(huì)選擇將業(yè)務(wù)繼續(xù)存放在私有云上,而一些非關(guān)鍵業(yè)務(wù)或許可能考慮放在公有云上,這意味著掌握混合云的技術(shù)越來(lái)越重要。

    三、云計(jì)算和存儲(chǔ)的關(guān)系

    由于云計(jì)算涉及的范圍過(guò)于廣泛,難以在一篇文章中面面俱到。本篇文章里所提到的云計(jì)算主要指私有云,是當(dāng)前絕大多數(shù)企事業(yè)單位主流的部署模型。圖2為傳統(tǒng)數(shù)據(jù)中心的典型的拓補(bǔ)圖,可以看到傳統(tǒng)數(shù)據(jù)中心中,包含了幾個(gè)基礎(chǔ)組件:服務(wù)器、網(wǎng)絡(luò)和存儲(chǔ)。存儲(chǔ)實(shí)際上應(yīng)對(duì)場(chǎng)景的不同,包含了NAS(提供文件共享空間,存放非結(jié)構(gòu)化數(shù)據(jù))和SAN(提供塊數(shù)據(jù)的訪(fǎng)問(wèn),通常用于存放結(jié)構(gòu)化數(shù)據(jù),例如數(shù)據(jù)庫(kù)、郵件等業(yè)務(wù)應(yīng)用的數(shù)據(jù))。企業(yè)級(jí)存儲(chǔ)通常還包含了備份或容災(zāi)體系,例如圖2所示,其中還有專(zhuān)門(mén)的備份存儲(chǔ)[3]。

    云計(jì)算出現(xiàn)以后,對(duì)數(shù)據(jù)中心提出了新的挑戰(zhàn)和要求,不過(guò)仍然包含服務(wù)器、網(wǎng)絡(luò)和存儲(chǔ)這三大基礎(chǔ)組件,但是對(duì)于組件的呈現(xiàn)形態(tài),以及控制方式有了很大的變化,即軟件定義的數(shù)據(jù)中心(Software Defined Data Center,簡(jiǎn)稱(chēng)SDDC)。SDDC可以視為私有云的云計(jì)算平臺(tái)的最佳落地方式,而軟件定義的存儲(chǔ)(Software Defined Storage,簡(jiǎn)稱(chēng)SDS)是其中的重要組成部分。實(shí)際上可以說(shuō):軟件定義,為云而生。

    圖2傳統(tǒng)數(shù)據(jù)中心拓補(bǔ)圖

    結(jié)合NIST對(duì)云計(jì)算的定義可知,云計(jì)算對(duì)于新一代存儲(chǔ)提出了如下要求:存儲(chǔ)即服務(wù)(Storage as a Service),存儲(chǔ)資源池化,能夠快速而彈性地部署存儲(chǔ)資源,存儲(chǔ)資源可以按量計(jì)費(fèi)。而這些要求,剛好與軟件定義存儲(chǔ)的特征十分吻合。云計(jì)算時(shí)代所需要的企業(yè)級(jí)存儲(chǔ),即軟件定義存儲(chǔ),當(dāng)今IT正在逐漸踏入軟件定義的世界。

    四、軟件定義的世界

    2011年8月21日,Netscape創(chuàng)始人馬克·安德森在華爾街日?qǐng)?bào)上發(fā)表《軟件正在吞噬整個(gè)世界》,認(rèn)為當(dāng)今的軟件應(yīng)用無(wú)所不在,并且正在吞噬整個(gè)世界: “越來(lái)越多的大型企業(yè)及行業(yè)將離不開(kāi)軟件,網(wǎng)絡(luò)服務(wù)將無(wú)所不在,從電影、農(nóng)業(yè)到國(guó)防。許多贏(yíng)家將是硅谷式的創(chuàng)新科技公司,它們侵入并推翻了已經(jīng)建立起來(lái)的行業(yè)結(jié)構(gòu)。未來(lái)十年,我預(yù)計(jì)將有更多的行業(yè)被軟件所瓦解”。安德森以亞馬遜顛覆圖書(shū)零售巨頭Borders(已于2011年2月破產(chǎn))、Netflix顛覆視頻行業(yè)、蘋(píng)果顛覆音樂(lè)行業(yè)、Skype顛覆電信行業(yè)、LinkedIn顛覆招聘、PayPal顛覆支付等為例,指出基于互聯(lián)網(wǎng)的服務(wù)將讓新創(chuàng)建全球性軟件初創(chuàng)公司變得容易。時(shí)至今日,新的顛覆仍然不斷出現(xiàn),例如Uber顛覆出租車(chē)行業(yè),Airbnb顛覆住宿業(yè)。

    中國(guó)也是如此,包括BAT(百度阿里騰訊)、京東、滴滴、美團(tuán)、大眾點(diǎn)評(píng)、小米、去哪兒、餓了嗎等互聯(lián)網(wǎng)公司在內(nèi)的軟件公司,深刻地影響了我們每一個(gè)人的生活,也已經(jīng)或正在逐步地顛覆著教育、零售、金融、通信、交通、物流、醫(yī)療等行業(yè)。

    2013年10月Gartner發(fā)布的2014年十大戰(zhàn)略技術(shù)中,重要的組成部分就有:軟件定義一切。Gartner認(rèn)為:軟件定義一切囊括了在基礎(chǔ)設(shè)施可編程性標(biāo)準(zhǔn)提升下不斷增長(zhǎng)的市場(chǎng)勢(shì)頭,由云計(jì)算內(nèi)在自動(dòng)化驅(qū)動(dòng)的數(shù)據(jù)中心互通性,DevOps和快速的基礎(chǔ)設(shè)施提供等。軟件定義一切還包括各種舉措,如OpenStack、Open Flow、Open Compute Project和Open Rack,共享相同的愿景。開(kāi)放性將成為供應(yīng)商的目標(biāo),SDN(網(wǎng)絡(luò))、SDDC(數(shù)據(jù)中心)、SDS(存儲(chǔ))和SDI(基礎(chǔ)架構(gòu))技術(shù)的供應(yīng)商都力圖成為所在領(lǐng)域的領(lǐng)導(dǎo)。

    五、軟件定義的數(shù)據(jù)中心(SDDC)

    2012年8月,VMware在其VMworld 2012大會(huì)上首次提出軟件定義數(shù)據(jù)中心(SDDC)的概念[4]。

    圖3VMware首次提出軟件定義的數(shù)據(jù)中心

    如圖3所示,VMware認(rèn)為,軟件定義的數(shù)據(jù)中心,是 IT 演變的下一個(gè)階段,是迄今為止最有效、恢復(fù)能力最強(qiáng)和最經(jīng)濟(jì)高效的云計(jì)算基礎(chǔ)架構(gòu)方法。SDDC方法論將對(duì)存儲(chǔ)、網(wǎng)絡(luò)連接、安全和可用性應(yīng)用抽象、池化和自動(dòng)化,整個(gè)數(shù)據(jù)中心由軟件自動(dòng)控制?;A(chǔ)架構(gòu)提供的服務(wù)將聚合起來(lái),并與基于策略的智能調(diào)配、自動(dòng)化和監(jiān)控功能結(jié)合在一起使用。應(yīng)用編程接口和其它連接器支持無(wú)縫延展到私有云、混合云和公有云平臺(tái)。SDDC概念的核心包括:1)軟件定義的數(shù)據(jù)中心由軟件自動(dòng)控制;2)軟件定義包括三個(gè)階段:抽象、池化和自動(dòng)化;3)軟件定義的數(shù)據(jù)中心包括五大組成部分:計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)、管理和安全。

    它與傳統(tǒng)的數(shù)據(jù)中心的最大的不同在于:SDDC旗幟鮮明地提出了數(shù)據(jù)中心由軟件自動(dòng)控制。在傳統(tǒng)的數(shù)據(jù)中心里,用戶(hù)的IT基礎(chǔ)架構(gòu)是“煙囪式”的,或稱(chēng)“豎井式"的,如圖4所示。傳統(tǒng)的數(shù)據(jù)中心里,通常一個(gè)業(yè)務(wù)應(yīng)用需要配備一套系統(tǒng),包含計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等IT基礎(chǔ)架構(gòu)的各個(gè)組件。這種模式普遍存在如下問(wèn)題:

    (一)初次采購(gòu)浪費(fèi)較嚴(yán)重

    一般需要考慮新應(yīng)用未來(lái)3~5年,甚至更長(zhǎng)時(shí)間,以及最高負(fù)載時(shí)對(duì)系統(tǒng)資源的需求,往往會(huì)在初次采購(gòu)時(shí),選擇高出實(shí)際需求許多的硬件規(guī)格。而實(shí)際上新應(yīng)用上線(xiàn)后的很長(zhǎng)時(shí)間,負(fù)載需求都遠(yuǎn)低于初次采購(gòu)的硬件規(guī)格,硬件利用率低,造成了很大的浪費(fèi)。并且,硬件的發(fā)展速度日新月異,相同的硬件配置幾年后成本會(huì)降低不少,很難做到按需購(gòu)買(mǎi)。

    (二)難以共享使用

    傳統(tǒng)模式下,每一個(gè)業(yè)務(wù)應(yīng)用有自己專(zhuān)屬的IT系統(tǒng),即使某些應(yīng)用在某一時(shí)段,所需資源遠(yuǎn)低于其硬件配置能提供的,也無(wú)法共享給其它應(yīng)用使用。這樣,整體資源利用率都比較低下,而且占用過(guò)多的空間和能源。隨著應(yīng)用系統(tǒng)的增多或者應(yīng)用的規(guī)模迅速增大,擴(kuò)展性和可管理性都面臨巨大的挑戰(zhàn)。

    (三)難以即刻交付

    新上線(xiàn)的業(yè)務(wù)應(yīng)用,經(jīng)過(guò)調(diào)查需求、申請(qǐng)購(gòu)買(mǎi)軟硬件設(shè)備、批復(fù)、采購(gòu)、安裝、部署等多個(gè)環(huán)節(jié),通常需要幾個(gè)星期、幾個(gè)月、甚至半年以上的時(shí)間周期。

    圖4傳統(tǒng)的數(shù)據(jù)中心 - 煙囪式或豎井式

    然而,軟件定義的數(shù)據(jù)中心(SDDC),通過(guò)抽象、池化,將計(jì)算、網(wǎng)絡(luò)和存儲(chǔ)都聚合成資源池,能夠按需分配,靈活擴(kuò)展,也能在資源使用停止后進(jìn)行回收。再通過(guò)自動(dòng)化,即可實(shí)現(xiàn)按照用戶(hù)對(duì)服務(wù)水平的要求(類(lèi)似QoS),動(dòng)態(tài)地,即刻地交付新上線(xiàn)業(yè)務(wù)的資源。將資源的分配和部署從原來(lái)幾十天,縮短到幾十分鐘,甚至幾分鐘。

    六、軟件定義存儲(chǔ)的定義

    軟件定義的存儲(chǔ)(SDS)是一個(gè)不斷進(jìn)化的概念,在現(xiàn)階段看來(lái),SDS是指存儲(chǔ)資源由軟件自動(dòng)控制,通過(guò)抽象、池化和自動(dòng)化,將標(biāo)準(zhǔn)服務(wù)器內(nèi)置存儲(chǔ)、外置存儲(chǔ)甚至云存儲(chǔ)等存儲(chǔ)資源整合起來(lái),實(shí)現(xiàn)基于策略驅(qū)動(dòng)的部署、變更、管理和監(jiān)控,最終達(dá)到存儲(chǔ)即服務(wù)的目標(biāo)。不過(guò),截止目前為止,對(duì)于SDS尚未出現(xiàn)一個(gè)被大多數(shù)人員或機(jī)構(gòu)所認(rèn)可的定義。

    (1)VMware對(duì)SDS的定義

    作為VMware軟件定義數(shù)據(jù)中心五大組成部分之一,軟件定義存儲(chǔ)(Software Defined Storage,簡(jiǎn)稱(chēng)SDS)的概念在2012年8月,也在全球范圍內(nèi),首次被提出。VMware認(rèn)為:軟件定義的存儲(chǔ)是將工業(yè)標(biāo)準(zhǔn)服務(wù)器的存儲(chǔ)提供出來(lái)并通過(guò)軟件控制層面實(shí)現(xiàn)存儲(chǔ)的自動(dòng)化和池化。它將存儲(chǔ)的置備和管理的方法簡(jiǎn)化到了極致,并利用工業(yè)標(biāo)準(zhǔn)服務(wù)器的存儲(chǔ)大大降低了成本[5]。

    VMware的軟件定義存儲(chǔ)主要分為兩大部分,如圖5所示。

    圖5VMware 的SDS 定義

    1) 控制平面,即Storage Policy Based Management(基于存儲(chǔ)策略的管理),簡(jiǎn)稱(chēng)SPBM。

    2) 數(shù)據(jù)平面,即Virtual Data Services。分別有三個(gè)子類(lèi)構(gòu)成:Virtual SAN,Virtual Volumes和Cloud/Object Storage。

    (2)SNIA對(duì)SDS的定義

    全球網(wǎng)絡(luò)存儲(chǔ)工業(yè)協(xié)會(huì)SNIA(Storage Networking Industry Association)在SDS的定義中提到,SDS允許異構(gòu)的或者專(zhuān)有的平臺(tái)。必須滿(mǎn)足的是,這個(gè)平臺(tái)能夠提供部署和管理其虛擬存儲(chǔ)空間的自助服務(wù)接口。除此之外,SDS應(yīng)該包括:

    ·自動(dòng)化-簡(jiǎn)化管理,降低維護(hù)存儲(chǔ)架構(gòu)的成本;

    ·標(biāo)準(zhǔn)接口-提供應(yīng)用編程接口,用于管理、部署和維護(hù)存儲(chǔ)設(shè)備和存儲(chǔ)服務(wù);

    ·虛擬數(shù)據(jù)路徑-提供塊、文件和對(duì)象的接口,支持應(yīng)用通過(guò)這些接口寫(xiě)入數(shù)據(jù);

    ·擴(kuò)展性-無(wú)需中斷應(yīng)用,也能提供可靠性和性能的無(wú)縫擴(kuò)展;

    ·透明性-提供存儲(chǔ)消費(fèi)者對(duì)存儲(chǔ)使用狀況及成本的監(jiān)控和管理。

    SNIA認(rèn)為,存儲(chǔ)服務(wù)的接口需要允許數(shù)據(jù)擁有者(存儲(chǔ)用戶(hù))同時(shí)表達(dá)對(duì)于數(shù)據(jù)和所需服務(wù)水準(zhǔn)的需求。數(shù)據(jù)的需求,就是SDS建立在數(shù)據(jù)路徑(Data Path)的虛擬化,而控制路徑(Control Path)也需要被抽象化成為存儲(chǔ)服務(wù)。云數(shù)據(jù)中心和存儲(chǔ)系統(tǒng),或者數(shù)據(jù)管理員能夠被用于部署這個(gè)服務(wù)(指Control Path)。

    在SNIA對(duì)SDS的定義中,貢獻(xiàn)最大,也是最有價(jià)值的部分,應(yīng)該是SNIA關(guān)于Data Path(數(shù)據(jù)路徑)和Control Path(控制路徑),以及手動(dòng)傳送數(shù)據(jù)請(qǐng)求和應(yīng)用通過(guò)元數(shù)據(jù)來(lái)傳送請(qǐng)求的對(duì)比描述。這有助于清晰地了解兩者的區(qū)別,并描繪了未來(lái)理想的SDS的藍(lán)圖,為如何發(fā)展SDS指明了方向。

    SDS包括數(shù)據(jù)路徑和控制路徑。數(shù)據(jù)路徑由以往的標(biāo)準(zhǔn)接口(塊、文件和對(duì)象)組成??刂坡窂皆趥鹘y(tǒng)存儲(chǔ)中,是指存儲(chǔ)管理員為數(shù)據(jù)提供部署數(shù)據(jù)的服務(wù)。在使用傳統(tǒng)存儲(chǔ)的大多數(shù)情況下,每一個(gè)數(shù)據(jù)服務(wù)有著各自的管理接口。變更數(shù)據(jù)服務(wù),會(huì)導(dǎo)致所有存放在相應(yīng)虛擬存儲(chǔ)空間的數(shù)據(jù)都受到影響。

    i)傳統(tǒng)方式下傳遞數(shù)據(jù)請(qǐng)求的方式

    圖6SNIA 傳統(tǒng)方式下傳遞數(shù)據(jù)請(qǐng)求

    如圖6所示,存儲(chǔ)用戶(hù)的控制路徑是在帶外,通過(guò)傳統(tǒng)、人工的方式將數(shù)據(jù)請(qǐng)求傳遞給存儲(chǔ)管理員,例如對(duì)于數(shù)據(jù)保護(hù)、可用性、性能、安全性的要求。存儲(chǔ)管理員進(jìn)入存儲(chǔ)管理界面,按存儲(chǔ)用戶(hù)的請(qǐng)求分配存儲(chǔ)資源。這種情況是當(dāng)前普遍存在的主流方式。其實(shí)是:存儲(chǔ)管理員定義。這種存儲(chǔ)部署方式存在一個(gè)最大的問(wèn)題,擴(kuò)容或升級(jí)非常艱難。由于剛性架構(gòu)限制系統(tǒng)資源只能靜態(tài)分配,這就意味著后續(xù)新部署的資源難以歸入原先存儲(chǔ)體系。

    ii)理想方式下傳遞數(shù)據(jù)請(qǐng)求的方式

    圖7SNIA 理想方式下傳遞數(shù)據(jù)請(qǐng)求

    如圖7所示,理想的SDS,其傳遞數(shù)據(jù)請(qǐng)求的方式是:讓?xiě)?yīng)用通過(guò)元數(shù)據(jù)來(lái)請(qǐng)求相應(yīng)的數(shù)據(jù)服務(wù)。如:空間部署,數(shù)據(jù)保護(hù)(快照、克隆),數(shù)據(jù)高可用(容災(zāi)、雙活),性能,安全等。理想的SDS實(shí)現(xiàn)了存儲(chǔ)基礎(chǔ)架構(gòu)的自動(dòng)化機(jī)制,極大地降低了人工管理運(yùn)維成本,數(shù)據(jù)請(qǐng)求需直接傳達(dá)至自動(dòng)化軟件。它能夠直接應(yīng)對(duì)請(qǐng)求,分配應(yīng)用人員所需的存儲(chǔ)資源,而無(wú)需人工干預(yù)。存儲(chǔ)管理員可以從枯燥重復(fù)的建卷、映射卷等工作中,從疲于修補(bǔ)那些導(dǎo)致存儲(chǔ)服務(wù)水準(zhǔn)降低的突發(fā)故障中脫身出來(lái),轉(zhuǎn)向更高級(jí)的任務(wù),例如定義存儲(chǔ)策略。

    iii)SNIA之SDS全局示意圖

    圖8為SNIA關(guān)于理想的SDS的全局示意圖,很好的概括了未來(lái)理想的SDS所涵蓋的各個(gè)方面。(1)存儲(chǔ)管理。將來(lái)自服務(wù)器本地的閃存盤(pán)、機(jī)械盤(pán)、存儲(chǔ)陣列、JBOD等存儲(chǔ)資源,通過(guò)存儲(chǔ)管理協(xié)議(如SMI-S等),進(jìn)行特性描述和虛擬化,構(gòu)建出存儲(chǔ)資源池。(2)數(shù)據(jù)服務(wù)。存儲(chǔ)資源池化后,數(shù)據(jù)服務(wù)即可按照用戶(hù)對(duì)存儲(chǔ)服務(wù)級(jí)別(如金銀銅)的要求提供。數(shù)據(jù)服務(wù)包含:空間部署、數(shù)據(jù)保護(hù)、數(shù)據(jù)可用性、性能、數(shù)據(jù)安全性。(3)數(shù)據(jù)請(qǐng)求。存儲(chǔ)資源的使用者,如軟件開(kāi)發(fā)人員通過(guò)數(shù)據(jù)管理接口(如CDMI),向SDS發(fā)起數(shù)據(jù)請(qǐng)求。由于SDS開(kāi)放了豐富的API供調(diào)用,因此SDS能夠滿(mǎn)足用戶(hù)的數(shù)據(jù)請(qǐng)求,按照服務(wù)級(jí)別,提供相應(yīng)的存儲(chǔ)資源。

    圖8SNIA之SDS全局示意圖

    除了VMware、SNIA之外,Gartner、IDC,以及EMC、IBM、HP、DELL等,都提出了各自對(duì)SDS的定義或闡述。雖然對(duì)SDS的定義各有不同,但易于擴(kuò)展(主要指在線(xiàn)橫向擴(kuò)展)、自動(dòng)化、基于策略或者應(yīng)用的驅(qū)動(dòng)都幾乎成為大家定義中的必備特征。而這也是軟件定義數(shù)據(jù)中心的重要特征,只有具備自動(dòng)化的能力,才能實(shí)現(xiàn)敏捷交付,簡(jiǎn)單管理,節(jié)省部署和運(yùn)維成本。自動(dòng)化也成為各家SDS方案是否愿意走向更高階段的試金石。

    (3)筆者對(duì)SDS的定義

    筆者不揣淺陋,嘗試著作出了如下定義[7]:軟件定義的存儲(chǔ)(SDS),是指存儲(chǔ)資源由軟件自動(dòng)控制,通過(guò)抽象、池化和自動(dòng)化,將標(biāo)準(zhǔn)服務(wù)器內(nèi)置存儲(chǔ)、直連存儲(chǔ)、外置存儲(chǔ)或云存儲(chǔ)等存儲(chǔ)資源整合起來(lái),實(shí)現(xiàn)應(yīng)用感知,或者基于策略驅(qū)動(dòng)的部署、變更和管理,最終達(dá)到存儲(chǔ)即服務(wù)的目標(biāo)。

    七、SDS的分類(lèi)

    軟件定義存儲(chǔ)的概念很大,筆者試著將SDS分兩大類(lèi):控制平面和數(shù)據(jù)平面,如圖9。

    圖9SDS的分類(lèi)

    i)Control Plane (控制平面)

    SDS的Control Plane(控制平面)所做的事情,就是將以往通過(guò)存儲(chǔ)管理員傳送的數(shù)據(jù)請(qǐng)求,轉(zhuǎn)為由軟件來(lái)處理。簡(jiǎn)而言之,控制平面負(fù)責(zé)存儲(chǔ)資源的部署和管理,它包括分發(fā)數(shù)據(jù)請(qǐng)求(也即存儲(chǔ)策略驅(qū)動(dòng)),控制數(shù)據(jù)流向,完成數(shù)據(jù)的部署、管理和保護(hù),從而增加了存儲(chǔ)的靈活性、擴(kuò)展性和自動(dòng)化能力。

    在SDS Control Plane這一層,比較著名的有:

    1.VMware SPBM (Storage Policy Base Management, 基于存儲(chǔ)策略的管理);

    2.OpenStack Cinder。Cinder是OpenStack云平臺(tái)的一個(gè)組件,用來(lái)提供塊存儲(chǔ)服務(wù);

    3.EMC ViPR。目標(biāo)是實(shí)現(xiàn)EMC存儲(chǔ)、異構(gòu)存儲(chǔ)、商用硬件本地存儲(chǔ)資源的存儲(chǔ)虛擬化(包括互操作性);

    4.先智數(shù)據(jù)(ProphetStor)的Federator;

    5.還有其它一些產(chǎn)品。

    衡量產(chǎn)品是否屬于控制平面這個(gè)分類(lèi),關(guān)鍵在于它是否能驅(qū)動(dòng)底層存儲(chǔ)資源的部署,并調(diào)用底層存儲(chǔ)的數(shù)據(jù)服務(wù)(也即存儲(chǔ)功能)。VMware SPBM、OpenStack Cinder、EMC ViPR和ProphetStor的Federator都能做到。

    ii)Data Plane (數(shù)據(jù)平面)

    SDS的Data Plane(控制平面)所做的事情,就是所謂的Data Service(數(shù)據(jù)服務(wù))之類(lèi)的存儲(chǔ)功能,由它來(lái)完成數(shù)據(jù)的處理和優(yōu)化。這里面包含了很多的內(nèi)容,包括分級(jí)、快照、去重、壓縮等。需要注意的是,控制平面和數(shù)據(jù)平面并不是涇渭分明的,隨著技術(shù)的發(fā)展,控制平面的功能會(huì)逐漸從數(shù)據(jù)平面中逐漸解耦、抽取出來(lái),進(jìn)一步增強(qiáng)它的功能。

    在SDS數(shù)據(jù)平面這一層,老牌存儲(chǔ)廠(chǎng)商和初創(chuàng)存儲(chǔ)廠(chǎng)商的類(lèi)型和數(shù)量非常多,構(gòu)成也比較復(fù)雜。筆者試著將數(shù)據(jù)平面分為:

    1) Based on Commodity Hardware (基于商用的硬件)

    基于商用的硬件(Based on Commodity Hardware)是最難分類(lèi)的,種類(lèi)繁多,命名還不容易。首先,它包括了IDC分類(lèi)中Virtual Storage Appliance(簡(jiǎn)稱(chēng)VSA,存儲(chǔ)控制器運(yùn)行在虛機(jī)上)和Physical Storage Appliance兩類(lèi)。筆者認(rèn)為,控制平面與數(shù)據(jù)平面的分離之意義大于硬件與軟件的分離,部署方式的這兩種不同,并沒(méi)有帶來(lái)本質(zhì)的差異。舉例來(lái)說(shuō),分布式文件系統(tǒng)VSAN FS(VSAN File System)之于EVO:RAIL或EMC VxRail,或NDFS(Nutanix Distributed File System)之于Nutanix一體機(jī),差別主要在于是否與硬件捆綁。

    Server SAN屬于這個(gè)子類(lèi)。Server SAN在它的原始定義里,是一個(gè)Hyperscale(橫向擴(kuò)展)的分布式存儲(chǔ)。筆者認(rèn)為Server SAN既然是SAN的一種,它還需要支持Block(塊)的訪(fǎng)問(wèn)方式,或者對(duì)外(如iSCSI),或者對(duì)內(nèi)。Server SAN在它的原始定義里,應(yīng)該是一個(gè)橫向擴(kuò)展的分布式存儲(chǔ),它至少需要支持3個(gè)以上節(jié)點(diǎn)。這樣,對(duì)于那些僅支持兩個(gè)控制器做為集群的存儲(chǔ),就不在Server SAN這個(gè)分類(lèi)里了。需要注意的是,有些Server SAN 支持融合模式和分離模式兩種部署方式,例如EMC ScaleIO和華為Fusion Storage。后面提到的超融合架構(gòu)僅指該存儲(chǔ)在融合模式下。下面以EMC ScaleIO為例,簡(jiǎn)要介紹融合模式和分離模式。

    a)分離模式,計(jì)算資源和存儲(chǔ)資源分開(kāi),存儲(chǔ)服務(wù)器不運(yùn)行應(yīng)用程序。

    如圖10的EMC ScaleIO選擇單獨(dú)的存儲(chǔ)服務(wù)器作為存儲(chǔ)集群,運(yùn)行ScaleIO分布式塊存儲(chǔ)軟件[8]。

    b)融合模式,計(jì)算資源和存儲(chǔ)資源在一起,存儲(chǔ)服務(wù)器同時(shí)運(yùn)行應(yīng)用程序。

    如圖11的EMC ScaleIO集群里,服務(wù)器運(yùn)行應(yīng)用程序,同時(shí)運(yùn)行ScaleIO分布式塊存儲(chǔ)軟件。

    圖10 EMC ScaleIO 分離模式

    圖11EMC ScaleIO 融合模式

    HCI(超融合架構(gòu))屬于Server SAN的一種,它不僅提供存儲(chǔ)資源,還提供計(jì)算資源。HCI比較著名的產(chǎn)品有:Nutanix、VMware VSAN或EVO:RAIL或EMC VxRail、融合模式下的EMC ScaleIO、HP StoreVirtual、思科HyperFlex、聯(lián)想ThinkCloud AIO、SimpliVity、Scale Computing、Pivot3、Maxta;國(guó)內(nèi)有:融合模式下的華為FusionStorage、華三 UIS、青云HCI一體機(jī)、志凌海納SmartX、深信服HCI、愛(ài)數(shù)AnyVM、領(lǐng)航盛輝ZettaKit、杉巖、鵬云網(wǎng)絡(luò)、凱翔;開(kāi)源的有Open vStorage(類(lèi)似Nutanix架構(gòu))。不過(guò),由于HCI(以及應(yīng)用一體機(jī))還提供了計(jì)算資源,把它歸類(lèi)為存儲(chǔ)這個(gè)大類(lèi),并不完全準(zhǔn)確。但為了容易理解,本文在分類(lèi)時(shí),暫且只考慮它的存儲(chǔ)屬性。

    而屬于Server SAN,但不屬于HCI的,指的就是節(jié)點(diǎn)只提供存儲(chǔ)資源,不提供計(jì)算資源。這里還包括利用商用的標(biāo)準(zhǔn)硬件實(shí)現(xiàn)存儲(chǔ)虛擬化的產(chǎn)品。這類(lèi)產(chǎn)品有:分離模式下的EMC ScaleIO和華為FusionStorage、Ceph、DELL Fluid Cache、Microsoft Storage Spaces、達(dá)沃時(shí)代YeeStor、華云網(wǎng)際FusionStor等;一些基于分布式文件系統(tǒng)衍生出來(lái)的存儲(chǔ),如基于GlusterFS衍生出來(lái)的存儲(chǔ)。

    僅支持兩個(gè)控制器做為集群的存儲(chǔ),雖然不在Server SAN這個(gè)分類(lèi)里,但它支持商用的硬件,如果還支持被控制平面的產(chǎn)品驅(qū)動(dòng)調(diào)用,依然屬于軟件定義存儲(chǔ)這個(gè)大的分類(lèi)里。這類(lèi)存儲(chǔ)有:Nexenta,以及其它由Solaris ZFS衍生出來(lái)的存儲(chǔ),如開(kāi)源的FreeNAS。

    另外還有一些存儲(chǔ)虛擬化的專(zhuān)業(yè)產(chǎn)品,主要實(shí)現(xiàn)的是將異構(gòu)存儲(chǔ)統(tǒng)一管理起來(lái),例如飛康Freestor、EMC VPlex、IBM SVC是其中的佼佼者,其他還有DataCore、信核等。

    注意在Server SAN這個(gè)分類(lèi)里,不包括傳統(tǒng)的外置磁盤(pán)陣列。此外,商用的硬件,并不只有X86服務(wù)器,也包括ARM等其它架構(gòu)的服務(wù)器。

    2) Traditional SAN/NAS(External Storage)

    指的是傳統(tǒng)的外置磁盤(pán)陣列,包括SAN存儲(chǔ)或者NAS存儲(chǔ)。例如:EMC VNX,NetApp FAS系列,HDS HUS,DELL SC系列和PS系列,HP 3PAR,IBM V系列和DS系列;國(guó)內(nèi)的有華為OceanStor系列、宏杉存儲(chǔ)等。這些存儲(chǔ)勁旅,不甘人后,也紛紛加入到SDS浪潮里,采取的方式有:

    一是與Control Plane更多的API對(duì)接,例如,支持VMware SPBM之下的Virtual Volumes,或者支持OpenStack Cinder(可查詢(xún)https://wiki.openstack.org/wiki/CinderSupportMatrix 獲得)等??紤]到目前VMware SPBM的技術(shù)先進(jìn)性和豐富性,存儲(chǔ)廠(chǎng)商與VMware SPBM對(duì)接,也即支持VMware的Virtual Volumes應(yīng)當(dāng)是首選。

    二是通過(guò)收購(gòu)或自己研發(fā),去逐步實(shí)現(xiàn)SDS抽象(解耦)、池化、自動(dòng)化的階段,典型的就有HP將LeftHand與原有硬件解耦,形成VSA版StorVirtual;NetApp推出Data ONTAP的VSA版ONTAP Edge VSA;IBM推出XIV的軟件版Spectrum Accelerate;EMC推出VNX的虛擬化版本,也即vVNX等。另外,DELL的Fluid Cache脫胎于之前收購(gòu)的內(nèi)存虛擬化軟件RNA,本身已經(jīng)具備抽象池化的SDS基因。

    相信隨著SDS浪潮的到來(lái),會(huì)有越來(lái)越多的傳統(tǒng)大牌存儲(chǔ)支持與控制平面對(duì)接或者推出類(lèi)似的方案。

    3) Cloud/Object Storage

    它作為Data Plane的組成部分,實(shí)際上是以后端存儲(chǔ)的身份為VM/App提供存儲(chǔ)資源。VM/App可以通過(guò)RESTful API等接口與對(duì)象存儲(chǔ)進(jìn)行數(shù)據(jù)的輸入輸出,目前有三種RESTful API:亞馬遜S3、SNIA CDMI和OpenStack SWIFT。

    從云存儲(chǔ)來(lái)看,隨著混合云的逐漸深入,用戶(hù)自然會(huì)期待在自己的私有云和公有云之間,能夠?qū)崿F(xiàn)除了在VM/App級(jí)別,還能在存儲(chǔ)級(jí)別,也能實(shí)現(xiàn)如同本地?cái)?shù)據(jù)中心之間的同構(gòu)存儲(chǔ)之間的高級(jí)功能,例如備份、歸檔和容災(zāi)。此時(shí),運(yùn)行在公有云之上的VSA,也即虛擬存儲(chǔ)控制器(其實(shí)與在Hypervisor之上的VSA相類(lèi)似),即可與本地存儲(chǔ)建立數(shù)據(jù)連接。

    以NetApp的Cloud ONTAP為例。它是在A(yíng)WS EC2的實(shí)例中運(yùn)行Data ONTAP(FAS存儲(chǔ)的操作系統(tǒng))軟件,充當(dāng)虛擬存儲(chǔ)控制器,對(duì)下接管AWS EBS作為自己的存儲(chǔ)空間,對(duì)上給運(yùn)行業(yè)務(wù)應(yīng)用的EC2實(shí)例提供存儲(chǔ)服務(wù),包括塊(iSCSI)和文件(NFS、CIFS)。把NetApp的FAS存儲(chǔ)直接放到AWS或Microsoft Azure里去,是不太現(xiàn)實(shí)的。但NetApp可以通過(guò)軟件定義的方法,把存儲(chǔ)控制器做成虛機(jī),后端磁盤(pán)柜換成塊存儲(chǔ)服務(wù)(AWS EBS),為業(yè)務(wù)虛機(jī)提供專(zhuān)業(yè)的、高級(jí)的存儲(chǔ)服務(wù)。類(lèi)似的還有SoftNAS,也是以虛機(jī)方式運(yùn)行在A(yíng)WS EC2實(shí)例上,可以為運(yùn)行業(yè)務(wù)應(yīng)用的EC2實(shí)例提供包括塊(iSCSI)和文件(NFS、CIFS)的存儲(chǔ)服務(wù)。

    4) 其它

    被OpenStack Cinder驅(qū)動(dòng)的是塊存儲(chǔ)。實(shí)際上,業(yè)務(wù)或應(yīng)用軟件可以通過(guò)RESTful API驅(qū)動(dòng)Openstack Swift,這個(gè)Swift就是分布式對(duì)象存儲(chǔ),可以把它視為可被應(yīng)用軟件定義的存儲(chǔ)。Swift除了使用X86服務(wù)器之外,還可以采用ARM等架構(gòu)的服務(wù)器。在國(guó)內(nèi),初創(chuàng)公司北京優(yōu)立方就推出了基于A(yíng)RM的服務(wù)器,并基于A(yíng)RM服務(wù)器研制出功耗低、靈活高效的冷存儲(chǔ)。冷存儲(chǔ)的出現(xiàn),也是源于數(shù)據(jù)迅猛增長(zhǎng),據(jù)統(tǒng)計(jì),冷數(shù)據(jù)一般占數(shù)據(jù)總量的80%以上。冷存儲(chǔ)適用于包含備份、存檔、災(zāi)難恢復(fù)和圖片、文檔、音頻、視頻及社交媒體等,這些場(chǎng)景有著類(lèi)似的特征:較低的數(shù)據(jù)訪(fǎng)問(wèn)頻率,而且需要最大限度地降低每一GB存儲(chǔ)數(shù)據(jù)的成本。

    八、SDS的產(chǎn)生背景

    人類(lèi)各項(xiàng)發(fā)明、創(chuàng)新,大多都是為了更加的高效、方便、靈活,并且節(jié)省成本。例如,從種植業(yè)、畜牧業(yè)的出現(xiàn),到蒸汽機(jī)的發(fā)明,到自來(lái)水、集中供電的出現(xiàn),再到互聯(lián)網(wǎng)的出現(xiàn)(信息傳遞更快更高效,更省成本),無(wú)一不是如此。IT也不例外,存儲(chǔ)也不例外。伴隨著需求,還有兩大背景:一是隨著個(gè)性化、物聯(lián)網(wǎng)、萬(wàn)聯(lián)網(wǎng)的發(fā)展,數(shù)據(jù)以前所未有的速度迅猛增長(zhǎng);2014年4月,IDC發(fā)現(xiàn)數(shù)據(jù)的增長(zhǎng)超過(guò)其在2012年的預(yù)期,預(yù)計(jì)2020年將達(dá)44ZB的數(shù)據(jù)量。因此,數(shù)據(jù)需要更高效,更省成本的方式存放。二是虛擬化、云計(jì)算和硬件技術(shù)的發(fā)展,使得軟件定義成為可能。隨著虛擬化和云計(jì)算的普及,用戶(hù)的思維方式也發(fā)生了轉(zhuǎn)變,逐漸意識(shí)到,快速、敏捷、靈活地獲取計(jì)算資源已經(jīng)成為可能,并且逐漸要求能按需使用,按需付費(fèi)。因此,做為虛擬化和云計(jì)算里重要的組成部分,存儲(chǔ)也應(yīng)適應(yīng)新的需求而不斷完善,做到存儲(chǔ)即服務(wù),實(shí)現(xiàn)快速交付,動(dòng)態(tài)調(diào)整。

    下面剖析一下,是哪些技術(shù)的發(fā)展,使得SDS,尤其是SDS的重要組成部分Server SAN在未來(lái)5年內(nèi)會(huì)成為主流?

    二三十年前,CPU的處理能力較弱,內(nèi)存較小,單塊磁盤(pán)的性能和容量都較小。為了不搶占寶貴的CPU和內(nèi)存資源,也為了提高數(shù)據(jù)的性能、可靠性(如RAID保護(hù))、可用性(如快照,容災(zāi),雙活等)、擴(kuò)展性,以及提供方便易用的集中管理,誕生了外置磁盤(pán)陣列(也叫集中存儲(chǔ)),陣列本身自帶智能控制器,能夠組織管理數(shù)據(jù),并提供快照、容災(zāi)等高級(jí)的軟件功能。有些高端存儲(chǔ)甚至能在一個(gè)單一陣列里提供1000乃至數(shù)千塊盤(pán),如EMC VMAX,HDS VSP和華為OceanStor等。

    然而,近幾年來(lái),新的技術(shù)顯著地改變了存儲(chǔ)架構(gòu)。包括:

    (1)SSD

    SSD的延時(shí)從磁盤(pán)的毫秒級(jí)縮短到亞毫秒級(jí)(0.1毫秒),讀寫(xiě)性能從單塊15K(1萬(wàn)5千轉(zhuǎn))磁盤(pán)的180 IOPS,猛增到單塊SSD的8000 IOPS(當(dāng)SSD內(nèi)嵌在外置磁盤(pán)陣列里),甚至到單塊SSD的36000 IOPS(內(nèi)嵌在服務(wù)器里的SAS或SAT接口的SSD,或者PCIe SSD);閃存價(jià)格的下降速度比硬盤(pán)更快,根據(jù)IDC預(yù)測(cè),兩者價(jià)格曲線(xiàn)將于2015至2017年出現(xiàn)交叉,屆時(shí)單位GB的SSD的價(jià)格甚至低于單位GB的15K磁盤(pán)的價(jià)格。

    2014年4月,SanDisk發(fā)布世界上第一款4TB SSD,并計(jì)劃2015年發(fā)布8TB,2016年發(fā)布16TB SSD。2015年3月,SanDisk推出的InfiniFlash全閃存陣列里內(nèi)置了64個(gè)單卡容量達(dá)8TB的閃存卡。2015年3月,在美國(guó)2015 OCP峰會(huì)上,來(lái)自中國(guó)的初創(chuàng)公司NetBric全閃存陣列也是內(nèi)置了8TB閃存卡,每個(gè)陣列共64個(gè)。2015年08月,三星在閃存峰會(huì)上公布世界容量最大的2.5英寸SSD盤(pán):16TB SSD PM1633a。相比之下,當(dāng)時(shí)希捷或西部數(shù)據(jù)制造的容量最大的機(jī)械硬盤(pán)只有8TB或10TB。2015年9月,東芝在IFA2015(柏林國(guó)際消費(fèi)電子展)宣布,2018年將推出128TB SSD。如圖12所示[9],東芝計(jì)劃在2016年推出32TB,2017年推出64TB。而HDD硬盤(pán)在2020也只有20-40TB??梢詳喽ǎ琒SD的發(fā)展遠(yuǎn)遠(yuǎn)快于磁盤(pán)的發(fā)展。

    圖12東芝在IFA2015宣布,2018年將推出128TB SSD

    除了國(guó)外Intel、西部數(shù)據(jù)、Fusion-IO(2014年6月被SanDisk收購(gòu))、Micron、SanDisk(2015年10月被西部數(shù)據(jù)收購(gòu))、SamSung、Seagate、Toshiba、HGST(2011年3月被西部數(shù)據(jù)合并,2015年10月中國(guó)政府放行此次合并)、Greenliant(綠芯)等SSD廠(chǎng)商之外,中國(guó)也涌現(xiàn)出不少SSD廠(chǎng)商,除了華為自研SSD之外,還有MemBlaze(憶恒創(chuàng)源)、Shannon(中文名叫寶存,2015年4月被Silicon Motion公司收購(gòu))、RunCore(源科)、蘇州恒成芯興等SSD廠(chǎng)商。

    (2)存儲(chǔ)控制器標(biāo)準(zhǔn)化

    實(shí)際上,早在四、五年前甚至更早時(shí)期,各大外置磁盤(pán)陣列的存儲(chǔ)廠(chǎng)商的存儲(chǔ)控制器(包括EMC, IBM, DELL等)都已經(jīng)是X86架構(gòu),各個(gè)部件也都逐漸采用業(yè)界的標(biāo)準(zhǔn)硬件和標(biāo)準(zhǔn)服務(wù)器差別不大。因此硬件已經(jīng)趨于同質(zhì)化,存儲(chǔ)廠(chǎng)商也早已開(kāi)始比拼豐富的軟件功能。不過(guò),值得思考的是,即便是外置磁盤(pán)陣列的控制器,除了X86架構(gòu)之外,未來(lái)是不是會(huì)出現(xiàn)ARM架構(gòu)或者其它呢?

    (3)CPU多核技術(shù)

    服務(wù)器的CPU多核早已被業(yè)務(wù)應(yīng)用利用起來(lái),尤其在虛擬化環(huán)境里,多核處理器功不可沒(méi),既提高了處理器利用率,也提高了單臺(tái)服務(wù)器上用戶(hù)對(duì)更多I/O的需求,這其實(shí)也驅(qū)動(dòng)著底層存儲(chǔ)的變革。如前所述,絕大多數(shù)存儲(chǔ)控制器采用了X86架構(gòu),但真正利用其多核處理I/O,大約從最近三、四年才逐漸開(kāi)始。例如,DELL Compellent Storage Center 6.3在2012年11月推出多核技術(shù);EMC VNX 2在2013年9月推出MCx多核技術(shù);而作為純軟件方式的存儲(chǔ)Nexenta,也利用多核技術(shù)去實(shí)現(xiàn)其在線(xiàn)的壓縮功能;正是有了CPU多核的利用,分布式存儲(chǔ)才能在處理業(yè)務(wù)應(yīng)用之外,心有余力地去處理I/O,實(shí)現(xiàn)豐富多彩的軟件功能。

    (4)高速網(wǎng)絡(luò)技術(shù)

    分布式存儲(chǔ)借助于節(jié)點(diǎn)之間的緩存(用SSD存放)的同步復(fù)制來(lái)確保數(shù)據(jù)的冗余性,也得益于近些年來(lái)網(wǎng)絡(luò)的高速發(fā)展。通常推薦采用萬(wàn)兆網(wǎng)絡(luò),甚至有的采用四萬(wàn)兆(40GbE)的網(wǎng)絡(luò)。目前,萬(wàn)兆網(wǎng)絡(luò)的延遲非常小,大約在100 微秒左右,遠(yuǎn)小于PCIe閃存的延遲1毫秒;如果采用RDMA技術(shù),延遲能更小,低至微秒級(jí)。

    (5)大容量服務(wù)器和磁盤(pán)

    分布式存儲(chǔ)借助于大容量的服務(wù)器和磁盤(pán),也能夠提供以往外置磁盤(pán)陣列才能支持的大存儲(chǔ)容量。例如,DELL PowerEdge R730XD支持高達(dá)16個(gè)3.5寸近線(xiàn)SAS盤(pán),采用6TB的盤(pán),可達(dá)近100TB的裸容量。而且,單塊的機(jī)械磁盤(pán)容量也越來(lái)越大,例如,2015年03月,HGST首次向公眾展示了10TB的機(jī)械硬盤(pán)。不遠(yuǎn)的未來(lái),僅憑服務(wù)器內(nèi)置磁盤(pán),即可支持?jǐn)?shù)百TB的裸容量。如果分布式存儲(chǔ)還支持服務(wù)器連接JBOD、直連存儲(chǔ)來(lái)進(jìn)行Scale Up(縱向擴(kuò)展),容量就更大了。

    (6)存儲(chǔ)技術(shù)逐漸成熟

    分布式存儲(chǔ)的技術(shù)逐漸成熟,互聯(lián)網(wǎng)巨頭如Google、Facebook、Yahoo和百度阿里騰訊大規(guī)模采用分布式存儲(chǔ)驗(yàn)證了這一技術(shù)的可行性。另外,面向?qū)ο蟠鎯?chǔ)的技術(shù)逐漸成熟。

    (7)虛擬化和云計(jì)算逐漸普及

    虛擬化和云計(jì)算要求更智能的存儲(chǔ),能夠調(diào)用API,配合上層實(shí)現(xiàn)更靈活敏捷地部署、管理和變更存儲(chǔ)資源。在這些需求和技術(shù)的推動(dòng)下,軟件定義存儲(chǔ)(當(dāng)前以分布式存儲(chǔ)為主流)做為軟件定義數(shù)據(jù)中心不可或缺的一環(huán),已經(jīng)逐漸普及開(kāi)來(lái)。九、SDS的現(xiàn)狀

    其實(shí),前面提到的SDS分類(lèi)相當(dāng)于描述了SDS的現(xiàn)狀。目前,存儲(chǔ)市場(chǎng)上絕大多數(shù)都是做數(shù)據(jù)平面的。做控制平面的SDS廠(chǎng)商,尤其是初創(chuàng)廠(chǎng)商,需要巨大的勇氣和魄力。因?yàn)閺?fù)雜度高,而且在短時(shí)間內(nèi)很難看到回報(bào)。大部分做數(shù)據(jù)平面的廠(chǎng)商,絕大部分還在抽象、池化這兩個(gè)階段。其中,抽象做的是軟硬件解耦。池化做的是存儲(chǔ)虛擬化。

    池化包括存儲(chǔ)虛擬化和存儲(chǔ)標(biāo)準(zhǔn)化,而存儲(chǔ)虛擬化指所有存儲(chǔ)資源的虛擬化,包括:1)外置磁盤(pán)陣列內(nèi)的虛擬化;2)跨外置磁盤(pán)陣列的虛擬化(也即異構(gòu)存儲(chǔ)的管理);3)分布式存儲(chǔ)服務(wù)器內(nèi)的存儲(chǔ)虛擬化。

    抽象是第一步,沒(méi)有解耦,硬件被鎖定,無(wú)法靈活調(diào)用;第二步,池化,這樣才能隨需分配,動(dòng)態(tài)擴(kuò)展;第三步是自動(dòng)化,存儲(chǔ)資源由軟件(Hypervisor,云管理)來(lái)自動(dòng)分配和管理。目前觀(guān)察到的自動(dòng)化其實(shí)是根據(jù)不同的工作負(fù)載來(lái)動(dòng)態(tài)分配或管理存儲(chǔ)資源。

    以何來(lái)判斷工作負(fù)載的特點(diǎn)?最好是Hypervisor/OS ,或者云管理軟件,它們具有先天的優(yōu)勢(shì)。所以,存儲(chǔ)通過(guò)和Hypervisor、云管理軟件對(duì)接,是一個(gè)比較現(xiàn)實(shí)可行的方法。這就是前面提到的與VMware SPBM對(duì)接,或者與OpenStack Cinder,EMC ViPR,先智Federator等對(duì)接。

    十、結(jié)束語(yǔ)

    云計(jì)算已然成為不可阻擋的趨勢(shì),在當(dāng)前占絕大多數(shù)用戶(hù)主流的是私有云平臺(tái)的建設(shè),其實(shí)也是從傳統(tǒng)數(shù)據(jù)中心逐步轉(zhuǎn)向軟件定義數(shù)據(jù)中心的過(guò)程。在這一過(guò)程中,信息存放之地——企業(yè)級(jí)存儲(chǔ),也面臨前所未有的挑戰(zhàn)。如何實(shí)現(xiàn)私有云技術(shù)平臺(tái)所需的自助服務(wù),快速部署,彈性擴(kuò)展以及按量計(jì)費(fèi)? 軟件定義存儲(chǔ)是迄今為止最好的方式,也是被IT領(lǐng)袖廠(chǎng)商驗(yàn)證過(guò)的最佳實(shí)踐。總結(jié)為一句話(huà)就是:云計(jì)算時(shí)代,我們需要軟件定義存儲(chǔ)。

    [1] NIST云計(jì)算定義[EB/OL].http://blog.csdn.net/seu_lyr/article/details/9169391 ,2013-06-25.

    [2] 企業(yè)核心業(yè)務(wù)應(yīng)用系統(tǒng)支撐云平臺(tái)[EB/OL].http://www.zxin.net.cn/product/ProductIntroduce.aspx?pid=7315.

    [3] 華為融易存儲(chǔ)共建數(shù)字法院[EB/OL].http://www.doit.com.cn/article/2014-10-30/3824055.shtml,2014-10-30.

    [4] VMware軟件定義的數(shù)據(jù)中心[EB/OL].http://www.vmware.com/cn/solutions/software-defined-datacenter.html.

    [5] VMware軟件定義的存儲(chǔ)[EB/OL].http://www.vmware.com/cn/products/software-defined-storage.html.

    [6] 全球網(wǎng)絡(luò)存儲(chǔ)工業(yè)協(xié)會(huì)(SNIA)對(duì)SDS的闡述[EB/OL]. http://www.snia.org/sds.

    [7] 葉毓睿,雷迎春,李炫輝,王豪邁.《軟件定義存儲(chǔ):原理、實(shí)踐與生態(tài)》[M].北京:機(jī)械工業(yè)出版社,2016.

    [8] EMC SCALEIO[EB/OL].http://china.emc.com/storage/scaleio/index.htm.

    [9] 東芝公布SSD固態(tài)硬盤(pán)路線(xiàn)圖:2018年容量可達(dá)128TB[EB/OL].http://mt.sohu.com/20150826/n419737385.shtml.

    (責(zé)任編輯夏侯國(guó)論)

    The characteristic of Enterprise Storage during the Cloud Computing Era

    YEYu-rui

    (VMware, Inc. Beijing 100190, China)

    With the growing fast of Cloud Computing, as the important part of data center, Enterprise Storage faced much more challenge from private cloud and hybrid cloud. According to the definition of NIST for cloud, customer need storage have features: self-service, storage pooling, elastic, storage provisioning automatically and quickly, can be charge and billing. Actually, Software Defined Data Center (SDDC) is the best practice for the new data center under cloud time, and Software Defined Storage (SDS) is the best for private and hybrid cloud.

    enterprise storage, cloud; SDDC, SDS, control plane, data plane

    2016-08-20

    葉毓睿,男,VMware存儲(chǔ)架構(gòu)師,曾任職于EMC, Compellent, DELL, "樂(lè)生活與愛(ài)IT" 微信公眾號(hào)的作者。

    TP309.2

    A

    1674-0408(2016)03-0037-11

    猜你喜歡
    存儲(chǔ)資源虛擬化數(shù)據(jù)中心
    酒泉云計(jì)算大數(shù)據(jù)中心
    一種基于區(qū)塊鏈的存儲(chǔ)資源可信分配方法
    基于OpenStack虛擬化網(wǎng)絡(luò)管理平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)
    電子制作(2019年10期)2019-06-17 11:45:10
    對(duì)基于Docker的虛擬化技術(shù)的幾點(diǎn)探討
    電子制作(2018年14期)2018-08-21 01:38:20
    民航綠色云數(shù)據(jù)中心PUE控制
    虛擬化技術(shù)在計(jì)算機(jī)技術(shù)創(chuàng)造中的應(yīng)用
    用SSD提升私有云存儲(chǔ)性能
    存儲(chǔ)虛擬化還有優(yōu)勢(shì)嗎?
    基于云計(jì)算的交通運(yùn)輸數(shù)據(jù)中心實(shí)現(xiàn)與應(yīng)用
    Overlay Network技術(shù)在云計(jì)算數(shù)據(jù)中心中的應(yīng)用
    河南科技(2014年11期)2014-02-27 14:16:49
    两性午夜刺激爽爽歪歪视频在线观看| 免费av毛片视频| 亚洲自偷自拍三级| av国产久精品久网站免费入址| 国产精品一二三区在线看| 日韩欧美国产在线观看| 亚洲最大成人中文| 亚洲精品日韩av片在线观看| 国产精品精品国产色婷婷| 欧美成人一区二区免费高清观看| 国产91av在线免费观看| 网址你懂的国产日韩在线| 午夜日本视频在线| 激情 狠狠 欧美| 国产精品嫩草影院av在线观看| 国产乱人偷精品视频| kizo精华| 国产精品福利在线免费观看| 欧美性感艳星| 成人鲁丝片一二三区免费| 国产日韩欧美在线精品| 三级国产精品欧美在线观看| 日韩欧美三级三区| 国产精华一区二区三区| 亚洲天堂国产精品一区在线| 在线天堂最新版资源| 成人国产麻豆网| 午夜亚洲福利在线播放| 国产精品蜜桃在线观看| 久久精品国产亚洲av涩爱| 日韩av在线免费看完整版不卡| 亚洲av男天堂| 国产精品日韩av在线免费观看| 中文字幕熟女人妻在线| 成人特级av手机在线观看| 亚洲18禁久久av| 久久久精品94久久精品| 少妇猛男粗大的猛烈进出视频 | 成人毛片60女人毛片免费| 国产高潮美女av| 成人三级黄色视频| 久久国产乱子免费精品| 亚洲欧美日韩无卡精品| 日韩中字成人| 精品一区二区免费观看| 精品久久国产蜜桃| 99热网站在线观看| 变态另类丝袜制服| 搡老妇女老女人老熟妇| 99久国产av精品国产电影| 国产片特级美女逼逼视频| 国产人妻一区二区三区在| 亚洲一区高清亚洲精品| 欧美另类亚洲清纯唯美| 亚洲人成网站在线播| av在线老鸭窝| 十八禁国产超污无遮挡网站| 亚洲无线观看免费| 最近中文字幕2019免费版| 日本免费一区二区三区高清不卡| 日产精品乱码卡一卡2卡三| 精品久久国产蜜桃| 亚洲一区高清亚洲精品| 白带黄色成豆腐渣| 美女黄网站色视频| 成人性生交大片免费视频hd| 成人午夜精彩视频在线观看| ponron亚洲| 国产av不卡久久| 一本一本综合久久| 小蜜桃在线观看免费完整版高清| 91av网一区二区| 观看美女的网站| 久久草成人影院| 免费看光身美女| 亚洲成人中文字幕在线播放| 一区二区三区免费毛片| 精品国内亚洲2022精品成人| 亚洲真实伦在线观看| 精品久久国产蜜桃| 免费搜索国产男女视频| 一个人观看的视频www高清免费观看| 国产精品综合久久久久久久免费| 在线免费观看的www视频| 一级毛片我不卡| 麻豆乱淫一区二区| 精品国内亚洲2022精品成人| 欧美最新免费一区二区三区| 日韩av在线免费看完整版不卡| 免费av毛片视频| 一级二级三级毛片免费看| 六月丁香七月| 女的被弄到高潮叫床怎么办| 久久久精品大字幕| 亚洲无线观看免费| 日本黄色视频三级网站网址| 波多野结衣高清无吗| 国产精品久久久久久精品电影| 成人漫画全彩无遮挡| 2021少妇久久久久久久久久久| 亚洲国产成人一精品久久久| 日本黄大片高清| 国产黄a三级三级三级人| 简卡轻食公司| 人妻制服诱惑在线中文字幕| av又黄又爽大尺度在线免费看 | 丝袜喷水一区| 国内精品美女久久久久久| 国产成人精品婷婷| 超碰97精品在线观看| 国产午夜精品论理片| 国产午夜福利久久久久久| 亚洲真实伦在线观看| 国产一区亚洲一区在线观看| 长腿黑丝高跟| 在线观看美女被高潮喷水网站| 久久久色成人| 国产精品国产高清国产av| 国产免费福利视频在线观看| 欧美精品一区二区大全| 日本wwww免费看| 国产高清视频在线观看网站| 国产黄片视频在线免费观看| 国产成人aa在线观看| 高清在线视频一区二区三区 | 国产av在哪里看| 在线观看美女被高潮喷水网站| 亚洲久久久久久中文字幕| 在线a可以看的网站| 免费电影在线观看免费观看| 麻豆精品久久久久久蜜桃| 精品少妇黑人巨大在线播放 | 一级爰片在线观看| 天天躁夜夜躁狠狠久久av| 一级二级三级毛片免费看| 亚洲av电影不卡..在线观看| ponron亚洲| 偷拍熟女少妇极品色| 亚洲人成网站在线播| 成人亚洲欧美一区二区av| eeuss影院久久| 欧美一区二区精品小视频在线| 精品久久久久久成人av| 色视频www国产| 日本三级黄在线观看| 久久久a久久爽久久v久久| 欧美一级a爱片免费观看看| 欧美日本视频| 日本黄大片高清| 精品一区二区免费观看| 亚洲欧美日韩卡通动漫| 欧美丝袜亚洲另类| 青春草视频在线免费观看| 亚洲国产精品合色在线| h日本视频在线播放| 一个人看视频在线观看www免费| 国产黄片美女视频| 一级黄色大片毛片| 亚洲成人中文字幕在线播放| 国产亚洲最大av| 国产老妇伦熟女老妇高清| videos熟女内射| 免费av不卡在线播放| 国产精品,欧美在线| 水蜜桃什么品种好| 日韩,欧美,国产一区二区三区 | 欧美性猛交╳xxx乱大交人| 日韩欧美精品免费久久| 中文字幕精品亚洲无线码一区| 十八禁国产超污无遮挡网站| 国产精品.久久久| 天天躁夜夜躁狠狠久久av| 丰满人妻一区二区三区视频av| 一个人免费在线观看电影| 国产黄色视频一区二区在线观看 | 国产不卡一卡二| 18禁在线播放成人免费| 熟女人妻精品中文字幕| 亚洲三级黄色毛片| 波野结衣二区三区在线| 波多野结衣高清无吗| 久久精品影院6| 能在线免费看毛片的网站| 91精品国产九色| kizo精华| 国产免费一级a男人的天堂| 久久这里只有精品中国| 免费观看性生交大片5| 亚洲人与动物交配视频| 成人美女网站在线观看视频| 自拍偷自拍亚洲精品老妇| 欧美xxxx黑人xx丫x性爽| 久久这里有精品视频免费| www日本黄色视频网| 大香蕉97超碰在线| 国产精品乱码一区二三区的特点| 国产精品国产三级专区第一集| 精品国产三级普通话版| 综合色av麻豆| 亚洲精品国产av成人精品| 成人鲁丝片一二三区免费| 亚洲三级黄色毛片| 久久亚洲国产成人精品v| 婷婷色麻豆天堂久久 | 国产一区有黄有色的免费视频 | 欧美日韩国产亚洲二区| 国产成人91sexporn| 午夜激情福利司机影院| 大话2 男鬼变身卡| 国产免费视频播放在线视频 | 亚洲精品日韩在线中文字幕| 91精品伊人久久大香线蕉| 国产探花在线观看一区二区| 免费av毛片视频| 久久精品国产亚洲网站| 夜夜看夜夜爽夜夜摸| 免费大片18禁| 国产探花在线观看一区二区| 亚洲av.av天堂| 三级国产精品片| 亚洲国产高清在线一区二区三| 免费看美女性在线毛片视频| 波多野结衣巨乳人妻| 亚洲美女视频黄频| 啦啦啦啦在线视频资源| 国产乱人视频| 国产亚洲精品久久久com| 日韩国内少妇激情av| 国产av不卡久久| 中文字幕免费在线视频6| 国产精品1区2区在线观看.| 美女国产视频在线观看| 一级二级三级毛片免费看| 亚洲高清免费不卡视频| 三级毛片av免费| 最近最新中文字幕大全电影3| 搞女人的毛片| 国产亚洲5aaaaa淫片| 国产高清国产精品国产三级 | 成人毛片a级毛片在线播放| 九色成人免费人妻av| 亚洲人与动物交配视频| 天堂中文最新版在线下载 | 久久国产乱子免费精品| 99热全是精品| 国产av码专区亚洲av| 观看美女的网站| 联通29元200g的流量卡| av免费在线看不卡| 免费黄网站久久成人精品| 神马国产精品三级电影在线观看| 亚洲国产精品成人久久小说| 夜夜看夜夜爽夜夜摸| 狠狠狠狠99中文字幕| 99热精品在线国产| 日韩制服骚丝袜av| 欧美成人精品欧美一级黄| av在线蜜桃| 91久久精品国产一区二区成人| 国产激情偷乱视频一区二区| 国产成人精品婷婷| 国产色爽女视频免费观看| www日本黄色视频网| 51国产日韩欧美| .国产精品久久| av在线天堂中文字幕| 一级爰片在线观看| 草草在线视频免费看| 99热全是精品| 亚洲精品亚洲一区二区| 国内精品宾馆在线| 在线a可以看的网站| 国产黄色小视频在线观看| 久久这里有精品视频免费| 七月丁香在线播放| 亚洲图色成人| 久久亚洲精品不卡| 嘟嘟电影网在线观看| av在线蜜桃| 国产精品久久久久久av不卡| 人妻制服诱惑在线中文字幕| 国产亚洲最大av| 国产一区有黄有色的免费视频 | 精品久久久久久久久av| videos熟女内射| eeuss影院久久| 热99re8久久精品国产| 中文亚洲av片在线观看爽| 日日干狠狠操夜夜爽| 亚洲av中文字字幕乱码综合| 99在线人妻在线中文字幕| 久久久久久久国产电影| eeuss影院久久| 午夜激情欧美在线| 少妇高潮的动态图| 亚洲精品乱久久久久久| 18禁在线无遮挡免费观看视频| 国产av一区在线观看免费| 大香蕉久久网| 日日撸夜夜添| 国产精品久久视频播放| 女的被弄到高潮叫床怎么办| 国产高清不卡午夜福利| 爱豆传媒免费全集在线观看| 热99re8久久精品国产| 国产精品乱码一区二三区的特点| 精品久久久久久电影网 | ponron亚洲| 久久国内精品自在自线图片| 欧美日韩一区二区视频在线观看视频在线 | 国产精品电影一区二区三区| 国产av不卡久久| 真实男女啪啪啪动态图| 国产精品一及| 国产亚洲av片在线观看秒播厂 | 有码 亚洲区| 国产一区有黄有色的免费视频 | 免费不卡的大黄色大毛片视频在线观看 | 男的添女的下面高潮视频| 久久精品国产自在天天线| 日日干狠狠操夜夜爽| 国产在视频线在精品| 老司机影院毛片| 亚洲综合色惰| 最近2019中文字幕mv第一页| 91狼人影院| 99久久精品热视频| 久久久久网色| 欧美激情国产日韩精品一区| 黑人高潮一二区| 日本黄色片子视频| 日韩欧美精品v在线| 人妻系列 视频| 日韩人妻高清精品专区| 午夜激情福利司机影院| 国产av在哪里看| 国产中年淑女户外野战色| 国产免费一级a男人的天堂| 免费观看的影片在线观看| 美女脱内裤让男人舔精品视频| 亚洲高清免费不卡视频| 色网站视频免费| 亚洲五月天丁香| 久久久久国产网址| 国产免费视频播放在线视频 | 色噜噜av男人的天堂激情| 91精品国产九色| 国产真实伦视频高清在线观看| 三级国产精品片| 神马国产精品三级电影在线观看| 99热这里只有是精品在线观看| 日韩人妻高清精品专区| 亚洲人与动物交配视频| 午夜福利在线在线| 麻豆精品久久久久久蜜桃| 久久久午夜欧美精品| 中文字幕精品亚洲无线码一区| 边亲边吃奶的免费视频| 舔av片在线| 亚洲在线自拍视频| 十八禁国产超污无遮挡网站| 网址你懂的国产日韩在线| 久久久久久久午夜电影| 国产乱来视频区| 一级黄色大片毛片| 日本免费a在线| 亚洲在线观看片| 免费播放大片免费观看视频在线观看 | 国语对白做爰xxxⅹ性视频网站| 国产午夜精品论理片| 色哟哟·www| 尤物成人国产欧美一区二区三区| 神马国产精品三级电影在线观看| 一区二区三区免费毛片| 成人毛片60女人毛片免费| 国产一区二区在线av高清观看| a级毛色黄片| 亚洲欧美精品自产自拍| 校园人妻丝袜中文字幕| 亚洲三级黄色毛片| 在线观看一区二区三区| av女优亚洲男人天堂| 三级经典国产精品| 我要看日韩黄色一级片| 久久久久久久亚洲中文字幕| 欧美日韩精品成人综合77777| 精品人妻熟女av久视频| 三级男女做爰猛烈吃奶摸视频| 亚洲高清免费不卡视频| 亚洲电影在线观看av| 久久久色成人| 亚洲精品乱码久久久久久按摩| 一级黄片播放器| 欧美又色又爽又黄视频| 一级av片app| 中文天堂在线官网| 亚洲国产最新在线播放| 欧美激情国产日韩精品一区| 亚洲伊人久久精品综合 | av在线老鸭窝| 免费看a级黄色片| av国产久精品久网站免费入址| 亚洲精华国产精华液的使用体验| 少妇被粗大猛烈的视频| 能在线免费观看的黄片| 亚洲成人av在线免费| 99九九线精品视频在线观看视频| 久久久精品大字幕| 九九久久精品国产亚洲av麻豆| 国产淫片久久久久久久久| 国产女主播在线喷水免费视频网站 | 在线免费观看不下载黄p国产| av在线观看视频网站免费| 超碰97精品在线观看| 少妇被粗大猛烈的视频| 日韩欧美国产在线观看| 九色成人免费人妻av| 国产成人午夜福利电影在线观看| 精品免费久久久久久久清纯| 老司机影院毛片| 久久国内精品自在自线图片| 成年版毛片免费区| 狠狠狠狠99中文字幕| 国产午夜精品一二区理论片| 超碰97精品在线观看| 亚洲成色77777| 国产一区二区在线av高清观看| 久久久国产成人精品二区| 在线天堂最新版资源| 一级毛片久久久久久久久女| 国产免费又黄又爽又色| 色噜噜av男人的天堂激情| 最近的中文字幕免费完整| 三级经典国产精品| 日本爱情动作片www.在线观看| 啦啦啦观看免费观看视频高清| 黄片无遮挡物在线观看| 插阴视频在线观看视频| 成人高潮视频无遮挡免费网站| 国产成人福利小说| 国产又黄又爽又无遮挡在线| 成人三级黄色视频| 精品人妻熟女av久视频| 村上凉子中文字幕在线| 国产精品永久免费网站| 一边亲一边摸免费视频| 亚洲,欧美,日韩| 日韩av在线大香蕉| 国产成人精品久久久久久| 亚洲人与动物交配视频| 婷婷色综合大香蕉| 日本一本二区三区精品| 我要看日韩黄色一级片| av免费在线看不卡| 亚洲av电影不卡..在线观看| 爱豆传媒免费全集在线观看| 欧美高清成人免费视频www| 日本av手机在线免费观看| 网址你懂的国产日韩在线| 久久国内精品自在自线图片| 2022亚洲国产成人精品| 欧美成人午夜免费资源| 天堂√8在线中文| 日韩欧美在线乱码| 视频中文字幕在线观看| 精品国产露脸久久av麻豆 | 毛片女人毛片| av在线观看视频网站免费| 精品久久久久久成人av| 亚洲av成人av| 国产伦一二天堂av在线观看| 能在线免费看毛片的网站| 中文天堂在线官网| 国产v大片淫在线免费观看| 我的女老师完整版在线观看| 中文字幕av在线有码专区| 岛国在线免费视频观看| 国产成人精品久久久久久| 三级国产精品片| 精品国产三级普通话版| 成人一区二区视频在线观看| 免费大片18禁| 在线天堂最新版资源| 三级毛片av免费| 国产一区二区在线观看日韩| 黄色欧美视频在线观看| 观看美女的网站| 99视频精品全部免费 在线| 日韩 亚洲 欧美在线| 五月伊人婷婷丁香| 黄色欧美视频在线观看| 午夜亚洲福利在线播放| 日本黄色视频三级网站网址| 国产亚洲一区二区精品| 久久久久久伊人网av| 午夜视频国产福利| 日本免费a在线| 中文亚洲av片在线观看爽| 午夜激情福利司机影院| 日韩制服骚丝袜av| 精品久久久久久久人妻蜜臀av| 亚洲欧美日韩卡通动漫| 永久免费av网站大全| 久久99热6这里只有精品| 国产精品久久久久久精品电影| 国产激情偷乱视频一区二区| 久久韩国三级中文字幕| 久久热精品热| 中文字幕制服av| 日韩三级伦理在线观看| 高清视频免费观看一区二区 | 国产又黄又爽又无遮挡在线| 青春草亚洲视频在线观看| 伊人久久精品亚洲午夜| 欧美色视频一区免费| 亚洲国产精品sss在线观看| 真实男女啪啪啪动态图| 一级毛片久久久久久久久女| 欧美三级亚洲精品| 女人被狂操c到高潮| 97超视频在线观看视频| 亚洲无线观看免费| 春色校园在线视频观看| 国产精品无大码| 十八禁国产超污无遮挡网站| 少妇裸体淫交视频免费看高清| 在线天堂最新版资源| 秋霞在线观看毛片| 久久久久久久久大av| 91精品一卡2卡3卡4卡| 欧美xxxx黑人xx丫x性爽| 婷婷色麻豆天堂久久 | 欧美一区二区国产精品久久精品| h日本视频在线播放| 51国产日韩欧美| 国产伦精品一区二区三区视频9| 麻豆一二三区av精品| 欧美zozozo另类| 国产精品综合久久久久久久免费| 国产精品久久电影中文字幕| 男女边吃奶边做爰视频| 看十八女毛片水多多多| 狂野欧美白嫩少妇大欣赏| 久久99热这里只有精品18| 午夜视频国产福利| 国模一区二区三区四区视频| 国产极品天堂在线| 午夜久久久久精精品| 美女xxoo啪啪120秒动态图| 插逼视频在线观看| 又爽又黄无遮挡网站| 亚洲国产欧美在线一区| 黄色配什么色好看| 熟女人妻精品中文字幕| 久久久成人免费电影| 国产精品不卡视频一区二区| 美女cb高潮喷水在线观看| 深夜a级毛片| 夜夜爽夜夜爽视频| 丝袜美腿在线中文| 国产三级中文精品| 乱码一卡2卡4卡精品| 少妇裸体淫交视频免费看高清| 日本黄大片高清| 中文字幕免费在线视频6| 久久精品综合一区二区三区| av天堂中文字幕网| 欧美丝袜亚洲另类| 国产成年人精品一区二区| 久久鲁丝午夜福利片| 久久99热这里只频精品6学生 | 欧美xxxx黑人xx丫x性爽| 亚洲真实伦在线观看| 一级爰片在线观看| 99国产精品一区二区蜜桃av| 日韩一本色道免费dvd| 别揉我奶头 嗯啊视频| 欧美性猛交╳xxx乱大交人| 国产一级毛片七仙女欲春2| 久久久久久久国产电影| 国产视频首页在线观看| 99视频精品全部免费 在线| 一级av片app| 精品久久国产蜜桃| 精品不卡国产一区二区三区| 国产亚洲一区二区精品| 久久人人爽人人爽人人片va| 一个人看的www免费观看视频| 非洲黑人性xxxx精品又粗又长| 免费电影在线观看免费观看| 国产精品乱码一区二三区的特点| 亚洲欧美一区二区三区国产| av免费在线看不卡| 天天一区二区日本电影三级| 欧美xxxx性猛交bbbb| 美女黄网站色视频| 欧美激情久久久久久爽电影| 国产中年淑女户外野战色| 亚州av有码| 看免费成人av毛片| 亚洲成人久久爱视频| 日韩大片免费观看网站 | 亚洲最大成人av| 国产免费福利视频在线观看| 欧美高清性xxxxhd video| 深爱激情五月婷婷| 欧美一区二区精品小视频在线| 日韩欧美国产在线观看| 日日干狠狠操夜夜爽| 日日啪夜夜撸| 日韩视频在线欧美| av国产久精品久网站免费入址| 深夜a级毛片| 波多野结衣巨乳人妻| 亚洲最大成人手机在线|