亞馬遜 像賣書一樣賣云計(jì)算

陳翔

作為我工作的一部分,我努力想找到一種將益處和挑戰(zhàn)充分聯(lián)系起來的技術(shù)和商業(yè)模式,并不斷嘗試用新的方法來尋找其中更有效的一種。

此前我訪問一個(gè)客戶,他們的存儲架構(gòu)師介紹了他們業(yè)務(wù)數(shù)據(jù)、存儲的增長與Doeswijk數(shù)據(jù)模型。他說,現(xiàn)在有三個(gè)方面的數(shù)據(jù)增長,必須同時(shí)得到關(guān)注。首先,主要造成數(shù)據(jù)增長應(yīng)用的人員在竭盡所能地創(chuàng)造數(shù)據(jù);其次,存儲管理員還需要為快速增長的文件副本等重復(fù)數(shù)據(jù)擔(dān)心;第三,需要保留的數(shù)據(jù)所構(gòu)成的靜態(tài)數(shù)據(jù)存檔。主要數(shù)據(jù)需要對許多應(yīng)用提供副本,如備份、開發(fā)測試、數(shù)據(jù)挖掘等。在一段時(shí)間內(nèi),大多數(shù)主要數(shù)據(jù)開始變得陳舊和無用,但依然需要保留存檔備份,至少需要保留一個(gè)副本以供數(shù)據(jù)恢復(fù)使用。在不同的情況下,數(shù)據(jù)可以放在不同的成本和性能等級的存儲介質(zhì)中。

思考數(shù)據(jù)的這些狀況很重要,因?yàn)樗兄谖覀兝斫鉃槭裁次覀兛偸侨鄙僮銐虻拇鎯臻g。許多應(yīng)用程序用戶只是在計(jì)劃生產(chǎn)階段的數(shù)據(jù),對保存、分析和共享他們的數(shù)據(jù)會帶來多少份數(shù)據(jù)副本毫無概念。他們大多不關(guān)心數(shù)據(jù)生產(chǎn)過程結(jié)束后會發(fā)生什么,因?yàn)樗麄儗⒂瓉硪粋€(gè)新的應(yīng)用,而其他人才會為保留或刪除這些數(shù)據(jù)而操心。在這些數(shù)據(jù)上進(jìn)行修改將會帶來一個(gè)乘數(shù)效應(yīng)的總數(shù)據(jù)量。例如:如果表示數(shù)據(jù)總量的立方體尺寸是2 × 2×2 ,其體積將是8 ;如果我們將一個(gè)邊的長度改成3,則3 × 2×2得出的數(shù)據(jù)總量是12 。

數(shù)據(jù)保留在存儲空間內(nèi),存儲空間的容量可以看作一個(gè)能容納固定數(shù)量數(shù)據(jù)的立方體。這個(gè)立方體的體積所能提供的存儲容量與各個(gè)方面的數(shù)據(jù)量相關(guān)。在某些情況下,它還和分層存儲的方式以及其中涉及到相應(yīng)的數(shù)據(jù)層面有關(guān)。通常的存儲容量體積大于數(shù)據(jù)量,但隨著新技術(shù)如重復(fù)數(shù)據(jù)刪除、壓縮等的發(fā)展,存儲容量可能小于數(shù)據(jù)量。

通過這一模型,我們可以看出,一般情況下,存儲容量只是剛剛滿足數(shù)據(jù)量的要求。然而,數(shù)據(jù)量在三個(gè)方向上都可能發(fā)生改變從而帶來乘數(shù)效應(yīng)的增長,這就會使數(shù)據(jù)量立方體的體積超出原有的存儲容量立方體,造成存儲容量的不足。

Maartin Doeswijk是一位年輕的荷蘭存儲架構(gòu)師,他首先提出了這一模式。 我建議將該模型命名為Doeswijk數(shù)據(jù)模型。同時(shí),我將把該模型應(yīng)用在我的工作中。

解讀Doeswijk數(shù)據(jù)模型

日立數(shù)據(jù)存儲公司CTOHu Yoshida

CTO博客

超前于其他專業(yè)IT企業(yè),最早以賣書著稱的電子商務(wù)網(wǎng)站——亞馬遜居然是最早提出云計(jì)算概念的廠商,也是最早提供成熟云計(jì)算服務(wù)的供應(yīng)商。對于為何亞馬遜會比專業(yè)的IT企業(yè)在云計(jì)算方面還要超前的問題,亞馬遜云計(jì)算部門負(fù)責(zé)人Jeff Barr(杰夫)認(rèn)為,這非常容易理解。

亞馬遜的生意經(jīng)

作為一家超大型零售企業(yè),亞馬遜在設(shè)計(jì)和規(guī)劃自身電子商務(wù)系統(tǒng)IT架構(gòu)的時(shí)候,不得不為了應(yīng)對銷售峰值去購買更多的IT設(shè)備。但是,這些設(shè)備平時(shí)卻處于空閑狀態(tài),這在零售企業(yè)看來相當(dāng)不劃算。于是亞馬遜發(fā)現(xiàn),假如可以運(yùn)用自身在網(wǎng)站優(yōu)化上的技術(shù)和經(jīng)驗(yàn)優(yōu)勢,亞馬遜就可以將這些設(shè)備、技術(shù)和經(jīng)驗(yàn)作為一種打包產(chǎn)品去為其他企業(yè)提供服務(wù),那么閑置的IT設(shè)備就會創(chuàng)造價(jià)值。這就是亞馬遜推出云計(jì)算服務(wù)的初衷。

為了解決這些租用服務(wù)中的可靠性、靈活性、安全性等問題,亞馬遜不斷優(yōu)化其技術(shù)。從2004年開始,亞馬遜陸續(xù)推出了簡單隊(duì)列服務(wù)、Mechanical Turk等云計(jì)算服務(wù)雛形。Jeff Barr表示,云計(jì)算服務(wù)成熟的標(biāo)志是亞馬遜在2006年推出的簡單存儲服務(wù)(S3)和彈性計(jì)算云(EC2)。之后,企業(yè)數(shù)據(jù)和服務(wù)都已被放在亞馬遜的“云端”了。那么“云端”到底在哪里呢?其實(shí)就是亞馬遜分布在全球的服務(wù)器——這些服務(wù)器可以在瞬間共同完成租用企業(yè)的一個(gè)任務(wù)。

紛繁復(fù)雜的云計(jì)算

亞馬遜在云計(jì)算方面走在其他IT專業(yè)企業(yè)之前既是偶然,也是必然?？此朴行盁o心插柳”,但任何技術(shù)都源于需求——亞馬遜自身就是云計(jì)算的最早用戶。如今,云計(jì)算的概念已經(jīng)在業(yè)界成為熱門話題,云存儲、云安全等名詞也開始出現(xiàn),IBM、微軟、Google等不同領(lǐng)域的企業(yè)都已經(jīng)紛紛投入到這一新型計(jì)算技術(shù)的大潮之中。那么亞馬遜的優(yōu)勢還存在嗎?

Jeff Barr認(rèn)為,這里涉及一個(gè)核心概念——云計(jì)算是分層分類的,每一類公司提供的云計(jì)算的服務(wù)都不一樣,而亞馬遜是IT基礎(chǔ)架構(gòu)云計(jì)算服務(wù)提供商。在網(wǎng)絡(luò)互聯(lián)的需求之上,直接就是亞馬遜的最底層的IT基礎(chǔ)架構(gòu)AWS(Amazon Web Services),這包括計(jì)算、存儲、內(nèi)容分發(fā)等等。在這層IT基礎(chǔ)架構(gòu)之上,用戶才可以構(gòu)建自己的應(yīng)用層。應(yīng)用層又包括構(gòu)建數(shù)據(jù)庫、應(yīng)用服務(wù)器,最上一層才是應(yīng)用軟件。他表示,目前看來,市場上很多云計(jì)算服務(wù)提供商所提供的服務(wù),僅僅是不同層面的一部分解決方案。

此外,亞馬遜的角色非常特殊——它不是操作系統(tǒng)開發(fā)商,也不是服務(wù)器或存儲設(shè)備制造商,也就是說它是應(yīng)用者而非IT系統(tǒng)制定者。因此亞馬遜的平臺是開放的。但是專業(yè)IT企業(yè)提供的云計(jì)算多多少少會限制在自己提供的系統(tǒng)之上,限制了靈活性。此外,正因?yàn)閬嗰R遜自己是應(yīng)用者,因此它賣給企業(yè)用戶的不僅是云計(jì)算技術(shù),還有自身的經(jīng)驗(yàn)教訓(xùn),這些都能夠幫助企業(yè)用戶更好地應(yīng)用云計(jì)算服務(wù)去創(chuàng)造更大的價(jià)值。

云計(jì)算如賣書

正是因?yàn)檫@些獨(dú)特的優(yōu)勢,亞馬遜云計(jì)算服務(wù)增長顯著。雖然Jeff Barr沒有透露投入和收入,但是目前亞馬遜云計(jì)算的注冊開發(fā)人員數(shù)量在去年已經(jīng)超過49萬。它目前推出的最主要的云計(jì)算服務(wù)產(chǎn)品,不僅服務(wù)分類靈活、收費(fèi)方式多樣,而且定價(jià)方式還體現(xiàn)了零售企業(yè)一貫的做法。

據(jù)悉,彈性云EC2服務(wù)能夠同時(shí)調(diào)用亞馬遜全球的從一個(gè)到幾千個(gè)服務(wù)器,這些服務(wù)還可細(xì)分為CPU處理系統(tǒng)、隨機(jī)存儲容量、硬盤空間等,根據(jù)用戶的需求或者規(guī)格可以支持所有的操作系統(tǒng),并安裝各種各樣的開放源代碼或商業(yè)軟件。用戶甚至可以直觀地看到支持某種操作時(shí)調(diào)用的全球服務(wù)器的物理地址。而EC2的報(bào)價(jià)也因此呈現(xiàn)多樣化,租用費(fèi)用從每小時(shí)0.1美元到0.8美元不等。

簡單存儲服務(wù)S3可以提供一個(gè)字節(jié)到數(shù)GB字節(jié)的支持,整個(gè)系統(tǒng)里大概有520億對象進(jìn)行數(shù)據(jù)交換。S3的存儲備份服務(wù)則是按照每個(gè)月的使用字節(jié)來收費(fèi),根據(jù)每天檢測流量,每GB大約0.15美元/月。亞馬遜最近還推出了內(nèi)容分發(fā)網(wǎng)絡(luò)服務(wù)(CloudFront),可以把一個(gè)內(nèi)容迅速地復(fù)制到全球至少40個(gè)服務(wù)器上,以便快速地登錄和獲取。為了體現(xiàn)地域的特色,亞馬遜針對歐洲用戶的售價(jià)會比美國高出10%左右。

更有意思的是,亞馬遜還嘗試了云計(jì)算的價(jià)格促銷。Jeff Barr表示,亞馬遜云計(jì)算價(jià)格體系的設(shè)置是自下而上的,也就是說亞馬遜并不是通過關(guān)注市場上的競爭產(chǎn)品或用戶承受程度來確定產(chǎn)品價(jià)格,而是根據(jù)自身的成本核算加上合理的利潤空間后將價(jià)格盡量定到最低,因此定價(jià)也富有競爭力。“這也源于亞馬遜的經(jīng)營理念。作為零售企業(yè),亞馬遜有一個(gè)天天低價(jià)的承諾,我們每天想的是怎么樣能夠把價(jià)格降下來。在云計(jì)算方面,我們也采用這種價(jià)格體系策略。”

此外,目前云計(jì)算的服務(wù)對象多是中小企業(yè),亞馬遜也在嘗試將其應(yīng)用到政府、科研等研究領(lǐng)域和大型企業(yè)的關(guān)鍵應(yīng)用當(dāng)中——亞馬遜推出了針對大型數(shù)據(jù)庫的簡單數(shù)據(jù)庫服務(wù),該服務(wù)在安全性、登錄管理、賬戶管理方面都有獨(dú)特的設(shè)置方式。尤其在賬戶管理方面,不僅有整體的賬戶,還會有分賬戶的復(fù)雜管理。該服務(wù)將按照字節(jié)單獨(dú)計(jì)費(fèi)。值得一提的是,美國某些地方的個(gè)稅系統(tǒng)已經(jīng)開始應(yīng)用云計(jì)算架構(gòu),也許讓云架構(gòu)涉及核心應(yīng)用已經(jīng)為時(shí)不遠(yuǎn)。

云計(jì)算——這一代表未來計(jì)算發(fā)展方向的技術(shù),居然是由電子商務(wù)企業(yè)亞馬遜首先推出的。為何亞馬遜會比專業(yè)的IT企業(yè)還要超前?這家企業(yè)在云計(jì)算方面又出了什么新招?亞馬遜云計(jì)算部門負(fù)責(zé)人Jeff Barr近日透露了亞馬遜的秘訣。