AWS：全面布局“數(shù)據(jù)湖”服務(wù)

王永

在當(dāng)今世界，最有價(jià)值的資源不再是石油，而是數(shù)據(jù)。數(shù)字化轉(zhuǎn)型的浪潮，加劇了企業(yè)的信息和數(shù)據(jù)流的升級，用好數(shù)據(jù)是當(dāng)前企業(yè)信息化管理以及數(shù)字化轉(zhuǎn)型中的關(guān)鍵點(diǎn)。

從大數(shù)本身來說，它的價(jià)值在于要把真正有用的信息變成知識，產(chǎn)生洞察，然后用洞察幫助企業(yè)做業(yè)務(wù)運(yùn)營，實(shí)現(xiàn)業(yè)務(wù)需求也提高他們的客戶滿意度，最后為企業(yè)創(chuàng)造更多的價(jià)值。

如今，大數(shù)據(jù)的分析應(yīng)用場景幾乎是分布在社會的方方面面。比如說，市場客戶服務(wù)方面，包含了消費(fèi)者的細(xì)分、商品門類的分析、客戶的忠誠度、客戶的流失度等；以及金融風(fēng)險(xiǎn)管控方面，有異常交易、欺詐的偵測、各種風(fēng)險(xiǎn)評估，還包括市場活動里的價(jià)格的分析、需求的預(yù)測……

值得注意的是，隨著全球數(shù)字化浪潮的深入，一些以社交類為主的新興應(yīng)用與傳統(tǒng)應(yīng)用相比，用戶增長迅速，數(shù)據(jù)量也正在以指數(shù)級速度增長——更多的數(shù)據(jù)來源、數(shù)據(jù)的多元化需要更強(qiáng)、更全面以及更及時(shí)有效和預(yù)測性的數(shù)據(jù)分析能力挖掘數(shù)據(jù)的價(jià)值。

“以往我們的做法通常是從數(shù)據(jù)庫到數(shù)據(jù)倉庫再到商務(wù)智能BI，但是在這一過程中很容易形成數(shù)據(jù)孤島，無法滿足數(shù)據(jù)迅速的增長，” AWS首席云計(jì)算企業(yè)戰(zhàn)略顧問張俠在接受筆者的采訪時(shí)表示，為了更好地適應(yīng)數(shù)據(jù)爆炸式增長的分析需求，“數(shù)據(jù)湖”應(yīng)運(yùn)而生。

與傳統(tǒng)數(shù)據(jù)倉庫不同的是，數(shù)據(jù)倉庫是在數(shù)據(jù)庫的基礎(chǔ)上把數(shù)據(jù)經(jīng)過一定的分類、提煉，然后整理好存儲在數(shù)據(jù)倉庫中，這種方式在過去也已經(jīng)成為企業(yè)IT非常重要的內(nèi)容。

而數(shù)據(jù)湖可以看作是中心數(shù)據(jù)存儲的容器，可以存儲格式化和非格式化的各種數(shù)據(jù)，而且通過工具，可以快速對這些數(shù)據(jù)進(jìn)行查詢和分析，同時(shí)還能兼容傳統(tǒng)的數(shù)據(jù)倉庫的數(shù)據(jù)分析的方法，結(jié)合機(jī)器學(xué)習(xí)等新興技術(shù)，做出更多預(yù)測性的分析。

“本來數(shù)據(jù)很多是結(jié)構(gòu)型數(shù)據(jù)、交易型數(shù)據(jù)，很規(guī)矩的放數(shù)據(jù)庫和數(shù)據(jù)倉庫中。但是現(xiàn)在有一套方法，可以把任何類型的數(shù)據(jù)，結(jié)構(gòu)型、非結(jié)構(gòu)型的數(shù)據(jù)直接存儲下來，然后利用云計(jì)算時(shí)代海量存儲的能力和各種新的查詢能力以及數(shù)據(jù)分析和處理的能力，直接對這些原始的數(shù)據(jù)來做查詢，這就是數(shù)據(jù)湖的時(shí)代。”在張俠看來，數(shù)據(jù)湖的出現(xiàn)得力于云計(jì)算提供海量的存儲，以及云計(jì)算提供了大量、高性能計(jì)算的可能，使其可以快速查詢和海量存儲。

數(shù)據(jù)湖的概念大概最早出現(xiàn)去2011年5月，而AWS作為云計(jì)算市場的領(lǐng)導(dǎo)者，也早已洞察并做好準(zhǔn)備。

“亞馬遜曾發(fā)布了全球第一款公有云服務(wù)——Amazon S3，其可以存放任何二進(jìn)位為基礎(chǔ)的信息，包含結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，這也是亞馬遜最早推動數(shù)據(jù)湖的內(nèi)容。通過把采集的各種數(shù)據(jù)，做好目錄登記存儲在S3服務(wù)里面，然后利用分析手段，變成報(bào)表，或者是一些預(yù)測性的分析，這是亞馬遜對數(shù)據(jù)湖的理解?！睆垈b表示，AWS也會陸續(xù)推出相應(yīng)的服務(wù)來實(shí)現(xiàn)數(shù)據(jù)湖中的每個(gè)功能，而這些服務(wù)都會是以云的方式提供。

Amazon RDS（Relational Database Service）服務(wù)，是亞馬遜最早推出的一個(gè)托管的關(guān)系型數(shù)據(jù)庫，它可以支持像SQL Server、Oracle的數(shù)據(jù)庫以及開源性的PostgreSQL、MySQL等。隨后，亞馬遜有推出了專有的Amazon Aurora數(shù)據(jù)庫，這是一個(gè)云原生的關(guān)系型數(shù)據(jù)庫，Amazon Aurora可以全方位托管，并且兼容MySQL和PostgreSQL純原生的數(shù)據(jù)庫。

除此之外，亞馬遜還推出了一個(gè)很重要的云產(chǎn)品——Amazon Redshift，它是一個(gè)數(shù)據(jù)倉庫，但是與傳統(tǒng)的數(shù)據(jù)倉庫相比，它擁有更大的存儲空間，支持從GB到TB規(guī)模數(shù)據(jù)的擴(kuò)展，而且能夠縮放，成本也是傳統(tǒng)的數(shù)據(jù)庫的大概1/10左右。

通過Amazon Redshift，客戶可以對大規(guī)模的結(jié)構(gòu)化數(shù)據(jù)執(zhí)行復(fù)雜的查詢，并獲得超高速的性能。對于非結(jié)構(gòu)化數(shù)據(jù)，Amazon EMR使用流行的分布式框架，例如Apache Spark、Presto、Hive和Pig，橫跨多個(gè)可動態(tài)伸縮的集群，處理和分析大量數(shù)據(jù)，快速又經(jīng)濟(jì)。雖然這些服務(wù)是可伸縮的，而且足夠強(qiáng)大到可以處理大且復(fù)雜的大數(shù)據(jù)應(yīng)用，但是許多客戶也希望能夠很快地查詢Amazon S3上的數(shù)據(jù)，例如web日志、點(diǎn)擊流、原始日志文件等，而無需開啟、配置和管理Hadoop集群或數(shù)據(jù)倉庫。

近日，亞馬遜最新發(fā)布了兩個(gè)關(guān)于數(shù)據(jù)湖非常重要的組成部分：Amazon Athena和Amazon Glue。其中，Amazon Athena是一種交互式查詢服務(wù)，它讓客戶可以使用標(biāo)準(zhǔn)SQL語言、輕松分析Amazon Simple Storage Service （Amazon S3）中的數(shù)據(jù)。由于Athena是一種無服務(wù)器服務(wù)，因此客戶不需要管理基礎(chǔ)設(shè)施，而且只為他們運(yùn)行的查詢付費(fèi)。Athena可以自動擴(kuò)展，并行執(zhí)行查詢，所以即便是大型數(shù)據(jù)集和復(fù)雜的查詢，也能很快獲得查詢結(jié)果。

茄子快傳是一家全球化的互聯(lián)網(wǎng)科技公司，累計(jì)有18億用戶。其搭建了一個(gè)數(shù)字內(nèi)容連接入口，幫助全球200多個(gè)國家和地區(qū)的用戶獲取優(yōu)質(zhì)數(shù)字內(nèi)容。然而龐大的數(shù)據(jù)量不僅增加了數(shù)據(jù)分析的壓力和難度，茄子快傳還時(shí)常應(yīng)對一些多維度、多顆粒度的高并發(fā)分析。“AWS的分析工具很好地滿足了我們?nèi)粘５臄?shù)據(jù)提取和分析需求”茄子快傳數(shù)據(jù)運(yùn)營負(fù)責(zé)人何誠表示，“使用Amazon Athena，我們可以輕松地運(yùn)行交互式查詢，分析數(shù)據(jù)，不必構(gòu)建和部署額外的集群。更重要的是，我們運(yùn)行新數(shù)據(jù)分析所需的時(shí)間縮短了30%，大幅減少了成本與運(yùn)維方面的風(fēng)險(xiǎn)?！?/p>

“現(xiàn)在，客戶使用Athena分析Amazon S3中的數(shù)據(jù)就像編寫SQL查詢一樣簡單。Athena使用完整支持標(biāo)準(zhǔn)SQL的Presto，可以處理各種標(biāo)準(zhǔn)數(shù)據(jù)格式，包括CSV、JSON、ORC和Parquet?！睆垈b表示，因?yàn)锳thena使用多個(gè)可用區(qū)的計(jì)算資源執(zhí)行查詢，而且使用Amazon S3作為底層數(shù)據(jù)存儲，所以它具有高可用性和持久性，數(shù)據(jù)冗余存儲在多處基礎(chǔ)設(shè)施中，并且是每處基礎(chǔ)設(shè)施上的多個(gè)設(shè)備上。

Amazon Glue是一種全托管的數(shù)據(jù)提取、轉(zhuǎn)換和加載 （ETL） 服務(wù)及元數(shù)據(jù)目錄。它讓客戶更容易準(zhǔn)備數(shù)據(jù)，加載數(shù)據(jù)到數(shù)據(jù)庫、數(shù)據(jù)倉庫和數(shù)據(jù)湖，用于數(shù)據(jù)分析。使用AWS Glue，在幾分鐘之內(nèi)便可以準(zhǔn)備好數(shù)據(jù)用于分析。由于AWS Glue是無服務(wù)器服務(wù)，客戶在執(zhí)行ETL任務(wù)時(shí)，只需要為他們所消耗的計(jì)算資源付費(fèi)。

值得一提的是，AWS Glue在從客戶選擇的數(shù)據(jù)源把數(shù)據(jù)爬取出來之后，會自動識別數(shù)據(jù)格式和模式，構(gòu)建統(tǒng)一的數(shù)據(jù)目錄，并為客戶提供所選數(shù)據(jù)的中央視圖。這使得客戶很容易跨越各種數(shù)據(jù)存儲，檢索和管理所有數(shù)據(jù)，而不必手動搬運(yùn)它們。

“AWS Glue不僅讓ETL和異構(gòu)數(shù)據(jù)源的處理變得更加容易，而且大大降低了開發(fā)和運(yùn)營成本。” 在德比軟件大數(shù)據(jù)團(tuán)隊(duì)技術(shù)經(jīng)理戴岳看來，德比軟件為酒店和旅游行業(yè)提供在線銷售和產(chǎn)品分銷方面的技術(shù)和系統(tǒng)服務(wù)，擁有全部產(chǎn)品和服務(wù)的自主知識產(chǎn)的同時(shí)，還存儲了全球超過18萬家酒店的數(shù)據(jù)，每月處理超過800萬間夜的訂單。通AWS Glue服務(wù)，它的數(shù)據(jù)目錄功能讓德比軟件可以輕松使用Amazon EMR來直接處理和查詢Amazon S3上的數(shù)據(jù)，極大地提高了開發(fā)效率。

據(jù)了解，當(dāng)前已經(jīng)有大量的企業(yè)和機(jī)構(gòu)都已經(jīng)開始采用AWS的數(shù)據(jù)湖和數(shù)據(jù)分析云服務(wù)，例如，金融領(lǐng)域還有著名的基金管理公司Vanguard、證券交易所NASDAQ，互聯(lián)網(wǎng)及電商方面除了Amazon還有全球民宿短租公寓預(yù)定平臺Airbnb……

張俠強(qiáng)調(diào)，數(shù)據(jù)湖雖然更適合于當(dāng)前的企業(yè)IT需求，但是總體實(shí)施仍有不小的難度。為此，亞馬遜推出了AWS Lake Formation服務(wù)，將數(shù)據(jù)湖的流程自動化，節(jié)省企業(yè)建立數(shù)據(jù)湖的工作流程。“雖然AWS Lake Formation服務(wù)還沒有在中國正式推出，但是我們在今年會很快的時(shí)間內(nèi)推出這個(gè)服務(wù)，為企業(yè)提供幫助?！?h3>寫在最后

“從AWS的角度來看，數(shù)據(jù)湖有三個(gè)最主要的元素： Amazon S3/Glacier、AWS Glue、以及還未在中國市場推出的AWS Lake Formation?！睆垈b表示，AWS可擴(kuò)展、可靠的云存儲，加上廣泛的分析服務(wù)，使客戶比以往任何時(shí)候都更容易收集、存儲、分析和共享數(shù)據(jù)，隨著AWS Glue在由西云數(shù)據(jù)運(yùn)營的AWS中國（寧夏）區(qū)域正式上線，中國區(qū)域的客戶可以輕松地從任意多的數(shù)據(jù)源傳輸和處理數(shù)據(jù)，整合數(shù)據(jù)到數(shù)據(jù)湖，并且可以選用多種AWS分析服務(wù)，迅速開始分析所有數(shù)據(jù)，助力企業(yè)客戶的創(chuàng)新和發(fā)展洞察先機(jī)，為企業(yè)創(chuàng)造更多的價(jià)值。