亞馬遜AWS：云上構(gòu)筑大數(shù)據(jù)框架

趙艷秋

云和人工智能等新技術(shù)為大數(shù)據(jù)應(yīng)用帶來變革。

“大數(shù)據(jù)不是一個(gè)新話題， 一些概念20多年前就有，比如數(shù)據(jù)挖掘、BI（商業(yè)智能）、BA（商業(yè)分析）等。之所以最近更火了，是因?yàn)樵啤！爆F(xiàn)任AWS首席云計(jì)算企業(yè)顧問張俠博士說，他十幾年前就撰寫過大數(shù)據(jù)的文章。“云既幫助產(chǎn)生、收集、存儲(chǔ)更多數(shù)據(jù)，又幫助提供多樣的數(shù)據(jù)分析處理方法手段。如今人工智能的興起，能把數(shù)據(jù)分析做得更好。”

云確實(shí)為大數(shù)據(jù)應(yīng)用帶來變革。

一家在亞馬遜AWS上提供大數(shù)據(jù)分析服務(wù)的企業(yè)，此前去投標(biāo)一個(gè)客戶的大數(shù)據(jù)分析項(xiàng)目，同時(shí)參與的有傳統(tǒng)大數(shù)據(jù)分析公司。招標(biāo)方在傳統(tǒng)模式和云服務(wù)中各選了一家供應(yīng)商，并行開展，來對(duì)比一下效果。一個(gè)半月后，這家云服務(wù)企業(yè)已經(jīng)按照客戶要求，把建模、分析和交付全部做完了。而那家非云廠商，為之購買的服務(wù)器還沒有到貨。

“這就是云服務(wù)帶來的變革。”張俠借此來解釋。

不僅如此，云服務(wù)還在產(chǎn)品和服務(wù)選型中帶來另一個(gè)差異——讓企業(yè)選型過程變得簡單便捷。

“很多廠商都會(huì)對(duì)你說，我有這個(gè)功能，我有那個(gè)功能。我建議你招呼一聲，你想做什么事情，會(huì)有很多供應(yīng)商來給你提供方案。使用云上的工具和服務(wù)，你馬上就能開始實(shí)驗(yàn)，也能很快了解這些工具的真實(shí)深度和廣度?！彪m然用戶也要在學(xué)習(xí)和了解上花費(fèi)一定時(shí)間，但相對(duì)傳統(tǒng)模式要簡化透明得多。

頻譜的一端

“企業(yè)應(yīng)用大數(shù)據(jù)云服務(wù)的狀況就像一個(gè)‘頻譜。”張俠說。從頻譜的這一端，是完全沒有使用、將數(shù)據(jù)資源白白浪費(fèi)的企業(yè)；而頻譜的另一端，是對(duì)大數(shù)據(jù)利用得非常好，甚至商業(yè)模式就建立在大數(shù)據(jù)基礎(chǔ)之上的企業(yè)。

而一些比較極致的客戶，甚至自己在云計(jì)算平臺(tái)上創(chuàng)新大數(shù)據(jù)的工具和服務(wù)。Netflix是在亞馬遜云上提供互聯(lián)網(wǎng)視頻流的服務(wù)商。“很多亞馬遜云上的大數(shù)據(jù)工具最初是Netflix發(fā)展提供的，現(xiàn)在被大家廣泛采用”。

Netflix很樂于分享。在國際大數(shù)據(jù)會(huì)議上，人們甚至?xí)?jīng)常見到Netflix工程師的身影。“他們非常自信，為什么呢？因?yàn)楫?dāng)你學(xué)會(huì)這些時(shí)，他們已經(jīng)開始做更先進(jìn)更高級(jí)的事情了。”

先進(jìn)客戶在云上的大數(shù)據(jù)創(chuàng)新腳步很快。

全新的大數(shù)據(jù)架構(gòu)

亞馬遜云為大數(shù)據(jù)提供全套產(chǎn)品和服務(wù)，覆蓋從數(shù)據(jù)收集、存儲(chǔ)、處理到使用/可視化的全流程。

去年，在其“Re：Invent”年度大會(huì)上，亞馬遜闡述了基于云全新的大數(shù)據(jù)架構(gòu)，分為十大步驟，推出相關(guān)的部分服務(wù)?！拔覀冋谘芯吭鯓犹峁└娴墓ぞ?。對(duì)于大數(shù)據(jù)，我們正在持續(xù)努力?！睆垈b說。

張俠特別強(qiáng)調(diào)，大數(shù)據(jù)整體有兩個(gè)新特點(diǎn)：一是對(duì)實(shí)時(shí)數(shù)據(jù)的分析，一是利用現(xiàn)在和歷史數(shù)據(jù)進(jìn)行未來的預(yù)測，這都是更高的要求。

針對(duì)這樣的新趨勢，亞馬遜也正在提供一些創(chuàng)新服務(wù)。其一是Athena，它可以直接在S3上做SQL查詢。“S3本身不是一個(gè)結(jié)構(gòu)化數(shù)據(jù)庫，它存儲(chǔ)的可能是視頻、mp3、 Word文檔和Excel表格?，F(xiàn)在，有了Athena，可以馬上使用SQL進(jìn)行查詢，在以前沒想過的維度上實(shí)時(shí)查詢”。

另一個(gè)是數(shù)據(jù)湖（Data Lake）服務(wù)。在傳統(tǒng)模式下，數(shù)據(jù)收集上來要逐漸放到一個(gè)企業(yè)級(jí)數(shù)據(jù)倉庫里，這要對(duì)數(shù)據(jù)的結(jié)構(gòu)、特征和顆粒度都很清楚。但現(xiàn)在很多實(shí)時(shí)數(shù)據(jù)不斷涌來，存儲(chǔ)在S3上，通過Athena直接查詢，再放到Redshift數(shù)據(jù)倉庫中?！斑@個(gè)整體就是數(shù)據(jù)湖概念。它的目的是對(duì)實(shí)時(shí)數(shù)據(jù)能先進(jìn)行一個(gè)快速分析，幫助快速做出一些決策”。

上個(gè)月在舊金山AWS宣布推出Redshift Spectrum，這是AWS的Redshift托管數(shù)據(jù)倉庫服務(wù)的延伸版，能夠直接查詢駐留AWS S3存儲(chǔ)服務(wù)里面的數(shù)據(jù)。亞馬遜首席技術(shù)官沃納·沃格爾斯（Werner Vogels）在發(fā)布時(shí)舉了一個(gè)例子：使用Apache Hive開源數(shù)據(jù)查詢軟件對(duì)艾字節(jié)（EB）數(shù)據(jù)執(zhí)行查詢。這項(xiàng)任務(wù)需要五年的時(shí)間和1000個(gè)節(jié)點(diǎn)――也就是說，成本相當(dāng)高昂。沃格爾斯表示，但是借助Redshift Spectrum，只要花155秒和區(qū)區(qū)幾百美元。

還有兩個(gè)創(chuàng)新服務(wù)，一個(gè)是Batch，是對(duì)數(shù)據(jù)進(jìn)行批處理ETL的服務(wù)。另一個(gè)是Glue，這個(gè)詞是英文“膠水”，意思是把數(shù)據(jù)流程、數(shù)據(jù)轉(zhuǎn)化更好地串在一起。與此同時(shí)，亞馬遜云也針對(duì)人工智能（AI）推出一些工具和服務(wù)。

AWS提供的AI服務(wù)

在亞馬遜，目前有上千員工致力于人工智能，涉及發(fā)現(xiàn)與搜索、物流配送、發(fā)現(xiàn)現(xiàn)有產(chǎn)品、定義新產(chǎn)品類型以及將機(jī)器學(xué)習(xí)引入更多領(lǐng)域。

MXNet是亞馬遜選擇的深度學(xué)習(xí)框架，已納入Apache孵化項(xiàng)目，也與AWS集成整合，進(jìn)行了優(yōu)化。

亞馬遜云推出了3種人工智能服務(wù)——Polly、Rekognition和Lex。Polly做文本語音轉(zhuǎn)換——看見一段文字就能念出來。Rekognition做圖像識(shí)別和分析。Lex做自然語言理解和自動(dòng)語音識(shí)別?！拔覀儼堰@3種服務(wù)軟件開發(fā)包，任何人都能直接調(diào)用，目前很火。”張俠說。

CNBC財(cái)經(jīng)新聞臺(tái)應(yīng)用了Lex，如果用戶現(xiàn)在說“請告訴我今天的market update”，CNBC馬上會(huì)告訴你今天道瓊斯、納斯達(dá)克的表現(xiàn)。福特汽車集成了Lex，甚至高通芯片也集成了Lex，可以想象，未來各種設(shè)備應(yīng)用語音服務(wù)的多樣化場景。

利用亞馬遜云上的AI技術(shù)，Howard Hughes公司預(yù)測高檔房地產(chǎn)交易，F(xiàn)raud.net檢測在線付款欺詐，Pinterest開展圖像識(shí)別搜索，F(xiàn)INRA進(jìn)行異常檢測、序列匹配、回歸分析和網(wǎng)絡(luò)分析，輝瑞制藥開展藥物發(fā)現(xiàn)。

張俠認(rèn)為要用好大數(shù)據(jù)和人工智能，業(yè)界需要更多的數(shù)據(jù)科學(xué)家——“數(shù)據(jù)科學(xué)家要數(shù)理方法、計(jì)算編程和行業(yè)知識(shí)三者兼而有之”。

他強(qiáng)調(diào)了行業(yè)和社會(huì)知識(shí)?！按髷?shù)據(jù)真正的意義，是從數(shù)據(jù)中挖掘出價(jià)值，進(jìn)而提供洞察力，為企業(yè)創(chuàng)造財(cái)富”。為此，當(dāng)人們使用大數(shù)據(jù)來時(shí)，“他不僅要懂得數(shù)理和編程，還要了解其他相關(guān)的知識(shí)。行業(yè)和社會(huì)知識(shí)讓你知道該從什么角度去看數(shù)據(jù)，進(jìn)而把數(shù)據(jù)價(jià)值體現(xiàn)出來。如果想成為一個(gè)好的數(shù)據(jù)科學(xué)家，應(yīng)該在這三個(gè)維度上去琢磨，這會(huì)讓你更能成功”。