借助云的力量重塑企業(yè)的現(xiàn)在和未來

菱俊丘

在近期舉辦的2022亞馬遜云科技re：Invent全球大會上，亞馬遜云科技首席執(zhí)行官Adam Selipsky發(fā)表了“如何借助云的力量，在未知領(lǐng)域抓住機(jī)遇并茁壯成長”的主題演講。在演講中，Adam重點(diǎn)圍繞數(shù)據(jù)、安全、計(jì)算性能和行業(yè)應(yīng)用等4個(gè)主題發(fā)布了多項(xiàng)重磅信息，助力云上客戶快速實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型，提高創(chuàng)新速度。

數(shù)據(jù)之浩瀚

Adam提到，正如宇宙探測一樣，我們要用多個(gè)工具才能夠深切地了解到深不可測的宇宙，我們需要把不同系統(tǒng)、不同部門的各種深刻見解整合在一起，才能去尋找各種可能。同樣，數(shù)據(jù)領(lǐng)域也是如此，管理數(shù)據(jù)的規(guī)模和增長既是一個(gè)巨大的挑戰(zhàn)，也是一個(gè)機(jī)遇，我們需要一套完整的工具來應(yīng)對數(shù)據(jù)的規(guī)模和種類。

企業(yè)需要對數(shù)據(jù)做到很好地管理，來保證數(shù)據(jù)是安全的，同時(shí)還要去理解這些數(shù)據(jù)，然后探索這些數(shù)據(jù)可以給企業(yè)帶來的各種潛力。亞馬遜云科技專注于構(gòu)建所有這些功能，亞馬遜云科技倡導(dǎo)在數(shù)據(jù)管理領(lǐng)域需要有：

恰當(dāng)?shù)墓ぞ撸?/p>

有效的數(shù)據(jù)集成；

規(guī)范數(shù)據(jù)治理；

深入的業(yè)務(wù)洞察力；

端到端的數(shù)據(jù)服務(wù)。

推出Amazon OpenSearch Serverless版本

為了幫助客戶更好的管理和處理數(shù)據(jù)、提取數(shù)據(jù)價(jià)值，亞馬遜云科技打造了多款數(shù)據(jù)分析的工具，客戶可以使用不同工具來應(yīng)對數(shù)據(jù)的不同規(guī)模和多樣性。亞馬遜云科技擁有的每個(gè)數(shù)據(jù)庫解決方案都是針對客戶的特定需求而推出的，每個(gè)數(shù)據(jù)分析解決方案在其產(chǎn)品組合中都有著清晰的定位。

面對日益增長的客戶需求，Adam宣布正式推出Amazon OpenSearch Serverless版本，新解決方案簡化了運(yùn)行PB級搜索和分析工作負(fù)載的過程，而無需配置、管理或擴(kuò)展OpenSearch集群。OpenSearch Serverless自動調(diào)配和擴(kuò)展底層資源，為最苛刻和最不可預(yù)測的工作負(fù)載提供快速數(shù)據(jù)接收和查詢響應(yīng)。使用OpenSearch Serverless，客戶只需支付所消耗的資源。至此，亞馬遜云科技所有關(guān)鍵的數(shù)據(jù)分析服務(wù)均已提供無服務(wù)器選項(xiàng)。

除了提供數(shù)據(jù)分析服務(wù)以外，亞馬遜云科技對專家級的從業(yè)者提供非常強(qiáng)有力的實(shí)用平臺，助力每一個(gè)數(shù)據(jù)開發(fā)者簡化繁雜工作、提升工作效率。還將數(shù)據(jù)分析與機(jī)器學(xué)習(xí)能力做了有效的集成，通過Amazon SageMaker，進(jìn)一步挖掘數(shù)據(jù)的價(jià)值，促進(jìn)企業(yè)增長。

數(shù)據(jù)集成

在數(shù)據(jù)集成方面，Adam重點(diǎn)提到了ETL，它包括數(shù)據(jù)提取、轉(zhuǎn)換和加載，以及重復(fù)性無差別的繁重工作。在這方面，亞馬遜云科技的Redshift、Athena和Data Exchange以及SageMaker集成可以提供更好的幫助。Adam宣布Amazon Aurora將首次支持與Amazon Redshift的Zero-ETL集成，以實(shí)現(xiàn)對Aurora PB交易數(shù)據(jù)的近實(shí)時(shí)分析和機(jī)器學(xué)習(xí)。

Zero-ETL集成

這種集成將事務(wù)數(shù)據(jù)與分析功能結(jié)合在一起，消除了在Aurora和Redshift之間構(gòu)建和管理自定義數(shù)據(jù)管道的所有工作。用戶不必構(gòu)建和維護(hù)復(fù)雜的數(shù)據(jù)管道來執(zhí)行提取、轉(zhuǎn)換和加載（ETL）操作。Adam強(qiáng)調(diào)：“數(shù)據(jù)進(jìn)入Aurora幾秒鐘后，就可以在Redshift內(nèi)無縫提供，您可以在同一個(gè)Redshift實(shí)例中復(fù)制來自多個(gè)Aurora數(shù)據(jù)庫的數(shù)據(jù)。整個(gè)系統(tǒng)是無服務(wù)器的，且可根據(jù)數(shù)據(jù)量動態(tài)地上下擴(kuò)展，因此，沒有需要管理的基礎(chǔ)設(shè)施。您在Aurora中真正實(shí)現(xiàn)了快速、可擴(kuò)展事務(wù)的兩全其美，以及Redshift中的可擴(kuò)展分析，都在一個(gè)無縫系統(tǒng)中。”亞馬遜云科技堅(jiān)信zero-ETL必將是最終目標(biāo)，亞馬遜云科技正在努力構(gòu)建一個(gè)完全無需ETL的未來！

Amazon Redshift與Apache Spark集成

此外，Adam還宣布了Amazon Redshift與Apache Spark集成，以幫助數(shù)據(jù)工程師構(gòu)建和運(yùn)行Spark應(yīng)用程序，這些應(yīng)用程序可以從Amazon RedShift集群消費(fèi)和寫入數(shù)據(jù)。“今天，如果你在EMR工作，可以使用Spark對數(shù)據(jù)進(jìn)行分析。但如果你想對Redshift中的數(shù)據(jù)運(yùn)行Spark查詢，則必須將數(shù)據(jù)移動到S3，要么查找、下載并配置緩慢的開源容器到Redshift的連接器。更好的方法是只在Redshift對數(shù)據(jù)運(yùn)行一個(gè)Spark查詢。”Adam在他的主題演講中說道：“所以我們希望快速無縫，我很高興為Apache Spark引入Amazon Redshift集成。”

如果客戶正在使用亞馬遜云科技的分析和機(jī)器學(xué)習(xí)服務(wù)，如Amazon EMR，Amazon Glue，Amazon SageMaker，他們現(xiàn)在可以構(gòu)建Apache Spark應(yīng)用程序，并在不影響應(yīng)用程序性能或數(shù)據(jù)的事務(wù)一致性的情況下，讀取和寫入Amazon Redshift數(shù)據(jù)倉庫。

Adam表示：“現(xiàn)在在亞馬遜云科技的Amazon Redshift上運(yùn)行Apache Spark應(yīng)用程序非常容易，不再需要移動任何數(shù)據(jù)，也不再需要構(gòu)建或管理任何連接器。”針對Apache Spark的Amazon Redshift集成最大限度地減少了設(shè)置Spark Redshift開源連接器的繁瑣且通常是手動的過程，并減少了準(zhǔn)備分析和ML任務(wù)所需的時(shí)間。

數(shù)據(jù)合規(guī)與可控

接下來討論使數(shù)據(jù)可訪問但又合規(guī)和可控的方法。合規(guī)可控與可訪問性之間的平衡很難實(shí)現(xiàn)，建立正確的數(shù)據(jù)治理機(jī)制，是給人信任和信心，是鼓勵創(chuàng)新，而不是限制創(chuàng)新。然而，在所有團(tuán)隊(duì)和職能部門之間建立企業(yè)范圍的治理是一項(xiàng)艱巨但關(guān)鍵的任務(wù)。

Amazon DataZone

亞馬遜云科技宣布推出的Amazon DataZone，是一項(xiàng)用于分類、發(fā)現(xiàn)、共享和管理數(shù)據(jù)的數(shù)據(jù)管理服務(wù)，可以集成Redshift、Athena和QuickSight，以及對第三方數(shù)據(jù)源提供API接口，可實(shí)現(xiàn)細(xì)粒度數(shù)據(jù)管理，其中包含由機(jī)器學(xué)習(xí)填充的數(shù)據(jù)目錄，易于使用業(yè)務(wù)術(shù)語進(jìn)行搜索。

Adam表示：“DataZone使數(shù)據(jù)管理員能夠輕松管理對數(shù)據(jù)的管理訪問，從而使您能夠在整個(gè)組織中安全地釋放數(shù)據(jù)。它使數(shù)據(jù)工程師、數(shù)據(jù)科學(xué)家、產(chǎn)品經(jīng)理、分析師和其他業(yè)務(wù)用戶能夠輕松地發(fā)現(xiàn)、使用和協(xié)作這些數(shù)據(jù)，為您的業(yè)務(wù)提供見解?！?/p>

Amzon Quicksight Q

數(shù)據(jù)的第4個(gè)部分就是實(shí)現(xiàn)業(yè)務(wù)洞察，Adam宣布使用Amzon Quicksight Q應(yīng)用探索新的基于機(jī)器學(xué)習(xí)的預(yù)測服務(wù)正式發(fā)布，以探索更廣闊的數(shù)據(jù)領(lǐng)域。使用Q進(jìn)行基于機(jī)器學(xué)習(xí)的預(yù)測，用戶可以在不涉及任何分析師或數(shù)據(jù)科學(xué)家的情況下查看業(yè)務(wù)績效預(yù)測。QuickSight Q還將支持自然語言“為什么”問題，允許非分析師深入研究數(shù)據(jù)并找出導(dǎo)致特定結(jié)果的因素。

“您需要所有工具來處理海量且不斷擴(kuò)大的數(shù)據(jù)量。當(dāng)擁有所有這些時(shí)，就擁有了完整的端到端數(shù)據(jù)策略?！盇dam表示，亞馬遜云科技是實(shí)現(xiàn)這一目標(biāo)的助力，因?yàn)槲覀冊凇罢麄€(gè)數(shù)據(jù)之旅”中做了大量投入，目標(biāo)是幫助客戶更好地釋放數(shù)據(jù)的價(jià)值。亞馬遜云科技在數(shù)據(jù)服務(wù)領(lǐng)域的版圖已經(jīng)變得更清晰、更全面，企業(yè)將在亞馬遜云科技的助力下，擁有各種各樣的工具來輕松應(yīng)對以往經(jīng)常面臨的數(shù)據(jù)類型多樣性、業(yè)務(wù)需求和使用場景復(fù)雜性的難題。

安全之深不可測

安全性是客戶選擇亞馬遜云科技的主要原因之一，亞馬遜云科技提供的安全性是其他的云提供服務(wù)商所難以比擬的。管理數(shù)據(jù)安全是我們工作的重中之重，為客戶提供包括從醫(yī)療服務(wù)、銀行還有其他的金融機(jī)構(gòu)等各個(gè)領(lǐng)域最安全的云服務(wù)，并致力于提升系統(tǒng)的彈性和柔韌度。我們能夠?yàn)榭蛻籼峁└呒壎踩姆?wù)，幫助客戶去識別、探測、減輕各種網(wǎng)絡(luò)安全的威脅。

Amazon GuardDuty

Amazon GuardDuty這樣一個(gè)組件就具有檢測并且響應(yīng)安全威脅的功能，Adam正式宣布了Container runtime threat detection for GuardDuty。更新版的GuardDuty能檢測容器內(nèi)部可能存在的安全風(fēng)險(xiǎn)，識別那些試圖訪問控制節(jié)點(diǎn)的的操作，支持與Amazon EKS集成。

它能夠在運(yùn)行時(shí)間去探測到這些威脅，不僅是監(jiān)測它，更重要的是去提升系統(tǒng)的功能，同時(shí)加固網(wǎng)絡(luò)之間的連接。在不同計(jì)算機(jī)的節(jié)點(diǎn)中，它的安全性如何，在各個(gè)不同的容器之間它是怎么樣來實(shí)現(xiàn)互聯(lián)的？Adam表示：“對此我們提供了數(shù)千個(gè)不同的安全解決方案，同時(shí)我們也把數(shù)千第三方的安全解決方案集成到亞馬遜云科技服務(wù)的云端服務(wù)的平臺上，確保您的安全。”

Amazon Security Lake

Adam宣布推出Amazon Security Lake，可以自動將來自云、本地和自定義來源的安全數(shù)據(jù)集中到存儲在用戶賬戶中的專用數(shù)據(jù)湖中。Security Lake使分析安全數(shù)據(jù)變得更加容易，以便用戶可以更全面地了解整個(gè)組織的安全性，可以自動收集和管理您跨賬戶和區(qū)域的所有安全數(shù)據(jù)。用戶可以使用自己習(xí)慣的分析工具，同時(shí)保留對安全數(shù)據(jù)的控制和所有權(quán)。Security Lake采用了開放式網(wǎng)絡(luò)安全架構(gòu)框架（OCSF），這是一種開放標(biāo)準(zhǔn)。它有助于規(guī)范化和組合來自亞馬遜云科技和廣泛的企業(yè)安全數(shù)據(jù)源的安全數(shù)據(jù)。

這是一個(gè)巨大的勝利，從長遠(yuǎn)來看，對于打擊不良行為者和創(chuàng)建更易于管理的網(wǎng)絡(luò)安全運(yùn)營生命周期來說將是一個(gè)重大的福音。

計(jì)算性能之極限

在極端的環(huán)境里面，足夠好，有時(shí)候還是夠好，所以我們準(zhǔn)備好克服各種各樣的困難，在亞馬遜云科技應(yīng)對的是各種極端的環(huán)境。比如，F(xiàn)1賽車有5億個(gè)不同的數(shù)據(jù)點(diǎn)需要得到監(jiān)控，從60 h減少到12 h的時(shí)間，Epic Game需要支持上億個(gè)不同的玩家，他們需要處理成億的不同的要求，我們也可以給他們提供非常小的延遲。Nielsen每天有數(shù)十億的數(shù)據(jù)需要處理。所以亞馬遜云科技一直在創(chuàng)新，長期為客戶提供所有數(shù)據(jù)分析的可用工具。亞馬遜云科技現(xiàn)在有600多種實(shí)例類型來滿足幾乎任何類型的需求或使用案例，其中許多實(shí)例使用的是特別定制的芯片。

Hpc6id

以HPC客戶的需求為例，首先要根據(jù)他們確切的工作負(fù)載來確定他們的性能的規(guī)模；第二，就是要提供簡易使用的工具，確?？蛻艨梢远喾絿L試，用更少的時(shí)間來管理他們的基礎(chǔ)設(shè)施。HPC就是一個(gè)很好的選擇，它可以將管理擴(kuò)展到數(shù)百萬的用例上面，最大程度地優(yōu)化客戶的工作負(fù)載。

基于此，亞馬遜云科技正式發(fā)布了用于高性能計(jì)算（HPC）的新亞馬遜彈性計(jì)算云（Amazon EC2）Hpc6id實(shí)例，基于Amazon Nitro系統(tǒng)構(gòu)建的EC2 Hpc6id實(shí)例，它提供200 Gbit/s彈性結(jié)構(gòu)適配器網(wǎng)絡(luò)，用于高吞吐量節(jié)點(diǎn)間通信，使客戶HPC工作負(fù)載能夠大規(guī)模運(yùn)行。Adam表示：“Hpc6id實(shí)例旨在為數(shù)據(jù)、內(nèi)存密集型HPC工作負(fù)載、更高的內(nèi)存帶寬、更快的本地SSD存儲和彈性結(jié)構(gòu)適配器增強(qiáng)的網(wǎng)絡(luò)提供領(lǐng)先的性價(jià)比。使用EC2 Hpc6id實(shí)例，您可以降低HPC工作負(fù)載的成本，同時(shí)利用亞馬遜云科技的彈性和可擴(kuò)展性?！?h3>多樣化的強(qiáng)大實(shí)例

今天的機(jī)器學(xué)習(xí)模型已經(jīng)發(fā)展到使用1 000億個(gè)參數(shù)，在短短幾年內(nèi)增加了一百倍。這大大推高了訓(xùn)練機(jī)器學(xué)習(xí)模型的成本。隨著企業(yè)構(gòu)建的機(jī)器學(xué)習(xí)模型越來越復(fù)雜，訓(xùn)練和運(yùn)行這些模型的成本成為一個(gè)現(xiàn)實(shí)問題。亞馬遜云科技創(chuàng)建了一系列創(chuàng)新實(shí)例來幫助用戶降低成本，Adam提到Trn1實(shí)例專為高性能訓(xùn)練而構(gòu)建，同時(shí)與同類基于GPU的實(shí)例相比，可節(jié)省高達(dá)50 %的訓(xùn)練成本。Trn1實(shí)例對流行的NLP模型進(jìn)行深度學(xué)習(xí)訓(xùn)練時(shí)提供最高性能。同時(shí)宣布推出EC2 Inf2實(shí)例預(yù)覽版，旨在以最低的成本為推理應(yīng)用程序提供高性能。與Inf1實(shí)例相比，Inf2實(shí)例提供高3倍的計(jì)算性能、高4倍的吞吐量和低10倍的延遲。

除了主要的產(chǎn)品升級以外，亞馬遜云科技還致力于打造面向特定行業(yè)或者特定應(yīng)用場景的解決方案，以幫助客戶快速適配自己的應(yīng)用場景，加速創(chuàng)新與縮短產(chǎn)品上市時(shí)間。

新服務(wù)

Amazon SupplyChain

Adam首先推出了Amazon SimSpace Weaver，只需要簡單的幾個(gè)操作就能在云端運(yùn)行大規(guī)?？臻g模擬工作，支持主流3D引擎，包括Unreal Engine和Unity。該服務(wù)旨在將仿真開發(fā)人員從他們自己的硬件限制中解放出來。Adam表示：“使用SimSpace Weaver，可以創(chuàng)建無縫的虛擬世界，其中包含數(shù)百萬個(gè)對象，這些對象可以實(shí)時(shí)交互，而無需管理后端基礎(chǔ)設(shè)施。”

Amazon CleanRooms

基于Amazon Connect的呼叫中心已經(jīng)廣泛獲得了客戶的認(rèn)可，每天支撐超過1 000萬次互動。Adam宣布了Connect新功能：新的機(jī)器學(xué)習(xí)驅(qū)動的預(yù)測、容量規(guī)劃和調(diào)度，他表示：“如今，數(shù)以萬計(jì)的客戶使用Connect每天支持超過1 000萬次互動，僅3周就可以快速部署可用的連接。比如，Convoy在不到一分鐘的時(shí)間內(nèi)接聽的升級呼叫的百分比提高了50 %，Priceline使1 000多名座席能夠使用Connect在家工作?！?h3>新方案

Amazon SimSpace Weaver

除此之外，Adam還宣布推出客戶期待已久的供應(yīng)鏈解決方案Amazon Supply Chain：“許多亞馬遜云科技的客戶問我們，是否愿意采用亞馬遜供應(yīng)鏈技術(shù)、亞馬遜云科技基礎(chǔ)設(shè)施和機(jī)器學(xué)習(xí)來幫助他們解決供應(yīng)鏈問題?！盇mazon Supply Chain是一個(gè)基于云的新應(yīng)用程序，可幫助供應(yīng)鏈領(lǐng)導(dǎo)者減輕風(fēng)險(xiǎn)并降低成本，以提高供應(yīng)鏈彈性。Amazon Supply Chain統(tǒng)一了供應(yīng)鏈數(shù)據(jù)，提供了基于ML的可操作見解，并提供了內(nèi)置的上下文協(xié)作，所有這些都有助于用戶通過減少缺貨來提高客戶服務(wù)水平，同時(shí)幫助降低積壓成本。

Amazon Supply Chain提供了一個(gè)實(shí)時(shí)可視化地圖功能，顯示了每個(gè)地點(diǎn)的庫存水平和健康狀況，并提供了目標(biāo)觀察列表，以提醒潛在的風(fēng)險(xiǎn)。當(dāng)風(fēng)險(xiǎn)被發(fā)現(xiàn)時(shí)，Amazon Supply Chain供應(yīng)鏈提供庫存再平衡建議和內(nèi)置的上下文協(xié)作工具，使跨團(tuán)隊(duì)協(xié)調(diào)實(shí)施解決方案更加容易。Adam表示：“這只是一個(gè)開始。我們將繼續(xù)在這里投資，努力解決您最困難的供應(yīng)鏈問題?！?h3>功能升級的Amazon Connect服務(wù)

在廣告營銷領(lǐng)域，Adam宣布推出Amazon Clean Rooms，用于在共享營銷數(shù)據(jù)上進(jìn)行安全協(xié)作并維護(hù)用戶的數(shù)據(jù)隱私。通過分析組合的數(shù)據(jù)集，可以提升對客戶提供各種服務(wù)的質(zhì)量和水平，在查詢數(shù)據(jù)的同時(shí)可以把數(shù)據(jù)進(jìn)行加密。

生物醫(yī)療

在生物醫(yī)療領(lǐng)域，Adam正式宣布了Amazon Omics，幫助用戶存儲、查詢、分析基因組數(shù)據(jù)并從中生成見解。

Amazon Omics通過幾次的點(diǎn)擊就可以進(jìn)行相關(guān)的科學(xué)分析，Amazon Omics有各種各樣的功能，也是一個(gè)安全的環(huán)境，并且符合相關(guān)的監(jiān)管規(guī)定。用Amazon Omics來幫助更有目標(biāo)地針對某一種疾病進(jìn)行研究。

零售行業(yè)

談到零售業(yè)，Adam提到了亞馬遜的Just Walk Out技術(shù)，一種可以用手掌支付，而不需要錢包或手機(jī)的技術(shù)。他說：“我們已經(jīng)看到了西雅圖水手隊(duì)的例子，他們報(bào)告說，在安裝了Just Walk Out技術(shù)后，水手商店的交易增加了3倍以上?！?/p>

最后，Adam總結(jié)道，幫助有想法的人去創(chuàng)造機(jī)遇，實(shí)現(xiàn)轉(zhuǎn)型和創(chuàng)新發(fā)展，最重要就是“云的力量”，亞馬遜云科技就是這樣一個(gè)馭云賦能的角色。