多云時(shí)代 數(shù)據(jù)如何高效管理

耿航

微盟事件是因?yàn)閿?shù)據(jù)被程序員刪除，導(dǎo)致平臺癱瘓。經(jīng)過騰訊云的連夜搶救，微盟官方宣布數(shù)據(jù)全部找回，并發(fā)布了賠付計(jì)劃。經(jīng)此，我們牢記了數(shù)據(jù)的重要性和數(shù)據(jù)備份的重要性。微盟官方發(fā)布的賠付計(jì)劃中有這樣一條信息—數(shù)據(jù)安全保障計(jì)劃，其中提到了三點(diǎn)：首先是權(quán)限安全，第二是多云異地備份，第三是全面上云。

我們主要關(guān)注后面兩點(diǎn)：多云異地備份和全面上云。數(shù)字化轉(zhuǎn)型時(shí)代熱詞包括上云、混合云、工業(yè)互聯(lián)網(wǎng)、兩化融合、邊緣計(jì)算、智能制造等。數(shù)據(jù)是聯(lián)通和實(shí)現(xiàn)這一切的基礎(chǔ)，重要性不言而喻。未來需求場景將以數(shù)據(jù)智能、技術(shù)產(chǎn)業(yè)場景協(xié)同為主。本文重點(diǎn)探討數(shù)據(jù)智能，IDC和Gartner的報(bào)告中均提到，在2022年，有一半以上的企業(yè)數(shù)據(jù)將在數(shù)據(jù)中心或云外被創(chuàng)建和處理，并且以遠(yuǎn)程方式被管理。

在數(shù)字化轉(zhuǎn)型過程中會遇到很多問題，比如在上云、混合云、邊緣計(jì)算等場景中涉及的數(shù)據(jù)遷移、復(fù)制、同步等問題，這時(shí)候就需要一個(gè)統(tǒng)一的多云數(shù)據(jù)管理平臺，來統(tǒng)一管理本地與云端的數(shù)據(jù)，讓數(shù)據(jù)流動起來，充分發(fā)揮數(shù)據(jù)的最大價(jià)值，從而完成數(shù)據(jù)的備份、融合、分析等。筆者依據(jù)個(gè)人理解整理了一些多云數(shù)據(jù)管理的優(yōu)勢及場景。

1.多云數(shù)據(jù)管理解決的問題：數(shù)據(jù)孤島，數(shù)據(jù)融合、數(shù)據(jù)分析，數(shù)據(jù)災(zāi)備（備份、遷移、復(fù)制）。

2.多云數(shù)據(jù)管理的優(yōu)勢：自由選擇最佳云提供商;數(shù)據(jù)移動性無需擔(dān)心云/存儲提供商鎖定;通過多個(gè)云架構(gòu)分布的數(shù)據(jù)集增強(qiáng)數(shù)據(jù)可用性和持久性;減少成本，簡化管理;讓數(shù)據(jù)流動起來，充分發(fā)揮數(shù)據(jù)的最大價(jià)值。

3.多云數(shù)據(jù)管理的場景：異構(gòu)存儲管理，數(shù)據(jù)備份到云，長期數(shù)據(jù)歸檔到云，數(shù)據(jù)災(zāi)備到云，邊緣計(jì)算，大數(shù)據(jù)分析，AI模型訓(xùn)練，異地分支機(jī)構(gòu)數(shù)據(jù)統(tǒng)一管理。

廣義和狹義多云數(shù)據(jù)管理平臺

經(jīng)過調(diào)研，筆者認(rèn)為，多云數(shù)據(jù)管理平臺分為廣義與狹義兩類。狹義多云數(shù)據(jù)管理平臺主要包含多云對象存儲管理及北向應(yīng)用接口層，而廣義多云數(shù)據(jù)管理平臺不僅包含狹義的多云數(shù)據(jù)管理部分，還應(yīng)當(dāng)包括本地異構(gòu)存儲管理、數(shù)據(jù)備份、遷移、運(yùn)維管理（監(jiān)控、安全、編排自動化等），以及北向應(yīng)用接口層等。無論廣義還是狹義，筆者認(rèn)為存在即合理，選擇哪種還要看具體場景需求。比如在邊緣計(jì)算中，狹義多云數(shù)據(jù)管理平臺就能滿足其需求，而在數(shù)字化轉(zhuǎn)型中，可能廣義多云數(shù)據(jù)管理平臺更為合適。

多云數(shù)據(jù)管理與云&存儲的關(guān)系—相輔相成 未來趨勢

隨著云計(jì)算發(fā)展，越來越多的企業(yè)開始采用多云IT架構(gòu)。RightScale 2019 State of the Cloud Report（RightScale 2019年云狀態(tài)報(bào)告）調(diào)查報(bào)告顯示，在1000余家受訪企業(yè)中有84%的企業(yè)采用了多云戰(zhàn)略。而在多云應(yīng)用中，企業(yè)又面臨著云上云下數(shù)據(jù)統(tǒng)一管理、數(shù)據(jù)自由流動，以及跨云應(yīng)用聯(lián)動等問題。所以，多云數(shù)據(jù)管理為存儲發(fā)展指明了方向。在多云時(shí)代，數(shù)據(jù)不僅僅是存，還要本地與云端交互，讓數(shù)據(jù)流動起來，發(fā)揮最大價(jià)值。

舉個(gè)例子，在大量數(shù)據(jù)需要上云，同時(shí)部分?jǐn)?shù)據(jù)需要本地存儲的場景中，邊緣計(jì)算更為有效。因?yàn)檫吘売?jì)算在進(jìn)行云端傳輸時(shí)會通過邊緣節(jié)點(diǎn)先進(jìn)行一部分簡單數(shù)據(jù)處理，當(dāng)面對大量數(shù)據(jù)時(shí)，可以采用一定的壓縮算法，提取到有用信息之后再進(jìn)行傳輸，能夠節(jié)省數(shù)據(jù)帶寬的消耗。這時(shí)候我們就需要一個(gè)本地的數(shù)據(jù)中轉(zhuǎn)站來臨時(shí)存放數(shù)據(jù)，以便閑時(shí)回傳到云端進(jìn)行數(shù)據(jù)融合，確保數(shù)據(jù)得以長期保存。例如，醫(yī)院或者安防行業(yè)數(shù)據(jù)都有嚴(yán)格的保存時(shí)間限制，比如保存90天或3年以上，這時(shí)候?yàn)榱斯?jié)省成本，同時(shí)符合行業(yè)發(fā)展趨勢，完全可以把長期保存的數(shù)據(jù)放到云端進(jìn)行數(shù)據(jù)的長期保存，以及利用和挖掘分析。

看產(chǎn)業(yè)發(fā)展—布局未來開源技術(shù)儲備

開源軟件是如何適應(yīng)產(chǎn)業(yè)發(fā)展的呢？下面簡單介紹一下Linux基金會頂級開源項(xiàng)目—SODA到底是做什么的。SODA主要解決的問題是異構(gòu)存儲統(tǒng)一管理智能化運(yùn)維，屏蔽底層存儲統(tǒng)一接口，對接北向應(yīng)用。其次是數(shù)據(jù)生命周期管理，所謂數(shù)據(jù)生命周期管理是指從數(shù)據(jù)的產(chǎn)生到數(shù)據(jù)的跨云流動及挖掘利用等。

筆者從開源技術(shù)實(shí)踐者的視角回顧云計(jì)算的發(fā)展歷程，也大膽做出了未來云計(jì)算發(fā)展的預(yù)測，其中描繪了以5G加持的邊緣計(jì)算將會得到快速發(fā)展的場景，也講述了未來數(shù)據(jù)智能發(fā)展的趨勢，意在為開源云從業(yè)者道明開源與產(chǎn)業(yè)的發(fā)展方向及技術(shù)儲備布局。