大數(shù)據(jù)AI融合的云邊端一體化解決方案

中興集合融合開放、高效可靠、協(xié)同擴(kuò)展的數(shù)據(jù)技術(shù)，構(gòu)建起跨云邊端的一棧智能平臺(tái)，實(shí)現(xiàn)大數(shù)據(jù)AI融合發(fā)展。

—中興通訊研究院總工程師王德政

我今天分享的主題蘊(yùn)含了兩項(xiàng)重點(diǎn)，一個(gè)是大數(shù)據(jù)AI融合，另一個(gè)是云邊端一體化。

數(shù)字化轉(zhuǎn)型的過程可以劃分成四個(gè)階段：數(shù)字化、信息化、數(shù)據(jù)化、智能化。在這“四化”的過程中，大數(shù)據(jù)其實(shí)一直起著關(guān)鍵作用。其中，智能化階段更是要求大數(shù)據(jù)與AI深度融合，發(fā)揮數(shù)據(jù)的深層價(jià)值。

現(xiàn)今，數(shù)據(jù)已經(jīng)成為企業(yè)和社會(huì)的重要資產(chǎn)，是新世紀(jì)的“礦產(chǎn)”與“石油”，帶來了全新的創(chuàng)新方式、商業(yè)模式和投資機(jī)會(huì)。數(shù)據(jù)就是生產(chǎn)資料，AI是生產(chǎn)力，區(qū)塊鏈?zhǔn)巧a(chǎn)關(guān)系。其中，數(shù)據(jù)的處理發(fā)揮著非常重要的基礎(chǔ)性作用，但現(xiàn)在數(shù)據(jù)處理面臨著以下三個(gè)方面的挑戰(zhàn)。

一是業(yè)務(wù)方面的挑戰(zhàn)，在IT系統(tǒng)或者數(shù)字系統(tǒng)的建設(shè)中，煙囪系統(tǒng)、數(shù)據(jù)孤島及數(shù)據(jù)與業(yè)務(wù)的割裂等問題是各個(gè)行業(yè)的痛點(diǎn)。

二是數(shù)據(jù)應(yīng)用方面的挑戰(zhàn)，我們對(duì)數(shù)據(jù)的應(yīng)用過于依賴專家經(jīng)驗(yàn)，缺乏創(chuàng)新點(diǎn)。

三是架構(gòu)方面的挑戰(zhàn)，在架構(gòu)向云上遷移的過程中，會(huì)出現(xiàn)傳輸負(fù)載過高、實(shí)時(shí)響應(yīng)較差、安全程度較低等方面的問題。

面對(duì)前兩個(gè)挑戰(zhàn)，我們要引入AI相關(guān)的技術(shù)手段來破局。面對(duì)第三個(gè)挑戰(zhàn)，我們要采用云邊端協(xié)同的架構(gòu)去解決。

那么，我們?cè)撊绾尾捎迷七叾藚f(xié)同的架構(gòu)呢？

第一，發(fā)揮云化的數(shù)據(jù)中心作為中心大腦的作用，配合邊緣節(jié)點(diǎn)、終端用戶做相應(yīng)的數(shù)據(jù)管理，開發(fā)融合開放的數(shù)據(jù)管理技術(shù)。

第二，建立跨云數(shù)據(jù)中心、跨邊緣節(jié)點(diǎn)、跨終端用戶的數(shù)據(jù)安全體系。邊緣節(jié)點(diǎn)和用戶終端算力是非常有限的，必須與輕量化、高效率的云端配合，才能夠?qū)崿F(xiàn)對(duì)完整體系的安全防護(hù)。

第三，進(jìn)行相應(yīng)的協(xié)同計(jì)算。要想把一部分AI推理做成輕量化的推理引擎，并放置在邊緣節(jié)點(diǎn)或終端節(jié)點(diǎn)，就要進(jìn)行協(xié)同計(jì)算，建立跨云邊端的體系框架，形成一站式的智能平臺(tái)。

關(guān)于大數(shù)據(jù)AI融合解決方案，其核心理念可概括為四個(gè)關(guān)鍵詞。

第一個(gè)關(guān)鍵詞是跨云邊端的一棧智能平臺(tái)。它有兩個(gè)重要的特征：多技術(shù)融合和多樣靈活的部署形態(tài)。

多技術(shù)融合也可以說是多生態(tài)融合?，F(xiàn)在，眾多不同開源生態(tài)之間存在著割裂的情況，我們需要打通這種割裂的狀態(tài)，實(shí)現(xiàn)多生態(tài)的融合。多樣靈活的部署形態(tài)覆蓋了容器、單機(jī)、小規(guī)模、大規(guī)模甚至是多集群的場(chǎng)景，支持彈性伸縮，可進(jìn)行靈活多樣的動(dòng)態(tài)部署。

第二個(gè)關(guān)鍵詞是融合開放的數(shù)據(jù)管理技術(shù)。它包含全鏈路工具保障和統(tǒng)一數(shù)據(jù)服務(wù)。

全鏈路的工具保障指的是在從數(shù)據(jù)模型到數(shù)據(jù)處理任務(wù)的動(dòng)態(tài)轉(zhuǎn)換過程中，使用全鏈路的工具把定制化的代碼研發(fā)流程串聯(lián)起來。

統(tǒng)一的數(shù)據(jù)服務(wù)指的是完全符合標(biāo)準(zhǔn)規(guī)范的、面向用戶的統(tǒng)一服務(wù)端口。統(tǒng)一的數(shù)據(jù)服務(wù)能夠劃分用戶的角色和權(quán)限，通過對(duì)數(shù)據(jù)進(jìn)行分類，明確相應(yīng)的技術(shù)接口，提供完善的接口審批流程，來實(shí)現(xiàn)更開放、更安全的技術(shù)管理。

第三個(gè)關(guān)鍵詞是高效可靠的數(shù)據(jù)安全技術(shù)。數(shù)據(jù)安全技術(shù)的發(fā)展要重點(diǎn)關(guān)注細(xì)粒度安全管控。在數(shù)據(jù)保護(hù)策略以及數(shù)據(jù)的存儲(chǔ)周期上做細(xì)粒度分析，優(yōu)化數(shù)據(jù)加密存儲(chǔ)和數(shù)據(jù)脫密存儲(chǔ)，對(duì)數(shù)據(jù)進(jìn)行全方位的安全管控和精細(xì)化控制。

數(shù)據(jù)安全技術(shù)的技術(shù)要點(diǎn)之一是基于策略下沉的大數(shù)據(jù)脫敏，傳統(tǒng)的解決方案是采用中間件對(duì)關(guān)鍵字段進(jìn)行替代和脫敏，但這種方案并不適用于數(shù)據(jù)量較大的情況，會(huì)造成性能下降的問題。我們現(xiàn)在采用的方案是將云端的算法和策略下沉至邊緣側(cè)甚至終端側(cè)。

第四個(gè)關(guān)鍵詞是協(xié)同擴(kuò)展的數(shù)據(jù)計(jì)算技術(shù)。在云端、邊端、終端，運(yùn)營環(huán)境和資源配置不盡相同，我們采用基于Adlik的云邊端協(xié)同AI模型部署，以適應(yīng)不同運(yùn)營和資源配置環(huán)境。

可視化的模型探索工作臺(tái)是數(shù)據(jù)計(jì)算技術(shù)發(fā)展的另一個(gè)關(guān)鍵點(diǎn)。工作臺(tái)具有強(qiáng)可視化的特點(diǎn)，以數(shù)據(jù)為驅(qū)動(dòng)，融合機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)、開放互聯(lián)等特質(zhì)，并集成了多種深度學(xué)習(xí)框架，可以幫助用戶摒棄編碼和底層維護(hù)工作，把業(yè)務(wù)專家從對(duì)IT的探索中解放出來，使之聚焦業(yè)務(wù)問題和應(yīng)用本身。

我認(rèn)為云邊端協(xié)同的技術(shù)發(fā)展趨勢(shì)之一是能力下沉。

大數(shù)據(jù)前期的發(fā)展是云化，是數(shù)據(jù)向云端的集中。但我們發(fā)現(xiàn)全盤云化會(huì)產(chǎn)生很多問題，需要通過云邊端的協(xié)同來解決這些問題。云邊端協(xié)同的整體設(shè)計(jì)策略及其管理仍在云端，但是能力（例如AI推理能力）會(huì)下沉，即在邊緣側(cè)部署更多服務(wù)。

云邊端協(xié)同的技術(shù)發(fā)展趨勢(shì)之二是生態(tài)融合。

大數(shù)據(jù)AI融合的云邊端協(xié)同包含四個(gè)方向：一是極大極小彈性環(huán)境，二是容器/裸金屬的一體化，三是異構(gòu)跨集群數(shù)據(jù)協(xié)同，四是計(jì)算存儲(chǔ)分離。

（根據(jù)演講內(nèi)容整理，未經(jīng)本人審核）