云端大數(shù)據(jù)助力企業(yè)數(shù)字化轉(zhuǎn)型

騰訊云通過(guò)云端海量存儲(chǔ)、計(jì)算基礎(chǔ)設(shè)施構(gòu)建了彈性MapReduce，為用戶快速提供了安全、低成本、高可靠、高彈性擴(kuò)展、架構(gòu)可持續(xù)演進(jìn)的專屬大數(shù)據(jù)集群。

—騰訊云大數(shù)據(jù)中心專家工程師王國(guó)華

2020年4月，騰訊研究院對(duì)企業(yè)在新冠肺炎疫情期間需要的數(shù)字化技術(shù)進(jìn)行了調(diào)查，調(diào)查顯示有54.8%的受訪企業(yè)認(rèn)為大數(shù)據(jù)技術(shù)將對(duì)數(shù)字化轉(zhuǎn)型起到非常重要的作用。

大數(shù)據(jù)時(shí)代的數(shù)據(jù)有四個(gè)特點(diǎn)：超大規(guī)模數(shù)據(jù)量，多種數(shù)據(jù)類型，響應(yīng)速度要求更快，價(jià)值密度低、價(jià)值總量大。

而企業(yè)的數(shù)字化轉(zhuǎn)型會(huì)遇到三個(gè)痛點(diǎn)。第一個(gè)是缺乏標(biāo)準(zhǔn)化的工具幫助企業(yè)進(jìn)行基礎(chǔ)設(shè)施的搭建、算力的提升、應(yīng)用場(chǎng)景的開(kāi)發(fā)。第二個(gè)是數(shù)據(jù)孤島，每個(gè)企業(yè)都有相當(dāng)多的數(shù)據(jù)，如何將企業(yè)的內(nèi)部數(shù)據(jù)和外部數(shù)據(jù)融合，為企業(yè)的業(yè)務(wù)和營(yíng)銷做一些相關(guān)的提升，是一個(gè)比較重要的問(wèn)題。第三個(gè)是數(shù)據(jù)源的匱乏，我們需要大量的數(shù)據(jù)人才、專業(yè)工程師、專家等幫助企業(yè)做相關(guān)的架構(gòu)設(shè)計(jì)、架構(gòu)部署，還需要建模專家做各種各樣的模型來(lái)實(shí)現(xiàn)數(shù)據(jù)的價(jià)值。

面對(duì)上述問(wèn)題，騰訊自下而上提供了各種各樣的服務(wù)支持。在底層的大數(shù)據(jù)基礎(chǔ)設(shè)施層，我們有彈性MapReduce和神盾聯(lián)邦計(jì)算平臺(tái)。在大數(shù)據(jù)場(chǎng)景開(kāi)發(fā)層有ES、流計(jì)算服務(wù)、云數(shù)據(jù)倉(cāng)庫(kù)、商業(yè)智能分析、云搜等服務(wù)系統(tǒng)，我們通過(guò)這些系統(tǒng)幫助企業(yè)進(jìn)行場(chǎng)景開(kāi)發(fā)。在最上層的大數(shù)據(jù)應(yīng)用服務(wù)層，我們提供云圖、燈塔成長(zhǎng)平臺(tái)、精準(zhǔn)營(yíng)銷、企業(yè)畫(huà)像、企業(yè)風(fēng)控等服務(wù)。

今年我們?cè)贓MI上做了兩方面的改進(jìn)。第一個(gè)是降本增效，我們希望通過(guò)AMD的大型機(jī)器來(lái)做存儲(chǔ)分離，幫助企業(yè)在成本上減少至少30%的支出。第二個(gè)是異構(gòu)算力，現(xiàn)在很多企業(yè)希望在達(dá)到計(jì)算峰值的時(shí)候，能夠利用云原生實(shí)現(xiàn)彈性擴(kuò)縮容，減少峰值計(jì)算的成本。我們?cè)谶@方面和知乎、虎牙進(jìn)行了一些嘗試。

彈性MapReduce是騰訊云構(gòu)建于云端海量存儲(chǔ)、計(jì)算基礎(chǔ)設(shè)施之上的云端Hadoop框架，通過(guò)該框架用戶可在十分鐘內(nèi)獲得一個(gè)安全、低成本、高可靠、高彈性擴(kuò)展、架構(gòu)可持續(xù)演進(jìn)的專屬大數(shù)據(jù)集群。

這些年騰訊積累了很多數(shù)據(jù)，有些數(shù)據(jù)比較敏感，不能直接和騰訊內(nèi)部的數(shù)據(jù)做碰撞和融合，因此我們專門開(kāi)發(fā)了神盾聯(lián)邦計(jì)算平臺(tái)，將數(shù)據(jù)脫敏、加密之后，把這些數(shù)據(jù)提取出來(lái)和騰訊內(nèi)部數(shù)據(jù)進(jìn)行融合，達(dá)到企業(yè)畫(huà)像的推薦和在各種各樣的場(chǎng)景里建模的目的。

ES基于開(kāi)源引擎打造，集成了安全、數(shù)據(jù)告警、SQL、機(jī)器學(xué)習(xí)等高級(jí)特性，并具有易于管理和部署等特性。

騰訊云流計(jì)算平臺(tái)，是位于云端的流式數(shù)據(jù)匯聚和計(jì)算服務(wù)平臺(tái)，用戶只需幾分鐘就可輕松構(gòu)建流計(jì)算應(yīng)用，而無(wú)須關(guān)注基礎(chǔ)設(shè)施的運(yùn)維，并且能便捷地對(duì)接豐富的云上數(shù)據(jù)源。這個(gè)產(chǎn)品結(jié)合一些技術(shù)，在點(diǎn)擊流分析、金融實(shí)時(shí)風(fēng)控、物聯(lián)網(wǎng)監(jiān)控、電商精準(zhǔn)推薦等領(lǐng)域都有應(yīng)用。

而騰訊云數(shù)據(jù)倉(cāng)庫(kù)（Cloud Data Warehouse）是一款簡(jiǎn)單、高效、經(jīng)濟(jì)的數(shù)據(jù)倉(cāng)庫(kù)服務(wù)。為用戶提供簡(jiǎn)單、快速、經(jīng)濟(jì)高效的PB級(jí)云端數(shù)據(jù)倉(cāng)庫(kù)解決方案，屏蔽了底層復(fù)雜的計(jì)算邏輯，讓用戶通過(guò)簡(jiǎn)單代碼實(shí)現(xiàn)復(fù)雜的操作，幫助中小微企業(yè)實(shí)現(xiàn)高效的數(shù)倉(cāng)管理和數(shù)據(jù)存儲(chǔ)等。

此外，我們?cè)趹?yīng)用場(chǎng)景里也進(jìn)行了比較多的嘗試，在這里給大家介紹一下云端大數(shù)據(jù)應(yīng)用產(chǎn)品—企業(yè)畫(huà)像的產(chǎn)品架構(gòu)。企業(yè)畫(huà)像是結(jié)合騰訊內(nèi)部已有的各種各樣的數(shù)據(jù)，包括企業(yè)工商數(shù)據(jù)、企業(yè)營(yíng)銷數(shù)據(jù)、企業(yè)判決文書(shū)數(shù)據(jù)、法院判決公告數(shù)據(jù)以及其他數(shù)據(jù)共同打造的企業(yè)360°畫(huà)像系統(tǒng)，通過(guò)企業(yè)畫(huà)像系統(tǒng)，我們希望能夠進(jìn)行企業(yè)營(yíng)銷、企業(yè)風(fēng)控、產(chǎn)業(yè)分析和產(chǎn)業(yè)扶持，為政府、企業(yè)提供相關(guān)的SaaS化服務(wù)。

企業(yè)畫(huà)像的產(chǎn)品優(yōu)勢(shì)分為四點(diǎn)。第一是我們有海量的企業(yè)數(shù)據(jù)，此外我們還會(huì)和很多合作伙伴進(jìn)行聯(lián)合，把相關(guān)數(shù)據(jù)整合到企業(yè)畫(huà)像內(nèi)部中。第二是深度剖析關(guān)聯(lián)關(guān)系，基于騰訊內(nèi)部的計(jì)算平臺(tái)做企業(yè)圖譜的挖掘，我們能夠判斷人和企業(yè)、企業(yè)和企業(yè)之間的關(guān)系以及隱藏的風(fēng)險(xiǎn)關(guān)系。第三是區(qū)域產(chǎn)業(yè)洞察，我們利用產(chǎn)業(yè)數(shù)據(jù)以及騰訊內(nèi)部各行業(yè)專家經(jīng)驗(yàn)對(duì)產(chǎn)業(yè)做專門的分析，并且通過(guò)區(qū)域產(chǎn)業(yè)分析、頭部產(chǎn)業(yè)分析、產(chǎn)業(yè)鏈上下游分析以及產(chǎn)業(yè)的發(fā)展、風(fēng)險(xiǎn)的分析來(lái)為客戶、政府、企業(yè)提供產(chǎn)業(yè)方面的指導(dǎo)。第四是動(dòng)態(tài)跟蹤企業(yè)的運(yùn)營(yíng)狀況，我們自研了企業(yè)風(fēng)控模型，包括標(biāo)準(zhǔn)化模型、企業(yè)的運(yùn)營(yíng)商管理模型，基于大數(shù)據(jù)、神經(jīng)網(wǎng)絡(luò)的模型等對(duì)企業(yè)動(dòng)態(tài)運(yùn)營(yíng)狀況進(jìn)行監(jiān)測(cè)。企業(yè)畫(huà)像對(duì)產(chǎn)業(yè)發(fā)展風(fēng)險(xiǎn)分析、產(chǎn)業(yè)鏈分析、產(chǎn)業(yè)競(jìng)爭(zhēng)格局分析、產(chǎn)業(yè)輿情政策這四大領(lǐng)域做分析，可以為企業(yè)、政府提供區(qū)域的產(chǎn)業(yè)規(guī)劃，為企業(yè)尋找供應(yīng)商和客戶提供支持。

在企業(yè)畫(huà)像里積累了大量的企業(yè)數(shù)據(jù)，同時(shí)為每一個(gè)企業(yè)都打上了相關(guān)的特征標(biāo)簽，我們希望通過(guò)這些企業(yè)標(biāo)簽在營(yíng)銷領(lǐng)域進(jìn)行一些相關(guān)的嘗試。同時(shí)，我們希望盡量通過(guò)企業(yè)的標(biāo)簽構(gòu)建企業(yè)的模型，減少無(wú)關(guān)企業(yè)的干擾，提升客服人員的推薦效率。當(dāng)前，各個(gè)銀行非常關(guān)注中小微企業(yè)的風(fēng)險(xiǎn)問(wèn)題，我們希望運(yùn)用企業(yè)畫(huà)像里的數(shù)據(jù)，結(jié)合其他合作伙伴的數(shù)據(jù)，共同打造一款適合企業(yè)場(chǎng)景的產(chǎn)品。

（根據(jù)演講內(nèi)容整理，未經(jīng)本人審核）