“騰訊大數(shù)據(jù)-天工”助力萬物互聯(lián)，抬高云計(jì)算競爭壁壘

磐石之心

2021年的上海車展最大看點(diǎn)并不是新車，而是火爆的自動(dòng)駕駛技術(shù)以及車聯(lián)網(wǎng)。美團(tuán)王興說，車成了互聯(lián)網(wǎng)技術(shù)的載體。筆者非常贊同這一看法。

在自動(dòng)駕駛和車聯(lián)網(wǎng)的背后是大數(shù)據(jù)、云計(jì)算以及各種網(wǎng)絡(luò)服務(wù)。在萬物互聯(lián)的時(shí)代，會有越來越多的行業(yè)成為“載體”，而這些載體不停地產(chǎn)生數(shù)據(jù)，這就必須提升數(shù)據(jù)的處理分析能力、安全防護(hù)能力，同時(shí)還要規(guī)避數(shù)據(jù)孤島，讓數(shù)據(jù)發(fā)揮最大價(jià)值。

無獨(dú)有偶，4月18日，騰訊發(fā)布自研的第四代數(shù)智融合計(jì)算平臺“騰訊大數(shù)據(jù)—天工”。騰訊稱，這一數(shù)據(jù)平臺是新基礎(chǔ)設(shè)施的重要組成部分，通過數(shù)智融合計(jì)算以安全方式打通數(shù)據(jù)孤島，橋接多方數(shù)據(jù)，以統(tǒng)一的數(shù)據(jù)處理引擎更高效地挖掘數(shù)據(jù)價(jià)值，以智能化的方式驅(qū)動(dòng)整個(gè)數(shù)據(jù)處理閉環(huán)，為開發(fā)者、企業(yè)、以及政府的數(shù)字化、智能化升級提供更好服務(wù)。

那么，“騰訊大數(shù)據(jù)—天工”發(fā)布的背景是什么？具體解決了哪些問題？接下來，筆者將用非常通俗易懂的語言與各位讀者分享。

萬物互聯(lián)時(shí)代面臨的問題和難題

在文章開頭，我們提到車的自動(dòng)駕駛技術(shù)和車聯(lián)網(wǎng)，咱們就以此為例來看下車聯(lián)網(wǎng)時(shí)代面臨的一系列難題。

車想要實(shí)現(xiàn)自動(dòng)駕駛，就必須對道路、障礙物以及各類突發(fā)情況進(jìn)行識別，然后通過算法對這些情況進(jìn)行建模。簡單講，車想要自動(dòng)駕駛，必須先學(xué)習(xí)識別路況。

而這些路況信息十分復(fù)雜，需要通過車不斷的進(jìn)行路測去采集道路數(shù)據(jù)，采集駕駛員數(shù)據(jù)等各種不規(guī)則數(shù)據(jù)，然后對數(shù)據(jù)進(jìn)行分析和學(xué)習(xí)。

在數(shù)據(jù)采集、分析和學(xué)習(xí)的過程中，面臨數(shù)據(jù)的計(jì)算、數(shù)據(jù)孤島、數(shù)據(jù)的應(yīng)用等多個(gè)問題。

想要對海量數(shù)據(jù)進(jìn)行計(jì)算，就必須提高算力。想要突破數(shù)據(jù)孤島，就需要讓路況、障礙物、突發(fā)事件、駕駛員等各類數(shù)據(jù)發(fā)生關(guān)聯(lián)，而應(yīng)用數(shù)據(jù)過程中，還需要保證數(shù)據(jù)的安全。

除了自動(dòng)駕駛行業(yè)外，在金融、制造、家居等任何需要數(shù)字化的領(lǐng)域都會遇到類似問題，這也對數(shù)據(jù)平臺這一基礎(chǔ)設(shè)施的能力提出了更高要求。這也是騰訊大數(shù)據(jù)平臺升級的行業(yè)背景。

騰訊大數(shù)據(jù)基礎(chǔ)設(shè)施的變遷

為應(yīng)對萬物互聯(lián)時(shí)代，海量復(fù)雜數(shù)據(jù)的處理和分析，需要構(gòu)建一個(gè)強(qiáng)大的數(shù)據(jù)處理基礎(chǔ)設(shè)施，這包括服務(wù)器、算力、數(shù)據(jù)庫等。

目前，騰訊大數(shù)據(jù)日接入消息量超過55萬億，日實(shí)時(shí)計(jì)算量超過65萬億，平臺整體算力超過500萬核，日分析任務(wù)達(dá)到1500萬，騰訊大數(shù)據(jù)平臺的能力不斷被刷新，騰訊云已經(jīng)成為國內(nèi)算力最強(qiáng)的云廠商，同時(shí)也是日實(shí)時(shí)計(jì)算量最大的公司。

騰訊云自研的星星海服務(wù)器，對應(yīng)云上實(shí)例星星海SA3可提供最高232個(gè)核心的單節(jié)點(diǎn)算力，能夠進(jìn)一步滿足用戶在視頻編解碼、離線渲染、數(shù)據(jù)庫、AI等場景下對算力性能的需求。

數(shù)據(jù)庫方面，騰訊云原有的TDSQL、TBase、CynosDB三大產(chǎn)品線統(tǒng)一升級為“騰訊云企業(yè)級分布式數(shù)據(jù)庫TDSQL”。

作為數(shù)據(jù)的底層處理平臺，騰訊的大數(shù)據(jù)平臺也一直隨著數(shù)據(jù)處理需求的變化而升級。2009年，第一代平臺以離線計(jì)算為主要模式化，依托Hadoop生態(tài)，結(jié)合業(yè)務(wù)場景進(jìn)行局部優(yōu)化，處理任務(wù)通常需要小時(shí)甚至天級別時(shí)間完成。

2012年，以Spark/Storm為代表的實(shí)時(shí)計(jì)算處理框架為代表，騰訊大數(shù)據(jù)平臺的處理性能邁入毫秒時(shí)代，在開源框架基礎(chǔ)上重寫了核心模塊，顯著提升了性能。

2015年附近，隨著深度學(xué)習(xí)浪潮興起，騰訊大數(shù)據(jù)進(jìn)入第三代，從0到1自研了機(jī)器學(xué)習(xí)框架Angel，意味著整體大數(shù)據(jù)平臺進(jìn)入機(jī)器學(xué)習(xí)時(shí)代。

2019年開始，騰訊大數(shù)據(jù)在規(guī)劃第四代計(jì)算平臺，包括批流融合、數(shù)據(jù)湖、聯(lián)邦學(xué)習(xí)等新型技術(shù)，圍繞安全、智能、統(tǒng)一等提出了下一代騰訊天工數(shù)智融合計(jì)算平臺。

作為第四代大數(shù)據(jù)平臺，騰訊天工數(shù)智融合計(jì)算平臺把AI、大數(shù)據(jù)以及最熱門的隱私計(jì)算全都融合在一起，實(shí)現(xiàn)在保護(hù)數(shù)據(jù)隱私的同時(shí)，提供聯(lián)合數(shù)據(jù)分析、聯(lián)合數(shù)據(jù)建模等能力。

目前，騰訊大數(shù)據(jù)技術(shù)既可支撐內(nèi)部所有業(yè)務(wù)，又可以服務(wù)各類企業(yè)、政府機(jī)構(gòu)。比如，內(nèi)部的企業(yè)微信、騰訊會議、微信小程序、微信支付等都在用。外部客戶包括中行、建行、招行、中國人保、太平洋保險(xiǎn)、海通證券、江蘇消防、山東電力、湖南國電等。

騰訊天工數(shù)智融合計(jì)算平臺為何難以復(fù)制？

有些人會說，騰訊大數(shù)據(jù)平臺使用的是Hadoop、Spark/Storm等開源框架，是不是同行們也可以輕松實(shí)現(xiàn)騰訊天工數(shù)智融合計(jì)算平臺的能力？

其實(shí)，這個(gè)疑問是多余的。首先，沒有幾家企業(yè)具備騰訊的業(yè)務(wù)范圍和數(shù)據(jù)規(guī)模。這是少有企業(yè)具備騰訊同樣復(fù)雜的數(shù)據(jù)處理需求和數(shù)據(jù)處理能力，騰訊的業(yè)務(wù)涵蓋了社交、游戲、視頻、金融、辦公、教育等幾乎所有行業(yè)，而且多個(gè)行業(yè)都是行業(yè)領(lǐng)先，而同行則只覆蓋一個(gè)或幾個(gè)行業(yè)的業(yè)務(wù)。

這也讓騰訊可以在全行業(yè)中打磨自己的數(shù)據(jù)平臺，同時(shí)海量的數(shù)據(jù)處理能力也是其他同行不具備的。目前，騰訊大數(shù)據(jù)平臺日接入消息量超過55萬億，日實(shí)時(shí)計(jì)算量超過65萬億。

其次，在IaaS、PaaS以及SaaS上的綜合實(shí)力。當(dāng)前一些第三方調(diào)研機(jī)構(gòu)的份額排行，大多數(shù)只提供IaaS的數(shù)據(jù)，事實(shí)上除了公有云外，PaaS＼SaaS服務(wù)早就大行其道。而騰訊除了在傳統(tǒng)的公有云上具備領(lǐng)先地位外，其PaaS＼SaaS服務(wù)更是涵蓋范圍廣，服務(wù)用戶多，合計(jì)市場份額一直在國內(nèi)位居第二。

得益于業(yè)務(wù)范圍廣、數(shù)據(jù)量大、云計(jì)算服務(wù)范圍廣的優(yōu)勢，“騰訊大數(shù)據(jù)—天工”可以支持千億級規(guī)模的海量數(shù)據(jù)訓(xùn)練，性能參數(shù)領(lǐng)先業(yè)界5倍，金融級安全強(qiáng)度的騰訊隱私計(jì)算技術(shù)已廣泛應(yīng)用在醫(yī)療、金融風(fēng)控、數(shù)字政務(wù)等眾多領(lǐng)域。

“騰訊大數(shù)據(jù)-天工”可以支持千億級規(guī)模的海量數(shù)據(jù)訓(xùn)練，性能參數(shù)領(lǐng)先業(yè)界5倍，在此基礎(chǔ)上，提供3072bit加密和TEE硬件雙保險(xiǎn)。同時(shí)，憑借自研隱私計(jì)算技術(shù)，騰訊大數(shù)據(jù)相關(guān)團(tuán)隊(duì)獲得iDash 2020世界隱私計(jì)算大賽冠軍。

一句話，“騰訊大數(shù)據(jù)-天工”是難以被復(fù)制和超越的，具有極強(qiáng)的競爭壁壘，也必然從根本上提升騰訊云各類解決方案服務(wù)客戶的能力，實(shí)現(xiàn)差異化競爭。

結(jié)語

面對即將爆發(fā)式增長的萬物互聯(lián)時(shí)代，在多年技術(shù)積累和需求的強(qiáng)力推動(dòng)下，騰訊云已經(jīng)打通了IaaS+PaaS+SaaS全方位云服務(wù)體系，在服務(wù)器、算力、算法、數(shù)據(jù)庫、大數(shù)據(jù)平臺、PaaS/ SaaS解決方案上都完成了全面的布局，綜合云計(jì)算服務(wù)的市場份額領(lǐng)先，并保持高速增長。

可以說，現(xiàn)在萬事俱備只欠東風(fēng)。騰訊產(chǎn)業(yè)互聯(lián)網(wǎng)業(yè)務(wù)正處在爆發(fā)前夜，值得期待！