數(shù)據(jù)中臺(tái)的定位和架構(gòu)分析

1 數(shù)據(jù)應(yīng)用的發(fā)展歷程回顧

自從人們意識(shí)到在生產(chǎn)交易過(guò)程中產(chǎn)生的數(shù)據(jù)具有再應(yīng)用的價(jià)值，與數(shù)據(jù)再應(yīng)用的相關(guān)概念就層出不窮?；诓煌瑫r(shí)期的關(guān)注焦點(diǎn)，到目前為止大體上經(jīng)歷了（手工）報(bào)表、報(bào)表系統(tǒng)、數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)、大數(shù)據(jù)平臺(tái)以及最近很熱門的數(shù)據(jù)中臺(tái)等概念階段。這些概念雖不在一個(gè)維度上，但是他們代表了對(duì)應(yīng)時(shí)期數(shù)據(jù)應(yīng)用的最大特征，因此我們用這些概念來(lái)標(biāo)識(shí)對(duì)應(yīng)階段，簡(jiǎn)單回顧一下數(shù)據(jù)中臺(tái)概念提出之前的數(shù)據(jù)應(yīng)用的發(fā)展過(guò)程。

（1）（手工）報(bào)表：或稱靜態(tài)報(bào)表，就是以報(bào)表的形式來(lái)對(duì)數(shù)據(jù)進(jìn)行簡(jiǎn)單的統(tǒng)計(jì)和展現(xiàn)。可以是手工計(jì)算也可以采用一些簡(jiǎn)單的報(bào)表工具來(lái)完成計(jì)算，例如EXCEL。這個(gè)階段的最大特點(diǎn)是數(shù)據(jù)的獲取是由人手工從生產(chǎn)交易環(huán)境中四處采集獲取的；另外因?yàn)槭欠稚⒌募堎|(zhì)或電子報(bào)表，報(bào)表中的數(shù)據(jù)一般不會(huì)自動(dòng)存儲(chǔ)，不方便再應(yīng)用。這種形式在某些極小型的企業(yè)或機(jī)構(gòu)還在使用，其解決的是方便數(shù)據(jù)統(tǒng)計(jì)和展現(xiàn)問(wèn)題，表和表之間的數(shù)據(jù)是垂直分隔的。

（2）報(bào)表系統(tǒng)：就是通過(guò)一個(gè)計(jì)算機(jī)應(yīng)用程序?qū)⒊Ｓ玫膱?bào)表固化并按周期自動(dòng)生成。報(bào)表系統(tǒng)可以獨(dú)立存在，但更多的是作為一個(gè)大的系統(tǒng)的一個(gè)應(yīng)用模塊。相比較（手工）報(bào)表，報(bào)表系統(tǒng)的一個(gè)顯著技術(shù)特征是引入了數(shù)據(jù)庫(kù)管理系統(tǒng)（DBMS）技術(shù)，通過(guò)DBMS來(lái)管理存儲(chǔ)數(shù)據(jù)，通過(guò)報(bào)表工具生成所需的表格和圖形，同時(shí)也支持一些即時(shí)（ad-hoc）查詢，通常得到的是統(tǒng)計(jì)數(shù)據(jù)，數(shù)據(jù)大小有限。報(bào)表系統(tǒng)解決了周期性報(bào)表的自動(dòng)生成問(wèn)題，但采用的是和生產(chǎn)系統(tǒng)相同的關(guān)系型數(shù)據(jù)庫(kù)，支持的是以產(chǎn)品或業(yè)務(wù)為核心的企業(yè)經(jīng)營(yíng)模式。這種架構(gòu)由于數(shù)據(jù)是垂直向上的，常出現(xiàn)不同部門的統(tǒng)計(jì)口徑完全不同的狀況。同時(shí)由于技術(shù)的限制，對(duì)比較細(xì)顆粒度的數(shù)據(jù)查詢的支持性不是很好。在報(bào)表系統(tǒng)的后期出現(xiàn)了分析型系統(tǒng)的概念，用于企業(yè)的經(jīng)營(yíng)分析，該系統(tǒng)逐漸和生產(chǎn)系統(tǒng)剝離。成為一個(gè)獨(dú)立的系統(tǒng)架構(gòu)，如圖1所示。

圖1 報(bào)表系統(tǒng)架構(gòu)示意圖

（3）數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)：隨著企業(yè)信息化進(jìn)程的推進(jìn)，企業(yè)的業(yè)務(wù)系統(tǒng)越來(lái)越多，產(chǎn)生的數(shù)據(jù)也越來(lái)越多；同時(shí)企業(yè)的經(jīng)營(yíng)思路也從以產(chǎn)品為中心向以客戶為中心轉(zhuǎn)移。經(jīng)營(yíng)模式的改變要求企業(yè)的經(jīng)營(yíng)決策建立在客戶的全視圖基礎(chǔ)上，而客戶的數(shù)據(jù)分散在各個(gè)獨(dú)立的系統(tǒng)中，按照垂直業(yè)務(wù)來(lái)組織數(shù)據(jù)報(bào)表或分析系統(tǒng)無(wú)法支持企業(yè)的經(jīng)營(yíng)理念的轉(zhuǎn)變，數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)應(yīng)運(yùn)而生。簡(jiǎn)單地說(shuō)，所謂數(shù)據(jù)倉(cāng)庫(kù)就是按照主題匯集的數(shù)據(jù)集合，數(shù)據(jù)倉(cāng)庫(kù)解決的核心問(wèn)題是如何將數(shù)據(jù)按照主題進(jìn)行組織并有效地支持各種商業(yè)智能應(yīng)用，我們可以認(rèn)為從數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)開始才真正意義上對(duì)數(shù)據(jù)進(jìn)行了有組織的規(guī)劃和應(yīng)用：根據(jù)數(shù)據(jù)的應(yīng)用需求，按照客戶等主題將來(lái)自于業(yè)務(wù)系統(tǒng)的數(shù)據(jù)進(jìn)行有機(jī)的組成。為了實(shí)現(xiàn)這種需求，數(shù)據(jù)抽取、轉(zhuǎn)換和加載（ETL）成為數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的關(guān)鍵環(huán)節(jié)和關(guān)鍵技術(shù)，同時(shí)數(shù)據(jù)倉(cāng)庫(kù)極大地拓展了數(shù)據(jù)的業(yè)務(wù)價(jià)值和應(yīng)用范圍，在數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)上的各種商業(yè)智能（BI）工具也因此獲得很大的發(fā)展。數(shù)據(jù)倉(cāng)庫(kù)的架構(gòu)打破了數(shù)據(jù)垂直向上的煙囪結(jié)構(gòu)，解決了部分統(tǒng)計(jì)口徑不同帶來(lái)數(shù)據(jù)不一致的問(wèn)題。同時(shí)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)采用了能更好的插入和查詢大數(shù)據(jù)量的分析型數(shù)據(jù)庫(kù)管理系統(tǒng)，星型結(jié)構(gòu)的數(shù)據(jù)模型和多維分析成為數(shù)據(jù)倉(cāng)庫(kù)的最主要特征，在實(shí)際應(yīng)用過(guò)程中，多層多顆粒的數(shù)據(jù)架構(gòu)成為一種典型結(jié)構(gòu)，“寬表”成為一個(gè)約定成俗的稱呼。在這個(gè)階段，元數(shù)據(jù)管理也被提出，如圖2所示。

圖2 數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)圖

（4）（大）數(shù)據(jù)平臺(tái)：互聯(lián)網(wǎng)尤其是消費(fèi)型互聯(lián)網(wǎng)的發(fā)展帶來(lái)數(shù)據(jù)形式發(fā)生了根本變化，數(shù)據(jù)呈現(xiàn)出3V特性（數(shù)量巨大、形式多樣、快速增長(zhǎng)），文本、音頻和視頻成為主流，結(jié)構(gòu)化數(shù)據(jù)只是一種類型而已，數(shù)據(jù)部門最迫切需要解決的問(wèn)題是如何處理這些多元化的海量數(shù)據(jù)。傳統(tǒng)的面向結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)庫(kù)管理模式已經(jīng)不適應(yīng)多形式的數(shù)據(jù)管理需求，一種適應(yīng)于大規(guī)模數(shù)據(jù)處理的分布式計(jì)算處理技術(shù)得到了廣泛應(yīng)用；同時(shí)，與數(shù)據(jù)倉(cāng)庫(kù)不同的是，數(shù)據(jù)的獲取和組織不一定嚴(yán)格依據(jù)分析需求，大數(shù)據(jù)平臺(tái)所起的最主要的作用就是將結(jié)構(gòu)的和非結(jié)構(gòu)的數(shù)據(jù)納入管理，并進(jìn)行處理；當(dāng)業(yè)務(wù)有需求的時(shí)候，再把需要數(shù)據(jù)單獨(dú)提取出來(lái)，以數(shù)據(jù)集的形式提供給應(yīng)用。大數(shù)據(jù)平臺(tái)出現(xiàn)伊始，數(shù)據(jù)業(yè)界就開始不斷地討論大數(shù)據(jù)平臺(tái)的應(yīng)用問(wèn)題，圖3是一個(gè)面向電信行業(yè)的大數(shù)據(jù)平臺(tái)設(shè)計(jì)架構(gòu)示例，我們可以看到，除了根據(jù)用戶的需求提供定制化應(yīng)用外，還希望將數(shù)據(jù)能力化封裝開放給第三方使用。對(duì)于前者，基本還是采用數(shù)據(jù)倉(cāng)庫(kù)的應(yīng)用模式，對(duì)于后者，開放的思路主要體現(xiàn)在3種模式上，包括數(shù)據(jù)即服務(wù)（DAAS）、平臺(tái)即服務(wù)（PAAS）和軟件即服務(wù)（SAAS），如圖4所示。雖然在機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的加持下，對(duì)大數(shù)據(jù)平臺(tái)的數(shù)據(jù)需求很旺盛，即DAAS有其市場(chǎng)需求，但是由于數(shù)據(jù)的敏感性、歸屬的爭(zhēng)議性、應(yīng)用的倫理性問(wèn)題都有待解決，在實(shí)際應(yīng)用中，數(shù)據(jù)的對(duì)外服務(wù)提供是非常謹(jǐn)慎的；大數(shù)據(jù)平臺(tái)由于自身技術(shù)（主要面向海量數(shù)據(jù)的處理）的原因，在其基礎(chǔ)上提供PAAS服務(wù)和SAAS服務(wù)的難度比較大，開發(fā)成本高，開發(fā)周期長(zhǎng)，因此大數(shù)據(jù)平臺(tái)逐漸演化成一個(gè)數(shù)據(jù)處理和純數(shù)據(jù)提供平臺(tái)。

圖3 大數(shù)據(jù)平臺(tái)架構(gòu)

圖4 大數(shù)據(jù)平臺(tái)應(yīng)用模式

縱觀數(shù)據(jù)的發(fā)展歷程，我們一直在尋找一種有效地應(yīng)用數(shù)據(jù)，將數(shù)據(jù)價(jià)值最大化的解決方案。每個(gè)企業(yè)分別在用不同的方式來(lái)盡可能地利用數(shù)據(jù)產(chǎn)生價(jià)值，同時(shí)處理數(shù)據(jù)帶來(lái)的各種問(wèn)題。在本質(zhì)上，數(shù)據(jù)解決方案就是如何根據(jù)業(yè)務(wù)需要進(jìn)行數(shù)據(jù)治理和數(shù)據(jù)提供，而每一種方案都會(huì)囿于我們所要面對(duì)的數(shù)據(jù)世界的特點(diǎn)、業(yè)務(wù)發(fā)展的要求、技術(shù)手段的支持和數(shù)據(jù)價(jià)值的認(rèn)識(shí)。從發(fā)展脈絡(luò)也可以看到，當(dāng)數(shù)據(jù)來(lái)源與數(shù)據(jù)應(yīng)用的范圍越廣，數(shù)據(jù)和業(yè)務(wù)的結(jié)合度越高，處理要求就越高，就越需要一個(gè)強(qiáng)有力的數(shù)據(jù)架構(gòu)的支持。

2 數(shù)據(jù)中臺(tái)的提出和定位

隨著物聯(lián)網(wǎng)和AI技術(shù)的發(fā)展，我們面對(duì)的是一個(gè)越來(lái)越數(shù)字化的世界，無(wú)論是商業(yè)服務(wù)還是工業(yè)制造。按照大數(shù)法則，隨著數(shù)字化進(jìn)程的不斷推進(jìn)，當(dāng)被記錄的數(shù)據(jù)趨向無(wú)限時(shí)，數(shù)據(jù)勾勒出的世界將與現(xiàn)實(shí)世界趨同。未來(lái)的數(shù)據(jù)理想是我們將不是和實(shí)體世界交互，而是和一個(gè)數(shù)字世界交互。映射在企業(yè)業(yè)務(wù)中，就是一切都是數(shù)據(jù)。雖然這種數(shù)據(jù)理想似乎還有些距離，但是這種數(shù)據(jù)價(jià)值觀已經(jīng)獲得了高度的認(rèn)同。因?yàn)閿?shù)據(jù)和業(yè)務(wù)的關(guān)系已經(jīng)悄然發(fā)生了改變：數(shù)據(jù)不再是業(yè)務(wù)的附屬產(chǎn)物，數(shù)據(jù)和業(yè)務(wù)已經(jīng)逐步融合在一起，甚至成為業(yè)務(wù)創(chuàng)新的驅(qū)動(dòng)力量。

一直以來(lái)，都是先有業(yè)務(wù)，后有數(shù)據(jù)，先有應(yīng)用系統(tǒng)，后有數(shù)據(jù)系統(tǒng)，數(shù)據(jù)系統(tǒng)一直遵照著這樣一種流程：把生產(chǎn)系統(tǒng)中產(chǎn)生的數(shù)據(jù)周期性或者準(zhǔn)實(shí)時(shí)地抽取出來(lái)，然后通過(guò)處理轉(zhuǎn)換加載到數(shù)據(jù)系統(tǒng)中，通過(guò)BI工具實(shí)現(xiàn)分析和決策支持。生產(chǎn)環(huán)境和分析環(huán)境是相對(duì)隔離的，我們把前者產(chǎn)生的數(shù)據(jù)叫做操作型數(shù)據(jù)，把后者叫做分析性數(shù)據(jù)。但是現(xiàn)在不同了，可能在生產(chǎn)或交易過(guò)程中就需要經(jīng)過(guò)大數(shù)據(jù)處理或者AI處理的數(shù)據(jù)結(jié)果，例如在完成用戶訂單過(guò)程中我們需要向用戶智能推薦，需要實(shí)時(shí)價(jià)格策略，在完成支付過(guò)程中需要風(fēng)險(xiǎn)管控等等。尤其是物聯(lián)網(wǎng)的興起，應(yīng)用大都建立在數(shù)據(jù)的基礎(chǔ)上，例如對(duì)機(jī)器的控制來(lái)自于機(jī)器的實(shí)時(shí)狀態(tài)。這些變化使得數(shù)據(jù)開發(fā)和數(shù)據(jù)應(yīng)用的需求也發(fā)生了改變，主要表現(xiàn)在：

（1）跨域數(shù)據(jù)的共享需求越來(lái)越普遍和廣泛。無(wú)論是業(yè)務(wù)型應(yīng)用還是分析型應(yīng)用，不再是只需要單一的業(yè)務(wù)數(shù)據(jù)，更多的需求建立在跨域的數(shù)據(jù)基礎(chǔ)上。同時(shí)也可以觀察到，不同業(yè)務(wù)的數(shù)據(jù)需求的差異可能只是維度或顆粒度的略不同，很多甚至可能是相同的。

（2）數(shù)據(jù)響應(yīng)的要求越來(lái)越高。這種響應(yīng)有兩個(gè)方面，一是越來(lái)越多的應(yīng)用需要實(shí)時(shí)數(shù)據(jù)的支持，一是數(shù)據(jù)的開發(fā)過(guò)程需要滿足業(yè)務(wù)開發(fā)的敏捷性要求。隨著業(yè)務(wù)由流程驅(qū)動(dòng)逐步向數(shù)據(jù)驅(qū)動(dòng)轉(zhuǎn)變，例如物聯(lián)網(wǎng)應(yīng)用，數(shù)據(jù)會(huì)越來(lái)越多地參與到業(yè)務(wù)實(shí)現(xiàn)中，業(yè)務(wù)的實(shí)時(shí)性和不斷的創(chuàng)新變化需要一種新的數(shù)據(jù)架構(gòu)以彌補(bǔ)響應(yīng)力滯后的問(wèn)題。

（3）在數(shù)據(jù)驅(qū)動(dòng)型業(yè)務(wù)中，數(shù)據(jù)不再是被動(dòng)地被需要。企業(yè)需要不斷地通過(guò)數(shù)據(jù)挖掘業(yè)務(wù)價(jià)值實(shí)現(xiàn)業(yè)務(wù)創(chuàng)新，例如通過(guò)數(shù)據(jù)開發(fā)使業(yè)務(wù)更智能，數(shù)據(jù)成為像原材料一樣重要的資產(chǎn)，數(shù)據(jù)開發(fā)和應(yīng)用需要滿足價(jià)值探索的能力需求。這對(duì)數(shù)據(jù)團(tuán)隊(duì)的業(yè)務(wù)理解和數(shù)據(jù)開發(fā)能力提出更高的要求。

為了適應(yīng)上述的需求，一種新的數(shù)據(jù)思路逐漸被提了出來(lái)：以數(shù)據(jù)資產(chǎn)化為導(dǎo)向進(jìn)行數(shù)據(jù)治理，以共享數(shù)據(jù)服務(wù)的方式實(shí)現(xiàn)數(shù)據(jù)共享，通過(guò)構(gòu)建中間平臺(tái)，打通業(yè)務(wù)和數(shù)據(jù)環(huán)節(jié)，減少冗余，增加復(fù)用，快速響應(yīng)用戶需求，實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)創(chuàng)新。

隨著這種數(shù)據(jù)思路的逐漸深化，數(shù)據(jù)中臺(tái)概念開始萌芽。阿里在《企業(yè)IT轉(zhuǎn)型之道：阿里巴巴中臺(tái)戰(zhàn)略思想與架構(gòu)實(shí)踐》提出中臺(tái)戰(zhàn)略后，數(shù)據(jù)中臺(tái)的概念輪廓逐漸清晰化。時(shí)至近兩年，數(shù)據(jù)中臺(tái)儼然成為最熱門的討論點(diǎn)之一，方案產(chǎn)品蜂擁而出。數(shù)據(jù)中臺(tái)概念從思維層面過(guò)渡到技術(shù)實(shí)現(xiàn)層面。不同的企業(yè)由于自身的業(yè)務(wù)特性和需求的差異，在具體落地上，有著不同的導(dǎo)向和具體定位，其中具有代表性的有如下3種：

（1）以全域數(shù)據(jù)共享為導(dǎo)向：數(shù)據(jù)中臺(tái)以全域數(shù)據(jù)建設(shè)為中心，技術(shù)上覆蓋了從數(shù)據(jù)采集、計(jì)算加工到數(shù)據(jù)服務(wù)、數(shù)據(jù)應(yīng)用等數(shù)據(jù)鏈路上的每一個(gè)環(huán)節(jié)，以此為生態(tài)內(nèi)外的業(yè)務(wù)、企業(yè)、用戶提供全鏈路、全渠道的數(shù)據(jù)服務(wù)。以阿里為例，其生態(tài)體系內(nèi)業(yè)務(wù)線眾多、數(shù)據(jù)能力又參差不齊，所以要實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)，讓數(shù)據(jù)發(fā)揮更大價(jià)值的最終目標(biāo)首先必須解決全域數(shù)據(jù)管理和全面提升數(shù)據(jù)能力問(wèn)題。經(jīng)過(guò)幾年的實(shí)踐，阿里形成了一個(gè)四橫三縱的數(shù)據(jù)中臺(tái)架構(gòu)，管理和運(yùn)維最核心的基礎(chǔ)數(shù)據(jù)，以數(shù)據(jù)生態(tài)組件，構(gòu)成核心數(shù)據(jù)能力復(fù)用，降本提效；通過(guò)技術(shù)賦能、數(shù)據(jù)連接和數(shù)據(jù)賦能，迅速的提升數(shù)據(jù)應(yīng)用的迭代能力。

（2）以快速數(shù)據(jù)響應(yīng)為導(dǎo)向：數(shù)據(jù)中臺(tái)的建設(shè)以如何簡(jiǎn)單快速地使用數(shù)據(jù)為中心，通過(guò)數(shù)據(jù)技術(shù)和計(jì)算能力復(fù)用以及數(shù)據(jù)資產(chǎn)和數(shù)據(jù)服務(wù)復(fù)用，為業(yè)務(wù)提供自助化、實(shí)時(shí)化、統(tǒng)一化、服務(wù)化、管理化、可溯化的數(shù)據(jù)服務(wù)。以滴滴為例，滴滴的業(yè)務(wù)是建立在快速響應(yīng)海量的數(shù)據(jù)請(qǐng)求基礎(chǔ)上的，面對(duì)這種多場(chǎng)景、全鏈路的業(yè)務(wù)需求以及多團(tuán)隊(duì)、多目標(biāo)的協(xié)作需求，滴滴構(gòu)建了以快速數(shù)據(jù)交付為目標(biāo)，以精益數(shù)據(jù)生產(chǎn)、智能數(shù)據(jù)目錄和敏捷數(shù)據(jù)治理、敏捷數(shù)據(jù)創(chuàng)新為支撐的數(shù)據(jù)中臺(tái)，實(shí)現(xiàn)業(yè)務(wù)-運(yùn)維-數(shù)據(jù)協(xié)同，一鍵埋點(diǎn)，用戶行為軌跡全記錄，數(shù)據(jù)采集秒級(jí)同步，數(shù)據(jù)鏈路全監(jiān)控，自動(dòng)定位關(guān)鍵節(jié)點(diǎn)等能力，并以交互式查詢接口、數(shù)據(jù)地圖、數(shù)據(jù)圖譜、數(shù)據(jù)API等方式提供標(biāo)準(zhǔn)化數(shù)據(jù)服務(wù)和實(shí)時(shí)數(shù)據(jù)集成服務(wù)。

（3）以業(yè)務(wù)價(jià)值創(chuàng)新為導(dǎo)向：數(shù)據(jù)中臺(tái)以實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)的業(yè)務(wù)創(chuàng)新為目標(biāo)。其建設(shè)以便于數(shù)據(jù)的業(yè)務(wù)價(jià)值挖掘和呈現(xiàn)為中心。數(shù)據(jù)中臺(tái)定位為數(shù)據(jù)資產(chǎn)化管理和數(shù)據(jù)價(jià)值轉(zhuǎn)化的承載平臺(tái)，通過(guò)聚合和治理跨域數(shù)據(jù)，將數(shù)據(jù)抽象封裝成服務(wù)，提供給前臺(tái)以業(yè)務(wù)價(jià)值。例如ThoughtWorks提出的精益創(chuàng)新數(shù)據(jù)體系，將數(shù)據(jù)中臺(tái)定位為數(shù)據(jù)服務(wù)加工廠，并定義了數(shù)據(jù)中臺(tái)的五大核心能力：數(shù)據(jù)資產(chǎn)的規(guī)劃和治理、數(shù)據(jù)資產(chǎn)的采集、獲取和存儲(chǔ)、數(shù)據(jù)資產(chǎn)的共享和協(xié)作、數(shù)據(jù)業(yè)務(wù)價(jià)值的探索和分析、數(shù)據(jù)服務(wù)的構(gòu)建和治理、數(shù)據(jù)服務(wù)的度量和運(yùn)營(yíng)，通過(guò)這些能力保證數(shù)據(jù)質(zhì)量和一致性，加速?gòu)臄?shù)據(jù)到價(jià)值的服務(wù)產(chǎn)生過(guò)程，打造高響應(yīng)力且更加智慧的業(yè)務(wù)。

表面上看，似乎數(shù)據(jù)中臺(tái)有著不同的表述，但其最終的目標(biāo)是一致的，就是實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)的業(yè)務(wù)創(chuàng)新，從數(shù)據(jù)維度出發(fā)會(huì)發(fā)現(xiàn)雖然有側(cè)重點(diǎn)，但是核心環(huán)節(jié)具有共性，這種共性來(lái)自于數(shù)據(jù)發(fā)展的普遍特性以及數(shù)據(jù)部門面對(duì)的共性問(wèn)題：治理、共享和服務(wù)。

3 數(shù)據(jù)中臺(tái)的參考架構(gòu)

如上所述，數(shù)據(jù)中臺(tái)在具體實(shí)施時(shí)，不同業(yè)務(wù)特點(diǎn)的企業(yè)會(huì)有不同的業(yè)務(wù)訴求重點(diǎn)和實(shí)施路徑，因此在技術(shù)維度上，每個(gè)企業(yè)不可能有完全相同的數(shù)據(jù)中臺(tái)實(shí)施架構(gòu)，數(shù)據(jù)中臺(tái)不適合用某種特定特征或某項(xiàng)數(shù)據(jù)技術(shù)來(lái)做概念界定。但如果從數(shù)據(jù)維度出發(fā)，可以把數(shù)據(jù)中臺(tái)看作是一種數(shù)據(jù)解決方案，這種解決方案能夠適應(yīng)物聯(lián)網(wǎng)和AI時(shí)代下的數(shù)據(jù)發(fā)展特性，解決企業(yè)數(shù)據(jù)共享和數(shù)據(jù)治理問(wèn)題，滿足多元業(yè)務(wù)下不同應(yīng)用場(chǎng)景數(shù)據(jù)重用效率和數(shù)據(jù)創(chuàng)新業(yè)務(wù)需求，是企業(yè)在數(shù)據(jù)思維指引下實(shí)現(xiàn)數(shù)據(jù)業(yè)務(wù)價(jià)值的數(shù)據(jù)體系，包括數(shù)據(jù)域、資產(chǎn)域和服務(wù)域三大協(xié)作集合，如圖5所示。

圖5 數(shù)據(jù)中臺(tái)參考架構(gòu)

其中

（1）數(shù)據(jù)域：實(shí)現(xiàn)數(shù)據(jù)全量化組織的協(xié)作集合，即將企業(yè)全量數(shù)據(jù)從物聯(lián)設(shè)備、業(yè)務(wù)系統(tǒng)、第3方服務(wù)平臺(tái)、其他開發(fā)平臺(tái)等采集、匯聚、實(shí)時(shí)或周期加載接入，按照業(yè)務(wù)價(jià)值要求和服務(wù)轉(zhuǎn)化要求進(jìn)行按需計(jì)算、主題化處理和高效存放。數(shù)據(jù)的類型包括結(jié)構(gòu)化的，也包括文本、圖像、視頻、音頻等非結(jié)構(gòu)化的。根據(jù)數(shù)據(jù)的來(lái)源和用處，可能會(huì)采用傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)、分布式文件系統(tǒng)、分布式關(guān)系數(shù)據(jù)庫(kù)、分布式NOSQL、時(shí)序數(shù)據(jù)庫(kù)等數(shù)據(jù)存儲(chǔ)和管理模式。計(jì)算的模式包括批量離線計(jì)算、內(nèi)存計(jì)算、在線流式計(jì)算、ML/DL訓(xùn)練等。

（2）資產(chǎn)域：實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)化治理的協(xié)作集合。一個(gè)數(shù)據(jù)如果沒有任何的說(shuō)明，是不具有業(yè)務(wù)價(jià)值內(nèi)涵的，同時(shí)一個(gè)企業(yè)的數(shù)據(jù)要能夠?qū)崿F(xiàn)共享并充分發(fā)揮價(jià)值，很重要的一個(gè)前提條件就是這個(gè)企業(yè)的數(shù)據(jù)必須是統(tǒng)一的并對(duì)整個(gè)企業(yè)開放。因此，不僅需要定義數(shù)據(jù)的大小、類型、顆粒、周期，每一種數(shù)據(jù)的來(lái)源、經(jīng)過(guò)的處理過(guò)程、使用規(guī)則、用途、和其他數(shù)據(jù)的關(guān)聯(lián)性等，還需要將數(shù)據(jù)和業(yè)務(wù)價(jià)值對(duì)應(yīng)起來(lái)，從業(yè)務(wù)層面出發(fā)制定數(shù)據(jù)標(biāo)準(zhǔn)，形成業(yè)務(wù)驅(qū)動(dòng)的數(shù)據(jù)圖譜和行業(yè)協(xié)作的知識(shí)沉淀。除此之外，還應(yīng)包括支持多種數(shù)據(jù)實(shí)體的統(tǒng)一搜索、基于數(shù)據(jù)價(jià)值或熱度的綜合排序等能力便于快速定位所需數(shù)據(jù)。數(shù)據(jù)的資產(chǎn)化治理的內(nèi)容涵蓋很廣，涉及和數(shù)據(jù)的使用相關(guān)的業(yè)務(wù)、數(shù)據(jù)和服務(wù)的全面管理，是數(shù)據(jù)體系中最困難和最耗時(shí)同時(shí)最關(guān)鍵的部分，其直接決定了數(shù)據(jù)價(jià)值轉(zhuǎn)換的能力。越來(lái)越多的技術(shù)手段和工具應(yīng)用于數(shù)據(jù)的資產(chǎn)治理，包括AI。圖中列舉了當(dāng)前最主要的幾個(gè)協(xié)作模塊，例如類目、標(biāo)簽、模型，標(biāo)準(zhǔn)、質(zhì)量、安全以及全生命周期管理等

（3）服務(wù)域：實(shí)現(xiàn)數(shù)據(jù)服務(wù)化交付的協(xié)作集合，包括數(shù)據(jù)服務(wù)的開發(fā)和交付。通過(guò)API的方式提供數(shù)據(jù)服務(wù)，而不是直接把數(shù)據(jù)庫(kù)給前臺(tái)、讓前臺(tái)自行使用是數(shù)據(jù)中臺(tái)有別于數(shù)據(jù)倉(cāng)庫(kù)等數(shù)據(jù)架構(gòu)的一個(gè)主要特性。其強(qiáng)調(diào)的是機(jī)器與機(jī)器的接口，例如將數(shù)據(jù)計(jì)算分析出來(lái)的結(jié)果，不僅僅以報(bào)表等可視化形式讓人看，而更多的是以API形式將數(shù)據(jù)服務(wù)直接地嵌入到交易系統(tǒng)里面，變成業(yè)務(wù)功能或能力，例如價(jià)格策略、推薦引擎、風(fēng)險(xiǎn)管控、機(jī)器控制、智能識(shí)別等。這種將數(shù)據(jù)以服務(wù)的形式交付不僅保護(hù)了數(shù)據(jù)的隱私，維護(hù)了數(shù)據(jù)的安全，而且回避了數(shù)據(jù)的敏感性、歸屬的爭(zhēng)議性、應(yīng)用的倫理性等問(wèn)題帶來(lái)的對(duì)數(shù)據(jù)的限制性使用。除了數(shù)據(jù)，資產(chǎn)治理能力也是服務(wù)的一種重要內(nèi)容，數(shù)據(jù)服務(wù)的開發(fā)能力直接影響數(shù)據(jù)價(jià)值的轉(zhuǎn)化，在AI技術(shù)的加持下，在業(yè)務(wù)智能和業(yè)務(wù)創(chuàng)新需求的推動(dòng)下，數(shù)據(jù)智能服務(wù)的開發(fā)將越來(lái)越主流。

4 數(shù)據(jù)中臺(tái)的實(shí)施探討

我們知道，數(shù)據(jù)實(shí)施一直強(qiáng)調(diào)整體規(guī)劃、分步實(shí)施的原則， 這是由數(shù)據(jù)的全局價(jià)值性和實(shí)施復(fù)雜性決定的，這個(gè)原則對(duì)于數(shù)據(jù)中臺(tái)的建設(shè)同樣適用：面向業(yè)務(wù)全景制定數(shù)據(jù)中臺(tái)的整體規(guī)劃，包括數(shù)據(jù)、資產(chǎn)和服務(wù)以及對(duì)應(yīng)的技術(shù)選型，梳理探索數(shù)據(jù)創(chuàng)新業(yè)務(wù)場(chǎng)景，從具體的業(yè)務(wù)場(chǎng)景出發(fā)，從可實(shí)現(xiàn)性高的小場(chǎng)景落地入手，逐步完成業(yè)務(wù)和數(shù)據(jù)的沉淀。

雖然不同的企業(yè)應(yīng)采用適合于自己的實(shí)施模式，但是基于數(shù)據(jù)中臺(tái)和業(yè)務(wù)的強(qiáng)關(guān)聯(lián)共性，如驅(qū)動(dòng)業(yè)務(wù)價(jià)值創(chuàng)新、提供更高的業(yè)務(wù)響應(yīng)力等，在數(shù)據(jù)中臺(tái)具體落地過(guò)程中，數(shù)據(jù)團(tuán)隊(duì)不可避免地會(huì)遇到兩個(gè)共性問(wèn)題：數(shù)據(jù)模型設(shè)計(jì)、數(shù)據(jù)資產(chǎn)治理和業(yè)務(wù)優(yōu)化的協(xié)同問(wèn)題和團(tuán)隊(duì)的業(yè)務(wù)能力和工程能力的協(xié)同問(wèn)題。這些問(wèn)題因其會(huì)帶來(lái)組織架構(gòu)的調(diào)整，進(jìn)而影響企業(yè)的全局，已經(jīng)引起了高度重視，在此做一簡(jiǎn)單探討。

隨著新的業(yè)務(wù)場(chǎng)景、新的數(shù)據(jù)需求進(jìn)入數(shù)據(jù)中臺(tái)，必然會(huì)對(duì)依據(jù)前一個(gè)業(yè)務(wù)場(chǎng)景構(gòu)建的數(shù)據(jù)模型和資產(chǎn)模型提出修正。同時(shí)隨著數(shù)據(jù)的不斷規(guī)范，也會(huì)帶來(lái)原有業(yè)務(wù)本身的優(yōu)化調(diào)整，從而影響模型的穩(wěn)定性。因此，需要根據(jù)全景規(guī)劃對(duì)包括數(shù)據(jù)、資產(chǎn)和服務(wù)的各種模型和規(guī)則進(jìn)行統(tǒng)一維護(hù)更新，否則會(huì)導(dǎo)致其他新的類似數(shù)據(jù)模型產(chǎn)生，形成新的數(shù)據(jù)孤島。為此，一個(gè)具備全局業(yè)務(wù)視角的整體設(shè)計(jì)和維護(hù)團(tuán)隊(duì)顯得非常重要。

另外，數(shù)據(jù)中臺(tái)出現(xiàn)以前，數(shù)據(jù)是為分析服務(wù)的，業(yè)務(wù)人員和數(shù)據(jù)人員的工作界限相對(duì)清晰的和獨(dú)立；而數(shù)據(jù)中臺(tái)是為業(yè)務(wù)價(jià)值服務(wù)的，是用更高效、更協(xié)同的方式實(shí)現(xiàn)數(shù)據(jù)到業(yè)務(wù)的價(jià)值轉(zhuǎn)換，提供數(shù)據(jù)實(shí)時(shí)響應(yīng)能力。因此對(duì)傳統(tǒng)的數(shù)據(jù)人員的業(yè)務(wù)能力和對(duì)傳統(tǒng)業(yè)務(wù)人員的工程能力提出了更高的要求的同時(shí)，更需要兩種能力協(xié)同工作。

這些都對(duì)企業(yè)的組織架構(gòu)及機(jī)制提出了順勢(shì)而變的需求。2019年，在數(shù)據(jù)中臺(tái)的牽引下，一場(chǎng)組織變革的風(fēng)暴席卷了阿里、騰訊、百度、京東等國(guó)內(nèi)互聯(lián)網(wǎng)公司，在未來(lái)的轉(zhuǎn)型計(jì)劃中，都把數(shù)據(jù)中臺(tái)作為企業(yè)組織架構(gòu)調(diào)整的核心方向。但是否所有的企業(yè)都要如此照搬呢？筆者認(rèn)為需要進(jìn)一步探討。

5 總結(jié)

隨著技術(shù)和業(yè)務(wù)的發(fā)展，數(shù)據(jù)在企業(yè)中的價(jià)值越來(lái)越高，對(duì)業(yè)務(wù)的服務(wù)也逐漸從被動(dòng)的、碎片的、間接的向主動(dòng)的、共享的、直接的演變，不同階段的數(shù)據(jù)架構(gòu)的演變過(guò)程正是適應(yīng)了這種變化的需求。因此數(shù)據(jù)中臺(tái)并不是一個(gè)特殊的概念，也不是一個(gè)終極解決方案，只是數(shù)據(jù)在演變過(guò)程中的一個(gè)階段，未來(lái)當(dāng)有新的數(shù)據(jù)形式出現(xiàn)，新的技術(shù)手段引入，新的數(shù)據(jù)架構(gòu)也將會(huì)同步產(chǎn)生。和之前的數(shù)據(jù)架構(gòu)相比，數(shù)據(jù)中臺(tái)借助于中臺(tái)概念，通過(guò)更多的技術(shù)手段驅(qū)動(dòng)數(shù)據(jù)資產(chǎn)化和數(shù)據(jù)共享，通過(guò)數(shù)據(jù)提供方式的革新構(gòu)建了一個(gè)更強(qiáng)有力的數(shù)據(jù)基礎(chǔ)。但其演變同樣具有延續(xù)性，從報(bào)表系統(tǒng)到數(shù)據(jù)倉(cāng)庫(kù)到大數(shù)據(jù)平臺(tái)到數(shù)據(jù)中臺(tái)，前一階段的核心元素在下一階段的架構(gòu)中并沒有消失，而是成為一個(gè)更優(yōu)化的組件以適應(yīng)新增加的組件，適應(yīng)新的業(yè)務(wù)要求。這種延續(xù)性來(lái)自于貫穿始終的數(shù)據(jù)思維，即數(shù)據(jù)是企業(yè)的資產(chǎn)，是創(chuàng)新業(yè)務(wù)價(jià)值的源泉，是差異化競(jìng)爭(zhēng)優(yōu)勢(shì)所在。