數(shù)據(jù)技術(shù)時代的未來

張茂森

阿里巴巴網(wǎng)絡(luò)有限公司 北京 100022

數(shù)據(jù)技術(shù)時代的未來

張茂森

阿里巴巴網(wǎng)絡(luò)有限公司 北京 100022

數(shù)據(jù)應(yīng)用是數(shù)據(jù)技術(shù)時代的價值承載，數(shù)據(jù)技術(shù)時代和已有的信息技術(shù)時代的區(qū)別在于是否將數(shù)據(jù)作為生產(chǎn)資料。信息技術(shù)時代解決的是“過程”智慧的問題，從而提升效率，而數(shù)據(jù)技術(shù)時代解決的是“感知”和“協(xié)同”智慧的問題，使效率大幅提升并能完成業(yè)務(wù)的創(chuàng)新。歸納了數(shù)據(jù)應(yīng)用類產(chǎn)品的分類，給出了一個通用的數(shù)據(jù)應(yīng)用實現(xiàn)架構(gòu)，同時對大數(shù)據(jù)的數(shù)據(jù)共享和交換的本質(zhì)和難點做了簡要分析。

大數(shù)據(jù)應(yīng)用；數(shù)據(jù)共享與交換；信息技術(shù)；數(shù)據(jù)技術(shù)

1 引言

前段時間，杰克·馬的CEBIT歐洲巡回演唱會1http://money. 163.com/15/ 0317/10/ AKTF1GD 200253B0H.html非常成功。面對從總理到各大商業(yè)巨頭，杰克堅定無比地講述了一個數(shù)據(jù)技術(shù)時代的夢想，不得不說，杰克真的是神奇的外星人。杰克說過，他負(fù)責(zé)吹牛，然后他的團隊負(fù)責(zé)把他吹過的牛實現(xiàn)，從而打造了一個如此強大的阿里巴巴，讓美國人甘心叫BABA的公司。

這次杰克在歐洲巡回演唱會又吹了一個什么牛呢？這頭牛不再是電子商務(wù)，而是DT（data technology，數(shù)據(jù)技術(shù)）。DT和IT 的區(qū)別是什么？為什么DT就是利他，而IT（information technology，信息技術(shù)）就是利己？筆者一直很困惑，IT不是也讓人們的生活更美好了嗎？從經(jīng)濟學(xué)的角度來講，反而是人人利己創(chuàng)造了人類的進步。

2 IT與DT

筆者查了好多資料，也跳出互聯(lián)網(wǎng)圈子接觸了傳統(tǒng)行業(yè)的朋友，似乎有些理解了。

IT這個詞誕生于何時，筆者暫時沒有查到，但是它的大規(guī)模商業(yè)化發(fā)端應(yīng)該是20世紀(jì)70年代，具體是指利用電腦和網(wǎng)絡(luò)讓企業(yè)的內(nèi)外業(yè)務(wù)與流程更加高效。換句話說，沒有IT系統(tǒng)，業(yè)務(wù)也能運行，只是“慢、卡、丑、挫”而已，當(dāng)然當(dāng)大家都用上IT系統(tǒng)后，就再也回不去了。

IT的引入讓企業(yè)擁有了更強大的業(yè)務(wù)能力，使全球化、大規(guī)模、深層次的協(xié)作變成可能，讓大象也能跳舞，所以說IBM是通過輸出IT能力，讓別的大象跳舞，從而讓自己在資本市場也風(fēng)姿綽約。

企業(yè)級IT市場的原有商業(yè)模型如圖1所示。

圖1 企業(yè)級IT市場的原有商業(yè)模型

在舊有模型下，IT解決的是企業(yè)自有業(yè)務(wù)流程的信息化問題，比如OA系統(tǒng)、CRM系統(tǒng)、ERP系統(tǒng)、績效管理系統(tǒng)、BOSS等，這些系統(tǒng)依賴的架構(gòu)就是應(yīng)用代碼（BS或者CS）+數(shù)據(jù)庫+PC服務(wù)器。

互聯(lián)網(wǎng)企業(yè)的出現(xiàn)，成為了一個IT產(chǎn)業(yè)的異類，一家家什么都不生產(chǎn)卻又市值奇高的公司，當(dāng)然是泡沫。只是互聯(lián)網(wǎng)企業(yè)經(jīng)歷一個個大起大落后，越發(fā)青春煥發(fā)，甚至都開始秀健碩的肱二頭肌，開始講顛覆了。背后的原因是什么？互聯(lián)網(wǎng)企業(yè)正因為沒有實體生產(chǎn)，經(jīng)歷的過程正好契合了DIKW的知識金字塔2http://en. wikipedia.org/ wiki/DIKW_ Pyramid，如圖2所示。要知道人類歷史的推進就是知識的累積和進化，近100年人類社會的高速發(fā)展，也是知識的超常規(guī)累積的結(jié)果。

第一代的互聯(lián)網(wǎng)企業(yè)完成的是實體到數(shù)據(jù)（data），把線下的東西數(shù)字化后搬到線上來，比如以Yahoo公司為代表的Portal。

第二代互聯(lián)網(wǎng)企業(yè)完成的是從數(shù)據(jù)到信息（information），Google公司把全類目的數(shù)據(jù)聚合、整理、結(jié)構(gòu)化后索引起來，變成了可供大家快速檢索的信息。

第三代互聯(lián)網(wǎng)企業(yè)完成的是從信息到知識（knowledge），目前還在快速推進，一種企業(yè)是通過人和人的連接，從而利用人機結(jié)合來填補信息到知識的鴻溝，比如Twitter、Facebook；一種企業(yè)是通過大數(shù)據(jù)+機器學(xué)習(xí)+人工智能來填補信息到知識的鴻溝，比如Google。然而，這兩個方向隨著后續(xù)的推進和大數(shù)據(jù)的介入，正在融合為一。

圖2 DIKW金字塔

可以看到這些互聯(lián)網(wǎng)企業(yè)在“吹泡沫”的同時，也構(gòu)建起了從實體到數(shù)據(jù)、從數(shù)據(jù)到信息、從信息到知識的基礎(chǔ)架構(gòu)和設(shè)施，比如非結(jié)構(gòu)化數(shù)據(jù)的處理、分布式數(shù)據(jù)處理、人工智能與機器學(xué)習(xí)以及在專業(yè)領(lǐng)域的方法論（如精準(zhǔn)營銷、搜索引擎、社交關(guān)系等）。

目前，傳統(tǒng)的IT企業(yè)幫助傳統(tǒng)企業(yè)僅僅完成了業(yè)務(wù)流程到部分?jǐn)?shù)據(jù)化、數(shù)據(jù)到部分信息化的過程。換句話說，傳統(tǒng)IT與自動化解決的是“流程”智慧的問題，“感知”與“協(xié)同”智慧是由人來完成的。比如傳統(tǒng)汽車制造，流水線就是“流程”智慧，大幅提升運行效率，而流水線上的熟練工人依靠他們的“感知”與“協(xié)同”智慧保證了高品質(zhì)汽車的生產(chǎn)。

傳統(tǒng)企業(yè)中的CRM、ERP解決的也是過程智慧的問題，大幅提升客戶管理和生產(chǎn)管理的效率，而使用軟件的業(yè)務(wù)人員依靠他們的“感知”與“協(xié)同”智慧（領(lǐng)域經(jīng)驗與知識等），保證了業(yè)務(wù)的順暢運行和優(yōu)化。

互聯(lián)網(wǎng)企業(yè)更是如此，所有的業(yè)務(wù)天生就是信息化的，處處是IT也就沒有IT了，互聯(lián)網(wǎng)企業(yè)的價值由于輕資產(chǎn)的模式反而落在人上面，如它的技術(shù)人員、運營人員和產(chǎn)品人員?；ヂ?lián)網(wǎng)企業(yè)要應(yīng)對快速變化的市場，必須依靠這些人的“感知”與“協(xié)同”智慧來推進公司的創(chuàng)新與變革，從而不被時代拋棄。“流程”智慧在其中的附加價值已經(jīng)不是很大了，云計算等基礎(chǔ)設(shè)施的出現(xiàn)，更加劇了這一點。

而最近的10年，情況在發(fā)生改變，一個是工業(yè)智能機器人的出現(xiàn)，它們具有了對周圍環(huán)境的感知能力，并且擁有了更強大的學(xué)習(xí)能力，如果進入寶馬最先進的工廠，基本上看不到多少工人了。

CRM、ERP等傳統(tǒng)IT軟件中也越來越多地引入了智能推薦、智能搜索、決策輔助、運營輔助的功能，試圖大幅提升人在“感知”與“協(xié)同”方面的效率。而互聯(lián)網(wǎng)企業(yè)則更不用說，從Google大腦到深度學(xué)習(xí)、無人駕駛，無不在把“感知”與“協(xié)同”能力推向極致。對于高階智能的追求，讓工業(yè)4.0和互聯(lián)網(wǎng)+走到一起，而孕育智能的基礎(chǔ)就是“大數(shù)據(jù)”，換句話說，大數(shù)據(jù)將工業(yè)4.0和互聯(lián)網(wǎng)+粘合起來了。

3 DT時代的應(yīng)用架構(gòu)

如同多次工業(yè)革命的進程一樣，先是基礎(chǔ)原理技術(shù)的突破，如蒸汽動力技術(shù)、電力技術(shù)、信息技術(shù)，然后真正讓社會福祉得到巨大提升的是，構(gòu)建于這些原理平臺型技術(shù)上的廣闊而多姿多彩的應(yīng)用型技術(shù)。筆者相信，大數(shù)據(jù)技術(shù)在經(jīng)歷最近10年的技術(shù)原理探索與構(gòu)建后，大數(shù)據(jù)應(yīng)用將真正地把人類引入“數(shù)據(jù)技術(shù)時代”。

說實話，大數(shù)據(jù)最成熟的應(yīng)用目前看來還是在互聯(lián)網(wǎng)領(lǐng)域，從搜索到營銷再到智能手機，處處都有數(shù)據(jù)作為生產(chǎn)資料的影子，通過對數(shù)據(jù)價值的挖掘來提升業(yè)務(wù)的能力。最近筆者走訪了很多傳統(tǒng)的大型企業(yè)和政府部門，和大家聊需求的同時，也讓筆者從應(yīng)用架構(gòu)的視角來思考相關(guān)的問題，找尋其中的共性。要做到真正的大數(shù)據(jù)應(yīng)用，有兩點缺一不可。

（1）對業(yè)務(wù)的理解、對數(shù)據(jù)的剖析和大數(shù)據(jù)分析的方法論

沒有對業(yè)務(wù)的理解就沒有應(yīng)用場景和商業(yè)未來規(guī)劃，就根本不會有應(yīng)用的誕生，往往這一步是最難的。而大數(shù)據(jù)應(yīng)用還需要對數(shù)據(jù)進行深入理解，如自己有哪些數(shù)據(jù)、數(shù)據(jù)的分布如何、數(shù)據(jù)質(zhì)量情況如何等。最后是大數(shù)據(jù)分析的方法論，要把數(shù)據(jù)當(dāng)作生產(chǎn)資料而非報表資料，對數(shù)據(jù)中蘊藏的舊有現(xiàn)象，通過多維度的拼接和長歷史的對比，就能夠構(gòu)建起關(guān)聯(lián)關(guān)系，從而進行推演和預(yù)測，進而構(gòu)建因果機理。

（2）大數(shù)據(jù)開發(fā)平臺與數(shù)據(jù)科學(xué)團隊

現(xiàn)在市面上有很多的開發(fā)平臺或者PaaS平臺，都在標(biāo)榜自己能做大數(shù)據(jù)，然后像傳統(tǒng)IT時代一樣把軟件賣出去。筆者認(rèn)為這樣是不對的，大數(shù)據(jù)平臺除了能夠進行數(shù)據(jù)開發(fā)、建模、集成等工作之外，還需要大量真正的非傳統(tǒng)數(shù)據(jù)技術(shù)能力的支撐，如數(shù)據(jù)安全、數(shù)據(jù)可信交換或共享、數(shù)據(jù)探索與協(xié)作等，這就需要能夠使用這個平臺的人，即數(shù)據(jù)科學(xué)團隊。數(shù)據(jù)科學(xué)團隊不是科學(xué)的老學(xué)究，而是一群不同側(cè)重的角色組合，如偏業(yè)務(wù)與創(chuàng)新、業(yè)務(wù)數(shù)據(jù)模型與算法、基礎(chǔ)數(shù)據(jù)處理。而現(xiàn)實中往往需要一個人具備以上多種角色，這可能也是他們被稱為數(shù)據(jù)科學(xué)家的原因。構(gòu)建數(shù)據(jù)應(yīng)用的后端結(jié)構(gòu)如圖3所示。

4 大數(shù)據(jù)的交換與共享

任何一次工業(yè)革命里面都會有基礎(chǔ)的、可被標(biāo)準(zhǔn)化交換與共享的載體，如蒸汽、電力、公知信息。在大數(shù)據(jù)時代，數(shù)據(jù)的交換與共享也是必然的，如果數(shù)據(jù)的能力僅僅是鎖在政府里，鎖在幾個互聯(lián)網(wǎng)巨頭、幾個工業(yè)巨頭手里，是不能構(gòu)建起多姿多彩的應(yīng)用世界的3http://www. dataguru.cn/ article-5726-1. html。

而數(shù)據(jù)交換與分享的形態(tài)是由數(shù)據(jù)應(yīng)用產(chǎn)品的形態(tài)決定的。對數(shù)據(jù)應(yīng)用產(chǎn)品的分類如圖4所示，越到頂層的數(shù)據(jù)發(fā)揮的價值越大，對大數(shù)據(jù)的需求也越大（如體量、多樣性與全面性、穩(wěn)定性和質(zhì)量）。但是，從數(shù)據(jù)交換的角度來講，越往上層越容易。其實RTB就是一個關(guān)聯(lián)、推薦類的數(shù)據(jù)產(chǎn)品，完成了個人屬性的數(shù)據(jù)交換，銀行的征信也是一樣的。之所以比較容易，是因為交換的數(shù)據(jù)是業(yè)務(wù)鏈條中的最終結(jié)果數(shù)據(jù)，它代表的是業(yè)務(wù)形態(tài)，而如果這個業(yè)務(wù)形態(tài)能夠被公眾和社會接受，交換的數(shù)據(jù)也是沒有問題的，換句話說，此時交換的不是數(shù)據(jù)而是業(yè)務(wù)價值。但是對比、剖析類的數(shù)據(jù)產(chǎn)品要進行交換就非常困難了，F(xiàn)acebook 開放平臺、淘寶開放平臺面臨的一些困境就是基于此，開放出去的是擁有無數(shù)未知和可能性的信息。這也是前幾年很多Data Marketplace模式的公司衰亡的本質(zhì)原因，數(shù)據(jù)一旦被真正地“交換”和“分享”，將造成巨大的未知，如信息的泄露、價值的低估和市場的撕裂。

圖3 構(gòu)建數(shù)據(jù)應(yīng)用的后端結(jié)構(gòu)

圖4 數(shù)據(jù)應(yīng)用產(chǎn)品的分類

而隨著互聯(lián)網(wǎng)和工業(yè)4.0的快速發(fā)展，越來越多的領(lǐng)域需要關(guān)聯(lián)/推薦、預(yù)測類的數(shù)據(jù)產(chǎn)品幫助他們進行業(yè)務(wù)創(chuàng)新和優(yōu)化，快速獲取價值，也就是說，數(shù)據(jù)交換與共享的大幕開始啟動。如何才能迎接這個趨勢而又不陷入已有的錯誤中呢？答案可能是數(shù)據(jù)可“用”不可見。因為從應(yīng)用的角度來看，大家不是需要數(shù)據(jù)，而是需要數(shù)據(jù)在雜交、關(guān)聯(lián)、分析、預(yù)測后，在對應(yīng)應(yīng)用的業(yè)務(wù)領(lǐng)域的價值，也就是說要的是業(yè)務(wù)結(jié)果。如圖5所示，數(shù)據(jù)可被使用，但是數(shù)據(jù)生產(chǎn)資料不能被拿走，而是被鎖在一個可信平臺中，平臺輸出的是業(yè)務(wù)結(jié)果。

數(shù)據(jù)可“用”不可見，還有兩個最關(guān)鍵的事情尚未解決：平等可信的交換/交易模型與機制；定價和市場管理模型與機制。

最近幾年經(jīng)濟學(xué)的成就也集中在了博弈論以及衍生出的市場機制設(shè)計方向。筆者相信，隨著整個社會對大數(shù)據(jù)應(yīng)用的認(rèn)同和需要，工業(yè)企業(yè)+互聯(lián)網(wǎng)企業(yè)+經(jīng)濟學(xué)模型+合理的監(jiān)管一定能找到問題的解法。

整個社會把數(shù)據(jù)作為生產(chǎn)資料來看待才剛剛開始，這也正是大量應(yīng)用蓬勃發(fā)展的契機。很幸運能生活在這個技術(shù)、業(yè)務(wù)劇烈變革，同時社會也在變革的時代，充滿了夢想實現(xiàn)的機會，數(shù)據(jù)人加油！

圖5 數(shù)據(jù)可用不可見

Zhang M S. Future of data technology era. Big Data Research, 2015011

Future of Data Technology Era

Zhang Maosen
Alibaba.com Limited, Beijing 100022, China

Data application is the key element of data technology (DT) era, the difference between DT and information technology (IT) is whether data is the key product element. IT suppose to solve the “process” problem to make business more effective, but DT suppose to solve the “cognitive” and “collaborative” intelligence to make business to renewable and creative. The catalog of data application product was given. A general architecture of data application platform and organization was proposed. The key and difficult point of data sharing and exchange were analyzed.

big data application, data sharing and exchange, information technology, data technology

2015-05-11；

2015-05-13

張茂森. 數(shù)據(jù)技術(shù)時代的未來. 大數(shù)據(jù), 2015011

張茂森，男，阿里巴巴高級技術(shù)專家，2006年加入阿里巴巴，主要從事大數(shù)據(jù)倉庫與開發(fā)平臺、數(shù)據(jù)應(yīng)用產(chǎn)品架構(gòu)和數(shù)據(jù)PaaS平臺等數(shù)據(jù)相關(guān)工作。