企業(yè)間大數(shù)據(jù)整合的方法和途徑

北京亞信智慧數(shù)據(jù)科技有限公司 北京 100193

1 企業(yè)間大數(shù)據(jù)整合的意義

我們正處于大數(shù)據(jù)時(shí)代，數(shù)據(jù)已經(jīng)滲透到每一個(gè)行業(yè)的每一個(gè)業(yè)務(wù)職能領(lǐng)域，逐漸成為重要的生產(chǎn)要素，人們對(duì)于海量數(shù)據(jù)的運(yùn)用將預(yù)示著新一輪生產(chǎn)率增長(zhǎng)和消費(fèi)者盈余浪潮的到來(lái)[1]?！按髷?shù)據(jù)”時(shí)代網(wǎng)民和消費(fèi)者的界限正在消弭，企業(yè)的疆界變得模糊，數(shù)據(jù)成為核心資產(chǎn)，并將深刻影響企業(yè)的業(yè)務(wù)模式，甚至重構(gòu)其文化和組織，沒(méi)有任何商業(yè)活動(dòng)領(lǐng)域能夠在這場(chǎng)運(yùn)動(dòng)中獨(dú)善其身[2]。

大數(shù)據(jù)最迷人的地方在于“數(shù)據(jù)外部性”。所謂的“外部性”(Externality)并不是一個(gè)新的概念，經(jīng)濟(jì)學(xué)家在這個(gè)領(lǐng)域的研究，已經(jīng)有上百年的歷史，它是指某件事情的發(fā)生對(duì)原本不相干的第三方產(chǎn)生了影響。比如交通的改善帶來(lái)了周邊居住環(huán)境的提升等。而“數(shù)據(jù)外部性”是指，數(shù)據(jù)的作用完全可能超出其最初收集者的想象、也完全可能超越其最初信息系統(tǒng)設(shè)計(jì)的目的，即同一組數(shù)據(jù)可以在不同的維度上產(chǎn)生不同的價(jià)值和效用，如果我們能不斷發(fā)現(xiàn)、開(kāi)拓新的使用維度，數(shù)據(jù)的能量和價(jià)值就將層層放大[3]?；ヂ?lián)網(wǎng)上展示的千姿百態(tài)的廣告很可能就是利用瀏覽、位置和社交信息進(jìn)行的精確推薦；人口流動(dòng)的趨勢(shì)數(shù)據(jù)為城市規(guī)劃和出行帶來(lái)了便利；運(yùn)營(yíng)商的信令數(shù)據(jù)原本為更好地提供移動(dòng)電話(huà)接續(xù)服務(wù)，但現(xiàn)在被廣泛用來(lái)分析用戶(hù)的各種行為。

大數(shù)據(jù)被比喻為新經(jīng)濟(jì)時(shí)代的石油，但是相比工業(yè)時(shí)代的生產(chǎn)資料，大數(shù)據(jù)有其典型特點(diǎn)。在消費(fèi)觀念從“所有權(quán)”向“使用權(quán)”的轉(zhuǎn)變過(guò)程中，Uber共享汽車(chē)、Airbnb共享房屋這兩者從本質(zhì)上是實(shí)物的共享，實(shí)物被占用了就難以復(fù)用，或者說(shuō)其復(fù)用的邊際成本很高。但數(shù)據(jù)是一種特殊的資產(chǎn)，由于其“復(fù)制”的邊際成本極低，本質(zhì)上是天然過(guò)剩的，所以可以跨越時(shí)間和空間進(jìn)行更大程度地復(fù)用。這背后的意義就在于因?yàn)檫呺H成本低，數(shù)據(jù)可以自由流動(dòng)，而形成了美妙的網(wǎng)絡(luò)效應(yīng)。

最著名的網(wǎng)絡(luò)效應(yīng)評(píng)估方法是梅特卡夫定律(Metcalfe's Law)。它由“以太網(wǎng)之父” Robert M.Metcalfe提出，簡(jiǎn)單地說(shuō)，該定律認(rèn)為在有n個(gè)成員的通信網(wǎng)絡(luò)中，每個(gè)成員可以與其他成員建立n-1個(gè)關(guān)系，如果這些關(guān)系具有同等價(jià)值(注意這個(gè)關(guān)鍵假設(shè))，那么網(wǎng)絡(luò)的總價(jià)值與n(n-1)即n2成正比；而像廣播那樣的單向網(wǎng)絡(luò)，n個(gè)用戶(hù)的連接數(shù)是n個(gè)，因此網(wǎng)絡(luò)價(jià)值與用戶(hù)數(shù)的關(guān)系應(yīng)該是線(xiàn)性的，這就是美國(guó)無(wú)線(xiàn)電和電視廣播的先驅(qū)David Sarnoff提出的薩爾諾夫定律(Sarnoff's Law)——廣播網(wǎng)的價(jià)值與觀眾的數(shù)量成正比；另一方面，在一個(gè)n個(gè)用戶(hù)的網(wǎng)絡(luò)(特別是社交網(wǎng)絡(luò))中，由于可能建立的子組多達(dá)2n-n-1，因此可能形成指數(shù)級(jí)的增長(zhǎng)，于是計(jì)算機(jī)網(wǎng)絡(luò)和軟件業(yè)先驅(qū)David P. Reed提出，網(wǎng)絡(luò)效應(yīng)以2n指數(shù)增長(zhǎng)，即里德定律(Reed's Law)。

這3個(gè)著名定律，都是從網(wǎng)絡(luò)用戶(hù)規(guī)模來(lái)判斷價(jià)值的，區(qū)別只是在于是線(xiàn)性、二次還是指數(shù)關(guān)系。網(wǎng)絡(luò)規(guī)模增加時(shí)，其價(jià)值的增長(zhǎng)顯然應(yīng)該在線(xiàn)性增長(zhǎng)和指數(shù)增長(zhǎng)之間，而通過(guò)Odlyzko et al.的若干定量測(cè)算，一般的通信網(wǎng)絡(luò)的價(jià)值增長(zhǎng)接近nlog(n)[4]?？煊诰€(xiàn)性，但顯著慢于二次增長(zhǎng)，這一點(diǎn)在電話(huà)網(wǎng)絡(luò)和互聯(lián)網(wǎng)中已經(jīng)得到了驗(yàn)證(也從一個(gè)側(cè)面解釋了當(dāng)年的電信和互聯(lián)網(wǎng)泡沫)。同樣，如果數(shù)據(jù)網(wǎng)絡(luò)中的企業(yè)越來(lái)越多，數(shù)據(jù)流動(dòng)產(chǎn)生的價(jià)值也將呈nlog(n)級(jí)別增長(zhǎng)。

2 企業(yè)間數(shù)據(jù)交換使能的模式創(chuàng)新

企業(yè)利用大數(shù)據(jù)創(chuàng)新來(lái)對(duì)商業(yè)模式進(jìn)行系統(tǒng)化設(shè)計(jì)，可以形成整體結(jié)構(gòu)性差異，而這種差異最終會(huì)呈現(xiàn)在企業(yè)特征、產(chǎn)業(yè)鏈定位、行業(yè)定位等多個(gè)層面。從企業(yè)特征層面來(lái)看，可以分為對(duì)內(nèi)的關(guān)鍵業(yè)務(wù)、流程創(chuàng)新和對(duì)外的價(jià)值主張創(chuàng)新兩個(gè)方面，企業(yè)數(shù)據(jù)交換的場(chǎng)景也將作用在這兩個(gè)方面。

2.1 對(duì)內(nèi)的關(guān)鍵業(yè)務(wù)和流程創(chuàng)新

基于大數(shù)據(jù)，可以對(duì)流程進(jìn)行再設(shè)計(jì)，形成解決問(wèn)題的新方法，提高某一業(yè)務(wù)流程的效率或效果。傳統(tǒng)的做法是使用市場(chǎng)調(diào)研等形式人工收集數(shù)據(jù)，基于這些數(shù)據(jù)來(lái)確定產(chǎn)品開(kāi)發(fā)、市場(chǎng)開(kāi)拓等工作。這些企業(yè)雖然有的很早就建立了商務(wù)智能分析系統(tǒng)(BI)，但其數(shù)據(jù)大部分來(lái)自于CRM、ERP、SCM等企業(yè)管理系統(tǒng)，這些系統(tǒng)的數(shù)據(jù)維度和豐度不足夠產(chǎn)生洞察，數(shù)據(jù)質(zhì)量依賴(lài)手工錄入，產(chǎn)生的數(shù)據(jù)洞察基本上是過(guò)去已知的事實(shí)，在變化莫測(cè)的世界里這些知識(shí)的價(jià)值不足。大數(shù)據(jù)做法不是基于人工收集的小量樣本數(shù)據(jù)來(lái)做出決策，而是使用多來(lái)源收集的、多種形式的，而且通常是實(shí)時(shí)的巨大數(shù)據(jù)集合，它已經(jīng)超越了公司在CRM數(shù)據(jù)庫(kù)中擁有的規(guī)則的數(shù)據(jù)集合[5]。除了少量擁有低成本收集大量數(shù)據(jù)的企業(yè)，其余大部分企業(yè)都不具備這樣的條件。

比如商場(chǎng)的選址，傳統(tǒng)的方式是派出調(diào)查人員在相應(yīng)的區(qū)域觀察，通過(guò)問(wèn)卷收集信息。麥當(dāng)勞的選址就是這樣進(jìn)行的，這樣的方式費(fèi)時(shí)費(fèi)力，所以后來(lái)肯德基的策略是選擇麥當(dāng)勞選擇的位置開(kāi)店。在需要快速擴(kuò)張的今天，低成本、正確的選擇非常重要。除了可以從交通信息中獲取道路的通行情況外，選址更重要的就是要用到移動(dòng)運(yùn)營(yíng)商和部分互聯(lián)網(wǎng)分析服務(wù)提供商的位置分析數(shù)據(jù)，前者如國(guó)內(nèi)的三大運(yùn)營(yíng)商，后者如TalkingData等。運(yùn)營(yíng)商利用基站采集的信令數(shù)據(jù)再綜合用戶(hù)上網(wǎng)、消費(fèi)行為數(shù)據(jù)進(jìn)行分析，互聯(lián)網(wǎng)分析服務(wù)提供商則利用插入各種APP中的SDK從用戶(hù)移動(dòng)設(shè)備上采集信息。兩者的信息略有不同，但都能反應(yīng)群體用戶(hù)在時(shí)間和空間方面的特征。通過(guò)這樣的分析，商家可以清楚地了解周邊區(qū)域的人口流動(dòng)規(guī)律，包括工作日、周末和節(jié)假日的出行規(guī)律。更重要的是能精確分析用戶(hù)的構(gòu)成、喜好。這有助于其安排促銷(xiāo)活動(dòng)、規(guī)劃營(yíng)業(yè)時(shí)間。對(duì)于某些連鎖經(jīng)營(yíng)的企業(yè)，還可以快速?gòu)?fù)制之前的成功選址經(jīng)驗(yàn)，比如在年輕時(shí)尚的人員聚集地開(kāi)設(shè)新興的娛樂(lè)設(shè)施等。

基于氣象數(shù)據(jù)進(jìn)行預(yù)測(cè)并進(jìn)行農(nóng)業(yè)生產(chǎn)的組織并不是什么新鮮事，隨著政府?dāng)?shù)據(jù)的開(kāi)放，越來(lái)越多的企業(yè)可以免費(fèi)獲得歷史數(shù)據(jù)。除了農(nóng)業(yè)領(lǐng)域受益于這些數(shù)據(jù)流動(dòng)之外，工業(yè)領(lǐng)域也開(kāi)始使用氣象數(shù)據(jù)來(lái)組織自己的生產(chǎn)，比如空調(diào)企業(yè)通過(guò)分析氣象數(shù)據(jù)來(lái)預(yù)測(cè)銷(xiāo)量，并根據(jù)不同省份的需求來(lái)組織廣告投放和市場(chǎng)營(yíng)銷(xiāo)費(fèi)用。甚至關(guān)系更不明顯的金融領(lǐng)域也因此受益，美國(guó)意外天氣保險(xiǎn)公司Climate利用政府開(kāi)放氣象數(shù)據(jù)進(jìn)行預(yù)測(cè)，并將提供農(nóng)作物的保險(xiǎn)服務(wù)。國(guó)內(nèi)的一些保險(xiǎn)公司也在嘗試推出天氣保險(xiǎn)服務(wù)，無(wú)論是暴雨還是高溫，都能成為保險(xiǎn)的標(biāo)的，企業(yè)可以選擇天氣保險(xiǎn)的形式對(duì)沖天氣對(duì)生產(chǎn)活動(dòng)的影響。

2.2 對(duì)外的價(jià)值主張創(chuàng)新

大數(shù)據(jù)因其能不斷接近用戶(hù)真實(shí)需求的潛能可以為企業(yè)提供精準(zhǔn)的價(jià)值主張。用戶(hù)的細(xì)微行為，會(huì)直接暴露內(nèi)心的真實(shí)想法，企業(yè)因此能有機(jī)會(huì)洞悉用戶(hù)的真實(shí)需求。而當(dāng)人們的興趣、愛(ài)好、個(gè)人信息等都被抽象化為數(shù)據(jù)后，以這些特征對(duì)用戶(hù)進(jìn)行準(zhǔn)確細(xì)分便成為了可能[6]。

比如利用CRM系統(tǒng)記錄客戶(hù)接觸信息，以便更好地對(duì)客戶(hù)進(jìn)行營(yíng)銷(xiāo)和服務(wù)，這是傳統(tǒng)BI系統(tǒng)的主要功能。但存在幾個(gè)問(wèn)題：首先是“冷啟動(dòng)”問(wèn)題，新客戶(hù)來(lái)的時(shí)候，企業(yè)并不能掌握其習(xí)性，無(wú)法基于數(shù)據(jù)優(yōu)化本次接觸；其次是CRM系統(tǒng)所記錄的只是本企業(yè)領(lǐng)域內(nèi)的數(shù)據(jù)，比如電信運(yùn)營(yíng)商紀(jì)錄的是與用戶(hù)通信行為相關(guān)的信息，社交網(wǎng)站紀(jì)錄的是用戶(hù)線(xiàn)上社交行為，商場(chǎng)會(huì)員卡系統(tǒng)記錄的是線(xiàn)下購(gòu)物的行為，碎片化的數(shù)據(jù)并不能充分刻畫(huà)客戶(hù)行為。如果用戶(hù)特征數(shù)據(jù)能在企業(yè)間流動(dòng)，提供數(shù)據(jù)的企業(yè)并不會(huì)受到損失，但獲取數(shù)據(jù)的企業(yè)將解決上述兩個(gè)問(wèn)題。

因?yàn)橐呀?jīng)提前擁有用戶(hù)的信息，所以新用戶(hù)初次到訪(fǎng)時(shí)就能識(shí)別其喜好，從而進(jìn)行精確營(yíng)銷(xiāo)和推薦，在促進(jìn)銷(xiāo)售的同時(shí)還能讓客戶(hù)感到更加舒心。由于從婚戀網(wǎng)站、旅游網(wǎng)站、社交媒體、餐飲娛樂(lè)等信息源獲取了用戶(hù)的360度標(biāo)簽信息，企業(yè)可以結(jié)合內(nèi)部數(shù)據(jù)進(jìn)行l(wèi)ookalike分析，基于已有用戶(hù)對(duì)未知用戶(hù)進(jìn)行分群。

已有的用戶(hù)因?yàn)樨S富了更多的標(biāo)簽信息，因而可以更加全面地了解，每一次接觸活動(dòng)都將因此而優(yōu)化，每一個(gè)寶貴的接觸機(jī)會(huì)都會(huì)被充分利用起來(lái)。主動(dòng)接觸和被營(yíng)銷(xiāo)也將由于更加了解客戶(hù)而避免反感。甚至由于擁有了多角度的ID對(duì)應(yīng)關(guān)系，可以實(shí)現(xiàn)在社交網(wǎng)絡(luò)上的信息流廣告、基于移動(dòng)設(shè)備號(hào)的信息推送等多渠道的營(yíng)銷(xiāo)手段。

不過(guò)，企業(yè)間數(shù)據(jù)交換仍存在幾個(gè)障礙：首先是用戶(hù)隱私問(wèn)題，此種交換是否征得用戶(hù)同意是關(guān)鍵；其次是多源數(shù)據(jù)整合需要關(guān)聯(lián)匹配，否則碎片化的數(shù)據(jù)無(wú)法形成整體360度視圖。

3 企業(yè)間大數(shù)據(jù)整合的方法

3.1 基于ID的整合

ID(Identifier)是指識(shí)別用戶(hù)的唯一標(biāo)識(shí)。傳統(tǒng)企業(yè)通過(guò)CRM中的用戶(hù)ID或者客戶(hù)ID來(lái)進(jìn)行識(shí)別。但如果涉及企業(yè)間大數(shù)據(jù)整合，就必須找到一種ID映射的方法。

最簡(jiǎn)單的方式是使用外部唯一性ID，比如身份證或者手機(jī)號(hào)碼。每個(gè)企業(yè)如有可能都會(huì)記錄這些信息。限制使用這種外部唯一性ID的因素可能是隱私和安全，因?yàn)榘凑漳壳爸袊?guó)的法律這些數(shù)據(jù)是禁止交換的；按照歐洲的法律，這些屬于典型的PII(Personally Identifiable Information，個(gè)人驗(yàn)證信息)，也是禁止利用的。另外還可能存在的問(wèn)題是數(shù)據(jù)質(zhì)量問(wèn)題，通常由于隱私或者其他的原因，用戶(hù)不愿意使用真實(shí)的身份證信息，其手機(jī)號(hào)碼也會(huì)由于曾經(jīng)變化而變得不可靠。在使用外部唯一性ID方面，電信運(yùn)營(yíng)商擁有獨(dú)一無(wú)二的優(yōu)勢(shì)。由于實(shí)名制也是法律要求，所以電信運(yùn)營(yíng)商掌握的身份證信息質(zhì)量非常高，而且電信運(yùn)營(yíng)商天然掌握用戶(hù)電話(huà)號(hào)碼的變化。當(dāng)然由于法律要求，電信運(yùn)營(yíng)商不可能直接將這些數(shù)據(jù)交換出去，但是可以用這些數(shù)據(jù)作為連接器幫助其他企業(yè)將分散的ID管理起來(lái)。

目前企業(yè)間大數(shù)據(jù)整合用得最多的ID就是互聯(lián)網(wǎng)設(shè)備ID，在桌面互聯(lián)網(wǎng)時(shí)代通常使用Cookie來(lái)唯一標(biāo)識(shí)某個(gè)瀏覽器，移動(dòng)互聯(lián)網(wǎng)時(shí)代多使用Android ID和Apple的IDFA，或者IMEI和MAC來(lái)標(biāo)識(shí)設(shè)備。這種互聯(lián)網(wǎng)標(biāo)識(shí)符到底是否屬于PII的范疇在中國(guó)的法律中還屬于空白地帶，而且它們既能從網(wǎng)絡(luò)上捕獲，也能從終端的APP中讀取，擁有跨越時(shí)間和空間建立連接的天然屬性。當(dāng)然，使用這種互聯(lián)網(wǎng)設(shè)備ID仍有缺陷，主要在于其很難和用戶(hù)在真實(shí)世界的行為(即線(xiàn)下數(shù)據(jù))關(guān)聯(lián)起來(lái)。

要想將企業(yè)間數(shù)據(jù)整合在一起，特別是涉及個(gè)體數(shù)據(jù)的整合，就必須選擇一種合適的ID將數(shù)據(jù)關(guān)聯(lián)起來(lái)。而且這種ID最好能融合線(xiàn)上和線(xiàn)下、跨越時(shí)間和空間。這樣看來(lái)，電信運(yùn)營(yíng)商的ID數(shù)據(jù)或者能提供的ID鏈接服務(wù)將是其中最重要的一環(huán)。

美國(guó)電信運(yùn)營(yíng)商Verizon曾經(jīng)嘗試提供一種軟ID，類(lèi)似Cookie。具體的流程是在Verizon的流量中指向廣告交易市場(chǎng)(AD Exchange)的部分插入一個(gè)HTTP的Header，其中將用戶(hù)的PII進(jìn)行按照時(shí)間和訪(fǎng)問(wèn)目的地的Hash編碼。這樣廣告交易市場(chǎng)的流量中就能收到這些軟ID，只要該廣告交易市場(chǎng)在指定的時(shí)間內(nèi)來(lái)Verizon查詢(xún)用戶(hù)的行為標(biāo)簽，Verizon就可以響應(yīng)這些應(yīng)答。因?yàn)榘凑諘r(shí)間和應(yīng)用服務(wù)商進(jìn)行了編碼，Verizon也不用擔(dān)心這些數(shù)據(jù)的使用不在當(dāng)前的上下文(Context)場(chǎng)景中。

微信的OpenID也采用了類(lèi)似的方法，微信公眾號(hào)后臺(tái)程序接收到微信傳入的OpenID時(shí)，用戶(hù)訪(fǎng)問(wèn)每個(gè)不同的微信公眾號(hào)所產(chǎn)生的OpenID是不一樣的，同樣是利用用戶(hù)ID和公眾號(hào)ID進(jìn)行混合編碼得到。這種場(chǎng)景可以阻止公眾號(hào)后臺(tái)收集微信用戶(hù)的行為標(biāo)簽，阻礙眾多公眾號(hào)將數(shù)據(jù)拼接起來(lái)。既加強(qiáng)了用戶(hù)隱私的保護(hù)，同時(shí)也保證了微信對(duì)數(shù)據(jù)的掌控力。

3.2 基于主題的整合

所謂主題，就是在進(jìn)行數(shù)據(jù)規(guī)劃和設(shè)計(jì)時(shí)，圍繞著某一項(xiàng)特定任務(wù)或活動(dòng)，對(duì)其內(nèi)容進(jìn)行的系統(tǒng)歸納和描述。通過(guò)將數(shù)據(jù)歸類(lèi)為廣義的、功能上獨(dú)立的、沒(méi)有重疊的主題，可以在一定程度上解決應(yīng)用之間的數(shù)據(jù)共享和互通的問(wèn)題。

主題數(shù)據(jù)庫(kù)是共享主題數(shù)據(jù)資源的主要存在形式，它在數(shù)據(jù)匯集、歸檔和服務(wù)諸方面具有與開(kāi)展數(shù)據(jù)共享管理相適應(yīng)的能力。從資源組合的角度，主題數(shù)據(jù)庫(kù)可理解為具有特定主題的數(shù)據(jù)集的集合，為滿(mǎn)足特定主題而專(zhuān)門(mén)組織的數(shù)據(jù)資源。

通過(guò)基于主題的大數(shù)據(jù)整合分析，可以尋找新的價(jià)值創(chuàng)造方向和路徑。例如在汽車(chē)行業(yè)，通用汽車(chē)公司利用大數(shù)據(jù)對(duì)核心技術(shù)進(jìn)行主題分析，充分挖掘數(shù)據(jù)信息背后所隱含的行業(yè)技術(shù)關(guān)聯(lián)，尋找有效途徑延長(zhǎng)燃?xì)鉁u輪、噴氣式發(fā)動(dòng)機(jī)和其他重型設(shè)備的運(yùn)行時(shí)間，這為傳統(tǒng)制造業(yè)尋找新的價(jià)值增長(zhǎng)點(diǎn)提供了思路。又如在航空業(yè)，PASSUR Aerospace的RightETA服務(wù)通過(guò)搜集天氣、航班日程表等公開(kāi)數(shù)據(jù)，結(jié)合自身獨(dú)立收集的其他影響航班因素的非公開(kāi)數(shù)據(jù)——比如通過(guò)自建的無(wú)源雷達(dá)站收集某區(qū)域領(lǐng)空內(nèi)的飛機(jī)數(shù)據(jù)——對(duì)“航班到港時(shí)間”這一主題進(jìn)行了綜合預(yù)測(cè)，大大縮短了預(yù)測(cè)和實(shí)際抵達(dá)之間的時(shí)間差，航空公司依據(jù)它們提供的航班到達(dá)時(shí)間做計(jì)劃，能為每個(gè)機(jī)場(chǎng)每年節(jié)省數(shù)百萬(wàn)美元。

此外，對(duì)外部弱相關(guān)的數(shù)據(jù)基于主題進(jìn)行整合，還可以發(fā)現(xiàn)很多“新知”，獲得競(jìng)爭(zhēng)優(yōu)勢(shì)。這一點(diǎn)在金融行業(yè)最為明顯，當(dāng)多數(shù)人還在尋找傳統(tǒng)的金融數(shù)據(jù)時(shí)，華爾街對(duì)非傳統(tǒng)數(shù)據(jù)的需求正與日俱增。從過(guò)去的股票數(shù)據(jù)、公司財(cái)務(wù)數(shù)據(jù)，到現(xiàn)在的網(wǎng)民情緒數(shù)據(jù)，互聯(lián)網(wǎng)使得投資者們有史以來(lái)第一次可以接近真正的群眾智慧，親自測(cè)量彌漫在市場(chǎng)上的恐懼、貪婪、希望和絕望的程度。但隨著時(shí)間的推移，這些“新”數(shù)據(jù)將擴(kuò)散到更廣泛的受眾，而市場(chǎng)則會(huì)向新的競(jìng)爭(zhēng)優(yōu)勢(shì)源前進(jìn)。例如RS Metrics使用衛(wèi)星圖像測(cè)量各商店的客流量，它近乎實(shí)時(shí)地公布了4月和5月客流量的上升。2015年，在投資者們被JCPenney的2季度報(bào)告所震驚時(shí)，那些購(gòu)買(mǎi)了RS Metrics服務(wù)的對(duì)沖基金早已收獲頗豐。越來(lái)越多的非傳統(tǒng)數(shù)據(jù)源正進(jìn)入市場(chǎng)，那些能最快接觸到這些信息的人，將會(huì)保持對(duì)市場(chǎng)的領(lǐng)先。

4 企業(yè)間數(shù)據(jù)流動(dòng)過(guò)程中的障礙

雖然企業(yè)間數(shù)據(jù)流動(dòng)會(huì)產(chǎn)生巨大的價(jià)值，激發(fā)網(wǎng)絡(luò)效應(yīng)，促進(jìn)商業(yè)和社會(huì)進(jìn)步。但是如果其中的“摩擦力”太大，同樣會(huì)使得數(shù)據(jù)價(jià)值的發(fā)揮極大衰減。企業(yè)間數(shù)據(jù)流動(dòng)的障礙主要包括：尋找成本、實(shí)施成本、信任成本和外部成本。

4.1 尋找成本

無(wú)論是Web 1.0還是Web 2.0，無(wú)論是桌面互聯(lián)網(wǎng)時(shí)代還是移動(dòng)互聯(lián)網(wǎng)時(shí)代，激發(fā)網(wǎng)絡(luò)效應(yīng)最重要的就是信息聚合，如果尋找信息的成本過(guò)高將導(dǎo)致使用不便。

最早有Yahoo提供人工錄入的信息聚合，之后有了以Google為代表的搜索引擎進(jìn)行自動(dòng)的信息聚合。Web 2.0時(shí)代的社交網(wǎng)站其實(shí)也提供了社交信息的聚合，降低了尋找成本，讓大家能方便地了解朋友的動(dòng)態(tài)。當(dāng)下的大眾點(diǎn)評(píng)、美團(tuán)、滴滴、e代駕、今日頭條都是通過(guò)信息聚合降低了信息的尋找成本，只有通過(guò)這樣的方式，網(wǎng)絡(luò)效應(yīng)才能被順利激發(fā)出來(lái)。

數(shù)據(jù)流動(dòng)也面臨同樣的問(wèn)題，如果依賴(lài)數(shù)據(jù)提供方和數(shù)據(jù)需求方點(diǎn)對(duì)點(diǎn)去進(jìn)行鏈接未免代價(jià)太高，高的邊際成本使得雙方的利益都無(wú)法達(dá)成。參考實(shí)體經(jīng)濟(jì)的例子，目前國(guó)內(nèi)成立了一批數(shù)據(jù)交易所，比如武漢長(zhǎng)江大數(shù)據(jù)交易所、哈爾濱和廣州大數(shù)據(jù)交易所，都是為了解決這個(gè)難題。

4.2 實(shí)施成本

正式進(jìn)行數(shù)據(jù)對(duì)接的時(shí)候，必須要考慮到數(shù)據(jù)傳輸?shù)姆绞?、協(xié)議以及數(shù)據(jù)本身的格式。由于大數(shù)據(jù)時(shí)代剛來(lái)臨不久，目前缺乏標(biāo)準(zhǔn)的數(shù)據(jù)交換格式定義，數(shù)據(jù)的交換過(guò)程中直接程序?qū)硬⒉蝗菀住?/p>

在英國(guó)開(kāi)放知識(shí)基金會(huì)(Open Knowledge Foundation)對(duì)“開(kāi)放”的定義中，包括了非歧視性、機(jī)器可讀性和開(kāi)放授權(quán)性3項(xiàng)基本元素[7]。其中“機(jī)器可讀性”即是對(duì)數(shù)據(jù)釋放的格式設(shè)定的標(biāo)準(zhǔn)，即數(shù)據(jù)一定被提供在一個(gè)可用也易用的數(shù)據(jù)格式下，最好能直接裝入數(shù)據(jù)庫(kù)，或者由R等軟件讀取。在企業(yè)間大數(shù)據(jù)整合中，這個(gè)工作會(huì)更加難，因?yàn)樵谶@里會(huì)遇到真正的海量數(shù)據(jù)，而且需要將外部數(shù)據(jù)與企業(yè)數(shù)據(jù)進(jìn)行整合。實(shí)施成本如果過(guò)高，同樣會(huì)阻礙大數(shù)據(jù)價(jià)值發(fā)揮。

4.3 信任成本

由于數(shù)據(jù)可以低成本無(wú)損復(fù)制，因此需要解決數(shù)據(jù)可控的問(wèn)題。在一個(gè)信任缺位的環(huán)境里，通過(guò)合適的機(jī)制降低雙方的信任成本是非常關(guān)鍵的。

雙方直接進(jìn)行點(diǎn)對(duì)點(diǎn)數(shù)據(jù)流動(dòng)具備簡(jiǎn)單的信任模式，但數(shù)據(jù)提供方仍舊會(huì)擔(dān)心需求方獲取到數(shù)據(jù)后，是否按照契約將數(shù)據(jù)的應(yīng)用限定在指定的范圍，是否會(huì)將數(shù)據(jù)轉(zhuǎn)賣(mài)或是加工形成更全面的數(shù)據(jù)后進(jìn)行再銷(xiāo)售。這也是為什么前文中Verizon和微信通過(guò)加密ID的形式將數(shù)據(jù)的使用限定在指定的上下文場(chǎng)景的原因。

但按照4.1所述，一個(gè)成熟的流動(dòng)模式避免不了數(shù)據(jù)中介(Data Broker)的產(chǎn)生，數(shù)據(jù)交易市場(chǎng)就是中介的一種形式。引入了中介的三方模式帶來(lái)了更多的信任問(wèn)題。如果數(shù)據(jù)在交易市場(chǎng)進(jìn)行交易，那么交易所是否會(huì)截流、監(jiān)聽(tīng)數(shù)據(jù)呢？

4.4 外部成本

大數(shù)據(jù)具備迷人的外部性效應(yīng)，但數(shù)據(jù)外部性有正、負(fù)之分，負(fù)的外部性可能會(huì)危及國(guó)家安全、侵犯公民隱私。比如保險(xiǎn)公司獲取了用戶(hù)的健康檢查、醫(yī)療記錄、基因測(cè)序結(jié)果就有可能進(jìn)行歧視性定價(jià)；又如獲取到用戶(hù)個(gè)人隱私信息，比如乘機(jī)記錄，就可能被利用來(lái)做電信詐騙等。因此必須保證數(shù)據(jù)流動(dòng)的過(guò)程中不會(huì)影響第三方的權(quán)益，可以將這些影響也納入到數(shù)據(jù)流動(dòng)的成本中進(jìn)行考慮。

政府的法律法規(guī)有所滯后，政府的行業(yè)監(jiān)管難免遺漏。最自然、最有效的做法就是讓獨(dú)立的第三方參與到數(shù)據(jù)流動(dòng)的過(guò)程中。通過(guò)合理的機(jī)制讓第三方授權(quán)數(shù)據(jù)的流動(dòng)，從而讓數(shù)據(jù)流動(dòng)的整個(gè)過(guò)程暴露在陽(yáng)光下。

5 “中心化”和“去中心化”的數(shù)據(jù)流動(dòng)模式

理想的數(shù)據(jù)流動(dòng)模式會(huì)通過(guò)恰當(dāng)?shù)募夹g(shù)機(jī)制將第4章中的四項(xiàng)成本盡可能降到最低。

候選的數(shù)據(jù)流動(dòng)模式可以是“中心化”(Centralized)，這種模式一般是自上而下構(gòu)建，通常在一個(gè)受信任的環(huán)境，比如在一個(gè)大型集團(tuán)企業(yè)內(nèi)部。由于信息的集中和強(qiáng)制性的數(shù)據(jù)獲取規(guī)范以及與之配套的考核要求，這樣的數(shù)據(jù)流動(dòng)模式通常是高效的。

比如中國(guó)移動(dòng)從2004年開(kāi)始構(gòu)建的兩級(jí)經(jīng)營(yíng)分析系統(tǒng)，其中在總部運(yùn)行的一級(jí)經(jīng)營(yíng)分析系統(tǒng)強(qiáng)制性從各省經(jīng)營(yíng)分析系統(tǒng)收集信息，要求在指定的時(shí)間按照指定的格式將指定的數(shù)據(jù)傳送到指定的接口機(jī)。配套有總部對(duì)省公司的考核指標(biāo)來(lái)確保數(shù)據(jù)的及時(shí)性、準(zhǔn)確性。

集中式至上而下構(gòu)建一個(gè)“中心化”的數(shù)據(jù)流動(dòng)模式固然高效，但這種精密的模式因缺少信任難以擴(kuò)展到企業(yè)間，也難以形成全球化的擴(kuò)展。參考互聯(lián)網(wǎng)構(gòu)建信息流動(dòng)的模式[8]，“去中心化”(Decentralized)的模式更適合在更大規(guī)模和更松散的企業(yè)之間構(gòu)建數(shù)據(jù)流動(dòng)。

如圖1所示，“去中心化”的數(shù)據(jù)流動(dòng)過(guò)程中，控制流和信息流分離，就像DNS協(xié)議一樣；數(shù)據(jù)的查找通過(guò)一系列的目錄服務(wù)實(shí)現(xiàn)，當(dāng)找到了數(shù)據(jù)所在的目的地之后直接與對(duì)方建立連接；建立連接的過(guò)程可以通過(guò)制定標(biāo)準(zhǔn)協(xié)議的方式來(lái)實(shí)現(xiàn)自動(dòng)化，客戶(hù)端或者SDK可以通過(guò)這些協(xié)議對(duì)數(shù)據(jù)進(jìn)行訪(fǎng)問(wèn)和使用。

圖1 “去中心化”的數(shù)據(jù)流通模式

這種“去中心化”數(shù)據(jù)流動(dòng)模式的創(chuàng)新點(diǎn)在于：中心化的環(huán)節(jié)僅提供必要的服務(wù)，比如認(rèn)證、鑒權(quán)和計(jì)費(fèi)等環(huán)節(jié)；通過(guò)將“權(quán)力”賦給參與數(shù)據(jù)流動(dòng)的節(jié)點(diǎn)，降低了信任成本；中心化的數(shù)據(jù)登記環(huán)節(jié)提供豐富透明的供需信息，降低了尋找成本；通過(guò)各種預(yù)定義的數(shù)據(jù)交換協(xié)議、機(jī)器可讀的格式，降低了實(shí)施成本；通過(guò)將第三方引入到數(shù)據(jù)授權(quán)的過(guò)程中，降低了外部成本。從而有效降低了數(shù)據(jù)流動(dòng)過(guò)程中的各項(xiàng)成本。

6 結(jié)束語(yǔ)

在大數(shù)據(jù)時(shí)代，通過(guò)信息透明化可以釋放巨大的價(jià)值，形成數(shù)據(jù)驅(qū)動(dòng)的競(jìng)爭(zhēng)優(yōu)勢(shì)。但要充分發(fā)揮數(shù)據(jù)的價(jià)值，就需要產(chǎn)生新的管理規(guī)則，讓更多的節(jié)點(diǎn)利用同一種協(xié)議參與數(shù)據(jù)流動(dòng)，從而激發(fā)網(wǎng)絡(luò)效應(yīng)。上述“去中心化”的數(shù)據(jù)流動(dòng)協(xié)議的嘗試，目前已由中關(guān)村大數(shù)據(jù)產(chǎn)業(yè)聯(lián)盟數(shù)據(jù)交換標(biāo)準(zhǔn)專(zhuān)業(yè)委員會(huì)提出并開(kāi)源(開(kāi)源地址：https://github.com/datahub-dataos)，但只有更多的企業(yè)能接入其中并共同完善，才能真正構(gòu)建數(shù)據(jù)互聯(lián)網(wǎng)，充分釋放大數(shù)據(jù)的價(jià)值。

參考文獻(xiàn)

[1]Manyika J, Chui M, Brown B, et al. Big data: The next frontier for innovation, competition, and productivity[R].McKinsey Quarterly, 2011

[2]McAfee A, Brynjolfsson E, Davenport T H, et al. Big data. The management revolution[J]. Harvard Business Review, 2012, 90(10): 61-67

[3]涂子沛.數(shù)據(jù)外部性這把“大數(shù)據(jù)之劍”[EB/OL]. (2015-01-04)[2016-07-28]. http://tuzipei.baijia.baidu.com/article/41606

[4]Odlyzko A, Tilly B. A refutation of Metcalfe's Law and a better estimate for the value of networks and network interconnections[R]. March, 2, 2005

[5]Goyal M, Hancock M Q, Hatami H. Selling into Micromarkets[J]. Harvard Business Review, 2012, 89(7-8):78-86

[6]李文蓮,夏健明.基于“大數(shù)據(jù)”的商業(yè)模式創(chuàng)新[J].中國(guó)工業(yè)經(jīng)濟(jì),2013(5):83-95

[7]高豐.開(kāi)放數(shù)據(jù):概念、現(xiàn)狀與機(jī)遇[J].大數(shù)據(jù),2015,1(2):9-18

[8]Baran P. On distributed communications networks[J].Communications Systems IEEE Transactions on,1964,12(1):1-9