大數(shù)據(jù)要少說(shuō)多做

郭濤

8月22—24日，2014中國(guó)大數(shù)據(jù)國(guó)際高峰論壇在上海舉行。記者隨機(jī)采訪了幾位與會(huì)嘉賓，他們幾乎異口同聲地表示：大數(shù)據(jù)當(dāng)前最緊迫的任務(wù)是加速落地，不能光講概念，關(guān)鍵還是利用大數(shù)據(jù)為業(yè)務(wù)服務(wù)，促進(jìn)應(yīng)用創(chuàng)新。

不要太浮躁

“浮躁”，這是天云大數(shù)據(jù)首席執(zhí)行官雷濤對(duì)當(dāng)前中國(guó)大數(shù)據(jù)市場(chǎng)的整體感覺(jué)。中國(guó)用戶(hù)已經(jīng)逐漸認(rèn)識(shí)到大數(shù)據(jù)的重要性，并且開(kāi)始嘗試做一些大數(shù)據(jù)的處理和分析工作，比如采用Hadoop、內(nèi)存計(jì)算等技術(shù)構(gòu)建分布式的大數(shù)據(jù)平臺(tái)，一些電信運(yùn)營(yíng)商日均處理數(shù)據(jù)的規(guī)模達(dá)到了數(shù)百億條，天云大數(shù)據(jù)幫助銀行客戶(hù)在其核心系統(tǒng)中采用了Hadoop等。但是，大多數(shù)的用戶(hù)仍然習(xí)慣性地將大數(shù)據(jù)與BI（商業(yè)智能）結(jié)合在一起，按照BI的老路子處理大數(shù)據(jù)。而雷濤認(rèn)為，這種作法對(duì)于大數(shù)據(jù)而言，無(wú)論是思想還是實(shí)施方法都是有問(wèn)題的。“我們已經(jīng)邁入DT（Data Technology）時(shí)代。在搭建起適合的大數(shù)據(jù)基礎(chǔ)架構(gòu)平臺(tái)后，我們要學(xué)會(huì)如何更聰明地處理數(shù)據(jù)。在IT時(shí)代，人們更關(guān)注技術(shù)本身，而在DT時(shí)代，信息才是核心。”

北京騰云天下科技有限公司（TalkingData）聯(lián)合創(chuàng)始人、副總裁蔣奇也認(rèn)為，當(dāng)前大數(shù)據(jù)的口號(hào)喊得多，而真正落地的大數(shù)據(jù)應(yīng)用和成功的商業(yè)模式還比較少?！拔覀儑L試用移動(dòng)大數(shù)據(jù)實(shí)現(xiàn)風(fēng)險(xiǎn)管控，雖然實(shí)現(xiàn)起來(lái)難度比較大，而且有失敗的風(fēng)險(xiǎn)，但我們?nèi)匀挥赂业剡M(jìn)行嘗試?！笔Y奇表示，“最初，用戶(hù)不斷產(chǎn)生的新需求促使我們持續(xù)地改進(jìn)自己的產(chǎn)品，增加新功能。后來(lái)，我們觀察到一些新的數(shù)據(jù)消費(fèi)需求，因此在開(kāi)發(fā)通用的移動(dòng)大數(shù)據(jù)平臺(tái)的基礎(chǔ)上，又增加了許多垂直應(yīng)用，繼續(xù)開(kāi)拓游戲、電商、金融等細(xì)分市場(chǎng)?！?/p>

“在大數(shù)據(jù)方面，我們欠缺的是基礎(chǔ)知識(shí)方面的教育，還有大數(shù)據(jù)的實(shí)施和應(yīng)用經(jīng)驗(yàn)?！辟愂耍⊿AS）軟件研究開(kāi)發(fā)（北京）有限公司總經(jīng)理劉政語(yǔ)重心長(zhǎng)，“大數(shù)據(jù)的出現(xiàn)并不是要替代傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)分析，而是一種有益的補(bǔ)充。不能單純強(qiáng)調(diào)大數(shù)據(jù)在處理非結(jié)構(gòu)化數(shù)據(jù)方面的長(zhǎng)處，而忽視或放棄對(duì)結(jié)構(gòu)化數(shù)據(jù)的分析。大數(shù)據(jù)若想發(fā)揮其價(jià)值，還是要依靠原來(lái)的技術(shù)基礎(chǔ)?！?/p>

大數(shù)據(jù)價(jià)值逐漸顯現(xiàn)

移動(dòng)互聯(lián)網(wǎng)領(lǐng)域是大數(shù)據(jù)應(yīng)用的前沿。成立于2011年的TalkingData是一家獨(dú)立的提供移動(dòng)大數(shù)據(jù)服務(wù)的公司。截至今年7月底，TalkingData的數(shù)據(jù)服務(wù)已經(jīng)覆蓋8億臺(tái)終端設(shè)備?！耙郧?，一個(gè)APP的開(kāi)發(fā)團(tuán)隊(duì)沒(méi)有渠道去了解和掌握其開(kāi)發(fā)的APP的用戶(hù)下載和使用情況。我們提供了一個(gè)云端的分析平臺(tái)，可以從終端上提取APP用戶(hù)的行為數(shù)據(jù)并進(jìn)行分析，然后將結(jié)果反饋給APP開(kāi)發(fā)團(tuán)隊(duì)，這樣有利于其產(chǎn)品迭代?！笔Y奇介紹說(shuō)，“我們目前支持的應(yīng)用超過(guò)4萬(wàn)個(gè)，滴滴打車(chē)、聚美優(yōu)品和許多知名的游戲廠商都是我們的用戶(hù)?！?/p>

TalkingData的目標(biāo)客戶(hù)群十分明確，就是個(gè)人消費(fèi)者。蔣奇認(rèn)為，只有為個(gè)人消費(fèi)者提供服務(wù)才能真正展現(xiàn)大數(shù)據(jù)的價(jià)值。雖然服務(wù)的是個(gè)人消費(fèi)者，但TalkingData合作的對(duì)象都是企業(yè)用戶(hù)。幫助這些企業(yè)了解其客戶(hù)的情況，實(shí)現(xiàn)精確營(yíng)銷(xiāo)是TalkingData的主要任務(wù)。蔣奇舉例說(shuō)，以前，采用線(xiàn)下發(fā)卡的方式，由于開(kāi)卡周期長(zhǎng)，招商銀行的信用卡開(kāi)卡率只有30%左右。招商銀行希望改用線(xiàn)上發(fā)卡，但又苦于沒(méi)有好的辦法進(jìn)行信用風(fēng)險(xiǎn)評(píng)估。TalkingData根據(jù)信用卡申請(qǐng)人提交的家庭地址、單位地址和所持移動(dòng)設(shè)備的MAC地址信息，利用先進(jìn)的算法可以反推并核實(shí)信用卡申請(qǐng)人提交的信息是否正確，而這一過(guò)程只需三五分鐘。

利用從終端設(shè)備上獲取的“去敏感”數(shù)據(jù)，TalkingData可以反算出設(shè)備擁有者的個(gè)人信息、喜好等，然后將這些信息提供給傳統(tǒng)行業(yè)的用戶(hù)，幫助他們實(shí)現(xiàn)業(yè)務(wù)增值。蔣奇表示：“未來(lái)，我們希望在機(jī)器學(xué)習(xí)、智能挖掘等技術(shù)方面更進(jìn)一步，同時(shí)在算法上有新的突破?！?/p>

SAS在結(jié)構(gòu)化數(shù)據(jù)分析方面擁有領(lǐng)先的技術(shù)和全面的解決方案。劉政認(rèn)為，現(xiàn)在SAS已經(jīng)可以很好地解決大數(shù)據(jù)“大”這個(gè)問(wèn)題。用傳統(tǒng)的方式處理幾百行數(shù)據(jù)都要很長(zhǎng)時(shí)間，但現(xiàn)在采用多線(xiàn)程、分布式的處理方式后，可以大大提高數(shù)據(jù)處理的效率?！皞鹘y(tǒng)的工作方式是從數(shù)據(jù)庫(kù)中讀取數(shù)據(jù)，然后建模、分析。現(xiàn)在，我們將計(jì)算模型放到數(shù)據(jù)庫(kù)中，不用提取數(shù)據(jù)，在數(shù)據(jù)庫(kù)中即可完成數(shù)據(jù)的處理和分析，從而提高了數(shù)據(jù)處理和分析的速度。利用內(nèi)存處理技術(shù)，我們可以實(shí)時(shí)地進(jìn)行數(shù)據(jù)處理?！眲⒄榻B說(shuō)，“我們將可視化技術(shù)與內(nèi)存技術(shù)相結(jié)合，幾秒鐘就可以把所有數(shù)據(jù)掃描一遍，并得到實(shí)時(shí)處理結(jié)果，這讓大數(shù)據(jù)分析變得非常簡(jiǎn)單，就像使用傻瓜相機(jī)一樣?！?/p>

大數(shù)據(jù)對(duì)各行各業(yè)都產(chǎn)生了積極的影響。人們開(kāi)始利用大數(shù)據(jù)輔助決策，并取得了很好的效果。

數(shù)據(jù)可視化的演進(jìn)

處于大數(shù)據(jù)生態(tài)系統(tǒng)頂端的數(shù)據(jù)可視化引起了越來(lái)越多人的關(guān)注。在數(shù)據(jù)實(shí)時(shí)處理方面頗有心得的SAS公司在數(shù)據(jù)可視化方面也充分展現(xiàn)了其速度上的優(yōu)勢(shì)。據(jù)劉政介紹，SAS公司將內(nèi)存計(jì)算等技術(shù)運(yùn)用于數(shù)據(jù)可視化，即使處理超過(guò)10億行的數(shù)據(jù)也可以實(shí)時(shí)得到結(jié)果。SAS將數(shù)據(jù)的實(shí)時(shí)處理分析與數(shù)據(jù)可視化技術(shù)進(jìn)行了很好的整合。

在數(shù)據(jù)可視化方面有20多年經(jīng)驗(yàn)的Datawatch公司通過(guò)其在中國(guó)的惟一合作伙伴國(guó)泰安金融教育集團(tuán)進(jìn)入了中國(guó)市場(chǎng)。Datawatch公司董事總經(jīng)理Karl Mouantri表示，電信、零售等希望通過(guò)大數(shù)據(jù)促進(jìn)其業(yè)務(wù)發(fā)展的行業(yè)客戶(hù)會(huì)最先使用數(shù)據(jù)可視化工具。在全球，許多知名的金融企業(yè)、IT公司和像波音、沃爾瑪這樣的傳統(tǒng)行業(yè)的大客戶(hù)都采用了Datawatch的數(shù)據(jù)可視化工具。國(guó)泰安金融教育集團(tuán)將自己積累的行業(yè)數(shù)據(jù)與Datawatch的數(shù)據(jù)可視化工具進(jìn)行整合，為中科院的科研數(shù)據(jù)分析提供了解決方案。在中國(guó)市場(chǎng)上，Datawatch并沒(méi)有急功近利，它們希望通過(guò)與國(guó)泰安金融教育集團(tuán)這樣既有遠(yuǎn)見(jiàn)，又在金融、教育等行業(yè)有深厚積累的公司進(jìn)行合作，扎扎實(shí)實(shí)地推進(jìn)業(yè)務(wù)發(fā)展，同時(shí)從中國(guó)的高校起步，加強(qiáng)對(duì)學(xué)生的教育和培訓(xùn)，讓他們對(duì)數(shù)據(jù)可視化有更深入的了解。

Karl Mouantri一直強(qiáng)調(diào)，Datawatch是一家具有顛覆性創(chuàng)新能力的公司，在大數(shù)據(jù)的實(shí)時(shí)處理和可視化技術(shù)方面擁有獨(dú)特的優(yōu)勢(shì)。Datawatch的產(chǎn)品具有直觀的數(shù)據(jù)可視化分析、全面的數(shù)據(jù)過(guò)濾和報(bào)警功能，能夠處理不同來(lái)源的數(shù)據(jù)?！拔覀兗瓤梢蕴幚斫?jīng)過(guò)預(yù)先清洗的數(shù)據(jù)，也可以直接采集原始數(shù)據(jù)?！盞arl Mouantri介紹說(shuō)，“有些經(jīng)過(guò)清洗的數(shù)據(jù)可能會(huì)丟失一些重要的信息。為了得到更準(zhǔn)確的分析結(jié)果，我們可以直接抓取原始數(shù)據(jù)并進(jìn)行處理和展現(xiàn)?！?/p>

Karl Mouantri認(rèn)為，對(duì)于大數(shù)據(jù)來(lái)說(shuō)，數(shù)據(jù)可視化的工作是必須的。數(shù)據(jù)可視化不僅僅服務(wù)于企業(yè)的高層管理人員，而且也是企業(yè)的基層員工必備的工具，比如從事運(yùn)維、倉(cāng)儲(chǔ)工作的員工也需要實(shí)時(shí)查看業(yè)務(wù)的進(jìn)展。Karl Mouantri舉例說(shuō)，在美國(guó)，沃爾瑪超市每天早、中、晚要三次清點(diǎn)貨品，查漏補(bǔ)缺。因此，它們非常需要Datawatch的數(shù)據(jù)實(shí)時(shí)處理和可視化工具，以便實(shí)時(shí)監(jiān)測(cè)數(shù)千種商品的情況?！拔覀円盐譅柆敵械倪@種成功經(jīng)驗(yàn)帶到中國(guó)來(lái)。”Karl Mouantri表示。

不過(guò)，對(duì)于數(shù)據(jù)可視化的作用和必要性，雷濤有不同的觀點(diǎn)。他認(rèn)為，從數(shù)據(jù)采集、存儲(chǔ)到處理、分析，再到可視化，這是傳統(tǒng)BI的思路。但在DT時(shí)代，企業(yè)決策要扁平化，服務(wù)要下沉。

“我們幫助一個(gè)保險(xiǎn)業(yè)的客戶(hù)實(shí)現(xiàn)了數(shù)據(jù)庫(kù)前置，將大數(shù)據(jù)分析的結(jié)果直接推送給18萬(wàn)名銷(xiāo)售代表。我們給出的分析結(jié)果只是一個(gè)簡(jiǎn)單的提示，即某個(gè)銷(xiāo)售人員最應(yīng)該關(guān)注哪個(gè)客戶(hù)，僅此而已。這時(shí)，傳統(tǒng)的數(shù)據(jù)儀表盤(pán)就失去了作用?！崩诐硎荆艾F(xiàn)在，大量的數(shù)據(jù)來(lái)自于物聯(lián)網(wǎng)，傳統(tǒng)的數(shù)據(jù)可視化工具已經(jīng)無(wú)能為力。我們必須采用新的架構(gòu)、工具?！?/p>

鏈 接

2014中國(guó)大數(shù)據(jù)國(guó)際高峰論壇由中科院深圳先進(jìn)技術(shù)研究院、中國(guó)量化投資研究院、復(fù)旦大學(xué)管理學(xué)院、《上海證券報(bào)》社和Datawatch公司共同主辦，500余位國(guó)內(nèi)外大數(shù)據(jù)產(chǎn)業(yè)界、學(xué)術(shù)界的頂尖專(zhuān)家和學(xué)者，以及國(guó)內(nèi)IT、金融、教育、醫(yī)療等多個(gè)領(lǐng)域的代表匯聚一堂，共同探討大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展，分享大數(shù)據(jù)應(yīng)用和創(chuàng)新成果，剖析各行業(yè)數(shù)據(jù)分析難題，尋求解決之道。

論壇以“大數(shù)據(jù)的創(chuàng)新、突破、騰飛”為主題，采用主題報(bào)告加專(zhuān)題論壇的形式。會(huì)議同期還舉辦了大數(shù)據(jù)技術(shù)與應(yīng)用高級(jí)研修班。研修班由中科院深圳先進(jìn)技術(shù)研究院國(guó)泰安金融大數(shù)據(jù)研究中心主辦，聘請(qǐng)了國(guó)內(nèi)外著名的大數(shù)據(jù)專(zhuān)家、學(xué)術(shù)界知名學(xué)者擔(dān)任培訓(xùn)講師。此舉將對(duì)高校大數(shù)據(jù)人才培養(yǎng)、企業(yè)高效管理與創(chuàng)新發(fā)展產(chǎn)生積極的意義。