從“Big Data地形圖”看發(fā)展

王濤

國內(nèi)在大數(shù)據(jù)技術(shù)領(lǐng)域特別是在基礎(chǔ)架構(gòu)領(lǐng)域，目前基礎(chǔ)仍相對(duì)薄弱，這也造成了國內(nèi)大數(shù)據(jù)更多會(huì)集中在應(yīng)用層面，而真正像數(shù)據(jù)庫等基礎(chǔ)架構(gòu)的廠商可謂屈指可數(shù)

對(duì)在新興事物收到追捧的科技創(chuàng)新行業(yè)中，“大數(shù)據(jù)”目前正在走向理性與成熟。隨著2006年Hadoop（分布式系統(tǒng)基礎(chǔ)架構(gòu)）的成立， 在2011年到2014年間人們對(duì)“大數(shù)據(jù)”這一概念的興趣達(dá)到了狂熱的地步，凡是必提“大數(shù)據(jù)”。而進(jìn)入2015年，隨著大數(shù)據(jù)真正的開始廣泛落地應(yīng)用在各個(gè)領(lǐng)域，也開始為大家所接受。同時(shí)，2015年以來“大數(shù)據(jù)世界”里的“熱血青年”們轉(zhuǎn)而癡迷于VR、AI這些“更新”的領(lǐng)域，大數(shù)據(jù)行業(yè)也開始趨于冷靜，走向成熟。

企業(yè)大數(shù)據(jù)做好并不容易

硅谷著名投資機(jī)構(gòu)Firstmark近期發(fā)布了2016年的大數(shù)據(jù)行業(yè)地形圖（Bigdata Landscape 2016）。展現(xiàn)了如今大數(shù)據(jù)廠商的分布，巨杉數(shù)據(jù)庫是唯一進(jìn)入的中國企業(yè)。

關(guān)于大數(shù)據(jù)，有趣的是，它帶給我們的很有可能并不像最初炒作時(shí)說的那種體驗(yàn)。

在科技界受到廣泛關(guān)注的產(chǎn)品和服務(wù)，往往是那些人們可以觸摸、感覺或涉及得到的，如：手機(jī)應(yīng)用、社交網(wǎng)絡(luò)、可穿戴設(shè)備、虛擬現(xiàn)實(shí)等。然而針對(duì)大數(shù)據(jù)，從根本上說，它是屬于探索型的。當(dāng)然，大數(shù)據(jù)影響著很多消費(fèi)者或企業(yè)的用戶體驗(yàn)。但大數(shù)據(jù)的核心還是企業(yè)技術(shù)，它背后涉及到的數(shù)據(jù)庫、分析等等并沒有幾個(gè)人會(huì)看到。大數(shù)據(jù)同樣是這樣：企業(yè)是不可能在一夜之間將一項(xiàng)新技術(shù)真正運(yùn)用起來的。

現(xiàn)在我們正面臨著一個(gè)更大也更棘手的機(jī)會(huì)：采用大數(shù)據(jù)技術(shù)的企業(yè)范圍更為廣泛了，這涵蓋了從中型企業(yè)到大型的跨國企業(yè)，這些企業(yè)在大數(shù)據(jù)應(yīng)用過程中走了許多彎路：絕大多數(shù)這類公司，現(xiàn)有的技術(shù)基礎(chǔ)設(shè)施都“能夠湊效”，因此就認(rèn)為可以通過“自身升級(jí)”同時(shí)引進(jìn)一些開源的新技術(shù)就可以實(shí)現(xiàn)。結(jié)果最后不僅搭建起來的技術(shù)上有眾多“水土不服”，同時(shí)更多是現(xiàn)有技術(shù)實(shí)力不足以支撐大數(shù)據(jù)新業(yè)務(wù)的需求。

另一個(gè)要去理解的關(guān)鍵點(diǎn)是：大數(shù)據(jù)的成功不是去實(shí)現(xiàn)一項(xiàng)技術(shù)（像Hadoop或者其他公司），而是要求把技術(shù)、人員和流程組合成一條組裝線。你要做到的是獲得數(shù)據(jù)，存儲(chǔ)數(shù)據(jù)，清理數(shù)據(jù)，查詢數(shù)據(jù)，分析數(shù)據(jù)，可視化數(shù)據(jù)。這里面有些是由產(chǎn)品本身去完成的，有些則依靠我們?nèi)祟愖陨?。并且，這一切都需要被無縫整合。最后，要使得它能夠運(yùn)作起來，整個(gè)公司從高級(jí)管理層開始，需要致力于構(gòu)建一個(gè)數(shù)據(jù)驅(qū)動(dòng)的文化，因?yàn)榇髷?shù)據(jù)不是“一件”事情，而是“一整件”事情。

還有最重要的一點(diǎn)，那就是企業(yè)級(jí)大數(shù)據(jù)領(lǐng)域，很難完全靠開源產(chǎn)品打遍天下的。任何大型的開源項(xiàng)目背后一定會(huì)有原廠的商業(yè)廠商提供原生的技術(shù)支持甚至是企業(yè)級(jí)的產(chǎn)品。因此，企業(yè)不應(yīng)該只看到“開源大數(shù)據(jù)技術(shù)”就認(rèn)為“我可以拿過來用了”，這是對(duì)于大數(shù)據(jù)最大的誤區(qū)之一。

所以我認(rèn)為，只有最優(yōu)秀的大數(shù)據(jù)產(chǎn)品加上原廠的專業(yè)的技術(shù)支持，才是真正推動(dòng)大數(shù)據(jù)快速落地的根本。

分析AI與大數(shù)據(jù)分析結(jié)合

在過去的幾個(gè)月里，大數(shù)據(jù)分析的最主要趨勢，是與AI人工智能的結(jié)合上。AI與大數(shù)據(jù)分析的結(jié)合，這有利于幫助大量數(shù)據(jù)的分析，從而得出預(yù)測的結(jié)論。AI 真正幫助人們實(shí)現(xiàn)了最初預(yù)想的“大數(shù)據(jù)的功能”，AI和機(jī)器學(xué)習(xí)在數(shù)據(jù)分析領(lǐng)域就代表了大數(shù)據(jù)下一步進(jìn)化的方向。近期的AlphaGo的成功，就是AI與大數(shù)據(jù)有機(jī)結(jié)合的最好體現(xiàn)。

同時(shí)，對(duì)于大數(shù)據(jù)BI領(lǐng)域，AI的出現(xiàn)也大大提高了BI智能化的腳步。不斷成熟的AI，可以幫助人們處理數(shù)據(jù)，計(jì)算公式，最終統(tǒng)計(jì)和分析出一些特定的適合的模型，這就做到了之前的數(shù)據(jù)科學(xué)家（Data scientists）在建模中的許多工作。

應(yīng)用加速落地市場不斷成熟

既然一些核心基礎(chǔ)架構(gòu)的挑戰(zhàn)已然突破，應(yīng)用層的大數(shù)據(jù)也隨之正在迅速建立起來。

值得一提的是大數(shù)據(jù)應(yīng)用兩大趨勢：

首先，會(huì)有許多許多 “大數(shù)據(jù)原生”應(yīng)用程序，他們由自己最新的大數(shù)據(jù)技術(shù)建成，并代表了一個(gè)有趣的，為客戶提供利用大數(shù)據(jù)而無需自行部署底層大數(shù)據(jù)技術(shù)的方式。

其次，人工智能在應(yīng)用程序?qū)用嫔弦搀w現(xiàn)出了強(qiáng)大的表現(xiàn)。在許多依賴于AI的大數(shù)據(jù)應(yīng)用中，AI的自動(dòng)化程度已經(jīng)接近于100%，甚至于很多場景下大大超過了人工操作的效率和準(zhǔn)確性。

對(duì)于大數(shù)據(jù)的生態(tài)，我們可以從資本市場就可以很好的判斷整個(gè)市場和生態(tài)的情況。第一波的大數(shù)據(jù)技術(shù)公司，基本都在2009～2013年成立，而至2015年以來，大多都經(jīng)歷了多輪的投融資，也在技術(shù)產(chǎn)品和業(yè)務(wù)方向上趨于穩(wěn)定。整個(gè)2015年，大數(shù)據(jù)領(lǐng)域的VC投資額度為 66.4億美金，占到了整個(gè)科技界投資的11%以上，這足以說明問題。另一方面，用戶側(cè)對(duì)于大數(shù)據(jù)的需求不斷增加。根據(jù)IDC的調(diào)查數(shù)據(jù)，到2015年全球新興大數(shù)據(jù)市場規(guī)模已經(jīng)到達(dá)330億美金的規(guī)模，在未來3年內(nèi)市場規(guī)模更將突破500億美元。

中國大數(shù)據(jù)產(chǎn)業(yè)機(jī)遇挑戰(zhàn)并存

看完了硅谷評(píng)選的大數(shù)據(jù)地形圖，作為一個(gè)中國的大數(shù)據(jù)廠商，也是唯一上榜的中國大數(shù)據(jù)廠商。我們既感到開心，也感覺到任重道遠(yuǎn)。

對(duì)于SequoiaDB進(jìn)入這次Landscape，我認(rèn)為主要原因也有以下幾個(gè)：產(chǎn)品技術(shù)方面，我們作為一款標(biāo)準(zhǔn)化、商業(yè)化的新一代分布式數(shù)據(jù)庫產(chǎn)品，我們的產(chǎn)品完全自主研發(fā)并且保持了高性能、穩(wěn)定可靠；用戶方面，我們的數(shù)據(jù)庫產(chǎn)品在金融、電信和互聯(lián)網(wǎng)等行業(yè)都得到大規(guī)模應(yīng)用，客戶包括民生、廣發(fā)銀行、電信移動(dòng)等以及途牛、360安全路由等互聯(lián)網(wǎng)用戶，在企業(yè)用戶中經(jīng)受了考驗(yàn)才是對(duì)我們最大的認(rèn)可；同時(shí)，品牌和技術(shù)生態(tài)構(gòu)件上，我們與硅谷主流大數(shù)據(jù)廠商Cloudera，Databricks，Hortonworks等成為全面戰(zhàn)略合作伙伴，也是國內(nèi)僅有的一家Spark發(fā)行商認(rèn)證的數(shù)據(jù)庫廠商，在海內(nèi)外構(gòu)建了我們自己的大數(shù)據(jù)生態(tài)。此外，我們也獲得了硅谷最具影響力的“紅鯡魚”和“快公司”的創(chuàng)新企業(yè)大獎(jiǎng)，在創(chuàng)新品牌構(gòu)建上也得到了硅谷的認(rèn)可。

對(duì)于中國的大數(shù)據(jù)產(chǎn)業(yè)而言，當(dāng)下可以說是機(jī)遇和挑戰(zhàn)并存。

對(duì)于機(jī)遇，中國的大數(shù)據(jù)目前處在飛速發(fā)展期，傳統(tǒng)的大數(shù)據(jù)需求旺盛的行業(yè)如金融、電信等都在積極的往新一代的大數(shù)據(jù)技術(shù)演進(jìn)，深度挖掘數(shù)據(jù)的價(jià)值；同時(shí)，更多的傳統(tǒng)企業(yè)，如制造業(yè)、貿(mào)易、零售等行業(yè)，在“產(chǎn)業(yè)轉(zhuǎn)型”的背景下，也在尋找轉(zhuǎn)型的方向，其中“大數(shù)據(jù)+”就是重要的方向之一；此外，國家對(duì)于大數(shù)據(jù)的大力支持也為大數(shù)據(jù)的發(fā)展構(gòu)筑了良好的土壤和政策環(huán)境。

機(jī)遇之外，我認(rèn)為更多的也是挑戰(zhàn)。

相比硅谷，國內(nèi)在大數(shù)據(jù)技術(shù)領(lǐng)域特別是在基礎(chǔ)架構(gòu)領(lǐng)域，目前基礎(chǔ)仍相對(duì)薄弱，這也造成了國內(nèi)大數(shù)據(jù)更多會(huì)集中在應(yīng)用層面，而真正像數(shù)據(jù)庫等基礎(chǔ)架構(gòu)的廠商可謂屈指可數(shù)。同時(shí)，國內(nèi)大數(shù)據(jù)的應(yīng)用場景和環(huán)境、特性與海外也有許多不相同的地方，對(duì)于眾多引進(jìn)入國內(nèi)的海外廠商產(chǎn)品，或者是基于海外的開源產(chǎn)品構(gòu)建的平臺(tái)，在實(shí)際應(yīng)用中會(huì)存在“水土不服”的問題。所以只有國內(nèi)原廠廠商真正從基礎(chǔ)做好自己的產(chǎn)品，才能更好解決國內(nèi)大數(shù)據(jù)的需求。（感謝大數(shù)據(jù)專業(yè)媒體數(shù)據(jù)猿提供稿件支持）

責(zé)任編輯 華南