開源力量主導大數(shù)據(jù)發(fā)展

蒲松濤

隨著互聯(lián)網(wǎng)的加速普及及應用，基于互聯(lián)網(wǎng)的企業(yè)業(yè)務發(fā)展和技術創(chuàng)新持續(xù)加速。在技術創(chuàng)新方面，可匯集全球各地各類智力資源的開源模式日益成熟，并受到全球主要科技企業(yè)和發(fā)達國家的大力支持。隨著全球各大科技巨頭的競相加入，開源模式正逐漸成為推動大數(shù)據(jù)等各領域技術創(chuàng)新的主導力量。

從大數(shù)據(jù)的發(fā)展歷程可以看出，大數(shù)據(jù)源于開源，并基于開源不斷演進發(fā)展，自身就已具備了開源基因。經(jīng)過若干年的發(fā)展，開源軟件和開源工具已經(jīng)覆蓋到了大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的各個環(huán)節(jié)，基于開源軟件企業(yè)可以快速地構建大數(shù)據(jù)應用平臺，提供豐富的大數(shù)據(jù)開發(fā)和應用工具。根據(jù)統(tǒng)計，大數(shù)據(jù)領域的開源軟件已涵蓋了計算軟件、存儲軟件、查詢軟件、基礎平臺、平臺管理、系統(tǒng)工具、數(shù)據(jù)應用等多種類型。此外，與云計算類似，在大數(shù)據(jù)處理平臺這個基礎性并處于核心地位的環(huán)節(jié)，開源技術的作用至關重要，不管是Hadoop生態(tài)，還是Spark生態(tài)，抑或是其他支線平臺，其絕大多數(shù)都屬于開源軟件，典型代表包括Hadoop生態(tài)的Hadoop、Pig、HBase、ZooKeeper、Hive、Yarn和Impala；Spark生態(tài)的Spark、Shark、Spark Streaming、Bagel、GraphX和Spark SQL；Hypertable、Cassandra、Dryad、S4、Kalka、Haloop、Storm等支線平臺。當前，從小型初創(chuàng)企業(yè)到行業(yè)科技巨頭，各種規(guī)模的企業(yè)都在使用開源軟件和工具處理大數(shù)據(jù)和基于數(shù)據(jù)的預測分析。開源不僅驅動著大數(shù)據(jù)技術的創(chuàng)新演進，也推動著大數(shù)據(jù)產(chǎn)業(yè)的不斷進步，對繁榮大數(shù)據(jù)應用生態(tài)起到不可忽視的作用。

表面上看，大數(shù)據(jù)基礎平臺和主要環(huán)節(jié)的技術創(chuàng)新均是基于開源模式推動的，全球各界人士均有平等的參與和應用機會。但是，從技術演進的確定權和影響力來看，大數(shù)據(jù)領域的技術創(chuàng)新離不開全球主要科技企業(yè)的參與?？萍计髽I(yè)既是大數(shù)據(jù)技術創(chuàng)新的主要力量，同時也圍繞開源世界的游戲規(guī)則不斷擴大行業(yè)影響力，緊抓技術創(chuàng)新前沿，搶占大數(shù)據(jù)技術發(fā)展和標準制定的話語權，培育發(fā)展形成以企業(yè)核心競爭力為中心、以開源為主要方式的新型產(chǎn)業(yè)生態(tài)。一方面，科技企業(yè)是推動大數(shù)據(jù)基礎平臺演進發(fā)展的主導力量，Hadoop的發(fā)展離不開谷歌，Impala和Cassandra的主要貢獻者分別為Cloudera和Facebook，S4則主要由雅虎來主導。另一方面，在數(shù)據(jù)存儲和計算等大數(shù)據(jù)產(chǎn)業(yè)鏈中的重點環(huán)節(jié)中，科技企業(yè)均加大了布局力度，特別是在鍵值存儲和表格存儲等關鍵方向，幾乎在所有的開源項目背后都有大型科技企業(yè)的支持。其中，我國的阿里巴巴就是Tair存儲引擎和OceanBase數(shù)據(jù)庫的主導者。

綜上可見，開源已經(jīng)成為了大數(shù)據(jù)技術創(chuàng)新的主要模式，而且全球各大科技企業(yè)均積極基于開源模式建立產(chǎn)業(yè)發(fā)展新生態(tài)，構筑技術創(chuàng)新的主動權和產(chǎn)業(yè)發(fā)展的制高點。為推動我國大數(shù)據(jù)產(chǎn)業(yè)健康發(fā)展，提高我國企業(yè)在大數(shù)據(jù)領域的競爭優(yōu)勢，掌控產(chǎn)業(yè)發(fā)展的主動權，提出以下建議。

一是加強開源理念傳播和前沿技術跟蹤，要不斷加強研究和跟蹤，加大對開源模式的引導和宣傳，使行業(yè)企業(yè)更好地認識開源、熟悉開源、融入開源。

二是提升開源技術的應用和反饋水平，既要通過建立公共技術服務平臺促進成熟開源技術的應用和融合，也要鼓勵我國企業(yè)通過主動開源和積極反饋等方式提升我國企業(yè)在全球主要開源項目中的影響力。

三是優(yōu)化基于開源的技術創(chuàng)新環(huán)境，積極發(fā)展我國本土的開源社區(qū)，促進形成開源式的技術創(chuàng)新模式，促進開源項目和實踐應用的對接。同時，要構建綜合性的完善的第三方服務體系，促進形成圍繞開源技術創(chuàng)新和應用的良性產(chǎn)業(yè)發(fā)展生態(tài)體系。