Hadoop上的中國神獸

趙艷秋

“一流企業(yè)做開源，二流企業(yè)做品牌?！边@是Kyligence公司聯(lián)合創(chuàng)始人兼CEO韓卿的行業(yè)新說。

當(dāng)開源技術(shù)被廣泛使用的時(shí)候，也就成了事實(shí)上的標(biāo)準(zhǔn)，從Hadoop已經(jīng)成為事實(shí)上的大數(shù)據(jù)標(biāo)準(zhǔn)就可見一斑。

韓卿及其團(tuán)隊(duì)在過去幾年為中國開源界在國際舞臺(tái)贏得了歷史性突破。2013年，還在eBay工作的他發(fā)現(xiàn)，在新興的大數(shù)據(jù)平臺(tái)Hadoop之上，缺乏標(biāo)準(zhǔn)的、快速的數(shù)據(jù)分析技術(shù)。于是，韓卿團(tuán)隊(duì)從無到有打造了超大規(guī)模數(shù)據(jù)分析技術(shù)麒麟（Apache Kylin）。它能在Hadoop上提供毫秒級(jí)的標(biāo)準(zhǔn)SQL查詢，更具備處理PB級(jí)數(shù)據(jù)的能力。2014年，在eBay應(yīng)用Kylin的生產(chǎn)系統(tǒng)上線后，這個(gè)項(xiàng)目被開源出來，并很快加入了Apache軟件基金會(huì)成為其孵化項(xiàng)目之一。

開源是一個(gè)態(tài)度問題

“我個(gè)人認(rèn)為，特別是在基礎(chǔ)技術(shù)領(lǐng)域，開源一定是未來的一種方式和標(biāo)準(zhǔn)?！表n卿說，“一個(gè)項(xiàng)目，如果能做成一種使用率很高的開源技術(shù)，其實(shí)也就成了行業(yè)的一個(gè)標(biāo)準(zhǔn)?！?/p>

開源后，Kylin成為Apache軟件基金會(huì)中非?；钴S的社群之一，并在2015年成為Apache頂級(jí)項(xiàng)目，這是首個(gè)來自中國的Apache 頂級(jí)項(xiàng)目，與Hadoop、Spark處于一個(gè)級(jí)別。韓卿也成為首個(gè)也是目前唯一的來自中國的Apache軟件基金會(huì)副總裁。

百度、美團(tuán)、京東、今日頭條、國泰君安、中國移動(dòng)、OPPO等擁有海量數(shù)據(jù)的企業(yè)先后使用了Kylin。以美團(tuán)為例，它的外賣和其他數(shù)據(jù)分析基本都跑在Kylin上。

同時(shí)，眾多的工程師人也積極參與和貢獻(xiàn)到了Kylin社區(qū)，比如美團(tuán)是最早采用Kylin的公司之一，目前有3名開發(fā)者成為麒麟項(xiàng)目的Committer（主要貢獻(xiàn)者），最新的一位Committer通過在美團(tuán)的實(shí)踐，將Kylin一個(gè)基礎(chǔ)算法的效率提升了10倍以上，大大彰顯了他們的技術(shù)實(shí)力。

如今，韓卿已從10多年前那位“想要一個(gè)Apache郵箱”的開發(fā)者，成為Apache Kylin項(xiàng)目委員會(huì)主席。他說，中國開源界已發(fā)生巨變，非常多的中國公司為開源技術(shù)Spark、Hadoop和OpenStack等做著貢獻(xiàn)，也涌現(xiàn)出越來越多的中國原生項(xiàng)目和團(tuán)隊(duì)。這些項(xiàng)目都經(jīng)歷了國外不可能碰到的數(shù)據(jù)量及環(huán)境的挑戰(zhàn)和檢驗(yàn)，質(zhì)量和性能都很靠譜。

去年，在華為、阿里等幾個(gè)項(xiàng)目進(jìn)入Apache基金會(huì)過程中，韓卿也給予了很多建議和幫助，目前也是阿里兩個(gè)Apache孵化項(xiàng)目的導(dǎo)師（Mentor）。關(guān)于如何做開源，韓卿提到“其實(shí)，開源是一個(gè)態(tài)度問題，你不是為了一個(gè)KPI、一個(gè)噱頭或Marketing，你是實(shí)實(shí)在在把東西貢獻(xiàn)出來，而且你要不斷貢獻(xiàn)和發(fā)展它——運(yùn)營社區(qū)，不斷尋找用戶，不斷發(fā)展Committer，不斷與其他開源項(xiàng)目建立交互，讓社區(qū)良性發(fā)展。這是我們的經(jīng)驗(yàn)?！?/p>

開源項(xiàng)目背后的創(chuàng)業(yè)公司

每個(gè)成功的開源項(xiàng)目背后，都有一家好的創(chuàng)業(yè)公司，比如Hadoop背后是Cloudera，Spark背后是DataBricks。

在Kylin 走上正軌后，韓卿也在思考這個(gè)問題。“中國市場(chǎng)不比美國小，我們又擁有核心技術(shù)，為什么不去試試呢？”基于這樣的想法，韓卿與項(xiàng)目其他核心成員一起，在2016年初創(chuàng)建了Kyligence公司——名字由Kylin（麒麟）和Intelligence（智能）組合而來，寓意是讓這匹數(shù)據(jù)“神獸”更加智能。

公司創(chuàng)建后，很快推出了Apache Kylin的商業(yè)版本KAP（Kyligence Analytics Platform）。商業(yè)版本是開源企業(yè)采用的最直接和最廣泛的商業(yè)模式，美國紅帽公司是這個(gè)模式最經(jīng)典的代表。把開源技術(shù)和軟件做成一種更穩(wěn)定易用、更安全、兼容性更好、功能更豐富的企業(yè)級(jí)版本，通過付費(fèi)“訂閱”方式，為用戶提供技術(shù)支持和咨詢服務(wù)。同時(shí)，韓卿團(tuán)隊(duì)也在不斷創(chuàng)新，在企業(yè)版中增加了更多的企業(yè)級(jí)特性。

KAP定位在Hadoop上的數(shù)據(jù)倉庫和商務(wù)智能（BI）。它具備企業(yè)級(jí)服務(wù)軟件的各種特點(diǎn)——穩(wěn)定、安全、易用等。尤其是Hadoop目前已分化出很多版本，Kyligence與Hadoop各供應(yīng)商合作，完成了產(chǎn)品認(rèn)證，具備更廣泛的兼容性，大大降低了用戶采用新技術(shù)的門檻。

在推出商業(yè)版本后，Kyligence也在探索其他商業(yè)模式。熟悉韓卿的人發(fā)現(xiàn)，每隔一段時(shí)間，他就會(huì)對(duì)商業(yè)模式有一些新的實(shí)踐和感悟。最新推出的自動(dòng)化診斷、優(yōu)化在線服務(wù)KyBot就是一種模式創(chuàng)新：用戶通過Agent等方式自動(dòng)將Kylin的相關(guān)日志上傳到KyBot服務(wù)，而在云端通過知識(shí)庫及數(shù)據(jù)挖掘等技術(shù)為用戶提供快速的、自動(dòng)化的分析和診斷，指導(dǎo)用戶就行相關(guān)系統(tǒng)的優(yōu)化和性能調(diào)優(yōu)，為用戶提供及時(shí)有效的支持。

現(xiàn)在，Kyligence正在邁出更新的一步，在微軟Azure和亞馬遜AWS等公有云上，提供大數(shù)據(jù)分析服務(wù)，去年已經(jīng)登錄了Azure中國鏡像市場(chǎng)，據(jù)悉他們正在和微軟及亞馬遜進(jìn)行合作，很快就會(huì)登陸國際版鏡像市場(chǎng)。

“雖然大部分國內(nèi)大數(shù)據(jù)項(xiàng)目都部署在內(nèi)網(wǎng)中，但從全球來看，越來越多的企業(yè)把生產(chǎn)應(yīng)用系統(tǒng)放在云上。于是，在云上提供數(shù)據(jù)分析能力，便成了他們的直接需求?！表n卿說，“我們就為用戶提供這樣的解決方案?！?/p>

這是一類被認(rèn)為含金量很高的服務(wù)，對(duì)技術(shù)要求及團(tuán)隊(duì)能力等都是非常大的挑戰(zhàn)，但韓卿表示已經(jīng)在去年做了很好的技術(shù)和人才儲(chǔ)備，很快就會(huì)提供，并且表示這些服務(wù)未來也會(huì)在國內(nèi)的各大公有云上提供。

傳統(tǒng)企業(yè)才是金礦

雖然Kylin項(xiàng)目源自eBay這家互聯(lián)網(wǎng)公司，目前的應(yīng)用者以互聯(lián)網(wǎng)企業(yè)居多，但韓卿說：“公司的商業(yè)重點(diǎn)是傳統(tǒng)企業(yè)?！睂?shí)際上，Kyligence目前的收入都來自傳統(tǒng)企業(yè)，這些客戶分布在金融、電信、制造等領(lǐng)域。

韓卿觀察到，傳統(tǒng)企業(yè)在近兩年的互聯(lián)網(wǎng)化中投資力度巨大，除了搭建非常強(qiáng)的團(tuán)隊(duì)外，積極與外界專業(yè)公司合作，來構(gòu)建這些企業(yè)的大數(shù)據(jù)和云計(jì)算能力。“為什么會(huì)采用這種合作模式呢？因?yàn)樗麄冊(cè)趽寱r(shí)間?！?

例如，國內(nèi)一家擁有海量用戶的手機(jī)企業(yè)正基于KAP，為自己的分析人員和前端業(yè)務(wù)人員，構(gòu)建數(shù)據(jù)分析自助服務(wù)平臺(tái)。這讓過去要等幾個(gè)星期的分析結(jié)果變成了自助服務(wù)，分析時(shí)效縮短到了秒級(jí)，使得大數(shù)據(jù)平臺(tái)快速響應(yīng)業(yè)務(wù)變化成為了可能。而另一家國內(nèi)Top5的證券企業(yè)正使用KAP做日志分析。從客戶端登陸到中間網(wǎng)絡(luò)傳輸?shù)阶罱K的交易系統(tǒng)，系統(tǒng)信息一目了然，并且可以快速的查詢相關(guān)日志。證券公司業(yè)務(wù)人員因而能實(shí)時(shí)精準(zhǔn)定位相關(guān)故障從而更好的提供服務(wù)，提升了客戶滿意度。

韓卿看到，這些傳統(tǒng)企業(yè)客戶都是從Teradata、IBM或SAP的傳統(tǒng)數(shù)據(jù)倉庫和BI工具轉(zhuǎn)到KAP上來的。“從性能到成本考慮，他們現(xiàn)在都需要新技術(shù)來替換?！?/p>

為了平滑過渡，KAP遵從了數(shù)據(jù)倉庫的方法論，采用了標(biāo)準(zhǔn)SQL接口，用戶可無縫遷移。分析師和管理人員也不用擔(dān)心在大數(shù)據(jù)時(shí)代原有的經(jīng)驗(yàn)和技術(shù)會(huì)被淘汰，他們基本不需要重新學(xué)習(xí)，就能上手使用。標(biāo)準(zhǔn)的技術(shù)也降低了人員成本和學(xué)習(xí)曲線，眾多原來的BI人員、分析師等一下子就掌握了大數(shù)據(jù)技術(shù)，而無需學(xué)習(xí)Java、MapReduce、Spark等即可完成超大規(guī)模數(shù)據(jù)的分析。

KAP還在自動(dòng)化和智能化上花費(fèi)了很多精力?！艾F(xiàn)在用麒麟實(shí)施大數(shù)據(jù)項(xiàng)目，是不需要寫任何程序的。”國美在線從接觸到生產(chǎn)系統(tǒng)上線僅用了1個(gè)月，而他們?cè)谶x型時(shí)曾評(píng)估，如果采用其他技術(shù)可能需要五六個(gè)月。

不為用戶提供定制版

Kyligence目前支持了全球150多家用戶。一家創(chuàng)業(yè)企業(yè)怎么去支持?jǐn)?shù)量不斷擴(kuò)大且是自己員工人數(shù)數(shù)倍的客戶群？

韓卿說，這完全依靠標(biāo)準(zhǔn)化。“我們沒有為任何一家行業(yè)用戶提供定制。這就是通用化產(chǎn)品的威力?！?/p>

“做通用化產(chǎn)品、減少定制”一直是供應(yīng)商的夢(mèng)想。但在現(xiàn)實(shí)中，越是大客戶，往往越會(huì)提出定制化需求。Kyligence怎么說服客戶采用統(tǒng)一的產(chǎn)品？韓卿提醒我，Oracle數(shù)據(jù)庫也沒為任何人做過定制?！斑@需要對(duì)產(chǎn)品技術(shù)發(fā)展方向有很強(qiáng)的把控能力。”Kyligence是由Apache頂級(jí)開源項(xiàng)目核心團(tuán)隊(duì)組建的創(chuàng)業(yè)公司，這是一個(gè)重要條件?！爸挥邪盐樟隧?xiàng)目發(fā)展方向和底層核心技術(shù)，并不斷創(chuàng)新，才能做到產(chǎn)品通用化?！?/p>

今年初，Kyligence從千余家企業(yè)中脫穎而出，成功入選微軟加速器·上海首期成員。這令韓卿團(tuán)隊(duì)非常振奮。除了品牌、全球影響力、渠道等給Kyligence帶來的效益外，韓卿最期待的是微軟加速器給創(chuàng)業(yè)公司的指導(dǎo)。“這些指導(dǎo)可以給我們以啟迪——如何搭建一支有戰(zhàn)斗力和高效的團(tuán)隊(duì)，不斷抓住機(jī)會(huì)，做出改變，避免一些坑，從而成為一家成功的企業(yè)?！?