金山云：云上的大數(shù)據(jù)平臺(tái)

李昊原

數(shù)據(jù)應(yīng)用四階段論。

電商企業(yè)有兩個(gè)鮮明的特點(diǎn)，第一是，有許多促銷運(yùn)營(yíng)的活動(dòng)，比如“雙十一”、“雙十二”；第二是，對(duì)大數(shù)據(jù)的依賴性很強(qiáng)，借助對(duì)數(shù)據(jù)的分析進(jìn)行精準(zhǔn)推送。

一家企業(yè)一天可以產(chǎn)生多少數(shù)據(jù)呢？幾個(gè)例子可以說(shuō)明問(wèn)題：一家中大型的游戲公司，每天玩家可以產(chǎn)生600GB的行為數(shù)據(jù)；一家互聯(lián)網(wǎng)企業(yè)，用戶每天的點(diǎn)擊流和行為數(shù)據(jù)可以達(dá)到500GB；而一家醫(yī)療行業(yè)，或是生物分析行業(yè)的企業(yè)，假如想對(duì)幾十萬(wàn)甚至上百萬(wàn)人做基因的數(shù)據(jù)分析，人類的DNA是30億個(gè)堿基對(duì)，那每個(gè)人DNA的數(shù)據(jù)大概就是3GB，分析的數(shù)據(jù)量將逼近甚至達(dá)到PB級(jí)。對(duì)一些企業(yè)來(lái)說(shuō)，大數(shù)據(jù)能力不僅是一種追求，而是企業(yè)運(yùn)營(yíng)的必需品。

在這樣的數(shù)據(jù)量面前，一個(gè)顯而易見(jiàn)的問(wèn)題是如果電商企業(yè)自建機(jī)房，只為應(yīng)對(duì)促銷活動(dòng)時(shí)的IT壓力，這意味著購(gòu)進(jìn)大量設(shè)備，而在平時(shí)，這些資源是被閑置的，這是成本上的浪費(fèi)。另外，大數(shù)據(jù)平臺(tái)的運(yùn)營(yíng)和維護(hù)成本也比較高。

隨著云計(jì)算的興起，企業(yè)紛紛將數(shù)據(jù)遷移到云上，以金山云為例，其存儲(chǔ)企業(yè)的總數(shù)據(jù)量已超過(guò)400PB，并以每天500TB的速度在不斷增加，在云上提供大數(shù)據(jù)服務(wù)成了一種必然。

在電商企業(yè)使用云平臺(tái)之后，實(shí)時(shí)數(shù)據(jù)則會(huì)通過(guò)萬(wàn)兆網(wǎng)的專線，傳輸?shù)浇鹕皆芀MR（Kingsoft MapReduce，金山云托管Hadoop服務(wù)）集群進(jìn)行處理與分析，然后將處理結(jié)果傳回電商的數(shù)據(jù)中心。在促銷活動(dòng)時(shí)，可以按需購(gòu)買資源，只需幾分鐘就能靈活擴(kuò)容與收縮，成本下降效率卻大大提升了。同時(shí)，也不必在運(yùn)營(yíng)維護(hù)上投入過(guò)多資源，能更專注于本身的業(yè)務(wù)。對(duì)大多數(shù)技術(shù)不夠強(qiáng)的企業(yè)來(lái)說(shuō)，面對(duì)突發(fā)情況，KMR的安全性也比自己搭建的大數(shù)據(jù)平臺(tái)要更高。

金山云大數(shù)據(jù)和AI技術(shù)總監(jiān)張東進(jìn)將企業(yè)對(duì)云上數(shù)據(jù)的應(yīng)用分為四個(gè)階段：最基礎(chǔ)的是將數(shù)據(jù)放到云上，包括對(duì)數(shù)據(jù)的存儲(chǔ)和分發(fā)；第二個(gè)階段，是使用數(shù)據(jù)驅(qū)動(dòng)決策和運(yùn)營(yíng)，包括商務(wù)智能和統(tǒng)計(jì)分析；第三個(gè)階段，不僅僅用數(shù)據(jù)來(lái)驅(qū)動(dòng)決策和運(yùn)營(yíng)，還會(huì)利用數(shù)據(jù)來(lái)支撐一些關(guān)鍵業(yè)務(wù)，比如電商的商品推薦功能，一些傳統(tǒng)制造業(yè)企業(yè)，也會(huì)用數(shù)據(jù)配合人工智能，去優(yōu)化生產(chǎn)制造流程；第四個(gè)階段，完全以數(shù)據(jù)為核心去構(gòu)建業(yè)務(wù)模式，比如今日頭條。

“要是簡(jiǎn)單地把企業(yè)分為互聯(lián)網(wǎng)企業(yè)和傳統(tǒng)企業(yè)，前者的數(shù)據(jù)意識(shí)比較高，又擁有較強(qiáng)的技術(shù)實(shí)力，業(yè)務(wù)模式通常也跟數(shù)據(jù)深度綁定，在數(shù)據(jù)應(yīng)用上會(huì)走得比較深入。而傳統(tǒng)企業(yè)，早期主要是在商業(yè)智能（BI）上應(yīng)用數(shù)據(jù)，現(xiàn)在也開(kāi)始思考如何來(lái)應(yīng)用大數(shù)據(jù)。我們發(fā)現(xiàn)一個(gè)趨勢(shì)，兩年前，傳統(tǒng)企業(yè)認(rèn)為大數(shù)據(jù)重要，是因?yàn)閲?guó)家和媒體的宣傳，并沒(méi)有真正的體會(huì)；而現(xiàn)在，他們的競(jìng)爭(zhēng)對(duì)手在用大數(shù)據(jù)，他們能感受到差別，也真的認(rèn)為大數(shù)據(jù)很重要了。不管哪種企業(yè)，都可以在這四個(gè)階段中滿足自己的需求?！?/p>

硬件革命推動(dòng)大數(shù)據(jù)“上云”

大數(shù)據(jù)的關(guān)鍵是建立一個(gè)穩(wěn)定高效的大數(shù)據(jù)分析平臺(tái)。2011年Hadoop開(kāi)始流行時(shí)，大數(shù)據(jù)在實(shí)際部署中有一系列難以解決的問(wèn)題：多租戶模式導(dǎo)致對(duì)數(shù)據(jù)安全性的詬??；搭建大數(shù)據(jù)平臺(tái)時(shí)，需要采購(gòu)大量設(shè)備，對(duì)人員的技術(shù)要求高，時(shí)間長(zhǎng)達(dá)數(shù)月，難以快速部署；對(duì)計(jì)算能力進(jìn)行擴(kuò)容，從采購(gòu)機(jī)器到完成會(huì)耗時(shí)長(zhǎng)，系統(tǒng)缺乏靈活性和可靠性。

與之對(duì)應(yīng)的是，當(dāng)時(shí)網(wǎng)絡(luò)還在千兆網(wǎng)時(shí)代，硬盤是每秒寫次50的SATA，計(jì)算方面是Westmere處理器，硬件的不足導(dǎo)致移動(dòng)海量數(shù)據(jù)的成本高，計(jì)算需要在數(shù)據(jù)所在的地方進(jìn)行，限制了大數(shù)據(jù)技術(shù)的落地。而現(xiàn)在，100G網(wǎng)絡(luò)已經(jīng)出現(xiàn)，CPU的計(jì)算能力提升了10～20倍，最近發(fā)布的英特爾閃騰P4800X固態(tài)硬盤，每秒寫次達(dá)到50萬(wàn)。硬件的革命性進(jìn)步，讓計(jì)算和存儲(chǔ)可以分開(kāi)到兩個(gè)獨(dú)立的集群中，通過(guò)高速互聯(lián)網(wǎng)來(lái)連接，云上大數(shù)據(jù)平臺(tái)的實(shí)現(xiàn)成為可能。

KMR就是金山云依托英特爾在硬件方面的實(shí)力，推出的云上大數(shù)據(jù)服務(wù)，通過(guò)數(shù)據(jù)打通，企業(yè)客戶在金山云上以及在自己的數(shù)據(jù)中心產(chǎn)生的數(shù)據(jù)，可以在平臺(tái)上一站式地做計(jì)算、做分析。

起家于IaaS的金山云，過(guò)去兩年深耕PaaS領(lǐng)域，更擅長(zhǎng)于偏基礎(chǔ)性的平臺(tái)服務(wù)。“我們發(fā)現(xiàn)，SaaS更像是點(diǎn)上的需求，而PaaS則是廣泛的需求。比如說(shuō)在一個(gè)大型集團(tuán)中，都會(huì)用同一個(gè)PaaS來(lái)做大數(shù)據(jù)服務(wù)。”針對(duì)企業(yè)對(duì)SaaS方面的需求，尤其是傳統(tǒng)企業(yè)所需要的能夠直接面對(duì)運(yùn)營(yíng)和分析人員的數(shù)據(jù)服務(wù)，金山云除了自己開(kāi)發(fā)，還通過(guò)與合作伙伴合作的方式在KMR上達(dá)成。云上大數(shù)據(jù)平臺(tái)可以滿足企業(yè)在數(shù)據(jù)處理第一和第二階段的需求，更高階段的數(shù)據(jù)應(yīng)用，需要云上大數(shù)據(jù)和人工智能進(jìn)行深度融合，這也是金山云接下來(lái)的重點(diǎn)方向。“我們可以通過(guò)人工智能技術(shù)改進(jìn)大數(shù)據(jù)平臺(tái)，在數(shù)據(jù)的接入、轉(zhuǎn)換、挖掘，和支撐、賦能企業(yè)業(yè)務(wù)做到更好。”