京東大數(shù)據(jù)的思考和探索

劉彥偉

京東大數(shù)據(jù)平臺(tái)是京東大數(shù)據(jù)業(yè)務(wù)的基礎(chǔ)服務(wù)平臺(tái)，為京東大數(shù)據(jù)業(yè)務(wù)的實(shí)現(xiàn)提供一站式、自助式的大數(shù)據(jù)處理全流程解決方案。涵蓋數(shù)據(jù)接入、存儲(chǔ)、處理、分析、挖掘、可視化、機(jī)器學(xué)習(xí)等產(chǎn)品和服務(wù)，致力于大幅降低大數(shù)據(jù)消費(fèi)門檻，幫助京東大數(shù)據(jù)業(yè)務(wù)快速落地，助力京東實(shí)踐以數(shù)據(jù)為驅(qū)動(dòng)的業(yè)務(wù)變革與發(fā)展。京東在大數(shù)據(jù)方向上的思考和探索非常多，今天主要和大家分享實(shí)時(shí)數(shù)倉(cāng)、存儲(chǔ)計(jì)算分離與容器化。

我針對(duì)京東大數(shù)據(jù)的業(yè)務(wù)場(chǎng)景和特點(diǎn)，對(duì)實(shí)時(shí)數(shù)倉(cāng)這個(gè)領(lǐng)域大概做了三個(gè)分類，即實(shí)時(shí)應(yīng)用、實(shí)時(shí)分析、實(shí)時(shí)數(shù)倉(cāng)。關(guān)于實(shí)時(shí)應(yīng)用，比如，實(shí)時(shí)大屏、京東聊吧等，京東內(nèi)部用的實(shí)時(shí)報(bào)表，為京東的高層或京東業(yè)務(wù)人員提供決策支持類系統(tǒng)，就是非常典型的實(shí)時(shí)應(yīng)用。這些實(shí)時(shí)應(yīng)用類業(yè)務(wù)的技術(shù)，在業(yè)內(nèi)發(fā)展得比較成熟，比如Storm、Flink、SparkStreaming等的技術(shù)框架已經(jīng)非常成熟，京東基于技術(shù)框架再去落地這些應(yīng)用。這些應(yīng)用的特點(diǎn)是：門檻高。正因?yàn)橛昧诉@些比較流行的實(shí)時(shí)計(jì)算框架，京東在數(shù)據(jù)時(shí)效性上可以達(dá)到秒級(jí)的延遲。

關(guān)于實(shí)時(shí)分析，實(shí)時(shí)分析是實(shí)時(shí)應(yīng)用里一個(gè)非常典型的產(chǎn)品。大家在訪問(wèn)京東App、京東網(wǎng)站時(shí)，當(dāng)你瀏覽一些商品之后，京東能夠根據(jù)你的實(shí)時(shí)瀏覽行為，為你推薦需要的產(chǎn)品，因?yàn)槊總€(gè)人在京東看到的商品或廣告不一樣。實(shí)時(shí)主要是體現(xiàn)在數(shù)據(jù)時(shí)效性上，通過(guò)實(shí)時(shí)OLAP分析平臺(tái)，可以讓我們的業(yè)務(wù)人員或分析師看到分鐘級(jí)或秒級(jí)延遲數(shù)據(jù)。通過(guò)技術(shù)手段提升OLAP引擎的數(shù)據(jù)時(shí)效性，從而解決實(shí)時(shí)分析對(duì)數(shù)據(jù)分析場(chǎng)景的支持。實(shí)時(shí)分析的場(chǎng)景具有不確定性，分析人員需要獲取什么樣的數(shù)據(jù)相對(duì)不確定。分析人員需要的訂單類型數(shù)據(jù)可能基于地域分析，也可能基于渠道分析，也可能基于不同時(shí)間窗口分析?？傊?，需求相對(duì)不確定。數(shù)據(jù)相對(duì)確定，要么基于訂單數(shù)據(jù)分析，要么基于流量數(shù)據(jù)分析。實(shí)時(shí)分析需要研發(fā)人員和研發(fā)資源的參與，研發(fā)人員需要構(gòu)建OLAP產(chǎn)品底層的模型，研發(fā)資源的投入永遠(yuǎn)不夠。京東的業(yè)務(wù)非常廣泛，除了物流、配送、供應(yīng)鏈等核心業(yè)務(wù)之外，還有大量長(zhǎng)尾需求。對(duì)于長(zhǎng)尾需求在實(shí)時(shí)性上的需求沒(méi)辦法滿足，因?yàn)闆](méi)有這么多研發(fā)資源投入進(jìn)來(lái)去幫他們構(gòu)建實(shí)時(shí)應(yīng)用或?qū)崟r(shí)OLAP的基礎(chǔ)產(chǎn)品。隨著實(shí)時(shí)分析的廣泛應(yīng)用，各個(gè)部門對(duì)實(shí)時(shí)計(jì)算的需求非常迫切，為了更好地滿足客戶的需求，我們提出了實(shí)時(shí)數(shù)倉(cāng)概念。

實(shí)時(shí)數(shù)倉(cāng)概念是相對(duì)于傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)而言，通過(guò)技術(shù)手段把傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)升級(jí)為實(shí)時(shí)數(shù)倉(cāng)，可以達(dá)到分鐘級(jí)時(shí)延，實(shí)時(shí)數(shù)倉(cāng)可以滿足有長(zhǎng)尾需求的所有用戶。實(shí)時(shí)數(shù)倉(cāng)平臺(tái)是通用型解決方案，京東的任意一個(gè)業(yè)務(wù)部門可以基于體系內(nèi)的引擎，通過(guò)流式計(jì)算引擎的方式，實(shí)時(shí)寫入實(shí)時(shí)數(shù)倉(cāng)平臺(tái)中。通過(guò)實(shí)時(shí)數(shù)倉(cāng)的構(gòu)建，京東所有業(yè)務(wù)人員的采銷、運(yùn)營(yíng)都具備了獲取實(shí)時(shí)數(shù)據(jù)的能力，有了實(shí)時(shí)數(shù)倉(cāng)的體系之后，業(yè)務(wù)人員上線業(yè)務(wù)的第一天，就能看到他實(shí)時(shí)的數(shù)據(jù)。所以，我們認(rèn)為，實(shí)時(shí)數(shù)倉(cāng)可以改變整個(gè)大數(shù)據(jù)體系的未來(lái)。實(shí)時(shí)數(shù)倉(cāng)通過(guò)實(shí)時(shí)數(shù)據(jù)總線，將存在數(shù)據(jù)庫(kù)里的數(shù)據(jù)、放在服務(wù)器上的日志型數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)等，全部接入流式計(jì)算引擎中，流式計(jì)算引擎將數(shù)據(jù)分發(fā)到不同存儲(chǔ)中。第一類是在線存儲(chǔ)，第二類是放在OLAP引擎中，第三類是通過(guò)流式計(jì)算引擎將流式數(shù)據(jù)同步到數(shù)據(jù)倉(cāng)庫(kù)中。京東通過(guò)這三類存儲(chǔ)，構(gòu)造三位一體的實(shí)時(shí)大數(shù)據(jù)解決方案，讓整個(gè)實(shí)時(shí)業(yè)務(wù)在京東的落地變得更加簡(jiǎn)單。

接下來(lái)我們談?wù)劥鎯?chǔ)計(jì)算分離與容器化，存儲(chǔ)計(jì)算分離與容器化的常規(guī)方案有：存儲(chǔ)計(jì)算混合部署、數(shù)據(jù)本地化、硬件配置均衡、獨(dú)立于在線集群。計(jì)算不再去找存儲(chǔ)，減少數(shù)據(jù)的搬運(yùn)，從而減少對(duì)網(wǎng)絡(luò)的帶寬消耗，存儲(chǔ)和計(jì)算部署在一個(gè)節(jié)點(diǎn)上。而今，常規(guī)大數(shù)據(jù)平臺(tái)一般獨(dú)立于在線系統(tǒng)，他們互相物理隔離。常規(guī)方案形成以來(lái)一直廣受歡迎，隨著技術(shù)和業(yè)務(wù)的發(fā)展，常規(guī)方案已經(jīng)暴露出很多問(wèn)題。第一個(gè)問(wèn)題，存儲(chǔ)與計(jì)算相互制約，包括機(jī)器選型、機(jī)器拓展等。比如，如果機(jī)器的存儲(chǔ)不夠了，你要買機(jī)器，但是你買的機(jī)器可能沒(méi)辦法照顧到某一個(gè)資源，這樣一個(gè)模式制約了機(jī)器的選型以及拓展。

慶幸的是，最近幾年，容器化技術(shù)逐漸成熟，10G網(wǎng)絡(luò)是標(biāo)配，25G網(wǎng)絡(luò)逐漸普及，機(jī)器間的網(wǎng)絡(luò)傳輸不是問(wèn)題，這是一個(gè)硬件升級(jí)帶給我們整個(gè)平臺(tái)的機(jī)遇。基于這個(gè)機(jī)遇，我們提出了存儲(chǔ)系統(tǒng)、計(jì)算系統(tǒng)的未來(lái)發(fā)展方向，他們應(yīng)該去做存儲(chǔ)與計(jì)算分離，存儲(chǔ)節(jié)點(diǎn)和計(jì)算節(jié)點(diǎn)應(yīng)該分開，不應(yīng)該像現(xiàn)在這樣耦合在一起，相互制約，影響各自發(fā)展。解決存儲(chǔ)、計(jì)算遇到的問(wèn)題需要做很多工作：第一，關(guān)閉數(shù)據(jù)本地化，優(yōu)化遠(yuǎn)程讀寫；第二，存儲(chǔ)、計(jì)算獨(dú)立發(fā)展，比如，存儲(chǔ)機(jī)型、計(jì)算機(jī)型以及存儲(chǔ)引擎、計(jì)算引擎需要獨(dú)立發(fā)展；第三，通過(guò)路由實(shí)現(xiàn)多集群的統(tǒng)一；第四，基于容器化的在線、離線計(jì)算資源彈性互補(bǔ)。通過(guò)存儲(chǔ)計(jì)算分離與容器化，可以極大地提升整個(gè)數(shù)據(jù)中心的資源使用率。

（根據(jù)演講內(nèi)容整理，未經(jīng)本人審核）