大數(shù)據(jù)構(gòu)建京東智慧物流系統(tǒng)

佚名

京東一直強(qiáng)調(diào)技術(shù)創(chuàng)新對生產(chǎn)效率的提升，并在多年的運(yùn)營和創(chuàng)新實(shí)踐中，積累了優(yōu)質(zhì)的大數(shù)據(jù)資源。大數(shù)據(jù)的應(yīng)用為智慧科技的業(yè)務(wù)層面落地實(shí)施提供了展示、評估、預(yù)測、可視化管理以及輔助決策等多方面的支持，與京東優(yōu)勢的物流科技相結(jié)合，搭建了完整而開放的倉、配、客、售后全供應(yīng)鏈一體化服務(wù)，可以為京東商城以外的商業(yè)體系提供服務(wù)。

兩個(gè)基礎(chǔ)

青龍系統(tǒng)從2012年研發(fā)版本1.0，到目前的6.0的演進(jìn)過程中，我們也逐步認(rèn)識到，以大數(shù)據(jù)處理為核心是構(gòu)建智慧物流的關(guān)鍵。

“大數(shù)據(jù)”的經(jīng)典定義是可以歸納為4個(gè)V：海量的數(shù)據(jù)規(guī)模（volume）、快速的數(shù)據(jù)流轉(zhuǎn)和動態(tài)的數(shù)據(jù)體系（velocity）、多樣的數(shù)據(jù)類型（variety）和巨大的數(shù)據(jù)價(jià)值（value）。從青龍系統(tǒng)看，每天處理億級數(shù)據(jù)，具有海量信息的數(shù)據(jù)規(guī)模；支持快速的數(shù)據(jù)流轉(zhuǎn)，實(shí)現(xiàn)了物流各個(gè)節(jié)點(diǎn)實(shí)時(shí)數(shù)據(jù)監(jiān)控優(yōu)化；系統(tǒng)處理各種各樣的信息，包含了結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)；數(shù)據(jù)具有極大的價(jià)值，推動系統(tǒng)成本和效率優(yōu)化1%，可以節(jié)約上億成本，具有了顯著的大數(shù)據(jù)特征。

我們在實(shí)戰(zhàn)中認(rèn)識到，把大數(shù)據(jù)轉(zhuǎn)化為智慧系統(tǒng)，需要具備兩個(gè)基礎(chǔ)：首先是業(yè)務(wù)數(shù)據(jù)化，并且具有數(shù)據(jù)質(zhì)量保障。京東物流在青龍系統(tǒng)的支撐下，實(shí)現(xiàn)了所有物流操作的線上化，也就是數(shù)據(jù)化，并且，對每個(gè)操作環(huán)節(jié)都是可以進(jìn)行實(shí)時(shí)分析，這就奠定了很好的基礎(chǔ)。如果業(yè)務(wù)都是線下操作，或者系統(tǒng)無法準(zhǔn)確及時(shí)收集數(shù)據(jù)，那么，即時(shí)數(shù)據(jù)量夠大，缺乏關(guān)鍵數(shù)據(jù)和數(shù)據(jù)不準(zhǔn)確，也會給大數(shù)據(jù)處理帶來很大的困難。

第二基礎(chǔ)就是大數(shù)據(jù)處理技術(shù)，包括收集，傳輸，存儲，計(jì)算，展示等一系列技術(shù)。青龍系統(tǒng)在數(shù)據(jù)處理技術(shù)上也踩過很多坑，最早我們用數(shù)據(jù)庫生產(chǎn)庫做一些數(shù)據(jù)的分析，發(fā)現(xiàn)很快性能就不行了，因?yàn)閿?shù)據(jù)分析SQL一執(zhí)行，生產(chǎn)庫性能急劇下降，然后開始利用讀庫，并結(jié)合MQ，也就是操作數(shù)據(jù)庫的時(shí)候，會發(fā)出一個(gè)MQ，數(shù)據(jù)分析處理系統(tǒng)接收MQ重新解析，但是，也不能很好解決問題。后面，我們總結(jié)發(fā)現(xiàn)一點(diǎn)，作為傳統(tǒng)的技術(shù)人員，我們是試圖用OLTP的方法來解決OLAP的問題，這在方向上就存在問題。

分清應(yīng)用場景

當(dāng)你做一個(gè)大數(shù)據(jù)應(yīng)用，首先要分清你自己的應(yīng)用場景。至少有兩個(gè)維度：一個(gè)是實(shí)時(shí)性的維度，你做大數(shù)據(jù)分析是秒級的還是離線的，也就是24小時(shí)以后拿到也沒問題。另一個(gè)是一致性維度，你對一致性到底是什么樣的要求，要求是百分之百一致的，另外很多場景不要求一致，很多的消息推送不要求一致。

從這兩個(gè)維度來看可以劃分四個(gè)場景，強(qiáng)實(shí)時(shí)性強(qiáng)一致性、強(qiáng)實(shí)時(shí)性弱一致性、弱實(shí)時(shí)性強(qiáng)一致性、弱實(shí)時(shí)性弱一致性。到底你的應(yīng)用落在什么樣的場景，你要分清楚。如果問你的運(yùn)營團(tuán)隊(duì)和業(yè)務(wù)團(tuán)隊(duì)，他肯定說要百分之百一致，肯定要實(shí)時(shí)，不僅是分鐘量級的，最好是秒級的，甚至比秒級還小，完全一樣的。你可以告訴他，要實(shí)現(xiàn)這個(gè)沒問題，但你要實(shí)現(xiàn)這個(gè)對應(yīng)的代價(jià)非常大，你用代價(jià)換取價(jià)值是不是足夠。

另外還有一個(gè)維度，就是數(shù)據(jù)量。你的數(shù)據(jù)到底是什么樣的量級，GB、TB，甚至是PB。從現(xiàn)在新系統(tǒng)發(fā)展來看，架構(gòu)支撐業(yè)務(wù)兩年發(fā)展已經(jīng)足夠了，要對兩年內(nèi)數(shù)據(jù)量有一個(gè)預(yù)估。這幾個(gè)維度確定以后，現(xiàn)在從ETL數(shù)據(jù)抽取到數(shù)據(jù)傳輸、數(shù)據(jù)存儲，以及數(shù)據(jù)計(jì)算，技術(shù)相對比較成熟了，你可以選擇合適的技術(shù)。

大數(shù)據(jù)平臺技術(shù)棧很多，有些公司可能不會自己開發(fā)，但它非常重要，因?yàn)樗梢詮募夹g(shù)上提供基礎(chǔ)數(shù)據(jù)質(zhì)量保障。如果數(shù)據(jù)質(zhì)量得不到保障的，后面所進(jìn)行的分析就是不靠譜的，數(shù)據(jù)質(zhì)量就很差。另外如果你對一致性要求很高，它可能10%的信息都丟失了，如果你對實(shí)時(shí)性要求很高，它可能延遲好幾個(gè)小時(shí)，在這種情況下數(shù)據(jù)分析應(yīng)用不可能做好。在可靠的數(shù)據(jù)源和處理技術(shù)基礎(chǔ)上，就可以逐步構(gòu)建智慧物流系統(tǒng)。

四個(gè)步驟

第一步主要是通過大數(shù)據(jù)技術(shù)準(zhǔn)確及時(shí)還原業(yè)務(wù)。也就是我們可以及時(shí)準(zhǔn)確采集業(yè)務(wù)運(yùn)行的數(shù)據(jù)，并分不同層次需求展示出來。

對于物流系統(tǒng)來講也是一樣，圖形化展示，一圖勝千言。在時(shí)間維度，實(shí)時(shí)展示各個(gè)節(jié)點(diǎn)的生產(chǎn)量，相鄰節(jié)點(diǎn)的差異，可以很好把控業(yè)務(wù)。我們還發(fā)現(xiàn)，移動端的開發(fā)，對業(yè)務(wù)非常有幫助。對于物流來講，是商品流，實(shí)物流，資金流，信息流的結(jié)合，因此，地理維度展示也非常有幫助。青龍系統(tǒng)做到了車輛，配送員實(shí)時(shí)展示，例如在京東APP上就可以查看訂單的實(shí)時(shí)軌跡。

第二步就是通過大數(shù)據(jù)提升業(yè)務(wù)。這塊對于離線數(shù)據(jù)，大家都比較熟悉，包括業(yè)務(wù)日報(bào)，周報(bào)，月報(bào)等，這都是業(yè)務(wù)管理的基礎(chǔ)，如果不能做到及時(shí)準(zhǔn)確，數(shù)字化運(yùn)營是無法進(jìn)行的，更不用說智慧化了。對于物流這種勞動密集型行業(yè)，我們利用實(shí)時(shí)數(shù)據(jù)，進(jìn)行業(yè)界排行，對現(xiàn)場也起到很好的激勵(lì)作用。

在對業(yè)務(wù)能夠進(jìn)行實(shí)時(shí)監(jiān)控和準(zhǔn)確評估后，就可以進(jìn)行第三步，也就是利用大數(shù)據(jù)對業(yè)務(wù)進(jìn)行預(yù)測。預(yù)測一直是大數(shù)據(jù)應(yīng)用的核心，也是最有價(jià)值的地方。對于物流行業(yè)，如果能夠提前進(jìn)行業(yè)務(wù)量預(yù)測，那么，對于資源調(diào)度等非常有意義，不僅能夠?qū)崿F(xiàn)更好的時(shí)效，而且能夠避免浪費(fèi)。舉一個(gè)青龍系統(tǒng)的例子，就是單量預(yù)測，根據(jù)用戶下單量、倉儲生產(chǎn)能力、路由情況等，可以進(jìn)行建模預(yù)測。

最后一步就是依托大數(shù)據(jù)進(jìn)行智能決策。做到了這一步，才可以稱作智慧物流。目前，做決策最好的方式依然是人機(jī)結(jié)合，能夠利用大數(shù)據(jù)和人工智能的技術(shù)，為人工提供輔助決策，讓人工的決策更加合理。

因?yàn)榫〇|業(yè)務(wù)每年增長也非?？?，就遇到如何增加配送站的問題。在以前沒有系統(tǒng)輔助決策，就只能拍腦袋，但隨著規(guī)模越來越大，發(fā)現(xiàn)拍腦袋代價(jià)會很大。于是，我們就想用大數(shù)據(jù)的方法來解決一下如何建配送站的問題。

構(gòu)建配送站

首先，建站依賴于什么？大家看過《大數(shù)據(jù)時(shí)代》就知道，利用大數(shù)據(jù)進(jìn)行預(yù)測，非常重要的是找到它的關(guān)聯(lián)物，建站最直觀的是跟訂單相關(guān)的，我們也從訂單開始著手來分析這個(gè)問題。我們從訂單分布數(shù)據(jù)，加上我們的客戶分布數(shù)據(jù)進(jìn)行分析，通過訂單聚合等技術(shù)手段，找到訂單很密的點(diǎn)，這個(gè)過程有很多的模型可以供參考。然后，加入更多的數(shù)據(jù)，包括位置信息、當(dāng)?shù)刈饨鸪杀?、管理成本、從分撥中心到傳站的距離等，我們就能輸出一個(gè)模型分布，根據(jù)不同的維度，將建站預(yù)測展示給用戶，輔助業(yè)務(wù)管理人員進(jìn)行決策。并且，可以根據(jù)業(yè)務(wù)人員的使用情況，輸入更多的業(yè)務(wù)知識，形成業(yè)務(wù)閉環(huán)，讓系統(tǒng)更加智能化。

首先，要選擇應(yīng)用場景，選擇合適的大數(shù)據(jù)技術(shù)架構(gòu)，把數(shù)據(jù)質(zhì)量能夠做好。然后，要對業(yè)務(wù)進(jìn)行分析，第一步主要進(jìn)行業(yè)務(wù)還原，包括業(yè)務(wù)節(jié)點(diǎn)，環(huán)比、同比，環(huán)節(jié)差異，最好用圖形化的方式展示出來。

之后可以進(jìn)行下一步，做業(yè)務(wù)評估，評估業(yè)務(wù)健康度，這也有很多的方法，如同比，環(huán)比，和業(yè)界平均指標(biāo)對標(biāo)的方法。如果能通過大數(shù)據(jù)做到和友商實(shí)時(shí)對標(biāo)，就能發(fā)現(xiàn)自己的薄弱點(diǎn)，哪塊是需要改進(jìn)的，就可以進(jìn)行優(yōu)化，優(yōu)化完，系統(tǒng)指標(biāo)運(yùn)行一下，可以看看是不是真的改進(jìn)了。利用灰度的方法，也可以對業(yè)務(wù)改進(jìn)進(jìn)行效果評估。大數(shù)據(jù)來講最核心預(yù)測，作為一個(gè)業(yè)務(wù)負(fù)責(zé)人，如果能夠提前知道業(yè)務(wù)情況，現(xiàn)場的管理就能處理得更好。再往上走就是業(yè)務(wù)決策系統(tǒng)，Google的AlphaGo就是一個(gè)典型例子，但是實(shí)際的業(yè)務(wù)可能更加復(fù)雜。

智慧物流是以大數(shù)據(jù)處理技術(shù)作為基礎(chǔ)，利用軟件系統(tǒng)把人和設(shè)備更好地結(jié)合起來，讓人和設(shè)備能夠發(fā)揮各自的優(yōu)勢，不斷進(jìn)化，達(dá)到系統(tǒng)最佳的狀態(tài)。當(dāng)前，青龍系統(tǒng)已經(jīng)具備初步智能化的特征，我們會持續(xù)進(jìn)行軟件系統(tǒng)優(yōu)化，利用機(jī)器學(xué)習(xí)等智能化技術(shù)。另外，引入更多的智能硬件，深化智能應(yīng)用，從而支持京東物流更加高效，也將為用戶提供更好的體驗(yàn)。