大數(shù)據(jù)與智慧物流概述
——“大數(shù)據(jù)與智慧物流”連載之一

李鵬濤/文

大數(shù)據(jù)與智慧物流概述
——“大數(shù)據(jù)與智慧物流”連載之一

李鵬濤/文

智慧物流就是以大數(shù)據(jù)處理技術(shù)為基礎(chǔ)，利用軟件系統(tǒng)把人和設(shè)備更好地結(jié)合起來(lái)，系統(tǒng)不斷提升智能化水平，讓人和設(shè)備能夠發(fā)揮各自的優(yōu)勢(shì)，達(dá)到系統(tǒng)最佳的狀態(tài)，并且不斷進(jìn)化。

在“互聯(lián)網(wǎng)+”的大環(huán)境下，智慧物流成為業(yè)界一致追求，智慧物流的基礎(chǔ)就是大數(shù)據(jù)相關(guān)的技術(shù)。以大數(shù)據(jù)為基礎(chǔ)的智慧物流，在效率、成本、用戶體驗(yàn)等方面將具有極大的優(yōu)勢(shì)，也將從根本上改變目前物流運(yùn)行的模式，“雙11”就是典型的案例。

大數(shù)據(jù)的發(fā)展過程及價(jià)值

大數(shù)據(jù)的發(fā)展可以分為三個(gè)階段。

首先是數(shù)的產(chǎn)生，早在公元前8000年，兩河流域的蘇美爾人將各種形狀的小的粘土記號(hào)像珠子一樣串在一起，保留記數(shù)實(shí)物來(lái)記數(shù)信息。

第二階段是產(chǎn)生于近代的數(shù)據(jù)科學(xué)，是以統(tǒng)計(jì)學(xué)作為基礎(chǔ)，一個(gè)重要的假設(shè)就是采樣遵守獨(dú)立同分布，其中很大的原因就是當(dāng)時(shí)的技術(shù)對(duì)于巨量的數(shù)據(jù)無(wú)法進(jìn)行計(jì)算，或者成本無(wú)法承受。2014年，隨著技術(shù)的發(fā)展，特別是云計(jì)算等技術(shù)的成熟，巨量數(shù)據(jù)的計(jì)算存儲(chǔ)都不再是問題，并且大數(shù)據(jù)應(yīng)用顯現(xiàn)出巨大價(jià)值的時(shí)候。

第三階段，大數(shù)據(jù)時(shí)代就到來(lái)了。大數(shù)據(jù)時(shí)代的顯著特征之一就是可以利用數(shù)據(jù)的相關(guān)性來(lái)解決問題，而不只是依賴因果關(guān)系，創(chuàng)新的數(shù)據(jù)應(yīng)用開始層出不窮。而基于大數(shù)據(jù)技術(shù)的深度學(xué)習(xí)等人工智能的發(fā)展，特別是谷歌AlphaGo的成功，是個(gè)標(biāo)志性事件，讓我們更加認(rèn)識(shí)到大數(shù)據(jù)技術(shù)可以突破人的認(rèn)知能力極限，因此，一個(gè)真正革新的時(shí)代來(lái)臨了。

大數(shù)據(jù)的價(jià)值不僅在于其原始價(jià)值，更在于數(shù)據(jù)之間的連接、大數(shù)據(jù)擴(kuò)展、再利用和重組。例如，京東利用物流大數(shù)據(jù)加上用戶交易數(shù)據(jù)，推出的移動(dòng)商店就大受歡迎。另外，大數(shù)據(jù)開放對(duì)于提升整個(gè)社會(huì)的發(fā)展水平具有重要作用。大數(shù)據(jù)作為數(shù)字資產(chǎn)，可以重復(fù)利用，不像資源類的零和游戲，政府、協(xié)會(huì)等社會(huì)組織可以收集數(shù)據(jù)脫敏后對(duì)社會(huì)開放，為社會(huì)服務(wù)，創(chuàng)造出更大的社會(huì)價(jià)值。

圖1：大數(shù)據(jù)的應(yīng)用

圖2：大數(shù)據(jù)應(yīng)用場(chǎng)景的維度

大數(shù)據(jù)是構(gòu)建智慧物流的基礎(chǔ)

京東商城依托物流的優(yōu)勢(shì)，快速崛起，目前已經(jīng)成為自營(yíng)B2C電商的領(lǐng)頭羊。其整個(gè)物流系統(tǒng)日處理數(shù)量達(dá)到百萬(wàn)級(jí)，大促銷期間甚至高達(dá)上千萬(wàn)，物流操作人員多達(dá)數(shù)十萬(wàn)，龐大的業(yè)務(wù)規(guī)模下，智慧化物流系統(tǒng)成為迫切需求。青龍系統(tǒng)作為支撐京東物流的核心系統(tǒng)，不僅保證了京東物流的準(zhǔn)時(shí)高效，同時(shí)保證了極高的用戶體驗(yàn)，在京東的不斷發(fā)展過程中，青龍系統(tǒng)也逐漸為外界矚目，從2012年研發(fā)版本1.0到目前的6.0的演進(jìn)過程中，我們逐步認(rèn)識(shí)到，以大數(shù)據(jù)處理為核心的系統(tǒng)是構(gòu)建智慧物流的關(guān)鍵。

“大數(shù)據(jù)”的經(jīng)典定義可以歸納為4個(gè)V：海量的數(shù)據(jù)規(guī)模（volume）、快速的數(shù)據(jù)流轉(zhuǎn)和動(dòng)態(tài)數(shù)據(jù)體系（velocity）、多樣的數(shù)據(jù)類型（variety）和巨大的數(shù)據(jù)價(jià)值（value）。從青龍系統(tǒng)看，每天處理億級(jí)數(shù)據(jù)，具有海量信息的數(shù)據(jù)規(guī)模；支持快速的數(shù)據(jù)流轉(zhuǎn)，實(shí)現(xiàn)了物流各個(gè)節(jié)點(diǎn)實(shí)時(shí)數(shù)據(jù)監(jiān)控優(yōu)化；系統(tǒng)處理各種各樣的信息，包含了結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)；數(shù)據(jù)具有極大的價(jià)值，如推動(dòng)系統(tǒng)成本和效率優(yōu)化1%，則可以節(jié)約上億成本。因此，青龍系統(tǒng)具有顯著的大數(shù)據(jù)特征。

我們?cè)趯?shí)戰(zhàn)中認(rèn)識(shí)到，把大數(shù)據(jù)轉(zhuǎn)化為智慧系統(tǒng)，需要具備兩個(gè)基礎(chǔ)。

第一，業(yè)務(wù)數(shù)據(jù)化，并且具有數(shù)據(jù)質(zhì)量保障。京東物流在青龍系統(tǒng)的支撐下，實(shí)現(xiàn)了所有物流操作的線上化，也就數(shù)據(jù)化，并且，對(duì)每個(gè)操作環(huán)節(jié)都可以進(jìn)行實(shí)時(shí)分析，這就奠定了很好的數(shù)據(jù)基礎(chǔ)。如果業(yè)務(wù)都是線下操作，或者系統(tǒng)無(wú)法準(zhǔn)確及時(shí)收集數(shù)據(jù)，那么，即使數(shù)據(jù)量夠大，缺乏關(guān)鍵數(shù)據(jù)和數(shù)據(jù)不準(zhǔn)確，也會(huì)給大數(shù)據(jù)處理帶來(lái)很大的困難。

第二，大數(shù)據(jù)處理技術(shù)，包括數(shù)據(jù)收集、傳輸、存儲(chǔ)、計(jì)算、展示等一系列技術(shù)。青龍系統(tǒng)在數(shù)據(jù)處理技術(shù)上也踩過很多坑，最早我們用數(shù)據(jù)庫(kù)生產(chǎn)庫(kù)做一些數(shù)據(jù)的分析，發(fā)現(xiàn)很快性能就跟不上了，因?yàn)閿?shù)據(jù)分析SQL（結(jié)構(gòu)化查詢語(yǔ)言）一執(zhí)行，生產(chǎn)庫(kù)性能急劇下降；隨后又開始利用讀庫(kù)，并結(jié)合MQ（程序化交易平臺(tái)），也就是操作數(shù)據(jù)庫(kù)的時(shí)候，會(huì)發(fā)出一個(gè)MQ，數(shù)據(jù)分析處理系統(tǒng)接收MQ重新解析，但是也不能很好解決問題；最后，我們總結(jié)發(fā)現(xiàn)，作為傳統(tǒng)的技術(shù)人員，我們是試圖用OLTP（聯(lián)機(jī)事務(wù)處理）的方法來(lái)解決OLAP（聯(lián)機(jī)分析處理）的問題，這在方向上就存在問題。

最后我們總結(jié)發(fā)現(xiàn)，當(dāng)做大數(shù)據(jù)應(yīng)用時(shí)，首先是要分清企業(yè)的應(yīng)用場(chǎng)景，至少需要考慮兩個(gè)維度：一是實(shí)時(shí)性維度，大數(shù)據(jù)分析是秒級(jí)的還是離線的，也就是24小時(shí)以后拿到也沒問題；二是一致性維度，即對(duì)一致性到底是什么樣的要求，是否要求100%一致。由此可以劃分四個(gè)場(chǎng)景。當(dāng)企業(yè)重新做數(shù)據(jù)系統(tǒng)或者大數(shù)據(jù)應(yīng)用時(shí)，肯定要考慮所用的業(yè)務(wù)場(chǎng)景到底如何，再加上數(shù)據(jù)量維度（從現(xiàn)在新系統(tǒng)發(fā)展來(lái)看，企業(yè)架構(gòu)支撐業(yè)務(wù)兩年發(fā)展已經(jīng)足夠）。這幾個(gè)維度確定以后，從ETL（數(shù)據(jù)倉(cāng)庫(kù)技術(shù)）數(shù)據(jù)抽取到數(shù)據(jù)傳輸?shù)綌?shù)據(jù)存儲(chǔ)，包括數(shù)據(jù)計(jì)算，技術(shù)相對(duì)來(lái)講比較成熟了，從而可以選擇合適的技術(shù)。

京東在大數(shù)據(jù)處理技術(shù)上也做了很多工作，現(xiàn)在對(duì)于實(shí)時(shí)數(shù)據(jù)、離線數(shù)據(jù)，都有完整的解決方案，這樣對(duì)于青龍系統(tǒng)來(lái)講，可以基于公司大數(shù)據(jù)平臺(tái)，進(jìn)行對(duì)應(yīng)的實(shí)時(shí)數(shù)據(jù)處理和離線數(shù)據(jù)分析。大數(shù)據(jù)平臺(tái)技術(shù)棧其實(shí)非常重要，因?yàn)樗鼜募夹g(shù)上提供了一個(gè)基礎(chǔ)數(shù)據(jù)質(zhì)量保障。如果數(shù)據(jù)質(zhì)量得不到保障的，那么后面所進(jìn)行的分析就不靠譜；整個(gè)系統(tǒng)都是不可靠的。

以大數(shù)據(jù)為基礎(chǔ)構(gòu)建智慧物流系統(tǒng)的步驟

傳統(tǒng)物流系統(tǒng)的數(shù)據(jù)處理，也被稱為BI（商業(yè)智能）分析，往往是事后進(jìn)行的。而我們認(rèn)為的智慧物流系統(tǒng)，不同于傳統(tǒng)物流系統(tǒng)，它是以數(shù)據(jù)作為開始，數(shù)據(jù)的應(yīng)用貫穿其中，并且是以數(shù)據(jù)為終點(diǎn)的一個(gè)循環(huán)上升過程。在可靠的數(shù)據(jù)源和處理技術(shù)基礎(chǔ)上，我們就可以以大數(shù)據(jù)為基礎(chǔ)逐步構(gòu)建智慧物流系統(tǒng)，這個(gè)構(gòu)建過程主要分為以下四步。

第一步，通過大數(shù)據(jù)技術(shù)準(zhǔn)確及時(shí)還原業(yè)務(wù)，也就是及時(shí)準(zhǔn)確地采集業(yè)務(wù)運(yùn)行的數(shù)據(jù)，并分不同層次需求展示出來(lái)。業(yè)務(wù)日?qǐng)?bào)、周報(bào)、月報(bào)等離線數(shù)據(jù)都是業(yè)務(wù)管理的基礎(chǔ)，如果不能做到及時(shí)準(zhǔn)確，數(shù)字化運(yùn)營(yíng)是無(wú)法進(jìn)行的，更不用說智慧化了。

對(duì)于物流系統(tǒng)來(lái)講，進(jìn)行圖形化展示非常重要，通常一圖勝千言。在時(shí)間維度，實(shí)時(shí)展示各個(gè)節(jié)點(diǎn)的生產(chǎn)量，相鄰節(jié)點(diǎn)間的差異，可以很好地把控業(yè)務(wù)。我們還發(fā)現(xiàn)，移動(dòng)端的開發(fā)，對(duì)業(yè)務(wù)非常有幫助。物流是商品流、實(shí)物流、資金流、信息流的結(jié)合，因此，地理維度展示也非常有幫助。

圖3：京東大數(shù)據(jù)平臺(tái)架構(gòu)

圖4：?jiǎn)瘟拷ｎA(yù)測(cè)

圖5：數(shù)據(jù)決策模型

第二步，通過大數(shù)據(jù)評(píng)估業(yè)務(wù)。在大數(shù)據(jù)時(shí)代，我們可以依據(jù)社會(huì)化的數(shù)據(jù)，進(jìn)行業(yè)務(wù)評(píng)估，并且可以利用互聯(lián)網(wǎng)灰度測(cè)試的方法，進(jìn)行流程優(yōu)化的評(píng)估，這些方法可以讓我們對(duì)業(yè)務(wù)有更深刻的理解。對(duì)于物流這種勞動(dòng)密集型行業(yè)，利用實(shí)時(shí)數(shù)據(jù)進(jìn)業(yè)內(nèi)排名對(duì)現(xiàn)場(chǎng)也能起到很好的激勵(lì)作用。

第三步，在對(duì)業(yè)務(wù)進(jìn)行實(shí)時(shí)監(jiān)控和準(zhǔn)確評(píng)估后，利用大數(shù)據(jù)對(duì)業(yè)務(wù)進(jìn)行預(yù)測(cè)。預(yù)測(cè)一直是大數(shù)據(jù)應(yīng)用的核心，也是最有價(jià)值的地方。預(yù)測(cè)的準(zhǔn)確度，也就是傳統(tǒng)統(tǒng)計(jì)學(xué)中的置信度，是預(yù)測(cè)的一個(gè)重要衡量。大數(shù)據(jù)的預(yù)測(cè)，很多是利用到相關(guān)性，因此，完全準(zhǔn)確的預(yù)測(cè)是非常困難的，如果應(yīng)用對(duì)于準(zhǔn)確度的容忍度越高，就越容易進(jìn)行預(yù)測(cè)。對(duì)于物流行業(yè)而言，如果能夠提前進(jìn)行業(yè)務(wù)量預(yù)測(cè)，那么，對(duì)于資源調(diào)度等非常有意義，不僅能夠?qū)崿F(xiàn)更好的時(shí)效，而且能夠避免浪費(fèi)。

第四步，依托大數(shù)據(jù)進(jìn)行智能決策。這很大程度上依賴預(yù)測(cè)的準(zhǔn)確性和業(yè)務(wù)對(duì)準(zhǔn)確性的包容性，這樣可以得出四個(gè)象限，對(duì)于預(yù)測(cè)準(zhǔn)確性高并且包容性強(qiáng)的業(yè)務(wù)，越容易實(shí)現(xiàn)智能決策，目前最好的方式依然是人機(jī)結(jié)合，能夠利用大數(shù)據(jù)和人工智能的技術(shù)，為人工提供輔助決策，讓人工決策更加合理。當(dāng)前，基于大數(shù)據(jù)的深度學(xué)習(xí)技術(shù)，在人工智能領(lǐng)域取得突破，例如谷歌AlphaGo的案例，從而為智能決策提供了非常大的想象空間。

具體分成了兩個(gè)維度，一個(gè)維度是構(gòu)建系統(tǒng)的難度，另一個(gè)維度則是構(gòu)建系統(tǒng)的價(jià)值。首先，要選擇應(yīng)用場(chǎng)景，選擇合適的大數(shù)據(jù)技術(shù)架構(gòu)，把數(shù)據(jù)質(zhì)量能夠做好。然后，要對(duì)業(yè)務(wù)進(jìn)行分析，第一步主要進(jìn)行業(yè)務(wù)還原，包括業(yè)務(wù)節(jié)點(diǎn)，環(huán)比、同比，環(huán)節(jié)差異，最好用圖形化的方式展示出來(lái)。之后可以進(jìn)行下一步，做業(yè)務(wù)評(píng)估，評(píng)估業(yè)務(wù)健康度，這也有很多的方法：如同比、環(huán)比，以及和業(yè)界平均指標(biāo)對(duì)標(biāo)的方法。如果能通過大數(shù)據(jù)做到和友商實(shí)時(shí)對(duì)標(biāo)，就能發(fā)現(xiàn)自己的薄弱點(diǎn)，從而進(jìn)行改進(jìn)和優(yōu)化，優(yōu)化后再將系統(tǒng)指標(biāo)運(yùn)行一下，檢驗(yàn)是否真的改進(jìn)了；利用灰度的方法，也可以對(duì)業(yè)務(wù)改進(jìn)進(jìn)行效果評(píng)估。大數(shù)據(jù)最核心的是預(yù)測(cè)，業(yè)務(wù)負(fù)責(zé)人如果能夠提前知道業(yè)務(wù)情況，現(xiàn)場(chǎng)的管理就能處理得更好。再往上走就是業(yè)務(wù)決策系統(tǒng)，Google的AlphaGo就是一個(gè)典型例子，但是實(shí)際的業(yè)務(wù)可能更加復(fù)雜。

大數(shù)據(jù)在智慧物流中的應(yīng)用

在大數(shù)據(jù)技術(shù)和物流大數(shù)據(jù)本身的保障下，我們可以開展多種應(yīng)用，如從物流網(wǎng)點(diǎn)的智能布局，到運(yùn)輸路線的優(yōu)化；從裝載率的提升，到最后一公里的優(yōu)化；從公司層面的決策，到配送員的智能推薦等，從點(diǎn)到面，逐步提升智能化水平，智慧物流將顯示出在效率、成本、用戶體驗(yàn)方面不可比擬的優(yōu)勢(shì)，我們會(huì)在后面的連載中進(jìn)行深入解密。

總結(jié)起來(lái)，我們認(rèn)為智慧物流就是以大數(shù)據(jù)處理技術(shù)為基礎(chǔ)，利用軟件系統(tǒng)把人和設(shè)備更好地結(jié)合起來(lái)，系統(tǒng)不斷提升智能化水平，讓人和設(shè)備能夠發(fā)揮各自的優(yōu)勢(shì)，達(dá)到系統(tǒng)最佳的狀態(tài)，并且不斷進(jìn)化。

智慧物流作為一個(gè)新的社會(huì)基礎(chǔ)設(shè)施，一端連接著消費(fèi)者，通過滿足消費(fèi)者更加多樣化的需求，提供更好的消費(fèi)體驗(yàn)，不斷促進(jìn)消費(fèi)升級(jí)；另外一端連接著供應(yīng)商，使得供應(yīng)鏈深入優(yōu)化，所以智慧物流向前發(fā)展，有著廣闊的前景，我們將看到越來(lái)越多基于大數(shù)據(jù)的精彩應(yīng)用。

作者為京東商城運(yùn)營(yíng)研發(fā)部總監(jiān)