Uber是如何用循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）預(yù)測極端事件的？

編譯/房曉楠

Uber是如何用循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）預(yù)測極端事件的？

編譯/房曉楠

無人駕駛無疑是近兩年來，人工智能領(lǐng)域最炙手可熱的研究方向之一。對(duì)于無人駕駛的安全性來說，極端事件的預(yù)測能力起到了很大的作用。在無人駕駛領(lǐng)域，Uber一直是忠實(shí)的支持者。本文編譯自Uber Engineering，作者是N IKOLAY LAPTEV、SLAWEK SMYL、SANTHOSH SHANMUGAM。我們來看看，Uber是如何利用循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)行極端事件預(yù)測的。

在Uber系統(tǒng)內(nèi)，事件預(yù)測使我們能夠根據(jù)預(yù)期用戶需求來提高我們的服務(wù)質(zhì)量。最終目標(biāo)是準(zhǔn)確地預(yù)測出在預(yù)定的時(shí)間內(nèi)Uber將會(huì)在何處，何時(shí)以及收到多少次的乘車請(qǐng)求。

一般來說，極端事件——諸如假期、音樂會(huì)、惡劣天氣和體育賽事等高峰旅行時(shí)間，只會(huì)提高工作規(guī)劃預(yù)測的重要性。在極端事件期間計(jì)算需求時(shí)間序列預(yù)測（demand time series forecasting）是異常檢測（anomaly detection）、最優(yōu)資源分配（optimal resource allocation）和預(yù)算的關(guān)鍵組成部分。

但不可忽略的一個(gè)事實(shí)是，雖然極端事件預(yù)測在Uber操作中占有舉足輕重的作用，但數(shù)據(jù)稀疏性使得準(zhǔn)確的預(yù)測具有很大的挑戰(zhàn)性。元旦之夜（NYE）是Uber最繁忙的日子之一?？墒俏覀冎挥猩贁?shù)幾次元旦之夜的數(shù)據(jù)可以借鑒參考，而且每個(gè)實(shí)例可能有不同的用戶群組。除了歷史數(shù)據(jù)，極端事件預(yù)測還取決于許多外部因素，包括天氣、人口增長和諸如駕駛員激勵(lì)措施這樣的市場營銷的變化。

在現(xiàn)實(shí)生活中，在標(biāo)準(zhǔn)R預(yù)測包中發(fā)現(xiàn)的經(jīng)典時(shí)間序列模型，通常和機(jī)器學(xué)習(xí)方法組合在一起，從而用于特殊事件的預(yù)測，然而，這些方法對(duì)于Uber來說，既不靈活也不可擴(kuò)展。

在本文中，我們介紹一種將歷史數(shù)據(jù)和外部因素相結(jié)合的Uber預(yù)測模型，以便更精確地預(yù)測極端事件，突出其新架構(gòu)，以及如何與先前的模型進(jìn)行比較。

創(chuàng)建Uber的新的極端事件預(yù)測模型

隨著時(shí)間的推移，我們意識(shí)到為了擴(kuò)大發(fā)展規(guī)模，我們需要升級(jí)我們的預(yù)測模型，從而準(zhǔn)確預(yù)測Uber市場的極端事件。

房曉楠 本刊編輯在城市中隨時(shí)間推移而變化的規(guī)模性旅行次數(shù)是用于訓(xùn)練我們模型的歷史數(shù)據(jù)儲(chǔ)存的一部分。 請(qǐng)注意除夕夜期間數(shù)據(jù)的一個(gè)下跌，然后急劇上漲，表示人們?cè)诔σ蛊陂g乘用Uber回家。

完成旅行的數(shù)據(jù)

我們最終決定基于長短期記憶網(wǎng)絡(luò)（LSTM）架構(gòu)進(jìn)行時(shí)間序列建模。LSTM架構(gòu)是一種具有端到端建模特征，易于整合外部變量和自動(dòng)特征提取能力的技術(shù)。通過在多個(gè)維度上提供大量數(shù)據(jù)，LSTM方法可以建造模擬復(fù)雜的非線性特征交互模型。

將元人戲曲中用典、用事“不拘時(shí)代先后”的特征，從明人原本以史實(shí)角度解讀戲曲內(nèi)容，對(duì)該特征加以貶斥的僵化思維中解放出來，用“雪里芭蕉”的繪畫意象形象而言簡意賅地闡釋其中的不盡之意，使之由“以史解曲”的視角束縛，轉(zhuǎn)而升騰為“不可易與人道也”的“得意忘言”美學(xué)范本。

在選擇好架構(gòu)之后，我們?cè)u(píng)估了訓(xùn)練模型所需的數(shù)據(jù)儲(chǔ)存，如下所示：

其實(shí)，對(duì)極端事件進(jìn)行預(yù)測是一件很困難的事情，主要原因是它們的不頻繁性。為了克服這個(gè)數(shù)據(jù)缺陷，我們決定訓(xùn)練一個(gè)單一的、靈活的神經(jīng)網(wǎng)絡(luò)來一次性地對(duì)許多城市的數(shù)據(jù)進(jìn)行建模，從而大大提高了我們的準(zhǔn)確性。

用神經(jīng)網(wǎng)絡(luò)構(gòu)建新的架構(gòu)

我們的目標(biāo)是設(shè)計(jì)一個(gè)通用的、端到端的時(shí)間序列預(yù)測模型，它要具有可擴(kuò)展性，準(zhǔn)確性并且適用于異構(gòu)時(shí)間序列。為了實(shí)現(xiàn)這一點(diǎn)，我們使用了數(shù)千個(gè)時(shí)間序列來訓(xùn)練一個(gè)多模塊神經(jīng)網(wǎng)絡(luò)。

我們測量和追蹤了原始的外部數(shù)據(jù)從而構(gòu)建了如下圖所示的神經(jīng)網(wǎng)絡(luò)：

這個(gè)原始數(shù)據(jù)用于我們的訓(xùn)練模型中，來進(jìn)行包括日志轉(zhuǎn)換、縮放和數(shù)據(jù)轉(zhuǎn)換這樣簡單的預(yù)處理。

用滑動(dòng)窗口進(jìn)行訓(xùn)練

神經(jīng)網(wǎng)絡(luò)中的訓(xùn)練數(shù)據(jù)集需要滑動(dòng)窗口X（輸入）和Y（輸出）來限定常規(guī)值（例如輸入大?。┮约邦A(yù)測范圍。使用這兩個(gè)窗口之后，我們便可以通過最小化損失函數(shù)（loss function），如均方差（M ean Squared Error）來訓(xùn)練神經(jīng)網(wǎng)絡(luò)。

X和Y窗口都是以單個(gè)增量滑動(dòng)的，從而生成訓(xùn)練數(shù)據(jù)，如下所示：

我們的模型是使用外部變量，包括天氣（例如降水、風(fēng)速和溫度預(yù)報(bào)）和城市級(jí)信息（例如在特定地理區(qū)域內(nèi)的任何給定時(shí)間進(jìn)行的旅行，已注冊(cè) Uber用戶，本地假期或事件）的組合進(jìn)行訓(xùn)練的。

旅行數(shù)據(jù)

時(shí)間（天數(shù)）

完成的旅行數(shù)據(jù)

X和Y滑動(dòng)窗口是由批次、時(shí)間、特征（對(duì)于X而言）和預(yù)測特征（對(duì)于Y而言）組成的。

時(shí)間（天數(shù)）

調(diào)整我們的LSTM模型

在測試期間，我們確認(rèn)，與基線模型（其中包括單變量預(yù)測和機(jī)器學(xué)習(xí)元素的組合）相比，vanilla LSTM操作并沒有表現(xiàn)出優(yōu)異的性能。vanilla模型在未被訓(xùn)練的領(lǐng)域內(nèi)不能適應(yīng)時(shí)間序列，這導(dǎo)致在使用單個(gè)神經(jīng)網(wǎng)絡(luò)時(shí)表現(xiàn)并不是很好。

使用每一個(gè)時(shí)間序列要處理百萬級(jí)指標(biāo)的方式來訓(xùn)練一個(gè)模型是不切實(shí)際的：根本沒有足夠的資源可用，更不用說時(shí)間的有限性了。此外，訓(xùn)練單一的vanilla LSTM不會(huì)產(chǎn)生競爭性的結(jié)果，因?yàn)槟Ｐ筒荒軈^(qū)分不同的時(shí)間序列。雖然時(shí)間序列特征和輸入可以手動(dòng)加載到vanilla LSTM模型中，但這種方法是冗長乏味且容易出錯(cuò)的。

為了提高我們的準(zhǔn)確度，我們?cè)谀Ｐ椭幸肓艘粋€(gè)自動(dòng)特征提取模塊，如下所示：

我們決定構(gòu)建一個(gè)通過自動(dòng)特征提取模塊提供單一模型、異質(zhì)性預(yù)測的神經(jīng)網(wǎng)絡(luò)架構(gòu)。正如上圖所示，模型首先通過自動(dòng)、基于集成的特征提取來初始化網(wǎng)絡(luò)；在提取特征向量后，再使用標(biāo)準(zhǔn)集成技術(shù)對(duì)其進(jìn)行平均，然后將最后一個(gè)向量與輸入連接從而產(chǎn)生最終預(yù)測。

在測試期間，我們能夠?qū)崿F(xiàn)基于LSTM架構(gòu)的14.09%的對(duì)稱平均絕對(duì)百分比誤差（SMAPE）改進(jìn)，同時(shí)比Uber的實(shí)時(shí)監(jiān)控和根本原因探索工具Argos中的經(jīng)典時(shí)間序列模型提升25%。

隨著我們的架構(gòu)的成功開發(fā)、定制和測試，現(xiàn)在正是將該模型投入生產(chǎn)使用的時(shí)候了。

使用新的預(yù)測模型

一旦計(jì)算了神經(jīng)網(wǎng)絡(luò)的權(quán)重，它們就可以以任何編程語言形式進(jìn)行導(dǎo)出和執(zhí)行。我們當(dāng)前的途徑是首先使用Tensorflow和Keras進(jìn)行離線訓(xùn)練，然后將生成的權(quán)重導(dǎo)出為本地Go代碼，如下所示：

我們的模型由手動(dòng)派生的時(shí)間序列特征（左）和我們提出的具有自動(dòng)特征提取模型（右）的LSTM架構(gòu)組成。

為了本文最初所設(shè)定的目標(biāo)，我們建立了一個(gè)模型，使用的數(shù)據(jù)主要來自于美國五年間使用Uber來完成假期旅行的時(shí)間段，比如，像在圣誕節(jié)和元旦來臨的七天之前、之間和之后所產(chǎn)生的數(shù)據(jù)。

在一些城市進(jìn)行預(yù)測的期間，我們收集了使用之前的和現(xiàn)在的兩種模型所產(chǎn)生的平均SMAPE，如下所示：

例如，我們的新模式發(fā)現(xiàn)，預(yù)測最困難的假期之一是圣誕節(jié)，這與需求中的最大錯(cuò)誤和不確定性相對(duì)應(yīng)。

我們描繪了一個(gè)城市200天的預(yù)期和實(shí)際完成旅行的圖表，如下所示：

我們的測試結(jié)果表明，與我們的專有模型相比，現(xiàn)有的模型的預(yù)測精度提高了2%-18%。

該描述模型首先進(jìn)行離線訓(xùn)練，然后導(dǎo)出到目標(biāo)語言進(jìn)行本機(jī)執(zhí)行。

雖然神經(jīng)網(wǎng)絡(luò)對(duì)Uber來說益處頗多，但這種方法并不是“萬金油”。根據(jù)以往的經(jīng)驗(yàn)，我們定義了一個(gè)三維思維，以此來決定神經(jīng)網(wǎng)絡(luò)模型是否適用于你的情況：（a）時(shí)間序列數(shù)，（b）時(shí)間序列長度和（c）時(shí)間序列之間的相關(guān)性。相對(duì)于經(jīng)典時(shí)間序列模型而言，這三個(gè)維度增加了神經(jīng)網(wǎng)絡(luò)方法進(jìn)行更準(zhǔn)確的預(yù)測的可能性。

我們的新預(yù)測模型的效果顯著優(yōu)于以前的預(yù)測模型。

未來預(yù)測

我們打算繼續(xù)使用神經(jīng)網(wǎng)絡(luò)，為異構(gòu)時(shí)間序列創(chuàng)建一個(gè)通用的預(yù)測模型，作為一個(gè)獨(dú)立的、端到端模型或更大的自動(dòng)化預(yù)測系統(tǒng)中的構(gòu)建塊。如果你對(duì)這種研究比較感興趣，2017年8月6日在悉尼的國際機(jī)器學(xué)習(xí)公約（International Machine Learning Convention）期間，可以查看Uber的時(shí)間序列研討會(huì)。

完成的旅行數(shù)據(jù)

一個(gè)城市200多天完成旅行次數(shù)的模擬，我們對(duì)同一數(shù)據(jù)的預(yù)測凸顯了我們新模型的準(zhǔn)確性。

時(shí)間（天數(shù)）