基于極限學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的短時交通流預(yù)測

周海川　寧丹

摘 要：針對短時交通流預(yù)測，本文介紹了一種基于極限學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)預(yù)測模型，把極限學(xué)習(xí)理論應(yīng)用于最簡單的單隱含層前饋神經(jīng)網(wǎng)絡(luò)中，以實(shí)現(xiàn)提高訓(xùn)練效率的目的。通過具體的實(shí)例分析，與其他常用的BP神經(jīng)網(wǎng)絡(luò)、徑向基神經(jīng)網(wǎng)絡(luò)、廣義神經(jīng)網(wǎng)絡(luò)和Elman神經(jīng)網(wǎng)絡(luò)進(jìn)行比較，結(jié)果表明基于極限學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的預(yù)測精度與常規(guī)神經(jīng)網(wǎng)絡(luò)的預(yù)測精度相當(dāng)，并且其模型的訓(xùn)練耗時遠(yuǎn)遠(yuǎn)低于常規(guī)的神經(jīng)網(wǎng)絡(luò)模型，這對短時交通流預(yù)測在實(shí)際中的應(yīng)用，具有重要實(shí)踐意義。

關(guān)鍵詞：短時交通流;神經(jīng)網(wǎng)絡(luò);極限學(xué)習(xí)

中圖分類號：U491 文獻(xiàn)標(biāo)識碼：A

0 引言

短時交通流預(yù)測是智能交通系統(tǒng)（Intelligent Transportation

System， ITS）[1]中的一個關(guān)鍵技術(shù)，通過分析當(dāng)前交通流的變化規(guī)律，提前感知交通系統(tǒng)狀態(tài)的變化情況，為主動式交通管理和控制提供支撐。為此，準(zhǔn)確、快速和可靠是實(shí)施短時交通流預(yù)測的基本要求。

短時交通流預(yù)測的研究至今已有近60年的研究歷程，國內(nèi)外專家學(xué)者已經(jīng)提出了眾多的預(yù)測模型和方法。傳統(tǒng)的預(yù)測方法如歷史平均[2]和指數(shù)平滑[3]，基于參數(shù)的預(yù)測方法如隨機(jī)時間序列[4]、卡爾曼濾波[5];基于非參數(shù)的預(yù)測方法如神經(jīng)網(wǎng)絡(luò)[6]、支持向量機(jī)[7]、非參數(shù)回歸[8]、小波理論[9]等;基于組合預(yù)測的方法如多個神經(jīng)網(wǎng)絡(luò)預(yù)測結(jié)果的組合[10]、神經(jīng)網(wǎng)絡(luò)與卡爾曼濾波的組合[11]。這些預(yù)測方法基本上都是數(shù)據(jù)驅(qū)動，利用歷史的交通流數(shù)據(jù)進(jìn)行預(yù)測模型標(biāo)定或訓(xùn)練，以獲得高精度的預(yù)測結(jié)果。對于基于非參數(shù)的預(yù)測方法來說，特別是廣泛應(yīng)用的神經(jīng)網(wǎng)絡(luò)，主要存在三個方面的問題，訓(xùn)練速度慢、容易陷入局部極小點(diǎn)和學(xué)習(xí)效率選擇的敏感性。

為此，本文研究一個針對單隱含層前饋網(wǎng)絡(luò)的算法，即極限學(xué)習(xí)。該算法隨機(jī)產(chǎn)生輸入層與隱含層的連接權(quán)值及隱含層神經(jīng)元的閾值，且在訓(xùn)練過程中無需調(diào)整，只需要設(shè)置隱含層神經(jīng)元個數(shù)，就可以獲得唯一的最優(yōu)解。與傳統(tǒng)的訓(xùn)練方法相比，具有學(xué)習(xí)速度快、泛化性能好等優(yōu)點(diǎn)。

1 基于極限學(xué)習(xí)的前饋神經(jīng)網(wǎng)絡(luò)

1.1 單隱含層前饋神經(jīng)網(wǎng)絡(luò)

典型的單隱含層前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，由輸入層、隱含層和輸出層組成，輸入層與隱含層、隱含層與輸出層神經(jīng)元間全連接。其中，輸入層有n個神經(jīng)元，對應(yīng)n個輸入變量，隱含層有l(wèi)個神經(jīng)元，輸出層有m個神經(jīng)元，對應(yīng)m個輸出變量。

在短時交通流預(yù)測建模過程中，利用已有的交通流數(shù)據(jù)進(jìn)行模型訓(xùn)練，假設(shè)有N個訓(xùn)練數(shù)據(jù)樣本（Xi， Yi），Xi=[xi1， xi2， …， xin]T，Yi=[yi1， yi2， …， yim]T，i=1，2，…，N，其中Xi為神經(jīng)網(wǎng)絡(luò)的輸入數(shù)據(jù)樣本，Yi為神經(jīng)網(wǎng)絡(luò)的輸出數(shù)據(jù)樣本，有l(wèi)個隱含層節(jié)點(diǎn)和激勵函數(shù)g（x），則圖1所示的神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)模型可以表示為：

（1）

式中，wi=[wi1， wi2，…， wil，]T表示第i個隱含層節(jié)點(diǎn)和輸入層節(jié)點(diǎn)之間的權(quán)向量，βi=[βi1， βi2，…， βim，]T表示第i個隱含層節(jié)點(diǎn)和輸出層節(jié)點(diǎn)之間的權(quán)向量，bi表示第i個隱含層節(jié)點(diǎn)的閾值，wi·xi表示權(quán)向量wi和樣本xi的內(nèi)積。上式（1）可以用矩陣進(jìn)行表示：

（2）

式中，H為神經(jīng)網(wǎng)絡(luò)的隱含層輸出矩陣，β為權(quán)重輸出，Y為輸出向量。其中，H可以表示為：

（3）

1.2 基于極限學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)權(quán)值求解

根據(jù)文獻(xiàn)[12][13][14]，如果激勵函數(shù)g（x）是在任意區(qū)間是無限可微的，那么當(dāng)隱含層神經(jīng)元個數(shù)與訓(xùn)練數(shù)據(jù)樣本數(shù)量相同時，即N=l，隱含層輸出矩陣H可逆，且滿足||Hβ-Y’||=0。

當(dāng)訓(xùn)練樣本的數(shù)量較大時，為了減少計(jì)算量，隱含層神經(jīng)元個數(shù)通常取較小的值，即l<N。由文獻(xiàn)[12]可知，單隱含層前饋神經(jīng)網(wǎng)絡(luò)的訓(xùn)練誤差可以逼近一個任意的||Hβ-Y’||<ε。因此，當(dāng)激勵函數(shù)g（x）無限可微時，單隱含層前饋神經(jīng)網(wǎng)絡(luò)的參數(shù)并不需要全部進(jìn)行調(diào)整，輸入層與隱含層之間的權(quán)值wi和隱含層閾值bi在訓(xùn)練前可以隨機(jī)選擇，且在訓(xùn)練過程中保持不變。而隱含層與輸出層之間的連接權(quán)值βi可以通過求解下面的方程組的最小二乘得到：

（4）

上式的解為：

（5）

式中，H+表示隱含層輸出矩陣H的Moore-Penrose廣義逆。公式（4）和（5）的證明過程，可以參考文獻(xiàn)[14]。

1.3 評價指標(biāo)

為了定量評價單隱含層前饋神經(jīng)網(wǎng)絡(luò)的預(yù)測性能，采用計(jì)算耗時與預(yù)測精度兩類指標(biāo)，前者指預(yù)測模型的計(jì)算所用時間，后者是則均方差誤差百分比MAPE和均方根誤差（RMSE）。預(yù)測精度評價指標(biāo)如下所示：

（6）

（7）

式（6）和（7）中，yt表示在t時刻實(shí)際的交通流值，表示在t時刻預(yù)測的交通流值。

2 實(shí)例分析

2.1 數(shù)據(jù)

本文使用的交通數(shù)據(jù)，來自于美國波特蘭高速公路I-205，通過線圈檢測器采集得到，數(shù)據(jù)的采集時間為2011年9月15日至2011年11月14日共61天，采集時段是全天24小時。線圈采集到的原始交通數(shù)據(jù)經(jīng)過預(yù)處理之后，被匯集為時間間隔為5分鐘的流量數(shù)據(jù)，并且對缺失的流量數(shù)據(jù)進(jìn)行簡單插值，以保證交通流數(shù)據(jù)的完整。本研究所使用的實(shí)驗(yàn)數(shù)據(jù)信息，如表1所示。

為分析預(yù)測模型的計(jì)算效率和計(jì)算精度，把表1中的實(shí)驗(yàn)數(shù)據(jù)，劃分為四個部分，包括三個訓(xùn)練數(shù)據(jù)集和一個測試數(shù)據(jù)集，訓(xùn)練數(shù)據(jù)集的天數(shù)分別為7天、21天和54天，測試數(shù)據(jù)集的天數(shù)為7天，實(shí)驗(yàn)數(shù)據(jù)的劃分使用情況如表2所示。

2.2 預(yù)測建模

本文實(shí)例分析應(yīng)用Matlab2015b，計(jì)算機(jī)主要配置參數(shù)為16.0G內(nèi)存、Intel Core i5-9600 3.00GHz處理器。為分析基于極限學(xué)習(xí)的單隱含層前饋神經(jīng)網(wǎng)絡(luò)的預(yù)測性能，依次構(gòu)建BP神經(jīng)網(wǎng)絡(luò)、徑向基神經(jīng)網(wǎng)絡(luò)、廣義回歸神經(jīng)網(wǎng)絡(luò)和Elman神經(jīng)網(wǎng)絡(luò)進(jìn)行對比。有關(guān)BP神經(jīng)網(wǎng)絡(luò)、徑向基神經(jīng)網(wǎng)絡(luò)、廣義回歸神經(jīng)網(wǎng)絡(luò)和Elman神經(jīng)網(wǎng)絡(luò)的相關(guān)內(nèi)容，可以依次參考文獻(xiàn)[15][16][17][18]。構(gòu)建的預(yù)測模型如表3所示，這五個神經(jīng)網(wǎng)絡(luò)預(yù)測模型的輸入層由6個神經(jīng)元構(gòu)成，輸出層由1個神經(jīng)元構(gòu)成，并且都只有1個隱含層，隱含層神經(jīng)元數(shù)量為20。BP神經(jīng)網(wǎng)絡(luò)、徑向基神經(jīng)網(wǎng)絡(luò)、廣義回歸神經(jīng)網(wǎng)絡(luò)和Elman神經(jīng)網(wǎng)絡(luò)的訓(xùn)練算法都采用梯度下降的方法。

2.3 結(jié)果分析

基于不同訓(xùn)練數(shù)據(jù)集的預(yù)測精度，分別如圖2和圖3所示。圖2展示了BP神經(jīng)網(wǎng)絡(luò)、Elman神經(jīng)網(wǎng)絡(luò)、廣義回歸神經(jīng)網(wǎng)絡(luò)、徑向基神經(jīng)網(wǎng)絡(luò)和單隱含層前饋神經(jīng)網(wǎng)絡(luò)的預(yù)測性能指標(biāo)MAPE，均在12%左右，沒有明顯的差異。相似的，圖3展示了預(yù)測精度指標(biāo)RMSE，這五個神經(jīng)網(wǎng)絡(luò)的預(yù)測精度也沒有明顯的差異，約為120輛/小時?？偟膩碚f，從預(yù)測精度來看，單隱含層前饋神經(jīng)網(wǎng)絡(luò)的預(yù)測性能，與其他常用的神經(jīng)網(wǎng)絡(luò)模型沒有明顯的差異，具備相同的預(yù)測能力。

在預(yù)測精度分析的基礎(chǔ)之上，記錄每一個神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練時長，以反映計(jì)算效率，具體結(jié)果如表4所示?？梢钥闯?，單隱含層前饋神經(jīng)網(wǎng)絡(luò)的訓(xùn)練耗時最短，三個不同訓(xùn)練數(shù)據(jù)集的訓(xùn)練耗時分別為0.003、0.005和0.012秒，遠(yuǎn)遠(yuǎn)少于其他四個神經(jīng)網(wǎng)絡(luò)的訓(xùn)練耗時。

3 結(jié)論

作為應(yīng)用最廣泛的交通流預(yù)測模型之一，神經(jīng)網(wǎng)絡(luò)具有較高的預(yù)測精度，和良好的適應(yīng)性能。然而，隨著交通流大數(shù)據(jù)的增長，僅僅考慮神經(jīng)網(wǎng)絡(luò)的預(yù)測精度已不能滿足實(shí)際應(yīng)用的需求，還必須考慮其計(jì)算效率，尤其是神經(jīng)網(wǎng)絡(luò)的訓(xùn)練耗時。本文主要介紹了基于極限學(xué)習(xí)的單隱含層前饋神經(jīng)網(wǎng)絡(luò)，把極限學(xué)習(xí)方法應(yīng)用于最簡單的三層神經(jīng)網(wǎng)絡(luò)中，其在交通流預(yù)測中精度，與常用的BP神經(jīng)網(wǎng)絡(luò)、徑向基神經(jīng)網(wǎng)絡(luò)、廣義神經(jīng)網(wǎng)絡(luò)和Elman神經(jīng)網(wǎng)絡(luò)相當(dāng)，并且其計(jì)算效率遠(yuǎn)遠(yuǎn)高于其他神經(jīng)網(wǎng)絡(luò)。這對短時交通流預(yù)測的實(shí)際應(yīng)用，具有重要的實(shí)踐意義。

參考文獻(xiàn)：

[1]趙娜，袁家斌，徐晗.智能交通系統(tǒng)綜述[J].計(jì)算機(jī)科學(xué)，2014，41（11）：7-11+45.

[2]Smith B L，Demetsky M J.Traffic flow forecasting：Comparison of modeling approaches[J].Journal of Transportation Engineering，1997，123（04）：261-266.

[3]齊馳，侯忠生.自適應(yīng)單指數(shù)平滑法在短期交通流預(yù)測中的應(yīng)用[J].控制理論與應(yīng)用，2012，29（04）：465-469.

[4].Williams B M，Hoel L A.Modeling and forecasting vehicular traffic flow as a seasonal ARIMA process：theoretical basis and empirical results[J].ASCE Journal of Transportation Engineering，2003，129（06）：664-672.

[5]徐天東，孫立軍，郝媛.城市快速路實(shí)時交通狀態(tài)估計(jì)和行程時間預(yù)測[J].同濟(jì)大學(xué)學(xué)報（自然科學(xué)版），2008（10）：1355-1361.

[6]Chan K Y，Dillon T S，Singh J，et al.Neural-network-based models for short-term traffic flow forecastingusing a hybrid exponential smoothing and levenberg-marquardt algorithm[J].IEEE Transactions on IntelligentTransportation Systems，2012，13（02）：644-654.

[7]Castro-Neto M，Jeong Y S，Jeong M K.Online-SVR for short-term traffic flow prediction under typical and atypical traffic conditions[J].Expert Systems with Applications，2009，36（03）：6164-6173.

[8]張濤，陳先，謝美萍，等.基于K近鄰非參數(shù)回歸的短時交通流預(yù)測方法[J].系統(tǒng)工程理論與實(shí)踐，2010，30（02）：376-384.

[9]高勇，陳鋒.基于小波分析的短時交通流非參數(shù)回歸預(yù)測[J].中國科學(xué)技術(shù)大學(xué)學(xué)報，2008，38（12）：1427-1431.

[10]Zheng W，Lee D H，Shi Q.Short-term freeway traffic flow prediction：Bayesian combined neural network approach[J].Journal of Transportation Engineering，2006，132（02）：114-121.

[11]Stathopoulos A，Dimitriou L，Tsekeris T.Fuzzy modeling approach for combined forecasting of urban traffic flow[J].Computer-aided Civil and Infrastructure Engineering，2008（23）：521-535.

[12]Huang G B，Zhu Q，Siew C H，Extreme learning machine：Theory and applications[J].Neurocomputing，2006，70（1-3）：489-501.

[13]Feng G，Huang G B，Lin Q，Robert G，Error Minimized Extreme Learning Machine With Growth of Hidden Nodes and Incremental Learning[J].IEEE Transactions on Neural Networks，2009，20（08）：1352-1354+7.

[14]Huang G B，Chen L，Siew C K，Universal approximation using incremental constructive feedforward networks with random hidden nodes[J].IEEE Transactions on Neural Networks，2006，17（04）：879-892.

[15]陳雪平，曾盛，胡剛.基于BP神經(jīng)網(wǎng)絡(luò)的短時交通流預(yù)測[J].公路交通技術(shù)，2008（03）：115-117.

[16]劉秀清，王曉原，宇仁德.道路交通事故徑向基神經(jīng)網(wǎng)絡(luò)預(yù)測模型研究[J].計(jì)算機(jī)工程與應(yīng)用，2009，45（17）：188-190.

[17]王莉靜，郭潔，李建軍.基于廣義回歸神經(jīng)網(wǎng)絡(luò)的交通流預(yù)測模型[J].天津城市建設(shè)學(xué)院學(xué)報，2007（01）：25-28.

[18]董春嬌，邵春福，熊志華，等.基于Elman神經(jīng)網(wǎng)絡(luò)的道路網(wǎng)短時交通流預(yù)測方法[J].交通運(yùn)輸系統(tǒng)工程與信息，2010，10（01）：145-151.