基于小波降噪的深度極限學(xué)習(xí)機(jī)交通流量預(yù)測(cè)

范馨月

(貴州大學(xué) 數(shù)學(xué)與統(tǒng)計(jì)學(xué)院 數(shù)學(xué)系，貴州 貴陽(yáng) 550025)

0 引 言

交通流量作為刻畫交通狀態(tài)的基本參數(shù)，在城市路網(wǎng)的交通流狀態(tài)識(shí)別中顯得尤為重要。交通流量預(yù)測(cè)按照預(yù)測(cè)時(shí)間長(zhǎng)短可以分為長(zhǎng)時(shí)交通流預(yù)測(cè)及短時(shí)交通流量預(yù)測(cè)，其中短時(shí)交通流量預(yù)測(cè)時(shí)間跨度一般不超過15分鐘。短時(shí)交通流量準(zhǔn)確預(yù)測(cè)在實(shí)際應(yīng)用中對(duì)于智能交通系統(tǒng)建設(shè)及路徑規(guī)劃具有重要的意義。對(duì)于短時(shí)交通流的預(yù)測(cè)已有許多研究，常用的預(yù)測(cè)方法有回歸預(yù)測(cè)模型[1]、基于混沌理論的預(yù)測(cè)模型[2]、支持向量機(jī)、人工神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型[3-4]等。由于交通流量具有隨機(jī)性、時(shí)變性，序列數(shù)據(jù)比較復(fù)雜，采用回歸預(yù)測(cè)模型對(duì)交通流量進(jìn)行預(yù)測(cè)誤差較大。神經(jīng)網(wǎng)絡(luò)依靠其強(qiáng)大的學(xué)習(xí)能力及容錯(cuò)能力應(yīng)用也較為廣泛，但BP神經(jīng)網(wǎng)絡(luò)模型對(duì)于短時(shí)交通流量的預(yù)測(cè)學(xué)習(xí)效率較低，容易陷入局部最優(yōu)解，對(duì)模型的精度有一定的影響。極限學(xué)習(xí)機(jī)(extreme learning machine，ELM)是一種新型的快速學(xué)習(xí)算法，對(duì)于單隱層前饋神經(jīng)網(wǎng)絡(luò)(single-hidden layer feedforward neural networks，SLFNs)，極限學(xué)習(xí)機(jī)與傳統(tǒng)的支持向量機(jī)、反向傳播神經(jīng)網(wǎng)絡(luò)相比，繼承了神經(jīng)網(wǎng)絡(luò)逼近非線性函數(shù)的優(yōu)點(diǎn)，它在隨機(jī)初始化輸入層和隱含層之間的權(quán)值連接矩陣與偏差的基礎(chǔ)上，將傳統(tǒng)神經(jīng)網(wǎng)絡(luò)訓(xùn)練問題轉(zhuǎn)化為求解線性方程組，并根據(jù)廣義逆矩陣?yán)碚摚越馕龇绞街苯佑?jì)算出其輸出權(quán)值的最小二乘解，具有原理簡(jiǎn)單、訓(xùn)練速度快、預(yù)測(cè)精度高且泛化能力好的特點(diǎn)。ELM在保證學(xué)習(xí)精度的前提下，速度較傳統(tǒng)的學(xué)習(xí)算法快。后續(xù)有研究采用群體智能算法優(yōu)化ELM的隱含層節(jié)點(diǎn)參數(shù)改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)，引入粒子群優(yōu)化算法對(duì)ELM隱含層節(jié)點(diǎn)參數(shù)進(jìn)行調(diào)整，提高ELM的泛化能力及穩(wěn)定性[5]。一些學(xué)者[6-10]將ELM拓展到深度學(xué)習(xí)領(lǐng)域，提取更抽象的高層特征，提高網(wǎng)絡(luò)模型的整體性能。研究結(jié)果表明深度極限學(xué)習(xí)機(jī)可以提取數(shù)據(jù)中高層次的抽象信息，避免了網(wǎng)絡(luò)權(quán)值的反復(fù)迭代調(diào)整，提高了計(jì)算效率。小波降噪在處理含噪聲信號(hào)的分析中有較好的降噪效果，提取出有用的信號(hào)對(duì)信號(hào)的特征提取及預(yù)測(cè)有較好的效果，大量學(xué)者采用小波降噪和神經(jīng)網(wǎng)絡(luò)組合預(yù)測(cè)，取得了不錯(cuò)的效果[11-12]。

該研究采用小波降噪的深度極限學(xué)習(xí)機(jī)(DWD-ELM)對(duì)實(shí)驗(yàn)城市路網(wǎng)中路口流量進(jìn)行訓(xùn)練并對(duì)路口短時(shí)交通流量進(jìn)行預(yù)測(cè)，實(shí)驗(yàn)結(jié)果表明利用半監(jiān)督的逐層訓(xùn)練機(jī)制可以解決城市道路道路交通流量差異帶來(lái)的實(shí)際差異問題，在處理含噪聲交通流數(shù)據(jù)時(shí)預(yù)測(cè)準(zhǔn)確率較高，且具有較好的魯棒性。

1 模型與方法

1.1 小波函數(shù)降噪

由于交通系統(tǒng)具有非線性性及復(fù)雜性，交通流量的變化受到強(qiáng)噪聲的影響也有隨機(jī)時(shí)變性的特征。因此，在對(duì)交通流量進(jìn)行短時(shí)預(yù)測(cè)時(shí)先進(jìn)行降噪處理，可以得到更為真實(shí)可靠的反映交通流規(guī)律的時(shí)間序列。小波降噪綜合了特征提取及低通濾波，尋找對(duì)原序列的最佳逼近[13]。

小波降噪流程如下：(1)采用小波基函數(shù)將含有噪聲信號(hào)的車流量序列進(jìn)行分解，分解為高頻信號(hào)序列和低頻信號(hào)序列；(2)對(duì)高頻信號(hào)序列進(jìn)行閾值處理，以去除其中包含的噪聲；(3)小波重構(gòu)(小波逆變換)并輸出降噪后的信號(hào)序列。離散型的小波變換定義為：

1.2 極限學(xué)習(xí)機(jī)(ELM)

極限學(xué)習(xí)機(jī)是一種針對(duì)單隱層前饋神經(jīng)網(wǎng)絡(luò)的分類算法，采用批處理的訓(xùn)練方式，隨機(jī)選取隱含層的權(quán)值和偏置，不需要迭代，通過計(jì)算輸出層的權(quán)值來(lái)完成學(xué)習(xí)任務(wù)。對(duì)于不同的訓(xùn)練樣本數(shù)據(jù)(Xi,Yi)，X=[X1,X2,…,XN]T∈N,Y=[Y1,Y2,…,YN]T∈m，網(wǎng)絡(luò)中含有L個(gè)隱層節(jié)點(diǎn)。

(1)

其中，ωi=(ωi1,ωi2,…,ωiN)N為連接i個(gè)隱含層節(jié)點(diǎn)與輸入節(jié)點(diǎn)的輸入權(quán)值向量，bi為第i個(gè)隱含層節(jié)點(diǎn)的偏置，隱含層到輸出層之間的偏置為c∈m。βi=(βi1,βi2,…,βiN)T為連接第i個(gè)隱層節(jié)點(diǎn)和輸出節(jié)點(diǎn)的輸出權(quán)值向量，σ(·)為激活函數(shù)，式(1)改寫為矩陣形式為：

β·H+C=Y

(2)

其中，H表示訓(xùn)練樣本隱含層節(jié)點(diǎn)的輸出特征矩陣，β=(β1,β2,…,βN)T為隱含層輸出權(quán)值，C=[c,c,…,c]∈m×N，Y=(Y1,Y2,…,YN)T為期望輸出，優(yōu)化的目標(biāo)函數(shù)為經(jīng)驗(yàn)損失函數(shù)。

這里為計(jì)算方便，設(shè)C=0∈m×N，ELM的訓(xùn)練過程等價(jià)于求解線性方程組(2)，隱含層和輸出層之間的連接權(quán)值β不需要迭代調(diào)整。輸入權(quán)重ai和神經(jīng)元偏置bi在[-1,1]內(nèi)隨機(jī)取值，輸出權(quán)重便可以通過求解線性方程(2)矩陣H的Moore-Penrose廣義逆H?獲得，即這里

(3)

文獻(xiàn)[14]呈現(xiàn)了Sigmoid函數(shù)在歷遍0到100的隱含層節(jié)點(diǎn)中準(zhǔn)確率高且穩(wěn)定的優(yōu)勢(shì)，多數(shù)ELM的激活函數(shù)采取Sigmoid函數(shù)。

圖2示，PLAGL2強(qiáng)染色多見于低分化、高分期以及淋巴結(jié)轉(zhuǎn)移陽(yáng)性的病理標(biāo)本。通過對(duì)PLAGL2蛋白表達(dá)水平和PCa患者臨床病理參數(shù)進(jìn)行分析，表1示，PLAGL2表達(dá)情況與PSA水平(χ2=19.652，P=0.003)、Gleason評(píng)分(χ2=60.920，P<0.001)、PI-RADS評(píng)分(χ2=13.147，P=0.004)、臨床分期(χ2=38.203，P<0.001)、淋巴結(jié)轉(zhuǎn)移(χ2=36.875，P<0.001)、包膜侵犯(χ2=9.943，P=0.017)和精囊侵犯(χ2=8.355，P=0.031)有關(guān)聯(lián)。

單隱層的ELM結(jié)構(gòu)如圖1所示。ELM的優(yōu)勢(shì)在于只需要設(shè)置網(wǎng)絡(luò)的隱含層節(jié)點(diǎn)數(shù)，輸入層和隱含層的連接權(quán)值、隱含層的閾值可以隨機(jī)設(shè)定，并產(chǎn)生唯一的最優(yōu)解。和BP神經(jīng)網(wǎng)絡(luò)不同，BP需要不斷反向調(diào)整權(quán)值和閾值，因此這里可減少一半的運(yùn)算量。盡管ELM在許多研究中具有良好的表現(xiàn)，但由于交通流數(shù)據(jù)的不平衡分布及其具有冗余信息，帶有噪聲以及離群點(diǎn)，噪聲對(duì)極限學(xué)習(xí)機(jī)的預(yù)測(cè)準(zhǔn)確率造成嚴(yán)重影響，從而影響了極限學(xué)習(xí)機(jī)的泛化能力。

圖1 單隱層ELM結(jié)構(gòu)

1.3 小波降噪的深度極限學(xué)習(xí)機(jī)

小波降噪的深度極限學(xué)習(xí)機(jī)(wavelet de-noising deep extreme learning machine，DWD-ELM)將樣本數(shù)據(jù)(Xi,Yi)分為訓(xùn)練集X=[X1,X2,…,XN]T∈N，Y=[Y1,Y2,…,YN]T∈m用于精調(diào)整個(gè)網(wǎng)絡(luò)，測(cè)試集N類似于逐層學(xué)習(xí)參數(shù)初始化，用于學(xué)習(xí)層級(jí)之間的參數(shù)，網(wǎng)絡(luò)中含有l(wèi)=1,2,…,L個(gè)隱含層[15]，則：

(4)

(5)

圖2 DWD-ELM網(wǎng)絡(luò)結(jié)構(gòu)

同樣，矩陣H的Moore-Penrose廣義逆H?可通過式(3)計(jì)算得到。深度極限學(xué)習(xí)機(jī)可以提取出高層次的語(yǔ)義信息，極限學(xué)習(xí)機(jī)的理論避免了網(wǎng)絡(luò)權(quán)值的反復(fù)迭代調(diào)整，從而提高計(jì)算效率。此外，深度極限學(xué)習(xí)機(jī)采用半監(jiān)督逐層訓(xùn)練機(jī)制有效解決了許多實(shí)際問題中的訓(xùn)練標(biāo)簽難以準(zhǔn)確獲取的問題。采用小波降噪結(jié)合深度極限學(xué)習(xí)機(jī)解決了在處理非線性異構(gòu)數(shù)據(jù)特征難以獲取及訓(xùn)練難等問題。

2 實(shí)驗(yàn)與結(jié)果

文中采用實(shí)驗(yàn)城市的電子警察、卡口檢測(cè)到的過車數(shù)據(jù)進(jìn)行研究及算法驗(yàn)證，數(shù)據(jù)處理時(shí)間段為2020年一年的過車數(shù)據(jù)，按五分鐘為單位統(tǒng)計(jì)每日各路口的車流量。工作日期間不同車流量會(huì)呈現(xiàn)不同的規(guī)律性特征，限號(hào)城市由于受到號(hào)牌限制規(guī)律性更為突出。2020年由于新冠疫情的影響實(shí)驗(yàn)城市取消限號(hào)政策，市民多選擇乘坐私家車出行，對(duì)交通狀態(tài)的影響較大。本研究采用2020年全年過車數(shù)據(jù)研究路段每個(gè)星期/周的歷史車流量進(jìn)行訓(xùn)練，從而增強(qiáng)數(shù)據(jù)特征。圖3為某路段2020年4月連續(xù)三個(gè)星期四車流量時(shí)間序列，序列受到噪聲干擾，為非平穩(wěn)的時(shí)間序列，具有非線性的特征且受到強(qiáng)噪聲干擾。

圖3 實(shí)驗(yàn)城市2020年4月連續(xù)三個(gè)

對(duì)圖3中4月16日的交通流量采用db10小波函數(shù)降噪處理，降噪后的車流量衰減數(shù)據(jù)更加平滑并保留了原始數(shù)據(jù)的尖峰點(diǎn)，在最大程度保留原始序列真實(shí)性的同時(shí)盡可能消除原始數(shù)據(jù)中的噪聲，見圖4、圖5。

圖4 降噪效果

分別采用DWD-ELM模型、原ELM模型和NN模型對(duì)2020年5月實(shí)驗(yàn)路口5分鐘流量進(jìn)行訓(xùn)練。BP取最大神經(jīng)元個(gè)數(shù)為500個(gè)，擴(kuò)展速度為2，誤差為0.000 01。DWD-ELM模型能較好地?cái)M合短時(shí)路口交通流量，平均絕對(duì)誤差為0.234%，相對(duì)誤差絕對(duì)值平均值為0.002 9，均方根誤差為0.699 9，對(duì)路口預(yù)測(cè)效果優(yōu)于原ELM模型和BP模型，見圖6及表1。

時(shí)間

圖6 三種預(yù)測(cè)模型對(duì)2020年4月23日高峰時(shí)段

表1 三種預(yù)測(cè)模型效果

采用文中建立的DWD-ELM、原ELM和BP神經(jīng)網(wǎng)絡(luò)對(duì)實(shí)驗(yàn)城市2020年4月23日某路口高峰時(shí)段車流量作預(yù)測(cè)，并和實(shí)際值進(jìn)行對(duì)照檢驗(yàn)，比較實(shí)際值和預(yù)測(cè)值的誤差，見圖6及表1。DWD-ELM各項(xiàng)誤差指標(biāo)均低于原極端學(xué)習(xí)機(jī)模型和BP神經(jīng)網(wǎng)絡(luò)，可用于短時(shí)交通流的預(yù)測(cè)。

3 結(jié)束語(yǔ)

文中對(duì)含有隨機(jī)噪聲的交通流量進(jìn)行小波降噪處理，建立了小波降噪的深度極限學(xué)習(xí)機(jī)預(yù)測(cè)模型，與傳統(tǒng)的極限學(xué)習(xí)機(jī)和BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)結(jié)果進(jìn)行比較，得到較為可靠的短時(shí)交通流量預(yù)測(cè)值，具有較高的預(yù)測(cè)精度，為后續(xù)交通擁堵動(dòng)態(tài)預(yù)測(cè)提供了一種解決思路。BP神經(jīng)網(wǎng)絡(luò)雖然具有精度高、非線性映射能力強(qiáng)等特點(diǎn)，但在大規(guī)模交通數(shù)據(jù)預(yù)測(cè)時(shí)，容易出現(xiàn)過擬合。傳統(tǒng)的極限學(xué)習(xí)機(jī)具有精度高、學(xué)習(xí)速度快、參數(shù)調(diào)整簡(jiǎn)單等優(yōu)勢(shì)，鑒于深度網(wǎng)絡(luò)優(yōu)秀的特征提取能力，在處理大規(guī)模數(shù)據(jù)時(shí)降低計(jì)算復(fù)雜度，減少訓(xùn)練時(shí)間。將經(jīng)過降噪處理后的序列與深度極限學(xué)習(xí)機(jī)相結(jié)合，具有良好的特征表達(dá)能力和較好的預(yù)測(cè)效果。需要指出的是，文中未考慮城市路段的上下游拓?fù)潢P(guān)系，未來(lái)可以考慮空間位置關(guān)系進(jìn)行特征提取，以進(jìn)一步提高預(yù)測(cè)的準(zhǔn)確性。