• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于多通道時空編碼器的交通流量預(yù)測模型

    2024-02-18 23:20:50張安勤秦添
    計算機應(yīng)用研究 2024年1期
    關(guān)鍵詞:注意力機制編碼器

    張安勤 秦添

    摘 要:傳統(tǒng)的交通流量預(yù)測模型對歷史數(shù)據(jù)進行時空建模,忽略了交通數(shù)據(jù)的時間周期性內(nèi)部潛在關(guān)系和交通路網(wǎng)間節(jié)點的距離特征和相似性空間特征。據(jù)此,提出面向交通流量預(yù)測的多通道時空編碼器模型MC-STGNN,用于提高交通流量預(yù)測的準確率。首先將交通數(shù)據(jù)處理成三通道的周期性時間序列,并對整體的序列數(shù)據(jù)進行時間位置編碼和自適應(yīng)的空間位置編碼,提取路網(wǎng)節(jié)點間的動態(tài)相關(guān)性;其次引入具有卷積結(jié)構(gòu)的多頭自我注意力機制,更大程度地捕獲周期數(shù)據(jù)不同程度的時間相關(guān)性;最后提出一種圖生成器生成新的時空圖,提取路網(wǎng)節(jié)點間的相似性和距離特征,并利用門控圖卷積網(wǎng)絡(luò)整合原始圖和新時空圖的空間信息。在高速公路數(shù)據(jù)集PEMS03和PEMS08上進行一小時的交通流量綜合預(yù)測實驗,結(jié)果表明,MC-STGNN模型與其他的基線模型相比,具有更佳的性能指標,說明MC-STGNN模型具有更優(yōu)的建模能力。

    關(guān)鍵詞:交通流量預(yù)測; 編碼器; 空間位置編碼; 注意力機制; 圖生成器

    中圖分類號:TP391?? 文獻標志碼:A?? 文章編號:1001-3695(2024)01-013-0083-05

    doi:10.19734/j.issn.1001-3695.2023.06.0209

    Traffic flow prediction model based on multi-channel spatial-temporal encoder

    Abstract:Traditional traffic flow prediction models model historical data in terms of time and space, ignoring the internal potential temporal periodicity of traffic data and the distance characteristics and similarity spatial characteristics of nodes between traffic networks. Based on this, this paper proposed a multi-channel spatio-temporal encoder model MC-STGNN for traffic flow prediction to improve the accuracy of traffic flow prediction. Firstly, it processed the traffic data into a three channel periodic time series, and encoded the overall sequence data with temporal and adaptive spatial positions to extract dynamic correlations between road network nodes. Secondly, it introduced a multi-heads self-attention mechanism with convolutional structure to capture varying degrees of temporal correlation of periodic data to a greater extent. Finally, it proposed a graph generator to generate a new spatiotemporal map, extracting similarity and distance features between road network nodes, and integrating the spatial information of the original map and the new spatiotemporal map using a gated graph convolutional network. It conducted comprehensive traffic flow prediction experiments for an hour on the highway datasets PEMS03 and PEMS08. The experimental results show that the MC-STGNN model has better performance indicators compared to other baseline models, indicating that the MC-STGNN model has better modeling ability.

    Key words:traffic flow prediction; encoder; spatial position coding; attention mechanism; graph generator

    0 引言

    近年來,全國汽車保有量持續(xù)增長。2017—2022年,全國汽車保有量由2.17億輛增長至3.15億輛,增長率為45.16%。汽車給人們的出行帶來了極大的便利,同時也帶來了日趨嚴重的擁堵問題。對于高速公路這一場景而言,其特點為行車速度快、交通流量大、場景封閉性強,一旦產(chǎn)生擁堵問題,會嚴重影響人們的出行效率。因此,實現(xiàn)實時、高效的交通流量預(yù)測尤為重要?,F(xiàn)有的交通流預(yù)測方案主要有模型驅(qū)動型、數(shù)據(jù)驅(qū)動型和深度學習三種。模型驅(qū)動型方法有差分自回歸移動平均模型(autoregressive integrated moving average,ARIMA)[1]、卡爾曼濾波模型[2]等。這些傳統(tǒng)模型局限于預(yù)設(shè)的假定條件和固有的算法結(jié)構(gòu),適用于數(shù)據(jù)量小的預(yù)測方案,對于路況復(fù)雜的交通路網(wǎng),無法挖掘出交通流的潛在非線性特征,因此模型預(yù)測性能不佳。數(shù)據(jù)驅(qū)動型方法,如支持向量機(support vector machine,SVM)[3]、貝葉斯網(wǎng)絡(luò)[4]、K近鄰[5]、梯度提升決策樹(gradient boosting decision tree,GBDT)[6]、VAR[7]等,這類機器學習模型以數(shù)學基礎(chǔ)作支撐,能夠很好地學習交通流數(shù)據(jù)與輸入?yún)?shù)間的非線性映射關(guān)系。然而Kamarianakis等人[7]通過實驗表明,基于ARIMA和VAR的模型無法應(yīng)對復(fù)雜數(shù)據(jù)的可變性。Drucker等人[8]提出基于支持向量機的SVR模型,也同樣存在對高維數(shù)據(jù)處理能力欠佳的問題。此后,深度學習模型因其更好的非線性映射能力和高維映射數(shù)據(jù)的處理能力得到更多運用。

    起初,常見的深度學習模型將交通數(shù)據(jù)看作時序數(shù)據(jù),大多數(shù)研究工作都是基于LSTM(long short-term memory)[9]和GRU(gated recurrent unit)[10]展開的。王慶榮等人[11]采用LSTM捕捉時間序列的長期依賴關(guān)系,利用注意力機制自適應(yīng)地選擇相應(yīng)的驅(qū)動序列進行建模。這類循環(huán)神經(jīng)網(wǎng)絡(luò)模型在捕獲時間序列的時間相關(guān)性方面擁有較好的能力,但它們無法處理交通數(shù)據(jù)空間維度的相關(guān)性。故此,部分學者嘗試引入圖卷積網(wǎng)絡(luò)(graph convolution network,GCN)[12]處理交通路網(wǎng)的空間特征。DCRNN[13]采用信息擴散的GCN模型捕獲交通路網(wǎng)的空間依賴關(guān)系,STGCN[14]模型串聯(lián)一維卷積和 GCN 層分別獲取交通路網(wǎng)的時間和空間相關(guān)性。Song等人[15] 提出STSGCN模型構(gòu)造時空同步圖卷積模塊,堆疊多個GCN用于捕獲復(fù)雜的時空相關(guān)性和交通流量數(shù)據(jù)存在的時空異質(zhì)性。然而,數(shù)據(jù)集的預(yù)定義鄰接矩陣的時序圖結(jié)構(gòu)往往是復(fù)雜且不精確的。Guo等人[16]采用注意力機制來優(yōu)化模型,圖的動態(tài)結(jié)構(gòu)在一定程度上得到完善。同時,為了充分提取時間周期依賴性,它采用組件的思想來建模交通數(shù)據(jù)的鄰近時間、天周期和周周期特征。Li等人[17]提出STFGNN模型,通過構(gòu)造各種時空圖學習隱藏的時空依賴關(guān)系。此后,周楚昊等人[18]提出在Transformer的編碼-解碼器網(wǎng)絡(luò)架構(gòu)中,利用通道注意力對歷史流入數(shù)據(jù)、歷史流出數(shù)據(jù)、混合數(shù)據(jù)進行整合。Shin等人[19]提出PGCN模型,通過構(gòu)造適應(yīng)數(shù)據(jù)的漸進圖,并結(jié)合擴張因果卷積來模擬交通數(shù)據(jù)的時空相關(guān)性。Jiang等人[20]提出的PDFormer模型,通過不同的掩碼方式,將局部鄰接圖和全局鄰接圖嵌入到自我注意力機制中,以捕獲長短距離的空間依賴。

    雖然現(xiàn)有的研究已考慮到時空相關(guān)性,但仍然面臨以下挑戰(zhàn):在空間相關(guān)性的建模中,交通路網(wǎng)的每個傳感器節(jié)點周圍都有不同數(shù)量的鄰居節(jié)點,GCN[12]被廣泛用于提取空間特性。然而GCN過于依賴交通路網(wǎng)的原始結(jié)構(gòu),僅能提取靜態(tài)空間特征,并且GCN的運用使深度學習模型將附近鄰域的節(jié)點強制賦予相似的節(jié)點特征,忽略了交通路網(wǎng)節(jié)點間的距離特征和節(jié)點之間的相似性在不同時間周期下的動態(tài)關(guān)系。例如,在上下班高峰期,相鄰的住宅區(qū)和辦公樓之間的關(guān)聯(lián)性加強,同一道路的節(jié)點間呈現(xiàn)出更強的相似性,節(jié)點之間的距離特征在空間特征中的權(quán)重提高,而節(jié)假日住宅區(qū)與娛樂場所間的關(guān)聯(lián)性更強。針對該問題,本文采用構(gòu)造圖生成器的方式學習路網(wǎng)節(jié)點間的動態(tài)距離特征和相似性特征,同時,提出可訓練位置編碼,動態(tài)地調(diào)整節(jié)點之間的編碼順序。

    在時間相關(guān)性建模中,采用GRU和LSTM模型進行預(yù)測,每一步都依賴于前序的預(yù)測結(jié)果,序列增長時容易產(chǎn)生誤差累積問題,同時無法提取周期規(guī)律。因此,本文采用注意力機制建模時間相關(guān)性。同時,以往的周期模型,如ASTGCN[16],分別對歷史各周期數(shù)據(jù)進行建模,導(dǎo)致無法獲取時間周期性的內(nèi)在關(guān)聯(lián)。此外,在歷史周期序列的建模中,歷史數(shù)據(jù)會產(chǎn)生不同程度的冗余特征。考慮到上述亟待解決的問題,本文提出了多通道的時空編碼器模型(MC-STGNN),以期望在時空維度上構(gòu)建交通數(shù)據(jù)的時空相關(guān)性,提高高速路網(wǎng)的交通流預(yù)測精度。

    本文主要工作如下:

    a)提出了基于編碼器架構(gòu)的三通道時空預(yù)測模型(MC-STGNN),實現(xiàn)在同一架構(gòu)下建模交通路網(wǎng)的周、日、鄰近等關(guān)系的周期性內(nèi)部關(guān)系。同時,針對不同周期,對多頭注意力機制應(yīng)用不同的卷積策略,以過濾并提取不同周期的時間依賴關(guān)系。

    b)對三通道數(shù)據(jù)應(yīng)用時空位置編碼,提出了可訓練的空間位置編碼,對空間維度的異質(zhì)性進行建模,自適應(yīng)地調(diào)節(jié)節(jié)點間的動態(tài)空間相關(guān)性。

    c)提出了一種基于節(jié)點相似性和距離度量的圖生成器,捕獲不同周期條件下交通路網(wǎng)節(jié)點之間的交通模式特征,然后構(gòu)造門控圖卷積(G-GCN)來整合原始鄰接圖和構(gòu)造圖的空間信息。

    1 MC-STGNN模型設(shè)計

    1.1 問題定義

    在智能交通系統(tǒng)中,交通數(shù)據(jù)中蘊涵了非常多的信息可用于交通流量預(yù)測。在本文中,交通路網(wǎng)被描述為無向圖,其拓撲結(jié)構(gòu)為G=(V,E),其中V表示為圖G的節(jié)點集合,包含N個節(jié)點,E為反映節(jié)點連通性的邊集。由節(jié)點集V與邊集E所構(gòu)成的鄰接矩陣為A∈RApN×N。

    圖G中N個節(jié)點在t時刻收集的數(shù)據(jù)表示為特征矩陣Xt∈RApN×C,其中C為節(jié)點的特征數(shù)量。給定歷史T時段的交通流量,預(yù)測未來P時段的交通流量,預(yù)測過程如式(1)所示。

    {Yt+1,…,Yt+P}=f(Xt-T,…,Xt)(1)

    其中:Yt+1表示t+1時刻的預(yù)測數(shù)據(jù);f(·)表示預(yù)測方法的映射函數(shù)。

    1.2 MC-STGNN模型框架

    MC-STGNN模型如圖1所示,采用基于卷積的多頭自我注意力機制(Conv-Attention)[21]和基于構(gòu)造圖的門控圖卷積G-GCN的編碼器模型架構(gòu)。首先將歷史交通流量數(shù)據(jù)處理成周周期(Xw)、天周期(Xd)、近期段(Xr)的三通道時空數(shù)據(jù),經(jīng)過時空位置編碼的加權(quán)編碼策略,為交通路網(wǎng)的各節(jié)點賦予隨時間步變化的動態(tài)位置特征;其次,經(jīng)過多層編碼器模型迭代計算;最后,編碼器的輸出序列切片為周期性輸出序列,即周周期(Yw)、天周期(Yd)、近期段(Yr),將這三個切片序列加權(quán)并映射到一維進行預(yù)測。為充分獲取周期數(shù)據(jù)的隱藏時空相關(guān)性并捕獲周期性數(shù)據(jù)的內(nèi)在關(guān)聯(lián),將周期數(shù)據(jù)作為整體輸入到編碼器模型,其中每個模塊之間采用殘差連接和層規(guī)范化,增強模型的泛化能力。注意力模塊在捕獲周期數(shù)據(jù)時間依賴性的前提下,對不同的周期通道應(yīng)用不同的一維卷積,有助于過濾歷史數(shù)據(jù)的冗余信息。門控圖卷積模塊G-GCN利用構(gòu)造的基于節(jié)點相似性和距離度量的圖生成器,實現(xiàn)對交通路網(wǎng)節(jié)點的空間特征關(guān)系提取,門控機制有助于整合原始圖的空間信息。

    1.3 時間位置編碼

    MC-STGNN模型是基于編碼器的架構(gòu)設(shè)計的,為確保輸入序列的順序性,對模型應(yīng)用位置編碼的策略,利用時間位置編碼建模時間特征,同時利用空間位置編碼策略來捕獲交通路網(wǎng)的空間異質(zhì)性。最終,應(yīng)用加權(quán)融合的方式聯(lián)合編碼位置信息。

    利用式(2)將三通道的周期數(shù)據(jù)映射為編碼器結(jié)構(gòu)所在維度dmodel,t表示所在時間片,d為校驗參數(shù),區(qū)分奇偶。

    1.4 空間位置編碼

    以往的位置編碼大多忽略了交通路網(wǎng)的空間特征,例如周楚昊等人[18]將交通流數(shù)據(jù)進行獨熱(one-hot)編碼后拼接來進行位置編碼,使得向量離散化,但容易產(chǎn)生編碼零頻問題,需要進行平滑處理。因此本文提出可訓練的空間位置編碼,在描述空間異質(zhì)性的基礎(chǔ)上,動態(tài)調(diào)整各節(jié)點的編碼信息。做法如下:

    MLP(X)=W3(W2(W1(X)+b1)+b2)+b3(3)

    針對N個路網(wǎng)節(jié)點進行0~N-1的順序編碼,采用多層感知機(MLP)網(wǎng)絡(luò)學習節(jié)點間的空間相關(guān)性,如式(3)所示,其預(yù)訓練結(jié)果記為H(0)。其中,W1∈RApdmodel×2dmodel、W2∈RApdmodel×2dmodel、W3∈RApdmodel×2dmodel;b1、b2、b3均為偏置參數(shù)。為解決節(jié)點位置編碼的平滑問題,本文對預(yù)訓練結(jié)果做如下操作:

    H(i)=(1-α)H(0)+α(IN+D-12AD-12)H(i-1)(4)

    本文設(shè)計了一種迭代器來實現(xiàn)平滑,同時使得節(jié)點的位置編碼強制靠近其鄰居節(jié)點。其中IN∈RApN×N為單位矩陣;D∈RApN×N為鄰接矩陣A的度矩陣;α為調(diào)控因子,取值為0~1。將歸一化鄰接矩陣與迭代器的上一次隱藏輸出狀態(tài)結(jié)合,使其聚合交通路網(wǎng)的鄰域信息,同時為每一個隱藏狀態(tài)添加原預(yù)訓練結(jié)果??臻g位置編碼的輸出結(jié)果H(i)記為SPE。最終,MC-STGNN的位置編碼如式(5)所示,H(i)為規(guī)范化矩陣激活函數(shù)。

    PE=softmax(TPE+SPE)(5)

    1.5 時間相關(guān)性模塊

    注意力機制能夠有效提取時間依賴,王慶榮等人[11]將LSTM和注意力機制相融合進行預(yù)測,但并不能處理長序列的時空數(shù)據(jù)。多頭自我注意力機制[21]對長序列數(shù)據(jù)預(yù)測具有更佳的表現(xiàn)。本文采用多頭自我注意力機制建模目標序列上下文的時間相關(guān)性,如圖2所示。

    Conv-Attention的計算過程如下:

    a)Conv-Attention的輸入Q(query)、K(key)、V(value)全部為三通道的輸入序列[Xw;Xd;Xr]。

    {Q、K、V}=[Xw;Xd;Xr](6)

    b)為了更好地挖掘交通路網(wǎng)的潛在時空相關(guān)性,同時過濾歷史周期數(shù)據(jù)的冗余特征,本文對Q、K、V進行一維卷積操作。具體計算過程如下:

    其中:表示卷積操作;Θd、Θc表示卷積核參數(shù);Θd表示一維因果卷積;Θc表示一維標準卷積;Concat表示拼接操作;ReLU為非線性激活函數(shù);dmodel為各通道的模型維度;softmax激活函數(shù)可規(guī)范化注意力系數(shù)。

    如圖3所示,對PEMS數(shù)據(jù)集進行隨機抽取可發(fā)現(xiàn),在天周期數(shù)據(jù)Xd中,周五和周三、周四的交通流量數(shù)據(jù)具有較大程度的差異性。為減少因時間間隔較遠而產(chǎn)生的差異性,對來自周周期、天周期的數(shù)據(jù)Xw和Xd的Q值作一維因果卷積。由于近期段數(shù)據(jù)與待預(yù)測數(shù)據(jù)間具有更強的時空相似性,采用標準一維卷積可減少對強時空相似性的過濾。

    1.6 圖生成器

    為了更好地表示交通路網(wǎng)節(jié)點間的拓撲關(guān)系,設(shè)計了一種圖生成器來構(gòu)建新的鄰接矩陣Aw∈RApN×N,從時間序列中捕獲動態(tài)的節(jié)點相似性和距離特征。首先計算在時間序列中節(jié)點間的成對余弦相似性Sij,用于描述節(jié)點隨時間動態(tài)變化的相似性特征,如式(12)所示。

    為了準確反映節(jié)點間的相似性度量,構(gòu)造P∈RApN×N矩陣來學習節(jié)點的相似性。其中Wij∈RApN×N是訓練的權(quán)重參數(shù),τ~為調(diào)控因子,初始值為0.5,AI∈RApN×N為單位矩陣。為過濾低階的節(jié)點相似性,對矩陣P中相似度值小于1的成對節(jié)點賦值為0。其計算結(jié)果如式(13)所示。

    構(gòu)造矩陣Dij∈RApN×N,用于反映交通路網(wǎng)的距離特征,計算過程如式(14)所示。

    Dij=ln(dist(vi,vj)2+Aone)(14)

    其中:dist為節(jié)點vi和vj間的距離值;Aone∈RApN×N為全1矩陣。最終,圖生成器Aw如式(15)所示,k為相似性矩陣P的階數(shù),Wadj∈RApN×N為可訓練參數(shù),學習節(jié)點間基于距離的拓撲特征,使用ReLU激活函數(shù)消除矩陣間的弱連接。

    1.7 門控圖卷積

    空間圖卷積(GCN)的計算方式如式(16)所示。

    其中:X為輸入的時間序列;IN為單位矩陣;D為度矩陣;W為投影矩陣。本文設(shè)計了門控圖卷積(G-GCN),G-GCN將構(gòu)造的圖生成器參與到空間圖卷積的運算中。G-GCN的具體計算過程如式(17)所示。

    其中:Aw為1.6節(jié)圖生成器的輸出矩陣;σ為非線性的激活函數(shù)sigmoid;W1、W2為投影矩陣,將模型投影到輸出維度dmodel。G-GCN在捕獲低階有效空間信息的基礎(chǔ)上,挖掘了交通流中潛在的節(jié)點關(guān)系,從相似性度量和距離度量角度提高卷積對路網(wǎng)鄰接關(guān)系的深度挖掘能力。

    2 實驗

    為了驗證MC-STGNN模型在周期性交通流量預(yù)測的有效性,同時驗證圖生成器在不同路網(wǎng)規(guī)模的性能,本文選取了來自PEMS系統(tǒng)(http://pems.dot.ca.gov)的高速公路數(shù)據(jù)集PEMS03與PEMS08來開展實驗。PEMS03數(shù)據(jù)集的時間為2018年9月1日~2018年11月30日,傳感器節(jié)點的個數(shù)為358個;PEMS08數(shù)據(jù)集的時間為2016年7月1日~2016年8月31日,傳感器節(jié)點的個數(shù)為170個。

    2.1 數(shù)據(jù)集預(yù)處理

    PEMS03與PEMS08數(shù)據(jù)集以5 min為一個時間窗,交通路網(wǎng)中各傳感器24 h可收集288條交通流數(shù)據(jù),本文挑選交通流量特征進行預(yù)測。如圖4所示,每個數(shù)據(jù)集均劃分為周周期Xw、天周期Xd、近期段Xr的三通道數(shù)據(jù)X(h)。將樣本的當前時刻設(shè)為t,歷史時間步長設(shè)為T,一天的時間步數(shù)為q。數(shù)據(jù)集的表現(xiàn)形式如下:

    Xr=(Xt-T+1,Xt-T+2,…,Xt)(18)

    Xd=(Xt-q+1,Xt-q+2,…,Xt-q+T)(19)

    Xw=(Xt-7×q+1,Xt-7×q+2,…,Xt-7×q+T)(20)

    X(h)=[Xw;Xd;Xr](21)

    本文將劃分好的數(shù)據(jù)集分割為訓練集、驗證集、測試集,比例為6∶2∶2。為了規(guī)范化數(shù)據(jù),將數(shù)據(jù)集作min-max歸一化處理,其中,樣本最小值為min,最大值為max,具體操作如下:

    2.2 評價指標

    為了評價MC-STTGNN模型的性能,分別采用平均絕對誤差(mean absolute error,MAE)、平均絕對百分比誤差(mean absolute percent error, MAPE)和均方根誤差(root mean square error,RMSE)對模型進行評估。

    2.3 實驗設(shè)置

    本文將MC-STGNN模型與傳統(tǒng)的統(tǒng)計學模型和機器學習模型(VAR[7]、SVR[8]),深度學習基線模型(LSTM[9]、DCRNN[13]、STGCN[14]、ASTGCN[16]、STSGCN[15]、STFGNN[17]、PGCN[19]、PDFormer[20])進行對比實驗。為了通過驗證集測試出最優(yōu)的模型參數(shù),并用于測試集上得出模型的預(yù)測性能,將PEMS03和PEMS08數(shù)據(jù)集劃分為三部分,其用途和占比分別為訓練集60%、驗證集20%、測試集20%。所有實驗均在Linux服務(wù)器(CPU為IntelCoreTM i7-10700 CPU@2.90 GHz,GPU為NVIDIA GeForce RTX 3070),PyTorch框架進行編譯和測試。實驗采用Adam優(yōu)化器對模型進行訓練,使用平均絕對誤差(MAE)作為損失函數(shù),其計算方式如式(23)所示。

    為了公平比較,各方法的超參數(shù)設(shè)置和訓練策略在PEMS03和PEMS08數(shù)據(jù)集上均保持一致。表1為MC-STGNN模型的超參數(shù)設(shè)置,其中,Layers表示編碼器的層數(shù),T表示各通道的歷史時間步長,Dmodel表示各通道的模型維度,Heads表示多頭自我注意力機制中的注意力的頭數(shù)。

    2.4 實驗結(jié)果

    PEMS03數(shù)據(jù)集的實驗結(jié)果如表2所示。本文對比了未來一小時交通流量的預(yù)測性能,其中,最優(yōu)結(jié)果加粗表示,次優(yōu)結(jié)果用“*”號表示。可以看到,MC-STGNN的未來一小時綜合預(yù)測具有很好的表現(xiàn)。VAR、SVR模型不能很好地處理非線性高維數(shù)據(jù),預(yù)測誤差較大,而LSTM模型忽略了交通路網(wǎng)的空間相關(guān)性,因此性能表現(xiàn)不佳。在考慮時空相關(guān)性的深度學習模型DCRNN、STGCN、ASTGCN、STSGCN、STFGNN、PGCN、PDFormer上,模型預(yù)測效果有很大提升。MC-STGNN模型對比基線模型PDFormer在MAE、RMSE上的預(yù)測效果分別下降了0.01和0.03,在MAPE上對比STFGNN僅相差0.21%,同時優(yōu)于其他所有模型。

    在PEMS08數(shù)據(jù)集上,對MC-STGNN疊加4層編碼器層,同時將模型映射到更高維度,如表3所示,MC-STGNN獲得了最佳的綜合性能表現(xiàn)。對比基線模型PDFormer,MC-STGNN在MAE和RMSE上分別下降了0.07%和0.02%,在MAPE上相差0.53%。

    綜上,在PEMS03和PEMS08數(shù)據(jù)集上,對比一小時的綜合預(yù)測結(jié)果,MC-STGNN模型較其他模型有顯著提升。在長時預(yù)測中具有低誤差優(yōu)勢,對非線形和復(fù)雜的交通流量數(shù)據(jù)具有更好的建模能力。為了反映MC-STGNN模型在具體應(yīng)用中的直觀結(jié)果,在PEMS03和PEMS08數(shù)據(jù)集上與PDFormer模型進行預(yù)測效果對比,如圖5所示。

    圖5為同一節(jié)點上進行未來一小時預(yù)測的可視化結(jié)果。對比于最新的基線模型PDFormer,可見MC-STGNN模型具有更好的擬合效果,預(yù)測結(jié)果更加接近真實值,因此在實際應(yīng)用中的預(yù)測效果更好。

    2.5 消融研究

    為了驗證MC-STGNN模型各模塊的有效性,本文在PEMS08數(shù)據(jù)集上開展消融實驗,探究本文模型的位置編碼、Conv-Attention、G-GCN對預(yù)測性能的影響,結(jié)果如圖6~8所示。

    如圖6~8所示,本文探求了不同模塊對未來一小時內(nèi)交通流量預(yù)測的作用。其中:圖6中MC-STGNN-noSE表示去除空間位置編碼,只對序列進行時間位置編碼;圖7中MC-STGNN-noConv表示去除對多頭注意力機制的卷積操作,采用原始多頭注意力機制;圖8中MC-STGNN-noGGCN表示在門控圖卷積G-GCN中去除GGCN,只采用GCN捕獲空間相關(guān)性。實驗結(jié)果表明,不同程度的消融均對預(yù)測結(jié)果產(chǎn)生了較大的影響。多頭注意力機制的卷積操作和基于圖生成器的圖卷積GGCN對模型預(yù)測效果有積極影響。

    2.6 參數(shù)研究

    為探究MC-STGNN模型中超參數(shù)對模型性能的影響,本文對自編碼器的層數(shù)Layers、多通道的模型維度Dmodel和注意力頭數(shù)Heads在PEMS03數(shù)據(jù)集上進行對照實驗。

    如圖9~11所示,MC-STGNN在編碼器層數(shù)為4、模型維度為32、注意力頭數(shù)為8時具有最佳的綜合性能。

    3 結(jié)束語

    本文提出了多通道時空編碼器模型MC-STGNN,用于交通流量預(yù)測。MC-STGNN模型將輸入數(shù)據(jù)建模為多通道的周期性數(shù)據(jù),從整體相關(guān)性角度挖掘周周期、天周期、近期段數(shù)據(jù)間的內(nèi)在關(guān)聯(lián)性。通過時空位置編碼,學習節(jié)點的時空相關(guān)性和空間異質(zhì)性。然后,通過基于卷積結(jié)構(gòu)的多頭自我注意力機制進一步捕獲時間依賴,并消除了對歷史周期數(shù)據(jù)的冗余關(guān)注。同時,設(shè)計了基于相似性度量和距離度量的圖生成器構(gòu)造全新的鄰接矩陣,利用門控圖卷積聚合構(gòu)造圖和原始圖的空間特征。在公共真實數(shù)據(jù)集PEMS03和PEMS08上進行實驗,結(jié)果表明,MC-STGNN模型的預(yù)測性能優(yōu)于其他的基線模型。下一步將繼續(xù)探究MC-STGNN模型對復(fù)雜城市交通路網(wǎng)的預(yù)測效果。

    參考文獻:

    [1]唐毅,劉衛(wèi)寧,孫棣華,等.改進時間序列模型在高速公路短時交通流量預(yù)測中的應(yīng)用[J].計算機應(yīng)用研究,2015,32(1):146-149.(Tang Yi, Liu Weining, Sun Dihua, et al. Application of improved time series model in forecasting of short-term traffic flow for freeway[J].Application Research of Computers,2015,32(1):146-149.)

    [2]Kumar S V. Traffic flow prediction using Kalman filtering technique[J].Procedia Engineering,2017,187:582-587.

    [3]Feng Xinxin, Ling Xianyao, Zheng Haifeng, et al. Adaptive multi-kernel SVM with spatial-temporal correlation for short-term traffic flow prediction[J].IEEE Trans on Intelligent Transportation Systems,2019,20(6):2001-2013.

    [4]王永恒,高慧,陳炫伶.采用變結(jié)構(gòu)動態(tài)貝葉斯網(wǎng)絡(luò)的交通流量預(yù)測[J].計算機科學與探索,2017,11(4):528-538.(Wang Yong-heng, Gao Hui, Chen Xuanling. Traffic prediction method using structure varying dynamic Bayesian networks[J].Journal of Frontiers of Computer Science and Technology,2017,11(4):528-538.)

    [5]祁朵,毛政元.基于自適應(yīng)時序剖分與KNN的短時交通流量預(yù)測[J].地球信息科學學報,2022,24(2):339-351.(Qi Duo, Mao Zhengyuan. Short-term traffic flow prediction based on adaptive time slice and KNN[J].Journal of Geo-Information Science,2022,24(2):339-351.)

    [6]鄧晶,張倩.交通流數(shù)據(jù)自適應(yīng)特征選擇算法[J].計算機技術(shù)與發(fā)展,2019,29(12):76-80.(Deng Jing, Zhang Qian. Adaptive feature selection algorithm for traffic flow data[J].Computer Techno-logy and Development,2019,29(12):76-80.)

    [7]Kamarianakis Y, Vouton V. Forecasting traffic flow conditions in an urban network:comparison of multivariate and univariate approaches[J].Transportation Research Record Journal of the Transportation Research Board,2003,1857(1):74-84.

    [8]Drucker H, Burges C J C, Kaufman L, et al. Support vector regression machines[C]//Proc of the 9th International Conference on Neural Information Processing Systems.La Jolla,CA:NIPS Press,1997:779-784.

    [9]Ma Xiaolei, Tao Zhimin, Wang Yinhai, et al. Long short-term me-mory neural network for traffic speed prediction using remote microwave sensor data[J].Transportation Research Part C: Emerging Technologies,2015,54:187-197.

    [10]Fu Rui, Zhang Zuo, Li Li. Using LSTM and GRU neural network methods for traffic flow prediction[C]//Proc of the 31st Youth Academic Annual Conference of Chinese Association of Automation.Piscataway,NJ:IEEE Press,2016:324-328.

    [11]王慶榮,田可可,朱昌鋒,等.融合多因素的短時交通流預(yù)測研究[J].計算機工程與應(yīng)用,2022,58(21):309-316.(Wang Qing-rong, Tian Keke, Zhu Changfeng, et al. Short term traffic prediction based on multi-factors[J].Computer Engineering and Applications,2022,58(21):309-316.)

    [12]Deferard M, Breson X, Vandergheynst P. Convolutional neural networks on graphs with fast localized spectral filtering[C]//Proc of the 30th International Conference on Neural Information Processing Systems.La Jolla,CA:NIPS Press,2016:3844-3852.

    [13]Li Yaguang, Yu R, Shahabi C. Diffusion convolutional recurrent neural network:data-driven traffic forecasting[EB/OL].(2018)[2021-03-10].https://doi.org/10.48550/arXiv.1707.01926.

    [14]Yu Bing, Yin Haoteng, Zhu Zhanxing. Spatio-temporal graph convolutional networks:a deep learning framework for traffic forecasting[EB/OL].(2018-07-12).https://doi.org/10.48550/arXiv.1709.04875.

    [15]Song Chao, Lin Youfang, Guo Shengnan, et al. Spatial-temporal synchronous graph convolutional networks:a new framework for spatial-temporal network data forecasting[C]//Proc of the 34th AAAI Confe-rence on Artificial Intelligence.Palo Alto,CA:AAAI Press,2020:914-921.

    [16]Guo Shengnan, Lin Youfang, Feng Ning, et al. Attention based spatial-temporal graph convolutional networks for traffic flow forecasting[C]//Proc of the 33rd AAAI Conference on Artificial Intelligence.Palo Alto,CA:AAAI Press,2019:922-929.

    [17]Li Mengzhang, Zhu Zhanxing. Spatial-temporal fusion graph neural networks for traffic flow forecasting[C]//Proc of the 35th AAAI Conference on Artificial Intelligence.Palo Alto,CA:AAAI Press,2021:4189-4196.

    [18]周楚昊,林培群.基于多通道Transformer的交通量預(yù)測方法[J].計算機應(yīng)用研究,2023,40(2):435-439.(Zhou Chuhao, Lin Peiqun. Traffic flow prediction method based on multi-channel Transformer[J].Application Research of Computers,2023,40(2):435-439.)

    [19]Shin Y, Yoon Y. PGCN: progressive graph convolutional networks for spatial-temporal traffic forecasting[EB/OL].(2022)[2022-02-18].https://doi.org/10.48550/arXiv.2202.08982.

    [20]Jiang Jiawei, Han Chengkai, Zhao W X, et al. PDFormer: propagation delay-aware dynamic long-range transformer for traffic flow prediction[EB/OL].(2023)[2023-05-04].https://doi.org/10.48550/arXiv.2301.0794.

    [21]Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need[C]//Proc of the 31st International Conference on Neural Information Processing Systems.Red Hook,NY:Curran Associates Inc.,2017:6000-6010.

    猜你喜歡
    注意力機制編碼器
    面向短文本的網(wǎng)絡(luò)輿情話題
    基于自注意力與動態(tài)路由的文本建模方法
    基于深度學習的問題回答技術(shù)研究
    基于FPGA的同步機軸角編碼器
    基于LSTM?Attention神經(jīng)網(wǎng)絡(luò)的文本特征提取方法
    基于雙增量碼道的絕對式編碼器設(shè)計
    基于注意力機制的雙向LSTM模型在中文商品評論情感分類中的研究
    軟件工程(2017年11期)2018-01-05 08:06:09
    InsunKBQA:一個基于知識庫的問答系統(tǒng)
    基于PRBS檢測的8B/IOB編碼器設(shè)計
    JESD204B接口協(xié)議中的8B10B編碼器設(shè)計
    電子器件(2015年5期)2015-12-29 08:42:24
    日本与韩国留学比较| 国产精品一区二区免费欧美| 麻豆国产av国片精品| 国产精品爽爽va在线观看网站| 自拍偷自拍亚洲精品老妇| 老熟妇乱子伦视频在线观看| 精品欧美国产一区二区三| 久久人人爽人人爽人人片va| 国产真实伦视频高清在线观看 | 变态另类丝袜制服| 五月伊人婷婷丁香| 动漫黄色视频在线观看| 成人高潮视频无遮挡免费网站| 成人精品一区二区免费| 九色国产91popny在线| 欧美日韩亚洲国产一区二区在线观看| 在现免费观看毛片| 精品久久久久久久末码| 亚洲国产欧美人成| 我的女老师完整版在线观看| 精品久久久久久,| 在线观看av片永久免费下载| 一级黄色大片毛片| 在线观看66精品国产| 伊人久久精品亚洲午夜| 赤兔流量卡办理| 免费av观看视频| 欧美潮喷喷水| 亚洲久久久久久中文字幕| av女优亚洲男人天堂| 精品一区二区三区视频在线| 夜夜爽天天搞| 91在线精品国自产拍蜜月| 国产av不卡久久| 久久精品夜夜夜夜夜久久蜜豆| av天堂在线播放| 欧美又色又爽又黄视频| 我的老师免费观看完整版| 人妻制服诱惑在线中文字幕| 国产伦一二天堂av在线观看| 老司机深夜福利视频在线观看| 国产精品野战在线观看| 韩国av在线不卡| 精品一区二区三区视频在线| 国产精品嫩草影院av在线观看 | 日韩 亚洲 欧美在线| 在线免费十八禁| 亚洲最大成人手机在线| 亚洲国产色片| 久久久国产成人免费| 99在线视频只有这里精品首页| 亚洲精华国产精华精| 亚洲va在线va天堂va国产| 99久久无色码亚洲精品果冻| 久久亚洲真实| 国产亚洲av嫩草精品影院| 成年人黄色毛片网站| 毛片女人毛片| 好男人在线观看高清免费视频| 亚洲欧美日韩高清专用| 成年人黄色毛片网站| 最近在线观看免费完整版| 久久国内精品自在自线图片| 给我免费播放毛片高清在线观看| 乱系列少妇在线播放| 久久午夜亚洲精品久久| 午夜福利视频1000在线观看| 久久久色成人| 能在线免费观看的黄片| 99在线视频只有这里精品首页| 国产亚洲精品久久久com| 午夜福利视频1000在线观看| 麻豆国产av国片精品| 亚洲av免费高清在线观看| 真人一进一出gif抽搐免费| 午夜免费激情av| 一本一本综合久久| 午夜福利视频1000在线观看| 国产亚洲av嫩草精品影院| 午夜精品久久久久久毛片777| 好男人在线观看高清免费视频| 久99久视频精品免费| 韩国av在线不卡| 成年女人毛片免费观看观看9| 婷婷丁香在线五月| 99热这里只有精品一区| 久久精品国产鲁丝片午夜精品 | 精品一区二区三区人妻视频| 国产精品一区二区性色av| 精品人妻偷拍中文字幕| 色哟哟哟哟哟哟| 日本免费一区二区三区高清不卡| 日韩人妻高清精品专区| 嫩草影视91久久| 深夜a级毛片| 亚洲美女视频黄频| 国产91精品成人一区二区三区| 有码 亚洲区| 色综合站精品国产| 最近视频中文字幕2019在线8| 天天躁日日操中文字幕| 国产成人福利小说| 欧美性猛交╳xxx乱大交人| 国内毛片毛片毛片毛片毛片| 国产精品久久久久久av不卡| 日本一二三区视频观看| 男人和女人高潮做爰伦理| 国产亚洲av嫩草精品影院| 一本一本综合久久| 亚洲成人久久爱视频| 99热这里只有是精品在线观看| 亚洲av不卡在线观看| av黄色大香蕉| 人妻丰满熟妇av一区二区三区| 午夜视频国产福利| 欧美激情久久久久久爽电影| 精品不卡国产一区二区三区| 国产午夜福利久久久久久| 国产爱豆传媒在线观看| 自拍偷自拍亚洲精品老妇| 国产伦精品一区二区三区视频9| 深夜精品福利| 18禁在线播放成人免费| 嫩草影院入口| 国产精华一区二区三区| 少妇人妻精品综合一区二区 | 欧美日韩黄片免| 无遮挡黄片免费观看| 免费电影在线观看免费观看| 国产av不卡久久| 最近中文字幕高清免费大全6 | 天堂影院成人在线观看| 精品一区二区三区av网在线观看| 中文字幕av在线有码专区| 黄色配什么色好看| 九九在线视频观看精品| 欧美+亚洲+日韩+国产| 亚洲av中文av极速乱 | 无人区码免费观看不卡| 日本三级黄在线观看| 欧美国产日韩亚洲一区| 亚洲不卡免费看| 联通29元200g的流量卡| netflix在线观看网站| 少妇高潮的动态图| 麻豆久久精品国产亚洲av| 又粗又爽又猛毛片免费看| 少妇丰满av| 国产精品三级大全| 少妇裸体淫交视频免费看高清| 精品久久久久久久末码| 一进一出抽搐动态| 亚洲美女搞黄在线观看 | 亚洲av成人精品一区久久| netflix在线观看网站| 国产乱人伦免费视频| 大型黄色视频在线免费观看| 少妇人妻一区二区三区视频| 美女黄网站色视频| 极品教师在线免费播放| www.www免费av| 如何舔出高潮| 国内精品久久久久精免费| 两性午夜刺激爽爽歪歪视频在线观看| 在线天堂最新版资源| 亚洲真实伦在线观看| 国产私拍福利视频在线观看| 嫩草影院精品99| 久久午夜福利片| 日本黄色片子视频| 日韩大尺度精品在线看网址| 搡老熟女国产l中国老女人| 久久精品91蜜桃| 村上凉子中文字幕在线| 五月玫瑰六月丁香| 亚洲欧美日韩卡通动漫| 人妻少妇偷人精品九色| 亚洲人成网站在线播| 91在线观看av| 色哟哟哟哟哟哟| 美女大奶头视频| 天堂√8在线中文| 日韩av在线大香蕉| 狂野欧美白嫩少妇大欣赏| 国产av一区在线观看免费| 亚洲精华国产精华液的使用体验 | 亚洲人成伊人成综合网2020| 观看免费一级毛片| 老司机深夜福利视频在线观看| 国内精品美女久久久久久| 日本 av在线| 亚洲无线在线观看| 午夜免费激情av| 内地一区二区视频在线| 国产av麻豆久久久久久久| 国产黄片美女视频| 日韩欧美国产一区二区入口| 国产精品av视频在线免费观看| 两个人视频免费观看高清| 麻豆精品久久久久久蜜桃| 精品久久久久久久久久免费视频| 国产精品98久久久久久宅男小说| 无遮挡黄片免费观看| 亚洲无线在线观看| 精品人妻熟女av久视频| 亚洲第一电影网av| 国产免费男女视频| 成熟少妇高潮喷水视频| 亚洲一区高清亚洲精品| 日韩一区二区视频免费看| 女同久久另类99精品国产91| 亚洲精品成人久久久久久| 成人特级av手机在线观看| 日本欧美国产在线视频| 日韩欧美在线二视频| 波多野结衣巨乳人妻| 久久精品91蜜桃| eeuss影院久久| 91久久精品国产一区二区三区| 男插女下体视频免费在线播放| 成人鲁丝片一二三区免费| 免费观看精品视频网站| 老熟妇乱子伦视频在线观看| 精品人妻1区二区| 97超视频在线观看视频| 国产高清有码在线观看视频| 非洲黑人性xxxx精品又粗又长| 又黄又爽又刺激的免费视频.| 亚洲av二区三区四区| 欧美又色又爽又黄视频| 变态另类丝袜制服| 日韩高清综合在线| 久久草成人影院| 日日摸夜夜添夜夜添av毛片 | 夜夜爽天天搞| 欧美中文日本在线观看视频| 国产在线男女| 亚洲中文字幕一区二区三区有码在线看| 国产精品一及| 精品久久久久久久末码| 91精品国产九色| av在线亚洲专区| 在线观看av片永久免费下载| 十八禁网站免费在线| 偷拍熟女少妇极品色| 别揉我奶头~嗯~啊~动态视频| 99热这里只有精品一区| 十八禁国产超污无遮挡网站| 精品久久久久久久人妻蜜臀av| 精品人妻熟女av久视频| 欧美高清性xxxxhd video| 又黄又爽又刺激的免费视频.| a级一级毛片免费在线观看| 国产免费男女视频| 搞女人的毛片| 老熟妇乱子伦视频在线观看| 国产午夜福利久久久久久| 欧美一区二区精品小视频在线| 免费看a级黄色片| www日本黄色视频网| 国产免费av片在线观看野外av| 久久人人爽人人爽人人片va| 九九热线精品视视频播放| 亚洲av一区综合| 观看美女的网站| 亚洲aⅴ乱码一区二区在线播放| 午夜福利在线观看吧| 麻豆国产av国片精品| 久久99热6这里只有精品| 成人二区视频| 成人二区视频| 夜夜夜夜夜久久久久| 国产美女午夜福利| 国产高清三级在线| 精品久久久久久久人妻蜜臀av| 窝窝影院91人妻| 99久久精品一区二区三区| 搞女人的毛片| 黄色日韩在线| 少妇被粗大猛烈的视频| 国产高清视频在线观看网站| 国产av不卡久久| 69人妻影院| 精品一区二区三区视频在线| 嫩草影院入口| bbb黄色大片| 干丝袜人妻中文字幕| 亚洲图色成人| 人妻丰满熟妇av一区二区三区| 免费av观看视频| 久久久久久久久久成人| 伊人久久精品亚洲午夜| 亚洲电影在线观看av| 熟女电影av网| 中文字幕av成人在线电影| 亚洲欧美日韩无卡精品| 久久久久久伊人网av| 男女边吃奶边做爰视频| 精品国产三级普通话版| 亚洲综合色惰| 禁无遮挡网站| 免费看av在线观看网站| 亚洲第一电影网av| a级一级毛片免费在线观看| 欧美日韩国产亚洲二区| 在线观看66精品国产| 中文字幕av成人在线电影| www日本黄色视频网| www.色视频.com| 精品乱码久久久久久99久播| 亚洲内射少妇av| 男女之事视频高清在线观看| 日韩欧美精品免费久久| 韩国av在线不卡| 别揉我奶头 嗯啊视频| 啦啦啦韩国在线观看视频| 亚洲无线观看免费| 国产白丝娇喘喷水9色精品| 亚洲成人久久性| 免费观看精品视频网站| 国产探花在线观看一区二区| 国产精品亚洲美女久久久| 看十八女毛片水多多多| 男女啪啪激烈高潮av片| 少妇被粗大猛烈的视频| 变态另类丝袜制服| 99国产精品一区二区蜜桃av| 人妻少妇偷人精品九色| 人妻久久中文字幕网| 国产欧美日韩精品一区二区| 黄色日韩在线| 人人妻人人澡欧美一区二区| 九九久久精品国产亚洲av麻豆| 女同久久另类99精品国产91| av天堂在线播放| 在线观看一区二区三区| avwww免费| 国内毛片毛片毛片毛片毛片| 男人的好看免费观看在线视频| 啦啦啦啦在线视频资源| 日本在线视频免费播放| 欧美最黄视频在线播放免费| 国产精品国产高清国产av| 嫩草影视91久久| АⅤ资源中文在线天堂| 国产高清有码在线观看视频| bbb黄色大片| 国产高清三级在线| 成年版毛片免费区| 久久热精品热| 亚洲一级一片aⅴ在线观看| 免费观看人在逋| 久久午夜亚洲精品久久| 亚洲美女搞黄在线观看 | 少妇熟女aⅴ在线视频| 欧美+日韩+精品| 日本-黄色视频高清免费观看| 3wmmmm亚洲av在线观看| 亚洲18禁久久av| 亚洲最大成人av| 久久久色成人| 国产大屁股一区二区在线视频| 久久久久精品国产欧美久久久| netflix在线观看网站| 不卡一级毛片| 日韩欧美精品v在线| 国产精品国产三级国产av玫瑰| 一区二区三区四区激情视频 | 高清日韩中文字幕在线| 极品教师在线免费播放| 久9热在线精品视频| 欧美极品一区二区三区四区| 三级毛片av免费| 午夜爱爱视频在线播放| 亚洲av电影不卡..在线观看| 成人美女网站在线观看视频| 一级黄色大片毛片| 国产 一区精品| 男女边吃奶边做爰视频| 国产欧美日韩一区二区精品| 日韩欧美国产在线观看| 男女啪啪激烈高潮av片| 九色成人免费人妻av| 黄色视频,在线免费观看| 如何舔出高潮| 欧美人与善性xxx| 亚洲真实伦在线观看| 国产成人福利小说| 天天躁日日操中文字幕| 很黄的视频免费| 最近最新中文字幕大全电影3| 波多野结衣巨乳人妻| 免费av观看视频| 小说图片视频综合网站| 精品久久久久久久久亚洲 | 床上黄色一级片| 国产精品女同一区二区软件 | 欧美极品一区二区三区四区| 窝窝影院91人妻| 日本-黄色视频高清免费观看| 午夜免费成人在线视频| 黄片wwwwww| 欧美日韩中文字幕国产精品一区二区三区| 久久九九热精品免费| 欧洲精品卡2卡3卡4卡5卡区| 亚洲午夜理论影院| 女同久久另类99精品国产91| 村上凉子中文字幕在线| 亚洲国产欧美人成| 春色校园在线视频观看| 高清在线国产一区| 国产欧美日韩精品一区二区| 一区福利在线观看| 热99re8久久精品国产| 亚洲成人免费电影在线观看| 男女下面进入的视频免费午夜| 亚洲精品色激情综合| 日韩欧美精品免费久久| 成年女人毛片免费观看观看9| 久久久久久久久中文| 99久久精品一区二区三区| 午夜福利在线观看免费完整高清在 | 精华霜和精华液先用哪个| 乱人视频在线观看| 精品一区二区三区视频在线| 精品人妻熟女av久视频| 波多野结衣巨乳人妻| 久久久成人免费电影| 日韩 亚洲 欧美在线| 一级黄色大片毛片| 狂野欧美激情性xxxx在线观看| 精品99又大又爽又粗少妇毛片 | 欧美一区二区国产精品久久精品| 少妇猛男粗大的猛烈进出视频 | 最近最新中文字幕大全电影3| 在线国产一区二区在线| 在线观看66精品国产| 男人舔女人下体高潮全视频| 国产精品女同一区二区软件 | 啦啦啦啦在线视频资源| 国产美女午夜福利| 国产伦精品一区二区三区四那| 国产淫片久久久久久久久| 精品久久久久久久久久免费视频| 日韩欧美国产在线观看| 亚洲最大成人中文| 午夜福利在线在线| 亚洲熟妇熟女久久| 毛片女人毛片| 国产精品久久电影中文字幕| av天堂在线播放| 老熟妇乱子伦视频在线观看| 久久精品国产亚洲av涩爱 | 天堂√8在线中文| 高清毛片免费观看视频网站| 国产精品野战在线观看| 日韩欧美一区二区三区在线观看| 热99re8久久精品国产| 天堂av国产一区二区熟女人妻| 一a级毛片在线观看| 99精品久久久久人妻精品| 亚洲性久久影院| 亚州av有码| 久久久色成人| 窝窝影院91人妻| 久久婷婷人人爽人人干人人爱| 亚洲欧美日韩卡通动漫| 特大巨黑吊av在线直播| 色5月婷婷丁香| 免费看a级黄色片| 男插女下体视频免费在线播放| 国产成人a区在线观看| 国产精品98久久久久久宅男小说| 在线免费观看的www视频| 久久国内精品自在自线图片| 国产毛片a区久久久久| 久久亚洲精品不卡| 中亚洲国语对白在线视频| 久久精品国产鲁丝片午夜精品 | 99久久成人亚洲精品观看| 亚洲精品一卡2卡三卡4卡5卡| 欧美bdsm另类| 中亚洲国语对白在线视频| 欧美高清性xxxxhd video| 免费av不卡在线播放| 国产91精品成人一区二区三区| 国产亚洲av嫩草精品影院| 国产在视频线在精品| 不卡一级毛片| 亚洲18禁久久av| 亚洲国产色片| 看片在线看免费视频| 三级国产精品欧美在线观看| 色吧在线观看| 春色校园在线视频观看| 日日摸夜夜添夜夜添小说| 99久久久亚洲精品蜜臀av| 99在线人妻在线中文字幕| 国产亚洲av嫩草精品影院| 啦啦啦韩国在线观看视频| 91久久精品电影网| 久久精品国产清高在天天线| 欧美成人一区二区免费高清观看| 色尼玛亚洲综合影院| 日本黄色视频三级网站网址| 露出奶头的视频| 夜夜夜夜夜久久久久| 亚洲色图av天堂| 美女黄网站色视频| 别揉我奶头~嗯~啊~动态视频| 国产亚洲精品综合一区在线观看| 亚洲精品一区av在线观看| 久久婷婷人人爽人人干人人爱| 狠狠狠狠99中文字幕| 国产亚洲av嫩草精品影院| 大又大粗又爽又黄少妇毛片口| 国产男靠女视频免费网站| 在线观看美女被高潮喷水网站| x7x7x7水蜜桃| 免费无遮挡裸体视频| 精品久久久久久久久亚洲 | 免费人成视频x8x8入口观看| 免费黄网站久久成人精品| 国产精品1区2区在线观看.| 日韩精品有码人妻一区| 美女cb高潮喷水在线观看| 精品久久久久久久久久免费视频| 日韩欧美 国产精品| 狂野欧美激情性xxxx在线观看| 一级av片app| 成年版毛片免费区| 精品乱码久久久久久99久播| 我要搜黄色片| 亚洲avbb在线观看| 成人国产综合亚洲| 国产极品精品免费视频能看的| 麻豆国产97在线/欧美| 午夜激情欧美在线| 在线播放无遮挡| 一区福利在线观看| 性插视频无遮挡在线免费观看| 淫妇啪啪啪对白视频| 午夜影院日韩av| 亚洲狠狠婷婷综合久久图片| 国产精品美女特级片免费视频播放器| 国产精品人妻久久久久久| 国产主播在线观看一区二区| 久久九九热精品免费| 国产午夜精品论理片| 国产免费av片在线观看野外av| 成人av在线播放网站| 亚洲国产日韩欧美精品在线观看| 亚洲国产精品sss在线观看| 久久天躁狠狠躁夜夜2o2o| 精品久久久噜噜| 又粗又爽又猛毛片免费看| 噜噜噜噜噜久久久久久91| 国产黄色小视频在线观看| 成人亚洲精品av一区二区| 久久香蕉精品热| 国产av不卡久久| 亚洲人成伊人成综合网2020| 国产精品乱码一区二三区的特点| 日韩精品有码人妻一区| 我要看日韩黄色一级片| 中文字幕人妻熟人妻熟丝袜美| 久久热精品热| 精品免费久久久久久久清纯| 国产 一区 欧美 日韩| 男女啪啪激烈高潮av片| 99国产精品一区二区蜜桃av| 久久人妻av系列| 亚洲av中文av极速乱 | 欧美日韩中文字幕国产精品一区二区三区| 亚洲人成伊人成综合网2020| 色综合色国产| 欧美精品国产亚洲| 少妇人妻精品综合一区二区 | 亚洲av一区综合| 欧美潮喷喷水| 国产主播在线观看一区二区| 1024手机看黄色片| 国产午夜精品论理片| 高清日韩中文字幕在线| bbb黄色大片| 国产精品一区二区三区四区免费观看 | 中文字幕熟女人妻在线| 成人性生交大片免费视频hd| 中文字幕av成人在线电影| 99久久无色码亚洲精品果冻| 天堂网av新在线| eeuss影院久久| 蜜桃久久精品国产亚洲av| 又紧又爽又黄一区二区| 少妇丰满av| 狂野欧美白嫩少妇大欣赏| 麻豆一二三区av精品| 国产真实伦视频高清在线观看 | 内地一区二区视频在线| 国内精品美女久久久久久| 免费观看人在逋| 老司机深夜福利视频在线观看| АⅤ资源中文在线天堂| 国产精品久久电影中文字幕| 亚洲 国产 在线| 美女 人体艺术 gogo| h日本视频在线播放| 国产免费av片在线观看野外av| 日日干狠狠操夜夜爽| 欧美高清成人免费视频www| 91久久精品国产一区二区三区| 1024手机看黄色片| 伦精品一区二区三区| 国产伦精品一区二区三区视频9| 1024手机看黄色片|