• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于時域卷積與雙向GRU神經(jīng)網(wǎng)絡(luò)的時序預(yù)測模型

    2020-05-28 09:36:21王振張生
    軟件導(dǎo)刊 2020年3期
    關(guān)鍵詞:卷積神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)

    王振 張生

    摘 要:隨著物聯(lián)網(wǎng)技術(shù)和5G技術(shù)的發(fā)展,各類智能設(shè)備收集的時序數(shù)據(jù)規(guī)模急劇增長,為了利用深度學(xué)習(xí)技術(shù)對大規(guī)模時序數(shù)據(jù)進(jìn)行預(yù)測,提出一種基于深度神經(jīng)網(wǎng)絡(luò)的時序預(yù)測模型。該模型首先利用時域卷積神經(jīng)網(wǎng)絡(luò)層對時序數(shù)據(jù)進(jìn)行預(yù)處理,然后利用雙向GRU神經(jīng)網(wǎng)絡(luò)層提取時序數(shù)據(jù)的前向特征和后向特征,最后對時序數(shù)據(jù)進(jìn)行預(yù)測。在真實數(shù)據(jù)集上的實驗結(jié)果表明,該模型相比傳統(tǒng)長短期記憶網(wǎng)絡(luò)模型,預(yù)測準(zhǔn)確度提高了近70%,預(yù)測速度提高了近10%,可更好地滿足對大規(guī)模時序數(shù)據(jù)的預(yù)測需求。

    關(guān)鍵詞:深度學(xué)習(xí);時序預(yù)測;雙向GRU神經(jīng)網(wǎng)絡(luò);卷積神經(jīng)網(wǎng)絡(luò);循環(huán)神經(jīng)網(wǎng)絡(luò)

    DOI:10. 11907/rjdk. 192539

    中圖分類號:TP306 ? 文獻(xiàn)標(biāo)識碼:A??????????????? 文章編號:1672-7800(2020)003-0048-05

    Time Series Prediction Model Based on Time Domain Convolution and

    Bidirectional GRU Neural Network

    WANG Zhen, ZHANG Sheng

    (School of Optical-Electrical and Computer Engineering,University of Shanghai for Science and Technology,Shanghai 200093,China)

    Abstract: With the development of Internet of Things and 5G technology, the scale of time series data collected by various kinds of intelligent devices has increased dramatically. In order to use deep learning technology to predict large-scale time series data, this paper proposes a time series prediction model based on deep neural network. This model firstly preprocesses the time series data with the time-domain convolutional neural network layer, then extracts the forward and backward characteristics of the time series data with the bidirectional gated recurrent unit (GRU) neural network layer, and finally predicts the time series data. The experimental results on real data sets show that the model proposed in this paper can better meet the prediction requirements of large-scale time series data by improving the prediction accuracy nearly 70% and the prediction speed nearly 10% compared with the traditional LSTM network model.

    Key Words: deep learning; time series prediction; bidirectional GRU neural network; CNN; RNN

    0 引言

    序列數(shù)據(jù)通常包括文本數(shù)據(jù)和時序數(shù)據(jù),其中時序數(shù)據(jù)反映數(shù)據(jù)在時間維度上的變化規(guī)律,其是按時間順序存儲的一連串隨時間推移測量相同事物的數(shù)據(jù)點[1-2]。時序數(shù)據(jù)在現(xiàn)實生活中分布廣泛,如智能家居系統(tǒng)在持續(xù)監(jiān)控房屋內(nèi)變化時收集的溫度和濕度數(shù)據(jù)、自動駕駛汽車持續(xù)收集的環(huán)境變化數(shù)據(jù)等。時序預(yù)測即使用特定的時序預(yù)測模型對歷史數(shù)據(jù)進(jìn)行擬合,分析時序數(shù)據(jù)發(fā)展規(guī)律,最終對未知數(shù)據(jù)作出預(yù)測[2]?,F(xiàn)有時序預(yù)測方法主要分為統(tǒng)計學(xué)習(xí)方法和深度學(xué)習(xí)方法,其中統(tǒng)計學(xué)習(xí)方法適用于線性時序數(shù)據(jù)預(yù)測,深度學(xué)習(xí)方法適用于復(fù)雜非線性的大規(guī)模時序數(shù)據(jù)預(yù)測[3]。

    目前時序預(yù)測領(lǐng)域常見的深度學(xué)習(xí)模型為門控循環(huán)單元網(wǎng)絡(luò)模型(Gated Recurrent Unit,GRU)[9],該模型通過隱層狀態(tài)機制實現(xiàn)對時序數(shù)據(jù)歷史信息的利用,通過門控機制實現(xiàn)對隱層狀態(tài)的更新,該模型可較好地實現(xiàn)對中等規(guī)模時序數(shù)據(jù)的預(yù)測分析。但由于模型結(jié)構(gòu)較為復(fù)雜,對大規(guī)模數(shù)據(jù)進(jìn)行預(yù)測時運算速度較慢,且在數(shù)據(jù)規(guī)模較大時,隱層狀態(tài)機制對較早的信息無法進(jìn)行有效利用,導(dǎo)致準(zhǔn)確度下降[2-3]。

    為了更好地對大規(guī)模時序數(shù)據(jù)進(jìn)行預(yù)測,本文提出一種基于時域卷積與雙向GRU神經(jīng)網(wǎng)絡(luò)的時序預(yù)測模型。該模型首先構(gòu)建包含時域卷積層和最大池化層的時域卷積神經(jīng)網(wǎng)絡(luò),通過引入滑動窗口機制及最大池化結(jié)構(gòu),對大規(guī)模時序數(shù)據(jù)進(jìn)行有效信息提取并縮減數(shù)據(jù)規(guī)模,然后利用雙向GRU神經(jīng)網(wǎng)絡(luò)進(jìn)行時序預(yù)測,有效避免了傳統(tǒng)模型中無法有效利用隱層信息的問題,以提高對大規(guī)模時序數(shù)據(jù)的預(yù)測準(zhǔn)確度與速度。

    1 相關(guān)理論

    1.1 卷積神經(jīng)網(wǎng)絡(luò)

    卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)是由LeCun[4]于1998 年提出的一種神經(jīng)網(wǎng)絡(luò)模型。卷積神經(jīng)網(wǎng)絡(luò)是一種前饋神經(jīng)網(wǎng)絡(luò),是一種主要應(yīng)用于計算機視覺領(lǐng)域的經(jīng)典深度學(xué)習(xí)模型,相較于傳統(tǒng)神經(jīng)網(wǎng)絡(luò),其引入了卷積層和池化層。

    卷積層(Convolutional Layer)用于將輸入圖像特征圖與卷積核進(jìn)行卷積運算,其通過滑動一個比原有輸入尺寸更小的窗口提取輸入的局部特征,然后在更高層進(jìn)行合并,以得到輸入圖像全局特征。卷積層內(nèi)部采用稀疏連接和權(quán)值共享機制,可以降低參數(shù)數(shù)量。

    池化層(Pooling Layer)主要用于對數(shù)據(jù)進(jìn)行池化處理,通常在卷積操作之后進(jìn)行。池化處理的目的是為了計算特征在局部的充分統(tǒng)計量,從而降低總體特征數(shù)量,防止過擬合且減少計算量,同時通過增大卷積層的觀察窗口,引入空間過濾器的層級結(jié)構(gòu)。

    時域卷積神經(jīng)網(wǎng)絡(luò)是一種使用一維卷積核(One Dimensional Convolution Kernel)[5]在時域上對時序數(shù)據(jù)進(jìn)行卷積計算的卷積神經(jīng)網(wǎng)絡(luò),其工作原理如圖1所示。它將時序數(shù)據(jù)中的時間維度看作一個空間維度,通過時序分割從序列中提取出局部序列段,然后使用一維卷積核對局部序列段的鄰近信號進(jìn)行卷積計算,生成一個輸出張量。

    時域卷積計算如式(1)所示。

    式中[yt]表示[t]時刻的時域卷積值,[xt-k+1]表示輸入序列[x={x1,x2,?,xn}]中的第[t-k+1]個值,[wk]表示一維卷積核中的權(quán)值參數(shù),卷積核長度為[N]。

    由于時域卷積神經(jīng)網(wǎng)絡(luò)的每個輸出張量都是通過對不同位置上的局部序列段使用同一離散卷積核進(jìn)行卷積計算得出的,即卷積核參數(shù)是固定的,因此時序特征在時間維度上的平移不會對時域卷積神經(jīng)網(wǎng)絡(luò)產(chǎn)生影響。所以與傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)類似,時域卷積神經(jīng)網(wǎng)絡(luò)在時間維度上具有平移不變性,可以識別出隱含在局部序列段中的局部特征模式。

    由于時域卷積神經(jīng)網(wǎng)絡(luò)在對輸入序列進(jìn)行處理時沒有保留輸入時間步的順序信息,因此為了加入時序敏感性,本文引入雙向GRU網(wǎng)絡(luò)對時域卷積神經(jīng)網(wǎng)絡(luò)的輸出作進(jìn)一步處理。

    1.2 循環(huán)神經(jīng)網(wǎng)絡(luò)

    循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Networks,RNN)是一類具有內(nèi)部環(huán)的神經(jīng)網(wǎng)絡(luò)[6]。其序列處理方式是:遍歷序列元素,并生成一個隱層狀態(tài),其中包含與歷史數(shù)據(jù)相關(guān)的模式信息。其能夠保留序列前后關(guān)系,通常被用于處理序列數(shù)據(jù)。

    對于傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò),當(dāng)輸入序列長度較大時,會產(chǎn)生梯度消失問題,導(dǎo)致RNN實際上只能學(xué)習(xí)到短期依賴關(guān)系,而無法很好地處理遠(yuǎn)距離依賴,也稱為長期依賴問題(Long-Term Dependencies Problem)[7]。

    為了解決這一問題,一種比較好的解決方案是通過引入門控機制以控制信息累積速度,包括選擇性地加入新信息,并選擇性地遺忘之前累積的信息,通常稱這類網(wǎng)絡(luò)為基于門控的循環(huán)神經(jīng)網(wǎng)絡(luò)(Gated RNN)。兩種常見的基于門控機制的循環(huán)神經(jīng)網(wǎng)絡(luò)為:長短期記憶網(wǎng)絡(luò)(Long Short-Term Memory,LSTM)[8]和門控循環(huán)單元網(wǎng)絡(luò)(Gated Recurrent Unit,GRU)[9]。

    LSTM神經(jīng)網(wǎng)絡(luò)由Hochreiter&Schmidhuber于1997年提出,其是循環(huán)神經(jīng)網(wǎng)絡(luò)的一種變體。GRU神經(jīng)網(wǎng)絡(luò)由Chung等提出,其在LSTM基礎(chǔ)上作進(jìn)一步優(yōu)化,使得運行計算代價更低。GRU與LSTM可得到同樣準(zhǔn)確的預(yù)測結(jié)果,而且GRU模型中包含網(wǎng)絡(luò)參數(shù)更少,因此其運算性能較好,且降低了出現(xiàn)過擬合的風(fēng)險。LSTM與GRU網(wǎng)絡(luò)均使用被稱為“門”(gate)的記憶模塊或結(jié)構(gòu)控制對歷史序列特征的記憶。

    在數(shù)字電路中存在著類似的“門”機制,其中 “門”為一個二值變量:{0, 1},0代表關(guān)閉狀態(tài),不允許任何信息通過;1代表開放狀態(tài),允許所有信息通過。GRU網(wǎng)絡(luò)中的“門”是一種非離散數(shù)值,取值在(0, 1)之間,表示允許一定比例的信息流通過“門”。趨近于0時,表示信息流不能通過“門”;趨近于1時,表示信息流可以通過“門”。

    門控循環(huán)單元模型內(nèi)部結(jié)構(gòu)如圖2所示,設(shè)輸入時序數(shù)據(jù)為[x={x1,x2,?,xt}],其中[xt]表示輸入序列中第t個元素值;[ht-1]表示在t-1時刻的隱層狀態(tài);[rt]表示重置門,用于控制前一時刻隱層單元[ht-1]對當(dāng)前輸入[xt]的影響,若其值為0,則開關(guān)[rt]為打開狀態(tài),使[ht-1]對[xt]不產(chǎn)生影響;[zt]表示更新門,用于決定是否忽略當(dāng)前輸入[xt],當(dāng)[zt]開關(guān)接通下方支路時,將忽略當(dāng)前輸入,同時在[ht-1]與[ht]之間形成短路,使得梯度得以有效地進(jìn)行反向傳播。這種構(gòu)成短路的機制能夠有效避免出現(xiàn)梯度消失現(xiàn)象。

    在[t]時刻,門控循環(huán)單元模型在數(shù)學(xué)上的形式化表示如下:

    其中,公式(2)和公式(3)中的[σ]表示Sigmoid激活函數(shù),公式(4)和公式(5)中的[⊙]表示逐元素相乘,公式(6)為Sigmoid激活函數(shù)的數(shù)學(xué)定義。

    2 模型

    2.1 模型結(jié)構(gòu)

    本時序預(yù)測模型基本結(jié)構(gòu)如圖3所示。通過卷積計算與最大池化處理過程,將較長的原始時序數(shù)據(jù)轉(zhuǎn)換為由抽象特征組成的更短序列,然后將其作為雙向GRU網(wǎng)絡(luò)層的輸入進(jìn)行分析處理。本時序數(shù)據(jù)預(yù)測模型充分結(jié)合了時域卷積神經(jīng)網(wǎng)絡(luò)在處理時序數(shù)據(jù)時的速度優(yōu)勢與門控循環(huán)單元的時序敏感性。

    本模型通過引入時域卷積神經(jīng)網(wǎng)絡(luò),一方面縮小了輸入數(shù)據(jù)的數(shù)量級規(guī)模,提高了模型運算速度,另一方面時域卷積神經(jīng)網(wǎng)絡(luò)輸出中隱含了較大時間跨度下的時序特征,使雙向GRU網(wǎng)絡(luò)進(jìn)行后續(xù)計算時可以觀察到更早的時序數(shù)據(jù),以及分辨率更高的時序數(shù)據(jù),從而提高了時序預(yù)測的準(zhǔn)確性。

    2.2 時域卷積神經(jīng)網(wǎng)絡(luò)處理層

    在時域卷積神經(jīng)網(wǎng)絡(luò)處理層的卷積計算過程中使用128個時域卷積核,大小為24,最大池化層的最大池化算子大小為3。

    時域卷積神經(jīng)網(wǎng)絡(luò)處理層激活函數(shù)為線性整流函數(shù)(Rectified Linear Unit,ReLU),又稱為修正線性單元。ReLU函數(shù)可以使一部分神經(jīng)元輸出為0,以提高網(wǎng)絡(luò)稀疏性,并且減少了參數(shù)的相互依存關(guān)系,以避免發(fā)生過擬合現(xiàn)象[11]。另外ReLU函數(shù)的導(dǎo)數(shù)為1,可減輕梯度消失問題,其數(shù)學(xué)定義如式(7)所示。

    式中[x]為神經(jīng)元輸入量,[w]為神經(jīng)元權(quán)重參數(shù),[b]為神經(jīng)元偏移量(bias)。

    通過池化處理可以對輸入數(shù)據(jù)進(jìn)行縮放映射,在本模型中采用最大池化(Max Pooling)方法進(jìn)行池化處理。通過最大池化處理可以在輸入特征中提取局部最大值,以降低可訓(xùn)練參數(shù)數(shù)目,提高模型的魯棒性[12]。

    最大池化處理在減小輸出數(shù)據(jù)維度的同時,保留了輸入數(shù)據(jù)最顯著的特征信息[13]。最大池化的意義主要為兩點:一是通過對特征圖(Feature Map)降維,有效減少后續(xù)層需要的參數(shù);二是保持平移不變性(Translation Invariance) [14],即當(dāng)輸入數(shù)據(jù)在鄰域發(fā)生微小位移時,最大池化層的輸出是不變的,從而增強神經(jīng)網(wǎng)絡(luò)的魯棒性,有一定的抗擾動作用。

    最大池化變換函數(shù)如式(8)所示。

    式中,[qli(t)]表示第[l]層第[i]個特征矢量中第[t]個神經(jīng)元的值,[t∈[(j-1)W+1,jW]],[W]為池化區(qū)域?qū)挾?,[pl+1i(j)]表示第[l+1]層中第[j]次池化計算對應(yīng)的值。

    2.3 雙向GRU神經(jīng)網(wǎng)絡(luò)處理層

    由于時序信息在GRU網(wǎng)絡(luò)中向前傳遞時會不斷衰減,越靠前的序列信息衰減越嚴(yán)重。為了克服信息衰減問題,本文對GRU網(wǎng)絡(luò)加以改進(jìn),同時訓(xùn)練兩個方向相反的GRU以構(gòu)成雙向GRU模型[10]。雙向GRU模型由兩個單向GRU疊加在一起組成,每個時刻t的輸入都會同時提供給兩個方向相反的GRU網(wǎng)絡(luò)層進(jìn)行學(xué)習(xí),模型最終輸出由這兩個單向GRU網(wǎng)絡(luò)層輸出共同決定。

    本文使用的雙向GRU神經(jīng)網(wǎng)絡(luò)模型如圖4所示。

    在雙向GRU模型中,對前向傳遞和后向傳遞兩個子GRU網(wǎng)絡(luò)的輸出進(jìn)行疊加,可得到雙向GRU模型輸出,其輸出公式如式(9)所示。

    在雙向GRU神經(jīng)網(wǎng)絡(luò)處理層中,前向傳遞子層與后向傳遞子層的神經(jīng)單元個數(shù)均為32個。

    為了避免模型在訓(xùn)練過程中出現(xiàn)過擬合,在門控循環(huán)單元處理層引入Dropout機制[15]。Dropout是指在深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練過程中,對于神經(jīng)網(wǎng)絡(luò)單元,按照一定概率將其暫時從網(wǎng)絡(luò)中丟棄,該機制可以增強模型的泛化性,因為其不會太依賴于某些局部特征。經(jīng)過實驗測試,當(dāng)設(shè)置門控循環(huán)單元的Dropout為0.5時,模型性能達(dá)到最優(yōu)。

    3 實驗

    3.1 數(shù)據(jù)集與測試環(huán)境

    本實驗采用兩個數(shù)據(jù)集,分別是美國PJM公司的電力負(fù)荷數(shù)據(jù)集(包含2002-2018年間收集的145 366條電力能源消耗數(shù)據(jù),其時間粒度為每小時,單位為兆瓦(MW)),以及德國馬克思·普朗克生物地球化學(xué)研究所的氣象站數(shù)據(jù)集(包含2009-2018年間收集的420 551條氣象觀測數(shù)據(jù),時間粒度為每10分鐘),分別記為數(shù)據(jù)集1和數(shù)據(jù)集2。本實驗在這兩個數(shù)據(jù)集上將本模型與現(xiàn)有時間序列分析預(yù)測模型進(jìn)行比較,最終證明本模型在解決實際問題時有較好表現(xiàn)。

    在本實驗輸入數(shù)據(jù)中以每10分鐘為一個時間步,每6個時間步(即每小時)采集一次數(shù)據(jù),給定過去2 880個時間步(20天)之內(nèi)的數(shù)據(jù),以預(yù)測144個時間步(24小時)之后的時間序列數(shù)據(jù)。

    實驗在配置為Intel Core i5-4560 2.80GHz CPU、16GB內(nèi)存、1TB硬盤,操作系統(tǒng)為Windows 10 64位的機器上進(jìn)行,模型測試代碼使用Python語言實現(xiàn)。在實驗中,通過將本模型與常見的BP神經(jīng)網(wǎng)絡(luò)模型、RNN神經(jīng)網(wǎng)絡(luò)模型、LSTM神經(jīng)網(wǎng)絡(luò)模型及GRU神經(jīng)網(wǎng)絡(luò)模型進(jìn)行對比,以證明本模型的高效性與準(zhǔn)確性。

    3.2 數(shù)據(jù)預(yù)處理

    在將實驗數(shù)據(jù)輸入神經(jīng)網(wǎng)絡(luò)之前,需要對其進(jìn)行預(yù)處理。由于各個時序數(shù)據(jù)集中數(shù)據(jù)的數(shù)值變化范圍不同,為便于比較,需要對每個時間序列進(jìn)行標(biāo)準(zhǔn)化(Standardization)處理。處理方法采用z-score標(biāo)準(zhǔn)化方法,具體是將原始時序數(shù)據(jù)的均值與標(biāo)準(zhǔn)差進(jìn)行標(biāo)準(zhǔn)化,經(jīng)過標(biāo)準(zhǔn)化處理后的時序數(shù)據(jù)符合標(biāo)準(zhǔn)正態(tài)分布,即均值為0,標(biāo)準(zhǔn)差為1,其轉(zhuǎn)化函數(shù)如式(10)所示。

    式中[xi]表示原始數(shù)據(jù)中的第[i]個值,[μi]表示原始數(shù)據(jù)均值,[σi]表示原始數(shù)據(jù)標(biāo)準(zhǔn)差,[xi]表示標(biāo)準(zhǔn)化后的數(shù)據(jù)。

    3.3 評價指標(biāo)

    為了驗證本模型相對其它時序預(yù)測模型的優(yōu)勢,本實驗引入平均絕對誤差(Mean Absolute Error,MAE)、均方根誤差(Root Mean Square Error,RMSE)、均方誤差(Mean Squared Error,MSE) [16]與算法運行時間4項評估指標(biāo)。通過該評價指標(biāo),可以充分評估各個時序預(yù)測模型在測試集上的預(yù)測誤差和預(yù)測速度。

    其中MAE是指模型預(yù)測值[yi]與樣本真實值[yi]之間距離的平均值,MAE能夠較準(zhǔn)確地反映預(yù)測值誤差的真實情況。MAE值越小,預(yù)測精度越大。MAE計算公式如公式(11)所示。

    上式中[m]為測試集中的樣本個數(shù),[yi]、[yi]分別表示第[i]個樣本的真實值和預(yù)測值。

    RMSE表示模型預(yù)測值[yi]與樣本真實值[yi]之間差異的樣本標(biāo)準(zhǔn)偏差,RMSE對于測試集中的異常數(shù)據(jù)點更加敏感,即若有一個預(yù)測值與真實值相差很大,RMSE則會很大。RMSE值越小,預(yù)測精度越大。RMSE計算如式(12)所示。

    MSE是指參數(shù)估計值與參數(shù)真實值之差平方的期望值,可用于評價數(shù)據(jù)變化程度,MSE值越小,說明預(yù)測模型具有更好的精度。MSE計算如式(13)所示。

    3.4 實驗結(jié)果分析

    表1、表2列出了使用MSE、MAE、RMSE與算法運行時間4種評價指標(biāo)對BP神經(jīng)網(wǎng)絡(luò)模型、RNN神經(jīng)網(wǎng)絡(luò)模型、LSTM神經(jīng)網(wǎng)絡(luò)模型、GRU神經(jīng)網(wǎng)絡(luò)模型及本文模型在不同數(shù)據(jù)集上進(jìn)行評估的結(jié)果。

    對比實驗結(jié)果顯示,本模型在數(shù)據(jù)集1與數(shù)據(jù)集2上的MSE評估指標(biāo)相比LSTM神經(jīng)網(wǎng)絡(luò)模型分別提升了30.12%、70.31%,運行時間指標(biāo)分別提升了12.81%、10.5%。相比單層GRU神經(jīng)網(wǎng)絡(luò)模型,加入時域卷積網(wǎng)絡(luò)后的模型在數(shù)據(jù)集1與數(shù)據(jù)集2上的MSE評估指標(biāo)分別提升了45.41%、69.14%,運行時間指標(biāo)分別提升了8.5%、5.7%。說明通過結(jié)合時域卷積與雙向GRU神經(jīng)網(wǎng)絡(luò),本模型減小了運算負(fù)荷,且能夠捕獲更長時間維度中的時序信息,進(jìn)而提高了本模型的預(yù)測準(zhǔn)確性與速度。

    為了驗證模型實際性能,圖5中給出了本模型時序預(yù)測結(jié)果與真實值的對比。結(jié)果顯示,本模型對時序數(shù)據(jù)的趨勢預(yù)測基本正確,說明從時域卷積神經(jīng)網(wǎng)絡(luò)提取的顯著性特征中,雙向GRU網(wǎng)絡(luò)可以獲得更準(zhǔn)確的時序規(guī)律,有效提高了時序預(yù)測精度,可滿足實際應(yīng)用需要。

    4 結(jié)語

    在未來的高速、低延時5G網(wǎng)絡(luò)中,種類多樣的物聯(lián)網(wǎng)傳感器將產(chǎn)生大量時序數(shù)據(jù)。針對當(dāng)前時間序列預(yù)測中存在的準(zhǔn)確性與計算效率較低的問題,本文提出一種基于時域卷積與門控神經(jīng)單元的網(wǎng)絡(luò)模型對時序數(shù)據(jù)進(jìn)行預(yù)測。相比淺層的傳統(tǒng)模式識別方法,本模型可避免人工特征提取,并增強了模型泛化能力。最終實驗結(jié)果表明,相較于BP神經(jīng)網(wǎng)絡(luò)模型、RNN神經(jīng)網(wǎng)絡(luò)模型、LSTM神經(jīng)網(wǎng)絡(luò)模型與GRU神經(jīng)網(wǎng)絡(luò)模型,利用本模型進(jìn)行時序預(yù)測有著更高的準(zhǔn)確度與速度。在未來研究中,還會對本模型的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行優(yōu)化,以進(jìn)一步提高模型預(yù)測精度和速度。

    參考文獻(xiàn):

    [1]WEIGEND A S. Time series prediction: forecasting the future and understanding the past[M]. Routledge, 2018.

    [2]潘麗娜. 神經(jīng)網(wǎng)絡(luò)及其組合模型在時間序列預(yù)測中的研究與應(yīng)用[D].蘭州:蘭州大學(xué),2018.

    [3]湯鈴. 復(fù)雜時間序列預(yù)測技術(shù)研究[M]. 北京:科學(xué)出版社,2016.

    [4]LECUN Y, BOTTOU L, BENGIO Y, et al. Gradient-based learning applied to document recognition[J].Proceedings of the IEEE, 1998, 86(11): 2278-2324.

    [5]HAIDAR A,VERMA B. Monthly rainfall forecasting using one-dimensional deep convolutional neural network[J]. IEEE Access, 2018, 6: 69053-69063.

    [6]LIPTON Z C, BERKOWITZ J, ELKAN C. A critical review of recurrent neural networks for sequence learning[J]. arXiv preprint arXiv:1506.00019, 2015.

    [7]BENGIO Y, SIMARD P, FRASCONI P. Learning long-term dependencies with gradient descent is difficult[J]. IEEE transactions on neural networks, 1994, 5(2): 157-166.

    [8]HOCHREITER S, SCHMIDHUBER J. Long short-term memory[J]. Neural computation, 1997, 9(8): 1735-1780.

    [9]CHUNG J, GULCEHRE C, CHO K H, et al. Empirical evaluation of gated recurrent neural networks on sequence modeling[DB/OL].https://arxiv.org/pdf/1412.3555.pdf.

    [10]LU R,DUAN Z. Bidirectional GRU for sound event detection[J]. Detection and Classification of Acoustic Scenes and Events, 2017.

    [11]LI Y, YUAN Y. Convergence analysis of two-layer neural networks with relu activation[C]. Advances in Neural Information Processing Systems,2017:597-607.

    [12]SCHMIDHUBER J. Deep learning in neural networks: an overview[J]. Neural networks,2015,61: 85-117.

    [13]TOLIAS G, SICRE R, JéGOU H. Particular object retrieval with integral max-pooling of CNN activations[DB/OL]. https://arxiv.org/pdf/1511.05879.pdf.

    [14]BOROVYKH A, BOHTE S, OOSTERLEE C W. Conditional time series forecasting with convolutional neural networks[EB/OL]. https://www.doc88.com/p-4935081904951.html.

    [15]SRIVASTAVA N, HINTON G, KRIZHEVSKY A, et al. Dropout: a simple way to prevent neural networks from overfitting [J]. The Journal of Machine Learning Research, 2014, 15(1):1929-1958.

    [16]MORIASI D N,ARNOLD J G,VAN LIEW M W,et al. Model evaluation guidelines for systematic quantification of accuracy in watershed simulations[J]. Transactions of the ASABE,2007,50(3):885-900.

    (責(zé)任編輯:黃 ?。?/p>

    收稿日期:2019-11-02

    基金項目:上海市科學(xué)技術(shù)委員會科研計劃項目(17511109102)

    作者簡介:王振(1993-),男,上海理工大學(xué)光電信息與計算機工程學(xué)院碩士研究生,研究方向為深度學(xué)習(xí)、時序預(yù)測;張生(1968-),男,上海理工大學(xué)光電信息與計算機工程學(xué)院高級工程師,研究方向為工業(yè)自動化、深度學(xué)習(xí)。

    猜你喜歡
    卷積神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)
    基于卷積神經(jīng)網(wǎng)絡(luò)溫室智能大棚監(jiān)控系統(tǒng)的研究
    基于深度卷積神經(jīng)網(wǎng)絡(luò)的物體識別算法
    有體驗的學(xué)習(xí)才是有意義的學(xué)習(xí)
    電子商務(wù)中基于深度學(xué)習(xí)的虛假交易識別研究
    MOOC與翻轉(zhuǎn)課堂融合的深度學(xué)習(xí)場域建構(gòu)
    大數(shù)據(jù)技術(shù)在反恐怖主義中的應(yīng)用展望
    深度學(xué)習(xí)算法應(yīng)用于巖石圖像處理的可行性研究
    基于深度卷積網(wǎng)絡(luò)的人臉年齡分析算法與實現(xiàn)
    軟件工程(2016年8期)2016-10-25 15:47:34
    基于卷積神經(jīng)網(wǎng)絡(luò)的樹葉識別的算法的研究
    黄频高清免费视频| 国产欧美日韩一区二区精品| 香蕉av资源在线| av天堂在线播放| 国产精品久久久久久久电影 | 午夜福利在线在线| 国内精品一区二区在线观看| 久久久久久久久免费视频了| 欧美黄色淫秽网站| 成人手机av| 国模一区二区三区四区视频 | 丰满人妻一区二区三区视频av | 成人高潮视频无遮挡免费网站| 两个人看的免费小视频| 两个人看的免费小视频| 国产单亲对白刺激| 精品一区二区三区四区五区乱码| 免费看十八禁软件| 99riav亚洲国产免费| 亚洲精华国产精华精| 免费在线观看成人毛片| 国产精品久久久久久人妻精品电影| 久久久久久久精品吃奶| 一个人免费在线观看的高清视频| 亚洲国产欧洲综合997久久,| 美女高潮喷水抽搐中文字幕| 国产免费av片在线观看野外av| 国内少妇人妻偷人精品xxx网站 | 观看免费一级毛片| 亚洲avbb在线观看| 午夜成年电影在线免费观看| 法律面前人人平等表现在哪些方面| 成人国语在线视频| 免费在线观看亚洲国产| 欧美成人免费av一区二区三区| 亚洲成a人片在线一区二区| aaaaa片日本免费| 99久久国产精品久久久| 精品熟女少妇八av免费久了| 国产精华一区二区三区| 麻豆av在线久日| 国产精品久久视频播放| 亚洲国产欧美一区二区综合| 国产精品 国内视频| cao死你这个sao货| 免费搜索国产男女视频| 18美女黄网站色大片免费观看| 两个人视频免费观看高清| 亚洲五月天丁香| 欧美zozozo另类| 黄频高清免费视频| 69av精品久久久久久| 99国产精品一区二区蜜桃av| 亚洲性夜色夜夜综合| 国产精品爽爽va在线观看网站| 我要搜黄色片| 亚洲aⅴ乱码一区二区在线播放 | 久久久精品大字幕| 1024香蕉在线观看| 在线a可以看的网站| 这个男人来自地球电影免费观看| 国产三级中文精品| 夜夜爽天天搞| 久久久久久国产a免费观看| 国产不卡一卡二| 一进一出抽搐gif免费好疼| 好看av亚洲va欧美ⅴa在| xxx96com| 狠狠狠狠99中文字幕| 久久香蕉国产精品| 好男人电影高清在线观看| 成人高潮视频无遮挡免费网站| 国产精品乱码一区二三区的特点| 久久国产精品影院| 国产亚洲精品久久久久久毛片| 每晚都被弄得嗷嗷叫到高潮| 人人妻人人澡欧美一区二区| 男人舔女人下体高潮全视频| 岛国视频午夜一区免费看| 国产av不卡久久| 亚洲无线在线观看| 性色av乱码一区二区三区2| 俄罗斯特黄特色一大片| 亚洲五月天丁香| 成年女人毛片免费观看观看9| 在线观看免费午夜福利视频| 99久久精品国产亚洲精品| xxxwww97欧美| 午夜福利成人在线免费观看| 国产激情久久老熟女| www国产在线视频色| 国产精品永久免费网站| 成人欧美大片| 国产成+人综合+亚洲专区| 不卡av一区二区三区| 国产99白浆流出| 亚洲自偷自拍图片 自拍| 久久精品亚洲精品国产色婷小说| 激情在线观看视频在线高清| 午夜激情av网站| 三级国产精品欧美在线观看 | 国产精品1区2区在线观看.| 身体一侧抽搐| 午夜福利在线在线| 国产又色又爽无遮挡免费看| 在线永久观看黄色视频| 久久久水蜜桃国产精品网| 亚洲无线在线观看| 欧美成人性av电影在线观看| 18禁裸乳无遮挡免费网站照片| 久9热在线精品视频| 欧美色欧美亚洲另类二区| 欧美中文综合在线视频| 免费在线观看日本一区| 亚洲自偷自拍图片 自拍| 亚洲人成网站在线播放欧美日韩| 亚洲精品中文字幕在线视频| 神马国产精品三级电影在线观看 | 欧美色欧美亚洲另类二区| 日韩欧美在线二视频| 制服人妻中文乱码| 精品久久久久久久久久免费视频| 国产激情偷乱视频一区二区| 日韩国内少妇激情av| 欧美成人午夜精品| 日韩欧美国产一区二区入口| 亚洲精品在线观看二区| 大型黄色视频在线免费观看| 午夜免费成人在线视频| 五月伊人婷婷丁香| 岛国视频午夜一区免费看| 国产精品爽爽va在线观看网站| 51午夜福利影视在线观看| 一本久久中文字幕| 中文字幕精品亚洲无线码一区| 国产精品亚洲av一区麻豆| svipshipincom国产片| 怎么达到女性高潮| 91在线观看av| 国语自产精品视频在线第100页| 老司机靠b影院| 亚洲精品在线观看二区| 精华霜和精华液先用哪个| 亚洲男人天堂网一区| 久久久久久久午夜电影| 狠狠狠狠99中文字幕| 久久九九热精品免费| 免费看日本二区| 亚洲av中文字字幕乱码综合| 国产精品国产高清国产av| 成人特级黄色片久久久久久久| 日韩欧美精品v在线| 亚洲激情在线av| 床上黄色一级片| 久久亚洲真实| 美女大奶头视频| 男女午夜视频在线观看| 欧美在线黄色| avwww免费| 午夜福利在线在线| 精华霜和精华液先用哪个| 国产午夜福利久久久久久| 亚洲国产精品999在线| 长腿黑丝高跟| 色哟哟哟哟哟哟| av天堂在线播放| 美女午夜性视频免费| 亚洲片人在线观看| 国产午夜精品久久久久久| 岛国在线免费视频观看| 国产av又大| 人妻久久中文字幕网| 校园春色视频在线观看| 国产成人精品久久二区二区免费| 国产精品国产高清国产av| 好男人电影高清在线观看| 欧美黑人精品巨大| 国产一区二区三区在线臀色熟女| 大型av网站在线播放| 一进一出抽搐动态| 欧美国产日韩亚洲一区| 国产精品亚洲美女久久久| 欧美成人午夜精品| 精华霜和精华液先用哪个| 日本a在线网址| 久久久久九九精品影院| 美女扒开内裤让男人捅视频| 黄色毛片三级朝国网站| 国产精品免费视频内射| 亚洲精品一区av在线观看| 99国产极品粉嫩在线观看| 男女床上黄色一级片免费看| 制服丝袜大香蕉在线| 亚洲人成电影免费在线| 国产精品永久免费网站| 美女扒开内裤让男人捅视频| 又黄又粗又硬又大视频| 亚洲 国产 在线| 91麻豆精品激情在线观看国产| 成人午夜高清在线视频| 国内精品久久久久久久电影| 最近最新中文字幕大全电影3| 亚洲午夜理论影院| 亚洲熟女毛片儿| 免费搜索国产男女视频| av在线播放免费不卡| 色在线成人网| 日韩三级视频一区二区三区| 最近最新免费中文字幕在线| 色av中文字幕| 中文字幕av在线有码专区| 一区二区三区高清视频在线| 久久精品aⅴ一区二区三区四区| 久久人妻福利社区极品人妻图片| 18禁黄网站禁片午夜丰满| 国产精品一区二区免费欧美| 亚洲欧美日韩东京热| 国产三级在线视频| 久久久久久大精品| 制服诱惑二区| 蜜桃久久精品国产亚洲av| 国产精品乱码一区二三区的特点| 国产三级中文精品| 日本精品一区二区三区蜜桃| 18禁美女被吸乳视频| 亚洲欧美激情综合另类| 波多野结衣巨乳人妻| 国产亚洲av高清不卡| 久久久久久九九精品二区国产 | 亚洲精华国产精华精| 国产单亲对白刺激| 亚洲午夜理论影院| 午夜视频精品福利| 波多野结衣高清作品| 午夜福利视频1000在线观看| 婷婷丁香在线五月| 国内精品一区二区在线观看| 久久国产乱子伦精品免费另类| 免费高清视频大片| 十八禁人妻一区二区| 成人18禁在线播放| 99精品在免费线老司机午夜| 欧美日韩黄片免| 国产私拍福利视频在线观看| 18禁美女被吸乳视频| 国产精品亚洲av一区麻豆| 欧美乱码精品一区二区三区| 18禁观看日本| 天堂动漫精品| 午夜精品在线福利| 国产aⅴ精品一区二区三区波| 黑人巨大精品欧美一区二区mp4| av欧美777| 精品国产乱码久久久久久男人| 老司机午夜十八禁免费视频| 国产亚洲精品av在线| 亚洲精品在线观看二区| 欧美性猛交黑人性爽| 很黄的视频免费| 中文资源天堂在线| 国产精品久久久久久亚洲av鲁大| 日韩欧美三级三区| 午夜福利视频1000在线观看| 最近最新中文字幕大全电影3| 亚洲色图av天堂| 成人三级黄色视频| 性色av乱码一区二区三区2| 欧美一级毛片孕妇| 色老头精品视频在线观看| 国产一区在线观看成人免费| 最近最新中文字幕大全免费视频| 国产真实乱freesex| 日韩大尺度精品在线看网址| 国产午夜福利久久久久久| 国产精品久久久久久精品电影| 久久久久国内视频| 精品第一国产精品| 日本黄大片高清| 88av欧美| 在线观看免费午夜福利视频| 啦啦啦观看免费观看视频高清| 999久久久国产精品视频| 男女床上黄色一级片免费看| 两性夫妻黄色片| 国产精品电影一区二区三区| 999久久久国产精品视频| 国产一区二区三区在线臀色熟女| x7x7x7水蜜桃| 欧美日韩国产亚洲二区| 亚洲欧美日韩无卡精品| 制服丝袜大香蕉在线| 美女扒开内裤让男人捅视频| 在线a可以看的网站| 亚洲激情在线av| 十八禁人妻一区二区| 怎么达到女性高潮| 两个人的视频大全免费| 19禁男女啪啪无遮挡网站| 国产欧美日韩一区二区三| 国产精品精品国产色婷婷| 成年女人毛片免费观看观看9| 成年版毛片免费区| 日韩精品免费视频一区二区三区| 色播亚洲综合网| 一本精品99久久精品77| 白带黄色成豆腐渣| 色综合亚洲欧美另类图片| 亚洲成av人片免费观看| 成人一区二区视频在线观看| 伊人久久大香线蕉亚洲五| 91成年电影在线观看| 亚洲欧美激情综合另类| 中文字幕av在线有码专区| 人人妻人人澡欧美一区二区| а√天堂www在线а√下载| 91麻豆av在线| 在线观看一区二区三区| 欧美在线一区亚洲| 亚洲欧洲精品一区二区精品久久久| 小说图片视频综合网站| 欧美黑人欧美精品刺激| 亚洲人与动物交配视频| 老司机深夜福利视频在线观看| 久久亚洲精品不卡| 久久久久九九精品影院| 黄色毛片三级朝国网站| 日本五十路高清| 国产亚洲精品久久久久5区| 中出人妻视频一区二区| 三级男女做爰猛烈吃奶摸视频| 亚洲,欧美精品.| 久9热在线精品视频| 精品高清国产在线一区| 国产男靠女视频免费网站| 狠狠狠狠99中文字幕| 九色国产91popny在线| 久久久久久九九精品二区国产 | 中文字幕最新亚洲高清| 小说图片视频综合网站| 国产高清视频在线观看网站| 国内精品久久久久久久电影| 国内精品一区二区在线观看| 黄片小视频在线播放| 精品欧美国产一区二区三| 一区二区三区国产精品乱码| 亚洲专区中文字幕在线| 亚洲精品美女久久久久99蜜臀| 欧美日韩福利视频一区二区| 国产熟女xx| 亚洲片人在线观看| 制服诱惑二区| 99久久99久久久精品蜜桃| 精华霜和精华液先用哪个| 欧美成人一区二区免费高清观看 | 九色国产91popny在线| 波多野结衣高清无吗| 亚洲,欧美精品.| 久99久视频精品免费| 亚洲中文日韩欧美视频| 精品久久久久久,| 色播亚洲综合网| 高潮久久久久久久久久久不卡| www.自偷自拍.com| 国产黄色小视频在线观看| www.精华液| 国产一区二区三区视频了| 国产精品自产拍在线观看55亚洲| 欧美日韩亚洲国产一区二区在线观看| 国产视频一区二区在线看| АⅤ资源中文在线天堂| 久99久视频精品免费| 一本综合久久免费| 97人妻精品一区二区三区麻豆| 国产亚洲精品久久久久5区| 国产av一区在线观看免费| 一进一出抽搐gif免费好疼| 黄频高清免费视频| 国产精品一区二区免费欧美| 亚洲精品一区av在线观看| 大型av网站在线播放| 50天的宝宝边吃奶边哭怎么回事| 亚洲全国av大片| 岛国在线免费视频观看| 精品久久久久久久久久免费视频| 12—13女人毛片做爰片一| 天天添夜夜摸| 国产人伦9x9x在线观看| 又粗又爽又猛毛片免费看| 制服丝袜大香蕉在线| 黑人欧美特级aaaaaa片| 国产精品久久久久久亚洲av鲁大| 国产精品久久久久久人妻精品电影| 中文字幕最新亚洲高清| 又粗又爽又猛毛片免费看| 亚洲黑人精品在线| 欧美最黄视频在线播放免费| 成人三级黄色视频| 最好的美女福利视频网| 国产成人精品无人区| 一本精品99久久精品77| 精品人妻1区二区| 国产一区二区在线av高清观看| 久久久久九九精品影院| 久久久精品大字幕| av福利片在线观看| 19禁男女啪啪无遮挡网站| 99热这里只有精品一区 | 午夜久久久久精精品| 成人国产一区最新在线观看| 51午夜福利影视在线观看| 九色国产91popny在线| 男女午夜视频在线观看| 久久久久九九精品影院| 国产又黄又爽又无遮挡在线| 女人高潮潮喷娇喘18禁视频| 亚洲精华国产精华精| 一区二区三区国产精品乱码| 国产av一区二区精品久久| 午夜激情福利司机影院| 国产视频一区二区在线看| 舔av片在线| 中文在线观看免费www的网站 | 日韩有码中文字幕| 成年版毛片免费区| 90打野战视频偷拍视频| 成人18禁在线播放| 大型黄色视频在线免费观看| 欧美成人一区二区免费高清观看 | 一级毛片女人18水好多| 一级a爱片免费观看的视频| 99在线视频只有这里精品首页| 成人国产综合亚洲| av有码第一页| 高清在线国产一区| 久久精品人妻少妇| 国模一区二区三区四区视频 | 99久久99久久久精品蜜桃| 丰满人妻一区二区三区视频av | 麻豆成人av在线观看| 一个人免费在线观看的高清视频| 天堂影院成人在线观看| 国产高清视频在线播放一区| 久久热在线av| 欧美成狂野欧美在线观看| 757午夜福利合集在线观看| 久久精品综合一区二区三区| 法律面前人人平等表现在哪些方面| 欧美+亚洲+日韩+国产| 国产精华一区二区三区| 日韩国内少妇激情av| 变态另类丝袜制服| 欧美中文日本在线观看视频| 亚洲国产高清在线一区二区三| 两个人视频免费观看高清| 男男h啪啪无遮挡| 黄片小视频在线播放| 欧美一级毛片孕妇| 午夜福利高清视频| 一边摸一边抽搐一进一小说| 国产伦一二天堂av在线观看| 久久天堂一区二区三区四区| 欧美黄色淫秽网站| 精品电影一区二区在线| 俺也久久电影网| 国产精品国产高清国产av| 叶爱在线成人免费视频播放| 日日夜夜操网爽| 欧美午夜高清在线| 国产单亲对白刺激| 成人国产一区最新在线观看| 久9热在线精品视频| 在线a可以看的网站| 叶爱在线成人免费视频播放| 国产激情欧美一区二区| 亚洲激情在线av| 国产69精品久久久久777片 | 18禁观看日本| 高清毛片免费观看视频网站| 色老头精品视频在线观看| 亚洲性夜色夜夜综合| 99热这里只有是精品50| 一进一出好大好爽视频| 久久精品国产99精品国产亚洲性色| 亚洲成人久久性| 日韩高清综合在线| 国产精品乱码一区二三区的特点| 国产亚洲欧美在线一区二区| 99热这里只有精品一区 | 亚洲国产精品合色在线| 一个人免费在线观看的高清视频| 怎么达到女性高潮| 免费在线观看完整版高清| 精品久久久久久久久久久久久| 成人三级黄色视频| 桃色一区二区三区在线观看| 97碰自拍视频| 成人手机av| 小说图片视频综合网站| 夜夜爽天天搞| 一本大道久久a久久精品| 中文字幕熟女人妻在线| 波多野结衣巨乳人妻| 欧美午夜高清在线| 亚洲精品国产一区二区精华液| 欧美av亚洲av综合av国产av| 三级毛片av免费| 嫩草影视91久久| bbb黄色大片| 91字幕亚洲| 亚洲人与动物交配视频| 久久久久久九九精品二区国产 | 亚洲 欧美 日韩 在线 免费| 18美女黄网站色大片免费观看| 日韩国内少妇激情av| av视频在线观看入口| 曰老女人黄片| 精品免费久久久久久久清纯| 日韩国内少妇激情av| 日韩av在线大香蕉| 老司机在亚洲福利影院| 一级毛片高清免费大全| 亚洲精品美女久久久久99蜜臀| 99热这里只有精品一区 | 狂野欧美白嫩少妇大欣赏| 欧美三级亚洲精品| 免费看十八禁软件| 窝窝影院91人妻| 国产真人三级小视频在线观看| 国产成人欧美在线观看| 亚洲中文字幕一区二区三区有码在线看 | 狂野欧美激情性xxxx| 精华霜和精华液先用哪个| 91麻豆av在线| 亚洲乱码一区二区免费版| 桃色一区二区三区在线观看| 午夜免费成人在线视频| 国产成人一区二区三区免费视频网站| 一进一出抽搐gif免费好疼| 欧美日韩福利视频一区二区| 大型黄色视频在线免费观看| 99热6这里只有精品| 99国产极品粉嫩在线观看| 99久久精品国产亚洲精品| 久久久国产欧美日韩av| 亚洲 国产 在线| 男人的好看免费观看在线视频 | 国产av一区二区精品久久| 成人18禁高潮啪啪吃奶动态图| 免费在线观看完整版高清| 日日爽夜夜爽网站| 国产精品精品国产色婷婷| 日本一本二区三区精品| 日韩三级视频一区二区三区| 亚洲中文日韩欧美视频| 国产亚洲精品久久久久5区| 777久久人妻少妇嫩草av网站| 日韩大码丰满熟妇| 我的老师免费观看完整版| 欧美人与性动交α欧美精品济南到| 成人av一区二区三区在线看| 成人av在线播放网站| 亚洲 国产 在线| 国产成人一区二区三区免费视频网站| 亚洲美女黄片视频| 色av中文字幕| 99久久精品热视频| 国产精品一区二区免费欧美| av有码第一页| 日韩国内少妇激情av| 国产黄色小视频在线观看| 欧美 亚洲 国产 日韩一| 欧美成人性av电影在线观看| 在线观看66精品国产| 久久天躁狠狠躁夜夜2o2o| 天堂影院成人在线观看| 欧美 亚洲 国产 日韩一| 欧美日韩亚洲综合一区二区三区_| 一区二区三区国产精品乱码| 麻豆国产97在线/欧美 | 欧美激情久久久久久爽电影| 日日干狠狠操夜夜爽| 激情在线观看视频在线高清| a级毛片在线看网站| 国产一区二区三区视频了| 99精品久久久久人妻精品| 免费看a级黄色片| 亚洲av电影不卡..在线观看| 国产精品久久久久久精品电影| 淫妇啪啪啪对白视频| 国产一区二区激情短视频| 99久久99久久久精品蜜桃| 国产黄色小视频在线观看| 亚洲午夜精品一区,二区,三区| 母亲3免费完整高清在线观看| www日本在线高清视频| 大型av网站在线播放| 91九色精品人成在线观看| av天堂在线播放| 久久草成人影院| 香蕉av资源在线| 国产探花在线观看一区二区| 国产精品九九99| 国产午夜精品论理片| 最近最新免费中文字幕在线| 亚洲一区二区三区色噜噜| 精品无人区乱码1区二区| 国产在线观看jvid| 欧美国产日韩亚洲一区| 在线免费观看的www视频| 国产激情偷乱视频一区二区| 日韩欧美免费精品| 婷婷精品国产亚洲av| 好男人在线观看高清免费视频| 12—13女人毛片做爰片一| 99久久精品国产亚洲精品|