基于注意力機(jī)制的CNN-GCN模型及其應(yīng)用

李繼龍，霍緯綱+，李 勤

(1.中國民航大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，天津 300300； 2.京北方信息技術(shù)股份有限公司 IT服務(wù)交付中心部北京平臺(tái)，北京 100032)

0 引 言

多變量時(shí)間序列預(yù)測(cè)在經(jīng)濟(jì)學(xué)、金融[1]、生物信息學(xué)和交通[2,3]等領(lǐng)域有著巨大的應(yīng)用。多變量時(shí)間序列預(yù)測(cè)方法內(nèi)在地假定變量之間有相互依賴關(guān)系。換句話說，每個(gè)變量不僅取決于其歷史值，而且還取決于其它變量。然而，現(xiàn)有的方法并沒有有效地利用變量之間潛在的相互依賴關(guān)系。首先考慮多變量時(shí)間序列(multivariate time series，MTS)的統(tǒng)計(jì)方法。如自回歸(autoregressive，AR)模型和高斯過程(Gaussian process，GP)模型是經(jīng)常用到的基線方法。二者均假設(shè)變量之間存在線性依賴關(guān)系。為了建立非線性關(guān)系，采用了AR的一些變體，如向量自回歸多層感知器(vector autoregressive multi-layer perceptron，VARMLP)模型。最近基于深度學(xué)習(xí)的MTS預(yù)測(cè)方法得到了快速發(fā)展，依次提出了卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)模型[4]、門控循環(huán)單元循環(huán)神經(jīng)網(wǎng)絡(luò)(gated recurrent unit recurrent neural networks，RNN-GRU)模型[5]、長(zhǎng)短期時(shí)間序列網(wǎng)絡(luò)(long-and short-term time-series network，LSTNet)模型[6]、雙自注意力網(wǎng)絡(luò)(dual self-attention network，DSANet)模型[7]和用圖神經(jīng)網(wǎng)絡(luò)進(jìn)行多變量時(shí)間序列預(yù)測(cè)模型(multivariate time series forecasting with graph neural networks，MTGNN)[8]。

上述方法大多從提取MTS時(shí)序特征角度建立了預(yù)測(cè)模型，DSANet和MTGNN預(yù)測(cè)模型同時(shí)考慮MTS的時(shí)間和空間特性，但是DSANet中采用的自注意力機(jī)制無法很好表達(dá)MTS各變量間的依賴關(guān)系，MTGNN采用圖卷積網(wǎng)絡(luò)提取了MTS的變量之間的空間依賴關(guān)系，但其捕獲時(shí)序特征的子模塊較復(fù)雜。為了實(shí)現(xiàn)對(duì)多變量時(shí)間序列準(zhǔn)確和穩(wěn)健的預(yù)測(cè)，本文提出了一種融入圖卷積網(wǎng)絡(luò)、注意力機(jī)制和卷積神經(jīng)網(wǎng)絡(luò)的三通道網(wǎng)絡(luò)框架模型，實(shí)驗(yàn)結(jié)果表明了本文中所提出的模型方法有較好的MTS預(yù)測(cè)效果。

1 背景知識(shí)

1.1 GNN和GCN

圖神經(jīng)網(wǎng)絡(luò)[9](graph neural network，GNN)在處理網(wǎng)絡(luò)中實(shí)體之間的空間依賴關(guān)系方面取得了巨大成功。圖神經(jīng)網(wǎng)絡(luò)假設(shè)節(jié)點(diǎn)的狀態(tài)取決于其鄰居的狀態(tài)。為了捕捉這種類型的空間依賴，通過消息傳遞[10]、信息傳播[11]和圖卷積[12]開發(fā)了各種圖神經(jīng)網(wǎng)絡(luò)。Marco Gori等發(fā)表論文，提出了圖神經(jīng)網(wǎng)絡(luò)的概念。隨后，其在兩篇論文中又進(jìn)一步闡述了圖神經(jīng)網(wǎng)絡(luò)，并提出了一種監(jiān)督學(xué)習(xí)的方法來訓(xùn)練GNN。圖卷積網(wǎng)絡(luò)(graph convolutional network，GCN)是GNN的一種，采用卷積算子進(jìn)行信息匯聚。卷積神經(jīng)網(wǎng)絡(luò)在視覺領(lǐng)域取得令人矚目的成績(jī)，于是人們開始考慮如何將卷積應(yīng)用到圖神經(jīng)網(wǎng)絡(luò)中。Kipf等[12]將頻域圖卷積的定義進(jìn)行簡(jiǎn)化，使得圖卷積的操作能夠在空域進(jìn)行，這極大地提升了圖卷積模型的計(jì)算效率，同時(shí)，得益于卷積濾波的高效性，圖卷積模型在多種圖數(shù)據(jù)相關(guān)的任務(wù)上取得了令人矚目的成績(jī)。近幾年，更多的基于空域圖卷積的神經(jīng)網(wǎng)絡(luò)模型的變體[13,14,10]被開發(fā)出來。

1.2 注意力機(jī)制

注意力機(jī)制[15]就是讓神經(jīng)網(wǎng)絡(luò)具備有選擇的去關(guān)注輸入中的某一部分的細(xì)節(jié)信息的能力。注意力機(jī)制允許對(duì)依賴關(guān)系進(jìn)行建模，而不考慮它們?cè)谳斎牖蜉敵鲂蛄兄械木嚯x。注意力機(jī)制自從被提出以來就受到了人們的關(guān)注和追捧。因其良好的性能效果，已成功的在多個(gè)領(lǐng)域的多個(gè)任務(wù)上得到了應(yīng)用。

自注意力(又稱內(nèi)部注意力)，是注意力機(jī)制的一種形式，它涉及單個(gè)序列的不同位置，用以計(jì)算序列的表示。自注意力機(jī)制已成功地應(yīng)用于多種任務(wù)，比如閱讀理解、文本摘要、文本蘊(yùn)涵和與任務(wù)無關(guān)的句子表示學(xué)習(xí)[16]等。多頭注意力就是根據(jù)多個(gè)查詢來計(jì)算和選取多個(gè)信息的。多頭注意力能夠很好模擬人類視覺注意力機(jī)制的原理過程。在很多任務(wù)中的序列建模和構(gòu)建轉(zhuǎn)導(dǎo)模型時(shí)，多頭注意力機(jī)制成為可供選擇的一個(gè)很好的組成部分。

2 問題描述

時(shí)間序列X(i)=〈x1(i),x2(i),…,xT(i)〉 是一個(gè)一維時(shí)序測(cè)量序列，其中數(shù)量XT(i)是在時(shí)間戳T的記錄。通常，兩個(gè)連續(xù)測(cè)量之間的時(shí)間間隔是恒定的。多變量時(shí)間序列表示為X=〈X(1),X(2),…,X(D)〉， 其中X中的時(shí)間序列相互關(guān)聯(lián)，向量XT∈D是在時(shí)間戳T的記錄。

給定一組多變量時(shí)間序列X=〈X(1),X(2),…,X(D)〉， 其中D是單變量時(shí)間序列的數(shù)目，X(D)∈T，T是輸入窗口的長(zhǎng)度，本文以滾動(dòng)預(yù)測(cè)的方式進(jìn)行多變量時(shí)間序列的預(yù)測(cè)。也就是說，基于已知的 〈X1，X2，…,XT〉 來預(yù)測(cè)XT+h，其中h是當(dāng)前時(shí)間戳前面可取的時(shí)間間隔范圍(Horizon)。同樣，基于 〈X1+k,X2+k,…,XT+k〉，k∈+預(yù)測(cè)未來XT+h+k的值，假設(shè)窗口內(nèi)的信息足以滿足預(yù)測(cè)需求，窗口大小是固定的。因此，設(shè)定預(yù)測(cè)目標(biāo)XT+h∈D， 在時(shí)間戳T的輸入矩陣為X=〈X(1),X(2),…,X(D)〉∈D×T。

3 基于注意力機(jī)制和圖卷積的神經(jīng)網(wǎng)絡(luò)模型

3.1 時(shí)間序列預(yù)測(cè)模型的整體架構(gòu)

基于圖卷積網(wǎng)絡(luò)和注意力機(jī)制，構(gòu)建一種多變量時(shí)間序列預(yù)測(cè)模型簡(jiǎn)記為DSAGCN(dual self-attention graph convolutional network)，本文稱之為“基于注意力機(jī)制的CNN-GCN”，其整體的框架結(jié)構(gòu)如圖1所示。

基于注意力機(jī)制的CNN-GCN模型由圖學(xué)習(xí)層模塊、圖卷積層模塊、局部時(shí)間卷積模塊、全局時(shí)間卷積模塊、自注意力模塊和輸出模塊6部分構(gòu)成，詳細(xì)介紹如下。

圖學(xué)習(xí)層模塊自適應(yīng)地學(xué)習(xí)圖的鄰接矩陣，以捕獲MTS各序列之間的空間依賴關(guān)系。M(本文中M取的是5)個(gè)圖卷積模塊間加入了殘差連接跳躍連接，以圖的鄰接矩陣和MTS數(shù)據(jù)樣本為輸入，聚合MTS各序列與其鄰接序列的特征。局部卷積模塊通過卷積單元、池化單元、自注意力單元和前饋神經(jīng)網(wǎng)絡(luò)單元4部分，提取MTS數(shù)據(jù)樣本的局部時(shí)態(tài)特征。類似地，全局時(shí)間卷積模塊通過卷積單元、自注意力單元和前饋神經(jīng)網(wǎng)絡(luò)單元三部分，提取MTS數(shù)據(jù)樣本的整體時(shí)態(tài)特征。自注意力模塊分別捕獲全局時(shí)間卷積和局部時(shí)間卷積結(jié)果的時(shí)態(tài)空間依賴關(guān)系，并將結(jié)果同時(shí)輸入進(jìn)全連接層。最終將全連接層的輸出與圖卷積模塊的輸出相加得到整個(gè)模型方法的預(yù)測(cè)值。

圖1 基于注意力機(jī)制的CNN-GCN模型的整體框架結(jié)構(gòu)

3.2 圖學(xué)習(xí)層模塊

DSAGCN采用圖學(xué)習(xí)層自適應(yīng)地學(xué)習(xí)對(duì)應(yīng)于MTS樣本的鄰接矩陣[8]，以圖的形式學(xué)習(xí)MTS各變量時(shí)間序列之間隱藏的空間依賴關(guān)系。該模塊可以學(xué)習(xí)MTS各變量之間的單向依賴關(guān)系，能更好適用于MTS的預(yù)測(cè)任務(wù)。具體學(xué)習(xí)方法如式(4)～式(6)所示

M1=tanh(αE1Θ1)

(1)

M2=tanh(αE2Θ2)

(2)

A=ReLU(tanh(α(M1M2T-M2M1T)))

(3)

fori=1，2，…，D

(4)

(5)

A[i,-idx]=0

(6)

其中，E1、E2表示隨機(jī)初始化的節(jié)點(diǎn)嵌入，Θ1、Θ2為全連接網(wǎng)絡(luò)的參數(shù)，用于隨機(jī)初始化節(jié)點(diǎn)嵌入之間的依賴權(quán)重大小，Θ1、Θ2會(huì)隨著訓(xùn)練的進(jìn)行而學(xué)習(xí)到適合的權(quán)重以擬合MTS變量之間的空間依賴關(guān)系，α是控制激活函數(shù)飽和率的超參數(shù)。式(3)通過每個(gè)節(jié)點(diǎn)對(duì)之間正向依賴與反向依賴相減，將依賴關(guān)系轉(zhuǎn)化為非對(duì)稱性依賴，最終通過ReLU激活函數(shù)對(duì)鄰接矩陣進(jìn)行正則化。最后對(duì)于每個(gè)節(jié)點(diǎn)，選擇它的top-k最近的節(jié)點(diǎn)作為它的鄰居，在保留連接節(jié)點(diǎn)的權(quán)重的同時(shí)，將非連接節(jié)點(diǎn)的權(quán)重設(shè)置為零。

3.3 圖卷積模塊

圖卷積模塊按3.2節(jié)圖學(xué)習(xí)模塊生成的鄰接矩陣，以卷積的方式實(shí)現(xiàn)多維時(shí)間序列中具有空間依賴性的變量之間的特征聚合。圖卷積模塊由兩個(gè)混合跳傳播層組成，分別處理通過每個(gè)節(jié)點(diǎn)的流入和流出信息。通過添加兩個(gè)混合跳傳播層的輸出來獲得單向流入信息。圖2顯示了圖卷積模塊和混合跳傳播層的網(wǎng)絡(luò)結(jié)構(gòu)[8]。圖2(a)中的T′表示鄰接矩陣A轉(zhuǎn)置。

圖2 圖卷積和混合跳傳播層

圖2(b)為混合跳傳播層的網(wǎng)絡(luò)結(jié)構(gòu)。圖中A表示圖學(xué)習(xí)模塊學(xué)習(xí)得到的鄰接矩陣，Hin為圖卷積網(wǎng)絡(luò)模塊上一層的輸出，混合跳圖卷積的信息傳播和選擇過程按式(7)、式(8)進(jìn)行

(7)

(8)

3.4 全局時(shí)間卷積模塊

相比于RNN的迭代性和順序性，卷積結(jié)構(gòu)已經(jīng)被證明在捕獲特征和并行計(jì)算方面的能力，可以提升對(duì)于長(zhǎng)序列的計(jì)算速度和預(yù)測(cè)效果，DSAGCN采用全局時(shí)間卷積模塊用于提取MTS單變量時(shí)間序列所有時(shí)間步的時(shí)序特征[7]。具體卷積計(jì)算方式如式(9)所示

HG=RELU(Wk*X+bk) (0

(9)

式中：*表示卷積運(yùn)算，Wk為第k個(gè)卷積核，文中用nG個(gè)T*1大小的卷積核對(duì)輸入時(shí)間序列樣本X∈RD*T進(jìn)行全局卷積。那么D維的時(shí)間序列樣本X由卷積運(yùn)算生成一個(gè)D*1的向量。輸入樣本X由nG個(gè)卷積核得到一個(gè)大小為D*nG的輸出矩陣HG。HG中每行中的元素表示不同權(quán)重的卷積核提取的不同屬性的特征。

3.5 局部時(shí)間卷積模塊

與全局時(shí)間卷積提取MTS各序列的固定時(shí)態(tài)特征，局部卷積側(cè)重于建模MTS序列內(nèi)部的局部時(shí)態(tài)模式[7]。文中局部時(shí)間卷積模塊使用長(zhǎng)度為l的卷積核進(jìn)行卷積運(yùn)算，以提取MTS序列內(nèi)部局部上下文信息。對(duì)MTS樣本X的第i維序列X(i)進(jìn)行一次步長(zhǎng)為s的類似式(9)的卷積操作，生成長(zhǎng)度為Out=(T-L)/s+1嵌入向量。X的局部時(shí)間卷積結(jié)果生成矩陣MkL∈RD*o ut， 然后使用最大池化操作捕獲MkL中最突出的特征。X的最終局部時(shí)間卷積運(yùn)算結(jié)果為D維向量。和全局卷積模塊相同，每個(gè)樣本X由nL個(gè)卷積核生成表達(dá)局部時(shí)態(tài)信息的特征矩陣HL∈RD*nL。

3.6 自注意力模塊

文中還采用了自注意力機(jī)制進(jìn)一步捕獲MTS樣本中各序列間的空間依賴關(guān)系[7]。該模塊計(jì)算了3.4節(jié)和3.5節(jié)中全局時(shí)間卷積模塊和局部時(shí)間卷積模塊的輸出矩陣HG和HL各行之間的注意力大小。下面具體說明全局時(shí)間卷積模塊輸出矩陣HG的各行之間注意力計(jì)算過程。

HG中的每一行記為X′，由式(10)～式(12)生成X′的查詢、鍵和值矩陣QG、KG和VG。由式(13)計(jì)算HG各行之間的注意力得分。dκ是鍵的維數(shù)

QG=WQ*X′

(10)

KG=WK*X′

(11)

VG=WV*X′

(12)

(13)

(14)

位置前饋層由兩個(gè)線性變換組成，在其間有一個(gè)ReLU作為激活函數(shù)，可以表示為

(15)

類似的，對(duì)于局部時(shí)間卷積后的自注意力模塊與上述計(jì)算過程相同，HL經(jīng)文中自注意力模塊后的輸出記為FL。

3.7 預(yù)測(cè)結(jié)果的輸出

(16)

(17)

4 實(shí)驗(yàn)及結(jié)果

4.1 評(píng)價(jià)標(biāo)準(zhǔn)

模型的評(píng)估指標(biāo)采用文獻(xiàn)[6]使用的相對(duì)平方根誤差(toot telative squared error，RSE、RRSE)和經(jīng)驗(yàn)相關(guān)系數(shù)(empirical correlation coefficient，CORR)兩個(gè)傳統(tǒng)評(píng)估指標(biāo)。這兩個(gè)評(píng)估指標(biāo)可以用公式如下表示

(18)

(19)

4.2 實(shí)驗(yàn)數(shù)據(jù)介紹

匯率(Exchange-Rate)數(shù)據(jù)集：收集澳大利亞、英國、加拿大、瑞士、中國、日本、新西蘭和新加坡等8個(gè)國家從1990年到2016年不等的每日匯率數(shù)據(jù)。

在本文進(jìn)行的實(shí)驗(yàn)中，數(shù)據(jù)集按時(shí)間順序分為訓(xùn)練集(60%)、驗(yàn)證集(20%)和測(cè)試集(20%)。在每一組中，使用滑動(dòng)窗口將數(shù)據(jù)進(jìn)一步分割成多個(gè)情況，這意味著在每一段中，使用T長(zhǎng)度的多變量時(shí)間序列作為模型的輸入數(shù)據(jù)，并使用在T+h時(shí)間戳的數(shù)據(jù)作為真實(shí)數(shù)據(jù)。

4.3 實(shí)驗(yàn)詳述

實(shí)驗(yàn)主要考慮了8個(gè)基線模型方法：AR、VARMLP、GP、CNN、RNN-GRU、DSANet、MTGNN、LSTNet-skip。而這些方法在引言中均已涉及提到。LSTNet-skip是文獻(xiàn)[6]提出的一種融合了循環(huán)跳躍連接模塊的LSTNet模型。

本文涉及的神經(jīng)網(wǎng)絡(luò)模型都是通過使用Adam優(yōu)化器[17]執(zhí)行小批量隨機(jī)梯度下降(mini-batch SGD)來優(yōu)化的。根據(jù)文獻(xiàn)[8]設(shè)置進(jìn)行實(shí)驗(yàn)的窗體大小(window size)為32，學(xué)習(xí)率為0.0001，梯度裁剪(clip gradient)為5，權(quán)重衰減率為0.000 01，訓(xùn)練步長(zhǎng)為100，圖學(xué)習(xí)層模塊中的超參數(shù)α=3，圖卷積模塊數(shù)M=5，每個(gè)圖卷積模塊的層數(shù)為2，圖卷積層模塊中的超參數(shù)β=0.05，全局時(shí)間卷積的卷積核為(32,1)，局部時(shí)間卷積的卷積核為(3,1)，池化為最大池化，自注意力堆疊層數(shù)N=6，回歸損失函數(shù)采用L1Loss即平均絕對(duì)誤差L1損失。其它基線模型的參數(shù)設(shè)置依據(jù)原論文的參數(shù)設(shè)置。

本文涉及的模型方法均是在python3.7.6中實(shí)現(xiàn)的，其中深度學(xué)習(xí)方法是在Py-Torch1.2.0版本上實(shí)現(xiàn)的，所有實(shí)驗(yàn)均是使用配置英特爾i7-7700CPU、8核、16 GB RAM、NVIDIA Quadro P2000的機(jī)器運(yùn)行的。

4.4 實(shí)驗(yàn)結(jié)果及分析

表1概括總結(jié)了在國際匯率數(shù)據(jù)集上實(shí)驗(yàn)涉及到的所有9個(gè)模型方法在RSE和CORR兩個(gè)評(píng)價(jià)標(biāo)準(zhǔn)上的評(píng)估結(jié)果。分別設(shè)置horizon={3，6，12，24}， 即設(shè)置horizon從3天到24天不等用于預(yù)測(cè)。從進(jìn)行的實(shí)驗(yàn)情況可以看出horizon越大，對(duì)任務(wù)進(jìn)行預(yù)測(cè)就越難。在horizon=3、6時(shí)本文提出的DSAGCN模型的預(yù)測(cè)效果最好，說明預(yù)測(cè)步長(zhǎng)較小時(shí)，DSAGCN模型能夠較好提取和利用時(shí)空依賴關(guān)系特征來提高預(yù)測(cè)效果。當(dāng)horizon=12、24時(shí)AR模型和MTGNN模型預(yù)測(cè)效果較好，表明預(yù)測(cè)步長(zhǎng)較大時(shí)，DSAGCN模型就不如AR模型和MTGNN模型的預(yù)測(cè)效果了，但預(yù)測(cè)精度差別不大。從總體性能上來說本文提出的DSAGCN模型在所用實(shí)驗(yàn)數(shù)據(jù)集上的預(yù)測(cè)性能是優(yōu)于其它基線模型的。

圖3展示了消融實(shí)驗(yàn)各模型情況。GSA(global self-attention network)表示只有全局時(shí)間自注意力一個(gè)通道的模型，LSA(local self-attention network)表示只有局部時(shí)間自注意力一個(gè)通道的模型，GCN表示只有一個(gè)圖卷積通道的模型(當(dāng)然也有圖學(xué)習(xí)模塊)，DSA(dual self-attention network without AR)表示有全局時(shí)間自注意力和局部時(shí)間自注意力兩個(gè)通道的模型，GSAGCN(global self-attention and graph convolutional network)表示有全局時(shí)間自注意力和圖卷積兩個(gè)通道的模型，LSAGCN(local self-attention and graph convolutional network)表示有局部時(shí)間自注意力和圖卷積兩個(gè)通道的模型，DSAGCN表示本文提出的三通道模型。

從圖3(a)可以看出LSA模型的RSE值最大；DSA和GSA兩模型的RSE值依次較大；GSAGCN、LSAGCN、GCN和DSAGCN這4個(gè)模型的RSE值較小，而這4個(gè)模型是都含有GCN模塊或者說GCN通道的。

表1 不同模型在數(shù)據(jù)集上的單步預(yù)測(cè)實(shí)驗(yàn)情況

圖3 消融實(shí)驗(yàn)情況

從圖3(b)可以看出LSA模型的CORR值最??；DSA和GSA兩模型的CORR值較小；GSAGCN、LSAGCN、GCN和DSAGCN這4個(gè)含有GCN模塊的模型的CORR值較大。RSE值越小，CORR越大，則說明模型越好。從消融實(shí)驗(yàn)的結(jié)果圖3(a)、圖3(b)可以分析出：含有GCN模塊的4個(gè)模型均較好，所以說GCN通道對(duì)模型預(yù)測(cè)精度的貢獻(xiàn)較大，能夠很大程度上影響模型的好壞。說明GCN通道所采用的圖學(xué)習(xí)層模塊能夠通過很好地自適應(yīng)地學(xué)習(xí)圖數(shù)據(jù)的鄰接矩陣，來捕獲時(shí)間序列數(shù)據(jù)之間隱藏的空間依賴關(guān)系，圖卷積層模塊通過圖卷積操作很好地處理了圖學(xué)習(xí)層模塊學(xué)習(xí)到的圖中的空間依賴關(guān)系。在GCN通道上再加入另外兩個(gè)通道，模型性能又有了一定程度提高，說明全局自注意力通道和局部自注意力通道提取到的特征信息可以在一定程度上提高本文提出的DSAGCN模型方法的預(yù)測(cè)精度。所以說3個(gè)通道對(duì)模型的預(yù)測(cè)精度均有貢獻(xiàn)，均能一定程度上提高模型的預(yù)測(cè)精度。

5 結(jié)束語

本文提出了基于深度學(xué)習(xí)的一種多變量時(shí)間序列預(yù)測(cè)模型DSAGCN。DSAGCN利用圖卷積神經(jīng)網(wǎng)絡(luò)GCN提取多變量時(shí)間序列變量之間的空間依賴關(guān)系特征，利用卷積神經(jīng)網(wǎng)絡(luò)CNN和注意力機(jī)制提取多變量時(shí)間序列的前后長(zhǎng)短期時(shí)間片段的時(shí)間依賴關(guān)系特征，然后融合多變量時(shí)間序列的時(shí)間和空間依賴關(guān)系特征進(jìn)行預(yù)測(cè)。在國際匯率(Exchange-Rate)數(shù)據(jù)集上進(jìn)行應(yīng)用的實(shí)驗(yàn)結(jié)果表明本文提出的模型在各方面的綜合性能是優(yōu)于本文提及的基于深度學(xué)習(xí)的其它基線模型的。DSAGCN模型可以在交通流預(yù)測(cè)、農(nóng)業(yè)勞動(dòng)力供給預(yù)測(cè)、網(wǎng)絡(luò)輿情預(yù)測(cè)、商品銷售量預(yù)測(cè)等等具體的領(lǐng)域中做進(jìn)一步應(yīng)用。