深度學(xué)習(xí)在時(shí)空序列預(yù)測(cè)中的應(yīng)用綜述

劉 博，王明爍，李 永，陳洪麗，李建強(qiáng)

(北京工業(yè)大學(xué)信息學(xué)部，北京 100124)

目前，時(shí)空數(shù)據(jù)廣泛存在諸多領(lǐng)域，如交通運(yùn)輸[1-2]、氣候科學(xué)[3-4]、按需服務(wù)[5-6]、神經(jīng)科學(xué)[7-8]等.由于這些領(lǐng)域所研究的內(nèi)容在現(xiàn)實(shí)世界中本就存在固有時(shí)空特性，再加上近年來(lái)定位系統(tǒng)、傳感器網(wǎng)絡(luò)等技術(shù)的快速發(fā)展，物理存儲(chǔ)能力不斷提升，使得在現(xiàn)實(shí)中采集得到的時(shí)空序列數(shù)據(jù)呈爆炸式增長(zhǎng)，所以準(zhǔn)確挖掘以捕獲海量時(shí)空序列數(shù)據(jù)中的時(shí)空特征，并在此基礎(chǔ)上建模對(duì)時(shí)空序列預(yù)測(cè)至關(guān)重要.

時(shí)空序列數(shù)據(jù)是嵌入在連續(xù)空間中，同時(shí)具有空間和時(shí)間相關(guān)性的數(shù)據(jù)，可以通過(guò)不同角度定義時(shí)空序列以及時(shí)空序列的特征，可以將空間位置視為對(duì)象，并將隨著時(shí)間推移從空間位置收集到的屬性值來(lái)定義特征，也可以將時(shí)間點(diǎn)視為對(duì)象，考慮使用所有的空間位置收集到的屬性值來(lái)定義特征.由于時(shí)空序列數(shù)據(jù)在時(shí)空維度存在相互依賴的關(guān)系，通常具有高度的自相關(guān)性.也正是時(shí)空序列數(shù)據(jù)的這些特點(diǎn)，使得經(jīng)典數(shù)據(jù)挖掘技術(shù)直接應(yīng)用在時(shí)空序列數(shù)據(jù)上性能較差，無(wú)法捕獲其中復(fù)雜的時(shí)空數(shù)據(jù)相關(guān)性.

對(duì)時(shí)空序列預(yù)測(cè)時(shí)，不僅要考慮時(shí)間維度上的依賴性，同時(shí)還要考慮空間維度的依賴，而隨著時(shí)間推進(jìn)，空間維度的相關(guān)性也會(huì)發(fā)生動(dòng)態(tài)變化[9].目前已有大量針對(duì)時(shí)空序列預(yù)測(cè)的研究工作，主要分為數(shù)值預(yù)報(bào)方法和統(tǒng)計(jì)預(yù)報(bào)方法.數(shù)值預(yù)報(bào)方法是依靠研究人員具有大量的先驗(yàn)知識(shí)和經(jīng)驗(yàn)，從而建立預(yù)測(cè)模型.統(tǒng)計(jì)預(yù)報(bào)方法是基于數(shù)理統(tǒng)計(jì)的方法，在大量數(shù)據(jù)的基礎(chǔ)之上，建立模型以找到輸入變量和輸出變量之間的關(guān)系.統(tǒng)計(jì)預(yù)報(bào)方法包括基于傳統(tǒng)參數(shù)模型的時(shí)間序列預(yù)測(cè)方法、基于傳統(tǒng)機(jī)器學(xué)習(xí)的時(shí)空序列預(yù)測(cè)方法和基于深度學(xué)習(xí)的時(shí)空序列預(yù)測(cè)方法.其中基于傳統(tǒng)參數(shù)模型的預(yù)測(cè)方法難以捕獲數(shù)據(jù)中的非線性特征，基于傳統(tǒng)機(jī)器學(xué)習(xí)的時(shí)空序列預(yù)測(cè)方法可以自動(dòng)捕獲數(shù)據(jù)中的非線性特征，在小樣本上具有很好的泛化能力.而基于深度學(xué)習(xí)的時(shí)空序列預(yù)測(cè)方法不僅可以有效挖掘數(shù)據(jù)中的有效信息，自動(dòng)捕獲隱藏的線性及非線性特征，還可以高效處理大規(guī)模時(shí)空序列數(shù)據(jù).

雖然目前深度學(xué)習(xí)技術(shù)已廣泛應(yīng)用于時(shí)空序列預(yù)測(cè)任務(wù)，但仍存在諸多問(wèn)題.首先對(duì)于時(shí)空序列數(shù)據(jù)本身而言，在時(shí)間維度存在大量缺失值、噪聲，以及空間維度尺度不一致的問(wèn)題，而現(xiàn)有的數(shù)據(jù)處理方法大多針對(duì)傳統(tǒng)的關(guān)系數(shù)據(jù)，較少針對(duì)時(shí)空序列數(shù)據(jù).其次對(duì)于深度學(xué)習(xí)模型的選擇，目前缺乏如何根據(jù)不同的數(shù)據(jù)類型、數(shù)據(jù)實(shí)例以及數(shù)據(jù)格式選擇對(duì)應(yīng)的深度學(xué)習(xí)模型的研究和指導(dǎo).最后就是針對(duì)深度學(xué)習(xí)模型的可解釋性，由于數(shù)據(jù)和關(guān)系的復(fù)雜性，需要對(duì)最終的時(shí)空序列預(yù)測(cè)結(jié)果進(jìn)行很好的解釋，以方便理解.

1 時(shí)空序列數(shù)據(jù)

時(shí)空序列數(shù)據(jù)是對(duì)不同區(qū)域內(nèi)隨時(shí)間推移研究對(duì)象的變化過(guò)程的抽象表示.不同于傳統(tǒng)的關(guān)系數(shù)據(jù)，其表示形式更為多樣，處理方法較為復(fù)雜.時(shí)空序列數(shù)據(jù)存在時(shí)間維度上的順序依賴，通常根據(jù)事先設(shè)定的采樣頻率，在相等的時(shí)間間隔內(nèi)對(duì)所要研究的隨機(jī)變量進(jìn)行觀測(cè)和記錄，從而得到序列數(shù)據(jù)[10].

1.1 時(shí)空序列數(shù)據(jù)屬性

時(shí)空序列數(shù)據(jù)的屬性包括海量性、自相關(guān)性、異質(zhì)性、高維性.

時(shí)空序列數(shù)據(jù)來(lái)源廣泛、積累時(shí)間較長(zhǎng)，導(dǎo)致時(shí)空序列數(shù)據(jù)量較大，而有效處理海量時(shí)空序列數(shù)據(jù)是時(shí)空序列預(yù)測(cè)的首要目標(biāo).

時(shí)空序列數(shù)據(jù)在時(shí)間維度和空間維度上具有相關(guān)性，即在時(shí)間戳上和空間位置上的觀察不是相互獨(dú)立，而是相互關(guān)聯(lián)的，甚至這2個(gè)維度的觀測(cè)結(jié)果具有一致性.由于時(shí)空序列數(shù)據(jù)存在這種自相關(guān)特性，在使用時(shí)空序列數(shù)據(jù)時(shí)，需要考慮傳統(tǒng)預(yù)測(cè)方法的適用性.

時(shí)空序列數(shù)據(jù)在時(shí)間維度和空間維度上具有非平穩(wěn)性，即以不同的方式顯示出一定的異質(zhì)性，導(dǎo)致不可以用同一個(gè)模型去概括不同時(shí)空區(qū)域的特征，需要學(xué)習(xí)不同時(shí)空區(qū)域下的不同模型.例如，由于季節(jié)性的存在，對(duì)空氣質(zhì)量的預(yù)測(cè)不可一概而論；由于一天中不同時(shí)段交通流量存在周期性以及存在動(dòng)態(tài)變化的特征，因此應(yīng)對(duì)多時(shí)段構(gòu)建不同的預(yù)測(cè)模型.

由于時(shí)空序列數(shù)據(jù)除了具有時(shí)間維度特征和空間維度特征，還具有屬性維度等多維特征，因此在時(shí)空序列預(yù)測(cè)時(shí)，可以借助時(shí)空維度之外的多維屬性特征以捕獲額外信息.如在空氣質(zhì)量預(yù)測(cè)中，影響空氣質(zhì)量的因素復(fù)雜且多樣，除氣象氣候數(shù)據(jù)外，目標(biāo)區(qū)域內(nèi)工廠的數(shù)量也會(huì)對(duì)空氣質(zhì)量產(chǎn)生影響等.

在對(duì)時(shí)空序列進(jìn)行預(yù)測(cè)時(shí)，需要充分考慮時(shí)空序列數(shù)據(jù)的屬性特征，并做出相應(yīng)處理，才能針對(duì)不同領(lǐng)域內(nèi)實(shí)際的時(shí)空序列預(yù)測(cè)任務(wù)給出更加精準(zhǔn)的預(yù)測(cè)結(jié)果.

1.2 時(shí)空序列數(shù)據(jù)類型

1.2.1 事件數(shù)據(jù)

事件數(shù)據(jù)通?？梢杂檬录念愋?、事件發(fā)生的位置以及事件發(fā)生的時(shí)間來(lái)表示，可以通過(guò)三元組(e,l,t)來(lái)描述，其中：e為事件的類型；l為事件發(fā)生的位置；t為事件發(fā)生的時(shí)間.時(shí)間序列數(shù)據(jù)的點(diǎn)事件的集合稱為空間點(diǎn)模式[11].事件數(shù)據(jù)在犯罪學(xué)、流行病學(xué)、社交網(wǎng)絡(luò)等領(lǐng)域被廣泛應(yīng)用.圖1(a)在二維坐標(biāo)中展示了2種事件數(shù)據(jù)，并使用不同的分類標(biāo)記進(jìn)行表示.

1.2.2 軌跡數(shù)據(jù)

軌跡數(shù)據(jù)是由部署在可移動(dòng)物體上的位置傳感器獲得，傳感器會(huì)定期記錄并傳輸移動(dòng)物體的位置信息，從而軌跡數(shù)據(jù)可以描述出隨著時(shí)間的推移，物體在空間中的移動(dòng)路徑.軌跡數(shù)據(jù)可以用序列{(l1,t1),(l2,t2),…,(ln,tn)}表示，其中：l為位置信息；t為移動(dòng)物體通過(guò)該位置的時(shí)間信息.軌跡數(shù)據(jù)在運(yùn)輸、生態(tài)應(yīng)用中很常見(jiàn).圖1(b)展示了2個(gè)移動(dòng)物體的2條不同的軌跡.

圖1 事件數(shù)據(jù)和軌跡數(shù)據(jù)示例Fig.1 Illustration of event and trajectory data types

1.2.3 點(diǎn)參考數(shù)據(jù)

點(diǎn)參考數(shù)據(jù)在空間統(tǒng)計(jì)學(xué)中也稱為地統(tǒng)計(jì)數(shù)據(jù)，是由一組在特定空間和時(shí)間間隔內(nèi)移動(dòng)的點(diǎn)參考而測(cè)量得到.值得注意的是，在點(diǎn)參考數(shù)據(jù)中，傳感器的位置會(huì)隨時(shí)間而發(fā)生變化.圖2(a)(b)分別展示了相鄰時(shí)間點(diǎn)的參考點(diǎn)數(shù)據(jù)的示例，其中圖例表示空間中的測(cè)量分布.

圖2 點(diǎn)參考數(shù)據(jù)示例Fig.2 Illustration of point reference data type

1.2.4 柵格數(shù)據(jù)

柵格數(shù)據(jù)是在固定的空間位置、相等或不等的時(shí)間間隔下，通過(guò)記錄連續(xù)或離散的測(cè)量值而得到的.與點(diǎn)參考數(shù)據(jù)不同的是，記錄柵格數(shù)據(jù)的傳感器的位置固定不變，而這些固定不變的位置要么規(guī)則地分布在空間中，如圖像的像素，要么以不規(guī)則的空間模式分布，如用于監(jiān)測(cè)空氣質(zhì)量的站點(diǎn).柵格數(shù)據(jù)可以表示為：一組固定的位置S={s1,s2,…,sm}，以及在每個(gè)位置上的時(shí)間序列集合T={t1,t2,…,tn}.通常應(yīng)用在交通學(xué)領(lǐng)域、氣候科學(xué)領(lǐng)域、神經(jīng)科學(xué)領(lǐng)域等.圖3(a)(b)分別表示規(guī)則分布以及不規(guī)則分布下的柵格數(shù)據(jù).

圖3 柵格數(shù)據(jù)示例Fig.3 Illustration of raster data type

雖然收集到的時(shí)空序列數(shù)據(jù)呈現(xiàn)不同的數(shù)據(jù)類型，但在某些情況下，不同的數(shù)據(jù)類型間可以相互轉(zhuǎn)化.通過(guò)將一種類型的時(shí)空序列數(shù)據(jù)變換成另一種時(shí)空序列數(shù)據(jù)類型，可以更方便地處理和計(jì)算.如可以采取某些特殊的事件提取算法將柵格數(shù)據(jù)轉(zhuǎn)換為事件數(shù)據(jù)，此外點(diǎn)參考數(shù)據(jù)和柵格數(shù)據(jù)也可以相互轉(zhuǎn)換，對(duì)點(diǎn)參考數(shù)據(jù)進(jìn)行插值處理以轉(zhuǎn)換成為柵格數(shù)據(jù)，將柵格數(shù)據(jù)的每個(gè)點(diǎn)視為參考點(diǎn)，也可以將柵格數(shù)據(jù)轉(zhuǎn)化為點(diǎn)參考數(shù)據(jù)進(jìn)行處理.

1.3 時(shí)空序列數(shù)據(jù)實(shí)例與表示

數(shù)據(jù)實(shí)例指用于數(shù)據(jù)挖掘以及機(jī)器學(xué)習(xí)的基本數(shù)據(jù)單元，如時(shí)間序列、軌跡等.時(shí)空序列數(shù)據(jù)類型不同，可以對(duì)應(yīng)表述為不同的數(shù)據(jù)實(shí)例，即使對(duì)于相同的數(shù)據(jù)類型，也可以構(gòu)建不同的數(shù)據(jù)實(shí)例以方便不同的任務(wù).

時(shí)空序列數(shù)據(jù)有5種常見(jiàn)的數(shù)據(jù)實(shí)例，分別是點(diǎn)、軌跡、時(shí)間序列、空間圖以及時(shí)空柵格，圖4總結(jié)不同時(shí)空序列數(shù)據(jù)類型與不同的時(shí)空序列數(shù)據(jù)實(shí)例間的對(duì)應(yīng)關(guān)系.

圖4 不同數(shù)據(jù)類型的實(shí)例與表示Fig.4 Data instances and data formats of different data types

事件數(shù)據(jù)可以自然地表示為點(diǎn)實(shí)例，軌跡數(shù)據(jù)可以表示為點(diǎn)實(shí)例的集合、軌跡實(shí)例以及帶有空間位置的時(shí)間序列實(shí)例，點(diǎn)參考數(shù)據(jù)由點(diǎn)實(shí)例組成，而柵格數(shù)據(jù)可以有3種實(shí)例表示的形式：第1種可表示為不同空間位置下的時(shí)間序列實(shí)例；第2種可表示某時(shí)刻下的一組不同空間位置的測(cè)量值，構(gòu)成空間地圖實(shí)例；第3種可將柵格數(shù)據(jù)看成一個(gè)整體，構(gòu)建時(shí)空柵格數(shù)據(jù)實(shí)例.

可以根據(jù)不同時(shí)空序列數(shù)據(jù)類型構(gòu)造不同數(shù)據(jù)實(shí)例，而正確構(gòu)造實(shí)例的方法取決于所要研究的問(wèn)題類型和性質(zhì).對(duì)于上述5種數(shù)據(jù)實(shí)例，提出5種對(duì)應(yīng)的數(shù)據(jù)格式來(lái)表示用于深度學(xué)習(xí)模型的輸入，如圖4所示，分別是點(diǎn)、序列、圖形、二維矩陣以及三維張量.點(diǎn)實(shí)例可以直接表示為點(diǎn)，還可以表示為二維矩陣，軌跡實(shí)例可以表示為序列以及二維矩陣，其中二維矩陣的2個(gè)維度分別是所在區(qū)域的行列坐標(biāo)，時(shí)間序列數(shù)據(jù)則自然地表示為序列，空間地圖可以表示為圖形或二維矩陣，時(shí)空柵格數(shù)據(jù)實(shí)例可以用二維矩陣或三維張量表示，二維矩陣的2個(gè)維度分別是位置和時(shí)間戳，而三維張量則增加區(qū)域的行列信息.雖然二維矩陣的表示更加簡(jiǎn)單，但會(huì)一定程度丟失空間信息，降低時(shí)空序列預(yù)測(cè)的精度.不同的深度學(xué)習(xí)模型需要對(duì)應(yīng)具有不同表示形式的輸入數(shù)據(jù).

2 時(shí)空序列預(yù)處理方法

時(shí)空序列數(shù)據(jù)目前存在的問(wèn)題包括時(shí)間維度數(shù)據(jù)的缺失，即時(shí)間序列不完整、存在噪聲干擾，以及空間維度數(shù)據(jù)尺度不一致，以上問(wèn)題嚴(yán)重影響時(shí)空序列的數(shù)據(jù)質(zhì)量，而針對(duì)時(shí)空序列數(shù)據(jù)的預(yù)處理方法便是通過(guò)有效的手段在一定程度上提高數(shù)據(jù)質(zhì)量，為后續(xù)時(shí)空序列數(shù)據(jù)的挖掘、分析以及建模做準(zhǔn)備.

2.1 時(shí)間序列缺失值估計(jì)

由于時(shí)空序列數(shù)據(jù)來(lái)源廣泛，包括GPS、遙感衛(wèi)星等傳感設(shè)備采集的數(shù)據(jù)，調(diào)查數(shù)據(jù)，基礎(chǔ)地理信息數(shù)據(jù)等，時(shí)空序列數(shù)據(jù)呈爆炸式增長(zhǎng).但在數(shù)據(jù)收集過(guò)程中，會(huì)由于數(shù)據(jù)的獲取、存儲(chǔ)，以及人為原因，導(dǎo)致最終數(shù)據(jù)集中存在一定的不完整性，可能是單個(gè)或多個(gè)屬性的缺失，也可能是單條或多條記錄的缺失，這些數(shù)據(jù)被稱為缺失數(shù)據(jù)，在數(shù)據(jù)預(yù)處理步驟需要對(duì)缺失數(shù)據(jù)進(jìn)行估計(jì).

目前，對(duì)時(shí)間序列缺失值的估計(jì)方法主要包括統(tǒng)計(jì)學(xué)方法和機(jī)器學(xué)習(xí)方法.

其中統(tǒng)計(jì)學(xué)方法包括4種類型：1)記錄刪除法.該方法對(duì)數(shù)據(jù)集中存在缺失值的數(shù)據(jù)做刪除處理，即只考慮并使用完整的記錄進(jìn)行分析.該方法實(shí)施較簡(jiǎn)單，但由于直接刪除缺失數(shù)據(jù)，很有可能丟失重要信息，且不適用于存在大量缺失值的數(shù)據(jù)集.2)基于權(quán)重的方法.在數(shù)據(jù)產(chǎn)生的過(guò)程中，都有與之對(duì)應(yīng)的權(quán)重信息，該方法在遇到缺失值時(shí)，對(duì)權(quán)重重新計(jì)算，但該方法存在數(shù)據(jù)丟失現(xiàn)象.3)替代法.該方法利用數(shù)據(jù)集中的某種統(tǒng)計(jì)值替代缺失值，替代法在處理缺失值中被廣泛使用，如均值替代法等，但仍不適用于存在大量缺失值的數(shù)據(jù)集.4)基于模型的方法.該方法首先對(duì)缺失值的缺失機(jī)制進(jìn)行判斷，然后建立一定的模型，對(duì)缺失值進(jìn)行估計(jì).該方法應(yīng)用較靈活，且可應(yīng)用于缺失值較多的數(shù)據(jù)集，所以被廣泛應(yīng)用，常用方法包括期望最大化法、多重填補(bǔ)法、極大似然估計(jì)法等.

用于缺失值估計(jì)的機(jī)器學(xué)習(xí)方法包括K鄰近法、BP神經(jīng)網(wǎng)絡(luò)等.其中K鄰近法的基本思路是找出與缺失值距離最近的K個(gè)完整數(shù)據(jù)，然后使用這K個(gè)數(shù)據(jù)的均值來(lái)估計(jì)缺失數(shù)據(jù).BP神經(jīng)網(wǎng)絡(luò)則利用已知完整數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，將完整數(shù)據(jù)作為網(wǎng)絡(luò)的輸入，缺失數(shù)據(jù)作為網(wǎng)絡(luò)的輸出，然后再將有缺失值記錄中其他已知數(shù)據(jù)輸入訓(xùn)練好的網(wǎng)絡(luò)，網(wǎng)絡(luò)的輸出則是對(duì)缺失值的估計(jì).

基于統(tǒng)計(jì)學(xué)的方法直接處理的是模型參數(shù)的估計(jì)，而并非缺失值本身，且模型在估計(jì)缺失值時(shí)收斂速度較慢.而且現(xiàn)實(shí)收集到的時(shí)間序列數(shù)據(jù)具有非線性、非平穩(wěn)的特征，傳統(tǒng)基于統(tǒng)計(jì)的模型不能很好對(duì)缺失值進(jìn)行估計(jì).隨著機(jī)器學(xué)習(xí)的發(fā)展，其在時(shí)間序列數(shù)據(jù)缺失值的研究中不斷涌現(xiàn)新的方法，一定程度上解決統(tǒng)計(jì)學(xué)方法不能處理非線性的問(wèn)題，目前基于機(jī)器學(xué)習(xí)的缺失值估計(jì)方法被廣泛應(yīng)用.

2.2 時(shí)間序列去噪

時(shí)間序列數(shù)據(jù)獲取過(guò)程中會(huì)因?yàn)橛^測(cè)誤差、系統(tǒng)誤差或其他原因，導(dǎo)致時(shí)間序列數(shù)據(jù)中存在一定的噪聲，而噪聲嚴(yán)重影響數(shù)據(jù)的處理結(jié)果，所以在數(shù)據(jù)預(yù)處理階段，應(yīng)根據(jù)噪聲的類型，選用不同方法對(duì)數(shù)據(jù)進(jìn)行去噪處理.

通常采用濾波的方法對(duì)時(shí)間序列數(shù)據(jù)進(jìn)行去噪處理，分為時(shí)域?yàn)V波方法和頻域?yàn)V波方法.

時(shí)域?yàn)V波方法通常使用滑動(dòng)窗口作為濾波器，利用滑動(dòng)窗口內(nèi)的統(tǒng)計(jì)值來(lái)代替，從而達(dá)到分離信號(hào)和噪聲數(shù)據(jù)的目的.常見(jiàn)的時(shí)域?yàn)V波方法包括均值濾波、中值濾波、自適應(yīng)濾波等.其中前二者的濾波原理相同，使用固定大小的平滑窗口對(duì)噪聲序列進(jìn)行滑動(dòng)處理，直至序列結(jié)束，使用滑動(dòng)窗口內(nèi)不同的統(tǒng)計(jì)值作為窗口中心的值.自適應(yīng)濾波器則是通過(guò)對(duì)局部統(tǒng)計(jì)參數(shù)的調(diào)節(jié)達(dá)到對(duì)噪聲數(shù)據(jù)平滑的目的.

頻域?yàn)V波方法是將信號(hào)數(shù)據(jù)由時(shí)間域變換到頻率域，通過(guò)設(shè)定適當(dāng)?shù)拈撝?，區(qū)分高低頻信號(hào)，低頻信號(hào)屬于有效數(shù)據(jù)，高頻信號(hào)屬于噪聲數(shù)據(jù).傳統(tǒng)的頻域?yàn)V波方法主要包括卡爾曼濾波、維納濾波、低通濾波等.維納濾波是一種線性濾波方法，低通濾波可以很好地處理噪聲數(shù)據(jù)，但對(duì)波動(dòng)較大的時(shí)間序列數(shù)據(jù)不適用.隨后還有小波方法在信號(hào)去噪的應(yīng)用[12]，應(yīng)用最廣泛的是小波閾值去噪.

時(shí)域?yàn)V波方法適用于非平穩(wěn)數(shù)據(jù)，速度快且處理結(jié)果比較平滑，但是不能保留數(shù)據(jù)局部細(xì)節(jié)的變化；空域?yàn)V波可以有效區(qū)分噪聲數(shù)據(jù)，但易忽略數(shù)據(jù)中的突變信息，具有一定的局限性.

2.3 空間數(shù)據(jù)尺度轉(zhuǎn)換

空間數(shù)據(jù)的尺度特性由空間分辨率來(lái)表示，但目前由于數(shù)據(jù)來(lái)源不同、獲取數(shù)據(jù)的手段存在差異，導(dǎo)致空間數(shù)據(jù)尺度不一致.而對(duì)時(shí)空序列的挖掘以及處理需要在同一尺度下綜合分析多要素空間數(shù)據(jù)之間的聯(lián)系，所以需要在數(shù)據(jù)預(yù)處理階段對(duì)空間數(shù)據(jù)尺度進(jìn)行一定的轉(zhuǎn)換.

現(xiàn)有尺度轉(zhuǎn)換方法多是基于統(tǒng)計(jì)模型的方法，包括重采樣法、地統(tǒng)計(jì)法、小波分析法等.

重采樣法常用于柵格數(shù)據(jù)的尺度轉(zhuǎn)換，廣泛使用的方法是最鄰近法、雙線性法、立方卷積法等，分別適用于離散數(shù)據(jù)、連續(xù)數(shù)據(jù)以及遙感影像數(shù)據(jù).地統(tǒng)計(jì)方法考慮變量的隨機(jī)性和相關(guān)性，一定程度上提高了插值的精度，也便于誤差分析.小波分析法則將空間位置信息與空間數(shù)據(jù)的尺度特性聯(lián)系起來(lái)，可對(duì)多尺度地理信息進(jìn)行融合.

基于統(tǒng)計(jì)模型的空間數(shù)據(jù)尺度轉(zhuǎn)換方法較少考慮空間數(shù)據(jù)的結(jié)構(gòu)信息，容易忽略空間相似性變異的情況.

3 時(shí)空序列預(yù)測(cè)方法

時(shí)空序列由多條空間相關(guān)的時(shí)間序列組合而成[13]，可以將長(zhǎng)度為M的時(shí)間序列定義為時(shí)間矩陣

X1:M=[X1,X2,…,XM]

P={{S1,T1},{S2,T2},…,{Sp,Tp}}

式中：p為不同空間位置的數(shù)量；Si為第i個(gè)空間位置信息；Ti為對(duì)應(yīng)空間位置下的歷史時(shí)間序列，即上述時(shí)間矩陣X.

時(shí)空序列預(yù)測(cè)任務(wù)是根據(jù)不同空間位置的歷史觀測(cè)結(jié)果預(yù)測(cè)出長(zhǎng)度為L(zhǎng)的序列數(shù)據(jù)，即找到其中的映射關(guān)系，可表示為

XT+1：T+L=F(X1：XT)

時(shí)空序列預(yù)測(cè)分為單步和多步時(shí)空序列預(yù)測(cè).當(dāng)L=1時(shí)，屬于單步預(yù)測(cè)，即僅根據(jù)歷史時(shí)空序列數(shù)據(jù)預(yù)測(cè)下一時(shí)刻的觀測(cè)值.當(dāng)L>1時(shí)，屬于多步預(yù)測(cè)，即根據(jù)歷史時(shí)空序列數(shù)據(jù)預(yù)測(cè)接下來(lái)一段連續(xù)時(shí)間的觀測(cè)值.多步時(shí)空序列預(yù)測(cè)方法分為間接和直接多步預(yù)測(cè).間接多步預(yù)測(cè)方法通過(guò)預(yù)先訓(xùn)練好的單步預(yù)測(cè)器進(jìn)行單步預(yù)測(cè)，并將預(yù)測(cè)結(jié)果作為樣本輸入到單步預(yù)測(cè)器進(jìn)行下一步預(yù)測(cè)，由此，上一時(shí)刻的誤差也會(huì)傳到下一時(shí)刻，會(huì)導(dǎo)致誤差不斷積累，預(yù)測(cè)效果不佳.為了解決這一問(wèn)題，提出直接多步時(shí)空序列預(yù)測(cè)方法，對(duì)于不同的時(shí)間間隔分別構(gòu)建模型并訓(xùn)練，然后直接進(jìn)行預(yù)測(cè).

3.1 基于傳統(tǒng)參數(shù)模型的時(shí)間序列預(yù)測(cè)方法

基于傳統(tǒng)參數(shù)模型的預(yù)測(cè)方法主要針對(duì)于時(shí)間序列預(yù)測(cè)，幾乎不考慮不同位置間的相互影響.利用傳統(tǒng)參數(shù)模型進(jìn)行預(yù)測(cè)首先需要確定即將采用的模型，并在此基礎(chǔ)之上，求解出相應(yīng)的參數(shù)，進(jìn)而完成時(shí)間序列預(yù)測(cè)任務(wù).表1總結(jié)基于參數(shù)模型的時(shí)間序列預(yù)測(cè)方法.

表1 基于參數(shù)模型的時(shí)間序列預(yù)測(cè)方法總結(jié)Table 1 Summary of time series forecasting methods based on parametric models

歷史平均法(historical average，HA)是將同一觀測(cè)位置下研究對(duì)象在相同時(shí)間間隔內(nèi)的歷史記錄取算術(shù)平均值或加權(quán)平均值，作為下一時(shí)刻的趨勢(shì)預(yù)測(cè)值，該方法是一種比較簡(jiǎn)單的時(shí)空序列預(yù)測(cè)方法，實(shí)施較方便，但預(yù)測(cè)精度有限.

自回歸滑動(dòng)平均模型(autoregressive moving average model，ARMA)又稱“Box-Jenkins方法”，該方法建模的前提是所用時(shí)間序列由零均值穩(wěn)定隨機(jī)過(guò)程產(chǎn)生的，即ARMA僅可以處理穩(wěn)定時(shí)間序列.特例差分自回歸移動(dòng)平均模型(autoregressive integrated moving average model，ARIMA)通過(guò)使用差分方法將非穩(wěn)定時(shí)間序列轉(zhuǎn)化為穩(wěn)定時(shí)間序列進(jìn)行處理.在ARIMA的基礎(chǔ)之上，提出時(shí)空自回歸差分移動(dòng)平均模型(spatio-temporal autoregressive integrated moving average model，STARIMA)，在求解STARIMA模型的過(guò)程中分為模型識(shí)別、參數(shù)估計(jì)和模型驗(yàn)證三步迭代，其中模型識(shí)別涉及時(shí)空特征的學(xué)習(xí)，其根據(jù)時(shí)空自相關(guān)函數(shù)來(lái)確定模型的3個(gè)階數(shù)參數(shù).該模型在考慮時(shí)間維度特征的同時(shí)，考慮空間維度特征，但該模型的局限是無(wú)法處理空間維度的非平穩(wěn)序列.

門限自回歸(threshold autoregressive model，TAR)通過(guò)引入多個(gè)門限值將觀測(cè)時(shí)空序列分成多個(gè)區(qū)間，對(duì)不同區(qū)間采用不同的自回歸模型(autoregressive model，AR)，而這些模型的總和構(gòu)成了整體觀測(cè)時(shí)空序列的非線性動(dòng)態(tài)描述，但TAR與線性模型無(wú)本質(zhì)區(qū)別，其采用對(duì)整體序列分段線性化的表示.向量自回歸模型(vector autoregressive model，VAR)由AR拓展而來(lái)，將AR中的單變量變?yōu)橛啥嘣獣r(shí)間序列組成的向量，可以實(shí)現(xiàn)多元時(shí)間序列預(yù)測(cè)任務(wù)，但該模型需要較多的參數(shù)估計(jì)，樣本過(guò)少會(huì)導(dǎo)致預(yù)測(cè)精度較差.

3.2 基于傳統(tǒng)機(jī)器學(xué)習(xí)模型的時(shí)空序列預(yù)測(cè)方法

時(shí)空序列預(yù)測(cè)的本質(zhì)與傳統(tǒng)機(jī)器學(xué)習(xí)中的回歸分析存在著一定的聯(lián)系，所以傳統(tǒng)機(jī)器學(xué)習(xí)模型也常用于時(shí)空序列預(yù)測(cè).

決策樹(shù)(decision tree，DT)是一種樹(shù)形結(jié)構(gòu)，可以較好地捕獲非線性特征.利用決策樹(shù)進(jìn)行時(shí)間序列預(yù)測(cè)主要對(duì)離散時(shí)間序列數(shù)據(jù)學(xué)習(xí)出決策樹(shù)的結(jié)構(gòu)，從而快速挖掘數(shù)據(jù)特征.2015年Kim等[14]設(shè)計(jì)一種決策樹(shù)框架，通過(guò)滑動(dòng)窗口將時(shí)空序列預(yù)測(cè)問(wèn)題拆解，對(duì)多個(gè)固定長(zhǎng)度的時(shí)空序列分別進(jìn)行預(yù)測(cè)，從而學(xué)習(xí)出完整的時(shí)空序列預(yù)測(cè)器.

支持向量機(jī)(support vector machine，SVM)是一種二類分類模型，是建立在幾何距離基礎(chǔ)上的首個(gè)學(xué)習(xí)算法，在小樣本上效果較好.2012年王佳璆等[15]在支持向量機(jī)核函數(shù)的基礎(chǔ)上設(shè)計(jì)時(shí)空核函數(shù)，使得時(shí)空支持向量回歸模型(spatial-temporal support vector regression，STSVR)可以很好地捕獲時(shí)空特征.為更好解決時(shí)空序列數(shù)據(jù)的時(shí)空非平穩(wěn)性，引入折扣最小平方法(discounted least squares，DLS)，通過(guò)配置不同的權(quán)重，最終完成對(duì)時(shí)空非平穩(wěn)序列建模，在預(yù)測(cè)效果上優(yōu)于傳統(tǒng)STARIMA模型.

隱馬爾可夫模型(hidden Markov model，HMM)由馬爾可夫模型發(fā)展而來(lái)，在其基礎(chǔ)上增加多個(gè)隱含狀態(tài)，對(duì)于預(yù)測(cè)效果有較好提升.2016年劉姣姣等[16]提出一種基于時(shí)空密度聚類的隱馬爾可夫模型對(duì)時(shí)空序列進(jìn)行預(yù)測(cè)，首先識(shí)別原始序列中的噪聲干擾，并得到序列的分段線性表示，然后利用基于密度的時(shí)空聚類算法(spatio-temporal density-based spatial clustering of applications with noise,ST-DBSCAN)進(jìn)行聚類，獲得多個(gè)隱含狀態(tài)，最后利用隱馬爾可夫模型對(duì)狀態(tài)序列進(jìn)行預(yù)測(cè)，并作為最終的時(shí)空序列預(yù)測(cè)結(jié)果.隱馬爾可夫模型的加入，不僅可以捕獲數(shù)據(jù)的時(shí)空相關(guān)性，還可以有效去除噪聲，增加預(yù)測(cè)的準(zhǔn)確度，可以較好地處理空間不平穩(wěn)的時(shí)空序列數(shù)據(jù).

3.3 基于深度學(xué)習(xí)模型的時(shí)空序列預(yù)測(cè)方法

3.3.1 深度學(xué)習(xí)模型

3.3.1.1 用于學(xué)習(xí)時(shí)間維度特征的深度學(xué)習(xí)模型

1)循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network，RNN)和長(zhǎng)短期記憶網(wǎng)絡(luò)(long short-term memory，LSTM)

RNN是一類以序列數(shù)據(jù)作為輸入，在序列演進(jìn)方向上進(jìn)行遞歸，且所有節(jié)點(diǎn)按鏈?zhǔn)竭B接的遞歸神經(jīng)網(wǎng)絡(luò)[17]，旨在識(shí)別順序特征并使用先前的模式來(lái)預(yù)測(cè)下一個(gè)可能的情況，結(jié)構(gòu)如圖5(a)所示.前一個(gè)時(shí)間步的輸出被輸入到下一個(gè)時(shí)間步的網(wǎng)絡(luò)中，即RNN具有記憶性，歷史信息可以存儲(chǔ)并傳遞給未來(lái).同時(shí)RNN參數(shù)可以共享，對(duì)具有非線性特征的序列具有很好的學(xué)習(xí)能力，可以有效處理諸如時(shí)間序列分析、語(yǔ)音識(shí)別和自然語(yǔ)言處理等類問(wèn)題，但是由于RNN存在梯度爆炸和梯度消失的問(wèn)題，導(dǎo)致其僅具有短期記憶.

為了解決RNN存在的問(wèn)題，提出LSTM，如圖5(b)所示.設(shè)計(jì)特殊的存儲(chǔ)單元，使其可以在更長(zhǎng)的時(shí)間內(nèi)記住輸入的歷史信息.LSTM由3個(gè)門組成，輸入門可以控制是否允許新的輸入，遺忘門控制忽略哪些不重要的信息，最后將信息通過(guò)輸出門輸出.該網(wǎng)絡(luò)可以很好地學(xué)習(xí)輸入數(shù)據(jù)的長(zhǎng)期依賴，記住更長(zhǎng)時(shí)間的歷史數(shù)據(jù)信息.

LSTM的前向傳播算法與RNN類似，將一個(gè)長(zhǎng)度為T的時(shí)間序列作為輸入數(shù)據(jù)，時(shí)間步長(zhǎng)每前進(jìn)一次，輸出結(jié)果便更新一次.LSTM的后向傳播算法也與RNN的類似，通過(guò)從時(shí)間序列末尾時(shí)刻開(kāi)始，逐步反向循環(huán)計(jì)算各參數(shù)的梯度，最終用各時(shí)間步的梯度更新網(wǎng)絡(luò)參數(shù).RNN和LSTM均可以處理時(shí)間序列數(shù)據(jù)以學(xué)習(xí)時(shí)間依賴性，且已被廣泛用于時(shí)空序列預(yù)測(cè)領(lǐng)域的研究[18-19].

2)序列到序列模型(sequence to sequence，Seq2Seq)

Seq2Seq模型最初是為機(jī)器翻譯而設(shè)計(jì)提出，但它是一個(gè)通用框架，可以處理序列數(shù)據(jù)，并預(yù)測(cè)序列數(shù)據(jù)，即可以對(duì)固定長(zhǎng)度的輸入與固定長(zhǎng)度的輸出進(jìn)行映射，輸入序列的長(zhǎng)度和輸出序列的長(zhǎng)度可以不等.如圖5(c)所示，由編碼器、中間向量和解碼器三部分組成.由于Seq2Seq可以較好地捕獲序列相關(guān)性，特別是時(shí)空序列數(shù)據(jù)呈現(xiàn)高度時(shí)間相關(guān)性，故Seq2Seq在時(shí)空序列預(yù)測(cè)領(lǐng)域被廣泛應(yīng)用.

3)受限玻爾茲曼機(jī)(restricted Boltzmann machines，RBM)

玻爾茲曼機(jī)是神經(jīng)網(wǎng)絡(luò)模型的一類，但實(shí)際中更多使用RBM，RBM本身結(jié)構(gòu)很簡(jiǎn)單，如圖5(d)所示，是一個(gè)具有2層的網(wǎng)絡(luò)結(jié)構(gòu)，上一層神經(jīng)元組成隱藏層(hidden layer)，下一層神經(jīng)元組成可見(jiàn)層(visible layer)，隱藏層和可見(jiàn)層之間是全連接的，但同一層中沒(méi)有2個(gè)節(jié)點(diǎn)相互連接，且RBM一般是二值的，還具有權(quán)重.根據(jù)特定的任務(wù)，訓(xùn)練RBM，可用于降維、分類、特征學(xué)習(xí)以及協(xié)作過(guò)濾，較適用于對(duì)序列數(shù)據(jù)進(jìn)行降維與特征學(xué)習(xí).

4)自編碼器(autoencoder，AE)

AE通過(guò)使用無(wú)監(jiān)督方式學(xué)習(xí)輸入數(shù)據(jù)的緊湊數(shù)據(jù)編碼，如圖5(e)所示，包括編碼器和解碼器兩部分.其主要目的是將時(shí)間序列高維向量轉(zhuǎn)化為低維向量，且學(xué)習(xí)得到的低維特征向量包含了高維時(shí)間序列的本質(zhì)特征，是原始時(shí)間序列的良好表示.而評(píng)估AE的方法是重建誤差，即最小化輸出與原始輸入數(shù)據(jù)間的誤差.由多個(gè)堆疊式AE組成的堆疊式自動(dòng)編碼(stacked autoencoder，SAE)[20]在時(shí)空序列預(yù)測(cè)領(lǐng)域得到了廣泛的應(yīng)用.

圖5 用于學(xué)習(xí)時(shí)間維度特征的深度學(xué)習(xí)模型Fig.5 Deep learning model for learning temporal-dimension features

3.3.1.2 用于學(xué)習(xí)空間維度特征的深度學(xué)習(xí)模型

1)卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)

CNN是一種前饋神經(jīng)網(wǎng)絡(luò)，與普通神經(jīng)網(wǎng)絡(luò)非常相似，均由具有可學(xué)習(xí)的權(quán)重和偏置常量的神經(jīng)元組成，但又異于普通神經(jīng)網(wǎng)絡(luò)，CNN默認(rèn)輸入是圖像，通常包含輸入層、卷積層、池化層、完全連接層和輸出層，如圖6(a)所示.首先將原始圖像輸入到卷積層中，通過(guò)內(nèi)核中多個(gè)過(guò)濾器以提取不同的特征，然后將卷積之后維度較大的特征輸入到池化層，池化層將特征切成幾個(gè)區(qū)域從而得到新的且維度較小的特征，利用降采樣操作以達(dá)到減少參數(shù)的目的.最后通過(guò)堆疊多個(gè)全連接層對(duì)特征進(jìn)行非線性轉(zhuǎn)換.

由于CNN可以很好地捕獲空間特征，被廣泛應(yīng)用于時(shí)空序列預(yù)測(cè)領(lǐng)域[21]，特別是應(yīng)用于從空間地圖以及時(shí)空柵格數(shù)據(jù)中進(jìn)行學(xué)習(xí).其中三維卷積神經(jīng)網(wǎng)絡(luò)(3D CNNs)非常適合于時(shí)空特征的學(xué)習(xí).相比較于二維卷積神經(jīng)網(wǎng)絡(luò)(2D CNNs)，3D CNNs能夠通過(guò)3D卷積層和3D池化層在時(shí)空維度上進(jìn)行卷積和池化操作，更好建模時(shí)空信息.而2D CNNs僅在空間上完成學(xué)習(xí)任務(wù)，沒(méi)有充分利用時(shí)間維度的運(yùn)動(dòng)信息.也就是說(shuō)，3D CNNs得益于3D卷積和3D池化，在2D CNNs對(duì)時(shí)間維度特征提取的基礎(chǔ)之上，具備抽取空間維度信息特征的能力.

2)圖卷積網(wǎng)絡(luò)(graph convolutional network，GCN)

由于傳統(tǒng)CNN通常用于處理結(jié)構(gòu)化數(shù)據(jù)以提取空間特征，如圖片數(shù)據(jù)等，而無(wú)法處理抽象意義上復(fù)雜的拓?fù)鋱D結(jié)構(gòu)，于是出現(xiàn)圖卷積神經(jīng)網(wǎng)絡(luò)[22]，GCN本質(zhì)便是用來(lái)提取拓?fù)鋱D結(jié)構(gòu)的空間特征，如圖6(b)所示.GNN的本質(zhì)工作就是特征提取，并在圖神經(jīng)網(wǎng)絡(luò)的最后實(shí)現(xiàn)圖嵌入，即將圖結(jié)構(gòu)轉(zhuǎn)化為特征向量矩陣.首先將卷積操作應(yīng)用于圖中每個(gè)節(jié)點(diǎn)的鄰居節(jié)點(diǎn)，然后進(jìn)行池化操作，再堆疊多個(gè)圖卷積層，挖掘遠(yuǎn)跳節(jié)點(diǎn)的更多信息，以節(jié)點(diǎn)潛在嵌入形式進(jìn)行存儲(chǔ).在生成圖中節(jié)點(diǎn)潛在嵌入后，饋入前饋網(wǎng)絡(luò)以實(shí)現(xiàn)節(jié)點(diǎn)分類或者回歸等目標(biāo)，也可以匯總所有已存儲(chǔ)的節(jié)點(diǎn)嵌入從而呈現(xiàn)整個(gè)圖結(jié)構(gòu)，然后對(duì)整個(gè)圖進(jìn)行分類或回歸操作.

圖6 用于學(xué)習(xí)空間維度特征的深度學(xué)習(xí)模型Fig.6 Deep learning model for learning spatial-dimension features

將GCN直接應(yīng)用于圖結(jié)構(gòu)數(shù)據(jù)，可以很好地捕獲拓?fù)鋱D結(jié)構(gòu)中節(jié)點(diǎn)間的相關(guān)性，以及節(jié)點(diǎn)的特征，即可以在空間維度上提取具有高度意義的模式和特征，同時(shí)可以利用時(shí)間軸上整個(gè)卷積結(jié)構(gòu)來(lái)捕獲時(shí)間維度的動(dòng)態(tài)特征.因此GCN適用于處理圖結(jié)構(gòu)的時(shí)空序列數(shù)據(jù)[23]，如腦網(wǎng)絡(luò)數(shù)據(jù)和交通流量數(shù)據(jù)等.

3.3.2 深度學(xué)習(xí)模型選擇

本小節(jié)對(duì)目前深度學(xué)習(xí)應(yīng)用于時(shí)空序列預(yù)測(cè)領(lǐng)域內(nèi)的文獻(xiàn)進(jìn)行分類總結(jié)，并將文獻(xiàn)中涉及的不同模型對(duì)應(yīng)于不同的數(shù)據(jù)類型.圖7繼續(xù)總結(jié)了不同數(shù)據(jù)表示形式所對(duì)應(yīng)的不同深度學(xué)習(xí)模型，表2對(duì)目前使用深度學(xué)習(xí)模型處理不同類型的時(shí)空序列數(shù)據(jù)的工作進(jìn)行分類總結(jié).

表2 基于部分現(xiàn)有文獻(xiàn)對(duì)于處理不同時(shí)空序列數(shù)據(jù)的深度學(xué)習(xí)模型的分類總結(jié)Table 2 Classification and summary of deep learning models used for processing different spatio-temporal sequence data based on part of the existing literature

圖7 不同數(shù)據(jù)格式對(duì)應(yīng)的深度學(xué)習(xí)模型Fig.7 Deep learning models with different data formats

RNN和CNN這2種深度學(xué)習(xí)模型通常用于軌跡數(shù)據(jù)預(yù)測(cè).軌跡的一種直接表示方式為一系列位置，從而可以使用RNN和LSTM模型對(duì)于位置序列完成預(yù)測(cè)任務(wù).2018年Jiang等[24]提出一種基于RNN的深度序列學(xué)習(xí)模型，通過(guò)給定一個(gè)人先前訪問(wèn)過(guò)的位置，預(yù)測(cè)其下一步的目的地，完成城市地區(qū)人口流動(dòng)預(yù)測(cè)問(wèn)題.2018年Xu等[25]通過(guò)無(wú)碰撞LSTM對(duì)經(jīng)典LSTM進(jìn)行擴(kuò)展，共享相鄰行人的隱藏狀態(tài)，完成人體軌跡的位置預(yù)測(cè).2019年P(guān)ang等[26]引入具有LSTM塊的RNN模型，學(xué)習(xí)公交車行駛軌跡中的遠(yuǎn)程依賴關(guān)系，完成對(duì)公交車到站時(shí)間的預(yù)測(cè)問(wèn)題.軌跡的另一種表示方式為矩陣，從而可以應(yīng)用CNN更好地捕獲空間相關(guān)性.2018年Lü等[27]將軌跡建模為二維圖像，每個(gè)像素點(diǎn)代表軌跡中是否訪問(wèn)了相應(yīng)位置，然后采用多層卷積神經(jīng)網(wǎng)絡(luò)并結(jié)合多尺度軌跡模式，完成對(duì)軌跡目的地的預(yù)測(cè).同年Karatzoglou等[28]提出一種基于CNN的方法對(duì)語(yǔ)義軌跡進(jìn)行學(xué)習(xí)，其中軌跡中訪問(wèn)的位置都與語(yǔ)義相關(guān)聯(lián)，語(yǔ)義軌跡被建模為一個(gè)矩陣，然后輸入到CNN模型中，學(xué)習(xí)潛在特征，完成對(duì)用戶將來(lái)可能訪問(wèn)到的位置的預(yù)測(cè).

RNN和LSTM被廣泛用于時(shí)間序列數(shù)據(jù)預(yù)測(cè)，其中時(shí)間序列數(shù)據(jù)通常不包含空間信息，因此對(duì)于時(shí)間序列的預(yù)測(cè)模型中未明確考慮空間相關(guān)性.通常可以將道路上的交通流量數(shù)據(jù)、風(fēng)速溫度等氣象數(shù)據(jù)建模為時(shí)間序列，然后應(yīng)用深度學(xué)習(xí)模型.2019年Rodrigues等[29]提出一個(gè)具有全連接層的深度學(xué)習(xí)模型，從出租車需求的歷史時(shí)間序列中學(xué)習(xí)特征，并以時(shí)間序列對(duì)特定區(qū)域的出租車需求進(jìn)行建模，完成需求預(yù)測(cè)任務(wù).2018年Cheng等[30]提出了一個(gè)集成模型，集成傳統(tǒng)風(fēng)速預(yù)測(cè)模型，包括小波閾值降噪(wavelet threshold de-noising，WTD)和帶有RNN的自適應(yīng)神經(jīng)模糊推理系統(tǒng)(adaptive network-based fuzzy inference system，ANFIS)，從而完成對(duì)風(fēng)速的預(yù)測(cè).

空間地圖可以表示為圖像矩陣，適用于CNN處理多種預(yù)測(cè)學(xué)習(xí)任務(wù)[31].2016年Zhang等[32]提出了一個(gè)基于CNN的人群流量預(yù)測(cè)模型，該模型的輸入是人群流動(dòng)空間圖，完成城市實(shí)時(shí)人流量預(yù)測(cè)任務(wù).2018年Wang等[33]提出一種跨域卷積神經(jīng)網(wǎng)絡(luò)(cross domain convolutional neural network,CD-CNN)，將人們的位置表示為空間地圖，作為模型的輸入，以完成從移動(dòng)電話信號(hào)數(shù)據(jù)中識(shí)別出居民的本地/移民屬性.

為了同時(shí)捕獲時(shí)空地圖的時(shí)間和空間相關(guān)性，研究人員嘗試將CNN和RNN結(jié)合以進(jìn)行預(yù)測(cè).2015年Shi等[34]提出卷積LSTM模型(ConvLSTM)，該模型將CNN與LSTM融合，形成一個(gè)序列到序列的預(yù)測(cè)模型，以完成降水鄰近預(yù)報(bào)任務(wù)，且模型的輸入輸出均為空間地圖矩陣.2018年Zhou等[35]提出一種深度學(xué)習(xí)網(wǎng)絡(luò)，將城市單元格中的乘客需求建模為空間圖，利用由ConvLSTM組成的編碼器-解碼器框架用于學(xué)習(xí)數(shù)據(jù)中的時(shí)空特性，從而以端到端的方式完成按需移動(dòng)性服務(wù)中乘客的接送需求.

此外還可以使用其他模型對(duì)空間地圖進(jìn)行預(yù)測(cè)，如GCN、生成對(duì)抗性網(wǎng)絡(luò)、ResNet以及混合方法.2018年Li等[36]提出一種擴(kuò)散卷積循環(huán)神經(jīng)網(wǎng)絡(luò)(diffusion convolutional recurrent neural network，DCRNN)模型，將交通網(wǎng)絡(luò)建模為圖結(jié)構(gòu)，DCRNN采用雙向隨機(jī)游走的方式捕獲節(jié)點(diǎn)間的空間依賴性，完成對(duì)交通流量的預(yù)測(cè)任務(wù).2019年Zhang等[2]引入時(shí)空加權(quán)圖(spatial-temporal weighted graph，STWG)，并首次研究如何將CNN和對(duì)抗學(xué)習(xí)進(jìn)行組合，以完成城市交通流量預(yù)測(cè)任務(wù).

時(shí)空柵格數(shù)據(jù)既可以表示2個(gè)維度的位置和時(shí)間的矩陣，也可以表示為三維張量，通常使用2D-CNN和3D-CNN，或者將它們與RNN結(jié)合在一起進(jìn)行預(yù)測(cè).2019年Zhang等[37]提出了一種多通道3D立方體連續(xù)卷積網(wǎng)絡(luò)，稱為3D-SCN，完成通過(guò)3D雷達(dá)數(shù)據(jù)及時(shí)預(yù)報(bào)風(fēng)暴信息.2018年Shen等[38]提出將城市中不同時(shí)隙中乘客的移動(dòng)性事件建模為3D張量，然后利用3D-CNN模型完成對(duì)運(yùn)輸乘客供求情況的預(yù)測(cè).

3.4 時(shí)空序列預(yù)測(cè)方法對(duì)比

傳統(tǒng)參數(shù)模型以及傳統(tǒng)機(jī)器學(xué)習(xí)模型可處理數(shù)據(jù)的能力有限，適合少量數(shù)據(jù)以及小樣本數(shù)據(jù)，而現(xiàn)今由于數(shù)據(jù)量的爆炸式增長(zhǎng)，以數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)模型適用于對(duì)海量數(shù)據(jù)進(jìn)行有效挖掘.

傳統(tǒng)參數(shù)模型以及傳統(tǒng)機(jī)器學(xué)習(xí)模型需要手動(dòng)選擇特征，而深度學(xué)習(xí)方法具有強(qiáng)大的自主特征表示能力，可以以監(jiān)督或無(wú)監(jiān)督的方式從原始數(shù)據(jù)中自動(dòng)學(xué)習(xí)特征，捕獲隱藏的線性以及非線性關(guān)系.

在數(shù)據(jù)處理方面，一種類型的深度學(xué)習(xí)模型可以處理多種不同類型的時(shí)空序列數(shù)據(jù)，執(zhí)行多種不同的時(shí)空序列預(yù)測(cè)任務(wù).如RNN以及LSTM可以處理軌跡數(shù)據(jù)[39]和時(shí)間序列數(shù)據(jù)[96]，CNN可以處理軌跡數(shù)據(jù)[28]、空間地圖數(shù)據(jù)[60]以及柵格數(shù)據(jù)[97]等.而傳統(tǒng)參數(shù)模型以及傳統(tǒng)機(jī)器學(xué)習(xí)模型由于特征學(xué)習(xí)能力的限制，一種模型通常只可以對(duì)一種時(shí)空序列數(shù)據(jù)建模.

深度學(xué)習(xí)模型可以很好地學(xué)習(xí)歷史時(shí)空序列數(shù)據(jù)間的時(shí)空相關(guān)性.對(duì)于時(shí)間維度，深度學(xué)習(xí)模型可以有效捕獲長(zhǎng)短期時(shí)間依賴[90]，而傳統(tǒng)參數(shù)模型以及傳統(tǒng)機(jī)器學(xué)習(xí)模型在面對(duì)多尺度高維數(shù)據(jù)時(shí)表現(xiàn)較差，較難準(zhǔn)確捕獲時(shí)間依賴；對(duì)于空間維度，深度學(xué)習(xí)模型可以有效捕獲局部以及全局的空間依賴[98]，而傳統(tǒng)參數(shù)模型以及傳統(tǒng)機(jī)器學(xué)習(xí)模型僅可捕獲相鄰節(jié)點(diǎn)間的局部空間相關(guān)性[99].

在3種用于時(shí)空序列預(yù)測(cè)的模型中，傳統(tǒng)參數(shù)模型對(duì)事物演進(jìn)的機(jī)理過(guò)程進(jìn)行建模，需要研究人員具有充足的領(lǐng)域知識(shí)以及豐富的實(shí)踐經(jīng)驗(yàn)，才可以精準(zhǔn)建模，從而得到比較精確的預(yù)測(cè)結(jié)果.傳統(tǒng)機(jī)器學(xué)習(xí)模型也需要一定的先驗(yàn)知識(shí)，以輔助模型預(yù)測(cè).而深度學(xué)習(xí)模型因?yàn)榫哂袕?qiáng)大的特征學(xué)習(xí)的能力，可以通過(guò)自動(dòng)捕獲數(shù)據(jù)間的相關(guān)性，所以其幾乎不需要任何領(lǐng)域知識(shí).

深度學(xué)習(xí)模型最大的一個(gè)特點(diǎn)就是準(zhǔn)確率高.如在交通流量預(yù)測(cè)任務(wù)中，與ARIMA方法相比，DBN方法的平均絕對(duì)誤差(mean absolute error，MAE)降低50%以上[100].在交通速度預(yù)測(cè)任務(wù)中，基于LSTM方法的預(yù)測(cè)誤差被證明遠(yuǎn)小于SVM、卡爾曼濾波器和ARIMA的誤差，僅為5.95，而后者分別為15.30、20.11和19.98，但深度學(xué)習(xí)模型也具有一定的局限性.正是因?yàn)?種模型所依賴領(lǐng)域知識(shí)的程度不同，導(dǎo)致每種模型對(duì)于時(shí)空序列的預(yù)測(cè)結(jié)果的可解釋性不同，其中傳統(tǒng)參數(shù)模型的可解釋性最高，而深度學(xué)習(xí)模型通常被視為一個(gè)黑盒，在可解釋性方面遠(yuǎn)不如傳統(tǒng)參數(shù)模型和傳統(tǒng)機(jī)器學(xué)習(xí)模型.對(duì)比總結(jié)見(jiàn)表3.

表3 深度學(xué)習(xí)模型與傳統(tǒng)機(jī)器學(xué)習(xí)模型、傳統(tǒng)參數(shù)模型對(duì)比總結(jié)Table 3 Comparison and summary of deep learning models,traditional machine learning models and traditional parameter models

除此之外，深度學(xué)習(xí)模型對(duì)數(shù)據(jù)和計(jì)算資源要求較高，而主流的深度學(xué)習(xí)框架，如TensorFlow和PyTorch則提供CPU和GPU運(yùn)行環(huán)境，允許用戶自定義使用，在一定程度上緩解該問(wèn)題，此外還有初始化參數(shù)以及參數(shù)調(diào)整等一系列問(wèn)題，由于深度學(xué)習(xí)的訓(xùn)練過(guò)程很慢，因此在參數(shù)的確定上需要大量的工程經(jīng)驗(yàn)以及專業(yè)知識(shí)以提高訓(xùn)練效率.

4 深度學(xué)習(xí)模型在時(shí)空序列預(yù)測(cè)中的應(yīng)用

4.1 交通科學(xué)領(lǐng)域

隨著各種傳感器廣泛應(yīng)用，交通領(lǐng)域的時(shí)空序列數(shù)據(jù)逐漸豐富，同時(shí)也變得可用，通常包括交通速度、交通量、交通事故，以及路段、區(qū)域以及時(shí)間信息.這些交通數(shù)據(jù)可以是不同場(chǎng)景下的事件數(shù)據(jù)、時(shí)間序列數(shù)據(jù)、空間圖數(shù)據(jù)或柵格數(shù)據(jù)，需要深度學(xué)習(xí)來(lái)對(duì)數(shù)據(jù)間復(fù)雜的線性或非線性關(guān)系進(jìn)行挖掘并做出預(yù)測(cè)等工作，如對(duì)交通流量進(jìn)行預(yù)測(cè)[1,2,101]，對(duì)交通擁堵進(jìn)行預(yù)測(cè)[74]，對(duì)交通事件進(jìn)行預(yù)測(cè)[43,78]等.

在交通流量的預(yù)測(cè)中，可以將不同傳感器的數(shù)據(jù)建模為時(shí)間序列，在每組傳感器的數(shù)據(jù)上利用RNN或者LSTM進(jìn)行學(xué)習(xí)并預(yù)測(cè)[51]，還可以將時(shí)空序列建模為柵格矩陣，其中一個(gè)維度是各個(gè)傳感器的位置，另一個(gè)維度是時(shí)間[102]，也可以將時(shí)空序列數(shù)據(jù)建模為空間圖結(jié)構(gòu)，然后使用GCN進(jìn)行預(yù)測(cè)[103].此外，由于融合模型具有一定的優(yōu)勢(shì)，也廣泛應(yīng)用于交通流量預(yù)測(cè)領(lǐng)域.

4.2 氣候科學(xué)領(lǐng)域

在氣候科學(xué)領(lǐng)域，時(shí)空序列預(yù)測(cè)被廣泛應(yīng)用于長(zhǎng)短期天氣預(yù)報(bào)，對(duì)于已收集到的氣象數(shù)據(jù)，如溫度、風(fēng)向、大氣壓強(qiáng)等，研究學(xué)者們也已進(jìn)行了相應(yīng)的研究.

由于不同站點(diǎn)、不同傳感器收集到的氣象數(shù)據(jù)具有很強(qiáng)的時(shí)空相關(guān)性，因此深度學(xué)習(xí)對(duì)時(shí)空序列的預(yù)測(cè)方法在該領(lǐng)域應(yīng)用廣泛，如空氣質(zhì)量預(yù)測(cè)[3,55]、風(fēng)速預(yù)測(cè)[104-105]、降水預(yù)測(cè)[34]，以及極端天氣預(yù)測(cè)[106-107]等.與氣候相關(guān)的數(shù)據(jù)類型可以是空間圖數(shù)據(jù)，如遙感圖像[67]，可以是時(shí)間序列數(shù)據(jù)，如部署在空間中傳感器采集到的監(jiān)測(cè)數(shù)據(jù)[30]，還可以是事件數(shù)據(jù)，如極端天氣事件.對(duì)天氣的長(zhǎng)短期預(yù)報(bào)以及極端天氣預(yù)測(cè)的研究，可以挖掘其中規(guī)律，幫助相關(guān)管理部門掌握未來(lái)一段時(shí)間內(nèi)的氣候變化趨勢(shì)，對(duì)提前做出科學(xué)防治措施以及人們的日常出行具有指導(dǎo)意義.

4.3 神經(jīng)科學(xué)領(lǐng)域

在神經(jīng)科學(xué)的研究中，引入并使用多種技術(shù)，例如腦功能共振成像(functional magnetic resonance imaging，fMRI)、腦電圖(electroencephalogram，EEG)，以及腦磁圖(magnetoencephalography，MEG)和功能性近紅外光譜(functional near infrared spectroscopy，fNIRS)，通過(guò)使用這些技術(shù)對(duì)連續(xù)的神經(jīng)活動(dòng)進(jìn)行監(jiān)測(cè).由于技術(shù)不同，采集到的數(shù)據(jù)時(shí)空分辨率也大有不同，如fMRI是通過(guò)數(shù)百萬(wàn)個(gè)位置對(duì)神經(jīng)活動(dòng)進(jìn)行監(jiān)測(cè)，而EEG則是通過(guò)數(shù)十個(gè)位置對(duì)神經(jīng)活動(dòng)進(jìn)行監(jiān)測(cè).fMRI監(jiān)測(cè)間隔是每2 s進(jìn)行一次測(cè)量，而EEG則是每1 ms對(duì)神經(jīng)活動(dòng)進(jìn)行一次測(cè)量.

對(duì)于如此復(fù)雜的時(shí)空序列數(shù)據(jù)，深度學(xué)習(xí)模型在該領(lǐng)域被廣泛應(yīng)用.圖像數(shù)據(jù)可以表示為空間圖或柵格數(shù)據(jù)，然后使用深度學(xué)習(xí)模型分析這些神經(jīng)影像數(shù)據(jù)，從而解決神經(jīng)科學(xué)中研究的許多問(wèn)題，如疾病分類以及診斷任務(wù)[57,108]，基于腦激活的分類[58,95]，以及基于腦功能網(wǎng)絡(luò)的分類[8,61]等.

4.4 犯罪分析領(lǐng)域

犯罪事件是影響社區(qū)生活和經(jīng)濟(jì)發(fā)展的社會(huì)問(wèn)題之一，犯罪事件可分為幾種類型，如盜竊、搶劫這類針對(duì)于財(cái)產(chǎn)的犯罪事件，還有兇殺、毆打、強(qiáng)奸這類的侵略罪.為減少犯罪事件的發(fā)生，越來(lái)越多的城市選擇將執(zhí)法機(jī)構(gòu)持有的犯罪數(shù)據(jù)公開(kāi)，以方便研究.犯罪數(shù)據(jù)通常包括犯罪類型，事件發(fā)生的時(shí)間、地點(diǎn)，罪犯信息，以及受害者等相關(guān)信息，犯罪數(shù)據(jù)是典型的事件數(shù)據(jù)，可以通過(guò)構(gòu)建相應(yīng)的實(shí)例輸入到深度學(xué)習(xí)模型，以捕獲犯罪數(shù)據(jù)間的時(shí)空相關(guān)性，進(jìn)而執(zhí)行預(yù)測(cè)任務(wù)[62]，還可以通過(guò)在時(shí)空域?qū)?shù)據(jù)進(jìn)行整合，從而形成空間地圖數(shù)據(jù)，再應(yīng)用深度學(xué)習(xí)模型執(zhí)行預(yù)測(cè)任務(wù).

4.5 按需服務(wù)領(lǐng)域

按需服務(wù)通過(guò)實(shí)時(shí)為人們提供所需的服務(wù)，接管了眾多傳統(tǒng)領(lǐng)域，如滴滴、Uber等平臺(tái)的興起，平臺(tái)在解決用戶需求的同時(shí)，還積累了大量時(shí)空序列數(shù)據(jù)，包括客戶所需服務(wù)類型、客戶位置，以及所需服務(wù)時(shí)間等，也為進(jìn)一步發(fā)展和完善按需服務(wù)提供一定的數(shù)據(jù)基礎(chǔ).

為了更好滿足客戶的需求，需要使用深度學(xué)習(xí)方法準(zhǔn)確地預(yù)測(cè)不同位置和不同時(shí)間下客戶對(duì)不同類型服務(wù)的需求，以及各平臺(tái)的供應(yīng)能力[71,109]，通常劃分不同的區(qū)域，并將各區(qū)域的服務(wù)需求建模為空間地圖數(shù)據(jù)或張量數(shù)據(jù)，輸入到深度學(xué)習(xí)模型當(dāng)中，執(zhí)行特征學(xué)習(xí)以及需求預(yù)測(cè)任務(wù).

4.6 流行病學(xué)領(lǐng)域

廣泛存儲(chǔ)在各個(gè)醫(yī)院中的電子健康數(shù)據(jù)可以表示為時(shí)空序列數(shù)據(jù)集，該數(shù)據(jù)集包括與患者相關(guān)的人口統(tǒng)計(jì)信息以及相應(yīng)的診斷信息，而這些信息都有相對(duì)應(yīng)的地理空間信息，可以根據(jù)不同類型的疾病以及傳染病構(gòu)建模型進(jìn)行預(yù)測(cè)，以發(fā)現(xiàn)不同疾病的時(shí)空分布[110].對(duì)于流行病學(xué)的研究，可以幫助人們盡早發(fā)現(xiàn)流行病的發(fā)生與傳播，方便決策者制定有效政策，出臺(tái)相應(yīng)措施，盡最大可能降低損失以保證人民的生命安全.

5 進(jìn)一步研究方向

1)時(shí)空序列數(shù)據(jù)的預(yù)處理：由于時(shí)空數(shù)據(jù)源的差異，且數(shù)據(jù)在傳輸和存儲(chǔ)的過(guò)程中存在錯(cuò)誤和丟失現(xiàn)象，導(dǎo)致時(shí)空序列數(shù)據(jù)集中存在缺失值、噪聲數(shù)據(jù)，以及空間數(shù)據(jù)尺度不一致現(xiàn)象，而時(shí)空序列數(shù)據(jù)與傳統(tǒng)的關(guān)系數(shù)據(jù)之間存在差異，將處理傳統(tǒng)關(guān)系數(shù)據(jù)的方法直接應(yīng)用于時(shí)空序列數(shù)據(jù)集的預(yù)處理效果較差，需要有針對(duì)性的方法來(lái)對(duì)時(shí)空數(shù)據(jù)進(jìn)行處理.同時(shí)，為了獲得更加精準(zhǔn)的預(yù)測(cè)結(jié)果，可以對(duì)多模態(tài)時(shí)空序列進(jìn)行集成，將多種不同數(shù)據(jù)有效地融合在一起，進(jìn)而幫助模型更好更全面地捕獲時(shí)空特征.

2)深度學(xué)習(xí)模型的選擇：由于不同領(lǐng)域時(shí)空序列數(shù)據(jù)類型不同，目前缺乏如何根據(jù)不同數(shù)據(jù)類型選擇并構(gòu)建相應(yīng)的深度學(xué)習(xí)模型的研究，從而使時(shí)空序列預(yù)測(cè)的建模過(guò)程變得具有方向性和指導(dǎo)性.

3)深度學(xué)習(xí)模型的可解釋性：可解釋性可以使模型以更易于人們理解的方式呈現(xiàn)模型的預(yù)測(cè)行為，而深度學(xué)習(xí)模型通常被認(rèn)為是黑盒，所以如何為時(shí)空序列預(yù)測(cè)構(gòu)建具有可解釋性的深度學(xué)習(xí)模型對(duì)人們認(rèn)識(shí)并學(xué)習(xí)某事物的變化機(jī)理過(guò)程具有很重要的指導(dǎo)意義.

6 結(jié)論

1)本文給出如何根據(jù)不同時(shí)空序列數(shù)據(jù)類型選擇不同深度學(xué)習(xí)模型建模的指導(dǎo).首先介紹時(shí)空序列數(shù)據(jù)，包括數(shù)據(jù)的屬性、類型，并給出對(duì)應(yīng)的數(shù)據(jù)實(shí)例以及表示形式，然后介紹目前用于時(shí)空序列數(shù)據(jù)的預(yù)處理方法，提高現(xiàn)有數(shù)據(jù)集的質(zhì)量，并給出不同數(shù)據(jù)表示與不同深度學(xué)習(xí)模型之間的對(duì)應(yīng)關(guān)系，以方便研究人員對(duì)模型進(jìn)行選擇，完成相應(yīng)的預(yù)測(cè)任務(wù).

2)本文總結(jié)有關(guān)深度學(xué)習(xí)應(yīng)用于不同領(lǐng)域內(nèi)時(shí)空序列預(yù)測(cè)任務(wù)的最新進(jìn)展，包括交通運(yùn)輸、氣候科學(xué)、神經(jīng)科學(xué)、犯罪分析、按需服務(wù)，以及流行病學(xué)領(lǐng)域.

3)本文強(qiáng)調(diào)目前深度學(xué)習(xí)在時(shí)空序列預(yù)測(cè)任務(wù)中仍存在的不足：缺少有針對(duì)性的時(shí)空序列數(shù)據(jù)的預(yù)處理方法，缺少對(duì)數(shù)據(jù)建模的指導(dǎo)，以及缺少對(duì)深度學(xué)習(xí)模型預(yù)測(cè)結(jié)果的可解釋性，未來(lái)需要對(duì)上述未解決問(wèn)題進(jìn)行深入研究.