面向5G需求的人群流量預(yù)測模型研究

胡錚，袁浩，朱新寧，倪萬里

（北京郵電大學(xué)網(wǎng)絡(luò)與交換技術(shù)國家重點(diǎn)實(shí)驗(yàn)室，北京 100876）

1 引言

隨著移動(dòng)網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，用戶對(duì)網(wǎng)絡(luò)的使用和需求無時(shí)無處不在，且數(shù)據(jù)業(yè)務(wù)量急劇增長，這一需求促進(jìn)了5G技術(shù)的發(fā)展和5G網(wǎng)絡(luò)的商業(yè)化進(jìn)程。

通過對(duì)小型蜂窩網(wǎng)絡(luò)的密集部署及移動(dòng)邊緣計(jì)算的應(yīng)用，可以大大增強(qiáng)移動(dòng)網(wǎng)絡(luò)的帶寬和服務(wù)質(zhì)量。然而如何真正提高大量小基站的效率，充分發(fā)揮邊緣計(jì)算的能力，是提升5G網(wǎng)絡(luò)服務(wù)質(zhì)量的關(guān)鍵問題之一。

由于用戶數(shù)量和用戶的業(yè)務(wù)需求是影響基站緩存部署、資源分配和能耗管理的重要因素，通過準(zhǔn)確預(yù)測基站覆蓋范圍內(nèi)的用戶數(shù)量，對(duì)提高5G網(wǎng)絡(luò)性能具有重要意義，尤其是針對(duì)某些基站所覆蓋的特定的功能區(qū)域，如景區(qū)、辦公區(qū)、住宅區(qū)等，由于不同區(qū)域具有其特定的業(yè)務(wù)需求模式，對(duì)區(qū)域內(nèi)人群數(shù)量的預(yù)測，將有利于區(qū)域內(nèi)網(wǎng)絡(luò)資源的部署和分配。

首先，區(qū)域內(nèi)人群流量預(yù)測有利于5G基站緩存部署及資源分配決策?？拷脩艚尤雮?cè)的5G小基站主要包括計(jì)算、存儲(chǔ)和通信等資源，但由于硬件資源受限，小基站可能無法為所有用戶提供足夠的計(jì)算和緩存服務(wù)[1]。由于網(wǎng)絡(luò)接入的用戶流量將直接影響基站的緩存決策及計(jì)算和通信資源的分配方式，因此，基于不同基站下的人群流量差異，利用呼叫詳單數(shù)據(jù)預(yù)測用戶下一時(shí)刻的地理位置[2]，再從全局角度研究5G網(wǎng)絡(luò)中小基站和宏基站的最優(yōu)緩存與資源分配策略，有望減小網(wǎng)絡(luò)端到端時(shí)延，有效提高網(wǎng)絡(luò)通信能力。

其次，人群流量預(yù)測有利于制訂5G基站活躍/休眠切換方案。雖然為支持高速率移動(dòng)通信服務(wù)和提供無縫覆蓋的大量 5G基站功率較低，但總的 5G基礎(chǔ)設(shè)施所消耗的能量將是顯著的[3]。在維持移動(dòng)用戶服務(wù)質(zhì)量的同時(shí)，關(guān)閉或休眠5G網(wǎng)絡(luò)中未充分利用的小基站將是一種高效的節(jié)能方法。因此，從環(huán)保和經(jīng)濟(jì)效益的角度出發(fā)，準(zhǔn)確的人群流量預(yù)測結(jié)果將為5G基站的活躍/休眠切換機(jī)制提供有力的參考依據(jù)和行動(dòng)準(zhǔn)則。

人群流量預(yù)測還有利于 5G基站密集部署規(guī)劃。在5G時(shí)代，面對(duì)急劇增長的移動(dòng)流量，小型蜂窩網(wǎng)絡(luò)的部署可以提供巨大的網(wǎng)絡(luò)容量，但 5G基礎(chǔ)設(shè)施的大面積高密度部署將會(huì)帶來高昂的建設(shè)成本和運(yùn)營成本[4]，因此，在保障用戶流量需求的前提下，為最小化移動(dòng)網(wǎng)絡(luò)運(yùn)營商的資本支出，需要通過對(duì)人群流量的預(yù)測來有效規(guī)劃5G基站的部署位置與數(shù)量。

此外，區(qū)域人群流量預(yù)測本身還可以作為改進(jìn)城市規(guī)劃、實(shí)現(xiàn)特定區(qū)域如景區(qū)的監(jiān)控和管理、進(jìn)行交通流量管理、防范人群聚集的突發(fā)事件的重要依據(jù)。

隨著位置信息獲取技術(shù)的發(fā)展，大量標(biāo)識(shí)用戶時(shí)空位置的數(shù)據(jù)可以被用來實(shí)現(xiàn)區(qū)域的流量預(yù)測?；谝苿?dòng)網(wǎng)絡(luò)的呼叫詳單記錄數(shù)據(jù)可以獲取以基站位置標(biāo)注的用戶時(shí)空位置信息，因而可以作為表征全域覆蓋范圍內(nèi)的區(qū)域人群流量的數(shù)據(jù)。基于該時(shí)空位置信息進(jìn)行各種尺度的區(qū)域人群流量預(yù)測可以為5G基站的緩存部署及資源分配等應(yīng)用提供重要的決策支撐。

基于用戶位置信息的人群流量預(yù)測已有不少研究[5-16]，文獻(xiàn)[13-16]提出了基于深度時(shí)空學(xué)習(xí)的模型來實(shí)現(xiàn)對(duì)區(qū)域間依賴關(guān)系的自動(dòng)提取，然而，人群移動(dòng)使不同區(qū)域之間的流量存在一定的空間相關(guān)性，而流量在時(shí)間上存在連續(xù)性和周期性，且與短時(shí)流量密切相關(guān)，因此如何準(zhǔn)確地對(duì)復(fù)雜的時(shí)空依賴關(guān)系進(jìn)行建模是流量預(yù)測過程中的巨大挑戰(zhàn)。其次，各種外部特征，如下雨、空氣污染等的異常變化會(huì)給流量帶來影響，其影響方式、程度和時(shí)間可能不同，因此如何將多維度的外部特征添加到預(yù)測模型中也是流量預(yù)測過程中需要解決的問題。此外，為了實(shí)現(xiàn)對(duì)短時(shí)間內(nèi)流量的準(zhǔn)確預(yù)測，需要利用臨近時(shí)間的流量信息。為了降低對(duì)全局流量數(shù)據(jù)實(shí)時(shí)傳輸?shù)男枨?，如何只利用局部?shí)時(shí)數(shù)據(jù)，再結(jié)合較長期全局?jǐn)?shù)據(jù)完成區(qū)域流量預(yù)測 也是流量預(yù)測面臨的挑戰(zhàn)。

基于上述分析，本文提出了一種基于時(shí)空殘差網(wǎng)絡(luò)和長短期記憶網(wǎng)絡(luò)（LSTM, long short term memory）建模流量時(shí)空依賴關(guān)系，并融合各種外部影響因素，對(duì)短時(shí)流量信息僅依賴局部實(shí)時(shí)信息進(jìn)行建模的深度時(shí)空網(wǎng)絡(luò)流量預(yù)測模型。該模型在降低全局實(shí)時(shí)信息傳輸?shù)耐瑫r(shí)，提高了預(yù)測精度，為后期基站資源部署和分配提供依據(jù)。

2 相關(guān)工作

2.1 5G網(wǎng)絡(luò)部署與資源分配需求

5G具有基站大面積密集部署、微基站覆蓋范圍小等典型特征，這在給網(wǎng)絡(luò)帶來如提升數(shù)據(jù)速率、支持泛在接入等好處的同時(shí)，也給網(wǎng)絡(luò)帶來了新的挑戰(zhàn)和要求，如小基站的部署選址問題、能效問題以及資源管理問題。為支持下一代移動(dòng)服務(wù)的需求，5G網(wǎng)絡(luò)的部署必然會(huì)涉及新基站設(shè)備的安裝問題，因此，為最小化目標(biāo)資本支出，5G網(wǎng)絡(luò)規(guī)劃本身就是一個(gè)復(fù)雜的問題，尤其是在人口密集的城市地區(qū)，這一問題更加凸顯。Oughton等[4]提供了一個(gè)基于場景和移動(dòng)流量增長的5G網(wǎng)絡(luò)基礎(chǔ)設(shè)施供需評(píng)估，而移動(dòng)流量的直接生產(chǎn)者就是基站的接入用戶，因此預(yù)測基站的人群流量密度能有效地降低運(yùn)營商的部署成本。

為了滿足熱點(diǎn)場景下大規(guī)模聚合數(shù)據(jù)速率的需求，密集部署的5G基站具有一定的冗余，因此，在低功耗基站較多的情況下，需要關(guān)閉/休眠大量空閑基站來實(shí)現(xiàn)節(jié)能，但關(guān)閉/休眠基站會(huì)增加附近多個(gè)基站的流量負(fù)載，即不同基站之間的開關(guān)狀態(tài)和用戶服務(wù)質(zhì)量存在高度依賴關(guān)系。Feng等[3]研究了5G網(wǎng)絡(luò)中開關(guān)基站的有效方法與所面臨的挑戰(zhàn)，如根據(jù)用戶的流量類型調(diào)整基站的運(yùn)行模式，進(jìn)而提高系統(tǒng)性能。

近年來，在移動(dòng)設(shè)備上部署計(jì)算密集型的應(yīng)用日益增多，超低時(shí)延已成為實(shí)現(xiàn)高用戶體驗(yàn)的重要需求保障。為解決這個(gè)問題，能有效節(jié)省網(wǎng)絡(luò)帶寬和降低端到端時(shí)延的最優(yōu)緩存與網(wǎng)絡(luò)資源分配策略受到了廣泛關(guān)注。Chen等[1]提出了一種高效收集全局可用資源信息的移動(dòng)網(wǎng)絡(luò)架構(gòu)，并設(shè)計(jì)了一個(gè)由小基站和宏基站組成的最優(yōu)緩存策略以最小化網(wǎng)絡(luò)時(shí)延。不同的人群流量將會(huì)帶來文件流行度與計(jì)算任務(wù)卸載的差異，在網(wǎng)絡(luò)邊緣考慮人群流量密度可以為進(jìn)一步提高緩存命中率與制定卸載決策提供有效依據(jù)。

2.2 人群流量預(yù)測

近年來，城市范圍的人群流量預(yù)測受到了研究人員的廣泛關(guān)注，無論是傳統(tǒng)的時(shí)間序列模型，還是近來廣為流行的深度學(xué)習(xí)框架，都在人群流量預(yù)測領(lǐng)域有所建樹。

基于時(shí)間序列模型進(jìn)行流量預(yù)測，主要考慮的是流量數(shù)據(jù)的時(shí)間依賴關(guān)系，比如Kumar等[5]提出了一種基于卡爾曼濾波技術(shù)的預(yù)測方案，可以僅使用較少的歷史數(shù)據(jù)來實(shí)現(xiàn)流量預(yù)測；而Li等[6]則提出了一種改進(jìn)的自回歸移動(dòng)平均模型（ARIMA,autoregressive integrated moving average）來預(yù)測熱點(diǎn)地區(qū)的流量變化；類似地，Matias等[7]同樣提出了一種出租車乘客短期空間分布預(yù)測方案，將數(shù)據(jù)聚合成直方圖時(shí)間序列并結(jié)合3種時(shí)間序列預(yù)測技術(shù)進(jìn)行預(yù)測。近年來，在時(shí)間序列預(yù)測模型的基礎(chǔ)上，研究人員也開始進(jìn)一步探究空間依賴關(guān)系以及相關(guān)外部影響特征的建模，比如Tong等[8]提出了一種具有2億多個(gè)特征維度的線性回歸模型，結(jié)合了時(shí)間、空間、外部特征等多個(gè)維度的大量特征，實(shí)現(xiàn)了出租車需求預(yù)測；Wu等[9]結(jié)合了興趣點(diǎn)（POI,point of interest）、天氣、地理標(biāo)記等多域數(shù)據(jù)，從不同視角對(duì)出租車需求進(jìn)行了分析與預(yù)測。然而，即便充分結(jié)合了各種附加因素，預(yù)測結(jié)果仍難很好地反映復(fù)雜的非線性時(shí)空相關(guān)性[10]。

隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展和完善，并考慮到流量預(yù)測的時(shí)空建模的復(fù)雜性，利用深度學(xué)習(xí)的模型進(jìn)行流量預(yù)測受到了更多研究人員的青睞。Liu等[11]提出了一種新的端到端深度學(xué)習(xí)體系結(jié)構(gòu)，基于 Conv-LSTM（convolutional long short-term memory）模塊提取流量的時(shí)空特征，從而實(shí)現(xiàn)了良好的流量預(yù)測性能；Polson等[12]針對(duì)由異常特征導(dǎo)致的急劇的異常流量變化問題，提出了一種深度學(xué)習(xí)的框架，證明深度學(xué)習(xí)架構(gòu)可以捕捉這些非線性時(shí)空效應(yīng)，此外，Zhang等[13-14]充分考慮不同歷史時(shí)間層的影響分別建模，并結(jié)合天氣、元數(shù)據(jù)等外部特征，搭建了復(fù)雜的深度學(xué)習(xí)網(wǎng)絡(luò) DeepST和ST-ResNet（spatio-temporal residual network），得到了明顯的性能優(yōu)化和提升；最近，Huang等[15]提出了一種新的犯罪預(yù)測框架——DeepCrime，該框架可以揭示犯罪數(shù)目的動(dòng)態(tài)的變化模式，探索其隨時(shí)間的演變模式以及與其他信息的動(dòng)態(tài)關(guān)聯(lián)，在犯罪預(yù)測上取得突出的效果。

上述研究工作為區(qū)域人群流量預(yù)測提供了基礎(chǔ)，本文將主要針對(duì)復(fù)雜的時(shí)空依賴關(guān)系、外部因素的影響以及為5G網(wǎng)絡(luò)資源分配提供決策依據(jù)時(shí)所需的短時(shí)流量預(yù)測等問題進(jìn)行人群流量預(yù)測的建模。

3 區(qū)域人群流量預(yù)測模型

3.1 系統(tǒng)模型

考慮到同一類功能區(qū)如景區(qū)、住宅、商業(yè)區(qū)等具有相似的人群流量模式和業(yè)務(wù)需求模式，本文在進(jìn)行整個(gè)城市范圍的流量預(yù)測時(shí)，首先對(duì)城市進(jìn)行基于興趣點(diǎn)（POI，point of interest）分布的分區(qū)。目前的城市分區(qū)方案[10,12-14]更多考慮的是城市的規(guī)模、范圍等，但缺少對(duì)分區(qū)過程的約束，可能導(dǎo)致不同功能區(qū)之間的混疊。以景區(qū)為例，景區(qū)覆蓋范圍內(nèi)一般包括多個(gè)基站，如果隸屬于不同景區(qū)的基站被劃分至同一網(wǎng)格，由于基于移動(dòng)網(wǎng)呼叫詳單數(shù)據(jù)的用戶位置信息是由其連接的基站所定位，這種混疊自然會(huì)影響景區(qū)間空間依賴關(guān)系的建模與景區(qū)流量的計(jì)算和預(yù)測。因此，在本文中，為了避免這種混疊的出現(xiàn)并盡可能減少后續(xù)預(yù)測的復(fù)雜度，在分區(qū)過程中加入以下約束：1）避免將不同功能區(qū)的基站映射到同一個(gè)網(wǎng)格；2）盡可能減少城市分區(qū)的數(shù)目?；诖耍梢詫⒊鞘袆澐譃镮×J的網(wǎng)格圖。而要預(yù)測的區(qū)域（功能區(qū)）可以視為相鄰網(wǎng)格的聚合。如圖1所示，該模型可運(yùn)行在區(qū)域中的宏基站或具有相應(yīng)計(jì)算和存儲(chǔ)資源的基站上。

圖1 面向5G需求的基站接入人群流量預(yù)測系統(tǒng)模型

本文涉及的符號(hào)及其含義如表1所示。

表1 符號(hào)標(biāo)記及其含義

定義1 流量。在第t個(gè)時(shí)間段，網(wǎng)格（i, j）內(nèi)的流量定義如式（1）所示。

其中，|?|表示集合內(nèi)元素的數(shù)目，trau（t）表示用戶 u在時(shí)間段 t內(nèi)通信的基站集合。B（i,j）表示區(qū)域（i, j）內(nèi)的基站集合。在第t個(gè)時(shí)間段，所有I×J個(gè)區(qū)域的流量可以表示為矩陣 Ft∈RI×J，也可用時(shí)間段 t的流量圖表示。類似地，在第t個(gè)時(shí)間段，第i個(gè)區(qū)域的流量可以定義為其中，Mi表示第i個(gè)區(qū)域內(nèi)的基站集合。在第t個(gè)時(shí)間段，所有p個(gè)區(qū)域的流量可以表示為區(qū)域流量向量。

3.2 基于深度時(shí)空網(wǎng)絡(luò)的人群流量預(yù)測模型

基于區(qū)域流量預(yù)測問題，本文提出的流量預(yù)測模型的整體框架如圖2所示，主要包括3個(gè)模塊，分別是外部特征模塊、時(shí)空模塊和圖嵌入模塊，圖中分別用虛線框標(biāo)識(shí)的a、b、c指出這3個(gè)模塊。該模型從3個(gè)不同的角度對(duì)區(qū)域流量預(yù)測問題進(jìn)行建模。

外部特征模塊提取預(yù)測所需的所有歷史時(shí)段的各類外部特征，包括天氣、空氣質(zhì)量、節(jié)假日、時(shí)間等元數(shù)據(jù)特征，并將這些外部特征按照時(shí)間順序拼接為矩陣的形式，送入全連接層1中，進(jìn)行特征的提取與優(yōu)化。

時(shí)空模塊將時(shí)間軸劃分為3個(gè)層次，即臨近層、周期層和趨勢層，分別表示臨近時(shí)間、較近和較遠(yuǎn)的歷史時(shí)間，在不同時(shí)間層內(nèi)，按照一定周期取相應(yīng)時(shí)間長度的歷史流量數(shù)據(jù)作為輸入。由于臨近層輸入為短時(shí)間內(nèi)的流量數(shù)據(jù)，為降低實(shí)時(shí)數(shù)據(jù)傳輸需求，本模型中僅需要局部流量數(shù)據(jù)，即通過當(dāng)前預(yù)測區(qū)域的宏基站提供的區(qū)域內(nèi)短時(shí)的流量向量。而周期層和趨勢層的輸入為長時(shí)間的流量，這部分?jǐn)?shù)據(jù)不需要實(shí)時(shí)的數(shù)據(jù)傳送，故取對(duì)應(yīng)時(shí)段的全局流量圖。

圖2 基于深度時(shí)空網(wǎng)絡(luò)的區(qū)域流量預(yù)測模型

3個(gè)層次的流量輸入分別送入相互獨(dú)立的3組神經(jīng)網(wǎng)絡(luò)，對(duì)不同時(shí)間層的影響進(jìn)行建模，其中，針對(duì)臨近時(shí)間層，利用LSTM模塊捕捉其時(shí)間上的相關(guān)性；周期層與趨勢層則構(gòu)建殘差神經(jīng)網(wǎng)絡(luò)來對(duì)時(shí)空依賴關(guān)系協(xié)同建模。最后，針對(duì)圖嵌入模塊，為要預(yù)測的區(qū)域之間構(gòu)建區(qū)域距離圖，并利用node2vec將其抽取為向量，通過全連接層3進(jìn)行特征提取，作為另一視角的流量預(yù)測結(jié)果。

在預(yù)測輸出部分，將3個(gè)時(shí)間層的輸出進(jìn)行基于參數(shù)矩陣的融合，并通過全連接層2優(yōu)化預(yù)測結(jié)果，作為時(shí)空模塊的預(yù)測輸出SST。然后，將其與圖嵌入模塊的輸出進(jìn)行拼接，并將拼接的結(jié)果送入全連接層 4，進(jìn)行特征的提取與優(yōu)化。最后，將輸出結(jié)果與外部特征模塊的輸出疊加，并通過tanh函數(shù)將結(jié)果映射到[-1,1]，以便在訓(xùn)練過程中得到更快的收斂速度。

3.2.1 外部特征模塊

外部特征（如天氣、空氣質(zhì)量、節(jié)假日信息等）對(duì)相關(guān)區(qū)域的流量可能產(chǎn)生巨大的影響，例如，在下雨天或空氣質(zhì)量差的情況下，前往景區(qū)的人數(shù)一般都會(huì)明顯下降，如何衡量這種由于外部特征所帶來的流量波動(dòng)，如何準(zhǔn)確地對(duì)多維外部影響特征建模，是進(jìn)行區(qū)域流量預(yù)測時(shí)需要重點(diǎn)考慮的問題。本文針對(duì)時(shí)空模塊預(yù)測中涉及的所有歷史時(shí)段，對(duì)每個(gè)時(shí)段t分別提取一組特征向量Et，具體如表 2所示。將不同時(shí)段的特征向量拼接為矩陣的形式，送入全連接層1進(jìn)行特征提取，得到p維的區(qū)域預(yù)測向量，即為外部特征模塊的預(yù)測輸出，記為SEX。

表2 外部特征描述

3.2.2 時(shí)空模塊

時(shí)空模塊主要包括3個(gè)相互獨(dú)立的處理單元以及融合輸出部分。在3個(gè)時(shí)間層中，以一定的周期c, pr, tr選取一定長度（lc,lpr,ltr）的歷史流量數(shù)據(jù)作為輸入，分別表示臨近時(shí)間、較近和較遠(yuǎn)的歷史時(shí)間，其中，臨近層的輸入為對(duì)應(yīng)時(shí)間區(qū)域流量向量，而周期層以及趨勢層都是以多組流量圖作為輸入。

對(duì)于臨近層，可以通過宏基站獲取實(shí)時(shí)的預(yù)測區(qū)域的流量數(shù)據(jù)。然而僅依據(jù)局部區(qū)域的流量數(shù)據(jù)難以對(duì)流量的空間依賴關(guān)系準(zhǔn)確建模，因此臨近層采用如圖3所示結(jié)構(gòu)的時(shí)間序列模型LSTM建模，充分考慮臨近時(shí)間段內(nèi)區(qū)域流量數(shù)據(jù)的時(shí)間依賴特性。

圖3 LSTM模塊的基本結(jié)構(gòu)

LSTM 模塊共包括lc個(gè)時(shí)間單元，每個(gè)單元的輸入為對(duì)應(yīng)該時(shí)段的區(qū)域流量向量，該模塊的最終輸出即為下一時(shí)段的p維區(qū)域流量向量，記為Xc。

而在周期層和趨勢層中，利用較遠(yuǎn)的歷史時(shí)間的全局流量信息（即整個(gè)城市范圍的流量數(shù)據(jù)）挖掘更為豐富的時(shí)空依賴關(guān)系。對(duì)每個(gè)時(shí)間層，將多個(gè)歷史時(shí)段的流量圖組合為類似視頻形式的多通道輸入信息，并通過結(jié)構(gòu)完全一致的2個(gè)并行的殘差網(wǎng)絡(luò)1和殘差網(wǎng)絡(luò)2進(jìn)行后續(xù)的時(shí)空依賴關(guān)系的建模，其結(jié)構(gòu)如圖4（a）所示。

多通道的輸入信息通過卷積層1進(jìn)行初步的特征提取。輸出的特征映射被送入2個(gè)連續(xù)的殘差單元（殘差單元1和殘差單元2），殘差的基本結(jié)構(gòu)如圖4（b）所示，即用卷積層來擬合的不是直接的映射關(guān)系，而是殘差映射。相比于卷積層的堆疊，殘差學(xué)習(xí)的優(yōu)勢在于隨著網(wǎng)絡(luò)深度的加深，模型至少可以保證性能不會(huì)變差，這樣就通過殘差單元的堆疊實(shí)現(xiàn)了對(duì)遠(yuǎn)距離的空間依賴關(guān)系的建模。

最后，殘差單元2的輸出被送至全連接層，將其映射到p維的輸出向量，從而得到該時(shí)間層的預(yù)測輸出。周期層和趨勢層的輸出分別記為Xpr和Xtr。

通過LSTM模塊、殘差網(wǎng)絡(luò)1和殘差網(wǎng)絡(luò)2，可以實(shí)現(xiàn)從3個(gè)不同的時(shí)間尺度上挖掘豐富的時(shí)空信息。但不同時(shí)間層的影響程度很難直觀給出判斷，因此參考論文文獻(xiàn)[16]，為了將 3個(gè)時(shí)間層的輸出以更為恰當(dāng)?shù)臋?quán)重進(jìn)行融合，本文采用基于參數(shù)矩陣的融合方式，如式（3）所示。

圖4 殘差網(wǎng)絡(luò)1和殘差網(wǎng)絡(luò)2的結(jié)構(gòu)

其中，?表示哈達(dá)瑪積，即2個(gè)矩陣的元素對(duì)應(yīng)位置相乘，最終可以得到同維度的輸出矩陣。Xc、Xpr、Xtr分別表示3個(gè)時(shí)間層的輸出，而Xc、Wpr、Wtr則表示不同時(shí)間層的權(quán)重矩陣，即在網(wǎng)絡(luò)訓(xùn)練中要學(xué)習(xí)的參數(shù)，來調(diào)整不同部分對(duì)結(jié)果預(yù)測的重要程度。

得到融合向量后，經(jīng)由全連接層2進(jìn)一步優(yōu)化預(yù)測結(jié)果，最終得到時(shí)空模塊的預(yù)測向量輸出SST，如式（4）所示。

其中，WST和bST分別表示模型需要學(xué)習(xí)的參數(shù)，f（?）表示該全連接層的激活函數(shù)，在本文中，除特殊說明外，激活函數(shù)均選用relu函數(shù)。

3.2.3 圖嵌入模塊

除了歷史流量數(shù)據(jù)的影響，人群移動(dòng)模式信息也可能反映出區(qū)域之間的某種內(nèi)在相關(guān)性，例如人們更傾向于在相距較近的區(qū)域之間轉(zhuǎn)移，尤其是在一段較短的時(shí)間內(nèi)，這種普遍的人群移動(dòng)規(guī)律就會(huì)使得近距離的區(qū)域之間會(huì)有較強(qiáng)的流量相關(guān)性。捕捉這種人類移動(dòng)模式視角上的空間依賴關(guān)系，可以從另一個(gè)角度對(duì)區(qū)域間的相關(guān)性進(jìn)行建模，從而為流量預(yù)測提供有價(jià)值的信息。因此，本文提出的模型添加了區(qū)域距離圖的嵌入模塊，從而更為直觀地構(gòu)建區(qū)域之間與空間距離相關(guān)的流量相關(guān)性。

具體來說，即為要預(yù)測的p個(gè)區(qū)域之間構(gòu)建轉(zhuǎn)移距離圖G=（V,E,D），其中，V表示待預(yù)測的區(qū)域，E∈（V×V）表示邊的集合，wij表示邊的權(quán)重，即區(qū)域i和區(qū)域j之間的距離量度?？紤]到距離越近的區(qū)域之間可能有更大的流量相關(guān)性，以負(fù)指數(shù)距離來表示邊的權(quán)重，如式（5）所示，以保證更大的邊權(quán)重對(duì)應(yīng)于更強(qiáng)的流量相關(guān)性。

其中，λ表示距離的衰減系數(shù)，本文中取λ=-0.1；dis（i,j）表示區(qū)域i和區(qū)域j之間的地理距離（單位為km），通過計(jì)算兩區(qū)域中心點(diǎn)之間的距離而得到。

為了將圖中的信息與深度神經(jīng)網(wǎng)絡(luò)協(xié)同訓(xùn)練，本文考慮了一種圖嵌入方案，即在不破壞圖結(jié)構(gòu)的前提下，以向量的形式提取出每個(gè)節(jié)點(diǎn)的信息。本文選擇 node2vec模型[17]，通過一個(gè)二階的隨機(jī)游走來平衡廣度優(yōu)先搜索和深度優(yōu)先搜索，從而更好地保留圖的結(jié)構(gòu)和連通性。通過node2vec得到不同節(jié)點(diǎn)的嵌入向量輸入全連接層3進(jìn)行特征提取與優(yōu)化，輸出一個(gè)包含p列的矩陣，記為SSE，作為圖嵌入模塊的輸出。

3.2.4 模型訓(xùn)練與預(yù)測輸出

為了將外部特征模塊、時(shí)空模塊以及圖嵌入模塊進(jìn)行協(xié)同訓(xùn)練，首先將得到的p維行向量SST和包含p列的矩陣SSE進(jìn)行按行拼接，即

然后將XET送入全連接層4，如式（7）所示。

其中，WET和bET表示需要學(xué)習(xí)的參數(shù)，f（?）表示全連接層4的激活函數(shù)。

最后將SET與外部特征模塊的輸出SEX疊加后，送至tanh層，如式（8）所示。

其中，tanh函數(shù)用于將預(yù)測結(jié)果映射至[-1,1]。最終得到的是維度為p的向量，對(duì)應(yīng)下一時(shí)段p個(gè)區(qū)域的流量預(yù)測結(jié)果。完整的算法流程如算法1所示。

算法1模型訓(xùn)練過程

輸入臨近層、周期層、趨勢層的周期c、pr、tr，

臨近層、周期層、趨勢層的序列長度lc、lpr、ltr

景區(qū)距離圖G

歷史流量圖{Ft|t=0,1,2,…,n-1}

歷史外部特征向量{Et|t=0,1,2,…,n-1}

景區(qū)歷史流量向量{St|t=0,1,2,…,n-1}

輸出訓(xùn)練得到的景區(qū)流量預(yù)測模型

1） begin

2） D=（/）

3） 在圖G 上，基于node2vec 計(jì)算得到矩陣ZSE

4） for all available t （1≤t≤n-1） do

5） ZE=[（Et-c,… ,Et-lec）,（Et-pr,… ,Et-lprpr）,（Et-tr,… ,Et-ltrtr）]

6） ZC=[St-c,… ,St-lec,St-pr,… ,St-lprprSt-tr,… ,St-ltrtr]

7） ZPR=[Ft-pr,Ft-2pr,… ,Ft-lprpr]

8） ZTR=[Ft-tr,Ft-2tr,… ,Ft-ltrtr]

9） （（ZC,ZPR,ZTR,ZE,ZSE）,St）→D

10） end

11）//模型訓(xùn)練

12）初始化模型中的所有參數(shù)θ

13）repeat

14）從D中隨機(jī)選取batchDb

15）基于Db，通過最小化損失函數(shù)來找到最優(yōu)化的θ

16）until 滿足停止條件

17）end

模型訓(xùn)練首先遍歷所有可能的時(shí)間段，生成基于每個(gè)時(shí)間段的訓(xùn)練樣本（即步驟2）～步驟10）），然后對(duì)訓(xùn)練集提取batch，并運(yùn)用反向傳播算法優(yōu)化模型參數(shù)（即步驟12）～步驟16））。其中，損失函數(shù)定義如式（9）所示。

其中，θ表示所有需要訓(xùn)練參數(shù)的集合。模型訓(xùn)練的過程即最小化L的過程。

4 實(shí)驗(yàn)結(jié)果與性能分析

4.1 實(shí)驗(yàn)設(shè)計(jì)

本文應(yīng)用某旅游城市的移動(dòng)網(wǎng)絡(luò)運(yùn)營商提供的一個(gè)月的呼叫詳單數(shù)據(jù)來驗(yàn)證人群流量預(yù)測模型的效果和性能?？紤]到景區(qū)作為該城市重要的網(wǎng)絡(luò)服務(wù)區(qū)域，景區(qū)人群流量預(yù)測的準(zhǔn)確性將會(huì)影響到部署在景區(qū)的基站的服務(wù)質(zhì)量，因此本文選擇景區(qū)人群流量預(yù)測作為實(shí)驗(yàn)對(duì)象。數(shù)據(jù)包括超過百萬個(gè)匿名用戶的上億條呼叫詳單記錄，每條數(shù)據(jù)包含匿名的用戶ID、時(shí)間戳、接入基站編號(hào)及經(jīng)緯度信息。為了應(yīng)對(duì)大規(guī)模的數(shù)據(jù)處理，采用了 Apache Spark集群計(jì)算框架。此外，還從氣象網(wǎng)站上爬取了該數(shù)據(jù)對(duì)應(yīng)的時(shí)間段的天氣、空氣質(zhì)量等數(shù)據(jù)，用于外部特征的建模。

首先對(duì)呼叫詳單數(shù)據(jù)進(jìn)行預(yù)處理，剔除無效數(shù)據(jù)、異常和漂移數(shù)據(jù)，并處理了基站間反復(fù)切換的乒乓效應(yīng)[18-19]。此外，考慮到在輸出端利用tanh函數(shù)作為最終的激活函數(shù)，為了將輸出數(shù)據(jù)與標(biāo)簽數(shù)據(jù)匹配，在輸入端基于最小最大歸一化對(duì)流量數(shù)據(jù)進(jìn)行了歸一化處理，將輸入數(shù)據(jù)均映射到[-1, 1]，用于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。在后續(xù)的模型評(píng)估中，再將預(yù)測值重新調(diào)整回正常值，與真實(shí)值進(jìn)行對(duì)比，從而得到準(zhǔn)確的預(yù)測誤差。

模型基于TensorFlow實(shí)現(xiàn)。實(shí)驗(yàn)共選取了25個(gè)景區(qū)作為預(yù)測區(qū)域（功能區(qū)），并將全市劃分為85×110的網(wǎng)格圖。首先對(duì)臨近層、周期層和趨勢層的周期分別選定為30 min、1 d和1 w，而每個(gè)時(shí)間層中的時(shí)間序列長度，分別選擇lc=6、lpr=2、ltr=1。實(shí)驗(yàn)預(yù)測的是未來30 min各景區(qū)的人群流量。

在神經(jīng)網(wǎng)絡(luò)參數(shù)的設(shè)置方面，臨近層的LSTM單元選擇6個(gè)時(shí)間單元，分別對(duì)應(yīng)過去的6個(gè)臨近時(shí)間段周期層和趨勢層共享同樣的網(wǎng)絡(luò)結(jié)構(gòu)，其中，卷積層1選擇5×5大小的32個(gè)卷積核，殘差單元中的所有卷積層均選擇3×3大小的32個(gè)卷積核。最終3個(gè)時(shí)間層均輸出25維的向量，經(jīng)過融合和全連接層的特征優(yōu)化，時(shí)空模塊的最終輸出同樣為25維行向量。

在圖嵌入模塊，經(jīng)過node2vec，每個(gè)景區(qū)節(jié)點(diǎn)生成10維向量，將其拼接為10×25的矩陣，經(jīng)過全連接層處理得到4×25的輸出矩陣。

在外部特征模塊，每個(gè)時(shí)間層構(gòu)造一組如表 2所示的 10維外部特征向量，將所有時(shí)空模塊涉及的歷史時(shí)段的外部特征向量送入全連接層，輸出為25維的景區(qū)預(yù)測向量。具體訓(xùn)練過程中，選取的batch數(shù)目為64，選擇數(shù)據(jù)集80%的樣本作為訓(xùn)練集，剩余的20%作為測試集。實(shí)驗(yàn)中應(yīng)用早停法來選擇最優(yōu)的模型參數(shù)。

本文選用均方根誤差（RMSE, root mean sguard error）作為模型的評(píng)價(jià)指標(biāo)，其定義如式（10）所示。

4.2 對(duì)比算法

為了驗(yàn)證模型的預(yù)測效果，將本文提出的預(yù)測模型與以下8組模型進(jìn)行了對(duì)比，其中涉及的實(shí)驗(yàn)數(shù)據(jù)、損失函數(shù)、評(píng)價(jià)指標(biāo)等都與本文模型相同。

HA模型即直接平均算法，根據(jù)歷史同一時(shí)段的流量數(shù)據(jù)進(jìn)行預(yù)測。比如要預(yù)測周二上午10:00的流量數(shù)據(jù)，即選擇歷史數(shù)據(jù)中所有的周二上午10:00的流量平均值作為預(yù)測值。

ARIMA模型簡單的線性模型，根據(jù)周期性關(guān)系，建立預(yù)測數(shù)據(jù)與歷史數(shù)據(jù)之間的線性關(guān)系，可以在一定程度上進(jìn)行擬合。

VAR模型是一種高級(jí)的時(shí)空預(yù)測模型，可以捕捉不同輸入流量之間的相關(guān)性，由于參數(shù)量的龐大，計(jì)算復(fù)雜度非常高。

卡爾曼濾波模型[5]借鑒卡爾曼濾波的基本思想且只需要短時(shí)間的歷史數(shù)據(jù)，利用歷史數(shù)據(jù)生成連續(xù)時(shí)間之間的流量轉(zhuǎn)移比，并應(yīng)用到要預(yù)測的時(shí)間上。

ST-image模型[20]一個(gè)基于深度學(xué)習(xí)的短時(shí)交通速度預(yù)測模型。該模型以圖片的2個(gè)維度分別表示空間和時(shí)間，以時(shí)空?qǐng)D片作為輸入。

LSTM模型一種特殊的RNN模型，能夠?qū)W習(xí)長距離的時(shí)間依賴關(guān)系。這里在2組不同的參數(shù)上進(jìn)行了實(shí)驗(yàn)，即LSTM-12和LSTM-48。

DeepST模型[14]一個(gè)基于DNN的時(shí)空流量數(shù)據(jù)預(yù)測模型，對(duì)時(shí)間、空間和外部特征進(jìn)行了協(xié)同建模，在城市范圍內(nèi)的流量預(yù)測上取得了較好的性能。

ST-ResNet模型[13]相比于DeepST，在網(wǎng)絡(luò)中應(yīng)用了殘差學(xué)習(xí)的思想，取得了相比于DeepST更好的預(yù)測效果。

與此同時(shí)，本文還研究了本文模型的各類變種的性能，具體如下。

本文模型變種1將臨近層的LSTM單元修改為一個(gè)全連接層，其余結(jié)構(gòu)不變。

本文模型變種2將臨近層的輸入調(diào)整為多時(shí)間段的具有全局信息的流量圖，并將LSTM單元修改為同殘差網(wǎng)絡(luò)1和殘差網(wǎng)絡(luò)2同樣的結(jié)構(gòu)，其余不變。

本文模型變種 3將景區(qū)距離圖嵌入模塊移除，最終的流量預(yù)測結(jié)果僅取決于時(shí)空模塊以及外部特征模塊的預(yù)測結(jié)果，來探究景區(qū)距離圖嵌入模塊的作用。

4.3 結(jié)果對(duì)比與分析

本節(jié)將通過與多組對(duì)比算法以及模型自身變種的性能比較，評(píng)估了本文提出的模型性能?？紤]到景區(qū)在工作日和周末可能有明顯的流量差異，實(shí)驗(yàn)分為工作日和周末兩部分進(jìn)行，對(duì)比結(jié)果如表3所示。

表3 不同模型的預(yù)測誤差（RMSE）的對(duì)比

本文將對(duì)比模型劃分為3類，即時(shí)間序列模型、時(shí)空深度學(xué)習(xí)模型、本文提出的模型及其變種。針對(duì)工作日的模式，從結(jié)果可以看出，本文提出的模型優(yōu)于全部的時(shí)間序列預(yù)測模型，即使是相比于基于深度學(xué)習(xí)的LSTM模型，本文的模型也取得了28%～30%的性能提升，這充分說明了空間依賴關(guān)系在人群流量預(yù)測問題上的重要性；而相比于時(shí)空深度學(xué)習(xí)的對(duì)比模型，本文的模型依舊表現(xiàn)最佳，相比于 ST-image模型有接近34%的性能提升，即便是相比于利用所有時(shí)段的全局流量信息的DeepST模型和ST-ResNet模型，本文的模型也能得到 1%～10%的預(yù)測效果的提升，這說明在臨近層通過LSTM建模并結(jié)合景區(qū)距離圖的信息，可以實(shí)現(xiàn)對(duì)臨近時(shí)間全局信息的近似建模。也就是說，在不需要全局實(shí)時(shí)流量信息的情況下，依然可以取得良好的預(yù)測性能。

通過對(duì)本文模型得3個(gè)變種的分析可以看出，變種1性能相比于本文的模型下降約6%，證明了LSTM模型在臨近時(shí)間建模上的明顯優(yōu)勢，因?yàn)槠淇梢詫?duì)較長間隔的時(shí)間依賴進(jìn)行建模；變種2中將全局流量圖應(yīng)用于臨近時(shí)間時(shí)，可以獲得4.6%的性能提升，證明了全局流量信息的價(jià)值；變種3則由于景區(qū)距離圖的移除，性能有所下降，說明景區(qū)距離圖的嵌入為景區(qū)流量預(yù)測提供了一定的支持。圖5直觀給出了各模型的性能排序結(jié)果。

針對(duì)周末的模式，從結(jié)果可以看出，其在預(yù)測誤差上都明顯大于工作日模式。對(duì)于結(jié)合了外部特征的模型，如本文模型、ST-ResNet模型、DeepST模型等，相比于工作日模式的誤差增加幅度較小，且在性能上明顯優(yōu)于其他模型，證明了外部特征在流量預(yù)測問題中的巨大作用。而本文模型依舊在所有對(duì)比模型的表現(xiàn)最優(yōu)。圖6直觀給出了各模型在周末模式的性能對(duì)比結(jié)果。

圖5 各模型測試結(jié)果對(duì)比（工作日）

圖6 各模型測試結(jié)果對(duì)比（周末）

4.4 參數(shù)分析

本文提出的模型在時(shí)間建模中選擇了 3組參數(shù)，分別是lc、lpr、ltr，表示不同時(shí)間層的取樣長度，即利用過去多長的時(shí)間來對(duì)未來的景區(qū)流量進(jìn)行預(yù)測。下面分別調(diào)整3組參數(shù)的大小，來測試不同參數(shù)取值下的測試誤差RMSE。

首先測試lc的取值，將另外 2組參數(shù)固定為lpr=2、ltr=2，將lc的取值從2變化至8，RMSE的變化如圖7所示。從圖7可以看出，當(dāng)lc=6時(shí)，預(yù)測性能最好，這說明預(yù)測的性能并不是隨著歷史數(shù)據(jù)的增多而不斷變好的，當(dāng)增加到一定程度時(shí)，預(yù)測性能可能會(huì)變差。

圖7 臨近參數(shù)lc的取值測試

然后測試lpr的取值，將另外 2組參數(shù)固定為lc=6，ltr=2，將lpr的取值從0變化至4，其中0表示不添加周期。RMSE變化如圖8所示。從圖8可以看出，當(dāng)不添加周期層時(shí)，預(yù)測誤差明顯增大，證明了周期層數(shù)據(jù)的作用。而當(dāng)lpr=2時(shí)，預(yù)測性能最優(yōu)。

圖8 周期參數(shù)lpr的取值測試

最后，測試ltr的取值，將另外2組參數(shù)固定為lc=6、lpr=2，將ltr的取值從0變化至3，其中0表示不添加趨勢層。RMSE的變化如圖9所示。同樣地，不添加趨勢層時(shí)網(wǎng)絡(luò)性能最差，說明較長間隔的歷史時(shí)間也會(huì)給流量預(yù)測提供有價(jià)值的信息。對(duì)于參數(shù)ltr，當(dāng)其取值為1時(shí)，預(yù)測誤差最小。綜合以上分析，選擇3組的取值為lc=6、lpr=2、ltr=2。

圖9 趨勢參數(shù)ltr的取值測試

5 結(jié)束語

5G網(wǎng)絡(luò)服務(wù)質(zhì)量的保證，要基于其資源分配、緩存策略、能耗管理等諸多策略執(zhí)行的優(yōu)劣。而準(zhǔn)確預(yù)測各區(qū)域用戶數(shù)量對(duì)提高 5G網(wǎng)絡(luò)這方面的性能具有重要意義。本文提出了一種移動(dòng)網(wǎng)絡(luò)覆蓋范圍內(nèi)的區(qū)域人群流量預(yù)測的深度時(shí)空網(wǎng)絡(luò)模型，通過融合各種外部特征信息，對(duì)不同尺度的時(shí)空依賴關(guān)系建模，對(duì)短時(shí)流量信息僅依賴于區(qū)域內(nèi)局部實(shí)時(shí)信息，在降低對(duì)實(shí)時(shí)信息傳送需求的同時(shí)，也保障了預(yù)測的準(zhǔn)確性。通過基于呼叫詳單數(shù)據(jù)進(jìn)行的景區(qū)人群流量預(yù)測，驗(yàn)證了本文提出的模型對(duì)工作日和周末的流量預(yù)測精度都比已有流量預(yù)測模型有顯著提升。在下一步工作中，可以將基站的人群流量預(yù)測應(yīng)用于 5G網(wǎng)絡(luò)資源配置與流量分析的應(yīng)用中。同時(shí)，隨著5G網(wǎng)絡(luò)基站大規(guī)模部署的開展，基于本文研究工作進(jìn)行基站活躍/休眠的集群策略研究也將具有重要意義。