基于聯(lián)邦學(xué)習(xí)和圖卷積神經(jīng)網(wǎng)絡(luò)的交通流預(yù)測研究

基金項(xiàng)目：

廣西高校中青年教師科研基礎(chǔ)能力提升項(xiàng)目“基于‘AI視覺+機(jī)器學(xué)習(xí)’的城市交通場景應(yīng)用研究”（編號：2023KY1157）；廣西教育科學(xué)“十四五”規(guī)劃課題“人工智能時代高校思想政治教育質(zhì)量評價的改革研究”（編號：2022ZJY475）

作者簡介：

劉 華（1984—），碩士，工程師，講師，研究方向：計算機(jī)應(yīng)用技術(shù)、人工智能、大數(shù)據(jù)。

摘要：為實(shí)現(xiàn)交通流預(yù)測中的數(shù)據(jù)隱私保護(hù)，并提高預(yù)測準(zhǔn)確性，文章提出一種基于聯(lián)邦學(xué)習(xí)（FL）和圖卷積神經(jīng)網(wǎng)絡(luò)（GCN）的交通流預(yù)測方法，即采用GCN模型對交通網(wǎng)絡(luò)進(jìn)行建模，通過聯(lián)邦學(xué)習(xí)框架在客戶端訓(xùn)練模型并只共享模型更新。結(jié)果表明，該方法有效地保護(hù)了數(shù)據(jù)隱私，同時也取得了良好的預(yù)測效果。

關(guān)鍵詞：聯(lián)邦學(xué)習(xí)；圖卷積神經(jīng)網(wǎng)絡(luò)；隱私保護(hù)；交通流預(yù)測

中圖分類號：U491.1+4文獻(xiàn)標(biāo)識碼：A 48 160 3

0 引言

隨著國民經(jīng)濟(jì)的發(fā)展和城市化進(jìn)程的加快，我國的汽車數(shù)量迅速增加，截至2023年末全國民用汽車保有量達(dá)到3.4億輛，交通擁堵現(xiàn)象日益嚴(yán)重。通過建設(shè)智慧交通系統(tǒng)來有效緩解交通擁堵和減少交通事故受到了廣泛關(guān)注，其中準(zhǔn)確預(yù)測實(shí)時交通流量至關(guān)重要。

交通流量預(yù)測模型通?？梢苑譃閮深悾簠?shù)化模型和非參數(shù)化模型。早期的交通流預(yù)測研究主要是參數(shù)化模型如歷史平均模型（HA）、自回歸移動平均模型（ARMA）［1］、差分整合滑動平均自回歸模型（ARIMA）和季節(jié)性ARIMA模型（SARIMA）［2］等，這類模型適用于處理線性關(guān)系和變化模式相對簡單的交通流量數(shù)據(jù)，通常無法捕捉復(fù)雜的時間序列數(shù)據(jù)。隨著數(shù)據(jù)存儲和計算的改進(jìn)，非參數(shù)化模型在交通流量預(yù)測中取得了更好的效果，主要包括機(jī)器學(xué)習(xí)和深度學(xué)習(xí)模型等。其中機(jī)器學(xué)習(xí)模型有K最近鄰（KNN）［3］、隱馬爾可夫（HMM）、支持向量機(jī)（SVM）［4］等，其缺點(diǎn)是無法自動提取數(shù)據(jù)中的非線性特征。近年來，基于深度學(xué)習(xí)模型的交通流預(yù)測取得了巨大成功，如深度置信網(wǎng)絡(luò)（DBN）、長短期記憶網(wǎng)絡(luò)（LSTM）、卷積神經(jīng)網(wǎng)絡(luò)（CNN）［5］和圖卷積神經(jīng)網(wǎng)絡(luò)（GCN）［6］等能夠提取交通流量數(shù)據(jù)的復(fù)雜時空特征，顯著提高了預(yù)測準(zhǔn)確性。

目前，大多數(shù)交通流量預(yù)測方法都采用集中式訓(xùn)練和預(yù)測，先由客戶端將收集的原始交通流量數(shù)據(jù)上傳到云數(shù)據(jù)中心進(jìn)行模型訓(xùn)練，然后將預(yù)測結(jié)果發(fā)送給客戶端。上傳原始交通流量數(shù)據(jù)極易導(dǎo)致信息泄露，引起隱私和安全問題。鑒于現(xiàn)在國家、企業(yè)和個人對數(shù)據(jù)安全以及數(shù)據(jù)隱私保護(hù)的重視程度越來越高，數(shù)據(jù)存儲本地化引發(fā)的“數(shù)據(jù)孤島”問題愈發(fā)嚴(yán)重。谷歌在2016年提出了聯(lián)邦學(xué)習(xí)（FL）方法，可在分布式節(jié)點(diǎn)之間進(jìn)行本地協(xié)作式訓(xùn)練，旨在確保數(shù)據(jù)交換期間的信息安全和客戶端數(shù)據(jù)隱私。

本文為了實(shí)現(xiàn)交通流預(yù)測中的數(shù)據(jù)隱私保護(hù)，并提高預(yù)測準(zhǔn)確性，提出了一種基于聯(lián)邦學(xué)習(xí)和圖卷積神經(jīng)網(wǎng)絡(luò)（GCN）的交通流預(yù)測方法，下面進(jìn)行詳細(xì)介紹。

1 基于聯(lián)邦學(xué)習(xí)的交通流預(yù)測系統(tǒng)架構(gòu)

在交通流預(yù)測系統(tǒng)中，為了解決“數(shù)據(jù)孤島”問題，采用聯(lián)邦學(xué)習(xí)可以使各個客戶端（如交通管理部門、出租車企業(yè)、移動設(shè)備、車輛、手機(jī)等）在保持?jǐn)?shù)據(jù)本地化的同時，通過聯(lián)合訓(xùn)練可以得到一個全局交通流量預(yù)測模型。聯(lián)邦學(xué)習(xí)系統(tǒng)包含的關(guān)鍵組件有中心服務(wù)器、客戶端、隱私保護(hù)機(jī)制、局部模型和全局模型等。該系統(tǒng)架構(gòu)如圖1所示。

2 基于FL-GCN的交通流預(yù)測模型

本文采用圖卷積神經(jīng)網(wǎng)絡(luò)（GCN）模型對交通網(wǎng)絡(luò)進(jìn)行建模，提取每個監(jiān)測點(diǎn)的歷史交通流數(shù)據(jù)特征，然后使用聯(lián)邦學(xué)習(xí)，并在客戶端模型訓(xùn)練時給梯度添加高斯噪聲實(shí)現(xiàn)差分隱私，通過分布式聯(lián)合訓(xùn)練，最終得到收斂的全局交通流預(yù)測模型。構(gòu)建FL-GCN交通流預(yù)測模型的方法和步驟如下。

基于聯(lián)邦學(xué)習(xí)和圖卷積神經(jīng)網(wǎng)絡(luò)的交通流預(yù)測研究/

劉 華，儲蓄蓄

2.1 交通網(wǎng)絡(luò)建模

現(xiàn)有的圖卷積網(wǎng)絡(luò)（GCN）在處理大型交通網(wǎng)絡(luò)時，需要構(gòu)建一個詳盡的鄰接矩陣來捕捉復(fù)雜的網(wǎng)絡(luò)拓?fù)?，這給模型帶來了巨大的計算負(fù)擔(dān)，無法發(fā)揮聯(lián)邦學(xué)習(xí)分布式訓(xùn)練的優(yōu)勢。針對該問題，本文采用了Metis圖分割算法將交通網(wǎng)絡(luò)劃分為多個子圖，通過將圖中的頂點(diǎn)分割成多個簇，使得每個簇內(nèi)的連接盡可能多，而簇間的連接盡可能少，這種劃分更能保留子圖內(nèi)的時空相關(guān)性，有助于保持模型的預(yù)測準(zhǔn)確性。

將整個交通網(wǎng)絡(luò)定義為一個無向圖G=（V，E，A），其中V表示道路上的節(jié)點(diǎn)或傳感器{v1，v2，…，vn}；E是圖中的邊集合，表示節(jié)點(diǎn)之間的連通性；A是加權(quán)鄰接矩陣，Ai，j表示節(jié)點(diǎn)vi和vj之間是否存在邊（如果有邊則為1，否則為0）；Di，i則是節(jié)點(diǎn)vi的度，即節(jié)點(diǎn)vi連接的總邊數(shù)，Di，i=∑nj=1Ai，j。交通網(wǎng)絡(luò)可以進(jìn)一步劃分為子圖，設(shè)G=（G1，G2，…，Gm），每個子圖的中心節(jié)點(diǎn)設(shè)為Zc，可以收集和聚合來自子圖中其他節(jié)點(diǎn)的數(shù)據(jù)。交通網(wǎng)絡(luò)的GCN模型計算公式如式（1）～（3）所示。

H（l+1）=σ（A︿Hlwl）

（1）

M～=D-1～/2A︿D-1～/2

（2）

M～=A+IN

（3）

式中：wl——特定層l的可訓(xùn)練權(quán)重矩陣；

Hl——第l層的激活函數(shù)，如ReLU。

交通流數(shù)據(jù)通常包括監(jiān)測點(diǎn)的車輛數(shù)量、速度、密度等相關(guān)信息，設(shè)在時間點(diǎn)t，路網(wǎng)時空圖G上的交通流量為Xt∈Rn×r，n為圖G的節(jié)點(diǎn)數(shù)，r為采集到的交通流特征維數(shù)，則交通流的兩層GCN預(yù)測模型如式（4）所示。

fA，Xt=σA︿Hlwl=σA︿ReLUA︿XW0w1

（4）

式中：W0和W1——第一層和第二層的權(quán)重矩陣。

2.2 差分隱私實(shí)現(xiàn)

聯(lián)邦學(xué)習(xí)雖然在保護(hù)數(shù)據(jù)隱私方面提供了一種有效的解決方案，但并不完美，仍然存在一些潛在的風(fēng)險。參與方有可能通過分析上傳的模型參數(shù)來推斷出其他參與方的原始訓(xùn)練數(shù)據(jù)，攻擊類型包括成員推理攻擊、模型反演攻擊、數(shù)據(jù)的推理重建，以及基于生成對抗網(wǎng)絡(luò)（GANs）的攻擊等。差分隱私是一種加強(qiáng)保護(hù)用戶數(shù)據(jù)隱私的方法，核心思想是在處理包含個人隱私信息的數(shù)據(jù)集時引入一定噪聲，使得攻擊者無法準(zhǔn)確識別出任何單個個體的具體信息。本文在客戶端本地GCN模型訓(xùn)練反向傳播過程中，給梯度添加高斯噪聲來實(shí)現(xiàn)差分隱私，具體的定義如下：

設(shè)有一個定義域?yàn)镹x的隨機(jī)算法M，若對于任意兩個至多相差1條記錄的鄰近數(shù)據(jù)集D和D′都滿足式（5），則稱算法M滿足（ε，δ）差分隱私。

PrMD∈S≤eεPrMD′∈S+δ

（5）

參數(shù)ε被定義為隱私預(yù)算，參數(shù)δ則為松弛項(xiàng)，當(dāng)δ=0時，該定義為嚴(yán)格的差分隱私定義。ε越小，算法保護(hù)隱私能力越強(qiáng)，但同時也會降低模型的準(zhǔn)確性。拉普拉斯機(jī)制和高斯機(jī)制是常用的兩種差分隱私噪聲機(jī)制，高斯機(jī)制更為松弛，在實(shí)現(xiàn)隱私保護(hù)的基礎(chǔ)上也能兼顧準(zhǔn)確性，算法M定義如下：

M（D）=f（D）+N（0，σ2）

（6）

σ≥Δf2log 1.25δε

（7）

Δf=maxD～D′‖f（D）-f（D′）‖2

（8）

式中：Δf——全局敏感度；

N（0，σ2）——服從高斯分布的隨機(jī)噪聲。

2.3 聯(lián)邦學(xué)習(xí)策略

聯(lián)邦學(xué)習(xí)有兩類實(shí)體，分別是客戶端和中心服務(wù)器?？蛻舳耸菂⑴c協(xié)作模型訓(xùn)練的數(shù)據(jù)所有者，中心服務(wù)器則負(fù)責(zé)協(xié)調(diào)整個訓(xùn)練過程和模型參數(shù)的聚合工作。設(shè)交通網(wǎng)絡(luò)中存在N個客戶端，Dk表示客戶端自己的數(shù)據(jù)集，ωn表示客戶端n的模型參數(shù)，ω表示所有客戶端共同訓(xùn)練的模型參數(shù)。中心服務(wù)器與所有參與第t輪學(xué)習(xí)的客戶端共享全局模型ωt，客戶端n使用梯度下降等優(yōu)化算法更新本地模型參數(shù)公式如下：

（9）

式中：fn（ω）——客戶端n的損失函數(shù)；

η——一個固定的學(xué)習(xí)率。

第t輪聯(lián)邦學(xué)習(xí)中心服務(wù)器的模型更新公式如下：

ωt=∑Nk=1DkDωtk

（10）

聯(lián)邦學(xué)習(xí)的目標(biāo)是最小化全局損失函數(shù)，從而找到一個最優(yōu)化的模型ω*。pk是客戶端k聚合時的權(quán)重，計算公式如下：

ω*=argminω fD，ω=argminω∑Nk=1pkfk（Dk，ω）

（11）

2.4 聯(lián)邦學(xué)習(xí)算法

基于FL-GCN的交通流預(yù)測算法完整流程如下：

輸入：交通網(wǎng)絡(luò)模型G，交通流量數(shù)據(jù)Xt，子圖數(shù)量m，中心節(jié)點(diǎn)Zc，本地訓(xùn)練輪數(shù)E。

輸出：全局最優(yōu)模型ω*。

（1）交通網(wǎng)絡(luò)圖分割：將G劃分為m個子圖：G=（G1，G2，…，Gm），每個子圖Gi與一個中心節(jié)點(diǎn)Zc相關(guān)聯(lián)。

（2）在中心服務(wù)器端初始化全局模型參數(shù) ω0。

（3）隨機(jī)選擇客戶端子集Ck。

（4）對每個客戶端并行執(zhí)行子模型初始化。

（5）對于每個訓(xùn)練輪次t=1到E：選擇一部分中心節(jié)點(diǎn)Zc參與當(dāng)前訓(xùn)練周期。

（6）將當(dāng)前的全局模型參數(shù)ωt發(fā)送給所有參與的Zc。

（7）在Zc上使用本地交通流量數(shù)據(jù)Xt進(jìn)行模型訓(xùn)練，并計算局部模型參數(shù)ωtn。

（8）本地迭代結(jié)束后，客戶端將計算得到的局部最優(yōu)模型參數(shù)ω*n發(fā)送給中心服務(wù)器。

（9）中心服務(wù)器收集所有客戶端的模型參數(shù)，并進(jìn)行聚合操作得到新的ωt。

（10）重復(fù)步驟（3）～（9），直到全局模型收斂或達(dá)到預(yù)定的通信輪次。

通過實(shí)踐以上步驟，算法能夠在GCN模型上進(jìn)行聯(lián)邦學(xué)習(xí)，最終得到較優(yōu)的全局交通流預(yù)測模型。

3 試驗(yàn)結(jié)果分析

為了驗(yàn)證本文模型的有效性，使用LibCity［7］交通預(yù)測庫進(jìn)行統(tǒng)一模型評估，其中與交通流量預(yù)測相關(guān)的模型共15個。進(jìn)行試驗(yàn)的交通流量數(shù)據(jù)集采用美國加州交通管理系統(tǒng)提供的標(biāo)準(zhǔn)化公開數(shù)據(jù)集PeMSD4，其中包含29條道路上的3 848個傳感器監(jiān)測的車輛流量占用信息，選取的數(shù)據(jù)時間段為2018-01-01至2018-02-28。試驗(yàn)環(huán)境為Win10操作系統(tǒng)計算機(jī)（Intel Core（TM）i7-9700處理器，內(nèi)存為32 G），并開啟了GPU加速進(jìn)行模型訓(xùn)練。

模型評估指標(biāo)使用均方誤差（MSE）、平均絕對百分比誤差（MAPE）和均方根誤差（RMSE）來衡量預(yù)測模型的性能，其數(shù)值越小，預(yù)測效果越好。MSE、MAPE和RMSE的計算公式如式（12）～（14）所示。

MSE=1n∑ni-1yi-y︿i2

（12）

MAPE=100%n∑ni-1yi-y︿iyi

（13）

RMSE= 1n∑ni=1yi-y︿i2

（14）

式中：n——樣本的數(shù)量；

yi——實(shí)際值；

y︿i——預(yù)測值。

如表1所示，在同樣的試驗(yàn)環(huán)境下對比本文設(shè)計的FL-GCN模型與三個基準(zhǔn)模型（FNN、TGCN、STTN）的性能，F(xiàn)L-GCN模型在三個評估指標(biāo)上都有所降低，表明該模型有更小的誤差，驗(yàn)證了FL-GCN模型預(yù)測交通流量的有效性。

4 結(jié)語

本文結(jié)合了聯(lián)邦學(xué)習(xí)和圖卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)勢，提出了基于FL-GCN的交通流量預(yù)測模型。聯(lián)邦學(xué)習(xí)方法通過在客戶端訓(xùn)練模型并只共享模型更新，對原始數(shù)據(jù)也進(jìn)一步引入了差分隱私技術(shù)，有效增強(qiáng)了對用戶數(shù)據(jù)隱私的保護(hù)。GCN尤其適合處理圖結(jié)構(gòu)數(shù)據(jù)，能夠很好地捕捉交通網(wǎng)絡(luò)中的復(fù)雜時空依賴關(guān)系。試驗(yàn)結(jié)果表明，該方法提高了交通流預(yù)測的安全性和準(zhǔn)確性。

聯(lián)邦學(xué)習(xí)方法需要在客戶端和中心服務(wù)器之間頻繁交換模型參數(shù)，在大規(guī)模部署時可能導(dǎo)致顯著的通信成本支出?？蛻舳说臄?shù)據(jù)往往是異構(gòu)的，也會導(dǎo)致模型訓(xùn)練的不均衡和性能下降。未來的研究要繼續(xù)開發(fā)更高效的算法、改進(jìn)通信協(xié)議、增強(qiáng)模型的魯棒性，提高模型的收斂性和泛化能力。

參考文獻(xiàn)

［1］楊高飛，徐 睿，秦 鳴，等.基于ARMA和卡爾曼濾波的短時交通預(yù)測［J］. 鄭州大學(xué)學(xué)報（工學(xué)版），2017，38（2）：36-40.

［2］孫湘海，劉潭秋.基于SARIMA模型的城市道路短期交通流預(yù)測研究［J］.公路交通科技，2008（1）：129-133.

［3］劉 釗，杜 威，閆冬梅，等.基于K近鄰算法和支持向量回歸組合的短時交通流預(yù)測［J］.公路交通科技，2017，34（5）：122-128，158.

［4］楊 剛，王 樂，戴麗珍，等.自適應(yīng)權(quán)重粒子群優(yōu)化LS-SVM的交通流預(yù)測［J］.控制工程，2017，24（9）：1 838-1 843.

［5］晏 臻，于重重，韓 璐，等.基于CNN+LSTM的短時交通流量預(yù)測方法［J］.計算機(jī)工程與設(shè)計，2019，40（9）：2 620-2 624，2 659.

［6］陳喜群，周凌霄，曹 震.基于圖卷積網(wǎng)絡(luò)的路網(wǎng)短時交通流預(yù)測研究［J］.交通運(yùn)輸系統(tǒng)工程與信息，2020，20（4）：49-55.

［7］Wang J，Jiang J，Jiang W，et al.LibCity：An Open Library for Traffic Prediction［C］.Proceedings of the 29th International Conference on Advances in Geographic Information Systems，2021.