基于聯(lián)邦學(xué)習(xí)的多源異構(gòu)數(shù)據(jù)融合算法

莫慧凌 鄭海峰 高 敏 馮心欣

(福州大學(xué)物理與信息工程學(xué)院 福州 350108)

在信息化時代，海量的邊緣數(shù)據(jù)將給以云計算模型為核心的數(shù)據(jù)集中化處理模式帶來許多問題，一是將數(shù)據(jù)全部上傳至云端的處理方式，不僅效率低下，而且造成額外的帶寬開銷，同時網(wǎng)絡(luò)延遲也會增加.二是由于用戶隱私意識的提高，邊緣設(shè)備的數(shù)據(jù)很有可能在上傳鏈路時泄密，個人隱私的安全問題無法得到保障.而分布式數(shù)據(jù)處理模式可以有效地解決傳統(tǒng)云計算存在的時延和效率問題.同時，針對“數(shù)據(jù)孤島”問題，谷歌公司首次提出了“聯(lián)邦學(xué)習(xí)”這個概念.通過在多個邊緣設(shè)備上利用各自的訓(xùn)練樣本對模型進行單獨的訓(xùn)練，并通過模型參數(shù)聚合實現(xiàn)在不透露用戶隱私的前提下多源信息的共享.

此外，邊緣設(shè)備的多樣性使得設(shè)備采集到的數(shù)據(jù)在標(biāo)注、語義和存在形式等方面都呈現(xiàn)多樣性.多模態(tài)數(shù)據(jù)廣泛存在.不同的模態(tài)數(shù)據(jù)可以從多個方面描述目標(biāo)對象，通過消除冗余數(shù)據(jù)和融合各種數(shù)據(jù)源進行關(guān)聯(lián)補充分析，數(shù)據(jù)可以涌現(xiàn)出更多有價值的新信息，從而實現(xiàn)1+1>2的效果.從互聯(lián)網(wǎng)和移動設(shè)備收集的多媒體數(shù)據(jù)是典型的非結(jié)構(gòu)化數(shù)據(jù)，與傳統(tǒng)的易于存儲的結(jié)構(gòu)化數(shù)據(jù)格式存在顯著差異.因此，對不同邊緣設(shè)備采集到的多源異構(gòu)數(shù)據(jù)處理成為大數(shù)據(jù)研究中亟需解決的問題.

在傳統(tǒng)的多源異構(gòu)數(shù)據(jù)融合算法中，數(shù)據(jù)集中化處理在實際應(yīng)用中存在數(shù)據(jù)隱私泄露的風(fēng)險.因此，對于不透露用戶隱私前提下的多源異構(gòu)數(shù)據(jù)處理還存在許多難題：首先，由于企業(yè)競爭和用戶的隱私保護意識，使得數(shù)據(jù)互通長期處于閉塞狀態(tài)，無法實現(xiàn)信息共享，從而無法充分發(fā)揮異構(gòu)數(shù)據(jù)的價值.其次，利用神經(jīng)網(wǎng)絡(luò)對數(shù)據(jù)進行處理，根據(jù)數(shù)據(jù)設(shè)計的模型一旦確定后就無法更改.然而在邊緣計算中，邊緣設(shè)備所采集的數(shù)據(jù)結(jié)構(gòu)和種類數(shù)目存在差異.若針對各個網(wǎng)絡(luò)邊緣設(shè)備上的數(shù)據(jù)設(shè)計適用于各自數(shù)據(jù)特征的神經(jīng)網(wǎng)絡(luò)，工作量極大，同時該模型只能適用于單一節(jié)點或者和該節(jié)點數(shù)據(jù)特征相同的邊緣設(shè)備，普適性不高，也無法充分發(fā)揮物聯(lián)網(wǎng)中其他的異構(gòu)數(shù)據(jù)的價值.

為解決邊緣計算中，在不泄露用戶隱私的前提下實現(xiàn)多源異構(gòu)數(shù)據(jù)的融合問題，本文提出了一種基于聯(lián)邦學(xué)習(xí)的多源異構(gòu)數(shù)據(jù)融合算法.從邊緣設(shè)備采集到的數(shù)據(jù)結(jié)構(gòu)特點入手，結(jié)合張量Tucker分解理論，研究能夠在各異的邊緣設(shè)備上自適應(yīng)處理多源異構(gòu)數(shù)據(jù)模型，解決聯(lián)邦學(xué)習(xí)中由于處理異構(gòu)數(shù)據(jù)的模型不統(tǒng)一帶來的單一適應(yīng)性問題.

1 相關(guān)工作

目前，針對聯(lián)邦學(xué)習(xí)以及異構(gòu)數(shù)據(jù)融合的研究已經(jīng)取得了眾多的成果.

1.1 聯(lián)邦學(xué)習(xí)

由于移動設(shè)備和邊緣設(shè)備的廣泛使用，Yang等人提出的一種人工智能技術(shù)——聯(lián)邦學(xué)習(xí)，是由一個中央服務(wù)器協(xié)調(diào)多個客戶端在不公開數(shù)據(jù)的前提下，協(xié)同完成一個學(xué)習(xí)任務(wù).

聯(lián)邦學(xué)習(xí)有很多優(yōu)點.首先，相比于云計算模型，聯(lián)邦學(xué)習(xí)只發(fā)送更新的模型參數(shù)進行聚合，這極大降低了數(shù)據(jù)通信的成本，提高了網(wǎng)絡(luò)帶寬的利用率.其次，用戶的原始數(shù)據(jù)不需要發(fā)送至云端，這避免了數(shù)據(jù)在上傳鏈路時泄露用戶隱私的可能.再者，聯(lián)邦學(xué)習(xí)的模型訓(xùn)練可以在邊緣節(jié)點或終端設(shè)備上進行訓(xùn)練和實時決策，時間延遲會比在云端進行決策時得到極大地改善.

在聯(lián)邦學(xué)習(xí)中，數(shù)據(jù)安全是一個主要研究方面.Mcmahan等人提出了用戶級的差分隱私訓(xùn)練算法，通過將隱私保護添加到聚合算法中，有效地降低了從傳輸模型中恢復(fù)個人信息的可能.另一方面，Beimel等人提出了差分隱私混合模型，通過用戶的信任偏好對用戶進行分區(qū)，從而減少所需用戶基數(shù)的大小.Dong等人將梯度選擇和秘密分享的算法結(jié)合起來，在保證用戶隱私和數(shù)據(jù)安全的情況下大幅提升了通信效率.

在聯(lián)邦學(xué)習(xí)中的資源優(yōu)化方面，Tran等人考慮通過無線網(wǎng)絡(luò)進行聯(lián)邦學(xué)習(xí)，提出了優(yōu)化能源消耗和全球聯(lián)邦學(xué)習(xí)時間的問題.Wang等人提出了一種控制算法，可以在全局參數(shù)聚合和局部模型更新之間進行權(quán)衡，以在資源預(yù)算約束下將損失函數(shù)降至最低.Wang等人提出了一種聯(lián)邦學(xué)習(xí)框架In-Edge-AI，以實現(xiàn)邊緣計算中的智能資源管理.

1.2 多源異構(gòu)數(shù)據(jù)融合

數(shù)據(jù)融合系統(tǒng)中的數(shù)據(jù)逐漸多元化且數(shù)量巨大，這迫使人們對系統(tǒng)效率的提高有了更高的要求.Microsoft研究院的Zheng將異構(gòu)數(shù)據(jù)融合方法分為3種類型：1)基于階段的數(shù)據(jù)融合方法；2)基于特征的數(shù)據(jù)融合方法；3)基于語義的數(shù)據(jù)融合方法.

基于階段的數(shù)據(jù)融合方法是指在數(shù)據(jù)挖掘的過程中，不同階段利用不同的數(shù)據(jù)進行分析.Pan等人首先使用GPS軌跡數(shù)據(jù)和道路網(wǎng)絡(luò)數(shù)據(jù)檢測交通異常，通過檢索與交通異常位置相關(guān)的社交媒體信息(例如Twitter)，最后分析交通異常的特定事件內(nèi)容.這種融合方法的異構(gòu)數(shù)據(jù)之間沒有交互作用，失去了異構(gòu)數(shù)據(jù)之間互補的優(yōu)勢，很難實現(xiàn)真正的內(nèi)在數(shù)據(jù)融合.

基于特征的融合方法通過提取每個異構(gòu)數(shù)據(jù)的特征，然后對特征進行分析和處理.因此，提取的特征質(zhì)量以及融合方法都將對融合效果具有決定性的影響.Liu等人整合不同視圖的面部信息，將不同維度的深度學(xué)習(xí)特征向量融合以實現(xiàn)基于深度異構(gòu)性特征的面部識別.Ouyang等人將人類異構(gòu)信息特征的3個來源進行非線性融合，可以更準(zhǔn)確地估計身體姿勢.Wang等人設(shè)計了張量深度學(xué)習(xí)計算模型，利用張量對多源異構(gòu)數(shù)據(jù)的復(fù)雜性進行建模，將向量空間數(shù)據(jù)擴展到張量空間，并在張量空間中進行特征提取.Zadeh等人提出了張量融合網(wǎng)絡(luò)用于解決多模態(tài)的情感分析，通過笛卡兒積的方式將多種模態(tài)進行融合，實現(xiàn)對情感的分類分析.

基于語義的融合方法了解每個數(shù)據(jù)集以及跨數(shù)據(jù)集的特征之間的關(guān)系，認(rèn)為提取到的異構(gòu)數(shù)據(jù)的特征是可解釋的.Zheng等人提出了一種基于協(xié)同訓(xùn)練的模型來預(yù)測整個城市空氣質(zhì)量，利用空氣質(zhì)量具有時間以及空間的依賴性的特點，分別針對時空數(shù)據(jù)設(shè)計了2個分類器，通過將不同的時空特征輸入到不同的分類器，從而在不同標(biāo)簽上生成2組概率，最大化地選擇標(biāo)簽.

上述工作主要考慮了單一節(jié)點上的多源異構(gòu)數(shù)據(jù)融合問題.而針對聯(lián)邦學(xué)習(xí)中的多源異構(gòu)數(shù)據(jù)融合問題，目前尚未有相關(guān)工作報道.

2 基于聯(lián)邦學(xué)習(xí)的多源異構(gòu)數(shù)據(jù)融合

本文主要針對網(wǎng)絡(luò)邊緣設(shè)備由于數(shù)據(jù)隱私性，無法進行數(shù)據(jù)通信情況下實現(xiàn)多源異構(gòu)數(shù)據(jù)的融合進行研究.通過引入張量分解理論，構(gòu)建一個具有異構(gòu)數(shù)據(jù)空間維度特性的高階記憶單元，在不透露用戶隱私的前提下，利用記憶單元對多源異構(gòu)數(shù)據(jù)進行有效地融合.同時，能夠在不額外增加模型規(guī)模的條件下實現(xiàn)對多源異構(gòu)數(shù)據(jù)的自適應(yīng)學(xué)習(xí).

2.1 聯(lián)邦學(xué)習(xí)系統(tǒng)模型

本文針對異構(gòu)數(shù)據(jù)在不進行數(shù)據(jù)互通前提下的融合問題，考慮在邊緣計算中引入聯(lián)邦學(xué)習(xí)，在不暴露用戶自身隱私的前提下實現(xiàn)對多用戶潛在特征的學(xué)習(xí)，其系統(tǒng)基本架構(gòu)如圖1所示.在該框架中，系統(tǒng)由邊緣節(jié)點、物聯(lián)網(wǎng)和云端服務(wù)器組成，其中邊緣節(jié)點通過物聯(lián)網(wǎng)(如網(wǎng)關(guān)和路由器)與云端服務(wù)器互聯(lián).

Fig. 1 The system model for federated learning圖1 聯(lián)邦學(xué)習(xí)系統(tǒng)模型

聯(lián)邦學(xué)習(xí)是一種分布式學(xué)習(xí)框架，其中原始數(shù)據(jù)被收集并存儲在多個邊緣節(jié)點上，并在節(jié)點處執(zhí)行模型訓(xùn)練，然后將模型通過節(jié)點與云端服務(wù)器的交互逐步優(yōu)化學(xué)習(xí)模型.

基于以上框架，聯(lián)邦學(xué)習(xí)可以從多個獨立的邊緣節(jié)點上使用本地數(shù)據(jù)協(xié)同訓(xùn)練一個泛化的共享模型，通過模型傳輸替代數(shù)據(jù)傳輸，規(guī)避了用戶隱私泄露的風(fēng)險.

2.2 算法的總體設(shè)計

如圖2所示，本文所提出的基于聯(lián)邦學(xué)習(xí)的多源異構(gòu)數(shù)據(jù)融合算法主要分成特征提取模塊、特征融合模塊和特征決策模塊.其中特征提取模塊由各種異構(gòu)數(shù)據(jù)對應(yīng)的特征提取子網(wǎng)絡(luò)構(gòu)成.

在初始化階段，中心控制節(jié)點對模型中的特征提取模塊、特征融合模塊和特征決策模塊進行網(wǎng)絡(luò)參數(shù)隨機初始化，并下發(fā)至邊緣節(jié)點.

在模型訓(xùn)練階段，邊緣節(jié)點接收到中心控制節(jié)點下發(fā)的模型后，根據(jù)本地節(jié)點上的數(shù)據(jù)集結(jié)構(gòu)選擇對應(yīng)的特征提取模塊，并利用本地數(shù)據(jù)集對特征提取模塊、特征融合模塊和特征決策模塊進行訓(xùn)練.邊緣節(jié)點新一輪訓(xùn)練的終止條件是本地節(jié)點訓(xùn)練輪數(shù)超過給定的訓(xùn)練輪數(shù).待訓(xùn)練完成后將各自的訓(xùn)練模型返回至中心控制節(jié)點進行模型聚合.

在模型聚合階段，對于特征融合模塊和特征決策模塊采用平均聚合算法，對于特征提取模塊，則是根據(jù)得到的對應(yīng)特征提取子模塊進行平均聚合，以確保同一模態(tài)的數(shù)據(jù)提取的特征具有相似性.最后，將更新后的模型重新下發(fā)至邊緣節(jié)點進行新一輪的訓(xùn)練.

Fig. 2 The overview of the proposed algorithm圖2 算法總體框架

2.3 子模塊設(shè)計

2.3.1 特征提取模塊

本文假設(shè)待處理的異構(gòu)數(shù)據(jù)分別為音頻、視覺和文本數(shù)據(jù).在特征提取模塊，本節(jié)根據(jù)不同模態(tài)的特征，采用了不同的特征提取子網(wǎng)絡(luò)分別對音頻、視覺及文本信息進行特征提取.

1) 音頻、視覺特征子網(wǎng)絡(luò).針對音頻信息和視覺信息，分別采用了COVAREP聲學(xué)分析框架和FACET面部表情分析框架對MOSI數(shù)據(jù)集進行特征采樣提取(采樣頻率分別為100 Hz和30 Hz).

Fig. 3 Text feature sub-network圖3 文本特征子網(wǎng)絡(luò)

2) 文本特征子網(wǎng)絡(luò).口語文本在語法及表達上不同于書面文本，例如“我覺得挺好的……，不過，我覺得這個方法還有待改善”這種口語在書面語言中很少出現(xiàn).處理口語這種具有多變性語言的關(guān)鍵在于建立能夠在不可靠的情況下運行的模型，以及通過關(guān)注重要的詞語來表現(xiàn)特殊的言語特征.如圖3所示，本文提出的文本特征提取網(wǎng)絡(luò)在編碼部分先采用全局詞向量對口語詞進行預(yù)處理，同時使用知短時記憶(long short-term memory, LSTM)網(wǎng)絡(luò)學(xué)習(xí)與時間相關(guān)的語言表示，并將其作為CNN網(wǎng)絡(luò)的輸入.在卷積層中，通過卷積核對文本信息實現(xiàn)細(xì)粒度更小的局部特征提取.

2.3.2 特征融合模塊

Fig. 4 Heterogeneous data fusion based on Tucker decomposition圖4 基于Tucker分解的異構(gòu)數(shù)據(jù)融合

以圖4為例，當(dāng)待處理的異構(gòu)數(shù)據(jù)特征分別為，，時，記憶單元為一個三階張量，且此張量的3個維度分別對應(yīng)于3種異構(gòu)數(shù)據(jù)特征，，的特征空間

.

在本節(jié)提出的異構(gòu)數(shù)據(jù)特征融合中，通過將異構(gòu)數(shù)據(jù)特征與記憶單元對應(yīng)的特征空間進行模乘，可得到具有該異構(gòu)數(shù)據(jù)特征的記憶單元，并以此進行進一步的特征融合操作

.

融合操作主要分成3個階段：首先，記憶單元沿著一階與異構(gòu)數(shù)據(jù)特征進行模乘，得到具有特征的新記憶單元

.

其次，記憶單元沿著二階與異構(gòu)數(shù)據(jù)特征進行模乘，得到具有和特征的記憶單元

.

最后，記憶單元沿著三階與異構(gòu)數(shù)據(jù)特征進行模乘，最終得到具有三者特征的融合張量

.

其具體過程可以表示為=((×)×)×，

(1)

2

.

3

.

3 特征決策模塊針對融合后的數(shù)據(jù)，本節(jié)采用了傳統(tǒng)的全連接層在全局特征的基礎(chǔ)上進行決策，包括回歸模型的預(yù)測和分類模型的概率預(yù)測

.

在該模塊中，采用了

L

1范數(shù)損失函數(shù)

L

1

Loss

對目標(biāo)值和預(yù)測值之間的誤差進行了衡量

.

其具體表達式為

(2)

其中

l

的表達式為

(3)

2.4 基于聯(lián)邦學(xué)習(xí)的多源異構(gòu)數(shù)據(jù)融合

假設(shè)有

N

個邊緣節(jié)點{

E

,

E

,…,

E

}參與共享模型的訓(xùn)練，且所有邊緣節(jié)點共采集到

M

種異構(gòu)數(shù)據(jù)

.

在初始化階段，云端根據(jù)采集到的

M

種異構(gòu)數(shù)據(jù)，設(shè)計對應(yīng)的特征提取模塊，特征融合模塊，特征決策模塊

.

則共享模型可表示為

(4)

(5)

其中，表示第

i

種異構(gòu)數(shù)據(jù)的特征提取子網(wǎng)絡(luò)

.

=

I

(;)，=

I

(;|)，

(6)

其中|表示在具有特征的基礎(chǔ)上對的特征進行融合

.

在該過程中，模型首先利用記憶單元對特征進行記憶，得到具有特征的模型，并將此作為特征進行融合時的先驗條件，從而在模型訓(xùn)練過程中，記憶單元不但能對各個異構(gòu)數(shù)據(jù)的空間維度特征進行學(xué)習(xí)，還能對不同異構(gòu)數(shù)據(jù)之間的潛在聯(lián)系進行捕捉

.

Fig. 5 Multi-source heterogeneous data fusion based on federated learning圖5 基于聯(lián)邦學(xué)習(xí)的多源異構(gòu)數(shù)據(jù)融合

節(jié)點

N

上的訓(xùn)練機制和節(jié)點1類似

.

上述過程可表示為

(7)

在模型聚合階段，由于各個邊緣節(jié)點采用特征提取器自適應(yīng)選擇機制對特征提取模塊進行訓(xùn)練，因此在模型聚合時，需要先將各個邊緣節(jié)點選擇訓(xùn)練的特征提取子網(wǎng)絡(luò)進行歸并，再采用平均聚合算法得到具有全局異構(gòu)數(shù)據(jù)特征的共享模型，該過程表示為

(8)

(9)

3 實驗結(jié)果與分析

為驗證本文算法的有效性，主要從單節(jié)點異構(gòu)數(shù)據(jù)融合和多節(jié)點異構(gòu)數(shù)據(jù)融合2個方面對本文算法的性能進行評估.基于Tucker分解的單節(jié)點異構(gòu)數(shù)據(jù)融合實驗，主要是通過單節(jié)點實現(xiàn)多源異構(gòu)數(shù)據(jù)上的回歸任務(wù)和分類任務(wù)對本文算法的性能進行評估，并與目前存在的幾種主流異構(gòu)數(shù)據(jù)融合算法進行了對比；基于Tucker分解的多節(jié)點異構(gòu)數(shù)據(jù)融合實驗，通過多節(jié)點實現(xiàn)多源異構(gòu)數(shù)據(jù)上的回歸任務(wù)和分類任務(wù)對本文算法的性能進行評估.

3.1 數(shù)據(jù)集設(shè)置和評價指標(biāo)

本實驗采用MOSI數(shù)據(jù)集，該數(shù)據(jù)集是YouTube上來自于視頻影評的多模態(tài)情感數(shù)據(jù)集，包含了來自89位評論者的93個視頻，每個視頻的長度為2～5 min，包含了口語(字幕)、圖像和語音3種信息.對于該數(shù)據(jù)集中的各個樣本，均以人工方式對情緒進行評分，其分值位于[-3,3]之間.

本實驗從回歸任務(wù)和分類任務(wù)2個方面驗證所提算法在多個任務(wù)上的有效性.在分類任務(wù)中，對分值量化如表1所示：

Table 1 Quantification of Emotional Score表1 情緒分值量化表

對于回歸任務(wù)，本節(jié)實驗采用平均絕對誤差(

MAE

)和皮爾遜相關(guān)系數(shù)(

Corr

)對本文算法的性能進行分析，其對應(yīng)表達式為

(10)

(11)

對于分類任務(wù)，本節(jié)實驗采用精度(

Acc

)和

F

1指數(shù)對本文算法性能進行評估，其中表示類別的數(shù)目，其對應(yīng)的表達式為

(12)

(13)

其中

TP

，

FP

，

TN

，

FN

分別為真陽性、假陽性、真陰性和假陰性的樣本數(shù)

.Acc

越高，模型的分類的精度越高，性能越好；

F

1越高，模型對各個類別的識別能力越均衡，性能越好

.

3.2 單節(jié)點異構(gòu)數(shù)據(jù)融合實驗分析

本節(jié)實驗對擁有3種模態(tài)的情感數(shù)據(jù)集MOSI分別進行了回歸任務(wù)和分類任務(wù)的訓(xùn)練

.

設(shè)置3種模態(tài)的特征提取子模塊的特征輸出數(shù)為

R

，其中

k

表示為第

k

種模態(tài)

.

考慮到特征提取數(shù)

R

對于訓(xùn)練效率以及實驗性能起到直接的作用

.

因此，本實驗首先對比了不同的特征提取數(shù)的組合(

R

，

R

，

R

)分別對回歸任務(wù)和分類任務(wù)的性能影響

.

在本實驗中，設(shè)置各個模態(tài)的特征提取數(shù)集合為{8,16,32}

.

為驗證本文算法的性能，從回歸任務(wù)和分類任務(wù)2個方面對比了6種算法在單節(jié)點情況下的多源異構(gòu)數(shù)據(jù)融合上的表現(xiàn)能力

.

3

.

2

.

1 回歸任務(wù)回歸任務(wù)中關(guān)于各個模態(tài)特征提取數(shù)的定量實驗結(jié)果如表2所示

.

觀察可知，本文算法在回歸任務(wù)上的

MAE

主要集中在0

.

95～1

.

05之間

.

Table 2 MAE of MOSI Dataset Regression Task表2 MOSI數(shù)據(jù)集回歸任務(wù)MAE

觀察分析可知，對于回歸任務(wù)來說，當(dāng)3個模態(tài)的特征提取數(shù)的組合為(8，8，16)時，性能更為顯著.

實驗設(shè)置回歸任務(wù)上各個模態(tài)的特征提取數(shù)分別為8，8，16.表3記錄了本文算法與6種算法在回歸任務(wù)上的性能對比.由表可知，本文算法與最優(yōu)算法TFN在回歸任務(wù)上性能相當(dāng)，優(yōu)于大多對比算法.雖然本文提出的異構(gòu)數(shù)據(jù)融合算法在單節(jié)點上的回歸任務(wù)性能低于LMF算法，但其旨在應(yīng)用于聯(lián)邦學(xué)習(xí)中對多源異構(gòu)數(shù)據(jù)進行有效地融合，而現(xiàn)有的異構(gòu)數(shù)據(jù)融合算法是在單節(jié)點上實現(xiàn)的，并不一定適合于聯(lián)邦學(xué)習(xí)中.

Table 3 Performance Comparison of Regression Tasks on the MOSI Dataset

3.2.2 分類任務(wù)

對于分類任務(wù)來說，模型對各個模態(tài)特征提取數(shù)的敏感度會低于回歸任務(wù)

.

因此，本實驗中設(shè)置分類任務(wù)上各個模態(tài)的特征提取數(shù)分別為8，8，16

.

表4記錄了本文算法與6種算法在分類任務(wù)上的性能對比

.

其中

Acc

_2和

F

1是二分類任務(wù)評價指標(biāo)，

Acc

_7為多分類評價指標(biāo)

.

由表4可知，本文算法在分類任務(wù)上性能優(yōu)于TFN及大多數(shù)對比算法，而與LMF算法性能相當(dāng).

Table 4 Performance Comparison of Classification Tasks on the MOSI Dataset

討論：雖然本文算法在單節(jié)點上性能表現(xiàn)并不是最好，但在聯(lián)邦學(xué)習(xí)框架下有3個優(yōu)勢：1)對異構(gòu)數(shù)據(jù)具有更強的自適應(yīng)性.與其他算法相比，本算法在訓(xùn)練時不需要同時輸入所有類型的異構(gòu)數(shù)據(jù)，因此更適合在聯(lián)邦學(xué)習(xí)中的不同類型的邊緣節(jié)點中應(yīng)用.2)更好地保護了數(shù)據(jù)隱私.本算法避免了將多種異構(gòu)數(shù)據(jù)同時發(fā)送至同一處進行訓(xùn)練而可能存在的隱私泄露風(fēng)險.3)大大降低了傳輸帶寬.本算法只需傳輸提取該邊緣節(jié)點擁有的異構(gòu)數(shù)據(jù)對應(yīng)的特征提取子網(wǎng)絡(luò)模型參數(shù)，而無需傳輸提取所有異構(gòu)數(shù)據(jù)特征的模型參數(shù).

3.3 多節(jié)點異構(gòu)數(shù)據(jù)融合實驗分析

為驗證本文算法在聯(lián)邦學(xué)習(xí)框架下對多源異構(gòu)數(shù)據(jù)融合的性能，本節(jié)實驗將從2個方面對本文算法的性能進行評估：首先通過對訓(xùn)練子節(jié)點上的異構(gòu)數(shù)據(jù)的部署來驗證本文算法對異構(gòu)數(shù)據(jù)的自適應(yīng)能力.如表5所示，對于訓(xùn)練子節(jié)點上數(shù)據(jù)集的具體部署策略主要分成3類：1)單模態(tài)數(shù)據(jù)，即各個訓(xùn)練子節(jié)點上的數(shù)據(jù)集僅為單一結(jié)構(gòu)的數(shù)據(jù)；2)雙模態(tài)數(shù)據(jù)，即各個訓(xùn)練子節(jié)點上的數(shù)據(jù)集為任意2種結(jié)構(gòu)的數(shù)據(jù)；3)三模態(tài)數(shù)據(jù)，即各個訓(xùn)練子節(jié)點上擁有所有結(jié)構(gòu)的數(shù)據(jù).其次，通過同一種多節(jié)點異構(gòu)數(shù)據(jù)部署策略下訓(xùn)練的模型，在不同模態(tài)的異構(gòu)數(shù)據(jù)上的表現(xiàn)，驗證本文算法的普適性和泛化性.在本實驗中，采用的特征提取數(shù)的組合(

R

，

R

，

R

)=(8，8，16)

.

Table 5 Multi-Node Heterogeneous Data Deployment Strategy

3.3.1 回歸任務(wù)

對于回歸任務(wù)，評價指標(biāo)為

MAE

和

Corr

.實驗結(jié)果如表6所示，對于回歸任務(wù)來說，根據(jù)何種模態(tài)數(shù)據(jù)訓(xùn)練出的模型在該種模態(tài)數(shù)據(jù)上的性能表現(xiàn)最為顯著.模型的預(yù)測值和樣本的相關(guān)性隨著訓(xùn)練模態(tài)數(shù)的增加而顯著提升，且多模態(tài)訓(xùn)練模型對模態(tài)間潛在聯(lián)系的學(xué)習(xí)具有向下兼容性.

在回歸任務(wù)上，當(dāng)訓(xùn)練數(shù)據(jù)的模態(tài)數(shù)越高，模型在與訓(xùn)練集模態(tài)數(shù)不同的測試集上的性能表現(xiàn)越好.這是因為多模態(tài)模型在訓(xùn)練的過程中，除了學(xué)習(xí)各個模態(tài)本身具有的特征以外，對各個模態(tài)之間的潛在聯(lián)系也進行了學(xué)習(xí)，因此，對于高模態(tài)數(shù)的訓(xùn)練模型來說，學(xué)習(xí)到的各個模態(tài)之間潛在聯(lián)系的組合種類也就越多，回歸任務(wù)的性能就越好.

Table 6 Performance of Regression Tasks on the MOSI Dataset

3.3.2 分類任務(wù)

對于分類任務(wù)，指標(biāo)為

Acc

_2，

F

1，

Acc

_7，其中

Acc

_2和

F

1為二分類任務(wù)評價指標(biāo)，

Acc

_7為多分類任務(wù)評價指標(biāo).實驗結(jié)果如表7所示，根據(jù)何種模態(tài)數(shù)據(jù)訓(xùn)練出的模型在該種模態(tài)數(shù)據(jù)上的性能表現(xiàn)最為顯著.單模態(tài)訓(xùn)練模型對于多模態(tài)數(shù)據(jù)的融合是通過云端聚合方式實現(xiàn)的，模型學(xué)習(xí)到的只是各個模態(tài)上各自的特征，而學(xué)習(xí)不到各個模態(tài)之間潛在的聯(lián)系，得到的只是具有本地訓(xùn)練模態(tài)特征的局部最優(yōu)解；而對于多模態(tài)訓(xùn)練，不論是雙模態(tài)還是三模態(tài)，模型訓(xùn)練的過程中除了各個模態(tài)本身特征的學(xué)習(xí)，同時還對模態(tài)之間的潛在聯(lián)系進行了學(xué)習(xí)，云端聚合也通過信息共享擴大了對數(shù)據(jù)樣本的學(xué)習(xí).

Table 7 Classification Task Performance on the MOSI Dataset

4 總 結(jié)

本文提出了一種基于聯(lián)邦學(xué)習(xí)的多源異構(gòu)數(shù)據(jù)融合算法，該算法利用了Tucker分解理論，通過構(gòu)建一個具有異構(gòu)數(shù)據(jù)空間維度的高階張量，實現(xiàn)對多模態(tài)數(shù)據(jù)的融合和記憶.相較于其他算法，該算法能夠在不進行數(shù)據(jù)互通的前提下，對多源異構(gòu)數(shù)據(jù)進行有效地融合，從而打破了由于隱私安全問題帶來的數(shù)據(jù)通信壁壘.同時，該算法能夠同時根據(jù)訓(xùn)練節(jié)點所擁有的異構(gòu)數(shù)據(jù)結(jié)構(gòu)，在不增加多余模型訓(xùn)練規(guī)模的前提下自適應(yīng)地對不同種類的異構(gòu)數(shù)據(jù)進行處理，從而在分布式訓(xùn)練中能夠更高效地實現(xiàn)對通信帶寬的利用率，減少不必要的傳輸，降低對網(wǎng)絡(luò)邊緣設(shè)備計算力和存儲力的要求，同時，模型也具有更高的普適性和泛化性.

作者貢獻申明

：莫慧凌負(fù)責(zé)方案的實施、實驗結(jié)果整理與分析以及論文撰寫與修訂；鄭海峰指導(dǎo)方案設(shè)計，把握論文創(chuàng)新性，并指導(dǎo)論文撰寫與修訂；高敏負(fù)責(zé)方案設(shè)計與實施，以及論文撰寫;馮心欣參與方案可行性討論.