基于單向流模型的自適應張量鏈式學習算法

馬寶澤，李國軍，邢隆，葉昌榮

（1.重慶郵電大學光電工程學院，重慶 400065；2.重慶郵電大學超視距可信信息傳輸研究所，重慶 400065）

0 引言

隨著傳感器的廣泛應用和物聯(lián)網(wǎng)的迅猛發(fā)展，泛在的實時信號和數(shù)據(jù)不斷產(chǎn)生，并催生了大數(shù)據(jù)智能、信息流處理、泛在感知等新興研究熱點，推動新生業(yè)態(tài)的數(shù)字、信息技術飛速發(fā)展。在數(shù)字經(jīng)濟賦能各行各業(yè)的大背景下，人們對高維實時/在線數(shù)據(jù)流自適應處理的需求處于持續(xù)增長狀態(tài)[1]。特別是，大量的應用程序在某一維度上隨著時間的推移將產(chǎn)生龐大的在線信號，及時有效地分析基于單向流模型的海量實時數(shù)據(jù)信息，實現(xiàn)信號在線自適應處理成為當前研究的熱點[2]。然而，信號流的數(shù)據(jù)規(guī)模越來越大、傳輸速度越來越快、潛在成分越來越復雜，這些固有的問題都給實時信號流處理帶來了挑戰(zhàn)。此外，信息技術的飛速發(fā)展使數(shù)據(jù)形式逐漸趨向高維化，通常需用張量的形式表征[3]。因此，利用張量分析的相關技術處理實時的信號流數(shù)據(jù)成為一種潛在研究手段。

張量分解技術已經(jīng)得到了廣泛的應用，成為解決高維信息分析處理的有效方法[4-5]，并成功應用于神經(jīng)科學[6-7]、無線通信[8-9]、社交網(wǎng)絡[10-11]等諸多領域。當使用張量表示信號/數(shù)據(jù)流時，張量分析技術通常被稱為張量跟蹤或自適應在線/實時流張量分解。CP（CANDECOMP/ PARAFAC）分解[12]和Tucker分解[13]作為經(jīng)典的張量分解方法，均為張量奇異值分解（SVD,singular value decomposition）的擴展形式。為了解決CP分解中的秩估計難題和克服Tucker分解中的數(shù)據(jù)維度災難缺點，Cichocki 等[14-15]擴展了2 種典型的多維張量分析模型，對張量網(wǎng)絡進行了全面的研究。其中，張量鏈式（TT,tensor train）分解[3,16]表現(xiàn)出處理高階張量的強大能力，成為多維信號處理和大規(guī)模數(shù)據(jù)分析領域的有效分析手段。然而，傳統(tǒng)張量分解方法均屬于批處理范疇，并不能對單向流模型下的多維信號流數(shù)據(jù)進行有效處理。

面向多維信號流數(shù)據(jù)的自適應分解問題，Nion 和Sidiropoulos[17]在傳統(tǒng)CP 分解的基礎上提出了基于同步對角化和加權最小二乘準則的2 種解決方案，為后續(xù)自適應張量學習算法的分析研究奠定了理論基礎。隨后，Mardani 等[18]提出了一種基于核范數(shù)正則化的指數(shù)加權最小二乘準則的在線子空間估計方法，通過跟蹤低秩子空間揭示了潛在的高階結構。Zhou 等[19]提出了一種有效的高階在線學習算法，可實現(xiàn)具有任意階數(shù)的動態(tài)張量CP 分解，突破了張量階數(shù)對自適應算法的限制。Nguyen 等[20]針對單向流的三階張量，提出了基于交替最小二乘法結合牛頓型優(yōu)化技術的快速自適應CP 分解算法。Kasai[21]假設數(shù)據(jù)位于低秩線性子空間中，提出了基于張量CP 分解的在線低秩子空間跟蹤算法。文獻[17-21]均是在傳統(tǒng)CP 分解的基礎上探究的自適應張量分解方法，為克服CP 分解中的秩估計難題，Liu 等[22]針對TT 分解框架介紹了一種增量TT 學習算法用于分解切塊隨時間遞增的張量模型；Wang 等[23]則研究了能夠分解工業(yè)物聯(lián)網(wǎng)張量流的 TT 方法。然而，上述2 種改進的TT 分解技術可以歸納為增量式批處理學習方法，缺乏對張量切片數(shù)據(jù)的自適應處理能力，并且存在跟蹤時變張量流數(shù)據(jù)較敏感的問題。

為了解決單向流模型中的高階張量實時分析問題，同時解決CP 秩選取難題且具備計算時變切片增量的在線分析能力，本文研究了一種自適應TT 學習算法。該算法在理論上可以處理任意階數(shù)的單向張量流數(shù)據(jù)，推導出時變增量對時序TT 核張量估計及TT 非時序核張量更新的影響，構造具有遺忘因子和正則項的指數(shù)權重最小二乘目標函數(shù)，利用塊坐標下降（BCD,block coordinate descent）學習策略依次估計出時序TT核并對非時序TT 核進行更新，從而實現(xiàn)對切片和切塊等增量式實時數(shù)據(jù)的自適應分析研究。在模擬數(shù)據(jù)實驗中，采用隨機生成的四階張量分別驗證了所提算法在增量大小、不同TT 秩、噪聲強度和時變強度等條件下的重構性能，并且利用三階張量進行了平均相對誤差和平均運算時間的對比實驗。此外，通過實測視頻數(shù)據(jù)驗證了多種算法對人體運動圖像/視頻實時分析的能力。

1 問題描述

1.1 傳統(tǒng)TT 分解模型

TT 分解對高階張量數(shù)據(jù)的處理具有以下優(yōu)點：1) 給定任意張量X，能夠找到一系列TT 核和TT 秩滿足TT 分解的要求；2) 相對于CP 秩的確定難題，TT 分解可以穩(wěn)定有效地估計TT 核張量；3) TT 分解為高階張量提供了一種節(jié)省內存的表示方式，并且能夠克服張量的維度災難缺點。然而，傳統(tǒng)的TT 分解屬于全量式批處理框架，在分析增量式自適應數(shù)據(jù)時存在重復計算和效率不高等問題。因此，在傳統(tǒng)TT 分解算法的基礎上開發(fā)能夠處理在線數(shù)據(jù)流的自適應張量分解方法具有重要的研究意義。

1.2 單向流模型

一般來說，時序增量 Yt可以表示為

其中，Lt表示時序增量的低秩成分，Nt表示噪聲張量，σ表示噪聲強度。低秩項Lt可以用向量、矩陣、核張量等形式表示，能夠應用于靜態(tài)和時變場景。綜上所述，單向流張量跟蹤問題可形式化表達如下：在第t時刻給定時序增量 Yt和 Xt-1的先前估計（核張量或張量因子），則需要及時跟蹤得到新的估計。

1.3 自適應TT 分解模型

在單向流模型中，實時張量 Xt在含噪聲環(huán)境下的TT 分解形式可以表示為

圖1 TT 張量流分解示意

2 算法說明

2.1 構建目標函數(shù)

由于在線數(shù)據(jù)流固有的時變性和非平穩(wěn)性，傳統(tǒng)批處理TT 分解方法在計算復雜度和數(shù)據(jù)存儲方面沒有優(yōu)勢，故需要研究一種能避免重復計算且有效跟蹤的自適應高階數(shù)據(jù)流分析方法。在自適應TT分解框架中，核張量的估計是研究重點。不考慮噪聲的情況下，估計TT 核張量的廣義目標函數(shù)可表示為

根據(jù)式(2)和自適應策略[17,20]可以將式(6)目標函數(shù)改寫為指數(shù)權重最小二乘的形式[18,21]，表示為

其中，ρ∈(0,1]表示遺忘因子，旨在降低觀測數(shù)據(jù)間距離的影響，并提高在動態(tài)環(huán)境中的跟蹤速度；μ表示正則化參數(shù)，旨在控制相鄰的連續(xù)時刻對應TT 核的時變程度。當ρ=1且μ=0時，式(6)和式(7)中的2 個目標函數(shù)是等價的。

2.2 核張量的學習策略

其中，A 和B 為虛擬張量，分別定義為

2.3 具體步驟

2.3.1估計時序TT 核

在給定時序張量 Yt和解析張量 Ut-1的情況下，

2.3.2依次計算非時序TT 核

其中，ρ∈(0,1]表示遺忘因子，μ表示正則化參數(shù)。為方便計算，將式(15)改寫為矩陣形式，可表示為

3 實驗分析

3.1 模擬數(shù)據(jù)仿真

令四階張量的維度為[10 15 20 1000]，且假設最后一個維度時變，可稱為時序點數(shù)，TT秩固定為[5 5 5]，噪聲強度固定為σ=10-3，時變強度固定為ε=10-3，增量大小分別為J={7,5,3,1}，并在時序點數(shù)為550 時增加突變干擾，即此刻的突變強度為1。不失一般性，鑒于參數(shù)選取不是本文研究的重點內容，故設定所提算法的遺忘因子ρ=0.5，正則化參數(shù)η=1，μ=1，且仿真結果均是算法迭代30 次的平均值。非平穩(wěn)條件下，增量大小對算法性能的影響如圖2所示。由圖2 可知，算法在J=1時比在J={7,5,3}時的相對誤差收斂速度更快且穩(wěn)態(tài)誤差更小。隨著時序增量的增加，張量分解相對誤差收斂速度變慢、穩(wěn)態(tài)誤差也隨之變大，說明所提算法在處理時序切塊方面的性能還有待提升。此外，所提算法表現(xiàn)出對張量切片較強的學習能力，符合自適應算法對數(shù)據(jù)逐點處理的要求，故其余實驗均采用張量切片J=1作為時序增量。

圖2 增量大小對算法性能的影響

固定時序增量為時序切片，選取TT 秩分別為[2 2 2]、[4 4 4]、[6 6 6]和[8 8 8]，其余實驗條件和參數(shù)不變。TT 秩對算法性能的影響如圖3 所示。由圖3 可知，當TT 秩為[8 8 8]時，所提算法在時序突變后出現(xiàn)了難以收斂的情況，說明較大的TT 秩會限制TT 分解的低秩表征能力。此外，當TT 秩較小時，算法雖然收斂速度快但穩(wěn)態(tài)誤差不理想波動較大。因此，綜合考慮收斂速度和穩(wěn)態(tài)誤差兩方面因素，TT 秩的選取不宜過大或過小，需根據(jù)張量最小維度值選擇，故令模擬數(shù)據(jù)仿真實驗中的TT 秩為[5 5 5]。

圖3 TT 秩對算法性能的影響

為了驗證所提算法的抗噪性，分別選取噪聲強度σ={10-4,10-3,10-2,10-1}進行魯棒性實驗，其余仿真條件和參數(shù)不變。噪聲強度對算法性能的影響如圖4所示。由圖4 可知，選取的4 個噪聲強度對算法的收斂速度影響不大，其收斂曲線基本一致。但當σ=10-1時，算法的穩(wěn)態(tài)誤差明顯比其他噪聲強度大，說明在噪聲強度為σ={10-4,10-3,10-2}時所提算法表現(xiàn)出了較好的魯棒性。此外，所提算法對較大的噪聲強度敏感，當噪聲強度較小時算法性能變化不大，并且不同噪聲強度下算法在突變前收斂速度也比較接近。

圖4 噪聲強度對算法性能的影響

固定實驗的其余仿真條件和參數(shù)，分別選取時變強度ε={10-4,10-3,10-2,10-1}驗證所提算法性能。時變強度對算法性能的影響如圖5 所示。由圖5 可知，時變強度越大，算法的穩(wěn)態(tài)誤差也越大，且在突變干擾后收斂速度主要受強時變的影響，如ε=10-1。當ε={10-4,10-3}時，算法的性能比較理想，因此不斷提升算法的抗時變能力是自適應張量分解研究的優(yōu)化方向。

圖5 時變強度對算法性能的影響

上述實驗分別從增量大小、TT 秩選取、噪聲強度和時變強度幾個方面驗證了所提算法的性能，接下來將4 種自適應張量分解方法作為對比算法，分別為PARAFAC-RLST[17]、PARAFAC-SDT[17]、TeCPSGD[18]和SOAP[20]，來分析隨機生成的在線三階張量。其中，張量維度為[150 200 1200]，噪聲強度和時變強度均固定為 10-3，增量J=1，在時序點數(shù)為600 時增加突變干擾，且對比算法的秩均為10，所提算法的TT 秩為[10 10]。5 種算法估計張量流的相對誤差對比如圖6 所示。由圖6 可知，PARAFAC-RLST 和PARAFAC-SDT 具有相似的收斂速度和穩(wěn)態(tài)誤差，突變后的穩(wěn)態(tài)誤差均不理想，但突變前后的收斂速度較快。TeCPSGD 收斂速度最慢，且穩(wěn)態(tài)誤差較大，算法收斂困難。SOAP 在突變前表現(xiàn)出與PARAFAC-RLST 和PARAFAC-SDT 相似的算法性能，但突變后相對誤差幾乎不變，說明SOAP 方法不適用于存在突變的數(shù)據(jù)分析或者信號處理應用。相較于對比算法，所提算法在突變前后均表現(xiàn)出了良好的收斂速度和穩(wěn)態(tài)誤差。

圖6 5 種算法估計張量流的相對誤差對比

不同算法處理模擬數(shù)據(jù)的平均運算時間如圖7所示。由圖7 可知，PARAFAC-RLST 平均運算時間最長，其次分別為 TeCPSGD、SOAP 和PARAFAC-SDT，所提算法平均運算時間最短，說明BCD 學習策略中僅處理時序增量的方式在算法運算時間方面具有優(yōu)勢。綜上所述，不同于對比算法僅能處理三階張量，所提算法能夠處理任意階數(shù)的張量數(shù)據(jù)。此外，綜合考慮相對誤差指標和平均運算時間可知，所提算法更新非時序TT 核張量的并行學習策略不僅能夠縮短算法運算時間，而且可以獲取穩(wěn)健的估計性能。

圖7 不同算法處理模擬數(shù)據(jù)的平均運算時間

3.2 實測數(shù)據(jù)實驗

將視頻信號[24]作為實測數(shù)據(jù)驗證算法張量重構性能，選取數(shù)據(jù)庫中名為‘eli_wave1’的視頻作為自適應張量算法的輸入信號。其中，視頻屬性包括：數(shù)據(jù)時長為5 s，幀率為25 frame/s，幀的高度為144，幀的寬度為180，每個像素的位數(shù)為24，視頻格式為RGB24，則視頻流中的幀數(shù)為125。為了更公平地驗證算法性能，將每個視頻幀數(shù)據(jù)對應的RGB 圖像轉換為灰度圖像，故輸入信號的維度為144×180×125。將視頻幀作為時序增量，不同算法處理視頻數(shù)據(jù)的平均相對誤差如圖8 所示。由圖8 可知，PARAFAC-RLST收斂速度較快，但相對誤差較大；PARAFAC-SDT收斂速度最慢，在90 幀左右才收斂；所提算法性能明顯優(yōu)于對比算法，其次是 SOAP 和TeCPSGD。對比圖6 可知，實測數(shù)據(jù)的時變強度小，因而所有算法的性能曲線均波動小且平滑，且算法的相對誤差明顯變差。

圖8 不同算法處理視頻數(shù)據(jù)的平均相對誤差

不失一般性，選取各算法重構后張量的第80 幀進行可視化，人體運動部分以虛線橢圓形標注，可視化灰度圖如圖9 所示。所提算法重構的可視化灰度圖與原始視頻幀的灰度圖最接近，基本可以分辨出人體輪廓。而SOAP 算法僅能識別出人體位置，難以辨別動作狀態(tài)，其余3 種對比算法可視化灰度圖較差。圖9 的可視化結果與圖8 中虛線方框對應，即當相對誤差ξ＞10-1時，自適應張量分解算法重構的張量切片可視化不理想，難以識別人體動作，不能應用于人體運動圖像/視頻實時分析。此外，所提算法在實測視頻數(shù)據(jù)的實驗中表現(xiàn)出了優(yōu)于對比算法的張量切片重構能力。

圖9 第80 幀的可視化灰度圖

4 結束語

由于泛在的實時信號/數(shù)據(jù)大多呈現(xiàn)高維結構，將給傳統(tǒng)批處理張量分解方法和受階數(shù)限制的自適應張量分析方法帶來挑戰(zhàn)，因此本文研究了一種基于單向流模型的自適應TT 學習算法。通過推導單向流時序增量對TT 核更新的影響，將核張量分為時序和非時序兩類，并構造相應的目標函數(shù)利用BCD 學習策略分別估計更新。實驗表明，所提方法能夠處理三階和四階的模擬數(shù)據(jù)，在平均相對誤差和平均運算時間方面優(yōu)于對比算法，且在視頻實時分析研究中重構張量數(shù)據(jù)具有一定的意義。此外，在現(xiàn)有工作基礎上研究基于多向流模型的自適應張量學習算法將是下一步重點探究方向。