結合稀疏先驗與多模式分解的低秩張量恢復方法

楊秀紅，茍?zhí)锢?，薛怡，金海燕?，石爭浩，2

1.西安理工大學計算機科學與工程學院，西安 710048；2.陜西省網(wǎng)絡計算與安全技術重點實驗室，西安 710048

0 引言

張量作為向量和矩陣的多維擴展，在現(xiàn)實生活中發(fā)揮著越來越重要的作用，例如，視頻圖像、高光譜成像（劉盛 等，2021）、磁共振成像（Yama 等，2020）和計算機斷層掃描（Zhang 等，2020b）等。然而，在實際應用中，由于獲得的張量數(shù)據(jù)可能是不完整的，嚴重降低數(shù)據(jù)質量以及限制應用。張量補全（tensor completion，TC）旨在從不完整的觀測中恢復缺失條目，在計算成像中有許多應用，如高光譜圖像恢復（楊潤宇 等，2019）、彩色圖像/視頻補全（Jiang等，2023；Qin 等，2022）和人臉識別（Fu 等，2019）。對于這種不適定性逆問題，當考慮缺失元素和已觀測元素之間的關系時，與矩陣數(shù)據(jù)的結構先驗相比，張量數(shù)據(jù)的結構先驗信息是復雜的，往往難以確定（Cichocki 等，2017）。張量數(shù)據(jù)能夠描述真實世界中多個數(shù)據(jù)通道之間結構特征的耦合，相對低維的相關特征信息被嵌入了更高維的度量中，因而結構先驗信息的表示比矩陣數(shù)據(jù)更加復雜。

張量分解可有效挖掘張量數(shù)據(jù)的內在特征，但傳統(tǒng)分解方法誘導的張量秩函數(shù)無法探索張量不同模式之間的相關性；另外，傳統(tǒng)張量補全方法通常將全變分約束施加于整體張量數(shù)據(jù)，無法充分利用張量低維子空間的平滑先驗。為了解決這兩個問題，本文旨在有效提取關于潛在張量結構的有用信息，以提高缺失元素的恢復性能。

1 相關研究現(xiàn)狀

張量秩最小化方法在TC 中有著廣泛的應用。然而，與矩陣秩不同，張量秩的定義并不是唯一的?；诓煌膹埩糠纸?，張量秩有不同的定義。Tucker秩可以定義為張量沿著每個模式展開矩陣秩的多線性組合。HaLRTC（high accuracy low-rank tensor completion）（Liu 等，2013）將矩陣核范數(shù)擴展到高維張量，建立沿著張量每個模式方向的展開矩陣秩之和（sum-of-nuclear-norms，SNN），并將SNN 作為Tucker 秩函數(shù)的凸近似，同時將張量補全表示為一個凸優(yōu)化問題。Mu 等人（2014）證明了將SNN 作為張量秩函數(shù)的凸松弛是次優(yōu)的，因此為縮減SNN 與非凸模型之間的差距，提出一種更適合的凸松弛，在保持張量低秩性的同時，將張量展開成一組更平衡的矩陣。然而，現(xiàn)有的方法與非凸模型相比，時間、計算復雜度仍然不是最優(yōu)的，并不適合處理大規(guī)模張量數(shù)據(jù)。Han等人（2017）受矩陣截斷核范數(shù)（Guo等，2017）啟發(fā)，提出一種張量截斷核范數(shù)，并在目標函數(shù)中定義了一個多維離散余弦變換的1-范數(shù)約束的稀疏正則化項?；趶埩科娈愔捣纸猓╰ensor singular value decomposition，T-SVD）的多線性秩和張量管秩可用于構造張量秩最小化模型，Song 等人（2020）提出基于變換的張量管秩，使用酉變換代替?zhèn)鹘y(tǒng)張量奇異值分解中的離散傅里葉變換，可以得到更低的張量管秩，對于魯棒性張量補全更加有效。張量管核范數(shù)的部分和（partial sum of tubal nuclear norm，PSTNN）（Jiang 等，2020）研究了T-SVD（tensor singular value decomposition）框架下的張量恢復問題，即提出張量管核范數(shù)的部分和（PSTNN）作為張量管多秩的替代物，建立了基于PSTNN 的張量恢復模型。Chen等人（2021）提出一種基于自動加權機制的張量鏈秩魯棒性補全模型，該模型可利用一個自動加權機制來平衡同一張量中不同矩陣的重要性。傳統(tǒng)的基于張量環(huán)分解模型對于張量秩的選擇非常敏感，因此，Long等人（2021）提出了一種基于貝葉斯方法的低秩張量環(huán)補全方法，通過自動學習數(shù)據(jù)的低秩結構來恢復圖像。利用稀疏誘導的分層先驗約束因子張量的水平切片和正向切片，采用貝葉斯推理得到張量環(huán)秩。然而這些傳統(tǒng)的方法只能獨立地利用張量每個模式的低秩性，無法有效利用張量多個維度之間緊密的多線性相互作用的先驗知識。

低秩張量分解（low-rank tensor decomposition，LRTD）是TC 的另一條研究主線，它可以解決張量秩最小化的部分缺點。然而，LRTD 面臨的挑戰(zhàn)是設計一個合適的分解模型來表示不完整張量的低秩結構。Tucker 分解（Tucker 等，1966）是指將一個張量分解為一個核張量以及一組因子矩陣的模式乘積之和。隨著張量缺失條目的增加，因子分解方案可能會因錯誤預設秩大小，從而導致過擬合現(xiàn)象。為了解決這一難題，并實現(xiàn)在補全張量的同時捕獲底層的模型結構。Chen 等人（2014）提出一種在張量補全的同時進行張量分解的方法（simultaneous tensor decomposition and completion，STDC）。TRLRF（tensor ring low-rank factors）（Yuan 等，2019a）建立了多線性張量秩與TR（tensor ring）因子秩之間的理論關系，使得低秩約束可以隱式地在TR 潛在空間上進行。Zeng（2021）通過對Tucker 分解的深入研究，提出一種新的基于多模式核張量分解的低秩張量補全模型，同時提出該模型的非凸松弛形式。統(tǒng)計先驗的幫助下，最近的LRTD 方法利用貝葉斯框架來增強TC 模型，Zhang 等人（2019）提出一種基于自適應低秩表示的張量補全模型，在貝葉斯框架中分別表示潛在的張量低秩和非低秩結構。在T-SVD分解框架（Zhang 和Aeron，2017）中，張量數(shù)據(jù)可以用一個定義的張量乘積算子來表示，元素之間具有循環(huán)卷積和乘法運算?；趶埩科娈愔捣纸猓↙u 等，2020；Zhang 等，2019）下張量多秩和張量管秩的定義，建立了張量恢復模型。張量鏈分解（Oseledets，2011）是一種高級張量網(wǎng)絡分解模型，可將高維張量分解為一系列三維核張量，這些核張量相互作用，在張量補全領域中有著廣泛的應用。Yuan 等人（2019b）提出兩種基于張量鏈分解的張量補全算法，分別是張量鏈加權優(yōu)化（tensor train weighted optimization，TTWOPT）和張量鏈隨機梯度下降（tensor train stochastic gradient descent，TT-SGD）優(yōu)化張量鏈分解因子，用以捕獲張量數(shù)據(jù)的潛在特征，重構缺失數(shù)據(jù)。然而，張量鏈分解和張量環(huán)分解只能建立相鄰兩個分解因子之間的聯(lián)系，并且對張量模式排列方式特別敏感，無法靈活地表示張量。因此，Zheng 等人（2021）提出全連接張量網(wǎng)絡分解。全連接張量網(wǎng)絡分解的優(yōu)勢在于能夠充分描述任意兩種張量模式之間的內在關聯(lián)，并具有充分表征全局相關性和保持其換位不變性的能力。

低秩分解作為一種強大的張量分析工具，在深度學習領域也有著廣泛的應用。Hou 等人（2017）為解決遙感圖像檢測問題，提出了一種基于低秩的顯著性計算和深度特征表示方法。利用卷積神經網(wǎng)絡（convolutional neural network，CNN）提取超像素特征，并對兩幅輸入圖像的變化特征進行低秩分解，生成顯著性映射，表示每個像素的變化概率。Luo 等人（2022）提出一種非線性多層神經網(wǎng)絡，僅利用觀測張量來學習非線性變換。該網(wǎng)絡利用變換張量的低秩表示和觀測張量與重構張量之間的數(shù)據(jù)擬合來學習非線性變換。Wang 等人（2022）提出了一種新的基于耦合非線性變換（coupled nonlinear transform，CoNoT）的低秩張量表示，以獲得更好的低秩近似，并使用CNN 作為CoNoT，它可以以無監(jiān)督的方式僅從觀察到的多維圖像中學習。針對現(xiàn)有張量補全方法在表征低秩結構方面的能力有限問題，Xue 等人（2022）提出一種基于稀疏性的多層張量分解（multilayer sparsity-based tensor decomposition，MLSTD）方法，以描述具有隱藏在張量中的隱式稀疏屬性的復雜層次知識，提高低秩張量補全的效果。Yu和Yang（2023）定義了一個新的非凸張量偽范數(shù)來代替張量核范數(shù)的加權和（weighted sum of the tensor nuclear norm，WSTNN）作為更緊秩近似，然后引入時空矩陣以利用低秩靜態(tài)背景和稀疏前景的固有時空特征，最后引入了一個非相干項來約束稀疏前景和動態(tài)背景以提高可分性。

全變分（total variation，TV）（Chen 和Zhang 等，2021）正則化是一種圖像去噪和圖像恢復技術，通過對圖像灰度級梯度度量，可描述圖像的邊緣和紋理信息，為圖像處理（He 等，2019）和模式識別（Zhang等，2020a）應用提供了新思路。在TC 問題中，TV 項通常被納入到一個低秩框架中，以便表征在不同維度上的局部分段平滑特性和全局低秩結構，比較典型的工作有MF-TV（matrix factorization-total variation）（Ji 等，2016）和LRTC-TV-II（low-rank tensor completion total variation-II）（Li 等，2017；Ko 等，2020）。Wang等人（2018）提出一種基于各向異性空間光譜全變分正則化（anisotropic spatial-spectral total variation，SSTV）與Tucker 分解的高光譜圖像去噪算法。在全變分的基礎之上，Yang 等人（2022）提出將分數(shù)階有界變分空間中的分數(shù)階全變分納入至低秩張量補全模型中，以便高效恢復高損失率的多通道視覺圖像。然而，基于TV的張量局部稀疏性的描述無法利用張量子空間稀疏先驗知識。

本文在張量秩最小化基礎上，融入多模式張量分解技術描述全局低秩特性；對于張量局部稀疏性，本文在多模式張量分解框架中假設因子矩陣具有潛在的局部分段平滑特性，即利用因子梯度稀疏性衡量局部稀疏性。基于以上兩點，提出了一個結合全局低秩性與局部稀疏性的張量恢復模型，主要貢獻如下：1）受多模式核張量分解技術的啟發(fā)，將多模式張量分解技術與張量秩最小化思想相結合，可以有效利用張量不同模式之間的相關性。2）利用多模式張量分解模型的因子梯度稀疏先驗作為有效約束，來表征張量的底層子空間局部結構的稀疏性。3）提出一種稀疏先驗多模式張量分解恢復模型，同時利用張量的全局低秩性與局部稀疏性來恢復受損的張量數(shù)據(jù)。其中，對原始張量施加核范數(shù)約束，以此捕獲張量的全局低秩性，并對因子矩陣施加因子梯度稀疏正則化約束，以便探索張量子空間的局部稀疏性，從而進一步提高了張量恢復性能。

最終，本文采用一種基于乘子交替方向法（alternating direction method of multipliers，ADMM）（Boyd 等，2011）的有效優(yōu)化算法來求解所提模型，其中每個變量和相關參數(shù)都可以通過求解封閉子問題進行更新。

另外，本文模型可應用于深度學習網(wǎng)絡的輕量化中。例如：對張量數(shù)據(jù)在局部稀疏性的約束下進行低秩分解，采用結構化蒸餾方式保留最主要的網(wǎng)絡參數(shù)，去除冗余參數(shù)，在盡量保持網(wǎng)絡性能的前提下，達到輕量級的目的，所以本文算法有著重要的研究價值。

2 相關工作

2.1 本文相關符號

為便于介紹本文方法以及張量代數(shù)，本小節(jié)統(tǒng)一規(guī)定所使用的符號。標量表示為小寫字母，例如x，y；向量表示為粗體小寫字母，例如x，y；矩陣表示為粗體大寫字母，例如X，Y；張量表示為加粗花體字母，例如X，Y。對于兩個大小相同的N階張量，其內積可定義為，其Frobenius 范數(shù)定義為‖X‖F(xiàn)=。

張量模式-n排列：給定一個三階張量其模式-n排列可定義為或permute(X，k)，的第i個模式-3切片是X沿著模式-i方向的切片，即，其逆運算可定義為。

張量模式-n乘積：張量模式-n乘積可以看做是矩陣乘積向高維張量的擴展，對于X∈和矩陣U∈的模式-n乘積可以表示為Z=X×nU，張量X的模式-n乘積的展開形式可表示為。

2.2 相關工作

2.2.1 多模式張量分解

多模式張量分解可將整體張量沿著每個模式分解為一組低維張量和一組因子矩陣。對于一個三階張量X∈，其多模式張量分解可定義為

式中，Cn為因子張量，An為因子矩陣。多模式張量分解如圖1所示。

圖1 三階張量的多模式張量分解Fig.1 Multi-mode tensor factorization of a third-order tensor

2.2.2 張量秩最小化模型

基于張量秩最小化模型可表述為

式中，X是潛在的張量，M是觀測到的張量，Ω則是觀測元素的索引集。

張量秩有很多種形式，如Tucker秩、CP秩、TT秩和TR 秩等。由于直接描述張量秩是一個NP-hard問題，在矩陣補全中常常利用矩陣非零奇異值的數(shù)量，即核范數(shù)來代替矩陣秩函數(shù)。因此將核范數(shù)的概念推廣至描述張量秩，優(yōu)化模型（2）可以表述為

式中，‖·‖*為在不同張量分解技術誘導下產生的張量秩函數(shù)，即張量核范數(shù)。

基于張量秩最小化模型本質上是尋找張量秩函數(shù)的近似代替，將張量補全問題優(yōu)化為張量核范數(shù)最小化問題，并試圖在張量補全過程中，保持張量內部精細結構。在恢復不完整張量時，基于張量秩最小化模型比基于張量分解模型在準確度和效率方面表現(xiàn)更加突出。

3 本文方法

本節(jié)在張量秩最小化模型的基礎上，提出結合稀疏先驗與多模式張量分解的低秩張量恢復（sparsity prior multi-modal tensor factorization completion，SMTFC）方法。該方法核心思想是在張量秩最小化的同時，利用多模式張量分解技術處理張量不同模式方向的相關性，對整體張量施加低秩約束，以此捕獲張量全局低秩特性，同時完成張量分解與張量恢復任務。此外，對多模式分解矩陣施加因子梯度平滑約束，以此探索張量低秩子空間的稀疏先驗。

3.1 張量多模式相關性分析

傳統(tǒng)的基于張量秩最小化的低秩張量補全模型是在張量低秩屬性約束下，通過最小化張量秩優(yōu)化恢復張量，張量秩可以是Tucker秩、TNN等。大量研究表明，張量數(shù)據(jù)的各個模式間具有相關性（Zheng等，2020），例如，高光譜圖像是同一場景在不同光譜波段上產生的不同成像結果，這表明光譜圖像在光譜維度中存在較高的相關性；一段視頻包含多幀圖像，在時間維度上不同的幀存在著高度相關。如圖2所示，圖2（a）為256×256×80 的Urban 高光譜圖像，圖2（b）是圖2（a）沿著每個模式展開矩陣的奇異值曲線。

圖2 張量不同模式之間的相關性Fig.2 Correlation between different modes of a tensor（（a）Urban hyperspectral image；（b）singular value curve plot for unfolding matrix along each mode of（a））

從圖2可以觀察到，3種模式展開矩陣的奇異值都呈現(xiàn)銳減趨勢，且只有一小部分奇異值大于零，這意味著張量在每個模式方向都是相關的，同時也反映了其在每個模式方向上均位于低秩子空間上。但Tucker分解誘導的Tucker秩和T-SVD誘導的TNN無法靈活處理張量的多模式相關性，因此將多模式張量分解技術融入張量秩最小化模型中，優(yōu)化后的張量秩最小化模型可表示為

3.2 稀疏性分析

式（4）將低秩性推廣至沿著張量每個模式方向的全局空間，稱為張量全局低秩性，但其缺乏對張量局部信息的描述。對于一個張量，多模式張量分解框架中的每個因子矩陣都包含著與其相應模式的對應潛在信息，并揭示了模式內部和模式之間有價值的相關輔助信息。自然的張量數(shù)據(jù)通常具有局部稀疏性，例如高光譜圖像中的道路和建筑等具有相似性，以及視頻的幀之間具有較強的連續(xù)性，沿著時域方向靜態(tài)背景的可重復性，這些均可以視為局部稀疏性。在數(shù)學上，對于給定的N階張量X∈，其張量子空間局部稀疏性可表示為

式中，Ln∈為平滑矩陣，Ln(i，i)=1，Ln(i，i+1)=-1，平滑矩陣其他元素為零。p是選擇稀疏性約束類型的參數(shù)，當p=1 時，f(An)為基于拉普拉斯分布的稀疏先驗，當p=2 時，f(An)為基于高斯分布的稀疏先驗。

為進一步驗證局部稀疏先驗有效性，在一個開源高光譜數(shù)據(jù)集上進行實驗。圖3 為一個三階張量的多模式張量分解因子梯度稀疏性示意圖。

圖3 三階張量的多模式張量分解因子梯度稀疏性示意圖Fig.3 Illustration of the gradient sparsity of the multi-mode tensor factorization factor for a third-order tensor

圖3 左側是大小為256×256×80 的Urban 高光譜數(shù)據(jù)集及其多模式張量分解示意圖，右側為因子梯度稀疏性示意圖。在圖3 中，因子梯度直方統(tǒng)計圖的絕大多數(shù)因子梯度值為零或接近零，可以證明多模式張量分解因子具有局部稀疏性。

綜上，本文在張量秩最小化模型的基礎上，結合多模式張量分解與局部稀疏先驗優(yōu)化，構建SMTFC模型，即在張量潛在子空間假設的基礎上，選擇局部稀疏性先驗用以保留局部分段的相似性。

SMTFC模型的目標函數(shù)表示為

式中，λn＞0，τn＞0為正則化參數(shù)，同樣利用Frobenius范數(shù)約束，從而防止在優(yōu)化迭代中過擬合。此外，與Xue等人（2022）方法相同，這里p=1。

4 整體算法流程

本節(jié)在稀疏先驗與多模式張量分解的低秩張量恢復模型構建基礎上，對張量恢復模型展開討論，并對模型優(yōu)化求解過程進行詳細闡述，以便實現(xiàn)基于稀疏先驗與多模式張量分解的低秩張量恢復任務。

4.1 模型說明

圖4 為SMTFC 模型的整體流程示意圖。如圖4所示，本文算法首先通過多模式張量分解將不完整張量分解為一系列低維因子張量與因子矩陣，使用張量核范數(shù)對整體張量進行低秩約束，并利用張量奇異值分解對整體張量進一步分解。與此同時，為進一步探索張量潛在子空間的先驗條件，對因子矩陣施加因子梯度稀疏正則化約束。通過對整體張量施加張量核范數(shù)約束，可有效捕獲張量全局低秩特性，利用多模式張量分解可有效處理張量不同模式之間的相關性，同時因子梯度稀疏先驗可充分利用張量潛在信息，從而進一步提高張量恢復性能。

圖4 SMTFC模型示意圖Fig.4 Illustration of SMTFC model

4.2 求解過程

與LRTC-3DTV 模型優(yōu)化求解過程相似，本節(jié)同樣采用ADMM 技術求解優(yōu)化該模型。在實際應用中為方便后續(xù)的優(yōu)化求解，可以利用張量模式-n排列操作對原始張量進行permute 運算，即=permute(X，n)，n=1，2，3。將模式-n乘積轉化為模式-3 乘積，轉化后的模式-n分解可表示為。因此，通過permute 運算優(yōu)化后的式（6）可表述為

利用增廣拉格朗日乘子法將式（8）優(yōu)化為增廣拉格朗日函數(shù)，即

式中，張量Wn，Tn以及矩陣均為拉格朗日乘子，ρ1，ρ2和ρ3為懲罰參數(shù)，隨后通過以下解決方案更新各個變量。

這個最小化問題可以通過軟閾值收縮運算解決，即

式中，shrinkage?(x)=sign(x).*max{|x|-?，0}，“.*”代表元素級乘積，x為矩陣中的一個元素。

對于上述優(yōu)化子問題（13）可以視為sylvester 矩陣方程。

式中，F(xiàn)1為一維離散傅里葉變換（discrete fourier transform，DFT）矩陣。通過sylvester 矩陣方程快速求解法并結合式（13）可以求解式（12），即

式中，fold表示將H矩陣沿模-3折疊為張量。

上述優(yōu)化子問題可以通過張量奇異值閾值算子（tensor singular value thresholding，t-SVT）解決，因此的求解方式可表示為

式中，D?(Z)=U *S?*VT，這里U，S，V為張量Z進行T-SVD 后產生的張量，S?滿足以下形式：，fft為傅里葉變換，?為閾值。

5）更新變量X。通過固定其他變量，可得到關于X的優(yōu)化子問題，即

因此，關于X的優(yōu)化子問題可以利用如下優(yōu)化方案解決，即

更新拉格朗日乘子Wn、Tn以及矩陣，具體計算為

輸入：觀測張量M，正則化參數(shù)αn、λn，觀測張量條目索引Ω。

輸出：恢復張量X。

2）fork=1，2，…，Kdo；

7）更新變量X，通過式（21）求解；

10）end。

5 實驗與結果分析

本文將在高光譜圖像（hyperspectral image，HSI）數(shù)據(jù)集、多光譜圖像（multispectral image，MSI）數(shù)據(jù)集、MRI（magnetic resonance imaging）數(shù)據(jù)集以及YUV（也稱YCbCr）視頻數(shù)據(jù)集上進行對比實驗。

1）實驗環(huán)境。軟件環(huán)境為windows11 64 位，MATLAB R2021b，實驗硬件環(huán)境為AMD Ryzen 7 6800H處理器和16.0 GB RAM內存。

2）評估準則。本文將恢復張量數(shù)據(jù)的所有通道的PSNR（peak signal-to-noise ratio）和SSIM（structural similarity）分別取平均值，記為MPSNR 和MSSIM。PSNR的定義為

式中，MAX表示圖像中最大的像素，MSE表示恢復圖像與原始圖像X的均方誤差。MSE定義為

式中，N代表圖像像素的總個數(shù)。

3）對比方法。選擇HaLRTC（Liu等，2013）、LRTCTV-II（Li等，2017）、MF-TV（Ji等，2016）、TRLRF（Yuan，2019a）、PSTNN（Jiang 等，2020）、LPRN（solve the nonconvex LRTC model）（Yu 和Yang，2023）、LGNet（Quan等，2022）和GP-WLRR（global prior refined weighted low-rank representation）（Liao等，2024）作為對比方法。其中，后兩種是深度學習的方法。在預訓練參數(shù)的基礎上，LGNet和GP-WLRR使用高光譜圖像數(shù)據(jù)集、多光譜圖像數(shù)據(jù)集、YUV視頻圖像數(shù)據(jù)集、fastMRI醫(yī)學圖像數(shù)據(jù)集進行參數(shù)微調，數(shù)據(jù)集均為200 幅圖像。設置LGNet 的學習率為0.000 2，epoch 為100；GP-WLRR的學習率為0.000 1，epoch為100。

4）參數(shù)設置。對于所有的張量恢復模型，迭代停止閾值條件均為ε=1.0×10-6，最大迭代次數(shù)K=300。本文方法懲罰參數(shù)=1.0×10-2，調優(yōu)參數(shù)β=1.1。與LRTC-TV-II相似，對于每組實驗=1.0×103，=1，αn=。

5.1 高光譜圖像

測試圖像為Urban、Washington DC Mall 高光譜圖像數(shù)據(jù)集，均由Hydice 傳感器取得，其中原始Urban 圖像數(shù)據(jù)集大小為307×307×210，去除嚴重吸水波段后大小為307×307×162，原始Washington DC Mall 圖像數(shù)據(jù)集大小1 208×307×191。實驗中Urban 和Washington DC Mall 高光譜圖像數(shù)據(jù)集大小為256×256×80。每個高光譜數(shù)據(jù)均可視為3 階張量，并將每個高光譜圖像進行歸一化處理。圖5 為本次實驗所使用到的高光譜圖像數(shù)據(jù)集。其中，圖5（a）（b）分別為高光譜圖像數(shù)據(jù)集Urban 和Washington DC Mall的第70波段圖像。

圖5 高光譜圖像數(shù)據(jù)集Fig.5 HSIs datasets（（a）Urban；（b）Washington DC Mall）

實驗中設置的3 種丟失率（missing rate，MR）分別為80%、90%、95%。為了驗證不同方法在高光譜圖像上的恢復性能，將從定量評價以及視覺評價的角度對不同的實驗方法進行評估。

在客觀評價指標方面，表1 為在各丟失率下不同恢復方法在Urban 以及Washington DC Mall 上恢復張量的MPSNR、MSSIM 值。如表1 所示，在所有實驗方法中，SMTFC 模型在客觀評價指標上均獲得最佳的恢復精度。在統(tǒng)計意義上，SMTFC 模型獲得最佳的恢復性能。

表1 不同恢復方法在高光譜圖像上的定量比較Table 1 Quantitative comparison of different completion methods for HSIs

在主觀視覺效果方面，圖6 和圖7 顯示了當MR為90%時，不同方法在高光譜圖像數(shù)據(jù)集Urban 和Washington DC Mall 的第70 光譜波段恢復結果的視覺評價，圖中數(shù)值為PSNR 值。以Washington DC Mall 為例，TRLRF 和PSTNN 可以獲得一定的視覺效果，而HaLRTC、LRTC-TV-II和MF-TV 由于在構建張量恢復模型時采用了張量矩陣化思想，破壞了張量復雜的高維內在結構，導致恢復結果的邊緣模糊不清，無法精確恢復圖像。SMTFC 模型的PSNR 值最高，恢復圖像獲得了良好的視覺效果，將局部細節(jié)放大，SMTFC 模型可以有效保留圖像的邊緣結構與精細的紋理結構，獲得了最佳視覺效果。

圖6 不同方法在高光譜圖像數(shù)據(jù)集Urban上的視覺評價Fig.6 Visual evaluation of different completion methods on Urban dataset of HSIs

圖7 不同方法在高光譜圖像數(shù)據(jù)集Washington DC Mall上的視覺評價Fig.7 Visual evaluation of different completion methods on Washington DC Mall dataset of HSIs

5.2 多光譜圖像

本小節(jié)測試圖像來自CVAE（Columbia Imaging and Vision Laboratory），以Toy 和Feathers 為例，數(shù)據(jù)集尺寸均為256×256×31，將每個多光譜圖像進行歸一化處理，MR同樣設置為80%、90%和95%。圖8為本次實驗多光譜圖像數(shù)據(jù)集中Toy 和Feathers 的第30波段。

圖8 多光譜圖像數(shù)據(jù)集Fig.8 MSI datasets（（a）Toy；（b）Feathers）

在客觀評價指標方面，表2 為在各丟失率下，不同方法在Toy 和Feathers 上恢復張量的MPSNR、MSSIM值。如表2所示，在所有實驗方法中，SMTFC模型在客觀評價指標上均獲得最佳的恢復精度。在統(tǒng)計意義上，SMTFC模型獲得最佳的恢復性能。

表2 不同恢復方法在多光譜圖像上的定量比較Table 2 Quantitative comparison of different completion methods for MSI

在主觀視覺效果方面，圖9 和圖10 顯示了在丟失率為90%的情況下，不同方法在圖像Toy和Feathers 第30 光譜波段的恢復結果。以Feathers 圖像為例，提出的SMTFC 模型的PSNR 值最高，并且在較高數(shù)據(jù)丟失率下，該模型仍能有效恢復羽毛的邊緣細節(jié)以及精細紋理結構，其他方法無法恢復圖像的紋理結構和邊緣信息。因此，提出的SMTFC 方法可以有效保留圖像的邊緣結構與精細紋理結構，在恢復多光譜圖像方面優(yōu)于其他方法。

圖9 不同恢復方法在多光譜圖像Toy上的視覺評價Fig.9 Visual evaluation of different completion methods on Toy of MSI

圖10 不同恢復方法在多光譜圖像Feathers上的視覺評價Fig.10 Visual evaluation of different completion methods on Feathers of MSI

5.3 視頻

測試數(shù)據(jù)為YUV 視頻，以Akyio 和Suzie 為例，測試數(shù)據(jù)尺寸為144×176×150。將每個視頻數(shù)據(jù)進行歸一化處理，MR同樣設置為80%、90%和95%。圖11 為本次實驗視頻數(shù)據(jù)集，其中圖11（a）（b）分別為Akyio和Suzie視頻數(shù)據(jù)的第1幀。

圖11 YUV視頻圖像數(shù)據(jù)集Fig.11 YUV video datasets（（a）Akyio；（b）Suzie）

表3為在丟失率為80%、90%、95%時，不同方法在Akyio 以及Suzie 視頻數(shù)據(jù)集上恢復張量的MPSNR、MSSIM 值。在所有實驗方法中，對于不同丟失率的視頻圖像，提出的SMTFC 模型在Akyio、Suzie數(shù)據(jù)集上獲得了最佳的恢復精度。

表3 不同恢復方法在視頻數(shù)據(jù)集上的定量比較Table 3 Quantitative comparison of different completion methods for video datasets

在視覺評價方面，圖12 和圖13 顯示了在MR 為90%的情況下，不同恢復方法修復Akyio 和Suzie 視頻數(shù)據(jù)的第10幀圖像?？梢钥闯?，提出的SMTFC模型PSNR 值最高，有效保留了視頻中精細的紋理結構與邊緣細節(jié)，獲得了良好的視覺效果。綜上所述，SMTFC 模型在恢復視頻圖像數(shù)據(jù)上優(yōu)于其他方法。

圖12 不同恢復方法在視頻數(shù)據(jù)Akyio上的視覺評價Fig.12 Visual evaluation of different completion methods on Akyio of video datasets

圖13 不同恢復方法在視頻數(shù)據(jù)Suzie上的視覺評價Fig.13 Visual evaluation of different completion methods on Suzie of video datasets

5.4 醫(yī)學圖像

本小節(jié)測試圖像模擬了正常大腦的磁共振成像，數(shù)據(jù)集大小為181×217×181，數(shù)據(jù)中每個像素的大小均在0至1之間。

在客觀指標方面，表4 為在丟失率為80%、90%和95%時，不同恢復方法在醫(yī)學圖像數(shù)據(jù)集上的定量比較。在所有實驗方法中，對于不同丟失率的醫(yī)學影像圖像，SMTFC 模型獲得了最佳的恢復精度。在統(tǒng)計意義上，SMTFC 獲得最佳的恢復性能。綜上所述，提出的SMTFC 模型在恢復醫(yī)學圖像數(shù)據(jù)上優(yōu)于其他方法。

表4 不同恢復方法在醫(yī)學圖像數(shù)據(jù)集上的定量比較Table 4 Quantitative comparison of different completion methods for medical images datasets

圖14 顯示了在丟失率為90%的情況下，不同恢復方法恢復醫(yī)學圖像數(shù)據(jù)的第10 個切片。如圖14所示，提出的SMTFC 模型恢復圖像的PSNR 值最高，LRTC-3DTV 模型恢復圖像的PSNR 值次高。SMTFC模型恢復的圖像主觀視覺效果最佳，而其他的實驗方法在高丟失率的情況下無法有效恢復醫(yī)學圖像的精細的紋理信息與邊緣結構。

圖14 不同恢復方法在醫(yī)學圖像數(shù)據(jù)集上的視覺評價Fig.14 Visual evaluation of different completion methods for medical images datasets

另外，表5 進一步給出了SMTFC 和GP-WLRR在某些方面的對比結果。其中，GP-WLRR方法使用PyTorch 1.13.1 框架，開發(fā)環(huán)境為PyCharm Community Edition 2021.1.3，本文SMTFC 方法運行環(huán)境為MATLAB R2021b，不需要進行神經網(wǎng)絡預訓練，經過算法迭代即可得出結果。GP-WLRR 模型采用49.39 M 大小的數(shù)據(jù)集進行預訓練之后，還需要使用200 個張量數(shù)據(jù)進行針對本任務的參數(shù)微調，而本文方法不必進行微調。當MR 為95%時，本文方法在4 種不同數(shù)據(jù)集上達到最高MSSIM 的情況下，修復一個多維張量數(shù)據(jù)所需平均時間為310.83 s，GP-WLRR 為789.75 s。因為運行環(huán)境不同無法嚴格進行時間比對，但從一般意義上來說，本文方法平均所需時間遠少于GP-WLRR。

表5 本文方法與GP-WLRR比較Table 5 Comparison between SMTFC and GP-WLRR

6 結論

在傳統(tǒng)方法中，全變分施加于整體張量數(shù)據(jù)，無法探索張量低維子空間的平滑先驗，并且傳統(tǒng)張量分解誘導的張量秩無法靈活處理不同模式下的相關性，導致張量恢復模型缺乏穩(wěn)定性。本文提出了一種基于稀疏先驗與多模式張量分解的低秩張量恢復算法，能夠處理張量數(shù)據(jù)不同模式之間的相關性和張量子空間稀疏性。具體而言，在對原始張量施加核范數(shù)約束，恢復張量全局低秩性的同時，利用張量多模式分解將原始張量沿著每個模式方向分解為一個低維張量和一個因子矩陣，以便處理不同模式下的相關性，增加模型的穩(wěn)定性。其次，因子梯度稀疏正則化約束可以有效處理張量子空間稀疏性，也可為模型提供更多的輔助信息。將本文方法與8 種張量恢復方法在高光譜圖像、多光譜圖像以及醫(yī)學影像圖像上進行對比實驗，本文模型在4 種張量數(shù)據(jù)相比于傳統(tǒng)方法及LGNet 均獲得了最佳的實驗結果，與深度學習方法GP-WLRR 的實驗效果基本持平。本文模型可同時利用張量的全局低秩性與局部稀疏性，能夠對不完整張量數(shù)據(jù)進行修復。本文模型對整體張量施加了張量核范數(shù)約束，可以有效利用張量的全局低秩性，然而，在優(yōu)化求解時，會使用到大量的張量奇異值分解操作，導致模型收斂速度減慢。在未來工作中，將考慮使用更加高效的張量秩函數(shù)，減少張量奇異值分解次數(shù)。