基于低階Tucker分解的圖像恢復(fù)技術(shù)研究

(青海警官職業(yè)學(xué)院，青海 西寧 810006)

0 引言

圖像恢復(fù)是近年來數(shù)字圖像處理領(lǐng)域里的一大研究熱點(diǎn)[1]?，F(xiàn)實(shí)生活中，通過各種途徑獲得的圖像，其都存在不同程度的污染與損壞。用相機(jī)采集圖像時(shí)，當(dāng)相機(jī)聚焦不夠精確、成像光源發(fā)生散射現(xiàn)象等，這都會(huì)使獲得的圖像的分辨率下降、對比度減小以至于導(dǎo)致圖像比較模糊[2]。對圖像進(jìn)行恢復(fù)，是為了使受損或者受污的圖像趨向于恢復(fù)到無損的理想狀態(tài)?？筛鶕?jù)實(shí)際需求，將受損圖像恢復(fù)到一定的程度。如今存在的方法如反維納濾波、R-L 迭代算法等都可以對受損圖像進(jìn)行復(fù)原[3]。同時(shí)，隨著高階張量在圖像恢復(fù)及數(shù)據(jù)分析方面逐漸顯現(xiàn)出的優(yōu)越性，利用張量結(jié)構(gòu)表示待恢復(fù)圖像數(shù)據(jù)，對缺失圖像元素進(jìn)行恢復(fù)已引起各國學(xué)者的極大重視[4]。傳統(tǒng)的張量缺失元素恢復(fù)法有：(1)利用相鄰元素間的關(guān)系對缺失元素進(jìn)行恢復(fù)，其假定缺失元素主要對其相鄰的元素有依賴關(guān)系；(2)利用元素之間的依賴程度與元素之間距離的關(guān)系，及張量的全局信息特征對缺失數(shù)據(jù)元素加以復(fù)原[5]，實(shí)踐證明，張量全局信息特征對數(shù)據(jù)元素的恢復(fù)更加有益。張量全局恢復(fù)法又可分為依賴自身結(jié)構(gòu)特征和張量跡范數(shù)兩種方法對缺失數(shù)據(jù)進(jìn)行恢復(fù)，前者效率低下，后者是基于壓縮感知技術(shù)，恢復(fù)精度高，效果好[6]。文中針對已有恢復(fù)算法不能充分利用已知信息，或者已知信息少時(shí)恢復(fù)誤差大等不足，利用所屬后者類別的張量算法，提出了一種基于低價(jià)Tucker分解的圖像恢復(fù)算法，從張量元素的多維數(shù)據(jù)結(jié)構(gòu)出發(fā)，提取出有效的信息特征，對存在張量缺失信息的圖像進(jìn)行恢復(fù)或者復(fù)原。

1 圖像恢復(fù)算法

本文以實(shí)際采集到真實(shí)的圖像為研究對象，提出了基于低階Tucker分解的圖像恢復(fù)算法。算法分為4個(gè)階段，圖像光頻模型預(yù)處理、低階張量正則化、ALM算法生成模型、Tucker分解恢復(fù)圖像4個(gè)部分。其工作過程為：把通過使用圖像采集軟件采集到的圖像樣品輸入到系統(tǒng)中，經(jīng)灰度化、平滑、濾波去噪、細(xì)化等預(yù)處理后，采用張量結(jié)構(gòu)表示圖像數(shù)據(jù)，把待恢復(fù)圖像轉(zhuǎn)化為高光譜圖像，最后利用基于低階Tucker分解的圖像恢復(fù)算法進(jìn)行復(fù)原，并輸出復(fù)原后的圖像。

2 圖像光頻模型預(yù)處理算法

由于現(xiàn)實(shí)環(huán)境的影響難以避免，實(shí)際獲得的圖像本身可能已經(jīng)受到嚴(yán)重的噪聲干擾，所以在進(jìn)行后續(xù)工作前要先對數(shù)字圖像進(jìn)行高維變換和建立模型等預(yù)處理，然后再對圖像進(jìn)行復(fù)原。

2.1 高維變換算法

一般來講，普通的一個(gè)多維數(shù)組即可構(gòu)成一個(gè)高階的張量，階即為張成所在空間所需的向量空間的數(shù)量叫做階[7]。對于高階的張量，其數(shù)據(jù)結(jié)構(gòu)可以有效的展現(xiàn)出數(shù)據(jù)元素之間的多維約束關(guān)系，這使得以張量形式表示數(shù)據(jù)擁有一定的優(yōu)越性[8]。三階張量如圖1所示。

圖1 大小為1的三階張量

對于矩陣來說，如果矩陣下標(biāo)的其中之一被固定，則此時(shí)可以獲得相對應(yīng)的比原始數(shù)組少了一維的子數(shù)組[9]。一般通過只讓兩個(gè)下標(biāo)自由變化而其他坐標(biāo)全部固定即可得到張量二維截面，即通常所說的張量切片[10]。

2.2 訓(xùn)練集模型的建立

已知可以將張量視為多索引數(shù)字陣列，其順序被定義為其模式或尺寸的數(shù)量[11]。已知可以將張量視為多索引數(shù)字陣列，其順序被定義為其模式或尺寸的數(shù)量。N階的實(shí)值張量由x∈RI1×I2×···×In表示，其輸入由xi1,i2,...,in表示。然后，可以將N×1向量x視為一階張量，N×M矩陣X作為二階張量。

兩個(gè)相同大小的張量X，Y的內(nèi)積被定義為:

(1)

然后將相應(yīng)的Frobenius規(guī)范定義為:

(2)

張量X的模式n矩陣表示為xn。其中張量元素i1,i2,...,in，映射矩陣(in,j)滿足：

(3)

經(jīng)高維變換、濾波去噪、細(xì)化等預(yù)處理后的訓(xùn)練模型如圖2所示。

圖2 高維變換后的訓(xùn)練模型

3 基于Tucker分解的張量數(shù)據(jù)恢復(fù)算法

3.1 張量正則化分析

在許多真實(shí)情況下，觀測到的光頻數(shù)據(jù)被幾種不同類型的噪音所污染。結(jié)果是，一個(gè)由三階張量χ:={χ1,χ2,...χB}，每一個(gè)矩陣χi∈Rh×w(i=1,2,...,B)，高度h和寬度w，B表示帶的數(shù)量，可以被描述為，

y=χ+E

(4)

其中:χ和E的大小，分別代表無噪聲圖像光頻值和混合的噪聲值?，F(xiàn)在，圖像恢復(fù)的目標(biāo)是通過利用無噪聲圖像光頻中χ的結(jié)構(gòu)和噪聲條件來估計(jì)y。

根據(jù)的研究，將噪聲項(xiàng)分為兩個(gè)子項(xiàng)，如圖3所示。高斯噪聲項(xiàng)和稀疏噪聲項(xiàng)包括條紋、脈沖噪聲和死象素，其退化模型為:

y=χ+N+E

(5)

其中弗羅貝諾斯規(guī)范和L規(guī)范可以用來對這兩個(gè)噪聲子項(xiàng)分別建模[12]。

圖3 張量正則化分析圖

張量正則化已被廣泛應(yīng)用于探索應(yīng)對光頻恢復(fù)任務(wù)的空間分段平滑結(jié)構(gòu)[13]。在圖3中可以找到用于示出一個(gè)光頻的空間平滑度的邊緣檢測。實(shí)際上，還存在光頻的局部平滑結(jié)構(gòu)及其頻譜模式。光譜域中相鄰帶之間的大部分差異值幾乎等于0[14]。常用的張量正則化都會(huì)忽略了這種光譜平滑度，這促使設(shè)計(jì)出一種新的SSTV正則化器來充分挖掘空間和光譜域中的分段平滑結(jié)構(gòu)，從而實(shí)現(xiàn)去噪任務(wù)[15]。

3.2 ALM算法生成模型

如前所述，利用現(xiàn)有知識(shí)是光頻混合噪聲去除的關(guān)鍵考慮因素。通過結(jié)合空間和頻譜模型中的低階和歸一屬性，引入了一種SSTV低階張量分解模型：

s.t.Y=χ+S+N,

(6)

w2|xi,j,k-xi,j-1,k|+w3|xi,j,k-xi-1,j,k|

(7)

圖4 ALM算法生成模型

3.3 基于低階Tucker分解恢復(fù)算法

將張量χ與遮擋張量οmega兩者疊加，即可獲得張量β=χ.*οmega，該量已經(jīng)缺失部分?jǐn)?shù)據(jù)，為缺失張量。

在進(jìn)行迭代時(shí)，首先把原來的缺失部分?jǐn)?shù)據(jù)的張量β′=β作如式(8)所示的Tucker分解，使之能夠獲得核張量τ及奇異矩陣U1(2)，…，U1(N-1)，U1(N)。

β′=τ×1U1(1)×2U1(1)…×NU1(N)

(8)

式中,括號(hào)外上標(biāo)為迭代次數(shù)。

根據(jù)Tucker分解的原理能夠得到，張量第n階矩陣的左奇異矩陣與其第n階的奇異矩陣相對應(yīng)，因此，對于N階張量，其n個(gè)奇異值矩陣的計(jì)算，可以當(dāng)成是對大小為(In×I1I2...In-1In+1...IN)(1≤n≤N)的矩陣的SVD分解計(jì)算N次，從而能夠計(jì)算求得U1(1)，U1(2)，...，U1(N-1)，U1(N)。至于核張量，可通過如下式(9)計(jì)算求得：

(9)

再對各奇異矩陣對應(yīng)的前k1，k2，...，kn個(gè)奇異向量進(jìn)行選取。即可求得β1，β1與β′看起來非相似。過程如下：

?，

核張量：τL=τ(1:k1,1:k2,...,1:kN)

則有：

(10)

*(1-οmega)

(11)

圖5 低階Tucker分解圖

一旦迭代過程達(dá)到預(yù)先設(shè)定的收斂條件，整個(gè)恢復(fù)過程也就完成了，可利用式(12)對恢復(fù)質(zhì)量進(jìn)行分析：

(12)

式中，分子為被遮擋數(shù)據(jù)元素的絕對值之差的和，分母為被遮擋元素?cái)?shù)。由于對數(shù)據(jù)的恢復(fù)主要是依靠張量自身攜帶的已知數(shù)據(jù)元素，而對于已知的數(shù)據(jù)元素，其值是固定的，因而僅僅評估缺失數(shù)據(jù)信息這一部分即可。

根據(jù)低階Tucker分解算法的一系列推導(dǎo)過程，得出能夠?qū)埩康娜笔?shù)據(jù)進(jìn)行恢復(fù)的迭代算法。該算法通過對一個(gè)缺失張量χ進(jìn)行一系列的迭代分解，最終得到一個(gè)與原始未被遮擋的張量幾乎相等的張量χ，此時(shí)遮擋部分?jǐn)?shù)據(jù)的值已與真實(shí)值接近，已恢復(fù)的值與原始χ中的值越接近，則表明算法的恢復(fù)效果越好，性能更佳。算法流程如下：

輸入:χ∈RI1×I2...×IN，秩k1，k2，...，kN，οmega，Itermax

1)β′=β=χ.*οmega，對張量β′進(jìn)行Tucker分解

2) Repeat

3) forn←1to N

4)β(n)←U(n)∑(n)V(n)T

5) End

6)τ←β'×1U1(1)T×2U1(1)T...×NU1(N)T

8)β1←β+β'*(1-οmega)

10) Compute error

11) Unitili≤Itermax

輸出:χ

該算法用張量結(jié)構(gòu)來表示數(shù)據(jù)信息，通過低階Tucker分解以求解張量各元素之間的內(nèi)在約束關(guān)系，再進(jìn)一步提取出張量的主要信息成份，從而即可對缺失數(shù)據(jù)進(jìn)行恢復(fù)。同時(shí)，為了減少噪聲的干擾，該算法對一些次要信息成份進(jìn)行了一定程度的剔除，比如圖像邊緣部分的細(xì)節(jié)信息，或者是一些噪聲之類的，可以得到一個(gè)有效的ALM方法來解決LRTDTV近似模型，即順序更新直到滿足一定的收斂條件。

4 測試與分析

在以下實(shí)驗(yàn)中，手動(dòng)調(diào)整算法的參數(shù)比較方法的結(jié)果。另外，為了便于數(shù)值計(jì)算和可視化，圖像光頻的所有頻帶都?xì)w一化為[0,1]，然后在恢復(fù)后將其擴(kuò)展原來的倍數(shù)。

4.1 模擬數(shù)據(jù)

把通過圖像采集軟件采集到的圖像傳送到圖像處理系統(tǒng)中，轉(zhuǎn)換成數(shù)字信號(hào)進(jìn)行處理，通過對數(shù)字圖像進(jìn)行灰度化，濾波，細(xì)化等預(yù)處理后，將圖像數(shù)據(jù)以張量結(jié)構(gòu)形式表示，并同時(shí)疊加上一個(gè)遮擋張量，通過對遮擋張量設(shè)置不同的遮擋率使圖像數(shù)據(jù)受到不同程度的缺失形成缺失圖像，最后利用張量Tucker分解算法對缺失圖像進(jìn)行復(fù)原。如圖6為圖像經(jīng)遮擋率為40%的張量遮擋后所形成的缺失部分像素信息的圖像。

圖6 真實(shí)有噪聲圖像

4.2 真實(shí)數(shù)據(jù)實(shí)驗(yàn)

實(shí)驗(yàn)時(shí)，采用真實(shí)圖像進(jìn)行實(shí)驗(yàn)，將本文提出的算法應(yīng)用到圖像信息恢復(fù)中。利用采集的50幅真實(shí)圖像作為測試樣本進(jìn)行測試，其中每10幅為一組，各組之間對遮擋張量設(shè)置不同的遮擋率，且圖像像素都為80×80。介于對張量數(shù)據(jù)進(jìn)行計(jì)算時(shí)，其計(jì)算量隨張量維數(shù)增大而迅速增大，所以仿真時(shí)，采用規(guī)模適中的512×512×3張量進(jìn)行測試，并根據(jù)以往的經(jīng)驗(yàn)，把求相似張量過程中選取的秩設(shè)置成5(即k1,k2,k3=5，k2，k3=5)，迭代次數(shù)限定250，當(dāng)設(shè)置遮擋張量的遮擋率為40%時(shí)，利用Tucker分解算法(迭代張量Tucker分解恢復(fù)算法)對如圖3所示的缺失圖像進(jìn)行恢復(fù)，其恢復(fù)出來的圖像效果如圖7。

圖7 不同遮擋率圖像的張量正則化

通過觀察缺失圖像圖7可以發(fā)現(xiàn)，經(jīng)過40%的遮擋率遮擋后，圖像中的大多數(shù)像素信息已經(jīng)丟失掉，因而造成圖像模糊不堪，無法進(jìn)行辨認(rèn)。比如說，由于圖8中像素信息的丟失，但是一般這些關(guān)鍵的部位在識(shí)別等一些方面起著重要的作用。而采用低階算法對一些缺失的像素信息進(jìn)行復(fù)原后，觀察可以發(fā)現(xiàn)，恢復(fù)后圖像各個(gè)位置的輪廓清晰可見。

圖8 不同遮擋率圖像的光頻低階模型

當(dāng)設(shè)置遮擋率為90%時(shí)，其恢復(fù)出來的效果如圖10所示，圖9是系統(tǒng)采用傳統(tǒng)的基于跡范數(shù)的張量恢復(fù)算法對受90%遮擋率遮擋的圖像的恢復(fù)效果，低階Tucker分解算法在高遮擋率的條件下，仍然能夠?qū)D像進(jìn)行有效的恢復(fù)，盡管不是很清晰，但比傳統(tǒng)方法好的太多。這表明本文在設(shè)計(jì)系統(tǒng)的過程中選用的恢復(fù)算法，其實(shí)際應(yīng)用能力強(qiáng)、性能高、效果好。但從圖中可以看出，恢復(fù)效果雖遮擋的提高而下降。

圖9 光頻低階和張量正則化的Tucker分解值圖

圖10 恢復(fù)后的圖像

如圖7為經(jīng)遮擋率為50%的張量遮擋后所形成的缺失部分像素信息的正則化圖像，像素大小為200×200，圖10為恢復(fù)后的圖像?？梢娀謴?fù)效果也很好。

5 結(jié)論

本文提出了一種基于低階Tucker分解的圖像恢復(fù)算法，從光頻的低階和張量正則化分解出發(fā)，以迭代方法進(jìn)行恢復(fù)求解，從而對丟失像素信息的圖像進(jìn)行復(fù)原。該過程充分利用了矩陣分解的高維擴(kuò)展性能，能充分保留張量潛在的多維信息結(jié)構(gòu)，能有效提高算法恢復(fù)精度。在待恢復(fù)張量秩已設(shè)定時(shí)，利用已知數(shù)據(jù)元素信息及已恢復(fù)出的信息對缺失數(shù)據(jù)進(jìn)行恢復(fù)。仿真表明本系統(tǒng)簡單、易實(shí)現(xiàn)，數(shù)據(jù)恢復(fù)精度高、效果好。

參考文獻(xiàn)：

[1] Wu Y D, Chen Y H, Zhang H Y. An improved algorithm for image restoration based on modified hopfield neural network [J]·Machine Learning and Cybernetics, 2005,48(7): 4720-4723.

[2] 唐新建.圖像復(fù)原正則化方法研究[D].武漢：華中科技大學(xué),2006.

[3] Eng H L, Ma K K. Noise adaptive soft-switching median filter, IEEE Translations on Image Processing. 2001,10:242-251.

[4] 董繼揚(yáng),張軍英.一種簡單的椒鹽噪聲濾波算法[J]. 計(jì)算機(jī)工程與應(yīng)用,2003,20:27-28.

[5] Zhou Wang,David Zhang, Progressive switching median filter for the removal of impulse noise from highly corrupted image[J]. IEEE Trans.On Circuits and Systems- II:Analog and Digital Signal Processing,1999 ,46(1):78-80.

[6] Zhang S, Karim MA. A new impulse detector for switching median filters[J].IEEE Signal Processing Letters,2002,9(11):360-363.

[7] Liu J, Musialski P, Wonka P, et al. Tensor completion for estimating missing values in visual data[A]. IEEE, International Conference on Computer Vision[C]. IEEE, 2010:2114-2121.

[8] 劉園園. 快速低秩矩陣與張量恢復(fù)的算法研究[D]. 西安：西安電子科技大學(xué), 2013.

[9] Prathap P M J, Brindha G R, Dani W V. A Revised TESOR Algorithm for Perfect Routing[M]. Trends in Computer Science, Engineering and Information Technology. Springer Berlin Heidelberg, 2011:355-366.

[10] 石光明,劉丹華,高大化,等.壓縮感知理論及其研究進(jìn)展[J].電子學(xué)報(bào),2009, 37(5):1070-1081.

[11] 劉 盾,石和平.基于一種改進(jìn)的壓縮感知重構(gòu)算法的分析與比較[J]. 科學(xué)技術(shù)與工程, 2012, 12(21):5154-5157.

[12] 許光宇,林玉娥,石文兵. 基于局部結(jié)構(gòu)張量的圖像三邊濾波器[J]. 計(jì)算機(jī)工程,2017,43(4):269-276. [2017-09-23].

[13] 劉瑜瀚. 基于非負(fù)張量分解的醫(yī)學(xué)圖像的數(shù)據(jù)融合方法研究[D].成都：電子科技大學(xué),2015.

[14] 張志偉,馬 杰,夏克文,等. 一種應(yīng)用于高階數(shù)據(jù)修復(fù)的非負(fù)稀疏Tucker分解算法[J]. 光電子·激光,2017,28(7):773-779.

[15] 張樂飛,何發(fā)智. 基于張量分解的超光譜圖像降秩與壓縮[J]. 武漢大學(xué)學(xué)報(bào)(信息科學(xué)版),2017,42(2):193-197.

收稿日期：2017-09-08；修回日期：2017-10-18。

作者簡介：何祝青(1991-)，男，安徽安慶人，碩士研究生，主要從事室內(nèi)定位、智能控制方向的研究。

嚴(yán) 華(1971-)，男，四川渠縣人，教授，碩士研究生導(dǎo)師，主要從事嵌入式系統(tǒng)、模式識(shí)別與智能系統(tǒng)方向的研究。

文章編號(hào)：1671-4598(2018)05-0185-03 DOI：10.16526/j.cnki.11-4762/tp.2018.05.046中圖分類號(hào)：TP302.1文獻(xiàn)標(biāo)識(shí)碼：A