基于低秩矩陣補(bǔ)全的視頻去噪研究

包文瑞

摘 ? 要：針對(duì)視頻數(shù)據(jù)中嚴(yán)重的混合噪聲問題，提出了一種基于塊的視頻去噪算法。通過對(duì)空間域和時(shí)間域的相似塊進(jìn)行分組，將混合噪聲的去噪問題轉(zhuǎn)化為一個(gè)低秩矩陣補(bǔ)全問題，從而得到一個(gè)對(duì)噪聲統(tǒng)計(jì)特征沒有強(qiáng)假設(shè)的去噪方法。由此產(chǎn)生的核范數(shù)最小化問題通過拉格朗日函數(shù)和不動(dòng)點(diǎn)迭代算法得到有效的解決。實(shí)驗(yàn)驗(yàn)證了所提出的視頻去噪方法在去除混合噪聲方面的魯棒性和有效性。

關(guān)鍵詞：矩陣補(bǔ)全;低秩矩陣;視頻去噪;核范數(shù);不動(dòng)點(diǎn)迭代

中圖分類號(hào)：TN957.52 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A

Video Denoising Based on Low Rank Matrix Complementation

BAO Wen-rui？覮

（Baoji University of Arts and Sciences，Baoji，Shannxi 721013，China）

Abstract： Aiming at the serious mixed noise problem in video data，this paper proposes a block-based video denoising algorithm. By grouping similar blocks in the spatial domain and the time domain，the denoising problem of mixed noise is transformed into a low rank matrix completion problem，and a denoising method with no strong assumptions on noise statistical features is obtained. The resulting kernel norm minimization problem is effectively solved by the Lagrangian function and the fixed point iterative algorithm. The experiment verifies the robustness and effectiveness of the proposed video denoising method in removing mixed noise.

Key words： matrix complement; low rank matrix; video denoising; kernel norm;fixed point iteration

隨著傳感器設(shè)計(jì)的不斷發(fā)展，低端數(shù)碼相機(jī)在高靈敏度（如低光照條件、高ISO設(shè)置和高速率）下的圖像和視頻相對(duì)噪聲較多[1]，圖像幀的去噪問題十分重要[2-4]。由于攝像機(jī)的高速捕獲率，視頻數(shù)據(jù)往往比單幅圖像的噪聲更大[5]。視頻去噪的目的是通過在時(shí)間域和空間域中的信息來有效地消除視頻所有幀中的噪聲。與單幅圖像去噪相比，視頻存在較高的時(shí)間冗余[6]，現(xiàn)有的圖像和視頻去噪技術(shù)大多依賴于單一的圖像噪聲統(tǒng)計(jì)模型，如高斯噪

聲[7]。文獻(xiàn)[8]中識(shí)別出了五種不同統(tǒng)計(jì)分布的圖像噪聲源：固定模式噪聲、放大器噪聲、光子散射噪聲、暗電流噪聲和量化噪聲。

開發(fā)一種能夠去除圖像序列中的混合噪聲的視頻去噪算法。所提出的視頻去噪方法在對(duì)圖像噪聲的統(tǒng)計(jì)特性假設(shè)最小的情況下，建立在塊方法相同的“分組協(xié)同過濾”方法基礎(chǔ)上，將匹配塊堆棧中的噪聲去除問題轉(zhuǎn)化為一個(gè)低秩矩陣補(bǔ)全問題，該問題可以通過最小化線性約束矩陣的核范數(shù)（所有奇異值的L1范數(shù)）來有效地解決。實(shí)驗(yàn)表明，基于低秩矩陣補(bǔ)全方法可以有效地消除多個(gè)統(tǒng)計(jì)分布中混合的復(fù)雜噪聲。

1 ? 問題形成和解決方案概述

設(shè)F = {fk}K ? k=1為具有K幀的圖像序列。每個(gè)圖像fk是其底層干凈圖像gk和噪聲nk的總和：

fk = gk + nk ? ? ? ? ? ? ? ?（1）

視頻去噪的目標(biāo)是通過從fk中刪除nk來恢復(fù)G = {gk}M ? k=1。為了利用視頻中的時(shí)間冗余，本文采用了一種基于塊的方法來聯(lián)合所有重新移動(dòng)圖像幀的圖像噪聲nk。對(duì)于每個(gè)圖像fk，考慮一個(gè)以像素 j為中心的圖像塊pj，k，大小為n×n（即n = 8）。

將該塊設(shè)置為參考?jí)K，并在所有其他圖像和圖像fk本身的鄰域內(nèi)搜索類似于pj，k的塊。當(dāng)存在明顯的圖像噪聲時(shí)，假設(shè)空間域存在m個(gè)塊

{pi，j，k}M ? k=1類似于pj，k。如果將每個(gè)塊pi，j，k表示為向量pi，j，k∈Rn2 ，通過連接所有列的塊，則可以組成一個(gè) n2 × m矩陣：

Pj，k = （p1，j，k，p1，j，k，…，pm，j，k） ? ? ? ?（2）

可以將公式（1）改寫為補(bǔ)全矩陣的形式：

Pj，k = Qj，k + Nj，k ? ? ? ?（3）

其中，Qj，k表示補(bǔ)全矩陣gk中的干凈圖像， Nj，k表示噪聲。

圖像噪聲nk或Nj，k通常可建模為具有一定統(tǒng)計(jì)特征的隨機(jī)變量。由于噪聲源較多且具有不同的統(tǒng)計(jì)特性。因此，目的是開發(fā)一種僅假設(shè)圖像噪聲最小的統(tǒng)計(jì)特性方法。

如果數(shù)據(jù)沒有噪聲且塊能夠完全匹配，那么Qj，k中的所有列向量都有相似的底層圖像結(jié)構(gòu)，Qj，k的秩應(yīng)該很低，Pj，k中每個(gè)行向量的方差應(yīng)該很小。在這種理想情況下，通過簡(jiǎn)單地對(duì)Pj，k進(jìn)行奇異值分解，即可得到Qj，k的良好估計(jì)。在復(fù)雜噪聲存在的情況下，SVD方法對(duì)許多類型的噪聲都很敏感。本文提出了一種更為有效的魯棒估計(jì)Qj，k的兩階段方法，即僅需少量的元素即可恢復(fù)完整的矩陣。因此只保留非?？煽康脑?，而丟棄所有其他元素。在本文方法中，那些遠(yuǎn)離行向量均值的Pj，k矩陣元素被認(rèn)為是高度不可靠且需要丟棄的元素。這些元素可能是脈沖噪聲損壞的像素，也可能是幅值較大的高斯/泊松噪聲損壞的像素，也可能是不匹配塊受干擾的像素。

在介紹本文方法之前，需要定義一些符號(hào)來簡(jiǎn)化討論。矩陣X的模糊范數(shù)定義為：

X的核范數(shù)定義為：

‖X‖· ：= ?（σi（X）） ? ? ? ? ?（5）

其中，σi（X）表示第i個(gè)最大奇異值。設(shè)X = U∑VT為X的SVD，“軟收縮”算子Dτ（X）定義為[9]：

Dτ（X） = U∑VT ? ? ? ? ? ? （6）

其中，∑τ = diag（max（σi - τ，0）），設(shè)Ω為索引集， X|Ω表示僅包含Ω元素的向量。

所提出方法的第一階段，在Pj，k中，可靠的元素是根據(jù)它們對(duì)同一行中所有元素的平均值的偏差進(jìn)行識(shí)別。令Ω表示所有這些元素的索引集。第二階段的主要任務(wù)是從Pj，k的不完整版本中恢復(fù)Qj，k，用Pj，k|Ω表示，這實(shí)際上是一個(gè)矩陣補(bǔ)全問題。即在Qj，k的秩很小的情況下，如何從它的噪聲和不完全觀測(cè)中恢復(fù)Pj，k|Ω。在本文中，估計(jì)Pj，k|Ω的Qj，k通過求解以下最小化問題：

其中， ‖·‖· 為核范數(shù)，#（Ω）為集合Ω的大小， 為噪聲標(biāo)準(zhǔn)差的估計(jì)值，通過計(jì)算每行各元素方差的平均值得到。很多缺失像素的主成分分析（PCA）方法[10]也可用于解決矩陣補(bǔ)全問題。本文選擇上述最小化方法的主要原因是其數(shù)學(xué)背景嚴(yán)謹(jǐn)[11]且求解公式（7）和（8）的可用數(shù)值方案實(shí)現(xiàn)簡(jiǎn)單。

2 ? 具體算法

2.1 ? 塊匹配和分組

隨著時(shí)間的推移，匹配相似的塊是視頻處理中一個(gè)重要的問題[12]。由于去噪算法中有一個(gè)內(nèi)置的離群值去除器，所提算法對(duì)塊匹配的準(zhǔn)確性不太敏感。因此，采用了一種快速的三步分層搜索算法。

當(dāng)視頻數(shù)據(jù)受到圖像噪聲嚴(yán)重干擾時(shí)，則不可以直接對(duì)噪聲數(shù)據(jù)應(yīng)用塊匹配算法。由于脈沖噪聲干擾像素強(qiáng)度范圍較廣（即0或255），像素值上的較大失真會(huì)導(dǎo)致兩個(gè)塊之間的匹配極不穩(wěn)定。因此，在塊匹配之前對(duì)脈沖噪聲進(jìn)行預(yù)處理，可以提升相似塊組的性能。采用文獻(xiàn)[13]中提出的自適應(yīng)中值濾波器來識(shí)別被脈沖噪聲干擾的像素，并用小鄰域的中值來替換這些受干擾的像素。在存在其他類型圖像噪聲的情況下，通過自適應(yīng)均值濾波器恢復(fù)的像素質(zhì)量并不好，但足以用于修補(bǔ)匹配。

與VBM3D方法[14]類似，不直接對(duì)原始視頻數(shù)據(jù)應(yīng)用塊匹配算法。相反，首先使用現(xiàn)有的去噪技術(shù)或所提出的算法獲得視頻數(shù)據(jù)的基本（中間）估計(jì)值，然后使用中間去噪的視頻數(shù)據(jù)進(jìn)行塊匹配，與未去噪的原始數(shù)據(jù)相比，這提高了塊匹配的

精度。

2.2 ? 去噪塊矩陣

對(duì)于每個(gè)塊，通過塊匹配算法在空間和時(shí)間域中找到相似的塊來形成矩陣Pj，k。Pj，k的缺失元素集有兩個(gè)子集：第一個(gè)子集是使用基于自適應(yīng)中值濾波的脈沖噪聲檢測(cè)器的脈沖噪聲干擾的像素。第二個(gè)子集包括其值與相應(yīng)行向量的平均值相差的量大于預(yù)先定義的閾值的像素。然后將所有剩余像素的索引包括在內(nèi)，并形成Ω。

通過求解公式（7）和（8）的最小化問題，可以從Qj，k 未完全觀測(cè)Pj，k|Ω中恢復(fù)。本文不直接求解公式（7）和（8），而是求解其拉格朗日函數(shù)：

2.3 ? 由去噪塊到去噪圖像

將上述兩階段算法應(yīng)用于輸入圖像幀的每個(gè)塊，可以有效地去除所有塊中的大部分噪聲。最后一步是從這些去噪塊合成去噪圖像。在本文中，使用重疊區(qū)域?qū)D像塊進(jìn)行采樣。因此，每個(gè)像素都被幾個(gè)去噪塊覆蓋。然后，通過取該像素處去噪塊的平均值來確定圖像中每個(gè)像素的值，這將抑制塊邊界附近可能的偽像。

3 ? 實(shí)驗(yàn)分析

實(shí)驗(yàn)中使用的所有視頻數(shù)據(jù)都是選取YUV測(cè)試序列視頻下載網(wǎng)站。默認(rèn)情況下，我們使用K =50的圖像幀，將“塊大小”設(shè)置為8×8像素，樣本引用的塊采樣間隔為4×4像素。將圖像強(qiáng)度范圍設(shè)置為[0，255]。對(duì)于每個(gè)參考?jí)K，在基于L1范數(shù)距離函數(shù)的每個(gè)圖像幀中使用5個(gè)最相似的塊。因此，在矩陣完成算法中，參考?jí)K共有250個(gè)，矩陣的列維數(shù)為250。從塊矩陣中選擇可靠像素的閾值為2σ，其中σ是噪聲標(biāo)準(zhǔn)差的估計(jì)值，可以用與 類似的方法獲得。在矩陣補(bǔ)全算法中，迭代終止的標(biāo)準(zhǔn)為公差ε≤10-5或達(dá)到最大迭代次數(shù)30。

3.1 ? 輸入混合噪聲的圖像數(shù)據(jù)

由于某些類型的圖像噪聲比其他噪聲（如量化噪聲）小得多，因此可以預(yù)先校準(zhǔn)（如固定模式噪聲），在實(shí)驗(yàn)中通過以下三種典型噪聲的總和來合成nk：

其中， ngk～N（0，σ2I）為平均值為零且與像素?zé)o關(guān)的高斯噪聲（放大器噪聲），npk為平均值為零且方差為κnk的泊松噪聲（炮點(diǎn)噪聲），nik為由死點(diǎn)、變頻器或傳輸誤差等構(gòu)成的脈沖噪聲。脈沖噪聲建模為：

fk（i，j）={0，255}3，脈沖噪聲概率為s時(shí)（gk+ngk+npk）（i，j），脈沖噪聲概率為1-s時(shí)

其中，{0，255}3為強(qiáng)度值為0或255的三個(gè)波段（實(shí)驗(yàn)中使用彩色視頻）。然后根據(jù)以上三種噪聲類型的不同參數(shù)配置，合成具有不同混合噪聲等級(jí)的噪聲圖像幀：（σ，κ，s）。

為了研究所提算法如何隨不同噪聲等級(jí)而變化的性能。由于單高斯圖像噪聲不是本文的研究重點(diǎn)，本實(shí)驗(yàn)將高斯噪聲等級(jí)固定在σ = 10，泊松噪聲等級(jí)κ和脈沖噪聲等級(jí)s分別設(shè)置在[5，30]和[10%，40%]的范圍內(nèi)。當(dāng)視頻序列的σ = 30，κ = 5和s = 30%時(shí)，去噪結(jié)果如圖1所示。

（a）原始圖像 ? ? ? ? ? （b）對(duì)應(yīng)的噪聲圖像 ? ? ? （c）初始去噪結(jié)果

圖1 ? 當(dāng)σ = 30，κ = 5和s = 30%時(shí)，圖像幀去噪結(jié)果

視頻序列的圖像幀經(jīng)過中值濾波器的初始去噪結(jié)果通過其定義的PSNR值來衡量：

PSNR（f ?r） = 10 log10 ? ? ? （16）

其中，f為原始數(shù)據(jù)，f ?r為恢復(fù)結(jié)果。

當(dāng)高斯噪聲等級(jí)固定在σ = 10時(shí)，不同泊松噪聲和脈沖噪聲等級(jí)去噪圖像幀的PSNR值如表1所示。

表1 ? 去噪圖像幀的PSNR值

從表1中可以看出，對(duì)于一個(gè)固定的泊松噪聲等級(jí)，當(dāng)脈沖噪聲等級(jí)s從10%增加到40%時(shí)，恢復(fù)圖像的PSNR值下降很小，這意味著本文的算法對(duì)脈沖噪聲具有較強(qiáng)的魯棒性。而當(dāng)脈沖噪聲等級(jí)固定，泊松噪聲等級(jí)κ從5增加到30時(shí)，恢復(fù)圖像的PSNR值會(huì)顯著降低。因此，塊匹配對(duì)嚴(yán)重的泊松噪聲更為敏感，但對(duì)脈沖噪聲不太敏感，這是由于本文已經(jīng)對(duì)數(shù)據(jù)中的脈沖噪聲進(jìn)行了預(yù)處理。

3.2 ? 性能比較

將所提出的去噪方法應(yīng)用于多個(gè)不同混合噪聲等級(jí)的視頻，并將結(jié)果與現(xiàn)有的兩種視頻去噪方法進(jìn)行了比較：一種是使用文獻(xiàn)[16]中VBM3D方法的可執(zhí)行代碼;另一種是基于PCA的方法[10]。其中，文獻(xiàn)[10]中使用深度約束的塊匹配來形成高質(zhì)量的塊堆棧。由于本文的重點(diǎn)是如何對(duì)塊堆棧進(jìn)行去噪，因此只實(shí)現(xiàn)了文獻(xiàn)[10]中的去噪部分，并使用所提出的塊匹配算法來生成塊堆棧。兩種方法所涉及的參數(shù)都是根據(jù)噪聲等級(jí)的真實(shí)值來設(shè)置。

實(shí)驗(yàn)一：視頻數(shù)據(jù)被顯著的混合噪聲等級(jí)嚴(yán)重破壞，即當(dāng)σ = 30，κ = 15和s = 20%時(shí)，去噪結(jié)果如圖2所示。

由于VBM3D方法和PCA方法都沒有內(nèi)置的脈沖噪聲消除器。因此，本文不僅對(duì)測(cè)試數(shù)據(jù)運(yùn)行兩個(gè)方法的未修改版本，而且對(duì)測(cè)試數(shù)據(jù)運(yùn)行兩個(gè)方法的修改版本，同時(shí)進(jìn)行去除脈沖噪聲的預(yù)處理。在應(yīng)用這兩種方法之前，采用自適應(yīng)介質(zhì)濾波方法[17]來消除脈沖噪聲，去噪結(jié)果如圖3所示。

相反，本文所提出的算法不使用現(xiàn)有的脈沖噪聲消除器來去除脈沖噪聲。取而代之的是使用現(xiàn)有的脈沖噪聲檢測(cè)器來檢測(cè)那些受干擾的像素，這些像素將通過對(duì)匹配的塊堆棧進(jìn)一步細(xì)化。

顯然，VBM3D方法和基于PCA的方法對(duì)脈沖噪聲或異常值都不具有魯棒性，如圖3（a）-（b）所示。通過對(duì)脈沖噪聲的預(yù)處理，兩種方法的結(jié)果得到了很大的改善，如圖3（c）-（d）所示。然而，由于脈沖噪聲之外還存在其他類型的圖像噪聲，因此脈沖噪聲的檢測(cè)精度和受干擾像素的估計(jì)精度不可避免地會(huì)降低。由于對(duì)受干擾像素的檢測(cè)和估計(jì)不準(zhǔn)確而導(dǎo)致的異常值會(huì)降低塊堆棧去模糊后期的性能。相反，從圖3可以看出，所使用的低秩矩陣綜合方法可以得到較好的視覺效果，并且基于BM3D方法（圖3（c））、基于PCA的方法（圖3（d））和所提出的方法（圖3（e））的PSNR值分別分別為21.5db、21.4db和22.5db，這進(jìn)一步說明了所提方法的有效性。

實(shí)驗(yàn)二：本文比較了脈沖噪聲預(yù)處理方法的結(jié)果，并進(jìn)行了三個(gè)數(shù)據(jù)序列的測(cè)試。每個(gè)數(shù)據(jù)序列被不同類型的噪聲干擾。圖4比較了混合噪聲和顯性高斯噪聲（σ = 50，κ = 5和s = 10%）對(duì)數(shù)據(jù)的去噪結(jié)果，圖5給出了混合噪聲和顯性泊松噪聲（σ =

從圖4至圖6可以看出，VBM3D方法的結(jié)果趨向于平滑圖像細(xì)節(jié)，而基于PCA的方法的結(jié)果仍然有許多明顯的噪聲，而所提出的算法總體上能夠得到較好的去噪結(jié)果。

4 ? 結(jié) ? 論

提出了一種基于塊的視頻混合噪聲去噪算法。通過將視頻去噪問題歸結(jié)為一個(gè)低秩矩陣補(bǔ)全問題，所提出算法不假設(shè)圖像噪聲的任何特定統(tǒng)計(jì)特性，并且對(duì)塊匹配誤差具有魯棒性。通過具體實(shí)驗(yàn)驗(yàn)證了所提算法的有效性，并與現(xiàn)有的兩種算法進(jìn)行了比較。在未來的研究中，希望能夠針對(duì)泊松噪聲的低階矩陣補(bǔ)全算法展開深入研究。

參考文獻(xiàn)

[1] ? ?楊丹，戴芳. 運(yùn)動(dòng)目標(biāo)檢測(cè)的ViBe算法改進(jìn)[J]. 中國(guó)圖象圖形學(xué)報(bào)，2018，23（12）：1813—1828.

[2] ? ?周文忠，郭山紅，王輝，等. 一種基于顏色不變性的視頻煙霧檢測(cè)方法[J].信息技術(shù)，2018（05）：106—110+114.

[3] ? ?XIAO J，TIAN H，ZHANG Y，et al. Blind video denoising via texture-aware noise estimation[J]. Computer Vision and Image Understanding，2018，169：1—13.

[4] ? ?楊帆，張子文，徐侃. 一種新型自適應(yīng)嵌入式流形去噪視頻運(yùn)動(dòng)目標(biāo)分割算法[J].吉林大學(xué)學(xué)報(bào)：理學(xué)版，2017，55（05）：1213—1220.

[5] ? ?付歡，韓戰(zhàn)鋼. 基于Harris角點(diǎn)檢測(cè)和EEMD的蟻群實(shí)驗(yàn)數(shù)據(jù)處理方法[J].北京師范大學(xué)學(xué)報(bào)：自然科學(xué)版，2018，54（05）：593—598.

[6] ? ?周罡.采用雙冗余網(wǎng)絡(luò)接口的TMS320DM368視頻存儲(chǔ)系統(tǒng)[J]. 單片機(jī)與嵌入式系統(tǒng)應(yīng)用，2016，16（07）：64—67.

[7] ? ?李然，梅臘臘，鄔長(zhǎng)安，等. 針對(duì)視頻運(yùn)動(dòng)補(bǔ)償幀率提升篡改的主動(dòng)混噪取證算法[J]. 電子與信息學(xué)報(bào)，2018，40（03）：713—720.

[8] ? ?BEY N Y. Extraction of buried multidimensional signals and images in mixed sources of noise[J]. Signal Processing，2018，144：7—18.

[9] ? ?YAN H，SONG X，TIAN K，et al. Quantitative determination of additive chlorantraniliprole in abamectin preparation： investigation of bootstrapping soft shrinkage approach by mid-infrared spectroscopy[J]. Spectrochimica Acta Part A： Molecular and Biomolecular Spectroscopy，2018，191： 296—302.

[10] ?張杰，齊官紅，葉蓬，等. 基于PCA的關(guān)鍵幀相似度核聚類檢索算法[J]. 控制工程，2017，24（04）：728—735.

[11] ?邱林潤(rùn)，李蓉蓉. 一種新的基于矩陣秩序數(shù)優(yōu)化的矩陣補(bǔ)全算法研究[J]. 科技通報(bào)，2017，33（11）：155—157+228.

[12] ?段淑玉，陳艷. 基于塊匹配運(yùn)動(dòng)估計(jì)的視頻場(chǎng)景切換檢測(cè)算法[J]. 廣西科技大學(xué)學(xué)報(bào)，2018，29（04）：92—98.

[13] ?孫玉姣，張光斌. 含有脈沖噪聲的圖像復(fù)原研究[J]. 電腦知識(shí)與技術(shù)，2017，13（29）：199—202.

[14] ?MOUSSA O，KHLIFA N，ABDALLAH N B. Video despeckling using shearlet tensor-based anisotropic diffusion[J]. Computer Aided Geometric Design，2018，67： 34—46.

[15] ?WEN B，RAVISHANKAR S，BRESLER Y. VIDOSAT：high-dimensional sparsifying transform learning for online video denoising[J]. IEEE Transactions on Image Processing，2019，28（4）： 1691—1704.

[16] ?XIAO J，ZOU W，ZHANG S，et al. Video denoising algorithm based on improved dual-domain filtering and 3D block matching[J]. IET Image Processing，2018，12（12）： 2250—2257.

[17] ?BUADES A，LISANI J L，MILADINOVI M. Patch-based video denoising with optical flow estimation[J]. IEEE Transactions on Image Processing，2016，25（6）： 2573—2586.