基于時間—空間濾波器的視頻異常抖動過濾

龍 年，劉智惠

(湖北工業(yè)大學(xué)工程技術(shù)學(xué)院，湖北 武漢 430000)

1 引言

互聯(lián)網(wǎng)和多媒體技術(shù)的迅猛發(fā)展，各種短視頻和音頻飛速發(fā)展，人類對多媒體質(zhì)量的需求也開始飛速增加。各種智能設(shè)備的出現(xiàn)，促使人機(jī)交互成為可能，人類的生活也開始越來越依賴智能終端設(shè)備。視頻的拍攝除了記錄生活[1]，同時也被應(yīng)用于執(zhí)行一些較為復(fù)雜的任務(wù)，例如追蹤以及物體識別等。但是由于受到條件和使用場景的限制，相機(jī)會缺乏配套的攝像設(shè)備，所以會導(dǎo)致拍攝的視頻經(jīng)常伴隨劇烈的抖動。這些抖動的存在會導(dǎo)致視頻質(zhì)量下降，所以對視頻異常抖動進(jìn)行消除具有十分重要的意義[2]。

國內(nèi)外相關(guān)專家也取得了一些較好的研究成果，例如汪權(quán)等人[3]優(yōu)先通過預(yù)處理獲取OCT視網(wǎng)膜圖像邊界，同時采用最小二乘法曲線擬合計(jì)算各幀切片圖像的偏移量，最終實(shí)現(xiàn)視頻去抖動。熊煒等人[4]利用光流法穩(wěn)定抖動視頻，同時對預(yù)穩(wěn)定后的角點(diǎn)進(jìn)行檢測，對仿射變換矩陣進(jìn)行估計(jì)，獲取初始相機(jī)路徑。根據(jù)卡爾曼濾波對相機(jī)路徑進(jìn)行平滑處理，獲取平滑相機(jī)路徑。分析各個路徑之間的關(guān)聯(lián)性，計(jì)算相鄰幀間的補(bǔ)償矩陣，對其進(jìn)行幾何變換，最終輸出穩(wěn)定的視頻。由于以上兩種方法未能在實(shí)際操作過程中加入視頻異常抖動檢測環(huán)節(jié)，導(dǎo)致視頻異常抖動消除效果不理想，峰值信噪比大幅度下降，平均編碼時間增加。為此，提出一種基于局部特征約束的視頻異常抖動消除方法，能夠有效減少平均編碼時間，增加峰值信噪比，有效消除視頻中的異常抖動，獲取更加理想的視頻效果。

2 基于局部特征約束的視頻異常抖動檢測

2.1 視頻異常抖動檢測流程

視頻異常抖動檢測在視頻識別領(lǐng)域中占據(jù)十分重要的地位[5-6]。以下借助聯(lián)合分布結(jié)構(gòu)性假設(shè)，分別從時間和空間兩個角度出發(fā)，對視頻中存在的異常抖動進(jìn)行分析研究。確定局部假設(shè)后，需要結(jié)合分析結(jié)果對視頻中不重疊區(qū)域的信息進(jìn)行統(tǒng)計(jì)和整理。

優(yōu)先將視頻異常檢測描述為一個抽象問題，同時將其和視頻設(shè)置進(jìn)行結(jié)合，共同進(jìn)行分析和研究。設(shè)定隨機(jī)向量集合為x={xν}ν∈V，相應(yīng)圖為G={V，E}。其中，集合V具有對任意節(jié)點(diǎn)進(jìn)行定義的能力。

如果從虛假設(shè)H0能夠獲取基準(zhǔn)數(shù)據(jù)x={xν}ν∈V，則需要滿足以下約束條件：

H0=x×f0(x)

(1)

上式中，H0代表虛假設(shè)；x代表基準(zhǔn)數(shù)據(jù)；f0(x)代表基準(zhǔn)數(shù)據(jù)的邊緣分布。

將異常分布設(shè)定為在具體坐標(biāo)位置ν和標(biāo)度s條件下構(gòu)成的異常似然混合模型。為了確保整個檢測過程得到有效簡化，以下只考慮在固定標(biāo)度條件下的混合模型，在上述條件下獲取的先驗(yàn)概率計(jì)算式為：

(2)

上式中，Pν代表似然函數(shù)；fν代表邊緣分布。

在上述基礎(chǔ)上，需要在文本局部模型中加入一些較為特殊的符號進(jìn)行描述。設(shè)定ων，s代表以ν為圓心、s為半徑的球體，則：

{ων，ων，s}=u×d(u，ν)×s

(3)

上式中，u代表球體內(nèi)規(guī)定半徑的數(shù)量；d(u，ν)代表局部結(jié)構(gòu)；s代表球體半徑。

結(jié)合公式(2)，能夠獲取半徑為ε的球體內(nèi)全部點(diǎn)集合，即：

ων，s=u×V×d(u，ν)≤ε，ν∈ων

(4)

上式中，V代表任意常數(shù)。

當(dāng)分布f0和fν滿足設(shè)定的約束條件，則說明異常抖動具有局部分解特征。

設(shè)定視頻序列時隙是整個視頻中一個較小的頻段，在一個完整的視頻中共有x(1)，x(2)，…，x(n)個視頻序列時隙。為了方便后續(xù)的分析和研究，需要確保各個視頻序列時隙是獨(dú)立存在，同時還能夠?qū)⒁曨l劃分為多個長短不一且互不重疊的視頻序列時隙。

針對視頻序列時隙而言，關(guān)聯(lián)一個圖G={V×T，E}。其中，集合V主要用來連接視頻序列時隙的空間位置，而集合T主要用來連接視頻序列時隙的時間。從理論角度出發(fā)，重點(diǎn)對全部像素的位置和時間進(jìn)行分析，將其劃分為多個規(guī)格一致但是長短不同的區(qū)域塊。

在進(jìn)行特征提取的過程中，計(jì)算各個視頻序列時隙中像素的平均取值，同時還能夠?qū)⑾袼靥卣骷D(zhuǎn)換為有關(guān)原子的多維向量，重點(diǎn)需要結(jié)合以下幾方面特征進(jìn)行分析研究：

1)持續(xù)性特征

通過背景相減方法對視頻中存在的異常抖動檢測分析。其中，視頻中位數(shù)估計(jì)主要是借助前景實(shí)現(xiàn)的，而背景更新則結(jié)束移動平均算法實(shí)現(xiàn)。另外，在實(shí)際操作的過程中，需要將各個像素標(biāo)記為背景或者是前景中的一部分。

2)方向特性

需要形成一種全新的光流法，通過這種新的方法完成視頻中運(yùn)動向量提取。對研究區(qū)域進(jìn)行分析，使運(yùn)動向量能夠在8個不同的方向運(yùn)動，同時將幅度取值較小的向量采用特殊的空間維度描述。

3)運(yùn)動幅度

需要不包含空間維度的運(yùn)動幅度向量求解原子中全部像素的平均值。

在上述分析的基礎(chǔ)上，分別計(jì)算不同視頻的局部K最近鄰距離，結(jié)合計(jì)算結(jié)果，獲取測試和訓(xùn)練視頻的總體得分，同時將得分結(jié)果進(jìn)行排列，確定視頻中的異常抖動部分。

利用圖1給出基于局部特征約束的視頻異常抖動檢測流程圖。優(yōu)先對視頻中存在的運(yùn)動描述符進(jìn)行特征提取，同時對提取的全部特征進(jìn)行量化拆分處理；采用時間—空間濾波器對特征描述符進(jìn)行平滑處理[7-8]，獲取對應(yīng)的平滑估計(jì)。對訓(xùn)練和測試視頻的局部KNN距離，將獲取的距離值進(jìn)行統(tǒng)計(jì)，獲取兩者的總體分值，將其進(jìn)行排序，實(shí)現(xiàn)視頻異常抖動檢測。

圖1 基于局部特征約束的視頻異常抖動檢測流程圖

2.2 視頻異常抖動消除

當(dāng)檢測到視頻中的異常部分后，需要將異常抖動消除。進(jìn)行視頻異常抖動消除的主要目的就是保證整個視頻序列的平穩(wěn)變換，同時確保視頻的穩(wěn)定[9-10]。

優(yōu)先對視頻進(jìn)行壓縮處理，組建含有稀疏特性的碼流，在碼流中提取編碼端對視頻進(jìn)行運(yùn)動估計(jì)所形成的運(yùn)動矢量，同時借助運(yùn)動矢量對視頻進(jìn)行運(yùn)動分析和映射變換。

映射變換是一種2—D平面變換方法，如圖2所示。

圖2 平面上點(diǎn)映射變換

主要用來描述簇內(nèi)圖像之間的關(guān)聯(lián)性，同時映射具有不變性。假設(shè)一個映射為映影映射，則需要滿足公式(4)中的約束條件：

h(x)=H×x

(5)

上式中，H代表非奇異矩陣。

在處理平面關(guān)系的過程中，主要選擇公式(5)的表達(dá)形式：

(6)

由于H是一個齊次矩陣，在矩陣中的全部元素都是相互獨(dú)立的，所以映射變換共包含8個不同的自由度。以下借助最小二乘準(zhǔn)則獲取矩陣H的最優(yōu)表達(dá)形式，即：

(7)

由于運(yùn)動矢量具有很多參考幀，同時還具有多個不同等級的結(jié)構(gòu)，無法直接用來進(jìn)行運(yùn)動分析。為了更好解決上述問題，需要采用運(yùn)動信息對相機(jī)的運(yùn)動路徑進(jìn)行歸集。同時在全局運(yùn)動矢量修正的過程中，需要采用F(t)對相鄰幀的運(yùn)動矢量進(jìn)行修正，但是F(t)實(shí)際就是在相機(jī)相鄰兩幀的運(yùn)動路徑。以下主要采用視頻編碼對視頻中的運(yùn)動矢量F(t)進(jìn)行計(jì)算，結(jié)合映射變換的傳遞性質(zhì)，獲取相機(jī)在第t幀的運(yùn)動路徑C(t)，如公式(8)所示：

(8)

上式中，I代表運(yùn)動矢量。

為了更好地估計(jì)相機(jī)路徑C(t)，需要使其和相機(jī)的實(shí)際路徑P(t)盡可能接近，進(jìn)而要對P(t)進(jìn)行約束，具體的計(jì)算式為：

(9)

上式中，O{P(t)}代表相機(jī)實(shí)際路徑的約束條件；ωt，r代表高斯權(quán)重；λt代表平衡因子；P(r)代表約束估計(jì)出的噪聲路徑。

設(shè)定穩(wěn)定視頻幀是通過映射變換獲取的，則這種變換能夠表示為：

B(t)=C-1(t)P(t)

(10)

上式中，B(t)代表穩(wěn)定視頻幀變換結(jié)果。

運(yùn)動估計(jì)是由視頻中的運(yùn)動信息流構(gòu)成，結(jié)合圖像中各個網(wǎng)絡(luò)頂點(diǎn)獲取各個幀內(nèi)組塊對應(yīng)的運(yùn)動信息，通過運(yùn)動信息得到視頻的具體運(yùn)動軌跡。

采用單一相機(jī)的運(yùn)動路徑算法能夠精準(zhǔn)估算出各個網(wǎng)格的相機(jī)運(yùn)動路徑，即：

ci(t)=fi(t)+fi(t-1)+…fi(0)

(11)

上式中，fi(t)代表在第t幀內(nèi)第i個網(wǎng)格的運(yùn)動量，同時該網(wǎng)格的相機(jī)路徑ci(t)為相鄰運(yùn)動矢量之和。其中，第i個網(wǎng)格運(yùn)動路徑對應(yīng)的約束條件能夠表示為：

(12)

上式中，{pi(t)}代表第i個網(wǎng)格定點(diǎn)的最優(yōu)軌跡；pi(t)代表相機(jī)相鄰的運(yùn)動路徑；pi(r)代表相鄰相機(jī)的運(yùn)動矢量。

通過編碼提供的運(yùn)動流信息，能夠獲取全部網(wǎng)絡(luò)的路徑約束條件：

(13)

通過上述約束條件獲取最終值，同時對各個網(wǎng)格的運(yùn)動矢量bi(t)：

bi(t)=pi(t)-ci(t)

(14)

針對視頻中已經(jīng)完成更新的運(yùn)動矢量，獲取圖像在網(wǎng)格中全新的坐標(biāo)位置，通過位置信息實(shí)現(xiàn)圖像的局部映射變換[11-12]，進(jìn)而組建穩(wěn)定性更強(qiáng)的視頻幀。

相機(jī)路徑估計(jì)主要借助多條不同的路徑實(shí)現(xiàn)，對全部運(yùn)動矢量進(jìn)行修正和篩選，同時使各個運(yùn)動矢量的初始閾值相同，自適應(yīng)進(jìn)行篩選比例調(diào)整，促使矢量在目標(biāo)比例內(nèi)，具體的計(jì)算式如下：

Hng=|dmv-dH|+Nthreshold

(15)

上式中，dmv代表運(yùn)動矢量確定的偏移距離；dH代表映射變換確定的偏移距離；Nthreshold代表閾值。如果運(yùn)動矢量經(jīng)過修正后，整體比例不在設(shè)定的范圍內(nèi)，需要修正閾值，同時保證運(yùn)動矢量偏移和映射變換偏移兩者更加接近。

在上述分析的基礎(chǔ)上，加入編碼技術(shù)進(jìn)行視頻異常抖動消除，最終獲取穩(wěn)定的視頻。

3 仿真實(shí)驗(yàn)

為了驗(yàn)證基于局部特征約束的視頻異常抖動消除方法的有效性，通過PC機(jī)進(jìn)行實(shí)驗(yàn)測試分析。

1)視頻異常抖動消除效果分析

優(yōu)先驗(yàn)證所提方法的視頻異常抖動消除效果，設(shè)定圖3為未經(jīng)過處理的異常抖動視頻，即測試圖像，圖4為經(jīng)過三種不同方法進(jìn)行抖動消除后的視頻：

圖3 測試對象

圖4中，分析圖4中的視頻能夠看出，經(jīng)過抖動消除后，視頻中出現(xiàn)的抖動有了明顯的改善。相比另外兩種方法，所提方法能夠更好消除視頻中的異常抖動，同時獲取更加清晰的視頻效果。

圖4 不同方法的視頻異常抖動消除結(jié)果

2)峰值信噪比/dB

為了更好分析方法的性能，以下實(shí)驗(yàn)對比不同方法的峰值信噪比，通過峰值信噪比(PSNR)進(jìn)一步衡量視頻異常抖動消除效果，具體實(shí)驗(yàn)結(jié)果如表1所示：

表1 不同方法視頻異常抖動消除前后PSNR對比結(jié)果分析

分析表1中的實(shí)驗(yàn)數(shù)據(jù)可知，三種方法的峰值信噪比處理前有了明顯的提升，說明經(jīng)過抖動消除后，各個視頻的圖像質(zhì)量也得到有效改善。所提方法的峰值信噪比取值最高，主要是因?yàn)樗岱椒ㄔ谶M(jìn)行抖動消除時，加入了視頻異常抖動檢測環(huán)節(jié)，能夠快速準(zhǔn)確識別圖像中的異常，為抖動消除提供依據(jù)，進(jìn)而確保視頻質(zhì)量得到改善，同時峰值信噪比也隨之增加。

3)平均編碼時間/s

為了更進(jìn)一步所提方法的優(yōu)越性，以下實(shí)驗(yàn)測試對比三種不同方法的平均編碼時間，具體實(shí)驗(yàn)結(jié)果如圖5所示：

圖5 不同方法的平均編碼時間對比結(jié)果

分析圖5中的實(shí)驗(yàn)數(shù)據(jù)可知，當(dāng)測試樣本數(shù)量持續(xù)增加，各個方法的平均編碼時間也會相應(yīng)增加。但是由于其他兩種方法未能對視頻進(jìn)行異常抖動檢測，導(dǎo)致整體的平均編碼時間增加，而所提方法的平均編碼時間明顯更低一些。

4 結(jié)束語

針對目前已有視頻異常抖動消除方法存在的問題，提出一種基于局部特征約束的視頻異常抖動消除。測試結(jié)果表明，所提方法能夠有效增強(qiáng)視頻質(zhì)量，降低平均編碼時間，提升峰值信噪比，獲取理想的視頻異常抖動消除效果。

雖然現(xiàn)階段所提方法取得了較為顯著的研究成果，但是仍然存在一定的不足，后續(xù)將重點(diǎn)針對以下幾方面的內(nèi)容進(jìn)行研究：

1)在視頻異常抖動消除后，加入效果評估方法，進(jìn)一步驗(yàn)證視頻質(zhì)量的好壞。

2)擴(kuò)大研究范圍，使其能夠被應(yīng)用于各個研究領(lǐng)域中。