基于雙流網(wǎng)絡(luò)的視頻圖像去噪算法

黃異嶸 李汶隆 劉川杰

摘 ?要：該文針對(duì)傳統(tǒng)視頻圖像去噪算法因閾值不準(zhǔn)確導(dǎo)致偽影等時(shí)域模糊問(wèn)題，提出了一種基于雙流網(wǎng)絡(luò)的視頻圖像去噪算法。該算法統(tǒng)籌考慮視頻圖像在時(shí)間通道與空間通道的關(guān)系屬性，通過(guò)效仿人體視覺(jué)過(guò)程，對(duì)視頻幀序列中的時(shí)序信息與空間信息進(jìn)行內(nèi)容理解，以幀間圖像絕對(duì)誤差均值MAD的方差來(lái)表征視頻序列在時(shí)空網(wǎng)絡(luò)中的動(dòng)靜屬性，并由此計(jì)算出動(dòng)態(tài)可變的去噪閾值，使采用的時(shí)空維度去噪算法更科學(xué)、更精準(zhǔn)。

關(guān)鍵詞：視頻圖像;閾值;雙流網(wǎng)絡(luò);去噪算法;方差

中圖分類(lèi)號(hào)：TP391 ? ? ? ? ? ? 文獻(xiàn)標(biāo)志碼：A

0 引言

近年來(lái)，隨著神經(jīng)網(wǎng)絡(luò)的迅速發(fā)展，對(duì)計(jì)算機(jī)視覺(jué)的研究也越來(lái)越深入，并且在視頻圖像數(shù)據(jù)處理方面，二者已緊密結(jié)合起來(lái)，便于機(jī)器更好地理解圖像，基于圖像內(nèi)容理解的視頻圖像處理技術(shù)正得到廣泛應(yīng)用。

圖像在形成、傳輸、接收和處理過(guò)程中容易受到外界干擾，產(chǎn)生一些脈沖噪聲，從而在圖像中產(chǎn)生椒鹽噪聲，這會(huì)進(jìn)一步影響圖像分割、特征提取等后期圖像的應(yīng)用效果[2]。因此，提高信噪比是圖像處理的重要任務(wù)之一。

1 技術(shù)現(xiàn)狀

目前，傳統(tǒng)的視頻圖像去噪方法主要分為空域?yàn)V波、時(shí)域?yàn)V波和時(shí)空結(jié)合濾波3種?？沼?yàn)V波常采用對(duì)相鄰像素點(diǎn)進(jìn)行加權(quán)平均的方式濾波，所以空域?yàn)V波去除噪聲的效果較差，并且會(huì)犧牲圖像高頻細(xì)節(jié)部分，使圖像產(chǎn)生失真。時(shí)域?yàn)V波由于考慮了視頻圖像在時(shí)間上的相關(guān)性，采用IIR濾波算法進(jìn)行幀間圖像的加權(quán)處理，圖像序列越相似，相關(guān)性越強(qiáng)，去噪效果越好。但對(duì)于時(shí)空網(wǎng)絡(luò)維度的運(yùn)動(dòng)圖像，運(yùn)動(dòng)目標(biāo)會(huì)產(chǎn)生偽影等時(shí)域模糊現(xiàn)象[1]。時(shí)空結(jié)合濾波采用對(duì)視頻圖像中靜止部分進(jìn)行時(shí)域?yàn)V波，對(duì)運(yùn)動(dòng)部分圖像進(jìn)行空域?yàn)V波的方式，有效地解決了空域?yàn)V波去除噪聲較差和時(shí)域?yàn)V波運(yùn)動(dòng)目標(biāo)會(huì)產(chǎn)生偽影等時(shí)域模糊問(wèn)題[4]。

現(xiàn)有的時(shí)空濾波方法通常采用預(yù)測(cè)閾值法[6]來(lái)判斷圖像中的運(yùn)動(dòng)與靜止部分，當(dāng)幀間像素塊差值大于該閾值時(shí)，該區(qū)域像素為運(yùn)動(dòng)塊，對(duì)該塊進(jìn)行空域?yàn)V波。當(dāng)小于該閾值時(shí)，判斷該區(qū)域像素為靜止塊，對(duì)該塊進(jìn)行時(shí)域?yàn)V波。但現(xiàn)有方式存在2個(gè)問(wèn)題。1）在圖像靜止區(qū)域，當(dāng)噪聲較大時(shí)，幀間像素塊差值仍然比較大，因此就會(huì)將該塊誤判為運(yùn)動(dòng)塊而進(jìn)行空域?yàn)V波。2）在視頻圖像運(yùn)動(dòng)區(qū)域，如果閾值選擇比較大，會(huì)將該塊判斷為靜止塊進(jìn)行時(shí)域?yàn)V波，從而導(dǎo)致圖像時(shí)域模糊。

針對(duì)傳統(tǒng)方法存在的各種問(wèn)題，該文重新設(shè)計(jì)一種基于雙流網(wǎng)絡(luò)[3]的視頻圖像去噪算法，統(tǒng)籌考慮視頻圖像在時(shí)空網(wǎng)絡(luò)之間的關(guān)系屬性，通過(guò)效仿人體視覺(jué)過(guò)程，對(duì)視頻幀序列中的時(shí)序信息與空間信息進(jìn)行內(nèi)容理解[5]，以幀間圖像絕對(duì)誤差均值MAD的方差來(lái)表征視頻序列在時(shí)空網(wǎng)絡(luò)中的動(dòng)靜屬性，由此計(jì)算出動(dòng)態(tài)可變的去噪閾值，再使用基于時(shí)空維度的去噪手段。實(shí)驗(yàn)證明，該文所設(shè)計(jì)的基于雙流網(wǎng)絡(luò)的視頻圖像去噪算法，可以適配復(fù)雜多變的視頻場(chǎng)景，去噪后的圖像失真度更小，圖像更清晰。

2 雙流網(wǎng)絡(luò)視頻圖像去噪算法

2.1 基本思想

為了克服現(xiàn)有技術(shù)上的缺點(diǎn)，該文提出了一種以雙流網(wǎng)絡(luò)為基礎(chǔ)思想的視頻圖像去噪算法。通過(guò)效仿人體視覺(jué)過(guò)程，對(duì)視頻信息進(jìn)行理解，在處理視頻圖像中的環(huán)境空間信息的基礎(chǔ)上，對(duì)視頻幀序列中的時(shí)序信息進(jìn)行理解。其基本思想是將單獨(dú)的視頻單幀作為表述空間信息的載體，其中包含環(huán)境、視頻中的運(yùn)動(dòng)與靜止的物體等空間信息網(wǎng)絡(luò)。光流信息作為時(shí)序信息的載體，用來(lái)理解運(yùn)動(dòng)的動(dòng)態(tài)特征，通過(guò)時(shí)間信息網(wǎng)絡(luò)中圖像的絕對(duì)誤差均值MAD，來(lái)表征視頻圖像在時(shí)間序列的運(yùn)動(dòng)狀態(tài)，通過(guò)MAD的方差，動(dòng)態(tài)計(jì)算時(shí)間通道上視頻幀去噪閾值的大小，使視頻圖像的時(shí)空網(wǎng)絡(luò)信息表征更合理，算法實(shí)施效果更好。

2.2 算法建模

該文利用視頻圖像時(shí)間動(dòng)態(tài)特性和空間相對(duì)關(guān)系進(jìn)行建模，之后再對(duì)不同模型得到的結(jié)果進(jìn)行融合，主要過(guò)程如下。首先，計(jì)算去噪閾值權(quán)重。閾值權(quán)重的選擇將直接影響到網(wǎng)絡(luò)的收斂速度及效果，如何選擇一種合適的方式成為了該文首先需要解決的問(wèn)題。實(shí)際視頻圖像中多為白噪聲，服從均值為0、方差為δ的高斯分布，假設(shè)在一定時(shí)間范圍沒(méi)有運(yùn)動(dòng)出現(xiàn)，圖像間的差異主要由噪聲引起，則有：

式中：當(dāng)前處理區(qū)域塊大小為16×16的像數(shù)塊，i與j分別代表像數(shù)塊中行與列編號(hào)。用當(dāng)前幀去噪閾值TH和MAD進(jìn)行比較并判斷，分離出動(dòng)靜視圖區(qū)域。

最后，通過(guò)遍歷一幀圖像，計(jì)算出空間信息網(wǎng)絡(luò)中的動(dòng)靜視圖區(qū)域，再利用形態(tài)學(xué)濾波算法，去除孤立屬性區(qū)域塊，更新視頻幀中動(dòng)靜區(qū)域。在時(shí)間信息網(wǎng)絡(luò)中，對(duì)靜止區(qū)域進(jìn)行IIR濾波，在空間信息網(wǎng)絡(luò)中對(duì)運(yùn)動(dòng)塊進(jìn)行空域?yàn)V波。

2.3 算法分析

和傳統(tǒng)算法相比，該文通過(guò)計(jì)算幀間圖像絕對(duì)誤差均值（MAD）的方差，以方差來(lái)表征當(dāng)前視頻序列在時(shí)間網(wǎng)絡(luò)信息中的運(yùn)動(dòng)狀態(tài)。使得在對(duì)每幀視頻圖像的去噪處理中，在空間網(wǎng)絡(luò)信息中能夠細(xì)分出運(yùn)動(dòng)區(qū)域和靜止區(qū)域，并分別進(jìn)行處理。在時(shí)間網(wǎng)絡(luò)中，通過(guò)視頻幀MAD的方差來(lái)計(jì)算閾值，動(dòng)態(tài)地分析視頻序列的運(yùn)動(dòng)屬性，使去噪閾值能夠與當(dāng)前的視頻應(yīng)用場(chǎng)景動(dòng)態(tài)適配。該文采用的去噪算法在實(shí)際工程應(yīng)用中，有效地解決了傳統(tǒng)算法在對(duì)復(fù)雜環(huán)境下的視頻圖像去噪而產(chǎn)生的偽影等時(shí)域模糊問(wèn)題，對(duì)后續(xù)基于視頻圖像的挖掘分析應(yīng)用具有較好的實(shí)際意義。

3 結(jié)語(yǔ)

為解決傳統(tǒng)去噪算法中不能很好地進(jìn)行視頻圖像理解而產(chǎn)生的圖像失真、模糊等問(wèn)題。該文重點(diǎn)闡述了利用時(shí)空雙流網(wǎng)絡(luò)對(duì)視頻圖像進(jìn)行內(nèi)容理解，動(dòng)態(tài)表征視頻序列在時(shí)空網(wǎng)絡(luò)中的運(yùn)動(dòng)屬性，在此基礎(chǔ)上進(jìn)行視頻圖像動(dòng)靜分離處理與融合。

該文基本思想在于，在時(shí)間通道中，以視頻幀MAD來(lái)表征視頻序列動(dòng)態(tài)特征，并用MAD方差來(lái)計(jì)算去噪閾值權(quán)重。在空間通道中，對(duì)單幀視頻圖像中的處理區(qū)域在時(shí)間通道中的運(yùn)動(dòng)特征進(jìn)行狀態(tài)分類(lèi)，以此來(lái)確定時(shí)空網(wǎng)絡(luò)的濾波算法。在實(shí)際應(yīng)用場(chǎng)景中，特別針對(duì)復(fù)雜多變的視頻應(yīng)用這一業(yè)內(nèi)較難處理的業(yè)務(wù)場(chǎng)景，該文提出的算法，可動(dòng)態(tài)、快速地完成收斂，具有較好的場(chǎng)景適應(yīng)性。該文采用的基于雙流網(wǎng)絡(luò)的視頻處理基本思想，也可應(yīng)用于其他視頻圖像處理場(chǎng)景中。

參考文獻(xiàn)

[1]李朋，余諒.一種改進(jìn)的小波閾值去噪方法[J].現(xiàn)代計(jì)算機(jī)，2016（7）：72-75.

[2]劉冰，雪梅.基于連續(xù)小波閾值去噪算法的目標(biāo)檢測(cè)研究[J].現(xiàn)代計(jì)算機(jī)，2017（14）：64-68.

[3]湯鵬杰，譚云蘭.基于雙流混合變換CNN特征的圖像分類(lèi)與識(shí)別[J].井岡山大學(xué)學(xué)報(bào)，2015，36（5）：53-59.

[4]李竹林.數(shù)字圖像去噪算法的研究與應(yīng)用[D].延安：延安大學(xué)，2015.

[5]陳曉.基于Shearlet變換和深度CNN的圖像去噪研究[D].南京：南京信息工程大學(xué)，2018.

[6]王小玉.基于小波閾值的圖像去噪研究[D].哈爾濱：哈爾濱理工大學(xué)，2016.