視頻圖像關(guān)鍵幀去噪及信息提取研究

謝婷婷 楊祖恒 陳美松 王朋豪 張鵬程 楊滟濤

課題：西南石油大學(xué)第十九期（2019-2020年度）大學(xué)生課外開放實(shí)驗(yàn)校級重點(diǎn)項(xiàng)目，編號(hào)：KSZ19906 指導(dǎo)教師：丁顯峰

摘要：隨著科技的進(jìn)步，如何快速從圖像或視頻中提取出信息成為研究的熱點(diǎn)。因?yàn)榉N種外界因素，圖像或視頻不一定清晰，本文通過比較選取了中值濾波去噪算法對視頻中所提取的關(guān)鍵幀進(jìn)行去噪處理，處理后的圖像利用數(shù)學(xué)模型進(jìn)行圖像坐標(biāo)系和現(xiàn)實(shí)坐標(biāo)系的轉(zhuǎn)換，從而得到有用的視覺情報(bào)信息，實(shí)驗(yàn)證明本文方法有效可行。

關(guān)鍵詞：圖像視頻;中值濾波去噪;關(guān)鍵幀;信息

1 引言

圖像中需要被檢測出來的運(yùn)動(dòng)目標(biāo)稱為前景，前景是視覺任務(wù)中感興趣的區(qū)域，圖像中除去前景部分稱為背景，是視覺任務(wù)中要忽略的區(qū)域，進(jìn)行運(yùn)動(dòng)目標(biāo)檢測的目的就是提取出視頻幀中的前景區(qū)域，方便下一步進(jìn)行運(yùn)動(dòng)目標(biāo)識(shí)別或運(yùn)動(dòng)目標(biāo)跟蹤。在一個(gè)復(fù)雜場景的圖像中難以準(zhǔn)確地定義出什么是前景，尤其是在光線漸變、突變、動(dòng)態(tài)背景偽裝效應(yīng)、陰影，鬼影等具有挑戰(zhàn)性的場景中，準(zhǔn)確地定義出前景并且提取出前景是一件非常困難的任務(wù)[1]。本文通過研究對視頻幀序列圖像中容易出現(xiàn)的干擾噪聲、顏色相似等因素的影響，對圖像進(jìn)行去噪和形態(tài)學(xué)處理，使得圖像中目標(biāo)特征信息更加明顯，有利于目標(biāo)圖像的檢測提取。

2 視頻關(guān)鍵幀提取

視頻的本質(zhì)是一種由圖像快速播放而得的，視頻的組成是由一組時(shí)間和內(nèi)容相關(guān)的圖像組成的。視頻技術(shù)包含對靜態(tài)圖片的捕捉、操作和存儲(chǔ)。視頻播放利用了人眼的局限性。由于人眼存在視覺暫留現(xiàn)象，當(dāng)每秒鐘刷新顯示的圖像幀數(shù)大于24 張時(shí)，人類會(huì)誤認(rèn)為這些單獨(dú)且為靜態(tài)的圖像是運(yùn)動(dòng)的，從而得到連續(xù)的觀看體驗(yàn)，能夠提供這類觀看體驗(yàn)的連續(xù)圖像被稱作視頻[2]。因此，視頻的本質(zhì)就是圖片，頻率一般為25張圖片/秒，即25幀/秒（這便是幀率的概念）。因?yàn)镸atlab編譯簡單，語言容易學(xué)習(xí)，實(shí)際操作簡單，同時(shí)在圖像處理方面應(yīng)用廣泛，因此運(yùn)用Matlab按照一定的時(shí)間間隔截取視頻關(guān)鍵幀并保存為圖片從圖片中篩選出我們所需要的關(guān)鍵幀，然后進(jìn)行中值濾波去噪處理。

3 圖像去噪算法選擇

3.1圖像去噪一般算法比較

圖像在各種傳達(dá)或輸送過程中，多種不同的噪音或其他干擾都會(huì)對圖像造成影響，因此，輸送的圖像的品質(zhì)以及質(zhì)量將會(huì)受到不同程度的受損，對于人類的視覺系統(tǒng)進(jìn)行圖像分析以及傳感器對圖像的系統(tǒng)分析和理解會(huì)造成一定程度上的阻礙，對于人們進(jìn)一步的圖像處理的需求也有很大的阻礙，因此需要進(jìn)行圖像去噪。圖像去噪的經(jīng)典算法主要有均值濾波、中值濾波、高斯濾波。濾波就是對原來圖像的每個(gè)像素周圍一定范圍內(nèi)的像素進(jìn)行運(yùn)算，但運(yùn)算通常分為兩種，當(dāng)運(yùn)算只是對各像素灰度值進(jìn)行一個(gè)簡單的處理（如乘一個(gè)權(quán)值）最后求和，稱之為線性濾波;但如果對像素灰度值進(jìn)行比較復(fù)雜的運(yùn)算，而不是簡單的處理求和運(yùn)算，就稱之為非線性濾波。所以高斯濾波、均值濾波是線性濾波，中值濾波和雙邊濾波是非線性濾波[3]。

同時(shí)不同的濾波器在處理不同類型的噪聲是效果不同，對于線性平滑濾波，在處理像素鄰域內(nèi)的噪聲點(diǎn)時(shí)，噪聲或多或少都會(huì)影響該點(diǎn)的像素計(jì)算（以高斯平滑為例，距離近則影響大，距離遠(yuǎn)則影響小，與距離的平方呈反比）;但是中值濾波一般可以將噪聲點(diǎn)直接忽略掉。同時(shí)，中值濾波在降噪的同時(shí)引起的模糊效應(yīng)較低。所以本文采用中值濾波來消除椒鹽噪聲。

3.2中值濾波去噪算法

無論平均平滑還是高斯平滑，在處理圖像噪聲時(shí)，都或多或少會(huì)對圖片產(chǎn)生一 定的模糊，損失部分信息。較為理想的情況，是可以選擇性地進(jìn)行濾波，只在噪聲區(qū)域進(jìn)行平滑，而在無噪聲區(qū)域不進(jìn)行平滑，將模糊的影響降到最低[4]，這就是自適應(yīng)性濾波的思想。通常噪聲的存在，可能會(huì)使得附近鄰域內(nèi)，極值的上下差距較大，或者是方差較大，我們可以設(shè)置一定的閾值來判斷該點(diǎn)是否需要進(jìn)行平滑。這時(shí)就可以采用中值濾波，中值濾波本質(zhì)上是一個(gè)統(tǒng)計(jì)排序?yàn)V波器，是以該點(diǎn)為中心的的鄰域內(nèi)的所有像素的統(tǒng)計(jì)排序中值作為該點(diǎn)的響應(yīng)。

4 實(shí)驗(yàn)分析及結(jié)果

4.1關(guān)鍵幀提取

對于一段視頻，也可以稱之為圖像序列，首先運(yùn)用Matlab按照一定的時(shí)間間隔將視頻截取為圖片儲(chǔ)存于文件中，然后選取所需要研究的圖片進(jìn)行去噪處理，如此便將連續(xù)的視頻圖像轉(zhuǎn)化為單幅的靜態(tài)圖片，更有利于情報(bào)信息的提取。以下便是將一段視頻按照一定的時(shí)間間隔截取。

4.2圖像去噪

從視頻中提取出關(guān)鍵幀后利用MATLAB進(jìn)行圖像去噪處理，首先對原圖像進(jìn)行色彩處理得到黑白圖像，由圖1變?yōu)閳D2。

之后利用MATLAB采用中值濾波消除椒鹽噪聲得到如下清晰圖像。

4.3坐標(biāo)轉(zhuǎn)換

處理完成的圖片建立針孔成像模型，將像素坐標(biāo)二次轉(zhuǎn)化為圖像坐標(biāo)，圖像坐標(biāo)經(jīng)過透視投影變?yōu)橄鄼C(jī)坐標(biāo)，相機(jī)坐標(biāo)利用剛體變換得到了現(xiàn)實(shí)坐標(biāo)，從而從圖像中提取出有效的視覺情報(bào)信息。

處理完成的圖片建立針孔成像模型，將像素坐標(biāo)二次轉(zhuǎn)化為圖像坐標(biāo)，圖像坐標(biāo)經(jīng)過透視投影變?yōu)橄鄼C(jī)坐標(biāo)，相機(jī)坐標(biāo)利用剛體變換得到了現(xiàn)實(shí)坐標(biāo)[5]，從而從圖像中提取出有效的視覺情報(bào)信息，即可計(jì)算得到兩點(diǎn)間的距離為4.893米。

5 結(jié)論

本文提出了利用中值濾波對圖像進(jìn)行去噪處理，運(yùn)用Matlab語言進(jìn)行視頻關(guān)鍵幀提取，對圖像處理完畢后，采用數(shù)學(xué)模型進(jìn)行圖像坐標(biāo)系和現(xiàn)實(shí)坐標(biāo)系的轉(zhuǎn)換，有效提取視頻圖像中的情報(bào)信息。

參考文獻(xiàn)：

[1]許辰銘. 視頻圖像中的運(yùn)動(dòng)目標(biāo)檢測與跟蹤[D].南京郵電大學(xué)，2012.

[2]強(qiáng)子謙.基于運(yùn)動(dòng)矢量的視頻關(guān)鍵幀提取及虛擬現(xiàn)實(shí)顯示方法研究[D].天津大學(xué)，2018.

[3]于虹，甄彤.圖像去噪經(jīng)典算法研究[J].信息與電腦（理論版），2020，32（14）：66-67.

[4]]張錚， 王艷平， 薛桂香. 數(shù)字圖像處理與機(jī)器視覺[M].人民郵電出版社， 2010.

[5] 劉美連. 基于多視圖三維重構(gòu)目標(biāo)電磁散射計(jì)算方法研究[D].西安電子科技大學(xué)，2018.

作者簡介：謝婷婷（2000.05.10—），女，漢族，陜西省寶雞市人，本科在讀，研究方向：數(shù)學(xué)與應(yīng)用數(shù)學(xué)。

西南石油大學(xué)理學(xué)院 四川 成都新都區(qū) 610500