基于S變換的非平穩(wěn)微小運動自動放大

雷 林，李樂鵬，楊 敏，董方敏，孫水發(fā)

(1.湖北省水電工程智能視覺監(jiān)測重點實驗室(三峽大學(xué))，湖北 宜昌443002；2.廣東省粵電集團有限公司 天生橋一級水電開發(fā)有限責(zé)任公司水力發(fā)電廠，貴州 興義 562400)

基于S變換的非平穩(wěn)微小運動自動放大

雷 林1,2，李樂鵬1，楊 敏1，董方敏1，孫水發(fā)1*

(1.湖北省水電工程智能視覺監(jiān)測重點實驗室(三峽大學(xué))，湖北 宜昌443002；2.廣東省粵電集團有限公司 天生橋一級水電開發(fā)有限責(zé)任公司水力發(fā)電廠，貴州 興義 562400)

(*通信作者電子郵箱watersun@ctgu.edu.cn)

現(xiàn)有的歐拉視頻微小運動放大方法沒有考慮視頻中運動信息的自動檢測，在實現(xiàn)運動放大時需要人為選取感興趣運動信息處理的合適參數(shù)，比如濾波器截止頻率、放大倍數(shù)等。對于一般的視頻，通常無法直觀地確定這些參數(shù)，而是通過試錯來完成。為此，基于S變換提出了一種視頻序列中非平穩(wěn)微小運動的自動放大方法：基于S變換自動確定帶通濾波器的即時相關(guān)參數(shù)并設(shè)計了相應(yīng)的動態(tài)濾波器，在此基礎(chǔ)上實現(xiàn)了視頻微小運動的全自動放大。首先, 通過S變換分析出視頻中微小運動在各個時刻的瞬時頻率; 然后, 對視頻在不同時刻呈現(xiàn)不同頻率的情況進行動態(tài)帶通濾波處理; 最后, 放大經(jīng)過帶通濾波后的感興趣運動信息，實現(xiàn)微小運動放大。此外，對于抗噪性能分析，提出了一種視頻區(qū)域信噪比評價方法。實驗結(jié)果表明，所提方法在對實際視頻進行放大處理時，能夠根據(jù)運動信息頻率的變化自動地獲取濾波器、放大倍數(shù)等參數(shù)，無需人工參與；運動放大后可以動態(tài)地展現(xiàn)運動目標(biāo)的放大效果。同時，準(zhǔn)確的動態(tài)濾波器在一定程度上能夠抑制噪聲干擾，使得運動放大效果更加理想。

歐拉視頻放大；S變換；自動檢測；動態(tài)帶通濾波；信噪比

0 引言

通過放大視頻中的微小運動，可以展現(xiàn)一些肉眼不可見的運動信息[1]，在可視化、臨床診斷、監(jiān)控等領(lǐng)域[2-4]都有著廣闊的應(yīng)用。2005年Liu等[5]提出了一種針對視頻的運動放大技術(shù)(Motion Magnification，MM)，該方法對目標(biāo)的特征點進行聚類、跟蹤，然后再放大運動幅度，但該方法計算復(fù)雜度高，并且相關(guān)參數(shù)難以控制，在實際應(yīng)用中采用得不多。2012年Wu等[6]提出了一種稱為歐拉視頻放大(Eulerian Video Magnification, EVM)方法，該方法不是顯式地跟蹤和估計粒子的運動，而是通過分析整個場景圖像的像素點的值隨時間的變化，從中分離出感興趣的頻段并進行增強，從而達到放大動作信息的目的。2013年Wadhwa等[7]提出了一種基于相位的運動放大技術(shù)(Phase-Based Video Motion processing，PBVM)，該方法通過放大相位來改變運動目標(biāo)的位移變化，能夠有效抑制噪聲，支持更大的放大倍數(shù)。但是，EVM和PBVM方法均需要用戶為每個待放大的視頻提供一組輸入?yún)?shù)才能進行放大，對于未知的視頻，這需要耗費時間去找到合適的參數(shù)，對于非專業(yè)的用戶將無法使用該方法操作新視頻。

針對運動放大參數(shù)難以確定的問題，Sushma等[8]提出了一種半自動的視頻中微小運動放大(Semi-Automated Magnification of subtle motion in video，SAM)的方法，通過使用從前兩幀視頻獲得的信息自動地確定這些參數(shù)。此外，在文獻[9]中，通過功率譜估計得出運動的頻率等信息，再進行自動運動放大處理，取得了不錯的效果。但是，這些方法只能提取出一組固定的參數(shù)，這樣提取的運動信息是不準(zhǔn)確的。

借鑒現(xiàn)有的方法，本文提出一種基于時頻分析的微小運動自動檢測及放大方法，可以實現(xiàn)對非平穩(wěn)微小運動的全自動檢測及放大。首先,從給定的視頻序列中各像素點的時間波形入手，通過S變換(Stockwell Transform)[10]求出各個時間波形在各個時間點的瞬時頻率; 然后, 通過聚類方法[11]求出每一時間點的瞬時頻率; 最后, 以此瞬時頻率設(shè)計出一個濾波器來實現(xiàn)運動放大。

1 微小運動全自動放大框架

本文對視頻在時間上存在多頻率分布的情況進行分析，以光點視頻sims為例進行分析。視頻sims是將文獻[6]中提供的sim4視頻的4種頻率在時間域上合并而成，得出的光點視頻總長為560幀，其中每140幀分別以2 Hz、3 Hz、5 Hz、7 Hz的頻率左右擺動。圖1給出了本文多頻率下運動信息自動檢測及放大的整體框架，主要包含S變換和動態(tài)濾波。

圖1 微小運動自動檢測框架Fig. 1 Overview of the automated detection of subtle motion

具體來說，對于包含非平穩(wěn)運動信息的視頻，進行運動的自動檢測及放大的算法流程如下：

步驟1 針對視頻中的所有像素點，對于視頻f(x,y,t)中像素點(i,j)在時域信號fij(t)進行S變換，求出關(guān)于信號fij(t)的時頻表示圖；

步驟2 根據(jù)信號的時頻表示計算關(guān)于點(i,j)在時間上瞬時頻率值Fij(t)；

2 信號時頻分析及濾波器設(shè)計

對于視頻中運動信息的多頻率分布的情況，屬于非平穩(wěn)信號的表現(xiàn)形式，直接對這類信號進行頻譜分析會忽略信號頻率在時間上的分布情況，因此需要分析信號在任意時刻的頻率特征。對此，本文采用S變換這種時頻表示方法對微小運動點的時間波形進行分析，并根據(jù)信號在時間軸上瞬時頻率來設(shè)計動態(tài)的帶通濾波器，從而實現(xiàn)非平穩(wěn)運動信號的放大。

2.1 非平穩(wěn)運動信號S變換

對于信號頻率分析的問題，傅里葉變換只給出了信號中頻譜分量的信息，不能定位頻率成分在信號中出現(xiàn)的位置。因此，應(yīng)用時頻表示(Time Frequency Representation, TFR)進行分析是比較合適的?，F(xiàn)在有很多不同的時頻表示方法，比如短時傅里葉變換(Short-Time Fourier Transform, STFT)、連續(xù)小波變換(Continuous Wavelet Transform, CWT)等，而Stockwell[10]提出的S變換集中了短時傅里葉變換和小波變換的優(yōu)點，免去了窗函數(shù)的選擇和克服了窗寬固定的缺陷。因此，我們選擇使用S變換這種時頻表示方法。通過S變換，得出信號的頻率及其對應(yīng)的時間位置，然后提取出信號的頻率，從而確定帶通濾波器通帶范圍。

對于給定的時域信號x(t)，其S變換的定義公式如下：

(1)

其中:f表示頻率，dτ表示時間位移量，τ為窗函數(shù)的中心點，S變換采用的窗函數(shù)為高斯窗函數(shù)，如式(2)所示:

(2)

微小運動頻率的自動檢測主要體現(xiàn)在時間序列上頻率變化時，通過S變換確定信號在不同時刻的頻率分布情況，從而檢測出該運動頻率及其對應(yīng)的時間點。圖2以一個時間上不同頻率的中心向四周灰度漸變的模糊化光點視頻sims為例來分析非平穩(wěn)運動的S變換(其中fs為信號的采樣頻率。在本例中，視頻幀率為30幀每秒即為信號采樣頻率fs，下同)。為了直觀展示視頻運動的效果，將視頻切取一條線，然后沿著時間軸依次展開得到其時空切片圖，圖2(b)給出了光點視頻sims的時空切片圖。

由圖2(d)可知，所有頻率的信號在經(jīng)過S變換后，圖中都可以清晰地看出隨時間變化而變化的情況，即通過S變換，我們可以知道某個頻率及其所對應(yīng)的時間位置。

通過對視頻中N個像素點的時間波形進行S變換，可以得出N個T時間長度的頻率矩陣，即N×T的矩陣; 然后在每個時間點上采用K-means聚類算法對所有頻率值進行聚類分析，求出微小運動在每個時間點上的中心頻率值，得出1×T的矩陣。在此基礎(chǔ)上，通過確定視頻在每一時刻運動信息的瞬時頻率，來設(shè)計一個關(guān)于時間序列的動態(tài)帶通濾波器，即為本文所需的時頻濾波器。

2.2 動態(tài)濾波器的設(shè)計

首先對S變換的逆變換進行分析，將S變換沿時間軸方向進行積分，將得到信號x(t)的頻譜X(f)。利用高斯窗函數(shù)所包含的面積等于1的特性，有：

(3)

因此，將s(t,f)沿著時間軸t積分，可得

(4)

式(4)表示S頻譜是可逆的，同時也為S變換提供一個簡單的逆變換：

(5)

由此可以設(shè)計一個基于S域的濾波器H(t,f)來對信號x(t)進行處理。

(6)

其中H(t,f)表示時頻濾波器，時頻濾波器在此可以根據(jù)信號的瞬時頻率設(shè)計成理想的時頻二維濾波器或動態(tài)Butterworth濾波器。根據(jù)本文視頻運動放大的需要，按照文獻[12]設(shè)計出的所需的動態(tài)帶通濾波器。

圖2 視頻sims的時間波形及S變換結(jié)果Fig. 2 Time waveform of video sims and the results of S transform

令fr(t)表示信號用S變換分析所得的瞬時頻率值，在視頻序列中，時間變量t表示成離散變量，即為視頻幀序號，則所需設(shè)計的濾波器表示如式(7):

(7)

其中B(t)為時頻濾波器的帶寬，帶寬B(t)一般根據(jù)信號的能量在視頻平面上沿瞬時頻率的聚集程度來確定。本文中帶寬B通過經(jīng)驗公式(8)求?。?/p>

B=(Fmax+F)/2-(Fmin+F)/2

(8)

式中：F為聚類得到的瞬時中心頻率，F(xiàn)max、Fmin分別為瞬時中心頻率所在類中的最大頻率值和最小頻率值，下同。對于圖2中給定點進行 S變換后的波形，根據(jù)式(7)設(shè)計的動態(tài)理想帶通濾波器結(jié)果如圖3(a)所示，濾波后的時頻表示如圖3(b)所示，可以看出每個時刻點的有效頻率得到保留，而其他干擾頻率成分均被濾波掉了，然后對濾波后的信號進行放大處理，即可實現(xiàn)微小運動自動檢測及放大的效果。

圖3 動態(tài)理想帶通濾波器及濾波后的時頻表示Fig. 3 Dynamic ideal bandpass filter and time frequency representation after filtering

3 非平穩(wěn)微小運動自動檢測及放大

對將上述非平穩(wěn)的微小運動檢測方法、動態(tài)帶通濾波器的設(shè)計方法與文獻[6]的歐拉視頻放大方法結(jié)合起來，得出基于非平穩(wěn)微小運動自動檢測及放大方法的總體框架如圖4所示。

圖4 非平穩(wěn)運動的自動檢測及放大的整體框架Fig. 4 Overview of the automated detection and magnification of non-stationary motion

該框架中，ωl和ωh代表帶通濾波器的通帶截頻，通過S變換后的信號確定；α代表視頻放大的倍數(shù)，λc表示α為0時的截斷波長(其確定方法沿用文獻[5]中的方法)。

本文對視頻進行非平穩(wěn)微小運動自動放大處理包括以下幾個步驟：

1)參數(shù)估計：①從視頻中提取時間序列；②對每個時間序列應(yīng)用S變換這種時頻表示進行分析；③估計帶通濾波參數(shù)以及運動放大參數(shù)。

2)運動放大：①將視頻序列進行拉普拉斯金字塔空域分解，得到不同空域分辨率的視頻序列；②對每個尺度的空域圖像進行時域動態(tài)帶通濾波處理，實時得到感興趣的若干頻帶；③對感興趣的頻帶信號進行線性放大；④通過將放大信號與原始信號進行重建處理，合成運動放大后的圖像。

通過上述分析可知，本文首先從視頻本身自動地檢測出運動信息，然后進行動態(tài)帶通濾波處理，最后進行運動放大，實現(xiàn)了非平穩(wěn)微小運動的全自動檢測及其放大。

4 實驗結(jié)果及分析

文中的實驗素材主要來源于文獻[6]提供的視頻，部分實驗素材來自于本文作者拍攝及處理的視頻。首先驗證本文方法同樣適用于單一頻率的運動目標(biāo); 其次對含有多種頻率的視頻進行實驗，并分別對其抗噪性能進行分析。

4.1 估計的頻率參數(shù)

通過本文方法對所有實驗視頻進行實驗，其中間過程的部分頻率參數(shù)如表1所示。

表1 本文估計的頻率參數(shù)與EVM方法、SAM方法的對比Tab. 1 Band-pass filter of EVM，SAM and proposed method

通過表1的對比可以看出，與原始的EVM方法和SAM方法相比，本文方法得出的大部分視頻的帶通濾波器通頻帶范圍與之基本保持一致或包含在其通頻帶頻率范圍內(nèi)。根據(jù)帶通濾波器頻帶的討論，包含在通頻帶范圍內(nèi)信號得到放大，而相應(yīng)的不在通頻帶范圍的信號將會被衰減。

因此，通過本文方法使得檢測出的運動信號的頻率更為準(zhǔn)確，從而設(shè)計出的帶通濾波器包含中心頻率且有相對較窄的通頻帶，在實現(xiàn)微小運動放大的同時能夠更好地抑制噪聲信號的放大。

表1中數(shù)據(jù)只是某一時刻的，而所有的濾波參數(shù)是根據(jù)運動目標(biāo)的中心頻率動態(tài)調(diào)整的，其濾波效果更為準(zhǔn)確。準(zhǔn)確的帶通濾波參數(shù)在實現(xiàn)微小運動放大時能夠抑制噪聲信號，得出更好的運動放大效果。

4.2 單一頻率視頻實驗結(jié)果

首先對單一運動頻率的視頻flower進行實驗分析，flower視頻是一個在室內(nèi)相對較暗的光照下進行輕微運動的太陽能搖擺花，該視頻是我們自己拍攝的未知運動放大參數(shù)的視頻。由于不知道運動放大參數(shù)，很難得出帶通濾波器的通帶范圍，用原始的歐拉視頻放大方法難以將該視頻進行運動放大處理。因此，本文應(yīng)用提出的動態(tài)濾波方法進行運動信息檢測及放大，實驗結(jié)果如圖5所示。

圖5 基于動態(tài)濾波的運動放大結(jié)果Fig. 5 Results of motion magnification based on dynamic filtering

實驗結(jié)果表明，本文基于非平穩(wěn)信號動態(tài)濾波的方法能夠?qū)崿F(xiàn)對未知運動信息的視頻進行自動檢測及放大，并且取得了不錯的運動放大效果，由運動放大前后的時空切片圖可以清晰地看出運動細節(jié)的變化。接下來對時間域上存在多頻率分布的視頻進行實驗分析。

4.3 多頻率視頻實驗結(jié)果

視頻sims是一個包含了4種頻率運動信息的視頻，不同時刻對應(yīng)的頻率可能不相同，用歐拉視頻放大方法可以使用包括所有運動運動頻率的帶通濾波器來實現(xiàn)，但由于通頻帶較寬，會將更多含有噪聲信息的信號放大。而本文基于S變換的動態(tài)濾波方法能夠?qū)崟r地根據(jù)檢測出的頻率調(diào)整帶通濾波器的通頻帶范圍，使得檢測出的運動信息更準(zhǔn)確，避免了過寬的通頻帶下更多的噪聲被放大。圖6給出了使用歐拉視頻放大方法和本文方法對視頻sims進行放大的實驗結(jié)果，其中歐拉方法的放大倍數(shù)分別取20和50，EVM方法中濾波器帶寬選擇[1 Hz,8 Hz]，因為該通頻帶包含了視頻中的所有頻率。

圖6 視頻sims采用不同方法放大的XT切片圖Fig. 6 XT slice of video sims using different methods

由圖6可知，兩種方法均可實現(xiàn)微小運動放大。比較圖6(b)、(d)可以看出本文的自動頻率檢測方法可以同歐拉放大一樣對視頻進行放大，并且無需進行頻率參數(shù)選擇，可以自動地進行動態(tài)濾波。比較圖6(c)、(e)，當(dāng)放大倍數(shù)增加到50倍時，由于歐拉方法所取的通頻帶較寬，使得放大后的結(jié)果在正常信號部分中出現(xiàn)黑影現(xiàn)象，與原文獻[6]中放大倍數(shù)限制的問題相對應(yīng)，而本文動態(tài)濾波方法在每一時間點均自動設(shè)計合適的帶通濾波器，可以有效保證檢測出的運動信息的準(zhǔn)確性，因而呈現(xiàn)出更好的視覺放大效果。此外，視頻中不同頻率連接處出現(xiàn)黑影現(xiàn)象，這是由于視頻在連接處頻率變換不平緩造成的。

接下來對三個單一頻率的視頻(baby、shadow和wrist)拼接在一起的時間上多頻率視頻BSW進行實驗分析，BSW視頻的1到302幀是baby，303到482幀是shadow，483到838幀是wrist。這樣該視頻在時間上將呈現(xiàn)多頻率分布，利用本文方法對其進行運動放大，其結(jié)果如圖7所示。

圖7 視頻BSW采用不同方法放大的XT切片圖Fig. 7 XT slice of video BSW using different methods

由圖7可知，微小運動細節(jié)得到了明顯的增強。對比圖7(b)、(d)的XT切片圖可知，在視頻BSW中的三段不同頻率的視頻均被進行了運動放大，并且可以很直觀地看出運動放大后的效果。因此，本文方法對合成的視頻BSW取得了不錯的運動放大效果，同時也證明了該方法對放大在時間上存在多頻率的視頻的有效性。該視頻應(yīng)用歐拉視頻放大處理，同樣只能讓通頻帶包含這三種頻率(同圖6實驗)，再進行放大處理。這樣的處理方法通頻帶較寬，會將更多含有噪聲的信號放大，而該處理方法都是建立在已知運動頻率的情況下，對于未知視頻，歐拉視頻放大方法將無法獲取濾波器參數(shù)。

4.4 抗噪性能分析

為了定量地比較視頻放大的抗噪性能，本文基于現(xiàn)有的圖像信噪比(Signal-to-Noise Ratio, SNR)評價算法[14-15]，自定義一種視頻區(qū)域信噪比SNR的評價方法,該SNR定義為選擇視頻中的一個平滑區(qū)域，其方差作為噪聲功率，平均值作為有用信號，從而計算出該選定區(qū)域的信噪比SNR。接下來詳細介紹具體計算過程。

視頻的每一幀圖像M×N可以看作圖像信息和噪聲的疊加，如式(9)所示:

D(x,y)=S(x,y)+N(x,y)

(9)

在第一幀視頻的光滑區(qū)域選擇M1×N1大小的塊，記作Dpatch(i,j)，計算該區(qū)域的平均值：

(10)

其中該區(qū)域噪聲均方誤差為：

(11)

因此，第一幀視頻選定區(qū)域的信噪比SNR表示為：

(12)

圖8 視頻baby實驗Fig. 8 Experiment of video baby

為了評價放大處理對視頻的噪聲放大結(jié)果，根據(jù)式(12)計算視頻sims放大后相對原視頻的信噪比SNR的差值。得出的SNR差值越大，表明該方法的抗噪性能越好，視頻放大對噪聲敏感性影響越弱。

為了證明該評價方法的有效性，選用baby視頻進行論證，討論EVM方法在不同放大倍數(shù)下的結(jié)果，由于baby視頻幀數(shù)過多，選取其中的第1幀～第250幀的結(jié)果如圖8所示。由圖8中視頻baby的實驗表明，視頻放大20倍時的信噪比SNR比放大10倍時的值要小得多，即放大20倍時的視頻噪聲相對較大。對于EVM方法，隨著放大倍數(shù)的增加，視頻的噪聲信號也被線性地放大，視頻baby的SNR實驗與此相符，證明了該方法的有效性。

對于sims視頻的實驗，信噪比SNR的結(jié)果如圖9所示，同樣選取其中的第1幀～第250幀的結(jié)果作為示例。由圖9可知，在相同的放大倍數(shù)(α=20)情況下，本文基于S變換的動態(tài)濾波方法比原始的歐拉方法具有更好的抗噪性能。因為基于S變換的動態(tài)帶通濾波方法具有更精確的濾波范圍，能夠精確地放大每個頻率的信號，而使用歐拉方法放大該視頻，只能選擇使用包含該視頻中的所有頻率的通頻帶1 Hz～8 Hz，通頻帶較寬，放大了額外的噪聲信息。

圖9 視頻sims實驗Fig. 9 Experiment of video sims

通過視頻flower、視頻sims以及視頻BSW的實驗結(jié)果可知，本文基于S變換的動態(tài)濾波放大方法不僅適用于單一頻率或者頻率變化不大的視頻，而且對多頻率的視頻也能動態(tài)地進行放大處理，并且能夠?qū)崿F(xiàn)對未知的視頻進行運動放大，因此具有更好的實用性。

4.5 時間復(fù)雜度分析

對本文方法的計算復(fù)雜度進行定量的分析，并將其與己有方法的計算復(fù)雜度進行對比分析，如表2所示。

表2 三種方法的計算復(fù)雜度對比Tab. 2 Comparison of computational complexity by three methods

由表2可知，相比原始的EVM方法與SAM方法，本文方法的計算復(fù)雜度有所增加，其原因是計算運動信號頻率以及進行動態(tài)濾波時增加了計算復(fù)雜度。然而，本文增加一點計算復(fù)雜度換來的優(yōu)勢是能夠?qū)Π瞧椒€(wěn)運動的視頻進行自動檢測及放大，不需要人為選取運動放大參數(shù)，這與需要用戶耗費時間去手動找到合適的參數(shù)相比，更具有實際使用價值。此外，對于微小運動放大計算復(fù)雜度的優(yōu)化，文獻[16]中已經(jīng)提出一種加速算法，可以更快地實現(xiàn)微小運動的放大。因此，對于尋找參數(shù)耗時的問題，可以通過其他優(yōu)化方法解決。

5 結(jié)語

本文針對視頻在時間域上包含多頻率分布的情況，提出了基于S變換動態(tài)濾波的自動檢測及放大視頻中非平穩(wěn)微小運動的方法。通過S變換，對不同時刻呈現(xiàn)不同頻率的運動信號進行分析處理，得出隨時間變化的動態(tài)頻率值，以此設(shè)計出動態(tài)帶通濾波器，最后實現(xiàn)運動放大處理，動態(tài)地展現(xiàn)視頻中微小運動的運動情況，并在一定程度上抑制噪聲干擾。此外，基于現(xiàn)有的一些圖像信噪比評價算法，自定義一種視頻的SNR來分析本文方法的抗噪性能。實驗結(jié)果表明，本文方法在實際視頻放大處理中得出很好的運動放大效果，不僅適用于單一頻率或者頻率變化不大的視頻，而且對多頻率的視頻放大效果也比較理想，具有更好的實用性。后續(xù)將繼續(xù)研究非平穩(wěn)信號運動放大的有關(guān)問題，并從空域多分辨率角度進行討論。

References)

[1] RUBINSTEIN M, WADHWA N, DURAND F, et al. Revealing invisible changes in the world[J]. Science, 2013, 339(6119): 519-519.

[2] PARK S, KIM D. Subtle facial expression recognition using motion magnification [J]. Pattern Recognition Letters, 2009, 30(7): 708-716.

[3] BALAKRISHNAN G, DURAND F, GUTTAG J. Detecting pulse from head motions in video[J]. Computer Vision and Pattern Recognition, 2013, 9(4): 3430-3437.

[4] POH M Z, MCDUFF D J, PICARD R W. Non-contact, automated cardiac pulse measurements using video imaging and blind source separation[J]. Optics Express, 2010, 18(10): 10762-10774.

[5] LIU C, TORRALBA A, FREEMAN W T, et al. Motion magnification[J]. ACM Transactions on Graphics, 2005, 24(7): 519-526.

[6] WU H, RUBINSTEIN M, SHIH E, et al. Eulerian video magnification for revealing subtle changes in the world[J]. ACM Transactions on Graphics, 2012, 31(4): Article No. 65.

[7] WADHWA N, RUBINSTEIN M, DURAND F, et al. Phase-based video motion processing[J]. ACM Transactions on Graphics, 2013, 32(4): Article No. 80.

[8] SUSHMA M, GUPTA A, SIVASWAMY J. Semi-automated magnification of small motions in videos[C]// PReMI 2013: Pattern Recognition and Machine Intelligence, LNCS 8251. Berlin: Springer, 2013: 417-422.

[9] 雷林,李樂鵬,李準(zhǔn),等. 自動檢測及放大視頻中的微小運動[J]. 小型微型計算機系統(tǒng),2016,37(9):2120-2124.(LEI L, LI L P, LI Z，et al. Automated detection and magnification of small motion in videos [J].Journal of Chinese Computer Systems,2016,37(9):2120-2124.)

[10] STOCKWELL R G, MANSINHA L, LOWE R P. Localization of the complex spectrum: the S transform [J]. IEEE Transactions on Signal Processing, 1996, 44(4): 998-1001.

[11] 張建輝.K-means聚類算法研究及應(yīng)用[D]. 武漢:武漢理工大學(xué),2007.(ZHANG J H. Research an application ofK-means clustering algorithm[D]. Wuhan: Wuhan University of Technology, 2007.)

[12] 趙淑紅,朱光明. S變換時頻濾波去噪方法[J]. 石油地球物理勘探, 2007,42(4): 402-406.(ZHAO S H, ZHU G M. Time-frequency filtering to denoise by S transform[J]. Oil Geophysical Prospecting, 2007, 42(4): 402-406.)

[13] RUBINSTEIN M. Analysis and visualization of temporal variations in video[D]. Cambridge: Massachusetts Institute of Technology, 2014.

[14] TURAGA D S, CHEN Y, CAVIEDES J. No reference PSNR estimation for compressed pictures [C]// Proceedings of the 2002 International Conference on Image Processing. Piscataway, NJ: IEEE, 2004: 173-184.

[15] 楊柱中,周激流,郎方年. 用噪聲檢測算法改進理想低通濾波器[J].計算機應(yīng)用,2014,10:2971-2975.(YANG Z Z, ZHOU J L, LANG F N. Improving ideal low-pass filter with noise detection algorithm [J]. Journal of Computer Applications,2014,34(10):2971-2975.)

[16] 李樂鵬,雷林,孫水發(fā),等. 視頻微小運動放大的加速方法[J]. 計算機工程與應(yīng)用, 2015, 51(24): 195-200.(LI L P, LEI L, SUN S F, et al. Improved video small motion magnification processing [J]. Computer Engineering and Applications, 2015, 51(24): 195-200.)

This work is partially supported by the National Natural Science Foundation of China (61272237, 61402259), the Hubei Natural Science Fund for Innovative Research Groups (2015CFA025), the Major Program of Educational Commission of Hubei Province of China (D20151204), the Opening Fund of Hubei Key Laboratory of Intelligent Vision Based Monitoring for Hydroelectric Engineering (2014KLA04).

LEI Lin, born in 1990, M. S. His research interests include video processing.

LI Lepeng, born in 1990, M. S. His research interests include video processing.

YANG Min, born in 1992, M. S. candidate. His research interests include video processing.

DONG Fangmin, born in 1965, Ph. D., professor. His research interests include intelligent information processing.

SUN Shuifa, born in 1977, Ph. D., professor. His research interests include image processing, computer vision.

Non-stationary subtle motion magnification based on S transform

LEI Lin1,2, LI Lepeng1, YANG Min1, DONG Fangmin1, SUN Shuifa1*

(1.HubeiKeyLaboratoryofIntelligentVisionBasedMonitoringforHydroelectricEngineering(ChinaThreeGorgesUniversity),YichangHubei443002,China;2.Tianshengqiao-IHydro-PowerDevelopmentLimitedCompanyHydropowerPlant,GuangdongYudeanGroupCompanyLimited,XingyiGuizhou562400,China)

The existing Eulerian video subtle motion magnification method does not take into account the automatic detection of motion information in the video, the appropriate parameters for motion information processing need to be selected in the realization of motion magnification, such as the filter cut-off frequency, and magnification. For the general video, these parameters usually could not be determined directly, but by trial-and-error. In this paper, an automatic amplification method of non-stationary subtle motion in video was proposed based on S transform. The instantaneous correlation parameters of band-pass filter were automatically determined based on S transform and the corresponding dynamic filter was designed. On this basis, an approach of automated subtle motion magnification was achieved. Firstly, the instantaneous frequency of subtle motion was obtained by S transform in video. Then the dynamic band-pass filter was used to process different frequencies at different times. Finally, the effective motion information which was filtered by band-pass filter was magnified to achieve subtle motion magnification. In addition, for the analysis of anti-noise performance, a method for evaluating the signal-to-noise ratio in video area was proposed. The experimental results show that the proposed method can automatically obtain the parameters such as filter and magnification according to the change of the frequency of the motion information when the actual video is amplified, without manual participation. After the motion amplification, the amplification effect of the moving target can be dynamically displayed. At the same time, the accurate dynamic filter can suppress noise to some extent, and makes the motion magnification effect better.

Eulerian Video Magnification (EVM); S transform; automated detection; dynamic band-pass filter; Signal-to-Noise Ratio (SNR)

2016-10-10;

2016-12-15。

國家自然科學(xué)基金資助項目(61272237,61402259)；湖北省自然科學(xué)基金創(chuàng)新群體項目(2015CFA025)；湖北省教育廳科學(xué)技術(shù)研究計劃重點項目(D20151204)；水電工程智能視覺監(jiān)測湖北省重點實驗室開放基金資助項目 (2014KLA04)。

雷林(1990—)，男，貴州興義人，碩士，主要研究方向:視頻處理； 李樂鵬(1990—)，男，湖北漢川人，碩士，主要研究方向:視頻處理； 楊敏(1992—)，男，湖北黃梅人，碩士研究生，主要研究方向:視頻處理； 董方敏(1965—)，男，湖北荊門人，教授，博士，主要研究方向:智能信息處理； 孫水發(fā)(1977—)，男，江西黎川人，教授，博士，主要研究方向:圖像處理、計算機視覺。

1001-9081(2017)05-1460-06

10.11772/j.issn.1001-9081.2017.05.1460

TP391

A