非平穩(wěn)強(qiáng)噪條件下的視頻相位放大技術(shù)研究

,

(中國科學(xué)技術(shù)大學(xué)精密機(jī)械與精密儀器系，安徽 合肥 230026)

0 引言

使用高速相機(jī)拍攝視頻分析物體的振動，相比傳統(tǒng)接觸式測量不會帶來質(zhì)量負(fù)荷，而且成本更低，分辨率更高。但是有時物體的振動很微弱，對于人眼來說很難察覺，需要放大后才能更好地觀察。傳統(tǒng)的線性歐拉放大技術(shù)[1]在高空間頻率時只能放大較小的倍數(shù)，并且當(dāng)放大倍數(shù)增大時，噪聲也會被放大。

Wadhwa提出了基于復(fù)數(shù)金字塔的視頻運(yùn)動處理技術(shù)[2-3]，依據(jù)在圖像的一個空間子帶中復(fù)數(shù)金字塔的相位變化正比于局部運(yùn)動的原理[4]，計(jì)算局部相位的變化并對選定的頻率范圍做帶通處理，再將放大處理后的信號重構(gòu)為視頻。這種基于相位的方法可以達(dá)到更大的放大倍數(shù)和更好的噪聲表現(xiàn)。但是這種方法在處理非平穩(wěn)信號時，帶通濾波器需要選擇較大的頻帶范圍，在此頻帶范圍內(nèi)存在的噪聲也將被放大，所以需要更好的方法來處理寬頻帶內(nèi)的噪聲。時頻濾波[5]是一個比較理想的選擇。同時對每個像素點(diǎn)進(jìn)行時頻處理會大大增加計(jì)算量，降低運(yùn)算速度。

在此，提出了一種基于參數(shù)化時頻分析[6]及主成分分析(PCA)[7]的濾波方法，來放大非平穩(wěn)強(qiáng)噪視頻信號。相比于傳統(tǒng)相位視頻放大技術(shù)，這種方法可以有效提取非平穩(wěn)信號并實(shí)現(xiàn)原始視頻信號的放大。

1 時變視頻相位放大技術(shù)

1.1 相位放大原理

在空域，根據(jù)復(fù)數(shù)可控金字塔原理，將圖像序列I(m,n,t)多分辨率分解為：

A(γ,θ,m,n,t)eiψ(γ,θ,m,n,t)

(1)

γ表示尺度；θ表示方向。在時域，依據(jù)t0時刻的相位可以計(jì)算出t時刻的相位變化量：

δ(γ,θ,m,n,t)=ψ(γ,θ,m,n,t)-ψ(γ,θ,m,n,t0)

(2)

(3)

但是這種方法在處理非平穩(wěn)信號時，往往需要選擇較大的帶寬，此帶寬內(nèi)的噪聲信號也將會被放大，此時就無法有效地提取所需要的信號，所以要從時頻角度來分析提取信號。在此之前，需要了解信號時頻分布類型，才能選擇有效的濾波器。

根據(jù)Davis的研究，對相位變化信號進(jìn)行幅值加權(quán)，可以得到局部振動信號：

Φi(γ,θ,t)=∑m,nA(γ,θ,m,n,t)2δ(γ,θ,m,n,t)

(4)

那么進(jìn)一步，可以得到全局振動信號：

(5)

1.2 PCA降維和時頻濾波

通過復(fù)數(shù)金字塔可以將各尺度方向上相位隨時間變化的信號δ(m,n,t)提取出來，但是對每個像素點(diǎn)的δ時頻變換，計(jì)算量巨大，耗時嚴(yán)重。為解決這個問題，采用PCA將δ降維，對降維后的信號做時頻處理。將時刻j的δ重排為一列向量δj∈RK×1，其中K=M×N，則δ(m,n,t)可以表示為：

X=[δ1,δ2,δ3,…,δT]

(6)

PCA分解是指對矩陣X∈RK×T，存在特征向量矩陣U∈RK×K和特征值矩陣D∈RK×K滿足下列方程：

XX′=UDU′

(7)

將特征向量按對應(yīng)特征值大小從上到下按行排列成矩陣，取其前r行組成矩陣P∈Rr×K，那么就可以得到降維到r維后的數(shù)據(jù)：

Y=PX

(8)

(9)

1.3 算法流程

基于參數(shù)化時頻分析和PCA降維處理原理，提出了針對非平穩(wěn)強(qiáng)噪聲的視頻相位放大技術(shù)。具體流程如圖1所示，算法描述如下：

a.將視頻信號I通過復(fù)數(shù)金字塔分解，提取圖像相位信號ψ和幅值信號A。

b.對相位信號ψ在時間維度上做差分求出相位變化信號δ，對其幅值加權(quán)求和，得到對應(yīng)尺度方向上的局部振幅Φ，再對各尺度方向求和得到全局振幅s(t)。

c.對s(t)做參數(shù)化時頻分析，得到時頻脊線函數(shù)，選擇帶寬，構(gòu)造時頻模板ymask。

圖1 時變視頻放大方法流程

2 實(shí)驗(yàn)分析

2.1 轉(zhuǎn)子振動信號采集實(shí)驗(yàn)

實(shí)驗(yàn)數(shù)據(jù)采集平臺如圖2所示。振動信號采集系統(tǒng)包括Basler acA2000高速攝像機(jī)、光源、轉(zhuǎn)子實(shí)驗(yàn)臺和臺式機(jī)電腦。轉(zhuǎn)子實(shí)驗(yàn)臺電機(jī)為三相異步電機(jī)，型號為YE2-8012，電機(jī)驅(qū)動器型號為MICROMASTER440。

設(shè)置電機(jī)最高轉(zhuǎn)速為3 000 r/min，依據(jù)驅(qū)動器設(shè)置電機(jī)將在10 s內(nèi)勻減速至停止。實(shí)驗(yàn)中，相機(jī)分辨率設(shè)置為400像素×1 024像素，采樣率為392 Hz，一次采樣3 000幀。

圖2 實(shí)驗(yàn)設(shè)備

2.2 振動信號提取分析

根據(jù)Davis的方法，分析得到電機(jī)降速過程中轉(zhuǎn)子振動信號的波形如圖3所示，對其做STFT，可以看出振動頻率隨時間近似線性減小，但是在27 Hz處存在能量較高的干擾頻率，嚴(yán)重影響視頻相位放大的結(jié)果。

用多項(xiàng)式參數(shù)化時頻分析方法處理該信號，假設(shè)其時頻函數(shù)為：

f(t)=z0+z1t+z2t2+z3t3

(10)

求得z0=36.627 5，z1=-5.096 2，z2=-0.002 9，z3=0.008 9，其斜率與實(shí)際頻率變化率5 Hz近似一致。選取圖像金字塔分解得到的某一尺度、方向上圖像一像素點(diǎn)的相位變換信號δ進(jìn)行時頻分析，其波形及時頻如圖4所示。

圖3 視頻麥克風(fēng)信號波形和時頻

圖4 原始相位變化波形與時頻

設(shè)置放大系數(shù)12倍，對濾波后的相變信號重構(gòu)，得到重構(gòu)視頻。放大前和放大12倍后視頻對應(yīng)幀對比如圖6所示，其中，上圖表示放大處理前的原始視頻圖片，下圖表示放大處理后的視頻圖片。圖6a表示處理前后視頻對應(yīng)幀圖像，由于處理時為加快運(yùn)行速度，對圖像做了縮放，所以下圖相對模糊。圖6b表示取視頻在100～300幀(0.255～0.765 s)的切片組成的圖片，可以看出處理后軸發(fā)生明顯振動，并且振動頻率較快。圖6c表示視頻在1 800～2 000幀(4.592～5.102 s)的切片組成的圖片，可以看出電機(jī)轉(zhuǎn)速降低后，對應(yīng)的振動頻率也變慢了。

在MATLAB2017中，在沒有使用PCA方法時，直接對各像素點(diǎn)時頻濾波，在單一尺度、方向上運(yùn)算時間超過半小時，而使用PCA降維處理，則運(yùn)算時間降低至130 s左右，說明PCA方法有效降低運(yùn)算量，大大提高運(yùn)行速度。

圖5 降維濾波后信號波形與時頻

圖6 處理前后圖像對比

3 結(jié)束語

提出了一種基于參數(shù)化時頻分析和PCA降維算法的視頻相位放大方法，用于將物體的微小振動放大，便于觀察和分析。相比于傳統(tǒng)的視頻相位放大方法，所提方法更加針對非平穩(wěn)振動信號，因此，該方法在消除噪聲干擾和放大非平穩(wěn)信號上具有明顯優(yōu)勢。實(shí)驗(yàn)結(jié)果表明，該方法能有效地提取電機(jī)降速過程中轉(zhuǎn)子振動頻率，并可將視頻中轉(zhuǎn)子振幅放大。

參考文獻(xiàn)：

[1] Fuchs M, Chen T, Wang O, et al. Real-time temporal shaping of high-speed video streams[J]. Computers and Graphics, 2010, 34(5): 575-584.

[2] Simoncelli E P, Freeman W T.The steerable pyramid: a flexible architecture for multi-scale derivative computation[C]// Proceedings of the IEEE International Conference on image Processing，1995, 3: 444-447.

[3] Wadhwa N,Rubinstein M,Durand F,et al.Phase-based video motion processing[J]. ACM Transactions on Graphics (TOG), 2013, 32(4): 80.

[4] Davis A,Rubinstein M,Wadhwa N, et al. The visual microphone: passive recovery of sound from video[J].ACM Transactions on Graphics (TOG),2014,33(4): 79.

[5] 李燕,魏宗信,劉軍.機(jī)電系統(tǒng)振動信號分析技術(shù)的研究[J].機(jī)械與電子,2010(2):30-32.

[6] 楊揚(yáng).參數(shù)化時頻分析理論、方法及其在工程信號分析中的應(yīng)用[D].上海：上海交通大學(xué),2013.

[7] Yang Y, Dorn C, Mancini T, et al. Blind identification of full-field vibration modes from video measurements with phase-based video motion magnification[J]. Mechanical Systems and Signal Processing, 2017, 85: 567-590.