基于多尺度濾波的視頻放大①

張 肖,楊學志,張 剛,臧宗迪,王金誠

1(合肥工業(yè)大學 計算機與信息學院,合肥 230009)

2(工業(yè)安全與應急技術(shù)安徽省重點實驗室,合肥 230009)

3(合肥工業(yè)大學 軟件學院,合肥 230009)

細心觀察會發(fā)現(xiàn)身邊的事物都存在著微小的變化,這其中蘊含著事物本身重要的信息,準確捕捉這些變化有助于把握事物的本質(zhì)[1,2]. 視頻放大技術(shù)借助復可控金字塔對幀圖像進行運動分析,給予了人們掌握目標變化情況的機會,利用相機記錄下微小運動,再對視頻信號進行處理,可以放大振動的幅度,觀察邊緣的形變情況,這對于醫(yī)學及工程等領域有重大意義. 例如,從脈搏的微弱跳動情況中檢測心率[3],從大樓墻體的振動中可監(jiān)測建筑健康情況[4],分析橋梁的振動情況可避免事故的發(fā)生[5]等.

但視頻的放大倍數(shù)是有限的,并且隨著放大倍數(shù)的增加,放大視頻的畫面質(zhì)量會進一步降低. 這是由于復可控金字塔每一尺度的相移極限不同,對于一部分尺度,放大后的相移信號會超出該尺度的相移上限,導致偽影及模糊[6]. 目前最先進的改進算法[6]通過改變部分尺度的放大因子,在一定程度上提升了畫面質(zhì)量,但也存在著參數(shù)依賴人工設定的問題. 本文提出了一種基于多尺度濾波的視頻放大算法,針對目標存在大小運動混疊的情況,首先利用加速度濾波[7]去除大運動干擾,通過建立視頻幀圖像空間波長與振動位移間的聯(lián)系,無須人工設定參數(shù),自適應調(diào)整金字塔各尺度的放大因子,從而減輕放大視頻畫面中的偽影及模糊,提升畫面質(zhì)量.

1 視頻運動放大

按照視角不同,視頻運動放大技術(shù)可總結(jié)為3 類:拉格朗日法、歐拉法以及歐拉拉格朗日混合法. 目前的視頻運動放大方法大都基于歐拉視角. 拉格朗日法依賴于流體動力學,通過感興趣粒子的運動軌跡來研究相關的物理特性. Liu 等人[8]提出了第一個基于拉格朗日視角的視頻放大方法. 通過匹配幀間特征點及基于光流的運動估計方法,來區(qū)分背景運動和感興趣的目標運動,并對目標運動進行放大. 然而該方法中使用的光流估計的計算量過大.

歐拉方法不采用目標追蹤,而是分析圖像中固定像素的位置隨時間的變化. 歐拉線性視頻放大方法[1]利用拉普拉斯金字塔實現(xiàn)視頻幀序列的空間分解,并對空間頻帶進行時域濾波,提取目標頻率的微小振動信號. 但該方法會放大視頻噪聲,并且對于運動放大來說,只支持較小的放大因子. 因此Wadhwa 等人[9]提出了基于相位的視頻放大算法,通過復可控金字塔得到各尺度各方向的相位變化,從而解決了噪聲問題,并通過擴展復可控金字塔提升了放大因子的上限,但也增加了計算成本和時間. 對此,Wadhwa 等人[10]又提出了Risez 金字塔方法加快運行速度. 由于無法區(qū)分微小變化信號和大運動信號,上述視頻放大方法只適用于目標和相機之間相對穩(wěn)定的情況,即視頻畫面中只存在目標自身的微小運動.

然而目標包含大運動的情景也是需要研究的,如人在跑步時的心率情況. 如何去除大運動對微小變化的干擾成為了關鍵問題. Bai 等人[11]通過用戶指定大運動所在范圍,采用追蹤和圖形切割的方式去除大運動. 采用歐拉拉格朗日混合法的DVMAG[12]通過拉格朗日方法追蹤感興趣區(qū)域來去除大運動,并通過歐拉方法對感興趣區(qū)域的振動進行提取和放大. 缺點在于需要人工圈定感興趣區(qū)域,而且其中的拉格朗日方法需要巨大的計算量. Kooij 等人[13]引入了深度信息,通過檢測相同深度層的像素變化來確定要放大的區(qū)域.該方法在目標的深度不連續(xù)或目標不平穩(wěn)時將難以實現(xiàn).

Zhang 等人[7]提出了一個假設,即大運動在小變化的時間尺度上是線性的,實現(xiàn)了放大慢速大運動上的微小加速度變化. 該方法通過復可控金字塔提取局部相位信息,各尺度的放大因子都是相同的,但復可控金字塔中各尺度的空間支持是不同的,由于視頻放大倍數(shù)的上限是根據(jù)最大尺度決定的,對于部分尺度,其相位信號乘以放大因子后可能會超出其空間支持,導致輸出視頻的偽影及模糊,這意味著部分尺度的放大因子應該進行相應的調(diào)整. Xue 等人[6]針對該問題對加速度放大算法[7]進行了改進,通過人工設定截止波長將復可控金字塔的尺度分成兩組,縮小一組的放大因子,而另一組的放大因子保持不變,以盡可能滿足所有尺度的限制條件. 該方法的不足之處在于其截止波長依賴人工設定,無法準確反映各尺度的放大上限,不能在放大效果滿足需求的前提下達到較好的畫面質(zhì)量.

2 基于多尺度濾波的視頻放大算法

本文針對大小運動混疊的場景,提出了一種基于多尺度濾波的視頻放大算法,算法流程圖如圖1 所示,首先利用復可控金字塔對視頻幀序列進行空間分解,得到不同尺度不同方向的子帶信號,通過加速度濾波[7]去除大運動干擾,得到目標頻率的微小振動信號. 然后設計一個多尺度濾波器,通過建立各尺度空間波長λn和運動位移 δ(t)的聯(lián)系,自適應調(diào)整各尺度的放大因子 αn. 再利用相位展開技術(shù)對每層的相位差信號進行相位校正,避免卷積過程中的偽影. 最后將輸出信號與對應尺度的αn相乘,重建復可控金字塔,并輸出放大視頻.

圖1 算法流程圖

2.1 空間分解

復可控金字塔是一種能將圖像分解成一系列在位置、空間尺度以及方向上同時定位的基函數(shù)表示[14],得到圖像的局部幅度譜與局部相位譜,其中包括高通殘差、低通殘差及不同尺度n、不同方向θ,如式(1).

其中,I(x,y)為圖像原始信號,ψn,θ為金字塔濾波器,An,θ(x,y)為幅度信息,?n,θ(x,y)為相位信息. 視頻放大算法主要處理中間不同尺度不同方向的相位,保證局部的微小相位處理等效于局部的運動處理. 而高通殘差與低通殘差在最終金字塔重建視頻合成輸出時被利用.運動信息包含在相位中,因此,通過處理局部相位差信號就可以實現(xiàn)對視頻局部運動的處理.

2.2 加速度濾波

在本文所研究問題中,由于目標存在大小運動混疊的情況,提取出目標頻率對應的相位信號?ω(x,y)后,其中包含大運動和微小運動,利用加速度濾波[9]去除其中的大運動干擾:

其中,G(x,y,t)是高斯濾波器,為拉普拉斯濾波器,即加速度濾波器,?ω′(x,y)為加速度濾波后得到的微小運動的相位信號.

2.3 多尺度濾波

在視頻放大算法中,最終得到放大后的信號為:

其中,α為放大因子.

然而放大因子 α不能無限大,Wadhwa 等人[9]用高斯窗的標準差σ 作為邊界,其邊界條件為:

由于高斯窗標準差 σ與空間頻率ωn存在關系,且波長,式(5)可轉(zhuǎn)變?yōu)?

其中,δ(t)為振動位移,λn是尺度n的空間波長,在1/4 倍頻程復可控金字塔中,np≈3,因此尺度n的放大因子αn邊界為:

從式(7)可知,對一特定視頻,δ(t)為定值,當前尺度的放大因子的上限與空間波長 λn有關,λn由式(8)可得:

其中,λN為金字塔最大尺度的空間波長,s是金字塔的尺度因子.

由此可知初始設定的放大因子不一定適用于所有尺度,當較小空間波長的子帶使用相同的放大因子放大時,可能會超過其空間支持,從而導致輸出視頻產(chǎn)生偽影及模糊. 因此需要調(diào)整較小空間波長的放大因子.

針對這一點,Xue 等人[6]通過人工設定截止波長λc,將金字塔的尺度分為兩組,較大空間波長的放大因子不變,而較小空間波長的放大因子按照式(9)的方式進行相應縮小.

人工設定 λc所產(chǎn)生的分組是固定的,不同的初始放大因子,可能會導致某些尺度無謂的縮小或者某些尺度本該縮小的放大因子卻沒有縮小,以致最終放大視頻的總體放大倍數(shù)不能滿足需求或畫面質(zhì)量沒有得到較好的提升.

Xue 等人[6]只考慮到了視頻的空間特性,而視頻放大針對的是視頻中目標的微小運動,在多尺度濾波時應當考慮到目標的運動特性. 本文算法提出了一種新的多尺度濾波方法,結(jié)合視頻的空間特性和目標的小運動位移實現(xiàn)對各尺度放大因子的自適應調(diào)整. 由式(7)可得,各尺度的放大因子αn的最大值為可建立起放大因子與視頻的空間波長 λn和目標的微小位移 δ(t)之間的聯(lián)系,通過 λn和 δ(t)計算出αnmax,結(jié)合初始放大因子 α,能夠更為合適地調(diào)整 αn,可避免Xue 等人[6]人工設定 λc所產(chǎn)生的問題. 當 α小于當前尺度的上限αnmax時無須調(diào)整,當 α大于αnmax時則縮小為αnmax,如式(10).

關于小運動位移 δ(t),Peng 等人[15]通過推導圖像強度I(x,y,t)轉(zhuǎn)換為頻域信號F(x,y,t)的過程,得到運動位移 δ(t)與相位差? ?的關系,無須計算相位梯度而直接將相位變化轉(zhuǎn)化為位移.

其中,g(x,y;λ,ψ,σ,γ)為Gabor 函數(shù),是一個高斯包絡的正弦窗函數(shù),正弦函數(shù)是調(diào)諧函數(shù),高斯包絡函數(shù)是窗函數(shù),λ為正弦的波長,ψ 是調(diào)諧函數(shù)的相位偏移量,γ是空間長寬比,σ 表示高斯函數(shù)的標準差.

以水平方向的位移為例,式(11)可以通過積分計算,得到:

由上述兩公式可得相位差 ??:

因此小運動位移 δ(t)可由式(15)獲得:

如圖2 所示,各尺度的放大因子便可確定.

圖2 多尺度濾波流程圖

2.4 視頻放大

利用相位展開技術(shù)對各尺度的振動信號進行相位校正后得到信號?n′(x,y,t),分別乘以自適應調(diào)整后的放大因子αn,得到放大后的相位信號?magn,如式(16).

結(jié)合輸入視頻的高通殘差與低通殘差,進行金字塔重構(gòu),并輸出放大視頻.

3 實驗結(jié)果及分析

對于大小運動混疊的場景,分別采用模擬小球視頻和真實目標視頻進行實驗來驗證本算法的性能. 實驗計算機為i7-6700 處理器,12 GB 內(nèi)存,在Matlab 2019a開發(fā)實現(xiàn),真實目標視頻均來自加速度放大算法[7]中的公開數(shù)據(jù). 采用八方向的1/4 倍頻程帶寬復可控金字塔,與文獻[7]的加速度放大算法(EVAM)、文獻[6]提出的多尺度自適應算法的原始代碼輸出的結(jié)果進行對比.

與文獻[6]的做法保持一致,由于需要縮小金字塔部分尺度的放大因子以適應其相移極限,導致整體放大效果隨之減小,因此,實驗將適當提高預設放大倍數(shù)以達到相近的放大效果. 實驗參數(shù)如表1 所示.

表1 實驗參數(shù)

3.1 實驗結(jié)果

(1)模擬小球視頻

本文模擬了一個包含大運動的合成小球視頻. 小球從畫面左側(cè)向右以1 像素每幀的速度進行水平方向的大運動,同時在其(豎直)方向有一定頻率的微小振動,速度滿足其中A=1像素,f=4周期/幀,fr=30幀/秒. 視頻長度共200 幀. 并令A=4像素模擬其真實放大視頻GroundTruth.

如圖3 所示,相比文獻[6]的算法,本文算法的放大結(jié)果更接近GroundTruth.

圖3 模擬小球?qū)嶒灲Y(jié)果

(2)真實目標視頻

本節(jié)實驗所用的4 個視頻均來自加速度放大[7],拍攝的相機處于穩(wěn)定狀態(tài),視頻中的目標存在振動的同時還存在大運動,均在圖中黃線位置取時空切片圖. 視頻1 如圖4 所示,該視頻中有一個玩具在向前行進,同時存在豎直方向的振動. 圖5 是一個飛行狀態(tài)的無人機,水平行進的同時存在豎直方向的振動. 圖6 所顯示的是人走近相機的同時手部在微微震顫的場景. 圖7則是人轉(zhuǎn)身時的手部震顫場景.

圖4 視頻1 實驗結(jié)果

圖5 視頻2 實驗結(jié)果

圖6 視頻3 實驗結(jié)果

圖7 視頻4 實驗結(jié)果

實驗放大結(jié)果圖表明,3 種算法都能夠?qū)δ繕说奈⑿∵\動而非大運動進行放大. 圖中紅色方框部分能夠看出,文獻[7]的算法所生成的放大視頻的畫面最為模糊,目標的輪廓不甚清晰,文獻[6]提出的算法與本文算法所生成的放大視頻的畫面則更為清晰,證明本文算法達到了提升放大視頻畫面質(zhì)量的效果.

3.2 圖像質(zhì)量評價

本文選擇5 種通用的圖像質(zhì)量評價標準[16]對視頻放大結(jié)果進行比較,包括SpEED[17],SSIM[18],VIF[19],IFC[20]以及PSNR[21]. 對各放大視頻的所有幀求上述5 種評價指標的平均值,其中SpEED 的值越小表示圖像質(zhì)量越高,其余指標則是值越大表示圖像質(zhì)量越高.

表2 記錄了對各真實目標視頻放大結(jié)果的評價,本文算法的結(jié)果均優(yōu)于文獻[7],其中僅無人機視頻的實驗結(jié)果不及文獻[6],原因在第3.3 節(jié)進行了說明. 其余視頻的畫面質(zhì)量均優(yōu)于文獻[6],從式(9)中可知,文獻[6]以當前尺度的空間波長與截止波長的比值作為縮小的比例調(diào)整放大因子,因此 λc的取值會影響 αn的大小,由于人工設定 λc不能達到足夠的精確度,縮小后的結(jié)果不一定能夠滿足相移極限的要求,也就不能較好地提升畫面質(zhì)量.

表2 放大視頻圖像質(zhì)量評價

3.3 各尺度放大因子對比

以視頻2 為例,金字塔共21 層,比較文獻[6]與本文實驗結(jié)果的第11 到17 層的放大因子. 如表3 所示,在初始放大因子 α不同時,本文算法能夠根據(jù) α更加合理地自適應調(diào)整各尺度的放大因子,而文獻[6]的算法則是通過人工設定截止波長,將金字塔的尺度劃分為兩組,15 層及以下的放大因子被縮小,16 層及以上的放大因子保持為 α.

表3 視頻2 實驗結(jié)果各尺度放大因子對比

對放大視頻進行圖像質(zhì)量評價,結(jié)果如表4 所示,當α=8時,本文的畫面質(zhì)量雖不及文獻[6],但文獻[6]將原本無須縮小的放大因子縮小,大大降低了總體的放大效果,無法滿足觀測要求,便需要提高初始放大因子. 而當 α提升到16 時,本文算法的總體放大倍數(shù)與文獻[6]很相近,保證了各尺度的放大因子不超過其上限,因此畫面質(zhì)量優(yōu)于文獻[6]. 由此可知,文獻[6]的算法并 不能做到合理的調(diào)整 αn,顯然,本文算法更具有優(yōu)勢.

表4 視頻2 實驗結(jié)果圖像質(zhì)量評價

4 結(jié)論

本文提出了一個基于多尺度濾波的視頻放大算法,通過建立圖像空間波長與視頻微小運動位移間的關系,對復可控金字塔各尺度的放大因子實現(xiàn)完全自適應調(diào)整,以保證各尺度的放大信號都保持在相移極限內(nèi),以減輕放大視頻的偽影及模糊. 經(jīng)實驗驗證,本文算法與對比算法相比,無須人工設定參數(shù),并能夠有效提高放大視頻的畫面質(zhì)量,在總體放大效果和畫面質(zhì)量的平衡上有明顯的優(yōu)勢.