基于3D旋轉模型的全景視頻穩(wěn)像算法

劉 煦 李 琛 宋 利 解 蓉

(上海交通大學圖像通信與網絡工程研究院 上海 200240)

0 引 言

全景視頻是新一代的視頻顯示技術，人們可以任意在拍攝角度周圍360度地觀看動態(tài)視頻，而不受時間、空間和地域的限制，有一種身臨其境的體驗。全景視頻不再是單單顯示靜態(tài)圖片的形式，而是具有景深、動態(tài)圖像、聲音等很多因子，具備聲畫對位、聲畫同步的特性，有著良好的沉浸感，極有可能成為未來的視頻新型載體。然而，相比于專業(yè)的攝影設備，視頻若是由手持式的設備拍攝，畫面的抖動會非常影響視覺舒適度。而且由于全景視頻廣視域的特性，其對抖動的敏感度要遠高于一般的平面視頻。

視頻穩(wěn)像技術是一種后處理技術，指利用相關算法對抖動的視頻序列進行穩(wěn)定處理。然而，現有的大多數穩(wěn)像算法都是基于平面視頻的，并不適用于全景視頻。因此，為了提升觀看者的體驗，需要針對全景視頻進行視頻穩(wěn)像算法的研究。

本文提出一種利用3D旋轉模型對全景視頻進行穩(wěn)像處理的方法。與2D模型相比，3D模型可以更準確地描述真實的相機運動。在實際應用中，由于相機的平移運動對視頻的影響遠小于旋轉運動，可以忽略不計，所以只考慮相機的旋轉運動，使用3D旋轉模型來描述相機路徑。提取并跟蹤連續(xù)幀的特征點，計算每對相鄰幀之間的旋轉，為了減少數據冗余，使用歐拉角表征旋轉模型的參數。在路徑平滑的過程中，引入一種基于樣條擬合的改進方法，可以有效地分離抖動和主觀運動并消除高頻的抖動，生成穩(wěn)定的相機路徑?；谙鄼C的真實路徑以及生成的穩(wěn)定路徑，對視頻幀進行投影變換，輸出穩(wěn)像后的視頻。本文的主要貢獻如下：

1) 使用3D旋轉模型來描述相機運動，并使用歐拉角來表征旋轉參數，可以減少數據冗余。

2) 在路徑平滑的過程中，提出一種基于樣條插值的改進方法，添加了新的約束項以及預處理操作，相比傳統(tǒng)方法更加準確可靠。

1 相關工作

1.1 視頻穩(wěn)像算法

視頻穩(wěn)像算法指的是應用圖像處理的方法對相機的抖動進行補償，減弱或消除視頻幀序列間不規(guī)則的平移、旋轉和縮放等失真情況，從而使視頻看起來更穩(wěn)定。根據使用的相機運動模型的不同，穩(wěn)像算法大致可以分為2D方法和3D方法。

2D方法使用一系列的二維變換矩陣表示相機運動。文獻[1]通過對每個參數進行低通濾波(如高斯濾波)的方法消除抖動。文獻[2]使用L1范數生成穩(wěn)定的相機路徑。文獻[3]將視頻幀空間劃分為網絡進一步地優(yōu)化穩(wěn)定路徑。然而，由于2D運動不能刻畫深度信息，對于一些復雜的場景效果欠佳。

3D方法通過重建三維場景的方法估計相機的運動軌跡。文獻[4]提出一種利用深度信息進行3D全局運動估計的方法。文獻[5]提出保留內容進行幀變換的3D穩(wěn)像方法。由于重建三維結構信息的過程較為復雜且魯棒性較差，因而使用范圍有限。

1.2 全景視頻穩(wěn)像算法

全景視頻穩(wěn)像的相關研究相對較少。文獻[6]提出混合3D-2D算法，使用一種新的運動模型來消除視頻中的抖動。文獻[7]將相機旋轉與其他運動解耦，并消除無意旋轉造成的抖動，然后使用基于網格的幀變換方法處理剩余的抖動。這些方法均使用約束優(yōu)化的方法來平滑路徑，計算復雜度較高。

2 基于3D旋轉模型的穩(wěn)像算法

2.1 算法流程

圖1展示了本文算法的大致流程。由于使用的是3D旋轉模型，所以首先要將視頻投影到3D單位球面上，然后使用特征點提取跟蹤的方法計算每對相鄰幀之間的旋轉，合成真實的相機路徑。接著，引入一種基于樣條插值的改進方法，對相機路徑進行平滑，生成穩(wěn)定的相機路徑。最后，對視頻幀進行投影變換，輸出穩(wěn)像后的視頻。

圖1 全景視頻穩(wěn)像算法流程

2.2 相機投影模型

全景視頻是以經緯度投影(ERP)格式呈現的，需要將其映射到3D球面上，以匹配后續(xù)的3D旋轉模型。圖2描述了整個算法的映射過程，給定ERP格式的視頻幀，長為H，寬為W，對于像素坐標p=[px,py]，通過映射函數φ(·)將其映射到3D球面上對應的位置P=[Px,Py,Pz]，后面經過相機路徑估計與平滑后，使用逆函數φ-1(·)進行還原。映射函數如下：

圖2 全景視頻ERP格式與3D球面模型的映射關系

(1)

(2)

2.3 運動路徑估計

對于全景視頻，由于相機的平移運動對視頻的影響遠小于旋轉運動，可以忽略不計，所以只考慮相機的旋轉運動，使用3D旋轉模型來描述運動路徑。

(3)

該問題可以使用Kabsch算法[9]來求解未知量R的最小值Rt，即旋轉矩陣。然而，矩陣形式包含了過多的冗余信息，用9個數來表示只需要3個數表示的量，占用空間大且容易產生非法數據。因此，在后續(xù)的路徑平滑過程中，使用歐拉角來表征相機的旋轉。旋轉矩陣Rt與相應的歐拉角Et之間的轉換關系如下：

(4)

式中：Rij表示旋轉矩陣Rt中的i行j列的元素；φ、θ、ψ表示歐拉角Et的各軸角度。

Ct+1=Et+Ct?Ct=Et-1+…+E1+E0

(5)

2.4 相機路徑平滑

(1) 低通濾波：通過對真實路徑進行低通濾波，去除掉高頻的抖動，如高斯濾波等。這個方法簡單有效，但是難點在于滑動窗口大小的設定，很難做到完美地分離主觀運動與抖動。

(2) 樣條擬合：通過一系列形值點的一條光滑曲線，數學上通過求解三彎矩方程組得出曲線函數組的過程，可以用作插值或平滑[10]。此外引入平滑因子S，動態(tài)調整紐結點的個數，保證數據之間的連續(xù)性及平滑性。假設xi為幀數，yi為原始數據，f()為擬合函數，S按照如下的方式調整(wi為權重)：

(6)

樣條擬合方法的問題在于容易造成過擬合現象，即消除抖動的同時也消除了主觀運動。

(3) 基于樣條擬合的改進算法：為了解決樣條擬合方法的問題，引入一個新的約束條件，使得擬合結果不會過于偏離原始數據點。定義閾值th及thoa，規(guī)定擬合值f(x)與原始數據y的距離在±th之間的數據點的個數大于thoa。如果不滿足該條件，減少平滑因子S的值，以避免過擬合。公式如下：

(7)

式中：h(x)表示整條路徑的篩選結果，根據其總和來調整平滑因子S。

(8)

式中：f(xi)代表第i幀數據的擬合值；h(xi)為對應的篩選結果。

除此之外，在進行樣條擬合之前，對數據進行預處理操作，使用小核高斯濾波函數預先消除部分高頻噪聲，使得擬合結果更加準確。

圖3展示了三種方法的平滑結果。可以看出，低通濾波方法的效果不夠好，保留了部分抖動；樣條擬合方法出現了過擬合的現象，擬合結果過于偏離原始數據；而本文改進方法可以有效地消除高頻噪聲，且很好地保留了主觀運動，沒有出現過擬合現象。綜上本文改進方法表現更好。

(a) 原始數據 (b) 低通濾波方法

(c) 樣條擬合方法 (d) 改進算法圖3 不同方法的路徑平滑結果

2.5 視頻幀合成

3 實驗及結果分析

3.1 實驗結果

拍攝多種場景下的高清全景視頻，包括室內、室外、走路、跑步等，分辨率為3 840×1 920，幀頻為30 幀/s；實驗基于MATLAB實現，設備選用Intel Core i7-6900K CPU。在實驗中，對單幀圖像的處理時間約300 ms，其中圖像處理部分占用了大量時間，后續(xù)可以通過GPU加速的方法進一步優(yōu)化。

圖4、圖5展示了走路場景下抖動視頻的穩(wěn)像效果，以及各軸歐拉角的平滑效果?？梢钥闯觯鄼C運動路徑與視頻畫面均獲得了很好的穩(wěn)定效果，驗證了該算法的有效性。

(a) 原始視頻 (b) 穩(wěn)像視頻圖4 走路場景下的穩(wěn)像結果圖

(a) 原圖 (b) X軸歐拉角

(c) Y軸歐拉角 (d) Z軸歐拉角圖5 走路場景下各軸歐拉角的數據平滑效果圖

3.2 客觀評價

根據文獻[11]提出的評價準則，穩(wěn)像算法的性能可以使用峰值信噪比(PSNR)進行評價，定義如下：

(9)

(10)

式中：It和It+1分別表示t和t+1時刻的兩幀圖像，尺寸為M×N；MSE表示幀間的均方誤差。計算每一對相鄰視頻幀之間的PSNR，作為衡量視頻整體穩(wěn)定程度的標準，即幀間變換保真度(ITF)，定義如下：

(11)

式中：Nframe表示幀數。

ITF可以客觀地評估視頻的穩(wěn)定程度，值越大代表視頻越穩(wěn)定。圖6計算了幾個典型場景穩(wěn)像前后的ITF值?？梢钥闯?，穩(wěn)像后的視頻ITF提升了約2～3 dB，表明本文方法有效地提高了視頻的穩(wěn)定程度。

圖6 不同場景下的幀間變換保真度對比

3.3 主觀評價

主觀評價是最為直接的穩(wěn)像評價方法。以個人作為觀察者對抖動視頻穩(wěn)像前后的品質進行評定。本文邀請12名觀察者，佩戴VR頭盔觀看每組視頻，基于穩(wěn)定性對視頻進行打分，0～10分表示穩(wěn)定程度由低到高，并計算所有人的平均意見得分(MOS)，作為主觀評價的標準，如表1所示。可以看出，本文算法可以大幅提高用戶的體驗。

表1 不同場景下的用戶平均意見得分表

4 結 語

本文提出一種使用3D旋轉模型對全景視頻進行穩(wěn)像處理的新方法。為了減少數據冗余，使用歐拉角來表征旋轉模型的參數，而不是常用的旋轉矩陣。此外，引入了一種基于樣條擬合的改進方法，用于相機路徑平滑。實驗結果表明本文算法可以有效地消除抖動并生成穩(wěn)定的視頻。希望該算法可以為相關的研究提供幫助。未來會進一步與其他算法進行對比實驗，也將對算法進行優(yōu)化加速，并考慮相機平移運動帶來的影響。