基于運(yùn)動(dòng)歷史圖的網(wǎng)格變形視頻重定向

梁雪霞 唐振華,2*

1(廣西大學(xué)計(jì)算機(jī)與電子信息學(xué)院 廣西 南寧 530004)2(廣西多媒體通信與網(wǎng)絡(luò)技術(shù)重點(diǎn)實(shí)驗(yàn)室 廣西 南寧 530004)

0 引 言

自從步入信息化時(shí)代，隨著各種數(shù)字移動(dòng)設(shè)備如手機(jī)、電腦、MP4等的不斷涌現(xiàn)，人們可以隨時(shí)觀看各種數(shù)字圖像及視頻等媒體內(nèi)容。一段原始視頻的尺寸通常是固定的，但不同終端設(shè)備的屏幕尺寸和寬高比例卻呈現(xiàn)多樣性。當(dāng)用不同的設(shè)備播放同一視頻的時(shí)候，就需要改變視頻的寬高比例以使該視頻能與設(shè)備屏幕的尺寸相吻合，這種技術(shù)稱之為視頻重定向技術(shù)。

視頻重定向的目的是在改變視頻內(nèi)容的寬高比和分辨率以適應(yīng)目標(biāo)顯示設(shè)備的同時(shí)，保持盡可能多的重要內(nèi)容并避免可見(jiàn)的偽影，算法還應(yīng)高效。傳統(tǒng)的幾種方法都沒(méi)有考慮視頻本身內(nèi)容，各自有自己的缺陷：均勻縮放方法采用線性插值法均勻地刪除或增加視頻幀中的像素，當(dāng)視頻中的重要對(duì)象比較單一時(shí)，影響內(nèi)容的可讀性；邊緣填充方法雖然保留了原始視頻內(nèi)容的寬高比例，但造成有限屏幕的浪費(fèi)；而簡(jiǎn)單的裁剪法則往往容易造成視頻重要信息的丟失。為了克服這些問(wèn)題，有學(xué)者提出了基于內(nèi)容的視頻重定向(Video Retargeting)方法[1-25]?；趦?nèi)容的重定向方法著重考慮保持重要內(nèi)容的同時(shí)保持時(shí)間連貫性，此種方法取得的視覺(jué)效果顯著，因此備受關(guān)注。

本文提出了一種基于運(yùn)動(dòng)歷史圖的網(wǎng)格變形方法進(jìn)行視頻大小的調(diào)整。首先通過(guò)估計(jì)幀間攝像機(jī)的運(yùn)動(dòng)，將各視頻對(duì)齊在相機(jī)坐標(biāo)下，從而獲得全局運(yùn)動(dòng)歷史圖；然后利用運(yùn)動(dòng)歷史圖來(lái)順序指導(dǎo)單幀圖像形變，將單幀圖像的放縮問(wèn)題轉(zhuǎn)換為網(wǎng)格變形問(wèn)題，通過(guò)構(gòu)造一系列約束條件在網(wǎng)格上建立保持整體形狀的最優(yōu)化模型，實(shí)現(xiàn)背景的時(shí)間連續(xù)性的同時(shí)又有效地保持運(yùn)動(dòng)對(duì)象的形狀。應(yīng)用歷史圖順序指導(dǎo)圖像變形，節(jié)省內(nèi)存空間，提高了優(yōu)化效率，能夠?qū)崟r(shí)處理視頻流。

與文獻(xiàn)[19]不同的是，本文的重要度圖通過(guò)取運(yùn)動(dòng)歷史圖和當(dāng)前幀顯著區(qū)域的最大值將更多的重要內(nèi)容包含其中；在對(duì)網(wǎng)格進(jìn)行變形時(shí)，更注重保持重要度高的網(wǎng)格的整體比例與全局方向；文獻(xiàn)[19]通過(guò)對(duì)不同的坐標(biāo)頂點(diǎn)賦予不同的時(shí)間權(quán)重來(lái)調(diào)節(jié)背景與運(yùn)動(dòng)對(duì)象，但當(dāng)相鄰兩幀的時(shí)間權(quán)重不一樣時(shí)極易產(chǎn)生抖動(dòng)。本文通過(guò)將視頻幀對(duì)齊在公共的相機(jī)坐標(biāo)下，因此無(wú)須再對(duì)背景與運(yùn)動(dòng)對(duì)象施加不同的時(shí)間連貫性約束；同時(shí)在時(shí)間軸上增加了對(duì)應(yīng)頂點(diǎn)的約束，進(jìn)一步減少了抖動(dòng)。

1 相關(guān)工作

傳統(tǒng)的幾種方法由于沒(méi)有注重視頻內(nèi)容的差異，導(dǎo)致大多數(shù)情況下用戶觀感不佳，因此研究人員便把注意力放在了基于內(nèi)容的重定向方法上。目前基于內(nèi)容的視頻重定向方法主要分為以下4類：基于智能裁剪的方法、基于細(xì)縫裁剪(Seam Carving，SC)的方法、基于網(wǎng)格非均勻映射的方法，以及基于多算子的方法。

基于智能裁剪的方法首先檢測(cè)出視頻內(nèi)容的重要區(qū)域，然后裁去重要內(nèi)容以外的區(qū)域，從而獲得多個(gè)與目標(biāo)屏幕寬高比一致的視頻幀，然后將它們等比縮放到目標(biāo)屏幕上。具有代表性的工作有文獻(xiàn)[3-5]。基于智能裁剪的方法即使保存了圖像的主要內(nèi)容，但仍造成內(nèi)容丟失，尤其是當(dāng)重要對(duì)象占比較大時(shí)這種失真則更為嚴(yán)重。另外，對(duì)于運(yùn)動(dòng)的視頻來(lái)說(shuō)，為了保證重要對(duì)象盡可能地顯示在鏡頭里，裁剪窗口需要頻繁移動(dòng)，這樣會(huì)給人以不佳的觀看感受?；赟C的方法主要通過(guò)重復(fù)地從圖像中插入或者刪除重要度值較低的細(xì)縫來(lái)達(dá)到視頻重定向的目的。具有代表性的工作有文獻(xiàn)[6-11]。但當(dāng)視頻中有快速運(yùn)動(dòng)的物體存在時(shí)，采取基于SC的方法實(shí)現(xiàn)重定向容易把視頻中快速運(yùn)動(dòng)的重要物體一并裁掉，造成空間內(nèi)容的不連續(xù)現(xiàn)象?；诙嗨阕拥姆椒ň褪菓?yīng)用兩種或者兩種以上的操作符對(duì)視頻進(jìn)行重定向處理，具有代表性的工作有文獻(xiàn)[12-15]。基于多算子的方法雖然承襲了每種算子的優(yōu)點(diǎn)，但其缺點(diǎn)也一并體現(xiàn)在重定向結(jié)果上，且當(dāng)選取的多種算子越復(fù)雜時(shí)，相應(yīng)的算法時(shí)間復(fù)雜度也越高。

基于網(wǎng)格變形的方法首先把視頻幀劃分為多個(gè)規(guī)則或者不規(guī)則網(wǎng)格，在此基礎(chǔ)上根據(jù)網(wǎng)格的重要程度及相關(guān)的約束對(duì)網(wǎng)格進(jìn)行映射。具有代表性的工作有：Wolf等[16]提出了一種基于網(wǎng)格的非線性變形方法，該方法首先應(yīng)用空間梯度值、人臉檢測(cè)和基于塊的運(yùn)動(dòng)檢測(cè)三部分為視頻中的每個(gè)像素分配重要度值，然后遵循盡量把變形部分放到非重要區(qū)域的原則進(jìn)行非均勻映射。但是該方法得到的重定向結(jié)果一般，對(duì)處理具有明顯運(yùn)動(dòng)的視頻結(jié)果存在有內(nèi)容的不連續(xù)現(xiàn)象。Wang等[17]在文獻(xiàn)[18]的基礎(chǔ)上提出了一個(gè)基于運(yùn)動(dòng)信息的視頻重定向方法，該方法首先通過(guò)估計(jì)相鄰幀之間的相機(jī)運(yùn)動(dòng)，將視頻幀對(duì)齊在一個(gè)同相機(jī)坐標(biāo)下，其目的是為了對(duì)鏡頭運(yùn)動(dòng)做出補(bǔ)償。然后同時(shí)求解所有視頻幀在空間和時(shí)間的約束下的最小化函數(shù)。該方法的結(jié)果視頻能較好地保持時(shí)間連貫性，但由于運(yùn)算量大，無(wú)法實(shí)時(shí)處理視頻流。Niu等[19]在Wang等[17]的基礎(chǔ)上進(jìn)一步提出一種基于變形傳播的順序處理視頻幀的方法，該方法應(yīng)用運(yùn)動(dòng)歷史圖對(duì)背景和運(yùn)動(dòng)對(duì)象施加不同的約束。該方法能夠?qū)崿F(xiàn)對(duì)視頻流的實(shí)時(shí)處理，但是一旦相鄰兩幀的對(duì)應(yīng)頂點(diǎn)時(shí)間約束力度不同時(shí)，容易引起抖動(dòng)。Lin等[20]提出了一個(gè)保持重要目標(biāo)物體形狀的重定向方法。首先應(yīng)用基于層次圖的視頻分割方法對(duì)輸入視頻進(jìn)行分割，獲得了分割的目標(biāo)對(duì)象和像素顯著值之后，對(duì)每個(gè)目標(biāo)對(duì)象進(jìn)行非均勻映射。該方法能較好地保持主要對(duì)象重定向前后的結(jié)構(gòu)比例不變。Li等[21]將視頻分成時(shí)空網(wǎng)格流，利用網(wǎng)格流來(lái)選擇關(guān)鍵幀，然后通過(guò)二次規(guī)劃來(lái)調(diào)整這些關(guān)鍵幀的大小，剩下的非關(guān)鍵幀根據(jù)最近的重定向關(guān)鍵幀的內(nèi)容，通過(guò)網(wǎng)格插值調(diào)整大小。該方法能較好地保護(hù)視頻主要對(duì)象的時(shí)空一致性，但當(dāng)選擇的關(guān)鍵幀數(shù)量越多時(shí)，該方法的時(shí)間復(fù)雜度也隨之越高。Yan等[22]在文獻(xiàn)[23]的基礎(chǔ)上進(jìn)行了拓展，將基于軸對(duì)稱的圖像重定向應(yīng)用到視頻上，并利用運(yùn)動(dòng)矢量來(lái)約束相鄰幀之間的運(yùn)動(dòng)物體以保持時(shí)間連貫性。但由于該方法網(wǎng)格劃分的特殊性，重定向視頻會(huì)產(chǎn)生空間內(nèi)容的不連續(xù)現(xiàn)象。Lee等[24]提出了一種最優(yōu)化時(shí)空網(wǎng)格(SmartGrid)的方法，通過(guò)SmartGrid來(lái)保持連續(xù)幀中相同內(nèi)容的時(shí)空一致性。該方法對(duì)視頻重定向到大屏幕時(shí)具有顯著效果，但當(dāng)視頻重定向到小屏幕上時(shí)，該方法的取得效果不佳。

2 視頻重定向

圖1為本文方法的整體框架流程。本文提出的視頻重定向方法主要步驟如下：

步驟1采用基于上下文顯著性特征的方法，計(jì)算得到當(dāng)前幀的顯著度圖；同時(shí)利用視頻分割的方法計(jì)算得到當(dāng)前幀運(yùn)動(dòng)顯著性區(qū)域。

步驟2運(yùn)用特征點(diǎn)匹配將視頻幀在時(shí)間軸上對(duì)齊，利用視頻對(duì)象在幀間運(yùn)動(dòng)的聯(lián)系，獲得其對(duì)應(yīng)的運(yùn)動(dòng)歷史圖。

步驟3將顯著度圖與運(yùn)動(dòng)歷史圖進(jìn)行融合得到當(dāng)前幀的重要度圖。

步驟4根據(jù)視頻幀各像素點(diǎn)的重要程度，使用基于網(wǎng)格非均勻映射的方法對(duì)當(dāng)前幀進(jìn)行變形并獲得其重定向結(jié)果。

步驟5重復(fù)步驟1-步驟4直至最后完成全部視頻幀重定向。

圖1 本文工作流程

2.1 重要度圖

由于圖像的重要度圖在很大程度上決定了每個(gè)像素的變形，因此需要對(duì)兩個(gè)連續(xù)幀的重要度圖添加時(shí)間連貫性以確保每?jī)蓚€(gè)連續(xù)幀具有相似的重要度圖。因此，本文方法通過(guò)將圖像顯著度圖與運(yùn)動(dòng)歷史圖進(jìn)行對(duì)比融合得到重要度圖，以此作為基準(zhǔn)來(lái)指導(dǎo)單幀圖像的順序變形，從而有效減少視頻抖動(dòng)并提高求解效率。

2.1.1圖像顯著度圖

本文參考文獻(xiàn)[25]的方法，采用基于上下文顯著性特征的方法計(jì)算得到每幀圖像的顯著度區(qū)域。該方法的計(jì)算步驟主要有以下三步：首先初步確定顯著性像素：將圖像切分成多個(gè)塊，將像素所對(duì)應(yīng)的塊與所有的其他塊在Lab顏色空間做對(duì)比，如果該塊與其他塊差距大，則說(shuō)明是顯著性特征。然后增強(qiáng)對(duì)比度：按照上述步驟得出像素單個(gè)尺度的顯著度值之后，再在多個(gè)尺度下計(jì)算顯著度值，此時(shí)像素顯著度值為它們的平均值。最后更正顯著度結(jié)果：先獲得圖中最感興趣的范圍并保持該部分像素值不變，對(duì)不在此范圍里的像素賦予新的顯著度值，該值由與它距離最短的感興趣像素之間的歐幾里得距離加權(quán)得到。由于某些高層次的信息通常為觀看視頻時(shí)不可忽略的一部分，本文選用的高層次信息為人臉，因此本文最終的顯著度圖It融合了用上述步驟得到的顯著度圖Is與人臉信息If：

It(i,j)=max(Is(i,j),If(i,j))

(1)

圖像顯著度圖示例如圖2所示。

(a) 原始圖像 (b) 顯著度圖圖2 圖像顯著度圖

2.1.2運(yùn)動(dòng)歷史圖

為了獲得運(yùn)動(dòng)歷史圖，必須先將視頻幀在時(shí)間軸上對(duì)齊，建立全局運(yùn)動(dòng)模型。本文通過(guò)計(jì)算相鄰兩幀之間的相機(jī)運(yùn)動(dòng)將視頻幀在時(shí)間軸上對(duì)齊，這樣做的目的在于將視頻中相機(jī)運(yùn)動(dòng)、對(duì)象運(yùn)動(dòng)與背景有效分離出來(lái)。本文使用幀間特征點(diǎn)匹配的方法來(lái)衡量相機(jī)運(yùn)動(dòng)，類似于文獻(xiàn)[17]，首先使用SIFT算法檢測(cè)每個(gè)幀的特征點(diǎn)，然后使用RANSAC算法進(jìn)一步提取相鄰幀之間正確的特征對(duì)應(yīng)關(guān)系，并估計(jì)幀間縮放和平移參數(shù)，最后得到表示相鄰幀之間的對(duì)應(yīng)特征匹配點(diǎn)關(guān)系的3×3變換矩陣Ht→t-1：

(2)

(a) Stefan序列 (b) Bus序列圖3 視頻序列的全局運(yùn)動(dòng)模型

建立全局運(yùn)動(dòng)模型后，采用文獻(xiàn)[26]來(lái)計(jì)算得到整個(gè)視頻序列的運(yùn)動(dòng)顯著性區(qū)域MS，與光流法相比，該方法能消除更多不必要的背景。計(jì)算步驟如下：首先，將輸入視頻序列過(guò)度分割成超像素，對(duì)于每個(gè)超像素點(diǎn)提取兩種類型的邊緣：幀內(nèi)空間靜態(tài)邊緣和幀間運(yùn)動(dòng)邊緣。然后定義圖像上兩個(gè)超像素之間的最短路徑為測(cè)地線距離并采用該指標(biāo)計(jì)算幀內(nèi)每個(gè)超像素的目標(biāo)概率。一旦檢測(cè)到高時(shí)空邊緣值所包圍的區(qū)域，則認(rèn)為該區(qū)域是運(yùn)動(dòng)顯著性區(qū)域，其值為到幀邊界的最短測(cè)地線距離。

(3)

a b c d e圖4 當(dāng)k=2時(shí)的一個(gè)實(shí)例

2.1.3圖像融合

(4)

2.2 時(shí)空約束條件

2.2.1空間連貫性約束

由于重要對(duì)象的比例、方向及形狀都在極大程度上影響人們對(duì)它的識(shí)別，因此本節(jié)主要通過(guò)定義圖像在這三個(gè)方面的變形能量約束項(xiàng)將變形盡量隱藏在非重要區(qū)域，以獲得最小視覺(jué)變形結(jié)果。圖5為單一網(wǎng)格Gij形變的示意說(shuō)明圖。

圖5 單一網(wǎng)格Gij形變示意說(shuō)明圖

(1) 比例變形。當(dāng)圖像的寬高比例發(fā)生變化時(shí)，為了使用戶感興趣的區(qū)域不發(fā)生拉伸變形，必須盡量保持它的原始結(jié)構(gòu)比例。這就要求在網(wǎng)格形變的過(guò)程中，保證覆蓋重要區(qū)域的網(wǎng)格盡量不改變長(zhǎng)寬比例。因此，定義如下公式度量單一網(wǎng)格Gij比例變形：

(5)

式中：St(Gij)為網(wǎng)格Gij內(nèi)所有像素的重要度值的平方和。

(2) 尺度變形。在圖像縮放過(guò)程中，除了重要對(duì)象的比例變形之外，還應(yīng)關(guān)注重要對(duì)象在縮放前后的尺度變化。為了避免視覺(jué)尺度變形，使得重要對(duì)象在重定向前后能較好地保持整體形狀，定義如下公式度量單一網(wǎng)格Gij尺度變形：

(6)

(3) 方向變形。由于一些重要對(duì)象往往占據(jù)多個(gè)相連的四邊形網(wǎng)格，如果方向發(fā)生變化，則全局結(jié)構(gòu)信息也會(huì)隨之改變。為了保持結(jié)果圖像的全局結(jié)構(gòu)，必須盡量減少網(wǎng)格線的彎曲，即網(wǎng)格在豎直方向和水平方向的變形能夠最小。因此，定義如下公式度量單一網(wǎng)格Gij方向變形：

(7)

2.2.2時(shí)間連貫性約束

為了保持時(shí)間連貫性，本文方法鼓勵(lì)當(dāng)前幀的變形盡可能與前一幀保持一致。由于運(yùn)動(dòng)歷史圖已經(jīng)包含了當(dāng)前窗口運(yùn)動(dòng)目標(biāo)的所有運(yùn)動(dòng)信息，因此它在時(shí)間上的變化是平穩(wěn)的，這就保證了視頻幀的變形結(jié)果在時(shí)間上是連續(xù)的。這樣就可以把重定向問(wèn)題轉(zhuǎn)換為順序求解單幀圖像的問(wèn)題，提高求解效率。并且由于運(yùn)動(dòng)歷史圖已經(jīng)將視頻幀在時(shí)間軸上對(duì)齊，即在對(duì)圖像進(jìn)行重定向的過(guò)程中已經(jīng)對(duì)各視頻幀的時(shí)間連貫性進(jìn)行了約束，因此無(wú)須對(duì)背景和運(yùn)動(dòng)物體做不同約束。

(1) 相機(jī)運(yùn)動(dòng)保持。對(duì)相機(jī)運(yùn)動(dòng)的保持是在重定向過(guò)程中保持時(shí)間連貫性不容忽視的一個(gè)步驟。而幀與幀之間的位置轉(zhuǎn)換則反映了相機(jī)的運(yùn)動(dòng)，因此可以通過(guò)在全局運(yùn)動(dòng)模型中保存連續(xù)對(duì)齊幀的相對(duì)位置來(lái)保持相機(jī)運(yùn)動(dòng)，即要求重定向后相鄰幀中的相應(yīng)像素(在相機(jī)坐標(biāo)中對(duì)齊)的位置相同。具體來(lái)說(shuō)，對(duì)于第t幀的每一個(gè)頂點(diǎn)vi,j,t,使用變換矩陣Ht→t-1來(lái)計(jì)算該頂點(diǎn)在第t-1幀中的位置，表示為wi,j,t-1，并用wi,j,t-1所在圖像塊的四個(gè)頂點(diǎn)來(lái)線性表示該點(diǎn)，如圖6所示。

圖6 第t幀的一個(gè)頂點(diǎn)vi,j,t在第t-1幀中表示為wi,j,t-1

(8)

式中：vx,y,t-1是幀中包含wi,j,t-1點(diǎn)的圖像塊的四個(gè)頂點(diǎn)；ax,y,t-1是其對(duì)應(yīng)的系數(shù)，其和為1。

得到了相機(jī)坐標(biāo)中頂點(diǎn)的對(duì)應(yīng)關(guān)系后，約束重定向后相鄰幀中的相應(yīng)頂點(diǎn)與原來(lái)保持一致的對(duì)應(yīng)關(guān)系：

(9)

用矩陣T來(lái)彌補(bǔ)視頻尺寸的變化，T表示從目標(biāo)屏幕尺寸到原始屏幕尺寸的放縮矩陣：

(10)

(2) Z軸方向保持。為了進(jìn)一步減少視頻的抖動(dòng)，必須盡可能保持相鄰兩幀圖像的對(duì)應(yīng)頂點(diǎn)的位置相一致。與度量空間網(wǎng)格線彎曲的網(wǎng)格方向變形類似，用Z軸彎曲的能量項(xiàng)度量時(shí)間網(wǎng)格線彎曲。這一能量項(xiàng)表示為第t幀和前一幀t-1幀中頂點(diǎn)的位置差：

(11)

2.3 約束條件及系統(tǒng)求解

2.3.1邊界約束

為了保證視頻幀位于邊界的頂點(diǎn)重定向之后仍然處于邊界上，設(shè)定如下約束：

(12)

2.3.2防折疊約束

為了防止圖像過(guò)度縮放進(jìn)而形成網(wǎng)格折疊情況，設(shè)定如下約束：

(13)

2.3.3系統(tǒng)求解

通過(guò)聯(lián)合2.2所述的所有圖像塊的空間連貫性約束以及所有頂點(diǎn)的時(shí)間連貫性約束，可得到最終的優(yōu)化能量E：

(14)

式中：λ1、λ2、λ3、λ4與λ5為各個(gè)約束函數(shù)的權(quán)重；q是屬于圖像塊集合Q的一個(gè)圖像塊；v是屬于頂點(diǎn)集合V的一個(gè)頂點(diǎn)。本文使用MATLAB中的優(yōu)化函數(shù)來(lái)求解上述能量最小化問(wèn)題。當(dāng)邊界和內(nèi)部頂點(diǎn)的移動(dòng)小于0.5像素時(shí)，迭代過(guò)程終止。由于相鄰幀通常具有相似的變形，因此可以直接將前一幀的結(jié)果作為下一幀的初始值進(jìn)行優(yōu)化，減少迭代次數(shù)，提高求解效率。

3 實(shí)驗(yàn)結(jié)果與討論

為了驗(yàn)證本文視頻重定向算法的性能，選用含括相機(jī)靜止以及相機(jī)運(yùn)動(dòng)、物體快速運(yùn)動(dòng)以及中慢速運(yùn)動(dòng)等類型在內(nèi)的多種視頻進(jìn)行測(cè)試，同時(shí)用MATLAB軟件對(duì)裁剪、邊緣填充、均勻縮放、文獻(xiàn)[22]、文獻(xiàn)[19]的視頻重定向算法與本文算法進(jìn)行了對(duì)比，實(shí)驗(yàn)在CPU為3.20 GHz，內(nèi)存為4 GB的計(jì)算機(jī)上完成。設(shè)定網(wǎng)格初始大小為20×20，本節(jié)分別對(duì)視頻的寬度分別縮小至原來(lái)的70%、60%、50%和40%的情況進(jìn)行了測(cè)試，部分結(jié)果如圖7-圖10所示，從左到右依次為各視頻原始幀、基于裁剪、邊緣填充、均勻縮放、文獻(xiàn)[22]、文獻(xiàn)[19]算法，以及本文方法得到的結(jié)果視頻幀。

(a) 原始幀 (b) 裁剪 (c) 邊緣填充 (d) 均勻縮放 (e) 文獻(xiàn)[22] (f) 文獻(xiàn)[19] (g) 本文方法圖7 sign_irene視頻幀的寬度縮小至原來(lái)的70%

(a) 原始幀 (b) 裁剪 (c) 邊緣填充 (d) 均勻縮放 (e) 文獻(xiàn)[22] (f) 文獻(xiàn)[19] (g) 本文方法圖8 tempete視頻幀的寬度縮小至原來(lái)的60%

(a) 原始幀 (b) 裁剪 (c) 邊緣填充 (d) 均勻縮放 (e) 文獻(xiàn)[22] (f) 文獻(xiàn)[19] (g) 本文方法圖9 soccer視頻幀的寬度縮小至原來(lái)的50%

(a) 原始幀 (b) 裁剪 (c) 邊緣填充 (d) 均勻縮放 (e) 文獻(xiàn)[22] (f) 文獻(xiàn)[19] (g) 本文方法圖10 waterfall視頻幀的寬度縮小至原來(lái)的40%

3.1 主觀性能比較與分析

使用基于裁剪方法獲得的結(jié)果如圖7(b)-圖10(b)所示。裁剪方法遵循的原則是保留視頻內(nèi)容的重要區(qū)域，然后裁去重要內(nèi)容以外的區(qū)域，從而達(dá)到視頻與播放設(shè)備尺寸相一致的效果。如果重要對(duì)象的占比或(和)視頻縮小比例也較小時(shí)，裁剪方法具有明顯的優(yōu)勢(shì)，如圖7(b)中的女士、圖8(b)的黃花、圖10(b)的瀑布都得到了較好的保存。但當(dāng)重要對(duì)象的占比或(和)視頻縮小比例較大時(shí)，由于播放設(shè)備屏幕尺寸的限制，基于裁剪的重定向方法會(huì)使得視頻的一部分重要區(qū)域也被裁剪掉，例如圖9(b)中左右側(cè)的運(yùn)動(dòng)員均被裁去，圖像的整體結(jié)構(gòu)遭到破壞。

使用基于邊緣填充的方法獲得的結(jié)果如圖7(c)-圖10(c)所示。從結(jié)果可看出，盡管使用該方法獲得的結(jié)果重要內(nèi)容并沒(méi)有產(chǎn)生失真現(xiàn)象，但是填充的黑邊既造成了播放設(shè)備屏幕的浪費(fèi)，又給用戶以視覺(jué)體驗(yàn)不佳的感官效果。這是由于邊緣填充方法為了在縮放時(shí)保持視頻的原始寬高比而在目標(biāo)屏幕上填充黑邊，尤其當(dāng)視頻的目標(biāo)尺寸與原始尺寸差別越大時(shí)，相對(duì)應(yīng)的黑邊越多，用戶的體驗(yàn)越不好。

使用基于均勻縮放的方法獲得的結(jié)果如圖7(d)-圖10(d)所示。從結(jié)果可看出，圖中的顯著對(duì)象均因?yàn)榭s小了寬度而出現(xiàn)不同程度的縱向拉伸變形。尤其是當(dāng)視頻尺寸的變化越大時(shí)，由均勻縮放帶來(lái)的拉伸變形也越大，這是由于均勻縮放方法沒(méi)有考慮對(duì)重要對(duì)象的保持而采取對(duì)所有像素進(jìn)行統(tǒng)一的線性插值或刪值，從而造成顯著對(duì)象變形。

使用文獻(xiàn)[22]算法獲得的結(jié)果如圖7(e)-圖10(e)所示。由結(jié)果可看出，采用該方法的結(jié)果雖能較好地保持視頻的時(shí)間連貫性，但該算法的空間上則出現(xiàn)了內(nèi)容不連續(xù)現(xiàn)象，視頻的重要對(duì)象出現(xiàn)了明顯的變形：圖7(e)和圖8(e)中的重要均出現(xiàn)了一定的擠壓現(xiàn)象，圖9(e)則與均勻縮放的結(jié)果一致，運(yùn)動(dòng)員被拉伸變形，圖10(e)的瀑布則幾乎丟失了。主要在于該方法在對(duì)視頻進(jìn)行重定向時(shí)沒(méi)有考慮同一視頻幀相鄰的網(wǎng)格縮放程度應(yīng)相似的問(wèn)題，因此圖像整體結(jié)構(gòu)得不到較好的保持，導(dǎo)致重定向效果不佳。

使用文獻(xiàn)[19]算法獲得的結(jié)果如圖7(f)-圖10(f)所示。由結(jié)果可看出，采用該方法得到的結(jié)果會(huì)產(chǎn)生抖動(dòng)現(xiàn)象，如圖7(f)第三行和第四行之間能明顯看出有抖動(dòng)。這是由于該方法對(duì)不同的頂點(diǎn)有不同的時(shí)間約束力度，當(dāng)連續(xù)兩幀對(duì)同一頂點(diǎn)的時(shí)間約束力度不同時(shí)，就容易引起抖動(dòng)。

使用本文算法獲得的結(jié)果如圖7(g)-圖10(g)所示。由結(jié)果可看出，本文方法在保持重定向視頻良好時(shí)間連貫性的前提下，把失真盡量隱藏在背景中，視頻重要內(nèi)容得到較好的保持。

3.2 客觀指標(biāo)評(píng)價(jià)

時(shí)域非連續(xù)性失真(Temporal Inconsistency Distortion，TID)和顯著度相似性量度(Saliency Similarity Measurement，SSM)兩種客觀評(píng)價(jià)指標(biāo)[30]可用于衡量視頻對(duì)象在時(shí)域和空間域上的不連續(xù)變化。TID主要用于衡量視頻中的主要對(duì)象運(yùn)動(dòng)較為劇烈時(shí)產(chǎn)生的時(shí)域不連續(xù)失真，但當(dāng)一個(gè)突出物體的大小在連續(xù)的幀中隨時(shí)間緩慢變化時(shí)，TID評(píng)價(jià)指標(biāo)可能無(wú)法捕捉到這種微小的時(shí)間變化。因此，用SSM評(píng)價(jià)指標(biāo)來(lái)度量?jī)蓚€(gè)連續(xù)重定向幀的突出物體的在空間上的相似性。本文擬采用上述兩種客觀指標(biāo)對(duì)重定向視頻的質(zhì)量進(jìn)行評(píng)價(jià)。

本節(jié)對(duì)利用不同方法得到的sign_irene、tempete、soccer、waterfall結(jié)果視頻序列進(jìn)行了相應(yīng)的客觀評(píng)價(jià)。由于基于裁剪、邊緣填充、均勻縮放這三種傳統(tǒng)方法只是對(duì)視頻內(nèi)容簡(jiǎn)單地做了線性縮放而不考慮視頻內(nèi)容的差異，因此失真較大，故本文僅與基于內(nèi)容的視頻重定向方法進(jìn)行比較。表1、表2為文獻(xiàn)[22]、文獻(xiàn)[19]算法以及本文方法的重定向視頻幀對(duì)應(yīng)的TID失真值dTID與SSM失真值dSSM，加粗的數(shù)據(jù)為同一視頻序列在幾種不同重定向方法下的最小值，對(duì)應(yīng)的視頻質(zhì)量最優(yōu)。

表1 各視頻序列的dTID

表2 各視頻序列的dSSM

由表1及表2的結(jié)果可看出，對(duì)于sign_irene、tempete、waterfall視頻序列來(lái)說(shuō)，本文方法的dTID值以及dSSM值都是最小的，即空間域失真與時(shí)域失真最??；對(duì)于soccer序列來(lái)說(shuō)，雖然本文方法的dTID值略高于文獻(xiàn)[22]，但dSSM值遠(yuǎn)遠(yuǎn)優(yōu)于文獻(xiàn)[22]的dSSM值，這是由于soccer序列中運(yùn)動(dòng)對(duì)象占據(jù)了屏幕的一半以上導(dǎo)致文獻(xiàn)[22]的重定向視頻幀接近于均勻縮放的結(jié)果，此時(shí)文獻(xiàn)[22]的方法犧牲了空間連貫性來(lái)保持時(shí)間連貫性，也因此該項(xiàng)的dSSM值最大。綜合來(lái)看，本文提出的重定向方法在保護(hù)重要對(duì)象的同時(shí)也保持了良好的時(shí)間連貫性。

3.3 時(shí)間復(fù)雜度比較

由于本文主要研究的是基于內(nèi)容的視頻重定向算法，而均勻縮放、裁剪、邊緣填充均為傳統(tǒng)的視頻縮放方法，在不考慮保護(hù)重要內(nèi)容的情況下進(jìn)行簡(jiǎn)單的縮放操作，時(shí)間復(fù)雜度極低。因此，本節(jié)僅比較文獻(xiàn)[22]、文獻(xiàn)[19]以及本文方法的時(shí)間復(fù)雜度。

表3 視頻序列平均每幀時(shí)間消耗比較

如表3所示，對(duì)圖7至圖10中的4個(gè)視頻序列在文獻(xiàn)[22]、文獻(xiàn)[19]、本文方法實(shí)驗(yàn)中平均每一幀消耗的時(shí)間進(jìn)行比較，可以看到：文獻(xiàn)[22]的方法平均每幀的耗時(shí)約0.4 s，文獻(xiàn)[19]的方法耗時(shí)約60 s，本文方法耗時(shí)約10 s。顯然，文獻(xiàn)[22]的方法耗時(shí)最低，這是因?yàn)槲墨I(xiàn)[22]的方法對(duì)于網(wǎng)格劃分比較粗糙，這種方法雖然降低了運(yùn)算復(fù)雜度，但重定向后的視頻內(nèi)容質(zhì)量不夠好。文獻(xiàn)[19]的方法耗時(shí)最高，這是因?yàn)槲墨I(xiàn)[19]的方法對(duì)于不同的網(wǎng)格頂點(diǎn)有不同的時(shí)間權(quán)重，當(dāng)同一頂點(diǎn)的相鄰幀時(shí)間權(quán)重相差較大時(shí)，迭代次數(shù)也隨之增加。本文方法的時(shí)間復(fù)雜度介于兩者之間，且重定向后的視頻結(jié)果性能也較好。

4 結(jié) 語(yǔ)

為了保持重定向視頻的時(shí)空連貫性，提升視頻重建的質(zhì)量，本文提出了一種基于運(yùn)動(dòng)歷史圖的網(wǎng)格變形視頻重定向方法進(jìn)行視頻大小的調(diào)整。該方法在獲得圖像的顯著性區(qū)域和運(yùn)動(dòng)顯著性區(qū)域的前提下，以視頻首幀為基準(zhǔn)，通過(guò)估計(jì)幀間攝像機(jī)的運(yùn)動(dòng)，將各視頻對(duì)齊在相機(jī)坐標(biāo)下，從而獲得全局運(yùn)動(dòng)歷史圖；然后利用運(yùn)動(dòng)歷史圖來(lái)順序指導(dǎo)單幀圖像形變，將單幀圖像的放縮問(wèn)題轉(zhuǎn)換為網(wǎng)格變形問(wèn)題，通過(guò)構(gòu)造一系列約束條件在網(wǎng)格上建立保持整體形狀的最優(yōu)化模型，實(shí)現(xiàn)背景的時(shí)間連續(xù)性的同時(shí)又有效地保持運(yùn)動(dòng)對(duì)象的形狀。測(cè)試結(jié)果顯示本文重定向方法在處理視頻縮放方面能獲得較優(yōu)的視覺(jué)效果。如何與其他算子結(jié)合來(lái)進(jìn)一步提升視頻重定向性能將成為本文的后續(xù)工作。同時(shí)對(duì)于背景特征不明顯的視頻內(nèi)容來(lái)說(shuō)，如何有效地實(shí)現(xiàn)背景拼接和獲得當(dāng)前幀的運(yùn)動(dòng)區(qū)域以得到更準(zhǔn)確的運(yùn)動(dòng)歷史圖，也可以作為之后提升視頻重定向性能的努力方向。