基于誤差預(yù)測(cè)模型的半自動(dòng)2D轉(zhuǎn)3D關(guān)鍵幀提取算法

相凱 吳少群 袁紅星

摘 要：關(guān)鍵幀是半自動(dòng)2D轉(zhuǎn)3D的核心技術(shù)，現(xiàn)有方法沒(méi)有考慮關(guān)鍵幀提取與深度傳播間的相互影響，難以最小化深度傳播誤差。針對(duì)該問(wèn)題，通過(guò)光流運(yùn)動(dòng)分析，根據(jù)顏色差異、運(yùn)動(dòng)差異與遮擋誤差建立深度傳播誤差預(yù)測(cè)模型，提出傳播誤差最小化的關(guān)鍵幀提取算法。實(shí)驗(yàn)結(jié)果表明，基于誤差預(yù)測(cè)模型的關(guān)鍵幀提取方法深度傳播質(zhì)量更高，平均PSNR改善了0.6dB以上。

關(guān)鍵詞：3D視頻；2D轉(zhuǎn)3D；關(guān)鍵幀；深度傳播；誤差預(yù)測(cè)

DOI：10.11907/rjdk.172680

中圖分類號(hào)：TP312

文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-7800（2018）004-0082-03

Abstract：Key-frame selection is one of core technologies in semi-automatic 2D-to-3D conversion. Existing methods cannot minimize depth propagation errors since they don′t consider key-frame′s impact on depth propagation. To address this issue， we predict propagation errors based on color dissimilarities， motion dissimilarities and occlusion errors， and select key-frames via minimization of propagation errors. Experiments demonstrate that our method can improve quality of depth propagation via the errors prediction model. The PSNR is improved by more than 0.6 dB compared with existing methods.

Key Words：3D video； 2D-to-3D conversion； key-frame； depth propagation； errors prediction

0 引言

3D在消費(fèi)類媒體中占據(jù)著重要位置[1]，涉及3D內(nèi)容制作、傳輸、存儲(chǔ)、播放和顯示等技術(shù)，對(duì)于國(guó)民經(jīng)濟(jì)發(fā)展具有重要意義。為了在3D影像產(chǎn)業(yè)鏈中占據(jù)制高點(diǎn)，目前迫切需要解決以下3個(gè)問(wèn)題：顯示終端、3D內(nèi)容創(chuàng)建與3D標(biāo)準(zhǔn)制定。其中，隨著3D電視頻道的開(kāi)通，3D片源不足已成為制約3D影像發(fā)展的瓶頸，而2D轉(zhuǎn)3D技術(shù)是解決這一難題的關(guān)鍵。2D轉(zhuǎn)3D流程如圖1所示，其核心是深度估計(jì)。現(xiàn)有轉(zhuǎn)換方法主要分為：人工轉(zhuǎn)換、半自動(dòng)轉(zhuǎn)換和全自動(dòng)轉(zhuǎn)換[2]。人工轉(zhuǎn)換能夠產(chǎn)生最佳深度圖，但也是最耗時(shí)、耗力且轉(zhuǎn)換成本最高的方法；全自動(dòng)轉(zhuǎn)換因?yàn)闊o(wú)需人工干預(yù)而受到研究人員青睞，但現(xiàn)有的全自動(dòng)轉(zhuǎn)換難以估計(jì)出高品質(zhì)的深度圖，且存在場(chǎng)景適用性問(wèn)題；半自動(dòng)轉(zhuǎn)換首先從原始2D視頻中提取若干關(guān)鍵幀，然后對(duì)這些關(guān)鍵幀進(jìn)行人工轉(zhuǎn)換，再利用深度傳播技術(shù)將關(guān)鍵幀深度擴(kuò)散到非關(guān)鍵幀，最后對(duì)非關(guān)鍵幀深度進(jìn)行人工優(yōu)化，該轉(zhuǎn)換方式是兼顧轉(zhuǎn)換品質(zhì)和效率的最佳折衷方案。半自動(dòng)轉(zhuǎn)換的核心問(wèn)題是關(guān)鍵幀提取，這是最大限度減少人工成本和保證轉(zhuǎn)換品質(zhì)的關(guān)鍵，而現(xiàn)有研究對(duì)此關(guān)注較少。因此，本文從深度傳播誤差分析著手探討半自動(dòng)2D轉(zhuǎn)3D的關(guān)鍵幀提取問(wèn)題。

1 研究現(xiàn)狀

現(xiàn)有的關(guān)鍵幀提取算法研究主要針對(duì)視頻摘要、檢索等應(yīng)用。當(dāng)前，關(guān)鍵幀提取算法可粗略分為序列法和基于聚類的方法。Vila等[3]利用Tsallis互信息和Jensen-Tsallis散度計(jì)算幀間相似度，并用一幀圖像和同一鏡頭內(nèi)其它幀所有圖像間的平均相似度作為該幀的代表性測(cè)度，將最具代表性的視頻幀選為關(guān)鍵幀；Yong等[4]提出一個(gè)對(duì)視頻序列語(yǔ)義上下文進(jìn)行建模的計(jì)算框架，通過(guò)比較幀間語(yǔ)義級(jí)特征和一個(gè)統(tǒng)計(jì)分類器實(shí)現(xiàn)關(guān)鍵幀提??；張曉星等[5]利用圖像特征點(diǎn)檢測(cè)與匹配的方法，將相鄰圖像的非匹配點(diǎn)作為幀間相關(guān)性的近似，將累積或平均非匹配點(diǎn)數(shù)超過(guò)設(shè)定閾值的幀判為關(guān)鍵幀；張建明等[6]采用全局運(yùn)動(dòng)特征與局部運(yùn)動(dòng)特征作為視頻體特征，同時(shí)提取典型視頻相應(yīng)特征，采用粒子群算法自適應(yīng)提取視頻關(guān)鍵幀；雷少帥等[7]將序列法和聚類法結(jié)合起來(lái)，首先提取視頻的時(shí)空切片，然后對(duì)切片進(jìn)行K均值聚類，最后根據(jù)相似度從每個(gè)類中提取關(guān)鍵幀；王方石等[8]針對(duì)聚類關(guān)鍵幀提取的閾值問(wèn)題，提出二次聚類方法，根據(jù)內(nèi)容變化程度自適應(yīng)確定聚類所需的閾值，并采用動(dòng)態(tài)無(wú)監(jiān)督聚類算法自動(dòng)提取關(guān)鍵幀；羅森林等[9]以幀間顏色直方圖差為特征進(jìn)行子鏡頭檢測(cè)，并對(duì)子鏡頭進(jìn)行關(guān)鍵幀提取與聚類，在提升關(guān)鍵幀提取速度的同時(shí)，降低了關(guān)鍵幀提取冗余度；詹永照等[10]針對(duì)現(xiàn)有聚類方法對(duì)初始類劃分敏感、易陷入局部最優(yōu)、沒(méi)有考慮時(shí)序性等問(wèn)題，提出一種基于人工免疫的有序樣本聚類算法。

目前，針對(duì)半自動(dòng)2D轉(zhuǎn)3D的關(guān)鍵幀提取算法研究還較少。Cao等[11]使用基于采樣的關(guān)鍵幀提取算法（SKF），每隔一段時(shí)間從視頻中提取一幀作為關(guān)鍵幀。SKF的優(yōu)點(diǎn)是算法實(shí)現(xiàn)簡(jiǎn)單，缺點(diǎn)是采樣間隔很難與視頻內(nèi)容匹配，導(dǎo)致選取的關(guān)鍵幀不具代表性，進(jìn)而影響到后續(xù)的深度傳播質(zhì)量；Sun等[12]根據(jù)相鄰幀的遮擋面積和SURF特征點(diǎn)匹配比例計(jì)算關(guān)鍵幀選取閾值，進(jìn)而對(duì)候選的每個(gè)關(guān)鍵幀估計(jì)攝像機(jī)的投影矩陣，最后將具有最小重投影誤差的候選幀作為關(guān)鍵幀。實(shí)驗(yàn)表明該方法可顯著改善深度傳播質(zhì)量。然而，攝像機(jī)投影矩陣估計(jì)是個(gè)病態(tài)問(wèn)題，Sun等[12]需要借助Lenz等[13]提出的標(biāo)定方法進(jìn)行投影矩陣估計(jì)。

現(xiàn)有面向半自動(dòng)2D轉(zhuǎn)3D的關(guān)鍵幀提取算法將深度傳播與關(guān)鍵幀提取獨(dú)立進(jìn)行研究，沒(méi)有考慮關(guān)鍵幀和深度傳播對(duì)彼此的影響。為此，本文對(duì)深度傳播誤差進(jìn)行建模，計(jì)算候選關(guān)鍵幀到非關(guān)鍵幀的深度傳播誤差，選擇具有最小傳播誤差的視頻幀作為關(guān)鍵幀。

2 本文方法

如圖2所示，本文提出基于深度傳播誤差預(yù)測(cè)的關(guān)鍵幀提取算法，主要包括基于光流的運(yùn)動(dòng)分析、基于運(yùn)動(dòng)分析的深度傳播誤差預(yù)測(cè)，以及根據(jù)誤差代價(jià)矩陣進(jìn)行關(guān)鍵幀提取，對(duì)關(guān)鍵幀進(jìn)行人工深度分配并傳播到非關(guān)鍵幀。

2.1 深度傳播誤差預(yù)測(cè)分析

關(guān)鍵幀向非關(guān)鍵幀進(jìn)行深度傳播，首先需要建立幀間像素點(diǎn)的對(duì)應(yīng)關(guān)系，大部分算法都采用運(yùn)動(dòng)估計(jì)的方法。本文通過(guò)前向光流和反向光流建立幀間像素點(diǎn)的匹配關(guān)系。假設(shè)第i幀圖像用Fi表示，其對(duì)應(yīng)的前向光流和反向光流分別為wfi和wbi。其中wfi表示Fi到Fi+1的光流，wbi為Fi+1到Fi的光流。利用前向光流wfi從Fi的像素點(diǎn)X=（x，y）處向后續(xù)幀F(xiàn)i+1進(jìn)行深度傳播的誤差概率定義如式（1）所示。式（1）中ci+1i表示利用光流建立從Fi到Fi+1的像素點(diǎn)對(duì)應(yīng)關(guān)系的誤差代價(jià)，其定義如式（2）所示，主要包括顏色差異、運(yùn)動(dòng)差異和遮擋誤差，分別如式（3）—（5）所示。這里顏色差異假設(shè)匹配的像素點(diǎn)具有相似顏色，運(yùn)動(dòng)差異假設(shè)匹配的像素點(diǎn)運(yùn)動(dòng)具有一致性。對(duì)于非遮擋像素點(diǎn)，其前向光流和反向光流應(yīng)大小相同、方向相反，因而遮擋誤差項(xiàng)為0，否則這種非0值表示遮擋對(duì)深度傳播的誤差影響。

2.2 基于傳播誤差預(yù)測(cè)的關(guān)鍵幀提取

本文的關(guān)鍵幀提取算法是要尋找向其它幀傳播誤差概率最小的幀。為此，定義一個(gè)N×N的代價(jià)矩陣C，其中N表示總視頻幀數(shù)。矩陣C第i行、第j列的元素定義如式（7）所示：

假設(shè)S表示候選關(guān)鍵幀，定義如式（8）所示的能量函數(shù)，其中l(wèi)和r分別表示距離候選關(guān)鍵幀F(xiàn)i左邊和右邊最近的候選關(guān)鍵幀索引?；趥鞑フ`差預(yù)測(cè)的關(guān)鍵幀提取即是最小化式（8）的求解過(guò)程。

3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)數(shù)據(jù)來(lái)自微軟提供的3D視頻序列Ballet和Breakdancer[14]。將關(guān)鍵幀的真實(shí)深度向非關(guān)鍵幀進(jìn)行傳播，并與非關(guān)鍵幀的真實(shí)深度進(jìn)行比較，以PSNR作為客觀比較指標(biāo)。其中深度傳播采用簡(jiǎn)單的最近鄰法，即某個(gè)非關(guān)鍵幀的深度由距離其最近的關(guān)鍵幀深度傳播得到。實(shí)驗(yàn)中，與Cao等[10]基于采樣的關(guān)鍵幀提取算法（SKF）、Sun等[11]的雙閾值法（DT）進(jìn)行了比較。如表1所示，與SKF和DT方法相比，本文方法獲取關(guān)鍵幀的深度傳播平均PSNR改善了0.6dB以上。這是因?yàn)镾KF和DT提取關(guān)鍵幀時(shí)并未考慮深度傳播誤差的影響，而本文通過(guò)最小化傳播誤差選取關(guān)鍵幀，因而能夠有效改善深度傳播質(zhì)量。

4 結(jié)語(yǔ)

關(guān)鍵幀提取直接決定了半自動(dòng)2D轉(zhuǎn)3D質(zhì)量。現(xiàn)有方法將關(guān)鍵幀提取與深度傳播割裂開(kāi)來(lái)，難以最小化深度傳播誤差。本文從顏色差異、運(yùn)動(dòng)差異與遮擋誤差著手，建立深度傳播的誤差預(yù)測(cè)模型，進(jìn)而構(gòu)造傳播代價(jià)能量函數(shù)，通過(guò)能量最小化實(shí)現(xiàn)誤差最小化的深度傳播。實(shí)驗(yàn)結(jié)果表明，本文方法可有效改善深度傳播質(zhì)量。

參考文獻(xiàn)：

[1] 王瑜.三維場(chǎng)景模型構(gòu)建研究與實(shí)現(xiàn)[J].軟件導(dǎo)刊，2017，16（7）：199-201.

[2] 吳少群，袁紅星，安鵬，等.軟分割約束邊緣保持插值的半自動(dòng)2D轉(zhuǎn)3D[J].電子學(xué)報(bào)，2015，43（11）：2218-2224.

[3] VILA M， BARDERA A， QING X， et al. Tsallis entropy-based information measures for shot boundary detection and keyframe selection[J]. Signal， Image and Video Processing， 2013：1-14.

[4] YONG S P， DENG J D， PURVIS M K. Wildlife video key-frame extraction based on novelty detection in semantic context[J]. Kluwer Academic Publishers， 2013，62（2）：359-376.

[5] 張曉星，劉冀偉，張波，等.分布視頻編碼中基于幀間相關(guān)性的自適應(yīng)關(guān)鍵幀選取算法[J].光電子·激光，2010，21（10）：1536-1541.

[6] 張建明，蔣興杰，李廣翠，等.基于粒子群的關(guān)鍵幀提取算法[J].計(jì)算機(jī)應(yīng)用，2011，31（2）：358-361.

[7] 雷少帥，曹長(zhǎng)青，古赟，等.基于時(shí)空切片的關(guān)鍵幀提取研究[J].太原理工大學(xué)學(xué)報(bào)，2012，43（3）：358-361.

[8] 王方石，須德，吳偉鑫.基于自適應(yīng)閾值的自動(dòng)提取關(guān)鍵幀的聚類算法[J].計(jì)算機(jī)研究與發(fā)展， 2005， 42（10）：1752-1757.

[9] 羅森林，馬舒潔，梁靜，等.基于子鏡頭聚類方法的關(guān)鍵幀提取技術(shù)[J].北京理工大學(xué)學(xué)報(bào)，2011，31（3）：348-352.

[10] 詹永照，汪滿容，柯佳.基于人工免疫有序聚類的視頻關(guān)鍵幀提取方法[J].江蘇大學(xué)學(xué)報(bào)：自然科學(xué)版，2012，33（2）：199-204.

[11] CAO X， LI Z， DAI Q H. Semi-automatic 2D-to-3D conversion using disparity propagation[J]. IEEE Transactions on Broadcasting， 2011，57（2）：491-499.

[12] SUN J D， XIE J C， LIU J. Dual threshold based key-frame selection for 2D-to-3D conversion[J]. Journal of Computational Information Systems， 2013，9（4）：1297-1305.

[13] LENZ R K， TSAI R Y. Technology for calibration of the scale factor and image center for high accuracy 3-D machine version metrology[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1988，10：68-75.

[14] ZITNICK C L， KANG S B， UYTTENDAELE M， et al. High-quality video view interpolation using a layered representation[J]. ACM Transactions on Graphics， 2004，23（3）：600-608.

（責(zé)任編輯：黃 ?。?/p>