明 艷
(重慶郵電大學(xué) 通信學(xué)院,重慶 400065)
基于3D相鄰區(qū)域宏塊相關(guān)性的多視點(diǎn)視頻快速編碼算法
明 艷
(重慶郵電大學(xué) 通信學(xué)院,重慶 400065)
針對(duì)多視點(diǎn)視頻編碼的高復(fù)雜度,提出一種利用相鄰宏塊編碼信息的相關(guān)性進(jìn)行編碼的快速算法。利用多視點(diǎn)視頻相鄰宏塊率失真代價(jià)分布的相關(guān)性,對(duì)當(dāng)前宏塊進(jìn)行SKIP模式下的提前判決;根據(jù)視點(diǎn)間、時(shí)間和空間相鄰區(qū)域運(yùn)動(dòng)矢量差值對(duì)當(dāng)前宏塊運(yùn)動(dòng)類(lèi)型進(jìn)行快速分類(lèi);針對(duì)不同的運(yùn)動(dòng)類(lèi)型調(diào)整搜索范圍,選擇相應(yīng)尺寸大小的編碼模式。通過(guò)對(duì)具有不同運(yùn)動(dòng)特性的多視點(diǎn)視頻編碼性能測(cè)試,結(jié)果表明,相對(duì)于聯(lián)合多視點(diǎn)視頻模型(joint multi view video model,JMVM)遍歷模式,在增加0.75%輸出比特率和降低0.04 dB峰值信噪比的情況下,該快速編碼算法能平均減少66%的編碼時(shí)間。
多視點(diǎn)視頻編碼;快速算法;相關(guān)性;性能測(cè)試
多視點(diǎn)視頻是由不同視點(diǎn)的多個(gè)攝像機(jī)從不同視角拍攝同一場(chǎng)景采集到的一組視頻數(shù)據(jù),由于能生動(dòng)地再現(xiàn)立體感場(chǎng)景,提供交互功能,廣泛應(yīng)用在自由視點(diǎn)視頻[1]、3D電視、遠(yuǎn)程醫(yī)學(xué)診療、視頻監(jiān)視等多媒體業(yè)務(wù)中。因多視點(diǎn)視頻的數(shù)據(jù)量隨攝像機(jī)的數(shù)目增加呈線(xiàn)性增長(zhǎng),如何對(duì)多視點(diǎn)視頻數(shù)據(jù)進(jìn)行高效壓縮是其應(yīng)用普及和推廣的關(guān)鍵。2006年,ITU-T的視頻編碼專(zhuān)家組(video coding experts group,VCEG)和國(guó)際標(biāo)準(zhǔn)化組織/國(guó)際電工委員會(huì)(international organization for standardization/international electrotechnical commission,ISO/IEC)的運(yùn)動(dòng)圖像專(zhuān)家組(moving picture experts group,MPEG)完成了多視點(diǎn)視頻編碼的標(biāo)準(zhǔn)化工作,并作為H.264標(biāo)準(zhǔn)的擴(kuò)展部分。該標(biāo)準(zhǔn)通過(guò)對(duì)所有尺寸大小模式進(jìn)行遍歷得到最優(yōu)模式[2]的方法雖然提高了壓縮性能,但帶來(lái)了極高的運(yùn)算復(fù)雜度。
目前多視點(diǎn)視頻編碼快速算法主要分為2類(lèi):①優(yōu)化拉格朗日率失真函數(shù);②最佳模式的提前判決[3]。Zhu[4]提出的快速算法是先利用幀內(nèi)編碼信息對(duì)當(dāng)前宏塊進(jìn)行紋理區(qū)域分割,然后通過(guò)相鄰視點(diǎn)間相同紋理區(qū)域SKIP宏塊的率失真代價(jià)值對(duì)SKIP模式進(jìn)行提前判決,由于該算法只對(duì)SKIP模式進(jìn)行了快速判決,降低編碼復(fù)雜度的效率還有待提高;在文獻(xiàn)[5]中,先計(jì)算相鄰視點(diǎn)間SKIP模式的加權(quán)因子,如果加權(quán)因子大于閾值,判決為SKIP模式,提前終止模式遍歷。該方法在減小運(yùn)算量方面雖取得了一些效果,但并沒(méi)有充分利用時(shí)間和空間編碼信息的相關(guān)性;Shen[6]提出了一種基于視點(diǎn)間運(yùn)動(dòng)矢量的尺寸大小模式選擇方法,根據(jù)視點(diǎn)間相鄰宏塊運(yùn)動(dòng)矢量的變化來(lái)對(duì)當(dāng)前塊運(yùn)動(dòng)類(lèi)型進(jìn)行判決,但該方法對(duì)某些序列效果較差;文獻(xiàn)[7]提出了一種利用視點(diǎn)間率失真代價(jià)值的信息對(duì)當(dāng)前塊的紋理區(qū)域進(jìn)行判決,但該方法并沒(méi)有對(duì)占用編碼時(shí)間較大的尺寸大小的模式進(jìn)行快速判決;文獻(xiàn)[8]提出了通過(guò)攝像機(jī)的幾何位置關(guān)系來(lái)減少搜索范圍,因此,需要一些攝像機(jī)的位置信息,且只對(duì)某些特定的序列效果較好。Zeng[9]使用了3D相鄰區(qū)域宏塊的運(yùn)動(dòng)矢量信息來(lái)對(duì)當(dāng)前塊的運(yùn)動(dòng)類(lèi)型進(jìn)行分類(lèi),不同的運(yùn)動(dòng)類(lèi)型只選擇相應(yīng)的尺寸大小的模式。該方法能有效地減少編碼復(fù)雜度,但對(duì)運(yùn)動(dòng)類(lèi)型一致的宏塊編碼效果不好。
本文提出了一種利用視點(diǎn)間、時(shí)間和空間的3D相鄰區(qū)域的宏塊編碼信息對(duì)當(dāng)前塊進(jìn)行快速編碼的算法。首先,計(jì)算已編碼相應(yīng)視點(diǎn)的率失真代價(jià)值,對(duì)當(dāng)前宏塊做SKIP模式快速判決;然后,通過(guò)當(dāng)前塊3D相鄰宏塊的運(yùn)動(dòng)矢量差值信息,對(duì)塊的運(yùn)動(dòng)類(lèi)型進(jìn)行快速分類(lèi),并根據(jù)確定的運(yùn)動(dòng)類(lèi)型動(dòng)態(tài)調(diào)整搜索范圍;最后,利用運(yùn)動(dòng)矢量差值信息進(jìn)行尺寸大小模式選擇。經(jīng)過(guò)對(duì)不同類(lèi)型的多視點(diǎn)視頻序列的性能測(cè)試和數(shù)據(jù)對(duì)比,本文算法在比特率增加不多,峰值信噪比下降很小的情況下,能有效地降低編碼復(fù)雜度,大幅度減小編碼時(shí)間。
多視點(diǎn)視頻編碼有SKIP、幀間(Inter)和幀內(nèi)(Intra)3種模式。Inter模式預(yù)測(cè)塊尺寸包括16×16,8×16,16×8,8×8,8×4,4×8和4×4這7種模式,其中,后4種尺寸合并在一起被稱(chēng)為P4×4。Intra模式預(yù)測(cè)塊尺寸有16×16,8×8和4×4這3種模式[10]。設(shè)計(jì)這些不同大小尺寸塊的目的是為了適用不同類(lèi)型視頻的編碼。大的塊尺寸適用于圖像中靜止或低速運(yùn)動(dòng)的平坦區(qū)域,小的塊尺寸則適合快速運(yùn)動(dòng)的區(qū)域。采用拉格朗日率失真優(yōu)化函數(shù)作為最優(yōu)判決準(zhǔn)則,通過(guò)對(duì)所有預(yù)測(cè)模式的遍歷,計(jì)算出每種模式的率失真代價(jià)(Rdcost)值,選擇Rdcost值最小的模式作為該宏塊編碼的最優(yōu)模式。利用拉格朗日率失真優(yōu)化函數(shù)計(jì)算Rdcost的公式為
(1)
(1)式中:J(s,c,MODE|QP,λMODE)為率失真代價(jià);MODE表示當(dāng)前宏塊的編碼模式;QP為宏塊的量化步長(zhǎng);s和c分別為原始圖像和重建圖像的像素值;λMODE為預(yù)測(cè)模式所對(duì)應(yīng)的拉格朗日乘子;R(s,c,MODE|QP)表示在所選QP和MODE下,當(dāng)前宏塊編碼輸出比特?cái)?shù),SSD(s,c,MODE|QP)為圖像失真度。
由上述分析可知,對(duì)于編碼幀的每個(gè)宏塊有11種預(yù)測(cè)模式可供選擇,若采用全遍歷的方法,則需計(jì)算出每種模式的Rdcost值,而每次Rdcost的計(jì)算都十分耗時(shí),因此,全遍歷方法的計(jì)算量巨大。如果能提前判斷出最優(yōu)的編碼模式,省去對(duì)其他編碼模式的檢查,就可以降低計(jì)算復(fù)雜度。本文提出的快速算法就是基于這個(gè)思想來(lái)減少多視點(diǎn)視頻編碼的算法復(fù)雜度。文中算法測(cè)試所用的多視點(diǎn)視頻序列參數(shù)如表1所示。
1.1 SKIP模式提前判決
SKIP模式是利用運(yùn)動(dòng)矢量對(duì)當(dāng)前塊進(jìn)行預(yù)測(cè)的。由于沒(méi)有運(yùn)動(dòng)估計(jì)過(guò)程,該模式除了能節(jié)省對(duì)運(yùn)動(dòng)矢量編碼的比特?cái)?shù)外,還可以降低計(jì)算復(fù)雜度。表2是附加視點(diǎn)為非關(guān)鍵幀時(shí),在不同量化步長(zhǎng)QP下,采用基于率失真最優(yōu)判決和遍歷方法,測(cè)試出了表1中視頻序列的各種最優(yōu)模式所占比例。其中63.3%~84.1%的宏塊選擇的是SKIP模式,選擇其他模式的比例較小,這是因?yàn)樵诙鄶?shù)視頻中,大部分背景區(qū)域是靜止的。與其他模式相比,由于計(jì)算SKIP模式Rdcost值的時(shí)間最少,如果該模式能盡早地被判決為最佳模式,這將可以減小多視點(diǎn)視頻編碼的時(shí)間。
表1 多視點(diǎn)視頻測(cè)試序列
表2 最優(yōu)模式的概率分布
由于視點(diǎn)間的視頻內(nèi)容的相似性,視點(diǎn)間相鄰宏塊的編碼信息,如Rdcost值、運(yùn)動(dòng)矢量的分布也很相似。如果能利用相鄰視點(diǎn)宏塊的Rdcost值計(jì)算得到一個(gè)閾值TSKIP,若當(dāng)前宏塊SKIP模式的Rdcost值小于TSKIP,則可直接選擇SKIP模式為最佳模式,這樣可以減少所需遍歷的模式數(shù),降低編碼復(fù)雜度。TSKIP的計(jì)算公式為
(2)
(2)式中:i表示參考視點(diǎn)V幀的宏塊序號(hào);N為參考視點(diǎn)幀的宏塊總數(shù);RDcostVSKIP(i)為第i宏塊的SKIP模式的Rdcost值;kV(i)的定義如(3)式所示。pV(RDcostVSKIP(i))為參考視點(diǎn)V幀中RDcostVSKIP(i)出現(xiàn)的概率,(4)式為該值的計(jì)算公式。
(3)
(4)
(4)式中:N(RDcostVSKIP(i))為RDcostVSKIP(i)量化后的個(gè)數(shù);NVSKIP是SKIP模式的總個(gè)數(shù)。由于Rdcost值一般很小,對(duì)于(4)式中的率失真代價(jià)用RDcostVSKIP(i)/100進(jìn)行量化。表3是當(dāng)測(cè)試序列采用遍歷模式時(shí),統(tǒng)計(jì)出的Rdcost值小于TSKIP的概率分布。從表2可以看出,不同分辨率的序列在采用不同量化步長(zhǎng)QP的情況下,最終判決為SKIP模式的概率可達(dá)90%~99%,說(shuō)明采用這種SKIP模式提前判決方法是可行和有效的。
表3 率失真代價(jià)值小于TSKIP的模式概率分布
1.2 編碼宏塊運(yùn)動(dòng)類(lèi)型快速分類(lèi)
在視頻序列中,幀間和幀內(nèi)不同區(qū)域的運(yùn)動(dòng)類(lèi)型一般是不一樣的。不同的運(yùn)動(dòng)區(qū)域通常會(huì)有不同的編碼方式,因此,可先將運(yùn)動(dòng)類(lèi)型進(jìn)行分類(lèi),再根據(jù)某些編碼信息對(duì)編碼區(qū)域的運(yùn)動(dòng)類(lèi)型進(jìn)行快速判決。在編碼過(guò)程中,運(yùn)動(dòng)矢量差值能有效地反映出區(qū)域的運(yùn)動(dòng)狀況。對(duì)于靜止和運(yùn)動(dòng)一致的區(qū)域,其編碼塊的運(yùn)動(dòng)矢量差值較小,而運(yùn)動(dòng)變化越大的區(qū)域,編碼塊的運(yùn)動(dòng)矢量差值就越大。因此,可根據(jù)視點(diǎn)間、時(shí)間和空間的3D相鄰區(qū)域宏塊的運(yùn)動(dòng)矢量差值的分布不同,對(duì)當(dāng)前塊的運(yùn)動(dòng)類(lèi)型進(jìn)行快速分類(lèi)判決。3D相鄰區(qū)域宏塊位置如圖1所示。
圖1 3D相鄰區(qū)域宏塊位置Fig.1 3D adjacent area macro block location
在圖1中,當(dāng)前幀編碼宏塊MB0的3D相鄰區(qū)域宏塊包括:當(dāng)前幀中相鄰的3個(gè)宏塊MB1~MB3;前一編碼幀中相同位置的宏塊MB4;參考視點(diǎn)中相應(yīng)宏塊及其周?chē)?個(gè)宏塊MB5~MB13。MB0的運(yùn)動(dòng)類(lèi)型判決過(guò)程如下。
1)根據(jù)圖1所示的3D相鄰區(qū)域,構(gòu)建運(yùn)動(dòng)矢量差值集合{mvd1,mvd2,…,mvd13}。其中,mvdi是宏塊MBi的運(yùn)動(dòng)矢量差值,i=1,2,…,13。
2)按(5)式計(jì)算每個(gè)mvdi的距離D(mvdi),xi和yi分別是運(yùn)動(dòng)矢量的水平分量和垂直分量。
D(mvdi)=|xi|+|yi|
(5)
3)在運(yùn)動(dòng)矢量差值集合中找到mvdi的最大距離值D。
D=max(D(mvdi))
(6)
4)如果D≤D1,或D1≤D≤D2,或D2≤D≤D3,或D3≤D,則判斷當(dāng)前宏塊MB0的運(yùn)動(dòng)類(lèi)型為“運(yùn)動(dòng)一致”“簡(jiǎn)單運(yùn)動(dòng)”“中度運(yùn)動(dòng)”“劇烈運(yùn)動(dòng)”。這里的D1和D2分別為1和5,D3的計(jì)算式為
D3=μ+2σ
(7)
(7)式中,μ和σ分別為當(dāng)前宏塊在參考視點(diǎn)幀中D的期望和方差值。
1.3 運(yùn)動(dòng)搜索范圍動(dòng)態(tài)調(diào)整
運(yùn)動(dòng)搜索是為了在參考幀的搜索區(qū)域內(nèi)找到編碼塊的最佳參考?jí)K。在多視點(diǎn)視頻編碼中,搜索范圍(search range,SR)是固定的。而在視頻幀中,不同區(qū)域的運(yùn)動(dòng)類(lèi)型一般是不同的,而不同的運(yùn)動(dòng)類(lèi)型,對(duì)應(yīng)有不同的搜索范圍。對(duì)于靜止和運(yùn)動(dòng)一致的區(qū)域,其搜索范圍較小,而運(yùn)動(dòng)越劇烈的區(qū)域,其搜索范圍就越大。如果能實(shí)現(xiàn)編碼塊搜索范圍的動(dòng)態(tài)調(diào)整,減少某些編碼塊的搜索區(qū)域,就能降低平均編碼時(shí)間。針對(duì)1.2節(jié)中4種運(yùn)動(dòng)類(lèi)型的編碼宏塊,確定了最大搜索范圍如表4所示。
表4 不同運(yùn)動(dòng)類(lèi)型對(duì)應(yīng)的搜索范圍
采用全遍歷方式,對(duì)表1中的視頻序列進(jìn)行編碼,統(tǒng)計(jì)出編碼宏塊4種運(yùn)動(dòng)類(lèi)型的搜索范圍,并計(jì)算出這些搜索范圍在SRproposal內(nèi)的概率,統(tǒng)計(jì)結(jié)果如表5所示。測(cè)試時(shí)的實(shí)驗(yàn)參數(shù)設(shè)置為:SR為96,編碼圖像組(group of pictures,GOP)為12,采用基于上下文自適應(yīng)二進(jìn)制算術(shù)編碼(context-based adaptive binary arithmetic coding,CABAC)。從表5可以看出,運(yùn)動(dòng)一致、簡(jiǎn)單運(yùn)動(dòng)和中度運(yùn)動(dòng)的區(qū)域搜索范圍在SRproposal內(nèi)的概率分別達(dá)到了94.8%,98.5%和97.2%,說(shuō)明利用宏塊的運(yùn)動(dòng)類(lèi)型對(duì)運(yùn)動(dòng)搜索范圍進(jìn)行動(dòng)態(tài)調(diào)整的方法是可行的。
表5 遍歷方式下運(yùn)動(dòng)類(lèi)型在最大搜索范圍內(nèi)的概率
1.4 模式尺寸的選擇
在多視點(diǎn)視頻編碼中,不同尺寸大小的模式適應(yīng)于不同的運(yùn)動(dòng)類(lèi)型。對(duì)于靜止和運(yùn)動(dòng)一致的區(qū)域,大尺寸編碼模式更有效,而對(duì)于運(yùn)動(dòng)較強(qiáng)或劇烈的區(qū)域,小尺寸塊編碼模式效果最佳。如果能根據(jù)運(yùn)動(dòng)類(lèi)型提前選擇出最適合的尺寸模式,從而可以減少編碼時(shí)間。表6是在量化步長(zhǎng)QP=28的情況下,采用全遍歷方法,對(duì)表1中的測(cè)試序列進(jìn)行編碼,統(tǒng)計(jì)出了不同運(yùn)動(dòng)類(lèi)型選擇的最佳模式的概率分布。
對(duì)運(yùn)動(dòng)一致情況的區(qū)域,選擇16×16模式的概率為96%,選擇其他模式的概率為4%,因此,對(duì)這種運(yùn)動(dòng)類(lèi)型,可直接選16×16模式為最佳模式;對(duì)于簡(jiǎn)單運(yùn)動(dòng)類(lèi)型的區(qū)域,16×16模式被選擇的概率是85.2%,16×8和8×16模式被選擇的概率分別為5.2%和5.4%,而P8×8模式和Intra模式被選擇的概率僅為3.3%和1.0%,因此,可忽略P8×8模式和Intra模式。而對(duì)于中度運(yùn)動(dòng)和復(fù)雜運(yùn)動(dòng)區(qū)域,為了得到較高的壓縮比,采用遍歷方式選擇最佳模式。表7總結(jié)出了不同運(yùn)動(dòng)類(lèi)型區(qū)域需要進(jìn)行遍歷的模式。
1.5 算法流程
通過(guò)前面對(duì)多視點(diǎn)視頻快速編碼算法原理的分析,本文快速算法流程如圖2所示。
表7 運(yùn)動(dòng)類(lèi)型及相應(yīng)的模式
文獻(xiàn)[11]對(duì)多視點(diǎn)視頻編碼進(jìn)行快速模式?jīng)Q策時(shí),將編碼宏塊的運(yùn)動(dòng)類(lèi)型分為運(yùn)動(dòng)和背景2種。如果編碼宏塊的運(yùn)動(dòng)矢量超過(guò)1/4個(gè)整數(shù)像素值,判定為運(yùn)動(dòng)類(lèi)型,然后遍歷所有大小尺寸模式;如果判斷為背景類(lèi)型,則只遍歷SKIP,16×16,16×8和8×16這4種預(yù)測(cè)模式。由于文獻(xiàn)[11]與本文算法具有一定的相似性,所以用于本文算法性能指標(biāo)的對(duì)比。在JMVM測(cè)試模型中,對(duì)本文算法和文獻(xiàn)[11]算法都進(jìn)行了實(shí)現(xiàn),并分別與JMVM全遍歷模式算法的性能指標(biāo)進(jìn)行了比較。選擇表1的視頻序列做為測(cè)試對(duì)象,測(cè)試用的計(jì)算機(jī)配置為2.59 GHz的Intel(R) Celeron(R)雙核處理器和1.96 GByte內(nèi)存,JMVM測(cè)試模型的實(shí)驗(yàn)參數(shù)設(shè)置如表8所示。
表8 實(shí)驗(yàn)參數(shù)設(shè)置
本文算法、文獻(xiàn)[11]算法與JMVM算法性能指標(biāo)的對(duì)比如表9所示。
表9中,ΔB為平均比特率變化量,ΔPSNR為平均峰值信噪比(peak signal to noise ratio,PSNR)變化量,ΔT是平均時(shí)間變化量,其中,“+”表示增加的量,“-”為減少的量。
表9 本文算法、文獻(xiàn)[11]算法與JMVM算法性能指標(biāo)對(duì)比
通過(guò)本文算法與JMVM遍歷模式,文獻(xiàn)[11]算法與JMVM遍歷模式的性能數(shù)據(jù)的對(duì)比,本文算法的ΔB和ΔPSNR性能指標(biāo)均要好于文獻(xiàn)[11]算法,文獻(xiàn)[11]算法的ΔB平均增加1.62%,而本文算法僅增加0.73%,文獻(xiàn)[11]算法的ΔPSNR平均減少0.056 dB,而文本算法平均減小0.043 dB。本文算法的編碼時(shí)間與JMVM遍歷模式相比,則大幅度降低,也明顯優(yōu)于文獻(xiàn)[11]算法。無(wú)論是背景靜止、運(yùn)動(dòng)簡(jiǎn)單的序列還是運(yùn)動(dòng)劇烈的序列,本文算法在降低編碼時(shí)間上均具有良好的性能。對(duì)于靜態(tài)背景、運(yùn)動(dòng)輕微的Exit序列,本文算法能減少72.1%編碼時(shí)間。對(duì)于Akko&Kayo,Ballroom,Breakdancers和Uli這些運(yùn)動(dòng)比較劇烈的序列,編碼時(shí)間也能分別減少65.9%,66.3%,61.7%和67.1%。對(duì)于相機(jī)移動(dòng)和大片區(qū)域中有劇烈運(yùn)動(dòng)的Race1序列,采用本文算法,編碼時(shí)間可減少64%。而文獻(xiàn)[11]算法與遍歷模式相比,僅減少了18%的編碼時(shí)間。
圖3是采用本文算法和JMVM遍歷模式,Uli和Akko&Kayo 2組測(cè)試序列的率失真曲線(xiàn),從曲線(xiàn)波形上看,本文算法與JMVM遍歷方法率失真性能基本一致。
圖3 本文算法與JMVM遍歷模式率失真曲線(xiàn)對(duì)比圖Fig.3 Contrast diagram of the rate distortion curve of proposed algorithm and JMVM ergodic model
本文算法充分利用了3D相鄰區(qū)域和當(dāng)前塊的相關(guān)性,減少了多視點(diǎn)視頻編碼的復(fù)雜度。通過(guò)視點(diǎn)間宏塊率失真代價(jià)分布的相關(guān)性,對(duì)當(dāng)前宏塊做SKIP模式自適應(yīng)提前判決;根據(jù)3D相鄰區(qū)域的運(yùn)動(dòng)矢量差值對(duì)當(dāng)前宏塊運(yùn)動(dòng)類(lèi)型進(jìn)行快速分類(lèi);針對(duì)不同的運(yùn)動(dòng)類(lèi)型選擇相應(yīng)的搜索范圍和相應(yīng)尺寸大小的編碼模式。通過(guò)實(shí)驗(yàn)測(cè)試表明,本文算法與JMVM遍歷模式相比,在只增加0.73%比特率,降低0.043 dB峰值信噪比的情況下,能平均減少66%的編碼時(shí)間。與文獻(xiàn)[11]相比,也能平均減少20%的編碼時(shí)間。因此,本文的快速算法可應(yīng)用于多視點(diǎn)視頻編碼中。
[1] VETRO A,TOURAPIS A M,MULLER K,et al.3D-TV content storage and transmission[J].Broadcasting,IEEE Transactions on,2011,57(2):384-394.
[2] VETRO A,WIEGAND T,SULLIVAN G J.Overview of the stereo and multiview video coding extensions of the H.264/MPEG-4 AVC standard[J].Proceedings of the IEEE,2011,99(4):626-642.
[3] ZENG H,CAI C,MA K K.Fast mode decision for H.264/AVC based on macroblock motion activity[J].Circuits and Systems for Video Technology,IEEE Transactions on,2009,19(4):491-499.
[4] ZHU W,JIANG W,CHEN Y.A fast inter mode decision for multiview video coding[C]//IEEE.Information Engineering and Computer Science,ICIECS 2009,International Conference on.New York:IEEE Press,2009:1-4.
[5] SHEN L,LIU Z,YAN T,et al.Early SKIP mode decision for MVC using inter-view correlation[J].Signal Processing:Image Communication,2010,25(2):88-93.
[6] SHEN L,LIU Z,LIU S,et al.Selective disparity estimation and variable size motion estimation based on motion homogeneity for multi-view coding[J].Broadcasting,IEEE Transactions on,2009,55(4):761-766.
[7] ZHU W,TIAN X,ZHOU F,et al.Fast inter mode decision based on textural segmentation and correlations for multiview video coding[J].Consumer Electronics,IEEE Transactions on,2010,56(3):1696-1704.
[8] LI X,ZHAO D,JI X,et al.A fast inter frame prediction algorithm for multi-view video coding[C]//IEEE.Image Processing,ICIP 2007,IEEE International Conference on. New York:IEEE Press,2007,3:III-417-III-420.
[9] ZENG H,MA K K,CAI C.Motion activity-based block size decision for multi-view video coding[C]∥IEEE.Picture Coding Symposium(PCS).New York:IEEE Press,2010:166-169.[10] 汪博涵,陳婧,曾煥強(qiáng),等.采用率失真與模式特征的多視點(diǎn)視頻編碼快速模式選擇[J].信號(hào)處理,2015,31(12):1642-1648. WANG Bohan,CHEN Jing,ZENG Huanqiang,et al.Fast Mode Decision for Multiview Video Coding using Rate-distortion and Mode Characteristic[J].Journal of Signal Processing,2015,31(12):1642-1648.
[11] HAN D H,LEE Y L.Fast mode decision using global disparity vector for multi-view video coding[C]//IEEE.Future Generation Communication and Networking Symposia,2008.FGCNS'08,Second International Conference on. New York:IEEE Press,2008:209-213.
明 艷(1967-),女,湖南長(zhǎng)沙市人,高級(jí)工程師,主要研究方向?yàn)閿?shù)字通信技術(shù)。E-mail:mingyan@cqupt.edu.cn。
(編輯:王敏琦)
Fast multi view video coding algorithm based on the relativity of 3D adjacent areas macroblock
MING Yan
(Chongqing Key Laboratory of Signal and Information Processing, Chongqing University of Posts and Telecommunications,Chongqing 400065, P.R. China)
Aimed at the high complexity of multi view video coding, a fast algorithm based on the correlation of adjacent macro-block’s coding information is proposed in this paper. Using the relativity of adjacent macro-block’s rate distortion cost distribution in inter views of multi view video, current macro-block’s SKIP mode can be prejudge. According to the motion vector difference in the adjoining domains from visual, temporal and spatial perspective, current macro-block’s motion activity can be classified quickly. Search range is adjusted and suitable mode size is chosen in accordance with the different motion activity. Through coding performance testing on multi view video sequences that has respective motion activity characteristics, the simulation results show that this algorithm achieves a reduction of the encoding time by 66% on average, while incurring only 0.04 dB loss in peak signal-to-noise ratio and 0.75% increment on the total bit rate compare with JMVM ergodic model
multi view video coding;fast algorithm;relativity;performance testing
2016-03-15
2016-10-10
明 艷 mingyan@cqupt.edu.cn
國(guó)家自然科學(xué)基金(61102131);重慶市教委科技項(xiàng)目(KJ1400425)
Foundation Items:The National Natural Science Foundation of China(61102131);The Science & Technology Research Project of Chongqing Education Committee of China(KJ1400425)
10.3979/j.issn.1673-825X.2016.06.006
TP919.81;TP39
A
1673-825X(2016)06-0783-06