基于時空域相關(guān)性的屏幕內(nèi)容幀間快速編碼算法

胡晴晴，彭宗舉，陳 芬

(寧波大學(xué) 信息科學(xué)與工程學(xué)院，浙江 寧波 315211)(*通信作者電子郵箱pengzongju@nbu.edu.cn)

基于時空域相關(guān)性的屏幕內(nèi)容幀間快速編碼算法

胡晴晴，彭宗舉*，陳 芬

(寧波大學(xué) 信息科學(xué)與工程學(xué)院，浙江 寧波 315211)(*通信作者電子郵箱pengzongju@nbu.edu.cn)

針對屏幕內(nèi)容視頻幀間編碼的高復(fù)雜度問題，提出了一種基于時空域特性的幀間快速編碼算法。首先，根據(jù)運(yùn)動靜止檢測算法將待編碼幀分為靜止幀和運(yùn)動幀；然后，對運(yùn)動和靜止幀分別采用不同的編碼策略。對于靜止幀，在統(tǒng)計分析時域?qū)?yīng)編碼單元(CU)分割深度和預(yù)測模式的基礎(chǔ)上，確定CU最佳分割深度和最優(yōu)預(yù)測模式。對于運(yùn)動幀中的靜止最大編碼單元(LCU)，利用時域相關(guān)特性提前終止CU分割，模式選取則只針對大尺寸模式進(jìn)行預(yù)測；對于運(yùn)動幀中的運(yùn)動LCU，根據(jù)其相鄰LCU的運(yùn)動靜止特性確定CU分割深度以及預(yù)測模式。實(shí)驗(yàn)結(jié)果表明，所提算法相比原始編碼平臺，在BDBR平均上升3.65%的情況下，編碼時間平均節(jié)省46.40%。所提算法在率失真性能損失可接受的前提下，有效地降低了屏幕內(nèi)容視頻幀間編碼復(fù)雜度，有利于屏幕內(nèi)容視頻的實(shí)時應(yīng)用。

屏幕內(nèi)容視頻；幀間快速算法；時空域相關(guān)性；運(yùn)動靜止特性；編碼單元分割深度；預(yù)測模式

隨著高清和超高清視頻應(yīng)用的日益增加，高效視頻編碼(High Efficiency Video Coding, HEVC)標(biāo)準(zhǔn)[1]應(yīng)運(yùn)而生，它是繼H.264/AVC(Advanced Video Coding)[2]之后的新一代視頻編碼標(biāo)準(zhǔn)。隨著移動設(shè)備終端以及云技術(shù)的發(fā)展，諸如遠(yuǎn)程桌面、遠(yuǎn)程教育、在線游戲、電話會議等屏幕視頻的應(yīng)用變得越來越廣泛。2014年初視頻編碼聯(lián)合小組在HEVC的基礎(chǔ)上提出了屏幕內(nèi)容編碼(Screen Content Coding, SCC)的擴(kuò)展標(biāo)準(zhǔn)，并開發(fā)了SCC測試模型(SCC Test Model, SCM)[3]。

HEVC采用基于編碼樹單元(Coding Tree Unit, CTU)的分層四叉樹結(jié)構(gòu)，用編碼單元(Coding Unit, CU)、預(yù)測單元 (Prediction Unit, PU)和變換單元(Transform Unit, TU)來描述整個編碼過程。HEVC幀內(nèi)編碼過程采用了基于四叉樹的編碼技術(shù)和35種幀內(nèi)預(yù)測模式；在幀間編碼中采用可變PU的高精度運(yùn)動補(bǔ)償技術(shù)、自適應(yīng)運(yùn)動矢量預(yù)測技術(shù)以及運(yùn)動融合技術(shù)。SCC是HEVC的擴(kuò)展，不僅繼承了HEVC的編碼技術(shù)，而且增加了新的編碼技術(shù)：幀內(nèi)塊拷貝(Intra-Block Copy ,IBC)、調(diào)色板模式(Palette Mode, PLT)、自適應(yīng)顏色變換和自適應(yīng)運(yùn)動矢量分辨率編碼新技術(shù)[4-8]。由于HEVC編碼標(biāo)準(zhǔn)的復(fù)雜性以及SCC編碼標(biāo)準(zhǔn)增加新技術(shù)帶來的復(fù)雜度，不利于視頻的實(shí)時應(yīng)用。

目前有很多學(xué)者從不同的角度提出了多種屏幕內(nèi)容視頻快速編碼算法。Lei等[9]通過分析視頻序列的內(nèi)容屬性，將視頻分為自然內(nèi)容CU和屏幕內(nèi)容CU：對自然內(nèi)容CU，如果其最佳預(yù)測模式為DC或Planar模式，則跳過其他模式并終止CU分割；對于屏幕內(nèi)容CU，引入基于秩的策略終止CU劃分。Zhang等[10]首先利用CU的時域相關(guān)性，確定CU的分割深度，然后采用自適應(yīng)搜索加速IBC的快匹配過程。Zhang等[11]提出了一種基于熵編碼和編碼比特位的快速最大編碼單元(Largest CU, LCU)分割模式。Kwon等[12]針對SCM平臺IBC技術(shù)過于復(fù)雜的問題，提出了基于幀內(nèi)率失真代價和CU復(fù)雜度的快速跳過模式。Duanmu等[13]用機(jī)器學(xué)習(xí)的方法根據(jù)CU的特點(diǎn)進(jìn)行分類以確定當(dāng)前CU是否需要劃分，并對CU劃分的結(jié)果進(jìn)行PU選擇。Zhang等[14]首先利用CU之間的時域相關(guān)性對CU的深度預(yù)測進(jìn)行快速選擇，然后采取自適應(yīng)搜索的方法降低IBC的復(fù)雜度。Kawakami等[15]利用屏幕內(nèi)容序列具有銳利邊緣的特點(diǎn)，提出了基于銳利邊緣分類和基于邊緣方向性分類的算法，根據(jù)邊緣方向性的強(qiáng)弱區(qū)分CU的分割深度，根據(jù)邊緣方向性確定PU模式。Laude等[16]針對屏幕內(nèi)容序列含有大量靜止塊的特點(diǎn)，利用時間相關(guān)性，對于靜止區(qū)域當(dāng)前LCU的信息可以從參考幀中的同位塊直接拷貝。陳先義等[17]針對屏幕內(nèi)容包含大量非連續(xù)色調(diào)內(nèi)容的特點(diǎn)，提出了一種新的幀內(nèi)編碼模式：幀內(nèi)串匹配，基本思想是在CU編碼層引入字典編碼工具，利用散列表對CU內(nèi)的像素進(jìn)行串搜索和匹配。

以上算法主要是考慮幀內(nèi)CU遞歸分割和模式選擇的復(fù)雜度，對視頻序列的時空域考慮較少，尤其是時域相關(guān)性以及運(yùn)動特性。目前對SCC幀間編碼的研究較少，幀間編碼與幀內(nèi)編碼的復(fù)雜性不同?；诖耍疚奶岢隽嘶跁r空域特性的屏幕內(nèi)容視頻幀間快速算法。首先，根據(jù)視頻的運(yùn)動特性將視頻分為靜止幀和運(yùn)動幀；然后對不同的幀類型根據(jù)CU分割深度和最優(yōu)預(yù)測模式統(tǒng)計特性以及時空域相關(guān)性采用不同的編碼方案進(jìn)行快速CU分割和PU模式的選取。

1 復(fù)雜度分析

HEVC采用遞歸方式對LCU進(jìn)行四叉樹結(jié)構(gòu)的劃分，在一個LCU內(nèi)遞歸遍歷0～3深度的CU，根據(jù)率失真優(yōu)化模型選擇最佳的CU分割尺寸。在確定最優(yōu)CU劃分深度的過程中，需要進(jìn)行85次遞歸過程，這使得編碼復(fù)雜度大大增加。預(yù)測編碼過程中，不同尺寸的CU可以繼續(xù)劃分成不同大小PU。針對每個PU塊，HEVC需要遍歷Skip、Merge和2種幀內(nèi)模式以及8種幀間模式，其中interN×N和intraN×N只有當(dāng)前CU深度值為3時才可用。HEVC-SCC的預(yù)測過程還增加了IBC和PLT模式，其中當(dāng)CU尺寸為64×64時，PLT模式不存在，如圖1所示。

圖1 PU模式

HEVC-SCC編碼新技術(shù)的加入降低了碼率，但同時也引入了更大的編碼復(fù)雜度。為了更清楚地了解編碼新技術(shù)的加入對編碼性能的影響，本文分別在全幀內(nèi)、低延時和隨機(jī)訪問配置下測試了Map、CADWaveform、WordEditing和PCBLayout共4個屏幕內(nèi)容標(biāo)準(zhǔn)測試序列的編碼情況。圖2中BDBR(Bj?ntegaard Delta Bit Rate)[18]表示相同圖像質(zhì)量條件下碼率的變化百分比，Δt表示編碼時間的改變，其計算公式為:

Δt=tSCC/tno-SCC

(1)

其中:tSCC表為增加SCC新編碼技術(shù)所用的編碼時間，tno-SCC表示未增加新技術(shù)所用的編碼時間。

圖2 不同編碼配置下編碼新技術(shù)引起的編碼性能變化

由圖2可以看出，在不同的配置下碼率均是下降的，而編碼時間是上升的。全幀內(nèi)編碼時，編碼時間平均上升321.73%，碼率平均下降62.74%；低延時編碼時，編碼時間平均上升113.49%，碼率平均下降53.88%；隨機(jī)訪問編碼時，編碼時間平均上升121.17%，碼率平均下降59.74%。

2 HEVC-SCC幀間快速編碼算法

HEVC-SCC中，每個CU深度級和模式?jīng)Q策過程都需要計算率失真代價，這使得計算復(fù)雜度非常高。如果跳過不必要的深度級和預(yù)測模式的率失真代價計算，則可以有效地降低編碼復(fù)雜度。

2.1 運(yùn)動靜止檢測

與HEVC標(biāo)準(zhǔn)測試序列相比，HEVC-SCC的標(biāo)準(zhǔn)測試序列時域相關(guān)性較強(qiáng)。在幀間編碼過程中，運(yùn)動和靜止區(qū)域的編碼特性不同，因此本文重點(diǎn)探索了運(yùn)動靜止區(qū)域的編碼特性，根據(jù)編碼特性的不同決定LCU分割深度和預(yù)測模式的最優(yōu)選擇。

本文采用前向幀差確定運(yùn)動靜止幀。具體步驟如下：

1)獲取當(dāng)前幀和前向參考幀的像素值；

2)計算當(dāng)前幀與前向參考幀的像素差diff[i]；

3)計算diff[i]不為0的像素占整幀的比例p；

若p

在運(yùn)動幀中仍然存在運(yùn)動靜止塊的區(qū)別，采用大津閾值方法判定不同幀中的運(yùn)動靜止塊。首先根據(jù)像素得到幀差圖，利用大津閾值法將幀差圖進(jìn)行二值化，然后根據(jù)得到的二值化幀差圖判定運(yùn)動靜止塊。若當(dāng)前LCU中無運(yùn)動像素，則判定其為靜止LCU，否則為運(yùn)動LCU。

2.2 靜止幀快速算法

2.2.1 CU劃分深度的確定

對于同一個視頻序列，靜止幀與其對應(yīng)參考幀的內(nèi)容差異往往較小，從而其對應(yīng)的CU分割深度范圍具有很強(qiáng)的相似性。因此，可以根據(jù)時域相關(guān)性利用參考幀的最佳編碼深度確定當(dāng)前LCU的編碼深度。

對Map、CADWaveform、WordEditing 3個序列的前35幀進(jìn)行統(tǒng)計分析。表1給出了當(dāng)前幀的深度范圍與參考幀深度范圍的統(tǒng)計結(jié)果，其中參考幀深度表示參考幀的最小、最大分割深度，靜止幀深度表示當(dāng)前幀的最小、最大分割深度。通過統(tǒng)計結(jié)果可以看出時域參考幀最佳分割深度為0且當(dāng)前幀的最佳分割深度也為0的比例為96.00%，說明靜止幀與其時域參考幀都是靜止區(qū)域的LCU占了整幀圖像的96.00%；當(dāng)前幀與時域參考幀相比為靜止區(qū)域的LCU占整幀圖像的99.76%，最佳編碼深度為0。由以上分析可以得出，靜止幀的編碼深度可以設(shè)置為0。

表1 靜止幀與參考幀深度范圍統(tǒng)計

2.2.2 模式快速選取

靜止幀往往采用大尺寸LCU進(jìn)行編碼，也通常采用大尺寸模式作為最佳分割模式。首先對原始編碼平臺進(jìn)行統(tǒng)計分析，如表2所示，可以看出靜止幀中Skip/Merge模式所占比例均在90.00%以上，Skip/Merge、Intra、IBC和PLT模式所占比例為99.00%以上，因此基于統(tǒng)計信息可以對靜止幀模式選取采取以下策略：若當(dāng)前幀判定為靜止幀，則只遍歷Skip/Merge、Intra、IBC和PLT模式，其中Skip和Merge模式包括幀間和IBC模式。

表2 靜止幀預(yù)測模式分布

2.3 運(yùn)動幀快速算法

2.3.1 靜止LCU快速算法

由于絕對靜止塊與其參考塊的圖像信息是完全相同的，則其分割深度與參考塊的分割深度應(yīng)該是相似的。靜止LCU的最佳分割深度由式(2)確定：

(2)

為了驗(yàn)證該部分算法的準(zhǔn)確性，表3統(tǒng)計了不同量化參數(shù)(Quantization Parameter, QP)下的準(zhǔn)確率。由表3可以看出，靜止LCU的深度分割快速算法的平均準(zhǔn)確率可以達(dá)到99.39%，提前終止靜止LCU的分割不會造成太大的率失真性能損失。

靜止塊往往采用大尺寸模式作為最佳分割模式，由表4可知，對于靜止塊采用Skip/Merge和IIP(Inter_2N×2N、IBC_2N×2N、PLT_2N×2N)作為最佳分割模式的平均比例占到了99.86%，因此可以跳過其他模式的運(yùn)動估計過程。

表3 靜止CU深度預(yù)測準(zhǔn)確率

表4 靜止塊最優(yōu)預(yù)測模式統(tǒng)計

2.3.2 運(yùn)動LCU快速算法

運(yùn)動塊的CU分割深度往往較大，并且與時空域相鄰LCU的分割深度有較強(qiáng)的關(guān)聯(lián)性。若其相鄰LCU均為靜止塊則關(guān)聯(lián)性幾乎為0，因此利用時空域相關(guān)性對當(dāng)前LCU進(jìn)行分割深度預(yù)測時首先要考慮其相鄰LCU的運(yùn)動特性。本文采用5個同位和相鄰LCU對當(dāng)前LCU進(jìn)行預(yù)測，分別為參考幀同位LCU、當(dāng)前幀左側(cè)LCU、左上LCU、上方LCU和右上LCU。具體預(yù)測過程如下：

1)首先確定其相鄰LCU的運(yùn)動靜止標(biāo)志位FlagMove；

(3)

2)計算相鄰LCU標(biāo)志位的和SUMFlag；

(4)

3)利用SUMFlag對當(dāng)前LCU進(jìn)行深度預(yù)測。

(5)

其中，Depthmin和Depthmax分別為相鄰LCU的最小和最大分割深度。

由于視頻圖像中存在著很強(qiáng)的時空域相關(guān)性，因此圖像中相鄰CU的最佳預(yù)測模式之間存在著很強(qiáng)的時空域相關(guān)性。根據(jù)這一特性，在運(yùn)動LCU模式選擇時，可以利用其時空域相鄰CU最佳預(yù)測模式來預(yù)測當(dāng)前CU的最佳預(yù)測模式。由于運(yùn)動LCU中仍然可能存在小尺寸的靜止CU，其預(yù)測模式可能為Skip、Merge、IIP，因此要將Skip、Merge模式作為預(yù)測的候選模式。具體方案為：針對運(yùn)動LCU，首先將Skip、Merge、IIP模式加入當(dāng)前LCU的候選模式列表，若其時空域相鄰的5個LCU中的各CU的最佳預(yù)測模式為P，則將P加入候選模式列表，完成當(dāng)前LCU的模式預(yù)測過程。經(jīng)過實(shí)驗(yàn)驗(yàn)證發(fā)現(xiàn)，在小尺寸CU的預(yù)測過程中，由于其時空域相鄰LCU并不一定為運(yùn)動劇烈LCU，這種預(yù)測方案會造成較大的率失真性能損失，因此運(yùn)動LCU中模式選取快速算法只針對分割深度為0和1的CU。

3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文所提出的HEVC-SCC幀間快速編碼算法的有效性，將其在SCM參考軟件SCM-5.2上進(jìn)行實(shí)現(xiàn)以測試其率失真性能和編碼時間。實(shí)驗(yàn)平臺的硬件配置為Intel Core i5- 4590 CPU 3.3 GHz，內(nèi)存為8.0 GHz，操作系統(tǒng)為Windows 7 64位。實(shí)驗(yàn)的主要編碼參數(shù)為低延時編碼模式，編碼幀數(shù)為100幀，QP分別為22、27、32和37，GOP(Group of Pictures)大小為4。為了衡量算法的編碼性能，本文采用BDBR和ΔT來衡量算法的編碼復(fù)雜度降低，其計算公式為：

ΔT=((Treference-Tproposed)/Treference)×100%

(6)

其中：Treference以及Tproposed分別表示SCM原始算法(Anchor SCM-5.2)和提出算法的編碼時間。

本文采用通用測試條件[19]中的11個測試序列進(jìn)行實(shí)驗(yàn)驗(yàn)證。實(shí)驗(yàn)結(jié)果表明，本文算法與標(biāo)準(zhǔn)算法相比，編碼時間平均降低46.40%，BDBR平均上升3.65%。

由表5實(shí)驗(yàn)結(jié)果可以看出，本文所提算法對不同序列均可以降低編碼復(fù)雜度。用原始平臺進(jìn)行編碼，每個LCU都需要遍歷0～3深度的預(yù)測模式，而使用本文所提算法可以根據(jù)編碼幀以及編碼LCU類型的不同，提前終止CU的分割以及實(shí)現(xiàn)模式的快速選取，從而節(jié)省編碼時間。

表5 算法實(shí)驗(yàn)結(jié)果

但是對不同的測試序列編碼復(fù)雜度的降低情況是不同的。對Kimono1和VenueVu序列節(jié)省的時間可以達(dá)到70%左右，這是由于這兩個序列本身變化雖緩慢，但受光照因素以及復(fù)雜背景的影響，原始平臺編碼時Skip模式相對較少，而采用本文所提快速算法，可以跳過某些深度及模式的預(yù)測過程，大大降低編碼復(fù)雜度。對Ppt_doc_xls、CADWaveform等序列因?yàn)槠浔旧泶嬖诖罅康淖址?、線條等且變化緩慢，編碼Skip模式的占很大比例，而原始平臺在模式選取時有Skip模式的提前終止，因此本文所提算法對這類序列的編碼復(fù)雜度降低較少。

為了進(jìn)一步驗(yàn)證不同幀的編碼策略對編碼性能的影響，對Map、CADWaveform、WordEditing 3個測試序列的前35幀進(jìn)行統(tǒng)計。其中，Map序列的第2、3、6、8、9、11、32、33、34幀，CADWaveform序列的第32、33、34幀，WordEditing序列的第3、7、9、10、12、19、22、23、24、26、27幀為靜止幀，所占比例為21.90%；運(yùn)動幀中，靜止LCU的比例為49.02%，運(yùn)動LCU的比例為50.98%。表6分別測試了靜止幀和運(yùn)動幀編碼策略對編碼性能的影響。從表6可以看出，運(yùn)動幀快速算法對編碼時間的節(jié)省更加明顯。

表6 不同編碼策略對編碼性能的影響

4 結(jié)語

本文提出了一種基于時空域相關(guān)性的屏幕內(nèi)容視頻幀間快速算法，該算法通過運(yùn)動靜止檢測將編碼幀分為運(yùn)動幀和靜止幀，針對不同的幀類型采用不同的快速算法。在靜止幀中，充分利用統(tǒng)計特性及時域相關(guān)性來確定CU分割深度和最優(yōu)預(yù)測模式。在運(yùn)動幀中，將待編碼LCU分為靜止LCU和運(yùn)動LCU，靜止LCU利用時域統(tǒng)計特性提前終止CU分割和確定預(yù)測模式；運(yùn)動LCU利用時空域相關(guān)性確定CU最佳分割深度。實(shí)驗(yàn)結(jié)果表明，本文提出的算法相比原始SCM平臺，在BDBR平均上升3.65%的情況下，編碼時間平均節(jié)省46.40%，有利于屏幕內(nèi)容視頻的實(shí)際應(yīng)用。

References)

[1] WIEGAND T, OHM J R, SULLIVAN G J, et al. Special section on the joint call for proposals on High Efficiency Video Coding (HEVC) standardization [J]. IEEE Transactions on Circuits and Systems for Video Technology, 2010, 20(12): 1661-1666.

[2] WIEGAND T, SULLIVAN G J, BJONTEGAARD G, et al. Overview of the H.264/AVC video coding standard [J]. IEEE Transactions on Circuits and Systems for Video Technology, 2003, 13(7): 560-576.

[3] JOSHI R, XU J, COHEN R, et al. Screen content coding test model 3 encoder description (SCM 3) [R]. Strasbourg, France: The Joint Collaborative Team on Video Coding, 2014.

[4] CHEN C C, XU X, LIAO R L, et al. Screen content coding using non-square intra block copy for HEVC [C]// Proceedings of the 2014 IEEE International Conference on Multimedia and Expo. Washington, DC: IEEE Computer Society, 2014: 1-6.

[5] XU J, JOSHI R, COHEN R A. Overview of the emerging HEVC screen content coding extension [J]. IEEE Transactions on Circuits and Systems for Video Technology, 2016, 26(1): 50-62.

[6] ZHANG K, AN J, ZHANG X, et al. Symmetric intra block copy in video coding [C]// Proceedings of the 2015 IEEE International Symposium on Circuits and Systems. Piscataway, NJ: IEEE, 2015: 521-524.

[7] CHANG T S, LIAO R L, CHEN C C, et al. RCE3: Results of subtest B.1 onN×2N/2N×Nintra block copy [R]. San Jose, USA: The Joint Collaborative Team on Video Coding, 2014.

[8] SUN Y C, CHUANG T D, LAI P L, et al. Palette mode—a new coding tool in screen content coding extensions of HEVC [C]// Proceedings of the 2015 IEEE International Conference on Image Processing. Piscataway, NJ: IEEE, 2015: 2409-2413.

[9] LEI J, LI D, PAN Z, et al. Fast intra prediction based on content property analysis for low complexity HEVC-based screen content coding [J]. IEEE Transactions on Broadcasting, 2017, 63(1): 48-58.

[10] ZHANG H, ZHOU Q, SHI N, et al. Fast intra mode decision and block matching for HEVC screen content compression [C]// Proceedings of the 2016 IEEE International Conference on Acoustics, Speech and Signal Processing. Piscataway, NJ: IEEE, 2016: 1377-1381.

[11] ZHANG M, GUO Y, BAI H. Fast intra partition algorithm for HEVC screen content coding [C]// Proceedings of the 2014 IEEE Visual Communications and Image Processing Conference. Piscataway, NJ: IEEE, 2014: 390-393.

[12] KWON D K, BUDAGAVI M. Fast intra block copy (IntraBC) search for HEVC screen content coding [C]// Proceedings of the 2014 IEEE International Symposium on Circuits and Systems. Piscataway, NJ: IEEE, 2014: 9-12.

[13] DUANMU F, MA Z, WANG Y. Fast CU partition decision using machine learning for screen content compression [C]// Proceedings of the 2015 IEEE International Conference on Image Processing. Piscataway, NJ: IEEE, 2015: 4972-4976.

[14] ZHANG H, ZHOU Q, SHI N, et al. Fast intra mode decision and block matching for HEVC screen content compression [C]// Proceedings of the 2016 IEEE International Conference on Acoustics, Speech and Signal Processing. Piscataway, NJ: IEEE, 2016: 1377-1381.

[15] KAWAKAMI Y, CHEN G, IKENAGA T. Content based mode and depth skipping with sharp and directional edges for intra prediction in screen content coding [C]// Proceedings of the 2016 IEEE International Colloquium on Signal Processing and Its Applications. Piscataway, NJ: IEEE, 2016: 46-49.

[16] LAUDE T, OSTERMANN J. Copy mode for static screen content coding with HEVC [C]// Proceedings of the 2015 IEEE International Conference on Image Processing. Piscataway, NJ: IEEE, 2015: 1930-1934.

[17] 陳先義,趙利平,林濤.一種新的用于屏幕圖像編碼的HEVC 幀內(nèi)模式[J].電子與信息學(xué)報,2015,37(11):2685-2690.(CHEN X Y, ZHAO L P, LIN T. A new HEVC intra mode for screen content coding [J]. Journal of Electronics and Information Technology, 2015, 37(11): 2685-2690.)

[18] BJONTEGAARD G. Calculation of average PSNR differences between RD-curves [EB/OL]. (2001- 05- 18) [2016- 09- 15]. http://wftp3.itu.int/av-arch/video-site/0104_Aus/.

[19] YU H, COHEN R, RAPAKA K, et al. Common test conditions for screen content coding [R]. Sapporo, Japan: The Joint Collaborative Team on Video Coding, 2014.

Fastinter-framecodingalgorithmforscreencontentbasedontemporal-spatialcorrelation

HU Qingqing, PENG Zongju*, CHEN Fen

(FacultyofInformationScienceandEngineering,NingboUniversity,NingboZhejiang315211,China)

Aiming at the high complexity problem of inter-frame coding for screen content video, a fast inter-frame algorithm based on temporal-spatial correlation was proposed. Firstly, the encoding frames were classified to static frames and motion frames according to motion-static detection algorithm. Then, different encoding strategies were used for motion and static frames, respectively. For the static frames, the optimal partition depth and the optimal prediction mode of Coding Unit (CU) were determined based on the CU partition depth and the prediction mode of the temporal correlation. For the static Largest CU (LCU) in the motion frames, the CU partition was terminated prematurely by using the temporal correlation, and the mode selection was only for the large size modes. Whereas for the motion LCU in motion frames, the motion-static characteristic of adjacent LCU was utilized to determine the current CU partition depth and prediction mode. The experimental results show that the proposed method can reduce the average coding time by 46.40% when BDBR is increased by 3.65% compared with the original coding platform. The proposed method can significantly reduce the complexity of screen content inter-frame encoding process in the premise of negligible BDBR (Bj?ntegaard Delta Bit Rate) performance loss. Therefore the proposed method is beneficial to the real-time application of screen content video.

screen content video; fast inter-frame algorithm; temporal-spatial correlation; motion-static characteristic; Coding Unit (CU) partition depth; prediction mode

2017- 03- 13;

2017- 04- 24。

浙江省自然科學(xué)基金資助項(xiàng)目(LY16F010002, LY15F010005, LY17F010005);寧波市自然科學(xué)基金資助項(xiàng)目(2015A610127, 2015A610124); 寧波大學(xué)科研基金(理)/學(xué)科項(xiàng)目(xkxl1502)。

胡晴晴(1991—)，女，山東棗莊人，碩士研究生，主要研究方向：視頻信號處理與編碼； 彭宗舉(1973—)，男，四川南充人，教授，博士，主要研究方向：視頻圖像壓縮、多媒體信號處理與通信、感知編碼； 陳芬(1973—)，女，四川鄰水人，副教授，博士，主要研究方向：圖像信號處理、三維視頻編碼。

1001- 9081(2017)09- 2643- 05

10.11772/j.issn.1001- 9081.2017.09.2643

TN919.81

A

This work is partially supported by the Natural Science Foundation of Zhejiang Province (LY16F010002, LY15F010005, LY17F010005), the Natural Science Foundation of Ningbo (2015A610127, 2015A610124), the Research Foundation (Science) or Subject Project of Ningbo University (xkxl1502).

HUQingqing, born in 1991, M.S. candidate. Her research interest include video signal processing and coding.

PENGZongju, born in 1973, Ph. D., professor. His research interests include video image compression, multimedia signal processing and communication research, perceptual coding.

CHENFen, born in 1973, Ph. D., associate professor. Her research interests include image signal processing, 3D video coding.