基于上下文立方匹配的雙向運(yùn)動(dòng)估計(jì)視頻幀率上轉(zhuǎn)換算法

李 然，郝培男，孫逢圓

(1. 信陽師范學(xué)院 計(jì)算機(jī)與信息技術(shù)學(xué)院， 河南 信陽 464000；2. 桂林電子科技大學(xué) 廣西無線寬帶通信與信號(hào)處理重點(diǎn)實(shí)驗(yàn)室， 廣西 桂林 541004)

0 引言

幀率上轉(zhuǎn)換(Frame Rate Up-Conversion，F(xiàn)RUC)是一種視頻后處理技術(shù)，其通過在相鄰幀插入中間幀的方式，提升視頻幀率，以改善視頻序列的視覺質(zhì)量[1]。FRUC作為視頻行業(yè)中重要的基礎(chǔ)技術(shù)之一，在軟硬件資源受限場(chǎng)合中得到了廣泛應(yīng)用。例如，低比特率視頻編碼為確保低傳輸速率，在編碼端以丟幀方式降低幀率，而在解碼端利用FRUC恢復(fù)原始幀率[2]；慢動(dòng)作回放利用FRUC推理出空白時(shí)隙中的物體動(dòng)作，在極短時(shí)隙內(nèi)展示更豐富的物體運(yùn)動(dòng)細(xì)節(jié)[3]；液晶顯示器通過FRUC減少運(yùn)動(dòng)模糊寬度，提升顯示畫面的清晰、流暢度[4]。在普及的低速成像設(shè)備中，如何發(fā)掘蘊(yùn)含在視頻序列中的潛在時(shí)空相關(guān)性，利用FRUC技術(shù)盡最大可能地輸出逼近真實(shí)的高幀率視頻，成為工業(yè)界與學(xué)術(shù)界的研究熱點(diǎn)[5-7]。

為了更好地復(fù)原物體運(yùn)動(dòng)細(xì)節(jié)，運(yùn)動(dòng)補(bǔ)償概念引入到FRUC，提出了運(yùn)動(dòng)補(bǔ)償FRUC(Motion Compensated FRUC，MC-FRUC)技術(shù)[8-9]，其可有效抑制運(yùn)動(dòng)模糊，因此，獲得了廣泛關(guān)注[10-11]。MC-FRUC算法主要由運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償插值(Motion Compensated Interpolation，MCI)組成[12-13]。運(yùn)動(dòng)估計(jì)用于計(jì)算相鄰幀間的運(yùn)動(dòng)向量場(chǎng)，而MCI根據(jù)運(yùn)動(dòng)估計(jì)輸出的運(yùn)動(dòng)向量場(chǎng)由相鄰幀內(nèi)插出中間幀，由此可知，運(yùn)動(dòng)估計(jì)對(duì)內(nèi)插精度有重要影響，因而，大量研究工作致力于改善運(yùn)動(dòng)估計(jì)準(zhǔn)確度。例如，BAO等[14]利用高階多項(xiàng)式對(duì)視頻像素的強(qiáng)度和位置進(jìn)行時(shí)間建模，并利用動(dòng)態(tài)濾波方法對(duì)所建模型進(jìn)行求解，獲取最優(yōu)的估計(jì)值。CHOI等[15]利用基于卷積神經(jīng)網(wǎng)絡(luò)的運(yùn)動(dòng)向量平滑技術(shù)處理運(yùn)動(dòng)向量，以提高內(nèi)插幀的質(zhì)量；ZHANG等[16]通過訓(xùn)練殘差網(wǎng)絡(luò)改善內(nèi)插幀質(zhì)量，其投入大量數(shù)據(jù)訓(xùn)練網(wǎng)絡(luò)，然后在傳統(tǒng)FRUC結(jié)果上利用所訓(xùn)練網(wǎng)絡(luò)處理內(nèi)插幀。這些算法有一定的增益，但其過程耗費(fèi)成本較高，在實(shí)際應(yīng)用中不便于實(shí)施。

塊匹配算法(Block Matching Algorithm，BMA)是運(yùn)動(dòng)估計(jì)的核心，根據(jù)BMA執(zhí)行方式，可將運(yùn)動(dòng)估計(jì)算法分為兩類：?jiǎn)蜗蜻\(yùn)動(dòng)估計(jì)(Unidirectional ME，UME)和雙向運(yùn)動(dòng)估計(jì)。UME的單向映射方式造成內(nèi)插幀中某些塊有多個(gè)運(yùn)動(dòng)向量穿過或無運(yùn)動(dòng)向量穿過，引起像素重疊或空洞問題。BME執(zhí)行快速高效，可避免UME存在的像素重疊、空洞問題，因此，BME被大多數(shù)MC-FRUC算法所采用[17]。在BME中，BMA采用雙向絕對(duì)誤差和(Sum of Bidirectional Absolute Differences，SBAD)作為匹配準(zhǔn)則，然而，受運(yùn)動(dòng)對(duì)稱性假設(shè)影響，內(nèi)插塊的真實(shí)運(yùn)動(dòng)向量并不總是具有最小SBAD值，尤其在遮擋、紋理區(qū)域，塊失配現(xiàn)象較嚴(yán)重。

為了推算真實(shí)運(yùn)動(dòng)向量，一些工作通過在BMA中添加特征項(xiàng)來改善BME準(zhǔn)確度，常見的特征項(xiàng)有邊緣[18]、梯度[19]、顯著性[20]等，而上述特征項(xiàng)無法突出內(nèi)插塊與周圍塊間的區(qū)別。ROMANO等[21]提出利用自相似描述子[22]表示各塊的上下文特征，其度量了各塊與其周圍塊間的相似性，并將自相似性變化作為各塊上下文特征拼接至其四周，構(gòu)造出上下文子塊(Context Patch，Con-Patch)。Con-Patch可緩解由運(yùn)動(dòng)對(duì)稱性假設(shè)失效帶來的塊失配，但是其僅表達(dá)出各塊的上下文關(guān)聯(lián)，而忽略了塊內(nèi)像素間的上下文信息，因此，Con-Patch提升內(nèi)插幀視覺質(zhì)量的潛能并未完全發(fā)揮。由此可知，在Con-Patch的工作基礎(chǔ)上，如何發(fā)掘上下文特征以充分描述塊內(nèi)各像素間上下文關(guān)聯(lián)有待進(jìn)一步解決。

針對(duì)Con-Patch存在的缺陷，本文提出上下文立方(Context Cube，Con-Cube)，以緊湊形式充分描述各塊內(nèi)所有像素的上下文特征，融入至BME中的BMA，以改善MC-FRUC內(nèi)插性能。本文工作的主要貢獻(xiàn)在于Con-Cube的構(gòu)造。首先，以塊內(nèi)像素為中心提取子塊，采用自相似性描述子生成子塊的相關(guān)平面；接著，計(jì)算相關(guān)平面的直方圖，將其作為當(dāng)前像素的上下文特征；最后，將塊內(nèi)所有像素的上下文特征與對(duì)應(yīng)像素連接，生成Con-Cube，將其融合至SBAD匹配準(zhǔn)則，可有效抑制塊失配。實(shí)驗(yàn)結(jié)果表明，所提出的基于Con-Cube的MC-FRUC算法可生成具有更好主客觀視覺質(zhì)量的內(nèi)插幀。

1 基于Con-Cube的MC-FRUC算法

Con-Patch充分描述了各塊間的上下文關(guān)聯(lián)信息，但未考慮塊內(nèi)像素間的上下文關(guān)聯(lián)信息，當(dāng)塊內(nèi)包含多種物體時(shí)，塊間上下文特征無法反映塊內(nèi)像素間的劇烈變化，而導(dǎo)致Con-Patch改善內(nèi)插幀質(zhì)量的潛能未能充分發(fā)揮。在Con-Patch的基礎(chǔ)上，本文以緊湊形式充分描述各塊內(nèi)所有像素的上下文特征，構(gòu)造出Con-Cube，并利用Con-Cube進(jìn)行雙向上下文特征匹配，確保高準(zhǔn)確度的BME，提升MC-FRUC內(nèi)插性能。

1.1 算法框架

1.2 Con-Cube提取

Con-Patch未表示塊內(nèi)像素的相互關(guān)聯(lián)，當(dāng)塊內(nèi)像素具有快變化的統(tǒng)計(jì)特性時(shí)，Con-Patch無法體現(xiàn)像素間的自相似性，造成塊的區(qū)分特征不突出，以致制約雙向塊匹配準(zhǔn)確度提升。針對(duì)上述不足，提出的Con-Cube逐一描述塊內(nèi)各像素的自相似性，具體提取流程如圖1所示。

圖1 Con-Cube提取流程Fig. 1 Illustration on the construction of Con-Cube

(1)

(2)

圖2 相關(guān)平面統(tǒng)計(jì)分布的可視化實(shí)例Fig. 2 Visualization of correlation surface and statistical distribution

1.3 雙向上下文匹配

下面介紹以Con-Cube為基本執(zhí)行單元的雙向上下文匹配，其執(zhí)行流程如圖3所示。

圖3 雙向上下文匹配執(zhí)行流程Fig. 3 Illustration on bidirectional context match

(3)

(4)

雙向上下文匹配兼顧像素差異和其相應(yīng)的上下文特征差異，以逐像素的上下文關(guān)聯(lián)度量顯著增強(qiáng)塊的區(qū)分特征，可有效抑制遮擋、局部相似區(qū)域易發(fā)的塊失配問題，從而改善MC-FRUC的內(nèi)插質(zhì)量。

2 結(jié)果與分析

2.1 參數(shù)設(shè)置

子塊尺寸p、尺度因子σ與間隔數(shù)bin是表征像素上下文特征的重要參數(shù)，而正則化因子β將決定上下文特征對(duì)雙向匹配誤差的影響力，因此，有必要討論其對(duì)內(nèi)插性能的影響。逐一更改上述參數(shù)取值，采用提出算法內(nèi)插所有測(cè)試視頻序列各幀，計(jì)算平均的峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)、結(jié)構(gòu)相似性(Structural SIMilarity, SSIM)及執(zhí)行時(shí)間，以衡量各參數(shù)取值對(duì)內(nèi)插性能的影響。圖4展示了子塊尺寸p對(duì)Con-Cube內(nèi)插性能的影響，其中p的取值范圍為[3, 9]，而σ、bin、β分別固定為10、10、4。

由圖4可知，隨著p的增加，PSNR、SSIM值下降，而執(zhí)行時(shí)間增長(zhǎng)，表明小子塊尺寸有利于提升內(nèi)插質(zhì)量，且可防止過多的計(jì)算量投入。圖5展示間隔數(shù)bin對(duì)Con-Cube內(nèi)插性能的影響，其中bin的取值范圍為[4, 12]，而p、σ、β分別固定為3、10、4。

圖4 子塊尺寸p對(duì)Con-Cube內(nèi)插性能的影響Fig. 4 Effects of the parameters p on the performance of Con-Cube

圖5 間隔數(shù)bin對(duì)Con-Cube內(nèi)插性能的影響Fig. 5 Effects of the parameters bin on the performance of Con-Cube

由圖5可知，間隔數(shù)bin與PSNR、SSIM值呈正相關(guān)性，表明取較大bin值有利于提升內(nèi)插質(zhì)量，然而，隨著bin增大，執(zhí)行時(shí)間迅速增長(zhǎng)，表明較大的bin值會(huì)增加計(jì)算負(fù)擔(dān)。間隔數(shù)bin越大，Con-Cube的元素增多，當(dāng)實(shí)施雙向匹配時(shí)，需要投入更大的運(yùn)算量。圖6展示尺度因子σ對(duì)Con-Cube內(nèi)插性能的影響，其中σ取值范圍為[4, 14]，而p、bin、β分別固定為3、10、4。

圖6 尺度因子σ對(duì)Con-Cube內(nèi)插性能的影響Fig. 6 Effects of the parameters σ on the performance of Con-Cube

由圖6可知，當(dāng)σ取10時(shí)，PSNR、SSIM值達(dá)到最大。尺度因子σ用于規(guī)范化相關(guān)平面的取值，它的取值大小不會(huì)影響提取Con-Cube的計(jì)算量，但會(huì)對(duì)相關(guān)平面取值的分布產(chǎn)生一定影響。圖7展示正則化因子β對(duì)Con-Cube內(nèi)插性能的影響，其中β的取值范圍為[1, 5]，而p、bin、σ分別固定為3、10、10。

由圖7可知，隨著β增加，PSNR、SSIM值逐漸提升，但當(dāng)β大于4時(shí)，增長(zhǎng)速率開始放緩，表明不易加大上下文特征對(duì)匹配誤差的貢獻(xiàn)，取適中的值較為恰當(dāng)。綜上，為了確保所提出的Con-Cube算法有良好的內(nèi)插性能，實(shí)驗(yàn)中將p、σ、bin、β分別設(shè)置為3、10、10、4。

2.2 客觀評(píng)估

表1展示了提出的Con-Cube算法與對(duì)比算法BME、Con-Patch內(nèi)插測(cè)試序列各幀的平均PSNR、SSIM值及執(zhí)行時(shí)間。

圖7 正則化因子β對(duì)Con-Cube內(nèi)插性能的影響Fig. 7 Effects of the parameters β on the performance of Con-Cube

表1 BME、Con-Patch與Con-Cube上轉(zhuǎn)測(cè)試序列的平均PSNR、SSIM和執(zhí)行時(shí)間對(duì)比Tab. 1 Average PSNR, SSIM and execution time comparisons of test sequences recovered by BME, Con-Patch and Con-Cube

對(duì)比PSNR值可以看到，對(duì)于任何序列Con-Cube均優(yōu)于BME、Con-Patch，其中對(duì)于Mobile序列時(shí)，相比于BME、Con-Patch，均產(chǎn)生了3.61 dB、3.55 dB的最大PSNR增幅。對(duì)于所有序列的平均PSNR值，Con-Cube分別比BME、Con-Patch高出1.02 dB、1.26 dB。對(duì)比SSIM值，可看到對(duì)于任何序列Con-Cube依舊保持優(yōu)勢(shì)，僅對(duì)于Akiyo序列，相比于BME，減少了0.000 3。對(duì)于所有序列的平均SSIM值，Con-Cube分別比BME、Con-Patch高出0.015 2、0.018 6。對(duì)于平均執(zhí)行時(shí)間，BME所用時(shí)間最小，單幀內(nèi)插平均需0.52 s；Con-Patch所需時(shí)間最大，單幀內(nèi)插平均需13.12 s；Con-Cube略低于Con-Patch，單幀內(nèi)插平均需11.83 s。圖8展示了Con-Cube、BME及Con-Patch內(nèi)插Foreman、Mobile、Bus及Football序列各幀的PSNR、SSIM曲線對(duì)比，可以看到，對(duì)比于BME、Con-Patch，在大多數(shù)情況下，Con-Cube均獲得了更高的PSNR、SSIM值。由上述結(jié)果可知，提出的Con-Cube可有效改善MC-FRUC的內(nèi)插質(zhì)量，且具有適中的計(jì)算復(fù)雜度。

圖8 不同算法內(nèi)插Foreman、Mobile、Bus及Football序列各幀的PSNR、SSIM曲線對(duì)比Fig. 8 Comparison of PSNRs and SSIMs of Foreman, Mobile, Bus and Football interpolated by different algorithms

2.3 主觀評(píng)估

圖9展示BME、Con-Patch及Con-Cube內(nèi)插Foreman序列第78幀的主觀視覺結(jié)果。該幀有大面積的靜止背景、頭部移動(dòng)以及面部表情的變化。

圖9 不同算法重建Foreman序列第78幀的主觀視覺質(zhì)量對(duì)比Fig. 9 Visual results on the 78-th interpolated frame of Foreman sequence using different FRUC algorithms

由圖9可以看到，BME、Con-Patch的內(nèi)插結(jié)果在面部與背景的邊界和鼻部區(qū)域產(chǎn)生嚴(yán)重的塊效應(yīng)，而Con-Cube復(fù)原出清晰的面部，且人物與背景的交界區(qū)域沒有任何模糊。

圖10展示BME、Con-Patch及Con-Cube內(nèi)插Mobile序列第50幀的主觀視覺結(jié)果。各幀包含畫面的整體平移、火車運(yùn)動(dòng)及球體滾動(dòng)。

圖10 不同算法重建Mobile序列第50幀的主觀視覺質(zhì)量對(duì)比Fig. 10 Visual results on the 50-th interpolated frame of Mobile sequence using different algorithms

由圖10可知，在臺(tái)歷的數(shù)字區(qū)域，BME、Con-Patch的內(nèi)插結(jié)果產(chǎn)生了嚴(yán)重的錯(cuò)亂，且滾動(dòng)的球體出現(xiàn)重影，而Con-Cube產(chǎn)生清晰的數(shù)字，且火車、球體均有良好的復(fù)原質(zhì)量。

圖11展示BME、Con-Patch及Con-Cube內(nèi)插Bus序列第62幀的主觀視覺結(jié)果。在該幀中，畫面跟隨公交車運(yùn)動(dòng)快速平移。BME、Con-Patch復(fù)原的公交車車頭區(qū)域有明顯的模糊，鐵柵欄出現(xiàn)錯(cuò)位，而Con-Cube有效抑制車頭模糊，鐵柵欄基本復(fù)原完整。

圖11 不同算法重建Bus序列第62幀的主觀視覺質(zhì)量對(duì)比Fig. 11 Visual results on the 62-th interpolated frame of Bus sequence using different algorithms

圖12展示了BME、Con-Patch及Con-Cube內(nèi)插Football序列第26幀的主觀視覺結(jié)果。在該幀中，運(yùn)動(dòng)員快速無規(guī)則移動(dòng)，整體畫面抖動(dòng)。在BME、Con-Patch的內(nèi)插結(jié)果中，多個(gè)運(yùn)動(dòng)員碰撞的區(qū)域產(chǎn)生了嚴(yán)重的形變、模糊，復(fù)原效果極不舒適，而對(duì)于Con-Cube，盡管形變、模糊依然存在，但相比于BME、Con-Patch有了極大的緩解。

圖12 不同算法重建Football序列第26幀的主觀視覺質(zhì)量對(duì)比Fig. 12 Visual results on the 26-th interpolated frame of Football sequence using different algorithms

由上述結(jié)果可知，相比于BME、Con-Patch，提出的Con-Cube可確保內(nèi)插幀具有良好的主觀視覺質(zhì)量。

3 結(jié)論

提出了一種基于Con-Cube的MC-FRUC算法，其貢獻(xiàn)為構(gòu)造Con-Cube，緩解BME中由運(yùn)動(dòng)對(duì)稱性假設(shè)失效帶來的塊失配，以提升內(nèi)插質(zhì)量。首先，針對(duì)參考幀內(nèi)各塊，逐像素提取子塊，采用自相似描述子計(jì)算其相關(guān)平面；接著，生成相關(guān)平面的歸一化直方圖，作為各像素的上下文特征，增加為塊的新維度，構(gòu)造出Con-Cube；然后，以內(nèi)插幀中各塊為中心，采用運(yùn)動(dòng)時(shí)間對(duì)稱性假設(shè)，執(zhí)行基于Con-Cube的雙向上下文匹配，輸出內(nèi)插幀的運(yùn)動(dòng)向量場(chǎng)；最后，根據(jù)內(nèi)插幀的運(yùn)動(dòng)向量場(chǎng)，實(shí)施MCI生成最終的內(nèi)插幀估計(jì)。實(shí)驗(yàn)結(jié)果表明，所提出的算法有效改善了MC-FRUC的性能，確保了內(nèi)插幀具有良好的主客觀視覺質(zhì)量。