新一代音視頻編碼標(biāo)準(zhǔn)H.266

李 寧

（河南大學(xué) 歐亞國(guó)際學(xué)院，河南 開(kāi)封 475000）

0 引言

2020 年，新冠肺炎疫情爆發(fā)，改變了人們的日常生活方式和工作模式，許多線下社會(huì)活動(dòng)變成了線上進(jìn)行。隨著遠(yuǎn)程辦公、在線教育、短視頻等應(yīng)用的使用，用戶(hù)和在線時(shí)長(zhǎng)都在急速擴(kuò)展，超高清視頻需求猛增[1]。

視頻是由一張張圖片和音頻組成在時(shí)間線上排列的動(dòng)態(tài)序列，基于人眼的視覺(jué)暫留效應(yīng)，當(dāng)被稱(chēng)為一幀的一幅圖像按照幀序列以一定速率播放時(shí)，對(duì)于人眼就呈現(xiàn)為動(dòng)作連續(xù)的視頻[2]。若將這圖像序列中每一個(gè)像素點(diǎn)的信息都數(shù)字化，數(shù)字化后的視頻數(shù)據(jù)、音頻數(shù)據(jù)等多媒體信息在視頻流傳輸中所占用的帶寬很高，一般在20 MB·s-1以上，數(shù)據(jù)量和所占用的存儲(chǔ)空間非常龐大。序列圖像和語(yǔ)音數(shù)據(jù)有很強(qiáng)的相關(guān)性，即存在大量冗余，主要有時(shí)間冗余、空間冗余、結(jié)構(gòu)冗余、知識(shí)冗余、信息熵冗余、視覺(jué)冗余等[3]。采用壓縮編碼算法對(duì)最初的視頻進(jìn)行編碼壓縮后，數(shù)據(jù)帶寬正常情況下可降到10 MB·s-1以下，避免了傳輸空間、時(shí)間維度的冗余信息造成的資源浪費(fèi)，提高了通信線路視頻的壓縮比。在同等畫(huà)質(zhì)下，將節(jié)省比特率和數(shù)據(jù)流量，提高視頻的清晰度，滿(mǎn)足了未來(lái)高速的多媒體通信系統(tǒng)需求。

常見(jiàn)的視頻可分為低質(zhì)量視頻、中等質(zhì)量視頻、高質(zhì)量視頻。針對(duì)這三類(lèi)視頻，為了使視頻行業(yè)的不同產(chǎn)品間互聯(lián)互通，國(guó)際上制定了相應(yīng)的音頻視頻編碼標(biāo)準(zhǔn)。1984 年，國(guó)際電話(huà)與電報(bào)顧問(wèn)委員會(huì)（International Telephone and Telegraph Consultative Committee，CCITT）頒布了H.261 標(biāo)準(zhǔn)，它是ITU-T 標(biāo)準(zhǔn)中的第一個(gè)視頻壓縮編碼標(biāo)準(zhǔn)。目前，音頻視頻編碼標(biāo)準(zhǔn)不斷被頒布，有很多標(biāo)準(zhǔn)已為人們所熟知。2020 年6 月6 日，F(xiàn)raunhofer HHI 宣布了歷時(shí)三年開(kāi)發(fā)的H.266/VVC 視頻編解碼標(biāo)準(zhǔn)，是新一代音視頻編碼標(biāo)準(zhǔn)。

1 VVC 標(biāo)準(zhǔn)特點(diǎn)概述

H.266/VVC 是ITU-T 制定的新的視頻壓縮編碼標(biāo)準(zhǔn)。實(shí)驗(yàn)結(jié)果表明，H.266 標(biāo)準(zhǔn)具有優(yōu)越的性能，其性能已經(jīng)達(dá)到和部分超過(guò)當(dāng)初設(shè)立的目標(biāo)。其主要特點(diǎn)如下：H.266 算法不但可以傳輸 4K 的超高清視頻，還支持未來(lái)的8K 甚至16K 的高清、超高清視頻、360°全景視頻；H.266 算法具有高壓縮性能，在圖像的峰值信噪比不變的情況下，對(duì)源視頻進(jìn)行壓縮編碼，H.266 比H.265 降低37.3%的碼率；對(duì)比其他視頻壓縮編碼標(biāo)準(zhǔn)，H.266 色度信號(hào)分辨率提高到支持YCbCr 4 ∶4 ∶4；H.266標(biāo)準(zhǔn)應(yīng)用范圍基本上實(shí)現(xiàn)對(duì)目前視頻行業(yè)的全部覆蓋，不僅包括日常生活所常用的視頻，如微信/QQ 視頻通話(huà)、計(jì)算機(jī)屏幕視頻、Panoramic video 等，并且廣泛適用于多種移動(dòng)設(shè)備；H.266 比H.265 要多近40 種新的編碼算法工具。

2 H.266 標(biāo)準(zhǔn)原理分析

從標(biāo)準(zhǔn)技術(shù)演進(jìn)來(lái)看，H.266/VVC 視頻編碼標(biāo)準(zhǔn)沿用了H.265/HEVC 中的基于混合視頻編碼（Hybrid Video Coding）框架，即同時(shí)采用了多種編碼方法進(jìn)行編碼。這種編碼框架大致把VVC 視頻編碼流程劃分為幾個(gè)模塊，分別是基于運(yùn)動(dòng)補(bǔ)償?shù)念A(yù)測(cè)技術(shù)以及對(duì)預(yù)測(cè)殘差的變換、劃分模塊、反量化、反變換、環(huán)路濾波ALF/SAO/DBF、熵編碼等編解碼模塊[4]。VVC 視頻編碼框架流程如圖1 所示。

首先輸入原始視頻信號(hào)，將每一幀圖像劃分為不同大小的編碼單元，不僅能夠?qū)崿F(xiàn)矩形模塊劃分，甚至能夠?qū)崿F(xiàn)非矩形模塊的形狀劃分；其次，對(duì)每個(gè)編碼單元進(jìn)行幀內(nèi)預(yù)測(cè)或幀間預(yù)測(cè)[5]，將預(yù)測(cè)得到的信息與原始視頻信息相減得到殘差信息；最后，將殘差進(jìn)行變換、量化，得到量化后的變換系數(shù)，量化后的變換系數(shù)需要進(jìn)行熵編碼傳到比特流中。由于預(yù)測(cè)模塊需要用到先前的視頻信息，而解碼端是不知道原始視頻信息的，為保證編解碼一致，編碼端同樣需要對(duì)量化后的變換系數(shù)進(jìn)行反量化、反變換的操作，再將反變換得到的殘差與預(yù)測(cè)模塊的輸出相加[6]，得到相當(dāng)于解碼端輸出的視頻信息。將該信息輸入到幀內(nèi)預(yù)測(cè)模塊，同時(shí)幀間預(yù)測(cè)也需要用到之前已編碼幀的信息，再對(duì)剛剛得到的相當(dāng)于解碼端輸出的視頻信息進(jìn)行環(huán)路濾波，提高重建幀質(zhì)量。將濾波后得到的重建幀緩存信息輸入到幀間預(yù)測(cè)模塊，此處編碼端也會(huì)輸出重建視頻信號(hào)，并且應(yīng)該與解碼端解碼得到的視頻信號(hào)一致。圖1 中輸入到熵編碼模塊的信息除殘差信息外，劃分模式、預(yù)測(cè)模式、變換模式等都需要進(jìn)行熵編碼。

圖1 VVC 視頻編碼框架圖

雖然編碼環(huán)節(jié)一樣，但H.266 在每一步都進(jìn)行了優(yōu)化改進(jìn)，使最終整體的編碼效率大大提高，碼率減半。

3 H.265 與H.266 的對(duì)比

在圖像劃分方面，H.265 進(jìn)行條和片的劃分，H.266 新增了子圖像劃分，一個(gè)子圖像可以包含一個(gè)或多個(gè)條，每一個(gè)子圖像的邊界總是條的邊界；在H.265 中，對(duì)于每一個(gè)編碼樹(shù)單元（CTU），可以劃分為若干個(gè)編碼單元（CU），CU 又可劃分為預(yù)測(cè)單元（PU）和變換單元（TU），但在H.266 中不做區(qū)分，統(tǒng)一為CU[4]；H.265 的CTU 采用四叉樹(shù)劃分，而H.266 在此基礎(chǔ)上還采用多類(lèi)型樹(shù)劃分。在幀內(nèi)預(yù)測(cè)方面，H.266 相較于H.265 更為細(xì)致靈活，H.265 有Planar 模式、垂直模式、水平模式、DC 模式和導(dǎo)出模式5 種幀內(nèi)預(yù)測(cè)模式[7]，H.266 在此基礎(chǔ)上還增加了一種跨分量線性模型。在變化與量化方面，H.265 最大變換塊尺寸為32×32，H.266則擴(kuò)展為64×64，并且采用了子塊變換技術(shù)；H.265與H.266 均采用標(biāo)量量化方式，但二者的最大量化參數(shù)分別為51 和63。在熵編碼方面，H.266 相對(duì)于H.265 能夠平均節(jié)省37.3%的碼率[2]。在幀間預(yù)測(cè)方面，H.265 采用了跳過(guò)模式、合并模式和普通幀間模式三種模式，H.266 對(duì)這些模式進(jìn)行了擴(kuò)展、改進(jìn)和精細(xì)化處理。在環(huán)路濾波方面，H.265 采用去方塊濾波和樣值自適應(yīng)偏移，H.266 還采用了自適應(yīng)環(huán)路濾波。

4 應(yīng)用對(duì)比

現(xiàn)在流行的視頻標(biāo)準(zhǔn)主要是國(guó)際電信聯(lián)盟電信標(biāo)準(zhǔn)分局ITU 旗下的VCEG 以及國(guó)際標(biāo)準(zhǔn)化組織ISO 和IEC 旗下的MPEG[8]。主要的標(biāo)準(zhǔn)有H.261、H.263、H.264、H.265、H.266、MPEG-1、MPEG-2、MPEG-4 等，其中H.261 主要用于ISDN 視頻會(huì)議，支持的分辨率很??；H.263 應(yīng)用場(chǎng)合為各種視頻電話(huà)和多方視頻會(huì)議；H.264/AVC 成功推動(dòng)了數(shù)字廣播電視、衛(wèi)星電視、互聯(lián)網(wǎng)視頻、藍(lán)光碟以及移動(dòng)端視頻的普及；H.265/HEVC 使得流媒體、移動(dòng)端視頻、高清1 080P、4K超高清以及HDR的普及；H.266/VVC主要提供更好的支持于AR/VR、流媒體、360 度全景視頻、超高清8K 以及高動(dòng)態(tài)范圍視頻等新的應(yīng)用類(lèi)型；MPEG-1 應(yīng)用于ADSL、VCD、Internet 以及數(shù)字電話(huà)網(wǎng)絡(luò)上的視頻傳輸?shù)?；H.262/MPEG-2 特別適用于廣播質(zhì)量的數(shù)字電視的編碼和傳送，推動(dòng)了模擬電視到數(shù)字電視的轉(zhuǎn)型、無(wú)線數(shù)字電視、數(shù)字視頻廣播（Digital Video Broadcasting，DVB）、DVD 碟等技術(shù)。

5 未來(lái)展望

伴隨4K、360 度全景視頻的激增，互聯(lián)網(wǎng)世界確實(shí)需要一個(gè)更為高效的視頻編解碼標(biāo)準(zhǔn)。由國(guó)際標(biāo)準(zhǔn)化組織及國(guó)際電工委員會(huì)ISO/IEC 旗下的動(dòng)態(tài)圖像專(zhuān)家組MPEG 和國(guó)際電聯(lián)電信標(biāo)準(zhǔn)化部門(mén)ITU-T 旗下的視頻編碼專(zhuān)家組VCEG 聯(lián)合制定的最新的視頻編解碼標(biāo)準(zhǔn)H.266/VVC 應(yīng)運(yùn)而生。VCC可以讓視頻在同等視頻質(zhì)量下比H.265/HEVC 標(biāo)準(zhǔn)體積減小一半。比如，現(xiàn)在一個(gè)45 min 的高清在線視頻大概需要5 GB 存儲(chǔ)空間，在保持畫(huà)質(zhì)一樣和視頻傳輸清晰度不變的情況下，將比特率和數(shù)據(jù)流量降低到50%，即下載只需要2.5 GB 的流量就足夠了。Fraunhofer HHI 發(fā)布的H.266 標(biāo)準(zhǔn)獲得騰訊、蘋(píng)果、華為、高通、Intel、三星、索尼、諾基亞等在音視頻領(lǐng)域具有極大影響力的企業(yè)的支持。這項(xiàng)耗時(shí)3 年的標(biāo)準(zhǔn)的制定進(jìn)一步優(yōu)化了壓縮，節(jié)約大量的帶寬，主要面向未來(lái)傳輸4K/8K 的視頻服務(wù)。在此基礎(chǔ)上，在線教育、遠(yuǎn)程醫(yī)療、遠(yuǎn)程辦公等與超高清視頻密切相關(guān)的廣電視頻行業(yè)將迎來(lái)全面爆發(fā)。有業(yè)內(nèi)視頻專(zhuān)家指出，H.266/VVC 預(yù)計(jì)在2027 年左右開(kāi)始被廣泛接受和使用。

6 結(jié)語(yǔ)

關(guān)于新算法的研究一直在進(jìn)行，更高質(zhì)量、更高壓縮比、更易于實(shí)現(xiàn)的編碼方法始終是圖像領(lǐng)域研究的熱點(diǎn)。毫無(wú)疑問(wèn)，音視頻編碼技術(shù)的改進(jìn)以及多媒體通信新標(biāo)準(zhǔn)H.266 的推出必將進(jìn)一步促進(jìn)多媒體通信業(yè)的發(fā)展。