AVS2/AVS3視頻編碼標(biāo)準(zhǔn)分析

中央廣播電視總臺(tái)：王晟

AVS（Audio Video coding Standard，音視頻編碼標(biāo)準(zhǔn)）系列編碼標(biāo)準(zhǔn)是國(guó)內(nèi)具備自主知識(shí)產(chǎn)權(quán)的編碼標(biāo)準(zhǔn)；該系列標(biāo)準(zhǔn)從AVS至AVS+，AVS2，AVS3目前經(jīng)歷20年發(fā)展，廣泛應(yīng)用于國(guó)內(nèi)數(shù)字電視、網(wǎng)絡(luò)流媒體、IPTV、視頻監(jiān)控等多個(gè)領(lǐng)域。隨著超高清時(shí)代來(lái)臨，視頻壓縮編碼技術(shù)在媒體傳播領(lǐng)域越來(lái)越重要，在技術(shù)層面，AVS2標(biāo)準(zhǔn)主要面向4K超高清應(yīng)用，壓縮效率與H.265(HEVC)相當(dāng)，AVS3標(biāo)準(zhǔn)主要面向8K超高清和VR等領(lǐng)域應(yīng)用，壓縮效率與H.266(VVC)相當(dāng)，且AVS系列標(biāo)準(zhǔn)相對(duì)于H.26X系列標(biāo)準(zhǔn)在專利費(fèi)方面具有優(yōu)勢(shì)。目前AVS系列標(biāo)準(zhǔn)在國(guó)家大力支持下，已經(jīng)建立了從標(biāo)準(zhǔn)制定到芯片終端較為完整的產(chǎn)業(yè)鏈，面對(duì)如今的國(guó)際環(huán)境，預(yù)計(jì)未來(lái)AVS2/AVS3標(biāo)準(zhǔn)將廣泛應(yīng)用于國(guó)內(nèi)各視音頻領(lǐng)域。

1.視頻編碼算法

1.1 算法簡(jiǎn)介

視頻占網(wǎng)絡(luò)傳輸大部分?jǐn)?shù)據(jù)量,以1920*1080，幀率30幀高清視頻為例，每秒數(shù)據(jù)量1920*1080*30*24=186.6MB。經(jīng)過視頻壓縮編碼后，數(shù)據(jù)量可以達(dá)到2MB，而且并不影響用戶體驗(yàn)。視頻編碼的核心是降低視頻中的冗余信息。視頻中的冗余信息包括空間冗余、時(shí)間冗余、結(jié)構(gòu)冗余、信息商冗余。視頻編碼技術(shù)就是針對(duì)不同的冗余信息采用不同算法壓縮數(shù)據(jù)量。

目前主流編碼算法編碼可分為幀內(nèi)編碼、幀間編碼、轉(zhuǎn)換編碼、環(huán)路濾波、熵編碼四部分。幀內(nèi)編碼減少空間冗余信息，基本原理為將預(yù)測(cè)圖形分塊，使用已編碼的相鄰塊為參考源，通過預(yù)測(cè)模式構(gòu)建預(yù)測(cè)塊，計(jì)算當(dāng)前塊和預(yù)測(cè)塊的差值，保留傳送預(yù)測(cè)模式和差值實(shí)現(xiàn)數(shù)據(jù)壓縮。幀間編碼去除視頻幀序列間冗余度，余每秒視頻內(nèi)大部分幀內(nèi)容基本相同。幀間編碼針對(duì)時(shí)間冗余進(jìn)行編碼，通過計(jì)算運(yùn)動(dòng)矢量信息和運(yùn)動(dòng)補(bǔ)償計(jì)算出預(yù)測(cè)塊，對(duì)比當(dāng)前塊與預(yù)測(cè)塊的差值，保留傳送運(yùn)動(dòng)矢量和差值實(shí)現(xiàn)數(shù)據(jù)壓縮。轉(zhuǎn)換編碼算法大部分以DCT變換為基礎(chǔ)，視頻圖像大部分信息存在于低頻范圍，高頻范圍信息量低，DCT變換通過離散余弦變換將原始圖像信息轉(zhuǎn)換成不同頻率的分量系數(shù)集合；對(duì)低頻集合分配較多比特?cái)?shù)，對(duì)高頻集合分配較少比特?cái)?shù)，以此減少數(shù)據(jù)量。環(huán)路濾波通過對(duì)反變換的重建圖像進(jìn)行濾波，消除圖像塊效應(yīng)（邊界不連續(xù)性），再將圖像輸出顯示并作為參考圖像進(jìn)行運(yùn)動(dòng)補(bǔ)償，提升圖像質(zhì)量和算法準(zhǔn)確性。熵編碼算法基于統(tǒng)計(jì)學(xué)，通用算法為可變長(zhǎng)度編碼(VLC）、霍夫曼編碼、算術(shù)編碼；為無(wú)損壓縮編碼，通過統(tǒng)計(jì)學(xué)理論對(duì)數(shù)據(jù)進(jìn)行編碼，如霍夫曼編碼對(duì)數(shù)據(jù)出現(xiàn)的頻率進(jìn)行編碼，多次出現(xiàn)數(shù)據(jù)分配較少比特，少次出現(xiàn)數(shù)據(jù)分配較多比特。

主流視頻壓縮算法基于以上算法模塊在不影響人主觀感受同時(shí)最大限度地壓縮數(shù)據(jù)量，根據(jù)應(yīng)用場(chǎng)景的不同，算法模塊中應(yīng)用的預(yù)測(cè)模式、計(jì)算模型會(huì)有相應(yīng)的適配，各系列編碼算法根據(jù)編碼芯片制程的縮小、算力的提高以及新型技術(shù)應(yīng)用（如人工智能技術(shù)）會(huì)持續(xù)地加入新預(yù)測(cè)模式和計(jì)算模型來(lái)進(jìn)一步實(shí)現(xiàn)數(shù)據(jù)壓縮，基本上每一個(gè)新的算法會(huì)比上一代算法在編碼效率上提升30%-50%，編解碼所需運(yùn)算量也會(huì)提升，但隨著編解碼芯片制程的縮小，編解碼時(shí)間并沒有明顯變化。

1.2 H.26及AVS系列視頻編碼算法發(fā)展路徑

1.2.1 H.26X系列

H.26X系列編碼標(biāo)準(zhǔn)發(fā)展至目前為H.261，H.262，H.263，H.263v2以及H.264，H.265，H.266。其中H.261針對(duì)ISDN電話會(huì)議設(shè)計(jì)，制定時(shí)間為1990年，屬于該系列原型標(biāo)準(zhǔn)。H.263推出時(shí)間為1996年，1998年推出了H.263+，為低碼流通信設(shè)計(jì)，進(jìn)一步改進(jìn)了H.261壓縮性能。2003年ITU-T與MPEG合作發(fā)布編碼標(biāo)準(zhǔn)H.264（或稱AVC）廣泛應(yīng)用于網(wǎng)絡(luò)流媒體服務(wù)，實(shí)時(shí)監(jiān)控，數(shù)字電視，視頻會(huì)議等領(lǐng)域，H.264較以往標(biāo)準(zhǔn)節(jié)省50%的碼率并能穩(wěn)定保障較高的視頻質(zhì)量，被普遍認(rèn)為是最有影響力的行業(yè)標(biāo)準(zhǔn)。H.265（或稱HEVC高效率編碼視頻）于2013年發(fā)布，采用樹編碼單元對(duì)圖像進(jìn)行分塊、幀內(nèi)預(yù)測(cè)模式更加豐富，理論上H.265比H.264效率提高30%-50%，高分辨率尤其明顯。H.266(VCC)于2020年發(fā)布，主要應(yīng)用于超高清4k、8k流媒體視頻，在H.265基礎(chǔ)上數(shù)據(jù)量減少50%，但編碼運(yùn)算量遠(yuǎn)遠(yuǎn)大于H.265。

1.2.2 AVS系列

AVS工作組2002年成立至今經(jīng)歷20年，2003年推出第一代標(biāo)準(zhǔn)AVS，算法復(fù)雜度較H.264低，應(yīng)用于國(guó)內(nèi)數(shù)字電視領(lǐng)域，后續(xù)推出AVS+，為AVS1的增強(qiáng)版本，2012年被頒布為中國(guó)廣播電影電視行業(yè)標(biāo)準(zhǔn)，用于高清電視上星直播。2013年6月，AVS系列標(biāo)準(zhǔn)被列為IEEE標(biāo)準(zhǔn)，標(biāo)準(zhǔn)號(hào)為IEEE 1857，走向國(guó)際。AVS2是AVS工作組制定的第二代標(biāo)準(zhǔn)，2016年頒布為廣電行業(yè)標(biāo)準(zhǔn)，主要應(yīng)用于4K超高清視頻和視頻監(jiān)控領(lǐng)域，編碼效率比AVS+提高一倍以上。AVS3為AVS工作組制定的第三代視頻編碼標(biāo)準(zhǔn)，2019年推出第一版。主要應(yīng)用于8K超高清電視廣播、VR、視頻監(jiān)控等多種應(yīng)用場(chǎng)景；在超清視頻方面，較AVS2減少30%數(shù)據(jù)量，且在超低碼率下能保證更好的觀感。2021年發(fā)布第二版，使用基于神經(jīng)網(wǎng)絡(luò)的工具實(shí)現(xiàn)濾波、率失真優(yōu)化等功能。AVS系列相較于H.26系列的優(yōu)勢(shì)在于專利費(fèi)，AVS不存在復(fù)雜的知識(shí)產(chǎn)權(quán)從屬關(guān)系，因此可以只收取象征性專利費(fèi)，不對(duì)內(nèi)容收費(fèi)，適合標(biāo)準(zhǔn)推廣。

2.超高清視頻編碼算法技術(shù)特點(diǎn)對(duì)比

AVS系列編碼和H.26系列編碼在編碼流程上一致，流程中各編碼模塊內(nèi)算法針對(duì)自己的適用特點(diǎn)有一定差別。下表（表1）為AVS2編碼和H.265編碼在各模塊算法細(xì)節(jié)的對(duì)比，從下表可見兩種算法基本流程一致，但算法細(xì)節(jié)上存在差異。

表1

兩類算法在實(shí)現(xiàn)路徑及其性能上相似，但在某些應(yīng)用領(lǐng)域中略有差異。數(shù)字音視頻編解碼技術(shù)標(biāo)準(zhǔn)工作組資料顯示，在數(shù)字電視廣播（逐行）、實(shí)時(shí)通信、數(shù)字電影、靜態(tài)圖像應(yīng)用方面，AVS2和HEVC的編碼性能相似；在數(shù)字電視廣播（隔行）、視頻監(jiān)控的應(yīng)用方面，AVS2編碼性能高于HEVC。2016年在國(guó)家廣播電影電視總局廣播電視計(jì)量測(cè)試中心用國(guó)家廣電總局指定4K 10bit序列對(duì)HEVC和AVS2在通測(cè)條件下進(jìn)行比對(duì)測(cè)試，對(duì)于4K 10bit序列HEVC的編碼效率普遍低于AVS2，主觀感知圖源質(zhì)量AVS2略優(yōu)，說明在超高清領(lǐng)域AVS2性能略優(yōu)于HEVC。

新一代編碼標(biāo)準(zhǔn)AVS3早于H.266完成，從上表（表2）的技術(shù)細(xì)節(jié)對(duì)比來(lái)看：在編碼單元方面，兩種算法編碼單元塊劃分均擴(kuò)展至128*128，不同之處為AVS3新增擴(kuò)展四叉樹遞歸結(jié)構(gòu)，H.266為三叉樹遞歸結(jié)構(gòu)。在幀內(nèi)預(yù)測(cè)模式中，AVS3有33個(gè)預(yù)測(cè)模式和2個(gè)MPM，H.266為67個(gè)預(yù)測(cè)模式和6個(gè)MPM。在濾波方面，AVS3通過分析參考像素與預(yù)測(cè)值的關(guān)系，訓(xùn)練得到針對(duì)不同塊大小和不同位置像素點(diǎn)的濾波系數(shù)；H.266則是利用濾波和未濾波的參考像素對(duì)預(yù)測(cè)值進(jìn)行加權(quán)濾波。在幀間預(yù)測(cè)模式中，兩者都升級(jí)應(yīng)用了基于歷史信息的運(yùn)動(dòng)矢量預(yù)測(cè)（HMVP）并采用了仿射變換補(bǔ)償（Affine）；但AVS3具備5個(gè)運(yùn)動(dòng)矢量精度，采用16*16的運(yùn)動(dòng)矢量存儲(chǔ)單元，H.266為3個(gè)運(yùn)動(dòng)矢量精度，采用8*8運(yùn)動(dòng)矢量存儲(chǔ)單元。在變換編碼方面，H.266采用低頻不可分離的二次變換，具有更好的變換性能，但存儲(chǔ)和復(fù)雜度高。

表2

3.應(yīng)用探討

《中國(guó)電子報(bào)》總結(jié)我國(guó)AVS系列標(biāo)準(zhǔn)基本形成了“技術(shù)標(biāo)準(zhǔn)-芯片終端-系統(tǒng)應(yīng)用”的完整產(chǎn)業(yè)鏈，拉動(dòng)產(chǎn)業(yè)規(guī)模近千億元。從目前發(fā)展趨勢(shì)來(lái)看，未來(lái)編碼標(biāo)準(zhǔn)主要發(fā)展方向?yàn)槌咔逡曨l、VR、工業(yè)和工控領(lǐng)域。

國(guó)內(nèi)AVS3率先發(fā)布面向8K超高清視頻的新一代編碼標(biāo)準(zhǔn)，在產(chǎn)業(yè)布局上實(shí)現(xiàn)領(lǐng)先，而且產(chǎn)權(quán)更加明晰，在政策的推動(dòng)和5G網(wǎng)絡(luò)迅速普及下，國(guó)內(nèi)8K應(yīng)用領(lǐng)域發(fā)展迅速。2019年工業(yè)和信息化部、國(guó)家廣播電視總局、中央廣播電視總臺(tái)聯(lián)合印發(fā)《超高清視頻產(chǎn)業(yè)發(fā)展行動(dòng)計(jì)劃（2019-2022年）》明確“4K先行、兼顧8K”的總體技術(shù)路線，推進(jìn)超高清視頻產(chǎn)業(yè)，其中提出“2022年4K產(chǎn)業(yè)生態(tài)體系基本完善，8K關(guān)鍵技術(shù)產(chǎn)品研發(fā)和產(chǎn)業(yè)化取得突破，形成一批具有國(guó)際競(jìng)爭(zhēng)力的企業(yè)。”2019年，華為海思發(fā)布全球首個(gè)基于AVS3標(biāo)準(zhǔn)的8K超高清解碼芯片，支持120FPS解碼顯示；當(dāng)虹科技推出8K AVS3編解碼設(shè)備。2021年10月，六部委聯(lián)合印發(fā)《關(guān)于開展“百城千屏”超高清視頻落地推廣活動(dòng)的通知》支持有條件的城市設(shè)立超高清公共大屏，分享優(yōu)質(zhì)超高清4K/8K內(nèi)容，提升超高清視頻產(chǎn)業(yè)的滲透性。2021年1月，中央廣播電視總臺(tái)頒布《中央廣播電視總臺(tái)8K超高清電視節(jié)目制播技術(shù)要求（暫行）》對(duì)8K超高清視頻編解碼技術(shù)采用AVS3標(biāo)準(zhǔn)；同年2月總臺(tái)試播全國(guó)首個(gè)8K超高清試驗(yàn)頻道，并在2021年春晚期間進(jìn)行首次8K直播。2022年冬奧期間，AVS3視頻標(biāo)準(zhǔn)被總臺(tái)CCTV-8K頻道和北京廣播電視臺(tái)冬奧紀(jì)實(shí)8K超高清試驗(yàn)頻道采用，并通過咪咕視頻在移動(dòng)端直播場(chǎng)景首次應(yīng)用及落地。在總臺(tái)技術(shù)部門進(jìn)行的測(cè)試中，目前基于AVS3壓縮算法在碼率為120M時(shí)，能達(dá)到很好的主觀收看效果；而且目前利用DVB-C標(biāo)準(zhǔn)傳輸8K節(jié)目的嘗試正在積極進(jìn)行，如果使用DVB-C2最高4096QAM調(diào)制方式，則可以有效利用現(xiàn)有資源實(shí)現(xiàn)8K超高清視頻傳輸入戶。截至2021年底，我國(guó)建成142.5萬(wàn)個(gè)5G基站，5G用戶數(shù)達(dá)到3.55億戶；使用千兆網(wǎng)絡(luò)用戶模達(dá)3456萬(wàn)戶。預(yù)計(jì)未來(lái)隨著硬件設(shè)備成本下降，5G用戶增長(zhǎng)、資費(fèi)下降及高速寬帶入戶的持續(xù)推進(jìn)，4K及8K用戶數(shù)將大幅增長(zhǎng)，AVS3標(biāo)準(zhǔn)應(yīng)用亦會(huì)隨之普及。

IDC數(shù)據(jù)顯示，2021年全年全球AR/VR頭顯出貨量達(dá)1123萬(wàn)臺(tái)，同比增長(zhǎng)92.1%。隨著硬件設(shè)備迭代加快，入局者增多，VR內(nèi)容生態(tài)逐步建立，VR未來(lái)有廣闊的應(yīng)用場(chǎng)景。VR是AVS3標(biāo)準(zhǔn)應(yīng)用目標(biāo)之一，工作組已經(jīng)將標(biāo)準(zhǔn)制定范圍延伸至該領(lǐng)域；北京2022年冬奧會(huì)期間，AVS3編碼標(biāo)準(zhǔn)、8K超高清技術(shù)以及多維度自由視角交互觀賽系統(tǒng)已經(jīng)得到實(shí)際應(yīng)用檢驗(yàn)與全球用戶的廣泛認(rèn)可。中央廣播電視總臺(tái)央視頻冬奧期間推出“VR看冬奧”可被安裝在VR頭戴硬件設(shè)備上的央視頻VR應(yīng)用，融合沉浸式實(shí)時(shí)3D場(chǎng)景渲染進(jìn)行冬奧直播。

伴隨著5G基礎(chǔ)設(shè)施和用戶數(shù)快速增長(zhǎng)，VR各類應(yīng)用場(chǎng)景相關(guān)技術(shù)和云VR技術(shù)的成熟，VR將在娛樂、教育、醫(yī)療、工業(yè)、航空等多個(gè)領(lǐng)域廣泛應(yīng)用，AVS編碼標(biāo)準(zhǔn)也將伴隨VR技術(shù)發(fā)展在該領(lǐng)域有廣泛應(yīng)用空間。目前AVS編碼技術(shù)除在廣播電視、視頻監(jiān)控及視頻娛樂等傳統(tǒng)領(lǐng)域應(yīng)用之外，伴隨著物聯(lián)網(wǎng)技術(shù)和人工智能技術(shù)發(fā)展，在工業(yè)控制等領(lǐng)域中的應(yīng)用也不斷持續(xù)擴(kuò)展。2020年在5G傳輸條件下，上海國(guó)茂開發(fā)的基于AVS標(biāo)準(zhǔn)的8K實(shí)時(shí)編碼器協(xié)助完成了中國(guó)商飛大飛機(jī)預(yù)檢測(cè)工作；AVS高穩(wěn)定編碼器在太原、甘肅酒泉衛(wèi)星發(fā)射基地均得到了廣泛應(yīng)用。在自動(dòng)駕駛和機(jī)器人領(lǐng)域，視頻編碼技術(shù)也有廣泛的應(yīng)用空間。預(yù)計(jì)未來(lái)國(guó)內(nèi)將不斷優(yōu)化AVS系列編碼標(biāo)準(zhǔn)，進(jìn)一步在保證視頻質(zhì)量的前提下提高壓縮效率，并實(shí)現(xiàn)與AI技術(shù)更加深度地融合，伴隨著國(guó)內(nèi)新基建和各類智能應(yīng)用場(chǎng)景的落地，國(guó)內(nèi)自主研發(fā)編碼標(biāo)準(zhǔn)前景可待，未來(lái)可期。