面向SDR和HDR標(biāo)準(zhǔn)的新型視頻編碼技術(shù)

鄭唯

【摘要】視頻編碼技術(shù)是當(dāng)今電視節(jié)目制作中比較重要的技術(shù)之一，是隨著視頻技術(shù)，計(jì)算機(jī)技術(shù)和通信技術(shù)的發(fā)展而不斷發(fā)展的。本文介紹了視頻編碼技術(shù)的發(fā)展歷程和最新面向SDR和HDR標(biāo)準(zhǔn)的視頻編碼技術(shù)和主要編碼工具。

【關(guān)鍵詞】視頻 ;壓縮 ;SDR視頻編碼;HDR視頻編碼

中圖分類號(hào)：TN929 ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A ? ? ? ? ? ? ? ? ? ? DOI：10.12246/j.issn.1673-0348.2021.09..008

視頻編碼技術(shù)在當(dāng)今電視節(jié)目制作中占據(jù)著不可或缺的地位。最初的電視節(jié)目制作，都是采用的模擬信號(hào)，即包含亮度和色度信息的復(fù)合模擬信號(hào)，用磁帶進(jìn)行線性編輯制作后直接重放播出。隨著計(jì)算機(jī)技術(shù)的飛速發(fā)展，出現(xiàn)了基于計(jì)算機(jī)系統(tǒng)的非線性編輯軟件，開始有了視頻圖像的壓縮編碼技術(shù)，并以此技術(shù)將前期攝像設(shè)備上實(shí)錄的原始節(jié)目素材上載采集到計(jì)算機(jī)系統(tǒng)中存儲(chǔ)，然后在計(jì)算機(jī)網(wǎng)絡(luò)上進(jìn)行非線性編輯制作，最后再依托計(jì)算機(jī)網(wǎng)絡(luò)進(jìn)行傳輸并解碼后播出。這其中的視頻編碼技術(shù)已經(jīng)成為現(xiàn)今節(jié)目制作中比較重要的技術(shù)之一。

視頻編碼首先需要有一個(gè)國際通用的標(biāo)準(zhǔn)，國際電信聯(lián)盟ITU是比較著名的制定視頻編碼國際標(biāo)準(zhǔn)的組織，另外還有國際標(biāo)準(zhǔn)化組織ISO和國際電工委員會(huì)IEC。1988年，ISO和IEC聯(lián)合成立了動(dòng)態(tài)圖像專家組MPEG（Moving Picture Expert Group），當(dāng)時(shí)世界上主流的視頻編碼標(biāo)準(zhǔn)基本上都是他們提出來的。而ITU提出了H.261、H.262、H.263等編碼標(biāo)準(zhǔn)，統(tǒng)稱為H.26X系列，主要應(yīng)用于實(shí)時(shí)視頻通信領(lǐng)域。2001年ITU和ISO/IEC成立了一個(gè)聯(lián)合小組JVT（Joint Video Team），即聯(lián)合視頻工作組。JVT致力于制定新一代視頻編碼標(biāo)準(zhǔn)，推出了包括H.264在內(nèi)的一系列的視頻編碼標(biāo)準(zhǔn)，壓縮率可以達(dá)到300到400比1。其最新推出的HEVC編碼，也就是現(xiàn)在開始流行的H.265，相比H.264有著極大的性能提升。H.265所占帶寬要比H.264減少一半，占用的存儲(chǔ)量也可以節(jié)省一半，同時(shí)畫質(zhì)卻能夠更加細(xì)膩，并可以完美向下兼容H.264。

隨著SDR和HDR視頻的出現(xiàn)，在HEVC的基礎(chǔ)上又出現(xiàn)了一種新型的視頻編碼機(jī)制，即面向標(biāo)準(zhǔn)動(dòng)態(tài)范圍SDR和高動(dòng)態(tài)范圍HDR的視頻編碼技術(shù)。這就是剛剛問世的H.266/VVC的雛形。

JVET（the joint video exploration team）聯(lián)合視頻開發(fā)團(tuán)隊(duì)從2015年起就開始開發(fā)比HEVC更加節(jié)省帶寬而又不降低畫面質(zhì)量的視頻編碼技術(shù)。2017年正式開始開發(fā)HEVC后的下一代視頻編碼技術(shù)，其范疇包含SDR視頻，HDR視頻以及360度視頻編碼技術(shù)。其中SDR編碼解碼技術(shù)的底層核心設(shè)計(jì)理念就是基于JVET聯(lián)合視頻開發(fā)團(tuán)隊(duì)開發(fā)的相關(guān)軟件的JEM模型。通過對(duì)JEM模型的一些關(guān)鍵編碼工具的大幅簡(jiǎn)化，從而達(dá)到可以憑借可忽略的編碼性能損失來降低硬件在平均和最壞情況下的設(shè)計(jì)復(fù)雜度。同時(shí)，還采用了兩種編碼技術(shù)來進(jìn)一步提高編碼效率，一個(gè)稱做多類型樹技術(shù)（MTT），另一個(gè)稱做解碼器側(cè)內(nèi)部模式推導(dǎo)（DIMD）。

對(duì)于HDR視頻編碼這方面，除了有SDR視頻編碼所用的工具外，還用了另外兩種編碼工具來進(jìn)一步提高HDR視頻的編碼效率。這兩種工具就是：環(huán)路內(nèi)重整形工具和基于亮度的QP預(yù)測(cè)模塊。

實(shí)測(cè)結(jié)果表明，和HEVC相比較，在普通編碼復(fù)雜度的情況下，新的視頻編解碼有著更高的編碼效率。在隨機(jī)獲取方式下，對(duì)于SDR視頻序列，可以分別比上一代HEVC的HM模型和JVET的JEM模型的錨點(diǎn)平均節(jié)省35.7%和4.00%的比特率，解碼時(shí)間分別降低了263%和33%。對(duì)于HDR視頻序列，通過配置環(huán)內(nèi)重整形工具來盡可能地提高HDR的客觀指標(biāo)，從而使HDR PQ內(nèi)容的wPSNRY指標(biāo)比HM模型和JEM模型分別平均節(jié)省31.3%和4.6%的比特率。

下面就來介紹一下面向SDR和HDR的新型視頻編碼技術(shù)。

1. 序言

應(yīng)用當(dāng)時(shí)最先進(jìn)的視頻編碼標(biāo)準(zhǔn)的HEVC（High Efficency Video Coding），在同等視頻質(zhì)量下可以比上一代視頻編碼標(biāo)準(zhǔn)MPEG-4和H.264節(jié)省50%的比特率。盡管HEVC標(biāo)準(zhǔn)已經(jīng)可以提供更大的壓縮能力，但由于SDR和HDR視頻的出現(xiàn)，并且還有很多專門的用戶需求，需要在不降低用戶視覺體驗(yàn)的前提下，進(jìn)一步降低視頻帶寬和編解碼時(shí)間，由此開始了對(duì)下一代視頻編碼技術(shù)的開發(fā)。本文介紹的就是面對(duì)最近剛剛出現(xiàn)的SDR和HDR視頻的最新型的視頻編碼技術(shù)。

SDR的核心編碼解碼是建立在JEM模型上的。JEM模型能夠相比于HEVC顯著地提高編碼效率，但是也會(huì)大大地增加了編碼的復(fù)雜性。在隨機(jī)獲取的情況下，JEM的錨點(diǎn)要比HEVC的錨點(diǎn)降低了33%的帶寬傳輸率，但是它的編碼時(shí)間幾乎是后者的8倍，解碼時(shí)間幾乎是后者的7.6倍。解碼端的復(fù)雜性是否增加是十分重要的一點(diǎn)，因?yàn)樵S多的視頻流應(yīng)用，視頻內(nèi)容的編碼只需一次或有限幾次，但在不同的終端設(shè)備上解碼則是需要許多次的。因此我們的目的應(yīng)該是在不降低性能的前提下盡可能地降低解碼的復(fù)雜度。為此，SDR的編解碼工具力求大幅簡(jiǎn)化JEM模型中的編解碼工具，具體工具包括：幀率上變換FRUC，解碼器側(cè)運(yùn)動(dòng)矢量細(xì)化DMVR，雙向光流BIO，重疊塊運(yùn)動(dòng)補(bǔ)償OBMC，局部亮度補(bǔ)償LIC，高級(jí)時(shí)域運(yùn)動(dòng)矢量預(yù)測(cè)ATMVP，空時(shí)運(yùn)動(dòng)矢量預(yù)測(cè)STMVP以及自適應(yīng)環(huán)路濾波器ALF。此外，還有另外兩種編碼技術(shù)被應(yīng)用在SDR核心編碼中來進(jìn)一步提高編碼效率，即多類型樹（MTT）技術(shù)和解碼器側(cè)內(nèi)部模式推導(dǎo)（DIMD）。

對(duì)于HDR視頻編碼，SDR編解碼技術(shù)是它的核心編碼引擎。在這之上，還增加了兩個(gè)主要編碼工具：環(huán)路內(nèi)重整形工具和基于亮度的QP預(yù)測(cè)工具，用以進(jìn)一步提高HDR視頻編碼效率。

2. SDR專用編碼工具

SDR的編碼解碼機(jī)制是基于JEM-7.0模型的相關(guān)軟件。并且，對(duì)JEM模型的一些關(guān)鍵解碼技術(shù)做了很大的簡(jiǎn)化，其中包括簡(jiǎn)化的FRUC，簡(jiǎn)化的DMVR，簡(jiǎn)化的BIO，簡(jiǎn)化的OBMC，簡(jiǎn)化的LIC，簡(jiǎn)化的ATMVP和STMVP以及簡(jiǎn)化的ALF。這些簡(jiǎn)化同時(shí)考慮到了降低平均復(fù)雜度和最壞情況下的復(fù)雜度。除此之外還有另外兩項(xiàng)編碼技術(shù)即MTT和DIMD，用以進(jìn)一步提高編碼效率。下面簡(jiǎn)要說一下簡(jiǎn)化的FRUC和簡(jiǎn)化的OBMC，以及簡(jiǎn)化的LIC。

2.1簡(jiǎn)化的幀率上變換FRUC

為了節(jié)省標(biāo)注運(yùn)動(dòng)信息的一些開銷，JEM-7.0模型中的內(nèi)部編碼塊可以支持FRUC模式。當(dāng)FRUC模式生效時(shí)，編碼塊的運(yùn)動(dòng)矢量（MVs）部分是不被標(biāo)注的，這些運(yùn)動(dòng)矢量會(huì)在解碼的時(shí)候經(jīng)特定的方式推導(dǎo)出來。JEM-7.0中有兩種FRUC模式。當(dāng)在模板匹配模式下時(shí)，這些運(yùn)動(dòng)矢量信息是從一系列的待選MV表得出，這些MV表信息是通過把一個(gè)編碼單元CU的相鄰重建樣本信息和實(shí)時(shí)參照?qǐng)D像的參照塊相鄰的重建樣本信息的差異做最小化來得出。當(dāng)在雙向匹配模式下時(shí)，這些運(yùn)動(dòng)矢量信息是通過把兩個(gè)不同時(shí)序參照?qǐng)D像中的不同運(yùn)動(dòng)軌跡的兩個(gè)參照塊的差異做最小化而得出。因此，SDR編碼機(jī)制為了簡(jiǎn)化這個(gè)過程，減少待選的運(yùn)動(dòng)矢量的個(gè)數(shù)，使用了一個(gè)運(yùn)動(dòng)矢量聚類的方法來降低FRUC模式的檢索復(fù)雜度。這個(gè)運(yùn)動(dòng)矢量聚類的方法包括三個(gè)步驟：（1）參照?qǐng)D像的選取;（2）MV的適配和修正;（3）MV的聚類。

2.1.1.參照?qǐng)D像的選取

JEM-7.0的FRUC運(yùn)動(dòng)搜索可以擁有多個(gè)參照?qǐng)D像。但是參照?qǐng)D像的增多卻又會(huì)增加對(duì)存儲(chǔ)器訪問的帶寬的占用。為了解決這個(gè)問題，可以采取在FRUC運(yùn)動(dòng)搜索中的參照?qǐng)D像序列中選取一個(gè)最頻繁的作為參照?qǐng)D像的辦法來達(dá)到上述目的。

2.1.2. MV的適配和修正

參照?qǐng)D像選好以后，就可以把最初的候選MV適配到所選擇的參考圖像中去來更新初始候選MV列表。由于MV適配后可能會(huì)有多個(gè)候選MV的值是相同的，因此在這里我們可以對(duì)MV進(jìn)行修正來去除冗余的候選MV，從而保證只保留互不相同的候選MV，進(jìn)一步進(jìn)行簡(jiǎn)化。

2.1.3. MV的聚類

為了降低FRUC運(yùn)動(dòng)搜索的運(yùn)算復(fù)雜度，我們還采用了一個(gè)稱作MV聚類的方法來減少被測(cè)試的候選MV數(shù)量。具體是在進(jìn)行FRUC運(yùn)動(dòng)搜索時(shí)，通過按照相似的原則對(duì)候選MV進(jìn)行分組，然后只使用每組中最靠近中間值的那個(gè)候選MV來實(shí)現(xiàn)，從而達(dá)到對(duì)FRUC的簡(jiǎn)化。

2.2. 簡(jiǎn)化的重疊塊運(yùn)動(dòng)補(bǔ)償OBMC

JEM-7.0模型使用OBMC來提高編碼效率和去除塊失真。OBMC可以適用于所有內(nèi)部編碼單元（CU）以及除去右面和底部邊界以外的所有邊界。而且，當(dāng)一個(gè)CU在子塊模式下（如FRUC，ATMVP和STMVP）被編碼時(shí)，OBMC適用于子塊的所有四個(gè)邊界。不同于JEM-7.0中OBMC是以光柵掃描順序來處理CU內(nèi)部子塊的方式，這里的OBMC采用分兩步的方法。第一步，被稱作“邊緣OBMC”，使用與當(dāng)前CU相鄰CU的MV來調(diào)整當(dāng)前CU頂部/左面邊緣的樣本。如果CU不是在子塊模式下編碼，OBMC進(jìn)行完第一步操作就結(jié)束了。否則繼續(xù)進(jìn)行第二步，即執(zhí)行“內(nèi)部OBMC”操作。在第二步操作中，樣本中的每個(gè)子塊，除了在第一步已經(jīng)調(diào)整過的CU邊界樣本，子塊中的頂部，左部，底部和右部邊界的樣本，都要用同一CU中相鄰子塊的MV進(jìn)行調(diào)整。這種OBMC方式，相鄰子塊的MV很可能是相同的，因此，使用這些MV的OBMC可以用一個(gè)大型塊的方式合并為一個(gè)MC（運(yùn)動(dòng)補(bǔ)償），從而降低操作的復(fù)雜度。基于這種考慮，使用了塊編組的方法來減少OBMC中所包含的MC數(shù)量。具體的說，就是在OBMC的邊界處理過程中，位于沿著同一個(gè)CU邊界（頂或底），并有同樣的運(yùn)動(dòng)方式的相鄰的4x4個(gè)相連塊，即被編組為一個(gè)塊組;對(duì)于每一個(gè)塊組，只執(zhí)行一個(gè)MC過程。對(duì)于內(nèi)部OBMC的處理，子塊的大小要與用于子塊級(jí)運(yùn)動(dòng)推導(dǎo)中所使用的大小相一致。下圖即這種簡(jiǎn)化的OBMC處理過程，箭頭和陰影分別表示所用的MV和每一步進(jìn)行調(diào)整的樣本區(qū)域。

2.3. 簡(jiǎn)化的局部亮度補(bǔ)償LIC

LIC是當(dāng)JEM模型中出現(xiàn)局部亮度變化時(shí)進(jìn)行亮度補(bǔ)償所用的一種編碼工具。在LIC模式啟動(dòng)時(shí)，一個(gè)CU（編碼單元）的各個(gè)樣本將根據(jù)當(dāng)時(shí)它相鄰圖像的重建樣本進(jìn)行預(yù)測(cè)。對(duì)于雙向預(yù)測(cè)CU，在JEM-7.0模型中，LIC的參數(shù)值是按兩個(gè)方向分別進(jìn)行估算和使用。然后，合并這兩個(gè)LIC并修正預(yù)測(cè)信號(hào)從而得出雙向預(yù)測(cè)信號(hào)。因而JEM-7.0模型是需要兩個(gè)獨(dú)立的LIC處理過程來進(jìn)行CU的雙向預(yù)測(cè)的。SDR編碼機(jī)制為了降低這種復(fù)雜性，對(duì)LIC進(jìn)行了簡(jiǎn)化，具體辦法是首先生成雙向預(yù)測(cè)信號(hào)，然后在這個(gè)雙向預(yù)測(cè)信號(hào)上只進(jìn)行一次的LIC參數(shù)估算。最后，把這個(gè)LIC參數(shù)值應(yīng)用到雙向預(yù)測(cè)信號(hào)上。下圖是雙向預(yù)測(cè)過程在JEM-7.0和簡(jiǎn)化的LIC下的對(duì)比示意圖。

3. HDR特定編碼工具

3.1. 環(huán)內(nèi)亮度重整形

環(huán)內(nèi)重映射（重整形）采用重新修正編碼環(huán)路內(nèi)的亮度編碼值來獲得更好的HDR編碼效率。環(huán)內(nèi)亮度重整形工具是以一對(duì)LUT表的形式來工作。只需對(duì)這一對(duì)LUT表中的一個(gè)作為參考值，另一個(gè)就可以依據(jù)這個(gè)參考值，通過計(jì)算來獲得。

每個(gè)LUT表都是個(gè)一維，10位，1024個(gè)入口的映射表，即1D-LUT表。其中的一個(gè)LUT表是一個(gè)正向LUT表，即FwdLUT，它把輸入的亮度編碼值Yi轉(zhuǎn)換為值Yr。另一個(gè)LUT表是反向LUT表，InvLUT，它把轉(zhuǎn)換后的編碼值Yr映射為輸入值Yi的最終重建值。經(jīng)過這種配置的LUT表可以更好地優(yōu)化視頻的主觀質(zhì)量或客觀指標(biāo)。

對(duì)于幀內(nèi)片重映射，只使用反向LUT表InvLUT，而對(duì)于幀間片重映射，則正向LUT表和反向LUT表都要使用，具體做法是在幀內(nèi)片和幀間片循環(huán)過濾之前，使用盡可能低的復(fù)雜度配置的LUT表來進(jìn)行這個(gè)重映射。

3.2. 基于亮度的QP預(yù)測(cè)

使用空間亮度相關(guān)QP適配器（LumaDQP）的同時(shí)，我們使用基于亮度的QP預(yù)測(cè)來有效地減少deltaQP句法比特率的過度增長。這是基于CU平均預(yù)測(cè)亮度值與原始亮度值十分接近的假設(shè)前提之下的。在這種情況下，當(dāng)接收到deltaQP句法后，解碼器就可以按照一個(gè)特定的流程得出那個(gè)CU實(shí)際編碼的QP值。

參考文獻(xiàn)：

[1]周蕓胡瀟郭曉強(qiáng).H.266/VVC視頻編碼圖像劃分技術(shù)研究.《廣播與電視技術(shù)》2019-11.

[2]陳璐俊郁梅等.面向多用戶的高動(dòng)態(tài)范圍視頻動(dòng)態(tài)范圍可分級(jí)編碼.《光電子激光》2018-08.