中國超高清HDR、3D Audio應(yīng)用的考慮

丁文華 中國工程院信息與電子工程學部院士

1.引言

從去年開始，業(yè)界非常關(guān)注一個重要的主題，就是4K電視的發(fā)展，這是廣電界的一件大事。4K電視的發(fā)展涉及面非常多，其中有兩個重要的因素：高動態(tài)范圍HDR和三維聲3D Audio。兩年前廣電總局和工信部聯(lián)合成立4K HDR和三維聲工作組，起草中國面向超高清4K的HDR和3D Audio的標準，這項工作目前已基本完成。

2.中國4K/UHD標準化情況

中國4K/UHD標準化的體系，面向終端的標準主要涉及到三項，一是編碼壓縮的標準，二是高動態(tài)范圍HDR標準，三是3D Audio的標準。

編碼壓縮的標準AVS2已于2016年發(fā)布行標與國標，2018年1月，工作組完成ITU-R BT.2100和ITU-R BS.2051引標工作，廣電總局發(fā)布《高動態(tài)范圍電視節(jié)目制作和交換圖像參數(shù)值》和《用于節(jié)目制作的先進聲系統(tǒng)》標準。2018年3月，HDR標準草案提交廣電總局科技司審批；3D Audio標準草案基本完成，將于近期提交廣電總局科技司審批。

3. 4K內(nèi)容供應(yīng)

從4K的內(nèi)容供應(yīng)上來講，全球?qū)?K內(nèi)容的關(guān)注度都非常高，全球廣播者從體育、綜藝、紀錄片類型重點發(fā)力。奧運會歷來都是展示廣播電視最新技術(shù)的主要關(guān)注點。2018年平昌冬奧會進行了基于標準動態(tài)范圍SDR 的4K超高清電視轉(zhuǎn)播。2018年俄羅斯世界杯已經(jīng)提供了全部64場比賽基于高動態(tài)范圍HDR 的4K超高清電視轉(zhuǎn)播。2020東京奧運會計劃采用基于SDR和部分HDR的4K+8K超高清電視轉(zhuǎn)播。2022北京冬奧會將會全面采用基于HDR的4K超高清電視公共信號，同時還會提供部分8K超高清電視轉(zhuǎn)播信號。

圖1 中國4K/UHD標準系列

從國內(nèi)4K內(nèi)容供應(yīng)發(fā)展來看，中國即將進入4K/UHD和HD并存時代，廣電體系應(yīng)及早進行頻道規(guī)劃，針對體育、娛樂、專題紀錄片、電影、電視劇優(yōu)先考慮開通4K頻道。央視計劃于今年10月1日開播CCTV 4K頻道，主要內(nèi)容還是面向體育、娛樂、專題紀錄片、電視劇， 4K不會再走之前的標清頻道和高清頻道同播的過程，而是應(yīng)該獨立開出新的4K超高清的電視頻道。

考慮到制作成本和周期，內(nèi)容制作可選擇HDR或SDR、3D Audio或環(huán)繞聲，同時配套相關(guān)政策鼓勵包括社會力量在內(nèi)的資源制作4K/UHD HDR和3D Audio節(jié)目。鼓勵4K/UHD節(jié)目和內(nèi)容多渠道傳輸和分發(fā)。

4. HDR節(jié)目制作

關(guān)于HDR的節(jié)目制作，一個是直播場景，一個是后期制作場景。關(guān)于直播場景，參考奧運會、世界杯等賽事轉(zhuǎn)播方案，現(xiàn)階段各方一致認同采用HLG、1000nit、BT.2020進行端到端傳輸?，F(xiàn)場制作輸出4K HDR+HD SDR。如采用PQ或更高亮度的HLG制作，需考慮元數(shù)據(jù)（靜態(tài)+動態(tài)）的提取和傳輸 。

后期制作場景應(yīng)是面向ENG + NLE場景；支持PQ、HLG、S-Log3等多種曲線制作；現(xiàn)階段主要面向1000nit、BT.2020制作，今后向2000nit擴展。

4.1 4K HDR+ HD SDR直播場景方案

4K HDR+ HD SDR直播場景方案有三種方案可供選擇，分別是標準制作方式、兼顧場景方式和Side by Side方式。

4.1.1 方案一 標準制作方式

基于4K HDR制作，可根據(jù)需要在切換臺輸出4K HDR后，進行下變換生成HD SDR。

切換臺前端引入HD SDR信號，需進行BT.709至BT.2020的色域變換，反之也是如此。（注：部分4K攝像機輸出BT.709信號，此類信號也需轉(zhuǎn)換）

4.1.2 方案二 兼顧場景方式

兼顧場景方式索尼已經(jīng)推介了近兩年時間。標準制作方式的一個最大問題是基于4K HDR進行制作后，進行下變換生成的HD SDR內(nèi)容可能達不到技術(shù)要求，出現(xiàn)曝光過度。索尼提供的兼顧場景方式實際上仍然是在末端轉(zhuǎn)換，但是在制作前端通過攝像機的6db到8db的增益差，來管控同時輸出的HDR和HD SDR兩種節(jié)目都達到要求。兼顧場景方式見圖2。

4.1.3 方案三 Side by Side方式

圖2 兼顧場景方式（索尼提供）

side by side方式，實際上攝像機前端同時輸出side by side方式，攝像機前端同時輸出HLG/BT.2020和SDR/BT.709信號分別給兩個視頻切換系統(tǒng)，兩個切換系統(tǒng)采取同步切換，分別輸出4K HDR信號和HD SDR信號，而不是在切換臺末端進行下變換生成HD SDR。實際上業(yè)界也討論很長時間，side by side方式涉及一個很關(guān)鍵的問題，就是根據(jù)最終要實現(xiàn)的效果，選擇BT.709或者BT.2020作為彩色和亮度基準Side by Side方式見圖3。

4.2 2018世界杯4K HDR制作

2018世界杯4K HDR制作采用雙層的工作流程。標準層為1080P/50 SDR REC.709，增強層為UHD 2160P/50 HDR BT.2020。采用兩套視頻切換系統(tǒng)，8臺攝像機雙路輸出UHD/ HDR和1080P/SDR信號，11臺攝像機雙路輸出1080P/HDR和1080P/SDR信號，還有21臺攝像機只輸出1080P/SDR信號，按照標準層和增強層分別輸出，再通過格式轉(zhuǎn)換器得到1080P HD HDR信號和1080I HD SDR信號，以及基于不同曲線HLG、PQ和Slog-3的4K HDR信號。

圖3 Side by Side方式

圖4 2018世界杯基于雙層的工作流程

2018世界杯基于雙層的工作流程見圖4。

4.3 后期制作

ENG可以基于HLG采用傳統(tǒng)相對亮度方法拍攝，也可以基于PQ采用絕對亮度方法拍攝。

NLE非編工作站要支持色域變換（BT.709<=>B T.2020 ）、曲線變換（PQ、HLG、S-Log3等）、色彩管理（確保整幅畫面色調(diào)統(tǒng)一）、靜態(tài)元數(shù)據(jù)輸出（動態(tài)元數(shù)據(jù)可放在壓縮編碼前端生成），輸出文件包含HDR元數(shù)據(jù)、色域和曲線信息 。

5. 三維聲3D Audio

5.1 3D Audio揚聲器布局模型

圖5是ITU-R BS.2051的3D Audio揚聲器布局模型。在ITU-R BS.2051的多種聲音格式中，現(xiàn)在推薦的是4+5+0格式。

5.2 3D Audio制作模式

3D Audio制作模式見圖6。三維聲制作包含基于聲道（Channel-based）的聲床制作，和基于對象（Object-based）的特殊元素的渲染制作，有兩類元素可作為對象，一類是對白及解說（Dialog Enhancement）， 另一類是獨立聲音元素（鳥叫、飛機轟鳴等）。此次標準中暫不包括基于場景（Scenebased）的制作，留待下一階段補充。

5.3 3D Audio元數(shù)據(jù)

5.3.1 元數(shù)據(jù)內(nèi)容

（1）支持響度控制、下混控制、聲道描述、LFE聲道開關(guān)、節(jié)目相關(guān)信息描述、節(jié)目類型描述等信息；

（2）具有對object對象在三維聲場中的坐標定位、運動軌跡、音量大小、對象聲音有無等信息的描述；

（3）元數(shù)據(jù)的承載通常占用第16聲道。

國內(nèi)標準把元數(shù)據(jù)承載放在了第16通道。元數(shù)據(jù)不再靠另外一個輔助數(shù)據(jù)通道來傳而是把它嵌入到SDI，這種方法處理最簡單，目前各家的前端的制作工具都已支持。

圖5 3D Audio揚聲器布局模型（ITU-R BS.2051）

圖6 3D Audio制作模式（ITU-R BS.2051）

5.3.2 元數(shù)據(jù)規(guī)范

目前已有多種3D Audio制作工具，大大豐富Object制作手段。不同制作工具生產(chǎn)的元數(shù)據(jù)需要統(tǒng)一的規(guī)范，ITU-R BS.2076定義的音頻定義模型（ADM）涉及多種元素和場景，下一步工作組計劃考慮ITU-R形成針對廣電的ADM模型（Broadcast Profile）。

6.播出系統(tǒng)要求

6.1 HDR元數(shù)據(jù)傳遞

（1）直播信號場景

對HLG信號，不需處理。對PQ信號，通過UHD-SDI傳遞元數(shù)據(jù)給傳輸編碼。

（2）制作文件場景

對于文件，Player能夠解析元數(shù)據(jù)，根據(jù)需要封裝到UHD-SDI里。

（3）流式分發(fā)場景

基于HLS或MPEG-DASH進行Streaming元數(shù)據(jù)封裝，終端可以解析呈現(xiàn)。

6.2 質(zhì)量管控

對HDR、3D Audio內(nèi)容提供檢測驗證，確保相關(guān)信息完備、合規(guī)。

6.3 音頻

解決立體聲、環(huán)繞聲、三維聲混合播出。完成響度控制、Downmix 播出功能。

6.4 視頻

解決HDR、SDR混合播出。對插入在HDR節(jié)目間的SDR節(jié)目（如廣告）做修正，使SDR內(nèi)容看起來類似HDR內(nèi)容，減少觀看不適感覺。

6.5 SDR 至 HDR的上變換

SDR內(nèi)容無法完美還原成HDR內(nèi)容。HDR的灰度細節(jié)丟失，SDR彩色空間比HDR小得多。

可以通過綜合平衡SDR內(nèi)容的色調(diào)、色彩飽和度和亮度值，從而獲取look-like HDR的SDR增強內(nèi)容。

7. 新一代編碼體系

7.1 視頻編碼

圖7 Rec.2020色域空間與Rec.709色域空間比較

圖8 如何獲取look-like HDR的SDR增強內(nèi)容

（1）測試結(jié)果表明AVS2與HEVC性能相當，RD 19.1版本已完成針對HDR的優(yōu)化，面向HDR編碼與面向SDR編碼的碼率差別在10%以內(nèi)。

（2）國內(nèi)已有至少3家公司支持AVS2編碼器生產(chǎn)，可支持4K 50P、10bit、BT.2020編碼，碼率可支持30M-36M，延時特性基本滿足需求。

（3）下一步計劃構(gòu)建基于云計算的AVS2在線編碼云平臺。

7.2 音頻編碼

（1）建立16通道三維聲傳輸體系，與現(xiàn)有6通道環(huán)繞聲傳輸體系兼容并存

（2）中國3D Audio標準傳輸編碼與MPEG-H契合，因此海外節(jié)目互聯(lián)網(wǎng)服務(wù)的編碼適配不存在障礙。

8. HDR元數(shù)據(jù)與AVS2承載關(guān)系

HDR標準通過審查后，將啟動AVS2國標對應(yīng)內(nèi)容的修改更新工作。

9. 中國HDR標準與HEVC的適配

國內(nèi)的海外節(jié)目互聯(lián)網(wǎng)服務(wù)，對中國HDR標準提出適配HEVC編碼的潛在需求。中國HDR標準考慮在ITU-T T.35的體制下適配HEVC編碼體系。

10. 內(nèi)容保護

圖9 AVS2行標中對HDR元數(shù)據(jù)的描述

4K制作成本增高使內(nèi)容市場對版權(quán)保護需求更加迫切；ChinaDRM已形成完整的標準和生態(tài)體系，能有效對4K節(jié)目實現(xiàn)版權(quán)保護；ChinaDRM已得到好萊塢認可，國內(nèi)產(chǎn)業(yè)化進程正在按部就班推進。中國的版權(quán)保護體系見圖11。

11. 終端產(chǎn)業(yè)適配

支持中國HDR標準的芯片基本具備，支持中國3D Audio標準的芯片計劃今年下半年推出，支持China DRM Enhance Profile的高安全芯片已經(jīng)具備。HDR、3D Audio引入，將會帶動新一輪面向50P/60P、HDR、3D Audio的設(shè)備升級，運營商（有線運營商、IPTV運營商、直播星運營商）和OTT機頂盒提供商需指定設(shè)備更新的規(guī)劃和準備。

廠家應(yīng)按照中國HDR的需求和標準推出新一代4K電視機，電視機廠家和屏幕生產(chǎn)廠家要共同解決高亮度屏的支持問題

圖11 中國的版權(quán)保護體系

圖12 央視2018世界杯4K HDR+3D Audio實驗系統(tǒng)實景

圖13 2018世界杯HDR+3D Audio測試流程圖

12.央視新址2018世界杯實驗系統(tǒng)

在央視新址，工作組聯(lián)合飛利浦+特藝、動聽（Fraunhofer）、捷成（Auro 3D）、Junger、柯維新、海思、創(chuàng)維公司共同搭建完成了4K HDR+3D Audio的端到端實驗環(huán)境。目前已打通全部技術(shù)環(huán)節(jié)，集成和驗證中國HDR和3D Audio標準的應(yīng)用方法。

2018世界杯HDR+3D Audio測試流程見圖12。

圖13中:

（1）P&T提供基于服務(wù)器的HDR動態(tài)元數(shù)據(jù)生成方案，日后也應(yīng)集成入AVS2編碼器

（2）Fraunhofer、Auro 3D、Junger三家已完成3D Audio直播和后期制作Metadata數(shù)據(jù)生成的集成

（3）3D Audio編碼功能已經(jīng)集成入柯維新AVS2編碼器

（4）海思機頂盒芯片已可支持中國HDR、3D Audio標準（草案），創(chuàng)維基于海思芯片已完成IPTV/OTT機頂盒的集成

（5）Auro 3D渲染功能已集成入Fraunhofer AVR設(shè)備，可有效完成3D Audio音頻的解碼和渲染

13.總結(jié)

中國HDR、3D Audio標準即將頒布，將有效引領(lǐng)中國超高清產(chǎn)業(yè)發(fā)展，并帶動消費電子終端產(chǎn)業(yè)發(fā)展。中國推廣4K/UHD所需的產(chǎn)業(yè)化條件基本具備，2018年下半年將會加快產(chǎn)業(yè)部署行動。4K/UHD節(jié)目制作需積累經(jīng)驗，相關(guān)制作規(guī)范要逐步完善，但總體而言沒有不可克服的障礙，應(yīng)該立即實施。

未來5年是中國4K/UHD發(fā)展的黃金時期，廣電界應(yīng)抓住機遇，攜手產(chǎn)業(yè)鏈相關(guān)各方共同推動產(chǎn)業(yè)加速發(fā)展。