數(shù)字電影沉浸式音頻制作技術(shù)分析和實現(xiàn)方法探討

董強(qiáng)國

中國電影科學(xué)技術(shù)研究所(中央宣傳部電影技術(shù)質(zhì)量檢測所),北京 100086

1 引言

自2012年杜比推出Dolby Atmos全景聲格式,沉浸聲影廳進(jìn)入快速發(fā)展階段,隨后DTS和Auro Technologies等公司也推出自己的沉浸式音頻格式。近幾年我國部分廠家推出了自己的沉浸式音頻格式,如中國多維聲、Wanos全景聲、全息聲、22.5.8全景聲、飛達(dá)六面聲等。因不同品牌沉浸式音頻技術(shù)使用的是自有音頻格式,各系統(tǒng)間不兼容,造成多版本制作發(fā)行的壓力,因此成為制作方、發(fā)行方和影院采購方的重要絆腳石。制片方想避開格式之爭,擺脫一部電影制作多個版本所導(dǎo)致的時間和成本,渴望無論在哪個放映廳,內(nèi)容音效都能保持一致,且達(dá)到最佳狀態(tài)。發(fā)行方期望能夠一版兼容多版本的發(fā)行。影院投資方希望一套沉浸式音頻系統(tǒng)能夠播放所有的沉浸式音頻文件格式。

2013年美國電影電視工程師協(xié)會 (SMPTE)針對上述問題,在電影音響系統(tǒng)技術(shù)委員會 (TC-25CSS)內(nèi)成立了互操作沉浸聲工作小組開展相關(guān)研究。2018 年至今,電影電視工程師協(xié)會(SMPTE)陸續(xù)發(fā)布了SMPTE ST 2098-1:2018沉浸式音頻元數(shù)據(jù)、SMPTE ST 2098-2:2018沉浸式音頻比特流規(guī)范、SMPTE ST 2098-3:2019沉浸式音頻渲染預(yù)期效果和測試、SMPTE ST 2098-5:2018數(shù)字電影沉浸式音頻通道、SMPTE ST 429-18:2019 沉浸式音軌文件、SMPTE ST 429-19:2019沉浸式音頻DCP 包、SMPTE ST 2069-201:2021沉浸式音頻比特流插件等沉浸式音頻技術(shù)相關(guān)指導(dǎo)性文件。2019 年跨協(xié)會數(shù)字電影論壇 (ISDCF)組織電影行業(yè)技術(shù)公司 (如杜比、巴可、Xperi/DTS、D-Box)對基于SMPTE ST 2098系列的沉浸式音頻技術(shù)的互操作進(jìn)行了測試,結(jié)果表明,所有系統(tǒng)都能很好地進(jìn)行杜比Atmos文件的基礎(chǔ)播放,DTS內(nèi)容也可在杜比渲染器上播放,且D-Box動作數(shù)據(jù)和沉浸式音頻數(shù)據(jù)兼容良好。

隨著國際電影相關(guān)技術(shù)規(guī)范的發(fā)布和沉浸式音頻技術(shù)互操作測試的成功,為解決我國沉浸式音頻技術(shù)面臨的問題提供了很好的借鑒,本文利用我國現(xiàn)有的沉浸式音頻制作平臺,通過分析國內(nèi)外沉浸式音頻相關(guān)技術(shù)規(guī)范,提出一種能夠兼容現(xiàn)有制作系統(tǒng),且能夠符合國際標(biāo)準(zhǔn)技術(shù)規(guī)范的沉浸式音頻制作和混錄工具的研發(fā)思路,并基于Protools制作平臺研發(fā)了一套沉浸式音頻制作和混錄工具。

2 數(shù)字電影沉浸式音頻技術(shù)規(guī)范解讀

傳統(tǒng)5.1或7.1數(shù)字電影聲音制作采用的是基于聲道的制作概念,混錄后的每個音軌對應(yīng)還音端的每個聲道,聲音素材經(jīng)過終混后生成位深24bit、采樣頻率48k Hz或96k Hz的PCM、WAVE編碼格式的6通道或8通道音軌文件,然后通過數(shù)字電影DCP打包系統(tǒng),對其進(jìn)行加密、封裝打包,完成數(shù)字電影發(fā)行版的制作。

數(shù)字電影用沉浸式音頻制作與傳統(tǒng)的制作方式有很大的不同,它采用“基礎(chǔ)聲床+對象+元數(shù)據(jù)”的制作概念,元數(shù)據(jù)中攜帶聲音的運動輔助信息(如增益、運動軌跡坐標(biāo)等)實現(xiàn)音頻對象在時間和空間中的運動,通過沉浸式音頻渲染技術(shù)來還原三維聲場。然后將沉浸式音頻混錄后的音軌文件和元數(shù)據(jù)進(jìn)行沉浸式音頻碼流的編碼,將編碼后的沉浸式音視頻碼流進(jìn)行封裝打包和加密,完成數(shù)字電影沉浸式音頻DCP包的制作。美國電影電視工程師協(xié)會(SMPTE)針對沉浸式音頻的制作特點對沉浸式音頻制作核心內(nèi)容元數(shù)據(jù)、碼流和DCP包的制作制定了相關(guān)的技術(shù)指導(dǎo)性規(guī)范。

2.1 沉浸式音頻元數(shù)據(jù)技術(shù)規(guī)范

為了方便沉浸式音頻空間移動對象的制作,沉浸式音頻移動對象的制作方式采用“對象+元數(shù)據(jù)”的方式進(jìn)行。SMPTE ST 2098-1:2018規(guī)定了沉浸式音頻制作所需的元數(shù)據(jù),主要規(guī)定了音頻通道元數(shù)據(jù)、聲床元數(shù)據(jù)、對象元數(shù)據(jù)、空間坐標(biāo)系和空間坐標(biāo)系映射到數(shù)字電影沉浸式影廳的映射關(guān)系,主要內(nèi)容如下:

(1)每個通道應(yīng)具有唯一的標(biāo)識符,各通道元數(shù)據(jù)標(biāo)識與終端還音設(shè)備的路由關(guān)系需要進(jìn)行編碼。

(2)每個聲床應(yīng)具有唯一的標(biāo)識符,聲床元數(shù)據(jù)規(guī)定了基礎(chǔ)聲床軌道數(shù),如5.1(L、R、C、LFE、Ls、Rs)、7.1(L、R、C、LFE、Lss、Rss、Lrs、Rrs)、9.1(L、R、C、LFE、Lss、Rss、Lrs、Rrs、Lhs、Rhs)聲床。

(3)每個對象應(yīng)具有唯一的標(biāo)識符,對象元數(shù)據(jù)可以描述在三維空間中的大小、形狀、音頻對象的特性(如對話、音樂和特效),可以指定應(yīng)用于與音頻對象關(guān)聯(lián)的音頻本質(zhì)的增益、音頻對象呈現(xiàn)的時間間隔。

(4)定義了元數(shù)據(jù)可單獨控制增益的最小還音區(qū)域如表1所示。

表1 增益可控區(qū)域

(5)定義了音頻對象的移動軌跡空間坐標(biāo)及其與影廳的對應(yīng)關(guān)系。該坐標(biāo)使用的是笛卡爾相對坐標(biāo)系,使用X,Y,Z相互正交的空間笛卡爾坐標(biāo)系來定位音頻的空間位置,笛卡爾空間坐標(biāo)系如圖1所示。對象空間位置元數(shù)據(jù)為了能夠覆蓋影廳的所有區(qū)域,因影廳結(jié)構(gòu)通常為立方體結(jié)構(gòu),根據(jù)影廳的結(jié)構(gòu)對空間坐標(biāo)系進(jìn)行了立方體映射,對于X 軸參考點為左右立方面,對于Y 軸參考點為前后立方面,對于Z軸參考點為立方體的底部、中點和頂部。根據(jù)影廳的結(jié)構(gòu)對X,Y,Z坐標(biāo)系進(jìn)行了歸一化,該歸一化模型定義了X軸左面值=0、右面值=1,Y軸前面值=0、后面值=1,Z軸底值=0、頂值=1,中點值=0.5,立方體影廳坐標(biāo)映射實例如圖2 所示。

圖1 笛卡爾坐標(biāo)系

圖2 立方體影廳坐標(biāo)映射關(guān)系實例

2.2 沉浸式音頻碼流技術(shù)規(guī)范

混錄后的沉浸式音頻文件以128 個PCM 音頻文件+元數(shù)據(jù)的格式存在,為了方便數(shù)字電影DCP包的制作和還音,需要對其進(jìn)行編碼。SMPTE ST 2098-2規(guī)定了沉浸式音頻碼流技術(shù)規(guī)范,它將沉浸式音頻碼流分解成IAFrame結(jié)構(gòu),每個幀都對應(yīng)于一個圖像編輯單元。IAFram 元素包含解碼一幀音頻所需的所有音頻和元數(shù)據(jù)元素,IAFrame結(jié)構(gòu)由Bed Definition、Bed Remap、Object Definition、ObjectZoneDefinition19、AudioDataDLC、Audio-DataPCM、Authoring ToolInfo、UserData組成,各元素之間的繼承關(guān)系如圖3所示。

圖3 沉浸式音頻幀元素繼承關(guān)系

Bed Definition語法主要目的是告訴渲染器哪個特定的音頻元素應(yīng)該路由到哪個揚聲器或揚聲器陣列;ObjectDefinition語法主要目的是告訴渲染器哪個特定的音頻數(shù)據(jù)元素應(yīng)該被 “pannned”到影廳中的特定位置;AudioDataDLC 語法主要目的是用于對118個音頻文件進(jìn)行無損壓縮編碼;AudioDataPCM 語法是用于對118 個PCM 音頻文件進(jìn)行編碼;Authoring ToolInfo語法主要用于規(guī)定創(chuàng)建沉浸式音頻框架的供應(yīng)商和工具 (包括版本);User Data語法主要用于規(guī)定使用SMPTE 標(biāo)識的未定義的用戶數(shù)據(jù)。

2.3 沉浸式音頻DCP包制作技術(shù)規(guī)范

數(shù)字電影沉浸式音頻DCP 包由MXF 和XML文件共同組成,使用素材交換格式 (MXF)對圖像、聲音和字幕進(jìn)行封裝,使用可擴(kuò)展標(biāo)記語言(XML)對MXF文件進(jìn)行組織,生成合成播放列表(CPL)、打包列表 (PKL)和資產(chǎn)映射表等XML文件。SMPTE ST 429-18:2019主要規(guī)定了如何對符合SMPTE ST 2098-2規(guī)范的沉浸式音頻碼流進(jìn)行KLV 編碼和MXF封裝,沉浸式音頻封裝架構(gòu)如圖4所示。

圖4 沉浸式音頻封裝架構(gòu)

SMPTE ST 429-19:2019 對符合SMPTE ST 2098-2規(guī)范的沉浸式音頻DCP包進(jìn)行了約束,它規(guī)定所有攜帶沉浸式音頻核心的軌應(yīng)符合SMPTE ST 429-2 定義的SMPTE 打包格式。合成播放列表(CPL)中至少應(yīng)包含沉浸式音頻和主聲音資產(chǎn)的所有卷。沉浸式音頻合成的每個卷應(yīng)該包含沉浸式音頻元素,合成播放列表 (CPL)中的每個卷應(yīng)該包含沉浸式音頻元素,為了確保符合SMPTE ST 429-2的要求,主聲軌應(yīng)出現(xiàn)在每個卷上,并包含相同的通道數(shù)。沉浸式音頻DCP 包MXF 和XML 文件應(yīng)符合的標(biāo)準(zhǔn)規(guī)范如圖5所示。

圖5 數(shù)字電影沉浸式音頻DCP包規(guī)范

3 數(shù)字電影沉浸式音頻制作技術(shù)實現(xiàn)方法

目前,我國院線電影用沉浸式混錄棚多數(shù)采用的是基于Protools架構(gòu)的制作環(huán)境,沉浸式音頻制作硬件架構(gòu)如圖6所示。為了能夠與現(xiàn)有混錄設(shè)備保持良好的兼容性,需要在現(xiàn)有平臺的基礎(chǔ)上進(jìn)行沉浸式音頻制作、混錄和監(jiān)聽、編碼和打包工具的研發(fā)。符合相關(guān)國際規(guī)范的沉浸式音頻文件至少由“聲床+對象+元數(shù)據(jù)”組成,沉浸式音頻文件的制作首先將所提供的聲音素材混錄制作成符合SMPTE ST 2098-1規(guī)定的元數(shù)據(jù)格式的沉浸聲音頻素材,然后編碼成符合SMPT 2098-2碼流規(guī)范的沉浸聲母版文件,依據(jù)SPMTE ST 429-19 規(guī)定的打包規(guī)范進(jìn)行封裝打包,形成沉浸式音頻DCP包,沉浸式音頻制作系統(tǒng)標(biāo)準(zhǔn)符合性實現(xiàn)架構(gòu)如圖7所示。

圖6 沉浸式音頻制作系統(tǒng)硬件架構(gòu)

圖7 數(shù)字電影沉浸式音頻標(biāo)準(zhǔn)符合性實現(xiàn)架構(gòu)

3.1 沉浸式音頻制作實現(xiàn)方法

沉浸式音頻制作工具應(yīng)采用基于Protools架構(gòu)的制作環(huán)境,基于對象的制作方式,以聲床作為基礎(chǔ),對象為輔助的多聲道制作方式,主要用于沉浸式音頻對象的制作,該系統(tǒng)至少包含基礎(chǔ)聲床、基于對象的聲像和移動聲像控制工具。聲床和對象軌主要用于沉浸式音頻混錄素材的制作和播放,聲像控制工具主要用于移動對象的制作,并生成符合SMPTE ST 2098-1元數(shù)據(jù)。該系統(tǒng)至少應(yīng)具備以下功能要素:

(1) 采樣率:應(yīng)至少支持48k Hz的采樣率。

(2) 幀率:應(yīng)至少支持24/1、25/1、30/1、48/1、50/1、60/1 FPS。

(3) 聲床:應(yīng)支持7.1聲床軌(L,R,C,LFE,Lss,Rss,Lrs、Rrs)或支持9.1 聲床軌 (L、R、C、LFE、Lss、Rss、Lrs、Rrs、Lhs、Rhs)。

(4) 對象:應(yīng)支持118個對象軌,每個對象軌能夠獨立進(jìn)行聲像控制。

(5) 聲像控制:聲像控制工具應(yīng)能夠?qū)崟r控制特定聲音發(fā)聲時間、電平、位置、大小、移動特性等信息,對象可以在聲場內(nèi)移動,也可在單個位置重現(xiàn),或者通過特定的揚聲器重現(xiàn)。

(6) 聲像控制工具應(yīng)采用極坐標(biāo)的形式表現(xiàn)對象的運動軌跡,Panner建議使用鞋盒型,Panner對象位置映射到電影院的揚聲器陣列如圖8所示。

圖8 對象位置映射到電影院的揚聲器陣

3.2 沉浸式音頻混錄和監(jiān)聽實現(xiàn)方法

沉浸式音頻混錄和監(jiān)聽工具主要用于沉浸式音頻文件的混錄、對象元數(shù)據(jù)的生成和混錄效果的實時監(jiān)聽。該系統(tǒng)主要包括沉浸式音頻混錄工具、沉浸式音頻渲染工具和監(jiān)聽系統(tǒng)組成。沉浸式音頻混錄工具主要用于符合SMPTE 2098-2元數(shù)據(jù)格式的聲床、對象和元數(shù)據(jù)的錄制。沉浸式音頻渲染工具主要用于接收來自沉浸式音頻制作工具發(fā)送的聲床、對象和元數(shù)據(jù)信息渲染到影廳B 環(huán)電聲響應(yīng)系統(tǒng)中,實現(xiàn)沉浸式音頻的監(jiān)聽。該系統(tǒng)至少應(yīng)具備以下功能要素:

(1) 沉浸式混錄工具可實時錄制來自沉浸式音頻制作工具發(fā)出的聲床軌和對象軌音頻數(shù)據(jù)流。

(2) 沉浸式混錄工具可實時錄制來自沉浸式音頻制作工具發(fā)出的元數(shù)據(jù)流,所錄制的元數(shù)據(jù)格式應(yīng)符合SMPTE ST 2098-1:2018 沉浸式音頻元數(shù)據(jù)中規(guī)定的格式。

(3) 沉浸式音頻渲染工具可實時接收來自沉浸式音頻制作工具發(fā)出的音頻數(shù)據(jù)流。

(4) 沉浸式音頻渲染工具可實時接收來自沉浸式音頻制作工具發(fā)出的元數(shù)據(jù)。

(5) 沉浸式音頻渲染工具可以將元數(shù)據(jù)的對象位置信息渲染到影廳布局下的回放環(huán)境中,映射關(guān)系應(yīng)遵循X 軸0到1為影廳的左墻到右墻距離,Y軸0到1為影廳的前墻到后墻距離,Z 軸0到1為影廳的主揚聲器系統(tǒng)聲中心高度到天花板的距離。

(6) 沉浸式音頻渲染工具可將沉浸式音頻數(shù)據(jù)流實時渲染到終端還音通道中,實現(xiàn)沉浸式制作效果的監(jiān)聽回放。

3.3 沉浸式音頻編碼實現(xiàn)方法

沉浸式音頻編碼和打包工具主要用于將數(shù)字電影沉浸式音頻聲床、對象和元數(shù)據(jù)編碼成符合SMPTE ST 2098-2規(guī)范的碼流,進(jìn)行符合數(shù)字電影沉浸式音頻DCP包制作,沉浸式音頻編碼工具至少應(yīng)具備以下功能要素:

(1) 沉浸式音頻編碼工具應(yīng)支持9.1個聲床和118個對象音頻數(shù)據(jù)的DLC編碼。

(2) 支持采樣率為48k Hz,幀率24/1、25/1、30/1、48/1、50/1、60/1 FPS的沉浸式音頻碼流的編碼。

(3) 沉浸式音頻編碼的最小編輯單元是IAFrame,該編碼結(jié)構(gòu)應(yīng)具備BedDefinition、Bed-Remap、ObjectDefinition、AudioDataDLC、Object ZoneDefinition19、AudioDataPCM、Authoring-ToolInfo、User Data等要素。

(4) 沉浸式音頻數(shù)據(jù)元數(shù)據(jù)的相對距離編碼公式如下:

其中,XY 代表影廳左右和前后軸坐標(biāo),Z 代表影廳高度層坐標(biāo),D為無符號整數(shù),n代表比特數(shù)。

(5) 沉浸式音頻編碼工具應(yīng)符合SMPT ST 2098-2的碼流規(guī)范和SMPTE RDD 57:2021 對碼流的約束規(guī)范,編碼的主要規(guī)則如表2所示。

表2 沉浸式音頻編碼規(guī)則

3.4 沉浸式音頻打包實現(xiàn)方法

沉浸式音頻打包應(yīng)遵循SMPTE ST 429-18 《數(shù)字影院節(jié)目打包-沉浸式音頻軌道文件》規(guī)范,以專用音軌文件的形式承載,并應(yīng)按照SMPTE ST 429-19《數(shù)字影院節(jié)目打包-沉浸式音頻的DCP 操作約束》的所有規(guī)定進(jìn)行打包。制作的沉浸式音頻DCP包的格式應(yīng)符合SMPTE ST 429-2中的相關(guān)規(guī)定。沉浸式音頻打包工具至少應(yīng)具備以下功能要素:

(1) 沉浸式音頻打包工具應(yīng)能夠同時對圖像、5.1/7.1、沉浸式音頻母版的MXF 封裝、KDM 制作,數(shù)字電影沉浸式音頻打包和KDM 制作流程如圖9、10所示。

圖9 數(shù)字電影沉浸式音頻打包流程

圖10 數(shù)字電影KDM 制作流程

(2) 合成播放列表 (CPL)應(yīng)包含沉浸式音頻資產(chǎn)和主聲音資產(chǎn)的所有卷。

(3) 沉浸式音頻內(nèi)容密鑰應(yīng)由KDM 承擔(dān),內(nèi)容密鑰應(yīng)與SMPTE ST 430-1規(guī)定的 “MDEK”密鑰類型對應(yīng)。

4 沉浸式音頻碼流制作工具

我國院線電影沉浸式音頻制作多數(shù)采用的是基于Protools架構(gòu)的制作環(huán)境,數(shù)字電影沉浸式音頻核心制作軟件如動態(tài)對象制作工具、渲染器、編碼器等長期處于國外廠家技術(shù)壟斷狀態(tài),國內(nèi)用戶無法使用該工具制作符合國際規(guī)范的數(shù)字電影沉浸式音頻文件,導(dǎo)致國內(nèi)還音廠家無法獲得符合國際規(guī)范的節(jié)目源,造成制版較多,影響了我國還音技術(shù)廠家的積極性,嚴(yán)重阻礙了我國數(shù)字電影沉浸式音頻技術(shù)的發(fā)展。

基于上述原因,中國電影科學(xué)技術(shù)研究所 (中央宣傳部電影技術(shù)質(zhì)量檢測所)從國際標(biāo)準(zhǔn)符合性、與現(xiàn)有硬件設(shè)備兼容性和方便混錄師使用的易用性角度出發(fā),在基于Protools軟件環(huán)境下,研發(fā)了一套符合國際規(guī)范的沉浸式音頻元數(shù)據(jù)制作工具、沉浸聲渲染工具和沉浸式音頻編碼工具。該工具在原有沉浸式音頻制作平臺上的集成流程如圖11所示。

圖11 沉浸式音頻制作工具連接流程圖

該系統(tǒng)將聲像控制工具嵌入到Protools的對象軌實現(xiàn)對運動對象時間、空間和響度的控制,完成運動對象的制作。通過I/O 接口和網(wǎng)絡(luò)通信接口實時傳輸元數(shù)據(jù)、對象和聲床信息,完成沉浸式音頻數(shù)據(jù)向沉浸式音頻混錄系統(tǒng)的傳輸。沉浸式音頻混錄系統(tǒng)接收到相關(guān)信息后進(jìn)行實時的渲染,實現(xiàn)實時混錄監(jiān)聽,同時進(jìn)行元數(shù)據(jù)、對象和聲床文件的錄制。最后通過編碼工具將所錄制的沉浸式音頻文件編碼成符合SMPTE ST 2098-2 規(guī)范的沉浸式音頻碼流。該系統(tǒng)的主要功能如表3所示。

表3 沉浸式音頻制作和混錄系統(tǒng)主要功能

5 總結(jié)

SMPTE 2098系列沉浸式音頻相關(guān)標(biāo)準(zhǔn)的發(fā)布,為實現(xiàn)我國沉浸式音頻技術(shù)制版的相對統(tǒng)一和系統(tǒng)間的互操作以及國產(chǎn)沉浸式音頻技術(shù)的發(fā)展提供了很好的技術(shù)借鑒。為了盡快補(bǔ)齊我國在沉浸聲技術(shù)領(lǐng)域的短板,盡早實現(xiàn)數(shù)字電影沉浸式音頻制版的統(tǒng)一化和標(biāo)準(zhǔn)化,本文對符合國際規(guī)范的沉浸式音頻規(guī)范進(jìn)行了解讀,針對現(xiàn)有沉浸式音頻制作系統(tǒng)的技術(shù)特點,提出了一套能夠兼容現(xiàn)有硬件環(huán)境和符合國際規(guī)范要求的沉浸式音頻制作和混錄實現(xiàn)方法,并在基于Protools的制作環(huán)境下嵌入自研的沉浸式音頻聲像控制工具,可進(jìn)行符合SMPTE ST 2098-1規(guī)范的沉浸式音頻動態(tài)對象的制作。研制的數(shù)字電影沉浸式音頻混錄軟件,可進(jìn)行符合SMPTE ST 2098-1規(guī)范的沉浸式音頻的實時渲染、監(jiān)聽和錄制。研制的數(shù)字電影沉浸式音頻編碼工具,可進(jìn)行符合SMPTE ST 2098-2規(guī)范的沉浸式音頻碼流的編碼。