5G賦能4K/8K超高清電視制播

王 晶

（中央廣播電視總臺(tái)，北京 100789）

0 引 言

在媒體產(chǎn)業(yè)的高速成長(zhǎng)過(guò)程中，無(wú)論是廣播網(wǎng)絡(luò)或者互聯(lián)網(wǎng)傳播，均出現(xiàn)明顯的變化。5G出現(xiàn)后，也投入到媒體視頻領(lǐng)域，給廣電行業(yè)的現(xiàn)代化成長(zhǎng)創(chuàng)造了更多的機(jī)會(huì)。從廣電行業(yè)角度來(lái)講，如何運(yùn)用5G技術(shù)制作出4K/8K的節(jié)目，優(yōu)化大眾的體驗(yàn)感，會(huì)是今后“智慧廣電”的主要方向。

1 電視媒體發(fā)展?fàn)顟B(tài)

現(xiàn)如今，國(guó)內(nèi)電視媒體的建設(shè)正在由高清（High Definition，HD）往 超 高 清（Ultra High Definition，UHD）的級(jí)別發(fā)展，要充分借助5G網(wǎng)絡(luò)及其他信息手段，打造4K/8K的超高清形式，促使制播程序持續(xù)改進(jìn)，推進(jìn)電視媒體及整個(gè)媒體行業(yè)的現(xiàn)代化成長(zhǎng)?，F(xiàn)如今，超高清視頻話題屬于5G技術(shù)方面比較關(guān)注的問(wèn)題，而且是5G技術(shù)商業(yè)應(yīng)用的亮點(diǎn)。5G提供的低延時(shí)、邊緣計(jì)算、高速率等，均給超高清視頻的落實(shí)提供了優(yōu)質(zhì)的技術(shù)條件。

從廣電總局的統(tǒng)計(jì)資料來(lái)看，單就2019年，智慧化廣電是行業(yè)的重點(diǎn)建設(shè)項(xiàng)目，主動(dòng)促進(jìn)媒體融合，開拓新型的業(yè)態(tài)格局。國(guó)內(nèi)電視媒體的節(jié)目制作時(shí)間超過(guò)345萬(wàn)小時(shí)，而播出時(shí)間接近1 951萬(wàn)小時(shí)。常規(guī)的電視廣告創(chuàng)造的收益高到998億元，雖然同比有所下降，但其基數(shù)依舊不容忽略。同時(shí)，新媒體廣告收益也在194億元以上，漲幅超過(guò)25%。國(guó)內(nèi)有線電視的安裝用戶規(guī)模有超過(guò)兩億戶，且高清用戶占比在50%左右，使用智能終端的用戶也達(dá)到數(shù)千萬(wàn)戶。對(duì)比以往有線電視的情況來(lái)看，用戶規(guī)模確實(shí)在縮小中，而高清及超高清、智能終端的使用者在不斷擴(kuò)張，相應(yīng)的付費(fèi)用戶也在增多。有線電視的網(wǎng)絡(luò)項(xiàng)目收益有減少跡象，IPTV及OTT的收益規(guī)模在擴(kuò)大，網(wǎng)絡(luò)視聽高收益穩(wěn)步上升，成為當(dāng)代廣電領(lǐng)域成長(zhǎng)的重點(diǎn)[1]。

2 4K/8K超高清的實(shí)現(xiàn)

清晰度提升是電視媒體比較重要的發(fā)展目標(biāo)，實(shí)現(xiàn)4K/8K超高清視頻是必然道路。鑒于常規(guī)電視廣告獲益規(guī)模不斷縮小，且傳統(tǒng)用戶一般還處于高清級(jí)別，若想在短期內(nèi)實(shí)現(xiàn)全面的超高清制播，顯然是不具備可行性的。因而，目前應(yīng)當(dāng)從改進(jìn)制播模式入手。

2.1 虛擬切換

在網(wǎng)絡(luò)愈發(fā)成熟、不斷普及過(guò)程中，IP手段的運(yùn)用范圍持續(xù)擴(kuò)大，而且其交換方式在可靠性、可控性、魯棒性等方面都表現(xiàn)出特殊的優(yōu)勢(shì)。運(yùn)用IP技術(shù)，可以將計(jì)算、通信、存儲(chǔ)集約化處理，構(gòu)成統(tǒng)一的數(shù)據(jù)服務(wù)平臺(tái)。4K/8K系統(tǒng)的建設(shè)需運(yùn)用到IP框架，從信號(hào)源形成到最終的數(shù)據(jù)輸出，均基于4K/8K進(jìn)行制作。利用COTS交換機(jī)，改變其葉脊框架，能提升信號(hào)處理水平。同時(shí)，搭配控制系統(tǒng)，支持全過(guò)程管控，方便迅速切換畫面場(chǎng)景。另外，音頻系統(tǒng)同樣要滿足IP化的管控與數(shù)據(jù)傳輸，要能輸出環(huán)繞聲與三維聲。

現(xiàn)階段，國(guó)內(nèi)大多數(shù)電視媒體已完成高清轉(zhuǎn)變，但相應(yīng)的演播室使用年限較短，基于經(jīng)濟(jì)性的考慮，無(wú)法直接拆掉以支持超高清建設(shè)。面對(duì)此困境，通過(guò)IP手段與多通道收錄技術(shù)，能為當(dāng)前的HD演播室創(chuàng)造實(shí)現(xiàn)4K的機(jī)會(huì)。4K的虛擬切換是在高清級(jí)別的節(jié)目制作過(guò)程中，HD切換臺(tái)借助Tally把切換時(shí)刻與特技形式、信號(hào)源數(shù)據(jù)傳送到4K合成服務(wù)裝置中，由其按照接收的資料，制作4K PGM。整個(gè)過(guò)程的運(yùn)行機(jī)理是：用4K攝像機(jī)替代HD設(shè)備，可以一同發(fā)送HD SDI與4K IP的內(nèi)容，HD SDI直接連接到HD切換臺(tái)，4K IP則經(jīng)過(guò)多通道收錄服務(wù)器，由此支持畫面切換與疊畫設(shè)置。利用類似的原理，基于4K的虛擬切換開發(fā)8K級(jí)別的技術(shù)。從實(shí)際檢測(cè)結(jié)果來(lái)看，4K與HD之間有6 s左右的延時(shí)，而8K則對(duì)應(yīng)25 s左右的延時(shí)，展現(xiàn)出顯著的可靠性。2017年和2018年，中央廣播電視總臺(tái)在春晚運(yùn)用4K虛擬切換；而在2019年和2020年的春晚中，總臺(tái)使該項(xiàng)技術(shù)的運(yùn)用更為豐富。在4K與HD同時(shí)運(yùn)用的方案下進(jìn)行制播，僅增設(shè)4K攝像機(jī)與相應(yīng)的收錄系統(tǒng)、切換系統(tǒng)即可，能讓HD同步制播超高清的電視視頻。該過(guò)程要求攝影人員可以靈活應(yīng)用新裝備，實(shí)際的造價(jià)投入量只有一千萬(wàn)元左右。

2.2 IMR運(yùn)用

電視媒體需要完成節(jié)目策劃與技術(shù)落實(shí)，超高清技術(shù)實(shí)現(xiàn)后，對(duì)電視節(jié)目的畫面輸出在諸多方面都提出新的標(biāo)準(zhǔn)。

（1）內(nèi)容制作。受眾接收到大量的影視作品，風(fēng)格及各類要求逐漸多元化。

（2）技術(shù)制作。作品輸出的畫面在光效、仿真度等方面的標(biāo)準(zhǔn)有所提高，加上媒體行業(yè)運(yùn)行節(jié)奏不斷加快，留給前期制作的時(shí)間不多，需要從業(yè)者能在短時(shí)間內(nèi)制作出高品質(zhì)的節(jié)目。

（3）技術(shù)標(biāo)準(zhǔn)。按照電影與電視的相關(guān)技術(shù)要求，4K/8K級(jí)別下，在色彩及幀率等方面，電視節(jié)目均要超過(guò)電影的品質(zhì)，這給電視制作程序中的視覺畫面優(yōu)化帶來(lái)新的難題。

為保證超高清畫面的節(jié)目品質(zhì)，可借鑒電影創(chuàng)作方式，應(yīng)用IMR技術(shù)。此制作思路是前后期一體化，綜合計(jì)算機(jī)視覺、三維聲、人工智能等技術(shù)，打造出沉浸式的節(jié)目效果，支持動(dòng)態(tài)特效制作，強(qiáng)調(diào)視頻與音頻的處理。IMR模式的突出特征為：基于MR技術(shù)和動(dòng)態(tài)場(chǎng)景設(shè)計(jì)，添加畫面效果，提高節(jié)目視覺的獨(dú)特性，形成在原創(chuàng)模式下的制作格局；改進(jìn)工藝程序，把后期渲染制作轉(zhuǎn)移至演播現(xiàn)場(chǎng)，直接進(jìn)行現(xiàn)場(chǎng)特效處理，促使制播效率提高；集約化管理，通過(guò)不同技術(shù)手段的有效結(jié)合，支持4K高品質(zhì)的特效處理。

IMR以攝、錄、編等裝置的集約化管控為中心，將實(shí)地拍攝與數(shù)字化制作、內(nèi)容切換等實(shí)現(xiàn)總體結(jié)合，把攝影及音視頻等都集中起來(lái)，依托于攝影鏡頭完成整體管控?；诖耍F(xiàn)場(chǎng)拍攝期間，通過(guò)深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，全過(guò)程跟蹤目標(biāo)對(duì)象、識(shí)別人物動(dòng)作，為節(jié)目拍攝制作提供統(tǒng)領(lǐng)指導(dǎo)。數(shù)字化畫面制作是運(yùn)用數(shù)字雕刻與動(dòng)態(tài)生成特效氛圍等手段，形成物理仿真的畫面內(nèi)容。此外，內(nèi)容切換管控需完成所有相關(guān)的文件管理及生產(chǎn)，基于分布式架構(gòu)處理網(wǎng)絡(luò)及音視頻[2]。

2.3 虛擬現(xiàn)實(shí)

在當(dāng)前常規(guī)的VR全景中，用戶端能夠看到虛擬現(xiàn)實(shí)的畫面。在前期采集素材期間，一般會(huì)進(jìn)行畫面拼接，如果現(xiàn)場(chǎng)條件復(fù)雜，而且光線角度有明顯不同，會(huì)導(dǎo)致接縫處不自然。觀看此類VR視頻畫面時(shí)，容易引發(fā)不適感。該類VR作品的信號(hào)品質(zhì)不高，不能成為4K的數(shù)據(jù)源。所以，選擇把虛擬現(xiàn)實(shí)和廣播級(jí)的制作系統(tǒng)搭配起來(lái)，保證該類視頻數(shù)據(jù)的品質(zhì)。虛擬網(wǎng)絡(luò)交互制作模式（VNIS）會(huì)把通過(guò)全景攝像機(jī)采集的超高清素材，借助5G網(wǎng)絡(luò)上傳到包裝渲染引擎，而后將處理后的全景信號(hào)與對(duì)應(yīng)演播室的攝像機(jī)信號(hào)合成起來(lái)，得到虛實(shí)結(jié)合的信號(hào)數(shù)據(jù)，傳送到演播室，使室內(nèi)人物和外場(chǎng)實(shí)景有效交互。利用這種方法，能擴(kuò)大畫面涵蓋的內(nèi)容量，根據(jù)節(jié)目策劃需要進(jìn)行合成處理，讓人物能夠在不同場(chǎng)景中切換，提升節(jié)目的交互程度，帶給受眾全景視頻的畫面。同時(shí)，5G技術(shù)支持回傳大量視頻流，后方服務(wù)器也會(huì)先獲取相對(duì)高品質(zhì)的VR資料，借助VNIS切換單元實(shí)現(xiàn)同步處理制播。電視節(jié)目的音頻制作方面，同時(shí)運(yùn)用VR與普通的話筒，采集各方位的聲音素材以整合成三維聲，讓音視頻保持同步狀態(tài)，增強(qiáng)節(jié)目的沉浸效果。

2.4 AI技術(shù)

2.4.1 AI語(yǔ)音

在原有的電視媒體作品中，視頻字幕處理的工作量較大，而且后期要進(jìn)行人工配音，導(dǎo)致節(jié)目前期制作周期偏長(zhǎng)。人機(jī)耦合字幕與AI配音制作，在節(jié)目制作期間能減少人力投入，并保證字幕的正確性與配音品質(zhì)，可簡(jiǎn)化此環(huán)節(jié)的制作程序，將字幕與聲音運(yùn)用到全部畫面場(chǎng)景中。

ASR技術(shù)可以把人類語(yǔ)言迅速轉(zhuǎn)化為文本信息，而在轉(zhuǎn)化過(guò)程中，語(yǔ)言識(shí)別是較為關(guān)鍵的部分，要求進(jìn)行不間斷的轉(zhuǎn)化。隨著移動(dòng)網(wǎng)絡(luò)的發(fā)展，數(shù)據(jù)規(guī)模與計(jì)算能力也在不斷強(qiáng)化，這使ASR技術(shù)得以運(yùn)用到實(shí)際中。

TTS技術(shù)可把所有文字內(nèi)容實(shí)時(shí)轉(zhuǎn)變成語(yǔ)音輸出。此合成系統(tǒng)包括前端與后端。其中，前端負(fù)責(zé)獲取錄入文本對(duì)應(yīng)的語(yǔ)言學(xué)數(shù)據(jù)，包括詞性、多音字及韻律等，傳送至后端。前端處理好的數(shù)據(jù)利用后端輸出語(yǔ)言波形，完成合成處理。操作人員把文字稿上傳到合成模塊，合成后的資料支持預(yù)聽，可調(diào)整音量、語(yǔ)速等，把帶有語(yǔ)法層次的數(shù)據(jù)回傳至后端，通過(guò)韻律解析，從音庫(kù)內(nèi)篩選出最適宜的素材，通過(guò)調(diào)節(jié)與拼接制作出音頻。

2.4.2 圖像文字的特征處理

電視節(jié)目審核一般利用人工篩選其中不合規(guī)的信息，此種審核處理方式有較高的錯(cuò)誤風(fēng)險(xiǎn)。人工智能技術(shù)可以提升分析性能，借助AI篩選出特征內(nèi)容，完成內(nèi)容審核及編目，加快兩項(xiàng)工作的推行速度。電視節(jié)目審片期間，AI能直接篩選出文本稿中的敏感詞匯與錯(cuò)別字，并支持基本的瀏覽操作，可集中輸出字幕內(nèi)容，輔助審片者高效瀏覽字幕。同時(shí)，可借助人臉識(shí)別技術(shù)篩選出敏感人物形象，減輕審片工作量[3]。

2.4.3 AI優(yōu)化視頻

早期制作影視劇時(shí)，受到拍攝裝置與其他技術(shù)條件的制約，畫面大多是標(biāo)清或者高清的畫質(zhì)。如果直接把這類影視作品投放到超高清電視，會(huì)嚴(yán)重影響視覺感受。因此，可以應(yīng)用機(jī)器學(xué)習(xí)等方式，搭配人工修復(fù)，優(yōu)化視頻畫質(zhì)。AI在該方面的應(yīng)用技術(shù)是先將低分辨率及低幀率的素材通過(guò)空間及時(shí)間的超分辨處理，結(jié)合去噪及對(duì)比度調(diào)節(jié)等方法，提升視頻的畫面品質(zhì)。

2.4.4 AI結(jié)合VR運(yùn)用

AI結(jié)合VR運(yùn)用的主要作用體現(xiàn)在視覺效果和透視聯(lián)系上，利用若干異面屏幕打造出3D的效果，將人物合成于大屏空間處，演播室直接輸出鏡頭中的場(chǎng)景。利用光學(xué)系統(tǒng)完成機(jī)位全程跟蹤，可直接獲取相應(yīng)的鏡頭參數(shù)資料并傳送至控制端與渲染端，完成畫面的虛實(shí)合成，提高畫面整體的自然感。智能化跟蹤目標(biāo)運(yùn)動(dòng)的計(jì)劃，可減輕節(jié)目表演人員的動(dòng)作壓力，不用在身上穿戴設(shè)計(jì)的裝飾便能達(dá)到節(jié)目策劃的畫面效果。

3 超高清電視制播平臺(tái)的建設(shè)

中央廣播電視總臺(tái)基于5G建設(shè)4K/8K的超高清制播平臺(tái)，落實(shí)創(chuàng)新發(fā)展，推進(jìn)該平臺(tái)的建設(shè)，以此為依托，使技術(shù)格局實(shí)現(xiàn)智能化調(diào)整，帶領(lǐng)國(guó)內(nèi)5G媒體與超高清的成長(zhǎng)。具體的建設(shè)內(nèi)容有：在北京總部與上海的傳媒港布置相關(guān)制播系統(tǒng)，落實(shí)基于5G的超高清傳送網(wǎng)絡(luò)等方面的基礎(chǔ)建設(shè)，開發(fā)便攜的編碼傳送，按照有關(guān)產(chǎn)業(yè)標(biāo)準(zhǔn)開發(fā)超高清的電視影院系統(tǒng)，針對(duì)5G網(wǎng)絡(luò)及超高清的檢測(cè)系統(tǒng)等。該建設(shè)工程的總投入規(guī)模達(dá)到4.2億元，擬建時(shí)長(zhǎng)兩年。在此工程建設(shè)期間，總臺(tái)借助超高清直播發(fā)布了相關(guān)的重點(diǎn)實(shí)驗(yàn)室，推進(jìn)科技更新。相關(guān)參與方圍繞項(xiàng)目的運(yùn)用訴求，嚴(yán)格執(zhí)行相關(guān)技術(shù)要求，進(jìn)行對(duì)應(yīng)裝置系統(tǒng)的開發(fā)。項(xiàng)目全面落成后，會(huì)形成5G手段下“云管端”的業(yè)務(wù)格局，支持超高清電視節(jié)目年產(chǎn)量達(dá)到一萬(wàn)小時(shí)，同時(shí)和總臺(tái)、新媒體及電影平臺(tái)之間進(jìn)行全方位連接，促使4K/8K的電視節(jié)目得以在不同平臺(tái)渠道上進(jìn)行直播及點(diǎn)播，適應(yīng)現(xiàn)代化的收視要求[4]。

4 結(jié) 語(yǔ)

依托5G技術(shù)發(fā)展4K/8K電視，應(yīng)當(dāng)基于電視媒體的現(xiàn)實(shí)技術(shù)情況，靈活運(yùn)用虛擬切換、IMR等技術(shù)，將HD與4K/8K結(jié)合起來(lái)，保障現(xiàn)階段的產(chǎn)能，同時(shí)利用AI技術(shù)，進(jìn)一步實(shí)現(xiàn)超高清制播，簡(jiǎn)化電視節(jié)目的制作程序。