新華社亞太總分社視頻直播報道的技術探索與實踐

齊 心

（新華社亞太總分社，香港 999077）

1.直播報道概況

新華社亞太總分社（以下簡稱總分社）總部設在香港，是新華社在海外建立的第一個地區(qū)總分社，負責近50個國家和地區(qū)的新聞報道工作。近年來，總分社報道任務重，突發(fā)報道多，視頻直播作為最直觀的報道形式被廣泛應用于各種新聞場景。在香港特別行政區(qū)，選舉委員會選舉、第七屆立法會選舉、第六任行政長官選舉、行政長官記者會、全民國家安全教育日、中小學開學第一課、抗擊第五波新冠肺炎疫情等涉港報道在較短時間內實現(xiàn)不同平臺的視頻直播。香港回歸祖國25周年報道創(chuàng)新直播形式，進行了增強現(xiàn)實直播，為觀眾提供沉浸式互動新聞體驗。在香港之外其他地區(qū)，阿富汗局勢等地區(qū)突發(fā)事件進行了全方位直播?？偡稚缫殉蔀樾氯A社海外分社中直播場次最多、時長最長、直播報道影響力最大的分社之一。

為了更好地對總分社視頻直播報道進行技術賦能，本文在研究直播關鍵技術基礎上設計和實現(xiàn)了總分社視頻直播系統(tǒng)，并在全媒體采集、5G直播、云導播、增強現(xiàn)實直播等方面進行了技術探索。在香港選舉、香港抗疫、香港回歸祖國25周年等重要視頻直播報道中，技術人員以“內容+技術+靈感+美學”為導向[1]，從選題策劃、方案設計、技術測試、直播保障全程支持，形成嵌入式視頻直播報道新常態(tài)，是先進技術賦能新聞報道的生動實踐。

2.直播關鍵技術

2.1 視頻編碼技術

隨著視頻直播超清化的趨勢，視頻數(shù)據量增長迅速，傳輸和存儲面臨很大的挑戰(zhàn)。視頻編碼的作用就是將視頻數(shù)據進行壓縮，降低視頻的數(shù)據量，從而更高效地傳輸和存儲。視頻編碼的原理是消除視頻數(shù)據的冗余信息，包括數(shù)據冗余和視覺冗余。數(shù)據冗余是由于視頻幀間和幀內像素存在很強相關性而產生的，包括空間冗余、時間冗余、結構冗余等；視覺冗余則是由于人眼的視覺特性而產生，包括亮度辨別閾值、視覺閾值、空間分辨力等。[2]

視頻編碼按壓縮程度可以分為淺壓縮和深壓縮。淺壓縮編碼又稱為夾層壓縮編碼，其壓縮比低、算法簡單、延時小，多用于制播域，也被用于視頻信號IP傳輸。典型的淺壓縮編碼包括TICO、JPEG-XS、NDI編碼。在香港回歸祖國25周年報道中，新華社前方發(fā)稿中心采用NDI編碼將公共信號傳輸至多個顯示終端，效果流暢清晰且布線工作量極大減少。深壓縮編碼具有壓縮比高、算法復雜、延時大的特點，多被用于跨域傳輸。典型的深壓縮編碼包括H.264/MPEG AVC、HEVC/H.265等。高清時代，ITU-T及ISO/IEC等國際組織共同制定了H.264/MPEG AVC標準，是視頻壓縮和分發(fā)最常用的格式。與此同時，我國數(shù)字音視頻編解碼技術標準工作組（簡稱AVS工作組）發(fā)布了第一代AVS標準。超高清時代，ITU-T及ISO/IEC等國際組織制定了HEVC/H.265標準和針對8K視頻的VVC/H.266標準，AVS工作組發(fā)布第二代及第三代AVS標準?？偡稚缫曨l直播報道設備支持H.264/MPEG AVC、HEVC/H.265等主流編碼標準。

2.2 流媒體技術

流媒體技術是指視音頻數(shù)據經過壓縮編碼后，以某種網絡協(xié)議通過流的形式在網絡中實時傳輸?shù)募夹g。流媒體技術包含采集、編碼、推流、服務器處理、數(shù)據CDN分發(fā)、拉流、解碼、播放等技術流程[3]，其中關鍵是推拉流。推流是將直播內容通過流媒體協(xié)議推送到媒體服務器的過程，可以通過本地或云端推流服務器完成。拉流是通過流媒體協(xié)議從媒體服務器拉取視頻內容的過程。

推拉流過程需要相應的流媒體協(xié)議支持。[4]流媒體協(xié)議主要包括RTMP、SRT、HLS、MPEG-DASH等。RTMP協(xié)議全稱是Real Time Messaging Protocol，是面向連接提供可靠交付的實時消息傳送協(xié)議，為用戶提供持久流暢的流媒體數(shù)據，是目前使用最廣泛的流媒體協(xié)議。SRT協(xié)議全稱是Secure Reliable Transport，是一種基于UDP協(xié)議的開源視頻傳輸協(xié)議，具有安全可靠、低延遲等特點，能夠有效解決公網環(huán)境中的丟包抖動和帶寬變化等問題。新華社是國內較早使用SRT協(xié)議的媒體機構，多次將其應用于視頻移動報道。HLS協(xié)議全稱是HTTP Live Streaming，即基于HTTP的實時流式傳輸協(xié)議。該協(xié)議用于分發(fā)階段，得到流媒體服務器、媒體播放器、Web瀏覽器和移動設備的廣泛支持。MPEG-DASH是第一個基于HTTP的自適應比特率串流協(xié)議。與其他協(xié)議相比，該協(xié)議與編解碼器無關，因此可支持任何編碼標準。

2.3 擴展現(xiàn)實技術

擴展現(xiàn)實（Extended Reality，XR），是指通過計算機技術和可穿戴設備產生的一個真實與虛擬結合、可人機交互的環(huán)境。擴展現(xiàn)實技術是一種涵蓋性術語，包含了虛擬現(xiàn)實 （Virtual Reality，VR）、增強現(xiàn)實（Augmented Reality，AR）、混合現(xiàn)實（Mixed Reality，MR）及其他新型沉浸式技術。[5]

VR是指通過計算機技術生成虛擬環(huán)境，給用戶帶來封閉式和沉浸式的虛擬世界體驗。用戶通常使用VR頭顯設備與虛擬世界進行實時交互。VR直播是將VR技術應用于直播報道，給觀眾帶來沉浸式的新聞體驗。[6]新華社使用組合式VR攝像機和集成式VR攝像機進行VR直播。

AR是指通過計算機技術生成虛擬對象并將其疊加在現(xiàn)實世界之上或與現(xiàn)實世界結合，使用戶處在虛實結合的世界中。其特征是虛實結合、實時交互、三維注冊。[7]AR關鍵技術包括三維跟蹤注冊、三維融合生成及實時交互技術。三維跟蹤注冊是對現(xiàn)實場景三維空間重建和虛擬場景的三維注冊，用來獲取現(xiàn)實場景坐標系、攝像機坐標系、虛擬場景坐標系的映射關系，為虛擬對象嵌入現(xiàn)實場景奠定基礎，其包含了三維幾何重建、同時定位與地圖構建（SLAM）、三維物體檢測識別和跟蹤等技術。三維融合生成是指虛擬對象的生成及在現(xiàn)實場景的疊加，包含了三維建模、虛實視覺融合、虛實視覺融合和顯示等技術。實時交互是指用戶與現(xiàn)實場景和虛擬對象進行實時交互。[8-9]AR直播，即將AR技術應用于直播報道中，可以通過AR攝像機或手機進行。

3.直播系統(tǒng)的設計與實現(xiàn)

在研究直播關鍵技術基礎上，本文按照如下原則設計和實現(xiàn)總分社視頻直播系統(tǒng)。

移動性：充分利用互聯(lián)網技術和移動通信技術，使用輕量化設備隨時隨地發(fā)起直播。

靈活性：快速響應不斷變化的直播需求，要求直播系統(tǒng)架構靈活可變，方便直播信號快速接入和分發(fā)，可以為直播創(chuàng)新提供技術手段。

可靠性：為直播報道提供安全可靠技術保障，要求直播系統(tǒng)具有備份手段。

如圖1所示，總分社視頻直播系統(tǒng)包括直播信號采集、直播信號處理、直播信號發(fā)布3部分。該系統(tǒng)通過智能采訪終端、視頻背包等輕量化設備進行直播信號采集，通過云導播平臺和直播后臺進行直播信號處理，面向多平臺進行直播信號發(fā)布。

圖1 總分社視頻直播系統(tǒng)圖

3.1 直播信號采集

隨著移動互聯(lián)網的發(fā)展，手機成為實現(xiàn)“全員媒體”的必備利器。新華社技術局自主研發(fā)的智能采訪終端，以手機為主要載體集成不同移動應用和硬件裝備，讓記者能夠實現(xiàn)全媒體采集?？偡稚缡堑谝粋€應用智能采訪終端的海外分社。采訪通App為總分社記者提供移動端新聞采編、圖片短視頻即拍即傳等功能，并提供了音訊、翻譯、OCR識別等智能化工具。直播App與總分社云導播平臺及直播后臺連通，可以在亞太地區(qū)突發(fā)事件現(xiàn)場實現(xiàn)5G+4K直播，提升新聞報道時效。AR App可以將三維虛擬模型疊加在亞太地區(qū)現(xiàn)實場景中，與直播App配合使用可以實現(xiàn)5G+AR直播，為觀眾提供虛實結合、實時互動的新聞體驗。[10]直播App與外置相機、手持云臺、無人機等裝備集成使用，能夠實現(xiàn)直播畫面的專業(yè)化和豐富化。使用智能采訪終端進行直播時，可以通過無線麥克風實現(xiàn)廣播級收音，通過5G隨身路由器保障無線網絡穩(wěn)定性。

總分社還使用專業(yè)攝像機和視頻背包進行直播信號采集。攝像使用便攜式專業(yè)攝像機拍攝信號后，通過視頻背包將信號壓縮編碼再經過多鏈路聚合網絡進行傳輸，單人即可完成廣播級信號采集。視頻背包支持H.264/MPEG AVC、HEVC/H.265等主流編碼。多鏈路聚合網絡包括4G/5G網絡、有線網絡、無線網絡等多種傳輸方式。視頻背包在亞太地區(qū)使用時需要配備符合當?shù)鼐W絡制式的模塊，可插入最多8張不同運營商的4G/5G流量卡，單兵便攜式視頻背包可以插入最多4張流量卡?？偡稚邕€配備了移動式編碼器與視頻背包搭配使用，其包含的外置天線可為視頻背包增加6個額外網絡連接，在帶寬苛刻環(huán)境下為直播提供更穩(wěn)定的網絡。除了用于總分社直播信號采集，視頻背包還被用于總分社通聯(lián)信號傳輸。

3.2 直播信號處理

總分社通過云導播平臺和直播后臺對采集后的直播信號進行接收解碼、信號切換、直播推流等后續(xù)處理。

云導播平臺是基于公有云的導播制作工具，具備資源分配靈活、部署方便快捷的特點，導播人員通過互聯(lián)網可以隨時隨地進行導播切換和多平臺推流?？偡稚缡褂玫脑茖Рテ脚_支持接入多種視頻源，包括智能采訪終端信號、視頻背包信號、IP視頻流（支持SRT、RTMP等協(xié)議）及本地視頻文件。云導播平臺可以實現(xiàn)直播信號的快速接入，記者和被采訪嘉賓使用直播App掃描二維碼后即可參與到直播中。云導播平臺支持多路信號在云端無縫切換，支持視頻源直切到PGM和傳統(tǒng)PVW/PGM工作流程，還支持音視頻分開切換。在推流方面，云導播平臺可將PGM視頻流快速分發(fā)至多個平臺，分發(fā)協(xié)議支持RTMP、HLS、SRT、ISSP等。

直播后臺由多通道視頻接收系統(tǒng)、多功能收發(fā)服務器、收錄監(jiān)看系統(tǒng)及媒資共享系統(tǒng)組成。多通道視頻接收系統(tǒng)負責接收、管理、切換和分發(fā)總分社及下轄分社的十幾路視頻背包及智能采訪終端信號。該系統(tǒng)接收和解碼前方信號后，通過云端視頻矩陣完成信號切換，根據需要將信號嵌入臺標并推流（支持SRT、RTMP等協(xié)議）至直播信號發(fā)布平臺，也可以輸出基帶信號至其他系統(tǒng)。該系統(tǒng)通過基于云的直播管理平臺監(jiān)控和管理直播流。直播管理平臺能實時顯示亞太地區(qū)的直播設備并可以對設備進行設置操作，還可以對在線傳輸設備進行視頻監(jiān)看和信號切換。多功能收發(fā)服務器是總社視頻直播系統(tǒng)的節(jié)點設備，在服務器上可以運行多個應用程序，其功能包括SDI/IP編解碼、IP視頻切換、圖形疊加、存儲和文件轉發(fā)等?？偡稚缡褂迷摲掌髟谥辈ズ笈_和總社視頻直播系統(tǒng)之間進行雙向信號傳輸，可以調度收發(fā)共4路直播信號。收錄監(jiān)看系統(tǒng)由錄機、監(jiān)視器等組成，與多通道視頻接收系統(tǒng)和多功能收發(fā)服務器連接用于收錄和監(jiān)看直播信號、通聯(lián)信號及總社返送信號。媒資共享系統(tǒng)由NAS集群構成，用于存儲和共享直播素材，記者和編輯通過視頻工作站客戶端進行訪問。

3.3 直播信號發(fā)布

總分社基于互聯(lián)網實現(xiàn)直播信號多渠道協(xié)同分發(fā)。直播信號通過推流方式分發(fā)至“新華香港”臉書賬號、新華網、新華社客戶端等新華社海內外新媒體平臺。其中，“新華香港”臉書賬號是在香港有較大影響力的重要社交媒體賬號，其粉絲量過百萬，參與度在國際主流媒體中文臉書賬號中位居前列。直播信號還通過總社視頻直播系統(tǒng)分發(fā)至新華社媒體用戶和外部媒體矩陣。

4.直播報道技術實踐

4.1 香港特別行政區(qū)選舉直播

從2021年9月到2022年5月，香港特區(qū)相繼舉行完善選舉制度后的3場重要選舉，即選舉委員會選舉、第七屆立法會選舉、第六任行政長官選舉。總分社對這3場重要選舉都進行了視頻直播報道，有力配合了中央涉港工作大局。在2021年9月19日香港選舉委員會選舉報道中，總分社在“新華香港”臉書賬號就選舉進行了長達9個小時直播，有效引導輿論。在2021年12月19日香港第七屆立法會選舉報道中，選舉投票站現(xiàn)場直播信號回傳總社并在海外社交媒體等平臺播出。在2022年5月8日香港第六任行政長官選舉報道中，總分社首次通過5G進行直播，智能采訪終端和視頻背包3個機位采集回傳選舉現(xiàn)場、記者出鏡及公共信號并在相關平臺播出。

在香港選舉直播中使用智能采訪終端和視頻背包等輕量化設備進行直播信號采集。在選舉現(xiàn)場，使用智能采訪終端直播App進行5G直播，還可以進行短視頻即拍即傳和移動發(fā)稿。直播App與總分社云導播平臺及直播后臺連通進行信號的解碼切換，并最終推流至直播信號發(fā)布平臺播出。在選舉現(xiàn)場，便攜式專業(yè)攝像機采集拍攝選舉相關畫面后，通過視頻背包將信號進行壓縮編碼，經多鏈路聚合網絡進行傳輸。在視頻背包中選擇不同通道則使用不同傳輸路由，當選擇總分社通道時，背包信號會傳輸至直播后臺進行處理并推流給“新華香港”臉書賬號，當選擇總社通道時，背包信號會回傳至總社視頻直播系統(tǒng)并分發(fā)給海外社交媒體及相關平臺。

4.2 香港抗疫直播

香港第五波新冠肺炎疫情暴發(fā)以來，總分社與香港分社、新華網聯(lián)合推出“新華云直播：直擊內地援助香港抗疫最新情況”，每周綜合香港疫情、內地援港、方艙日記等最新情況進行直播報道，增強了民眾抗疫信心。該直播獲得幾十家中外媒體采用，單場直播點擊量超過百萬，被評為總分社優(yōu)秀新聞作品。

在香港抗疫直播中使用云導播平臺和直播后臺雙平臺進行推流直播以提升直播可靠性。云導播平臺部署快速、操作方便，在疫情期間總分社導播人員通過互聯(lián)網接入即可進行工作。云導播平臺視頻源包括智能采訪終端信號、IP視頻流及本地視頻文件。直播時，導播在多路信號中進行切換，將PVW畫面切至PGM并通過RTMP推流至新華網，由新華網處理后分發(fā)至新華網客戶端和其他幾十家媒體用戶。本次直播還使用開源流媒體系統(tǒng)OBS進行推流，作為備份信號源接入到云導播平臺。除云導播平臺外，香港抗疫直播同時使用直播后臺進行推流。視頻工作站輸出信號后通過視頻背包傳送至直播后臺，直播后臺接收和解碼信號并推流至新華網，由新華網進行后續(xù)處理和分發(fā)。

4.3 香港回歸祖國25周年AR直播

為慶祝香港回歸祖國25周年，總分社、音視頻部、技術局聯(lián)合進行了AR直播“文化瑰寶耀香江——探訪香港故宮文化博物館”。該直播在2022年7月3日香港故宮文化博物館正式對公眾開放參觀當日播出，新華社記者走進博物館展廳，帶領觀眾一同沉浸式感受閃耀香江的歷史瑰寶和中華文明。如圖2所示，在直播中，隨著記者的介紹，虛擬繪畫卷軸在記者手邊徐徐展開，建筑物模型從畫軸中出現(xiàn)，古代瓷器等栩栩如生的虛擬故宮文物在畫軸上陸續(xù)旋轉到觀眾面前，給觀眾帶來身臨其境、虛實結合的觀看體驗。此次AR直播在新華社客戶端、新華網、“新華香港”臉書賬號，以及快手、視頻號、微博等平臺播出，吸引大量觀眾，僅在新華社客戶端觀看量就達115萬次。

圖2 香港回歸祖國25周年AR直播

此次報道是新華社首次通過移動XR平臺進行AR直播?？偡稚?、音視頻部、技術局提前策劃，運用三維空間重建、空間識別與定位、三維模型編輯、實時云渲染等技術，構建了香港故宮文化博物館的三維虛擬空間，在現(xiàn)場通過智能采訪終端AR App生成虛實相融報道環(huán)境，將虛擬繪畫卷軸編排在展廳中。當記者互動時，虛擬建筑物和虛擬故宮文物出現(xiàn)在卷軸之上，跟隨AR鏡頭的移動，觀眾可以通過不同視角欣賞精心設計的虛擬故宮文物。AR App拍攝的畫面可以通過直播App推流實現(xiàn)AR直播，從而實現(xiàn)在復雜環(huán)境場景下的XR沉浸式互動報道。此次AR直播準備歷時大半年，技術團隊全程參與，從方案策劃、素材拍攝、模型構建、系統(tǒng)測試到最終直播，目的就是給觀眾帶來更好的沉浸式互動新聞體驗。

5.總結與展望

新華社亞太總分社視頻直播報道在內容和形式上不斷創(chuàng)新，技術也需要不斷進步才能更好引領業(yè)務發(fā)展。本文結合工作實際，在研究直播關鍵技術基礎上設計和實現(xiàn)了總分社視頻直播系統(tǒng)，在全媒體采集、5G直播、云導播、增強現(xiàn)實直播等方面進行了技術探索，并在香港選舉、香港抗疫、香港回歸祖國25周年等重要視頻直播報道中進行了技術實踐。

目前媒體科技發(fā)展呈現(xiàn)移動化、智能化和超清化的趨勢，媒體技術工作者需要充分利用行業(yè)知識，將5G、AI、8K/4K、XR等技術與業(yè)務相結合，用先進技術賦能新聞業(yè)務，為全媒體報道貢獻力量。