NDI技術在融合媒體生產(chǎn)中的應用

張艷華

（徐州工程學院，江蘇 徐州 221018）

0 引 言

近年來，在主要面向互聯(lián)網(wǎng)、移動終端的融合媒體領域，網(wǎng)絡設備接口（Network Device Interface，NDI）技術在傳輸、接入、調(diào)度、監(jiān)控、live制作、播出、安全、收錄、存儲、后期制作及分發(fā)方面得到了應用，對數(shù)字分量串行接口（Serial Digital Interface，SDI）技術起到了補充甚至替代的作用。

相對于大屏端傳統(tǒng)廣播電視制播體系，融合媒體的制作分發(fā)體系有自己的特點。首先，系統(tǒng)架構要靈活，能快速響應部署；而且設備要輕量化。其次，融合媒體制作對信號的客觀技術指標相對大屏要求較低，主觀感受對信號壓縮的容忍度也相對較高。相對于大屏端的高清、4K/8K的無壓縮信號，面向小屏的融合媒體生產(chǎn)，因為最終推流分發(fā)是面向互聯(lián)網(wǎng)和移動終端，所以輸入和輸出都是低帶寬的壓縮信號。再次，融合媒體的制作分發(fā)體系在滿足設備輕量化和系統(tǒng)靈活性的基礎上，在技術性能指標滿足要求的前提下，要能實現(xiàn)當前制作系統(tǒng)的主要功能。最后，高性價比。在人人都是自媒體的時代，傳統(tǒng)廣電領域的高成本重裝備不適合于融合媒體生產(chǎn)。

綜上所述，NDI技術的很多特性都契合融合媒體的技術體系，因此在融合媒體生產(chǎn)領域的應用越來越廣泛。

1 NDI技術原理

1.1 NDI協(xié)議

NDI協(xié)議于2015年由NewTek公司提出。該協(xié)議支持視頻信號通過局域網(wǎng)進行傳輸。它首先對視音頻進行壓縮編解碼，所以是編解碼的協(xié)議。另外，它在壓縮編解碼的基礎上進行低延時傳輸，所以也是網(wǎng)絡傳輸協(xié)議。

NDI協(xié)議屬于IP交互協(xié)議，具備延時低、幀精度處理、支持設備及數(shù)據(jù)流間可相互識別等優(yōu)點。同時，在傳輸視頻數(shù)據(jù)流以外，NDI協(xié)議還可同時攜帶多通道無壓縮音頻數(shù)據(jù)流及元數(shù)據(jù)信息。其元數(shù)據(jù)信息支持雙向收發(fā)，發(fā)送者和接收者均可通過NDI識別并連接。NDI支持廣播級IP傳輸協(xié)議轉換，適用于多數(shù)通用網(wǎng)絡設備，并可延伸與多種第三方工具進行連接。另外，NDI是一種開源接口定義，開放了主要的軟件開發(fā)工具包（Software Development Kit，SDK）功能，在應用中只需通過調(diào)用函數(shù)即可直接使用SDK現(xiàn)有功能[1]。

NDI相對的高指標、低延時，滿足了主客觀圖像質(zhì)量評價要求；即插即用自發(fā)現(xiàn)的特性，滿足快速響應部署的要求；支持TALLY和通話，保證了傳統(tǒng)廣電演播的功能，開源特性使得總體擁有成本降低?？梢?，NDI的這些技術特點非常符合前述融合媒體技術體系的需求。

1.2 NDI碼流

NDI協(xié)議包括FULL NDI和NDI|HX（NDI|HX2）兩種。FULL NDI是基于I幀壓縮的，占用的帶寬高，延時小，信號質(zhì)量好。NDI|HX是基于長GOP H.264的改進版本，占用帶寬低，相對FULL NDI延時較大，信號質(zhì)量較低。NDI廠家給出的NDI信號帶寬數(shù)據(jù)如表1所示。

表1 NDI信號帶寬

單個高清（High Definition，HD）的NDI流帶寬典型值為16 Mb·s-1（NDI|HX）或者180 Mb·s-1（FULL NDI），4K超 高 清（Ultra High Definition，UHD）的NDI流帶寬為250 Mb·s-1或者350 Mb·s-1。理論上，萬兆網(wǎng)絡可以支持40路以上的HD NDI或者20路以上4K UHD的NDI流。

1.3 圖像質(zhì)量

據(jù)其他文獻研究，將高清圖像測試信號經(jīng)NDI協(xié)議以80～120 Mb·s-1可變碼率編碼并解碼后輸出，圖像質(zhì)量分析儀的測試結果如表2所示[2]。

表2 圖像質(zhì)量測試結果

在圖像質(zhì)量測試結果中，圖像質(zhì)量等級（Picture Quality Ratio，PQR)算法首先對經(jīng)過被測系統(tǒng)的圖像序列進行標準化處理，之后再對處理后的圖像序列和原始參考圖像序列進行最小可覺差異（Just Noticeable Difference，JND）計算。PQR_Y越小則圖像質(zhì)量越好。平均主觀得分差（Differential Mean Quality Score，DMOS）計算人眼對原始圖像和處理圖像評價得分的差異, DMOS_Y值越小則圖像質(zhì)量越好。峰值信噪比（Peak Signal to Noise Ratio，PSNR）在壓縮數(shù)據(jù)流協(xié)議傳輸中，達到40 dB時信號即被認為非常接近原始圖像的質(zhì)量，在SDI系統(tǒng)中串行傳輸標準信噪比要求65 dB。PSNR_Y值越大，圖像質(zhì)量越好。而NDI的技術特性，保證了畫面在多次迭代后，質(zhì)量不會進一步損失。

2 NDI技術在融合媒體制作中的應用

2.1 系統(tǒng)解決方案

2.1.1 攝像機和編解碼器

目前，市場上有很多支持NDI協(xié)議的PTZ攝像機，一些傳統(tǒng)的廣電設備商如Panasonic，Newtek，Lumens等公司也在積極跟進。這些攝像機內(nèi)置NDI|HX編碼器。如果攝像機不支持NDI編碼，也可以通過外置的編碼器來支持FULL NDI+NDI|HX協(xié)議,實現(xiàn)視頻傳輸和設備控制。

編解碼器支持HD或者12G-SDI 4K視頻，端到端延時小于100 ms。支持NDI發(fā)現(xiàn)服務器功能，可實現(xiàn)NDI跨網(wǎng)段傳輸。支持Tally燈、通話、多方式供電等傳統(tǒng)廣電實用功能。通過與軟件集成，還支持設備遠程管理和控制、NDI流管理和分發(fā)、大規(guī)模節(jié)目制作管理等功能。

2.1.2 切換臺

切換臺是節(jié)目制作的核心設備，NewTek公司的TriCaster系列產(chǎn)品是其中的代表作。它提供IP和SDI等輸入接口，兼容各式視頻信號源。以QuickTime或H.264文件格式錄制多通道全分辨率視頻，用于剪輯、切換、回放、歸檔、點播?？蓪崿F(xiàn)實時流媒體傳輸、記錄、數(shù)據(jù)驅動圖形、虛擬布景及社交媒體發(fā)布等。還可利用色度鍵在實時視頻、圖文和虛擬場景中創(chuàng)造各種合成場景，并將其用于報告、演講、演示等用途。

2.1.3 傳輸方案

NDI作為網(wǎng)絡傳輸協(xié)議，一個重要的特性就是網(wǎng)絡發(fā)現(xiàn)性。編碼器把信號源編碼成NDI信號后在跨網(wǎng)段的局域網(wǎng)傳輸，網(wǎng)絡內(nèi)包括PC、導播軟件在內(nèi)的終端都可以實時發(fā)現(xiàn)、調(diào)度、制作網(wǎng)絡內(nèi)的所有NDI信號。網(wǎng)絡內(nèi)允許存在多個推NDI流的編碼終端和多個拉NDI流的解碼終端。

如果采用常規(guī)的網(wǎng)線傳輸，一個24口千兆以太網(wǎng)交換機可以支持50路以上的UDP、RTMP、SRT等TS流。除了有線連接，實際使用中也有用無線網(wǎng)橋或者WiFi的方式當成無線圖傳來傳輸FULL NDI的案例。如圖1所示。

圖1 FULL NDI的無線應用

2.2 音頻制作

NDI可以像SDI嵌入音頻信號一樣，在視頻數(shù)據(jù)流以外可同時攜帶多通道無壓縮音頻數(shù)據(jù)流及元數(shù)據(jù)信息。要求不高的融合媒體制播場景，切換臺可直接從可選NDI資源中獲得音頻數(shù)據(jù)流[3]。視頻信號切換時綁定的音頻信號跟隨視頻信號一同完成切換，或者使用推子單獨控制音頻通道音源輸出。要求較高的制播場景，會采用NDI+DANTE的全IP架構，如圖2所示。

圖2 DANTE處理流程

DANTE作為音頻系統(tǒng)的核心交換協(xié)議，支持NDI音頻數(shù)據(jù)流轉換，DANTE虛擬聲卡從NDI中獲得音頻數(shù)據(jù)流。一個IP視音頻數(shù)據(jù)流以DANTE協(xié)議將音頻信號傳輸?shù)紻ANTE調(diào)音臺接口卡，再通過調(diào)音臺模擬音頻接口接入切換臺。這種工作模式會產(chǎn)生音頻延時。通過NDI網(wǎng)關調(diào)整視頻信號延時量，通過調(diào)整調(diào)音臺的音頻信號延時量，可以將聲畫延遲對齊。

2.3 遠程制作

在NDI5之前，NDI默認采用multi-TCP的傳輸方式。TCP的傳輸方式雖然可靠，但在傳輸穩(wěn)定性較差的環(huán)境下，其傳輸效率低、實時性差。所以NDI通常運行在局域網(wǎng)上。

2021年6月推出的最新迭代版本NDI5，采用 了QUIC（Quick UDP Internet Connection），它是一種新的可靠用戶數(shù)據(jù)報協(xié)議（Reliable UDP，RUDP）傳輸機制。RUDP在傳輸穩(wěn)定性較差的網(wǎng)絡環(huán)境下，性能要優(yōu)于TCP。QUIC基于UDP，所以它具備UDP的簡單、低延時的特點，又因為它采用了與TCP相似的擁塞控制/數(shù)據(jù)重傳機制，它又具備TCP的傳輸可靠性。采用RUDP傳輸?shù)腘DI在傳輸上更穩(wěn)定、延時更低。這使得NDI協(xié)議具備了廣域網(wǎng)協(xié)議的特征，可以在云平臺上運行，遠程進行視頻協(xié)議傳輸及解碼，在不同的設備之間進行視頻共享，將固定的演播室連接到云端演播室，高效快捷地進行視頻演播制作。

3 NDI技術在調(diào)度分發(fā)域的應用

不僅僅在制作域，目前在融合媒體生產(chǎn)的其他領域，采用NDI的音視頻網(wǎng)絡傳輸協(xié)議代替?zhèn)鹘y(tǒng)的SDI信號傳輸，完成全臺技術系統(tǒng)的IP化和IT化升級也有很多應用。

3.1 匯聚接入

匯聚接入模塊的主要功能就是協(xié)議轉換，其原理如圖3所示。

圖3 協(xié)議轉換原理

RTMP、SRT、HLS、DVB-UDP、WebRTC等多種外來的流信號和文件信號接入，可以實時轉換成NDI信號和SDI信號。

3.2 調(diào)度交換

當業(yè)務中有多路NDI信號需要并發(fā)、調(diào)度、集中管理，可以使用NDI矩陣。有的產(chǎn)品是先將NDI信源引入一個專有的NDI流服務矩陣，然后由服務器進行分發(fā)，此時流服務矩陣會成為系統(tǒng)的單一節(jié)點，這樣的結構無法充分發(fā)揮IP架構的優(yōu)勢。

目前，NDI切換調(diào)度矩陣不再采用傳統(tǒng)矩陣的通路方式，而是通過交換機控制網(wǎng)絡中的NDI視頻信號元數(shù)據(jù)，通過地址重定向的方式進行信號直接調(diào)度，但并不對信號進行任何物理集中[4]。由于沒有視頻數(shù)據(jù)實際匯聚到矩陣，自然也不存在單點潰點。

隨著支持NDI協(xié)議的攝像機、編解碼器、矩陣、字幕機、多畫面分割器、幀同步、加解嵌等系列產(chǎn)品的出現(xiàn)，這些不同公司的產(chǎn)品雖然可以互聯(lián)互通，但是沒有統(tǒng)一的管理配置。一些國內(nèi)公司自行研發(fā)的NDI管理與調(diào)度產(chǎn)品，可以實現(xiàn)對現(xiàn)有NDI網(wǎng)絡中的各種設備進行管理、控制，使眾多的NDI產(chǎn)品快速、便捷地一體化協(xié)同工作[5]。

3.3 分發(fā)處理

3.3.1 NDI多畫面

NewTek公司提供了監(jiān)看軟件NDI Studio Monitor，但是只能監(jiān)看單畫面?，F(xiàn)在實際應用的多畫面系統(tǒng)實質(zhì)上是一款解碼軟件，可根據(jù)業(yè)務應用需求理論上不受限制地創(chuàng)建NDI窗口，每個窗口可添加多路各種規(guī)格的NDI視頻流，而且畫面樣式可完全自定義，多窗口播放，窗口之間可以一鍵切換，還可以通過HDMI接口上屏。作為輔助功能，多畫面通常還具備音柱顯示、安全框、中心線及邊框等。

3.3.2 推 流

經(jīng)過內(nèi)部NDI網(wǎng)絡的調(diào)度和處理后，根據(jù)實際應用需求，系統(tǒng)往往還需要實時對外推送。例如，要支持SRT對外實時交互，實現(xiàn)遠程傳輸，支持RTMP互聯(lián)網(wǎng)快速推流，實現(xiàn)信號的多平臺同步播出，有的還需要支持DVB-UDP，為有線電視等傳統(tǒng)播出平臺實時提供信號。

4 問題和挑戰(zhàn)

隨著整個技術生態(tài)的發(fā)展，NDI正向著一種面向云端視頻業(yè)務的基礎視音頻I/O標準方向發(fā)展。未來，NDI還需要解決一些實質(zhì)性的問題。

（1）安全性問題。NDI在視頻的連接、獲取過程中完全不需要鑒權機制，可以即插即用。隨著NDI5開始支持面向互聯(lián)網(wǎng)和遠程制作，傳輸方式改成了天生具有較高等級加密能力的QUIC，但是身份驗證、連接握手的機制、防火墻/NAT穿透等安全性問題還應進一步解決。

（2）編解碼問題。使用軟件進行NDI編碼的性能，相對于解碼仍差很多。4K分辨率下的圖像質(zhì)量和編碼效率如何平衡，也是一個很大的挑戰(zhàn)。

（3）音頻問題。NDI5在音頻部分有很大提高，目前幾乎兼容所有的音頻軟件、應用程序，并且還允許客戶自定義選擇、接收和生成多通道音頻，而延遲近乎于零。但是還沒有構建出一個完整的基于IP架構的音頻體系。

5 結 語

基于融合媒體生產(chǎn)的互聯(lián)網(wǎng)化、移動化，NDI技術在制作、調(diào)度、分發(fā)等領域的應用越來越廣泛。隨著技術生態(tài)的建立，NDI技術還在不斷發(fā)展完善。