基于NDI和vMix的輕量化多場景網(wǎng)絡(luò)直播

上海東方傳媒技術(shù)有限公司：厲明

隨著互聯(lián)網(wǎng)短視頻及直播平臺的迅速發(fā)展和普及，小屏端觀看和分享直播已逐漸成為主流，用戶不受時間和地點的限制，自由選擇觀看自己想看的直播。近兩年媒體發(fā)布會和產(chǎn)品發(fā)布會也都采用了網(wǎng)絡(luò)直播和現(xiàn)場發(fā)布并行的方式。以往的線下發(fā)布活動，由于展會地點和場地大小的局限，傳播范圍較小，如果要擴大影響范圍則要多次多地重復(fù)開展活動，消耗大量人力物力；而傳統(tǒng)的演播室直播架構(gòu)系統(tǒng)復(fù)雜，設(shè)備成本高，人員眾多，不靈活。因此相對于大屏端的傳統(tǒng)直播制作系統(tǒng)，輕量化，易搭建，制作快，兼容好，性能強的融媒體制作系統(tǒng)成為廣大新媒體技術(shù)工作者探索的方向。

1.項目概述

整場發(fā)布活動由線下主持人與嘉賓座談現(xiàn)場觀眾互動提問和線上視頻會議協(xié)同進行。通過線下會場，線上會議，網(wǎng)絡(luò)平臺等多個場景進行直播。線下部分為一個會場，會場設(shè)置了大屏系統(tǒng)和同聲傳譯系統(tǒng)，主要功能是與現(xiàn)場主持嘉賓和線上外國藝術(shù)家進行多方座談。線上視頻會議部分使用ZOOM視頻會議系統(tǒng)，現(xiàn)場要與遠在法國和英國的藝術(shù)家進行藝術(shù)交流，同時還有不少國內(nèi)外同行在線上參會收看直播。網(wǎng)絡(luò)平臺直播部分主要面向國內(nèi)用戶，在多個主流互聯(lián)網(wǎng)平臺直播。

由于發(fā)布會場地有限（見圖1），留給技術(shù)區(qū)的空間十分狹小，并且需要在大屏現(xiàn)場，ZOOM會議系統(tǒng)，網(wǎng)絡(luò)平臺上同時直播。如果用傳統(tǒng)的廣電直播系統(tǒng)來建設(shè)恐怕場地不允許?？紤]到ZOOM會議系統(tǒng)本身就要使用網(wǎng)絡(luò)作為支撐，基于網(wǎng)絡(luò)IP協(xié)議的信號傳輸方案不僅不用遠距離布線而且能夠復(fù)用原有的網(wǎng)絡(luò)設(shè)備，所以成為了優(yōu)選方案；同時能夠進行視頻直播、視頻制作和實時推流拉流且支持網(wǎng)絡(luò)IP協(xié)議信號輸入的一體化直導(dǎo)播平臺也是本次項目的優(yōu)選設(shè)備。最終節(jié)目組采用了NDI和vMix導(dǎo)播分發(fā)系統(tǒng)組合的方案，通過實踐，該方案運行穩(wěn)定可靠，滿足了經(jīng)濟效益和節(jié)目收視的需求。

圖1 發(fā)布會現(xiàn)場與后臺技術(shù)區(qū)

2.系統(tǒng)解決方案

2.1 NDI協(xié)議和編碼器

NDI協(xié)議是一種網(wǎng)絡(luò)編碼和傳輸協(xié)議。使用NDI協(xié)議傳輸具備超低延時，無損耗，交互控制等特點，這種傳輸方式擺脫了實體HDMI和SDI線纜，同時傳輸編碼延時控制在100ms以內(nèi)。使用NDI協(xié)議編碼3G-SDI信號壓縮比大約15:1，多次處理迭代無損耗。NDI協(xié)議在傳輸視頻數(shù)據(jù)的同時還可攜帶音頻數(shù)據(jù)，TALLY以及通話信息。NDI協(xié)議采用mDNS發(fā)現(xiàn)機制，在局域網(wǎng)上登記源信息，接受設(shè)備可以自動發(fā)現(xiàn)這些NDI信號源，并提供自身信息。

要讓傳統(tǒng)的便攜式攝像機具有網(wǎng)絡(luò)傳輸功能，外置NDI編碼器必不可少，NDI編碼器支持3G-SDI視頻輸入，最高可以支持12G-SDI 4K視頻，本案采用了KILOVIEW N3 NDI編碼器（見圖2），支持3G-SDI視頻與Full NDI雙向轉(zhuǎn)換，編碼器上內(nèi)置Tally燈，只需要配置IP地址接入局域網(wǎng)即可，三臺Sony Z280便攜式攝像機通過3G-SDI線纜輸出進入NDI編碼器傳輸視頻信號，視頻信號在局域網(wǎng)中會自動被導(dǎo)播電腦發(fā)現(xiàn)并調(diào)用。

圖2 KILOVIEWN3NDI編碼器

2.2 桌面級NDI的應(yīng)用

NDI Tools是一套由NewTek面向桌面級用戶開發(fā)的免費的應(yīng)用程序，目前已經(jīng)升級到了5.5版本，其為桌面用戶提供了包括桌面?zhèn)鬏?，虛擬攝像頭，遠程控制等功能，而且完美兼容Full NDI和HX編碼方式。

本次我們通過這個軟件實現(xiàn)了將VCR的畫面和聲音轉(zhuǎn)換成NDI流媒體，通過無線網(wǎng)絡(luò)送入導(dǎo)播電腦，并且將導(dǎo)播電腦切換完成的最終PGM信號送到大屏和ZOOM會議系統(tǒng)。

在大屏電腦以及ZOOM會議軟件電腦上安裝NDI Tool系列軟件，選擇套件中的Webcam，選擇圖3所示的導(dǎo)播電腦的output就可以接收由NDI虛擬的網(wǎng)絡(luò)攝像頭的信號，然后在對應(yīng)的大屏播出軟件和ZOOM會議軟件的視頻輸入中選擇NDI Cam就能在軟件中獲取PGM畫面。

圖3 在大屏和ZOOM會議電腦上獲取PGM畫面

2.3 Vmix一體化直播導(dǎo)播系統(tǒng)

直播導(dǎo)播系統(tǒng)由一臺高配電腦、一套vMix視頻切換與直播軟件組成。vMix導(dǎo)播軟件的功能強大，視頻直播轉(zhuǎn)播以及簡單的編輯制作，還可以添加圖文信息，虛擬演播室，獲取共享屏幕信號，錄制甚至是即時重播的功能。軟件還提供mix，wipe，PinP等多種切換功能，作為切換臺來使用非常合適。

vMix導(dǎo)播軟件也是完美支持NDI協(xié)議的專業(yè)導(dǎo)播軟件之一，其可以從網(wǎng)絡(luò)上任何NDI兼容設(shè)備上接受多個視頻和音頻通道，最高支持4K，方法是選擇Add input，input setting頁面中選擇NDI/Desktop Capture頁簽（見圖4）就可以自動搜索局域網(wǎng)中的NDI信源。不過如果需要接入的NDI信源數(shù)量多的話，一定要選擇正確的vMix版本，一般選擇pro或4K版本，basic版本只支持3路輸入源。

圖4 vMix添加NDI源

vMix導(dǎo)播軟件支持將輸出共享給任何NDI兼容設(shè)備，在4K和pro版本中可以共享第二輸出，這個輸出可以是任何一個源和任何一個輸出，類似于廣播級切換臺的AUX輸出，共享方法是在設(shè)置頁面中選擇Outputs/NDI/SRT頁簽，對需要輸出的Output口選擇信號源并NDI ON（見圖5），這樣在局域網(wǎng)中的NDI設(shè)備及電腦就可以自動發(fā)現(xiàn)這個NDI信號并使用。

圖5 vMix通過NDI方式共享輸出

通過以上的操作，大屏系統(tǒng)和ZOOM會議系統(tǒng)這兩個場景就能方便地調(diào)用導(dǎo)播電腦進行切換制作后的PGM畫面并進行直播。vMix導(dǎo)播軟件還支持實時推流和拉流，在add input界面里可以添加rtsp、rtmp、srt等多種主流流媒體數(shù)據(jù)，在streaming setting里可以設(shè)置三組基于FFMPEG編碼的RTMP流（見圖6），碼率及分辨率都可以調(diào)整，輸入推流地址后就可以在任意網(wǎng)絡(luò)平臺上進行網(wǎng)絡(luò)直播了。

圖6 vMix的推流功能

2.4 傳輸方案

NDI協(xié)議分為HX和全碼NDI，全碼FULL NDI對于視頻做了15:1的壓縮，這種壓縮視覺上是無損的，一般來說，一路3G-SDI占用的帶寬是100Mbps，如果選擇HX這種基于H.264編碼的NDI則帶寬可以減小為10 Mbps左右，但是HX的延時要比FULL高出許多，F(xiàn)ull NDI延時不超過100 ms（1-3幀），甚至于只有40 ms，而HX則在150 ms左右甚至更高。

由于是直播，所以我們選擇低延時的Full NDI作為編碼方式，交換設(shè)備選擇具備千兆交換能力的Wi-Fi6設(shè)備。相較于前幾代Wi-Fi技術(shù)（見圖7），它具有速率更快，最大速率理論值可以達到9.6 Gbps，單流帶寬高達1 Gbps；采用正交頻分多址OFMDA技術(shù)，在頻域上將無線信號劃分為一個個子信道，形成一個個資源塊，數(shù)據(jù)在塊上，在傳輸時不會占用整個信道，傳輸銷量有了提升。

圖7 各代Wi-Fi技術(shù)對比

整個傳輸鏈路見圖8，三臺攝像機分別接入NDI編碼器，編碼器使用網(wǎng)線接入一臺Wi-Fi6路由器，ZOOM會議系統(tǒng)，vMix導(dǎo)播電腦，大屏電腦，還有一些作為信源的PC機均鏈接到這個無線路由器上，通過無線的方式進行信號和數(shù)據(jù)的交互。在實際的直播過程中，畫面延時，信號傳輸?shù)姆€(wěn)定性以及畫面質(zhì)量都反應(yīng)良好，F(xiàn)ULL NDI和Wi-Fi6的組合能夠比較完美地完成任務(wù)。

圖8 傳輸框圖

3.思考與問題

3.1 項目總結(jié)

通過本次發(fā)布會的實踐，小型網(wǎng)絡(luò)直播中使用NDI和vMix相結(jié)合的小直播系統(tǒng)滿足了設(shè)備輕量化和靈活性。NDI的編解碼效率滿足了直播畫面的各項需求，vMix對各類輸入源和輸出方式的間兼容性滿足了多場景直播和傳輸?shù)母黜椥枨?；兩者相結(jié)合組成的輕量化網(wǎng)絡(luò)直播系統(tǒng)提高了節(jié)目直播的效率，也減輕了搭建施工的難度。

3.2 輕量化網(wǎng)絡(luò)直播的亮點

就目前的融媒體直播，帶貨，產(chǎn)品發(fā)布等形式而言，輸入和輸出相對于大型賽事以及綜藝直播都比較簡單，但是功能要求全面，使用一體化直播導(dǎo)播系統(tǒng)只需要攝像和導(dǎo)播就可以完成幾乎所有的直播工作，人力成本可能從原來的兩位數(shù)變成了2-3人，設(shè)備成本從原來的幾十萬級變成了萬級。相比之下技術(shù)投入維護投入都大為減少，有效提高了利潤。

網(wǎng)絡(luò)傳輸協(xié)議的出現(xiàn)，使得無線網(wǎng)絡(luò)尤其是移動網(wǎng)絡(luò)5G在視音頻信號傳輸上提供了更大發(fā)展的可能性，5G網(wǎng)絡(luò)具有帶寬大，速率高，延時低等功能，能夠完美支持高清碼率視頻音頻信號的實時傳輸，并且高效的傳輸協(xié)議如NDI保證了畫面?zhèn)鬏數(shù)男盘栙|(zhì)量，它們的結(jié)合打破了直播在空間上的限制。

聚合云技術(shù)的出現(xiàn)也解決了單鏈路無線網(wǎng)絡(luò)信號丟失的問題，網(wǎng)絡(luò)聚合功能實際就是將三大運營商以及Wi-Fi信號進行帶寬的疊加，實時對每一路的信號質(zhì)量進行檢測，選擇最佳質(zhì)量的通路傳輸，任何一路信號丟失均可以將負載加載到其他通道上，不會影響信號的傳輸。

流媒體直播的方式代替了傳統(tǒng)電視直播需要將信號通過專線傳輸?shù)诫娨暱偪?，再由電視總控做分發(fā)的方式，技術(shù)人員只需要通過互聯(lián)網(wǎng)平臺的后臺申請相應(yīng)的推流地址和流串碼，就可以通過軟件將直播信號推送到對應(yīng)的直播間進行直播，網(wǎng)絡(luò)流傳輸方式的成本遠遠低于鋪設(shè)光發(fā)光收光鏈路，使得異地傳輸視音頻信號的成本更低。

3.3 面臨的問題

本次NDI的應(yīng)用場景為一個相對獨立的局域網(wǎng)環(huán)境，網(wǎng)絡(luò)結(jié)構(gòu)簡單，NDI5版本支持不同網(wǎng)段發(fā)現(xiàn)信源，結(jié)合公網(wǎng)IP端口映射等技術(shù)完全能夠?qū)崿F(xiàn)遠程制作，但是NDI由于其自身發(fā)現(xiàn)機制幾乎不需要任何認證，如果僅僅在局域網(wǎng)中傳輸，因其本身的封閉性，這并不會成為一個大問題，然而隨著在互聯(lián)網(wǎng)的各種場景中應(yīng)用，安全性問題是需要考慮的，目前NDI數(shù)據(jù)流的加密級別在256位數(shù)據(jù)加密，未來應(yīng)該考慮更具加密型以及更先進的算法來保護數(shù)據(jù)的安全性。

在復(fù)雜網(wǎng)絡(luò)下的延時和碼率間的平衡問題也值得考慮，F(xiàn)ULL NDI在不同路由間傳輸或在公網(wǎng)多節(jié)點情況下傳輸仍舊受到網(wǎng)絡(luò)帶寬和節(jié)點設(shè)備轉(zhuǎn)換的影響，1080p的帶寬在130 Mbps，4K信號帶寬在250 Mbps，這樣的帶寬對于多路傳輸來說，網(wǎng)絡(luò)壓力非常大，延時也會增大，而NDI HX方式雖然壓縮效率更高，但是它的延時可能無法滿足目前的遠程直播轉(zhuǎn)播要求，期待能夠發(fā)布更優(yōu)化的編碼方案，能夠在較低成本，較小系統(tǒng)下平衡多路由環(huán)境下的超高清IP流的傳輸與播放。

NDI5的發(fā)布對于視頻及音頻系統(tǒng)的支持有很大的提升，但目前來說NDI在視頻處理上已形成了一個較為完整的系統(tǒng)架構(gòu)，諸如基帶和HMDI的編碼器、視頻矩陣、多通道視頻錄制設(shè)備、多畫面分割器等等，在音頻方面雖然對于很多的軟件都有所支持但是硬件上并沒有成規(guī)模的產(chǎn)品出現(xiàn)，將來應(yīng)該會在音頻上出現(xiàn)基于NDI的IP架構(gòu)，甚至于從桌面級到云端業(yè)務(wù)的轉(zhuǎn)變，NDI或許能夠成為一種基于云端的視音頻輸入輸出標準。