在推出RTX 20系列顯卡時(shí),NVIDIA就將用于AI計(jì)算的Tensor Core加入了消費(fèi)級(jí)顯卡,并提出了一系列基于AI的非游戲內(nèi)的應(yīng)用場(chǎng)景。前不久發(fā)布RTX 30系列顯卡時(shí),NVIDIA正式推出了針對(duì)直播應(yīng)用的NVIDIA Broadcast應(yīng)用,能夠充分利用RTX顯卡優(yōu)秀的AI計(jì)算能力,為時(shí)下流行的直播用戶提供整套直播輔助解決方案。那么它到底有哪些神奇之處呢?
對(duì)于個(gè)人主播和小型工作室來說,聲音和畫面的處理是最迫切需要解決的兩個(gè)方面,傳統(tǒng)的降噪麥克風(fēng)和綠幕往往是大家必不可少的裝備,但這些東西不但價(jià)格昂貴,同時(shí)在擺放和挪動(dòng)上也有些麻煩。NVIDIA Broadcast的出現(xiàn)則可以輕松解決主播在這方面的困擾,它可以捕獲玩家的攝像頭、麥克風(fēng)和揚(yáng)聲器的輸入(輸出)進(jìn)行AI人工智能處理,并將自身設(shè)置為一個(gè)虛擬設(shè)備,供OBS等直播串流軟件調(diào)用。轉(zhuǎn)換為AI智能設(shè)備后,其可以通過RTX顯卡進(jìn)行AI計(jì)算,添加如背景消除、降噪等強(qiáng)大功能,讓玩家搭建直播工作室的過程變得更加輕松。
除此之外,NVIDIA RTX30系列還搭載了新一代的NVENC高性能視頻編碼器,可以完成H.264和H.265兩種格式的編碼,主流直播串流軟件已經(jīng)提供了對(duì)其的支持。在該技術(shù)的加持下,可以極大地降低編碼時(shí)處理器的占用,釋放更多處理器性能供游戲本身使用,從而帶來更好的游戲直播體驗(yàn)。
雖然NVIDIA Broadcast提供的部分功能,在某些直播串流軟件中也以插件的方式提供給玩家,但這些軟件提供的解決方案通常還需要不菲的費(fèi)用才能開啟。而NVIDIA Broadcast則是免費(fèi)提供給NVIDIA RTX系列顯卡玩家使用的,玩家只需要在NVIDIA官網(wǎng)下載安裝即可免費(fèi)使用。
NVIDIA Broadcast的界面非常簡(jiǎn)潔明了,“麥克風(fēng)”“揚(yáng)聲器”“相機(jī)”三個(gè)選項(xiàng)卡頁(yè)面分別對(duì)應(yīng)聲音和畫面兩部分的功能。相機(jī)界面下,選擇相機(jī)源之后,可以調(diào)整輸出的畫面分辨率和幀率,下面的效果選項(xiàng)欄中,可以選擇想要開啟的背景功能。當(dāng)前的NVIDIA Broadcast版本中,為玩家提供了“背景模糊”、“背景更換”、“背景刪除”和“自動(dòng)聚焦”四種效果。
背景刪除功能可以很好地做到和使用綠幕一樣的效果
使用背景更換功能還能在刪除背景后使用自定義的圖片或視頻
開啟背景模糊后,可以看到背景虛化效果比較自然
背景模糊功能可以識(shí)別當(dāng)前主播的人像主體,并將背景進(jìn)行模糊處理,從而實(shí)現(xiàn)突出主體,減少雜亂背景對(duì)直播的影響,或者在縱深較低的直播環(huán)境中模擬出更強(qiáng)烈的背景虛化效果,實(shí)現(xiàn)更好的直播體驗(yàn)。而“背景更換”、“背景刪除”則可以模擬以前需要綠幕才能完成的摳像效果,在開啟這兩種效果后,NVIDIA Broadcast可以利用RTX系列顯卡的AI計(jì)算能力和AI算法,將主播從雜亂的背景中摳出主體。而背景更換功能在實(shí)現(xiàn)刪除背景的同時(shí),還能替換上玩家需要的背景圖片(或視頻),從而實(shí)現(xiàn)沉浸式的直播效果?!白詣?dòng)聚焦”開啟這個(gè)功能后,主播在鏡頭前一定范圍內(nèi)移動(dòng)時(shí),直播畫面能夠進(jìn)行跟隨,保證主播始終處于畫面焦點(diǎn),不會(huì)離開畫面。
聲音方面,NVIDIA Broadcast不但可以針對(duì)麥克風(fēng)拾音進(jìn)行噪音消除,同時(shí)還能對(duì)耳機(jī)(揚(yáng)聲器)播音進(jìn)行噪音消除,從而保證主播在直播時(shí)無論是帶給觀眾的聽覺效果還是自身和隊(duì)友交流時(shí)都有清晰的聲音表現(xiàn)。
使用NVIDIA NVENC硬件編碼占用更低幀速更高
NVIDIA RTX 30系列顯卡搭載了新一代高性能NVIDIA NVENC視頻編碼器。大家常見的斗魚、虎牙和bilibili都能夠支持NVENC硬件編碼,應(yīng)用最廣泛的Open Broadcaster Software(OBS)也提供了對(duì)NVENC的支持,可以說目前你想播的主流平臺(tái),都能用上NVENC了。
在直播視頻推流時(shí),主播可以開啟NVENC硬件編碼,從而大幅降低編碼操作對(duì)CPU資源的占用,反應(yīng)在實(shí)際體驗(yàn)方面就是相對(duì)CPU編碼模式來講系統(tǒng)響應(yīng)變快、游戲幀率更高了。從使用NVIDIA RTX 3080直播《絕地求生》實(shí)測(cè)可以看到,在OBS中使用CPU x264編碼器編碼時(shí),游戲的幀速為169fps,處理器占用為41%,而改為使用NVENC硬件編碼時(shí),處理器占用降至了25%,同時(shí)幀速漲至了194fps。由于我們測(cè)試使用的是Intel酷睿i9 10900K這樣的旗艦處理器,如果使用中低端處理器和運(yùn)行一些對(duì)CPU要求更高的游戲,這個(gè)提升幅度還會(huì)更大。