“大力水手”與“萬金油”合體　NVIDIADLSS2.3+NIS“全家桶”實際體驗

蒲鵬

就在11月16日，伴隨NVIDIAGameReadyDriver496.70驅(qū)動的升級，NVIDIADLSS也迎來了2.3的版本升級。

很多玩家不知道的是，這次升級其實不止DLSS2.3，還包含NVIDIAImageScaling（以下簡稱NIS）和NVIDIAImageScalingSDK，前者集成在NVIDIAGeForceExperience中供用戶使用，后者則是會對該功能推出的SDK，供游戲開發(fā)商使用。另外還推出一個ImageComparison&AnalysisTool（以下簡稱ICAT）圖像比較工具，專門用于錄制或抓取游戲中的畫面片段，比較不同技術下的畫面細節(jié)。DLSS2.3看似是個小版本升級，但基本包含了相關的所有技術，是以“全家桶”形式的進行的全面升級。很多細節(jié)值得去聊，下面讓我們逐個對其進行解讀：

DLSS2.3：消除“鬼影”，畫面更真實

關于DLSS（深度學習超采樣技術）這項黑科技，不少游戲玩家都有所了解，是一項基于AI人工智能訓練的連續(xù)時間性超級分辨率技術，在提高幀率的同時，保持可媲美甚至超越原生分辨率的圖像質(zhì)量。DLSS的優(yōu)勢在于以AI為基礎，基于張量單元進行計算，并不以犧牲性能換取畫質(zhì)的方式。NVIDIA表示，這次升級為2.3之后，依舊不會加重整體系統(tǒng)負載。DLSS2.3最核心的升級主要是基于運動矢量（motionvector），改善了運動物體的細節(jié)、粒子重建、拖影（鬼影）、時間穩(wěn)定性（連續(xù)幀的畫面穩(wěn)定性）。

舉個例子來說，《賽博朋克2077》中汽車運動中會有一些細節(jié)拖影，比如后視鏡，升級之后，這些拖影均有明顯改善。

《毀滅戰(zhàn)士：永恒》中的火星拖影是同樣的道理，DLSS2.3將其重新渲染為不同的光斑。這是符合人眼視覺規(guī)律的。

具體來看DLSS2.3的升級內(nèi)容，其中包含：

·接近現(xiàn)實且更清晰的高分辨率細節(jié)

·一直在提升的人工智能模型

·更準確的原畫面還原

·高質(zhì)量線條

·畫面上更清晰的屏幕文本內(nèi)容

·減少運動偽影

·對比原畫面也不輸?shù)姆€(wěn)定閃爍

·避免銳化后瑕疵

·有效利用像素，用更少的像素做更多的事情

相對以前老版本的DLSS，DLSS2.3針對移動中物品畫質(zhì)進一步強化，并修正了不少游戲中的細節(jié)：比如《Control》中女主角的馬尾，暗處的轉(zhuǎn)動風扇的顆粒。還有火焰燃燒狀態(tài)和散逸的火星，讓物理移動時間軸內(nèi)的畫面更加穩(wěn)定，并且能將更多顯示運算套用在游戲之上，無須游戲開發(fā)商費時費錢去做開發(fā)，而且在畫質(zhì)提升同時，讓幀數(shù)大幅提升。

正是因為NVIDIA針對DLSS的不斷提升，其實從2.0版本起便有大量的游戲開放廠商將旗下作品支持DLSS，甚至一些主流游戲引擎，諸如Unity、UnrealEngine，就引入對DLSS的支持。這一過程，其實并不僅是NVIDIA強大的硬件實力影響，DLSS本身特性獲得了廠商、玩家們的支持。

為何玩家者愛用DLSS，我?guī)痛蠹覐脑砩辖庾x

如果從原理上來理解NVIDIADLSS，你就能明白其優(yōu)勢所在。DLSS在進行單幀畫面計算時引入了“空間+時間”的混合方式。針對當前幀上的物體，DLSS會收集其之后兩幀的不同信息，（目前TensorCore的算力可以支持前后幀的計算）通過多幀累計完成對運動矢量的跟蹤，其AI算法會決定從關鍵幀與比較幀中提取相同的信息，這一部分是不需要重復計算的渲染的，所以在每幀畫面都以較小的算力獲取較多的畫面細節(jié)。

如上所示，一幀1440p分辨率的質(zhì)量模式畫面，DLSS在三幀畫面中總共采集超過600萬的像素，再通過AI算法提取其運動矢量（MotionVector）信息，并通過AI算法模型對采樣信息進行加工，從而渲染生成350萬像素的畫面。在這個過程中，AINetwork會通過深度學習能力不斷優(yōu)化生產(chǎn)最優(yōu)方式生成圖像的方式。

相比普通的圖像縮放算法，是將220萬像素輸入幀畫面以像素填充的方式“拉”成了350萬像素，也就是通過空間標識對單個點附近的低分辨率像素進行采樣，再放大、銳化，說白了，也就是一種單純的空間算法。（1）這樣的做法首先是在高分畫面中不可能完全還原低分畫面中的細節(jié)原樣，只能過能降低細節(jié)對比度的方式模糊物體的界限。（2）其次在運動感知上，通過前后幀的運動矢量運算，以動態(tài)的減少縮放比例;基于空間縮放的圖像縮放算法是由于沒有時間上的矢量數(shù)據(jù)，只是基于每個像素的空間標識來計算，放大后畫面會出現(xiàn)一些不穩(wěn)定的狀態(tài)。（3）另外，普通圖像縮放算法這部分運算需要犧牲一部分系統(tǒng)整體算力來實現(xiàn)的，而非用TensorCores單獨來運算的。

兼容性更強的NIS

NVIDIAGeForce早期顯卡不具備TensorCores，無法使用DLSS，但這次GFE更新后將NVIDIAImageScaling（NIS）整合進來，無疑給玩家提供了另一個選擇。

NIS其實不是一個新算法，早在2019年便已經(jīng)是NVIDIA控制面板中的一項功能了，不過后來因為發(fā)展DLSS的原因，它一直被擱置。如今重出江湖還是NVIDIA希望將近幾年在游戲畫面優(yōu)化的積淀釋放出來，秀一秀肌肉，畢竟它與AMDFSR是同源技術。

既然是有針對性的技術，NIS相對四年前的老版本空間算法有了巨大的進步，最大的更新莫過于采用了十一階六6-tap過濾器和四向縮放技術，另外加上畫質(zhì)改善不錯的自適應圖像銳化濾鏡。值得一提的是，新的NIS將分辨率縮放和銳化放在一次掃描渲染過程中，效率非常高。據(jù)NVIDIA的披露，老款的GTX9系、10系顯卡均可支持該功能。從理論上來講，AMD顯卡和英特爾即將發(fā)布的獨立顯卡也應該能夠支持NIS。

比起AMDFSR和英特爾XeSS，NIS最大的優(yōu)勢便在于不需要游戲支持，它僅是一套通用算法，而且放在驅(qū)動之中，你可以把它理解為一種顯示的外掛，并且它還獲得了MIT的開源授權，以及對跨平臺GPU的支持，在Github也可下載。

只要升級了此次的最新驅(qū)動，便可以開啟NIS。但NIS沒有游戲支持要求，但其實在使用上也有一定門檻的，所以我也會對使用NIS做一個簡單說明：因為NIS不會去主動適配和調(diào)節(jié)游戲中的原分辨率（FSR只需要設置最終畫面顯示出高分辨率即可），所以需要事先將游戲的分辨率設定在渲染前的低分辨率上，顯卡正常渲染后，再將游戲中的低分辨率圖像拉伸到全屏的顯示分辨率上，你可以理解為一種手動模式，用熟之后其實也沒什么難度。

NIS開啟需要同時在NVIDIA控制面板和GeForceExperience之中打開。將驅(qū)動更新后，用戶需要在NVIDIA控制面板中，找到3D管理設置中圖形縮放的選項，開啟該選項后勾選“覆蓋指示器”;在GeForceExperience中，在設置選項中勾選“啟用實驗性功能”，即可在下方點選開啟圖像縮放（NIS）。在GeForceExperience，軟件是根據(jù)顯示器分辨率提供了不同的選項，選擇好分辨率檔位后，點擊下方優(yōu)化即可生效。

設置成功后，游戲左上角會有NIS的字樣顯示，綠色表示圖像放大和銳化同時生效中，藍色表示縮放未生效，此時需要將游戲中設置分辨率設置為小于NIS分辨率，這樣才能有效發(fā)揮NIS的渲染效果。需要說明的是，NIS功能必須要全屏以及游戲獨占屏幕才能實現(xiàn)，窗口模式NIS是不會生效的。

既然NIS與FSR同源，都是一種空間縮放算法，它還是有一些天然克服不了的問題，比如抓取不了運動矢量，同樣會有模糊的情況，比如在《Necromunda：HiredGun》的畫面中，我們可以看到這樣的問題，而DLSS則能完美還原游戲畫面中的文字細節(jié)，甚至更加銳利清晰。不過同在ULTRAQUALITY模式下，它對幀率的提升還是優(yōu)于FSR的，不過離PERFORMANCE模式的DLSS還是有相當距離。

所以，NIS與DLSS本質(zhì)上是不同的算法，基于AI算法DLSS對于畫面中物體的理解擁有運動矢量信息的計算，比只能在畫面中機械地插入像素的所有圖像縮放算法更為先進。

我們再來看一些NIS與FSR的比較，可以明顯看到擁有四向縮放技術和自適應圖像銳化濾鏡的NIS在畫面細節(jié)上更為細膩清晰。

極為方便的圖形分析工具——ICAT

ICAT（ImageComparison&AnalysisTool）是隨此次DLSS和NIS更新推出的一款圖形分析工具套件，需要單獨下載。借助它玩家可以輕松地比較原生、DLSS、FSR、NIS等游戲幀率優(yōu)化技術下的游戲畫面的差別。以往我們僅能借助Fraps、GFE或Frameview等工具軟件來比較幀率，但畫質(zhì)只能在并排畫面中來比較。

在ICAT中我們可以采用并排和分屏兩種方式來進行比較，并排模式可以最多加載最多四個視頻或屏幕截圖，以并排方式播放，并能實現(xiàn)慢動作播放、放大畫面、左右交換等功能。不僅如此，還能實現(xiàn)對齊、修剪、創(chuàng)建循環(huán)、平移以及縮放到焦點區(qū)域等操作，可以實現(xiàn)視頻畫面的同時播放。分屏模式則只支持兩個畫面疊加，可以左右拉動滑塊來進行左右測視頻或圖形的特點區(qū)域比較。

測試過程：DLSS依舊是最強王者，沒有之一

測試之前需要說明的是，由于NIS是“外掛”的方式對畫面進行空間縮放，所以它并不支持ShadowPlay這類軟件以錄屏的方式來抓取，正確的方式是通過視頻采集卡或者NVIDIAImageScalingSDK中錄制。不過NISSDK雖然是免費開放的，但依舊需要游戲廠商主動支持，據(jù)NVIDIA官方披露，《仙劍奇?zhèn)b傳七》《逆水寒》和《永劫無間》三款游戲很快就會支持NISSDK。

《賽博朋克2077》

可以看到《賽博朋克2077》在DLSS下的性能提升非常明顯，在質(zhì)量模式下幀率有近兩倍的提升，而在超高性能模式下，幀率提升達4倍多。而NIS67%模式下，也有3倍多的提升。（以下測試均選擇最高畫質(zhì)、最高光追效果，關閉垂直同步）

在場景中，DLSS超高性能模式（左2）和DLSS質(zhì)量模式（左3）與原圖（左1）差別很小，前景上DLSS將招財貓和白盒子的金屬部分渲染得更銳，細節(jié)上基本還原了原圖精細度。背景上鐵架的細節(jié)則有些許區(qū)別，清晰度是原圖≥DLSS質(zhì)量模式≥DLSS超高性能模式≥NIS67%（左4）。

在這個場景中，我們主要分辨文字的桌上可樂罐等細節(jié)，與上圖一樣，和DLSS質(zhì)量模式（左3）與原圖（左1）差別極小，DLSS超高性能模式（左2）的邊緣銳度略低一點。因為《賽博朋克2077》并不直接支持FSR，所以不進行FSR模式的測試。

《F12021》

從幀率上來看，DLSS平衡模式依舊擁有提升近一倍的表現(xiàn)，而且NIS67%模式也有相當不錯的幀率表現(xiàn)，與DLSS平衡模式相近?！禙12021》中并沒有FSR的模式變更選項，其幀率相對原畫面約有1.4倍的提升。

在畫質(zhì)比較上，DLSS依舊最接近原畫質(zhì)的，F(xiàn)SR看似畫質(zhì)也不錯，但邊緣銳度過高有些失真。在圖1中賽車擾流板下的兩側(cè)文字，F(xiàn)SR和NIS都有不同程度的渲染畫面不穩(wěn)定的情況，LOGO看起來有些糊。圖2也是同樣的問題，F(xiàn)SR模式下文字略有些銳度失真。

《神秘島》

《神秘島》同樣是兼容DLSS和FSR的游戲，在4K原畫質(zhì)下77幀的畫面，在DLSS平衡模式下同樣擁有接近兩倍的幀率提升，而DLSS超高性能模式下，則有2.25倍的提升;相對而言，F(xiàn)SR的高質(zhì)量和平衡模式的幀率提升稍低一些;理所當然，提升最大的依舊是NIS模式。

畫質(zhì)比較上，我們將數(shù)據(jù)分為兩組，分別是（1）4K原畫質(zhì)、DLSS平衡、FSR超高質(zhì)量和NIS76%;（2）4K原畫質(zhì)、DLSS超高性能、FSR平衡和NIS50%。第一組測試中可以看到，即使是FSR超高質(zhì)量模式，畫質(zhì)依舊比不上DLSS平衡模式，F(xiàn)SR依舊有樹梢等細節(jié)渲染失真，畫面過銳的情況。NIS76%模式的畫質(zhì)是最低的一檔。

而在第二組中，我們可以看到DLSS超高性能依舊是最接近4K原畫質(zhì)的一組，而且與FSR平衡模式迅速拉開了差距，F(xiàn)SR平衡模式反而與NIS50%的畫質(zhì)較為接近。

工程師點評

在市面上所有的同類技術中，DLSS依舊是體驗最好的，其畫質(zhì)與游戲原畫質(zhì)幾乎沒有差別，而且在游戲中甚至有多達數(shù)倍的幀率提升。對于僅有一塊甜品卡，又想流暢地玩4K分辨率的3A大作，那么它是最好的選擇。DLSS2.3修復了很多動態(tài)畫面細節(jié)上的問題，且并沒有增機整機負載，值得點贊。

NIS加載更為靈活，不需要游戲支持，這是優(yōu)于包含DLSS、FSR、XeSS等同類技術的。在與同源軟件FSR相比較，它在部分場景下的細節(jié)和整體流暢度（幀率）優(yōu)于后者，不過依舊會有一些動態(tài)畫面不穩(wěn)定和遠景模糊的問題。