3D場(chǎng)景渲染的視覺(jué)顯著性驅(qū)動(dòng)間接光照復(fù)用算法

齊淑杰，陳純毅，胡小娟，于海洋

3D場(chǎng)景渲染的視覺(jué)顯著性驅(qū)動(dòng)間接光照復(fù)用算法

齊淑杰，陳純毅*，胡小娟，于海洋

（長(zhǎng)春理工大學(xué) 計(jì)算機(jī)科學(xué)技術(shù)學(xué)院，長(zhǎng)春 130022）（?通信作者電子郵箱chenchunyi@hotmail.com）

為提高路徑追蹤渲染3D場(chǎng)景的速度，提出3D場(chǎng)景渲染的視覺(jué)顯著性驅(qū)動(dòng)間接光照復(fù)用算法。首先，根據(jù)視覺(jué)感知中感興趣區(qū)域顯著性高、其他區(qū)域顯著性低的特點(diǎn)得到場(chǎng)景畫(huà)面的2D顯著性圖，該顯著性圖由圖像的顏色信息、邊緣信息、深度信息以及運(yùn)動(dòng)信息構(gòu)成。然后，重新渲染高顯著性區(qū)域的間接光照，而低顯著性區(qū)域則在滿(mǎn)足一定條件的情況下復(fù)用上一幀的間接光照，達(dá)到加速渲染的目的。實(shí)驗(yàn)結(jié)果表明：該算法生成畫(huà)面的全局光照效果真實(shí)，在多個(gè)實(shí)驗(yàn)場(chǎng)景下的渲染速度均有提升，速度最高能達(dá)到高質(zhì)量渲染的5.89倍。

路徑追蹤；間接光照；視覺(jué)感知；顯著性圖；加速渲染

0 引言

路徑追蹤是一種模擬光照且能生成高真實(shí)感圖像的渲染算法，目前已經(jīng)廣泛應(yīng)用到電影、動(dòng)畫(huà)等領(lǐng)域。但是由于路徑追蹤算法需要從視點(diǎn)發(fā)射大量的光線(xiàn)，并且遞歸地追蹤每一條光線(xiàn)，耗時(shí)龐大，故處理速度很低，難以應(yīng)用于場(chǎng)景的快速繪制。

為了提升路徑追蹤繪制速率，一些基于層次包圍盒（Bounding Volume Hierarchies）［1］、二叉空間分割樹(shù)（Binary Space Partitioning Trees）［2］、八叉樹(shù)（Octrees）［3］、KD樹(shù)［4］和場(chǎng)景圖［5］的方法被提出，用來(lái)減少光線(xiàn)與空間物體的求交時(shí)間。這些方法降低了空間結(jié)構(gòu)對(duì)于光線(xiàn)追蹤算法的影響，既能保證渲染效果，也可以減少繪制時(shí)間。為了進(jìn)一步提高繪制速率，Stokes等［6］提出來(lái)一種基于光照分量的感知度量方法。通過(guò)場(chǎng)景中的不同反射材質(zhì)特性，預(yù)測(cè)該材質(zhì)在間接光照中的重要性，從而減少對(duì)重要性較低的材質(zhì)的資源分配。可是實(shí)際應(yīng)用當(dāng)中，如果因?yàn)榉瓷涑煞州^少而忽略，那么會(huì)明顯影響場(chǎng)景的真實(shí)性。因此，既想實(shí)現(xiàn)逼真的渲染效果，又要達(dá)到較高的繪制速率非常困難。

為了提升繪制速率且實(shí)現(xiàn)逼真的渲染效果，本文提出3D場(chǎng)景渲染的視覺(jué)顯著性驅(qū)動(dòng)間接光照復(fù)用算法。首先構(gòu)造一種顯著性度量模型，該模型通過(guò)對(duì)顏色、邊緣、深度以及運(yùn)動(dòng)的量化，描述了人眼對(duì)于場(chǎng)景中事物的感知重要性；其次在計(jì)算間接光照時(shí)，對(duì)屬于顯著性較高區(qū)域的像素重新發(fā)射光線(xiàn)計(jì)算間接光照，而屬于顯著性較低區(qū)域的像素則考慮是否可以復(fù)用可視場(chǎng)景點(diǎn)在上一幀的間接光照值，從而減少不必要的資源投入，達(dá)到加速的目的。

1 相關(guān)工作

使用視覺(jué)感知原理來(lái)驅(qū)動(dòng)三維場(chǎng)景繪制的基本思想是從人眼對(duì)于亮度、對(duì)比度的感知出發(fā)，得到視覺(jué)靈敏度模型。Meyer等［7］基于人類(lèi)視覺(jué)系統(tǒng)較差的色彩空間靈敏度開(kāi)發(fā)了自適應(yīng)圖像合成算法；Ramasubramanian等［8］提出了高背景照明水平、高空間頻率和高對(duì)比度水平視覺(jué)靈敏度的閾值模型，通過(guò)模擬亮度和對(duì)比度對(duì)于視覺(jué)感知靈敏度的影響來(lái)分配資源，但是這種方法沒(méi)有包含方向信息；Drettakis等［9］考慮了人眼對(duì)于遮擋和陰影所生成掩蔽的感知特性，減少對(duì)細(xì)節(jié)感知能力較差區(qū)域的資源投入，算法主要是對(duì)空間遮蔽的計(jì)算和優(yōu)化，沒(méi)有融合重要的顏色特征。以上方法是基于亮度和對(duì)比度的視覺(jué)模型，但真實(shí)的三維場(chǎng)景對(duì)于人的關(guān)注度的影響，受限于多種因素；并且當(dāng)圖像的亮度、對(duì)比度不明顯時(shí)，算法并不會(huì)得到加速效果。

Koch等［10］最早提出了有關(guān)視覺(jué)注意機(jī)制的計(jì)算模型，通過(guò)特征圖加權(quán)得到顯著性圖，關(guān)注度高的區(qū)域顯著性較高，反之顯著性較低；Lavoué等［11］研究形狀、相機(jī)位置、材質(zhì)和光照對(duì)視覺(jué)注意的影響生成3D網(wǎng)格的顯著性模型；Sundstedt等［12］將自下而上的視覺(jué)注意模型融合進(jìn)渲染算法，提出了重要性模型；Longhurst等［13］將物體的移動(dòng)信息及物體的存在時(shí)間融合進(jìn)重要度模型；Meng等［14］通過(guò)中心渲染與眼動(dòng)跟蹤相結(jié)合，模擬了光感受器在人類(lèi)視網(wǎng)膜中的分布，減少對(duì)人眼不易感知細(xì)節(jié)的計(jì)算。以上幾種方法都根據(jù)顯著性的高低來(lái)發(fā)射不同數(shù)量的光線(xiàn)，從而加速渲染；但是由于顯著性的實(shí)時(shí)變化，會(huì)造成幀數(shù)發(fā)生斷斷續(xù)續(xù)的變化，除此之外，由于低顯著性區(qū)域發(fā)射了少量的光線(xiàn)，還會(huì)生成噪點(diǎn)。

綜合上述方法的優(yōu)點(diǎn)和缺點(diǎn)，本文提出了3D場(chǎng)景渲染的視覺(jué)顯著性驅(qū)動(dòng)間接光照復(fù)用算法。

2 間接光照復(fù)用算法

2.1　算法步驟

本文的間接光照復(fù)用算法基于路徑追蹤框架，利用GPU渲染全局光照下的3D場(chǎng)景。算法主要分為：①根據(jù)空間信息計(jì)算出視覺(jué)顯著性圖（步驟1～3）；②通過(guò)顯著性圖，對(duì)顯著性高的區(qū)域重新計(jì)算間接光照，對(duì)顯著性低的區(qū)域則考慮復(fù)用上一幀的間接光照（步驟4）；③將間接光照與直接光照相加得到全局光照（步驟5）。本文算法框架如圖1所示，詳細(xì)步驟如下：

步驟1 每個(gè)像素點(diǎn)預(yù)先向場(chǎng)景發(fā)射一條光線(xiàn)，得到每個(gè)像素對(duì)應(yīng)可視場(chǎng)景點(diǎn)的空間位置、空間法線(xiàn)、移動(dòng)的物體及其陰影、直接光照存儲(chǔ)在buffer中。

步驟2 通過(guò)空間位置計(jì)算出深度顯著性圖，通過(guò)法線(xiàn)計(jì)算出邊緣顯著性圖，通過(guò)移動(dòng)的物體及其陰影計(jì)算出移動(dòng)顯著性圖，使用上一幀的顏色圖計(jì)算出顏色顯著性圖。將以上四種顯著性圖相加得到第幀顯著性圖。

步驟3 將第幀顯著性圖與第-1幀顯著性圖取二者最大值融合得到綜合顯著性圖。

步驟4 得到上一幀顯著性圖后，對(duì)于每一個(gè)像素，如果像素的顯著性較低，則在上一幀中尋找與像素空間位置與法線(xiàn)夾角等條件近似的像素：如果存在這樣的像素，像素就復(fù)用像素的間接光照；但當(dāng)像素A的顯著性較高或者找不到近似的像素，則像素重新發(fā)射條光線(xiàn)進(jìn)行路徑追蹤，重新計(jì)算間接光照值（為每個(gè)像素發(fā)射的光線(xiàn)數(shù)量）。

步驟5 將直接光照與間接光照相加得到本幀的全局光照。

圖1　本文算法框架

2.2　顯著性圖的構(gòu)建

本文的顯著性圖由四部分組成，分別是：顏色、邊緣（指物體的邊緣）、深度（指每個(gè)物體與視點(diǎn)的距離）、移動(dòng)物體及其陰影（指場(chǎng)景中移動(dòng)的物體以及移動(dòng)的物體所生成的陰影）。本文顯著性圖是在每一幀開(kāi)始繪制前計(jì)算出來(lái)的，用來(lái)指導(dǎo)本幀的繪制。

2.2.1顏色空間顯著性

圖2　顏色顯著性圖示例

2.2.2法線(xiàn)夾角計(jì)算空間邊緣信息

由于物體的邊緣容易引起人眼的注意，而且物體的邊緣容納噪聲的強(qiáng)度較弱，所以，將物體的邊緣也作為顯著性檢測(cè)的指標(biāo)之一。Canny邊緣檢測(cè)［16］和SUSAN算法［17］都是非常經(jīng)典的邊緣檢測(cè)算法，但是使用這些算法在計(jì)算顏色交融的邊緣時(shí)，無(wú)法得到非常精確的效果，而且速度較慢。因此，本文使用基于法線(xiàn)計(jì)算物體邊緣的算法，通過(guò)計(jì)算當(dāng)前像素與其周?chē)南袼氐姆ň€(xiàn)夾角來(lái)確定這個(gè)像素點(diǎn)所對(duì)應(yīng)的空間位置是不是邊緣。

得到邊緣顯著性圖后，發(fā)現(xiàn)圖像中有些區(qū)域的邊緣比較密集。密集邊緣具有較高的空間頻率，而人眼對(duì)于空間頻率的感知，只有在2～4 cpd（cycles per degree）時(shí)才比較敏感［18］，所以密集邊緣容納噪聲的能力較強(qiáng)。cpd的值與圖像的大小、距離圖像的距離和觀看圖像的角度有關(guān)，所以本文生成了一個(gè)具有普適性的模型，提出一種簡(jiǎn)單快速的方法來(lái)減小密集邊緣的顯著性。處理邊緣的詳細(xì)步驟如下：

步驟2 將邊緣圖使用雙線(xiàn)性插值方法下采樣到原圖像1/4大小，執(zhí)行下一步。

步驟3 將下采樣的圖像使用最近鄰插值上采樣得到原圖像大小，執(zhí)行下一步。

步驟5 最后將邊緣圖中每一個(gè)像素使用

圖3（a）為邊緣圖，圖3（b）為對(duì)密集區(qū)域的邊緣處理后的邊緣顯著性圖像。可以看出，邊緣密集區(qū)域的顯著性都降低了，而邊緣稀疏區(qū)域的顯著性很高。

圖3　邊緣顯著性圖示例

2.2.3相對(duì)深度得到深度顯著性

離人眼近的物體由于接近而變得突出。距離在本文的模型中很容易計(jì)算，它只是一個(gè)物體到視點(diǎn)的距離。為了適應(yīng)多種不同的場(chǎng)景，使用

2.2.4移動(dòng)的物體及其陰影

人眼對(duì)于移動(dòng)的物體注意力比較高，所以本文將移動(dòng)的物體作為顯著性的一部分；同時(shí)也考慮移動(dòng)物體的陰影，因?yàn)殛幱暗奈恢煤头ň€(xiàn)寄托于呈現(xiàn)陰影的平面上。如果陰影發(fā)生了移動(dòng)，僅僅根據(jù)法線(xiàn)和空間位置無(wú)法判斷這一像素是否要重新計(jì)算間接光照，所以將移動(dòng)物體的陰影也作為顯著性圖的一部分。

圖4　移動(dòng)成分顯著性圖

本文單獨(dú)計(jì)算每一種顯著性，為了盡可能地使每一個(gè)像素點(diǎn)的顯著性大，所以將四種顯著成分相加，使用

2.3　間接光照的復(fù)用

在間接光照的復(fù)用過(guò)程中，需要考慮以下的四種情況： 1）根據(jù)顯著性復(fù)用間接光照；2）根據(jù)空間位置法線(xiàn)方向復(fù)用間接光照；3）光照分量；4）隨機(jī)復(fù)用間接光照。

2.3.1根據(jù)顯著性復(fù)用間接光照

在間接光照的復(fù)用過(guò)程中，首先考慮的是像素點(diǎn)的顯著性，如果此像素點(diǎn)不顯著，就考慮對(duì)這個(gè)像素點(diǎn)進(jìn)行間接光照的復(fù)用。

圖5　顯著性圖

2.3.2根據(jù)空間位置法線(xiàn)方向復(fù)用間接光照

在滿(mǎn)足了顯著性較低的條件之后，考慮第二個(gè)條件：空間位置以及法線(xiàn)方向。

在找到了滿(mǎn)足了這三個(gè)條件之后的像素后，則像素可以考慮復(fù)用像素的間接光照值。

2.3.3光照分量

在滿(mǎn)足了以上的兩個(gè)條件后，已經(jīng)找到在上一幀中位置及法線(xiàn)符合條件的像素，計(jì)算第三種情況：像素間接光照相對(duì)于像素直接光照的重要性。圖7（a）為上一幀的間接光照?qǐng)D，圖7（b）本幀的直接光照?qǐng)D。為了描述間接光照在這個(gè)像素點(diǎn)的重要性，使用

計(jì)算，當(dāng)?shù)臅r(shí)候，說(shuō)明間接光照重要性較低，才會(huì)復(fù)用間接光照。其中：Pr、Pg、Pb分別為C像素間接光照的r、g、b分量與A像素直接光照的r、g、b分量之比。這個(gè)判斷條件描述了只有在這一像素間接光照不夠重要的情況下才會(huì)復(fù)用間接光照。

圖7　光照分量圖

2.3.4隨機(jī)復(fù)用間接光照

間接光照的復(fù)用大幅減少了計(jì)算時(shí)間，使渲染速度明顯提高。可是在實(shí)驗(yàn)過(guò)程中發(fā)現(xiàn)，對(duì)于像素中的某一點(diǎn)，長(zhǎng)時(shí)間復(fù)用上一幀的間接光照，有可能會(huì)出現(xiàn)噪點(diǎn)，原因是空間位置的漸變、法線(xiàn)方向的漸變或者光源的漸變。

為解決這個(gè)問(wèn)題，本文提出隨機(jī)復(fù)用間接光照的算法。在計(jì)算像素點(diǎn)的間接光照時(shí)，首先執(zhí)行一次俄羅斯輪盤(pán)賭。當(dāng)計(jì)算的隨機(jī)數(shù)<0.98時(shí)，就考慮對(duì)此像素點(diǎn)進(jìn)行間接光照的復(fù)用，也就是對(duì)于2%的像素點(diǎn)重新計(jì)算間接光照。本文隨機(jī)數(shù)取值0.98是經(jīng)過(guò)多次實(shí)驗(yàn)得到的優(yōu)質(zhì)常數(shù)。

3 實(shí)驗(yàn)與結(jié)果分析

在基于GPU的optix渲染器中實(shí)現(xiàn)了本文算法，并通過(guò)該渲染器來(lái)進(jìn)行對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)中所有算法都在Intel Core i5-8500 CPU @3.00 GHz和NVIDIA GeForce GTX 1060 3 GB的環(huán)境下運(yùn)行。其中NVIDIA GeForce GTX 1060 3 GB有1 152個(gè)CUDA個(gè)核心。實(shí)驗(yàn)使用路徑追蹤算法進(jìn)行繪制，將本文算法、高質(zhì)量渲染算法和文獻(xiàn)［14］算法繪制的圖像分辨率設(shè)為512×512像素。

3.1　顯著性圖的實(shí)現(xiàn)

本文通過(guò)對(duì)顏色、邊緣、深度、移動(dòng)物體及其陰影的分析計(jì)算得到顯著性圖，如圖8所示。其中：圖（a）為顏色顯著性，通過(guò)上一幀的顏色圖像計(jì)算得到，其他的顯著性成分是本幀計(jì)算得到，三個(gè)場(chǎng)景分別計(jì)算得到了準(zhǔn)確的顯著性；圖（b）為邊緣顯著性，使用本文算法之后，減小了密集邊緣的顯著性，稀疏邊緣仍有很高的顯著性；圖（c）為深度顯著性圖，可以看到位于距離人眼較近的物體的顯著性較高，位于距離人眼較遠(yuǎn)的物體顯著性較低；圖（d）為移動(dòng)的物體及其陰影，通過(guò)對(duì)移動(dòng)物體的3D模型的光線(xiàn)相交計(jì)算，對(duì)光線(xiàn)與移動(dòng)物體及其陰影相交的像素賦予較高的顯著性，可以看出移動(dòng)物體和移動(dòng)物體的陰影的顯著性較高，得到了準(zhǔn)確的移動(dòng)顯著性圖。最后將多種顯著性成分融合得到圖（e）的顯著性圖。

圖8　顯著性結(jié)構(gòu)圖

3.2　繪制效果

為了比較算法的繪制效果，分別渲染了靜態(tài)場(chǎng)景（場(chǎng)景一）、存在移動(dòng)物體的場(chǎng)景（場(chǎng)景二）和移動(dòng)視點(diǎn)的場(chǎng)景（場(chǎng)景三）。如圖9所示圖像為每個(gè)像素追蹤1 024條光線(xiàn)的繪制效果。在下文的主觀實(shí)驗(yàn)與客觀實(shí)驗(yàn)中，為了進(jìn)行比較，分別為每個(gè)像素追蹤16、64、256、1 024條光線(xiàn)。

圖9　繪制效果圖

3.2.1主觀實(shí)驗(yàn)

將投票結(jié)果除以投票次數(shù)得到了實(shí)驗(yàn)參與者對(duì)場(chǎng)景一、場(chǎng)景二、場(chǎng)景三所生成圖像的投票百分比結(jié)果。三個(gè)場(chǎng)景的投票結(jié)果均分布在50%附近，說(shuō)明有50%的參與者正確地指出了高質(zhì)量的結(jié)果，那么從統(tǒng)計(jì)學(xué)上來(lái)說(shuō)，對(duì)于這兩個(gè)圖像，觀察者正確識(shí)別圖像百分比為50%，也就是已經(jīng)無(wú)法區(qū)分本文算法與高質(zhì)量渲染算法的繪制效果。因此，本文算法生成了準(zhǔn)確的效果。

3.2.2客觀實(shí)驗(yàn)

由表1可知：場(chǎng)景一中，本文算法的繪制效果略?xún)?yōu)于文獻(xiàn)［14］的算法，這是由于靜態(tài)場(chǎng)景中的影響因素較少，比較容易達(dá)到接近高質(zhì)量渲染的繪制效果；而在場(chǎng)景二和場(chǎng)景三中，隨著物體的移動(dòng)、視點(diǎn)的移動(dòng)，影響繪制效果的因素較多，想達(dá)到高質(zhì)量渲染的繪制效果比較困難，可以看到本文算法與文獻(xiàn)［14］的算法存在明顯的繪制差異，本文算法遠(yuǎn)遠(yuǎn)優(yōu)于文獻(xiàn)［14］算法的繪制效果。本文算法的SSIM指標(biāo)也要高于文獻(xiàn)［14］算法，且本文算法繪制效果在SSIM的評(píng)價(jià)指標(biāo)中均超過(guò)0.989。這說(shuō)明本文算法更加接近原始圖像，而且還取得了非常好的效果。

表1　質(zhì)量評(píng)價(jià)結(jié)果

3.3　繪制速率

在三個(gè)場(chǎng)景中進(jìn)行繪制速率的對(duì)比實(shí)驗(yàn)，每個(gè)像素發(fā)射1 024條光線(xiàn)，各繪制50幀，取平均每幀的繪制時(shí)間，結(jié)果見(jiàn)表2。通過(guò)三組實(shí)驗(yàn)可以看出：本文算法構(gòu)造顯著性圖的時(shí)間在10 ms之內(nèi)，其速度要快于文獻(xiàn)［14］算法；通過(guò)繪制時(shí)間的對(duì)比，發(fā)現(xiàn)本文算法的速度可以達(dá)到高質(zhì)量渲染算法的3～6倍，文獻(xiàn)［14］算法的2～3倍。

表2　繪制50幀的平均每幀繪制時(shí)間

每個(gè)像素分別發(fā)射16、64、256、1 024條光線(xiàn)時(shí)，本文算法相較于高質(zhì)量渲染算法速率的提升倍數(shù)如表3所示?？梢钥闯觯诎l(fā)射四種不同光線(xiàn)條數(shù)的情況下，本文的繪制速率均有提高，但在發(fā)射的光線(xiàn)數(shù)量較少時(shí)，提升幅度較小。這是由于本文算法在發(fā)射光線(xiàn)之前，先發(fā)射了一條光線(xiàn)來(lái)得到場(chǎng)景的空間信息，相當(dāng)于多發(fā)射了1條光線(xiàn)，造成加速效果不顯著，但是當(dāng)發(fā)射光線(xiàn)較多時(shí)，可以忽略這條光線(xiàn)，從而得到顯著的加速效果。

表3　本文算法相比高質(zhì)量渲染算法速率的提升倍數(shù)

綜上所述，在圖像質(zhì)量方面：文獻(xiàn)［14］算法的生成圖像看起來(lái)較為粗糙，本文算法則生成了與高質(zhì)量渲染無(wú)法區(qū)分的效果；在繪制速率方面：將本文算法與高質(zhì)量渲染算法在三種不同場(chǎng)景、不同光線(xiàn)數(shù)量的情況下進(jìn)行了繪制速率的比較，本文算法的速率也明顯更優(yōu)。本文算法生成效果逼真，繪制效果和繪制速度均優(yōu)于對(duì)比算法。

4 結(jié)語(yǔ)

本文提出的3D場(chǎng)景渲染的視覺(jué)顯著性驅(qū)動(dòng)間接光照復(fù)用算法從人眼視覺(jué)感知的特點(diǎn)出發(fā)，通過(guò)將顏色、邊緣、深度、移動(dòng)物體及陰影的感知結(jié)果融合得到顯著性圖，通過(guò)顯著性圖指導(dǎo)渲染，顯著性較高的區(qū)域重新計(jì)算間接光照，顯著低的像素可以考慮復(fù)用上一幀的間接光照。將本文算法與高質(zhì)量渲染算法、文獻(xiàn)［14］算法進(jìn)行比較，通過(guò)主觀與客觀的圖像質(zhì)量評(píng)判，可知本文算法可以生成真實(shí)的效果；且同樣條件下本文算法的繪制時(shí)間更短，速度最高能達(dá)到高質(zhì)量渲染算法的5.89倍。本文算法有效減少了渲染時(shí)間，減少了不必要資源的投入，在漫反射場(chǎng)景能得到非常好的效果。

盡管本文算法能夠有效實(shí)現(xiàn)快速渲染，但依舊存在改進(jìn)空間：1）本文對(duì)多種影響感知因素進(jìn)行計(jì)算，所以在構(gòu)造顯著性圖時(shí)會(huì)消耗一定的時(shí)間，從而影響渲染的速度，今后的工作中可以考慮使用更簡(jiǎn)單且快速的方法來(lái)計(jì)算顯著性。2）本文主要針對(duì)的是漫反射場(chǎng)景，在以后的工作中，希望加入有鏡面反射、折射的場(chǎng)景。

[1] HENDRICH J， MEISTER D， BITTNER J. Parallel BVH construction using progressive hierarchical refinement［J］. Computer Graphics Forum， 2017， 36（2）： 487-494.

[2] CHEN Z Q， TAGLIASACCHI A， ZHANG H. BSP?Net： generating compact meshes via binary space partitioning［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020：42-51.

[3] 張文勝，解騫，鐘瑾，等. 基于八叉樹(shù)鄰域分析的光線(xiàn)跟蹤加速算法［J］. 圖學(xué)學(xué)報(bào)， 2015， 36（3）： 339-344.（ZHANG W S， XIE Q， ZHONG J， et al. Acceleration algorithm in ray tracing by the Octree neighbor finding［J］. Journal of Graphics， 2015， 36（3）： 339-344.）

[4] ZHANG J， GUO H Q， HONG F， et al. Dynamic load balancing based on constrained K?D tree decomposition for parallel particle tracing［J］. IEEE Transactions on Visualization and Computer Graphics， 2018， 24（1）： 954-963.

[5] CHEN T S， YU W H， CHEN R Q， et al. Knowledge?embedded routing network for scene graph generation［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 6156-6164.

[6] STOKES W A， FERWERDA J A， WALTER B， et al. Perceptual illumination components ［J］. ACM Transactions on Graphics， 2004， 23（3）： 742.

[7] MEYER G W， LIU A H. Color spatial acuity control of a screen subdivision image synthesis algorithm［C］// Proceedings of the SPIE 1666， Human Vision， Visual Processing， and Digital Display III. Bellingham， WA： SPIE， 1992： No.135984.

[8] RAMASUBRAMANIAN M， PATTANAIK S N， GREENBERG D P. A perceptually based physical error metric for realistic image synthesis［C］// Proceedings of the 26th Annual Conference on Computer Graphics and Interactive Techniques. New York： ACM， 1999：73-82.

[9] DRETTAKIS G， BONNEEL N， DACHSBACHER C， et al. An interactive perceptual rendering pipeline using contrast and spatial masking［C］// Proceedings of the 18th Eurographics Symposium on Rendering Techniques. Goslar： Eurographics Association， 2007：297-308.

[10] KOCH C， ULLMAN S. Shifts in selective visual attention： towards the underlying neural circuitry［J］. Human Neurobiology， 1985， 4（4）： 219-227.

[11] LAVOUé G， CORDIER F， SEO H， et al. Visual attention for rendered 3D shapes［J］. Computer Graphics Forum， 2018， 37（2）： 191-203.

[12] SUNDSTEDT V， DEBATTISTA K， LONGHURST P， et al. Visual attention for efficient high?fidelity graphics［C］// Proceedings of the 21st Spring Conference on Computer Graphics. New York： ACM， 2005：169-175.

[13] LONGHURST P， DEBATTISTA K， CHALMERS A. A GPU based saliency map for high?fidelity selective rendering［C］// Proceedings of the 4th International Conference on Computer Graphics， Virtual Reality， Visualisation and Interaction in Africa. New York： ACM， 2006：21-29.

[14] MENG X X， DU R F， ZWICKER M， et al. Kernel foveated rendering［J］. Proceedings of the ACM on Computer Graphics and Interactive Techniques， 2018， 1（1）： No.5.

[15] MCANDREW A. Principles of digital image processing： fundamental techniques［J］. Computing Reviews， 2010， 51（7）： 411-412.

[16] GAURAV K， GHANEKAR U. Image steganography based on Canny edge detection， dilation operator and hybrid coding［J］. Journal of Information Security and Applications， 2018， 41： 41-51.

[17] XU L M， LV J D. Recognition method for apple fruit based on SUSAN and PCNN［J］. Multimedia Tools and Applications， 2018， 77（6）： 7205-7219.

[18] SCHWARTZ N. Face perception enhances the detection of spatial frequencies between 2-4 cycles per degree （16-32 cycles per face）［J］. Journal of Vision， 2009， 9（8）： No.537.

Visual?saliency?driven reuse algorithm of indirect lighting in 3D scene rendering

QI Shujie， CHEN Chunyi*， HU Xiaojuan， YU Haiyang

（，，130022，）

In order to accelerate rendering of 3D scenes by path tracing， a visual?saliency?driven reuse algorithm of indirect lighting in 3D scene rendering was proposed. Firstly， according to the characteristics of visual perception that the regions of interest have high saliency， while other regions have low saliency， a 2D saliency map of the scene image was obtained， which consists of color information， edge information， depth information and motion information of the image. Then， the indirect lighting in the high?saliency area was re?rendered， while the indirect lighting of the previous frame was reused in the low?saliency area under certain conditions， thereby accelerating the rendering. Experimental results show that the global lighting effect of the image generated by this method is real， and the rendering speed of the method is improved in several experimental scenes， and the speed can reach up to 5.89 times of that of the high?quality rendering.

path tracing; indirect lighting; visual perception; saliency map; accelerated rendering

This work is partially supported by National Natural Science Foundation of China （U19A2063）， Science and Technology Development Program of Jilin Province （20180519012JH， 20190302113GX）， Science and Technology Research Project of Education Department of Jilin Province during “the 13th Five?Year Plan” （JJKH20200792KJ， JJKH20200799KJ）.

QI Shujie， born in 1996， M. S. candidate. His research interests include realistic 3D graphic drawing.

CHEN Chunyi， born in 1981， Ph. D.， professor. His research interests include photorealistic 3D graphic drawing， computer simulation.

HU Xiaojuan， born in 1985， Ph. D.， lecturer. Her research interests include machine learning， virtual reality.

YU Haiyang， born in 1989， Ph. D.， lecturer. His research interests include intelligent information processing.

TP391.41

A

1001-9081（2022）11-3551-07

10.11772/j.issn.1001-9081.2021122181

2021?12?24；

2022?03?14；

2022?05?16。

國(guó)家自然科學(xué)基金資助項(xiàng)目（U19A2063）；吉林省科技發(fā)展計(jì)劃項(xiàng)目（20180519012JH， 20190302113GX）；吉林省教育廳“十三五”科學(xué)技術(shù)研究項(xiàng)目（JJKH20200792KJ， JJKH20200799KJ）。

齊淑杰（1996—），男，山東濱州人，碩士研究生，主要研究方向：真實(shí)感三維圖形繪制；陳純毅（1981—），男，重慶人，教授，博士，CCF會(huì)員，主要研究方向：真實(shí)感三維圖形繪制、計(jì)算機(jī)仿真；胡小娟（1985—），女，山東淄博人，講師，博士，CCF會(huì)員，主要研究方向：機(jī)器學(xué)習(xí)、虛擬現(xiàn)實(shí)；于海洋（1989—），男，吉林長(zhǎng)春人，講師，博士，主要研究方向：智能信息處理。