注意力機(jī)制的曲面沉浸式投影系統(tǒng)補(bǔ)償

雷清樺，楊婷，程鵬

1.四川大學(xué)視覺(jué)合成圖形圖像技術(shù)國(guó)家級(jí)重點(diǎn)實(shí)驗(yàn)室,成都 610000；2.四川大學(xué)計(jì)算機(jī)學(xué)院,成都 610000；3.四川大學(xué)空天科學(xué)與工程學(xué)院,成都 610000

0 引 言

隨著沉浸式虛擬現(xiàn)實(shí)技術(shù)的發(fā)展，沉浸式投影系統(tǒng)在大型虛擬現(xiàn)實(shí)場(chǎng)景中得到了廣泛應(yīng)用，但存在一個(gè)重要且經(jīng)常忽視的問(wèn)題，就是光線互反射。

大多數(shù)沉浸式投影系統(tǒng)都存在互反射現(xiàn)象，互反射現(xiàn)象嚴(yán)重降低了投影圖像質(zhì)量和虛擬現(xiàn)實(shí)場(chǎng)景逼真度。該問(wèn)題常常成為沉浸式系統(tǒng)推廣的瓶頸，阻礙了虛擬現(xiàn)實(shí)項(xiàng)目的實(shí)施。同時(shí)，在沉浸式投影環(huán)境中，光的反射和折射非常復(fù)雜，特別是復(fù)雜的投影環(huán)境，使得利用光學(xué)方法解決這一問(wèn)題變得困難?；シ瓷溲a(bǔ)償是指通過(guò)對(duì)投影機(jī)輸入圖像進(jìn)行補(bǔ)償，得到能夠提高投影圖像質(zhì)量、消除互反射影響的圖像。典型的沉浸式投影補(bǔ)償系統(tǒng)包括投影儀—攝像機(jī)對(duì)和一個(gè)放置在適當(dāng)距離和方向上的曲面屏幕，如圖1所示。

圖1 曲面投影系統(tǒng)的實(shí)驗(yàn)場(chǎng)景Fig.1 Inner-reflection compensation system

現(xiàn)行方法大多是先建立場(chǎng)景幾何模型，然后再尋找光的反射函數(shù)，計(jì)算光線在屏幕間的互反射。雖然這些方法相對(duì)容易實(shí)現(xiàn)，但是主要存在3個(gè)問(wèn)題。1)在沉浸式投影環(huán)境中，光的反射函數(shù)通常比較復(fù)雜，大多數(shù)方法都需要大矩陣進(jìn)行求逆運(yùn)算，而該矩陣的逆卻可能是不存在的，無(wú)法進(jìn)行求解。2)傳統(tǒng)的互反射補(bǔ)償方案由于不可避免的數(shù)學(xué)誤差，難以產(chǎn)生高質(zhì)量的視覺(jué)效果。3)以往的解決方案大多是對(duì)整幅圖像進(jìn)行補(bǔ)償，忽略了圖像亮度不同區(qū)域的補(bǔ)償強(qiáng)度應(yīng)該不同的問(wèn)題。目前，還沒(méi)有研究針對(duì)互反射問(wèn)題的差異化提出補(bǔ)償方案。Huang和Ling(2019a，b)提出了新的基于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)的光補(bǔ)償算法CompenNet和CompenNet++，與傳統(tǒng)方法相比，在光補(bǔ)償方面具有更大優(yōu)勢(shì)。受此啟發(fā)，本文提出一種新的基于互反射通道(inter-reflection channel，IRC)先驗(yàn)補(bǔ)償網(wǎng)絡(luò)Pair-Net，充分考慮了沉浸式投影環(huán)境下圖像不同區(qū)域的補(bǔ)償強(qiáng)度應(yīng)該不同的特點(diǎn)，設(shè)計(jì)了兩個(gè)結(jié)構(gòu)相同的端到端的子網(wǎng)絡(luò)分別負(fù)責(zé)對(duì)高亮度區(qū)域和低亮度區(qū)域進(jìn)行補(bǔ)償。通過(guò)使用注意力機(jī)制，使兩個(gè)子網(wǎng)絡(luò)能夠分別學(xué)習(xí)到原圖中兩個(gè)區(qū)域的補(bǔ)償函數(shù)。而注意力圖的生成是通過(guò)IRC先驗(yàn)圖的監(jiān)督學(xué)習(xí)得到的，能夠?yàn)閮蓚€(gè)網(wǎng)絡(luò)劃分出亮度不同區(qū)域。圖2展示了本文的解決方案，可以看出，經(jīng)過(guò)補(bǔ)償?shù)耐队敖Y(jié)果(圖2(d))在視覺(jué)上明顯比未經(jīng)補(bǔ)償?shù)耐队敖Y(jié)果(圖2(b))更接近原圖。

圖2 曲面投影系統(tǒng)互反射補(bǔ)償實(shí)例Fig.2 Inner-reflection compensation for curve projection screen based on Pair-Net ((a)original image;(b)camera-captured image when original image is projected; (c)compensated image;(d)camera-captured image when compensated image is projected)

綜上所述，本文方法主要有以下貢獻(xiàn)：1)在沉浸或半沉浸式投影系統(tǒng)中，提出通過(guò)IRC先驗(yàn)獲取投影圖像不同區(qū)域的亮度信息；2)提出一種新型補(bǔ)償網(wǎng)絡(luò)Pair-Net，使用兩個(gè)子網(wǎng)絡(luò)分別補(bǔ)償高亮區(qū)域和低亮區(qū)域，提升了補(bǔ)償圖像質(zhì)量；3)在互反射補(bǔ)償問(wèn)題中使用注意力機(jī)制，可以對(duì)不同區(qū)域進(jìn)行差別化補(bǔ)償，提升了補(bǔ)償圖像視覺(jué)效果。

1 相關(guān)工作

1.1 互反射補(bǔ)償

1.1.1 基于光傳輸矩陣的互反射補(bǔ)償

基于光傳輸矩陣的補(bǔ)償算法(Ashdown，2006;Ng 等，2003；Grundh?fer，2013；Grundh?fer和Iwai，2015；Ng等，2012；Wang等，2009)建立在相機(jī)的像素點(diǎn)只受投影儀對(duì)應(yīng)像素點(diǎn)影響的假設(shè)之上。這意味著投影儀和相機(jī)對(duì)之間的像素點(diǎn)存在一對(duì)一的映射關(guān)系。根據(jù)這一假設(shè)，Ng等人(2003)提出一種近似求解光傳輸矩陣的逆的方法，采用較小的矩陣初始值模擬計(jì)算，利用小矩陣求逆和分層矩陣求逆提高精度。由于采用子矩陣模擬光傳輸矩陣，在精度上存在不足。實(shí)際上對(duì)于多數(shù)基于光傳輸矩陣的方法來(lái)說(shuō)，矩陣規(guī)模較大，計(jì)算量也較大。此外，投影光線和反射光線可以影響周圍區(qū)域，這意味著像素級(jí)光傳輸矩陣在假設(shè)本身上就存在問(wèn)題。

1.1.2 基于反射模型的互反射補(bǔ)償

為了避免大規(guī)模矩陣計(jì)算，提出了越來(lái)越多的無(wú)矩陣方法，將投影儀作為光源，在真實(shí)投影場(chǎng)景中建立光的反射模型(Li等，2013；Bimber等，2006；Takeda等，2016；Habe等，2007；Zou等，2008)。Bimber 等人(2006)提出一種直接互反射補(bǔ)償方法，通過(guò)建立沉浸式投影環(huán)境下的真實(shí)反射模型，先計(jì)算環(huán)境中的互反射，然后將原圖減去互反射得到補(bǔ)償圖像。Takeda 等人(2016)提出一種投影儀—相機(jī)對(duì)的空間反射模型，用一種在光線照射下會(huì)改變顏色的化合物制作投影屏幕，光線照射可以通過(guò)屏幕后面的光感LED(light emitting diode)陣列控制，通過(guò)LED陣列改變最終投影圖像的顯示效果。由于該方法需要通過(guò)LED輔助設(shè)備進(jìn)行投影圖像矯正，因此實(shí)用性較低。

1.2 注意力機(jī)制

注意力機(jī)制已廣泛用于神經(jīng)網(wǎng)絡(luò)(Ma等，2012；Mejjati等，2018)。Kuen等人(2016)提出一種遞歸注意力網(wǎng)絡(luò)，可以自動(dòng)學(xué)習(xí)輸入圖像中的一系列子區(qū)域，用于顯著性檢測(cè)，將這些局部估計(jì)區(qū)域合并成一個(gè)全局估計(jì)。Li等人(2017)提出一種通過(guò)全局上下文檢測(cè)目標(biāo)的注意引導(dǎo)方法，證明了注意力機(jī)制在計(jì)算機(jī)視覺(jué)和圖像處理任務(wù)中應(yīng)用的優(yōu)越性。Chen等人(2016)提出一種生成圖像中每個(gè)像素點(diǎn)的注意力權(quán)重的方法，稱為像素級(jí)別的注意力機(jī)制。

本文首次在互反射補(bǔ)償中運(yùn)用注意力機(jī)制，由于相機(jī)捕獲的圖像是受到互反射影響形成的圖像，因此圖像上面存在互反射分布信息。利用IRC先驗(yàn)作為注意力圖生成器的監(jiān)督便可以獲取不同亮度區(qū)域的注意力圖。

2 互反射通道

2.1 互反射通道定義

本文提出的互反射通道先驗(yàn)是受著名的暗通道先驗(yàn)的啟發(fā)，暗通道先驗(yàn)已廣泛應(yīng)用于圖像去霧領(lǐng)域(Xu等，2012)?；シ瓷渫ǖ?IRC)基于投影圖像像素點(diǎn)的亮度值通常高于原始圖像，并且原始圖像中亮度較高的圖像受互反射影響較大、亮度較低的圖像受互反射影響相對(duì)較少這一事實(shí)。因此，獲取相機(jī)拍攝圖像三通道的高值區(qū)域，能夠有效描述受互反射影響更大的區(qū)域。本文將這種情況定義為互反射通道。對(duì)于相機(jī)拍攝的投影圖像Icam，互反射通道S可描述為

(1)

通過(guò)上述操作，能夠獲取到沉浸式投影系統(tǒng)的高亮度區(qū)域，這就是IRC的定義。IRC不僅包含反射信息，也包含原圖的高亮信息，高亮區(qū)域反射越強(qiáng)，對(duì)周邊區(qū)域影響越大。IRC的高亮區(qū)域主要由兩個(gè)因素造成，一是互反射，互反射幾乎存在于投影圖像的所有區(qū)域，特別是在輸入圖像的高亮度區(qū)域。二是輸入圖像中的高亮度區(qū)域和物體，如天空、海洋、雪地或白羊，也將導(dǎo)致IRC中的高亮度值。利用IRC得到的沉浸式投影系統(tǒng)的反射信息，可以監(jiān)督Pair-Net的注意圖的生成，使高亮和低亮區(qū)域按合適的權(quán)重進(jìn)行補(bǔ)償。

2.2 IRC的優(yōu)勢(shì)

圖3是獲取的投影圖像的IRC先驗(yàn)圖，可以看出，由于原圖左上角的光暈影響以及互反射造成該區(qū)域的圖像亮度較高。通過(guò)IRC先驗(yàn)，能夠有效獲取到原圖的高光區(qū)域以及受到互反射影響的區(qū)域。在訓(xùn)練中，可以將IRC先驗(yàn)作為注意力掩膜來(lái)區(qū)分高亮度和低亮度區(qū)域，從而使用雙網(wǎng)絡(luò)進(jìn)行差異化補(bǔ)償。

圖3 投影圖像IRC例圖Fig.3 The IRC prior of projection image

傳統(tǒng)暗通道圖像先驗(yàn)方法主要對(duì)原始圖像的特征區(qū)域進(jìn)行區(qū)分，并計(jì)算區(qū)域最小值，這樣的區(qū)域特征信息對(duì)于互反射補(bǔ)償問(wèn)題是無(wú)效的。這是由于在投影系統(tǒng)中的互反射補(bǔ)償問(wèn)題中，場(chǎng)景中的光污染是互反射造成的，圖像中的高亮區(qū)域?qū)ν队敖Y(jié)果影響更大，而非暗通道特征區(qū)域信息。此外，IRC先驗(yàn)是基于投影圖像的特征進(jìn)行計(jì)算的，除了能夠獲得原圖的高亮區(qū)域外，受互反射影響形成的高亮區(qū)域也可以提取出來(lái)。因此，本文提出并采用IRC先驗(yàn)而非暗通道作為區(qū)域特征提取的監(jiān)督先驗(yàn)。

3 Pair-Net網(wǎng)絡(luò)設(shè)計(jì)

3.1 曲面投影系統(tǒng)的數(shù)學(xué)模型

本文提出的互反射補(bǔ)償系統(tǒng)由一個(gè)未校準(zhǔn)的相機(jī)—投影儀對(duì)和一個(gè)固定距離和方向的曲線投影屏幕組成，如圖1和圖4所示，其中，E為全局光照。整個(gè)曲面投影系統(tǒng)可以描述為

圖4 曲面投影系統(tǒng)的光傳播Fig.4 The light transmission process of curve shaped screen

Icam=fc(fs(fp(Iin),E,s))

(2)

式中，Iin是投影儀輸入圖像，Icam是相機(jī)拍攝圖像。

fp和fc是投影儀和相機(jī)的轉(zhuǎn)換函數(shù)，fs是光線在屏幕間的反射函數(shù)。由于不同屏幕材質(zhì)具有不同的光線反射率，本文使用s表示屏幕的反射率。同時(shí)，由于本文專注解決沉浸式投影系統(tǒng)的互反射問(wèn)題，因此控制環(huán)境光照為E=0，避免環(huán)境光照的影響。為了簡(jiǎn)化公式，可以將投影儀—相機(jī)的轉(zhuǎn)換函數(shù)合并成為一個(gè)函數(shù)T，式(2)可以重新表述為

Icam=T(Iin,s)

(3)

(4)

(5)

3.2 基于深度學(xué)習(xí)的公式

本文使用投影圖像與相機(jī)拍攝圖像作為訓(xùn)練集，由式(3)變形可得

Icam=T(Iin,s)→Iin=T-1(Icam,s)

(6)

Ipred=Tθ(Icam,s)

(7)

(8)

(9)

(10)

采用Loss=l1+lssim組合作為損失函數(shù)的原因在于，l1損失函數(shù)能夠很好地對(duì)圖像顏色進(jìn)行優(yōu)化，而結(jié)構(gòu)相似性損失函數(shù)和l1損失函數(shù)能夠優(yōu)化生成圖像的整體質(zhì)量(Zhao等，2017)。

3.3 互反射補(bǔ)償流程

圖5 Pair-Net補(bǔ)償流程Fig.5 The compensation process of Pair-Net((a)project and capture images with a camera;(b)the structure of Pair-Net;(c)the process of compensating images))

在訓(xùn)練過(guò)程中，前景網(wǎng)和背景網(wǎng)分別以兩幅幾何校正后的圖像作為輸入。子網(wǎng)的兩個(gè)輸入和輸出都是256×256×3。然后，將兩個(gè)子網(wǎng)的輸出圖像根據(jù)掩膜網(wǎng)生成的注意力圖進(jìn)行融合得到生成圖像。

3.3.1 前景網(wǎng)絡(luò)和背景網(wǎng)絡(luò)的設(shè)計(jì)

在前景和背景網(wǎng)絡(luò)中，輸入圖像送入一個(gè)卷積層序列進(jìn)行降采樣。因?yàn)楦顚拥木W(wǎng)絡(luò)結(jié)構(gòu)允許更為復(fù)雜的模型映射，從而有更大的潛力提高網(wǎng)絡(luò)精度和生成高質(zhì)量圖像(Ronneberger等，2015)。因此，在降采樣中間利用殘差塊序列加深網(wǎng)絡(luò)，提高生成圖像的質(zhì)量。殘差塊通過(guò)將低層次特征與當(dāng)前層特征相結(jié)合，可以有效訓(xùn)練更深層次的網(wǎng)絡(luò)。同時(shí)，利用跳卷積將低層次特征信息傳遞給深層網(wǎng)絡(luò)保證低層次特征不會(huì)丟失。然后，利用3個(gè)反向卷積層，逐步向上采樣到256 × 256 × 3作為前景和背景網(wǎng)絡(luò)的輸出。具體子網(wǎng)絡(luò)架構(gòu)和殘差塊架構(gòu)如表1和表2所示。

表1 子網(wǎng)絡(luò)架構(gòu)Table 1 The structure of sub network

表2 殘差塊架構(gòu)Table 2 The structure of residual block

3.3.2 掩膜網(wǎng)的設(shè)計(jì)

由于在未投影前不可能獲取每幅投影圖像的IRC，而且互反射強(qiáng)弱依賴于環(huán)境。為此，本研究采用一個(gè)掩膜網(wǎng)S(圖5(b))監(jiān)督生成注意力圖，該注意力圖能夠?qū)W習(xí)IRC的光照信息。掩膜網(wǎng)的架構(gòu)非常簡(jiǎn)單，如表3所示，由4個(gè)卷積層和1個(gè)殘差塊組成，對(duì)圖像特征信息進(jìn)行編碼。同時(shí)利用兩個(gè)卷積層對(duì)特征圖進(jìn)行上采樣，得到256 × 256 × 1的輸出。由于未經(jīng)投影無(wú)法直接獲得一幅投影圖像的IRC，因此通過(guò)學(xué)習(xí)的方式獲取待補(bǔ)償圖像的IRC。將掩膜網(wǎng)絡(luò)的輸出與訓(xùn)練集輸入圖像(相機(jī)拍攝的受互反射影響的圖像)的IRC計(jì)算一個(gè)L1+L2損失。經(jīng)過(guò)訓(xùn)練，掩膜網(wǎng)絡(luò)能夠?qū)W習(xí)到圖像中的高光部分以及可能受到投影互反射影響的部分，從而得到一個(gè)近似于IRC的掩膜。

表3 掩膜網(wǎng)架構(gòu)Table 3 The structure of mask network

3.4 基于注意力機(jī)制的互反射補(bǔ)償

(11)

(12)

(13)

4 實(shí)驗(yàn)及評(píng)價(jià)指標(biāo)

4.1 客觀評(píng)價(jià)指標(biāo)

采用傳統(tǒng)的像素級(jí)別指標(biāo)峰值信噪比(peak signal to noise ratio，PSNR)、結(jié)構(gòu)相似性(structural similarity index，SSIM)和均方根誤差(root mean square error，RMSE)等評(píng)價(jià)圖像質(zhì)量。由于曲面投影屏幕的幾何變形不能得到準(zhǔn)確校正，導(dǎo)致評(píng)價(jià)指標(biāo)結(jié)果偏低，不能很好地反映光照的消除程度，因此在采用傳統(tǒng)圖像評(píng)價(jià)指標(biāo)的同時(shí)，本文提出一種新的圖像指標(biāo)評(píng)價(jià)方式——感興趣區(qū)域(region of interesting，ROI)分析。通過(guò)PSNR、SSIM、RMSE和ROI分析，共同說(shuō)明方法的有效性。

ROI分析的基本思想是收集不同算法的投影圖像，在每幅圖像中選擇幾個(gè)相對(duì)平滑區(qū)域，計(jì)算區(qū)域均值和標(biāo)準(zhǔn)差。區(qū)域均值表示區(qū)域光照，標(biāo)準(zhǔn)方差描述區(qū)域質(zhì)量。最后，將每個(gè)區(qū)域的方差繪制在圖中與均值中點(diǎn)垂直的直線上。具體計(jì)算為

(14)

(15)

式中，μk和δk為投影圖像的第k個(gè)子區(qū)域的均值與方差，m和n是該子區(qū)域的高度和寬度。上述指標(biāo)可以用來(lái)比較投影圖像與原始圖像的亮度差距和圖像質(zhì)量。

4.2 數(shù)據(jù)集

實(shí)驗(yàn)的投影儀—攝像系統(tǒng)由2 992 × 2 000像素分辨率的尼康DX VR相機(jī)和1 920 × 1 080像素分辨率的JMGO G7投影儀組成。相機(jī)與投影儀之間的距離為500 mm，投影儀前方有一個(gè)弧形屏幕，距離為800 mm。相機(jī)的白平衡模式、快門速度、感光度和對(duì)焦分別設(shè)置為自動(dòng)、1/45、200和光圈值f=5.6。為了模擬真實(shí)的沉浸式系統(tǒng)，排除全局光的影響，實(shí)驗(yàn)在黑暗環(huán)境中拍攝照片。

由于沉浸式投影系統(tǒng)的研究沒(méi)有相應(yīng)的公共數(shù)據(jù)集，本文使用相機(jī)拍攝圖像，構(gòu)建Cam-Pro數(shù)據(jù)集，包括5 000幅用于訓(xùn)練的256 × 256 像素的RGB圖像和800幅用于訓(xùn)練過(guò)程中進(jìn)行網(wǎng)絡(luò)擬合程度測(cè)試的圖像。同時(shí)針對(duì)互反射補(bǔ)償算法的特殊性，采集50幅色彩風(fēng)格不同的圖像用于算法最終補(bǔ)償效果的客觀指標(biāo)測(cè)試。如圖5(a)所示，由于曲面屏上的投影圖像總是伴有幾何畸變，不能直接作為數(shù)據(jù)集，因此對(duì)上述數(shù)據(jù)中相機(jī)捕獲的圖像都進(jìn)行幾何校正(Huang等，2019a)。為了便于圖像預(yù)處理，將采集的攝像機(jī)圖像和原始圖像統(tǒng)一下采樣到1 920 × 1 080像素。如表3，由于網(wǎng)絡(luò)結(jié)構(gòu)的輸入層圖像尺寸為256×256×3，因此需要將下采樣圖調(diào)整到256 × 256 × 3作為網(wǎng)絡(luò)輸入。

4.3 實(shí)現(xiàn)細(xì)節(jié)

實(shí)驗(yàn)在PyTorch框架下訓(xùn)練、20個(gè)epoch，batch-size為16，優(yōu)化函數(shù)采用Adam函數(shù)，學(xué)習(xí)率由1E-3逐步提高到lE-4。

5 實(shí)驗(yàn)結(jié)果

5.1 對(duì)比現(xiàn)行方法

在ROI評(píng)價(jià)指標(biāo)的基準(zhǔn)上，與3種無(wú)注意力機(jī)制的方法，即Bimber等人(2006)方法、CompenNet方法和CompenNet++方法進(jìn)行對(duì)比，視覺(jué)效果比較和ROI分析分別如圖6和圖7所示。

圖6 不同方法的視覺(jué)效果比較Fig.6 Comparison of visualization results among different methods((a)ground truth;(b)uncompensated;(c)CompenNet;(d)CompenNet++;(e)Bimber et al.(2006);(f)Pair-Net(ours))

圖7 不同方法補(bǔ)償結(jié)果的ROI分析Fig.7 ROI analysis of compensation results of different methods((a)row 1 in Fig.6;(b)row 2 in Fig.6;(c)row 3 in Fig.6;(d)row 4 in Fig.6)

在比較方法中，Bimber等人(2006)的方法建立了真實(shí)投影環(huán)境的數(shù)學(xué)模型，將投影屏幕劃分成n個(gè)子區(qū)域，并計(jì)算區(qū)域之間的互反射，該方法需要獲得所有與環(huán)境有關(guān)的參數(shù)，如鏡頭畸變、表面反射和投影—相機(jī)對(duì)幾何位置的細(xì)節(jié)信息，但在真實(shí)場(chǎng)景中，由于投影環(huán)境不同，這些參數(shù)很難保持不變，對(duì)實(shí)際使用會(huì)造成一些不便。本文提出的Pair-Net無(wú)論是視覺(jué)效果還是ROI分析，都比Bimber等人(2006)方法有明顯改進(jìn)。

為了說(shuō)明互反射問(wèn)題的難度和注意力機(jī)制的有效性，將Pair-Net與基于深度學(xué)習(xí)的端到端網(wǎng)絡(luò)CompenNet和CompenNet++進(jìn)行比較，3種模型在同一數(shù)據(jù)集上訓(xùn)練。CompenNet和Compennet++在不考慮不同區(qū)域不同光照強(qiáng)度情況下對(duì)投影圖像進(jìn)行全局補(bǔ)償。觀察這兩個(gè)模型的結(jié)果，可以看到它們對(duì)輸入圖像進(jìn)行了相同強(qiáng)度的補(bǔ)償，可以很好地去除高亮區(qū)域的互反射，然而低亮區(qū)域太暗，圖像色彩質(zhì)量嚴(yán)重下降。從圖7的ROI分析可以看出，CompenNet與CompenNet++補(bǔ)償圖像的標(biāo)準(zhǔn)差異較大。而Pair-Net補(bǔ)償?shù)膱D像在區(qū)域均值和方差上都與原圖更加接近，能夠在很好地消除反射光的同時(shí)，得到更好的成像質(zhì)量，在評(píng)價(jià)指標(biāo)和視覺(jué)效果方面均優(yōu)于CompenNet和CompenNet++。

不同方法的PSNR、SSIM和RMSE如表4所示，計(jì)算方法為使用相機(jī)拍攝補(bǔ)償圖像的投影經(jīng)幾何矯正后與原圖計(jì)算。從表4可以看出，4種方法的PSNR和SSIM指標(biāo)較原圖均有比較顯著的提升，說(shuō)明互反射得到了消除，投影圖像質(zhì)量得到了增強(qiáng)。本文方法的PSNR和RMSE指標(biāo)均優(yōu)于其他方法，SSIM指標(biāo)居于第3，未經(jīng)補(bǔ)償?shù)膱D像投影和Bimber等人(2006)方法獲得的SSIM指標(biāo)較高，原因在于SSIM指標(biāo)更注重考量圖像的結(jié)構(gòu)性和清晰程度，而本文方法以及基于深度學(xué)習(xí)的方法的圖像都是經(jīng)過(guò)網(wǎng)絡(luò)生成的，在圖像清晰度和結(jié)構(gòu)相似性方面相較于原圖有一定程度的失真，因此造成了SSIM指標(biāo)偏低，但是在可接受范圍內(nèi)。

表4 不同方法的質(zhì)量評(píng)價(jià)Table 4 The quantitative indexes of different methods

5.2 單網(wǎng)絡(luò)與雙網(wǎng)絡(luò)結(jié)構(gòu)對(duì)比

為了驗(yàn)證雙子網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)的有效性，設(shè)計(jì)了一個(gè)單補(bǔ)償網(wǎng)模型進(jìn)行對(duì)比，實(shí)驗(yàn)結(jié)果如圖8所示?？梢钥闯?，單網(wǎng)絡(luò)模型無(wú)法在不同補(bǔ)償強(qiáng)度下對(duì)高、低亮度區(qū)域進(jìn)行自適應(yīng)補(bǔ)償，低亮度區(qū)域在投影圖像中變得亮度極低，意味著不同亮度區(qū)域進(jìn)行了同一強(qiáng)度的補(bǔ)償，同時(shí)單網(wǎng)的色彩失真問(wèn)題比較嚴(yán)重，這是由于單補(bǔ)償網(wǎng)絡(luò)的算法對(duì)全局采取一致性的補(bǔ)償強(qiáng)度，造成不同區(qū)域間存在色差。而Pair-Net對(duì)不同區(qū)域采取不同補(bǔ)償強(qiáng)度，能夠得到正確的顏色。

圖8表明，雙網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)能有效消除沉浸式投影系統(tǒng)中的互反射，恢復(fù)投影圖像的顏色和質(zhì)量，相較于基于全局水平考慮的單網(wǎng)絡(luò)設(shè)計(jì)，Pair-Net的雙網(wǎng)絡(luò)設(shè)計(jì)能夠差異化對(duì)待不同亮度區(qū)域，提升圖像質(zhì)量，獲得更加合適的色彩效果。單網(wǎng)絡(luò)與雙網(wǎng)絡(luò)結(jié)構(gòu)的ROI分析如圖9所示，可以看出，Pair-Net取得了與原始圖像最接近的均值方差。

圖8 單網(wǎng)絡(luò)結(jié)構(gòu)與雙網(wǎng)絡(luò)結(jié)構(gòu)投影效果對(duì)比Fig.8 Comparison of projection visualization results between single-net and Pair-Net((a)ground truth;(b)uncompensated;(c)projection visualization results of single net;(d)projection visualization results of Pair-Net(ours))

圖9 單網(wǎng)絡(luò)和雙網(wǎng)絡(luò)補(bǔ)償結(jié)果的ROI分析Fig.9 ROI analysis of compensation results of single-net and Pair-Net((a)row 1 in Fig.8;(b)row 2 in Fig.8)

5.3 IRC先驗(yàn)的作用

注意力機(jī)制在Pair-Net中起著至關(guān)重要的作用，能夠差異化補(bǔ)償原圖的高亮區(qū)域和低亮區(qū)域，提升最終補(bǔ)償圖像的質(zhì)量。而IRC先驗(yàn)的作用是監(jiān)督生成注意力圖，提供有效的互反射分布信息。如果將注意力圖ircback替換為全為1的掩膜，即將整幅圖像標(biāo)記為背景，則得到帶有背景補(bǔ)償強(qiáng)度的整幅圖像補(bǔ)償結(jié)果。如果ircback均為0，則Pair-Net將成為只考慮前景補(bǔ)償強(qiáng)度的補(bǔ)償結(jié)構(gòu)。如果缺少IRC注意力圖的監(jiān)督，則暗區(qū)域會(huì)過(guò)度補(bǔ)償，而高亮度區(qū)域補(bǔ)償程度不夠。

為了驗(yàn)證IRC先驗(yàn)監(jiān)督和注意力機(jī)制的有效性，設(shè)計(jì)了一個(gè)明通道與IRC先驗(yàn)的對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)1采用原始投影圖像的明通道作為注意力圖的監(jiān)督。明通道作為圖像處理領(lǐng)域常用的算法，能夠獲取原始圖像高亮度區(qū)域的掩膜。實(shí)驗(yàn)2采用IRC監(jiān)督生成不同的前景和背景掩膜作為對(duì)照實(shí)驗(yàn)，IRC監(jiān)督不僅考慮了原始圖像的亮度信息，也學(xué)習(xí)沉浸式投影系統(tǒng)中的互反射信息。實(shí)驗(yàn)結(jié)果如圖10所示?？梢钥闯觯褂妹魍ǖ啦荒芎芎玫剡M(jìn)行前景和背景的差異化補(bǔ)償，導(dǎo)致投影圖像顏色失真。觀察圖10第2行可以發(fā)現(xiàn)，使用明通道作為監(jiān)督的補(bǔ)償圖像的天空區(qū)域光照沒(méi)有很好地消除。而Pair-Net針對(duì)高亮度的天空區(qū)域和低亮度的鹿區(qū)域進(jìn)行了很好的差異化補(bǔ)償，最終效果更加優(yōu)秀。明通道與IRC先驗(yàn)的ROI分析如圖11所示，可以看出，IRC監(jiān)督的互反射消除效果更好，圖像質(zhì)量?jī)?yōu)于明通道。

圖10 明通道與IRC先驗(yàn)投影效果對(duì)比Fig.10 Comparison of projection visualization results between bright channel and IRC prior((a)ground truth;(b)uncompensated;(c)projection visualization results of bright channel;(d)projection visualization results of IRC prior)

圖11 明通道與IRC先驗(yàn)補(bǔ)償結(jié)果的ROI分析Fig.11 ROI analysis of compensation results of bright channel and IRC prior((a)row 1 in Fig.10;(b)row 2 in Fig.10)

6 結(jié) 論

本文基于注意力機(jī)制提出一種互反射補(bǔ)償網(wǎng)絡(luò)Pair-Net，解決了投影式虛擬現(xiàn)實(shí)系統(tǒng)中由于光照冗余反射造成圖像質(zhì)量下降問(wèn)題。同時(shí)提出IRC先驗(yàn)，有效獲取了投影圖像中的高光區(qū)域以及原始圖像的高光區(qū)域用于監(jiān)督注意力圖的生成，能夠提升補(bǔ)償效果。

Pair-Net基于IRC先驗(yàn)監(jiān)督生成的注意力圖，關(guān)注強(qiáng)互反射區(qū)域，對(duì)互反射較強(qiáng)的區(qū)域增強(qiáng)補(bǔ)償效果，對(duì)較弱的互反射區(qū)或低亮區(qū)域在投影后使其光強(qiáng)保持在合適水平。實(shí)驗(yàn)數(shù)據(jù)集通過(guò)真實(shí)投影場(chǎng)景收集獲得，測(cè)試數(shù)據(jù)在相同實(shí)驗(yàn)場(chǎng)景進(jìn)行測(cè)試從而保證算法的有效性。與現(xiàn)有算法相比，本文算法的PSNR和RMSE指標(biāo)獲得最高分值，SSIM指標(biāo)位居第二，ROI分析展示了本文算法在互反射消除上的優(yōu)勢(shì)。在人眼視覺(jué)感受上，本文提出的算法基本不存在嚴(yán)重色差，具有很好的人眼視覺(jué)感受。實(shí)驗(yàn)結(jié)果表明，本文方法在客觀指標(biāo)和視覺(jué)效果上均優(yōu)于傳統(tǒng)方法和基于CNN的光度補(bǔ)償算法。

然而，本文算法存在一些局限，將在后續(xù)工作中進(jìn)一步研究。首先，采用端到端的CNN網(wǎng)絡(luò)進(jìn)行補(bǔ)償需要對(duì)齊的圖像數(shù)據(jù)集。因此，對(duì)某些無(wú)法使用照相機(jī)收集到整個(gè)投影場(chǎng)景圖像的虛擬現(xiàn)實(shí)設(shè)備，該方法需要進(jìn)一步改進(jìn)。其次，本文算法生成的圖像一定程度上存在模糊問(wèn)題，與傳統(tǒng)算法相比，SSIM指標(biāo)有所下降，因此，生成圖像清晰度仍然有提升的空間。