基于B樣條曲線的投影圖像邊緣融合方法

宋 濤，祁繼輝，侯培國，趙明宇，李 坤

（1.燕山大學(xué) 電氣工程學(xué)院，河北 秦皇島 066004；2.秦皇島視聽機械研究所，河北 秦皇島 066004；3.河北省數(shù)字影像裝備與數(shù)字顯示技術(shù)重點實驗室，河北 秦皇島 066004）

引言

隨著數(shù)字顯示技術(shù)以及虛擬現(xiàn)實技術(shù)的發(fā)展，多通道數(shù)字投影技術(shù)日益完善[1-2]。為了滿足用戶高逼真的沉浸感體驗的需求，多通道投影系統(tǒng)需要實現(xiàn)無縫拼接[3]。在多通道投影過程中，鄰近通道投影影像畫面彼此存在重疊區(qū)域，該區(qū)域的亮度遠(yuǎn)大于非重疊區(qū)域的亮度，會影響用戶的體驗的真實感。因此，需要對鄰近通道投影圖像邊緣的融合帶進(jìn)行亮度調(diào)節(jié)，使得投影畫面重疊區(qū)域跟非重疊區(qū)域亮度保持一致。2000年之前，國外諸多公司與大學(xué)對多通道投影畫面的幾何校正、顏色校正以及邊緣亮度調(diào)節(jié)進(jìn)行研究，至今為止，對幾何校正與顏色校正的國外研究日益成熟，保證投影畫面在多種形狀的投影幕不發(fā)生幾何畸變并且彼此銜接完好，投影畫面彼此也不存在色差[4-5]。但是，邊緣亮度衰減技術(shù)至今為止并沒有顯著突破，只是在肉眼觀看上投影畫面重疊區(qū)域未發(fā)生視覺不適即可，并沒有嚴(yán)格的標(biāo)準(zhǔn)保證投影畫面的重疊區(qū)域與非重疊區(qū)域亮度保持一致[6]。近幾年，國內(nèi)諸多公司與大學(xué)在多通道投影邊緣亮度調(diào)節(jié)方面作出一些創(chuàng)新。線性融合函數(shù)可減弱融合帶的亮度，但是邊緣處的亮度變換不平滑[7]。平滑過渡可代替線性過渡，但只適用于理論上的圖像像素疊加，不適用于實際投影畫面[8-10]。余弦函數(shù)可進(jìn)行邊緣亮度調(diào)節(jié)，伽瑪校正可對邊緣亮度進(jìn)行補償，但依舊不能保證投影畫面重疊區(qū)域與非重疊區(qū)域亮度一致[11]。長春理工大學(xué)碩士吳金吉在亮度模型的基礎(chǔ)上提出一種基于亮度均衡的全局閾值融合，通過直方圖比較來判斷亮度調(diào)節(jié)后投影畫面顏色強度的變化，但并不能作為投影畫面重疊區(qū)域與非重疊區(qū)域亮度一致性的評估指標(biāo)[12]。浙江大學(xué)教授王修暉根據(jù)投影儀與投影幕的自身性質(zhì)以及外界光照環(huán)境對投影畫面進(jìn)行顏色強度處理，但對重疊區(qū)域的亮度調(diào)節(jié)問題并不能進(jìn)行有效處理[13]。

本文根據(jù)投影畫面重疊區(qū)域的實際顏色強度選取傳統(tǒng)融合函數(shù)與伽瑪校正的參數(shù)，再比較二次B 樣條曲線與三次B 樣條曲線的校正精度與靈活度選取，最后以攝像機為反饋，根據(jù)投影畫面重疊區(qū)域的實際顏色強度進(jìn)行基于三次B 樣條曲線的亮度優(yōu)化，使投影畫面重疊區(qū)域各顏色通道的峰值性噪比提升。

1 邊緣亮度融合函數(shù)

1.1 衰減函數(shù)

為了減少投影畫面融合帶的亮度，需要在圖像邊緣采用亮度衰減函數(shù)對其亮度調(diào)節(jié)，根據(jù)HSV（hue-saturation-value）與RGB(red-green-blue)色彩空間的轉(zhuǎn)換關(guān)系可知，圖像像素的亮度值等于RGB 3 個顏色通道的顏色強度最大值。因此，通過對RGB 3 個顏色通道的顏色強度同時進(jìn)行衰減便可對亮度進(jìn)行衰減。衰減函數(shù)如（1）式所示：

其中：a與p都為常數(shù)；t為重疊區(qū)域歸一化后的橫坐標(biāo)，相對投影畫面的最內(nèi)側(cè)為1，最外側(cè)為0；d(t)為衰減函數(shù)，與融合帶原有顏色強度值的乘積作為亮度衰減后的顏色強度值。

設(shè)a為0.5，則p為1、2、3 的衰減函數(shù)融合曲線如 圖1所示。

圖1 設(shè) p為不同值時衰減函數(shù)融合曲線Fig.1 Attenuation function fusion curves when patdifferent values

為了使邊緣亮度衰減變化平滑，設(shè)p為3。如果a為0.5，那么2 個投影圖像融合帶的衰減參數(shù)相加始終等于1。從圖像疊加的角度上講，重疊區(qū)域與非重疊區(qū)域的亮度一致，但是，實際投影畫面的顏色強度取決于投影儀與投影幕的自身性質(zhì)以及外界光照環(huán)境。因此，即便2 個投影圖像融合帶的衰減參數(shù)相加始終等于1，也不能保證重疊區(qū)域與非重疊區(qū)域的亮度一致。例如，對于圖像疊加，顏色強度為（127，127，127）與（128，128，128）的2 個灰色像素疊加會得到（255，255，255）的白色像素。但是，對于投影畫面疊加，2 個灰色的投影畫面在投影幕不能疊加成白色投影畫面，疊加后依然是灰色投影畫面，只是在投影幕上的顏色強度會增加。因此，需要調(diào)整a的值，設(shè)p為3，a為0.25、0.5、0.75 的衰減函數(shù)融合曲線如圖2所示。

圖2 設(shè)a為不同值時衰減函數(shù)融合曲線Fig.2 Attenuation function fusion curves when aat different values

由圖2 可知，a越大，邊緣亮度越大，具體值根據(jù)實際投影環(huán)境而定。

1.2 伽瑪校正

對于衰減函數(shù)，在實際操作過程中，雖然a增大可有效增強投影畫面重疊區(qū)域的亮度，但是在保證投影畫面重疊區(qū)域的亮度不大于非重疊區(qū)域的同時，重疊區(qū)域水平坐標(biāo)的中央處存在亮度變化不平滑的現(xiàn)象。因此，需要伽瑪校正對衰減函數(shù)的參數(shù)進(jìn)行調(diào)整。

基于伽瑪校正的亮度衰減函數(shù)如（2）式所示：

其中：γ為常數(shù)；t為重疊區(qū)域歸一化后的橫坐標(biāo)，相對投影畫面的最內(nèi)側(cè)為1，最外側(cè)為0；g(t)為伽瑪校正衰減函數(shù)，與融合帶原有顏色強度值的乘積作為亮度衰減后的顏色強度值。

設(shè) γ為0.4、1、2.5 的伽瑪校正衰減函數(shù)融合曲線如圖3所示。

圖3 γ為不同值時衰減函數(shù)融合曲線Fig.3 Attenuation function fusion curves when γat different values

由圖3 可知，對于底數(shù)的大小在0 至1 之間，γ大于1 時，輸出值小于輸入值，γ小于1 時，輸出值大于輸入值，并且 γ越小，邊緣亮度越大，具體值根據(jù)實際投影環(huán)境而定。

但是，對于伽瑪校正衰減函數(shù)，在實際操作過程中，雖然 γ減小可有效增強投影畫面重疊區(qū)域的亮度，但是在保證投影畫面重疊區(qū)域的亮度不大于非重疊區(qū)域的同時，依然會使重疊區(qū)域水平坐標(biāo)的中央處略暗。因此，需要在衰減函數(shù)的基礎(chǔ)上進(jìn)行伽瑪校正，如（3）式所示：

設(shè)a為0.75、p為3 的衰減函數(shù)，設(shè) γ為0.4 的伽瑪校正衰減函數(shù)以及設(shè)a為0.5，p為3、 γ為0.4 的衰減函數(shù)基礎(chǔ)上伽瑪校正融合曲線如圖4所示。

圖4 三種亮度融合函數(shù)的曲線Fig.4 Curves of three luminance fusion functions

由圖4 可知，衰減函數(shù)基礎(chǔ)上伽瑪校正融合函數(shù)跟其他2 個融合函數(shù)相比，融合曲線在拐點處更加平滑，因此，對應(yīng)的投影畫面融合帶亮度變化也就相對更加平滑。

2 投影圖像邊緣亮度優(yōu)化

2.1 誤差評估指標(biāo)

本文通過攝像機把屏幕空間轉(zhuǎn)換至攝像空間，通過攝像空間內(nèi)投影畫面重疊區(qū)域的顏色強度跟非重疊區(qū)域顏色強度的比較便可判斷亮度調(diào)節(jié)的精確度。但是，攝像機在采集投影畫面過程中，其內(nèi)部參數(shù)會導(dǎo)致攝像空間內(nèi)像素發(fā)生幾何畸變，因此需要采用張正友標(biāo)定算法對相機進(jìn)行去畸變處理，保證照片內(nèi)信息的真實性。除此之外，相機擺放不正也會導(dǎo)致攝像空間不能準(zhǔn)確反映屏幕信息，因此，攝像機需要正對投影平面中央進(jìn)行采集，而且，在攝像空間內(nèi)獲取投影畫面重疊區(qū)域4 個頂點的坐標(biāo)值，以此判斷攝像機擺放的位置與角度是否理想，如果不理想，在攝像空間內(nèi)設(shè)定重疊區(qū)域4 個頂點的理想坐標(biāo)值，以此對攝像空間進(jìn)行透視變換，以此保證攝像空間內(nèi)屏幕信息的準(zhǔn)確性。

本文在實驗操作過程中，投影圖像的所有像素均設(shè)為（255，255，255），在攝像空間內(nèi)以非重疊區(qū)域投影畫面的顏色強度平均值作為重疊區(qū)域投影畫面顏色強度的標(biāo)準(zhǔn)值。以峰值信噪比（PSNR）作為邊緣亮度調(diào)節(jié)的評估指標(biāo)，如（4）式所示：

其中：MAX 為顏色強度最大值，取255；MSE 為均方誤差，如（5）式所示：

其中：r與s為攝像空間內(nèi)投影畫面重疊區(qū)域的橫縱坐標(biāo)，最大值分別為R和S；I為攝像空間內(nèi)投影畫面非重疊區(qū)域顏色強度的平均值，即攝像空間內(nèi)重疊區(qū)域的理想顏色強度值；F（r，s）為攝像空間內(nèi)該坐標(biāo)處的實際顏色強度。

對3 個顏色通道都進(jìn)行峰值信噪比計算，給予峰值信噪比一個標(biāo)準(zhǔn)值，如果峰值信噪比小于標(biāo)準(zhǔn)值，對3 個顏色通道進(jìn)行各自的亮度優(yōu)化，直到3 個顏色通道的峰值信噪比都達(dá)到標(biāo)準(zhǔn)值為止。

2.2 B 樣條曲線的校正精度及靈活性

n次B 樣條曲線的數(shù)學(xué)表達(dá)式如（6）式所示：

其中：Pi,n(t)表示第i段變換后的值，指優(yōu)化后的衰減權(quán)重；t表示水平坐標(biāo)值；pi+k-1表示第i段的控制點；Fk,n(t)表示n次B 樣條曲線的分段混合函數(shù)，其數(shù)學(xué)表達(dá)式如（7）式所示：

二次B 樣條曲線與三次B 樣條曲線為常見的B 樣條曲線類型，本文比較這兩類B 樣條曲線的校正精度與靈活性。

以a為0.5、p為3、 γ為0.4 的伽瑪校正衰減函數(shù)作為目標(biāo)函數(shù)，以此求得二次與三次B 樣條曲線的控制點，確定二次與三次B 樣條曲線的表達(dá)式，二者的精度比較如圖5所示。

圖5 二次與三次B 樣條曲線的精度比較Fig.5 Accuracy comparison of quadratic and cubic Bspline curves

在圖5（a）中，二次與三次B 樣條曲線跟目標(biāo)函數(shù)曲線幾乎重合，不能由此比較二者精度。由圖5（b）可知，二次B 樣條曲線相對于目標(biāo)函數(shù)的殘差最大值高于0.01，而三次B 樣條曲線相對于目標(biāo)函數(shù)的殘差最大值低于0.005。由此可知，三次B 樣條曲線的精度高于二次B 樣條曲線。

t=0.5 時，目標(biāo)函數(shù)對應(yīng)的值為0.757 858，三次B 樣條曲線對應(yīng)的值為0.757 857，二次B 樣條曲線對應(yīng)的值為0.757 275。設(shè)t=0.5 對應(yīng)的值為0.85時，二次與三次B 樣條曲線的校正精度與靈活性比較如圖6所示。

在B 樣條曲線的控制點求取過程中，設(shè)t=0.5對應(yīng)的值為0.85，所求得控制點確定的B 樣條曲線表達(dá)式所對應(yīng)的曲線如圖6（a）所示。由圖6（a）可知，二次與三次B 樣條曲線在t=0.5 處實際對應(yīng)的值差距較大，通過計算可得，三次B 樣條曲線實際對應(yīng)的值依然為0.85，而二次B 樣條曲線實際對應(yīng)的值為0.815125，由此可知，三次B 樣條曲線的校正精度高于二次B 樣條曲線。

圖6 二次與三次B 樣條曲線的校正精度與靈活度的比較Fig.6 Comparison of correction accuracy and flexibility of quadratic and cubic B-spline curves

通過調(diào)整二次B 樣條曲線的控制點，把t=0.5實際對應(yīng)的值變換至0.85，由圖6（b）可知，二次B 樣條曲線的影響范圍大于三次B 樣條曲線的影響范圍，因此，三次B 樣條曲線的校正靈活性高于二次B 樣條曲線。

由圖6 可知，三次B 樣條曲線的校正精度與靈活性均高于二次B 樣條曲線，因此，三次B 樣條曲線更適用于邊緣亮度優(yōu)化。

2.3 基于三次B 樣條曲線的邊緣亮度優(yōu)化

三次B 樣條曲線表達(dá)式如（8）式所示：

由此可知，每段曲線由對應(yīng)4 個控制點決定，相鄰兩端之間的節(jié)點由對應(yīng)3 個控制點決定。

式中Bi為處重新設(shè)定的衰減權(quán)重，因此，該B 樣條曲線共有10 段11 個節(jié)點13 個控制點。由于該B 樣條曲線是開曲線，擬定p0=p1，p11=p12，由此求得所有控制點確定該三次B 樣條曲線的數(shù)學(xué)表達(dá)式。

如果經(jīng)B 樣條曲線優(yōu)化后重疊區(qū)域的峰值信噪比依舊沒有達(dá)到標(biāo)準(zhǔn)值，那么根據(jù)優(yōu)化后水平坐標(biāo)處的顏色強度重新設(shè)定理想衰減權(quán)重再優(yōu)化，直到重疊區(qū)域的峰值信噪比達(dá)到標(biāo)準(zhǔn)值為止。

本文所設(shè)計的邊緣亮度調(diào)節(jié)方案如圖7所示。

圖7 本文所設(shè)計的亮度調(diào)節(jié)方案Fig.7 Designed brightness adjustment scheme

3 實驗結(jié)果與分析

首先，本文通過衰減函數(shù)和伽瑪校正對邊緣亮度進(jìn)行調(diào)節(jié)，原投影圖像所有像素的顏色強度均為（255，255，255），衰減參數(shù)是根據(jù)實際投影環(huán)境設(shè)定的經(jīng)驗值，RGB 三通道的衰減參數(shù)一致，重疊區(qū)域的投影亮度達(dá)到肉眼觀看的標(biāo)準(zhǔn)即可。通過單平面-雙通道投影進(jìn)行亮度調(diào)節(jié)，亮度調(diào)節(jié)前后的亮度值比較如圖8所示。

圖8 單平面-雙通道投影畫面亮度調(diào)節(jié)前后的亮度值比較Fig.8 Comparison of brightness values before and after brightness adjustment of single plane and dual channel projection images

由YUV 與RGB 色彩空間的轉(zhuǎn)換關(guān)系可知[14-15]，YUV 色彩空間的亮度Y=0.299×R+0.587×G+0.114×B，由圖8 可知，經(jīng)亮度調(diào)節(jié)，投影畫面重疊區(qū)域的亮度明顯衰減，并且與非重疊區(qū)域的亮度相差較小。

接下來，通過攝像機對重疊區(qū)域進(jìn)行采集，根據(jù)RGB 三通道各自的顏色強度分別進(jìn)行B 樣條曲線優(yōu)化。本文的實驗系統(tǒng)為四通道投影CAVE 系統(tǒng)，每個投影畫面對應(yīng)一個投影平面，因此，若想存在重疊區(qū)域，必然存在異面投影，即重疊區(qū)域會分布在2 個投影平面，所以，若想保證攝像空間內(nèi)能夠準(zhǔn)確反映重疊區(qū)域的信息，需要對2 個投影平面進(jìn)行單獨拍攝。RGB 三通道亮度優(yōu)化后的效果如圖9所示。

圖9 RGB 三通道的邊緣亮度優(yōu)化結(jié)果Fig.9 Edge brightness optimization results of RGB three channels

經(jīng)B 樣條曲線亮度優(yōu)化后，不管投影畫面為哪種顏色，重疊區(qū)域都不存在亮度突變，如圖10所示。

圖10 四通道CAVE 系統(tǒng)的邊緣亮度優(yōu)化結(jié)果Fig.10 Edge brightness optimization results of four channel CAVE system

為了驗證本文所設(shè)計亮度調(diào)節(jié)方案的準(zhǔn)確性，將亮度調(diào)節(jié)后的峰值信噪比跟文獻(xiàn)[7] 的亮度調(diào)節(jié)方案進(jìn)行比較，結(jié)果比較如表1所示。

表1 邊緣亮度調(diào)節(jié)后的峰值信噪比比較結(jié)果Table 1 Comparison results of peak signal to noise ratio after edge brightness adjustment

本實驗設(shè)峰值信噪比標(biāo)準(zhǔn)值為32 dB，經(jīng)B 樣條曲線亮度優(yōu)化后，重疊區(qū)域RGB 三通道的峰值信噪比都顯著提高并且達(dá)到標(biāo)準(zhǔn)值，其中，R 通道的峰值信噪比提升了9.13 dB，G 通道的峰值信噪比提升了6.09 dB，B 通道的峰值信噪比提升了

7.53 dB。

4 結(jié)論

由于傳統(tǒng)的衰減函數(shù)與伽瑪校正只能對融合帶進(jìn)行整體亮度調(diào)節(jié)，因此，只要改變其中一個水平坐標(biāo)對應(yīng)的亮度，對所有水平坐標(biāo)的亮度必然會產(chǎn)生影響，而且在調(diào)整參數(shù)的同時，也難免會造成亮度變化不平滑的問題。針對上述問題，提出了基于B樣條曲線的投影圖像邊緣亮度融合方法。由于B樣條曲線的自身性質(zhì)，在調(diào)整其中一個水平坐標(biāo)對應(yīng)亮度的同時，只有該處附近的水平坐標(biāo)對應(yīng)亮度會相應(yīng)進(jìn)行調(diào)整，因此，采用B 樣條曲線進(jìn)行亮度調(diào)節(jié)既能增添靈活性，又可保證平滑性，能夠根據(jù)實際情況通過控制點提高重疊區(qū)域的峰值信噪比，而且，三次B樣條曲線的校正精度與靈活性強于二次B 樣條曲線。實驗結(jié)果證明：跟原有方法相比，本文提出的方法使投影畫面重疊區(qū)域R 通道的峰值信噪比提升了9.13 dB，G通道的峰值信噪比提升了6.09 dB，B 通道的峰值信噪比提升了7.53 dB。由此可知，三次B 樣條曲線適用于投影圖像邊緣亮度調(diào)節(jié)，提高亮度調(diào)節(jié)的準(zhǔn)確性。