基于光譜連接空間的彩色相機光譜重構研究

李 嬋， 萬曉霞， 梁金星

(武漢大學 印刷與包裝系， 湖北 武漢 430079)

?

基于光譜連接空間的彩色相機光譜重構研究

李 嬋， 萬曉霞*， 梁金星

(武漢大學 印刷與包裝系， 湖北 武漢 430079)

針對彩色相機三通道響應值重構光譜反射率精度低的問題，提出了基于光譜連接空間的彩色相機光譜反射率重構方法。首先通過光譜反射率已知的訓練樣本集和多項式擬合方法建立相機響應值到光譜連接空間的轉(zhuǎn)換矩陣，然后利用該矩陣將待重構樣本的相機響應值映射到光譜連接空間，最后選用合適的光譜重構算法在光譜連接空間內(nèi)實現(xiàn)光譜反射率重構，并利用色度誤差和光譜誤差兩個指標對重構結果進行評價。在上述過程中，鑒于轉(zhuǎn)換矩陣的重要性，采用了基于反距離加權的最小二乘法計算轉(zhuǎn)換矩陣以提高相機響應值到光譜連接空間的轉(zhuǎn)換精度。實驗結果表明：本文方法切實可行且精度可靠，與基于彩色相機三通道響應值的光譜重構方法相比，色度重構精度和光譜重構精度均顯著提高，平均色差和譜差分別為1.145 2和0.010 3，可在較大程度上滿足數(shù)字典藏、高保真顏色復制等的需要。

光譜連接空間； 光譜重構； 反距離加權最小二乘法

1 引 言

基于光譜反射率的顏色信息表征方法與設備、環(huán)境無關，可準確記錄物體表面真實的顏色信息，克服傳統(tǒng)基于色度學的顏色表征方法中的同色異譜問題。分光光度計是獲得光譜信息采集最常見的設備，但它僅能用于單點測量，測量面積取決于設備測量孔徑大小，因此不能應用于整幅圖像的光譜信息獲取。目前可獲取整幅圖像的設備如彩色相機、掃描儀等記錄的顏色信息為物體表面光譜反射率、傳感器光譜靈敏度和環(huán)境光源光譜功率分布在設備響應波長范圍內(nèi)的積分值，光譜反射率信息包含于設備響應值中，如何從設備響應值中重構光譜反射率是近年來顏色科學領域的研究熱點問題之一。

傳統(tǒng)基于彩色相機三通道響應值的光譜重構方法是利用彩色相機采集圖像信息后，再選用偽逆[1]、主成分分析[2]、Wiener估計[3]、插值法[4]等光譜重構算法直接從低維度的相機響應信號重構高維度的光譜反射率信息。這種方法所需設備易得，但重構精度低，無法滿足實際應用要求。究其原因，光譜重構本質(zhì)上屬于病態(tài)方程求解過程[5]，加之相機各通道采樣范圍較寬，數(shù)據(jù)間存在較大相關性，使得方程的病態(tài)性更為嚴重，最終導致重構效果差。針對上述情況，有關研究者提出了通過對物體表面的反射光譜進行寬帶或窄帶重采樣，得到多通道圖像數(shù)據(jù)，在此基礎上重構原稿圖像光譜反射率的多通道光譜圖像獲取技術。目前利用該技術原理構建的多通道光譜圖像獲取系統(tǒng)包括彩色相機+帶通濾光片[6](寬帶或窄帶)、彩色相機+多光源[7]、多通道相機[8]、單色相機+聲光可調(diào)諧濾光片[9]以及單色相機+液晶可調(diào)諧濾光片[10]等。與三通道重構方法相比，多通道光譜圖像獲取技術雖獲得了較高的光譜重構精度，但輔以產(chǎn)成多通道圖像的濾光片或光源需自主選擇[11]；另外由于采樣通道增加，圖像獲取周期變長，采集環(huán)境穩(wěn)定性要求也隨之變高；此外，由于原稿圖像在不同時序采集，圖像容易出現(xiàn)幾何形變、像素偏移等問題[12]，導致多通道圖像間各像素位置無法一一對應，因此進行光譜重構前必須經(jīng)過幾何糾正、圖像配準等一系列圖像預處理過程，增加了光譜圖像獲取的工作量。上述問題的存在一定程度上限制了此類方法的應用。

鑒于上述情況，本文提出基于光譜連接空間的彩色相機光譜反射率重構方法。該方法借鑒多通道光譜圖像獲取技術中細化采樣通道的思想，將采用普通彩色相機獲取的三通道圖像通過非線性映射轉(zhuǎn)換到光譜連接空間(大于三維)，最后在變換得到的多通道圖像數(shù)據(jù)基礎上選用合適的光譜重構算法重構原稿圖像上各像素處的光譜反射率信息。由于本文方法中的多通道圖像是經(jīng)過數(shù)學換算得到的，因此光譜重構前無需進行圖像配準等預處理。成像系統(tǒng)所需的設備主要包括彩色數(shù)碼相機和照明光源，原稿圖像僅經(jīng)歷一次成像過程，操作簡單，用時短。

2 關鍵技術

2.1 光譜連接空間

光譜連接空間全稱為光譜設備無關連接空間，它的提出主要是用于光譜圖像降維，基于光譜的顏色管理系統(tǒng)中的模塊如光譜圖像壓縮編碼、色域可視化、色域映射算法設計等均在低維光譜連接空間中實現(xiàn)[13]。光譜連接空間必須滿足所構造的低維空間能與高維光譜空間雙向轉(zhuǎn)換，不僅可以將高維光譜圖像映射到低維空間，還可以從低維空間數(shù)據(jù)重構出原始的高維光譜數(shù)據(jù)，光譜重構精度是評價光譜連接空間性能的主要指標之一。目前提出的光譜連接空間有PCA[14]、LabPQR[15]、 LabRGB[16]、XYZXYZ[17]、XYZLMS[18]、LabAB[19]等，相比而言，大多數(shù)情況下，XYZXYZ和XYZLMS連接空間的光譜重構性能優(yōu)于LabPQR、LabRGB、PCA等連接空間，因此本文將XYZXYZ和XYZLMS光譜連接空間作為利用相機響應值進行光譜重構的中介空間，即將三維相機響應值映射到六維XYZXYZ和XYZLMS光譜連接空間，在此數(shù)據(jù)基礎上實現(xiàn)原稿圖像的光譜反射率重構。XYZXYZ和XYZLMS連接空間具體定義方法如式(1)和式(2)所示。

(1)

(2)

式中，I1和I2分別表示兩個光譜的相對功率分布。由此可知，XYZXYZ光譜連接空間的坐標值由目標物體在兩個光源下的色度值組成。對于任意一個光譜反射率已知的顏色樣本，利用式(1)和式(2)計算可得到指定光源和觀察者條件下的連接空間內(nèi)1×6維坐標值向量Q，Q等于[XYZLMS]或[X1Y1Z1X2Y2Z2]。

2.2 本文方法

理想情況下，假設I為照明光源的相對光譜功率分布函數(shù)，r為物體表面的光譜反射率，T為光譜傳遞函數(shù), s為相機光譜靈敏度函數(shù)，彩色相機第 i個通道的相機響應值c可用式(3)計算：

(3)

普通彩色相機i=3，分別代表紅(r)、綠(g)和藍(b) 3個通道，對于任何一個樣本，其相機響應值可用一個1×3維向量C表示，顯然將相機響應值轉(zhuǎn)換到光譜連接空間屬于非線性變換。對于上述問題，目前常用的解決方法包括多項式擬合、查找表及神經(jīng)網(wǎng)絡等[20]。本文采用應用最為廣泛的多項式擬合法建立相機響應值與光譜連接空間響應值之間的對應關系。多項式擬合模型可用式(4)表示，式中Q、K和U分別表示光譜連接空間坐標值、多項式系數(shù)矩陣和相機響應多項式拓展值。具體計算過程是首先選擇一個光譜反射率已知的訓練樣本集，通過式(1)或式(2)計算連接空間坐標值向量Q，采集樣本圖像后提取各樣本的RGB通道響應值C，并將C進行11項多項式擴展(式(5))；然后利用最小二乘法計算系數(shù)矩陣K；最后利用K實現(xiàn)待重構樣本到連接空間的轉(zhuǎn)換，系數(shù)矩陣K也稱為轉(zhuǎn)換矩陣。

(4)

u=[1 r g b rg rb gb r2g2b2rgb].

(5)

本文中轉(zhuǎn)換矩陣K的性能優(yōu)劣至關重要。用常規(guī)最小二乘法求解K時，所有的訓練樣本的權重相同。但實際上，離待重構樣本越近的訓練樣本應賦予較大權重?；诖耍蠼飧鞔貥嫎颖巨D(zhuǎn)換到光譜連接空間的矩陣K前，應先賦予各訓練樣本不同的權重，權重向量用W表示(式(6))。

(6)

式中，n為訓練樣本數(shù)量，向量各元素wi為待重構樣本與各訓練樣本相機響應值的歐式距離與一極小值ε之和的倒數(shù)：

(7)

(8)

其中M為光譜反射率與光譜連接空間坐標值之間的轉(zhuǎn)換矩陣。

3 實驗過程

為驗證上述方法的有效性，本文將用彩色相機采集的色塊和圖像數(shù)據(jù)轉(zhuǎn)換到光譜連接空間XYZLMS或 XYZXYZ中，然后在連接空間中選用偽逆法實現(xiàn)光譜重構，重構效果采用色度誤差(ΔEab)和光譜均方根誤差(RMS)兩個指標進行評價。另外，重構結果將與在相機RGB空間內(nèi)的光譜重構結果進行對比。實驗開始首先利用佳能EOS600D相機采集色塊和圖像數(shù)據(jù)，圖像采用raw格式保存，分辨率為5 184×3 456。曝光時間和光圈大小分別為1/15 s和f4.0。色塊為在白卡上采用EPSON Stylus pro 4880C打印輸出的IT874R色靶，各色塊的光譜反射率數(shù)據(jù)采用SpectroScan測得，色塊數(shù)為1 617。計算時，IT874R色靶中奇數(shù)色塊作為訓練樣本，偶數(shù)色塊作為待重構樣本。對于訓練樣本，首先提取各樣本的RGB通道響應值，然后建立RGB值與光譜連接空間坐標值的轉(zhuǎn)換關系。由于訓練樣本的光譜反射率已知，各樣本的光譜連接空間坐標值可根據(jù)式(1)或式(2)直接計算。式(1)中，I為標準A光源；式(2)中，I1和I2分別為標準A光源和D65光源。對于待重構樣本，同理先提取樣本的RGB通道響應值，然后根據(jù)訓練樣本的數(shù)據(jù)基礎和基于反距離加權的最小二乘法計算各重構樣本的轉(zhuǎn)換矩陣K，重構樣本通過K即可轉(zhuǎn)換到XYZLMS或XYZXYZ光譜連接空間進行光譜重構，具體的光譜重構算法如式(8)所示。

圖1 (a)XYZLMS連接空間基向量；(b) 標準A光源和D65光源相對光譜功率分布。

Fig.1 (a) Basis vectors of XYZLMS interim connection space. (b) Spectral relative power distribution of standard light source A and D65.

4 實驗結果討論與分析

表1 為IT874R色靶中待重構樣本在相機RGB空間、XYZLMS和XYZXYZ光譜連接空間內(nèi)的重構精度，其中色度誤差是重構光譜在A、D65、F2和F11 4種標準光源及2°視場條件下計算得到的。由表1可知，在4種光源觀察條件下，相機RGB空間、XYZLMS和XYZXYZ光譜連接空間重構的平均色度誤差分別為7.332 7，1.164，1.145 2；光譜誤差分別為0.074 0，0.010 4，0.010 3。由該數(shù)值結果可知，與直接用相機響應值重構方法相比，無論是色度重構精度還是光譜重構精度，待重構樣本采用基于光譜連接空間的光譜重構方法得到的重構精度顯著提高。XYZLMS和XYZXYZ兩連接空間的重構精度接近，XYZXYZ略占優(yōu)勢，而相機RGB空間重構效果最差，無法滿足實際需求。

圖2 為重構樣本色差(ΔEab)的分段統(tǒng)計，該圖進一步說明了本文方法的色度重構優(yōu)勢。從圖中可以看出，在相機RGB空間內(nèi)，樣本重構色差大多分布在大于3的區(qū)間內(nèi)，在這一區(qū)間內(nèi)的樣本數(shù)量為95.91%，并且色差大于6的樣本超半數(shù)以上，而在XYZLMS和XYZXYZ連接空間內(nèi)，樣本多分布在小于3的區(qū)間內(nèi)，超半數(shù)樣本色差小于1，極少數(shù)樣本色差大于6。由該統(tǒng)計結果可知，采用本文方法重構樣本的精度可靠，性能優(yōu)異，增加采樣通道對提高樣本光譜重構精度十分有效，與直接用相機響應值重構相比，雖增加了計算復雜度，但精度大大提高。

表1 光譜連接空間和三通道相機空間光譜重構精度比較

Fig.2 Chromaticity difference distribution of target samples based on three spaces

表2為保持訓練樣本集和重構算法不變的情況下，采用反距離加權最小二乘法與常規(guī)最小二乘法兩種方法將重建樣本轉(zhuǎn)換到XYZXYZ連接空間內(nèi)進行光譜重構得到的結果的比較。該實驗結果論證了上文論述的相機響應值到光譜連接空間轉(zhuǎn)換系數(shù)矩陣具有重要影響的事實，采用反距離加權的最小二乘法精度明顯提高，色度誤差和光譜誤差的平均值和最大值在4種光源下均大幅減小。

圖3(a)、(b)和(c)為在XYZXYZ連接空間重構的光譜圖像分別在A光源、F2光源和D65光源以及2°視場條件下渲染生成的RGB圖像，原圖采集條件與IT874R色靶一致。從圖中可以看出，重構圖像細節(jié)清晰完整，顏色保真度高。利用X-Rite Eyeone分光光度計測量1#和2#像素所處的均勻顏色區(qū)域內(nèi)的光譜反射率，將其與重構的光譜反射率進行比較，兩像素的色度誤差在D65光源和2°觀察條件下分別為4.562 5和1.527 7；光譜誤差分別為0.033 6和0.017 3。從圖3(e)和圖3(f)可知，重構光譜反射率曲線接近于測量曲線，重構精度較理想。

表2 轉(zhuǎn)換矩陣計算方法對光譜重構精度的影響

圖3 (a) 光譜重構圖像，渲染條件：A光源/2°視場；(b) 光譜重構圖像，渲染條件：F2光源/2°視場；(c) 光譜重構圖像，渲染條件：D65光源/2°視場；(d) c圖中紅框部分放大圖；(e) 1#像素光譜重構值與測量值比較；(f) 2#像素光譜重構值與測量值比較。

Fig.3 (a) Reconstructed RGB image, rendering condition: A/2°. (b) Reconstructed RGB image, rendering condition: F2/2°. (c) Reconstructed RGB image， rendering condition: D65/2°. (d) Partial enlargement of the red box in the figure (c). (e) Measured spectral and reconstructed spectral of 1# pixel. (f) Measured spectral and reconstructed spectral of 2# pixel.

5 結 論

本文提出了基于光譜連接空間的彩色相機光譜反射率重構方法，該方法借鑒多通道光譜圖像獲取技術原理，通過轉(zhuǎn)換矩陣將由彩色相機采集的RGB三通道圖像映射到六通道的光譜連接空間，充分利用光譜連接空間的優(yōu)異光譜重構性能解決了彩色相機三通道圖像直接重構光譜反射率精度低的問題，此外，采用基于反距離加權的最小二乘法計算轉(zhuǎn)換矩陣以提高光譜重構的準確性。實驗數(shù)據(jù)表明，與基于彩色相機三通道響應值的光譜重構方法相比，本文方法使用的圖像獲取系統(tǒng)雖與之相同，但光譜重構精度顯著提高，色度誤差和光譜誤差的平均值和最大值均大幅減小，在XYZXYZ光譜連接空間內(nèi)，重構色差和譜差平均值分別為1.145 2和0.010 3，精度令人滿意。與多通道光譜圖像獲取技術相比，本文方法不需要借助濾光片或光源等輔助設備多次成像而生成多通道圖像，一次成像即可，省去了圖像配準步驟，優(yōu)化了圖像采集和處理流程。本文將光譜連接空間應用于多光譜圖像采集，拓寬了其應用范圍。

[1]El-RIFAI I, MAHGOUB H, MAGDY M A,etal.. Enhanced spectral reflectance reconstruction using pseudo-inverse estimation method [J].Int.J.ImageProc., 2013, 7(3):278-285.

[2] AYALA F, ECHVARRI J F, RENET P,etal.. Use of three tristimulus values from surface reflectance spectra to calculate the principal components for reconstructing these spectra by using only three eigenvectors [J].J.Opt.Soc.Am. A, 2006, 23(8):2020-2026.

[3] SHEN H L, CAI P Q, SHAO S J,etal.. Reflectance reconstruction for multispectral imaging by adaptive Wiener estimation [J].Opt.Express, 2007, 15(23):15545-15554.

[4] KIM B G, WERNER J S, SIMINOVITCH M,etal.. Spectral reflectivity recovery from tristimulus values using 3D extrapolation with 3D interpolation [J].J.Opt.Soc.Korea, 2014, 18(5):507-516.

[5] 謝德紅,李蕊,萬曉霞,等. 基于迭代Tikhonov正規(guī)化的三刺激值重建光譜方法研究 [J]. 光譜學與光譜分析, 2016, 36(1):201-205. XIE D H, LI R, WAN X X,etal.. Iterated Tikhonov regularization for spectral recovery from tristimulus [J].Spectrosc.Spect.Anal., 2016, 36(1):201-205. (in Chinese)

[6] IMA F H, ROSEN M R, BERNS R S. Comparison of spectrally narrow-band captureversuswide-band with a priori sample analysis for spectral reflectance estimation [C].ProceedingsofThe8thFinalProgramandProceedingsColorandImagingConference,Scottsdale,Arizona,USA, 2000:234-241.

[7] HAN S, SATO I, OKABE T,etal.. Fast spectral reflectance recovery using DLP projector [J].Int.J.Comput.Vis., 2014, 110(2):172-184.

[8] LAPRAY P J, WANG X B, THOMAS J B,etal.. Multispectral filter arrays: recent advances and practical implementation [J].Sensors, 2014, 14(11):21626-21659.

[9] GEORGIEV G, GLENAR D A, HILLMAN J J. Spectral characterization of acousto-optic filters used in imaging spectroscopy [J].Appl.Opt., 2002, 41(1):209-217.

[10] HARDEBERG J Y, SCHMITT F, BRETTEL H. Multispectral color image capture using a liquid crystal tunable filter [J].Opt.Eng., 2002, 41(10):2532-2548.

[11] 劉振. 面向復制的多光譜圖像獲取技術研究 [D]. 武漢:武漢大學, 2012. LIU Z.ResearchonReproduction-orientedMultispectralImageAcquisitionTechnology[D]. Wuhan: Wuhan University, 2012. (in Chinese)

[12] 陳青. 多光譜圖像配準與融合技術研究 [D]. 西安:西安工業(yè)大學, 2012. CHEN Q.ResearchonMultispectralImageRegistrationandFusionTechnology[D]. Xi’an: Xi’an Technological University, 2012. (in Chinese)

[13] 張顯斗,王強,楊根福,等. 光譜顏色管理系統(tǒng)關鍵技術綜述 [J]. 中國印刷與包裝研究, 2013, 5(1):10-17. ZHANG X D, WANG Q, YANG G F,etal.. Key technologies review of the spectral color management system [J].ChinaPrintingPackagingStudy, 2013, 5(1):10-17. (in Chinese)

[14] FAIRMAN H S, BRILL M H. The principal components of reflectances [J].ColorRes.Appl., 2004, 29(2):104-110.

[15] DERHAK M, ROSEN M. Spectral colorimetry using LabPQR: an interim connection space [J].J.ImagingSci.Technol., 2006, 50(1):53-63.

[16] NAKAYA F, OHTA N. Spectral encoding/decoding using LabRGB [J].J.ImagingSci.Technol., 2008, 52(4):40902-1-8.

[17] ZHANG X D, WANG Q, LI J C,etal.. The interim connection space based on human color vision for spectral color reproduction [J].J.Opt.Soc.Am. A, 2012, 29(6):1027-1034.

[18] ZHANG X D, WANG Q, WANG Y,etal.. XYZLMS interim connection space for spectral image compression and reproduction [J].Opt.Lett., 2012, 37(24):5097-5099.

[19] LE MOAN S, URBAN P. A new connection space for low-dimensional spectral color management [J].SPIE, 2014, 9018:90180E-1-6.

[20] 智川,周世生,石毅. 顏色空間轉(zhuǎn)換的模糊神經(jīng)網(wǎng)絡辨識算法 [J]. 北京理工大學學報, 2011, 31(6):722-726. ZHI C, ZHOU S S, SHI Y. Color space transform based on fuzzy and neural network identification algorithm [J].Trans.BeijingInst.Technol., 2011, 31(6):722-726. (in Chinese)

李嬋 (1987-)，女，湖南長沙人，博士研究生，2009年于西安理工大學獲得碩士學位，主要從事多光譜圖像采集與處理方面的研究。E-mail: chanli030@163.com

萬曉霞 (1965-)，女，湖北廣水人，博士，教授，博士生導師，2002年于武漢大學獲得博士學位，主要從事高保真顏色復制和顏色測量等方面的研究。E-mail: wan@whu.edu.cn

Spectral Reconstruction from Trichromatic Digital Camera Responses Based on Interim Connection Space for Spectral Data

LI Chan, WAN Xiao-xia*, LIANG Jin-xing

(Printing and Packaging Department, Wuhan University, Wuhan 430079, China)*CorrespondingAuthor,E-mail:wan@whu.edu.cn

Aiming at the problem of poor spectral reconstruction accuracy from trichromatic camera responses, a method was presented for spectral reflectance reconstruction based on the interim connection space (ICS) for spectral data and trichromatic digital camera. Firstly, the training samples with known spectral reflectance and polynomial fitting method were utilized to establish a transform matrix from the trichromatic camera responses to the ICS response values. Then, the target samples or pixels were mapped to the ICS by means of the transform matrix. Finally, spectral reflectance reconstruction of each sample or pixel was implementedviaan appropriate spectral reconstruction algorithm using ICS response values and the reconstruction accuracy is evaluated in terms of chromaticity difference and spectral root mean square error. In addition, the inverse distance weighted least square method was applied to calculate the transform matrix to improve the conversion accuracy from the camera response to the ICS response value. The experimental results show that the proposed method is feasible and has reliable precision. Compared to the spectral reflectance reconstruction from trichromatic camera responses, the chromaticity reconstruction accuracy and spectral reconstruction accuracy of the proposed method are significantly improved. The mean chromaticity difference and mean spectral root mean square error are 1.145 2 and 0.010 3, respectively. It can meet the needs of digital archives, high fidelity color reproduction,etc.

interim connection space for spectral data; spectral reflectance reconstruction; inverse distance weighted least square method

2016-06-24；

2016-09-12

國家文物局文物保護領域科學和技術研究一般課題(2013-YB-HT-034); 國家自然科學基金(651275172,61405104,61575147)資助項目

1000-7032(2016)12-1571-08

O432.3

A

10.3788/fgxb20163712.1571