基于光譜色差權(quán)重函數(shù)的多光譜降維方法研究

曹 前, 麻祥才, 白春燕, 蘇 娜, 崔慶斌

上海出版印刷高等專科學(xué)校印刷包裝工程系, 上海 200093

引 言

光譜反射率維度高, 與光照和觀察條件無關(guān), 能夠客觀、 真實(shí)地描述物體的顏色信息, 是物體本身特性決定的, 因此被稱為物體的“指紋”, 在光譜顏色復(fù)制[1]、 紡織[2]等領(lǐng)域受到廣泛關(guān)注。 但是, 用于光譜顏色復(fù)制領(lǐng)域的光譜數(shù)據(jù)通常選取10 nm間隔的400～700 nm波段的共計(jì)31維數(shù)據(jù)組成。 其數(shù)據(jù)量超過傳統(tǒng)三色顏色系統(tǒng)十倍以上, 這些巨大的光譜數(shù)據(jù)在存儲(chǔ)、 數(shù)據(jù)處理和數(shù)據(jù)傳遞等方面造成巨大的負(fù)擔(dān), 花費(fèi)太多的計(jì)算時(shí)間。 如果高維光譜可以通過數(shù)學(xué)變換方法映射到低維空間, 并確保低維空間數(shù)據(jù)能夠更好地表示原始光譜所覆蓋的信息, 可以有效地壓縮多光譜數(shù)據(jù), 提高多光譜色彩再現(xiàn)的處理效率。 因此, 光譜數(shù)據(jù)壓縮或者光譜數(shù)據(jù)維度降低成為光譜顏色復(fù)制的一項(xiàng)關(guān)鍵技術(shù)。 已經(jīng)有大量數(shù)據(jù)維度降低算法應(yīng)用到高維光譜降維, 如主成分分析(principal component analysis, PCA)、 壓縮感知算法[3]、 box-cox變換[4], 神經(jīng)網(wǎng)絡(luò)[5]等。 物體表面的反射率光譜通常是由可見光范圍內(nèi)波長的光滑函數(shù)組成, 這些光譜強(qiáng)烈相關(guān)并可以由少量的正交基函數(shù)組成, 主成分分析法正是基于這個(gè)事實(shí)來實(shí)現(xiàn)多光譜數(shù)據(jù)降維。 因此, 基于PCA的多光譜數(shù)據(jù)壓縮算法引起了廣泛關(guān)注, 國內(nèi)外開展了大量相關(guān)研究。 但是, 主成分分析法平等地對待可見光范圍的所有波長, 重建光譜僅僅是對原始光譜的數(shù)學(xué)逼近, 由于根據(jù)波長對顏色的重要性不同, 經(jīng)常會(huì)導(dǎo)致光譜誤差較小而顏色色差較大。 為了克服這個(gè)缺點(diǎn), 主成分分析法應(yīng)該根據(jù)波長對顏色的重要性進(jìn)行修改, 更確切地說, 如果光譜數(shù)據(jù)的某些部分對顏色值不太重要, 就可以增加相應(yīng)的權(quán)重來減少這部分光譜對顏色影響。 已經(jīng)有一些研究者提出權(quán)重的主成分分析法來進(jìn)行光譜數(shù)據(jù)降維, 具體來說, 就是在形成相關(guān)矩陣和計(jì)算特征值之前將光譜數(shù)據(jù)乘以適當(dāng)?shù)南禂?shù)或者權(quán)重函數(shù)。 為了盡可能減少光譜維度降低過程中顏色信息的損失, 不同的學(xué)者從理論推導(dǎo)和大量實(shí)驗(yàn)基礎(chǔ)上, 提出了基于顏色匹配函數(shù)、 視錐細(xì)胞響應(yīng)函數(shù)和光譜變化引起的色差等方面提出了不同的權(quán)重函數(shù)。 Laamanen等[6]于2008年提出基于顏色匹配函數(shù)的權(quán)重函數(shù)的權(quán)重主成分多光譜降維算法。 王瑩等[7]于2011年提出一個(gè)基于代表人眼平均視覺特性的顏色匹配函數(shù)的權(quán)重函數(shù)。 Tian等[8]于2013年建議基于顏色匹配函數(shù)的不同組合的多光譜降維算法的權(quán)重函數(shù); Wu等[9]于2015年提議基于人眼視覺特性的顏色匹配函數(shù)之和的平方根作為多光譜降維算法的權(quán)重函數(shù); Cao等[10]于2016年也提出顏色匹配函數(shù)的平方根之和作為多光譜降維算法的權(quán)重函數(shù); 劉士偉等[11]于2017年構(gòu)建基于視錐細(xì)胞響應(yīng)函數(shù)不同組合的權(quán)重函數(shù)。 梁金星等[12]提出基于視覺特征函數(shù)的權(quán)重函數(shù); Ma等[13]于2020年構(gòu)建了另外一個(gè)基于色差變化的權(quán)重函數(shù)用于保留更多的顏色信息。

上述學(xué)者提出的權(quán)重函數(shù)在確保光譜精度可以接受的條件下, 顯著地提高了光譜降維和壓縮過程的色度精度, 保留了更多的顏色信息, 對于多光譜色彩復(fù)制有非常積極意義。 可是, 上面提到的權(quán)重主成分分析法, 當(dāng)改變測試樣本或是使用其他光譜圖像數(shù)據(jù)時(shí), 其色度誤差仍然不可忽視, 對于在光譜顏色復(fù)制領(lǐng)域中的實(shí)際應(yīng)用還有很大的距離。 在多光譜圖像通過降低維度進(jìn)行壓縮過程中尋找一個(gè)保留更多顏色信息的權(quán)重函數(shù)對于光譜顏色再現(xiàn)具有重要現(xiàn)實(shí)意義。

本文提出了一種基于光譜色差的權(quán)重函數(shù)的多光譜降維算法, 權(quán)重函數(shù)由光譜數(shù)據(jù)集原始光譜和該光譜數(shù)據(jù)集重建光譜之間的平均光譜色差構(gòu)成。 本研究以NCS為訓(xùn)練樣本, 分別以NCS、 Munsell和3張多光譜圖像測試和對比本文推薦的方法和主成分分析法以及另外4種權(quán)重主成分在多光譜降維過程中的性能; 利用公式將測試樣本壓縮到低維光譜空間, 再利用公式將低維光譜數(shù)據(jù)恢復(fù)還原到高維光譜。 以CIELAB色差和均方根誤差(RMSE)來評價(jià)測試樣本的原始光譜和恢復(fù)光譜之間的色度誤差和光譜誤差。

1 實(shí)驗(yàn)部分

1.1 權(quán)重主成分分析

一組光譜數(shù)據(jù)矩陣, 設(shè)采樣維度為n, 樣本數(shù)為p, 用矩陣S表示這個(gè)光譜數(shù)據(jù)集。 定義對角矩陣W, 其對角線元素由權(quán)重函數(shù)w(λ)組成。 光譜矩陣S乘以矩陣W, 權(quán)重光譜矩陣SW由式(1)表示

SW=WS

(1)

權(quán)重光譜矩陣SW的相關(guān)系數(shù)矩陣ΣW如式(2)所示

(2)

(3)

(4)

式(4)中, inv(W)表示方陣W的逆矩陣。

1.2 光譜色差公式

根據(jù)文獻(xiàn)[14-15], 本文定義光譜色差如下: 任意一個(gè)光譜反射率在可見光范圍內(nèi)各個(gè)波段的色差, 其計(jì)算公式如式(5)所示。 式中,L(λ)、a(λ)和b(λ)的計(jì)算公式如式(6)、 式(7)和式(8)所示。

ΔE(λ)=

(5)

(6)

(7)

(8)

其中,

(9)

其中,u依次替換為物體的三刺激值X、Y、Z,un依次替換為參考光源的三刺激值Xn、Yn和Zn,S(λ)表示光源的相對光譜功率分布,k表示使得參考光源的Yn等于100時(shí)的系數(shù)。

1.3 權(quán)重函數(shù)的構(gòu)造

1.3.1 權(quán)重函數(shù)構(gòu)成思路和方法

定義光譜數(shù)據(jù)集R的采樣維度是n, 樣本個(gè)數(shù)為p, 由光譜反射率r1,r2, …,rp組成, 如式(10), 采用主成分分析對其降低維度到m(m

R=[r1r2…rp]

(10)

(11)

1.3.2 權(quán)重函數(shù)的計(jì)算

通過大量的測試, 本文選取有1 600個(gè)光譜組成的Munsell數(shù)據(jù)集作為R, 使用主成分分析法降低維度到1維, 再恢復(fù)到31維, 得到光譜數(shù)據(jù)集R′, 全色差公式計(jì)算使用的參考光源為等能白光E, 根據(jù)權(quán)重函數(shù)構(gòu)成思路和方法, 經(jīng)過歸一化后, 權(quán)重函數(shù)值如表1所示。 為了便于表達(dá), 本文提出的權(quán)重函數(shù)命名為SCDWF, 對應(yīng)的權(quán)重主成分命名為SCDPCA。

表1 由Munsell光譜數(shù)據(jù)集的原始光譜和恢復(fù)光譜的平均光譜色差構(gòu)成的權(quán)重函數(shù)值(SCDWF)

1.4 其他研究者提出的權(quán)重主成分多光譜降維算法

為了光譜壓縮過程中保留更多的顏色信息, Laamanen等[6]于2008年提出一個(gè)基于顏色匹配函數(shù)的權(quán)重函數(shù), 命名為WF1, 如式(12)所示, 其對應(yīng)的權(quán)重主成分命名為W1PCA。

(12)

Tian等[8]于2013年也提議基于人眼視覺特性的顏色匹配函數(shù)的不同組合的權(quán)重函數(shù), 命名為WF2, 如式(13)所示, 其對應(yīng)的權(quán)重主成分命名為W2PCA。

(13)

劉士偉等[11]于2017年構(gòu)建基于視錐細(xì)胞響應(yīng)函數(shù)不同組合的權(quán)重函數(shù), 命名為WF3, 如式(14)所示, 其對應(yīng)的權(quán)重主成分命名為W3PCA。

(14)

式(14)中,L(λ),M(λ)和S(λ)分別表示感紅、 感綠和感藍(lán)三種視錐細(xì)胞響應(yīng)函數(shù)。

Ma等[13]于2020年構(gòu)建了另外一個(gè)基于微小波長變化引起的色差的權(quán)重函數(shù), 命名為WF4, 其對應(yīng)的權(quán)重主成分命名為W4PCA。 本文推薦的權(quán)重函數(shù)和其他4種權(quán)重函數(shù)曲線如圖1所示。

圖1 本文推薦的權(quán)重函數(shù)SCDWF和其他4種權(quán)重函數(shù)曲線

1.5 實(shí)驗(yàn)數(shù)據(jù)

本文使用兩個(gè)著名的顯色系統(tǒng)孟塞爾系統(tǒng)Munsell[16]和自然顏色系統(tǒng)NCS的色卡的光譜數(shù)據(jù)作為實(shí)驗(yàn)數(shù)據(jù), 它們分別是有1 600和1 950色卡構(gòu)成, 這些光譜數(shù)據(jù)都是用分光光度計(jì)測量得到, 它們的光譜反射率和對應(yīng)的色度坐標(biāo)如圖2和圖3所示。 來自哥倫比亞大學(xué)[17]的3張多光譜圖像也作為本實(shí)驗(yàn)的測試樣本, 圖4顯示這3張多光譜圖像, 每張多光譜圖像的分辨率都是512像素×512像素, 共計(jì)262 144個(gè)像素構(gòu)成。

圖2 照明觀察D65/ 2°條件下(a)NCS的光譜反射率及其在CIELAB空間(b)中對應(yīng)的a*b*圖

圖3 照明觀察D65/2°條件下(a)Munsell的光譜反射率及其在CIELAB空間(b)中對應(yīng)的a*b*圖

圖4 來自哥倫比亞大學(xué)的3張多光譜圖像

首先, 使用本文推薦的方法和已經(jīng)存在的方法分別通過訓(xùn)練樣本NCS得到6維特征向量; 其次, 通過式(3)將31維的測試樣本NCS、 MUNSELL和3張多光譜圖像壓縮到6維低維空間, 再通過式(4)將測試樣本的6維低維空間數(shù)據(jù)還原到31維。 然后, 使用光譜精度和色度精度評價(jià)測試樣本的原始光譜數(shù)據(jù)和壓縮后再恢復(fù)的光譜數(shù)據(jù)之間的誤差。 最后, 比較本文推薦的方法和已經(jīng)存在的方法性能優(yōu)劣。

1.6 評價(jià)指標(biāo)

原始光譜和壓縮后恢復(fù)光譜之間存在誤差, 該誤差主要通過色度和光譜兩個(gè)指標(biāo)來評價(jià)。 原始光譜和壓縮后恢復(fù)光譜的光譜精度的色度精度采用1976CIELAB色差評估, 色差小表示色度精度高。 原始光譜和壓縮后恢復(fù)光譜的光譜精度通過均方根誤差(root mean squared error, RMSE)[18-19]來評價(jià), 如式(15)所示。

(15)

2 結(jié)果與討論

對比了我們推薦的方法和一些已經(jīng)存在的方法的色度精度和光譜精度。 以NCS光譜數(shù)據(jù)集為訓(xùn)練樣本, 使用本文推薦的方法和一些已經(jīng)存在的方法得到6維主成分, 分別以NCS、 Munsell和3種多光譜圖像為測試樣本, 利用式(3)將測試樣本的維度降低到6維低維空間, 再利用式(4)還原恢復(fù)到31維光譜數(shù)據(jù), 使用式(13)和式(14)評價(jià)測試樣本的原始光譜數(shù)據(jù)和恢復(fù)光譜之間的色度精度和光譜精度。

2.1 色度精度比較

表2統(tǒng)計(jì)了以NCS為訓(xùn)練樣本, 測試樣本NCS的原始光譜和重建光譜數(shù)據(jù)在D65/2°和A/2°照明觀察條件下的平均色差和最大色差。 圖5表示以NCS為訓(xùn)練樣本, 測試樣本NCS的原始光譜和重建光譜數(shù)據(jù)之間色差分布的箱形圖(boxplot)。 從表2和圖5可以看出, 本文推薦的權(quán)重主成分在D65/2°和A/2°照明觀察條件下的色度精度不僅優(yōu)于主成分分析法, 而且也優(yōu)于其他4種權(quán)重主成分分析法。

圖5 測試樣本NCS的原始光譜和重建光譜之間的色差分布的箱形圖(boxplot)

表2 以NCS為測試樣本時(shí)推薦的方法和已經(jīng)存在一些方法在D65/2°和A/2°照明觀察條件下色度精度對比

表3統(tǒng)計(jì)了以NCS為訓(xùn)練樣本, 測試樣本Munsell的原始光譜和重建光譜數(shù)據(jù)在在D65/2°和A/2°照明觀察條件下的平均色差和最大色差。 圖6表示以NCS為訓(xùn)練樣本, 測試樣本Munsell的原始光譜和重建光譜數(shù)據(jù)之間色差分布的箱形圖(boxplot)。 從表3和圖6可以看出, 以NCS為訓(xùn)練樣本, 以Munsell測試樣本時(shí)的色度精度的統(tǒng)計(jì)結(jié)果和色差分布情況再一次驗(yàn)證以NCS為訓(xùn)練樣本, 以NCS為測試樣本時(shí)在色度精度方面的結(jié)論。

表3 以Munsell為測試樣本時(shí)推薦的方法和已經(jīng)存在一些方法在D65/2°和A/2°照明觀察條件下色度精度對比

2.2 光譜精度比較

表4統(tǒng)計(jì)了測試樣本NCS和Munsell的原始光譜和恢復(fù)光譜之間的平均均方根誤差(mean RMSE)和最大均方根誤差(max RMSE)。 圖7表示測試樣本NCS和Munsell的原始光譜和恢復(fù)光譜之間的均方根誤差(RMSE)分布的箱形圖(boxplot); 從表4和圖7可以看出, 測試樣本為NCS或Munsell時(shí), 主成分分析法的光譜精度(RMSE)優(yōu)于本文推薦的方法和其他4種權(quán)重主成分。 結(jié)合色度精度結(jié)論, 權(quán)重主成分的色度精度提高是以犧牲一定的光譜精度為代價(jià)。 但是, 色度精度提高對于光譜顏色復(fù)制有重要的現(xiàn)實(shí)意義。

圖7 測試樣本的原始光譜和恢復(fù)光譜之間的均方根誤差(RMSE)的箱形圖(boxplot)

表4 測試樣本為NCS和Munsell時(shí)推薦的方法和已經(jīng)存在一些方法的光譜精度對比

2.3 測試樣本為3張多光譜圖像時(shí)各種降維方法的色度精度和光譜精度對比

表5統(tǒng)計(jì)了以NCS為訓(xùn)練樣本, 3張測試樣本的原始光譜和重建光譜數(shù)據(jù)在D65/2°照明觀察條件下的平均色差和最大色差。 表6統(tǒng)計(jì)了以NCS為訓(xùn)練樣本, 3張測試樣本的原始光譜和重建光譜數(shù)據(jù)在A/2°照明觀察條件下的平均色差和最大色差。 表7統(tǒng)計(jì)了3張測試樣本的原始光譜和重建光譜數(shù)據(jù)之間的平均均方根誤差(mean RMSE)和最大均方根誤差(max RMSE)。

表5 測試樣本為3張多光譜圖像時(shí)推薦的方法和已經(jīng)存在一些方法在D65/2°照明觀察條件下色度精度對比

表6 測試樣本為3張多光譜圖像時(shí)推薦的方法和已經(jīng)存在一些方法在A/2°照明觀察條件下色度精度對比

表7 測試樣本為3張多光譜圖像時(shí)推薦的方法和已經(jīng)存在一些方法的光譜精度對比

從表5、 表6和表7可以看出, 當(dāng)測試樣本為3張多光譜圖像時(shí)色度精度和光譜精度的統(tǒng)計(jì)結(jié)果與測試樣本為NCS或者M(jìn)unsell時(shí)的結(jié)論大致一致, 更進(jìn)一步驗(yàn)證了本文推薦的權(quán)重函數(shù)的色度精度不僅優(yōu)于主成分分析法也優(yōu)于其他4種權(quán)重主成分分析法。

3 結(jié) 論

提出了基于光譜色差權(quán)重函數(shù)的多光譜降維方法, 權(quán)重函數(shù)由光譜數(shù)據(jù)集和該光譜數(shù)據(jù)集經(jīng)由主成分重建光譜的平均光譜色差構(gòu)成。 本研究以NCS為訓(xùn)練樣本, 分別以NCS、 Munsell和3張多光譜圖像驗(yàn)證本文推薦的方法和主成分分析法以及另外4種權(quán)重主成分在多光譜降維過程中的性能優(yōu)劣; 結(jié)果表明: 對比于主成分分析法, 測試樣本無論是多光譜數(shù)據(jù)還是多光譜圖像, 本文推薦的方法在犧牲了一定光譜精度的情況下, 在D65/2°和在A/2°兩種照明觀察條件下的色度精度得到顯著的提高。 實(shí)驗(yàn)統(tǒng)計(jì)結(jié)果也顯示本文推薦的方法的色度精度優(yōu)于目前已經(jīng)存在的另外4種權(quán)重主成分。 本文提出的多光譜降維方法保留了更多的顏色信息, 適合于高維光譜的降維、 壓縮和存儲(chǔ)等, 為高維光譜數(shù)據(jù)到低維連接空間數(shù)據(jù)的映射方法提供參考, 對于基于光譜的顏色復(fù)制研究有很重要的意義。