基于機(jī)器學(xué)習(xí)和移動終端彩色圖像的光譜重構(gòu)研究

徐順標(biāo) 劉洋 陳建宇 趙微 徐鵬

摘要：文章以移動終端設(shè)備為媒介獲取彩色圖像，利用基于機(jī)器學(xué)習(xí)的光譜重構(gòu)算法將彩色圖像重構(gòu)為光譜圖像。利用色卡的RGB值和光譜反射比作為訓(xùn)練樣本并建立光譜重構(gòu)模型，進(jìn)而將彩色圖像逐像素轉(zhuǎn)換為光譜圖像。測試了基于機(jī)器學(xué)習(xí)的PI算法和Kernel算法對彩色圖像的光譜重構(gòu)精度，并檢驗(yàn)了跨設(shè)備的光譜重構(gòu)精度。同時(shí)，建立了兩臺移動終端設(shè)備的相機(jī)響應(yīng)值轉(zhuǎn)換關(guān)系，在一臺設(shè)備下建立光譜重構(gòu)模型，將另一設(shè)備下的相機(jī)響應(yīng)值轉(zhuǎn)換到第一臺設(shè)備下，從而利用第一臺設(shè)備下建立的光譜重構(gòu)模型重構(gòu)光譜。實(shí)驗(yàn)結(jié)果表明，不同移動終端的光譜重構(gòu)性能不同，且Kernel算法的精度優(yōu)于PI算法，同時(shí)，利用跨設(shè)備相機(jī)響應(yīng)值轉(zhuǎn)換，可提高跨移動終端的光譜重構(gòu)精度。

關(guān)鍵詞： 光譜重構(gòu)；光譜反射比；樣本訓(xùn)練；光譜估計(jì)；移動終端

中圖分類號：O432.3? ? ? ?文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2023）35-0121-03

開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）

0 引言

光譜作為物體的指紋，可以實(shí)現(xiàn)對物體更精確的表征和分析，雖然光譜在各行各業(yè)中起著重要的作用，而光譜測量設(shè)備卻存在各種不可避免的缺點(diǎn)，例如體積大，價(jià)格昂貴，測量時(shí)間長等，使其應(yīng)用范圍僅局限在某些特殊的領(lǐng)域，難以推廣到更多的行業(yè)領(lǐng)域。光譜重構(gòu)技術(shù)可以通過利用有限的圖像數(shù)據(jù)預(yù)測每個(gè)波長處的光譜值[1-2]，這項(xiàng)技術(shù)已被廣泛應(yīng)用于圖像處理、色彩管理、高光譜成像、計(jì)算機(jī)視覺、熒光成像，文化遺產(chǎn)保護(hù)、藝術(shù)品鑒定、環(huán)境監(jiān)測等方面，光譜重構(gòu)技術(shù)的發(fā)展前景非常廣闊，有望為各行各業(yè)帶來更多的機(jī)遇和挑戰(zhàn)，因此，尋找到一種合適的設(shè)備來實(shí)現(xiàn)常規(guī)光譜測量設(shè)備的功能顯得尤為重要。如今，移動終端設(shè)備的普及以及其愈發(fā)出色的圖像采集性能，為此提供了一個(gè)可能的方向，例如，智能手機(jī)和平板電腦等移動設(shè)備已經(jīng)成為人們?nèi)粘Ｉ钪泻凸ぷ髦胁豢苫蛉钡囊徊糠?，并且這些設(shè)備內(nèi)置的高分辨率攝像頭可以拍攝出高空間分辨率及高畫質(zhì)的圖像。因此，將光譜重構(gòu)技術(shù)用于移動終端，從移動終端彩色圖像重構(gòu)光譜圖像，將有利于快速和方便地獲取高空間分辨率的光譜數(shù)據(jù)，推動光譜數(shù)據(jù)在更多行業(yè)中的實(shí)時(shí)應(yīng)用。

本文使用第三代iPad Air與第十代小米手機(jī)進(jìn)行光譜重構(gòu)研究，兩種不同品牌的移動終端設(shè)備采集同一顏色樣品的彩色圖像，隨后將圖像中的色度值轉(zhuǎn)換為其相對應(yīng)的光譜值，從而實(shí)現(xiàn)光譜重構(gòu)。本文選擇兩種典型的基于機(jī)器學(xué)習(xí)的光譜重構(gòu)算法，即PI算法和Kernel算法，并將其應(yīng)用到移動終端設(shè)備中，建立基于移動終端的光譜重構(gòu)系統(tǒng)。此外將兩種終端設(shè)備采集的RGB信息進(jìn)行擬合，將一種設(shè)備的RGB值擬合到另一種設(shè)備下，然后進(jìn)行光譜重構(gòu)，從而提高跨移動終端設(shè)備的光譜重構(gòu)精度。

1 光譜重構(gòu)算法

光譜重構(gòu)即從物體的相機(jī)響應(yīng)值重構(gòu)物體的光譜反射比，目前已涌現(xiàn)出各種各樣的光譜重構(gòu)方法，如多項(xiàng)式回歸法、R矩陣法、R矩陣法與多項(xiàng)式回歸相結(jié)合法、PI（Pseudo Inverse） 算法[3]、基函數(shù)法、匹配法、自適應(yīng)光譜重構(gòu)法[4]、Kernel算法[5]、主元分析法[6]、同色異譜法[7]等。本研究選擇了兩種基于機(jī)器學(xué)習(xí)的算法，即PI算法和Kernel算法。其中，PI算法實(shí)現(xiàn)簡單，運(yùn)算速度快。而對于Kernel算法，通過恰當(dāng)?shù)卣{(diào)整核函數(shù)中的參數(shù)，可以獲取高精度的光譜重構(gòu)性能。因此，本文選擇這兩種光譜重構(gòu)算法進(jìn)行移動終端光譜重構(gòu)的研究，不同的算法將建立對應(yīng)的光譜重構(gòu)模型。

1） PI算法

假設(shè)原始顏色樣品的相機(jī)響應(yīng)值為P，進(jìn)行重構(gòu)訓(xùn)練的樣本光譜反射比為R，相機(jī)響應(yīng)值到光譜反射比的轉(zhuǎn)換矩陣為T，PI算法的原理即利用最小二乘法滿足下式，

min（‖R-TP‖2） （1）

其中轉(zhuǎn)換矩陣T可通過矩陣形式求解，即

[T=（PTP）-1PTR] （2）

上式中，上標(biāo)T和-1分別表示矩陣的轉(zhuǎn)置和逆。PI算法計(jì)算簡單而迅速，且訓(xùn)練樣本非最優(yōu)的情況下，仍能取得較好的光譜重構(gòu)效果，但該方法無法避免來自系統(tǒng)噪聲的影響。

2） Kernel算法

Kernel算法[5]利用核函數(shù)將相機(jī)響應(yīng)值轉(zhuǎn)換到一個(gè)特征空間，在特征空間中利用嶺回歸技術(shù)獲取光譜反射比。從另一角度，Kernel算法將目標(biāo)對象的多通道響應(yīng)值映射到光譜空間，計(jì)算與訓(xùn)練樣本的相關(guān)性并得到一組權(quán)重系數(shù)，按這組權(quán)重系數(shù)對訓(xùn)練樣本的光譜反射比加權(quán)組合就得到目標(biāo)對象的光譜反射比，其計(jì)算公式如下，

[r=R（K+γI）k] （3）

式中，γ是正則化參數(shù)，I是單位矩陣，K是利用矩陣P得到的m×m維的格拉姆矩陣，m是訓(xùn)練樣本的數(shù)量，Kij=K（pi，pj）。K（·）是核函數(shù)，以經(jīng)典的高斯核為例，即

[K（pi，pj）=exp（-||pi-pj||22δ2）] （4）

其中，pi、pj分別是第i個(gè)和第j個(gè)訓(xùn)練樣本的多通道響應(yīng)值。k是m維的向量，表示m個(gè)訓(xùn)練樣本與目標(biāo)對象的核估計(jì)值，第i個(gè)樣本與目標(biāo)對象的核估計(jì)值可表為ki=K（pi，p）。該算法中常見的核函數(shù)還有多項(xiàng)式核、對數(shù)核、Duchon spline核等。

2 實(shí)驗(yàn)

2.1 實(shí)驗(yàn)樣本和設(shè)備

所采用的顏色樣本來自愛色麗公司的色卡ColorChecker Digital SG Chart（簡稱SG，140色），如圖1所示。SG色卡是數(shù)碼攝影與印藝等行業(yè)常用的標(biāo)準(zhǔn)參考色卡，其包括了ColorChecker Classic的所有24個(gè)顏色。SG色卡邊緣一圈的白色和黑色色塊各14個(gè)，灰色色塊16個(gè)，剩余部分為96個(gè)包含彩色和中性色的顏色樣本。

用于圖像采集的移動終端設(shè)備為Apple公司的第三代iPad Air（簡稱，iPad Air3） 與小米公司的第十代小米手機(jī)（簡稱，小米10） ，如圖2和圖3所示。設(shè)備iPad Air3的分辨率為2224×1668，屏幕像素密度為264像素每英寸，設(shè)備位深度為8位；設(shè)備小米10的分辨率為2340×1080，屏幕像素密度為386像素每英寸，設(shè)備位深度為8位。

2.2 實(shí)驗(yàn)步驟

將iPad Air3與小米10手機(jī)的攝像功能保持在最佳的狀態(tài)，然后將SG色卡放置在室內(nèi)光源強(qiáng)度合適且較為均勻的地方。為了保證采集到的圖像質(zhì)量最佳，兩種設(shè)備都采用分辨率最高的后置攝像頭對SG色卡進(jìn)行拍攝。

1） 使用分光光度計(jì)測量SG色卡400nm到700nm，間隔10nm的光譜反射比，測量得所有色塊的光譜反射比，為了減少中性色塊對光譜重構(gòu)的影響，需要排除最外圍一圈的黑色、白色、灰色的色塊，最終所需采集數(shù)據(jù)的色塊為96個(gè)，如圖4中白色方框內(nèi)容所示。

2） 找到圖像采集設(shè)備攝像最佳的位置，依次用iPad Air3與小米10后置攝像頭對SG色卡重復(fù)拍攝數(shù)次，得到需要進(jìn)行光譜重構(gòu)所需的彩色圖像。

3） 對采集到的圖像進(jìn)行篩選，丟棄帶有反光、亮斑，色彩不均勻，成像模糊的拍攝圖片，從中選取一定數(shù)量的圖像作為最終的數(shù)據(jù)。

4） iPad Air3與小米10手機(jī)拍攝所得圖像輸入Matlab自編程序進(jìn)行處理，提取顏色樣本圖像中的RGB值，將SG色卡中一半色塊作為訓(xùn)練樣本，另一半作為測試樣本。利用光譜重構(gòu)算法從RGB值重構(gòu)光譜反射比，進(jìn)一步計(jì)算重構(gòu)的光譜反射比與真實(shí)光譜反射比之間的誤差，從而衡量光譜重構(gòu)的精度。

5） 用iPad Air3拍攝SG色卡，所得圖像的RGB值作為訓(xùn)練樣本，再用小米10拍攝SG色卡，所得圖像的RGB值多為測試樣本，進(jìn)行光譜重構(gòu)。然后且將兩設(shè)備的RGB值進(jìn)行擬合，通過建立兩者之間的轉(zhuǎn)換關(guān)系，將小米10的相機(jī)響應(yīng)值轉(zhuǎn)換到iPad Air3下，再進(jìn)行光譜重構(gòu)。

3 實(shí)驗(yàn)結(jié)果

3.1 光譜重構(gòu)精度

本文采用色差和光譜差衡量重構(gòu)的光譜反射比的精度，色差采用CIEDE2000色差 [8]，用來評價(jià)重構(gòu)的光譜反射比的色度精度。光譜差采用RMSE [9]，用來衡量重構(gòu)的光譜反射比的光譜精度。對于兩個(gè)指標(biāo)，其值越小，光譜重構(gòu)誤差越小，因此光譜重構(gòu)精度越高。小米10和iPad Air3的光譜重構(gòu)精度如表1所示。

從表1可見，Kernel算法的色度誤差和光譜誤差都低于PI算法，因此Kernel算法能夠更準(zhǔn)確地從移動終端的RGB值重構(gòu)光譜反射比。同時(shí)，iPad Air3的色度和光譜精度都優(yōu)于小米10，表明iPad Air3所生成的RGB值線性度較好。但兩臺設(shè)備的色差和光譜差仍然較大，一方面是因?yàn)樗捎玫腞GB值并非raw圖像數(shù)據(jù)，RGB值存在非線性，另一方面，移動終端攝像頭的拍攝性能與專業(yè)相機(jī)（如單反相機(jī)）存在差距。為了能夠在視覺上更直觀地體現(xiàn)兩種算法光譜重構(gòu)效果，給出小米10兩種算法的復(fù)現(xiàn)圖像，即將重構(gòu)的光譜圖像轉(zhuǎn)換為sRGB圖像，如圖5和6所示。

對比兩幅復(fù)現(xiàn)圖像，可以看出PI算法復(fù)現(xiàn)的圖像有些模糊和泛白，而Kernel算法復(fù)現(xiàn)的圖像則較清晰，因此也印證了Kernel算法的光譜重構(gòu)精度更高。

3.2 跨設(shè)備光譜重構(gòu)

本文測試了跨移動終端設(shè)備的光譜重構(gòu)效果，即利用一臺設(shè)備拍攝的SG圖像建立光譜重構(gòu)模型，將該模型用于另一臺設(shè)備拍攝的圖像，進(jìn)行光譜重構(gòu)。同時(shí)，建立不同設(shè)備之間相機(jī)響應(yīng)值之間的映射關(guān)系，將一臺設(shè)備的相機(jī)響應(yīng)值映射到另一臺設(shè)備，然后測試映射后的光譜重構(gòu)精度。本實(shí)驗(yàn)將小米10手機(jī)拍攝的圖像的RGB值映射為iPad Air3拍攝的圖像的RGB值。對于RGB每個(gè)通道，利用SG色卡的所有色塊建立了兩個(gè)設(shè)備的相機(jī)響應(yīng)值轉(zhuǎn)換關(guān)系，具體利用二次多項(xiàng)式建立了每個(gè)通道的響應(yīng)值轉(zhuǎn)換關(guān)系，如式（5） 所示，其中x表示小米10的R值或G值或B值，F(xiàn)（x）表示iPad Air3的R值或G值或B值，a， b和c表示公式中要進(jìn)行擬合的參數(shù)。

[F（x）=ax2+bx+c] （5）

基于上述轉(zhuǎn)換模型，給出了兩臺設(shè)備每個(gè)通道的響應(yīng)值轉(zhuǎn)換曲線，見圖7。其中R-X， G-X， B-X分別為小米10的RGB三通道相機(jī)響應(yīng)值，而R-I， G-I， B-I分別為iPad Air3的三通道相機(jī)響應(yīng)值。

利用iPad Air3拍攝的SG圖像及其光譜反射比建立光譜重構(gòu)模型，利用該模型將小米10拍攝的SG色卡的RGB值重構(gòu)為光譜反射比，并計(jì)算重構(gòu)誤差。然后，利用上述建立的兩臺設(shè)備之間的相機(jī)響應(yīng)值轉(zhuǎn)換關(guān)系，將小米10的RGB值轉(zhuǎn)換到iPad Air3下，然后利用基于iPad Air3建立的光譜重構(gòu)模型，重構(gòu)SG色卡的光譜反射比，并計(jì)算光譜重構(gòu)誤差。相機(jī)響應(yīng)值轉(zhuǎn)換前后的光譜重構(gòu)誤差如表2所示。

從表2可見，小米10響應(yīng)值轉(zhuǎn)換前的光譜重構(gòu)精度較表1有所下降，表明不同設(shè)備之間的RGB值存在差異。對于兩種光譜重構(gòu)算法，響應(yīng)值轉(zhuǎn)換后，色差和光譜差都有所下降，表明建立的轉(zhuǎn)換模型可以實(shí)現(xiàn)兩臺設(shè)備響應(yīng)值的映射。

4 結(jié)束語

移動終端的迅猛發(fā)展使其成為越來越普遍的圖像采集設(shè)備，本文研究了利用移動終端的相機(jī)響應(yīng)值重構(gòu)光譜反射比，從而可以方便地從移動終端的彩色圖像獲取光譜圖像，并研究了跨設(shè)備的光譜重構(gòu)效果。采用兩種移動終端設(shè)備作為圖像采集工具，并采用了兩種基于機(jī)器學(xué)習(xí)的光譜重構(gòu)算法建立光譜重構(gòu)模型，測試移動終端的光譜重構(gòu)效果。實(shí)驗(yàn)結(jié)果表明，Kernel算法的光譜重構(gòu)精度顯著優(yōu)于PI算法，表明Kernel算法能精確地?cái)M合RGB值與光譜反射比之間的非線性關(guān)系。對于跨設(shè)備光譜重構(gòu)，利用二次多項(xiàng)式建立了兩臺設(shè)備之間的相機(jī)響應(yīng)值模型，對于兩種光譜重構(gòu)算法，相機(jī)響應(yīng)值轉(zhuǎn)換后，光譜精度和色度精度都有所提升，表明所建立的響應(yīng)值轉(zhuǎn)換模型的有效性。

參考文獻(xiàn)：

[1] 梁金星，萬曉霞.彩色數(shù)碼相機(jī)單幅RGB圖像光譜重建研究[J].光學(xué)學(xué)報(bào)，2017，37（9）：370-377.

[2] 趙子琦.多光譜圖像的獲取及重構(gòu)算法的研究[D].曲阜：曲阜師范大學(xué)，2014.

[3] 李博.基于三色相機(jī)的多光譜圖像獲取方法研究[D].曲阜：曲阜師范大學(xué)，2012.

[4] 梁金星.基于數(shù)碼相機(jī)的光譜測量方法研究[D].武漢：武漢大學(xué)，2019.

[5] 徐鵬.基于多光譜成像技術(shù)的光譜圖像重構(gòu)與顯示研究[D].杭州：浙江大學(xué)，2017.

[6] 陳奕藝，徐海松，張顯斗，等.基于數(shù)碼相機(jī)的光譜重構(gòu)研究[J].光學(xué)學(xué)報(bào)，2009，29（5）：1416-1419.

[7] 陳奕藝.基于數(shù)碼相機(jī)的物體表面色光譜重構(gòu)[D].杭州：浙江大學(xué)，2008.

[8] LUO M R，CUI G，RIGG B.The development of the CIE 2000 colour-difference formula：CIEDE2000[J].Color Research & Application，2001，26（5）：340-350.

[9] VILASECA M，PUJOL J，ARJONA M，et al.Multispectral system for reflectance reconstruction in the near-infrared region[J].Applied Optics，2006，45（18）：4241-4253.

【通聯(lián)編輯：光文玲】