聯(lián)合色度特征與輕量級神經(jīng)網(wǎng)絡(luò)的顏色恒常性算法

閆鵬剛

關(guān)鍵詞：顏色恒常性；拉普拉斯特征；色度特征；輕量級神經(jīng)網(wǎng)絡(luò)

中圖分類號：TP18 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2023）20-0047-04

0 引言

作為計(jì)算機(jī)視覺中一個(gè)重要且有效的特征，顏色信息已經(jīng)廣泛應(yīng)用于目標(biāo)檢測、識別、分割、行為理解等領(lǐng)域。然而，作為一種十分容易受到外界因素影響的圖像特征，會隨著外界各種環(huán)境因素的變化而發(fā)生明顯的變化。相機(jī)以及其他設(shè)備在獲取圖像時(shí)，會受到場景中的光照、物體表面的反射率以及成像傳感器感光系數(shù)等多方面的影響，使得圖像顏色存在巨大的差異，然而人眼系統(tǒng)可以排除這些因素的干擾，確保其感知的色彩保持穩(wěn)定不變。顏色恒常性的目的是讓機(jī)器擁有類似人眼視覺系統(tǒng)的顏色恒常性功能，其算法就是盡可能地使設(shè)備成像時(shí)的圖像與人類視覺系統(tǒng)所看到的一致。準(zhǔn)確識別出場景物體本身的顏色，不僅可以得到高質(zhì)量的圖像，還可以為后續(xù)的圖像理解打下良好基礎(chǔ)。因此顏色恒常性是一個(gè)值得關(guān)注的經(jīng)典問題。

基于光源估計(jì)的顏色恒常性計(jì)算是顏色恒常性的重要研究方向，其過程通常是首先估計(jì)出場景的光源，然后通過 Von Kries 模型對圖像進(jìn)行轉(zhuǎn)換。光源估計(jì)的方法主要包括基于統(tǒng)計(jì)的方法和基于學(xué)習(xí)的方法?；诮y(tǒng)計(jì)的方法包括Gray World 算法[1]、White-Patch 算法[2]、Gray-Edge 算法的多種變形[3-4]以及一些利用統(tǒng)計(jì)信息融合的算法[5]。這些算法不需要訓(xùn)練數(shù)據(jù)，實(shí)現(xiàn)簡單、快速、高效，在實(shí)際生活中有著大量的應(yīng)用，但因是在假設(shè)的基礎(chǔ)上，所以有著一定的局限性?；趯W(xué)習(xí)的算法主要包括色域映射算法（Gamut Mapping） [6]、貝葉斯統(tǒng)計(jì)及其改進(jìn)算法[7-8]、空間域方法[9]、色度先驗(yàn)知識[10]等，其主要是通過機(jī)器學(xué)習(xí)的方法提取色度、亮度、邊緣等關(guān)鍵特征并進(jìn)行光源估計(jì)，能取得較好的圖像校正效果，但相較于基于統(tǒng)計(jì)的方法，這些算法計(jì)算復(fù)雜度高，泛化性較差，限制了在實(shí)際中的應(yīng)用。

隨著深度學(xué)習(xí)領(lǐng)域的發(fā)展，相關(guān)的研究已應(yīng)用于光源估計(jì)。Bianco等人[11]提出的CNN、Lou 等人[12]提出的 AlexNet、Shi 等人[13]提出的 DS-Net，崔帥等人[14]提出的深度殘差，Afifi 等人[15-16]提出的光源估計(jì)方法等，這些方法使用卷積神經(jīng)網(wǎng)絡(luò)不斷訓(xùn)練學(xué)習(xí)數(shù)據(jù)的內(nèi)在分布特征，使光源估計(jì)的準(zhǔn)確度得到了提高，也使算法有著良好的泛化性與魯棒性。Barron等人[17-18]通過將圖像轉(zhuǎn)換到對數(shù)空間并計(jì)算直方圖特征，對光源進(jìn)行定位，提出了快速傅里葉顏色恒常性算法 FFCC，是近些年來廣受關(guān)注的一個(gè)算法。但是該算法僅僅考慮了像素的分布情況，卻忽略了像素本身具備的信息，使得基本信息丟失。本文提出了一種基于色度特征與輕量級神經(jīng)網(wǎng)絡(luò)聯(lián)合的顏色恒常性算法。在公開數(shù)據(jù)集上的實(shí)驗(yàn)表明，本文方法能夠更進(jìn)一步提高光源估計(jì)精度。

1 本文方法

為了進(jìn)一步提高顏色恒常性算法的精確性與穩(wěn)定性，本文提出了一種聯(lián)合色度特征與輕量級神經(jīng)網(wǎng)絡(luò)的顏色恒常性算法。該算法流程如圖1所示，首先，計(jì)算圖像的 Laplace 特征，獲取與圖像相同分辨率的特征；然后計(jì)算圖像與對應(yīng)的 Laplace 特征的色度信息，并統(tǒng)計(jì)直方圖對應(yīng)的平均色度值；最后，將平均色度輸入輕量級網(wǎng)絡(luò)中，進(jìn)行自適應(yīng)均值池化，得到整幅圖像的光源顏色估計(jì)。

實(shí)驗(yàn)環(huán)境是英特爾至強(qiáng)處理器E5-2640 v4 @ 2.40GHz， GPU 為NVIDIA TITAN Xp，操作系統(tǒng)是 Ubuntu-18.04，本文提出的算法是基于Py?Torch實(shí)現(xiàn)的。

2.1 Color Checker 數(shù)據(jù)集

Color Checker 數(shù)據(jù)集是Gehler等人[21]提供的，該數(shù)據(jù)集共有568張圖片，包含室內(nèi)室外場景，其中室內(nèi)場景246張，室外場景322張。圖片由兩種分辨率較高的相機(jī) Canon 5D 和 Canon 1D 進(jìn)行拍攝。被拍攝的圖像經(jīng)處理得到兩種分辨率，分別是384×256 和48×32。在實(shí)際應(yīng)用中，小分辨率（如 48×32） 常作為輸入圖像計(jì)算光源估計(jì)值，其主要由于移動(dòng)端或者嵌入式端內(nèi)存受限。本方法采用分辨率為48×32的圖像進(jìn)行訓(xùn)練和測試。

2.2 評價(jià)標(biāo)準(zhǔn)

本文采用角度誤差作為衡量光源估計(jì)誤差的度量值，并采用幾個(gè)不同的度量標(biāo)準(zhǔn)作為算法的評價(jià)指標(biāo)，分別是所有誤差的平均值（Mean） 、中位數(shù)（Me?dian） 、三均值（Tri-mean） 、最低25 %誤差的平均值（Best 25%） 、最高25%誤差的平均值（Worst 25%） 。角度誤差越小表示預(yù)測的光源估計(jì)值越接近真實(shí)光源，角度誤差越大表示顏色恒常性算法越差。

2.3 對比分析

本文對比的算法包括基于統(tǒng)計(jì)、基于機(jī)器學(xué)習(xí)以及基于深度學(xué)習(xí)的方法。通過對比表格中的數(shù)據(jù)可知，本文方法的深度學(xué)習(xí)算法最優(yōu)。與基于統(tǒng)計(jì)方法相比，本文算法在 mean、median、tri、best25%、worst25% 這五個(gè)指標(biāo)上提升范圍分別是：36%～74%、30%～79%、32%～77%、14%～82%、37%～70%，與基于機(jī)器學(xué)習(xí)方法相比，本文算法在mean、median、tri、best25%、worst25% 這五個(gè)指標(biāo)上提升范圍分別是18%～53%、21%～56%、16%～53%、3%～61%、18%～55%，與基于深度學(xué)習(xí)方法相比，本文算法在mean、median、tri、best25%、worst25% 這五個(gè)指標(biāo)上提升范圍分別是 6%～29%、2%～34%、4%～31%、0%～37%、5%～26%，需要注意的是 best 25% 指標(biāo)下相比Multi-Hypothesis 算法精度略有下降，但整體相比是有提升的。相比FFCC-thumb 算法，本文算法在Mean、Worst25% 這兩個(gè)指標(biāo)上提升了1.2%、6.6%，證明了該算法的穩(wěn)健性?？紤]到移動(dòng)端或嵌入式端的內(nèi)存限制，本文方法與 FFCC 均采用統(tǒng)計(jì)圖作為輸入（圖像分辨率是 48×32） ，與采用高分辨率圖像進(jìn)行光源估計(jì)的 DS-Net（Shi 等，2016） 和 FC4（Hu 等，2017）方法相比，在 Color Checker 數(shù)據(jù)集上，本文方法的結(jié)果比這兩種方法差，但優(yōu)于其他方法。

本文算法采用輕量級網(wǎng)絡(luò)結(jié)構(gòu)，與其他深度學(xué)習(xí)算法在參數(shù)量上進(jìn)行對比，如表2所示，對于單幀圖像進(jìn)行顏色恒常性處理的平均時(shí)間是0.004s，可滿足移動(dòng)端或者嵌入式端的應(yīng)用需求。

3 結(jié)論

針對單光源復(fù)雜場景的問題，本文提出了一種色度特征與輕量級神經(jīng)網(wǎng)絡(luò)聯(lián)合的顏色恒常性算法。該方法不僅獲得了色度的統(tǒng)計(jì)分布特征，而且保留了原始的色度信息。此外，本文采用的神經(jīng)網(wǎng)絡(luò)模型相比性能較優(yōu)的深度學(xué)習(xí)算法，模型參數(shù)量少、計(jì)算復(fù)雜度低。通過實(shí)驗(yàn)發(fā)現(xiàn)，在 ColorChecker 數(shù)據(jù)集上，本文算法的準(zhǔn)確度高于基于統(tǒng)計(jì)、基于機(jī)器學(xué)習(xí)以及大部分深度學(xué)習(xí)的方法，且相比于目前性能較優(yōu)的深度學(xué)習(xí)方法，本文算法的模型參數(shù)量少，在運(yùn)算速度和占用內(nèi)存上有顯著優(yōu)勢，能夠滿足移動(dòng)端或者嵌入式端應(yīng)用的實(shí)際需求。下一步的工作計(jì)劃是解決多光源條件下的顏色恒常性問題。