基于生成對(duì)抗網(wǎng)絡(luò)的小樣本顏色空間轉(zhuǎn)換方法

林松，孫連山，趙娟寧，吳彥錦

（陜西科技大學(xué) 電子信息與人工智能學(xué)院，西安 710021）

在早期的圖像顯示領(lǐng)域，由于設(shè)備制造標(biāo)準(zhǔn)、制造廠商、運(yùn)行環(huán)境的不同，造成不同設(shè)備的顯示能力有所差異，因此同一張數(shù)字圖像在不同設(shè)備上直接顯示或輸出就會(huì)產(chǎn)生肉眼可見的色差。為了降低圖像在不同設(shè)備之間的色差，國際色彩協(xié)會(huì)于1995 年提出色彩管理[1-2]標(biāo)準(zhǔn)，自此，色彩管理系統(tǒng)就成為圖像顯示領(lǐng)域必不可少的部分。

色彩管理的本質(zhì)是顏色值在顏色空間之間的轉(zhuǎn)換，顏色空間是一種用于描述色彩的方式，不同顏色空間只是對(duì)同一物理量的描述方式不同，相互之間存在轉(zhuǎn)換關(guān)系，常見的標(biāo)準(zhǔn)顏色空間有RGB、CIELab、XYZ 等。在實(shí)際應(yīng)用中，由于設(shè)備老化等各種原因，標(biāo)準(zhǔn)顏色空間的轉(zhuǎn)換關(guān)系無法直接應(yīng)用于色彩管理，需要根據(jù)設(shè)備的特點(diǎn)創(chuàng)建設(shè)備特有的非標(biāo)準(zhǔn)顏色空間轉(zhuǎn)換關(guān)系。記錄設(shè)備顏色空間轉(zhuǎn)換關(guān)系的文件稱為設(shè)備特性化文件。色彩管理需要根據(jù)特性化文件在不同顏色空間之間轉(zhuǎn)換同一張圖像，轉(zhuǎn)換的精度直接影響色彩管理系統(tǒng)的色差。長期以來，許多學(xué)者致力于研究整體性能優(yōu)秀的顏色空間轉(zhuǎn)換方法，主流方法有3 類：三維查找表法、多項(xiàng)式回歸法和神經(jīng)網(wǎng)絡(luò)模型法[3]。

在傳統(tǒng)方法中，基于三維查找表法[4-5]的轉(zhuǎn)換方法采用均勻空間的距離公式來計(jì)算色域空間上的顏色距離，所以中間點(diǎn)的轉(zhuǎn)換精度受到查找表的限制。為查找表引入新的數(shù)據(jù)點(diǎn)是十分煩瑣的過程，需要重新計(jì)算大部分坐標(biāo)點(diǎn)，因此這種方法的使用頻率逐漸下降。基于多項(xiàng)式回歸[6-7]的轉(zhuǎn)換方法在確定回歸階數(shù)和常數(shù)項(xiàng)時(shí)存在不確定性，隨著階數(shù)的增加，計(jì)算量逐漸增大，模型更復(fù)雜。

在神經(jīng)網(wǎng)絡(luò)模型法中，楊金鍇等[3]為極限學(xué)習(xí)機(jī)的目標(biāo)函數(shù)引入正則化項(xiàng)，再根據(jù)嶺回歸模型的嶺跡圖確認(rèn)最優(yōu)的嶺參數(shù)，提高了網(wǎng)絡(luò)的訓(xùn)練效果和泛化能力，在800 個(gè)訓(xùn)練樣本條件下可以將平均色差控制在1.65 個(gè)CIE 色差單位。洪亮等[8]采用學(xué)習(xí)速度和泛化能力更好的RBF 神經(jīng)網(wǎng)絡(luò)來進(jìn)行顏色空間轉(zhuǎn)換，將等間隔采樣的216 個(gè)色塊作為訓(xùn)練集，在計(jì)算機(jī)上進(jìn)行仿真實(shí)驗(yàn)，將平均色差控制在0.75 個(gè)色差單位，取得了不錯(cuò)的效果。Hajipour 等[9]將競爭神經(jīng)網(wǎng)絡(luò)與BP 神經(jīng)網(wǎng)絡(luò)結(jié)合，并進(jìn)行特性化處理，先使用競爭神經(jīng)網(wǎng)絡(luò)對(duì)數(shù)據(jù)進(jìn)行分類，再對(duì)分類后的數(shù)據(jù)分別使用BP 神經(jīng)網(wǎng)絡(luò)進(jìn)行顏色空間轉(zhuǎn)換。這種方法可將平均色差控制在一個(gè)較低范圍，但是他們使用了1 500組樣本來訓(xùn)練網(wǎng)絡(luò)。總體來說，人工神經(jīng)網(wǎng)絡(luò)對(duì)非線性映射關(guān)系具有極強(qiáng)的擬合能力，在計(jì)算機(jī)算力和樣本量足夠的情況下，采用神經(jīng)網(wǎng)絡(luò)的方式進(jìn)行顏色空間的轉(zhuǎn)換，能夠取得傳統(tǒng)方法無法比擬的轉(zhuǎn)換精度。

上述3 類主流方法各有優(yōu)劣，整體來看，對(duì)精度要求不高的場景可使用較簡單的傳統(tǒng)方法，對(duì)精度要求高的場景可選擇神經(jīng)網(wǎng)絡(luò)模型法。隨著計(jì)算機(jī)硬件的發(fā)展，普通計(jì)算機(jī)就可完成神經(jīng)網(wǎng)絡(luò)訓(xùn)練，其計(jì)算能力不再限制該類方法的應(yīng)用，但是訓(xùn)練樣本需求量大、人工采集成本高仍限制了神經(jīng)網(wǎng)絡(luò)模型法的應(yīng)用。構(gòu)建特性化訓(xùn)練集的特點(diǎn)是需要人工使用測色設(shè)備逐個(gè)采集，并且每次特性化都需采集目標(biāo)設(shè)備的訓(xùn)練集，整個(gè)樣本的構(gòu)建過程費(fèi)時(shí)、費(fèi)力。為了解決建立顏色空間轉(zhuǎn)換關(guān)系需求樣本量大、樣本采集成本高等問題，文中將捕捉未知分布能力較強(qiáng)的生成對(duì)抗網(wǎng)絡(luò)[10-12]應(yīng)用于顏色空間轉(zhuǎn)換任務(wù)中，添加校正模塊，并設(shè)計(jì)多階段訓(xùn)練方法，旨在小樣本學(xué)習(xí)條件下，將不同顏色空間轉(zhuǎn)換的精度控制在可接受范圍內(nèi)。

1 生成對(duì)抗網(wǎng)絡(luò)

生成對(duì)抗網(wǎng)絡(luò)（GAN，Generative Adversarial Network）于2014 年由Goodfellow 等[13]提出，是文中的核心網(wǎng)絡(luò)架構(gòu)，這里將介紹基礎(chǔ)的GAN 模型和當(dāng)前主流的WGAN（Wasserstein Generative Adversarial Network）[14-15]模型。

在訓(xùn)練過程中，GAN 模型無須馬爾科夫鏈進(jìn)行反復(fù)采樣，也無須在學(xué)習(xí)過程中進(jìn)行推斷，回避了棘手的概率計(jì)算難題，其巧妙的設(shè)計(jì)在提出后便受到廣泛關(guān)注。實(shí)驗(yàn)數(shù)據(jù)證明，該模型能夠有效捕捉數(shù)據(jù)分布，是近年來復(fù)雜分布上無監(jiān)督學(xué)習(xí)的主要方法之一。

基礎(chǔ)GAN 模型包含生成模塊和判別模塊等，其模型如圖1 所示。生成模塊的作用是學(xué)習(xí)真實(shí)數(shù)據(jù)的分布，判別模塊的作用是區(qū)分生成模塊生成的數(shù)據(jù)和訓(xùn)練集的真實(shí)數(shù)據(jù)。模型的訓(xùn)練過程是讓2 個(gè)模塊進(jìn)行博弈，通過2 個(gè)模塊之間的博弈和交替訓(xùn)練，使整個(gè)模型逼近納什均衡，最終使判別模塊無法區(qū)分生成數(shù)據(jù)和真實(shí)數(shù)據(jù)，同時(shí)生成模塊也學(xué)習(xí)到了真實(shí)數(shù)據(jù)的分布，生成的數(shù)據(jù)達(dá)到了以假亂真的程度。

圖1 生成對(duì)抗網(wǎng)絡(luò)Fig.1 Generative adversarial networks

式中：G為生成模塊；G(z) 為生成模塊的生成數(shù)據(jù)；D為判別模塊；x為真實(shí)樣本；p(x)為真實(shí)樣本分布；z為隨機(jī)噪聲；q(z)為隨機(jī)噪聲分布。

WGAN 對(duì)GAN 模型進(jìn)行了重要改進(jìn)，核心改動(dòng)是將損失函數(shù)替換為Wasserstein 距離的對(duì)偶形式，如式（1）所示。WGAN 解決了GAN 訓(xùn)練不穩(wěn)定、模式崩潰等問題，自2016 年被提出以來，就廣泛應(yīng)用于數(shù)據(jù)增強(qiáng)、小樣本學(xué)習(xí)等領(lǐng)域，并且取得了不錯(cuò)的效果。

2 文中方法

基于WGAN 模型思想設(shè)計(jì)了具有校正功能的Cor?WGAN 模型，并設(shè)計(jì)了相應(yīng)的多階段訓(xùn)練方法來訓(xùn)練模型，利用不同模塊的特點(diǎn)提高顏色空間之間的轉(zhuǎn)換精度。這里將按照生成模塊、判別模塊、校正模塊的順序詳細(xì)介紹Cor?WGAN 模型的結(jié)構(gòu)，最后列出相應(yīng)的多階段訓(xùn)練方法的步驟。

2.1 融合多通道校正的Cor?WGAN 模型

基于生成對(duì)抗網(wǎng)絡(luò)思想，文中設(shè)計(jì)了融合多通道校正模塊的Cor?WGAN 模型，包含用于無監(jiān)督學(xué)習(xí)的生成模塊（Generator）和判別模塊（Discriminator），以及有監(jiān)督學(xué)習(xí)的校正模塊（Correction），完整的模型結(jié)構(gòu)如圖2 所示。

圖2 Cor?WGAN 模型結(jié)構(gòu)Fig.2 Cor-WGAN model structure

2.1.1 生成模塊

生成模塊的作用是學(xué)習(xí)RGB 到CIELab 顏色空間的轉(zhuǎn)換關(guān)系，模塊的輸入是R、G、B，模塊的輸出是轉(zhuǎn)換后的L、a、b。

R、G、B的值為0～255，為了加速網(wǎng)絡(luò)的收斂，需要對(duì)數(shù)據(jù)進(jìn)行歸一化處理。數(shù)據(jù)生成模型常用的激活函數(shù)為Relu。由于使用Relu 可能會(huì)出現(xiàn)神經(jīng)元死亡的問題，因此選擇Softplus 來避免神經(jīng)元死亡。

綜上可知，生成模塊的最終結(jié)構(gòu)包括歸一化層，2 個(gè)部分256 個(gè)神經(jīng)元的FFN 配合SoftPlus 激活函數(shù)，以及3 個(gè)神經(jīng)元的全連接層，將其作為輸出層。

2.1.2 判別模塊

判別模塊的作用是學(xué)會(huì)如何計(jì)算輸入的真實(shí)分布與生成分布之間的距離。模塊的輸入包含2 個(gè)部分：真實(shí)的L、a、b；生成模塊生成的L、a、b。將2 個(gè)部分的數(shù)據(jù)輸入判別模塊，經(jīng)過判別模塊處理，輸出Wasserstein 距離D，表示2 個(gè)部分?jǐn)?shù)據(jù)分布之間的距離。由于判別模塊計(jì)算的是分布距離，并不是計(jì)算該組數(shù)據(jù)為真實(shí)數(shù)據(jù)的概率，需要避免使用改變數(shù)據(jù)分布情況的操作，因此判別模塊不使用歸一化激活函數(shù)或者數(shù)據(jù)歸一化等操作。

綜上可知，判別模塊的最終結(jié)構(gòu)包括2 個(gè)部分的256 個(gè)神經(jīng)元的FFN 配合LeakyRelu 激活函數(shù)，以及1 個(gè)神經(jīng)元的全連接層，將其作為輸出層。

2.1.3 校正模塊

納什均衡是一種理想狀態(tài)，在實(shí)際訓(xùn)練過程中往往很難達(dá)到真正的納什均衡。體現(xiàn)在數(shù)據(jù)上，即生成數(shù)據(jù)只能逼近真實(shí)數(shù)據(jù)，當(dāng)色差減小至一定程度時(shí)，網(wǎng)絡(luò)訓(xùn)練的邊際效應(yīng)變得十分明顯。為了克服這一缺點(diǎn)，筆者設(shè)計(jì)了多通道校正模塊，為生成模塊提供校正建議。校正模塊結(jié)構(gòu)如圖3 所示。

圖3 多通道校正模塊Fig.3 Multi-channel calibration module

針對(duì)L、a、b分別給出了獨(dú)立的校正建議，將校正模塊設(shè)計(jì)為多通道結(jié)構(gòu)，讓每個(gè)通道單獨(dú)考慮1 個(gè)值的建議。在生成模塊和判別模塊的無監(jiān)督學(xué)習(xí)完成后，校正模塊和生成模塊會(huì)進(jìn)行有監(jiān)督學(xué)習(xí)。校正模塊的輸入是生成模塊生成的數(shù)據(jù)G（RGB），輸出是L、a、b等值的校正建議，將真實(shí)的L、a、b作為校正模塊的標(biāo)簽。

在數(shù)據(jù)進(jìn)入校正模塊后，先經(jīng)過512 個(gè)神經(jīng)元的前饋神經(jīng)網(wǎng)絡(luò)FFN，再由激活函數(shù)Leaky Relu，篩選出部分不可用的連接，接著分為3 個(gè)通道，對(duì)應(yīng)亮度值L、紅綠彩色通道值a、黃藍(lán)彩色通道值b，再經(jīng)過64 個(gè)神經(jīng)元的前饋神經(jīng)網(wǎng)絡(luò)FFN 及SoftPlus 激活函數(shù)，最終得到模塊輸出。

校正模塊的作用是在生成模塊和判別模塊無法達(dá)到真正的全局最小值時(shí)，分別從L、a、b等3 個(gè)角度給出調(diào)整建議，生成模塊據(jù)此再次微調(diào)模型的權(quán)重，使生成數(shù)據(jù)更加接近真實(shí)數(shù)據(jù)。

2.2 多階段訓(xùn)練方法

深度學(xué)習(xí)的訓(xùn)練方法通常采用輸入到輸出的正向傳播，再根據(jù)損失函數(shù)計(jì)算loss 值，求得梯度后反向傳播，以更新整個(gè)模型的參數(shù)。這里提出的模型采用了模塊化思想，模塊之間參數(shù)的更新過程相對(duì)獨(dú)立，常用的一次性更新整個(gè)模型的方法會(huì)讓收斂困難，甚至無法收斂。為此，這里設(shè)計(jì)了多階段訓(xùn)練方法，包含預(yù)訓(xùn)練、無監(jiān)督對(duì)抗訓(xùn)練和校正訓(xùn)練3 個(gè)部分，以提升小樣本下模型的收斂速度，整體流程如圖4 所示。

圖4 多階段訓(xùn)練方法流程Fig.4 Multi-stage training method flow

在模型尚未訓(xùn)練階段，各個(gè)模塊都不具備相應(yīng)的能力。其中，最關(guān)鍵的是判別模塊無法判斷最基本的真實(shí)數(shù)據(jù)與生成數(shù)據(jù)的區(qū)別，而不具備判別能力的判別模塊無法在無監(jiān)督學(xué)習(xí)中檢驗(yàn)生成模塊的生成效果。由此可見，在進(jìn)行模塊之間相互對(duì)抗訓(xùn)練前，需要對(duì)判別模塊進(jìn)行預(yù)訓(xùn)練，賦予判別模塊判斷差異較大真假數(shù)據(jù)的能力。

經(jīng)過一定的預(yù)訓(xùn)練輪次，判別模塊具備一定的判斷能力后，再根據(jù)式（1）所示的損失函數(shù)，啟動(dòng)判別模塊和生成模塊相互博弈的無監(jiān)督對(duì)抗訓(xùn)練。在每個(gè)輪次的對(duì)抗訓(xùn)練中，優(yōu)先訓(xùn)練判別模塊，提升判別模塊的判別能力。訓(xùn)練后的判別模塊計(jì)算生成分布與真實(shí)分布的Wasserstein 距離會(huì)更大，再以減少分布距離為目的來更新生成模塊的權(quán)重，提升生成模塊的生成能力，相互博弈前進(jìn)。

完成了判別模塊和生成模塊的無監(jiān)督對(duì)抗訓(xùn)練后，判別模塊具備了較好的判別能力，生成模塊生成的數(shù)據(jù)也會(huì)逼近目標(biāo)顏色空間顏色值分布，再進(jìn)行校正訓(xùn)練。首先對(duì)校正模塊進(jìn)行預(yù)訓(xùn)練，學(xué)習(xí)給出多通道校正建議的能力，再將生成模塊與校正模塊配合，以均方誤差為損失函數(shù)開始校正訓(xùn)練。在每個(gè)輪次的訓(xùn)練中，優(yōu)先訓(xùn)練校正模塊，以提升校正能力，再調(diào)整生成模塊，以提升生成數(shù)據(jù)的質(zhì)量。

3 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果

這里將通過實(shí)驗(yàn)來驗(yàn)證文中提出方法的有效性。首先在標(biāo)準(zhǔn)顏色空間下，通過對(duì)比不同方法之間的轉(zhuǎn)換精度，驗(yàn)證文中算法在小樣本顏色空間轉(zhuǎn)換時(shí)的效果。通過調(diào)整訓(xùn)練集的大小來對(duì)比文中方法在不同大小樣本條件下的轉(zhuǎn)換精度，通過消融實(shí)驗(yàn)來證明文中方法有助于提升顏色空間轉(zhuǎn)換的精度。最后，設(shè)置非標(biāo)準(zhǔn)顏色空間仿真實(shí)驗(yàn)和逆轉(zhuǎn)換實(shí)驗(yàn)，驗(yàn)證文中方法在實(shí)際應(yīng)用中的效果。

3.1 構(gòu)建標(biāo)準(zhǔn)顏色空間訓(xùn)練集

這里采用的是小樣本學(xué)習(xí)，為了避免Cor?WGAN模型只學(xué)習(xí)局部的轉(zhuǎn)換關(guān)系，需要訓(xùn)練集盡可能均勻地分布在整個(gè)顏色空間。在標(biāo)準(zhǔn)顏色空間實(shí)驗(yàn)階段，將0～255 的R、G、B數(shù)據(jù)等間隔劃分，以獲取均勻分布的訓(xùn)練集。以四等份（0、85、170、255）為例，將R、G、B四等分的顏色值互相組合，得到64 個(gè)色塊，根據(jù)標(biāo)準(zhǔn)轉(zhuǎn)換公式將R、G、B轉(zhuǎn)換為D65 光源/2°視場觀察條件下的L、a、b。將得到的64 組標(biāo)準(zhǔn)顏色空間R、G、B，以及L、a、b作為模型的訓(xùn)練樣本，示例樣本如圖5 所示。

圖5 四等份訓(xùn)練數(shù)據(jù)示例Fig.5 Example of quartered training data

3.2 實(shí)驗(yàn)設(shè)計(jì)

以文中構(gòu)建的均勻樣本為訓(xùn)練集，通過Pytorch深度學(xué)習(xí)框架搭建Cor?WGAN 的網(wǎng)絡(luò)結(jié)構(gòu)。

1）網(wǎng)絡(luò)訓(xùn)練。先對(duì)判別模塊進(jìn)行1 000 輪的預(yù)訓(xùn)練，讓其先具備一定的判別能力，然后由生成模塊和判別模塊進(jìn)行10 000 輪無監(jiān)督對(duì)抗學(xué)習(xí)，每輪訓(xùn)練判別模塊3 次，訓(xùn)練生成模塊1 次。在完成無監(jiān)督學(xué)習(xí)后，使用校正模塊和生成模塊進(jìn)行5 000 輪有監(jiān)督學(xué)習(xí)，調(diào)整生成模塊的生成效果。

2）參數(shù)優(yōu)化。優(yōu)化器均使用Adam（平滑參數(shù)分別取0.7 和0.9），初始學(xué)習(xí)率均為0.005。

3）對(duì)照組。選擇基于RBF 神經(jīng)網(wǎng)絡(luò)[3]和R?ELM[8]的顏色空間轉(zhuǎn)換方法為對(duì)照組，訓(xùn)練數(shù)據(jù)集、優(yōu)化器、學(xué)習(xí)率等都采用相同的設(shè)置，迭代數(shù)量設(shè)置為10 000次，同樣選擇Pytorch 框架搭建網(wǎng)絡(luò)結(jié)構(gòu)。

在Pycharm 集成開發(fā)環(huán)境下對(duì)上述3 個(gè)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并以Pantone 國際標(biāo)準(zhǔn)色卡數(shù)據(jù)集的907 組標(biāo)準(zhǔn)顏色空間RGB 數(shù)據(jù)和Lab 數(shù)據(jù)為測試集。針對(duì)上述網(wǎng)絡(luò)轉(zhuǎn)換效果，使用Lab 顏色空間的色差公式對(duì)結(jié)果進(jìn)行評(píng)價(jià)，色差公式如式（2）所示。

式中：x和y為2 個(gè)色樣；L*為明度指數(shù)；a*為紅綠色度指數(shù)；b*為藍(lán)黃色度指數(shù)。

3.3 不同方法的對(duì)比實(shí)驗(yàn)

驗(yàn)證不同算法在小樣本條件下的轉(zhuǎn)換效果，使用64組標(biāo)準(zhǔn)顏色空間樣本訓(xùn)練R?ELM、RBF 神經(jīng)網(wǎng)絡(luò)、Cor?WGAN 模型后，將測試集的R、G、B 輸入訓(xùn)練完成的網(wǎng)絡(luò)中，得到模型輸出和訓(xùn)練集的L、a、b真實(shí)值，計(jì)算色差，結(jié)果如表1 所示。對(duì)應(yīng)的色差分布如圖6 所示。

表1 不同方法的色差比較Tab.1 Comparison of color difference of different methods

圖6 不同方法色差分布Fig.6 Color difference distribution of different methods

實(shí)驗(yàn)結(jié)果表明，在小樣本條件下，文中提出的Cor?WGAN 模型不論在平均色差、最大色差還是最小色差上，都比R?ELM 極限學(xué)習(xí)機(jī)和RBF 神經(jīng)網(wǎng)絡(luò)表現(xiàn)得更好。

3.4 不同數(shù)據(jù)集的對(duì)比實(shí)驗(yàn)

為了對(duì)比Cor?WGAN 在不同訓(xùn)練集上的效果，這里將0～255 的R、G、B等數(shù)據(jù)進(jìn)行不同程度的等間隔劃分，再進(jìn)行組合，分別設(shè)計(jì)了三等份（0、127、254）實(shí)驗(yàn)組（共27 個(gè)訓(xùn)練樣本）、四等份（0、85、270、255）實(shí)驗(yàn)組（共64 個(gè)訓(xùn)練樣本）、五等份（0、63、126、189、252）實(shí)驗(yàn)組（共125 個(gè)訓(xùn)練樣本）、六等份實(shí)驗(yàn)組（0、50、100、150、200、255）實(shí)驗(yàn)組（共216 個(gè)訓(xùn)練樣本）。將Pantone 國際標(biāo)準(zhǔn)色卡作為測試集，得到的平均色差如表2 所示。

表2 不同算法在不同訓(xùn)練集上的色差比較Tab.2 Color difference comparison of different algorithms in different sizes of training sets

不同實(shí)驗(yàn)對(duì)照組的數(shù)據(jù)都盡量平均分布在整個(gè)RGB 顏色空間中。由于RGB 顏色空間不是均勻的顏色空間，因此在27 個(gè)樣本的情況下，3 種方法都無法學(xué)習(xí)到完整的分布特征，其中Cor?WGAN 是轉(zhuǎn)換效果最好的一組。

在擴(kuò)大訓(xùn)練集時(shí)，樣本在顏色空間中分布得更加密集，模型可學(xué)習(xí)到顏色空間中不均勻部分的轉(zhuǎn)換關(guān)系。從實(shí)驗(yàn)結(jié)果可知，當(dāng)訓(xùn)練樣本擴(kuò)大到125 個(gè)時(shí)，3 種方法的轉(zhuǎn)換效果都得到較大提升，且都滿足色差小于6 的國標(biāo)印染要求。當(dāng)訓(xùn)練樣本擴(kuò)大到216 個(gè)時(shí)，所有對(duì)照組的色差都小于3，按照文獻(xiàn)[16]的評(píng)判標(biāo)準(zhǔn)，它們均達(dá)到了人眼無法分辨的程度。

綜上可知，Cor?WGAN 網(wǎng)絡(luò)模型只需64 對(duì)訓(xùn)練樣本就滿足日常生活的色彩轉(zhuǎn)換需求，充分證明該模型具有優(yōu)秀的小樣本學(xué)習(xí)能力。

3.5 消融實(shí)驗(yàn)

為了驗(yàn)證多通道校正模塊的效果，這里設(shè)計(jì)了包含完整Cor?WGAN 模型組、單通道校正模塊組和刪除校正模塊組3 個(gè)對(duì)照組的消融實(shí)驗(yàn)，訓(xùn)練集使用標(biāo)準(zhǔn)顏色空間的64 組均勻樣本，測試集使用Pantone 國際標(biāo)準(zhǔn)色卡數(shù)據(jù)，結(jié)果如表3 所示，色差分布如圖7 所示。

表3 消融實(shí)驗(yàn)的色差比較Tab.3 Color difference comparison of ablation experiment

圖7 消融實(shí)驗(yàn)色差分布Fig.7 Color difference distribution of ablation experiment

表3 前2 行數(shù)據(jù)表明，使用單通道校正模塊與多通道校正模塊存在差異。在計(jì)算過程中，由于單通道校正模塊L、a、b等3 個(gè)輸出值共用單通道神經(jīng)元，導(dǎo)致輸出值之間存在相關(guān)性，因此最終輸出校正建議時(shí)也會(huì)折中。這與表3 中的實(shí)驗(yàn)結(jié)果相互印證，單通道校正模塊對(duì)生成模塊的調(diào)整有限，導(dǎo)致模型最終輸出的平均色差更高。

表3 第1 行和第3 行數(shù)據(jù)表明了校正模塊對(duì)整個(gè)模型的意義。如果完全移除校正模塊，則輸出結(jié)果即為生成模塊和判別模塊無監(jiān)督對(duì)抗訓(xùn)練的結(jié)果。由于生成對(duì)抗網(wǎng)絡(luò)本身具有難以達(dá)到納什均衡的缺陷，因此不使用校正模塊的平均色差達(dá)到3.27 個(gè)CIE 色差單位。

整個(gè)消融實(shí)驗(yàn)的結(jié)果表明，多通道校正模塊給出的獨(dú)立校正建議更有利于修正WGAN 模型的輸出結(jié)果，文中提出的改進(jìn)模型有利于提高顏色空間的轉(zhuǎn)換精度。

3.6 非標(biāo)準(zhǔn)顏色空間仿真實(shí)驗(yàn)

上述實(shí)驗(yàn)表明，文中提出的Cor?WGAN 模型在標(biāo)準(zhǔn)顏色空間下取得了較好的效果。為了驗(yàn)證模型在實(shí)際應(yīng)用中的轉(zhuǎn)換效果，這里設(shè)計(jì)了計(jì)算機(jī)仿真函數(shù)來模擬非標(biāo)準(zhǔn)顏色空間轉(zhuǎn)換關(guān)系。

仿真函數(shù)的具體實(shí)現(xiàn)方式：在標(biāo)準(zhǔn)的RGB 向XYZ 轉(zhuǎn)換過程中添加0.99～1.01 的隨機(jī)參數(shù)，再通過XYZ 顏色空間轉(zhuǎn)換到 D65 光源/2°觀察條件下的CIELab 顏色空間，以此來模擬轉(zhuǎn)換關(guān)系的隨機(jī)變化，核心公式如式（3）所示。

式中：X、Y、Z為三刺激值；r、g、b分別為歸一化修正后的R、G、B值；βi為隨機(jī)參數(shù)。

分別設(shè)置27、64、125、216 等4 組不同程度均勻等分樣本的對(duì)照組。訓(xùn)練集部分使用等間隔劃分的訓(xùn)練樣本，對(duì)應(yīng)的L、a、b真實(shí)值通過仿真函數(shù)計(jì)算。在測試集部分，使用隨機(jī)的R、G、B作為R?ELM、RBF 和Cor?WGAN 模型的輸入，再通過模型預(yù)測的輸出值L、a、b與仿真函數(shù)輸出值L、a、b計(jì)算色差，實(shí)驗(yàn)結(jié)果如表4 所示。

表4 不同算法在非標(biāo)準(zhǔn)顏色空間實(shí)驗(yàn)的色差比較Tab.4 Color difference comparison of different algorithms in non-standard color space experiment

從實(shí)驗(yàn)結(jié)果可以看出，文中提出的Cor?WGAN模型在非標(biāo)準(zhǔn)顏色空間下依然取得不錯(cuò)的轉(zhuǎn)換效果，且能夠完成小樣本學(xué)習(xí)任務(wù)。

3.7 逆轉(zhuǎn)換實(shí)驗(yàn)

在實(shí)際應(yīng)用中，色彩管理系統(tǒng)會(huì)采用中間顏色空間為媒介，完成不同設(shè)備顏色空間之間的轉(zhuǎn)換。中間顏色空間一般是與設(shè)備無關(guān)的顏色空間，CIELab 就是一種常用的中間顏色空間。

這里設(shè)計(jì)了RGB 到CIELab 顏色空間的逆轉(zhuǎn)換實(shí)驗(yàn)，以驗(yàn)證模型從中間顏色空間轉(zhuǎn)換到目標(biāo)顏色空間的學(xué)習(xí)效果。對(duì)比分析R?ELM、RBF 和Cor?WGAN模型，訓(xùn)練集為27、64、125、216 組非標(biāo)準(zhǔn)顏色空間仿真樣本，仿真過程中的隨機(jī)參數(shù)取0.99～1.01。

在逆轉(zhuǎn)換實(shí)驗(yàn)中，模型的輸入值為L、a、b，模型的輸出值是轉(zhuǎn)換后的R、G、B，模型的輸出值與對(duì)應(yīng)的R、G、B真實(shí)值按照式（4）求得單組實(shí)驗(yàn)數(shù)據(jù)的色差，12 組實(shí)驗(yàn)的色差對(duì)比如表5 所示。

表5 不同算法在逆轉(zhuǎn)換實(shí)驗(yàn)中的色差比較Tab.5 Color difference comparison of different algorithms in inverse conversion experiment

實(shí)驗(yàn)結(jié)果表明，文中提出的Cor?WGAN 模型在小樣本條件下依然具有十分明顯的優(yōu)勢，在 64組樣本條件下的訓(xùn)練結(jié)果滿足國標(biāo)要求，R?ELM和RBF 都需要至少216 個(gè)樣本才能達(dá)到相應(yīng)的轉(zhuǎn)換效果。

4 結(jié)語

以WGAN 模型為基礎(chǔ)，提出了一種融合多通道校正模塊的Cor?WGAN 顏色空間轉(zhuǎn)換模型，可以在小樣本情況下學(xué)習(xí)到由RGB 到CIELab 顏色空間的轉(zhuǎn)換關(guān)系。實(shí)驗(yàn)結(jié)果表明，相較于現(xiàn)有的顏色空間轉(zhuǎn)換方法，文中提出的方法在小樣本情況下有著更加優(yōu)秀的表現(xiàn)，且在增大樣本容量的情況下，此方法依然具有競爭力。后續(xù)的非標(biāo)準(zhǔn)顏色空間仿真實(shí)驗(yàn)和逆轉(zhuǎn)換實(shí)驗(yàn)表明，文中提出的方法可以在實(shí)際應(yīng)用中保持較好的轉(zhuǎn)換精度，為基于深度學(xué)習(xí)的色彩管理應(yīng)用提供了一種切實(shí)可行的思路。