顯示系統(tǒng)圖像引擎的自適應(yīng)色彩優(yōu)化算法

張博文，夏振平，周波，宋玉，馬鳳云，柏溢

（蘇州科技大學(xué) 電子與信息工程學(xué)院，江蘇 蘇州 215009）

1 引言

視覺(jué)是人類獲取外界信息的重要渠道，顯示系統(tǒng)則是當(dāng)今人們獲取視覺(jué)信息的主要途徑之一。隨著科學(xué)技術(shù)的不斷發(fā)展，人們對(duì)于顯示系統(tǒng)成像質(zhì)量的要求越來(lái)越高。以液晶顯示器（Liquid Crystal Display，LCD）為例，其主要由面板、控制板、菜單控制板等組件構(gòu)成，其中，控制板在整個(gè)液晶顯示器中至關(guān)重要，其上裝載的圖像引擎（一種集成芯片）是對(duì)成像質(zhì)量起到?jīng)Q定性作用的一環(huán)［1］。圖像引擎上集成的色彩優(yōu)化算法能夠?qū)D像的色彩進(jìn)行優(yōu)化［2］，這對(duì)于顯示設(shè)備的圖像質(zhì)量?jī)?yōu)化具有重要意義［3］。

傳統(tǒng)圖像引擎色彩優(yōu)化算法一般由多種算法組合而成，每種算法實(shí)現(xiàn)單一的圖像優(yōu)化。例如，直方圖均衡化算法可以使圖像亮度在顯示系統(tǒng)的成像范圍內(nèi)更加均勻地分布，優(yōu)化局部細(xì)節(jié)，在優(yōu)化整體亮度過(guò)高或過(guò)低的圖像時(shí)有顯著效果［4］；銳化算法主要用于補(bǔ)償圖像輪廓，增強(qiáng)局部對(duì)比度，使圖像邊緣變得清晰［5］；均值濾波算法一般用于消除圖像獲取過(guò)程中因照明環(huán)境不佳或高溫引起的傳感器噪聲［6］。傳統(tǒng)算法若要追求較好的效果，需要根據(jù)圖像特征人工調(diào)整各個(gè)算法的參數(shù)，這對(duì)于一個(gè)有實(shí)時(shí)性要求的算法來(lái)說(shuō)是不切實(shí)際的，故其難以自動(dòng)完成圖像的最佳優(yōu)化。

隨著深度學(xué)習(xí)在圖像處理領(lǐng)域的快速發(fā)展，諸多深度學(xué)習(xí)架構(gòu)在該領(lǐng)域取得了長(zhǎng)足的進(jìn)步。Moran等人［7］使用了深度局部參數(shù)濾波器（Deep Local Parametric Filters）以改善圖像的色彩，借此提升圖像整體質(zhì)量。Guo等人［8］提出了一種零參考深度曲線估計(jì)（Zero-Reference Deep Curve Estimation）方法，該方法可以增強(qiáng)微光圖像，使微光圖像展示更多的局部細(xì)節(jié)。Deng等人［9］使用對(duì)抗學(xué)習(xí)（Adversarial Learning）方法實(shí)現(xiàn)了圖像剪裁和色彩增強(qiáng)的功能。當(dāng)前，實(shí)現(xiàn)上述研究中的圖像優(yōu)化功能均需要較高的硬件成本和時(shí)間成本，在實(shí)際應(yīng)用中阻力較大。為此，本文提出了一種采用全卷積神經(jīng)網(wǎng)絡(luò)［10］（Fully-Convolutional Network）構(gòu)建圖像優(yōu)化算法的方法，借助空洞卷積［11］在盡量保留原圖信息的同時(shí)既擴(kuò)大了感受野，又減少了計(jì)算量和參數(shù)量，時(shí)間和硬件成本較小。因此，該網(wǎng)絡(luò)在圖像引擎色彩優(yōu)化領(lǐng)域具有較大的潛力。此外，色彩優(yōu)化算法一般使用圖像增強(qiáng)類的數(shù)據(jù)集進(jìn)行訓(xùn)練［12］，但其中多數(shù)規(guī)模較小，不適用于需要優(yōu)化任意圖像的圖像引擎算法，本文為此構(gòu)建了一個(gè)全新的大規(guī)模數(shù)據(jù)集。

為解決傳統(tǒng)圖像引擎色彩優(yōu)化算法無(wú)法針對(duì)圖像特性做出自適應(yīng)優(yōu)化的問(wèn)題，本文提出了一種基于空洞卷積的全卷積神經(jīng)網(wǎng)絡(luò)以構(gòu)建自適應(yīng)圖像引擎色彩優(yōu)化算法。該算法結(jié)合空洞卷積融合多種圖像優(yōu)化算法，可以替代多種獨(dú)立算法組合而成的傳統(tǒng)算法，側(cè)重于從人眼主觀感知的角度優(yōu)化圖像色彩。同時(shí)，為了更好地構(gòu)建數(shù)據(jù)集，引入了基于神經(jīng)網(wǎng)絡(luò)的圖像質(zhì)量評(píng)估方法［13］對(duì)擴(kuò)充后的圖像對(duì)分別進(jìn)行圖像質(zhì)量評(píng)估，籍 此 優(yōu) 化 在AVA［14］（Aesthetic Visual Analysis）數(shù)據(jù)集的基礎(chǔ)上構(gòu)建的High Quality AVA，最終取得了較好的效果。

2 基本原理

2.1 圖像引擎和色彩優(yōu)化算法

顯示器目前主要由面板、控制板、逆變器、OSD菜單控制板、連接線纜和外殼6個(gè)部分組成［15］。其中，圖像引擎是控制板上一顆至關(guān)重要的集成芯片。圖像引擎的主要功能是接收主機(jī)發(fā)送的所有圖像信息并在其內(nèi)部實(shí)現(xiàn)圖像的轉(zhuǎn)換、測(cè)量及優(yōu)化，保證優(yōu)化后的圖像能夠正確、穩(wěn)定地顯示。其需要解決的問(wèn)題主要有圖像縮放、時(shí)序控制、色彩優(yōu)化等。色彩是決定圖像質(zhì)量的重要組成部分，故而優(yōu)越的色彩優(yōu)化算法是十分必要的。

圖像在獲取、壓縮、傳輸和縮放的過(guò)程中難免會(huì)被平滑，導(dǎo)致圖像邊緣產(chǎn)生模糊。為使顯示器給予用戶較好的視覺(jué)體驗(yàn)，需要對(duì)圖像進(jìn)行銳化和對(duì)比度調(diào)整。傳統(tǒng)圖像引擎色彩優(yōu)化算法采用了8鄰域的拉普拉斯銳化算法以及基于雙重自動(dòng)閾值分割的分段線性變換對(duì)比度增強(qiáng)算法（雙閾值線性增強(qiáng)法）。雙閾值線性增強(qiáng)法是基于Otsu［16］改進(jìn)的三段線性變換法，表達(dá)式如式（1）所示。

其中，?（x，y）為原始圖像，g（x，y）為輸出圖像，w=0.5，T2和T3為Ostu分割方法得出的閾值分割界限。通過(guò)Ostu方法可以得到最佳的分割閾值T1，設(shè)灰度級(jí)大于T1的區(qū)域?yàn)槟繕?biāo)區(qū)域，灰度級(jí)小于T1的區(qū)域?yàn)楸尘皡^(qū)域。分別對(duì)目標(biāo)區(qū)域和背景區(qū)域之間再進(jìn)行一次分割，背景區(qū)域的閾值為T2，目標(biāo)區(qū)域的閾值為T3。雙閾值線性增強(qiáng)法能夠在一定程度上獲取圖像的特征信息，但是僅局限于輪廓層次較為分明的圖像，且需要人工調(diào)整參數(shù)，而圖像引擎需要處理所有類型的圖像且在處理過(guò)程中需要盡量避免人工干預(yù)，算法的自適應(yīng)性就顯得尤其重要。

2.2 基于分類網(wǎng)絡(luò)的圖像質(zhì)量預(yù)測(cè)器

Howard等 人 提 出 了MobileNet［17］和 一 組 超參數(shù)，可以搭建規(guī)模極小的低延遲模型來(lái)滿足移動(dòng)端或嵌入式應(yīng)用的要求。MobileNet基于深度可分離卷積的模型，它將一個(gè)標(biāo)準(zhǔn)卷積分解為深度卷積和一個(gè)1×1的點(diǎn)卷積（圖1）。深度卷積對(duì)輸入圖像的每個(gè)通道應(yīng)用單個(gè)濾波器，然后點(diǎn)卷積應(yīng)用1×1卷積來(lái)組合深度卷積的輸出，該方法大幅減少了計(jì)算量，縮小了模型尺寸。因此，該輕量級(jí)架構(gòu)適用于一個(gè)資源有限平臺(tái)上的計(jì)算任務(wù)，例如圖像引擎、機(jī)器人、自動(dòng)駕駛等。

圖1 標(biāo)準(zhǔn)卷積被替換成深度卷積和點(diǎn)卷積Fig.1 Standard convolutional are replaced by depthwise convolution and pointwise convolution

Google在2018年提出了一種與人類感知高度相關(guān)的無(wú)參考單幅圖像評(píng)價(jià)模型：NIMA（Neural Image Assessment）［13］。該 模 型 能 對(duì) 輸 入 圖 像 進(jìn)行評(píng)分，給出一個(gè)范圍在1～10之間的小數(shù)作為圖像的評(píng)分。構(gòu)建大規(guī)模圖像對(duì)數(shù)據(jù)集時(shí)普遍存在無(wú)法保證圖像優(yōu)化效果的問(wèn)題，即對(duì)原始圖像進(jìn)行增強(qiáng)后無(wú)法保證沒(méi)有過(guò)度優(yōu)化圖像，從而導(dǎo)致圖像質(zhì)量下降。NIMA模型可以幫助我們改善這一狀況，模型具體結(jié)構(gòu)如圖2所示。網(wǎng)絡(luò)首先在ImageNet數(shù)據(jù) 集［18］上進(jìn)行預(yù)訓(xùn)練，初始化基干網(wǎng)絡(luò)的權(quán)值參數(shù)，然后分別在AVA數(shù)據(jù)集和TID 2013［19］數(shù)據(jù)集上進(jìn)行端到端的訓(xùn)練，得到最終的參數(shù)。

圖2 基 于MobileNet的NIMA模 型Fig.2 NIMA model based on MobileNet

本文將單幅圖像的評(píng)分?jǐn)?shù)據(jù)命名為NINA Score（列出的NIMA Score均取3位有效數(shù)字）?？紤]到實(shí)際應(yīng)用中遇到的計(jì)算資源及存儲(chǔ)空間的問(wèn)題，采用以MobileNet為基干的評(píng)價(jià)模型作為圖像質(zhì)量預(yù)測(cè)器。該預(yù)測(cè)器用于對(duì)已構(gòu)建的圖像對(duì)進(jìn)行評(píng)分，以確保構(gòu)建理想化的數(shù)據(jù)集，使其中的目標(biāo)圖像質(zhì)量不低于原始圖像。

3 自適應(yīng)色彩優(yōu)化算法

3.1 網(wǎng)絡(luò)架構(gòu)

本文為色彩優(yōu)化算法確立了3個(gè)理想標(biāo)準(zhǔn)：（1）精度。一張圖像經(jīng)本文算法處理后，其峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和結(jié)構(gòu)相似性（Structural Similarity，SSIM）應(yīng)不低于傳統(tǒng)算法處理后。（2）自適應(yīng)。算法應(yīng)當(dāng)具備較強(qiáng)的泛化能力，即能夠?qū)Σ煌瑑?nèi)容的圖片做出合理的優(yōu)化。（3）規(guī)模。模型應(yīng)當(dāng)能夠被部署在圖像引擎（邊緣設(shè)備）上。

空洞卷積可以增加感受野，同時(shí)保持特征圖尺寸不變，從而代替下采樣和上采樣?？斩淳矸e引入了“擴(kuò)張率”這一超參數(shù)，該參數(shù)定義了卷積運(yùn)算時(shí)卷積核中各個(gè)值的間距，具體原理如圖3所示。

在圖3中，菱形代表卷積核元素，加粗方框代表左上角卷積核元素的感受野大小，感受野的擴(kuò)大使神經(jīng)元可以接觸到圖像中更大的范圍，使得這種卷積方法可以提取出更加全局、語(yǔ)義層次更高的圖像特征，同時(shí)提高了卷積的效率。相比于傳統(tǒng)算法僅能獲取邊緣信息的情況，卷積神經(jīng)網(wǎng)絡(luò)可以共享所有卷積提取的圖像信息，能更好地根據(jù)圖像特征做出自適應(yīng)優(yōu)化。圖4為基于空洞卷積的圖像色彩優(yōu)化網(wǎng)絡(luò)架構(gòu)。網(wǎng)絡(luò)由9個(gè)卷積層構(gòu)成，從第一層至第八層采用空洞卷積，擴(kuò)張率分別為1，2，4，8，16，32，64，1。最后一層卷積采用大小為1×1的卷積核，卷積核個(gè)數(shù)為3，且不使用激活函數(shù)。除最后一層外，每個(gè)卷積層中卷積核的個(gè)數(shù)均為32，卷積核為3×3大小，均使用LReLU非線性修正單元函數(shù)進(jìn)行激活（式（2）），其中α=0.2，對(duì)卷積結(jié)果采用自適應(yīng)歸一化（Adaptive Normalization，AN）（式（3））。

圖3 空洞卷積原理示意圖。（a）擴(kuò)張率為1，感受野為3×3的普通卷積；（b）擴(kuò)張率為2，感受野為5×5的空洞卷積；（c）擴(kuò)張率為3，感受野為7×7的空洞卷積。Fig.3 Schematic diagram of the principle of dilated convolution.（a）1-dilated convolution，each element has a receptive field of 3×3；（b）2-dilated convolution，each element has a receptive field of 5×5；（c）3-dilated convolution，each element has a receptive field of 7×7.

圖4 圖像色彩優(yōu)化網(wǎng)絡(luò)架構(gòu)Fig.4 Architecture of image color optimization network

其中，λs和μs是通過(guò)反向傳播與其他參數(shù)一起學(xué)習(xí)到的兩個(gè)標(biāo)量，BN是批標(biāo)準(zhǔn)化操作［20］。網(wǎng)絡(luò)通過(guò)最小化輸出圖像和參考圖像的損失函數(shù)進(jìn)行優(yōu)化，損失函數(shù)L（w，b）由L2損失和MSSIM損失構(gòu)成，對(duì)應(yīng)的權(quán)重系數(shù)分別為0.8和0.2（式（4））。

其中輸入圖像為Ii，Ni為圖像Ii的像素個(gè)數(shù)，w和b為網(wǎng)絡(luò)待訓(xùn)練的權(quán)重，?（Ii；w，b）表示網(wǎng)絡(luò)的輸出圖像，參考圖像為?（Ii）。

3.2 High Quality AVA圖像對(duì)數(shù)據(jù)集構(gòu)建

數(shù)據(jù)集是算法性能的決定性因素之一，大規(guī)模數(shù)據(jù)集能顯著提升算法的精度并增強(qiáng)其泛化能力。Zhang等人使用普通手機(jī)和數(shù)碼單反相機(jī)拍攝相同內(nèi)容的照片構(gòu)建了DPED［12］數(shù)據(jù)集，包含了6000多張圖像。Bychkovsky等人邀請(qǐng)了5位攝影專業(yè)的學(xué)生對(duì)5000張圖片進(jìn)行了人工修飾，最終得到了MIT-Adobe FiveK［21］數(shù)據(jù)集。這兩種方法構(gòu)建的數(shù)據(jù)集質(zhì)量較高，但所需成本非常高，因此難以構(gòu)建更大規(guī)模的數(shù)據(jù)集，而色彩優(yōu)化算法需要對(duì)輸入顯示系統(tǒng)的所有圖像進(jìn)行優(yōu)化，小規(guī)模數(shù)據(jù)集很難保證網(wǎng)絡(luò)的泛化能力。受圖像質(zhì)量評(píng)價(jià)任務(wù)［22］及相關(guān)數(shù)據(jù)集的啟發(fā)，采用對(duì)AVA數(shù)據(jù)集中的高質(zhì)量圖像添加不同程度失真的方法［23］構(gòu)建了更大規(guī)模的色彩優(yōu)化數(shù)據(jù)集High Quality AVA dataset。AVA數(shù) 據(jù) 集 共 包 括超過(guò)25萬(wàn)張圖片，包含了豐富的主題。數(shù)據(jù)集中的每一張圖片平均都會(huì)被約200位攝影師打分，最后得出圖像的平均主觀意見(jiàn)分（Mean Opinion Score，MOS），分?jǐn)?shù)的取值范圍在1～10之間，分?jǐn)?shù)越高，說(shuō)明人們對(duì)于該圖像的評(píng)價(jià)越好。色彩優(yōu)化數(shù)據(jù)集中每組圖像對(duì)由原始圖像和參考圖像構(gòu)成，原始圖像的圖像質(zhì)量應(yīng)當(dāng)?shù)陀趨⒖紙D像。選取AVA中MOS在前20%的圖像作為參考圖像，共49178張圖像。對(duì)參考圖像使用退化算法，生成對(duì)應(yīng)的原始圖像，將該圖像作為原始圖像和參考圖像組合成一組圖像對(duì)以構(gòu)成數(shù)據(jù)集。圖像處理的表達(dá)式如式（5）所示：

g(x，y)=h(x，y)△f(x，y)+η(x，y)，（5）其中，?（x，y）代表高質(zhì)量的參考圖像；h（x，y）代表兩種圖像處理操作的組合，分別是冪律變換S（r）和高斯模糊G（r），符號(hào)“△”代表h（x，y）對(duì)?（x，y）的操作；η（x，y）代表由高斯噪聲構(gòu)成的加性噪聲項(xiàng)。冪律變換的表達(dá)式如式（6）所示：

其中，c和γ為常數(shù)，c取1。將冪律變換后的圖像與日常生活中的低質(zhì)量圖像進(jìn)行對(duì)比，當(dāng)γ分別取0.8和1.3時(shí)，變換圖像的亮度特征與低質(zhì)量圖像較為相符，經(jīng)此處理后的數(shù)據(jù)集能夠幫助網(wǎng)絡(luò)更好地學(xué)習(xí)到灰度變換的參數(shù)信息。高斯模糊的表達(dá)式如式（7）所示：

其中，n是模糊半徑，取值為5，δ是正態(tài)分布的標(biāo)準(zhǔn)偏差，取值為1。圖像在傳輸過(guò)程中通常會(huì)受到壓縮算法的處理，圖像邊緣易被平滑，經(jīng)對(duì)比驗(yàn)證，采用該參數(shù)處理后的圖像邊緣與經(jīng)壓縮算法處理后的圖像邊緣較為相似。高斯噪聲的表達(dá)式如式（8）所示。

其中，z表 示 灰 度 值；zˉ表 示z的 平 均 值；σ表 示z標(biāo)準(zhǔn) 差，標(biāo) 準(zhǔn)差的平方σ2為σ的方差。此 處zˉ取0，σ2取0.001，以此來(lái)對(duì)圖像添加輕微的噪聲，避免將模型建模為圖像去噪模型。High Quality AVA數(shù)據(jù)集的構(gòu)建過(guò)程如圖5所示。圖5（a）為兩張相同的參考圖像，作為算法的輸入。首先，對(duì)圖5（a）使用兩個(gè)γ值不同的冪律變換算法S（r）得到對(duì)應(yīng)的圖像對(duì)圖5（b）；然后，對(duì)其添加高斯模糊G（r）得到圖5（c）；最后，對(duì)圖5（c）添加高斯噪聲η（x，y）得到圖5（d），將其標(biāo)記為原始圖像。在構(gòu)建數(shù)據(jù)集的過(guò)程中，默認(rèn)對(duì)參考圖像添加的失真會(huì)降低圖像質(zhì)量，但由于篩選出的圖像數(shù)量規(guī)模較大，無(wú)法保證每一對(duì)圖像均滿足要求，故使用NIMA模型對(duì)每一對(duì)圖像進(jìn)行評(píng)分，如果參考圖像的評(píng)分低于原始圖像，則交換兩張圖像的標(biāo)記；反之，則不做任何操作。評(píng)分和圖像重排完成后，將原始圖像與參考圖像對(duì)應(yīng)組合，以此生成新的數(shù)據(jù)集High Quality AVA dataset（HQAVA），共包含98356對(duì)圖像。

4 算法性能分析

4.1 客觀性能分析

網(wǎng)絡(luò)訓(xùn)練時(shí)的硬件及軟件環(huán)境如表1所示。所使用的訓(xùn)練集和測(cè)試集從HQAVA中按照9∶1的比例隨機(jī)抽取生成。訓(xùn)練基于TensorFlow框架，采用Adam優(yōu)化器，初始學(xué)習(xí)率為0.0001，10個(gè)epoch后學(xué)習(xí)率降低為0.00001，訓(xùn)練至損失函數(shù)平穩(wěn)為止。為驗(yàn)證算法對(duì)圖像的優(yōu)化效果，采用了3個(gè)評(píng)價(jià)指標(biāo)，分別是PSNR、SSIM以及NIMAScore。PSNR是基于均方誤差（Mean Squared Error，MSE）的圖像質(zhì)量評(píng)價(jià)指標(biāo)，其值越大說(shuō)明圖像的失真程度越低。SSIM是一種基于圖像局部亮度和對(duì)比度進(jìn)行計(jì)算的圖像質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)，該指標(biāo)由德州大學(xué)奧斯丁分校的圖像和視頻工程實(shí)驗(yàn)室提出，是一種符合人類視覺(jué)的標(biāo)準(zhǔn)，其值越接近1，說(shuō)明圖像質(zhì)量越好。

表1 系統(tǒng)配置Tab.1 System configuration

除了與傳統(tǒng)方法進(jìn)行對(duì)比，本文還選取了領(lǐng)域內(nèi)其他基于深度學(xué)習(xí)的方法進(jìn)行了對(duì)比。Ignatov［12］創(chuàng) 建 了DPED數(shù) 據(jù) 集 并 提 出 使 用 雙 階段網(wǎng)絡(luò)對(duì)圖像進(jìn)行優(yōu)化，該方法中所提出的損失函數(shù)被廣泛應(yīng)用。De Stoutz［24］在Ignatov網(wǎng) 絡(luò)架構(gòu)的基礎(chǔ)上進(jìn)行了優(yōu)化，在降低模型參數(shù)量的同時(shí)提升網(wǎng)絡(luò)的性能和處理速度。Zamir［25］提出了一種全新的多尺度殘差塊，以此搭建的網(wǎng)絡(luò)能在圖像去噪、超分、增強(qiáng)3個(gè)領(lǐng)域達(dá)到最佳性能。

表2展示了上述方法在測(cè)試集上的表現(xiàn)，包括傳統(tǒng)方法（2.1節(jié)所述）、DPED、FPIE、MIRNet和本文方法的平均PSNR值、平均SSIM值以及NIMA模型的平均得分，加粗值為同一評(píng)價(jià)指標(biāo)下所有方法的最優(yōu)結(jié)果。結(jié)果表明，原始圖像經(jīng)過(guò)本文算法處理后，圖像的3個(gè)評(píng)價(jià)指標(biāo)均有不同程度的提升，相較于傳統(tǒng)方法，PSNR提高了4.01 dB，SSIM提升了0.04，NIMA Score增加了0.6，表明本文方法對(duì)圖像起到了更好的優(yōu)化作用，且從NIMA Score來(lái)看，其對(duì)圖像的優(yōu)化也更加符合人的主觀感受。相較于其他深度學(xué)習(xí)的相關(guān)方法，本文方法在PSNR和NIMA Score上具有較大優(yōu)勢(shì)，同時(shí)SSIM與最優(yōu)的MIRNet極為接近。圖6為本文和上述算法的優(yōu)化結(jié)果對(duì)比。圖6表明，每種方法均能從色彩角度對(duì)原始圖像進(jìn)行優(yōu)化，但也都存在不足之處。傳統(tǒng)方法能夠在一定程度上改善原始圖像邊緣模糊、色彩不夠鮮艷的問(wèn)題，但多種優(yōu)化算法的疊加放大了原始圖像中的噪聲，導(dǎo)致圖像細(xì)節(jié)不夠清晰，同時(shí)，由于無(wú)法感知圖像信息并自動(dòng)調(diào)整參數(shù)，傳統(tǒng)方法有時(shí)會(huì)反向優(yōu)化圖像的色彩。例如，參考圖像表明天空是烏云密布的，而傳統(tǒng)方法卻將天空中的烏云變成了白云，這與圖像原本的含義產(chǎn)生了沖突，這是沒(méi)有人工調(diào)整參數(shù)所導(dǎo)致的結(jié)果。DPED和FPIE雖能夠根據(jù)圖像特征做出優(yōu)化，但是降噪效果較差，從局部放大的圖像中可以看出，優(yōu)化過(guò)后圖像細(xì)節(jié)不夠清晰，甚至可能在優(yōu)化過(guò)程中引入了新的噪聲。MIRNet的優(yōu)化效果較好，但是整體亮度明顯地高于參考圖像，使得人群衣著的顏色不夠鮮明。本文方法在優(yōu)化圖像的同時(shí)盡可能地避免了噪聲的產(chǎn)生，由此得到的圖像亮度更加適宜，色彩更加鮮艷，具有較好的觀感。測(cè)試表明，提出的網(wǎng)絡(luò)架構(gòu)是一種有效可行的架構(gòu)，希望該架構(gòu)及相關(guān)測(cè)試能為未來(lái)圖像引擎色彩優(yōu)化算法的發(fā)展提供理論參考以及新的思路。

表2 本文方法與其他方法在測(cè)試集上的客觀評(píng)價(jià)指標(biāo)對(duì)比Tab.2 Comparison of objective evaluation indexes in test set between our method and others

圖6 算法優(yōu)化效果對(duì)比圖Fig.6 Comparison chart of the optimization effect of algorithms

4.2 主觀性能分析

圖像色彩優(yōu)化算法的優(yōu)化效果最終還是取決于人的感知，無(wú)論在圖像質(zhì)量評(píng)價(jià)領(lǐng)域或是視頻質(zhì)量評(píng)價(jià)領(lǐng)域，都存在具有統(tǒng)計(jì)學(xué)意義的主觀感知實(shí)驗(yàn)標(biāo)準(zhǔn)。為從主觀感知的角度分析本文方法對(duì)圖像質(zhì)量的優(yōu)化效果，設(shè)計(jì)了相應(yīng)的主觀實(shí)驗(yàn)。被試者通過(guò)視覺(jué)感知實(shí)驗(yàn)對(duì)原始圖像和經(jīng)本文方法優(yōu)化后的圖像進(jìn)行評(píng)價(jià)。實(shí)驗(yàn)從AVA數(shù)據(jù)集中挑選了不同類型的60幅圖像，包含室內(nèi)圖像、室外圖像、自然圖像和計(jì)算機(jī)生成圖像，利用算法對(duì)原始圖像進(jìn)行優(yōu)化，得到了對(duì)應(yīng)的60幅優(yōu)化圖像。在實(shí)驗(yàn)過(guò)程中，圖像成對(duì)隨機(jī)出現(xiàn)，每對(duì)圖像前后隨機(jī)顯示，被試者觀察每幅圖像后對(duì)圖像質(zhì)量進(jìn)行評(píng)分。實(shí)驗(yàn)設(shè)置如圖7所示，被試者端坐在顯示屏3倍圖像高處，正對(duì)顯示屏中央位置觀看圖像。

圖7 視覺(jué)感知實(shí)驗(yàn)設(shè)置Fig.7 Visual perception experiment setting

評(píng)分標(biāo) 準(zhǔn)采用5分制［26］，5分為極佳，1分為最差，具體分值對(duì)應(yīng)主觀圖像質(zhì)量表述如表3所示。為保證實(shí)驗(yàn)數(shù)據(jù)真實(shí)可靠，于正式實(shí)驗(yàn)前安排練習(xí)實(shí)驗(yàn)對(duì)被試者進(jìn)行實(shí)驗(yàn)方法的練習(xí)。共22名被試者［27］（包含6名女性）參與實(shí)驗(yàn)，年齡在22～37歲之間，平均年齡24.5歲。所有被試者雙眼視力均正常或矯正至正常水平。

表3 視覺(jué)感知實(shí)驗(yàn)評(píng)分標(biāo)準(zhǔn)Tab.3 Grading standard of visual perception experiment

實(shí)驗(yàn)結(jié)果采用SPSS軟件（IBM SPSS Statistics 20.0）進(jìn)行分析。方差分析（ANOVA）（表4）結(jié)果表明，優(yōu)化過(guò)程和圖像內(nèi)容對(duì)圖像質(zhì)量有高度顯著影響（p＜0.01），且優(yōu)化過(guò)程與圖像內(nèi)容的交叉作用對(duì)圖像質(zhì)量具有高度顯著影響（p＜0.01）。

表4 各變量因素對(duì)圖像質(zhì)量評(píng)分的ANOVA分析結(jié)果Tab.4 Results of ANOVA analysis for different factors on image quality score

原始圖像經(jīng)本文方法優(yōu)化后，圖像質(zhì)量顯著提升，如圖8所示。原始圖像的平均主觀評(píng)分為2.53，優(yōu)化圖像的平均主觀評(píng)分為3.47，歸一化后的平均主觀得分上升了61%。實(shí)驗(yàn)結(jié)果表明，本文方法能較好地優(yōu)化圖像，顯著提升了原始圖像的圖像質(zhì)量。

圖8 原始圖像與優(yōu)化圖像的質(zhì)量評(píng)分平均值Fig.8 Mean scores of original and optimized images for image quality

5 結(jié)論

本文提出了一種具有高度自適應(yīng)性的圖像引擎色彩優(yōu)化算法。算法采用了基于空洞卷積的全卷積神經(jīng)網(wǎng)絡(luò)以構(gòu)建優(yōu)化算法，側(cè)重于從人眼主觀感知的角度優(yōu)化圖像色彩，可以替代多種獨(dú)立算法組成的傳統(tǒng)算法。同時(shí)，針對(duì)該領(lǐng)域缺少大規(guī)模數(shù)據(jù)集的現(xiàn)狀，借助AVA數(shù)據(jù)集構(gòu)建了大規(guī)模圖像增強(qiáng)數(shù)據(jù)集High Quality AVA，并使用NIMA模型保證其合理性。所提出的色彩優(yōu)化算法能夠在圖像的亮度、對(duì)比度、清晰度方面針對(duì)圖像做出合理優(yōu)化且具有一定的泛化能力。原始圖像在經(jīng)過(guò)本文算法處理后，PSNR、SSIM以及NIMA Score相較于傳統(tǒng)算法均有顯著提升，從主觀上看能較好地優(yōu)化顯示設(shè)備畫面的色彩。在未來(lái)的研究中將會(huì)更進(jìn)一步優(yōu)化High Quality AVA數(shù)據(jù)集，從數(shù)據(jù)集的角度加強(qiáng)算法自適應(yīng)的優(yōu)化能力，同時(shí)改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)，讓其能夠?qū)υ紙D像進(jìn)行更加符合人眼的優(yōu)化。