平面視覺(jué)圖像舒適色度范圍測(cè)量算法研究

張 波，胡勇軍

(長(zhǎng)春師范大學(xué)生命科學(xué)學(xué)院，吉林 長(zhǎng)春 130032)

1 引言

低質(zhì)量圖像會(huì)導(dǎo)致人們產(chǎn)生視覺(jué)不適，影響視覺(jué)不適感的因素很多，如亮度、色度、飽和度等，需要提高圖像的質(zhì)量以滿足人們的視覺(jué)感知需求。在對(duì)舒適度進(jìn)行測(cè)量時(shí)，可以將不同的視覺(jué)顏色量化到同一區(qū)域，也可以將相同的視覺(jué)顏色量化到不同的區(qū)域，但是容易導(dǎo)致誤檢現(xiàn)象。隨著試驗(yàn)方法和試驗(yàn)條件的標(biāo)準(zhǔn)化程度不斷提高，測(cè)量范圍的限制和測(cè)量精度的要求變得更加嚴(yán)格。為了更直接、更準(zhǔn)確地判斷平面圖像的視覺(jué)舒適性，有必要進(jìn)行定量研究。

劉靜超等人[1]研究了基于上下文信息的多尺度紡織印染圖像分色算法的效果。比較上下多尺度圖像分色算法和Mean-shift分色算法的分色和邊緣輪廓提取結(jié)果，發(fā)現(xiàn)多尺度分色算法的效果優(yōu)于Mean-shift分色算法，多尺度分色算法利用多尺度上下文模型不斷修改分色結(jié)果，通過(guò)人眼觀察設(shè)置圖案的主色，通過(guò)RGB空間和HSL空間變換計(jì)算圖案區(qū)域的顏色值，并對(duì)邊緣隔離區(qū)進(jìn)行紋理噪聲處理。與Mean-shift分色算法計(jì)算出的主色相比，其更符合原始印染圖案，避免了紋理噪聲的干擾。鄧云輝等人[2]提出一種基于色度分析和L1加權(quán)規(guī)則約束的鏡面高光抑制算法。該算法不依賴聚類、分割等預(yù)處理，結(jié)合目標(biāo)圖像的強(qiáng)度分布，提出了中值非高光機(jī)制(MSF)，有效分離高光分量，抑制噪聲干擾，將L1加權(quán)正則化約束與色度分析和局部顏色相結(jié)合，采用變量分裂法進(jìn)行求解運(yùn)算，快速恢復(fù)了目標(biāo)的原始紋理、顏色和邊緣細(xì)節(jié)。實(shí)驗(yàn)結(jié)果表明，對(duì)于不同的目標(biāo)場(chǎng)景，該算法能夠完成高光的精確抑制和分離，極大地保留了目標(biāo)的原始紋理結(jié)構(gòu)、顏色等特征，具有較強(qiáng)的可靠性和較高的計(jì)算效率。

上述圖像舒適度的研究方法屬于定性分析，且沒(méi)有統(tǒng)一的評(píng)定標(biāo)準(zhǔn)，為此，在考慮視覺(jué)顯著性的情況下，定量研究圖像視差對(duì)視覺(jué)舒適度的影響，通過(guò)對(duì)色度和亮度兩個(gè)分量進(jìn)行加權(quán)處理，利用視差估計(jì)算法將每個(gè)色度分割區(qū)域作為整體分別進(jìn)行全局優(yōu)化，去除邊緣模糊效應(yīng)，提高物體邊緣的視差估計(jì)準(zhǔn)確度，使獲得的范圍測(cè)量結(jié)果符合人眼舒適度。

2 平面視覺(jué)圖像采集

建立圖像采集模塊，其中，F(xiàn)PGA(Field Programmable Gate Array)控制器作為圖像采集模塊的重要組成部分。具體內(nèi)容如圖1所示。

圖1 圖像采集模塊結(jié)構(gòu)圖

分析圖1可知，圖像采集模塊采用OV760傳感器，該模塊以FPGA為控制芯片調(diào)整圖像采集模塊，當(dāng)轉(zhuǎn)換OV760傳感器的信號(hào)時(shí)，通過(guò)轉(zhuǎn)換將所得圖像數(shù)據(jù)結(jié)果傳輸并存入SDRAM(Synchronous Dynamic Random-Access Memory)存儲(chǔ)器中。通過(guò)圖像數(shù)據(jù)的采集，能夠?yàn)橄挛氖孢m度測(cè)量算法提供理論基礎(chǔ)[3]。

3 平面視覺(jué)圖像舒適色度范圍測(cè)量算法

由于不同光源中的物體對(duì)色覺(jué)有不同的影響，顏色不僅取決于照射光的組成，還取決于每個(gè)波長(zhǎng)的反射率。因此，在獲取數(shù)字圖像時(shí)，首先要確定使用何種光源。

顏色是圖像十分重要的視覺(jué)特征，將彩色圖像從RGB顏色空間轉(zhuǎn)換為YIQ顏色空間，把彩色圖像內(nèi)的亮度與色度進(jìn)行分離，其中，Y代表圖像的亮度信息，I和Q代表圖像的色度信息[4]。YIQ顏色空間和RGB顏色空間中的三個(gè)原色系數(shù)之間的轉(zhuǎn)換關(guān)系如下

(1)

3.1 結(jié)構(gòu)相似度

圖像像素間有很強(qiáng)的相關(guān)性，說(shuō)明圖像結(jié)構(gòu)較強(qiáng)，圖像結(jié)構(gòu)承載著圖像的重要信息，能夠獲取到圖像的顏色、形狀、紋理等特征，便于明確測(cè)量。改進(jìn)基于對(duì)比度敏感度加權(quán)結(jié)構(gòu)相似度算法的圖像質(zhì)量評(píng)價(jià)方法，在計(jì)算彩色融合圖像的結(jié)構(gòu)相似性時(shí)，該算法考慮了圖像測(cè)量過(guò)程中亮度分量和色度分量存在不同程度失真的問(wèn)題。

采用SSIM(Structural Similarity Index)算法，利用對(duì)比度靈敏度計(jì)算亮度分量的結(jié)構(gòu)相似性。對(duì)結(jié)構(gòu)相似性進(jìn)行運(yùn)算時(shí)，充分結(jié)合滑動(dòng)窗口求解局部窗口面積對(duì)應(yīng)的結(jié)構(gòu)相似性值，對(duì)加權(quán)平均值進(jìn)行計(jì)算[5]公式如下

(2)

(3)

S(x，y)=(σxy+C3)/(σxσy+C3)

(4)

式中，μx為圖像X內(nèi)窗口顏色分量的平均值；μy為圖像Y內(nèi)窗口顏色分量的平均值；σx為圖像X內(nèi)窗口顏色分量的標(biāo)準(zhǔn)差；σy為圖像X內(nèi)窗口顏色分量的標(biāo)準(zhǔn)差Y；σxy為圖像X和Y窗口上顏色分量的協(xié)方差；x和y分別為圖像X和Y內(nèi)相互對(duì)應(yīng)位置的局部窗口；C1、C2和C3均為常數(shù)，設(shè)置SSIM(x，y)代表三個(gè)分量的乘積，C2/2在特殊窗口上，那么可得出

SSIM(x，y)=((2μxμy+C1)*(2σxy+C2))

(5)

SSIM值能夠在評(píng)價(jià)彩色融合圖像的質(zhì)量過(guò)程中，將與該位置相對(duì)應(yīng)的局部窗口從源圖像移動(dòng)到融合圖像中，而MSSIM(Mean SSIM)算法用于平均所有子圖像的SSIM值[6]，則可得出公式

(6)

3.2 相鄰像素間視差

根據(jù)人眼的三維視覺(jué)注意特性可知，觀察者會(huì)更加關(guān)注圖像中重要區(qū)域的內(nèi)容。因此，可以利用顯著圖像的舒適度來(lái)反映整個(gè)立體圖像的舒適情況，提高測(cè)試精度，降低計(jì)算復(fù)雜度。圖像的視差特性和空間頻率會(huì)影響視覺(jué)舒適度，容易造成視覺(jué)誤差現(xiàn)象，因此，需要基于結(jié)構(gòu)相似度，將這種視差問(wèn)題轉(zhuǎn)化成在一定的匹配準(zhǔn)則和約束條件下求解全局匹配最小誤差的問(wèn)題，如式(7)所示

(7)

式中，W和H分別為視圖的寬度和高度；di為第i個(gè)像素的視差；di∈[dmin，dmax]，dmin和dmax分別為當(dāng)前視圖相對(duì)于參考視圖的最小和最大視差；Dopt為滿足式(8)約束的最佳視差矢量；M(di)用來(lái)描述視差為di時(shí)第i個(gè)像素的匹配誤差，其表達(dá)式如下

M(di)=|DoptI(x，y)-Iref(x-di，y)|

(8)

式中，I(x，y)為當(dāng)前視圖中(x，y)處的像素亮度值，Iref(x-di，y)為參考視圖中(x-di，y)處的像素亮度值。

約束條件也被稱為平滑假設(shè)[7]，具體如下：

1)當(dāng)相鄰的兩個(gè)像素pi和pj在同一深度平面上時(shí)(即相鄰的像素pi和pj由物體上兩個(gè)相鄰的點(diǎn)生成，且光滑的表面投影到成像平面上)，pi和pj的深度是不斷變化的或具有相同的深度，因此，深度差很小，不應(yīng)大于閾值T1。

2)當(dāng)相鄰的兩個(gè)像素pi和pj位于不同的深度平面，即相鄰像素pi和pj由投影到成像平面不同深度層物體上的兩個(gè)相鄰點(diǎn)生成，pi和pj的深度具有階躍變化的特點(diǎn)，且深度差較大，但不應(yīng)超過(guò)閾值T2。

需要將約束優(yōu)化問(wèn)題轉(zhuǎn)化為進(jìn)入以下無(wú)約束優(yōu)化問(wèn)題，得出公式為

(9)

式中，λ為懲罰因子，Ed為視差向量為D時(shí)所有像素的匹配誤差之和，其表達(dá)式為

(10)

式中，di∈D={dmax，dmin+1…，dmax}。

Es為一個(gè)罰函數(shù)，其表示與光滑性假設(shè)相對(duì)應(yīng)的約束條件，其越符合平滑性假設(shè)，視差估計(jì)的精度就越高[8，9]。一般來(lái)說(shuō)，Es的表達(dá)式為

(11)

式中，Ni為與第i個(gè)像素相鄰的像素集；|di*dj|為兩個(gè)相鄰像素之間的視差；

3.3 初始化視差圖

在初始化視差圖之前，設(shè)定視差的范圍為[dmin，dmax]，如果該范圍的視差值被等距分配到m+1個(gè)等級(jí)內(nèi)，那么能夠獲得k個(gè)等級(jí)，公式為

(12)

式中，k=0，1，…m。在初始化時(shí)，由于每幀視差圖都是未知的，因此，無(wú)法直接優(yōu)化方程。通過(guò)消除極性幾何約束，保留并重建顏色一致性約束公式

(13)

(14)

3.4 舒適色度范圍測(cè)量

在圖像舒適度測(cè)量時(shí)，運(yùn)用MeanShift算法對(duì)原始圖像實(shí)施分割，并將每個(gè)顏色分割區(qū)域的像素作為一個(gè)整體進(jìn)行匹配。相同顏色分割區(qū)域的視差估計(jì)不會(huì)影響其它顏色分割區(qū)域的視差估計(jì)結(jié)果，能夠消除邊緣模糊效應(yīng)，測(cè)量出的色度范圍更加舒適[10]。

對(duì)原始圖像顏色分割后，會(huì)形成多個(gè)分割塊，用si表示分片，如果這些分片被視為3D平面，那么每個(gè)分割片si中像素的舒適色度視差可以表示為

(15)

式中，ai、bi以及ci分別為平面si的參數(shù)；e和f為像素xt的坐標(biāo)。ai、bi以及ci的定義如下

(16)

4 實(shí)驗(yàn)結(jié)果分析

為驗(yàn)證所提出平面視覺(jué)圖像舒適色度范圍測(cè)量算法的有效性，以國(guó)畫(huà)為測(cè)量對(duì)象，國(guó)畫(huà)通常會(huì)留下較大的背景，給觀眾更多的想象空間。但由于國(guó)畫(huà)用紙是手工紙，這些紙由于長(zhǎng)期存放、日照等原因會(huì)變黃，因此，可根據(jù)測(cè)量范圍結(jié)果改變圖像色彩，使處理后圖像更加符合人眼視覺(jué)需求。

首先，采集中國(guó)畫(huà)彩色部分與背景的對(duì)比度，再使用最直接的方法恢復(fù)原始背景的消色差，即去掉黃色。利用上述結(jié)構(gòu)相似性算法作為顏色分量來(lái)明確國(guó)畫(huà)的黃色背景舒適度范圍。同時(shí)，在處理國(guó)畫(huà)色彩舒適度過(guò)程中，必須確定要處理的顏色，即底色黃色。因?yàn)楸尘邦伾话闶且粯拥?，僅有細(xì)微的差別。通過(guò)統(tǒng)計(jì)方法可以得到背景圖中黃色的準(zhǔn)確值。對(duì)圖2所示目標(biāo)圖像的背景黃色進(jìn)行采樣，并計(jì)算采樣值的平均值和標(biāo)準(zhǔn)偏差，結(jié)果見(jiàn)表1。

圖2 目標(biāo)圖像

表1 對(duì)色調(diào)采樣及統(tǒng)計(jì)結(jié)果

在表1中，給出了圖2背景的20次采樣結(jié)果。采樣背景的位置隨機(jī)提取。

取計(jì)算出的平均值作為背景黃的顏色，即需要調(diào)整的顏色，標(biāo)準(zhǔn)差為背景黃顏色的偏差范圍。也就是說(shuō)，要測(cè)量色調(diào)范圍是以平均值為中心，以左右距離為標(biāo)準(zhǔn)差的范圍。圖像調(diào)整的目的是消除黃色背景，紙是白色的，所以中國(guó)畫(huà)的調(diào)整包括飽和度的調(diào)整。色彩飽和度采樣值的平均值和標(biāo)準(zhǔn)偏差計(jì)算如表2所示。

表2 對(duì)色飽和度采樣及統(tǒng)計(jì)結(jié)果

通過(guò)上述表中的色調(diào)采樣和色飽和度，得出圖像最優(yōu)舒適色度范圍，并對(duì)圖像進(jìn)行合理調(diào)整。具體調(diào)整圖如圖3所示。

圖3 圖像處理結(jié)果

從上圖可以直觀看出，上述算法舒適度范圍測(cè)量結(jié)果精準(zhǔn)，處理后圖像更符合人眼視覺(jué)。并且根據(jù)范圍調(diào)整后圖像質(zhì)感得到了改善，沒(méi)有扭曲，使圖像從感官角度上來(lái)看色澤真實(shí)。這是由于能量函數(shù)消除了不同幀像素間相對(duì)極點(diǎn)的幾何約束，使每個(gè)幀能夠進(jìn)行分別處理，獲得最小優(yōu)化的能量函數(shù)，從而獲得每個(gè)幀的視差圖。在獲取視差的過(guò)程中可能會(huì)發(fā)生遮擋，通過(guò)采樣的方法選擇匹配幀，能夠滿足對(duì)應(yīng)的投影點(diǎn)對(duì)在匹配幀中可見(jiàn)的條件，從而實(shí)現(xiàn)對(duì)圖像質(zhì)感的提升。

5 結(jié)論

為了更直接、準(zhǔn)確地判斷平面視覺(jué)圖像的視覺(jué)舒適性，結(jié)合視覺(jué)注意機(jī)制，通過(guò)主觀實(shí)驗(yàn)定量地對(duì)影響平面視覺(jué)圖像視覺(jué)舒適度的色度因素進(jìn)行了研究。實(shí)驗(yàn)通過(guò)色度調(diào)整以及視差的舒適度范圍，獲得更全面的舒適度效果。下一步研究是在保證算法性能的前提下，對(duì)于比較雜亂的圖像，通過(guò)判斷圖像的聚類隔離參數(shù)來(lái)去除它們，需要研究從這些圖像中提取有意義區(qū)域的有效方法。