基于顏色特征分析的色偏檢測算法①

李治江,戶尊蘭

(武漢大學(xué) 印刷與包裝系,武漢 430072)

基于顏色特征分析的色偏檢測算法①

李治江,戶尊蘭

(武漢大學(xué) 印刷與包裝系,武漢 430072)

色偏檢測廣泛應(yīng)用于機(jī)器視覺相關(guān)的各種領(lǐng)域.而傳統(tǒng)色偏檢測方法大多依賴于一定的假設(shè)條件或先驗(yàn)知識(shí).本文基于圖像色彩度和色彩自然度,改進(jìn)了基于圖像統(tǒng)計(jì)信息的色偏檢測方法,提出了一種基于圖像顏色特征分析的色偏檢測算法.實(shí)驗(yàn)結(jié)果表明,該算法能夠消除圖像中主色調(diào)對色偏檢測的影響,提高色偏檢測準(zhǔn)確率,同時(shí)檢測結(jié)果與人眼視覺感知系統(tǒng)具有較高的吻合度,并具有較強(qiáng)的適應(yīng)性.

數(shù)字圖像;色偏;圖像分析;顏色特征

引言

隨著各種視覺傳感器的廣泛應(yīng)用,圖像的感知和理解在機(jī)器視覺、工業(yè)檢測、物聯(lián)網(wǎng)等眾多領(lǐng)域得到了越來越深入的研究.在圖像所有特征中,顏色信息是最基礎(chǔ)也最直接的特征之一,是圖像檢索、圖像分割、圖像修復(fù)等相關(guān)技術(shù)的基礎(chǔ)之一.但是,數(shù)字圖像的獲取容易受到光源的光譜能量分布、成像對象的表面反射特性及采集設(shè)備的感光特性的影響,使獲取的數(shù)字圖像的顏色表現(xiàn)與標(biāo)準(zhǔn)參照光源下的顏色表現(xiàn)或記憶色之間存在偏差,即色偏現(xiàn)象.圖像色偏不僅影響圖像的視覺效果,還會(huì)較大的影響彩色圖像的增強(qiáng)、分割、特征提取等后續(xù)的分析、處理工作.因此,檢測和消除圖像的顏色偏差在計(jì)算機(jī)視覺及相關(guān)領(lǐng)域都具有重要的理論意義和實(shí)際應(yīng)用價(jià)值.

色偏檢測即在一定檢測原則的基礎(chǔ)上,判定圖像是否存在色偏并計(jì)算圖像的色偏程度[1].色偏檢測算法能夠直接指導(dǎo)后續(xù)的色偏校正處理.后前,已經(jīng)在醫(yī)療診斷、衛(wèi)星通訊、工業(yè)制造等領(lǐng)域內(nèi)得到了廣泛研究和應(yīng)用.

后前,色偏檢測的代表性方法有白平衡算法[2]、灰世界算法[3]、直方圖統(tǒng)計(jì)法[4]、先驗(yàn)知識(shí)法[5]、神經(jīng)網(wǎng)絡(luò)法[6]、基于圖像分析的色偏檢測算法[7]等.這些算法都在特定的數(shù)據(jù)集中取得了較好的效果,但是仍然存在一定的局限性.例如白平衡算法和灰世界算法分別以 White Patch 假設(shè)和 Grey world 假設(shè)為前提,適用于滿足這些假定的數(shù)據(jù)集[8];直方圖統(tǒng)計(jì)法僅根據(jù)圖像的整體直方圖分布或重疊率判斷圖像是否存在色偏,不能準(zhǔn)確計(jì)算色偏程度,在適應(yīng)性上也有明顯局限[9];此外,Cheng等[10]提出利用色彩直方圖特征進(jìn)行色偏圖像的自動(dòng)檢測算法,但該算法更適用于色偏程度大的圖像;先驗(yàn)知識(shí)法和神經(jīng)網(wǎng)絡(luò)法需要借助先驗(yàn)知識(shí)和學(xué)習(xí)積累來進(jìn)行色偏檢測[11];基于圖像分析的色偏檢測算法不需要先驗(yàn)知識(shí)和假設(shè)條件,能夠?qū)ι珗D像進(jìn)行二次分類,但分類結(jié)果受圖像主色調(diào)的影響[12].

為了消除圖像主色調(diào)對色偏檢測的影響,進(jìn)一步提高基于圖像分析的色偏檢測算法的適應(yīng)性,本文提出了一種基于圖像色彩度和自然度的色偏檢測算法,以進(jìn)一步區(qū)分色偏圖像和主色調(diào)圖像,進(jìn)一步提高色偏檢測的準(zhǔn)確性.

1 色偏檢測方法

較多文獻(xiàn)[13-18]經(jīng)過試驗(yàn)與分析,發(fā)現(xiàn)圖像色偏與圖像的平均色度μ及色度分布有關(guān),并針對色偏圖像的特性進(jìn)行了以下總結(jié):

1)一般情況下,無色偏圖像的二維顏色直方圖包括多個(gè)離散的峰值,且大多分布在中性軸周圍;

2)色偏圖像的二維色度直方圖分布為零個(gè)或一個(gè)峰值,且峰值遠(yuǎn)離中性軸;

3)色偏圖像平均色度值較大,且二維色度直方圖分布較集中;

4)色度平均值越大,圖像色偏越嚴(yán)重.

為了更直觀地描述圖像的顏色偏差,Fang Li[17]將圖像平均色度與色度中心距的比值作為色偏因子K來衡量圖像的色偏程度,計(jì)算公式如下:

式中i,j是被測圖像的分辨率,D是圖像平均色度,M是圖像中心距.設(shè)定Kfold為色偏檢測的閾值.當(dāng)K>Kfold時(shí),圖像為色偏圖像,且 K 值越大,圖像色偏越嚴(yán)重.

如圖1所示,(a)圖的平均色度值和色偏因子值偏小,圖像二維色度直方圖包含多個(gè)離散的峰值.(b)圖的平均色度值和色偏因子值較大,圖像二維色度直方圖只有一個(gè)峰值.(c)圖的平均色度值和色偏因子值較大,圖像二維色度直方圖只有一個(gè)峰值.利用人眼視覺系統(tǒng)對三幅圖像進(jìn)行評價(jià),評價(jià)結(jié)果為:(a)圖正常,(b)圖存在色偏,(c)圖為主色調(diào)圖像(圖像中某單一顏色的覆蓋范圍超過40%,場景為單一顏色為主的場景,未發(fā)生色彩偏移[19]).

圖1 測試圖像

圖1中三幅圖像的色度平均值D、圖像中心距M和色偏因子K的值如表1所示.

表1 圖像色度平均值、圖像中心距和色偏因子統(tǒng)計(jì)表

根據(jù)上面的分析可知,色偏因子K與人眼視覺系統(tǒng)在正常圖像和色偏圖像的評價(jià)結(jié)果基本一致,但由于主色調(diào)圖像的色偏因子K較大,對于主色調(diào)圖像,該算法的檢測準(zhǔn)確率偏低.

2 基于圖像顏色特征分析的色偏檢測算法

為了消除圖像主色調(diào)對色偏檢測的影響,本文入了圖像的色彩度和自然度概念.其依據(jù)在于:

1)圖像的色彩度表示圖像顏色的豐富程度,色彩度值越大,圖像顏色越豐富.同理,圖像顏色相對單一時(shí),色彩度值較小.所以可基于色彩度值對色偏圖像和主色調(diào)圖像進(jìn)行區(qū)分,從而減小圖像中主色調(diào)對色偏檢測的影響.

2)色彩自然度反映人眼主觀感知與真實(shí)自然顏色的相關(guān)度,自然度越大,顏色越正常.所以可通過對圖像色彩的自然度施加約束條件,對色偏圖像和主色調(diào)圖像進(jìn)行檢測,從而降低了主色調(diào)圖像誤判的概率,提高色偏圖像檢測的準(zhǔn)確率.

基于圖像的色彩度和色彩的自然度,本文對色偏因子的計(jì)算進(jìn)行了優(yōu)化,以進(jìn)一步提高色偏檢測的準(zhǔn)確性和適應(yīng)性.

2.1 圖像的色彩度CCI(Color Colorfulness Index)

Hasler[20]給出了在sRGB顏色空間計(jì)算色彩度的簡潔方法.

其中 rg=R-G,yb=(R+G)/2-B,R、G、B 分別代表某像素的紅色分量、綠色分量和藍(lán)色分量,σrg、σyb、urg、uyb分別是rg、yb的標(biāo)準(zhǔn)差和均值.

基于TID2008標(biāo)準(zhǔn)圖像數(shù)據(jù)庫、LIVE2標(biāo)準(zhǔn)圖像庫及網(wǎng)上收集的主色調(diào)圖像與色偏圖像(105 幅主色調(diào)圖像、97幅色偏圖像,將主色調(diào)圖像按圖像內(nèi)容分為皮膚、天空、草地三類)進(jìn)行實(shí)驗(yàn)發(fā)現(xiàn),CCI的變化范圍介于 0 和 50 之間,且 CCI越大,圖像顏色越豐富.實(shí)驗(yàn)結(jié)果如圖2所示.

圖中橫坐標(biāo)是實(shí)驗(yàn)圖像的數(shù)量,縱坐標(biāo)是CCI的數(shù)值.從圖2可以看出:色偏圖像CCI變化范圍在16與50之間,主色調(diào)圖像中皮膚和天空圖像CCI變化范圍在0與15之間,而大多數(shù)草地圖像的CCI數(shù)值大于15.由于主色調(diào)圖像和色偏圖像的CCI數(shù)值的變化比較穩(wěn)定,在色偏檢測過程中,可以用其作為主色調(diào)圖像和色偏圖像的區(qū)分依據(jù).實(shí)驗(yàn)證實(shí)CCI<=15時(shí),圖像顏色單一;CCI越大,圖像顏色越豐富.

圖2 主色調(diào)圖像和色偏圖像 CCI統(tǒng)計(jì)圖

2.2 色偏因子

通過對正常圖像和色偏圖像進(jìn)行分析,發(fā)現(xiàn)色偏因子K的計(jì)算不僅與圖像的平均色度μ、色度分布有關(guān),還與圖像中的主色調(diào)部分(如海洋、天空、草地等大面積區(qū)域)有關(guān),因此僅僅依靠圖像的二維色度直方圖分布進(jìn)行色偏檢測,容易將主色調(diào)圖像誤判為色偏圖像.為了消除圖像主色調(diào)對色偏檢測的影響,

本文依據(jù)圖像色彩度與主色調(diào)圖像的關(guān)系,對色偏因子的計(jì)算方法進(jìn)行優(yōu)化.參考公式(1),優(yōu)化后的色偏因子的表達(dá)式如下:

式中CCIfold是判斷圖像色彩是否豐富的閾值,由2.1中CCI實(shí)驗(yàn)結(jié)果的分析可知,CCIfold的值取15時(shí),算法效果最好.

根據(jù)公式(7)可知:通過為色彩度設(shè)置約束條件,將主色調(diào)圖像檢測為正常圖像,大大降低了色偏檢測的誤判率.但該方法對CCI大于15的主色調(diào)圖像無效.

2.3 圖像的自然度CNI(Color Naturalness Index)

色彩自然度主要反映人眼主觀感知與真實(shí)自然顏色的相關(guān)度,自然度越大,代表圖像顏色的質(zhì)量越好.而圖像主色調(diào)區(qū)域的顏色質(zhì)量能夠準(zhǔn)確反映圖像的色偏情況,因此提取圖像主色調(diào)區(qū)域的自然度信息,對色偏圖像和主色調(diào)圖像進(jìn)行檢測,消除主色調(diào)圖像的影響,從而提高色偏圖像的檢測準(zhǔn)確率.主色調(diào)區(qū)域自然度的計(jì)算過程如下:

(1)提取圖像主色調(diào)區(qū)域[21],具體方法如下:

①提取三維顏色直方圖的最大值MaxHist;

②將MaxHist處的顏色在色調(diào)、飽和度和明亮度3個(gè)方向上與6個(gè)相鄰顏色的頻率進(jìn)行比較,若顏色頻率不低于相鄰顏色的頻率,則視為主色調(diào);

③將頻率相同又相鄰的主色調(diào)合并,作為一個(gè)主色調(diào),將該主色調(diào)像素組成的區(qū)域作為主色調(diào)區(qū)域.

(2)計(jì)算圖像主色調(diào)區(qū)域的色彩自然度[22]

計(jì)算方法為:將圖像主色調(diào)區(qū)域的像素按照色度大小分為皮膚、草地、天空三類,分別計(jì)算各類的自然度數(shù)值,最后將三類的自然度數(shù)值進(jìn)行加權(quán)得出圖像的整體自然度.

其中Si、ni、CNIi分別為皮膚、草地和天空的平均飽和度、像素?cái)?shù)和自然度數(shù)值,i=1,2,3.CNI是圖像主色調(diào)區(qū)域的自然度.

需要注意的是,并不需要嚴(yán)格分割這些區(qū)域內(nèi)的其他對象,如橘子、水、葉子等,落在這些區(qū)域內(nèi),也把它們統(tǒng)稱為皮膚、草、天空.

基于TID2008標(biāo)準(zhǔn)圖像數(shù)據(jù)庫、LIVE2標(biāo)準(zhǔn)圖像庫及網(wǎng)上收集的主色調(diào)圖像與色偏圖像(105 幅主色調(diào)圖像、97幅色偏圖像,將主色調(diào)圖像按圖像內(nèi)容分為皮膚、天空、草地三類)進(jìn)行實(shí)驗(yàn)實(shí)驗(yàn)結(jié)果如圖3所示.

從試驗(yàn)結(jié)果中可以發(fā)現(xiàn),主色調(diào)區(qū)域的自然度數(shù)值越大,圖像質(zhì)量越好.圖中橫坐標(biāo)是實(shí)驗(yàn)圖像的數(shù)量,縱坐標(biāo)是CNI的數(shù)值.從圖3可以看出:主色調(diào)圖像中皮膚和草地CNI數(shù)值的變化介于0.75與1之間,部分天空CNI數(shù)值低于0.75,而色偏圖像的CNI普遍低于0.75,所以可將CNI作為主色調(diào)圖像和色偏圖像的區(qū)分依據(jù).實(shí)驗(yàn)證實(shí)CNI為1時(shí),圖像的顏色最接近自然色彩,反之,數(shù)值越小,圖像顏色的質(zhì)量越差.

圖3 色偏圖像和主色調(diào)圖像 CNI統(tǒng)計(jì)圖

通過對圖3進(jìn)行分析與總結(jié),可將CNIfold=0.75作為色偏圖像和草地圖像(CCI>15的主色調(diào)圖像)的檢測閾值.

2.4 色偏檢測

通過對圖像色彩度與自然度實(shí)驗(yàn)結(jié)果的分析和綜合,可根據(jù)參數(shù)的變化對圖像進(jìn)行分類:

3 實(shí)驗(yàn)結(jié)果與分析

為了檢驗(yàn)本文算法的有效性,筆者從TID2008標(biāo)準(zhǔn)圖像數(shù)據(jù)庫、LIVE2標(biāo)準(zhǔn)圖像庫及網(wǎng)上收集了300幅圖像,其中105幅主色調(diào)圖像、97 幅色偏圖像、98幅正常圖像.對該圖像集合分別執(zhí)行了文獻(xiàn)[19]的算法(基于圖像統(tǒng)計(jì)信息的色偏檢測算法)和本文算法,對兩個(gè)算法的檢測結(jié)果進(jìn)行了對比,如表2所示.

表2 測試結(jié)果對比表

從表2可以看出,本文的方法在色偏圖像、主色調(diào)圖像和正常圖像上的檢測準(zhǔn)確率都有了很大提高.為了能夠更加直觀地對比這兩種算法,本文將兩種算法的檢測結(jié)果與人眼的主觀評價(jià)結(jié)果進(jìn)行對比,其中眼主觀評價(jià)等級分為正常、偏紅、偏藍(lán)、偏綠.對比結(jié)果如表3所示.其中K:參考文獻(xiàn)方法的色偏因子,K':本文方法的色偏因子,da、db:ab 平面的色度值,在本文方法中用于判斷圖像整體的偏色情況.

從表3可看出,傳統(tǒng)的色偏檢測算法受圖像中主色調(diào)的影響,容易將主色調(diào)圖像誤判為色偏圖像.如測試圖像中的圖4(a)和圖4(d)所示,雖然圖4(a)和圖4(d)中草地和藍(lán)色背景的覆蓋面積均超過40%,但是圖4(a)中女孩的臉呈現(xiàn)青色,所以圖4(a)應(yīng)為偏綠圖像,而非主色調(diào)圖像,圖4(d)中男孩的臉呈現(xiàn)正常膚色,所以圖4(d)為主色調(diào)圖像.此外本文算法的色偏因子K'還能夠準(zhǔn)確反應(yīng)圖像的色偏程度,如圖4(a)和圖4(b)所示,圖 4(a)的色偏嚴(yán)重,K'偏大,圖 4(b)的色偏程度較輕,K'偏小.本文算法對圖 4(a)、圖 4(b)和圖4(d)的檢測結(jié)果與人眼主觀評價(jià)的結(jié)果相一致.從檢測結(jié)果來看,本文算法不僅能夠消除主色調(diào)的影響,降低色偏圖像的誤判率,還能夠準(zhǔn)確計(jì)算色偏程度,提高圖像的檢測準(zhǔn)確率.由表3可知,本文的算法與主觀評價(jià)結(jié)果更為吻合.

4 結(jié)論

針對基于統(tǒng)計(jì)信息進(jìn)行色偏檢測的方法難以有效區(qū)分色偏圖像和主色調(diào)圖像,本文入了圖像色彩度和色彩自然度,改進(jìn)了色偏因子的計(jì)算方法.并通過實(shí)驗(yàn)進(jìn)行了驗(yàn)證,實(shí)驗(yàn)結(jié)果表明,本文所提出的方法能夠有效地區(qū)分色偏圖像和主色調(diào)圖像,判斷偏色情況,更準(zhǔn)確的計(jì)算色偏程度,且與主觀評價(jià)相一致.

圖4 測試圖像

表3 實(shí)驗(yàn)結(jié)果對比表

1 Liu BZ,Qiu GP.Illuminant classification based on random forest.Proc.of 14th IAPR International Conference on Machine Vision Applications (MVA).Miraikan,Tokyo,Japan.2015.106–109.

2 Pan B,Jiang ZG,Zhang HP,et al.Improved grey world color correction method based on weighted gain coefficients.Proc.of SPIE 9273,Optoelectronic Imaging and Multimedia Technology.Beijing,China.2014.

3 Kim SK,Jung SW,Choi KA,et al.A novel automatic white balance for image stitching on mobile devices.Proc.of IEEE International Conference on Consumer Electronics.Las Vegas,NV,USA.2011.659–660.

4 Wang YF,Luo YP.Color constancy using bright-neutral pixels.Journal of Electronic Imaging,2014,23(2):023011.[doi:10.1117/1.JEI.23.2.023011]

5 Kyung WJ,Kim DC,Ha HG,et al.Color enhancement for faded images based on multi-scale gray world algorithm.Proc.of 2012 IEEE 16th International Symposium on Consumer Electronics.Harrisburg,PA,USA.2012.1–4.

6 馮亞麗,黃靜.一種新的基于 MSRCR 光照補(bǔ)償算法.計(jì)算機(jī)系統(tǒng)應(yīng)用,2012,21(9):188–192.

7 Bianco S,Schettini R.Color constancy using faces.Proc.of the 2012 IEEE Conference on Computer Vision and Pattern Recognition.Providence,RI,USA.2012.65–72.

8 Tai SC,Liao TW,Chang YY,et al.Automatic white balance algorithm through the average equalization and threshold.Proc.of 2012 the 8th International Conference on Information Science and Digital Content Technology.Jeju,South Korea.2012.571–576.

9 Yang AP,Zheng J,Wang J,et al.Underwater image restoration based on color cast removal and dark channel prior.Journal of Electronics &Information Technology,2015,37(11):2541–2547.

10 Huang CQ,Zhang Q,Wang H,et al.A low power and low complexity automatic white balance algorithm for AMOLED driving using histogram matching.Journal of Display Technology,2015,11(1):53–59.[doi:10.1109/JDT.2014.2360375]

11 Wang S,Zhang YW,Deng P,et al.Fast automatic white balancing method by color histogram stretching.Proc.of 2011 the 4th International Congress on Image and Signal Processing.Shanghai,China.2011.979–983.

12 Liao YY,Lin JS,Tai SC.Color balance algorithm with zone system in color image correction.Proc.of IEEE the 6th International Conference on Computer Sciences and Convergence Information Technology.Seogwipo,South Korea.2011.167–172.

13 Chen L,Zhu DW,Tian J,et al.A two-stage blind image color correction using color cast estimation.CCPR 2014.Communications in Computer and Information Science.Berlin,Heidelberg.2014.72–80.

14 Pan B,Jiang ZG,Zhang HP,et al.Improved grey world color correction method based on weighted gain coefficients.Proc.of SPIE 9273,Optoelectronic Imaging and Multimedia Technology.Beijing,China.2014.

15 楊愛萍,鄭佳,王建,等.基于顏色失真去除與暗通道先驗(yàn)的水下圖像復(fù)原.電子與信息學(xué)報(bào),2015,37(11):2541–2547.

16 徐曉昭,蔡軼珩,劉長江.基于圖像分析的偏色檢測及顏色校正方法.測控技術(shù),2008,27(5):10–12,21.

17 Li F,Wu JY,Wang YK,et al.A color cast detection algorithm of robust performance.Proc.of IEEE the 5th International Conference on Advanced Computational Intelligence.Nanjing,China.2012.662–664.

18 Miao MJ,Yuan Y,Liu YH,et al.Color cast detection method based on multi-feature extraction.IGTA 2014.Communications in Computer and Information Science.Berlin Heidelberg.2014.103–109.

19 Gasparini F,Schettini R.Color balancing of digital photos using simple image statistics.Pattern Recognition Society,2004,37(6):1201–1217.[doi:10.1016/j.patcog.2003.12.007]

20 Hasler D,Susstrunk SE.Measuring colorfulness in real images.Proc.of SPIE 5007,Human Vision and Electronic Imaging VIII.Santa Clara,CA,USA.2003.87–95.

21 Medjahed SA.A comparative study of feature extraction methods in images classification.International Journal of Image,Graphics and Signal Processing,2015,7(3):16–23.[doi:10.5815/ijigsp.2015.03.03]

22 Huang KQ,Wang Q,Wu ZY.Natural color image enhancement and evaluation algorithm based on human visual system.Computer Vision and Image Understanding,2006,103(1):52–63.[doi:10.1016/j.cviu.2006.02.007]

Color Cast Detection Based on Color-Feature Analysis

LI Zhi-Jiang,HU Zun-Lan
(School of Printing and Packaging,Wuhan University,Wuhan 430072,China)

Color cast detection is widely used in machine vision and related fields.Traditional algorithms mostly depend on certain assumptions or prior knowledge.In this paper,a new cast detection approach based on color-feature analysis is proposed,which involves image colorfulness and color naturalness.Experiments show that this approach can eliminate the influence of dominant colors,improve the detection accuracy,match the subjective evaluation according to the human visual system,and is effective on more occasions.

digital image;color cast;image analysis;color-feature

李治江,戶尊蘭.基于顏色特征分析的色偏檢測算法.計(jì)算機(jī)系統(tǒng)應(yīng)用,2017,26(9):116–121.http://www.c-s-a.org.cn/1003-3254/5947.html

①基金項(xiàng)后:國家自然科學(xué)基金(41671441)

2016-12-18;采用時(shí)間:2017-01-18