基于圖像分割的局部色盲矯正方法①

何志良, 詹佩真, 李嘉櫻, 蔡家榮, 曾曉銘, 張昕

?

基于圖像分割的局部色盲矯正方法①

何志良, 詹佩真, 李嘉櫻, 蔡家榮, 曾曉銘, 張昕

(華南農(nóng)業(yè)大學(xué)數(shù)學(xué)與信息學(xué)院, 廣州 510642)

為提高紅綠色盲患者對(duì)色彩的分辨能力, 提出一種基于圖像分割的局部色盲矯正方法. 首先研究了色盲圖像的仿真方法, 然后結(jié)合K-means和系統(tǒng)聚類(lèi)算法對(duì)原圖像進(jìn)行分割, 并計(jì)算各個(gè)區(qū)域在色盲圖像下LAB顏色空間中的歐氏距離作為顏色相似性的度量, 確定紅綠色盲難以分辨的顏色區(qū)域, 最后將該區(qū)域替換成亮度一致且顏色區(qū)分度大的顏色, 從而實(shí)現(xiàn)色盲圖像矯正的目的. 基于Matlab平臺(tái)對(duì)算法進(jìn)行驗(yàn)證, 結(jié)果表明: 該方法能夠改善紅綠色盲患者對(duì)顏色的分辨能力, 同時(shí)在減少對(duì)顏色的認(rèn)知偏差方面優(yōu)于已有的方法.

色盲仿真; 局部矯正; K-means聚類(lèi); 顏色相似性; 亮度因子

1　概述

色盲是由于人體視網(wǎng)膜錐細(xì)胞的缺失或者變異, 造成人類(lèi)顏色辨認(rèn)障礙的視覺(jué)缺陷. 色盲按照臨床表現(xiàn)可分為全色盲和二色盲(紅色盲、綠色盲、藍(lán)色盲等), 而二色盲又在色盲中占絕大部分比例. 研究表明, 僅紅綠色盲在亞洲人的發(fā)病率就達(dá)到5%[1], 截至2015年末我國(guó)大陸人口為13.75億[2], 現(xiàn)有色盲人數(shù)就已經(jīng)達(dá)到六千萬(wàn). 生活中, 設(shè)計(jì)人員在設(shè)計(jì)產(chǎn)品的時(shí)候, 難以獲取色盲人群的視覺(jué)體驗(yàn), 造成了產(chǎn)品在色盲人群中不友善的用戶體驗(yàn), 使得色盲人群不能有效的工作和學(xué)習(xí).

使用圖像處理方法進(jìn)行色盲矯正, 從操作的可行性, 對(duì)人體的無(wú)害性、安全性上看, 具有很高的價(jià)值. 目前, 在色盲圖像仿真上, 研究者主要根據(jù)色盲患者視覺(jué)的三通道建立了圖像的色盲模型[3-5]. 而在色盲矯正方面, Si Di等[6]基于多濾光片的顏色濾波器對(duì)不同波段的可見(jiàn)光進(jìn)行捕獲, 從而設(shè)計(jì)出一款特殊的光學(xué)透鏡對(duì)色盲患者的視覺(jué)認(rèn)知進(jìn)行矯正. Noriaki Suetake[7]等基于C-O效應(yīng)對(duì)圖像的亮度進(jìn)行修正, 從而通過(guò)突出圖像的對(duì)比度來(lái)達(dá)到色盲矯正的效果. 但該方法對(duì)亮度的修正參數(shù)需人為確定. Karl Rasche[3]通過(guò)對(duì)原始圖像和矯正圖像建立目標(biāo)函數(shù)并求極小值, 對(duì)圖像進(jìn)行矯正. 但是極小值不只一個(gè), 當(dāng)圖像顏色較多時(shí), 運(yùn)算時(shí)間將大大增加. Enrico等[4]根據(jù)不同的色盲特性設(shè)計(jì)出四種不同的色度變換模型并植入到可穿戴式設(shè)備中, 模型根據(jù)不同場(chǎng)景對(duì)圖像的色度進(jìn)行變換來(lái)提高色盲者的辨色能力. 鮑吉斌等[8]在HSI顏色空間對(duì)H分量進(jìn)行旋轉(zhuǎn)實(shí)現(xiàn)了色盲圖像矯正, 該方法在提高紅色與綠色的分辨度的同時(shí)卻降低其它顏色的辨識(shí)度. 該課題組還提出了SOM神經(jīng)網(wǎng)絡(luò)算法[9]和幾何變換映射[10]進(jìn)行圖像矯正. 以上方法均對(duì)圖像進(jìn)行了全局矯正, 整幅圖像的顏色發(fā)生了變化. 這種矯正后的圖像顏色與色盲患者原先的顏色認(rèn)知產(chǎn)生較大的沖突, 不利于色盲患者適應(yīng). 因此, 本文提出了一種局部矯正方法, 即保留圖像中的大部分信息, 僅對(duì)辨識(shí)度較低的區(qū)域進(jìn)行矯正.

本文從數(shù)字圖像處理角度對(duì)紅綠色盲(以下研究方法針對(duì)紅綠色盲)與非色盲人群的顏色辨識(shí)能力進(jìn)行研究分析, 首先通過(guò)建立色盲空間轉(zhuǎn)換矩陣進(jìn)行二色盲視覺(jué)的仿真. 其次, 為了實(shí)現(xiàn)圖像的局部矯正, 本文使用了結(jié)合改進(jìn)的K-means方法和系統(tǒng)聚類(lèi)方法進(jìn)行圖像分割, 這種方法保證了每個(gè)分割區(qū)域在正常辨色視覺(jué)中差異足夠大. 然后使用色盲轉(zhuǎn)換矩陣對(duì)圖像進(jìn)行轉(zhuǎn)換, 判斷每個(gè)分割區(qū)域在色盲視覺(jué)中顏色特征的相似性, 區(qū)域間的相似性越大, 說(shuō)明其越難區(qū)分. 最后, 通過(guò)結(jié)合區(qū)域面積和亮度因子兩個(gè)因素, 對(duì)圖像中難以區(qū)分的區(qū)域?qū)崿F(xiàn)局部矯正. 實(shí)驗(yàn)結(jié)果表明, 此種方式實(shí)現(xiàn)的色盲矯正能夠達(dá)到好的效果并具有實(shí)用性.

2　實(shí)現(xiàn)方法

2.1 色盲仿真模型

正常人的視網(wǎng)膜上有三種視錐細(xì)胞, 分別為L(zhǎng)、M、S錐細(xì)胞, 它們構(gòu)成人眼的LMS空間. 視覺(jué)系統(tǒng)將人眼吸收到的RGB像素值通過(guò)轉(zhuǎn)換變成視錐細(xì)胞的吸收信號(hào). 這個(gè)從RGB空間轉(zhuǎn)換到LMS空間的過(guò)程, 通過(guò)變換矩陣U實(shí)現(xiàn), 轉(zhuǎn)換過(guò)程如下:

色盲或者色弱是因?yàn)槿N視錐細(xì)胞吸收特性的變異引起的.

對(duì)于紅色盲, 當(dāng)RGB空間轉(zhuǎn)換成LMS空間時(shí), 相當(dāng)于RGB立方體空間的顏色沿L軸方向映射到R=G的顏色面上.

映射表達(dá)式如下, 其中T為色盲的投影變換矩陣.

由于色盲視覺(jué)沿著L軸方向的顏色都被投射到一點(diǎn)上, 紅色與綠色在這個(gè)方向上, 所以紅色和綠色不能被區(qū)分. 同樣道理, 沿著M軸投影到R=G面和沿著S軸投射到B=G分別是綠色盲和藍(lán)色盲的顏色面.

LMS是人眼內(nèi)部的感知空間, 不便于直觀的觀察, 所以再將其換回RGB空間, 得到如下式子的紅綠色仿真模型.

通過(guò)上式計(jì)算得到, 紅色色盲簡(jiǎn)化模型:

綠色色盲簡(jiǎn)化模型:

為了使正常色覺(jué)人群獲得色盲患者的視覺(jué)體驗(yàn), 可以通過(guò)圖1的步驟實(shí)現(xiàn).

圖1 色盲仿真流程圖

2.2 色盲圖像矯正

2.2.1基于加權(quán)K-means與系統(tǒng)聚類(lèi)結(jié)合的圖像分割

要實(shí)現(xiàn)色盲空間圖像的局部矯正, 可以先對(duì)色盲圖像進(jìn)行聚類(lèi), 然后對(duì)圖像的每一個(gè)區(qū)域進(jìn)行分析, 繼而找出需要矯正的區(qū)域. 由于不確定圖片最終的分類(lèi)數(shù)目, 本文首先使用一種改進(jìn)K-means算法將圖像分成足夠多類(lèi), 然后用系統(tǒng)聚類(lèi)算法, 逐步合并K-means得到的個(gè)聚類(lèi)中心.

1) K-均值聚類(lèi)算法(K-means). 傳統(tǒng)的K-means[11,12]會(huì)計(jì)算所有樣本點(diǎn)到聚類(lèi)中心的距離. 由于數(shù)字圖像的特性, 在圖像處理問(wèn)題中, 樣本集往往存在大量相同的數(shù)據(jù). 當(dāng)計(jì)算了一個(gè)樣本與聚類(lèi)中心距離的時(shí)候, 沒(méi)有必要對(duì)相同的樣本點(diǎn)重復(fù)計(jì)算, 只要乘上該樣本對(duì)應(yīng)的權(quán)重即可. 因此, 本文提出了一種基于加權(quán)和的K-means聚類(lèi)算法. 算法過(guò)程如下:

該算法的目標(biāo)誤差函數(shù)即可表示為式(1):

然后根據(jù)傳統(tǒng)的K-means算法的過(guò)程進(jìn)行迭代, 并在更新聚類(lèi)中心時(shí), 用式(2)進(jìn)行代替.

為了降低光照影響同時(shí)保留顏色特征, 本文使用Lab顏色空間的分量和分量作為圖像分割的特征. 即樣本x={a,b}, 其中a,b表示像素分量和分量的值. 表1是使用傳統(tǒng)K-means算法和加權(quán)和K-means算法對(duì)不同大小圖組處理的平均時(shí)間, 其中每個(gè)圖組包含10張大小相同的圖像.

表1 不同K-means處理時(shí)間對(duì)比

實(shí)驗(yàn)表明, 加權(quán)和K-means聚類(lèi)算法, 在圖像分割的處理效率上, 比傳統(tǒng)K-means明顯更快.

2) 系統(tǒng)聚類(lèi)算法(Hierarchical Cluster). 系統(tǒng)聚類(lèi)算法[13]首先把所有樣本單獨(dú)看作一類(lèi), 然后根據(jù)度量距離對(duì)樣本逐步合并從而達(dá)到聚類(lèi)的效果. 本文通過(guò)改進(jìn)該方法對(duì)K-means的聚類(lèi)結(jié)果進(jìn)行合并.

具體實(shí)現(xiàn)步驟介紹如下:

Step1: 給定收斂閾值<0, 輸入K-means得到的個(gè)聚類(lèi)中心作為系統(tǒng)聚類(lèi)的初始重心;

Step2: 計(jì)算不同重心兩兩之間的歐氏距離, 找出最小的距離. 若<, 轉(zhuǎn)向Step3, 否則, 算法停止.

Step3: 找出最小值對(duì)應(yīng)的兩個(gè)類(lèi)別G和G合并為新類(lèi), 并根據(jù)公式(3)計(jì)算新的重心.

3) 圖像分割效果圖. 以自然圖進(jìn)行圖像分割實(shí)驗(yàn), 分別得到圖3、圖4所示K-means和系統(tǒng)聚類(lèi)后的結(jié)果. 自然原圖如圖2所示.

圖2 自然圖像原圖

圖3 K-means聚類(lèi)的分割效果

圖4所示為K-means聚類(lèi)后圖像分割結(jié)果, 由于聚類(lèi)數(shù)目較大, 部分顏色相似的目標(biāo), 比如綠色的草地和山丘, 被分到了不同類(lèi)別. 圖5所示, 系統(tǒng)聚類(lèi)將相似的區(qū)域進(jìn)行合并, 確保了各個(gè)分割區(qū)域的差異足夠大.

圖4 系統(tǒng)聚類(lèi)后的分割效果

2.2.2矯正圖像的顏色替換

1) 相似性判斷. 圖像聚類(lèi)之后被分成若干區(qū)域. 通過(guò)判斷區(qū)域間的顏色相似性, 可以找出色盲人群難以辨別的顏色區(qū)域.

Lab顏色空間是一種基于生理特征的均勻的顏色系統(tǒng). Lab色彩模式色域?qū)掗? 人類(lèi)肉眼所能感知到的色彩都能通過(guò)Lab模型表現(xiàn)出來(lái), 這使得Lab顏色空間更加適合人類(lèi)視覺(jué)系統(tǒng)的顏色相似性[14-16]度量.

以每個(gè)分割區(qū)域的顏色聚類(lèi)中心代表該區(qū)域的顏色, 通過(guò)兩兩計(jì)算區(qū)域間的顏色相似性, 得到一個(gè)相似性度量矩陣. 矩陣元素(,)表示區(qū)域和區(qū)域在LAB顏色空間的歐氏距離, 即:

(,)值越小表明兩種顏色相似性越高, 即越難區(qū)分. 最后, 給定閾值, 當(dāng)(,)<時(shí), 以區(qū)域包含的像素點(diǎn)代表區(qū)域的面積, 通過(guò)比較兩個(gè)區(qū)域包含的像素點(diǎn)數(shù)目, 確定出包含像素點(diǎn)少的區(qū)域即為需要替換顏色的區(qū)域.

2) 多因子選擇的顏色替換. 假設(shè)矯正區(qū)域原來(lái)的顏色為A, 用于替換的顏色為B, 為了有效地替換[17]和得到對(duì)色盲者更友好的顏色, B顏色滿足以下條件:

第一, B顏色必須與圖像中其他區(qū)域的顏色不相似. 即B顏色與其他區(qū)域顏色的距離d都必須大于閾值. 這樣可以保證色盲人群能夠區(qū)分出該區(qū)域.

第二, B顏色與原A顏色的亮度一致. 本文使用YUV顏色空間的Y分量判斷顏色亮度, 將Y分量劃分為多個(gè)亮度等級(jí), 選用與A亮度等級(jí)一致的B顏色進(jìn)行替換.

3　系統(tǒng)實(shí)現(xiàn)與測(cè)試

本文基于Matlab平臺(tái), 開(kāi)發(fā)色盲矯正系統(tǒng), 色盲矯正實(shí)現(xiàn)的過(guò)程如圖5.

圖5 矯正算法流程圖

針對(duì)紅色盲、綠色盲這兩種二色盲情況, 選用了10張紅綠色盲測(cè)試圖、10張紅綠為主色調(diào)的自然圖像, 分別對(duì)色盲測(cè)試圖以及自然圖像進(jìn)行了色盲仿真和矯正測(cè)試, 并把測(cè)試結(jié)果與基于H分量旋轉(zhuǎn)120度以及基于圖像幾何變換映射的矯正方法[8,10]得到的圖像進(jìn)行對(duì)比.

(a) 原始圖像 (b) 色盲仿真圖像

(c)局部色盲矯正圖(d)旋轉(zhuǎn)H分量色盲(e)幾何映射矯正圖

圖6 測(cè)試結(jié)果圖一

圖7 測(cè)試結(jié)果圖二

圖6(a)、圖7(a)為色盲測(cè)試原始圖像. 圖6(b)、圖7(b)為紅二色盲的仿真圖像, 可以看到紅二色盲對(duì)圖6中的數(shù)字“6”識(shí)別度較低, 完全無(wú)法辨別圖7中的紅花. 圖6(c)、圖7(c)是在本文方法得到的色盲矯正圖像, 可以看出色盲患者能夠準(zhǔn)確識(shí)別矯正后圖像中的數(shù)字“6”, 準(zhǔn)確識(shí)別了自然圖像中的紅花, 矯正后的圖像保留了大部分的原圖像信息. 圖6(d)、圖7(d)為采用旋轉(zhuǎn)H分量法得到的色盲矯正圖像, 圖6(e)、圖7(e)為采用圖像幾何映射得到的色盲矯正圖, 兩者雖然達(dá)到讓色盲患者辨別圖像基本信息的目的, 但是都是在一定程度上改變了整體圖像的顏色, 不利于色盲患者對(duì)真實(shí)顏色的認(rèn)知.

4　結(jié)語(yǔ)

本文提出了一種基于圖像分割和多因子選擇顏色替換的色盲局部矯正方法, 首先將原圖分割成多個(gè)區(qū)域, 然后對(duì)每個(gè)區(qū)域進(jìn)行比較, 從而實(shí)現(xiàn)了色盲圖像的局部矯正. 實(shí)驗(yàn)表明, 該方法對(duì)圖像的顏色信息改變較少, 在保留了圖像大部分信息的情況下針對(duì)性地實(shí)現(xiàn)了圖像矯正的目的, 有效地降低色盲人群對(duì)于真實(shí)顏色的認(rèn)知偏差.

然而, 由于該方法的實(shí)現(xiàn)使用了K-means算法對(duì)圖像進(jìn)行分割, 當(dāng)圖像較大時(shí), 算法的速度較慢. 因此, 接下來(lái)的主要工作是選取更快的圖像分割方法進(jìn)行研究.

1 Birch J. Worldwide prevalence of red-green color deficiency. Journal of the Optical Society of America, 2012, 29(3): 313–320.

2 國(guó)家統(tǒng)計(jì)局.2015年國(guó)民經(jīng)濟(jì)和社會(huì)發(fā)展統(tǒng)計(jì)公報(bào). 2016-02-29.

3 Rasche K. Detail preserving reproduction of color images for monochromats and dichromats. IEEE Computer Graphics and Applications, 2005, 25(3): 22–30.

4 Tanuwidjaja E, Huynh D, Koaet K, Nguyen C, Shao C, Torbett P. Chroma: A wearable augmented-reality solution for color blindness. 2014 ACM International Joint Conference on Pervasive and Ubiquitous Computing. UbiComp’14. New York. ACM. 2014. 799–810.

5 Brettel H, Vienot F, Mollon JD. Computerized simulation of color appearance for dichromats. JOSA A, 1997, 14(10): 2647–2655.

6 Di S, Jin J, Tang G, Chen X, Du R. The fabrication of a multi-spectral lens array and its application in assisting color blindness. International Journal of Optomechatronics, 2016, 10(1): 14–23.

7 Suetake N, Tanaka G, Hashii H, Uchino E. Simple lightness modification for color vision impaired based on Craik-O’Brien effect. Journal of the Franklin Institute, 2012, 349(6): 2093–2017.

8 鮑吉斌,汪源源,馬煜,顧曉東.基于H分量旋轉(zhuǎn)的色盲矯正方法.生物醫(yī)學(xué)工程學(xué)進(jìn)展,2008,29(3):125–130.

9 Ma Y, Gu X, Wang Y. Color discrimination enhancement for dichromats using self-organizing color transformation. Information Sciences, 2009, 179(6): 830–843.

10 王恩,馬煜,汪源源.基于圖像幾何變換映射的色盲矯正方法.生物醫(yī)學(xué)工程學(xué)進(jìn)展,2011,32(2):63–67.

11 毛韶陽(yáng),林肯立.優(yōu)化K-means初始聚類(lèi)中心研究.計(jì)算機(jī)工程與應(yīng)用,2007,43(22):179–181.

12 張靖,段富.優(yōu)化初始聚類(lèi)中心的改進(jìn)K-means算法.計(jì)算機(jī)工程與設(shè)計(jì),2013,34(5):1691–1694.

13 Martiana E, Rosyid N, Asgusetia U. Document search enginee based on automatic clustering. Telkmnika, 2010, 8(1): 41–48.

14 楊振亞,王勇,楊振東,王成道.RGB顏色空間的矢量-角度距離色差公式.計(jì)算機(jī)工程與應(yīng)用,2010,46(6):154–156.

15 盾紹坤,魏海平,孫明柱.RGB顏色空間新的色差公式.科學(xué)技術(shù)與工程,2011,11(8):1833–1836.

16 楊康葉,鄔春學(xué).基于RGB模型顏色相似性的彩色圖像分割.計(jì)算機(jī)系統(tǒng)應(yīng)用,2013,22(3):128–131.

17 Tanuwidjaja E, Huynh D, Koaet K, Nguyen C, Shao C, Torbett P. Chroma: A wearable augmented-reality solution for color blindness. Brush AJ, eds. UbiComp ’14 Proc. of the 2014 ACM International Joint Conference on Pervasive & Ubiquitous Computing. NewYork. ACM. 2014. 799–810.

18 Wachtler T, Dohrmann UR. Modeling color percepts of dichromats. Vision Research, 2004, 44(24): 2843–2855.

Partial Rectification Method of Color Blindness Based on Image-Segmentation

HE Zhi-Liang, ZHAN Pei-Zhen, LI Jia-Ying, CAI Jia-Rong, ZENG Xiao-Ming, ZHANG Xin

(College of Mathematics and Informatics, South China Agriculture University, Guangzhou 510642, China)

In order to improve red-green color blindness’ ability of distinguishing colors, this paper introduces a partial rectification of color blindness based on image-segmentation. An emulation method of color blindness is studied first; then the original image is segmented by K-means cluster algorithm and Hierarchical cluster algorithm. Then, it calculates Euclidean distances of each region in LAB Color Space as the metric of color similarity, and confirms which color regions are hard to distinguish by red-green colorblindness. Finally, the region is replaced by other color with the same brightness and a higher degree of differentiation. With the test of the algorithm on Matlab platform, the result shows that this method can improve color blindness’ ability to distinguish colors and it performs better than other existing methods in reducing cognitive deviation of color.

achromate simulation; local rectification; K-means clustering; color similarity; brightness factor

2015年廣東省創(chuàng)新創(chuàng)業(yè)基金(201510564287)

2016-07-02;

2016-08-29

[10.15888/j.cnki.csa.005691]