高光去除的聚類算法改進(jìn)①

許 麗,宋 瀅

(浙江理工大學(xué)信息學(xué)院,杭州 310018)

在計(jì)算機(jī)視覺的許多應(yīng)用中,如邊緣檢測(cè)[1]、目標(biāo)或者場(chǎng)景的識(shí)別[2,3]、特征匹配[4],基于圖像的多視角幾何三維重建[5],處理的物體或者場(chǎng)景的圖像都是基于理想的朗伯表面假設(shè),當(dāng)用這些算法處理非朗伯表面時(shí)效果往往并不理想,由于拍攝的物體或場(chǎng)景的圖像含有高光區(qū)域,這時(shí)會(huì)出現(xiàn)無(wú)法檢測(cè)識(shí)別場(chǎng)景和物體,特征點(diǎn)少,以及重建出的幾何不完整的現(xiàn)象.雙色反射模型[6]提出,圖像是鏡面反射分量和漫反射分量的線性組合.漫反射和鏡面反射是由光和物體表面之間不同的物理相互作用形成的.在非均勻光照條件下,物體表面會(huì)出現(xiàn)高光現(xiàn)象,這是物體表面強(qiáng)反射造成的.為了提高這些算法在計(jì)算機(jī)視覺領(lǐng)域的精確性,去除單張圖像中的高光部分很有必要.

Tan 等人[7]提出近似于僅含漫反射的無(wú)高光圖像,迭代地將高光位置的色度替換為相鄰像素的最大漫反射色度,直到算法收斂.利用漫反射分量與鏡面反射分量的差別達(dá)到去除鏡面反射分量的目的,但是這種方法非常耗時(shí).Shen 等人[8]使用改進(jìn)的SF 圖像MSF 圖像(Modified Specular-Free image,MSF),MSF 圖像色度的計(jì)算比Tan 等人[7]的SF 圖像計(jì)算出的色度更具魯棒性,然后利用最小二乘法分離鏡面反射分量和漫反射分量去除圖像中的高光.Shen 和Cai[9]根據(jù)鏡面區(qū)域與漫反射區(qū)域邊界平滑過(guò)渡的準(zhǔn)則對(duì)鏡面反射分量進(jìn)行調(diào)整,此方法沒(méi)有進(jìn)行耗時(shí)的迭代處理,使計(jì)算更簡(jiǎn)單,但是效果一般.Shen 等人[10]在最小最大色度空間對(duì)像素點(diǎn)進(jìn)行聚類,將每個(gè)類的像素點(diǎn)的最大強(qiáng)度值與最大強(qiáng)度值和最小強(qiáng)度值差值之比升序排列,取序列中值作為該類所有像素點(diǎn)的統(tǒng)一的強(qiáng)度比值,用于分離鏡面反射分量.Souza 等人[11]發(fā)現(xiàn)相關(guān)像素點(diǎn)在最小最大色度空間中的分布呈三角形,故選出固定的3 個(gè)種子點(diǎn)將相關(guān)像素點(diǎn)聚類為3 類,估計(jì)出每個(gè)類的統(tǒng)一的強(qiáng)度比,去除圖像中的鏡面分量.以上方法都不同程度的存在圖像顏色失真和紋理丟失的問(wèn)題.Li 等人[12]利用黑色素和血紅蛋白的模型表示面部皮膚的漫反射顏色變化,并用這個(gè)物理模型約束高光去除的解決方案,這就不需要攝像機(jī)顏色校準(zhǔn),可以對(duì)在多種光照環(huán)境中的人臉圖像進(jìn)行高光去除,但這種方法需要人體皮膚和面部的物理和統(tǒng)計(jì)的先驗(yàn)知識(shí)并且只局限在臉部高光的去除.Yang 等人[13]利用多視角圖像序列去除鏡面反射分量,但通常沒(méi)有場(chǎng)景或物體的多幅多視角圖像.Ren 等人[14]將RGB 顏色空間轉(zhuǎn)換到球形坐標(biāo)系下,通過(guò)聚類像素點(diǎn)去除高光.Yang 等人[15]將最大漫反射色度估計(jì)值作為低通濾波器的值域,處理后的最大漫反射色度用于鏡面反射分量去除.Wang 等人[16]利用強(qiáng)度比去除高光分量的方法產(chǎn)生高光區(qū)域的圖像掩碼,隨后進(jìn)行圖像修復(fù)工作,但這只針對(duì)海洋表面圖像的解決方法.

本文針對(duì)高光圖像顏色失真或者紋理缺失的現(xiàn)象對(duì)像素聚類算法做了相關(guān)的改進(jìn),像素聚類的方法使用不需要用戶指定分類數(shù)的聚類方法x-means,自動(dòng)確定像素點(diǎn)的分類數(shù).實(shí)驗(yàn)結(jié)果表明,該方法能夠有效的去除圖像高光和改善圖像顏色失真的現(xiàn)狀.

1 雙色反射模型

大多數(shù)非均勻材質(zhì)的物體,如塑料制品、丙烯酸樹脂制品等,都同時(shí)表現(xiàn)出漫反射和鏡面反射.漫反射是由于物體表面和物體內(nèi)部折射率的變化引起的,而鏡面反射主要是由于物體表面和空氣折射率的不同引起的.根據(jù)雙色反射模型[6],假設(shè)光照顏色是均勻的,數(shù)碼彩色相機(jī)拍攝的非均勻物體圖像的像素x 位置處的RGB 顏色向量 I (x)可以表示成式(1):

Shen 等人[10]定義色度(Chromaticity)表示像素點(diǎn)顏色的歸一化,色度定義為式(2):

2 高光去除相關(guān)理論

本文去高光過(guò)程如圖1 所示.首先計(jì)算MSF 圖像(b),根據(jù)MSF 圖像計(jì)算所有像素點(diǎn)的最小漫反射度(c),最大漫反射(d).在最大最小色度空間對(duì)高光區(qū)域相關(guān)像素點(diǎn)進(jìn)行x-means 分類(e),根據(jù)分類結(jié)果估計(jì)強(qiáng)度比分離漫反射分量(f)和鏡面反射分量(g).

2.1 強(qiáng)度比

對(duì)于同種顏色的非均勻材質(zhì)的表面,可分為僅含有漫反射分量的像素和同時(shí)有漫反射分量和鏡面反射分量的像素,Shen 等人[10]在此基礎(chǔ)上,提出了強(qiáng)度比的概念,即利用漫反射像素點(diǎn)的最大強(qiáng)度值與強(qiáng)度范圍值(最大強(qiáng)度值減去最小強(qiáng)度值)之比,對(duì)于顏色非均勻的表面根據(jù)強(qiáng)度比值在最小最大色度空間中對(duì)像素進(jìn)行聚類,用來(lái)去除圖像中的高光.

圖1 高光去除過(guò)程

文獻(xiàn)[10]將強(qiáng)度比Iratio(x)的定義為式(4):

通過(guò)上述式(4)可知,漫反射像素點(diǎn)強(qiáng)度比的計(jì)算僅和漫反射色度值有關(guān),并且高光區(qū)域像素點(diǎn)強(qiáng)度比值大于只含有漫反射的像素點(diǎn).由于高光附近區(qū)域的漫反射像素點(diǎn)依然受到高光的影響,因此這些漫反射像素點(diǎn)的強(qiáng)度比值難以估計(jì).

2.2 漫反射色度估計(jì)

Shen 等人[8]提出用MSF 圖像計(jì)算漫反射色度.輸入的圖像減去 Imin加上 Imin的均值得到MSF 圖像Isf(x)=md(x)(Λ(x)?Λmin(x))+.通過(guò) Isf圖像可以計(jì)算像素點(diǎn)的漫反射色度其中 c ∈{r,g,b}.漫反射點(diǎn)的強(qiáng)度比僅依賴于最小漫反射色度和最大漫反射色度高光去除針對(duì)的是高光區(qū)域以及與之相關(guān)的區(qū)域,與高光無(wú)關(guān)的像素不應(yīng)參與后續(xù)計(jì)算.當(dāng) Imin(x)>時(shí)認(rèn)為該像素點(diǎn)與高光區(qū)域有關(guān),否則認(rèn)為不含有高光分量,在后續(xù)計(jì)算中應(yīng)被丟棄.

3 像素聚類方法的改進(jìn)

文獻(xiàn)[10]計(jì)算未分類的像素點(diǎn)與所有類中心點(diǎn)的色度距離,但是需要設(shè)置閾值控制像素點(diǎn)的分類,這導(dǎo)致分類結(jié)果依賴于閾值.文獻(xiàn)[11]選取初始的3 個(gè)種子點(diǎn),將相關(guān)像素點(diǎn)轉(zhuǎn)換到最小最大漫反射色度空間,迭代兩次K-means 算法[17]將每張圖像高光相關(guān)像素點(diǎn)分為3 類,估計(jì)出每類穩(wěn)健的強(qiáng)度比,用于去除高光.然而這種方法有一定的局限性,兩次K-means 算法迭代不一定達(dá)到收斂的狀態(tài)或者收斂到局部最優(yōu)解.

本文提出使用x-means 聚類算法[18]進(jìn)行相關(guān)像素的分類,該算法使用kd-tree 算法(k-dimensional tree)[19]對(duì)K-means 算法的每一輪迭代進(jìn)行了加速,根據(jù)貝葉斯信息準(zhǔn)則分?jǐn)?shù)(Bayesian Information Criterion score,BIC)確定一個(gè)最優(yōu)分類數(shù)K,無(wú)需用戶指定.每一輪迭代對(duì)每一類只進(jìn)行了2-means 分類,2-means 分類對(duì)局部最優(yōu)解不敏感,所以能夠達(dá)到更好的分類效果,分類效果如圖1(e)所示.

本文在最小最大漫反射色度空間用二范數(shù)定義兩個(gè)像素點(diǎn)的距離為式(5):

文獻(xiàn)[10]提出鏡面反射分量S (x)為式(6):

這時(shí) Imax(x)=Iratio(x)?Irange(x)會(huì)導(dǎo)致S (x)為零.故使用x-means 對(duì)像素進(jìn)行分類后,將每類像素點(diǎn)的強(qiáng)度比升序排列,取中值作為每類穩(wěn)健的強(qiáng)度比估計(jì)值,將每個(gè)類的像素點(diǎn)強(qiáng)度比設(shè)為該值,可以解決S(x)為零的問(wèn)題,從而分離鏡面反射分量如圖1(g)所示,得到的無(wú)高光圖如圖1(f)所示.

x-means 算法如算法1.

算法1.x-means 聚類算法1)隨機(jī)選取一個(gè)聚類中心點(diǎn)c(x,y).xi dΛ(xi,c)2)計(jì)算所有像素點(diǎn) 與中心點(diǎn)的漫反射色度距離 進(jìn)行初始分類.3)得到初始分類結(jié)果后,再依次找每一類的兩個(gè)相對(duì)離得較遠(yuǎn)的點(diǎn)作為初始中心點(diǎn),然后對(duì)當(dāng)前類運(yùn)行一次K-means (K=2)算法.4)計(jì)算每個(gè)類分裂前與分裂后的BIC 分?jǐn)?shù),BIC 值越大越好,以此決定保留分裂前的狀態(tài)還是分裂后的狀態(tài).5)回到2)進(jìn)行迭代,如果前后兩次迭代中心點(diǎn)的數(shù)量一樣,則結(jié)束整個(gè)分類過(guò)程.

4 實(shí)驗(yàn)結(jié)果與分析

文獻(xiàn)[10,11]都是基于強(qiáng)度比去除鏡面反射分量,為了驗(yàn)證本文方法的有效性,在Shen 和Zheng[10]的數(shù)據(jù)集上,將本文實(shí)驗(yàn)結(jié)果與這兩篇文獻(xiàn)做比較.本文實(shí)驗(yàn)平臺(tái)為Intel(R)Core(TM)i5-4590 CPU @ 3.30 GHz 12 GB RAM,使用OpenCV 2.3.1 庫(kù)[20]進(jìn)行測(cè)試.

本文測(cè)量標(biāo)準(zhǔn)高光去除數(shù)據(jù)集[10]中50 幅圖片的峰值信噪比(Peak Signal-to-Noise Ratio,PSNR).表1為本文方法與文獻(xiàn)[10,11]方法的PSNR 值比較,PSNR值越大說(shuō)明結(jié)果圖像越接近原圖像.結(jié)果顯示,本文的方法在3 幅圖像上的PSNR 值與文獻(xiàn)[10,11]比均有所提高.圖2 為本文方法與文獻(xiàn)[10,11]可視化結(jié)果的比較,可見本文在視覺效果上也有明顯改善.Shen 和Zheng等人[10],Souza 等人[11]在處理圖像時(shí)會(huì)有明顯的顏色不一致現(xiàn)象,如animals 圖2(c)、圖2(d)框選處,本文與[10,11]相比在框選處皆有明顯的改善,最大程度的保留了圖像紋理和顏色.

表1 不同方法的PSNR 值

表1 中對(duì)比了3 個(gè)算法的峰值信噪比.對(duì)于animals圖本文方法比Shen 等人[10]的峰值信噪比提高了0.99,比Souza 等人[11]峰值信噪比提高了0.67,峰值信噪比越高表明圖像越接近真實(shí)圖像.對(duì)于cups 圖,本文方法比Shen 等人[10]的峰值信噪比提高了0.52,比Souza等人[11]峰值信噪比提高了0.91.對(duì)于mask圖,本文方法比Shen 等人[10]的峰值信噪比提高了1.44,比Souza等人[11]峰值信噪比提高了0.79.

5 結(jié)論與展望

本文對(duì)使用強(qiáng)度比分離鏡面反射分量和漫反射分量去除高光進(jìn)行了理論分析和實(shí)驗(yàn)數(shù)據(jù)分析.針對(duì)像素點(diǎn)在色度空間的聚類數(shù)不穩(wěn)定提出使用x-means 聚類算法自動(dòng)確定聚類數(shù),實(shí)驗(yàn)結(jié)果表明,本文方法保護(hù)圖像紋理信息和顏色信息方面均高于傳統(tǒng)方法.

本文方法存在一定的局限性,不能處理大面積高光區(qū)域,高光區(qū)域過(guò)強(qiáng)接近白色時(shí)處理效果不理想,因此在高光去除領(lǐng)域仍然需要發(fā)展更大的高光去除數(shù)據(jù)集,這同時(shí)有利于深度學(xué)習(xí)策略提供高質(zhì)量的高光去除.因此,未來(lái)研究方向是如何去除大面積高光.

圖2 不同算法處理結(jié)果