一種簡單的單幅灰度圖像高光檢測與恢復(fù)方法

尹芳 陳田田 付自如 于曉洋

摘 要：高光的檢測與去除一直是計算機視覺領(lǐng)域的一個熱點問題，現(xiàn)有的大多數(shù)方法主要都是針對彩色圖像，但是灰度圖像的應(yīng)用又很廣泛，對于只包含亮度信息的灰度圖像的高光檢測和去除是一個難點問題，針對這一問題，提出了一種簡單的單幅灰度圖像高光檢測方法。該方法對二維亮度飽和度直方圖方法進(jìn)行改進(jìn)，并利用漫反射分量和鏡面反射分量的分布獲取高光亮度值范圍，對可能存在的高光區(qū)域進(jìn)行檢測，最后，利用基于BSCB模型的圖像修復(fù)方法去除高光。實驗結(jié)果表明本文算法細(xì)節(jié)處理的較好，能夠有效地檢測出灰度圖像中鏡面反射區(qū)域，提高了圖像高光區(qū)域的修復(fù)率。

關(guān)鍵詞：高光檢測； 反射模型； 二維亮度飽和度直方圖； BSCB模型

DOI：10.15938/j.jhust.2018.02.015

中圖分類號： TP391

文獻(xiàn)標(biāo)志碼： A

文章編號： 1007-2683（2018）02-0086-05

Abstract：Specular detection and removal has been a hot topic in the field of computer vision. Most of the existing methods are for color images， but grayscale images are widely used， for a single grayscale image with only intensity information， specular detection and removal becomes a difficult issue. In this paper， a simple specular detection method of single grayscale image is proposed. Intensity-Saturation （MS）diagram method is improved and the distribution of diffuse component and specular component is used to obtain high brightness range. Possible specular area is detected with proportion. Finally， BSCB model-based the image restoration method removal highlights. Experimental results show that specular detection algorithm can better deal with the details of specular areas， find specular reflection area effectively in the single grayscale image and improve the repair rate specular areas of the image.

Keywords：highlights detection； reflection model； Intensity-Saturation diagram； BSCB model

0 引 言

物體表面的高光反映的主要是光源的特征，在視覺效果上卻可以看作是物體的表面特征，高光的存在往往會遮蓋物體表面的紋理、損壞物體邊緣的輪廓、改變物體表面的顏色，直接導(dǎo)致了物體表面局部區(qū)域的信息丟失。這對計算機視覺領(lǐng)域中的圖像跟蹤、景物分析、場景重建等會帶來很大的干擾[1-2]。為了能夠準(zhǔn)確無誤的提取出物體的特征信息，為了確保圖片能夠在圖像跟蹤、景物分析、場景重建等領(lǐng)域得到應(yīng)用，高光的檢測和去除技術(shù)是至關(guān)重要的?，F(xiàn)有的大多數(shù)高光檢測方法主要是針對彩色圖片，但是現(xiàn)有的在計算機視覺領(lǐng)域當(dāng)中灰度圖像又是很常見的，對于擁有少量可用信息的灰度圖像高光檢測和去除是一個難點問題，針對此問題本文提出了一種簡單的單幅灰度圖像高光檢測方法。該方法對二維亮度飽和度直方圖方法進(jìn)行改進(jìn)，并利用漫反射分量和鏡面反射分量的分布獲取高光亮度值范圍，對可能存在的高光區(qū)域進(jìn)行檢測，最后，利用基于BSCB模型的圖像修復(fù)方法去除高光。

1 相關(guān)工作

現(xiàn)有的大多數(shù)高光檢測方法主要針對的是彩色圖片進(jìn)行分析。文[3]根據(jù)高光通常隨著光源的位置變化而變化，利用多閃光相機獲得一系列不同的光源的帶高光圖片，然后利用泊松方程來解決高光檢測問題。文[4]觀測到物體上的高光的位置往往不固定，會隨著光源的變化而改變，因此，提出利用光場相機從不同光源獲得一組高光圖片，通過對所得數(shù)據(jù)分析檢測出高光區(qū)域。文[5]利用多基線立體視覺匹配方法和顏色分析法從多個視角所獲得的輸入圖像中恢復(fù)出無高光圖。文[6]基于雙色反射模型運用獨立成分分析方法從多幅圖片中分離出鏡面反射和漫反射成分。文[7]提出了一種基于多視角的高光移除新方法，該方法包含了三個模塊分別是光照色度估計、關(guān)聯(lián)像素查找和高光去除。盡管以上的方法都能夠獲得較好的高光檢測和去除的效果，但是這些算法都需要用到圖像序列，因而在很大程度上限制了它們的應(yīng)用領(lǐng)域。

文[8]對RGB顏色空間的反射分量進(jìn)行分析，使用非負(fù)矩陣分解法分離鏡面反射分量。文[9]對RGB顏色空間的反射分量進(jìn)行分析，并用主成分分析法去除高光，由于主成分分析法的對光源顏色向量和漫反射分量的估計往往是不準(zhǔn)確的，從而在很大程度上降低了該方法的通用性。文[10]提出的高光去除方法是在RGB顏色空間的基礎(chǔ)上利用顏色空間轉(zhuǎn)換法擴展到Y(jié)UV顏色空間。文[11]提出用光照約束補色（inpainting）的方法來進(jìn)行高光的移除，結(jié)合光照約束條件，引入補色方法，該方法不同于一般的高光圖像去除方法，充分利用了高光像素所包含的引導(dǎo)修補過程中的一些有用信息。2006年，文[12]在雙色反射模型的基礎(chǔ)上通過設(shè)置最大漫反射色度值可以得到“無高光圖”（specular-free image），引入“鏡面反射到漫反射方法”（specular-to-diffuse mechanism）和基于對數(shù)微分法進(jìn)行鏡面反射的分離，能夠有效地去除紋理復(fù)雜圖像中的高光區(qū)域。文[13]和Shen等[14-15]根據(jù)文[12]的“無高光圖”這個概念，并對其定義進(jìn)行了改進(jìn)，Shen等人提出了“MSF圖”（modified specular free image）同時通過使用最小二乘法求得漫反射和鏡面反射成分的比例；Yoon等提出“無高光兩帶圖”（specular-free two-band image），通過在每個像素計算局部反射分量的比率來分離高光。文[16-17]沿用了文[13]的算法思想，并通過不同的方法對最大漫反射分量的色度值的進(jìn)行篩選來提高算法的實時性。文[18]通過對RGB顏色空間的旋轉(zhuǎn)來達(dá)到去除鏡面反射分量的效果。文[19]提出一中針對亮度空間的顯著性檢測指導(dǎo)的高光區(qū)域修復(fù)算法，在亮度空間應(yīng)用顯著性模型，利用圖像的鄰域和邊緣信息實現(xiàn)高光區(qū)域的自動檢測和標(biāo)記，運用改進(jìn)的Exemplar-Based算法去除高光。這些方法主要是對彩色圖片進(jìn)行分析，不能適用于灰度圖像的高光檢測和恢復(fù)。

為此，本文將二維亮度飽和度直方圖方法改進(jìn)為一種簡單的灰度圖像高光檢測方法，有效地檢測高光區(qū)域。最后，利用基于BSCB模型的圖像修復(fù)方法去除高光。本文提出的高光檢測和去除算法流程如圖1所示。

2 鏡面高光區(qū)域檢測

2.1 二維亮度飽和度直方圖方法

二維亮度飽和度（ intensity-saturation，MS）直方圖方法[20]是一種簡單的單幅彩色圖像高光檢測方法，對于一幅彩色圖像假設(shè)r，g，b分別代表像素點的紅、綠、藍(lán)三個通道，m代表圖像亮度，s代表圖像的飽和度，分別有以下定義

3 基于BSCB模型的圖像修復(fù)方法

高光區(qū)域的補色過程可以看作對原圖像的修補過程。而大多數(shù)補色方法都是針對彩色圖片進(jìn)行分析，無法應(yīng)用在單幅灰度圖像中。BSCB修復(fù)方法是Bertalmio，Sapiro，Caselles 和 Ballester根據(jù)手工修補藝術(shù)家實際的圖像修補過程，建立了一種基于偏微分方程的圖像修補方法，它的主要思想是依據(jù)手工修復(fù)的經(jīng)驗，利用物理學(xué)中的熱擴散方程將邊緣信息沿著等照度線方向擴散到待修復(fù)區(qū)域內(nèi)，以便得到較好的修復(fù)效果[21-22]。BSCB模型是各向異性擴散，充分考慮了等照度線延長時邊界交角的情況，防止了一般的圖像修復(fù)過程邊緣結(jié)構(gòu)失真的情況，修復(fù)效果更接近人的視覺感受，如圖4所示。

假設(shè)u0（i，j）是大小為M×N的帶修補高光圖像，修補過程就是反復(fù)對高光區(qū)域進(jìn)行迭代，將迭代過程中產(chǎn)生的一系列中間結(jié)果看作是一組圖像序列un（i，j，t）（n是自然數(shù)），最終獲得最佳高光修補圖像。

BSCB模型修補過程的兩個基本步驟如下：

重復(fù)交替進(jìn)行步驟（1）和（2），直至輸出序列圖像基本不變，即達(dá)到穩(wěn)定的狀態(tài)，圖像高光去除過程完成。

4 實 驗

為了驗證本文方法的有效性，將本文算法在真實圖片上進(jìn)行實驗，其中圖3為高光檢測結(jié)果，明顯可以看出本文算法在細(xì)節(jié)處理的較好，能夠有效地檢測出灰度圖像中隱藏的細(xì)小的高光區(qū)域。圖5為高光去除結(jié)果，該方法只對高光區(qū)域的圖像進(jìn)行修復(fù)處理，修復(fù)的效果較合理，防止了一般高光修復(fù)算法易造成原始圖像中非高光區(qū)域的圖像失真的情況，較好地去除了圖像中的高光區(qū)域，基本恢復(fù)了待修復(fù)圖像的原貌。為了進(jìn)一步量化比較，驗證本文方法的有效性，將原圖像和去除高光圖像的直方圖進(jìn)行對比，如圖6所示。直方圖的整體的亮度值分布變化不大，亮度值較高的像素減少了。

5 結(jié) 論

灰度圖像高光的檢測與去除一直是計算機視覺領(lǐng)域的一個難點問題，為此，本文提出了一種簡單的單幅灰度圖像高光檢測方法。該方法對二維亮度飽和度直方圖方法進(jìn)行改進(jìn)，并利用漫反射分量和鏡面反射分量的分布獲取高光亮度值范圍，對可能存在的高光區(qū)域進(jìn)行檢測，最后，依據(jù)手工修復(fù)的經(jīng)驗，利用BSCB模型的圖像修復(fù)方法將邊緣信息沿著等照度線方向擴散到待修復(fù)區(qū)域內(nèi)去除高光。實驗結(jié)果表明，本文算法細(xì)能夠有效地檢測出灰度圖像中高光區(qū)域，防止了一般高光修復(fù)算法易造成原始圖像中非高光區(qū)域的圖像失真的情況，提高了圖像高光區(qū)域的修復(fù)率。

參 考 文 獻(xiàn)：

[1]韓書娜， 幺宏偉， 范劍英， 等. 指紋圖像分割與增強算法[J]. 哈爾濱理工大學(xué)學(xué)報， 2011， 16（1）： 98-101.

[2]楊玲， 甄志明， 劉國紅， 等. 基于多尺度邊緣提取的薄霧圖像處理方法[J]. 哈爾濱理工大學(xué)學(xué)報， 2014， 19（5）： 94-98.

[3]FERIS R， RASKAR R， TAN K H， et al. Specular Reflection Reduction with Multi-flash Imaging[C]// Computer Graphics and Image Processing. Los Alamitos： IEEE Computer Society， 2004： 316-321.

[4]TAO M W， SU J C， WANG Tingchun， et al. Depth Estimation and Specular Removal for Glossy Surfaces Using Point and Line Consistency with Light-field Cameras[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2016， 38（6）： 1155-1169.

[5]LIN S， LI Y， KANG S B， et al. Diffuse-specular Separation and Depth Recovery from Image Sequences[M]. Heidelberg， Springer Verlag， 2002： 210-224.

[6]UMEYAMA S， GODIN G. Separation of Diffuse and Specular Components of Surface Reflection by Use of Polarization and Statistical Analysis of Images[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2004， 26（5）： 639-647.

[7]YANG Qingxiong， WANG Shengnan， AHUJA N， et al. A uniform Framework for Estimating Illumination Chromaticity， Correspondence， and Specular Reflection[J]. IEEE Transactions on Image Processing， 2011， 20（1）： 53-63.

[8]MADOOEI A， DREW M S.Detecting Specular Highlights in Dermatological Images[C]//IEEE International Conference on Image Processing （ICIP）. Los Alamitos： IEEE Computer Society， 2015： 4357-4360.

[9]KLINKER G J， SHAFER S A， KANADE T. The Measurement of Highlights in Color Images[J]. International Journal of Computer Vision， 1988， 2（1）： 7-32.

[10]SCHLUNS K， KOSCHAN A. Global and Local Highlight Analysis in Color Images[C]// Proc. 1st Int. Conf. Color Graphics Image Processing. Los Alamitos： IEEE Computer Society， 2000： 300-304.

[11]TAN R T， IKEUCHI K. Separating Reflection Components of Textured Surfaces Using a Single Image[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2005， 27（2）： 178-193.

[12]TAN Ping， LIN S， QUAN Long. Separation of Highlight Reflections on Textured Surfaces[C]// IEEE Computer Society Conference on Computer Vision and Pattern Recognition. New York， United states. Los Alamitos： IEEE Computer Society， 2006， 2： 1855-1860.

[13]YOON K J， CHOI Y， KWEON I S. Fast Separation of Reflection Components Using a Specularity-invariant Image Representation[C]// 2006 IEEE International Conference on Image Processing. Los Alamitos： IEEE Computer Society， 2006： 973-976.

[14]SHEN H L， ZHANG H G， SHAO S J， et al. Chromaticity-based Separation of Reflection Components in a Single Image[J]. Pattern Recognition， 2008， 41（8）： 2461-2469.

[15]SHEN H L， CAI Q Y. Simple and Efficient Method for Specularity Removal in an Image[J]. Applied Optics， 2009， 48（14）： 2711-2719.

[16]YANG Qingxiong， TANG Jinhui， AHUJA N. Efficient and Robust Specular Highlight Removal[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2015， 37（6）：1304-1311.

[17]JUNG C， JIAO L， QI H. Specular Highlight Removal Using Reflection Component Separation and Joint Bilateral Filtering[M]. Heidelberg， Springer Verlag， 2012： 513-521.

[18]HAN S， TAO W， WANG D， et al. Image Segmentation Based on GrabCut Framework Integrating Multiscale Nonlinear Structure Tensor[J]. IEEE Transactions on Image Processing， 2009， 18（10）： 2289-2302.

[19]王祎璠， 姜志國， 史駿， 等. 顯著性檢測指導(dǎo)的高光區(qū)域修復(fù)[J]. 中國圖象圖形學(xué)報， 2014， 19（3）： 393-400.

[20]ORTIZ F， TORRES F. Automatic Detection and Elimination of Specular Reflectance in Color Images by Means of MS Diagram and Vector Connected Filters[J]. Systems， Man， and Cybernetics， Part C： Applications and Reviews， 2006， 36（5）： 681-687.

（編輯：關(guān) 毅）