基于形態(tài)和小波的低紋理圖序列高光修復(fù)研究

唐露新 張宇維 宋有聚 王小桂 于麗敏

摘要：高光區(qū)域多出現(xiàn)于低紋理材料的平滑表面上，嚴重影響圖像采集處理效果。針對現(xiàn)有圖像去高光技術(shù)中過分依賴特定對象紋理特征的問題，該文提出一種利用形態(tài)學(xué)重建檢測高光區(qū)域、利用小波變換修復(fù)高光區(qū)域低紋理圖像序列的高光檢測與抑制方法。對地下混凝土、金屬等管道內(nèi)壁表面高光區(qū)域進行修復(fù)，取得較好效果;通過修復(fù)膠合板等多種低紋理經(jīng)典材質(zhì)，對比其他方法，并應(yīng)用差分圖像的均值、方差與互相關(guān)系數(shù)評價修復(fù)效果。結(jié)果表明，修復(fù)后的多種材質(zhì)與原圖相似度在0.87以上，比其他方法的相似度平均提高9.7%與6.7%，且可同時應(yīng)用于多種材料的高光區(qū)域處理，具有較好的應(yīng)用前景。

關(guān)鍵詞：低紋理;形態(tài)學(xué)重建;小波變換;高光修復(fù)

中圖分類號：TP 391.41文獻標志碼：A 文章編號：1674-5124（2019）04-0109-07

0引言

工業(yè)生產(chǎn)中經(jīng)常利用機器視覺技術(shù)檢測金屬、玻璃、皮質(zhì)等低紋理材質(zhì)的曲率、平整度、裂痕缺陷，這些材質(zhì)的反射性質(zhì)使采集的圖像產(chǎn)生高光區(qū)域，導(dǎo)致圖像有效信息無法識別，嚴重影響圖像質(zhì)量和后續(xù)處理。例如，利用CCTV（closed-circuittelevision）系統(tǒng)檢測排水管道內(nèi)壁時，輔助光源產(chǎn)生的高光區(qū)域掩蓋了部分破裂、錯口等缺陷區(qū)域，導(dǎo)致檢測效果不佳。

早在1985年數(shù)字圖像處理技術(shù)剛剛興起時，Shafer等針對圖像高光問題提出雙光反射色光模型，該理論將物體表面的光線分為漫反射色光和鏡面反射光，同過光譜分析或顏色統(tǒng)計，就可消除高光區(qū)域，1988年Kliner就基于該理論提出了分離T形分布的顏色矢量，濾除圖像中的鏡面反射高光，取得一定效果。

近年來，高光修復(fù)技術(shù)大體分為兩類。一類是基于上述模型的單幅圖像去高光方法，如Nguyen通過分析鏡面反射張量的顯著性和方向信息，估計漫反射分布，在高紋理和多色圖像上取得了較好的去高光效果;柴玉亭將高光視作噪聲，分析漫反射光條和高光光條頻譜建立高光濾波器濾除高光;尹芳利用均場退火法檢測人臉高光區(qū)域并利用反射模型分別對鏡面反射分量和漫反射分量的分布進行建模，但這些方法受圖像噪聲影響嚴重，且在不同材質(zhì)上的處理性能參差不齊，不具有普適性;Souza在雙光反射模型的基礎(chǔ)上，提出了一種利用GPU加速計算的像素級快速聚類照明色度方法，以相似像素修復(fù)高光區(qū)域，但對于顏色模型單一的對象，該方法表現(xiàn)不佳;Banikm利用閾值法提取低動態(tài)范圍圖像中的高光區(qū)域，然后利用鄰域像素對其進行修復(fù)，然后將修復(fù)后的圖片通過色調(diào)映射轉(zhuǎn)換為高動態(tài)范圍圖像，但這種方法適用于小面積弱高光區(qū)域修復(fù)問題。

另一類是基于紋理特征的圖序列修復(fù)方法，通過分析高光區(qū)域周圍的紋理特，匹配融合多視角下拍攝的圖像，可以在保留原紋理的基礎(chǔ)上近乎完美的修復(fù)高光。該理論由Lee在1992年率先提出，近年來，修復(fù)高光取得了一定效果。例如汪鋮杰利用Canny算子提取輪廓特征，匹配左右視圖，融合后去除塑料薄膜圖像的高光區(qū)域，然而這種方式只不能匹配含有旋轉(zhuǎn)偏差的圖片;何嘉林采用ORB特征點作為紋理匹配，利用泊松克隆恢復(fù)高光，但在低紋理情況下，高光區(qū)域與其他無關(guān)區(qū)域相比較顯著性不強，檢測效果不理想;Alsaleh針對微創(chuàng)手術(shù)內(nèi)窺圖像中的高光區(qū)域，采用基于顏色變化和梯度信息檢測高光區(qū)域方法，并根據(jù)圖形數(shù)據(jù)結(jié)構(gòu)進行修復(fù)，該方法同樣需要內(nèi)窺圖形的復(fù)雜紋理作為分析對象，對低紋理圖形的修復(fù)效果不佳。

綜上所述，現(xiàn)有技術(shù)在處理低紋理材質(zhì)的高光區(qū)域時仍有通用性不強、效果不夠理想等諸多不足。本文提出一種針對低紋理圖像序列的高光檢測與抑制方法。使用金屬、瓷磚等材質(zhì)模擬多種工業(yè)檢測應(yīng)用場合，從不同平移位置拍攝的多幅低紋理圖像序列中選取參考幀，在參考幀周圍選取多個信息幀;采用形態(tài)學(xué)重建檢測高光區(qū)域，并利用小波變換，降低修復(fù)過程對紋理的依賴，配準融合信息幀與參考幀，修復(fù)參考幀的高光區(qū)域;最終利用差分圖像的均值、方差及修復(fù)圖像與原圖的互相關(guān)系數(shù)評價相似程度與修復(fù)效果。

1問題分析與方法原理

1.1高光區(qū)域檢測問題分析

高光區(qū)域在數(shù)字圖像中具有性質(zhì)：1）一定面積的連通域;2）像素均值較高;3）像素方差較小;4）邊緣梯度較大。通常根據(jù)上述性質(zhì)就能檢測出高光區(qū)域在圖像中的位置，但存在的問題是當圖像中包含類上述性質(zhì)的非高光連通域時，高光區(qū)域便難以檢測和定位。為剔除無關(guān)區(qū)，準確檢測高光區(qū)域，常用閾值處理反射建模、顯著性識別等方法。物體反射率受自身材質(zhì)、粗糙度、曲率、紋理、光源位置、拍攝角度等因素影響，數(shù)學(xué)建模過程過于復(fù)雜且泛化能力較低;而采用顯著特性提取高光區(qū)域容易將原始高光區(qū)域過分縮小，造成區(qū)域不完整，因此一種符合多種材料及性能要求的高光檢測方法需要既能適應(yīng)各種低紋理材質(zhì)、又能保證高光區(qū)域完整。

1.2高光區(qū)域修復(fù)問題分析

包含信息遠多于單幅圖像的圖像序列降低了高光修復(fù)難度。高光區(qū)域會根據(jù)拍攝位置不同發(fā)生移位或隱現(xiàn)，解決了單幅圖像反射模型的病態(tài)條件，近乎完美地恢復(fù)參考圖像的高光區(qū)域而不必做鄰域近似。但帶來的問題是如何匹配多副圖像的相對于參考圖像的高光區(qū)域?；诩y理特征的匹配算法要么難以從圖像上提取到足夠數(shù)量的特征，要么產(chǎn)生大量弱匹配特征點，導(dǎo)致大量計算冗余和誤匹配;而不同角度拍攝的圖像亮度不同，圖像融合時容易在導(dǎo)人的信息與源圖像之間出現(xiàn)明顯拼接痕跡，影響修復(fù)效果。

1.3基于形態(tài)學(xué)與小波的高光檢測與修復(fù)方法原理

針對上述問題，本文提出了基于形態(tài)學(xué)重建和小波變換的高光檢測與修復(fù)方法，流程如圖1所示，在高光區(qū)域檢測中結(jié)合了顯著性算法與形態(tài)學(xué)操作，首先將顯著性算法的結(jié)果進行形態(tài)學(xué)腐蝕，剔除其他無關(guān)區(qū)域，然后使用形態(tài)學(xué)重建恢復(fù)，實現(xiàn)低紋理材質(zhì)檢測盡可能完整和準確的高光區(qū)域。在高光區(qū)域修復(fù)方面，利用小波變換的多分辨率性和時頻共存特性，利用圖像的各個分量，配準參考幀與信息幀的位置，從而降低了對于紋理的依賴，并將參考幀的高光區(qū)域利用信息幀中對應(yīng)無高光影響的區(qū)域進行融合修復(fù)。

2高光區(qū)域檢測

對于帶有干擾噪聲的大面積區(qū)域圖像分割問題，噪聲與待分割區(qū)域具有相同灰度特性。本文研究對象的圖像顯著性不僅含有高光區(qū)域，白色背景以及圖像中的脈沖噪聲也具有較高的灰度值，因此單獨使用顯著性算法，會將非高光區(qū)域誤分割，以圖2所示為例，圖2（a）為帶有高光區(qū)域的地下排水管道內(nèi)窺圖像，圖2（b）為顯著性區(qū)域分割結(jié)果，可見除了高光區(qū)域外，圖中左上角、右側(cè)噪聲及水中倒影部分等非高光也被當作高光區(qū)域。本文利用形態(tài)學(xué)重建檢測高光區(qū)域是基于測地膨脹的連通域完全重建算法，該方法可解決這一問題，如圖3所示，圖3（a）為經(jīng)過形態(tài)學(xué)腐蝕后殘留的高光區(qū)域，對圖3（a）進行膨脹，并將膨脹結(jié)果和圖2（b）相與，重復(fù)多次后即可得到結(jié)果圖3（b），圖中可見在高光區(qū)域被完整檢測出來的基礎(chǔ)上，其他非高光區(qū)域噪聲全被濾除。計算一次測地膨脹的結(jié)果：

3高光區(qū)域修復(fù)

低紋理圖像難以根據(jù)灰度梯度獲取特征點進行匹配，小波變換將圖像頻域特性以金字塔的形式逐層給出，通過分析每一層的直流、水平、豎直以及斜邊特征，能夠豐富圖像的頻域信息，有利于后續(xù)圖像匹配，如圖4（a）為瓷磚材質(zhì)高光圖像，其紋理相對簡單，除高光區(qū)域外，其他部位相似度較高;經(jīng)過五層小波變換后，如圖4（b）所示，可以看到較為豐富的圖像細特征，小波變換的基本形式為：

5）重復(fù)步驟1），直到融合到第一層，得到最終融合結(jié)果。

驗證發(fā)現(xiàn)，在步驟1）中，子圖像尺寸應(yīng)為原圖尺寸的1/2⁴～1/2³，且對圖像進行3層小波分解并取參考的前后各5連續(xù)幀作為信息幀時，修復(fù)效果較好。

4實驗測試

測試硬件平臺為NVIDIA Jetson Tx2，運行模式選擇為Max-Q，此時CPU主頻為1-2GHz，核心數(shù)為4、RAM 4G。系統(tǒng)環(huán)境為Ubuntul6.04，使用Open-CV3.4及Matlab圖形庫編程。使用搭載SDl090工業(yè)型全方位變焦彩色攝像頭的CCTV管道檢測六輪驅(qū)動爬行機器人系統(tǒng)，其影像模塊包括44萬像素分辨率的SONY 530線圖像傳感器、4顆高亮度LED主光源以及6顆環(huán)形無影LED輔助光源，采集對象為直徑1500mm的混凝土及金屬管道內(nèi)壁圖像序列。測試本文方法去高光效果，如圖6、圖7所示，兩圖中（a）為高光圖，（b）為高光檢測二值圖結(jié)果，（c）為修復(fù)結(jié)果，如圖8、9所示是文黼4，5，9]兩種管道去高光方法，其中（a）～（d）分別為本文及文獻14，5，9]去高光效果;圖8（b）（文獻[4]）高光區(qū)域面積最小，但細節(jié)部分丟失，本文方法圖8（a）在次小高光面積下保留了大部分缺陷細節(jié);圖9（c）（文獻[5]）與本文圖9（a）去除高光方法效果相近，但同時去除了部分由于錯口產(chǎn)生的非高光區(qū)域。

管道內(nèi)壁缺陷檢測不僅依賴高光處理，也取決于檢測系統(tǒng)所用光源。為客觀測試本方法去高光效果，使用圖漾深度三維相機FM810的彩色通道，在固定光源下采集膠合板桌面、瓷磚面、金屬表面、膠皮表面、紙箱平面等對象的320x240圖像序列。這些材質(zhì)常見高光區(qū)域且具有廣泛代表性，不僅包含了管道檢測，也涵蓋了各類制造檢測行業(yè)。處理結(jié)果分別如圖10-14所示，（a）為參考幀，（b～c）為從參考幀的信息幀中選取的兩幀，（d）為高光區(qū)域檢測結(jié)果的二值圖像，（e）為經(jīng)本文方法處理后的參考圖，（f）為無高光原始圖。通過觀察（d）可知本文方法能夠完整地檢測圖像中的高光區(qū)域，通過比較（e）與（f），高光區(qū)域復(fù)原效果良好。通過對圖10～14的（e）與（f）圖像差值計算得到均值與方差，并根據(jù)式（8）得到（e）與（f）的相關(guān)系數(shù)，計算兩幅圖像的相似程度得表2，從表中得到各組圖（e）和（f）差值圖像均值與方差近似為0，相似度接近為1，表明修復(fù)的參考幀與原始圖像相似度高，高光區(qū)域的復(fù)原效果良好。選取表2中材質(zhì)1、2對應(yīng)圖10、11相似度最低與最高的兩組圖像，將本文方法與文獻14，5，9]進行對比，對比如圖15-17所示。

其中（a）和（c）分別為膠合板與瓷磚材質(zhì)圖像的高光區(qū)域檢測結(jié)果的二值圖像，（b）與（d）為對應(yīng)高光修復(fù)結(jié)果，表3為3種方法得到的差值圖像統(tǒng)計特性表，表中結(jié)果表明本文方法在材質(zhì)1與2的紋理圖像中，相對于文獻的方法具有較好修復(fù)能力。其中，對于材質(zhì)1，本文方法相似度較3種文獻方法分別提高了7.6%、4.5%、15.4%，對于材質(zhì)2分別提高了4.9%、14.1%、1.2%。

針對高紋理對象的高光修復(fù)問題，本方法與文獻[4，5，9]進行了對比，如圖18所示，（a）與（b）分別為高紋理對象的高光圖和原始圖，（c）～（f）分別為本文方法與其他3種方法的去高光效果圖，通過觀察驗證可見，本方法細節(jié)還原程度與修復(fù)效果較其他3種方法更優(yōu)。

5結(jié)束語

本文面向低紋理圖像的高光修復(fù)結(jié)合了顯著區(qū)域檢測和形態(tài)學(xué)修復(fù)方法，可以準確有效定位高光區(qū)域，再使用多層小波變換提取圖形深層特征，降低了圖序列高光修復(fù)問題中對紋理的依賴性。通過應(yīng)用于排水管道內(nèi)壁、多種低紋理工業(yè)材料和高紋理圖像等各類圖像高光修復(fù)，性能對比表明，本方法具有修復(fù)效果更好、可同時應(yīng)用在多種材料的高光區(qū)域處理的優(yōu)點，應(yīng)用前景較好。目前本方法需要根據(jù)測試對象人工設(shè)定形態(tài)學(xué)修復(fù)及小波參數(shù)，以后可進一步利用圖像質(zhì)量評價系數(shù)自適應(yīng)調(diào)整形態(tài)學(xué)修復(fù)階數(shù)，建立小波修復(fù)效果閉環(huán)評價系統(tǒng)，動態(tài)修改小波參數(shù)，提高算法的智能化程度。