基于HDRI的高反光金屬表面缺陷檢測方法研究

馮 維，劉紅帝，湯少靖，孫國棟，趙大興

(1.湖北工業(yè)大學(xué)機械工程學(xué)院，湖北武漢 430068；2.現(xiàn)代制造質(zhì)量工程湖北省重點實驗室，湖北武漢 430068)

0 引言

具有高反光表面的機械零部件因其特殊的反光特性，導(dǎo)致缺陷表露不清晰，降低表面缺陷檢測成功率。傳統(tǒng)的檢測方法仍然依靠大量人工憑借肉眼檢測，不僅影響工作效率，而且由于工人視覺疲勞、個人評判標(biāo)準(zhǔn)等因素存在，直接影響零件的使用壽命和性能[1]。除此之外，還有采用激光探傷法、超聲掃描檢測法、紅外檢測法[2-3]等無損檢測方法，但因其檢測成本較高，大多局限于部分高精密零件抽檢。

機器視覺的引入提高了金屬表面缺陷檢測的效率和精度，可以通過從圖像中提取信息并處理后實現(xiàn)最終的智能檢測與控制。近年來，國內(nèi)外學(xué)者采用機器視覺技術(shù)對金屬表面缺陷檢測的研究越來越深入。Truong等提出一種自動閾值技術(shù)，使用熵權(quán)方案可以檢測出極小區(qū)域內(nèi)的表面缺陷[4]；Gaidhane等以對稱矩陣的秩作為缺陷檢測的相似度度量指標(biāo)，提出了一種針對電路板表面缺陷檢測的方法[5]；Withayachumnankul等開發(fā)了一種基于圖像增強的區(qū)域濾波核，實現(xiàn)了對硬盤驅(qū)動器表面裂紋缺陷識別的在線檢測功能[6]；顏云輝等[7-8]針對帶鋼表面缺陷檢測邊緣模糊的難題，提出一種自適應(yīng)雙倒數(shù)濾波算法，通過降低權(quán)值以增強圖像邊緣，并完成針對硅鋼表面的缺陷分割；湯勃等提出一種支持向量機算法，通過降低圖像維數(shù)，有效提高了鋼板表面缺陷檢測效率[9]。郝勇等采用機器視覺方法對軸承滾珠進行檢測，通過對工業(yè)相機采集得到的單幀圖像作歸一化處理，檢測出滾珠遺漏及其表面缺陷等圖像信息[10]。然而，由于具有高反光特性的零件表面反射率高，產(chǎn)生的局部鏡面反射光容易使工業(yè)數(shù)字相機采集的圖像亮度出現(xiàn)局部過飽和，造成檢測盲區(qū)，導(dǎo)致被測表面質(zhì)量信息隱沒在周圍復(fù)雜環(huán)境中[11-13]。上述方法無法解決高反光金屬表面存在的局部亮度過飽和問題，其根本原因是普通工業(yè)數(shù)字相機的動態(tài)范圍[14]不夠。

為解決高反光特性零件表面過曝光區(qū)域的視覺檢測難題，提出一種基于高動態(tài)范圍成像(high dynamic range imaging，HDRI)的高反光金屬表面缺陷檢測方法，并針對傳統(tǒng)Debevec算法中選取采樣點較多，處理時間較長的問題，提出一種結(jié)合最小二乘法與S型函數(shù)模型的相機響應(yīng)曲線快速標(biāo)定算法。通過改進的相機響應(yīng)函數(shù)標(biāo)定算法合成一幅高動態(tài)范圍(high dynamic range，HDR)圖像；然后應(yīng)用數(shù)字圖像處理技術(shù)實現(xiàn)對高反光金屬表面的HDR圖像的表面缺陷檢測。實驗結(jié)果表明，改進的相機標(biāo)定算法具有計算量小、標(biāo)定速度快的優(yōu)點，而且合成的HDR圖像細節(jié)清晰，滿足高反光表面缺陷檢測要求，可從解決高反光金屬表面存在的局部亮度過飽和的視覺成像難題，有效提高視覺檢測正確率。

1 基于HDRI表面缺陷檢測基本原理

引入HDRI技術(shù)可準(zhǔn)確地描述自然場景的光學(xué)信息，提高圖像合成質(zhì)量，解決高反光金屬表面存在的局部亮度過飽和問題，將零件表面劃痕、裂紋、凹痕、龜裂、色斑等細節(jié)信息顯示到輸出設(shè)備上。

本文基于HDRI技術(shù)的高反光金屬表面缺陷檢測方法的基本原理為：搭建機器視覺實驗平臺采集同一靜態(tài)場景下不同曝光時間的高反光零件表面圖像序列；引入S型函數(shù)模型表示相機曝光量與圖像像素值間的函數(shù)關(guān)系，通過求解最小二乘法的目標(biāo)函數(shù)得到圖像對應(yīng)亮度信息，擬合出相機響應(yīng)曲線；根據(jù)已標(biāo)定的采樣點，結(jié)合改進的相機響應(yīng)函數(shù)，在輻照域下求得像素值對應(yīng)的真實場景照度值，最終合成HDR圖像；對HDR圖像做基于雙邊濾波的局部色調(diào)映射處理，將獲得的圖像顯示到低動態(tài)(普通)輸出設(shè)備上；基于閾值分割與特征識別技術(shù)對高反光金屬表面進行缺陷檢測。算法流程圖如圖1所示。

圖1 基于HDRI的缺陷檢測流程圖

2 HDRI算法實現(xiàn)

2.1 序列圖像的采集

在同一穩(wěn)定光照環(huán)境下，保持相機與被測零件靜止不動，為更加準(zhǔn)確地顯示自然場景，拍攝場景應(yīng)同時包含明亮和黑暗區(qū)域。通過改變相機的曝光時間，分別為5、10、15、20、25、30、35、40、45、50 ms，采集擺線輪表面序列圖像共10幅，如圖2所示。

圖2 擺線輪表面序列圖像采集

2.2 改進的相機響應(yīng)曲線快速標(biāo)定

視覺成像系統(tǒng)中的相機響應(yīng)曲線是相機曝光量H與圖像像素值V之間的關(guān)系曲線。正常曝光范圍內(nèi)，恢復(fù)相機響應(yīng)曲線即求出V與E和H之間的映射關(guān)系。設(shè)V與H之間具有如下函數(shù)關(guān)系：

Vij=f(Hij)

(1)

式中：f為非線性連續(xù)函數(shù)；i為圖像中像素位置索引；j為圖像索引。

通常，曝光量越大，獲取的圖像像素值就越大，所以可以把函數(shù)f看成是一個單調(diào)增函數(shù)。結(jié)合非線性曲線擬合的相關(guān)方法[15]，引入S型函數(shù)模型：

y=1/(a+be-x)

(2)

式中：a、b為待定系數(shù)，可通過已知的散點數(shù)據(jù)求解。

令V為自變量，H為因變量，則式(1)可表示為

Hij=1/(a+be-Vij)

(3)

對式(3)求反函數(shù)并在等式兩邊同時取對數(shù)，化簡后得：

Vij=lnb+lnHij-ln(1-aHij)

(4)

Vij已知，lnH和待定系數(shù)a、b未知。在擬合相機響應(yīng)曲線時，已知曝光量H等于照度值E與曝光時間Δt的乘積，即H=EΔt?；喪?4)后可得式(5)：

(5)

當(dāng)Vij、lnΔtj已知時，可對式(5)的求解轉(zhuǎn)換成最小二乘法求解目標(biāo)函數(shù)：

(6)

式中：N為采樣點個數(shù)；M為圖像序列幅數(shù)；Vij為已知；a、b為未知；i,j=1(1位數(shù)字)。

因此至少需要在每幅圖像上的相同位置隨機選取3組采樣點數(shù)據(jù)以求解3個未知數(shù)。實驗時，對每組采樣點采用最小二乘法進行擬合，可分別得到3條光滑的特征響應(yīng)曲線，采樣點曲線擬合結(jié)果如圖3所示。

圖3 采樣點標(biāo)定結(jié)果

采集圖像過程中由于設(shè)備抖動、光照變化等環(huán)境因素的影響，圖3中各自擬合的3條特征響應(yīng)曲線會略有波動。但從整體上看，3組采樣點數(shù)據(jù)具有一致性，擬合的曲線均具有在過亮和過暗區(qū)域像素值受曝光量影響小，響應(yīng)遲緩；中間區(qū)域受曝光量影響大，響應(yīng)敏感的變化趨勢。由于視覺成像系統(tǒng)中的相機響應(yīng)曲線均為非線性連續(xù)函數(shù)，實驗時，采用5階多項式函數(shù)擬合出該相機響應(yīng)曲線，擬合結(jié)果如圖4中虛線部分所示。最終得到函數(shù)表達式為：

lnHij=9.897 6×10-11Vij5-6.820 5×10-8Vij4+

1.872 8×10-5Vij3-2.562 4×10-3Vij2+

0.193 17Vij-5.802 9

(7)

圖4 相機響應(yīng)曲線擬合結(jié)果

目前已有的HDRI技術(shù)在相機響應(yīng)曲線擬合過程中普遍采用Debevec等提出的傳統(tǒng)算法，其中采集序列圖像幅數(shù)M和每幅圖像采樣點個數(shù)N需滿足式(8)：

M·N+1≥256+N

(8)

當(dāng)M=10時，采樣點個數(shù)至少需滿足N≥29，擬合結(jié)果如圖4中實線部分所示。本文改進的相機響應(yīng)曲線快速標(biāo)定算法只需N=3組采樣點數(shù)據(jù)，求解出方程式(6)中目標(biāo)函數(shù)的3個未知數(shù)，便可擬合出3條特征曲線并最終得到相機響應(yīng)函數(shù)，擬合結(jié)果如圖4中虛線部分所示，所需采樣點數(shù)目為傳統(tǒng)算法的1/10。從圖4中可以看出本文改進算法與傳統(tǒng)Debevec算法得到的曲線具有相同擬合趨勢。為了凸顯本方法與傳統(tǒng)相機響應(yīng)曲線擬合算法的差別，將擬合曲線放大100倍，如圖4中局部放大圖所示，誤差在5%以內(nèi)，從而可保證兩種算法經(jīng)同等后續(xù)處理得到的HDR圖像具有相同的視覺效果。本文擬合響應(yīng)曲線所用的兩種算法運行時間如表1所示，可以看出本文改進算法運行時間約為傳統(tǒng)Debevec算法的1/4，反映了本文改進算法的優(yōu)越性。

表1 改進前后擬合相機響應(yīng)曲線運行時間對比 s

2.3 HDR圖像合成

得到相機響應(yīng)曲線后，通過該曲線生成場景的HDR圖像。由方程式(1)和方程式(3)聯(lián)立得：

Hij=f-1(Vij)=1/(a+be-Vij)=EiΔtj

(9)

令g(Vij)=lnf-1(Vij)，可得：

lnEi=g(Vij)-lnΔtj

(10)

式中：g(Vij)為所求得的相機響應(yīng)函數(shù)；lnEi為現(xiàn)實場景的真實照度。

為了減小誤差，融合所有M幅圖像求解每個像素點對應(yīng)的照度值，如式(11)所示：

(11)

式(11)求得所有像素點對應(yīng)場景真實照度值后，利用本文算法合成10幅圖像可得HDR圖像(圖5)。從圖中可以看出，擺線輪表面未出現(xiàn)過曝光和欠曝光現(xiàn)象，零件表面編碼、銹斑、磨損等信息顯示清晰。

圖5 HDR圖像合成結(jié)果

3 基于HDRI表面缺陷檢測實驗結(jié)果

實驗中，所選取的3種被測零件形狀大小不一，但表面均具有高反光特性。搭建高反光表面缺陷檢測平臺如圖6所示，依次采集序列圖像。

圖6 實驗場景示意圖

圖7(a)是實驗采集到的被測件原圖像(圖中存在明顯的欠曝光或過曝光現(xiàn)象)；圖7(b)是通過本文算法合成的HDR圖像。從圖7(b)中可看到，合成的HDR圖像更清晰，表面沒有欠曝光或過曝光區(qū)域。

圖像信息熵可表示圖像灰度分布的聚集特征，圖像信息熵值越大，圖像細節(jié)信息越多；平均梯度值可反映圖像中微小細節(jié)反差和紋理變換特征，平均梯度值越大，圖像越清晰。為客觀反映圖像質(zhì)量，本文分別采用信息熵和平均梯度值來對比原圖像與HDR圖像的質(zhì)量。由表2可知，HDR圖像熵值和平均梯度值均大于原圖像，圖像顯示更清晰，質(zhì)量更好。

(a)原圖像

(b)HDR圖像

表2 圖像客觀評價對比表

最后，運用自適應(yīng)多閾值分割[16]和Haar-like特征提取技術(shù)[17]識別得到的零件表面缺陷檢測結(jié)果如圖8所示。實驗結(jié)果表明，合成的HDR圖像細節(jié)清晰，金屬零件表面編碼、凹痕、色斑、劃痕等缺陷區(qū)域均可檢測識別，滿足高反光金屬表面的缺陷檢測要求。

4 結(jié)論

(a)擺線輪

(b)鋼管

(c)基座圖8 高反光零件表面缺陷檢測結(jié)果

機械零件大多具有高反光特性，尤其對于要求加工精度高的軸承、齒輪等重要零部件，表面反光效果明顯，且存在磨損、劃痕、龜裂等缺陷會顯著降低使用壽命。本文提出的基于HDRI的機械零件表面缺陷檢測方法從視覺成像的根源出發(fā)，通過HDRI技術(shù)提高圖像質(zhì)量，將零件表面缺陷處細節(jié)信息顯示清楚，可有效提高檢測效率。同時，與傳統(tǒng)相機響應(yīng)曲線標(biāo)定算法相比，本文提出的改進型相機響應(yīng)曲線快速標(biāo)定算法所需采樣點數(shù)量為傳統(tǒng)算法的1/10，程序運行時間約為傳統(tǒng)算法的1/4，具有計算量小、標(biāo)定速度快的優(yōu)點。最后通過多組實驗充分證明了本文方法可解決高反光金屬表面存在的局部亮度過飽和的視覺成像難題，有效提高了高反光金屬表面的缺陷檢測精度和效率。不足之處是動態(tài)場景下的視覺成像與檢測算法尚不成熟，暫時無法實現(xiàn)對高反光金屬工件表面的在線檢測。