基于光度立體和級數(shù)展開法的金屬表面缺陷檢測方法

朱勇建，羅 堅，秦運柏，秦國峰，唐楚柳

(廣西師范大學(xué) 電子工程學(xué)院，廣西 桂林 541004)

光度立體法[1]被廣泛應(yīng)用于農(nóng)產(chǎn)品質(zhì)量檢測[2]、醫(yī)療診斷[3]、服裝織物質(zhì)量檢測[4]等領(lǐng)域。將該技術(shù)應(yīng)用于產(chǎn)品表面質(zhì)量檢測領(lǐng)域，可精確檢出表面微小缺陷，具有分辨率高、受環(huán)境影響小、硬件成本低廉等特點。

黃秀玲等[5]提出一種基于光度立體法的藥品泡罩包裝中鋁箔缺陷檢測方法，該方法使用 4 個白光條形LED光源，從 4 個不同照射方向采集圖像，利用光度立體法提取待測物表面梯度數(shù)據(jù)，再利用表面高斯曲率算法，完成缺陷檢測；程耀瑜等[6]提出一種基于光度立體法的地板疵點檢測方法，該方法同樣使用 4 個白光條形LED光源采集圖像，利用光度立體法突出地板表面的疵點特征，通過SVM分類器完成疵點檢測與分類；劉根等[7]提出一種基于光度立體法的皮革缺陷檢測方法，該方法使用 4 個柔性條形光源采集圖像，利用光度立體法提取待測物表面反射率及曲率濾波圖像，結(jié)合圖像顯著性[8]完成缺陷檢測。但是，上述方法僅對具有近朗伯特性且有良好表面的物體檢測時能取得較好的結(jié)果，而應(yīng)用在金屬表面缺陷檢測時，則會存在嚴重的誤檢、漏檢問題。

王磊等[9]提出一種基于光度立體法帶鋼表面缺陷三維檢測方法，該方法使用紅色、藍色線激光光源對稱分布于 3CCD線陣相機兩側(cè)，兩光源以45°入射，同時照射同一目標(biāo)區(qū)域，采集 1 幅彩色圖像，再從彩色圖像分離R、B顏色通道，利用光度立體法提取待測物梯度數(shù)據(jù)，使用積分算法，恢復(fù)待測物的三維形貌，以完成缺陷檢測。但是，該方法光源參數(shù)的標(biāo)定趨于理想化且操作復(fù)雜；三維重建時將x方向的梯度假設(shè)為零，僅利用y方向的梯度數(shù)據(jù)進行三維形貌恢復(fù)，如此一來，損失了x方向的信息；而且三維重構(gòu)曲面也存在變形問題，影響缺陷的檢測。Soukup等[10]結(jié)合卷積神經(jīng)網(wǎng)絡(luò)，提出一種基于光度立體法的金屬表面缺陷檢測方法，該方法也是使用紅色、藍色光源采集 1 幅彩色圖像，根據(jù)卷積神經(jīng)網(wǎng)絡(luò)原理，訓(xùn)練5 000 個樣品，以完成缺陷檢測。但該方法樣本量大且訓(xùn)練時間長，而且在實際應(yīng)用時，較難獲取樣本。

為了解決機器視覺系統(tǒng)[11-12]對具有粗糙紋理的金屬表面缺陷檢測時出現(xiàn)誤檢、漏檢，甚至無法檢出的問題，本文提出使用光度立體法對金屬表面進行三維重構(gòu)，提取表面深度信息，根據(jù)深度信息實現(xiàn)缺陷檢測，從而提高缺陷的檢出率。本文對比了多種基于梯度數(shù)據(jù)的積分算法，選擇了最能還原金屬表面形貌的一種算法。同時，針對光度立體在金屬表面三維形貌重構(gòu)時存在重構(gòu)曲面扭曲、翹曲等變形問題，提出一種基于級數(shù)展開的曲面擬合方法解決此問題，相較于曲面擬合前，檢出率提高了4個百分點以上。本文中進行的仿真與實際實驗均驗證了所提算法在實際應(yīng)用中具有一定的優(yōu)越性與靈活性。

1 基于立體視覺的金屬表面三維重構(gòu)方法研究

本文金屬表面三維形貌重構(gòu)的流程如圖 1 所示，詳細步驟為：使用圖像采集裝置，采集待測金屬表面不同光源照射方向下的 9 幅圖像，利用已標(biāo)定好的光源方向數(shù)據(jù)，通過構(gòu)造偏微分方程[13]提取待測金屬表面梯度；對梯度數(shù)據(jù)進行積分，獲取待測金屬表面的深度圖；利用級數(shù)展開法原理擬合曲面，得到最終的待測金屬表面三維形貌重構(gòu)圖。

圖1 本文方法流程Fig. 1 Method flow of this article

1.1 光度立體法

經(jīng)典光度立法是通過公式 (1) 構(gòu)造線性方程組求解物體表面法向量。光度立體關(guān)鍵在于光度信息，因而光源方向的標(biāo)定是首要的。文獻[13]使用單采樣球法，選擇圓上的全部采樣點參與計算，利用最小二乘法求解光源方向參數(shù)。本文光源標(biāo)定算法與文獻[13]有所區(qū)別：本文通過設(shè)置一個閾值，選擇大于閾值的采樣點參與計算，也能獲得較為準(zhǔn)確的光源方向參數(shù)，且減少了數(shù)據(jù)運算量，提高了計算效率。

Ii=ρLiN,i∈(1,k)，

(1)

式中：k是圖像數(shù)量；ρ是物體表面的反射率；Ii是第i幅圖像的灰度值；Li是第i幅圖像的光源向量；N是物體的法向量。

光度立體法是利用不同光照方向的光度信息提取待測物體的梯度數(shù)據(jù)。文獻[14]利用彩色圖像，分離RGB顏色通道，通過光度比消除反射率，構(gòu)造線性偏微分方程組，通過最小二乘估計的正規(guī)方程對深度直接進行求解。本文梯度提取方法與文獻[14]有所區(qū)別：本文利用灰度圖像信息，構(gòu)造偏微分方程提取待測物梯度數(shù)據(jù)，再對梯度數(shù)據(jù)進行積分，得到深度信息。通過構(gòu)造偏微分方程，有效避免了經(jīng)典光度立體法由反射率求解法向量的誤差積累，而且計算效率更快。而利用灰度圖像信息有效避免了文獻[14]從彩色圖像分離RGB顏色通道時的信息缺失，且大大降低了數(shù)據(jù)運算量，提高了計算效率。本文偏微分方程組是根據(jù)灰度圖像物體表面的反射率特性進行構(gòu)建：

Ii(x,y)=ρ(x,y)LiN(x,y)，

(2)

Ij(x,y)=ρ(x,y)LjN(x,y)。

(3)

式中的Ii(x,y)、Ij(x,y)是第i幅圖像和第j幅圖像在(x,y)處的灰度值。式(2)與式(3)相比，同時化簡有：

(Ii(x,y)×LjN(x,y)-Ij(x,y)×LiN(x,y))=0。

(4)

將式(4)再次化簡，可轉(zhuǎn)為用梯度表示的方程組，即：

(5)

G=(WTW)-1WTU，

式中：

1.2 曲面重建算法

利用光度立體法提取待測物表面梯度數(shù)據(jù)后，為得到待測物表面三維形貌，需要對梯度數(shù)據(jù)進行積分。本文研究并分析了 7 種積分算法，其中包括Frankot-Chellappa算法[15]、Frankot-Chellappa-new算法[16]及SouthWell算法[17]，還分別使用 DCT、DST、FFT方式求解的泊松方程算法及Horn and Brooks算法[18-20]。依據(jù)重建效果，選擇適合本文的一種曲面重建算法。

本文實驗均是使用Intel(R) Core(TM) i5-3230M 2.60 GHz CPU，4.0 GiB RAM的Windows 10 64bit 計算機，同時使用MATLAB 2016b軟件中的peaks函數(shù)模擬生成三維形狀圖，使用上述7種積分算法還原模擬三維形貌。圖2顯示了7種積分算法的重構(gòu)曲面結(jié)果，直接觀察進行分析，可知：使用DCT泊松算法、DST泊松算法、FFT泊松算法會存在變形問題；Horn and Brooks算法的還原性較差；Frankot-Chellappa算法、Frankot-chellappa-new算法及SouthWell算法能夠較真實地還原模擬曲面形貌。因而采集實際場景中手機金屬沖壓片樣品，可利用還原性較好的Frankot-Chellappa算法、Frankot-chellappa-new算法及SouthWell算法對梯度數(shù)據(jù)進行重構(gòu)。圖3是實際金屬樣品表面三維形貌結(jié)果圖，所采用的3種積分算法均能表現(xiàn)金屬表面形貌，但是，重建曲面存在扭曲及翹曲問題。表1是3種積分算法運行時間，實驗中，在相同環(huán)境下，每種積分算法運行10次后取均值，得到算法運行時間。SouthWell算法迭代次數(shù)較多，因而花費的時間較長。根據(jù)還原性及算法運行時間，選擇適合本文研究內(nèi)容的Frankot-Chellappa積分算法。

根深蒂固的應(yīng)試觀念影響了高中生的思想教育，要改變這種現(xiàn)狀，要認識到應(yīng)試體制已不適應(yīng)時代的發(fā)展要求。學(xué)校要樹立新時代的人才培養(yǎng)觀，要建立科學(xué)的思想教育管理體系，盡快推進應(yīng)試教育向素質(zhì)教育轉(zhuǎn)變。要立足于人的發(fā)展，將人的素養(yǎng)提升置于首位，要重視學(xué)生潛能的發(fā)掘、個性的培養(yǎng)。

圖2 模擬曲面三維形貌重構(gòu)結(jié)果Fig. 2 Reconstruction result map of 3D topography of simulation surface

注：黑色框為手動標(biāo)注缺陷位置。圖3 實際金屬樣品表面三維形貌結(jié)果Fig. 3 3D morphology results of actual metal samples

表1 積分算法運行時間

1.3 級數(shù)展開法

光度立體法是基于理想的朗伯體反射模型，因而在實際應(yīng)用時，很難滿足理想的光照條件，尤其是在金屬表面的三維形貌重建應(yīng)用場景。利用光度立體原理恢復(fù)金屬表面三維形貌時，重建曲面會出現(xiàn)扭曲及翹曲問題，本文針對此問題，提出了級數(shù)展開法的最小二乘法，可解決重建曲面出現(xiàn)的扭曲與翹曲問題，使得重建曲面更加接近實際物體形貌。具體步驟是：將重建曲面數(shù)據(jù)進行級數(shù)展開，利用最小二乘法求取多項式系數(shù)，再利用此系數(shù)重構(gòu)曲面，得到無紋理光滑的曲面數(shù)據(jù)，最后將重構(gòu)曲面數(shù)據(jù)減去無紋理光滑曲面數(shù)據(jù)，得到最終的重構(gòu)曲面。

本文以 5 階次進行級數(shù)展開為例說明。5 階次方程是：

Z=p00+p10x+p01y+p20x2+p11xy+p02y2+

p30x3+p21x2y+p12xy2+p03y3+

p40x4+p31x3y+p22x2y2+p13xy3+p04y4+

p50x5+p41x4y+p32x3y2+p23x2y3+p14xy4+p05y5。

(6)

利用最小二乘法求解式(6)的系數(shù)，其轉(zhuǎn)為矩陣形式

P=(MTM)-1MTS，

(7)

式中：

P=[p00,p10,p01,p20,p11,p02,p30,p21,p12,p03,p40,p31,p22,p13,p04,p50,p41,p32,p23,p14,p05]T；

M=[1,x,y,x2,xy,y2,x3,x2y,xy2,y3,x4,x3y,x2y2,xy3,y4,x5,x4y,x3y2,x2y3,xy4,y5]；

S=Z。

求取到系數(shù)P后，將其結(jié)合圖像坐標(biāo)重構(gòu)無紋理光滑的曲面，最后將初次重構(gòu)曲面減去無紋理光滑的曲面，得到接近真實重構(gòu)曲面。

2 實驗結(jié)果分析

2.1 金屬表面三維形貌重構(gòu)實驗結(jié)果分析

圖4 圖像采集三維示意Fig. 4 3D image acquisition

采用本文所介紹的光度立體原理與級數(shù)展開法對所采集的仿真數(shù)據(jù)進行測試，同時對比不同階次的擬合效果和結(jié)構(gòu)相似性(SSIM)、均方誤差及算法的計算時間，選擇最合適的擬合階次。對仿真數(shù)據(jù)進行三維形貌重建，重建曲面出現(xiàn)了扭曲和翹曲問題，其效果如圖5(b)所示，將重建曲面進行曲面擬合，其擬合效果如圖5(c)所示。本文對比了2階次到15階次的擬合效果，不同擬合階次的結(jié)構(gòu)相似性(SSIM)和均方誤差如圖6(a)所示，各階次的計算時間如圖6(b)所示。由圖6可見，對于仿真數(shù)據(jù)的曲面擬合，雖然均方誤差在4階次時最小(均方誤差為0.138 7，結(jié)構(gòu)相似性為0.999 6)，但是在5階次時，結(jié)構(gòu)相似性(SSIM)和均方誤差趨于穩(wěn)定(均方誤差為0.138 8)，4階次和5階次的均方誤差僅相差0.000 1。因此，對于仿真數(shù)據(jù)的曲面擬合，選擇 5 階次是最合適的。

圖5 模擬金屬樣品三維形貌重建效果Fig. 5 Reconstruction rendering of 3D topography of simulated metal samples

圖6 仿真金屬樣品擬合效果衡量指標(biāo)Fig. 6 Measurement index of fitting effect of simulated metal samples

在實際應(yīng)用中，使用本文的實驗裝置采集手機金屬沖壓片圖像，對其進行三維形貌重建，重建效果如圖7(b)所示，同時，對其進行曲面擬合，擬合效果如圖7(c)和(d)所示。對樣品進行2階次到15階次擬合，其擬合效果衡量指標(biāo)如圖8所示。根據(jù)圖8的指標(biāo)分析，在8階次時，結(jié)構(gòu)相似性(SSIM)和均方誤差趨于平緩，均方誤差為0.263 5；在5階次時，均方誤差為0.316 3，兩者的均方誤差相差0.052 8。究其原因是因為采集圖像的環(huán)境、采集圖像的質(zhì)量和噪聲等干擾因素的影響。但是，實際應(yīng)用時，需要考慮算法的計算時間，且考慮到計算時間是隨著擬合階次而遞增的，5階次和8階次的計算時間相差2倍，因此，對于手機金屬沖壓片的曲面擬合，考慮到時間的評估指標(biāo)，選擇 5 階次是較為合適的。

圖7 手機金屬沖壓片三維形貌重建效果Fig. 7 3D shape reconstruction effect of metal stamping sheet of mobile phone

圖8 手機金屬沖壓片擬合效果衡量指標(biāo)Fig. 8 Measurement index for fitting effect of metal stamping sheet of mobile phone

此外，本文采用Zernike多項式[21-22]和級數(shù)展開算法重構(gòu)目標(biāo)三維形貌，并對重建效果進行對比分析。圖9是使用3ds Max 2018仿真的實驗效果。根據(jù)仿真實驗結(jié)果分析，實驗樣品是具有粗糙金屬特性的平面，但利用光度立體法重構(gòu)后出現(xiàn)了扭曲及翹曲等變形現(xiàn)象。使用Zernike多項式進行曲面擬合和級數(shù)展開法擬合還原了金屬表面真實的三維形貌。但是，Zernike多項式擬合曲面較為平滑，損失了部分圖像信息，而級數(shù)展開法獲得的圖像細節(jié)信息更為豐富。

圖9 模擬金屬樣品三維曲面擬合效果Fig. 9 3D surface fitting effect diagram of simulated metal sample

在與仿真場景相同條件下，根據(jù)圖4(c)硬件裝置采集金屬硬幣圖像，同時采用本文算法對其進行三維形貌重建，并消除重建曲面變形問題，效果如圖10所示。根據(jù)實際實驗驗證，使用Zernike多項式進行曲面擬合時，金屬表面變得平滑，部分紋理信息缺失。如圖11，使用Zernike多項式擬合的曲面，存在缺陷處對比度低的問題。

圖10 五角硬幣三維形貌重建效果Fig. 10 Rendering of the 3D shape reconstruction of Wujiao coin

圖11 實際金屬樣品三維曲面擬合效果Fig. 11 3D surface fitting effect diagram of actual metal sample

綜合上述實驗分析可得，級數(shù)展開法解決了金屬表面三維形貌重建時出現(xiàn)變形問題，還原了金屬表面三維形貌。在對仿真數(shù)據(jù)測試時，5 階次的算法計算效率比Zernike多項式算法的計算效率更高，詳見表2。

表2 擬合算法運行時間

2.2 金屬表面缺陷檢測實驗結(jié)果分析

使用本文設(shè)計的圖像采集裝置采集待測金屬表面圖像，并利用本文方法對其表面進行三維形貌重建。圖12是缺陷檢測流程，實現(xiàn)步驟是：首先對重建曲面采用級數(shù)展開法消除變形問題；其次使用已標(biāo)定好的相機模型參數(shù)[23-24]將擬合后的曲面轉(zhuǎn)為點云數(shù)據(jù)；接著對點云數(shù)據(jù)進行曲率濾波[25]處理；最后對濾波圖像進行形態(tài)學(xué)處理[26]，實現(xiàn)缺陷的檢測。實驗中，選擇了 3 種不同大小的手機金屬沖壓片樣品進行缺陷檢測實驗，缺陷類型主要有凹坑、劃痕及銹跡。表3是對手機金屬沖壓片樣品的3種缺陷檢出率的統(tǒng)計。圖13中展示了實際金屬樣品的三維形貌重建效果、級數(shù)展開法擬合效果以及缺陷檢測結(jié)果。

圖12 缺陷檢測流程Fig. 12 Defect detection flowchart

表3 本文方法缺陷檢測結(jié)果

圖13 實際金屬樣品缺陷檢測Fig.13 Defect detection in actual metal samples

根據(jù)上述實驗結(jié)果分析，重建曲面存在的變形問題會影響曲率計算，表面缺陷被凸顯的同時也會引入較多干擾點，后續(xù)處理較為復(fù)雜。而級數(shù)展開法有效解決了因非朗伯特性及光照條件引起的重構(gòu)曲面變形現(xiàn)象，解決了重構(gòu)曲面扭曲及翹曲問題，擬合后曲面的曲率圖能夠清晰凸顯缺陷特征，也降低了因翹曲而導(dǎo)致曲率突變的影響，更利于后續(xù)檢測。對表3分析發(fā)現(xiàn)，在消除重建曲面變形問題前后，金屬表面缺陷檢出率均提高了4個百分點，其原因是：重建曲面存在變形問題，在對表面三維缺陷檢測時，變形曲面影響檢測，造成誤檢量和漏檢量的提升，而擬合后的曲面更能凸顯缺陷特征，從而降低了誤檢量和漏檢量，因此，缺陷的檢出率得到了提高。同時發(fā)現(xiàn)，5階次和8階次擬合后的缺陷檢測結(jié)果一致，分析其原因是：對手機金屬沖壓片使用級數(shù)展開法擬合曲面后，金屬表面缺陷細節(jié)信息保留在5階次以上的曲面中，因此，更進一步驗證了選擇5階次是較為合適的方案。

但是，將本文方法應(yīng)用于手機金屬沖壓片表面缺陷檢測時，對于凹坑缺陷的檢出率是96.5%，劃痕缺陷的檢出率是76.2%，存在漏檢和誤檢現(xiàn)象，其原因是：有些凹坑缺陷位于樣品邊緣，而樣品邊緣具有弧度的特點，在打光時邊緣出現(xiàn)陰影和高反光的現(xiàn)象，在圖像采集時，拍攝不到缺陷，影響到缺陷的檢測；其次，因為凹坑缺陷分為中度、輕度凹坑，對于比較微小的輕度凹坑，在高斯曲率濾波后凸顯不清晰；另外，對于劃痕缺陷也分為中度、輕度劃痕，對于比較細小的劃痕，也會存在缺陷特征不明顯的問題。本文方法能夠?qū)Σ糠咒P跡缺陷檢測，其原因是：光度立體法是通過不同方向照射同一目標(biāo)表面采集多幅圖像，充分利用了圖像亮度信息，而當(dāng)金屬表面出現(xiàn)大塊銹跡時，會存在亮度較暗區(qū)域，對其提取梯度數(shù)據(jù)時，會出現(xiàn)較大誤差，存在信息缺失，重建曲面出現(xiàn)嚴重形變，根據(jù)形變信息檢測銹跡缺陷。但是，相較于機器視覺采用的良好打光方式，本文方法對銹跡的檢出率較低，機器視覺方法的檢出率較高。因此，在將金屬表面缺陷檢測方法應(yīng)用于實際檢測時，為提升缺陷檢測率，會先使用機器視覺方法進行初步篩選，再使用三維缺陷檢測方法解決機器視覺無法檢測的問題。

綜上所述，本文對于缺陷檢測的方法較已有方法有一定的優(yōu)勢，但也存在不足，金屬表面存在的高光和陰影是光度立體領(lǐng)域的難點與痛點。在本文實驗中，使用單個LED光源，光照強度和單色性均會影響圖像采集，實際應(yīng)用時，使用單色性較好的光源，缺陷的檢出率將會提升。

3 結(jié)語

本文通過光度立體和級數(shù)展開法還原金屬表面三維形貌，解決了重建曲面存在扭曲及翹曲等變形問題，降低了因重建曲面變形導(dǎo)致的金屬表面缺陷檢測誤差。本文針對金屬表面缺陷檢測，利用表面三維重構(gòu)曲面的點云數(shù)據(jù)進行曲率濾波處理及形態(tài)學(xué)處理方式，完成缺陷檢測，缺陷檢出率均有所提高，算法魯棒性更好。所提方法可應(yīng)用于工業(yè)產(chǎn)品質(zhì)量檢測中，也可能推廣至其他檢測領(lǐng)域。本文所提的級數(shù)展開法雖然有效解決了因非朗伯特性及光照條件引起的重構(gòu)曲面變形現(xiàn)象，但是該方法有其自身的適用性與局限性：該方法適用于測量對象為平整的金屬表面；對于復(fù)雜曲面，該方法會消除復(fù)雜曲面本身的宏觀形狀。同時，所提檢測方法對較淺劃痕檢出率還不理想，下一步將針對所述問題進行更加深入的研究及優(yōu)化。