江曉亮, 楊小軍, 鄧小雷, 李柏林, 趙文川
(1.衢州學院 機械工程學院,浙江 衢州 324000; 2.西南交通大學 機械工程學院,四川 成都 610031; 3.中國科學院 光電技術(shù)研究所,四川 成都 610209)
精密光學元件表面疵病檢測技術(shù)研究*
江曉亮1,2, 楊小軍1, 鄧小雷1, 李柏林2, 趙文川3
(1.衢州學院機械工程學院,浙江衢州324000;2.西南交通大學機械工程學院,四川成都610031;3.中國科學院光電技術(shù)研究所,四川成都610209)
依據(jù)光學元件表面疵病存在的對比度低、邊界模糊等特性,以及現(xiàn)有的自動化檢測算法,提出了一種基于機器視覺的數(shù)字化評價系統(tǒng),解決了疵病圖像獲取中的相機定位、圖像采集、疵病檢測、圖像拼接以及疵病統(tǒng)計等自動檢測技術(shù)問題。實驗結(jié)果表明:系統(tǒng)實現(xiàn)了精密光學元件表面疵病的自動化檢測,能夠有效分辨微米(μm)量級的疵病,具有良好的疵病識別性能。
光學元件; 疵病檢測; 圖像處理; 特征提??; 圖像拼接
隨著信息技術(shù)的迅猛發(fā)展,人們對光學元件表面質(zhì)量及加工效率的要求逐步提高,而元件表面劃痕、斑點、麻點、破邊等[1]缺陷所引起的衍射和散射會對光學系統(tǒng)的性能造成不良影響。為此,對光學元件表面疵病檢測技術(shù)的研究顯得尤為重要,具有較好的應(yīng)用價值[2,3]。
目前,常見的疵病檢測方法主要包括目視法[4,5]、成像法[6,7]等。其中,最基本、最常用的是目視法,但這種方法對觀察者的知識結(jié)構(gòu)和實踐經(jīng)驗水平要求較高,而且無法量化疵病等級、費時費力、勞動強度較大。隨著電荷耦合器件(charge coupled device,CCD)相機與圖像處理算法的快速發(fā)展,使得基于機器視覺技術(shù)逐步取代人工檢測方法以滿足工程需求成為可能[8,9]。因此,有必要尋求一種更簡單、快速、準確的檢測手段。
本文提出了一種基于數(shù)字圖像的光學元件表面缺陷的快速檢測方法,用于解決疵病提取、拼接及統(tǒng)計等技術(shù)難題,并試制了基于機器視覺的光學元件缺陷在線檢測系統(tǒng)。
1.1 檢測裝置
如圖1所示,檢測系統(tǒng)由CCD相機、控制臺、運動控制器、計算機等構(gòu)成。其中,橫向、縱向、升降位移臺分別用于實現(xiàn)Ox,Oy,Oz方向的移動,旋轉(zhuǎn)平臺可在xOy平面內(nèi)360°旋轉(zhuǎn),CCD相機可繞C點在xOz平面內(nèi)轉(zhuǎn)動。
1.2 檢測原理
被測元件放置于旋轉(zhuǎn)平臺,計算機控制橫向、縱向、升降位移臺對其進行對焦。旋轉(zhuǎn)平臺旋轉(zhuǎn)一周,CCD相機集待測元件表面的一個圓環(huán)圖像,利用運動控制器控制CCD相機繞C點在xOz平面內(nèi)旋轉(zhuǎn)一定角度,同時橫向位移臺沿Ox方向移動一定位移,如圖2所示。旋轉(zhuǎn)平臺繼續(xù)旋轉(zhuǎn)一周,獲取另外一個圓環(huán)圖像,將圖像進行拼接、融合,得到元件的完整圖像。
圖1 檢測裝置示意
圖2 運動方案設(shè)計
光學元件表面數(shù)字圖像系統(tǒng)的基本流程如圖3所示。
圖3 圖像處理軟件系統(tǒng)流程
2.1 圖像預(yù)處理
1)通過數(shù)字圖像系統(tǒng)對光學元件表面進行疵病數(shù)據(jù)采集,并記錄單張圖像的位置信息;2)對原始圖像進行灰度化處理,得到僅具有一維顏色信息的灰度圖像。
2.2 疵病提取
針對光學元件疵病圖像的特點,如圖4所示,采用幀差法[10~12]進行疵病特征的提取。具體過程為將第k幀圖像減去k+1幀圖像,得到一幅二值圖像,幀差法的數(shù)學表達式為
(1)
式中T為預(yù)先設(shè)置的閾值。如果兩張圖像的灰度差絕對值大于給定閾值時,認為此處有疵病。T的大小可根據(jù)經(jīng)驗選取,T過大時易出現(xiàn)疵病漏檢,T過小時易出現(xiàn)大量噪音,處理結(jié)果如圖5所示??梢园l(fā)現(xiàn):處理后的二值圖像中存在許多白點,甚至一些劃痕出現(xiàn)了斷裂。因此,需要進行去除小面積、膨脹、細化等形態(tài)學操作[13~15],從而獲得更好的處理結(jié)果。去除小面積是為了除去灰塵、過小麻點(直徑小于5 μm的可忽略不計)等部分干擾,得到獨立的疵病信息;斷點連接的目的是為了消除目標不連續(xù)問題。經(jīng)過去除小面積和斷點連接等處理后的結(jié)果,如圖6所示。
圖4 原始圖像
圖5 幀差法處理后圖像
圖6 形態(tài)學處理后圖像
2.3 圖像拼接
2.3.1 重疊區(qū)域特征分類
重疊區(qū)域的特征可分為三類:存在劃痕特征、存在其他類型特征和無特征。要實現(xiàn)圖像拼接和不同類型疵病的信息統(tǒng)計,首先要將處理后圖像的重疊區(qū)域進行特征分類,如圖7所示。其中,劃痕特征又可分為貫穿型和非貫穿型。
圖7 重疊區(qū)域特征分類
如圖8所示,子圖1和子圖3上的劃痕僅有一邊在重疊區(qū)域內(nèi),將其歸為非貫穿型劃痕;子圖2的兩邊均在重疊區(qū)域內(nèi),將其歸為貫穿型劃痕。而其他類型特征和無特征分別指圖像的重疊區(qū)域內(nèi)有疵病特征(除劃痕外)和沒有疵病特征。
圖8 劃痕特征示意
2.3.2 圖像變換矩陣
由于相機以平移加旋轉(zhuǎn)的運動方式對光學元件進行拍攝,子圖像的空間坐標以極坐標的方式表達,因此,需要對待拼接圖像進行空間坐標變換。利用齊次坐標,兩幅圖像之間的變換方程可以用矩陣的形式表示[16,17]
(2)
式中x,y,x′,y′分別為兩幅相鄰圖像的坐標;θ為圖像之間的相對轉(zhuǎn)角;tx,ty分別為x,y方向的平移量。
2.3.3 最優(yōu)路徑圖像拼接
利用式(2)所述方法求解出圖像之間的變換矩陣,依據(jù)以下步驟進行單個疵病的拼接,直至完成整個元件的圖像拼接。圖9(a)為單個疵病的拼接效果,具體流程如下:
1)記錄整個元件上有特征的圖像數(shù)目n。
2)以一張圖像d0為根節(jié)點,若圖像d0重疊區(qū)域為無特征,則輸出該張圖像,同時n減1;否則,搜索出與d0相關(guān)的圖像di,i=1,2,3…,每處理一張圖像n即減1。
3)以步驟(2)中搜索出的圖像di為起點,搜索與di相關(guān)的圖像dj,j=1,2,3…,每處理一張圖像n即減1。
4)重復(fù)步驟(3),直到無法搜索到相關(guān)圖像,利用變換矩陣和極坐標關(guān)系,完成單個疵病的圖像拼接,存儲單個疵病的位置坐標。
5)重復(fù)步驟(2)~步驟(4),直到n=0,完成整個元件的圖像拼接。
圖9 疵病拼接示例
2.3.4 拼接誤差消除
由于步進電機和導軌垂直度不可能絕對精確,導致相鄰2張圖像間的重疊區(qū)域發(fā)生變化,即圖像之間的實際重疊區(qū)域與理論重疊區(qū)域大小產(chǎn)生偏差。隨著拼接影像數(shù)量的增多,誤差將不斷累積,因此,需要對拼接后的圖像進行優(yōu)化。本文主要研究劃痕特征圖像的拼接誤差,麻點等類型的誤差可忽略不計。
如圖10(a)所示,劃痕AB和CD拼接之后會產(chǎn)生一定的錯位,保持端點B的y坐標不變,往拼接圖像的x方向搜索劃痕CD,得到x方向的誤差偏移量tx;同理可得到ty。取tx和ty中較小值,將其中一條劃痕沿相應(yīng)的方向偏移,即可得到一條完整的劃痕。誤差消除前后單個劃痕拼接效果,如圖9所示。
圖10 拼接誤差示意
2.4 疵病統(tǒng)計
如圖9所示,拼接后圖像為二值圖像。為了獲取疵病的信息,首先需將連通區(qū)域進行標記。然后,計算連通區(qū)域的長寬比得到連通區(qū)域的各個參數(shù),具體表達式為[18]
E=L/W
(3)
式中E為長寬比的值;L和W分別為連通區(qū)域外接矩形的長度與寬度。
根據(jù)劃痕和麻點的特點,對拼接后的圖像進行檢測,從而得到疵病的大小、種類、個數(shù)等信息,并與國家標準比,給出表面缺陷的等級。具體步驟如下:
1)獲得圖像中所有標記過的區(qū)域。
2)利用標記的數(shù)字隨機提取一個連通區(qū)域(疵病)。
3)計算該區(qū)域的外接矩形。
4)獲得矩形的長、寬值,以此計算長寬比E。
5)初步判斷類型,如果E≥4則為劃痕,轉(zhuǎn)入步驟(6);如果E<4則為麻點,返回步驟(2)。
6)計算劃痕的周長和面積。
7)計算劃痕的長度和寬度。
8)劃痕的長度和寬度計算完成,轉(zhuǎn)到步驟(2),直至所有缺陷統(tǒng)計完畢。
通過實驗平臺的構(gòu)建與圖像檢測系統(tǒng)的設(shè)計,建立了一種基于機器視覺技術(shù)的數(shù)字化評價系統(tǒng),解決了疵病圖像獲取中的疵病提取、拼接及統(tǒng)計等技術(shù)難題。但本文提出的系統(tǒng)對于曲率半徑較大的光學元件有一定的局限性,對缺陷的檢測結(jié)果產(chǎn)生影響,需做更深一步的研究。
[1] 光學零件表面疵病:GB/T1185—2006[S].北京:中國標準出版社,2006.
[2] 陳 璐.光學系統(tǒng)中光學零件表面疵病測試系統(tǒng)研究[D].長春:長春理工大學,2013:1-2.
[3] 果寶智.光學零件表面疵病的標識[J].激光與紅外,2000,30(2):123-125.
[4] 王璠璟,肖 文,潘 鋒,等.光學元件表面的數(shù)字全息在線檢測[J].光學精密工程,2012,20(6):1182-1187.
[5] 王 科.光學元件表面疵病散射法檢測技術(shù)研究[D].西安:西安工業(yè)大學,2013:16-17.
[6] Conder A,Chang J.Final optics damage inspection(FODI)for the national ignition facility[J].Optics & Photonics for Information Processing:IV,2010,7797(1):125-131.
[7] 王世通.精密表面缺陷檢測散射成像理論建模及系統(tǒng)分析研究[D].杭州:浙江大學,2015:39-41.
[8] 陳少杰,李柏林,趙文川,等.一種快速魯棒的光學表面劃痕高精度檢測方法[J].激光技術(shù),2016,40(3):377-382.
[9] 劉繼華,強 彥.數(shù)字圖像在光學元件表面缺陷檢測與分析[J].激光雜志,2016,37(8):37-39.
[10] 李 冰,李范鳴,謝江英,等.基于幀差法和自適應(yīng)閾值區(qū)域生長的紅外運動目標檢測[J].半導體光電,2017,38(1):156-160.
[11] 張應(yīng)輝,劉養(yǎng)碩.基于幀差法和背景差法的運動目標檢測[J].計算機技術(shù)與發(fā)展,2017,27(2):25-28.
[12] 張 銚,劉鐵根,趙 剛.單幀圖像熱致光學誤差祛除算法研究[J].傳感器與微系統(tǒng),2010,29(1):11-13.
[13] 張 博,倪開灶,王林軍,等.基于背景校正和圖像分割定量分析光學元件表面疵病的新算法[J].光學學報,2016(9):112-121.
[14] 于廣婷,朱 聰,李柏林,等.光學圖像中一種新的邊界斷點連接方法[J].計算機應(yīng)用研究,2014,31(4):1264-1266.
[15] Tao X,Xu D,Zhang Z T,et al.Weak scratch detection and defect classification methods for a large aperture[J].Optics Communications,2017,387:390-400.
[16] 詹 斌,李華格,蔣迪星,等.遙感圖像拼接系統(tǒng)[J].計算機系統(tǒng)應(yīng)用,2014,23(5):31-36.
[17] 張召瑞,張 旭,鄭澤龍,等.融合旋轉(zhuǎn)平移信息的機器人手眼標定方法[J].儀器儀表學報,2015,36(11):2443-2450.
[18] 朱 聰,于廣婷,李柏林,等.一種新的精密光學鏡片表面疵病寬度測量方法[J]. 計算機應(yīng)用與軟件,2014(12):259-261.
Studyonsurfacedefectsdetectiontechnologyforprecisionopticalelement*
JIANG Xiao-liang1,2, YANG Xiao-jun1, DENG Xiao-lei1, LI Bai-lin2, ZHAO Wen-chuan3
(1.CollegeofMechanicalEngineering,QuzhouUniversity,Quzhou324000,China;2.CollegeofMechanicalEngineering,SouthwestJiaotongUniversity,Chengdu610031,China;3.InstituteofOpticsandElectronics,ChineseAcademyofSciences,Chengdu610209,China)
According to characteristics of optical element surface defect,such as low contrast,fuzzy boundaries,and the existing automatic detection algorithm,propose a digital evaluation system based on machine vision technology,which solves the problems in automatic detection such as camera localization,image acquisition,defects detection,image mosaic and defects statistics during flaw image acquiring process.Experimental results show the system can realize the automatic detection of the precision optical element surface defect and distinguish the defects of micron level effectively,it has good performance of defect recognition.
optical element; defect detection; image processing; feature extraction; image mosaic
10.13873/J.1000—9787(2017)11—0025—03
TP 391.41
A
1000—9787(2017)11—0025—03
2017—08—29
國家自然科學基金資助項目(51605253);浙江省自然科學基金資助項目(LY16E050011);浙江省公益技術(shù)應(yīng)用研究項目(2016C31127)
江曉亮(1987-),男,博士研究生,主要研究方向為圖像處理和模式識別、圖像分割。