機(jī)器視覺在產(chǎn)品表面缺陷檢測(cè)中的應(yīng)用研究

西安思源學(xué)院工學(xué)院 張麗芝 吳 敏

長安大學(xué) 劉幟琦 巨永鋒

隨著科技的不斷推陳更新，工業(yè)革命的不斷發(fā)展，越來越多的制造業(yè)產(chǎn)品的質(zhì)量也在不斷的提高。雖然工業(yè)生產(chǎn)自動(dòng)化程度越來越多，企業(yè)生產(chǎn)加工工藝精度也在不斷的提升，但是生產(chǎn)廠商所生產(chǎn)的產(chǎn)品表面缺陷無法避免。因此，雖然產(chǎn)品生產(chǎn)效率在提升，但產(chǎn)品所存在的缺陷依然使制造商們頭疼。產(chǎn)品缺陷的檢測(cè)質(zhì)量對(duì)于生產(chǎn)廠商而言，至關(guān)重要。很多生產(chǎn)廠商在質(zhì)量檢測(cè)方面投入了大量的人才、物力、財(cái)力來研究如何提升產(chǎn)品的表面缺陷檢測(cè)。人工檢測(cè)方法不僅使生產(chǎn)效率越來越低，而且還會(huì)發(fā)生檢測(cè)不到的現(xiàn)象，浪費(fèi)了大量人力物力。人工檢測(cè)的主要缺點(diǎn)是不能保證產(chǎn)品的質(zhì)量。軟件技術(shù)近幾年發(fā)展迅猛，成本也降低到了小型生產(chǎn)廠商可以承受的水平。其中，使用機(jī)器視覺檢測(cè)系統(tǒng)可以實(shí)現(xiàn)因人力無法達(dá)到的精度及準(zhǔn)度。因此，各種生產(chǎn)廠商都可以基于機(jī)器視覺的表面缺陷檢測(cè)方法來達(dá)到檢測(cè)的要求。這種方法可以克服因人工檢測(cè)方法對(duì)產(chǎn)品的低抽檢率、低準(zhǔn)確性度、差實(shí)時(shí)性、低效率等弊端?；跈C(jī)器視覺檢測(cè)方法在現(xiàn)代自動(dòng)化工業(yè)中得到了更廣闊的研究和運(yùn)用。

基于機(jī)器視覺表面缺陷檢測(cè)方法的優(yōu)勢(shì)如下：

（1）基于機(jī)器視覺表面缺陷檢測(cè)可以不斷重復(fù)檢測(cè)，再加上所使用的算法使其更加可靠，這種方法可以替代人工因長時(shí)間重復(fù)同一工作而產(chǎn)生的視覺疲勞進(jìn)而使得所檢測(cè)的產(chǎn)品質(zhì)量有所下降。

（2）機(jī)器視覺無需選擇環(huán)境，即使檢測(cè)環(huán)境再惡劣，用基于機(jī)器視覺的方法進(jìn)行檢測(cè)可免于因環(huán)境惡劣進(jìn)而使人工存在安全隱患而不能檢測(cè)的情況。

（3）機(jī)器視覺檢測(cè)產(chǎn)品缺陷時(shí)可對(duì)產(chǎn)品進(jìn)行記錄、統(tǒng)計(jì)及分析數(shù)據(jù)，方便及時(shí)發(fā)現(xiàn)產(chǎn)品缺陷并加以控制和管理。

（4）非接觸式無損檢測(cè)?？梢灶A(yù)測(cè)，利用機(jī)器視覺檢測(cè)，在今后生產(chǎn)線及產(chǎn)品加工線上成為主流。

1 機(jī)器視覺技術(shù)

1.1 機(jī)器視覺簡介

機(jī)器視覺顧名思義讓機(jī)器具有人眼的判斷能力來檢測(cè)判斷產(chǎn)品是不是有缺陷。機(jī)器視覺檢測(cè)產(chǎn)品表面的依據(jù)是通過計(jì)算機(jī)將所生產(chǎn)的產(chǎn)品的圖像保存在機(jī)器視覺系統(tǒng)中，機(jī)器視覺系統(tǒng)通過比對(duì)尺寸、取值、計(jì)算等過程來判斷該產(chǎn)品的表面是否具有缺陷。通俗來講，機(jī)器視覺就是用機(jī)器來代替人眼做測(cè)量和判斷。機(jī)器視覺系統(tǒng)就是將采集到的目標(biāo)先轉(zhuǎn)換成圖像信號(hào)，再通過圖像處理系統(tǒng)處理成形態(tài)信息，依據(jù)圖像的像素、顏色、尺寸、亮度等信息將其轉(zhuǎn)換成計(jì)算機(jī)所能識(shí)別的數(shù)字化信號(hào)；圖像處理系統(tǒng)再將所收集到的信號(hào)通過各種算法來提取目標(biāo)特征，依據(jù)特征值判斷所收集到的信號(hào)結(jié)果來控制生產(chǎn)線上的設(shè)備動(dòng)作情況。

1.2 機(jī)器視覺缺陷檢測(cè)流程圖

圖1 缺陷檢測(cè)流程圖

如圖1所示。機(jī)器視覺檢測(cè)的一般模式是首先通過光學(xué)成像和圖像采集裝置獲得產(chǎn)品的數(shù)字化圖像，再用計(jì)算機(jī)進(jìn)行圖像處理得到相關(guān)檢測(cè)信息，形成對(duì)被測(cè)產(chǎn)品的判斷決策，最后將該決策信息發(fā)送到分揀裝置，完成被測(cè)產(chǎn)品的分揀。通過各種算法來檢測(cè)所攝取的目標(biāo)是不是有缺陷，如果有缺陷則標(biāo)記出來，再將所生產(chǎn)的其他的目標(biāo)以此來對(duì)比。人眼因長時(shí)間重復(fù)同一工作所產(chǎn)生的疲勞致使同一生產(chǎn)線上的缺陷被忽略，但是機(jī)器視覺檢測(cè)系統(tǒng)因其依據(jù)人眼來攝取對(duì)像不會(huì)產(chǎn)生因人自身、環(huán)境惡劣、產(chǎn)品本身所造成的缺陷。

機(jī)器視覺檢測(cè)系統(tǒng)主要包括圖像獲取系統(tǒng)、圖像處理系統(tǒng)、圖像分析系統(tǒng)、數(shù)據(jù)管理及人機(jī)接口等系統(tǒng)組成。圖像獲取系統(tǒng)由CCD攝像機(jī)、光學(xué)鏡頭、光源及其夾持裝置等組成，其功能是完成產(chǎn)品表面圖像的采集；圖像處理系統(tǒng)的功能主要涉及圖像去噪、圖像增強(qiáng)與復(fù)原、缺陷的檢測(cè)和目標(biāo)分割；圖像分析系統(tǒng)的功能主要涉及特征提取、特征選擇和圖像識(shí)別。

1.3 機(jī)器視覺檢測(cè)應(yīng)用趨勢(shì)

機(jī)器視覺系統(tǒng)在未來社會(huì)將要占據(jù)重要的地位，尤其是在工業(yè)、農(nóng)業(yè)、軍事、醫(yī)藥、交通上的使用會(huì)越來越頻繁，基于表面質(zhì)量缺陷檢測(cè)也會(huì)在加工及生產(chǎn)線上得到越來越高的重視和越來越廣泛的應(yīng)用。

2 產(chǎn)品表面缺陷檢測(cè)的實(shí)現(xiàn)

機(jī)器視覺檢測(cè)涉及到針對(duì)被檢測(cè)產(chǎn)品通過采集數(shù)據(jù)、分析數(shù)據(jù)、處理數(shù)據(jù)對(duì)所檢測(cè)對(duì)象的圖像進(jìn)行采集及預(yù)處理。采用圖像分割算法、圖像特征提取及其選擇算法、圖像識(shí)別等方法對(duì)產(chǎn)品表面進(jìn)行分析、統(tǒng)計(jì)。圖像處理和分析算法是重要內(nèi)容，算法的準(zhǔn)確性、實(shí)時(shí)性是研究和應(yīng)用的主要方向。

2.1 特征選擇與提取

特征模型主要是采用SIFT特征，本特征主要描述的是產(chǎn)品中有特征的局部特征的算法。這些局部特征主要包括兩類，一類是尺寸缺陷即實(shí)際生產(chǎn)的鏡頭尺寸大小與生產(chǎn)商規(guī)定尺寸存在偏差，另一類是鏡頭表面缺陷，根據(jù)實(shí)際生產(chǎn)狀況，本文將鏡頭表面的缺陷劃分為劃痕、毛線、膠水、灰塵顆粒這四種缺陷。

基于機(jī)器視覺表面缺陷檢測(cè)主要包括缺陷特征模型構(gòu)建、缺陷的檢測(cè)及其分類三個(gè)任務(wù)。首先需對(duì)樣本數(shù)據(jù)進(jìn)行訓(xùn)練提取其特征模型，然后判斷圖像中的各個(gè)區(qū)域是否含有缺陷，如若存在劃痕、膠水、灰塵顆粒、毛線等缺陷則該區(qū)域?yàn)槿毕莸奈恢?。以下是SIFT特征提取的主要步驟：（1）尺度空間極值點(diǎn)檢測(cè)；（2）特征點(diǎn)定位；（3）方向確定；（4）構(gòu)造描述子。

綜上，提取SIFT特征需在不同的尺度空間中尋找特征點(diǎn)，且高維特征向量處理起來繁瑣復(fù)雜，因此該特征并不適合用于大批圖像處理。

2.2 構(gòu)建圖像分類器

圖像分類器是一種機(jī)器學(xué)習(xí)模型，經(jīng)過訓(xùn)練后，能夠用來識(shí)別圖像。在您提供一張圖像后，圖像分類器會(huì)根據(jù)這個(gè)圖像回復(fù)一個(gè)標(biāo)簽。首先，準(zhǔn)備要用來訓(xùn)練和評(píng)估分類器的數(shù)據(jù)。從每個(gè)標(biāo)簽下的圖像中選擇80%的圖像來創(chuàng)建一個(gè)訓(xùn)練數(shù)據(jù)集，使用其余圖像創(chuàng)建測(cè)試數(shù)據(jù)集，確保任一指定圖像均只出現(xiàn)在其中一個(gè)集合中。具體的標(biāo)簽字符串并不重要，只要對(duì)您有意義即可。例如：您可以使用標(biāo)簽Cheetah來表示所有獵豹圖像。您不必以任何特定方式對(duì)圖像文件命名或?yàn)樗鼈兲砑釉獢?shù)據(jù)。您只需將它們放入具有正確標(biāo)簽的文件夾即可。

在訓(xùn)練集中，每個(gè)標(biāo)簽至少應(yīng)有10張圖像，當(dāng)然越多越好。此外，應(yīng)讓每個(gè)標(biāo)簽下的圖像數(shù)量保持平衡。例如：不要Cheetah下包含10張圖像，而Elephant下包含1000張圖像。

圖像可以使用任意格式，只要統(tǒng)一類型標(biāo)識(shí)符符合public.image即可，具體包括JPEG和PNG等常見格式。圖像無需尺寸一致，也不必使用任何特定的尺寸，但最好使用至少299x299PPI的圖像。如果可以，訓(xùn)練所用圖像應(yīng)當(dāng)與待預(yù)測(cè)圖像使用相似的方法收集。

提供多樣化圖像。例如：使用從不同角度和在不同光線條件下拍攝的動(dòng)物圖像。如果針對(duì)給定標(biāo)簽使用幾乎相同的圖像來訓(xùn)練分類器，該分類器的表現(xiàn)往往不如使用更為多樣化的圖像集訓(xùn)練出的分類器。接著，整理磁盤上的數(shù)據(jù)，確保與其中一個(gè)MLImageClassifier.ataSource (英文) 類型兼容。一種方法是創(chuàng)建兩個(gè)分別名為Training Data和Testing Data的文件夾。在每個(gè)文件夾中，以標(biāo)簽作為名稱創(chuàng)建子文件夾。然后，將每個(gè)數(shù)據(jù)集的圖像整理到相應(yīng)的子文件夾中。

2.3 表面缺陷目標(biāo)識(shí)別算法

統(tǒng)計(jì)模式識(shí)別和結(jié)構(gòu)模式識(shí)別是兩種最基本的模式識(shí)別方法。前者是模式的統(tǒng)計(jì)分類算法，這種算法與統(tǒng)計(jì)概率的貝葉斯決策系統(tǒng)結(jié)合后進(jìn)行模型識(shí)別的技術(shù)，這種算法又稱為決策型理論識(shí)別方法；后者的基本思想是把一個(gè)模式描述為較簡單的子模式的組合，子模式又可進(jìn)一步描述為更簡單的子模式的組合，最終得到一個(gè)樹狀結(jié)構(gòu)描述，利用模式與子模式分層結(jié)構(gòu)的樹狀信息完成模式識(shí)別任務(wù)。模式識(shí)別主要用于遙感圖像識(shí)別、文字識(shí)別等。

目前，基于機(jī)器視覺的表面缺陷識(shí)別主要涉及統(tǒng)計(jì)模式識(shí)別。統(tǒng)計(jì)模式識(shí)別按其實(shí)現(xiàn)方式又分為有監(jiān)督學(xué)習(xí)的模式識(shí)別和無監(jiān)督學(xué)習(xí)的模式識(shí)別。統(tǒng)計(jì)模式識(shí)別是在已知類別標(biāo)簽的特征集基礎(chǔ)上構(gòu)建分類器；后者也稱為聚類，此方法不需要已知類別的訓(xùn)練集，分類器直接根據(jù)特征向量之間的相似性，將待分類的特征向量集合分為若干個(gè)子集。

結(jié)語：基于機(jī)器視覺表面缺陷檢測(cè)系統(tǒng)，如何構(gòu)建特征模型，采用哪種算法是研究的重點(diǎn)內(nèi)容。本文主要是采用數(shù)字圖像處理的方法來檢測(cè)鏡頭的尺寸偏差，樣本圖像存在畸變是最常見也是影響檢測(cè)較大的因素。一旦采集到的樣本圖像存在畸變，就無法通過參照物標(biāo)定未知尺寸等方法來直接檢測(cè)鏡頭尺寸是否存在偏差，使其在產(chǎn)生樣本圖像中的感興趣區(qū)域時(shí)能夠降低原圖像的局部感興趣區(qū)域數(shù)量，減少局部區(qū)域之間存在較大重疊問題，提高網(wǎng)絡(luò)檢測(cè)的效率和準(zhǔn)確率，使檢測(cè)更向自動(dòng)化和智能化方向發(fā)展。