基于機(jī)器視覺的注塑件缺陷檢測(cè)系統(tǒng)研究

王亓才 馮小輝 史卜凡 冀國正 曹懷祥 袁濤 黃元鳳

摘 要 提出并設(shè)計(jì)了一種基于機(jī)器視覺的注塑件焦料雜質(zhì)缺陷檢測(cè)系統(tǒng)，通過對(duì)多光源非線性自動(dòng)調(diào)光算法的研究，提高了復(fù)雜生產(chǎn)環(huán)境下注塑件圖像采集質(zhì)量，并經(jīng)高斯濾波、灰度圖像、自適應(yīng)閾值處理、Canny邊緣檢測(cè)等圖像處理技術(shù)，可實(shí)現(xiàn)注塑件不同檢測(cè)精度下缺陷檢測(cè)。經(jīng)現(xiàn)場(chǎng)測(cè)試證明，在1 mm以上缺陷檢測(cè)精度下，雜質(zhì)缺陷的召回率為0.918，誤檢率為0.046，識(shí)別速度為每秒30幀，圖像處理算法性能穩(wěn)定，解決了復(fù)雜注塑件生產(chǎn)環(huán)境下檢測(cè)精度低、檢測(cè)效率低的問題。

關(guān)鍵詞 機(jī)器視覺 注塑件缺陷檢測(cè) 圖像處理 視覺控制平臺(tái)

中圖分類號(hào) TP391.41? ?文獻(xiàn)標(biāo)志碼 A? ?文章編號(hào) 1000?3932（2024）01?0113?07

隨著圖像處理、自動(dòng)化及機(jī)器視覺等技術(shù)的快速發(fā)展，塑料制造業(yè)經(jīng)歷了巨大的變化，先進(jìn)的工業(yè)系統(tǒng)對(duì)塑料產(chǎn)品生產(chǎn)過程中的質(zhì)量控制提出了更高的要求［1，2］。在注塑成型領(lǐng)域中，注塑件缺陷的檢測(cè)是塑料產(chǎn)品生產(chǎn)過程中質(zhì)量控制的關(guān)鍵環(huán)節(jié)，檢測(cè)對(duì)象為注塑成型系統(tǒng)中的注塑件，缺陷類型大多為熔融的焦料雜質(zhì)缺陷，雜質(zhì)尺寸大小1 mm以上，人眼可見。目前，注塑件缺陷檢測(cè)主要采用人眼觀察的方法檢驗(yàn)產(chǎn)品的質(zhì)量，該方法在注塑件成型后檢測(cè)，無法及時(shí)發(fā)現(xiàn)坯料生產(chǎn)過程中產(chǎn)生的雜質(zhì)，造成材料浪費(fèi)，增加了生產(chǎn)環(huán)節(jié)的制造成本；另外人眼觀察的檢測(cè)方法具有主觀性強(qiáng)、工作效率低、勞動(dòng)強(qiáng)度高、檢測(cè)可信度低及實(shí)時(shí)性差等缺點(diǎn)［3］，不能滿足塑料工業(yè)制造過程不斷提高的效率和質(zhì)量標(biāo)準(zhǔn)要求［4，5］。因此，需要在下料階段開發(fā)一種更有效、更可靠的注塑件焦料雜質(zhì)缺陷自動(dòng)檢測(cè)與控制系統(tǒng)來保證注塑件產(chǎn)品質(zhì)量。

在眾多缺陷檢測(cè)技術(shù)中，機(jī)器視覺是一種軟件與硬件相結(jié)合的方法，在設(shè)備中提供操作控制，具有執(zhí)行圖像捕獲、處理和關(guān)鍵屬性測(cè)量等功能［6］。相比于傳統(tǒng)的人眼觀察缺陷檢測(cè)方法，基于機(jī)器視覺的焦料雜質(zhì)缺陷檢測(cè)技術(shù)具有檢測(cè)能力高、自動(dòng)化程度高、實(shí)時(shí)性強(qiáng)及準(zhǔn)確性高等優(yōu)勢(shì)，而且減少了人力資源的使用［7，8］。特別是對(duì)一些大規(guī)模重復(fù)的缺陷檢測(cè)過程，比如大型注塑件缺陷檢測(cè)，機(jī)器視覺作為一種非接觸的、無損的檢測(cè)方法可以方便地用于信息集成、自動(dòng)化、智能和精確控制［9］。

因此，筆者針對(duì)上述注塑件生產(chǎn)線實(shí)際應(yīng)用問題，基于機(jī)器視覺，融合自動(dòng)化技術(shù)、圖像處理技術(shù)等［10～12］，首次提出并設(shè)計(jì)了集光、機(jī)、電、算法于一體的基于機(jī)器視覺的注塑件焦料雜質(zhì)缺陷檢測(cè)系統(tǒng)，通過在下料階段采用機(jī)器視覺識(shí)別與控制系統(tǒng)進(jìn)行質(zhì)量檢查和去除有缺陷的產(chǎn)品，實(shí)現(xiàn)注塑件缺陷非接觸、髙精度和全自動(dòng)化的識(shí)別與控制，該系統(tǒng)可以有效減少人工成本和材料成本，滿足先進(jìn)塑料工業(yè)系統(tǒng)中產(chǎn)品生產(chǎn)效率和質(zhì)量標(biāo)準(zhǔn)日益增長(zhǎng)的需求。

1 系統(tǒng)架構(gòu)

注塑件缺陷檢測(cè)系統(tǒng)的架構(gòu)如圖1所示，注塑件缺陷檢測(cè)系統(tǒng)主要由注塑件缺陷檢測(cè)軟件和視覺檢測(cè)平臺(tái)兩部分組成，其中視覺檢測(cè)平臺(tái)負(fù)責(zé)圖像采集和現(xiàn)場(chǎng)檢測(cè)控制，包括機(jī)械結(jié)構(gòu)、可編程邏輯控制器（Programmable Logic Controller，PLC）控制系統(tǒng)、圖像采集模塊等；注塑件缺陷檢測(cè)軟件部分主要包括視覺檢測(cè)平臺(tái)控制、多光源非線性自動(dòng)調(diào)光、注塑件缺陷檢測(cè)圖像處理算法和多相機(jī)協(xié)同控制四部分功能。工控機(jī)主要進(jìn)行檢測(cè)系統(tǒng)的檢測(cè)結(jié)果顯示和上位機(jī)控制。

2 系統(tǒng)檢測(cè)原理與技術(shù)

2.1 視覺檢測(cè)平臺(tái)工作原理

視覺檢測(cè)平臺(tái)主要包括機(jī)械結(jié)構(gòu)、PLC控制系統(tǒng)、圖像采集模塊等。視覺檢測(cè)平臺(tái)總體裝置如圖2a所示，主要由機(jī)架、滑臺(tái)模組、推桿結(jié)構(gòu)、設(shè)備固定模組組成，機(jī)架設(shè)計(jì)為底座結(jié)構(gòu)，滑臺(tái)模組固定在機(jī)架上，推桿結(jié)構(gòu)固定在滑塊上，設(shè)備固定模組固定在推桿結(jié)構(gòu)上，相機(jī)模組、燈管及保溫裝置安裝在設(shè)備固定模組上。

圖像采集模塊的主要任務(wù)是獲取高質(zhì)量的圖像［13］。圖像采集模塊俯視圖如圖2b所示，圖像采集模塊由LED光源、相機(jī)模組組成，LED光源用于克服環(huán)境照明的干擾，保證圖像采集的質(zhì)量，相機(jī)模組由電荷耦合器件（Charge Coupled Device，CCD）工業(yè)相機(jī)和鏡頭組成，鏡頭主要用于CCD工業(yè)相機(jī)的焦距調(diào)整［14］。

檢測(cè)系統(tǒng)的控制執(zhí)行機(jī)構(gòu)采用PLC，并對(duì)平臺(tái)進(jìn)行運(yùn)動(dòng)控制，視覺檢測(cè)平臺(tái)接收現(xiàn)場(chǎng)注塑成型系統(tǒng)檢測(cè)信號(hào)時(shí)，機(jī)械結(jié)構(gòu)和PLC控制系統(tǒng)配合可以控制檢測(cè)裝置進(jìn)入固定位置，到位后，在檢測(cè)位置打強(qiáng)光，CCD工業(yè)相機(jī)采集高對(duì)比度、高質(zhì)量的注塑件圖像，通過交換機(jī)傳輸?shù)焦た貦C(jī)進(jìn)行注塑件缺陷檢測(cè)，檢查出焦渣缺陷后將報(bào)警信號(hào)傳給注塑件成型系統(tǒng)，實(shí)現(xiàn)注塑件缺陷的平穩(wěn)、安全、自動(dòng)化檢測(cè)與控制。

2.2 注塑件缺陷檢測(cè)軟件

注塑件缺陷檢測(cè)軟件包含4部分功能模塊，分別為視覺檢測(cè)平臺(tái)控制、注塑件缺陷檢測(cè)圖像處理、多光源非線性自動(dòng)調(diào)光和多相機(jī)協(xié)同控制。通過調(diào)整檢測(cè)裝置的位置、工作模式、控制信號(hào)、電機(jī)的速度和方向等，使視覺檢測(cè)平臺(tái)能平穩(wěn)地和現(xiàn)場(chǎng)注塑件成型系統(tǒng)配合使用，系統(tǒng)視覺總體檢測(cè)流程如圖3所示，通過軟件實(shí)現(xiàn)相機(jī)與工控機(jī)的通信，使相機(jī)可以實(shí)時(shí)采集圖像數(shù)據(jù)、定時(shí)抓取圖片，將數(shù)據(jù)傳輸?shù)焦た貦C(jī)進(jìn)行當(dāng)前照片亮度識(shí)別，通過多光源非線性自動(dòng)調(diào)光，獲取高質(zhì)量注塑件圖片；然后進(jìn)行圖像處理和缺陷檢測(cè)，經(jīng)過高斯濾波、灰度圖像、自適應(yīng)閾值處理、Canny邊緣檢測(cè)等圖像處理技術(shù)，實(shí)現(xiàn)1 mm以上注塑件缺陷檢測(cè)；最后將缺陷檢測(cè)結(jié)果通知給PLC控制系統(tǒng)，進(jìn)而利用PLC信號(hào)控制多組相機(jī)合成圖片，并保存記錄。

2.2.1 多光源非線性自動(dòng)調(diào)光算法

注塑件的缺陷是熔融內(nèi)部缺陷，光源需要透過生產(chǎn)過程中的注塑件，生產(chǎn)過程中注塑件的厚度不同，導(dǎo)致光源透過注塑件的均一度不同，另一方面，當(dāng)圖片亮度過低或者過亮?xí)r，拍到的有缺陷的圖片、前景圖和背景圖對(duì)比度不明顯，不易從背景圖中識(shí)別出前景圖的特征，因此根據(jù)現(xiàn)場(chǎng)生產(chǎn)需求，提出一種多光源非線性自動(dòng)調(diào)光算法，設(shè)計(jì)使用CCD工業(yè)相機(jī)定時(shí)獲取當(dāng)前感興趣區(qū)域圖片，然后對(duì)采集到的即時(shí)圖片進(jìn)行分析處理，將準(zhǔn)備分析的圖片從24位RGB模式轉(zhuǎn)換成8位灰度模式，轉(zhuǎn)換過程為：將RGB3原色按固定權(quán)重進(jìn)行轉(zhuǎn)換，然后對(duì)灰度圖進(jìn)行統(tǒng)計(jì)分析，將圖像各波段的均方根作為當(dāng)前圖片的亮度值，從而對(duì)圖像的亮度進(jìn)行量化比較。如圖4所示，通過比較圖片檢測(cè)亮度與設(shè)定標(biāo)準(zhǔn)亮度的差值，進(jìn)行光源電壓PID參數(shù)自動(dòng)整定，進(jìn)而確定光源控制器調(diào)整比例，當(dāng)差值越大時(shí)，電壓調(diào)整的幅度也越大，當(dāng)差值較小時(shí)，電壓調(diào)整的幅度也較小，從而可實(shí)現(xiàn)快速、精準(zhǔn)調(diào)整，一般經(jīng)過1～3次調(diào)整，光源亮度即可調(diào)整合理區(qū)間以內(nèi)，可有效實(shí)現(xiàn)光源強(qiáng)度自動(dòng)調(diào)整，實(shí)現(xiàn)高質(zhì)量圖片的采集，提高缺陷識(shí)別算法的有效性。

2.2.2 注塑件缺陷檢測(cè)圖像處理算法

注塑件缺陷檢測(cè)圖像處理算法是檢測(cè)系統(tǒng)的關(guān)鍵，優(yōu)秀的視覺識(shí)別算法能夠快速、準(zhǔn)確地檢測(cè)到圖像中的目標(biāo)特征，并最大限度地減少對(duì)系統(tǒng)硬件的依賴［15］。圖像處理算法流程如圖5所示，圖像處理算法主要進(jìn)行圖像預(yù)處理和缺陷檢測(cè)，接下來將詳細(xì)介紹筆者所用圖像處理技術(shù)。

濾波處理。在圖像采集和傳輸過程中有可能產(chǎn)生各種圖像噪聲，這些噪聲降低了圖像質(zhì)量，進(jìn)而對(duì)圖像分析產(chǎn)生了不利影響。通常采用濾波的方式對(duì)原始圖像去噪［16］，筆者采用高斯濾波對(duì)原始圖像進(jìn)行去噪，利用二維高斯核函數(shù)對(duì)原始圖像進(jìn)行卷積運(yùn)算處理，來保證圖像缺陷特征清楚。高斯濾波采用下式進(jìn)行：

其中，σ為定義鄰域大小的參數(shù)；G（x）為二維的高斯核函數(shù)。

灰度圖像。圖像采集模塊采集的注塑件圖像數(shù)據(jù)是彩色圖像，系統(tǒng)在注塑件缺陷識(shí)別過程中對(duì)顏色信息并不關(guān)心，筆者采用的灰度化算法為平均值法，用新值填充圖像就是所要得到的灰度圖像。

閾值處理。經(jīng)過高斯降噪和灰度化處理之后，圖像能明顯地顯示出主要邊緣信息，為了使后面的缺陷邊緣提取效果更好，此時(shí)需要再對(duì)圖像進(jìn)行灰度二值化處理，即閾值處理［17］。

筆者采用自適應(yīng)閾值處理，利用OpenCV中的adaptiveThreshold函數(shù)對(duì)圖像應(yīng)用自適應(yīng)閾值，依照檢測(cè)對(duì)象的灰度表現(xiàn)不同而自動(dòng)選擇不同的公式進(jìn)行計(jì)算，主要根據(jù)如下公式將灰度圖像轉(zhuǎn)換為二值化圖像：

其中，T（x，y）是每個(gè)像素都單獨(dú)計(jì)算的閾值；src（x，y）是待計(jì)算的像素值；dst（x，y）是計(jì)算后的輸出結(jié)果值。

邊緣檢測(cè)。邊緣檢測(cè)是圖像處理中的關(guān)鍵操作，圖像經(jīng)過預(yù)處理后，再進(jìn)行Canny算子邊緣處理，通過調(diào)用OpenCV中的Canny（）函數(shù)，使用Canny算法對(duì)輸入圖像進(jìn)行邊緣檢測(cè)，提取出注塑件缺陷的外圍輪廓，然后對(duì)缺陷的輪廓進(jìn)行面積處理，并進(jìn)行標(biāo)記［18］。這里可識(shí)別并標(biāo)記1 mm以內(nèi)缺陷、1～2 mm缺陷、2～3 mm缺陷和3 mm以上缺陷。

3 系統(tǒng)檢測(cè)原理與技術(shù)

3.1 運(yùn)行環(huán)境配置

通過注塑件缺陷檢測(cè)軟件控制視覺檢測(cè)平臺(tái)采集注塑件缺陷樣本圖片，并進(jìn)行測(cè)試和識(shí)別。機(jī)器視覺系統(tǒng)實(shí)驗(yàn)環(huán)境、配置情況和運(yùn)行環(huán)境見表1。其中光源系統(tǒng)采用正白光大LED燈條，光效達(dá)到102.82 lm/W；相機(jī)采用1 200萬分辨率，單像素精度為0.07 mm，測(cè)量誤差0.219 mm；鏡頭選擇6 mm焦距鏡頭；并對(duì)視覺檢測(cè)系統(tǒng)進(jìn)行標(biāo)定，即得出CCD工業(yè)相機(jī)采集圖像像素和實(shí)際注塑件缺陷尺寸的相互關(guān)系，關(guān)系為缺陷尺寸1 mm對(duì)應(yīng)圖片4個(gè)像素；圖像處理算法部署環(huán)境為工控機(jī)，工控機(jī)CPU為Intel Core i7，內(nèi)存16 GB，硬盤1 TB；采用Intel開源的計(jì)算機(jī)視覺庫OpenCV，并利用Python接口，進(jìn)行圖像處理和計(jì)算機(jī)視覺開發(fā)。

3.2 結(jié)果分析

3.2.1 缺陷檢測(cè)數(shù)據(jù)集標(biāo)注

如圖6a所示，文中的注塑件檢測(cè)圖像數(shù)據(jù)集來源于某塑料制品生產(chǎn)公司，原始的注塑件圖像數(shù)據(jù)集一共包括226張注塑件缺陷圖像，圖片分辨率為640×640，格式為JPG。檢測(cè)對(duì)象為注塑成型系統(tǒng)中的注塑件，缺陷的類型大多為焦料雜質(zhì)缺陷，主要產(chǎn)生于料坯生產(chǎn)過程中。根據(jù)工業(yè)現(xiàn)場(chǎng)需求，可對(duì)注塑件缺陷進(jìn)行尺寸標(biāo)記和篩選，根據(jù)注塑件缺陷尺寸，缺陷分為1 mm以內(nèi)缺陷（綠色）、1～2 mm缺陷（藍(lán)色）、2～3 mm缺陷（黃色）、3 mm以上缺陷（紅色），缺陷尺寸篩選標(biāo)記如圖6b所示。

3.2.2 檢測(cè)性能指標(biāo)及分析

系統(tǒng)的缺陷評(píng)價(jià)指標(biāo)包括召回率TPR、誤檢率FPR和識(shí)別速度。計(jì)算公式如下：

其中，TP為本為缺陷并且也被判定成缺陷；FN為漏報(bào)，即本為缺陷但判定為合格；FP為誤報(bào)，即本為合格但判定為缺陷；TN為本為合格并且也被判定成合格。

根據(jù)生產(chǎn)企業(yè)檢測(cè)需求，設(shè)置不同的缺陷檢測(cè)精度，不同的檢測(cè)精度檢測(cè)性能有所區(qū)別，1 mm以上檢測(cè)精度下，召回率為0.918，誤檢率為0.046；2 mm以上召回率為0.930，誤檢率為0.043；3 mm以上召回率為0.943，誤檢率為0.037。在當(dāng)前硬件配置下，識(shí)別速度為每秒30幀。表2為缺陷檢測(cè)結(jié)果?？梢钥闯觯撓到y(tǒng)具有較高的召回率、較低的誤檢率和較快的識(shí)別速度，高的召回率代表注塑件生產(chǎn)企業(yè)不良注塑件產(chǎn)品流向市場(chǎng)的數(shù)量越少，可以極大減少企業(yè)召回成本；誤檢率越低，可以給企業(yè)帶來較低的物料成本損失；識(shí)別速度越快，可極大地提高注塑件缺陷檢測(cè)效率。

4 結(jié)束語

注塑件缺陷識(shí)別技術(shù)在實(shí)際工業(yè)生產(chǎn)中發(fā)揮著不可或缺的作用，但是國內(nèi)相關(guān)研究不夠系統(tǒng)，筆者以機(jī)器視覺為基礎(chǔ)，融合自動(dòng)化技術(shù)和圖像處理技術(shù)，首次提出并設(shè)計(jì)了光、機(jī)、電、算法一體化的基于機(jī)器視覺的注塑件焦料雜質(zhì)缺陷檢測(cè)系統(tǒng)，提出一種多光源非線性自動(dòng)調(diào)光算法，為提高復(fù)雜環(huán)境下照片采集質(zhì)量提供了思路，同時(shí)本系統(tǒng)能在滿足精度的條件下實(shí)現(xiàn)注塑件缺陷快速、非接觸、髙精度和全自動(dòng)化識(shí)別與控制，可以有效減少人工成本和材料成本，滿足先進(jìn)工業(yè)系統(tǒng)中產(chǎn)品生產(chǎn)效率和質(zhì)量標(biāo)準(zhǔn)日益增長(zhǎng)的需求。

參 考 文 獻(xiàn)

［1］ 周顯恩，王耀南，朱青，等.基于機(jī)器視覺的瓶口缺陷檢測(cè)方法研究［J］.電子測(cè)量與儀器學(xué)報(bào)，2016，30（5）：702-713.

［2］ PENUMURU D P，MUTHUSWAMY S，KARUMBU P.Identification and classification of materials using machine vision and machine learning in the context of industry 4.0［J］.Journal of Intelligent Manufacturing，2020，31（5）：1229-1241.

［3］ SONG G R，SONG K C，YAN Y H.EDRNet：encoder?decoder residual network for salient object detection of strip steel surface defects［J］.IEEE Transactions on Instrumentation and Measurement，2020，69（12）：9709-9719.

［4］ 李贊澄，時(shí)宇航，張祥祥，等.面向螺紋缺陷檢測(cè)的協(xié)同控制平臺(tái)設(shè)計(jì)［J］.智能制造，2021（2）：73-76.

［5］ WANG T，CHEN Y，QIAO M N，et al.A fast and robust convolutional neural network?based defect detection model in product quality control［J］.International Journal of Advanced Manufacturing Technology，2018，94（9?12）：3465-3471.

［6］ DRUNGILAS D，KURMIS M，LUKOSIUS Z，et al.An adaptive method for inspecting illumination of color intensity in transparent polyethylene terephthalate preforms［J］.IEEE Access，2020，8：83189-83198.

［7］ QIU K P，TIAN L，WANG P.An effective framework of automated visual surface defect detection for metal parts［J］. IEEE Sensors Journal， 2021， 21（18）：20412-20420.

［8］ ALI M A H，LUN A K.A cascading fuzzy logic with image processing algorithm?based defect detection for automatic visual inspection of industrial cylindrical objects surface［J］.International Journal of Advanced Manufacturing Technology，2019，102（1?4）：81-94.

［9］ LI X M，SHU Y F，ZUO D L，et al.Machine vision of tex? tile testing and quality research［J］.Journal of Intelligent and Fuzzy Systems，2019，38（10）：1-7.

［10］ 姜燕，王悅，張旭澤，等.基于PLC的自動(dòng)化機(jī)器人視覺形狀特征識(shí)別算法分析［J］.制造業(yè)自動(dòng)化，2021，43（1）：152-156.

［11］ JIN Z K，LIU L，GONG D F，et al.Target recognition of industrial robots using machine vision in 5G environment［J］.Frontiers in Neurorobotics，2021，15：624466.

［12］ 劉桂華，王玉玫，王靜強(qiáng).基于機(jī)器視覺的隔水管法蘭端面位姿檢測(cè)［J］.機(jī)械設(shè)計(jì)，2019，36（3）：84-90.

［13］ XIAO L，WU B，HU Y M.Surface defect detection using image pyramid［J］.IEEE Sensors Journal，2020，20（13）：7181-7188.

［14］ SUN X H，GU J A，TANG S X，et al.Research progress of visual inspection technology of steel products—A review［J］.Applied Sciences，2018，8（11）：2195.

［15］ REN Z H，F(xiàn)ANG F Z，YAN N，et al.State of the art in defect detection based on machine vision［J］.International Journal of Precision Engineering and Manufac turing?Green Technology，2021：9-12.

［16］ CHOWDHURY D， DAS S K， NANDY S，et al.An ato? mic technique for removal of gaussian noise from a noisy gray scale image using lowpass?convoluted gaussian filter［C］//2019 International Conference on Opto?Electronics and Applied Optics （Optronix）.Piscataway：IEEE，2019.

［17］ 羅輝，崔亞飛.基于機(jī)器視覺的工件識(shí)別與定位系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)［J］.組合機(jī)床與自動(dòng)化加工技術(shù)，2021（1）：101-105；109.

［18］ XIAO Y N，LI J Y.Crack detection algorithm based on the fusion of percolation theory and adaptive canny operator［C］//2018 37th Chinese Control Conference （CCC）.Piscataway：IEEE，2018：4295-4299.