基于機器視覺的銅板表面缺陷檢測研究

關鍵詞：機器視覺；智能制造；圖像識別

中圖分類號：TP391 文獻標識碼：A

文章編號：1009-3044（2024）28-0127-03

0 引言

隨著“中國制造2025”的持續(xù)推進，機器視覺已成為制造業(yè)的關鍵技術，幫助大中型企業(yè)提高生產質量、效率和自動化水平。機器視覺技術集機械工程、自動化控制、光電信息、圖像識別和計算機軟硬件于一體，通過相機實時捕捉圖像并進行智能分析處理，從而實現(xiàn)對目標對象的智能化控制[1]。機器視覺技術在工廠各個生產環(huán)節(jié)都有廣泛的應用，在冶金及化學工業(yè)領域，機器視覺技術在質量控制和缺陷檢測方面應用也非常廣泛，檢測銅板表面的凸起高度、直徑等，以提高金屬銅板分揀質量。其次，與工業(yè)互聯(lián)網(wǎng)平臺相融合的機器視覺系統(tǒng)用于冶金過程的自動化監(jiān)控，包括爐溫和物料分布的監(jiān)測，以提高工藝效率，也極大提高生產安全性。這些過程可以幫助企業(yè)及時有效地發(fā)現(xiàn)和解決可能影響銅板質量的問題，從而提高銅板發(fā)售的可靠性和穩(wěn)定性。

機器視覺技術在智能制造中對人、資、物、料、環(huán)都起著至關重要的作用，因此結合對工業(yè)生產制造流程的分析，對生產線檢測設備進行改造，設計出一套基于機器視覺的銅板表面缺陷檢測系統(tǒng)，運用視覺檢測軟件配合工業(yè)機器人進行分揀處理，通過該技術的應用，可有效提升工業(yè)生產線的智能化水平[2]。本文旨在為研究人員和決策者提供全面的了解，以便更好地應用和推進這一重要領域。

1 銅板缺陷檢測總體裝置設計

1.1 檢測原理

銅板表面缺陷檢測裝置的總體結構比較復雜，銅板缺陷檢測裝置由工業(yè)機器人、視覺檢測裝置、機械手分揀裝置和控制系統(tǒng)等附屬部件組成。如圖1 所示。

裝置工作原理如下：首先，銅板輸送單元將待檢測的銅板通過傳送鏈條傳送至視覺檢測區(qū)域，光電接觸開關感知到銅板進入后，觸發(fā)相機圖像采集。隨后，圖像處理系統(tǒng)對采集的銅板表面圖像進行分析識別，并發(fā)送分揀指令。最后，機械手分揀裝置根據(jù)識別結果對銅板進行分類處理。

該裝置采用基于特征的視覺掃描技術，通過優(yōu)化照明模式實現(xiàn)最佳的分辨率和點密度，克服了傳統(tǒng)掃描方式下小特征欠采樣的問題。

1.2 機械手分揀裝置

工業(yè)機器人前端的機械手與視覺檢測單元實現(xiàn)通信連接，并設有機械限位裝置，以防分揀過程中銅板掉落。機械手能根據(jù)視覺識別結果，準確吸取銅板并放至指定位置[3]。機械手分揀裝置主要包括分揀吸盤部件和分揀底座裝置，如圖2所示。

1.3 視覺檢測單元

視覺檢測單元包括工業(yè)相機、機械傳動設備、接近式傳感器、圖像采集卡和LED光源等部件，該系統(tǒng)關鍵在于視覺檢測單元的部署，工業(yè)相機搭配環(huán)形光源和正方形光源，以最大程度保證待檢測銅板表面被相機準確捕捉，視覺檢測工業(yè)相機如圖3所示。

搭載視覺掃描系統(tǒng)能夠實現(xiàn)基于特征的最佳分辨率和點密度。在傳統(tǒng)輪廓儀和結構光中，掃描方向是固定的，克服了傳統(tǒng)掃描方式下小特征欠采樣的問題，而視覺掃描系統(tǒng)則通過針對每個小特征優(yōu)化照明模式，可以實現(xiàn)傳感器的最佳性能。

2 銅板表面缺陷檢測系統(tǒng)設計

2.1 系統(tǒng)工作方式及分揀流程

1） 銅板輸送。工業(yè)生產的待檢測銅板經過人工叉車轉運至入口輸送鏈條，等待輸送鏈條的入口傳感器檢測到銅板時，待檢測銅板依次被運送到工業(yè)機器人視覺相機檢測下方，此時，工業(yè)機器人進入準備狀態(tài)并自動調整好機械手姿態(tài)4fzhOZXAaNQ/lJQV6IOWs7PXZeQIrQ6bT2Lzd0Vbmz4=等待控制信號。

2） 識別檢測。待檢測銅板通過輸送鏈條和機械限位到達工業(yè)相機下方時，機械手前端的工業(yè)相機開始進行拍照，將采集的圖片信息通過網(wǎng)絡傳輸至后臺終端進行處理。

3） 分揀轉運。后臺處理終端將采集信息和數(shù)據(jù)信息進行統(tǒng)一，并向現(xiàn)場控制器上傳結果。得到控制信號后，機械手將待修復品通過PLC控制轉運至待修復區(qū)域，合格銅板不做處理繼續(xù)轉運至下一工位，不合格銅板通過工業(yè)機器人抓取至指定位置轉運至不合格區(qū)域，由現(xiàn)場工作人員進一步處理。

此系統(tǒng)關鍵在于視覺單元部分，機器視覺識別設計離不開相機，第一步就是采集到圖像信息，完成工業(yè)相機的調用，使工業(yè)相機能夠獲取到輸送鏈上銅板表面的圖像信息；如圖4所示為基于機器視覺的銅板表面缺陷檢測系統(tǒng)硬件設計。將工業(yè)相機獲取到的圖像信息發(fā)送至部署的工業(yè)計算機或服務器上，該服務器通過視覺算法進行圖像特征提取，從原始數(shù)據(jù)中提取出有用的、有助于學習的特征，減少數(shù)據(jù)的維度，使數(shù)據(jù)更容易被處理和學習[4]。然后進行圖像識別與分類，對獲取到的圖像信息進行標記數(shù)據(jù)來訓練機器模型，將輸入圖像分配給事先定義的類別，以實現(xiàn)智能化的銅板識別和圖像分類；最后，將銅板分類識別的信息傳送給現(xiàn)場工業(yè)機器人。

硬件控制系統(tǒng)部分主要包括PLC控制系統(tǒng)、控制站及傳感器和現(xiàn)場操作控制臺等，控制系統(tǒng)選用西門子1500系列，各傳感器對銅板檢測整個流程的狀態(tài)進行反饋，控制系統(tǒng)對檢測銅板做出相應的動作。當工業(yè)相機識別出表面缺陷程度不同的銅板，將分類識別結果發(fā)送給工業(yè)機器人，機器人接收信號調用分揀機構吸取銅板，調整機械臂狀態(tài)，根據(jù)分類信息位置預設定分揀至對應位置，一次分揀完成后機器人回到原位置等待下一次，循環(huán)往復進行缺陷檢測的流程。機器視覺識別與機器人分揀銅板流程圖如圖5所示。

2.3 系統(tǒng)軟件設計

基于機器視覺的銅板表面缺陷檢測軟件設計部分，功能的實現(xiàn)關鍵是軟件開發(fā)平臺的搭建和系統(tǒng)軟件的設計，其設計效果也影響著整個系統(tǒng)的整體性能，本節(jié)主要是對系統(tǒng)的軟件部分進行設計，主要是基于Python對采集圖片信息的分析處理，以PyCharm的軟件開發(fā)環(huán)境實現(xiàn)圖像處理信息的結果顯示。本系統(tǒng)中采用最精簡的軟件編程方法，提高整個系統(tǒng)的傳輸效率。根據(jù)上述硬件設計可知，基于機器視覺的銅板表面缺陷檢測軟件編程主要分為：圖像信息獲取、工業(yè)相機模塊調用、銅板缺陷分類識別并輸出最終結果。

在圖像采集視覺識別過程中，系統(tǒng)相關模塊初始化，設定以固定的時間間隔采集輸送鏈上銅板表面的圖像信息，而代碼則是通過START_Inducamera 啟動并調用工業(yè)相機來獲取銅板信息，獲取得到的銅板表面圖像信息以json文件格式存儲在PyCharm的軟件開發(fā)環(huán)境中，服務器接收到傳送來的圖像信息數(shù)據(jù)會進行高速處理，將儲存json文件格式的圖像信息轉換成計算機可識別的二進制。主要代碼如下：

通過from ultralytics import YOLO 引入使用YO?LOv8 進行銅板表面缺陷面積的識別檢測。主要代碼如下：

當判別銅板是否符合合格或不合格時，還需要經過圖像預處理過程，對采集到的銅板圖像進行圖像分割和形態(tài)處理等操作，主要目的是消除圖像中無關的信息，增強有關信息的可檢測性和最大程度地簡化數(shù)據(jù)，從而改進圖像分割和識別的可靠性[5]。另外為提高檢測系統(tǒng)的精度要求，對采集到的圖像進行目標檢測，也是決定圖像是否需要進一步處理，如果圖像存在缺陷，將圖像進行進一步處理，確定該缺陷是否在允許的范圍內，之后再判定銅板是否合格。如果圖像中不存在缺陷，則可立刻判定銅板是合格的。通過目標檢測可以避免每一片銅板都需要花大量時間進行各部分檢測，減少圖像處理時間，提高整個檢測系統(tǒng)的效率。

圖像需要經過形態(tài)學處理，需要經過一定的閾值對圖像進一步進行處理分析，設定閾值115將灰度圖像的像素分成在閾值之上的像素群和閾值之下的像素群，則：

2.4 系統(tǒng)測試及結論

將計算機識別的結果信息傳送給工業(yè)機器人，機器人接收到銅板缺陷檢測的結果后，將預留的通信接口進行部署規(guī)劃，通常會用到TCP/IP通信進行字符串數(shù)據(jù)的交互，機器人通過socket做服務器，將配置文件放入工業(yè)機器人的EthernetKRL文件夾當中，然后進行通信測試，通信測試結果如圖4所示。

測試通信無誤后，機器人通過預設定位，對不同缺陷品級的銅板進行分揀至相應位置，基于機器視覺的工業(yè)機器人銅板缺陷檢測系統(tǒng)結果如圖6所示。實現(xiàn)銅板表面缺陷檢測不同品級的分類。

該系統(tǒng)設計通過對銅板表面采集圖像數(shù)據(jù)，進行后臺一系列圖像處理，可以判斷出銅板缺陷的位置和圖像數(shù)據(jù)信息，通過PLC輸出搭載工業(yè)機器人控制分揀裝置，增強了工業(yè)生產線智能缺陷檢測系統(tǒng)的高效性和適用性，實現(xiàn)生產智能化，極大程度降低了一線職工勞動強度，也加快了企業(yè)數(shù)字化轉型的進程。

3 行業(yè)存在的問題及未來發(fā)展趨勢

未來，機器視覺技術將持續(xù)發(fā)展，引領科技創(chuàng)新的浪潮。一方面，隨著該技術在工業(yè)中的應用越來越廣泛，在智能制造中將有更多的生產環(huán)節(jié)來控制和管理[6]；另外，隨著技術的不斷優(yōu)化，可以更精確地檢測和識別銅板的質量和表面缺陷，從而幫助企業(yè)實現(xiàn)高效率高質量的生產，降低工作人員的勞動強度。另一方面，工業(yè)機器人與機器視覺深度融合是現(xiàn)代工業(yè)制造中非常重要的技術創(chuàng)新，機器視覺技術將具備更強的可擴展性和互操作性，能夠更好地與其他工業(yè)設備和自動化系統(tǒng)進行集成和交互，與工業(yè)互聯(lián)網(wǎng)平臺結合形成數(shù)字孿生體系，幫助企業(yè)優(yōu)化生產流程，從而提高降本增效[7]。機器視覺技術已經在各個領域取得了顯著的進展，從自動駕駛到醫(yī)學診斷，再到工業(yè)生產和文化遺產保護，都取得了卓越的成就。隨著未來的發(fā)展，這一技術領域將繼續(xù)創(chuàng)新，引領著科技的前沿。圖像識別、大數(shù)據(jù)和跨領域互聯(lián)網(wǎng)整合將推動機器視覺技術的應用范圍不斷擴大，帶來更多智能化的解決方案[8]。同時，該項目也可以推廣至其他智能制造實踐場景，提高效率和改善質量。