基于機(jī)器視覺的中小零件連續(xù)自動(dòng)檢測系統(tǒng)設(shè)計(jì)

全燕鳴 李倩 黃富華

?

基于機(jī)器視覺的中小零件連續(xù)自動(dòng)檢測系統(tǒng)設(shè)計(jì)

全燕鳴 李倩 黃富華

（華南理工大學(xué)）

為緩解中小零件制品需大量檢測人工、耗時(shí)費(fèi)力且難以滿足日益提升的品質(zhì)要求的問題，面向工程應(yīng)用，設(shè)計(jì)一套基于機(jī)器視覺的多品種中小零件連續(xù)自動(dòng)檢測系統(tǒng)。提出“多列并行”和“公共底座＋治具”方案，在一條垂直面循環(huán)的鏈板式輸送帶上布置多列治具底座，根據(jù)所需檢測零件幾何特點(diǎn)設(shè)計(jì)對應(yīng)治具，多品種零件可混線連續(xù)被工業(yè)相機(jī)采集圖像，并可自動(dòng)分流和卸料；基于LabVIEW開發(fā)表面缺陷、幾何形狀和尺寸檢測軟件。實(shí)物樣機(jī)檢測沖壓件的試運(yùn)行結(jié)果表明：該檢測系統(tǒng)軟硬件協(xié)調(diào)運(yùn)行，30個(gè)實(shí)驗(yàn)樣本的檢測正確率達(dá)到100%。

機(jī)器視覺；中小零件；自動(dòng)檢測；LabVIEW；圖像處理

0　引言

機(jī)械零件種類多、產(chǎn)量大，其質(zhì)量直接影響裝配產(chǎn)品性能。零件質(zhì)量檢測是現(xiàn)代制造業(yè)的必要環(huán)節(jié)，提高檢測可靠性和效率、減少檢測耗時(shí)是提高生產(chǎn)效率的重要途徑。目前，大多數(shù)制造企業(yè)仍采用人工檢測方式，受工人生理和主觀性影響較大，難以保證檢測可靠性，且耗時(shí)長、效率低。

機(jī)器視覺以系統(tǒng)穩(wěn)定、過程高效和結(jié)果準(zhǔn)確的特點(diǎn)，被廣泛用于工業(yè)零件的信息識別和特征檢測中[1]。針對許多中小企業(yè)“以機(jī)代人”提高檢測過程自動(dòng)化和智能化的迫切需求，面向工程應(yīng)用，開發(fā)一套基于機(jī)器視覺的多品種中小零件連續(xù)自動(dòng)檢測系統(tǒng)。該系統(tǒng)提高了檢測效率，并記錄每一個(gè)零件的狀況，對生產(chǎn)具有指導(dǎo)性作用，可減少不必要的浪費(fèi)。

1　檢測流程與機(jī)電設(shè)計(jì)

基于機(jī)器視覺的多品種中小零件連續(xù)自動(dòng)檢測設(shè)備機(jī)械結(jié)構(gòu)如圖1(a)所示，鏈板機(jī)構(gòu)繞水平軸在垂直面回轉(zhuǎn)，連續(xù)輸送被測件，檢測流程如下：1）在上料區(qū)域人工將待測件放入治具中進(jìn)行限位；2）待測件隨鏈板機(jī)的回轉(zhuǎn)運(yùn)動(dòng)到達(dá)圖像采集區(qū)域時(shí)，光電傳感器觸發(fā)工業(yè)相機(jī)拍攝，獲取待檢沖壓件圖像；3）圖像數(shù)據(jù)上傳至上位機(jī)，利用LabVIEW軟件平臺(tái)對沖壓件進(jìn)行檢測、測量、分析和判斷；4）檢測結(jié)果輸出至分揀機(jī)構(gòu)的Arduino邏輯控制器[2]，控制分料口擋板開合以實(shí)現(xiàn)合格品與不合格品的分離；5）在操作界面實(shí)時(shí)顯示檢測零件總數(shù)、不合格數(shù)、不合格率等數(shù)據(jù)，并把數(shù)據(jù)打包導(dǎo)出至Excel表格。

為使設(shè)備適用于多品種中小零件的自動(dòng)檢測，提出“公共底座＋治具”的解決方案。在圖1(b)所示的局部放大圖中可以看出，固定相機(jī)鏡頭的支架可以上下調(diào)節(jié)以改變視場范圍，此設(shè)計(jì)可以滿足不同檢測零件所需的視場大小的調(diào)節(jié)。根據(jù)被測件的外輪廓設(shè)計(jì)治具上部輪廓，起到支撐和限制被測件方位的作用[3]，使需檢測面向鏡頭暴露；治具下部統(tǒng)一形狀尺寸，連接在公共底座上，后者固定在鏈板上，如圖1(c)所示。這樣的設(shè)計(jì)使得被測零件互相隔離、定位受檢，有利于準(zhǔn)確拍攝受檢面和方便圖像識別、被測件可自動(dòng)下料、不同零件可共線檢測并且更換治具操作簡單快速。

為提高設(shè)備檢測效率，提出“多列并行”的方案，在一定寬度的鏈板輸送帶上布置多列治具底座，相應(yīng)配置多臺(tái)工業(yè)相機(jī)和光源。每臺(tái)相機(jī)或不同方向的多臺(tái)相機(jī)攝取一列治具上的被測件圖像，視圖像復(fù)雜程度和檢測速度（數(shù)據(jù)流量大小）可以一臺(tái)工控機(jī)多線程處理多相機(jī)數(shù)據(jù)。“多列并行”方案的優(yōu)點(diǎn)在于，僅用一臺(tái)設(shè)備的占地面積和成本實(shí)現(xiàn)多臺(tái)設(shè)備的功能，適用性廣、效率高、成本低。

圖1　基于機(jī)器視覺的多品種中小零件連續(xù)自動(dòng)檢測設(shè)備機(jī)械結(jié)構(gòu)圖

多品種中小零件連續(xù)自動(dòng)檢測設(shè)備的機(jī)電控制示意圖如圖2所示。設(shè)備運(yùn)行時(shí)，相機(jī)和相機(jī)觸發(fā)器構(gòu)成的圖像采集系統(tǒng)對被測件進(jìn)行圖像采集，并把采集的數(shù)據(jù)上傳至基于LabVIEW軟件開發(fā)的圖像處理系統(tǒng)；完成圖像處理后把檢測結(jié)果發(fā)送至基于Arduino邏輯控制器的運(yùn)動(dòng)控制系統(tǒng)；根據(jù)檢測結(jié)果進(jìn)行邏輯運(yùn)算，對分揀機(jī)構(gòu)進(jìn)行運(yùn)動(dòng)控制；最后在操作界面系統(tǒng)中實(shí)時(shí)顯示檢測信息，并把數(shù)據(jù)打包導(dǎo)出。

2　圖像獲取與處理及控制系統(tǒng)設(shè)計(jì)

圖像獲取與處理及控制系統(tǒng)流程如圖3所示。

圖2　零件檢測設(shè)備機(jī)電控制示意圖

圖3　圖像獲取與處理及控制系統(tǒng)流程圖

2.1　圖像獲取

視覺檢測系統(tǒng)硬件選用國產(chǎn)500萬像素相機(jī)、匹配進(jìn)口鏡頭、LED光源；軟件采用LabVIEW圖形化編程軟件平臺(tái)、Vision Acquisition Software和Vision Development Module工具包。使用USB相機(jī)進(jìn)行外觸發(fā)圖像采集，可低成本、便利地獲取所需的圖像數(shù)據(jù)[4]，圖像采集程序如圖4所示。在Session In中選擇連接PC機(jī)的USB相機(jī)；當(dāng)待0測件到達(dá)拍攝區(qū)域，光電傳感器輸出高電平；相機(jī)驅(qū)動(dòng)程序檢測到上升沿觸發(fā)相機(jī)采集圖像，并按IMAQ Write File.vi的輸入端口File Path預(yù)設(shè)的路徑保存圖像。

圖4　圖像采集程序圖

2.2　圖像處理

圖像處理是檢測系統(tǒng)的核心，包括圖像預(yù)處理和圖像分析檢測2部分[5]。檢測系統(tǒng)采用“多列并行”的檢測方式，對不同待測件需設(shè)計(jì)相應(yīng)的檢測程序。

2.2.1缺陷檢測原理概述

被檢測的2種零件如圖5(a)、圖5(b)、圖5(c)、圖5(d)所示。待測零件一檢測螺母是否焊到了零件平面板的正面、螺母是否焊偏和螺母焊接數(shù)量等。通過光源照射，合格零件與不合格零件的特征區(qū)別在零件凹陷處（即圖5(a)、圖5(b)中方框所圈區(qū)域），其中箭頭所指向的視圖為方框區(qū)域的右視放大圖。圖5(a)方框區(qū)域的亮度高，圖5(b)方框區(qū)域的亮度低，據(jù)此判斷圖5(a)中零件的螺母焊到了平面板的反面，即判定此零件為螺母焊在反面的不合格件。通過定位檢測螺母孔的尺寸值，并與標(biāo)準(zhǔn)零件的尺寸值比較來判斷螺母是否焊偏和缺焊。待測零件二檢測螺母的焊接位置、焊接數(shù)量和是否焊偏等，圖5(c)所示零件二的螺母焊接位置不正確，即判斷零件不合格。

采用“多列并行”的檢測方式，可同時(shí)檢測2種零件。零件一和零件二的缺陷檢測軟件框架分別如圖6(a)、圖6(b)所示。

(a) 零件一不合格件

(b) 零件一合格件

(c) 零件二不合格件

(d) 零件二合格件

圖52種被檢測零件實(shí)物圖

(a) 零件一缺陷檢測軟件框架

(b) 零件二缺陷檢測軟件框架

圖6缺陷檢測軟件框圖

相機(jī)采集圖像時(shí)，受外在環(huán)境影響使圖像存在噪聲。噪聲使圖像模糊，特征淹沒，給圖像分析和識別帶來困難，因此需要進(jìn)行圖像預(yù)處理以盡可能地消除噪聲，減小對后續(xù)圖像處理的影響[6]。圖像預(yù)處理流程包括零件圖像灰度化、消除噪聲[7]、構(gòu)建匹配模板等，過濾無用信息，得到零件圖片的清晰特征。圖像分析檢測，不同零件采用不同的圖像處理方法。

零件一方框區(qū)域的灰度直方圖如圖7所示，零件一首先通過局部模板匹配確定零件的原點(diǎn)坐標(biāo)；然后在此坐標(biāo)系下檢測ROI（方框區(qū)域）的灰度值來判斷螺母焊到了平面板的正面還是反面。圖7(b)和圖7(d)分別是圖7(a)和圖7(c)方框中的灰度直方圖，可見螺母焊在平面板正面的合格件的ROI灰度值較小，螺母焊在平面板反面的不合格件的ROI灰度值較大，據(jù)此設(shè)置閾值范圍以判斷零件是否合格。通過測量計(jì)算螺母孔的通光直徑與標(biāo)準(zhǔn)件直徑值的差值是否超出誤差范圍，從而判斷零件是否存在焊偏或漏焊等缺陷。

(a) 合格件

(b) 合格件方框區(qū)域灰度直方圖

(c) 螺母焊反件

(d) 不合格件方框區(qū)域灰度直方圖

圖7零件一方框區(qū)域的灰度直方圖

檢測零件二的外形尺寸特征，把零件放入治具中進(jìn)行限位，通過找尋治具上側(cè)和右側(cè)兩條外邊沿建立坐標(biāo)系。在已建坐標(biāo)系下檢測零件上指定位置處螺母孔的直徑值與標(biāo)準(zhǔn)件尺寸值的差值，根據(jù)差值是否在預(yù)設(shè)范圍內(nèi)來判斷螺母有無漏焊、焊偏等缺陷。零件二的核心檢測程序如圖8所示。

圖8　零件二核心檢測程序

2.2.2圖像處理檢測軟件設(shè)計(jì)

視覺檢測系統(tǒng)以LabVIEW圖形編輯語言為平臺(tái)，采用IMAQ圖像處理模塊進(jìn)行圖像分析和處理。也可利用IMAQ Vision ActiveX控件，在通用開發(fā)環(huán)境，如Microsoft Visual Basic，Microsoft Visual C++等環(huán)境中，以可視化控件的形式提供圖像處理功能[8]。

為提高軟件系統(tǒng)開發(fā)效率，提出“主體程序模塊+圖像處理子模塊”編程架構(gòu)。主體程序模塊的功能是調(diào)用圖像處理子模塊、參數(shù)設(shè)定、檢測結(jié)果顯示和急停等?！岸嗔胁⑿小睍r(shí)，只需在主體程序模塊中嵌入各零件對應(yīng)的圖像處理子模塊即可。以待測零件二為例，零件二檢測的操作界面和后面板程序（方框中的程序是針對此種檢測零件的子程序）分別如圖9(a)和(b)所示。

(a) 零件二檢測程序的操作界面

(b) 零件二檢測的后面板程序

圖9零件二檢測程序

2.3　分揀機(jī)構(gòu)運(yùn)動(dòng)控制

Arduino控制板通過USB接口連接上位機(jī)，在LabVIEW軟件平臺(tái)中使用VISA進(jìn)行通訊。VISA通過調(diào)用底層代碼以控制硬件的高層API，為高級儀器驅(qū)動(dòng)程序和低級I/O驅(qū)動(dòng)程序之間提供了一個(gè)層，實(shí)現(xiàn)圖像處理結(jié)果傳送至Arduino控制板的數(shù)字輸入接口[9]。Arduino控制板接收命令后，對分揀機(jī)構(gòu)的電機(jī)進(jìn)行控制；電機(jī)帶動(dòng)擋板完成分料工作，并將執(zhí)行結(jié)果返回上位機(jī)。

3　零件檢測實(shí)驗(yàn)與結(jié)果

以前述2種零件為對象進(jìn)行檢測實(shí)驗(yàn)，受檢零件一包含10個(gè)合格件、10個(gè)螺母焊反件和10個(gè)螺母焊偏件；受檢零件二也包含10個(gè)合格件、10個(gè)螺母焊偏件和10個(gè)螺母位置錯(cuò)焊件。實(shí)驗(yàn)時(shí)，隨機(jī)選取零件依次放入治具，經(jīng)過圖像采集、圖像處理和自動(dòng)分揀過程，受檢零件一一被分揀至不同的集料箱。實(shí)物樣機(jī)如圖10所示，零件一和零件二操作界面的檢測信息分別如圖11(a)~圖11(c)和圖11(d)～圖11(f)所示，包括不合格品指示燈、各圓孔直徑、合格零件數(shù)、不合格零件數(shù)、檢測零件總數(shù)和不合格率。當(dāng)檢測到零件不合格時(shí)指示燈亮，所有零件的檢測數(shù)據(jù)均記錄到數(shù)據(jù)庫中。檢測實(shí)驗(yàn)數(shù)據(jù)如表1和表2所示。

表1　零件一檢測實(shí)驗(yàn)數(shù)據(jù)

表2　零件二檢測實(shí)驗(yàn)數(shù)據(jù)

(a) 合格件檢測界面

(b) 不合格件（螺母焊反）檢測界面

(c) 不合格件（螺母焊偏）檢測界面

(d) 合格件檢測界面

(e) 不合格件（螺母少焊）檢測界面

(f) 不合格件（螺母錯(cuò)焊）檢測界面

圖112種零件操作界面

測試結(jié)果表明：2種零件的檢測正確率為100%；一個(gè)零件的檢測耗時(shí)為1 s；設(shè)備可篩查出合格品和不同缺陷類型的不合格品，并將其分揀至對應(yīng)的收集箱。

4　結(jié)論

本文設(shè)計(jì)了一套基于機(jī)器視覺的多品種中小零件連續(xù)自動(dòng)檢測系統(tǒng)，能高效完成兩類中小零件的合格性判斷以及連續(xù)自動(dòng)分揀工作，之后預(yù)計(jì)可以在工廠中實(shí)際應(yīng)用，檢測多種零件缺陷及分揀不合格件，有效緩解中小零件制品需大量檢測人工、耗時(shí)費(fèi)力且難滿足日益提升的品質(zhì)保證要求的問題。實(shí)物樣機(jī)檢測沖壓件的實(shí)驗(yàn)結(jié)果表明：該檢測系統(tǒng)軟硬件協(xié)調(diào)運(yùn)行，檢測正確率達(dá)到100%。自動(dòng)檢測系統(tǒng)操作簡單、穩(wěn)定可靠，檢測成本低，可廣泛適用于大多數(shù)中小零件連續(xù)自動(dòng)檢測。

[1] 朱錚濤,黎紹發(fā).視覺測量技術(shù)及其在現(xiàn)代制造業(yè)中的應(yīng)用[J].現(xiàn)代制造工程,2004(4):59-61.

[2] 李勇,伍先達(dá),邢武,等.基于機(jī)器視覺的零件表面瑕疵自動(dòng)分揀系統(tǒng)設(shè)計(jì)[J].自動(dòng)化與儀器儀表,2010(5):40-41,44.

[3] 曾志新,劉旺玉,林穎.《機(jī)械制造技術(shù)基礎(chǔ)》雙語教材模式探索[J].高等工程教育研究,2007(1):127-130.

[4] 楊靜.基于LabVIEW的彩色圖像目標(biāo)提取系統(tǒng)研究[D].鄭州:鄭州大學(xué),2011.

[5] 郭康,黃丹平,王磊,等.基于機(jī)器視覺的曲面字符缺陷檢測系統(tǒng)研究[J].現(xiàn)代制造工程,2016(12):122-127.

[6] 王中王.基于圖像處理技術(shù)的工件缺陷在線檢測系統(tǒng)的研究[D].南京:南京航空航天大學(xué),2011.

[7] 王俊芳,王正歡,王敏.常用圖像去噪濾波方法比較分析[J].現(xiàn)代商貿(mào)工業(yè),2009(16):310-311.

[8] 梁碩,趙冉.基于LabVIEW編程語言的圖像處理技術(shù)淺述[J].現(xiàn)代物業(yè)(上旬刊),2012,11(10):78-79.

[9] 沈金鑫.Arduino與LabVIEW開發(fā)實(shí)戰(zhàn)[M].北京:機(jī)械工業(yè)出版社, 2013.

Design of Continuous Automatic Detection System for Small and Medium Parts Based on Machine Vision

Quan Yanming Li Qian Huang Fuhua

(South China University of Technology)

In order to help manufacturing enterprises to alleviate the problems of artificially detecting large number of small and medium parts which is time-consuming and difficult to meet the increasingly stringent quality assurance requirements for engineering applications, a set of multi-species small and medium parts continuous automatic detection system based on machine vision is designed. The "multi-row parallel" and "common base + fixture" program are proposed, in a vertical plane of the chain conveyor belt arranged on the multi-column fixture base, the corresponding fixture is designed according to the required geometric characteristics, multi-species parts can be continuously captured by an industrial camera in the hybrid line and then they are shunted and unloaded automatically. Detection software of surface defects, geometry and size is developed based on LabVIEW. The test results show that the detection system can coordinate the operation of hardware and software, and the correct detection rate of thirty experimental samples are 100%.

Machine Vision; Small and Medium Parts; Automatic Detection; LabVIEW; Image Processing

全燕鳴，女，1957年生，博士，教授，主要研究方向：機(jī)械制造及檢測技術(shù)，機(jī)器視覺應(yīng)用。

李倩，女，1994年生，碩士，主要研究方向：機(jī)器視覺應(yīng)用。E-mail: qianlee4114@163.com

黃富華，男，1994年生，學(xué)士，主要研究方向：機(jī)電一體化應(yīng)用。