基于OpenMV的元件質(zhì)量在線檢測控制系統(tǒng)研究

趙煒杰 王丹

摘? 要：為了檢測工件表面是否存在污漬，是否有缺陷，進(jìn)行了基于OpenMV的工件表面質(zhì)量系統(tǒng)檢測設(shè)計(jì)，并對不合格的工件進(jìn)行分揀。系統(tǒng)主要由OpenMV機(jī)器視覺處理模塊、光電開關(guān)位置檢測模塊、LED光源模塊、OLED顯示模塊以及步進(jìn)電機(jī)傳送驅(qū)動模塊等組成。軟件模塊實(shí)現(xiàn)了顏色識別、工件位置檢測、傳送帶驅(qū)動模塊以及檢測結(jié)果顯示等功能。經(jīng)實(shí)物運(yùn)行驗(yàn)證，本系統(tǒng)穩(wěn)定可靠，檢測精準(zhǔn)度高，能夠?qū)崿F(xiàn)流水線上的工件表面質(zhì)量檢測，有效地解放人工生產(chǎn)力。

關(guān)鍵詞：機(jī)器視覺;OpenMV;顏色識別;缺陷檢測

中圖分類號：TP391.4? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識碼：A文章編號：2096-4706（2021）15-0182-03

Abstract： In order to detect whether there are stains and defect on the surface of the workpiece， the OpenMV-based workpiece surface quality system inspection design is carried out， and the unqualified workpieces are sorted. The system is mainly composed of OpenMV machine vision processing module， photoelectric switch position detection module， LED light source module， OLED display module and stepper motor transmission driver module. The software module realizes the functions of color identification， workpiece position detection， conveyor belt driver module and detection result display. Verified by physical operation， the system is proved to be stable and reliable with high detection accuracy. It can detect the surface quality of workpiece on the assembly line and effectively liberate the human productivity.

Keywords： machine vision; OpenMV; color identification; defect detection

0? 引? 言

常規(guī)的工件缺陷檢測可使用機(jī)器視覺檢測代替人工檢測，使用機(jī)器視覺檢測可以避免人工長時(shí)間檢查大量且重復(fù)的工件帶來的視覺疲勞導(dǎo)致的檢測誤差，同時(shí)使人工生產(chǎn)力從簡單重復(fù)的質(zhì)檢工作中得到解放。機(jī)器視覺的顏色識別在許多領(lǐng)域都有應(yīng)用，用于紅綠燈識別，為幫助色盲、色弱群體以及無人駕駛提供可能[1];用于農(nóng)產(chǎn)品色選機(jī)，大大提高挑選效率，減少人工挑選誤差[2];用于食品熏烤過程，提升食品生產(chǎn)效率與品質(zhì)[3]。本文對工件表面污跡的檢測進(jìn)行研究，采用OpenMV機(jī)器視覺模塊進(jìn)行圖像采集與處理，采用流水線傳輸?shù)姆绞竭M(jìn)行工件傳送，使用紅外對傳送帶上的工件進(jìn)行定位，使用ROI感興趣區(qū)域?qū)⒐ぜ砻媸軝z區(qū)劃出，對該區(qū)域進(jìn)行顏色識別，使用邊緣檢測將污漬圈出，將圖像處理結(jié)果通過OLED屏幕顯示并根據(jù)結(jié)果驅(qū)動導(dǎo)向閥進(jìn)行分揀，實(shí)現(xiàn)流水線化工件表面污漬檢測。

1? 系統(tǒng)概述

1.1? 系統(tǒng)結(jié)構(gòu)

基于OpenMV的元件質(zhì)量在線檢測控制系統(tǒng)結(jié)構(gòu)如圖1所示，由圖像采集裝置、工件定位傳感器、步進(jìn)電機(jī)傳送帶以及分揀導(dǎo)向閥4個(gè)部分組成。

圖像采集裝置主要由OpenMV模塊，光源等模塊組成。OpenMV模塊主要由CCD相機(jī)和STM32控制器構(gòu)成，負(fù)責(zé)采集工件信息并進(jìn)行圖像處理，判斷工件質(zhì)量情況將結(jié)果輸出。光源模塊主要由LED構(gòu)成，由于相機(jī)采集數(shù)據(jù)時(shí)受光線影響比較大，所以需要補(bǔ)償燈光，防止外界因素的干擾，獲得正常的圖片信息。

工件定位傳感器主要由光電開關(guān)組成，負(fù)責(zé)檢測工件的到位信息。

傳送模塊：主要由步進(jìn)電機(jī)與傳送帶組成。

分揀模塊：由推料氣缸和電磁閥構(gòu)成。

工件在傳送帶上傳送到工件定位傳感器所在的位置時(shí)傳送帶停止，工件上方的圖像采集器裝置拍攝工件并進(jìn)行圖像處理，檢測是否存在污漬、缺陷，檢測結(jié)果會顯示在OLED顯示屏中，當(dāng)檢測出在檢工件不合格時(shí)，分揀導(dǎo)向閥會將不合格工件篩檢出來，完成工件檢測后傳送帶繼續(xù)運(yùn)行，對下一個(gè)工件進(jìn)行檢測。

1.2? 系統(tǒng)原理

系統(tǒng)原理如圖2所示，將待檢測工件放置在流水線上，啟動流水線，由傳送帶將工件傳送至紅外定位點(diǎn)后停止，OpenMV模塊進(jìn)行圖像采集，將采集到的圖像使用ROI感興趣區(qū)域算法將受檢工件的表面從畫面中分割出來，并使用LAB色彩模型進(jìn)行色彩分析和邊緣檢測分析，根據(jù)分析結(jié)果判斷工件是否合格，如果合格，則啟動流水線將工件運(yùn)送到下一工位，如果不合格則驅(qū)動導(dǎo)向閥把不合格的工件分揀出來。

2? 圖像處理原理

2.1? ROI感興趣區(qū)域

OpenMV拍攝得到的圖像因?yàn)橛布⑴臄z條件以及一些隨機(jī)因素，會使得采集到的圖像產(chǎn)生部分噪聲和畸變，達(dá)不到直接識別的要求。根據(jù)香濃的信息論，DPI（每英寸點(diǎn)數(shù)）高、噪點(diǎn)低的圖像是理想的圖像分析對象，對拍攝得到的圖像進(jìn)行ROI處理能夠限制圖像畸變以及噪點(diǎn)對圖像的影響減少圖像的中的干擾信息并增強(qiáng)關(guān)鍵特征，減少分析所需要的算法的復(fù)雜度，使得圖像分析的結(jié)果更準(zhǔn)確[4]。本系統(tǒng)根據(jù)被測工件在圖像的中央劃出感興趣區(qū)域并只對該區(qū)域進(jìn)行分析識別。

2.2? 顏色識別

對圖像進(jìn)行顏色識別涉及色彩模型，色彩模型有RGB、CMYK、LAB以及灰度圖等，本系統(tǒng)使用LAB模型進(jìn)行圖像的顏色識別，RGB、CMYK這兩種色彩模型是基于設(shè)備的色彩模型，RGB模型對應(yīng)的媒介是光色，CMYK模型對應(yīng)的媒介則是印刷工藝，前者適合對自發(fā)光的物體進(jìn)行檢測，后者則需要光源反射顯色，因此對照明條件要求較高，而Lab模型描述的色彩空間更接近自然[4]，對圖像進(jìn)行顏色識別時(shí)不需要高要求的光照補(bǔ)充[5]。LAB色彩模型不同于RGB和CMYK，LAB由L（亮度）和A、B兩種顏色通道構(gòu)成，亮度L有由暗至亮0～100個(gè)級別;A則是從深綠色（低亮度值）到灰色（中亮度值）再到亮粉紅色（高亮度值）-128～100個(gè)級別;B則是從亮藍(lán)色（低亮度值）到灰色（中亮度值）再到黃色（高亮度值）-128～100個(gè)級別。由這些顏色混合產(chǎn)生的色彩具有明顯的明暗效果，更貼近現(xiàn)實(shí)的色彩。

本系統(tǒng)采集的原圖像使用RGB模型，在進(jìn)行顏色識別之前需要先將圖像的色彩模型轉(zhuǎn)換為LAB模型[5]，由于光照條件等拍攝條件會對色彩分布造成影響導(dǎo)致圖片的色彩并非預(yù)設(shè)的精確Lab值，而是在一個(gè)波動的LAB數(shù)值，因此要預(yù)設(shè)亮度L_max，L_min;A通道A_max，A_min;B通道B_max，B_min六個(gè)變量以此保存每個(gè)顏色的顏色特征，再遍歷ROI區(qū)域內(nèi)的所有像素點(diǎn)，讀取LAB值進(jìn)行判斷匹配[5]。

2.3? 程序編寫

2.3.1? ?攝像頭初始化

程序開始之前，將需要用到的底層模塊引入[6]。在程序編寫時(shí)，需要引入內(nèi)置庫函數(shù)中的感光元件模塊（sensor）、機(jī)器視覺模塊（image）、時(shí)鐘控制模塊（time）和板級功能模塊（pyb）[7]。攝像頭初始化流程如圖3所示。

2.3.2? 燈光補(bǔ)償

在使用LED模塊前需要將LED模塊進(jìn)行調(diào)用，然后定義端口。主要采用指令from pyb import LED。

因LED模塊是由三個(gè)色度組成，所以需要將三個(gè)端口進(jìn)行定義。主要指令如以下所示：

led1=pyb.LED（1）;led2=pyb.LED（2）;led3=pyb.LED（3）

在圖像采集過程中，需要一個(gè)穩(wěn)定的白光光源，因此需要將三個(gè)LED端口打開。主要指令如以下所示：

led1.on（）#紅LED;led2.on（）#綠LED;led3.on（）#藍(lán)LED

2.3.3? 閾值編輯器

在對工件表面進(jìn)行顏色識別檢測時(shí)，需要了解采集到的圖像中某特征點(diǎn)的顏色閾值范圍。根據(jù)OpenMV模塊的視覺處理軟件的色彩控件直方圖可以直觀讀取特征點(diǎn)顏色閾值范圍。若要準(zhǔn)確地采集特征點(diǎn)的顏色閾值范圍，需要使用閾值編輯器采集特征區(qū)域的閾值，閾值編輯器可以獲取最佳的顏色閾值[8]。

2.3.4? 算法選擇

邊緣是圖像最基本、最重要的特征之一，圖像的絕大部分信息都包含在邊緣中，圖像邊緣的提取對于圖像特征的檢測識別是極其重要的，也是圖像分割進(jìn)行所需要的重要依據(jù)[9];邊緣檢測可很有效地減少圖像數(shù)據(jù)量，去除其不相關(guān)的圖像信息，以保留圖像所需的圖像信息、屬性。

本系統(tǒng)中，顏色識別作和邊緣檢測算法分別作為基本檢測算法，實(shí)現(xiàn)系統(tǒng)的工件檢測功能。顏色識別方法用以對工件表面污跡檢測，用邊緣檢測進(jìn)行驗(yàn)證，確保工件檢測的準(zhǔn)確性。

3? 實(shí)驗(yàn)與分析

在OpenMVIDE上檢測正常拍攝條件下紅黃藍(lán)三色的Lab值，并以此為標(biāo)準(zhǔn)設(shè)置紅黃藍(lán)三色在Lab模型上的閾值，完成工件檢測的顏色的設(shè)置。本次進(jìn)行三組實(shí)驗(yàn)，第一組使用紅色和藍(lán)色記號筆在工件受檢區(qū)域進(jìn)行標(biāo)記，標(biāo)記寬度大約2 mm;第二組使用藍(lán)色的記號筆在工件受檢區(qū)域做一個(gè)0.5 mm寬的標(biāo)記;第三組設(shè)定為表面有頭發(fā)絲，直徑為0.12 mm。將工件放置在紅外定位處，連接IDE使用算法進(jìn)行檢測，分別如圖4，5，6所示。

根據(jù)檢測畫面，得到數(shù)據(jù)，工件表面的標(biāo)記均被檢測識別出來并標(biāo)記，分別檢測出色塊中心坐標(biāo)為（133，149），像素點(diǎn)1 231個(gè);（155，38），像素點(diǎn)2 898個(gè);（189，108），像素點(diǎn)702個(gè)。

第二組標(biāo)記與第一組相比較細(xì)，顏色也較淺，該系統(tǒng)成功檢測出污漬，并進(jìn)行了標(biāo)記，中心點(diǎn)坐標(biāo)為（114，180），像素點(diǎn)120個(gè)。

第三組圖像并沒有識別到顏色，進(jìn)行邊緣檢測時(shí)檢測到工件表面的頭發(fā)絲，并通過匹配判定輸出不合格。

4? 結(jié)? 論

本系統(tǒng)使用OpenMV機(jī)器視覺進(jìn)行工件表面顏色和污跡檢測，經(jīng)檢驗(yàn)?zāi)軌蜻_(dá)到預(yù)期結(jié)果。該系統(tǒng)使用ROI感興趣區(qū)域劃分主要受檢區(qū)域，使用顏色檢測算法成功檢測出工件表面污漬，如顏色檢測無效，通過邊緣檢測驗(yàn)證，確保能正確檢測出其他污跡，并通過OpenMV的IO實(shí)現(xiàn)了對機(jī)器結(jié)構(gòu)的控制以及顯示。這種非接觸式的工件表面缺陷檢測能夠應(yīng)用于多數(shù)工件表面污漬檢測工作并進(jìn)行自動分揀，能夠減少人工勞動力的浪費(fèi)，在現(xiàn)實(shí)應(yīng)用中有一定的價(jià)值。

參考文獻(xiàn)：

[1] 楚婉藝，野瑩瑩，朱禹蒙，等.基于視覺的紅綠燈識別 [J].信息技術(shù)與信息化，2021（5）：66-68.

[2] 宋騁.機(jī)器視覺技術(shù)在農(nóng)產(chǎn)品色選機(jī)上的應(yīng)用 [J].科技創(chuàng)新與應(yīng)用，2021，11（18）：169-171.

[3] 于芳珠.基于機(jī)器視覺技術(shù)的烤羊肉顏色識別與褐變程度預(yù)測 [D].錦州：渤海大學(xué)，2021.

[4] STEGER C，CHRISTIAN U M.機(jī)器視覺算法與應(yīng)用 [M].清華大學(xué)出版社，2008.

[5] 張宏建.Lab色彩模式在圖像處理中的應(yīng)用 [J].福建電腦，2011，27（1）：146-147.

[6] 李晉.基于open mv智能機(jī)械手臂創(chuàng)新實(shí)踐課程探索 [J].電腦知識與技術(shù)，2018，14（31）：197-199.

[7] 鄒浩，郭雨婷，李佳盈，等.基于OPENMV的色彩引導(dǎo)機(jī)器人系統(tǒng)研究 [J].科技資訊，2018，16（25）：85-86.

[8] 許龍銘，紀(jì)培燁.基于Open MV的商店客流量監(jiān)測系統(tǒng)的設(shè)計(jì) [J].電子世界，2018（23）：120-121+124.

[9] 張旭.螺旋管內(nèi)焊圖像處理算法的研究 [D].沈陽：沈陽工業(yè)大學(xué)，2015.

作者簡介：趙煒杰（1999—），男，漢族，廣東中山人，本科，研究方向：機(jī)器視覺。

3590500338259