工件移動測量自動化拍攝平臺實現(xiàn)

劉舒浩 楊宏志 楊之鵬 屈盼盼 金芳 劉慶泉

摘要：針對工件人工檢測效率低、漏判率高的問題，本文提出了工件移動測量自動化的實現(xiàn)方法，利用工件識別、圖像采集設(shè)備采樣完成工件圖像的數(shù)據(jù)轉(zhuǎn)換，計算機(jī)軟件HALCON進(jìn)行瑕疵判斷、數(shù)據(jù)轉(zhuǎn)換、信息反饋，將這一檢測過程置于聯(lián)動裝置，基于工件和采樣設(shè)備的同步運動，完成工件移動檢測功能。結(jié)果表明，該設(shè)備基于HALCON和深度學(xué)習(xí)的應(yīng)用保證了檢測效率與準(zhǔn)確率，聯(lián)動裝置的應(yīng)用保證了檢測過程的穩(wěn)定性，二者相輔相成共同實現(xiàn)了工件的移動檢測。

關(guān)鍵詞：HALCON ?圖像采集 ?深度學(xué)習(xí)??機(jī)械臂與聯(lián)動裝置

Realization of Automatic Photographing Platform for Workpiece Movement Measurement

LIU Shu-hao?YANG Hong-zhi?YANG Zhi-peng?QU Pan-pan?JIN Fang?LIU Qingquan

（1.School of Equipment Engineering Shenyang Ligong University，?Liaoning Province， 110159 China; 2.School of Automation and Electrical Engineering Shenyang Ligong University，?Shenyang，?Liaoning Province， 110159 China;3.?Fujian Zhongrui Network Co.， Ltd.， Fuzhou，?Fujian Province，?350015 China）

Abstract：?Aiming at the problems of low efficiency and high miss rate of workpiece manual detection， this paper puts forward the implementation method of workpiece movement measurement automation. The data conversion of workpiece image is completed by using workpiece recognition and image acquisition equipment sampling. The computer software Halcon carries out defect judgment， data conversion and information feedback. This detection process is placed in the linkage device to complete the workpiece movement detection function based on the synchronous movement of workpiece and sampling equipment. The results show that the application of the equipment based on Halcon and deep learning ensures the detection efficiency and accuracy， and the application of linkage device ensures the stability of the detection process. They complement each other and jointly realize the moving detection of workpieces.

Key Words： HALCON ?Image acquisition ?Deep learning ?manipulator and linkage module

當(dāng)今時代科技快速發(fā)展，傳統(tǒng)的靜止測量已經(jīng)不能勝任日益增長的工件生產(chǎn)效率的需求。提高工件檢測的效率與準(zhǔn)確度，即本設(shè)計的初衷。工件移動測量自動化拍攝平臺的技術(shù)基礎(chǔ)，建立在“HALCON”這一圖像處理軟件的運用上，對工件進(jìn)行移動多方位圖像的掃描和收集，通過事先設(shè)定的程序?qū)κ占降膱D像進(jìn)行識別和檢測，最后將檢測結(jié)果數(shù)據(jù)反饋到計算機(jī)進(jìn)行深度學(xué)習(xí)。一方面可以實現(xiàn)實時檢測與反饋相結(jié)合，另一方面也可以實現(xiàn)基于人工智能（AI）視覺系統(tǒng)的行深度學(xué)習(xí)，從而形成一套精準(zhǔn)而高效的工件識別處理系統(tǒng)，實現(xiàn)了工件在移動中測量對精度與效率的兼顧。

1 HALCON與圖像采集原理

1.1 HALCON程序的運用

該軟件的載體即計算機(jī)。HALCON是一個龐大的圖像處理庫，包含上千個獨立或相互聯(lián)系的處理函數(shù)和圖像底層處理數(shù)據(jù)管理應(yīng)用核心。HALCON可以完成工件圖像基本參數(shù)的測量，并可以高效地將圖像語言轉(zhuǎn)換為程序語言和數(shù)字語言。HALCON強(qiáng)大的計算分析能力提高了工件檢測自動化的效率。

機(jī)器視覺技術(shù)的利用得以使工件自動測量，應(yīng)用HALCON的開發(fā)環(huán)境Hdevelop，利用其軟件交互性，可以開發(fā)一套工件檢測的視覺應(yīng)用程序。本文中HALCON的使用參考了基于雙目立體視覺的工件高度測量方法，拍攝的工件的圖像傳輸?shù)接嬎銠C(jī)后，通過HALCON的圖像灰度化處理和閾值分割法測得工件的基本尺寸。

1.2 圖像采集系統(tǒng)組成

圖像采集系統(tǒng)依托計算機(jī)為軟件載體和數(shù)據(jù)平臺，由工業(yè)相機(jī)或工業(yè)紅外相機(jī)等設(shè)備為圖像采集硬件系統(tǒng)載體，光源、通信接口等輔助設(shè)備組成。計算機(jī)程序負(fù)責(zé)控制圖像采集設(shè)備并進(jìn)行圖像算法處理;工業(yè)相機(jī)可以將工件光信號裝換成電信號的形式傳輸給計算機(jī)等處理設(shè)備。

1.3 工件多方位立體檢測原理

基于物體運動相對靜止原理，工件于聯(lián)動裝置上的平移與機(jī)械臂操控的多方位運動，工件可以在保持平移的同時被翻轉(zhuǎn)、調(diào)整，以不同的面面向圖像采集系統(tǒng)，稱之為工件多方展示運動。相對于平移的工件靜止，保證采集工件不同面相關(guān)參數(shù)的精度，將該系統(tǒng)進(jìn)行復(fù)制并聯(lián)，多套自動檢測設(shè)備依次檢測，保證移動檢測的效率，并聯(lián)測試系統(tǒng)圖如圖1所示。

2 深度學(xué)習(xí)

2.1 工件檢測的深度學(xué)習(xí)

深度學(xué)習(xí)在工件檢測方面應(yīng)用的主要任務(wù)就是圖像各項參數(shù)的自動提取，智能識別出工件的瑕疵或者是其他指標(biāo)要求，并為之添加一個標(biāo)記來達(dá)到檢測并反饋的目的。用卷積層使程序模擬對某一特定圖案的響應(yīng)，池化層來模擬動物視覺皮層的感受野。在工件檢測領(lǐng)域，這一算法處理的特定圖像就是工件的各個細(xì)節(jié)之處。

2.2 工件圖像數(shù)據(jù)增廣

目標(biāo)檢測模型工作時，對于采集到的圖像，一般是把圖像進(jìn)行縮小，以產(chǎn)生一個能被程序網(wǎng)絡(luò)所接受的尺寸，然后進(jìn)行訓(xùn)練或預(yù)測。這一過程會使圖像中的部分信息遭受損失，尤其是工件的微小型缺陷，這種信息的損失將會直接影響，為了保證工件檢測的精度。采用特殊的圖像數(shù)據(jù)增廣方法諸如Overlap切圖數(shù)據(jù)增廣和Mosaic數(shù)據(jù)增廣，在盡可能使圖像信息不缺失的情況下獲得較大的數(shù)據(jù)量和復(fù)雜性。

3 聯(lián)動裝置和機(jī)械臂

3.1 工件平移機(jī)械聯(lián)動裝置

為了實現(xiàn)上文所述在保證工件在生產(chǎn)線上平移的同時，實現(xiàn)圖像采集設(shè)備的同步運動和工件多方位的展示運動，要設(shè)計一部機(jī)械臂和一段特殊的傳送裝置，其基本原理就是利用工件和圖像采集設(shè)備的以相同速率平移而相對靜止。本文設(shè)想的方法是由機(jī)械臂上的機(jī)械手夾持工件，圖像采集裝置由另外的機(jī)械裝置固定，該機(jī)械裝置可以與傳機(jī)械臂移速率相同的速率在一段基座導(dǎo)軌上進(jìn)行平移運動，稱之為機(jī)械聯(lián)動裝置。

3.2?多方位展示機(jī)械臂

該機(jī)械臂應(yīng)用力矩限制器對旋轉(zhuǎn)力矩進(jìn)行限制，進(jìn)而使工件不同的面停留在圖樣采集裝置前。機(jī)械臂主要包括支撐底座、云臺、大臂、小臂、機(jī)械手、舵機(jī)和Arduino。機(jī)械臂由圖像采集器等傳感器檢測到物體時發(fā)出的指令，機(jī)械臂和聯(lián)動裝置從檢測傳送始端帶機(jī)械臂開始從初始位置運動到物體所在位置，將物體抓起并以設(shè)定好的程序操控其進(jìn)行多方位展示運動。

機(jī)械臂的運動控制系統(tǒng)是由硬件系統(tǒng)和軟件系統(tǒng)兩大部分構(gòu)成的。機(jī)械臂能夠按照預(yù)先設(shè)定的程序做出指定動作，由軟件系統(tǒng)操控檢測硬件系統(tǒng)完成，控制系統(tǒng)框圖如圖2所示。

多方位展示機(jī)械臂采用以Arduino控制板為核控制器，以實現(xiàn)機(jī)械手的多方位轉(zhuǎn)向和多角度運動。數(shù)據(jù)由傳感器收集后傳輸?shù)娇刂破鳎瑢崿F(xiàn)機(jī)械臂和機(jī)械手的智能化。

4 結(jié)語

大體上，該平臺包含4個部分：計算機(jī)HALCON、圖像采集設(shè)備、聯(lián)動裝置、機(jī)械臂。在檢測重復(fù)性上應(yīng)用了人工智能深度學(xué)習(xí)，在保證了工件于生產(chǎn)線上高效運送的同時能夠?qū)崿F(xiàn)多方面、立體的機(jī)械圖像采集，深度學(xué)習(xí)使得其檢測不再是人工循規(guī)蹈矩地輸入指令，而是可以自主學(xué)習(xí)，去完善檢測方面的缺陷，使得檢測設(shè)備獲得了一雙辨明是非的“火眼金睛”。該平臺的應(yīng)用將會大大提高工件檢測的效率，節(jié)省大量的人力成本，為工件的批量生產(chǎn)和加工擴(kuò)大規(guī)模奠定了堅實的基礎(chǔ)。

參考文獻(xiàn)

[1] MVTec Software GmbH München Germany.A quick access to the functionality of HALCON， Version 12.0[P].Copyright ? 2007-2018

[2]鄭如新，孫青云，肖國棟.基于機(jī)器視覺的工件尺寸測量研究[J].電子測量技術(shù)，2021，44（16）：110-115.

[3]牛鵬磊.高精度圖像測量系統(tǒng)研究[D].齊魯工業(yè)大學(xué)，2021.

[4]呂伏，劉鐵.基于學(xué)習(xí)率自增強(qiáng)的圖像識別深度學(xué)習(xí)算法[J].計算機(jī)應(yīng)用與軟件，2021，38（12）：268-273.

[5]于宏全，袁明坤，常建濤，羅坤宇.基于深度學(xué)習(xí)的鑄件缺陷檢測方法[J].電子機(jī)械工程，2021，37（6）：59-64.

[6] 趙修琪，盧文豪，王珊.基于Arduino的自動分揀機(jī)械臂控制系統(tǒng)設(shè)計[J].現(xiàn)代電子技術(shù)，2021，44（24）：163-166.

[7] Qiming Wu，Siyue Yu，Peng Chen，Luyun Zhang. Design and Implementation of Intelligent Mechanical Arm[C].Proceedings of the 11th International Conference on Computer Engineering and Networks（CENet2021）Part II.，2021：244-250.

基金項目：遼寧省大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計劃項目（項目名稱：工件移動測量自動化拍攝平臺實現(xiàn)，項目編號：S202110144015）;福州市重點科技專項（項目名稱：支持水下無線光通信的多業(yè)務(wù)物聯(lián)網(wǎng)網(wǎng)關(guān)，項目編號：2020FZZD0601）。

作者簡介：劉舒浩（2000—），男，本科在讀，研究方向為自動化控制技術(shù)、人工智能、彈藥工程與爆炸技術(shù)。

通信作者簡介：金芳（1981—），女，本科，高級實驗師，研究方向為網(wǎng)絡(luò)化測控系統(tǒng)。E-mail：308628820@qq.com。