動(dòng)作軌跡捕捉技術(shù)在裝配防錯(cuò)領(lǐng)域的應(yīng)用

李欲曉 張俊雄 楊牧

摘要：在發(fā)動(dòng)機(jī)制造過程中，裝配環(huán)節(jié)工序流程復(fù)雜、零件種類繁多、裝配參數(shù)要求嚴(yán)格，且存在一些暫不適合使用自動(dòng)化設(shè)備的工位。人工執(zhí)行作業(yè)會(huì)帶來較多的不確定因素，導(dǎo)致裝配過程的錯(cuò)、漏等執(zhí)行問題，影響發(fā)動(dòng)機(jī)品質(zhì)。對此提出了采用機(jī)器視覺技術(shù)進(jìn)行發(fā)動(dòng)機(jī)裝配過程防錯(cuò)的技術(shù)應(yīng)用方案，根據(jù)發(fā)動(dòng)機(jī)裝配過程中的動(dòng)作特征，通過目標(biāo)特征提取和識(shí)別檢測算法，實(shí)現(xiàn)對人工作業(yè)軌跡的實(shí)時(shí)跟蹤、判斷、規(guī)范和引導(dǎo)，在避免不同裝配環(huán)節(jié)中出現(xiàn)錯(cuò)誤的同時(shí)，對操作人員的作業(yè)時(shí)長和作業(yè)姿態(tài)進(jìn)行規(guī)范，實(shí)現(xiàn)整線裝配質(zhì)量和裝配效率的提高。

關(guān)鍵詞：發(fā)動(dòng)機(jī);軌跡捕捉;色調(diào);防錯(cuò);裝配

0?前言

發(fā)動(dòng)機(jī)的裝配過程可以理解為將其主要機(jī)構(gòu)和各個(gè)零部件以正確合理的順序，采用對應(yīng)工藝，嚴(yán)格依照要求將其裝配成為整體，且在裝配的同時(shí)出于防錯(cuò)的需求，對關(guān)鍵零部件的工藝參數(shù)及操作過程進(jìn)行采集判斷，確保其符合標(biāo)準(zhǔn)工藝要求，保證裝配質(zhì)量，使裝配完成后的發(fā)動(dòng)機(jī)有良好的密封性和性能表現(xiàn)。

目前主流的圖像識(shí)別、扭矩檢測等防錯(cuò)手段主要面向人員的作業(yè)結(jié)果進(jìn)行檢測，普遍缺少對人工作業(yè)過程的直接探測能力，無法對人員操作進(jìn)行有效防錯(cuò)。

本文提出對人工標(biāo)準(zhǔn)作業(yè)過程進(jìn)行分解，結(jié)合機(jī)器視覺技術(shù)，針對作業(yè)過程中影響裝配質(zhì)量的關(guān)鍵動(dòng)作要素進(jìn)行逐一檢測判斷，從傳統(tǒng)判斷作業(yè)結(jié)果的檢測思路轉(zhuǎn)變?yōu)槊嫦蜃鳂I(yè)過程檢測，達(dá)到對發(fā)動(dòng)機(jī)裝配過程的控制防錯(cuò)目的。

1?動(dòng)作軌跡防錯(cuò)系統(tǒng)簡述及其架構(gòu)

動(dòng)作軌跡防錯(cuò)系統(tǒng)是以機(jī)器視覺技術(shù)為核心算法，通過工業(yè)相機(jī)、數(shù)據(jù)處理服務(wù)器、現(xiàn)場工控機(jī)等各部分硬件系統(tǒng)的有機(jī)結(jié)合，組合成為具有實(shí)時(shí)性、穩(wěn)定性、準(zhǔn)確性的高效復(fù)雜應(yīng)用型系統(tǒng)。該系統(tǒng)可以適應(yīng)自動(dòng)化及半自動(dòng)化裝配線高速運(yùn)轉(zhuǎn)的節(jié)拍需求，實(shí)時(shí)完成對目標(biāo)圖像的采集、處理、判斷，并輸出判斷及引導(dǎo)結(jié)果。

動(dòng)作軌跡捕捉防錯(cuò)系統(tǒng)包括圖像采集、圖像處理、智能判斷決策3大模塊，動(dòng)作軌跡捕捉防錯(cuò)系統(tǒng)通過圖像采集設(shè)備從外界獲取目標(biāo)的實(shí)時(shí)圖像，經(jīng)過計(jì)算機(jī)中圖像處理算法的進(jìn)一步處理與分析后，輸出與需求判斷結(jié)果相關(guān)的符合性描述，并據(jù)此進(jìn)行判斷與決策，最終獲得檢測結(jié)果。圖1示出了動(dòng)作軌防錯(cuò)系統(tǒng)架構(gòu)原理，圖2示出了現(xiàn)場的布置情況。

2?動(dòng)作軌跡防錯(cuò)系統(tǒng)技術(shù)基礎(chǔ)

2.1?六角錐體模型（HSV）顏色空間

在機(jī)器視覺處理過程中，HSV顏色空間對色彩的表達(dá)方式可以使算法更易于判斷顏色類別，便于在算法中對所需顏色進(jìn)行定義和分辨。在使用效果上，由于在發(fā)動(dòng)機(jī)生產(chǎn)過程中的背景環(huán)境復(fù)雜，顏色背景多樣，導(dǎo)致在圖像采集過程中的目標(biāo)色在算法上與部分環(huán)境背景差異過小，對機(jī)器視覺的算法判斷過程易產(chǎn)生誤差。經(jīng)現(xiàn)場預(yù)研，應(yīng)用HSV顏色格式后，算法在判斷準(zhǔn)確率等多方面表現(xiàn)明顯優(yōu)于由傳統(tǒng)的自定義顏色（RGB）元素進(jìn)行組合來描述顏色的方式。

色調(diào)是顏色的度量基礎(chǔ)，可以認(rèn)為是在1種顏色均勻漸變的錐形顏色模型上，以紅色所在位置為0°，某種顏色與紅色所在位置的夾角即為該顏色的色調(diào)。

飽和度代表目標(biāo)顏色與光譜中某種顏色的相近程度。因?yàn)槿稳∫环N隨機(jī)顏色，都可以將其認(rèn)為是由光譜中的某種顏色與白色相混合后得到。并且當(dāng)1種顏色與光譜中某種顏色的相似程度越高，即說明該光譜色在這種顏色中的越占據(jù)主要地位越高，飽和度也就越高。通常取值范圍為0%～100%。

明度是對該顏色的明暗程度進(jìn)行表述的方式[1]。圖3為HSV顏色模型。

2.2?二值化

研究人員對目標(biāo)圖像數(shù)組依照一定規(guī)則進(jìn)行分割，設(shè)定了1個(gè)規(guī)定閾值，將大于這個(gè)閾值像素的灰度設(shè)為灰度極大值，把小于這個(gè)閾值像素的設(shè)為極小值，從而實(shí)現(xiàn)圖像數(shù)組二值化，對圖像采集結(jié)果進(jìn)行簡化。

3?動(dòng)作軌跡防錯(cuò)系統(tǒng)功能要點(diǎn)

3.1?員工動(dòng)作位置、動(dòng)作內(nèi)容的指示引導(dǎo)

根據(jù)工藝文件要求形成的標(biāo)準(zhǔn)作業(yè)軌跡是視覺跟蹤算法進(jìn)行實(shí)時(shí)指示判斷的依據(jù)。圖4示出了動(dòng)作指示界面。

在發(fā)動(dòng)機(jī)到達(dá)工位后，線體可編程邏輯控制器（PLC）將當(dāng)前機(jī)型及到位信號(hào)輸出給客戶端，動(dòng)作引導(dǎo)模塊據(jù)此選擇對應(yīng)標(biāo)準(zhǔn)作業(yè)軌跡配置。在系統(tǒng)界面上對操作工將進(jìn)行的動(dòng)作內(nèi)容、動(dòng)作位置進(jìn)行實(shí)時(shí)指示引導(dǎo)，當(dāng)操作人員完成當(dāng)前工步作業(yè)且程序判斷合格后，防錯(cuò)系統(tǒng)即繼續(xù)進(jìn)行下一工步的指示顯示。

3.2?人工動(dòng)作軌跡的實(shí)時(shí)跟蹤捕捉識(shí)別

為使視覺跟蹤算法的判斷有據(jù)可依，研究人員經(jīng)過梳理，將操作過程中的動(dòng)作細(xì)化拆分為抓、握、移動(dòng)、旋轉(zhuǎn)、停留等最基本的動(dòng)作單位，過濾掉出錯(cuò)風(fēng)險(xiǎn)低且自由性大的動(dòng)作后，整理出系統(tǒng)需抓取、跟蹤、識(shí)別的關(guān)鍵動(dòng)作位置，并根據(jù)動(dòng)作發(fā)生位置和標(biāo)準(zhǔn)作業(yè)時(shí)長對關(guān)鍵動(dòng)作進(jìn)行排序，形成可供判斷的標(biāo)準(zhǔn)動(dòng)作軌跡。動(dòng)作軌跡包含操作人員的手部位置、手部動(dòng)作路徑、手部工具的變更、手部工具的位置、手部工具動(dòng)作路徑等要素。

在動(dòng)作軌跡防錯(cuò)系統(tǒng)中，操作人員通過動(dòng)作時(shí)長、動(dòng)作標(biāo)色、動(dòng)作檢測區(qū)域、動(dòng)作發(fā)生區(qū)域，動(dòng)作閾值等多項(xiàng)參數(shù)完成對關(guān)鍵動(dòng)作的定義。

程序根據(jù)特征色判斷動(dòng)作是否發(fā)生。系統(tǒng)將1個(gè)動(dòng)作對應(yīng)的特征色及其HSV值域進(jìn)行預(yù)設(shè)，在視覺采集畫面中框選該動(dòng)作的發(fā)生區(qū)域、并配置動(dòng)作的發(fā)生時(shí)間、發(fā)生閾值等參數(shù)，完成對該動(dòng)作的定義。

系統(tǒng)在采集到現(xiàn)場畫面后，算法在預(yù)先框定的動(dòng)作判斷區(qū)域隨機(jī)均勻地選擇像素點(diǎn)，將其顏色格式由RGB轉(zhuǎn)換為HSV顏色空間，依次根據(jù)二值法對這些像素點(diǎn)是否處于動(dòng)作特征色的HSV區(qū)間進(jìn)行判斷和處理，最后算法計(jì)算目標(biāo)特征點(diǎn)在所有選定像素點(diǎn)中的占比，若H、S、V三通道的輸出交集結(jié)果超出事先設(shè)定的動(dòng)作發(fā)生閾值，則判斷該動(dòng)作發(fā)生。圖5示出了判斷算法的運(yùn)行界面。

3.3?防錯(cuò)系統(tǒng)判斷處理

動(dòng)作軌跡防錯(cuò)系統(tǒng)根據(jù)PLC信號(hào)選擇與當(dāng)前機(jī)型對應(yīng)的標(biāo)準(zhǔn)動(dòng)作軌跡后，判斷員工是否按標(biāo)準(zhǔn)軌跡完成所有規(guī)定位置的操作步驟，作業(yè)過程合格即輸出放行信號(hào)到PLC，準(zhǔn)許該發(fā)動(dòng)機(jī)流向下一工位。

當(dāng)員工操作與標(biāo)準(zhǔn)軌跡不符時(shí)，程序報(bào)錯(cuò)提醒并在后臺(tái)記錄發(fā)生錯(cuò)誤的時(shí)間、班次、機(jī)型、錯(cuò)誤工步等信息，且輸出錯(cuò)誤信號(hào)至PLC禁止該臺(tái)發(fā)動(dòng)機(jī)放行，當(dāng)員工確認(rèn)錯(cuò)誤提醒，重新進(jìn)行該工步調(diào)整，經(jīng)視覺防錯(cuò)驗(yàn)證通過，解除PLC鎖定并繼續(xù)進(jìn)行下1個(gè)步驟的判斷。圖6示出了動(dòng)作錯(cuò)誤提醒。

3.4?生產(chǎn)質(zhì)量問題追溯

程序具有擴(kuò)展性，可以在不進(jìn)行代碼編寫的情況下適應(yīng)生產(chǎn)變化，造成檢測內(nèi)容、檢測位置的變更和移動(dòng)，并且能夠通過增加硬件，在其他工位類似場景下配置出新的動(dòng)作軌跡跟蹤、檢測、指示功能。

4?動(dòng)作軌跡防錯(cuò)系統(tǒng)功能驗(yàn)證

4.1?功能驗(yàn)證清單

功能驗(yàn)證清單如表1所列。

4.2?試點(diǎn)工位選擇

為了驗(yàn)證防錯(cuò)程序?qū)τ趶?fù)雜操作步驟的檢測防錯(cuò)能力，研究人員選定1個(gè)復(fù)雜工位作為試點(diǎn)工位，該工位包括24個(gè)操作位置;取、擰、握、塞等多種動(dòng)作形式。按機(jī)型不同，單次調(diào)整最少30個(gè)動(dòng)作步驟。動(dòng)作形式多樣，動(dòng)作內(nèi)容復(fù)雜，作業(yè)位置切換頻繁，適于進(jìn)行技術(shù)驗(yàn)證。

4.3?驗(yàn)證結(jié)論

驗(yàn)證結(jié)論如表2所列。

經(jīng)過對200臺(tái)發(fā)動(dòng)機(jī)的試驗(yàn)驗(yàn)證，動(dòng)作軌跡防錯(cuò)系統(tǒng)的功能及可靠性得到了驗(yàn)證，能夠滿足檢測需求。

針對正確操作判斷為錯(cuò)誤2%誤判率的問題，研究人員可通過重新優(yōu)化算法判斷閾值及改進(jìn)工藝參數(shù)的進(jìn)行解決。

對于體積細(xì)小工具的類型識(shí)別和手部細(xì)節(jié)動(dòng)作識(shí)別，研究人員采用1個(gè)檢測框?qū)?個(gè)目標(biāo)進(jìn)行細(xì)節(jié)特征的檢測，如需要進(jìn)一步提高辨識(shí)精度，可以通過增加檢測框，提升圖像處理設(shè)備算力及更新像素較高工業(yè)相機(jī)的方式進(jìn)行解決。

5?結(jié)語

在工業(yè)生產(chǎn)過程中，相對于傳統(tǒng)檢測方法，應(yīng)用機(jī)器視覺技術(shù)的動(dòng)作捕捉防錯(cuò)系統(tǒng)對人工作業(yè)過程可進(jìn)行快速、準(zhǔn)確、可靠的控制把關(guān)，對提高產(chǎn)品一致性，降低工人勞動(dòng)強(qiáng)度及推進(jìn)企業(yè)智能制造進(jìn)程等工作具有相當(dāng)大的助推潛力。該項(xiàng)技術(shù)經(jīng)驗(yàn)證可行，有較強(qiáng)推廣價(jià)值。

研究人員后續(xù)會(huì)進(jìn)行將正確操作誤判為錯(cuò)誤問題發(fā)生率壓降，以及復(fù)雜裝配場景下動(dòng)作軌跡捕捉技術(shù)的推廣應(yīng)用研究工作。

參考文獻(xiàn)

[1]HOY D E P. On the use of color imaging in experimental applications[J]. Experimental Techniques，2010， 21（4）：17.19.