智能裝配生產(chǎn)誘導(dǎo)監(jiān)測工作臺關(guān)鍵技術(shù)研究

馮 瑤， 廖 敏， 公茂震， 張凌云

（中國航天科工集團(tuán) 第二研究院706 所， 北京 100854）

0 引 言

傳統(tǒng)裝配工作臺具有操作臺、物料存儲、照明、防靜電、工具箱、供電等功能，操作者在使用過程中和裝配工作臺不發(fā)生信息互動，完全依靠自身經(jīng)驗完成裝配。在出現(xiàn)物料余量不足、取料錯誤、工具使用不當(dāng)、裝配過程無法記錄等問題時，無法誘導(dǎo)操作者完成相關(guān)的操作，使得手工裝配效率較低，裝配質(zhì)量對人員技能依賴性較高。智能裝配工作臺作為裝配工作臺的發(fā)展方向，集成了智能制造、物聯(lián)網(wǎng)、人工智能等新技術(shù)，在傳統(tǒng)裝配工作臺基礎(chǔ)功能的基礎(chǔ)上，作為信息終端對裝配過程進(jìn)行控制，誘導(dǎo)操作者自動完成裝配工作，實現(xiàn)裝配無紙化，與車間制造系統(tǒng)集成實現(xiàn)生產(chǎn)數(shù)據(jù)的上傳與下載，提升裝配的數(shù)字化和智能化水平。金杜挺研制了一款基于工業(yè)4.0 的軸承智能裝配機械系統(tǒng)[1]，實現(xiàn)了軸承全自動化裝配，同時實現(xiàn)軸承根據(jù)型號用途定制，但其專注于特定種類產(chǎn)品的裝配工藝自動化，不具備信息終端功能，無法實現(xiàn)通用產(chǎn)品的裝配。田中可從圖像識別的角度對零件識別和零件監(jiān)測進(jìn)行了研究，專注于裝配過程中自動識別和監(jiān)測技術(shù)[2]。龐列勇等研究一種基于Kinect 的投影式增強現(xiàn)實裝配誘導(dǎo)系統(tǒng)，采用Kinect 體感儀和增強現(xiàn)實技術(shù)實現(xiàn)了裝配誘導(dǎo)[3]。陳成軍等提出一種基于三維CAD 模型的復(fù)雜機械設(shè)備增強現(xiàn)實拆裝誘導(dǎo)框架，和基于透視投影原理的三維誘導(dǎo)場景生成與顯示方法[4]。張釗基于Kinect 深度視覺傳感器獲取人體運動數(shù)據(jù)和特征，進(jìn)行人機協(xié)作場景中人體行為的識別及預(yù)測[5]。本研究是在普通裝配工作臺儲料、照明、防靜電等基礎(chǔ)功能的基礎(chǔ)上，將自動化裝配、智能裝配、信息化和智能化技術(shù)的優(yōu)勢應(yīng)用于手工裝配過程中，研究裝配工藝配置、裝配工藝無紙化、裝配過程誘導(dǎo)、裝配取料檢驗、信息系統(tǒng)集成等技術(shù)，形成新型智能裝配生產(chǎn)誘導(dǎo)監(jiān)測工作臺。

1 系統(tǒng)架構(gòu)及工作原理

智能裝配生產(chǎn)誘導(dǎo)監(jiān)測工作臺由工作臺、電氣控制系統(tǒng)和智能裝配誘導(dǎo)監(jiān)測系統(tǒng)三部分組成，架構(gòu)如圖1所示。

圖1 系統(tǒng)架構(gòu)圖

工作臺作為智能裝配生產(chǎn)過程誘導(dǎo)監(jiān)測工作臺的基礎(chǔ)平臺，提供裝配操作平臺、物料存儲、在線檢測、檢測數(shù)據(jù)實時輸入、人機協(xié)作、誤操作提醒等功能。根據(jù)智能裝配生產(chǎn)誘導(dǎo)監(jiān)測工作臺的組成和特點，電氣控制系統(tǒng)采用主從式架構(gòu)[6-7]，實現(xiàn)零件誘導(dǎo)裝配功能。智能裝配誘導(dǎo)監(jiān)測系統(tǒng)通過采集和分析Kinect 體感儀數(shù)據(jù)，對外向投影儀、顯示器、物料指示燈矩陣、工具指示燈矩陣等進(jìn)行數(shù)據(jù)信號輸出，實現(xiàn)產(chǎn)品裝配工藝配置、三維裝配工藝動畫指導(dǎo)、裝配生產(chǎn)過程誘導(dǎo)、無紙化操作、裝配過程質(zhì)量數(shù)據(jù)自動采集、操作人員管理等智能裝配誘導(dǎo)監(jiān)測功能，同時提供其他系統(tǒng)集成接口。

電氣控制系統(tǒng)通過PROFINET 總線[8-9]接收來自智能裝配誘導(dǎo)監(jiān)測系統(tǒng)的控制指令，分析處理后通過I/O模塊點亮相應(yīng)的料盒或工具指示燈，指示裝配工人獲取該裝配步驟的正確零件或工具，智能裝配誘導(dǎo)監(jiān)測系統(tǒng)可實時采集并根據(jù)當(dāng)前的裝配任務(wù)判斷工人的操作是否正確，當(dāng)裝配工人的操作發(fā)生錯誤時，點亮蜂鳴報警燈進(jìn)行報警提示。

2 工作臺組成

工作臺由工作臺本體、工件庫、工具庫、上下料系統(tǒng)、防靜電系統(tǒng)、傳感器系統(tǒng)、安全系統(tǒng)等組成，如圖2所示。裝配工作臺采用模塊化設(shè)計，具有很好的擴展性和靈活性，根據(jù)客戶需求可配備定制裝配工裝、人機協(xié)作機器人[10-11]安裝接口等。

圖2 工作臺組成圖

1） 工作臺本體。工作臺本體是工作臺的基礎(chǔ)模塊，也是應(yīng)用于各項裝配任務(wù)的基礎(chǔ)模塊，由臺架、臺面、工作臺立柱、工作臺懸架、工作臺配置等組成，采用型材搭建。工作臺本體具有可擴展、堅固耐用和高度調(diào)節(jié)等特點。

2） 工件庫。工件庫由不同規(guī)格的PVC 料盒組成，用于存放各種標(biāo)準(zhǔn)件和結(jié)構(gòu)件，各個料盒的大小和位置可以根據(jù)裝配的方式進(jìn)行調(diào)整，料盒上對應(yīng)唯一的二維碼，通過掃碼可以快速了解每個料盒盛放物料的特性和規(guī)格。

3） 工具庫。工具庫是掛鉤、容器、工具固定夾、標(biāo)簽背板等工具的儲存裝置，適應(yīng)清潔、焊接、精度檢測、結(jié)構(gòu)裝配等不同場合。

4） 上下料系統(tǒng)。上下料系統(tǒng)和料盒上料系統(tǒng)進(jìn)行對接，根據(jù)實際需要進(jìn)行空料盒的下線和滿料盒的上線，實現(xiàn)物料的平穩(wěn)傳輸。上下料系統(tǒng)由支架、料盒下線系統(tǒng)、剎車系統(tǒng)等組成，分為集成上下料系統(tǒng)和獨立上下料系統(tǒng)。

5） 防靜電系統(tǒng)。防靜電系統(tǒng)充分考慮裝配過程中涉及的所有零部件，包括工作臺架、工作臺表面和裝配及檢測設(shè)備，工作臺系統(tǒng)提供了全面正確的防靜電保護(hù)方案。

6） 傳感器系統(tǒng)。傳感器系統(tǒng)包括Kinect 體感儀、高清攝像頭等硬件系統(tǒng)，采集裝配過程的人體動作軌跡數(shù)據(jù)、裝配工件質(zhì)量數(shù)據(jù)，通過不同的通信協(xié)議接入智能裝配誘導(dǎo)監(jiān)測系統(tǒng)。

7） 安全系統(tǒng)。安全系統(tǒng)包括蜂鳴器指示燈、急停開關(guān)等。

3 電氣控制系統(tǒng)設(shè)計

根據(jù)智能裝配誘導(dǎo)監(jiān)測系統(tǒng)的組成和特點，采用主從式架構(gòu)，實現(xiàn)零件誘導(dǎo)裝配功能。電氣控制系統(tǒng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)如圖3 所示。

圖3 電氣控制系統(tǒng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)

主機選用戴爾臺式計算機，通過以太網(wǎng)實現(xiàn)與PLC和高清攝像頭的通信。觸控投影儀、觸摸顯示屏、掃碼槍以及Kinect 體感傳感器通過主機接口（USB、HDMI、VGA 等）實現(xiàn)系統(tǒng)集成。PLC 接收主機控制指令，點亮相應(yīng)指示燈。同時掃描外部I/O 設(shè)備狀態(tài)，當(dāng)設(shè)備狀態(tài)發(fā)生變化時將狀態(tài)信息上傳至主機。

4 智能裝配誘導(dǎo)監(jiān)測系統(tǒng)軟件設(shè)計

智能裝配誘導(dǎo)監(jiān)測系統(tǒng)軟件是裝配工作臺的控制大腦，通過采集和分析Kinect 體感儀的數(shù)據(jù)，對外向投影儀、顯示器、物料指示燈矩陣、工具指示燈矩陣等進(jìn)行數(shù)據(jù)信號輸出，實現(xiàn)產(chǎn)品裝配工藝配置、三維裝配工藝動畫指導(dǎo)、裝配生產(chǎn)過程誘導(dǎo)、無紙化操作、裝配過程質(zhì)量數(shù)據(jù)自動采集、操作人員管理等智能裝配誘導(dǎo)監(jiān)測功能，同時提供其他系統(tǒng)集成接口。

4.1 系統(tǒng)功能設(shè)計

系統(tǒng)功能包括系統(tǒng)管理、基礎(chǔ)數(shù)據(jù)管理、工時管理、裝配訂單管理、裝配工藝配置、裝配過程誘導(dǎo)、質(zhì)量數(shù)據(jù)管理、數(shù)據(jù)錄入等功能，如圖4 所示。

圖4 軟件功能結(jié)構(gòu)圖

根據(jù)產(chǎn)品裝配工藝流程配置每個裝配工步所涉及的零件、標(biāo)準(zhǔn)件、工具、裝配動作、三維裝配動畫、檢測標(biāo)準(zhǔn)、電子表格數(shù)據(jù)要求等信息，作為軟件系統(tǒng)其他功能的輸入信息。通過Kinect體感感應(yīng)器捕捉和分析動作裝配工作臺范圍內(nèi)操作員身體動作，監(jiān)測裝配過程中相關(guān)人、機、物、法、環(huán)等資源的運行情況，實現(xiàn)裝配生產(chǎn)過程誘導(dǎo)。具體實現(xiàn)如下功能：操作人員上工、暫停和完工時間檢測；實現(xiàn)身體動作軌跡采集、顯示與重放；裝配動作正確性判斷；取料位置實時提示及結(jié)果判斷；工具位置實時提示及結(jié)果判斷；工具歸位管理；裝配到位情況判斷；裝配過程出錯報警；裝配過程控制。通過彩色攝像頭拍攝視角范圍內(nèi)的彩色視頻圖像和拍攝圖像，記錄整個生產(chǎn)過程，可以實時顯示和回溯播放，用于裝配過程質(zhì)量追溯。

4.2 Kinect 體感儀在智能裝配生產(chǎn)過程中的應(yīng)用

Kinect 體感儀包括彩色攝像頭、紅外投影機、深度（紅外）攝像頭和麥克風(fēng)陣列，實現(xiàn)對生產(chǎn)裝配過程中人體動作與聲音進(jìn)行捕捉和3D 建模[12-13]，并對人體運動數(shù)據(jù)進(jìn)行空間層動作分析，起到輔助誘導(dǎo)裝配、裝配全過程監(jiān)督與預(yù)警、標(biāo)準(zhǔn)工藝執(zhí)行等作用，如圖5 所示。

圖5 Kinect 使用流程示意圖

Kinect 體感儀安裝在工作臺的正上方，通過捕捉人手動作，配合相應(yīng)的算法，識別裝配工人取料、取工具等動作，通過與預(yù)設(shè)流程的對比，判斷裝配工人的操作是否正確。如果正確，則可順利進(jìn)入下一步；如果操作錯誤，系統(tǒng)會給出蜂鳴報警提醒，同時正確位置的指示燈會閃爍提醒，直至裝配工人取到正確的物料或工具。

裝配過程誘導(dǎo)監(jiān)測模塊組件由3 個不同視頻采集單元、4 個不同頻段的麥克風(fēng)陣列組成。

彩色攝像機：拍攝視角范圍內(nèi)的彩色視頻圖像，記錄整個裝配生產(chǎn)過程，對產(chǎn)品生產(chǎn)過程進(jìn)行記錄；紅外投影機：主動投射近紅外光譜，照射到粗糙物體或是穿透毛玻璃后，光譜發(fā)生扭曲，形成隨機的反射斑點（稱為散斑），進(jìn)而被紅外攝像機讀取，用輔助光學(xué)引導(dǎo)監(jiān)測，判斷生產(chǎn)過程中是否按照既定工藝進(jìn)行生產(chǎn)，作為輔助誘導(dǎo)系統(tǒng)進(jìn)行順序操作的傳感器使用，采集工作中，辨別操作者完成的規(guī)定動作是有效動作還是無效動作；深度（紅外）攝像機：分析紅外光譜，創(chuàng)建可視范圍內(nèi)的人體、物體的深度圖像，進(jìn)行空間層動作分析，配合工作站（兩人或多人完成的工藝站）并建立3D 模型，實現(xiàn)裝配過程的人體動作捕捉與識別。

Kinect 體感儀應(yīng)用在智能裝配生產(chǎn)過程中可以對裝配員工進(jìn)行人臉識別，實現(xiàn)裝配產(chǎn)品和裝配員工的一一對應(yīng)。

4.3 系統(tǒng)實現(xiàn)

4.3.1 軟件框架選擇

軟件采用MVVM 框架[14-15]，如圖6 所示，包括View層、ViewModel 層和Model 層。View 層采用WPF XAML（類HTML）方式進(jìn)行編寫。在ViewModel 層中編寫ViewModel 基類，繼承INotifyPropertyChanged 接口，并實現(xiàn)一個方法來拋出此接口提供的PropertyChangedEvent事件，使得在窗口前端界面XAML 中通過＜Window.DataContext＞標(biāo)簽綁定ViewModel 數(shù)據(jù)源的屬性且數(shù)據(jù)源某些屬性發(fā)生變化時，窗口前端界面XAML 中的顯示情況會隨ViewModel 屬性變化而自動更新。對于窗口前端界面中會觸發(fā)一些操作或事件的控件，通過WPF控件提供的Command 屬性，在前端界面中為控件綁定來自ViewModel 中的繼承ICommand 接口的Command 命令方法。Model層完成各種業(yè)務(wù)邏輯處理和數(shù)據(jù)操控。

圖6 MVVM 框架

4.3.2 系統(tǒng)界面

智能裝配誘導(dǎo)監(jiān)測系統(tǒng)實現(xiàn)的部分界面如圖7～圖10 所示。

圖7 系統(tǒng)主界面

圖9 用戶信息管理界面

圖10 位置標(biāo)定界面

系統(tǒng)主界面上主要顯示了當(dāng)前執(zhí)行裝配訂單的主要信息，包括訂單編號、訂單狀態(tài)、產(chǎn)品編號、產(chǎn)品數(shù)量、工藝編號、工序編號、工步編號等信息，三維裝配動畫可按需播放，對系統(tǒng)日志和報警信息進(jìn)行集中展示，用戶確認(rèn)完訂單信息后可點擊“開始裝配”按鈕，進(jìn)入系統(tǒng)操作界面。在系統(tǒng)操作界面設(shè)置了當(dāng)前工步的三維裝配動畫播放窗口，通過系統(tǒng)自動控制和手動選擇的方式在裝配工步之間進(jìn)行切換。用戶信息管理界面實現(xiàn)了對用戶信息增刪查改的操作。在位置標(biāo)定界面可實現(xiàn)對Kinect 體感儀的標(biāo)定。

4.3.3 工作流程

操作人員采用智能裝配生產(chǎn)過程誘導(dǎo)監(jiān)測工作臺進(jìn)行工作的工作流程如圖11 所示。具體工作流程如下：

圖11 工作流程

1） 操作人員通過輸入用戶名和密碼進(jìn)行身份認(rèn)證，認(rèn)證方式可以根據(jù)用戶需求配置指紋識別、刷卡等。通過身份認(rèn)證識別操作人員身份的合法性，同時作為工時計算的輸入數(shù)據(jù)。

2） 判斷身份認(rèn)證結(jié)果，認(rèn)證成功則進(jìn)入步驟3），認(rèn)證失敗則結(jié)束工作。

3） 操作人員認(rèn)證通過后，通過系統(tǒng)自動判斷和人工協(xié)作的方式判斷物料、工具的齊套結(jié)果，齊套完成則進(jìn)入步驟4），齊套沒有完成則需按照系統(tǒng)提示完成齊套工作，重新開始步驟3）。

4） 操作人員點擊顯示器或者桌面顯示區(qū)域的“開始裝配”按鈕，進(jìn)入裝配工作。

5） 操作人員根據(jù)系統(tǒng)三維裝配動畫提示，從對應(yīng)位置的料盒中取裝配工件，從對應(yīng)位置的工具位置取工具。系統(tǒng)自動判斷人工物料位置是否正確，正確則進(jìn)入步驟6），錯誤則需要根據(jù)系統(tǒng)提示重新開始步驟5）。

6） 操作人員根據(jù)三維裝配動畫中的裝配動作和技術(shù)要求進(jìn)行裝配工作。

7） 系統(tǒng)自動判斷裝配動作和裝配到位情況，正確情況下進(jìn)入步驟8），錯誤情況下則需要根據(jù)系統(tǒng)提示重新開始步驟6）。

8） 操作人員對有裝配過程質(zhì)量檢測的工件使用工作臺上的工具進(jìn)行檢測，系統(tǒng)自動記錄檢測結(jié)果。檢測通過則進(jìn)入步驟9），檢測未通過則需要排查原因，并重新進(jìn)入步驟5）。

9） 操作人員點擊顯示器或者桌面顯示區(qū)域的“下一步”按鈕，進(jìn)入下一步的裝配工作。

10） 系統(tǒng)自動判斷裝配工作是否全部完成。未完成則執(zhí)行步驟5），完成則結(jié)束工作，操作人員點擊“完工”按鈕，進(jìn)行報工操作。

5 結(jié) 語

本文研究了智能裝配生產(chǎn)誘導(dǎo)監(jiān)測工作臺的關(guān)鍵技術(shù)，可實現(xiàn)產(chǎn)品裝配工藝配置、三維裝配工藝動畫指導(dǎo)、裝配生產(chǎn)過程誘導(dǎo)、無紙化操作、裝配過程質(zhì)量數(shù)據(jù)自動采集、操作人員管理等智能裝配誘導(dǎo)監(jiān)測功能，同時提供其他系統(tǒng)集成接口；并且對于柔性化裝配、低成本裝配、自主培訓(xùn)、輔助教學(xué)有很好的參考意義。

注：本文通訊作者為廖敏。