智能裝配生產(chǎn)誘導(dǎo)監(jiān)測(cè)工作臺(tái)關(guān)鍵技術(shù)研究

馮 瑤， 廖 敏， 公茂震， 張凌云

（中國(guó)航天科工集團(tuán) 第二研究院706 所， 北京 100854）

0 引 言

傳統(tǒng)裝配工作臺(tái)具有操作臺(tái)、物料存儲(chǔ)、照明、防靜電、工具箱、供電等功能，操作者在使用過程中和裝配工作臺(tái)不發(fā)生信息互動(dòng)，完全依靠自身經(jīng)驗(yàn)完成裝配。在出現(xiàn)物料余量不足、取料錯(cuò)誤、工具使用不當(dāng)、裝配過程無法記錄等問題時(shí)，無法誘導(dǎo)操作者完成相關(guān)的操作，使得手工裝配效率較低，裝配質(zhì)量對(duì)人員技能依賴性較高。智能裝配工作臺(tái)作為裝配工作臺(tái)的發(fā)展方向，集成了智能制造、物聯(lián)網(wǎng)、人工智能等新技術(shù)，在傳統(tǒng)裝配工作臺(tái)基礎(chǔ)功能的基礎(chǔ)上，作為信息終端對(duì)裝配過程進(jìn)行控制，誘導(dǎo)操作者自動(dòng)完成裝配工作，實(shí)現(xiàn)裝配無紙化，與車間制造系統(tǒng)集成實(shí)現(xiàn)生產(chǎn)數(shù)據(jù)的上傳與下載，提升裝配的數(shù)字化和智能化水平。金杜挺研制了一款基于工業(yè)4.0 的軸承智能裝配機(jī)械系統(tǒng)[1]，實(shí)現(xiàn)了軸承全自動(dòng)化裝配，同時(shí)實(shí)現(xiàn)軸承根據(jù)型號(hào)用途定制，但其專注于特定種類產(chǎn)品的裝配工藝自動(dòng)化，不具備信息終端功能，無法實(shí)現(xiàn)通用產(chǎn)品的裝配。田中可從圖像識(shí)別的角度對(duì)零件識(shí)別和零件監(jiān)測(cè)進(jìn)行了研究，專注于裝配過程中自動(dòng)識(shí)別和監(jiān)測(cè)技術(shù)[2]。龐列勇等研究一種基于Kinect 的投影式增強(qiáng)現(xiàn)實(shí)裝配誘導(dǎo)系統(tǒng)，采用Kinect 體感儀和增強(qiáng)現(xiàn)實(shí)技術(shù)實(shí)現(xiàn)了裝配誘導(dǎo)[3]。陳成軍等提出一種基于三維CAD 模型的復(fù)雜機(jī)械設(shè)備增強(qiáng)現(xiàn)實(shí)拆裝誘導(dǎo)框架，和基于透視投影原理的三維誘導(dǎo)場(chǎng)景生成與顯示方法[4]。張釗基于Kinect 深度視覺傳感器獲取人體運(yùn)動(dòng)數(shù)據(jù)和特征，進(jìn)行人機(jī)協(xié)作場(chǎng)景中人體行為的識(shí)別及預(yù)測(cè)[5]。本研究是在普通裝配工作臺(tái)儲(chǔ)料、照明、防靜電等基礎(chǔ)功能的基礎(chǔ)上，將自動(dòng)化裝配、智能裝配、信息化和智能化技術(shù)的優(yōu)勢(shì)應(yīng)用于手工裝配過程中，研究裝配工藝配置、裝配工藝無紙化、裝配過程誘導(dǎo)、裝配取料檢驗(yàn)、信息系統(tǒng)集成等技術(shù)，形成新型智能裝配生產(chǎn)誘導(dǎo)監(jiān)測(cè)工作臺(tái)。

1 系統(tǒng)架構(gòu)及工作原理

智能裝配生產(chǎn)誘導(dǎo)監(jiān)測(cè)工作臺(tái)由工作臺(tái)、電氣控制系統(tǒng)和智能裝配誘導(dǎo)監(jiān)測(cè)系統(tǒng)三部分組成，架構(gòu)如圖1所示。

圖1 系統(tǒng)架構(gòu)圖

工作臺(tái)作為智能裝配生產(chǎn)過程誘導(dǎo)監(jiān)測(cè)工作臺(tái)的基礎(chǔ)平臺(tái)，提供裝配操作平臺(tái)、物料存儲(chǔ)、在線檢測(cè)、檢測(cè)數(shù)據(jù)實(shí)時(shí)輸入、人機(jī)協(xié)作、誤操作提醒等功能。根據(jù)智能裝配生產(chǎn)誘導(dǎo)監(jiān)測(cè)工作臺(tái)的組成和特點(diǎn)，電氣控制系統(tǒng)采用主從式架構(gòu)[6-7]，實(shí)現(xiàn)零件誘導(dǎo)裝配功能。智能裝配誘導(dǎo)監(jiān)測(cè)系統(tǒng)通過采集和分析Kinect 體感儀數(shù)據(jù)，對(duì)外向投影儀、顯示器、物料指示燈矩陣、工具指示燈矩陣等進(jìn)行數(shù)據(jù)信號(hào)輸出，實(shí)現(xiàn)產(chǎn)品裝配工藝配置、三維裝配工藝動(dòng)畫指導(dǎo)、裝配生產(chǎn)過程誘導(dǎo)、無紙化操作、裝配過程質(zhì)量數(shù)據(jù)自動(dòng)采集、操作人員管理等智能裝配誘導(dǎo)監(jiān)測(cè)功能，同時(shí)提供其他系統(tǒng)集成接口。

電氣控制系統(tǒng)通過PROFINET 總線[8-9]接收來自智能裝配誘導(dǎo)監(jiān)測(cè)系統(tǒng)的控制指令，分析處理后通過I/O模塊點(diǎn)亮相應(yīng)的料盒或工具指示燈，指示裝配工人獲取該裝配步驟的正確零件或工具，智能裝配誘導(dǎo)監(jiān)測(cè)系統(tǒng)可實(shí)時(shí)采集并根據(jù)當(dāng)前的裝配任務(wù)判斷工人的操作是否正確，當(dāng)裝配工人的操作發(fā)生錯(cuò)誤時(shí)，點(diǎn)亮蜂鳴報(bào)警燈進(jìn)行報(bào)警提示。

2 工作臺(tái)組成

工作臺(tái)由工作臺(tái)本體、工件庫(kù)、工具庫(kù)、上下料系統(tǒng)、防靜電系統(tǒng)、傳感器系統(tǒng)、安全系統(tǒng)等組成，如圖2所示。裝配工作臺(tái)采用模塊化設(shè)計(jì)，具有很好的擴(kuò)展性和靈活性，根據(jù)客戶需求可配備定制裝配工裝、人機(jī)協(xié)作機(jī)器人[10-11]安裝接口等。

圖2 工作臺(tái)組成圖

1） 工作臺(tái)本體。工作臺(tái)本體是工作臺(tái)的基礎(chǔ)模塊，也是應(yīng)用于各項(xiàng)裝配任務(wù)的基礎(chǔ)模塊，由臺(tái)架、臺(tái)面、工作臺(tái)立柱、工作臺(tái)懸架、工作臺(tái)配置等組成，采用型材搭建。工作臺(tái)本體具有可擴(kuò)展、堅(jiān)固耐用和高度調(diào)節(jié)等特點(diǎn)。

2） 工件庫(kù)。工件庫(kù)由不同規(guī)格的PVC 料盒組成，用于存放各種標(biāo)準(zhǔn)件和結(jié)構(gòu)件，各個(gè)料盒的大小和位置可以根據(jù)裝配的方式進(jìn)行調(diào)整，料盒上對(duì)應(yīng)唯一的二維碼，通過掃碼可以快速了解每個(gè)料盒盛放物料的特性和規(guī)格。

3） 工具庫(kù)。工具庫(kù)是掛鉤、容器、工具固定夾、標(biāo)簽背板等工具的儲(chǔ)存裝置，適應(yīng)清潔、焊接、精度檢測(cè)、結(jié)構(gòu)裝配等不同場(chǎng)合。

4） 上下料系統(tǒng)。上下料系統(tǒng)和料盒上料系統(tǒng)進(jìn)行對(duì)接，根據(jù)實(shí)際需要進(jìn)行空料盒的下線和滿料盒的上線，實(shí)現(xiàn)物料的平穩(wěn)傳輸。上下料系統(tǒng)由支架、料盒下線系統(tǒng)、剎車系統(tǒng)等組成，分為集成上下料系統(tǒng)和獨(dú)立上下料系統(tǒng)。

5） 防靜電系統(tǒng)。防靜電系統(tǒng)充分考慮裝配過程中涉及的所有零部件，包括工作臺(tái)架、工作臺(tái)表面和裝配及檢測(cè)設(shè)備，工作臺(tái)系統(tǒng)提供了全面正確的防靜電保護(hù)方案。

6） 傳感器系統(tǒng)。傳感器系統(tǒng)包括Kinect 體感儀、高清攝像頭等硬件系統(tǒng)，采集裝配過程的人體動(dòng)作軌跡數(shù)據(jù)、裝配工件質(zhì)量數(shù)據(jù)，通過不同的通信協(xié)議接入智能裝配誘導(dǎo)監(jiān)測(cè)系統(tǒng)。

7） 安全系統(tǒng)。安全系統(tǒng)包括蜂鳴器指示燈、急停開關(guān)等。

3 電氣控制系統(tǒng)設(shè)計(jì)

根據(jù)智能裝配誘導(dǎo)監(jiān)測(cè)系統(tǒng)的組成和特點(diǎn)，采用主從式架構(gòu)，實(shí)現(xiàn)零件誘導(dǎo)裝配功能。電氣控制系統(tǒng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)如圖3 所示。

圖3 電氣控制系統(tǒng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)

主機(jī)選用戴爾臺(tái)式計(jì)算機(jī)，通過以太網(wǎng)實(shí)現(xiàn)與PLC和高清攝像頭的通信。觸控投影儀、觸摸顯示屏、掃碼槍以及Kinect 體感傳感器通過主機(jī)接口（USB、HDMI、VGA 等）實(shí)現(xiàn)系統(tǒng)集成。PLC 接收主機(jī)控制指令，點(diǎn)亮相應(yīng)指示燈。同時(shí)掃描外部I/O 設(shè)備狀態(tài)，當(dāng)設(shè)備狀態(tài)發(fā)生變化時(shí)將狀態(tài)信息上傳至主機(jī)。

4 智能裝配誘導(dǎo)監(jiān)測(cè)系統(tǒng)軟件設(shè)計(jì)

智能裝配誘導(dǎo)監(jiān)測(cè)系統(tǒng)軟件是裝配工作臺(tái)的控制大腦，通過采集和分析Kinect 體感儀的數(shù)據(jù)，對(duì)外向投影儀、顯示器、物料指示燈矩陣、工具指示燈矩陣等進(jìn)行數(shù)據(jù)信號(hào)輸出，實(shí)現(xiàn)產(chǎn)品裝配工藝配置、三維裝配工藝動(dòng)畫指導(dǎo)、裝配生產(chǎn)過程誘導(dǎo)、無紙化操作、裝配過程質(zhì)量數(shù)據(jù)自動(dòng)采集、操作人員管理等智能裝配誘導(dǎo)監(jiān)測(cè)功能，同時(shí)提供其他系統(tǒng)集成接口。

4.1 系統(tǒng)功能設(shè)計(jì)

系統(tǒng)功能包括系統(tǒng)管理、基礎(chǔ)數(shù)據(jù)管理、工時(shí)管理、裝配訂單管理、裝配工藝配置、裝配過程誘導(dǎo)、質(zhì)量數(shù)據(jù)管理、數(shù)據(jù)錄入等功能，如圖4 所示。

圖4 軟件功能結(jié)構(gòu)圖

根據(jù)產(chǎn)品裝配工藝流程配置每個(gè)裝配工步所涉及的零件、標(biāo)準(zhǔn)件、工具、裝配動(dòng)作、三維裝配動(dòng)畫、檢測(cè)標(biāo)準(zhǔn)、電子表格數(shù)據(jù)要求等信息，作為軟件系統(tǒng)其他功能的輸入信息。通過Kinect體感感應(yīng)器捕捉和分析動(dòng)作裝配工作臺(tái)范圍內(nèi)操作員身體動(dòng)作，監(jiān)測(cè)裝配過程中相關(guān)人、機(jī)、物、法、環(huán)等資源的運(yùn)行情況，實(shí)現(xiàn)裝配生產(chǎn)過程誘導(dǎo)。具體實(shí)現(xiàn)如下功能：操作人員上工、暫停和完工時(shí)間檢測(cè)；實(shí)現(xiàn)身體動(dòng)作軌跡采集、顯示與重放；裝配動(dòng)作正確性判斷；取料位置實(shí)時(shí)提示及結(jié)果判斷；工具位置實(shí)時(shí)提示及結(jié)果判斷；工具歸位管理；裝配到位情況判斷；裝配過程出錯(cuò)報(bào)警；裝配過程控制。通過彩色攝像頭拍攝視角范圍內(nèi)的彩色視頻圖像和拍攝圖像，記錄整個(gè)生產(chǎn)過程，可以實(shí)時(shí)顯示和回溯播放，用于裝配過程質(zhì)量追溯。

4.2 Kinect 體感儀在智能裝配生產(chǎn)過程中的應(yīng)用

Kinect 體感儀包括彩色攝像頭、紅外投影機(jī)、深度（紅外）攝像頭和麥克風(fēng)陣列，實(shí)現(xiàn)對(duì)生產(chǎn)裝配過程中人體動(dòng)作與聲音進(jìn)行捕捉和3D 建模[12-13]，并對(duì)人體運(yùn)動(dòng)數(shù)據(jù)進(jìn)行空間層動(dòng)作分析，起到輔助誘導(dǎo)裝配、裝配全過程監(jiān)督與預(yù)警、標(biāo)準(zhǔn)工藝執(zhí)行等作用，如圖5 所示。

圖5 Kinect 使用流程示意圖

Kinect 體感儀安裝在工作臺(tái)的正上方，通過捕捉人手動(dòng)作，配合相應(yīng)的算法，識(shí)別裝配工人取料、取工具等動(dòng)作，通過與預(yù)設(shè)流程的對(duì)比，判斷裝配工人的操作是否正確。如果正確，則可順利進(jìn)入下一步；如果操作錯(cuò)誤，系統(tǒng)會(huì)給出蜂鳴報(bào)警提醒，同時(shí)正確位置的指示燈會(huì)閃爍提醒，直至裝配工人取到正確的物料或工具。

裝配過程誘導(dǎo)監(jiān)測(cè)模塊組件由3 個(gè)不同視頻采集單元、4 個(gè)不同頻段的麥克風(fēng)陣列組成。

彩色攝像機(jī)：拍攝視角范圍內(nèi)的彩色視頻圖像，記錄整個(gè)裝配生產(chǎn)過程，對(duì)產(chǎn)品生產(chǎn)過程進(jìn)行記錄；紅外投影機(jī)：主動(dòng)投射近紅外光譜，照射到粗糙物體或是穿透毛玻璃后，光譜發(fā)生扭曲，形成隨機(jī)的反射斑點(diǎn)（稱為散斑），進(jìn)而被紅外攝像機(jī)讀取，用輔助光學(xué)引導(dǎo)監(jiān)測(cè)，判斷生產(chǎn)過程中是否按照既定工藝進(jìn)行生產(chǎn)，作為輔助誘導(dǎo)系統(tǒng)進(jìn)行順序操作的傳感器使用，采集工作中，辨別操作者完成的規(guī)定動(dòng)作是有效動(dòng)作還是無效動(dòng)作；深度（紅外）攝像機(jī)：分析紅外光譜，創(chuàng)建可視范圍內(nèi)的人體、物體的深度圖像，進(jìn)行空間層動(dòng)作分析，配合工作站（兩人或多人完成的工藝站）并建立3D 模型，實(shí)現(xiàn)裝配過程的人體動(dòng)作捕捉與識(shí)別。

Kinect 體感儀應(yīng)用在智能裝配生產(chǎn)過程中可以對(duì)裝配員工進(jìn)行人臉識(shí)別，實(shí)現(xiàn)裝配產(chǎn)品和裝配員工的一一對(duì)應(yīng)。

4.3 系統(tǒng)實(shí)現(xiàn)

4.3.1 軟件框架選擇

軟件采用MVVM 框架[14-15]，如圖6 所示，包括View層、ViewModel 層和Model 層。View 層采用WPF XAML（類HTML）方式進(jìn)行編寫。在ViewModel 層中編寫ViewModel 基類，繼承INotifyPropertyChanged 接口，并實(shí)現(xiàn)一個(gè)方法來拋出此接口提供的PropertyChangedEvent事件，使得在窗口前端界面XAML 中通過＜Window.DataContext＞標(biāo)簽綁定ViewModel 數(shù)據(jù)源的屬性且數(shù)據(jù)源某些屬性發(fā)生變化時(shí)，窗口前端界面XAML 中的顯示情況會(huì)隨ViewModel 屬性變化而自動(dòng)更新。對(duì)于窗口前端界面中會(huì)觸發(fā)一些操作或事件的控件，通過WPF控件提供的Command 屬性，在前端界面中為控件綁定來自ViewModel 中的繼承ICommand 接口的Command 命令方法。Model層完成各種業(yè)務(wù)邏輯處理和數(shù)據(jù)操控。

圖6 MVVM 框架

4.3.2 系統(tǒng)界面

智能裝配誘導(dǎo)監(jiān)測(cè)系統(tǒng)實(shí)現(xiàn)的部分界面如圖7～圖10 所示。

圖7 系統(tǒng)主界面

圖9 用戶信息管理界面

圖10 位置標(biāo)定界面

系統(tǒng)主界面上主要顯示了當(dāng)前執(zhí)行裝配訂單的主要信息，包括訂單編號(hào)、訂單狀態(tài)、產(chǎn)品編號(hào)、產(chǎn)品數(shù)量、工藝編號(hào)、工序編號(hào)、工步編號(hào)等信息，三維裝配動(dòng)畫可按需播放，對(duì)系統(tǒng)日志和報(bào)警信息進(jìn)行集中展示，用戶確認(rèn)完訂單信息后可點(diǎn)擊“開始裝配”按鈕，進(jìn)入系統(tǒng)操作界面。在系統(tǒng)操作界面設(shè)置了當(dāng)前工步的三維裝配動(dòng)畫播放窗口，通過系統(tǒng)自動(dòng)控制和手動(dòng)選擇的方式在裝配工步之間進(jìn)行切換。用戶信息管理界面實(shí)現(xiàn)了對(duì)用戶信息增刪查改的操作。在位置標(biāo)定界面可實(shí)現(xiàn)對(duì)Kinect 體感儀的標(biāo)定。

4.3.3 工作流程

操作人員采用智能裝配生產(chǎn)過程誘導(dǎo)監(jiān)測(cè)工作臺(tái)進(jìn)行工作的工作流程如圖11 所示。具體工作流程如下：

圖11 工作流程

1） 操作人員通過輸入用戶名和密碼進(jìn)行身份認(rèn)證，認(rèn)證方式可以根據(jù)用戶需求配置指紋識(shí)別、刷卡等。通過身份認(rèn)證識(shí)別操作人員身份的合法性，同時(shí)作為工時(shí)計(jì)算的輸入數(shù)據(jù)。

2） 判斷身份認(rèn)證結(jié)果，認(rèn)證成功則進(jìn)入步驟3），認(rèn)證失敗則結(jié)束工作。

3） 操作人員認(rèn)證通過后，通過系統(tǒng)自動(dòng)判斷和人工協(xié)作的方式判斷物料、工具的齊套結(jié)果，齊套完成則進(jìn)入步驟4），齊套沒有完成則需按照系統(tǒng)提示完成齊套工作，重新開始步驟3）。

4） 操作人員點(diǎn)擊顯示器或者桌面顯示區(qū)域的“開始裝配”按鈕，進(jìn)入裝配工作。

5） 操作人員根據(jù)系統(tǒng)三維裝配動(dòng)畫提示，從對(duì)應(yīng)位置的料盒中取裝配工件，從對(duì)應(yīng)位置的工具位置取工具。系統(tǒng)自動(dòng)判斷人工物料位置是否正確，正確則進(jìn)入步驟6），錯(cuò)誤則需要根據(jù)系統(tǒng)提示重新開始步驟5）。

6） 操作人員根據(jù)三維裝配動(dòng)畫中的裝配動(dòng)作和技術(shù)要求進(jìn)行裝配工作。

7） 系統(tǒng)自動(dòng)判斷裝配動(dòng)作和裝配到位情況，正確情況下進(jìn)入步驟8），錯(cuò)誤情況下則需要根據(jù)系統(tǒng)提示重新開始步驟6）。

8） 操作人員對(duì)有裝配過程質(zhì)量檢測(cè)的工件使用工作臺(tái)上的工具進(jìn)行檢測(cè)，系統(tǒng)自動(dòng)記錄檢測(cè)結(jié)果。檢測(cè)通過則進(jìn)入步驟9），檢測(cè)未通過則需要排查原因，并重新進(jìn)入步驟5）。

9） 操作人員點(diǎn)擊顯示器或者桌面顯示區(qū)域的“下一步”按鈕，進(jìn)入下一步的裝配工作。

10） 系統(tǒng)自動(dòng)判斷裝配工作是否全部完成。未完成則執(zhí)行步驟5），完成則結(jié)束工作，操作人員點(diǎn)擊“完工”按鈕，進(jìn)行報(bào)工操作。

5 結(jié) 語(yǔ)

本文研究了智能裝配生產(chǎn)誘導(dǎo)監(jiān)測(cè)工作臺(tái)的關(guān)鍵技術(shù)，可實(shí)現(xiàn)產(chǎn)品裝配工藝配置、三維裝配工藝動(dòng)畫指導(dǎo)、裝配生產(chǎn)過程誘導(dǎo)、無紙化操作、裝配過程質(zhì)量數(shù)據(jù)自動(dòng)采集、操作人員管理等智能裝配誘導(dǎo)監(jiān)測(cè)功能，同時(shí)提供其他系統(tǒng)集成接口；并且對(duì)于柔性化裝配、低成本裝配、自主培訓(xùn)、輔助教學(xué)有很好的參考意義。

注：本文通訊作者為廖敏。