基于增強(qiáng)現(xiàn)實(shí)的智能輔助裝配系統(tǒng)設(shè)計(jì)研究

北京航空航天大學(xué)機(jī)械工程及自動(dòng)化學(xué)院 魏?。ㄍㄐ抛髡撸?/p>

北航歌爾（濰坊）智能機(jī)器人有限公司 馮蓬勃

北京航空航天大學(xué)機(jī)械工程及自動(dòng)化學(xué)院 陳崢廷

復(fù)雜產(chǎn)品的生產(chǎn)制造過程中，裝配是一個(gè)重要且占用大量時(shí)間的環(huán)節(jié)。裝配過程中面臨著諸如裝配步驟繁多、裝配工藝執(zhí)行困難、裝配零件相似度高等問題，這不僅對(duì)操作工人提出了極高的要求，還容易導(dǎo)致裝配錯(cuò)誤，降低裝配效率。傳統(tǒng)的輔助裝配方法主要依賴于紙質(zhì)工藝指導(dǎo)文件、電子工藝說明書、虛擬現(xiàn)實(shí)技術(shù)等，但具有一定的局限性，目前迫切需要一套高效的智能輔助裝配系統(tǒng)。文章首先對(duì)智能輔助裝配系統(tǒng)研究現(xiàn)狀進(jìn)行梳理，并對(duì)基于增強(qiáng)現(xiàn)實(shí)的智能裝配系統(tǒng)進(jìn)行需求分析與系統(tǒng)框架設(shè)計(jì)，最后開發(fā)并驗(yàn)證了一個(gè)基于增強(qiáng)現(xiàn)實(shí)的智能輔助裝配系統(tǒng)。

1 增強(qiáng)現(xiàn)實(shí)技術(shù)

增強(qiáng)現(xiàn)實(shí)（Augmented Reality，AR）技術(shù)是一種將虛擬信息疊加在真實(shí)環(huán)境中，并力求達(dá)到時(shí)間、空間、光照等方面的一致，最后通過顯示設(shè)備進(jìn)行顯示的技術(shù)[1]。增強(qiáng)現(xiàn)實(shí)技術(shù)上世紀(jì)90 年代被提出，隨著計(jì)算機(jī)硬件、移動(dòng)端設(shè)備和相關(guān)軟件的成熟，已逐步走進(jìn)大眾的生活，帶來便利的同時(shí)也給大家?guī)砹诵缕娴捏w驗(yàn)。增強(qiáng)現(xiàn)實(shí)技術(shù)如今被廣泛應(yīng)用于各個(gè)領(lǐng)域，例如，百度地圖的“AR 導(dǎo)航”功能，通過手機(jī)應(yīng)用，用戶就能看到在道路上疊加的虛擬箭頭進(jìn)而在復(fù)雜的路口快速判斷方向；在某手機(jī)購物應(yīng)用軟件上，用戶能夠使用“AR 試鞋”功能，通過手機(jī)顯示屏就能看到想要購買的新鞋穿在腳上的樣子，給用戶帶來更好的購物體驗(yàn)。此外，裝配領(lǐng)域也是增強(qiáng)現(xiàn)實(shí)技術(shù)的一個(gè)重要應(yīng)用領(lǐng)域[2]。2020 年湖南華菱湘鋼實(shí)現(xiàn)了我國鋼鐵業(yè)首次5G+AR 跨國遠(yuǎn)程裝配，國外工程師依托AR 的實(shí)時(shí)標(biāo)注、桌面共享等技術(shù)，遠(yuǎn)程配合湘鋼現(xiàn)場(chǎng)工程師的產(chǎn)線裝配工作。

2 智能輔助裝配系統(tǒng)研究現(xiàn)狀

智能輔助裝配是指將裝配引導(dǎo)信息如零件三維模型、文本指導(dǎo)信息、操作步驟信息等進(jìn)行可視化處理，直接呈現(xiàn)在裝配操作者的視野中，達(dá)到一個(gè)“信息找人”而不是“人找信息”的效果，從而提高操作者對(duì)裝配過程的理解，輔助操作者進(jìn)行裝配作業(yè)。如今，國內(nèi)外的企業(yè)以及研究機(jī)構(gòu)都著力開發(fā)智能輔助裝配系統(tǒng)，也有了一些相關(guān)的應(yīng)用與嘗試。

唐健鈞等[3]為飛機(jī)裝配作業(yè)設(shè)計(jì)了一個(gè)AR 智能引導(dǎo)系統(tǒng)，該系統(tǒng)主要用于飛機(jī)中小型剛性部件，能夠?qū)ιa(chǎn)現(xiàn)場(chǎng)的場(chǎng)景進(jìn)行識(shí)別，能夠結(jié)合XML 格式的動(dòng)態(tài)AR 裝配指令對(duì)裝配結(jié)果進(jìn)行判斷。Westerfield 等[4]設(shè)計(jì)了一個(gè)名為主板裝配導(dǎo)師的增強(qiáng)現(xiàn)實(shí)裝配培訓(xùn)系統(tǒng)，利用三維模型、動(dòng)畫、音頻和文本等信息訓(xùn)練用戶在計(jì)算機(jī)主板上組裝組件。該系統(tǒng)能夠提供操作的實(shí)時(shí)反饋，通過識(shí)別組件的位置和方向判斷是否裝配正確，能夠顯示警告信息。劉然[5]以汽車車門的關(guān)鍵零部件為裝配對(duì)象設(shè)計(jì)了一個(gè)輔助裝配引導(dǎo)原型系統(tǒng)，該系統(tǒng)主要由產(chǎn)品裝配信息管理模塊、位姿估計(jì)與零件識(shí)別判斷模塊、裝配狀態(tài)判斷模塊等組成。該系統(tǒng)利用自然特征點(diǎn)以及線性模型多模態(tài)等算法對(duì)裝配基體和零件進(jìn)行位姿估計(jì)，實(shí)現(xiàn)對(duì)裝配步驟和裝配效果的判斷。

3 基于增強(qiáng)現(xiàn)實(shí)的智能裝配系統(tǒng)設(shè)計(jì)分析

3.1 智能輔助裝配系統(tǒng)需求分析

目前，大部分裝配工藝說明指導(dǎo)文件仍以紙質(zhì)文件為主，操作人員需要花費(fèi)大量時(shí)間記憶理解，認(rèn)知負(fù)擔(dān)較大，因此智能輔助裝配系統(tǒng)需要結(jié)合增強(qiáng)現(xiàn)實(shí)技術(shù)，以一種更直觀更易于理解的方式展示指導(dǎo)信息，降低操作工人的認(rèn)知負(fù)擔(dān)。盡管AR 可提供虛實(shí)融合的裝配指導(dǎo)，但其虛擬的指導(dǎo)信息如果仍需要由操作者主動(dòng)發(fā)出指令來觸發(fā)，則會(huì)降低完成任務(wù)時(shí)的專注度。因此系統(tǒng)需要結(jié)合已經(jīng)離線建立好的裝配校驗(yàn)信息，在利用機(jī)器視覺識(shí)別技術(shù)正確判斷當(dāng)前裝配操作狀態(tài)和當(dāng)前工步的基礎(chǔ)上，自主決策在虛實(shí)融合場(chǎng)景中應(yīng)該顯示的裝配指導(dǎo)信息并進(jìn)行信息自動(dòng)推送[6]。為輔助裝配系統(tǒng)添加虛實(shí)融合顯示的引導(dǎo)信息是一個(gè)重復(fù)且耗時(shí)的工作，因此系統(tǒng)需要利用已有的設(shè)計(jì)文檔以及三維模型等裝配信息源，這樣既能復(fù)用設(shè)計(jì)知識(shí)更好地指導(dǎo)裝配，又能將信息與系統(tǒng)松耦合實(shí)現(xiàn)快速開發(fā)。在裝配過程中，在眾多相似的零件中查找當(dāng)前所需的正確零件是一個(gè)關(guān)鍵且易錯(cuò)的步驟，因此系統(tǒng)也應(yīng)對(duì)此進(jìn)行輔助，應(yīng)能夠利用機(jī)器視覺技術(shù)提取零件的關(guān)鍵點(diǎn)并與該裝配步驟的正確零件的模型進(jìn)行對(duì)比，實(shí)現(xiàn)零件的輔助查找。裝配質(zhì)量控制是保證復(fù)雜產(chǎn)品最終質(zhì)量的關(guān)鍵步驟，對(duì)裝配操作的紀(jì)錄使得裝配過程可追溯，便于問題的排查，因此系統(tǒng)需要對(duì)關(guān)鍵步驟進(jìn)行記錄存檔。

3.2 智能輔助裝配系統(tǒng)框架

根據(jù)上述對(duì)智能輔助裝配系統(tǒng)的需求分析，提出如圖1 所示的基于增強(qiáng)現(xiàn)實(shí)的智能輔助裝配系統(tǒng)框架，包括面向輔助裝配的多源信息模型和增強(qiáng)現(xiàn)實(shí)智能輔助裝配模塊。面向輔助裝配的多源信息快速建模模塊對(duì)現(xiàn)有的CAD 系統(tǒng)、裝配工藝設(shè)計(jì)系統(tǒng)、產(chǎn)品設(shè)計(jì)系統(tǒng)等進(jìn)行二次開發(fā)和處理，從中獲取并利用已有的產(chǎn)品裝配信息，并分為引導(dǎo)信息和校驗(yàn)信息，為后續(xù)的AR 輔助裝配系統(tǒng)提供數(shù)據(jù)支撐。增強(qiáng)現(xiàn)實(shí)智能輔助裝配模塊包含了指導(dǎo)信息自動(dòng)推送、裝配零件輔助查找、通過手勢(shì)語音交互、檢驗(yàn)點(diǎn)存檔可追溯等功能?？傮w而言，智能輔助裝配系統(tǒng)需要能夠?qū)碜圆煌畔⒃吹难b配信息進(jìn)行組織與管理，還需要具備裝配步驟自動(dòng)識(shí)別、裝配零件識(shí)別輔助查找功能以及關(guān)鍵步驟自動(dòng)保存圖像等功能。

圖1 基于增強(qiáng)現(xiàn)實(shí)的智能輔助裝配系統(tǒng)框架

3.3 多源信息組織與管理

面對(duì)復(fù)雜產(chǎn)品繁多的裝配步驟，每個(gè)步驟又有各自復(fù)雜多樣的信息，如果依賴人工手動(dòng)地為系統(tǒng)重新制定引導(dǎo)信息，將會(huì)是一件耗時(shí)耗力的事情，且容易造成疏漏或錯(cuò)誤。當(dāng)前CAD 系統(tǒng)、PLM 系統(tǒng)以及CAPP 系統(tǒng)等都已經(jīng)被廣泛使用，積累了大量的裝配數(shù)據(jù)，為增強(qiáng)現(xiàn)實(shí)輔助裝配系統(tǒng)提供了強(qiáng)有力的數(shù)據(jù)基礎(chǔ)。對(duì)現(xiàn)有的多源裝配信息數(shù)據(jù)源進(jìn)行組織與管理并加以利用，快速構(gòu)建起裝配信息模型供輔助裝配系統(tǒng)調(diào)用，這不僅能夠讓用戶獲得更全面的引導(dǎo)信息，同時(shí)也能夠?qū)⑿畔⑴c系統(tǒng)耦合。為新產(chǎn)品開發(fā)系統(tǒng)時(shí)只需將信息模型進(jìn)行替換即可，大大縮短系統(tǒng)的開發(fā)周期，更敏捷地針對(duì)不同產(chǎn)品進(jìn)行開發(fā)。

增強(qiáng)現(xiàn)實(shí)輔助裝配系統(tǒng)無論是虛實(shí)融合場(chǎng)景中引導(dǎo)信息的顯示還是裝配工步的判斷、裝配狀態(tài)的檢測(cè)都需要結(jié)合裝配信息模型。對(duì)來自不同信息源的裝配信息進(jìn)行組織與管理，構(gòu)建裝配信息模型，能夠?yàn)檩o助裝配系統(tǒng)提供數(shù)據(jù)準(zhǔn)備與支撐，縮短輔助信息生成時(shí)間，提高用戶體驗(yàn)[7]。在為輔助裝配系統(tǒng)制定引導(dǎo)信息時(shí)需要考慮剛性需求原則[8]，既要避免引導(dǎo)信息過于簡略導(dǎo)致遺漏細(xì)節(jié)，又要避免引導(dǎo)信息冗余遮擋操作者視野。在對(duì)輔助裝配系統(tǒng)的功能與操作者的需求進(jìn)行分析的基礎(chǔ)上，對(duì)引導(dǎo)信息進(jìn)行篩選與分類，可以將引導(dǎo)信息分為幾何信息和文本信息。

3.4 裝配步驟自動(dòng)識(shí)別

目前已有的許多增強(qiáng)現(xiàn)實(shí)輔助裝配系統(tǒng)，仍然需要操作人員通過鼠標(biāo)鍵盤或手勢(shì)主動(dòng)觸發(fā)虛擬引導(dǎo)信息，極大地影響了裝配操作的連貫性[9]。為提高增強(qiáng)現(xiàn)實(shí)輔助裝配系統(tǒng)的自動(dòng)化與智能化程度，結(jié)合上述多源信息模型，在計(jì)算機(jī)視覺識(shí)別現(xiàn)場(chǎng)環(huán)境的基礎(chǔ)上，采用圖像特征點(diǎn)匹配的方法判斷當(dāng)前裝配操作所屬的裝配工步。首先，裝配校驗(yàn)信息模型中已經(jīng)存儲(chǔ)了樣機(jī)試裝時(shí)的各個(gè)工步的標(biāo)準(zhǔn)圖像，并對(duì)圖像提取特征點(diǎn)，作為匹配時(shí)的模板圖像。裝配操作進(jìn)行時(shí)，將移動(dòng)端采集的操作現(xiàn)場(chǎng)裝配對(duì)象的圖像進(jìn)行特征點(diǎn)提取，與存儲(chǔ)的各個(gè)工步初始狀態(tài)時(shí)的模板圖像分別進(jìn)行特征點(diǎn)匹配。當(dāng)匹配的特征點(diǎn)個(gè)數(shù)高于設(shè)定閾值且匹配的描述子之間的平均歐式距離小于設(shè)定閾值時(shí)，便可判斷當(dāng)前操作的工步編號(hào)[10]。最后根據(jù)工步編號(hào)在引導(dǎo)信息的數(shù)據(jù)庫中進(jìn)行數(shù)據(jù)檢索，得到當(dāng)前工步下所對(duì)應(yīng)的裝配輔助信息，將它推送顯示在移動(dòng)端的虛實(shí)融合界面上。

3.5 裝配零件識(shí)別輔助查找

裝配過程中會(huì)遇到零件相似度高，難以在眾多零件中選取當(dāng)前所需的正確零件的問題，系統(tǒng)應(yīng)能夠利用計(jì)算機(jī)視覺技術(shù)提取零件圖像的特征點(diǎn)并與正確的模板圖像進(jìn)行對(duì)比，實(shí)現(xiàn)零件的輔助查找。首先需要利用上述裝配工步判斷過程取得的工步編號(hào)，檢索當(dāng)前工步對(duì)應(yīng)的零件模型，作為匹配模板。輔助零件查找時(shí)，對(duì)實(shí)際裝配過程中移動(dòng)端采集的各個(gè)零件的圖像進(jìn)行圖像處理和特征點(diǎn)提取，與存儲(chǔ)的正確零件的模板圖像進(jìn)行對(duì)比匹配，對(duì)正確的零件進(jìn)行提示。

3.6 關(guān)鍵步驟自動(dòng)保存圖像

實(shí)際操作過程中，一些關(guān)鍵操作步驟往往決定了產(chǎn)品裝配的質(zhì)量，如果能夠?qū)﹃P(guān)鍵步驟進(jìn)行記錄，當(dāng)發(fā)現(xiàn)產(chǎn)品質(zhì)量問題時(shí)，便能進(jìn)行裝配步驟的回溯，及時(shí)找到操作失誤的步驟。在進(jìn)行裝配信息建模時(shí)便設(shè)定哪些工步為關(guān)鍵工步，當(dāng)裝配進(jìn)行到關(guān)鍵工步且操作狀態(tài)為完成時(shí)，系統(tǒng)將自動(dòng)進(jìn)行操作環(huán)境的截圖，將場(chǎng)景自動(dòng)保存并存儲(chǔ)到結(jié)構(gòu)化的信息模型數(shù)據(jù)庫中，以便質(zhì)量回溯。

4 智能輔助裝配系統(tǒng)開發(fā)與技術(shù)驗(yàn)證

為了使系統(tǒng)更具通用性，采用電腦主板這一典型手工裝配電子產(chǎn)品作為裝配對(duì)象，進(jìn)行增強(qiáng)現(xiàn)實(shí)智能輔助裝配原型系統(tǒng)開發(fā)與技術(shù)驗(yàn)證。

4.1 系統(tǒng)開發(fā)思路與開發(fā)環(huán)境

電腦主板一般需要安裝四個(gè)通用硬件組件：內(nèi)存條、CPU 處理器、北橋散熱器和CPU 散熱器?？紤]到裝配引導(dǎo)信息與校驗(yàn)信息調(diào)用的問題，將構(gòu)建的面向輔助裝配的多源信息模型與系統(tǒng)相結(jié)合，同時(shí)考慮到依據(jù)裝配狀態(tài)進(jìn)行增強(qiáng)現(xiàn)實(shí)引導(dǎo)信息主動(dòng)推送的需求，將提出的裝配步驟檢測(cè)方法嵌入系統(tǒng)，并為系統(tǒng)添加零件查找、關(guān)鍵步驟自動(dòng)記錄的功能。系統(tǒng)采用模塊化的設(shè)計(jì)思想，信息模型與移動(dòng)端的輔助裝配系統(tǒng)相對(duì)獨(dú)立，面對(duì)新產(chǎn)品時(shí)能夠?qū)崿F(xiàn)敏捷開發(fā)，具有一定的靈活性。此次軟件開發(fā)基于Windows10 操作系統(tǒng)，移動(dòng)端輔助裝配系統(tǒng)選用Unity3D 作為開發(fā)平臺(tái)，使用 Visual Studio 編寫C#程序腳本，網(wǎng)頁端裝配引導(dǎo)信息管理系統(tǒng)基于Django 框架，且應(yīng)用MySQL 數(shù)據(jù)庫。

4.2 智能輔助裝配系統(tǒng)驗(yàn)證

為了對(duì)所開發(fā)的系統(tǒng)進(jìn)行驗(yàn)證，首先根據(jù)所提出的信息模型構(gòu)建方法，針對(duì)要進(jìn)行裝配的電腦主板構(gòu)建信息模型。隨后讓操作者手持移動(dòng)端設(shè)備，對(duì)準(zhǔn)待裝配的主板，觀看虛實(shí)融合的裝配引導(dǎo)情景，如圖2 所示。移動(dòng)端的功能菜單主要分為裝配指導(dǎo)模塊和裝配輔助模塊，裝配指導(dǎo)模塊包含實(shí)時(shí)裝配指導(dǎo)、裝配零件查找、裝配視頻查看這三個(gè)實(shí)現(xiàn)輔助裝配的主要功能。點(diǎn)擊進(jìn)入實(shí)時(shí)裝配指導(dǎo)功能，對(duì)準(zhǔn)待裝配主板，此時(shí)手機(jī)端的頁面如圖3所示。固定在屏幕上方的提示文本信息，包括當(dāng)前操作步驟、操作注意事項(xiàng)等，這些文本信息與網(wǎng)頁端生成的信息相同，且能在網(wǎng)頁端輕松進(jìn)行修改。同時(shí)，在零件的正確裝配位置，將會(huì)出現(xiàn)透明度變化的零件模型進(jìn)行提示安裝位置，如果需要更加詳細(xì)的指導(dǎo)，點(diǎn)擊裝配指導(dǎo)按鈕，將會(huì)出現(xiàn)動(dòng)畫提示具體裝配動(dòng)作。進(jìn)入裝配零件查找模塊，對(duì)準(zhǔn)產(chǎn)品的零件，如果該零件為當(dāng)前步驟所需的零件，則會(huì)出現(xiàn)綠色的對(duì)勾進(jìn)行提示，零件選擇錯(cuò)誤則會(huì)出現(xiàn)紅色的錯(cuò)誤符號(hào)。裝配輔助模塊提供零件模型、產(chǎn)品模型、工裝信息的查看功能。點(diǎn)擊屏幕左下角的操作記錄按鈕，系統(tǒng)將對(duì)當(dāng)前的操作界面進(jìn)行截圖保存，對(duì)關(guān)鍵操作步驟進(jìn)行記錄，以供進(jìn)一步的裝配正確性檢測(cè)以及發(fā)現(xiàn)問題之后的操作過程回溯。

圖2 輔助裝配過程

圖3 移動(dòng)端界面實(shí)時(shí)裝配指導(dǎo)

在移動(dòng)端增強(qiáng)現(xiàn)實(shí)系統(tǒng)的輔助下，信息直觀地呈現(xiàn)在裝配操作人員眼前，避免了操作過程的打斷，節(jié)省了查看操作手冊(cè)的時(shí)間，在實(shí)際生產(chǎn)的過程中可以大大提高裝配效率。此外，操作人員可直接找準(zhǔn)裝配位置與裝配零件，輕松了解到各個(gè)步驟的操作規(guī)范，因此該系統(tǒng)也可以提高裝配的正確率。

5 結(jié)語

文章對(duì)復(fù)雜產(chǎn)品的裝配過程進(jìn)行研究，利用增強(qiáng)現(xiàn)實(shí)技術(shù)對(duì)裝配過程進(jìn)行輔助，開發(fā)了一個(gè)智能輔助裝配系統(tǒng)并基于電腦主板裝配過程對(duì)原型系統(tǒng)的功能進(jìn)行驗(yàn)證。為了利用已有的傳統(tǒng)工業(yè)裝配信息源且較大程度地復(fù)用輔助裝配系統(tǒng)，將系統(tǒng)與信息源進(jìn)行松耦合設(shè)計(jì)，研究多源裝配引導(dǎo)信息快速建模方法。開發(fā)的智能輔助裝配系統(tǒng)具備引導(dǎo)信息自動(dòng)推送的功能，提高了操作過程的連貫性，同時(shí)還具備裝配零件識(shí)別查找及關(guān)鍵步驟自動(dòng)保存圖像的功能。與紙質(zhì)工藝指導(dǎo)文件、電子工藝說明書、虛擬現(xiàn)實(shí)指導(dǎo)等輔助裝配方法相比，基于增強(qiáng)現(xiàn)實(shí)的智能輔助裝配系統(tǒng)提高了復(fù)雜產(chǎn)品的裝配效率及正確率，為人工裝配的數(shù)字化、規(guī)范化提供了思路與方法。