面向智能制造的在線通用虛擬裝配系統(tǒng)

毛 玲，張靈維，章栩苓，魏士松，2，周正東

1.南京航空航天大學 機械結(jié)構(gòu)力學及控制國家重點實驗室，南京 210016

2.上海航天精密機械研究所，上海 201600

在工業(yè)制造行業(yè)，產(chǎn)品設(shè)計過程中往往不可避免因人為失誤而導致的設(shè)計缺陷，所以，在投入生產(chǎn)前需對產(chǎn)品結(jié)構(gòu)合理性和可裝配性進行檢測[1-2]，以免零件制作完成后進行組裝時出現(xiàn)結(jié)構(gòu)不合理、裝配干涉等問題[3-5]，增加不必要的材料和人力浪費，延長產(chǎn)品制造周期[6-7]。對于簡單小巧的機械產(chǎn)品可直接進行樣品檢測，而對于航空航天裝備，大型船舶等復(fù)雜精密機械產(chǎn)品[8-9]，其零件數(shù)量眾多，材料成本高昂，需運用裝配仿真技術(shù)降低產(chǎn)品設(shè)計缺陷的風險[10-11]。國內(nèi)，文獻[12]針對斷路器裝配過程繁瑣、邏輯結(jié)構(gòu)復(fù)雜的情況，提出一種基于時間Petri網(wǎng)建模的虛擬仿真技術(shù)。文獻[13]針對大型船舶中管路系統(tǒng)復(fù)雜易導致產(chǎn)品返工的問題，提出對動力艙管路系統(tǒng)進行虛擬裝配仿真設(shè)計。國外，文獻[14]提出一種針對渦輪發(fā)動機的半沉浸式虛擬裝配系統(tǒng)，并對渦輪發(fā)動機的虛擬原型和組裝順序進行了測試，驗證了其對裝配設(shè)計，零件設(shè)計和操作計劃的有效性。以上三種虛擬裝配系統(tǒng)皆是針對特定模型設(shè)計的虛擬裝配方法，無法任意更換模型，不具有通用性。文獻[15]遵循“可拆即可裝”的路徑反演原則，將裝配體路徑規(guī)劃問題轉(zhuǎn)化為拆卸路徑優(yōu)化問題，提出了一種基于人機交互的改進A-Star（A*）算法多層次裝配路徑規(guī)劃方法。該方法要求操作者手動完成模型拆解，易導致重復(fù)作業(yè)，效率較低，不能很好地適應(yīng)復(fù)雜裝配體設(shè)計初期需不斷調(diào)整試錯的需求。

大型機械裝備通常由多個設(shè)計師協(xié)同完成設(shè)計[16]，而異地設(shè)計師之間僅利用語言描述與靜態(tài)三維展示不能直觀地剖析產(chǎn)品的結(jié)構(gòu)設(shè)計和裝配流程，影響了設(shè)計師之間的技術(shù)交流與設(shè)計交互，極大地阻礙了產(chǎn)品設(shè)計效率[17]。國內(nèi)，在基于Web端實現(xiàn)技術(shù)人員協(xié)同工作方面已取得一定進展[18]。文獻[19]提出一種基于Web技術(shù)農(nóng)機零部件三維建模網(wǎng)絡(luò)數(shù)據(jù)庫系統(tǒng)，該系統(tǒng)將產(chǎn)品模型參數(shù)、設(shè)計流程及裝配視頻存儲于數(shù)據(jù)庫中，用戶在瀏覽器端調(diào)用數(shù)據(jù)庫數(shù)據(jù)進行查看瀏覽。該方法雖然支持遠程展示，但是缺乏人機主動交互，不能滿足協(xié)同設(shè)計的需求，且產(chǎn)品參數(shù)，裝配視頻需事先錄制存儲于數(shù)據(jù)庫中，過程繁瑣，效率較低。

本文提出一種面向智能制造領(lǐng)域的在線通用虛擬裝配系統(tǒng)。該系統(tǒng)支持自定義三維模型數(shù)據(jù)，結(jié)合裝配管理數(shù)據(jù)庫實現(xiàn)對多層次的復(fù)雜模型進行可視化裝配序列設(shè)計，能夠滿足用戶個性化需求，同時模型數(shù)據(jù)保存在本地，可有效防止數(shù)據(jù)泄露，安全性高。該系統(tǒng)運用云服務(wù)器的高計算性能和渲染性能改善人機交互延遲的問題，通過網(wǎng)絡(luò)實現(xiàn)在線交互體驗，促進設(shè)計人員之間的信息共享，滿足協(xié)同設(shè)計的迫切需求，具有通用性強、效率高、靈活性強的特點。

1 材料與方法

1.1 系統(tǒng)架構(gòu)

系統(tǒng)采用B/S（瀏覽器/服務(wù)器）架構(gòu)設(shè)計，分為用戶層、界面層、功能層和數(shù)據(jù)層，如圖1所示。用戶層：包括普通用戶和管理用戶，普通用戶在網(wǎng)站前端完成注冊登錄后可體驗網(wǎng)站服務(wù)和虛擬裝配應(yīng)用服務(wù)。管理用戶登錄網(wǎng)站后端對網(wǎng)站前端進行日常維護管理。界面層：包括網(wǎng)站前端界面和網(wǎng)站后端界面，網(wǎng)站前端界面面向普通用戶，網(wǎng)站后端界面面向管理用戶開放。功能層：系統(tǒng)功能模塊包括網(wǎng)站服務(wù)、虛擬裝配應(yīng)用和管理服務(wù)。網(wǎng)站服務(wù)模塊用于接收用戶在客戶端上傳的裝配數(shù)據(jù)表與用戶信息并存儲于數(shù)據(jù)庫。虛擬裝配應(yīng)用用于提供在線虛擬裝配服務(wù)，用戶可自主上傳裝配模型并匹配數(shù)據(jù)庫中對應(yīng)的裝配數(shù)據(jù)表。管理模塊用于對網(wǎng)站進行管理、維護及數(shù)據(jù)存儲查看。數(shù)據(jù)層：包括網(wǎng)站數(shù)據(jù)庫和應(yīng)用數(shù)據(jù)庫。網(wǎng)站數(shù)據(jù)庫以表格的形式存儲用戶的個人信息和日志。應(yīng)用數(shù)據(jù)庫用于存儲用戶上傳的裝配數(shù)據(jù)表。

圖1 系統(tǒng)架構(gòu)圖Fig.1 System architecture diagram

1.2 網(wǎng)站設(shè)計

1.2.1 網(wǎng)站前端

網(wǎng)站前端采用Layui開源框架，這款UI框架，支持HTML、CSS及JavaScript等網(wǎng)站開發(fā)技術(shù)，能夠滿足用戶在客戶端傳輸文件至云端的需求。網(wǎng)站包括首頁、項目介紹、團隊介紹、服務(wù)中心與個人中心五個模塊。首頁運用圖片與文字結(jié)合的方式介紹項目的研發(fā)背景，同時提供用戶注冊登錄的功能，用戶以手機驗證碼驗證的方式進行注冊，完成注冊后需等待后臺管理人員審核開放相應(yīng)權(quán)限。用戶分為普通用戶和會員用戶，其中，服務(wù)中心模塊只對會員用戶開放。項目介紹模塊用于對項目的主要內(nèi)容、功能以及優(yōu)勢進行展示。團隊介紹模塊用于介紹本項目團隊成員的個人信息、成果榮譽以及在項目中擔任的主要工作。服務(wù)中心模塊是網(wǎng)站的核心模塊，用于提供用戶在線服務(wù)體驗，虛擬裝配應(yīng)用的訪問鏈接部署于此模塊，該模塊還支持文件傳輸，可用于裝配數(shù)據(jù)表的上傳。個人中心模塊用于提供用戶個人信息編輯、密碼修改以及查看上傳文件的歷史記錄。

1.2.2 網(wǎng)站后端

網(wǎng)站后端采用RuoYi開源框架，這是一款基于SpringBoot+Vue的后端開發(fā)框架。界面簡單，功能齊全，能夠滿足對網(wǎng)站前端的日常維護需求。網(wǎng)站后端主要功能為對網(wǎng)站前端進行管理、更新以及數(shù)據(jù)存儲查看。網(wǎng)站管理包括對用戶注冊信息進行審核，開放或禁用相應(yīng)權(quán)限。網(wǎng)站更新包括對網(wǎng)站首頁、項目介紹模塊、團隊介紹模塊中的文字內(nèi)容和圖片進行編輯，便于后續(xù)網(wǎng)站服務(wù)拓展。除此之外，后臺還可對用戶上傳文件記錄進行查看，可按照日期對信息進行篩選查找。

1.3 虛擬裝配應(yīng)用設(shè)計

1.3.1 主場景功能設(shè)計

虛擬裝配應(yīng)用基于Unity3D開發(fā)平臺，利用C#編程語言開發(fā)，結(jié)合SQLServer數(shù)據(jù)庫、IIS管理器及WebAPI應(yīng)用程序?qū)崿F(xiàn)從外部可視化定義裝配序列以及在線遠程虛擬裝配。考慮到系統(tǒng)的完整性以及更好的展示性，分別設(shè)計了自由拆解模塊，裝配演示模塊，虛擬裝配模塊，如圖2所示。

圖2 虛擬裝配應(yīng)用主場景Fig.2 Virtual assembly application main scene

1.3.2 自由拆解模塊

自由拆解模塊用于對三維模型進行手動拆解，直觀地展示了模型內(nèi)部結(jié)構(gòu)。該模塊在完成本地模型加載后，遍歷三維模型為零件添加包圍盒便于后續(xù)對零件進行抓取移動。拆解算法實現(xiàn)方法如下：

算法1三維模型拆解算法

輸入：長按左鍵后鼠標的移動位置Mp

輸出：對應(yīng)的零件移動位置P

1.監(jiān)聽鼠標按鍵事件。

2.當鼠標左鍵按下時，獲取鼠標的當前位置，計算其與零件在世界坐標下的相對位置差Op。

3.移動鼠標，通過公式（1）計算此時零件的移動位置P：

4.零件移動至位置P從而實現(xiàn)鼠標拖拽零件移動。

1.3.3 裝配演示模塊

裝配演示模塊用于對三維模型進行自動裝配演示。該模塊在演示前需對三維模型進行隨機拆解，然后再按照裝配序列進行自動裝配。拆解功能實現(xiàn)原理如下：將模型零部件分別向X和Y方向移動Dx和Dy距離，公式如下：

其中，L為零件包圍盒的長度，j為從0開始遞增的角度值。為保證拆解后的零件保持在視口區(qū)域內(nèi)，需對Dx和Dy的最小值及最大值進行限制。通過模型所在視口區(qū)域的四個角坐標得到視口區(qū)域的邊界值，由于零件坐標位于零件中心，所以直接利用邊界值對坐標進行限制可能會出現(xiàn)零件一部分在視口外的情況。最終，零件可移動區(qū)域為視口邊界值減去零件包圍盒長度的一半所得到的區(qū)域，如圖3所示。

圖3 模型移動區(qū)域展示圖Fig.3 Display diagram of model moving area

1.3.4 虛擬裝配模塊

（1）可視化裝配序列設(shè)計

可視化裝配序列設(shè)計基于裝配數(shù)據(jù)表定義裝配序列，數(shù)據(jù)表中的子零件與虛擬裝配應(yīng)用中的模型零件一映射。裝配數(shù)據(jù)表以簡潔明了的設(shè)計方式反映零件（子裝配體）間的裝配序列，通過將多層次的復(fù)雜裝配拆分成多個單層次的簡單子裝配，再按照裝配序列完成每個子裝配，實現(xiàn)對裝配流程的簡化。以表1為例，整個裝配可以拆分成5個子裝配，分別為總裝配體、子裝配體1、子裝配體2、子裝配體3與子裝配體4。以數(shù)據(jù)表中從右往左，自下而上的順序完成所有子裝配從而實現(xiàn)總裝配。其中，每個裝配體中以自上而下的順序定義第一個零件為基準零件。

首先，從數(shù)據(jù)表最右列開始，以自下而上的順序獲得同一裝配體下的子零件并將子零件按序與基準零件裝配合成多零件裝配體。子裝配體4中，子零件11為基準零件，子零件12和子零件11裝配為子裝配體4。子裝配體3中，子零件7為基準零件，子零件10、子零件9、子零件8按裝配順序與子零件7裝配合成子裝配體3。當最右列子零件完成裝配后則向左遞進一列，合成的多零件子裝配體按照裝配規(guī)則以自下而上的順序與其他子零件（子裝配體）完成新的子裝配體，以此順序進行裝配直到總裝配體完成。該裝配序列設(shè)計方法不僅限于表1，可拓展層級和零件數(shù)量。

表1 裝配數(shù)據(jù)表Table 1 Assembly data table

（2）虛擬裝配設(shè)計實現(xiàn)

由于裝配功能依賴基準零件與裝配零件的相對幾何約束關(guān)系來實現(xiàn)，所以在模型隨機拆解前需對模型的相對約束信息進行儲存。相對約束信息包括基準零件信息、裝配零件信息，以及兩者的相對位姿差信息。

算法2相對位姿信息存儲算法

輸入：基準零件位姿信息和裝配零件位姿信息

輸出：兩者的相對位姿差信息

1.獲取基準零件位置三元數(shù)據(jù)P0和角度三元數(shù)據(jù)A0。

2.獲取裝配零件位置三元數(shù)據(jù)P1和角度三元數(shù)據(jù)A1。

3.利用公式（4）和公式（5）計算相對位置差D和相對角度差W。

4.以零件ID為鍵，相對位姿差信息為值存儲在Dictionary字典類中。

Dictionary字典類利用鍵-值對形式實現(xiàn)數(shù)據(jù)的存儲和快速查找，滿足人機交互時實時、高效地調(diào)取裝配數(shù)據(jù)的需求。

零件位姿信息存儲時，基準零件存在兩種表達形式，本文對其進行區(qū)分并分別獲取位姿信息進行存儲。當基準零件為單個的子零件時，直接獲取場景中對應(yīng)零件的位姿三元數(shù)據(jù)。當基準零件為多零件的子裝配體時，將該子裝配體下的基準零件的位姿三元數(shù)據(jù)作為子裝配體的位姿三元數(shù)據(jù)進行存儲。裝配零件亦存在這兩種表達形式，處理方式與基準零件類似。

裝配算法流程如圖4所示，模型輸入后，程序?qū)⒏鶕?jù)模型的IDm查找數(shù)據(jù)庫中對應(yīng)的裝配數(shù)據(jù)表并解析。其中，模型IDm與裝配數(shù)據(jù)表IDE一一對應(yīng)，IDm為三維模型ID，IDE為裝配數(shù)據(jù)表ID。針對復(fù)雜的裝配體，本文將裝配流程簡化為多個有序的子裝配流程。在子裝配流程中，選擇零件（子裝配體）進行移動裝配，當發(fā)生包圍盒碰撞[20]時，通過抓取零件IDg判斷裝配序列是否正確，若正確，則根據(jù)IDg獲得相應(yīng)的幾何約束信息，其中，IDg為抓取零件的ID。此時松開抓取按鈕，零件移動至裝配位置，完成裝配。然后判斷子裝配是否結(jié)束，若未結(jié)束則繼續(xù)選擇零件進行裝配直至子裝配結(jié)束獲得子裝配體。子裝配體將用于下一輪子裝配直至完成總裝配。

圖4 虛擬裝配算法流程圖Fig.4 Flowchart of virtual assembly algorithm

1.4 數(shù)據(jù)庫通信

虛擬裝配應(yīng)用利用中間層WebAPI應(yīng)用程序來實現(xiàn)與數(shù)據(jù)庫的通信。WebAPI應(yīng)用程序部署于IIS服務(wù)器，利用SQL語言根據(jù)裝配數(shù)據(jù)表IDE查找并讀取裝配數(shù)據(jù)信息。該信息被轉(zhuǎn)換為JSON格式并保存在網(wǎng)頁端。虛擬裝配應(yīng)用通過WebRequest網(wǎng)絡(luò)請求方式來滿足Http通信的需求以獲得網(wǎng)頁端的裝配數(shù)據(jù)信息。其中，直接訪問會由于安全策略問題阻止虛擬裝配應(yīng)用的跨域訪問請求，需為提供Web服務(wù)的目錄配置安全策略文件，實現(xiàn)允許外域訪問。網(wǎng)頁端的裝配數(shù)據(jù)信息為JSON格式，應(yīng)用無法直接讀取使用，需對其進行格式解析。SqlDataAdapter作為DataSet和數(shù)據(jù)庫之間的橋接器，通過對數(shù)據(jù)源使用適當?shù)腡ransact-SQL語句映射，可將裝配數(shù)據(jù)信息填充進DataSet中，實現(xiàn)在內(nèi)存中存儲裝配數(shù)據(jù)，便于后續(xù)對模型間的裝配關(guān)系進行讀取。其中，虛擬裝配應(yīng)用通過統(tǒng)一資源定位符（uniform resource locator，URL）對WebAPI應(yīng)用程序傳遞參數(shù)，該參數(shù)作為數(shù)據(jù)表IDE用于查找相應(yīng)的裝配數(shù)據(jù)表。通信流程如圖5所示。

圖5 虛擬裝配應(yīng)用與數(shù)據(jù)庫的通信流程Fig.5 Communication flow between virtual assembly application and database

2 實驗結(jié)果

2.1 系統(tǒng)應(yīng)用實例

本實驗以飛機、航空發(fā)動機、汽車發(fā)動機三種模型為例對系統(tǒng)進行驗證。用戶登錄網(wǎng)站頁面，進入服務(wù)中心模塊進行在線虛擬裝配，如圖6所示。對于首次裝配的模型需上傳裝配數(shù)據(jù)表用于定義裝配序列，數(shù)據(jù)表將保存在云服務(wù)器端的裝配管理數(shù)據(jù)庫中，如圖7所示。后續(xù)對該模型進行裝配時，無需重復(fù)上傳。

圖6 網(wǎng)站展示圖Fig.6 Display diagram of website

圖7 裝配管理數(shù)據(jù)庫展示圖Fig.7 Display diagram of assembly relational database

在虛擬裝配模塊中，點擊“下載模型”按鈕選擇與裝配數(shù)據(jù)表相對應(yīng)的本地模型進行加載，界面如圖8所示。加載完成后點擊“裝配”按鈕，模型將自動拆解，完成拆解后即可進行手動裝配操作，三種模型的裝配界面如圖9所示。移動鼠標抓取零件按照裝配序列完成裝配。實驗結(jié)果表明：用戶可自主上傳裝配模型并自定義裝配序列，在虛擬環(huán)境下能夠完成對三維模型的裝配操作，該系統(tǒng)具有通用性。

圖8 虛擬裝配應(yīng)用加載模型界面Fig.8 Model interface of virtual assembly application loads

圖9 虛擬裝配應(yīng)用裝配界面Fig.9 Assembles interface of virtual assembly application

2.2 交互性能分析

以飛機整機虛擬裝配為例，測試系統(tǒng)在虛擬裝配模塊下進行在線裝配時的交互性能。測試模型為9.2M的飛機三維模型，三角面片數(shù)為257 190個，頂點數(shù)為625 188個。該測試只取鼠標與模型進行裝配交互時間段內(nèi)的幀數(shù)，平均每幀運行間隔時間統(tǒng)計如圖10所示。由圖10可得：在130 s裝配時間中，每幀間隔時間最大為10.9 ms，最小為6.8 ms，平均間隔時間為8.79 ms。人機交互性能良好，畫面流暢自然。

圖10 平均間隔時間統(tǒng)計圖Fig.10 Statistical chart of mean interval time

為了更直觀地展示本文虛擬裝配系統(tǒng)良好的交互性能，選取文獻[9]中的實驗結(jié)果進行對比分析。為保證分析結(jié)果的可靠性和準確性，本文采用文獻[9]中的實驗?zāi)Ｐ筒⑦x取人機交互時間段進行系統(tǒng)測試。

由表2可得，本文虛擬裝配系統(tǒng)每幀間隔時間最大為13.7 ms，平均間隔時間為11.58 ms。與文獻[9]中實驗結(jié)果相比，本文裝配系統(tǒng)人機交互更加流暢。相較文獻[9]測試的普通計算機，本文運用云端的高計算能力對交互性能進行改善，且文獻[9]面向立體交互模式，對性能耗費較大。

表2 交互性能測試結(jié)果Table 2 Test results of interactive performance

3 結(jié)束語

為了降低產(chǎn)品的研發(fā)成本，提高設(shè)計效率，本文基于B/S架構(gòu)設(shè)計，為用戶提供個性化的在線通用虛擬裝配服務(wù)。實驗結(jié)果表明：在三種機械產(chǎn)品模型的檢驗下，在線虛擬裝配系統(tǒng)具有通用性，可滿足不同機械產(chǎn)品的裝配需求，且在人機交互時段中，每幀平均間隔時間為8.79 ms，人機交互自然流暢，體驗效果良好。未來，在現(xiàn)有的基礎(chǔ)上將擴展對虛擬裝配精度檢測的研究，完善和拓展本系統(tǒng)的功能。