增強(qiáng)現(xiàn)實(shí)拆裝徒手交互系統(tǒng)

梁劍斌，曾秋瑋，周志豪

（廣東工業(yè)大學(xué)機(jī)電工程學(xué)院，廣州 510006）

0 引言

裝配是指按照設(shè)計(jì)要求實(shí)現(xiàn)零件或部件的連接，把零件或部件組合成產(chǎn)品。隨著生產(chǎn)線(xiàn)自動(dòng)化技術(shù)的快速發(fā)展，自動(dòng)化裝配已是裝配行業(yè)的主流技術(shù)。但在機(jī)械行業(yè)中，大量機(jī)器維修仍需要人工裝配技術(shù)。因此，提高人工機(jī)械裝配的效率能有效提高機(jī)械行業(yè)的運(yùn)作效率。對(duì)于人工機(jī)械裝配技術(shù)，有3個(gè)方面可以提升工作效率：①讓操作者在實(shí)際操作前閱讀并記憶大量的技術(shù)文檔。②讓操作者在實(shí)訓(xùn)平臺(tái)訓(xùn)練實(shí)施整個(gè)裝配工序。③有經(jīng)驗(yàn)的操作者協(xié)助工藝設(shè)計(jì)者改進(jìn)裝配工序。這都需要付出大量的時(shí)間和物料以供試錯(cuò)。

增強(qiáng)現(xiàn)實(shí)（augmented reality，AR）是一種將虛擬信息無(wú)縫疊加在真實(shí)場(chǎng)景圖像的技術(shù)。使用AR技術(shù)輔助人工機(jī)械裝配，可提升操作者工作效率，具體體現(xiàn)在以下3方面：①AR可以讓操作者在實(shí)際操作中更直觀和便捷地獲取工藝信息，減少操作者的記憶負(fù)擔(dān)；②AR可以實(shí)現(xiàn)高逼真度的虛擬裝配培訓(xùn)，減低培訓(xùn)成本；③高逼真的虛擬裝配培訓(xùn)也可用于裝配效率評(píng)估，從而提升裝配工藝水平。

對(duì)于增強(qiáng)現(xiàn)實(shí)裝配輔助技術(shù)（augmented reali?ty assembly supporting，ARAS），研究大多集中于增強(qiáng)圖像顯示效果的提升與系統(tǒng)集成，對(duì)人機(jī)交互的關(guān)注較少。人機(jī)交互方式是影響應(yīng)用工作效率的重要因素，良好的人家交互能讓操作者獲得更好的反饋和使用沉浸感。現(xiàn)有的ARAS交互技術(shù)更多的作用是實(shí)現(xiàn)系統(tǒng)功能與拆裝流程的漫游，對(duì)具體操作的虛擬仿真較少。

傳統(tǒng)的ARAS交互大多需要操作者手持標(biāo)識(shí)物或穿戴設(shè)備以得到穩(wěn)定的交互體驗(yàn)，但是這些AR交互裝置存在2個(gè)缺點(diǎn)：①真實(shí)裝配環(huán)境并不需要AR交互裝置即可進(jìn)行裝配，過(guò)多的額外裝置會(huì)破壞體驗(yàn)的沉浸感；②AR交互裝置的握持或佩戴都會(huì)增加裝配工藝流程的復(fù)雜度。為了解決以上問(wèn)題，研究者把手勢(shì)或體感交互引入ARAS以減少使用AR交互裝置。手勢(shì)和體感交互是用戶(hù)通過(guò)手部或肢體動(dòng)作與系統(tǒng)互動(dòng)的交互技術(shù)［1］，在現(xiàn)有的ARAS交互研究中，研究者利用該技術(shù)可實(shí)現(xiàn)裝配操作［3］、系統(tǒng)功能漫游［4］、裝配流程瀏覽［5］和高擬真度抓取［6］等應(yīng)用。但現(xiàn)有的應(yīng)用大多采用通用化手勢(shì)，對(duì)裝配操作狀態(tài)缺乏反饋，不利于提升交互的沉浸感。

針對(duì)以上問(wèn)題，本文從機(jī)械裝配操作實(shí)際需求出發(fā)，提出了一個(gè)AR拆裝徒手交互系統(tǒng)并對(duì)系統(tǒng)各個(gè)組成部分進(jìn)行闡述。該系統(tǒng)讓操作者在一個(gè)虛實(shí)融合的交互環(huán)境下，按照工藝規(guī)范執(zhí)行虛擬裝配操作。最后設(shè)計(jì)了應(yīng)用實(shí)例，通過(guò)實(shí)驗(yàn)，對(duì)AR拆裝徒手交互系統(tǒng)的可行性進(jìn)行了驗(yàn)證。

1 增強(qiáng)現(xiàn)實(shí)拆裝徒手交互系統(tǒng)

1.1 系統(tǒng)框架

AR拆裝徒手交互系統(tǒng)的體系結(jié)構(gòu)如圖1所示。該系統(tǒng)包括硬件層、輸入輸出層、交互功能層和離線(xiàn)數(shù)據(jù)層。

圖1 AR拆裝徒手交互系統(tǒng)框架

從圖中可以看到每個(gè)層之間交換的數(shù)據(jù)流。用戶(hù)的動(dòng)作首先被深度相機(jī)采集并輸出為深度圖和彩色圖；手部分割模塊從深度圖中分割并提取手部信息，其中包括手掌掌心三維位置、手部深度圖像、手部靜止?fàn)顟B(tài)；操作感知模塊在手部信息和工藝信息的基礎(chǔ)上，計(jì)算當(dāng)前操作狀態(tài)信息，其中包括操作進(jìn)度、完成狀態(tài)和虛擬物件姿態(tài)；操作反饋模塊首先利用手部深度圖像生成手部表面曲面，另外將操作狀態(tài)信息轉(zhuǎn)換為可視化視覺(jué)元素；三維渲染模塊則根據(jù)其他模塊生成的虛擬物件姿態(tài)、操作視覺(jué)反饋信息和手部表面曲面生成虛實(shí)融合圖像，并傳輸?shù)斤@示器呈現(xiàn)。

1.2 交互硬件層

硬件層的作用是提供與操作者對(duì)接的人機(jī)交互界面，主要的硬件包括深度相機(jī)和顯示器。深度相機(jī)的作用是采集整個(gè)交互場(chǎng)景的彩色圖和深度圖。顯示器的作用是呈現(xiàn)最終的AR畫(huà)面。整個(gè)硬件層可以看作是一個(gè)AR交互場(chǎng)景，場(chǎng)景內(nèi)各硬件的擺放如圖2所示。

圖2 AR拆裝徒手交場(chǎng)景設(shè)計(jì)

場(chǎng)景在離地面2.4 m處架設(shè)深度攝像頭，從俯視的視角采集整個(gè)場(chǎng)景的深度圖像。在操作者面前架設(shè)了顯示屏，用于呈現(xiàn)AR圖像。本文使用KinectV2作為具體的深度攝像頭型號(hào)，KinectV2可以同時(shí)提供深度圖像和彩色圖像，本文研究的交互模型使用深度圖像作為數(shù)據(jù)源。受制于深度攝像頭的采集范圍，該場(chǎng)景的交互空間呈四角錐臺(tái)形狀，頂面離攝像頭0.5 m，底面離攝像頭2.4 m，相對(duì)的兩組斜面夾角分別為70°和60°。

1.3 輸入輸出層

輸入輸出層的作用是預(yù)處理采集數(shù)據(jù)，并輸出最終的AR圖像，該層包括手部分割模塊和三維渲染模塊。

手部分割模塊的功能是使用圖像處理技術(shù)從場(chǎng)景深度圖中提取手部信息。模塊的工作主要分為3個(gè)步驟：①使用固定閾值法從深度圖中提取操作者區(qū)域，利用寬度特征提取手部區(qū)域，根據(jù)各個(gè)手部區(qū)域與軀干之間位置關(guān)系識(shí)別左右手區(qū)域，求出手部區(qū)域?qū)?yīng)的深度圖區(qū)域；②提出基于大窗口高斯模糊的掌心位置迭代算法，將單個(gè)手部區(qū)域劃分為手掌、手指和手臂三個(gè)區(qū)域，并求出掌心三維坐標(biāo)；③提出基于面積變化的識(shí)別算法，求出手部靜止?fàn)顟B(tài)。圖3展示了手部分割模塊的工作流程。

圖3 手部分割模塊處理流程

三維渲染模塊的作用是輸出AR圖像，其工作原理是三維引擎基礎(chǔ)上，根據(jù)交互功能層輸出的結(jié)果調(diào)整或生成三維物體，并把場(chǎng)景彩色圖應(yīng)用到場(chǎng)景背景和手部表面模型中。圖4展示模塊輸出的虛實(shí)融合畫(huà)面。

圖4 手部分割模塊處理流程

1.4 交互功能層

交互功能層的作用是在收集到的手部信息和工藝信息的基礎(chǔ)上，感知操作者的裝配操作并生成反饋。該層是整個(gè)原型系統(tǒng)的核心區(qū)域，包括操作感知模塊和操作反饋模塊。

操作感知模塊根據(jù)當(dāng)前的工藝步驟采取對(duì)應(yīng)的感知策略，并輸出當(dāng)前操作的虛擬零部件或工具實(shí)時(shí)位姿和操作進(jìn)度。模型主要分為三個(gè)部分：①虛擬物體抓取模塊，根據(jù)手部靜止?fàn)顟B(tài)的變化和手部與抓取點(diǎn)之間的位置關(guān)系，識(shí)別虛擬物體是否被抓?。虎谘b配操作感知模塊，根據(jù)工藝信息與虛擬零部件或工具的運(yùn)動(dòng)，識(shí)別當(dāng)前操作進(jìn)度；③虛擬物體位姿變換模塊，根據(jù)工藝要求，將手部運(yùn)動(dòng)轉(zhuǎn)換為虛擬零部件或工具的位姿變換。

操作反饋模塊主要有兩個(gè)功能：①將手部深度圖像轉(zhuǎn)化為包含材質(zhì)坐標(biāo)信息的手部表面模型；②基于有限狀態(tài)機(jī)理論，根據(jù)手部信息、工藝信息與操作狀態(tài)信息輸出視覺(jué)反饋信息。操作反饋模塊的輸出結(jié)果如圖5所示。

圖5 手部分割模塊處理流程

1.5 離線(xiàn)數(shù)據(jù)層

離線(xiàn)數(shù)據(jù)層的作用是儲(chǔ)存裝配相關(guān)的信息與CAD。該層儲(chǔ)存的內(nèi)容包括：虛擬零部件和工具的CAD模型、虛擬零部件信息、虛擬工具信息和工藝信息。其中，虛擬零部件信息的生成是根據(jù)工藝文檔和真實(shí)零部件的操作特性放置抓取點(diǎn)；虛擬工具的生成是根據(jù)工藝文檔和真實(shí)工具的操作特性放置抓取點(diǎn)和旋轉(zhuǎn)軸；工藝信息的生成是根據(jù)工藝文檔選取需要被操作的虛擬零部件或工具，并從工藝文檔中提煉工藝參數(shù)，最后對(duì)所有數(shù)據(jù)進(jìn)行封包。

2 系統(tǒng)實(shí)現(xiàn)與應(yīng)用

2.1 系統(tǒng)軟硬件環(huán)境

增強(qiáng)現(xiàn)實(shí)拆裝徒手交互原型系統(tǒng)使用x86型計(jì)算機(jī)作為數(shù)據(jù)處理平臺(tái)。計(jì)算機(jī)具有以下配置：CPU為英特爾酷睿i5-8250U，主頻1.6 GHz；運(yùn)行內(nèi)存8 GB；顯卡為英偉達(dá)MX150，顯存容量為4 GB。使用KinectV2采集場(chǎng)景的深度圖和彩色圖，其中彩色圖分辨率為1920×1080，幀率為30fps；深度圖分辨率為512×424，幀率為30 fps。

軟件系統(tǒng)采用Windows 10平臺(tái)，使用Visual Studio 2017編輯和編譯代碼，使用Unity 2018建立和渲染三維場(chǎng)景。在此基礎(chǔ)上，使用Kinect SDK 2.0采集彩色圖和深度圖，使用OpenCV 2.4.10進(jìn)行圖像處理。

為了加快圖像數(shù)據(jù)的處理速度，基于OpenCV和KinectSDK的開(kāi)發(fā)都使用本地C++語(yǔ)言。而基于Unity的三維渲染與圖像呈現(xiàn)是使用C#語(yǔ)言開(kāi)發(fā)。開(kāi)發(fā)的語(yǔ)言的不同造成數(shù)據(jù)不能直接共享，因此本文建立一套基于動(dòng)態(tài)鏈接庫(kù)（dy?namic-link library，DLL）的內(nèi)存共享機(jī)制，如圖6所示。在系統(tǒng)初始化階段，由C#申請(qǐng)需要共享的內(nèi)存塊。在實(shí)時(shí)運(yùn)行中，KinectSDK的作用是從Kinect采集彩色圖和深度圖，深度圖在C++內(nèi)部傳輸?shù)交贠penCV的圖像處理模塊，并把彩色圖寫(xiě)入共享內(nèi)存塊。OpenCV圖像處理模塊的作用是從深度圖提取手部信息并寫(xiě)入共享內(nèi)存塊。Unity3D則從共享內(nèi)存塊中讀取所需的數(shù)據(jù)進(jìn)行后續(xù)處理。

圖6 內(nèi)存共享機(jī)制流程

2.2 應(yīng)用案例

本文通過(guò)汽車(chē)發(fā)動(dòng)機(jī)的應(yīng)用案例來(lái)驗(yàn)證原型系統(tǒng)以及系統(tǒng)中所采用的交互技術(shù)的使用情況。汽車(chē)發(fā)動(dòng)機(jī)裝配流程總結(jié)為34個(gè)步驟，大多數(shù)為零部件安置與螺紋連接操作。

在系統(tǒng)初始化之后，待操作的物件（虛擬零部件或工具）會(huì)呈現(xiàn)在屏幕右側(cè)，等待操作者抓取。操作者抓取物件后根據(jù)操作狀態(tài)進(jìn)行虛擬裝配操作。操作完成后，系統(tǒng)自動(dòng)呈現(xiàn)下一步需要操作的物件，循環(huán)直至裝配全部完成。圖7展示部分運(yùn)行效果圖。

圖7 運(yùn)行效果圖

3 結(jié)語(yǔ)

針對(duì)ARAS交互技術(shù)對(duì)裝配操作狀態(tài)反饋不充分的問(wèn)題，本文提出了本文給出了增強(qiáng)現(xiàn)實(shí)拆裝徒手交互系統(tǒng)。系統(tǒng)包含了4個(gè)層次和4個(gè)核心模塊，本文對(duì)每個(gè)層次和模塊的作用都進(jìn)行了詳細(xì)闡述。最后設(shè)計(jì)了一個(gè)汽車(chē)發(fā)動(dòng)機(jī)拆裝案例驗(yàn)證了系統(tǒng)的可行性。