基于HoloLens 的多人協(xié)同設(shè)計平臺

龔明東，叢眸，韓睿鵬，羅燁，李玲玲，李沂洋

（長春理工大學計算機科學技術(shù)學院，長春130022）

0 引言

隨著科學技術(shù)的不斷發(fā)展，混合現(xiàn)實技術(shù)得到了廣泛的應用，已經(jīng)深深融入到了制造業(yè)、工商業(yè)、教育業(yè)、醫(yī)學、建筑業(yè)，甚至是軍事中。

HoloLens 是微軟公司開發(fā)的一款Windows 10 的頭戴式混合現(xiàn)實眼鏡，它不僅可以把全息影像顯示在現(xiàn)實場景中，而且還可以完全獨立的使用，相當于一臺小型頭戴式智能電腦，同時還可以追蹤識別用戶的手勢、聲音和凝視等完成具體操作，讓用戶獲得更加真實的沉浸式交互體驗[1-2]。

目前的制造業(yè)的研發(fā)設(shè)計工作較多的還是通過三維的設(shè)計軟件（如C4D、Maya、3DS max 等）和手工制圖完成。而三維的設(shè)計軟件在對所設(shè)計的產(chǎn)品的空間感受方面和對產(chǎn)品的實時交互方面還存在著一些弊端與不便利性。

為了解決普通協(xié)同設(shè)計時對產(chǎn)品的立體把控度不夠?qū)е碌淖罱K產(chǎn)品設(shè)計出來與預期的效果不符等問題。本文采用Unity 開發(fā)了一個基于HoloLens 的多人協(xié)同設(shè)計平臺。

1 開發(fā)實現(xiàn)

1.1 開發(fā)前的準備

（1）3DMax 上制作的素材模型

（2）兩臺HoloLens

（3）一套服務器

（4）一個路由器

1.2 基于Unity的HoloLens開發(fā)

在Unity 上配對開發(fā)HoloLens 程序的相應環(huán)境。把需要的3D 模型和圖片模型添加到項目資源文件夾后，在Unity 上創(chuàng)建一個面板，在面板上添加圖片模型，并為相應的圖片模型添加相應的點擊事件，再在面板的相應位置用Ngui 建個Spirit 再建個label 在右邊屬性寫上需要的提示性文字，以完成基本的用戶界面的制作。本平臺的用戶基本操作框架如圖1 所示。

為3D 模型添加剛體屬性，使得用戶的凝視、語音、手勢等觸發(fā)可以被模型感知；為3D 模型添加碰撞檢測范圍，用以判斷模型之間的接觸；為3D 模型加載移動、旋轉(zhuǎn)、縮放等腳本，用以實現(xiàn)用戶對模型的具體操作[3]。

在設(shè)置好所有的基本場景后，選擇好相機和模塊添加多人協(xié)同設(shè)計控制腳本，把全部的配置完成后保存并打包到程序包中，進行相關(guān)的發(fā)布配置，把應用渲染成3D 應用，連接好與電腦在同一局域網(wǎng)的兩臺Ho?loLens（相應的IP 地址在HoloLens 的配置中可以找到）并發(fā)布到每一臺HoloLens 中。

圖1 用戶基本操作框架

2 并發(fā)優(yōu)先級處理的問題

本項目在多人協(xié)同設(shè)計控制腳本中添加了優(yōu)先級處理模塊，該模塊提供了四種不同的優(yōu)先級處理方式以供使用者選擇，分別是先來先服務模式、多因素優(yōu)先級權(quán)重模式、最短時間模式和混合模式。使用者可以根據(jù)自己的需要來選擇或更改優(yōu)先級處理模式，從而避免了不同設(shè)計參與者在不同情況下同時操縱同一模塊時產(chǎn)生的并發(fā)事件。

先來先服務模式是根據(jù)先來先服務調(diào)度算法進行處理，越先進入房間者/越先開始整個項目者在并發(fā)處理時優(yōu)先級越高。多因素優(yōu)先級權(quán)重模式時根據(jù)優(yōu)先級調(diào)度算法進行處理，會為操作者的操作經(jīng)驗、操作身份等多種因素分配權(quán)重和因素的優(yōu)先級，最后通過權(quán)重來根據(jù)算法進行分配優(yōu)先級，并且還運用了機器學習，來動態(tài)調(diào)整權(quán)重的分配。最短時間模式適用于已經(jīng)進行過操作的并且有存檔者，會根據(jù)使用者以往的操作時間來選擇操作時間最短的人以便更快完成操作?；旌夏Ｊ郊瓤紤]了操作者的操作經(jīng)驗、操作身份等因素，也考慮了操作耗時，為這些因素都分配不同權(quán)重，最終判斷優(yōu)先級。

3 碰撞檢測的問題

針對碰撞檢測的問題，本項目在生成模型時就在每一個模型四周都生成一個矩形的檢測空間。當不同模型之間的檢測空間相互檢測到彼此后，就會從服務器上調(diào)用Unity 中的碰撞檢測腳本，從而實現(xiàn)碰撞檢測，并且在檢測到碰撞后，立刻固定住模型，以實現(xiàn)模型碰撞后的即刻停止。

圖2 優(yōu)先級處理模式選擇

4 網(wǎng)絡通信連接與數(shù)據(jù)打包問題

針對網(wǎng)絡通信因擴充性差，帶寬浪費嚴重，延遲導致多人協(xié)同設(shè)計過程實時性差等問題，需要設(shè)計一個合理的多人通信結(jié)構(gòu)，本項目采用是雙層通信結(jié)構(gòu)，即客戶端與服務器端、客戶端與客戶端之間。采用這種通信結(jié)構(gòu)的優(yōu)點是不但通信結(jié)構(gòu)層次分明，而且可以降低整個協(xié)同過程中通信的負載。對于客戶端與服務器端，采用的信息傳遞方式為一對一的傳遞，而客戶端與客戶端之間采用的是一對多的傳遞，一對多的通信方式采用的是組播方式，在一個協(xié)同創(chuàng)意的過程中，必須保證同一客戶端只在唯一的多播組中。整個協(xié)同創(chuàng)意系統(tǒng)的實現(xiàn)均需要服務器端的參與，它可以為各個客戶端分配組播地址并傳遞各用戶的狀態(tài)信息。通過并行分布的通訊技術(shù)，用戶只需將更新狀態(tài)發(fā)送給與其相連的服務器，再由該服務器將消息復制給其他遠程服務器及相關(guān)用戶。

將VR 素材模型進行編碼打包，與控制模型及處理數(shù)據(jù)的程序共同發(fā)布為一個插件，當用戶選擇模型素材時，中央處理單元便用socket 技術(shù)調(diào)用插件，將需要的模型實時加載到本地，同時讀取環(huán)境感知攝像頭獲取的環(huán)境三維數(shù)據(jù)和深度數(shù)據(jù)，當用戶在創(chuàng)作空間進行點擊生成按鈕（在創(chuàng)作空間的中心位置設(shè)有一個生成按鈕，點擊即可生成被選擇的模型），實時生成模型。

5 海量VR素材庫的存儲與集成問題

本項目深度分析了特定領(lǐng)域創(chuàng)意設(shè)計素材的特點，對海量素材庫的分級存儲機制進行了深入研究，并研究批量數(shù)據(jù)加載、交換分區(qū)機制、多層次的任務并行調(diào)度以及數(shù)據(jù)加載優(yōu)化算法，最終實現(xiàn)創(chuàng)意資源分級存儲、檢索及并行裝載。為了增強存儲系統(tǒng)的智能化自主邏輯歸檔水平，通過對非結(jié)構(gòu)化數(shù)據(jù)的描述內(nèi)容進行抽離處理，利用句法分詞、語義分析、相似度比較等自然語言處理操作，有效地提高了云端存儲系統(tǒng)對自然語言的理解能力，從而有利于非結(jié)構(gòu)化數(shù)據(jù)的云端自主邏輯歸檔。

素材庫的資源整合主要是把分散的資源集中起來，把無序的創(chuàng)意資源變?yōu)橛行?，然而信息資源整合不僅要將分散的創(chuàng)意資源集中起來，更重要的是要描述同種類型的創(chuàng)意資源信息之間的關(guān)系，將不同類型的創(chuàng)意資源進行自動化聚類與分類從而方便用戶獲得按需、易擴展的創(chuàng)意資源。對于種類繁多的非結(jié)構(gòu)化虛擬現(xiàn)實創(chuàng)意素材，本項目針對特定領(lǐng)域的創(chuàng)意素材的特點，研究素材聚類和檢索機制，重點研究3 類創(chuàng)意素材分別為：創(chuàng)意工藝品、創(chuàng)意玩具、創(chuàng)意家具。針對當前創(chuàng)意資源信息標準化不明確，以及數(shù)據(jù)源的異構(gòu)，網(wǎng)絡環(huán)境、操作系統(tǒng)和硬件結(jié)構(gòu)的異構(gòu)等特點，本項目通過采用創(chuàng)意資源的集成技術(shù)達到資源整合的目的。不僅如此，虛擬現(xiàn)實創(chuàng)意資源集成技術(shù)需在分布式虛擬現(xiàn)實異構(gòu)的網(wǎng)絡環(huán)境下進行創(chuàng)意信息資源的整合，需要從分布的創(chuàng)意信息源中獲得數(shù)據(jù)與應用服務，并且應使得整合模型具備一定的適應性和智能性。

6 測試與結(jié)果分析

6.1 測試環(huán)境

計算機開發(fā)環(huán)境：Windows 10，Unity 5.3.8，Visual Studio 2017。

HoloLens：Windows 10，64GB 內(nèi)存。

6.2 測試結(jié)果

兩位使用者分別使用一臺HoloLens 進入本平臺，然后可以實現(xiàn)創(chuàng)建房間、加入房間、設(shè)置用戶名、設(shè)置人數(shù)和創(chuàng)建密碼等操作。

當兩位使用者加入房間后就可以選擇需要的模型，在虛擬環(huán)境中通過手勢生成模型，并且可以通過手勢、語音和凝視等操作。圖3 和圖4 是使用者對模型的旋轉(zhuǎn)和縮放操作，從圖3 和圖4 中可以看到當使用者用雙手控制住模型后，觸發(fā)了縮放腳本，使得模型可以隨著使用者雙手間距的擴張或收縮而整體增大或縮小；當使用者的雙手控制住模型并進行旋轉(zhuǎn)時，觸發(fā)了旋轉(zhuǎn)腳本，使得模型可以隨著使用者的雙手的旋轉(zhuǎn)而旋轉(zhuǎn)。

選擇存檔后，退出房間再次進入該房間時，可以看到模型與存檔時一致；若沒有選擇存檔，當房間中所有使用者都離開后，房間就會被自動回收。

7 結(jié)語

本文為了解決普通設(shè)計時對產(chǎn)品的立體把控度不夠等弊端，用Unity 開發(fā)了一個基于HoloLens 的多人協(xié)同設(shè)計平臺，為用戶提供了沉浸式的交互方式。通過3DMax 設(shè)計相應的模型并導入到Unity 的項目資源文件夾中，并通過加載不同的腳本以實現(xiàn)對模型的旋轉(zhuǎn)、縮放和移動等功能。同時，實現(xiàn)了多人的協(xié)同設(shè)計，使不同用戶可以同時在房間中進行創(chuàng)作[4]。

根據(jù)測試分析結(jié)果，證明了本項目可以有效的實現(xiàn)多人的混合現(xiàn)實的協(xié)同設(shè)計。目前本項目仍在進一步研究中，將會添加模型和對模型的不同操作，完善并優(yōu)化模型之間的異構(gòu)融合，最后還將把適用范圍從局域網(wǎng)擴展到互聯(lián)網(wǎng)，實現(xiàn)異地的多人協(xié)同設(shè)計。

圖3 旋轉(zhuǎn)和縮放操作前

圖4 旋轉(zhuǎn)和縮放操作后