基于強(qiáng)化學(xué)習(xí)和虛擬現(xiàn)實(shí)技術(shù)的機(jī)械仿真教學(xué)系統(tǒng)研究

林 木，張永春，單麗君

（1.大連海洋大學(xué)，遼寧 大連 116000；2.大連交通大學(xué)，遼寧 大連 116021）

近年來，由于一些易于使用和可擴(kuò)展仿真平臺(tái)的出現(xiàn)，深度強(qiáng)化學(xué)習(xí)研究和算法設(shè)計(jì)取得了重大進(jìn)展。這些仿真平臺(tái)不僅可以促進(jìn)算法的改進(jìn)，還可以通過虛擬仿真平臺(tái)訓(xùn)練模型并將其部署在現(xiàn)實(shí)世界中，比如，我們可以將虛擬仿真平臺(tái)中訓(xùn)練的機(jī)器人部署到現(xiàn)實(shí)世界中工作，在訓(xùn)練過程中，虛擬仿真平臺(tái)可以提供安全、受控和高效的培訓(xùn)環(huán)境。

同時(shí)，基于這些仿真平臺(tái)的機(jī)械虛擬仿真教學(xué)也一直是國(guó)內(nèi)外虛擬制造技術(shù)教學(xué)的研究熱點(diǎn)，該教學(xué)方式從產(chǎn)品裝配的視角出發(fā)，綜合利用了計(jì)算機(jī)輔助設(shè)計(jì)、虛擬現(xiàn)實(shí)技術(shù)、建模與仿真技術(shù)、信息物理系統(tǒng)等，為學(xué)生開展探索實(shí)驗(yàn)、合作學(xué)習(xí)和創(chuàng)新實(shí)踐建立了一個(gè)身臨其境的虛擬環(huán)境，為實(shí)驗(yàn)平臺(tái)建設(shè)增添了思路。這其中由于機(jī)械臂具有較大的市場(chǎng)份額和廣闊的應(yīng)用前景，而減速器是機(jī)械中的典型機(jī)構(gòu)，高校和教育機(jī)構(gòu)均高度重視機(jī)械臂和減速器的教學(xué)及應(yīng)用，并將其作為機(jī)械類學(xué)生在教學(xué)和實(shí)踐中的重要研究對(duì)象。

1 系統(tǒng)框架及仿真環(huán)境搭建

1．1 系統(tǒng)框架結(jié)構(gòu)

基于Unity3D引擎開發(fā)虛擬互動(dòng)體驗(yàn)平臺(tái)的過程，實(shí)質(zhì)上就是開發(fā)虛擬現(xiàn)實(shí)內(nèi)容的過程，首先，使用3D建模軟件構(gòu)建機(jī)械臂及實(shí)驗(yàn)平臺(tái)環(huán)境的仿真模型，然后將FBX格式的3D模型導(dǎo)入U(xiǎn)nity3D引擎中，通過程序腳本，添加交互功能，如，場(chǎng)景漫游、碰撞檢測(cè)、交互界面等，以便學(xué)生可以在仿真實(shí)驗(yàn)平臺(tái)中以第一人稱視角觀察各種機(jī)械，實(shí)現(xiàn)沉浸式交互，增加學(xué)生對(duì)機(jī)械的認(rèn)知，達(dá)到預(yù)期的實(shí)踐教學(xué)效果。

1．2 機(jī)械三維建模及實(shí)驗(yàn)室環(huán)境構(gòu)建

在創(chuàng)建機(jī)械3D模型過程中，模型中包含的信息（名稱、尺寸、單位、坐標(biāo)、軸心、材質(zhì)等）必須符合生產(chǎn)規(guī)范，這有助于模型編程和軟件之間的導(dǎo)入和導(dǎo)出。

在對(duì)機(jī)械進(jìn)行建模后，還需要將紋理貼圖分配給相應(yīng)的模型，最后，將機(jī)械模型打包以FBX格式導(dǎo)出。需要注意的是，模型在導(dǎo)出過程中要將模型Y軸設(shè)置為向上，這樣才能與Unity3D引擎中的坐標(biāo)系保持一致，同時(shí)，要選中“嵌入的媒體”選項(xiàng)，這樣模型上的貼圖文件在導(dǎo)入U(xiǎn)nity3D引擎后才會(huì)保存在單獨(dú)的文件夾中，從而避免貼圖丟失。使用Unity3D引擎創(chuàng)建一個(gè)新項(xiàng)目，并將從3ds Max導(dǎo)出的模型導(dǎo)入到項(xiàng)目中。同時(shí)，使用類似的建模技術(shù)和資源包（如Unity3D引擎隨附的Skybox）構(gòu)建了實(shí)驗(yàn)室環(huán)境。

1．3 機(jī)械臂AI訓(xùn)練環(huán)境搭建

機(jī)械臂的AI訓(xùn)練是基于Unity ML-Agents實(shí)現(xiàn)的，Unity是一個(gè)游戲開發(fā)平臺(tái)，由游戲引擎和稱為Unity Editor的圖形用戶界面組成。ML-Agents是一款開源的Unity插件，可以讓游戲和模擬作為訓(xùn)練智能Agent的環(huán)境。通過簡(jiǎn)單易用的Python API，Agent可以使用強(qiáng)化學(xué)習(xí)，模仿學(xué)習(xí)，神經(jīng)元演化或其他機(jī)器學(xué)習(xí)方法進(jìn)行訓(xùn)練。

ML-Agents插件提供了一組核心功能和其他功能。核心功能使開發(fā)人員和研究人員可以使用Unity Editor和關(guān)聯(lián)的C＃腳本定義環(huán)境，然后將構(gòu)建的環(huán)境直接與Python API進(jìn)行交互。附加功能包括一組示例環(huán)境和基準(zhǔn)算法。示例環(huán)境既可以用作基礎(chǔ)算法，也可以用作模板來構(gòu)建或修改新環(huán)境?；鶞?zhǔn)算法可以用于訓(xùn)練使用該方法創(chuàng)建的任何環(huán)境中的代理，同時(shí)，也是更高級(jí)算法的起點(diǎn)。

Unity深度強(qiáng)化學(xué)習(xí)工具中，動(dòng)作的執(zhí)行者稱之為代理（Agent），它內(nèi)嵌在環(huán)境中；策略則是動(dòng)作執(zhí)行的最終目標(biāo)，Brain負(fù)責(zé)為其相關(guān)代理提供決策策略，引導(dǎo)動(dòng)作的執(zhí)行；在動(dòng)作執(zhí)行前與執(zhí)行后都會(huì)有一個(gè)狀態(tài)，兩個(gè)狀態(tài)的改變依據(jù)策略的標(biāo)準(zhǔn)，獲得一個(gè)回報(bào)值；Academy實(shí)現(xiàn)與外部訓(xùn)練工具的信息交互，并負(fù)責(zé)統(tǒng)籌整個(gè)訓(xùn)練。

Unity ML-Agents的官方推薦環(huán)境為：Phython2/3 64位；jupyter notebook；TensorFlow (1.0+) (Training)；Visual Studio 2017；Unity3d 2017+。本系統(tǒng)基于Unity ML-Agents的較近版本，利用ml-agents-0.8.0、Anaconda3實(shí)現(xiàn)了深度強(qiáng)化學(xué)習(xí)環(huán)境搭建。

2 系統(tǒng)功能實(shí)現(xiàn)

機(jī)械的功能分析和結(jié)構(gòu)識(shí)別是教學(xué)過程中的主要教學(xué)內(nèi)容，因此，本實(shí)驗(yàn)室系統(tǒng)的主要功能有：仿真實(shí)驗(yàn)室機(jī)械模具展示及漫游功能、機(jī)械動(dòng)態(tài)功能展示、減速器虛擬裝配和機(jī)械臂AI訓(xùn)練。

2．1 仿真實(shí)驗(yàn)室機(jī)械展示及漫游功能

實(shí)驗(yàn)室漫游是以第一人稱視角，借助VR硬件進(jìn)入虛擬現(xiàn)實(shí)實(shí)驗(yàn)室察看機(jī)械結(jié)構(gòu)及其動(dòng)態(tài)功能。在Unity3D引擎中實(shí)現(xiàn)第一人稱視角漫游時(shí)，將VR預(yù)設(shè)體放置在場(chǎng)景中，調(diào)整位置離地面大約1.7m，從而模擬人眼高度，實(shí)現(xiàn)了環(huán)境漫游及觀察點(diǎn)的瞬移。

2．2 減速器功能展示及虛擬裝配

Unity3D引擎中包含了NVIDIA PhysX物理引擎可以動(dòng)態(tài)模擬“關(guān)節(jié)”連接。減速器需要實(shí)現(xiàn)零件之間的相對(duì)旋轉(zhuǎn)，因此，設(shè)計(jì)“關(guān)節(jié)”主要是鉸鏈，固定在基座上的零件通過固定關(guān)節(jié)連接。

為了在仿真實(shí)驗(yàn)平臺(tái)系統(tǒng)中實(shí)現(xiàn)減速器動(dòng)力學(xué)的物理效果，Unity3D引擎提供了多種碰撞器組件。在減速器仿真實(shí)驗(yàn)系統(tǒng)的模型展示部分，通過腳本移位方法GameObject.transform.Translate()實(shí)現(xiàn)運(yùn)動(dòng)驅(qū)動(dòng)，以實(shí)現(xiàn)零部件和虛擬裝配體的動(dòng)態(tài)展示。

虛擬裝配必須符合實(shí)際減速器裝配工藝路線，因此，交互式裝配程序需要添加邏輯判斷功能，使得整個(gè)裝配過程是符合邏輯的交互式動(dòng)態(tài)控制。

2．3 機(jī)械臂 AI訓(xùn)練

由Unity3D打開ml-agents-0.8.0中的Unity SDK項(xiàng)目。創(chuàng)建Academy，新建一個(gè)空物體，添加一個(gè)C#腳本，將繼承類改為Academy，并添加using ML Agents命名空間。類似過程創(chuàng)建Agent（繼承類為Agent）。并通過“資源”為“Academy”創(chuàng)建“Brain”，并將其添加給Academy和agent。

將機(jī)械臂按層級(jí)設(shè)置好父子關(guān)系，并由關(guān)鍵點(diǎn)實(shí)現(xiàn)自由度。之后在Agent腳本中設(shè)置機(jī)械臂各關(guān)節(jié)和目標(biāo)物體，并基于“賞罰”訓(xùn)練邏輯實(shí)現(xiàn)機(jī)械臂抓取目標(biāo)物的訓(xùn)練。

設(shè)置好后，就可以開始訓(xùn)練了，在經(jīng)過幾個(gè)小時(shí)的訓(xùn)練后，最終將訓(xùn)練好的二進(jìn)制文件在Unity3D中加載，點(diǎn)擊編輯器上方的Play按鈕，實(shí)現(xiàn)訓(xùn)練結(jié)果，隨著目標(biāo)物的隨機(jī)移動(dòng)，機(jī)械臂可以實(shí)現(xiàn)對(duì)其準(zhǔn)確抓取。

3 結(jié)語

隨著強(qiáng)化學(xué)習(xí)和虛擬現(xiàn)實(shí)技術(shù)的不斷發(fā)展，虛擬現(xiàn)實(shí)以及AI內(nèi)容的開發(fā)變得越來越簡(jiǎn)便。本仿真實(shí)驗(yàn)室系統(tǒng)與現(xiàn)有解決方案相比，在方便性和交互性方面都有了不同程度的改進(jìn)與提高，將功能強(qiáng)大的深度強(qiáng)化學(xué)習(xí)和虛擬現(xiàn)實(shí)技術(shù)應(yīng)用到工程技術(shù)類教學(xué)中，提高了機(jī)械結(jié)構(gòu)認(rèn)知、動(dòng)作控制、課程設(shè)計(jì)等教學(xué)環(huán)節(jié)的教學(xué)效果和教學(xué)效率，使學(xué)生借助該系統(tǒng)更好地理解老師的理論講解，并避免了在真實(shí)機(jī)械實(shí)踐中出現(xiàn)的安全隱患，對(duì)提升教學(xué)質(zhì)量有積極影響。