基于增強(qiáng)現(xiàn)實(shí)的鋼鐵生產(chǎn)線可視化仿真系統(tǒng)

毛立平，孫劉杰，王文舉，王 森，黃 琦

(上海理工大學(xué)，上海 200093)

0 引 言

鋼鐵工業(yè)作為國民經(jīng)濟(jì)的基礎(chǔ)原材料產(chǎn)業(yè)，在經(jīng)濟(jì)發(fā)展中具有重要地位。中國是鋼鐵生產(chǎn)和消費(fèi)大國，粗鋼產(chǎn)量連續(xù)13年居世界第一[1]。鋼鐵工業(yè)是國家經(jīng)濟(jì)水平和綜合國力的重要標(biāo)志。中國鋼鐵工業(yè)高速發(fā)展同時(shí)也留下了很多潛在的問題，如組織結(jié)構(gòu)不合理、技術(shù)水平落后、污染嚴(yán)重等[2]。因此，中國鋼鐵工業(yè)的持續(xù)健康發(fā)展非常重要。

隨著信息技術(shù)的高速發(fā)展，鋼鐵工業(yè)信息化逐步加深。對(duì)于設(shè)備而言，每一條生產(chǎn)線的管理是割裂開來的，經(jīng)驗(yàn)占主導(dǎo)地位，不是系統(tǒng)性的集中管控。如何實(shí)現(xiàn)設(shè)備的集中管控，是一個(gè)亟待解決的問題。如果一個(gè)設(shè)備的問題能很直觀地反映出來，那么就可以很快分辨出問題產(chǎn)生的原因，以及此問題產(chǎn)生后帶來的后果，而不需要花費(fèi)大量時(shí)間梳理流程，那么解決問題的效率會(huì)大大提高。那要如何實(shí)現(xiàn)這一點(diǎn)呢?人對(duì)信息的理解，最容易接受的就是圖像，將設(shè)備的問題通過可視化技術(shù)展現(xiàn)在人眼前就可以在一定程度上解決這一問題。增強(qiáng)現(xiàn)實(shí)(augmented reality，AR)技術(shù)，可以通過真實(shí)環(huán)境信息識(shí)別和計(jì)算機(jī)實(shí)時(shí)三維渲染，把虛擬信息和真實(shí)信息融合在一起[3]，這樣能夠大幅度拓展虛擬信息的展示空間和擴(kuò)展交互帶寬，顯著提升可視化的效果。隨著網(wǎng)絡(luò)傳輸速度和圖像識(shí)別技術(shù)的不斷提高，AR技術(shù)在微創(chuàng)手術(shù)、軍事沙盤演練、汽車導(dǎo)航、工程施工、航天飛行訓(xùn)練等多個(gè)領(lǐng)域的應(yīng)用逐漸廣泛[4～8]?；诖?，筆者將增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用在鋼鐵生產(chǎn)線設(shè)備監(jiān)控上，提出了基于增強(qiáng)現(xiàn)實(shí)技術(shù)的鋼鐵生產(chǎn)線可視化仿真系統(tǒng)。

1 系統(tǒng)需求分析

1.1 功能需求分析

工業(yè)互聯(lián)網(wǎng)是基于現(xiàn)代傳感技術(shù)、網(wǎng)絡(luò)技術(shù)、自動(dòng)化技術(shù)、擬人工智能化技術(shù)等先進(jìn)技術(shù)的新一代信息技術(shù)，它貫穿于設(shè)計(jì)、生產(chǎn)、管理、服務(wù)等各個(gè)環(huán)節(jié)[9]?；谠鰪?qiáng)現(xiàn)實(shí)技術(shù)來設(shè)計(jì)一套鋼鐵生產(chǎn)線可視化仿真系統(tǒng)，系統(tǒng)要實(shí)現(xiàn)設(shè)備監(jiān)控功能，可以通過移動(dòng)端設(shè)備生成相關(guān)生產(chǎn)線的設(shè)備模型、并且模型上方有相關(guān)設(shè)備及板坯軋制信息跳動(dòng)，加工過程中板坯的運(yùn)動(dòng)位置和形狀變化也會(huì)展現(xiàn)在3D場景中，使用戶可以很快發(fā)現(xiàn)設(shè)備出現(xiàn)的問題，并及時(shí)進(jìn)行維修，減少損失，提高生產(chǎn)線的維修效率。

1.2 性能需求分析

(1)數(shù)據(jù)顯示可滿足裸眼觀察需求；

(2)生產(chǎn)線設(shè)備模型的內(nèi)部三維結(jié)構(gòu)可直觀顯示；

(3)為保障動(dòng)畫的流暢性，展示畫面的幀率≥24幀/秒；

(4)系統(tǒng)健壯性較強(qiáng)，能處理運(yùn)行過程中出現(xiàn)的異常，如人為操作錯(cuò)誤，系統(tǒng)應(yīng)該能正確的處理，恰當(dāng)?shù)幕乇堋?/p>

2 AR可視化仿真系統(tǒng)開發(fā)流程及關(guān)鍵技術(shù)

2.1 開發(fā)流程

AR可視化仿真系統(tǒng)以寶鋼1580熱軋生產(chǎn)線為模型進(jìn)行開發(fā)，圖1是系統(tǒng)的開發(fā)流程。首先進(jìn)行1580熱軋生產(chǎn)線設(shè)備信息的收集與整理，在現(xiàn)場對(duì)重要場景進(jìn)行拍照留存，重要設(shè)備運(yùn)轉(zhuǎn)聲音進(jìn)行收錄。接著將照片導(dǎo)入Photoshop進(jìn)行處理,獲取其材質(zhì),留作貼圖。再用3ds Max等三維軟件構(gòu)建生產(chǎn)線中各設(shè)備的模型,保存為合適的格式后導(dǎo)入U(xiǎn)nity3D游戲引擎。接著進(jìn)行Unity3D的二次開發(fā)，其中包括紋理貼圖、音效添加、板坯動(dòng)畫制作、設(shè)備數(shù)據(jù)展示畫面設(shè)計(jì)，完成Unity3D的二次開發(fā)后需通過蘋果公司增強(qiáng)現(xiàn)實(shí)插件ARkit工具實(shí)現(xiàn)空間交互，在現(xiàn)實(shí)環(huán)境相應(yīng)位置生成模型，從而實(shí)現(xiàn)熱軋生產(chǎn)線AR可視化。最后為提升系統(tǒng)的性能，從三維模型和燈光兩個(gè)方面對(duì)系統(tǒng)進(jìn)行優(yōu)化。

圖1 AR可視化仿真系統(tǒng)開發(fā)流程

2.2 關(guān)鍵技術(shù)

2.2.1 增強(qiáng)現(xiàn)實(shí)技術(shù)

增強(qiáng)現(xiàn)實(shí)技術(shù)是虛擬現(xiàn)實(shí)技術(shù)的延伸[10]。虛擬現(xiàn)實(shí)(virtual reality，VR)，又被譯為“靈境”、“臨境”等，是由美國VPL Research Inc公司的J.Lanier在1989年創(chuàng)造的一個(gè)詞[11]。虛擬現(xiàn)實(shí)技術(shù)綜合了計(jì)算機(jī)圖形技術(shù)、計(jì)算機(jī)仿真技術(shù)、傳感器技術(shù)、顯示技術(shù)等多種科學(xué)技術(shù)，它在多維信息空間上創(chuàng)造一個(gè)虛擬信息環(huán)境，能使用戶有身臨其境的沉浸感，具有與環(huán)境完善的交互作用能力。同時(shí)，虛擬現(xiàn)實(shí)具有一些人類所擁有的感知功能，比如聽覺、觸覺、視覺、味覺、嗅覺等感知系統(tǒng)。而增強(qiáng)現(xiàn)實(shí)是把真實(shí)世界信息和虛擬世界信息內(nèi)容疊加綜合在一起，呈現(xiàn)在人的面前，并且能夠被人類感官所感知和交互，從而實(shí)現(xiàn)超越現(xiàn)實(shí)的感官體驗(yàn)。真實(shí)環(huán)境和虛擬物體之間重疊之后，能夠在同一個(gè)畫面以及空間中同時(shí)存在。相較VR，AR最大的特點(diǎn)是不光可以看見虛擬圖像，更可以看到真實(shí)環(huán)境。

2.2.2 場景建模技術(shù)

場景建模有兩種方式，一種是利用Unity3D本身的建模功能，另一種是從外部導(dǎo)入模型。外部導(dǎo)入使用3ds Max、UG、SolidWorks等常用的建模軟件建立三維模型,然后保存為特定文件格式，最后將模型文件導(dǎo)入到Unity3D中進(jìn)行二次開發(fā)。

2.2.3 目標(biāo)檢測技術(shù)

目標(biāo)檢測是將圖像或視頻中的目標(biāo)物體與其他無關(guān)信息進(jìn)行區(qū)分，判斷是否存在目標(biāo)物體，若存在則返回目標(biāo)的空間位置和范圍[12]。增強(qiáng)現(xiàn)實(shí)技術(shù)需要將虛擬信息附加在現(xiàn)實(shí)場景上，對(duì)它們進(jìn)行信息增強(qiáng)，因此第一步需要使用目標(biāo)檢測技術(shù)來識(shí)別出場景中的目標(biāo)物體。增強(qiáng)現(xiàn)實(shí)中這一步的實(shí)現(xiàn)通常是通過對(duì)物體進(jìn)行預(yù)標(biāo)記，提取物體的視覺特征信息并記錄，再對(duì)現(xiàn)實(shí)中的特征點(diǎn)進(jìn)行匹配，尋找相關(guān)的預(yù)標(biāo)記物體，保證增強(qiáng)現(xiàn)實(shí)信息可以附加在現(xiàn)實(shí)物體上。

3 AR可視化仿真系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

3.1 虛擬場景構(gòu)建

3.1.1 獲取信息

前往工廠參觀實(shí)際熱軋生產(chǎn)線，確定連鑄坯從加熱到卷取過程中的主要設(shè)備及配件，獲取設(shè)備的尺寸數(shù)據(jù)，必要的細(xì)節(jié)拍照存檔。主要熱軋?jiān)O(shè)備有步進(jìn)式加熱爐、側(cè)壓定寬機(jī)、可逆式粗軋機(jī)、保溫罩、異周速飛剪機(jī)、非可逆式精軋機(jī)、層流冷卻裝置、地下卷取機(jī)，具體數(shù)量如表1所示。使用聲音收錄裝置對(duì)生產(chǎn)線現(xiàn)場重要聲音進(jìn)行收錄，如板坯摩擦輥?zhàn)印⒏邏核畤娚?、板坯切除音效以及步進(jìn)式加熱爐、可逆式粗軋機(jī)、非可逆式精軋機(jī)和層流冷卻裝置等設(shè)備運(yùn)轉(zhuǎn)音效。

表1 主要熱軋?jiān)O(shè)備

3.1.2 三維建模

建模的優(yōu)劣直接影響到整個(gè)虛擬場景的真實(shí)感，使用合適的建模方法能提高模型的質(zhì)量和工作的效率。三維建模方法包括幾何建模、運(yùn)動(dòng)模擬、物理建模、對(duì)象行為建模、模型分割等[13-15]，該系統(tǒng)主要使用幾何建模和物理建模兩種方法。目前使用最廣泛的建模軟件是3ds Max[16]，其運(yùn)行平穩(wěn)，操作方便，制作精度高的特點(diǎn)能保證模型的真實(shí)性。按照熱軋?jiān)O(shè)備的尺寸，在3ds Max繪制線條，矩形，弧形形狀的樣條線，再把閉合樣條線轉(zhuǎn)換成多邊形，利用擠出命令建立起熱軋生產(chǎn)線的大概模型，然后再對(duì)一些細(xì)節(jié)進(jìn)行微調(diào)。圖2是熱軋?jiān)O(shè)備可逆式粗軋機(jī)模型效果圖。Unity3D作為專業(yè)的游戲引擎，支持.fbx格式的模型文件，通過3ds Max制作的模型文件保存為該格式可以輕松導(dǎo)入，并注意在模型導(dǎo)入前設(shè)置好材質(zhì)和1UV2UV。

圖2 可逆式粗軋機(jī)模型效果圖

3.2 Unity3D的二次開發(fā)

Unity3D也稱Unity，是由Unity Technologies公司開發(fā)的一個(gè)讓開發(fā)者輕松創(chuàng)建諸如三維視頻游戲、建筑可視化、實(shí)時(shí)三維動(dòng)畫等互動(dòng)類型內(nèi)容的多平臺(tái)的綜合型游戲引擎。Unity3D支持的平臺(tái)包括Windows、Linux、MacOS、iOS、Android、Xbox360、PS3以及Web等，其跨平臺(tái)開發(fā)的特點(diǎn)可以為開發(fā)者節(jié)省大量時(shí)間[17]。Unity3D內(nèi)置NVIDIA的PhysX物理引擎，可以用高效、逼真、生動(dòng)的方式復(fù)原和模擬真實(shí)世界中的物理效果，使用Unity3D對(duì)鋼鐵生產(chǎn)線加工過程進(jìn)行模擬，復(fù)原效果較佳、開發(fā)速度較快。使用Unity3D將導(dǎo)入的鋼鐵生產(chǎn)線三維模型進(jìn)行二次開發(fā)的內(nèi)容主要包括紋理貼圖、音樂效果添加、板坯動(dòng)畫制作、數(shù)據(jù)展示畫面設(shè)計(jì)。

3.2.1 紋理貼圖

模型的紋理貼圖在模型的真實(shí)度、系統(tǒng)內(nèi)存占用量等方面有一定的影響[18]。Unity3D支持PSD、TIFF、JPEG、TAG、PNG、GIF、BMP、IFF、PICT格式的圖片，此次對(duì)熱軋?jiān)O(shè)備三維模型進(jìn)行貼圖使用的是PNG格式的圖片，因?yàn)樗娜萘扛∏矣胁诲e(cuò)的品質(zhì)。在設(shè)置完設(shè)備三維模型的空間坐標(biāo)后，將紋理圖片通過Unity3D的Mesh Renderer組件貼附在模型上，注意作為模型材質(zhì)的圖片，其大小必須是2的N次方，如16×16、32×32、128×128等。

3.2.2 音樂效果

Unity3D支持多種音頻格式，將生產(chǎn)線現(xiàn)場收錄的高壓水噴射、板坯切除等短音效果以.aiff或者.wav格式導(dǎo)入。步進(jìn)式加熱爐、可逆式粗軋機(jī)、非可逆式精軋機(jī)和層流冷卻裝置等設(shè)備運(yùn)轉(zhuǎn)音效較長，其.mp3音頻文件可轉(zhuǎn)換成.ogg格式導(dǎo)入，從而增強(qiáng)展示效果。

3.2.3 板坯動(dòng)畫

寶鋼1580熱軋生產(chǎn)線是將運(yùn)送過來的板坯最終軋制成1.2 mm～12.5 mm厚的超薄規(guī)格板坯，通過觀察板坯位置及其形狀的變化，來判斷生產(chǎn)線設(shè)備當(dāng)前運(yùn)行狀態(tài)，從而達(dá)到及時(shí)發(fā)現(xiàn)故障的目標(biāo)。在Unity3D中可以通過設(shè)置Animation關(guān)鍵幀或者編寫C#腳本來實(shí)現(xiàn)板坯位置及其形狀的變化，此次使用的是設(shè)置Animation關(guān)鍵幀的方法，因?yàn)槠渫瓿尚Ч悠交?。首先選中板坯模型，創(chuàng)建Animation文件后為其添加position和scale屬性，接著添加關(guān)鍵幀，最后進(jìn)行錄制即可完成。

3.2.4 數(shù)據(jù)展示

AR可視化仿真系統(tǒng)可以將接收到的現(xiàn)場軋制信息直觀顯示在設(shè)備三維模型的正上方，使用戶可以實(shí)時(shí)監(jiān)控設(shè)備的運(yùn)行，快速發(fā)現(xiàn)設(shè)備出現(xiàn)的問題，并進(jìn)行維修。在Unity3D軟件中于熱軋?jiān)O(shè)備模型上方新建canavs畫布，調(diào)整畫布大小，透明度，在C#腳本中以讀取webapi的方式獲取數(shù)據(jù)。

3.3 空間交互

虛擬熱軋生產(chǎn)線模型要想展現(xiàn)在現(xiàn)實(shí)環(huán)境中，首先需要確定其在現(xiàn)實(shí)環(huán)境中的位置。通過使用蘋果公司推出的增強(qiáng)現(xiàn)實(shí)插件ARkit，用C#語言編譯來實(shí)現(xiàn)這一功能。首先需要識(shí)別并生成模型，接著是識(shí)別信息的導(dǎo)入，攝像頭捕捉畫面信息并與預(yù)置信息進(jìn)行對(duì)比，最后進(jìn)行空間的定位來完整展示模型。其中將識(shí)別信息導(dǎo)入主要程序代碼如下：

using System.Collections;

using System.Collections.Generic;

using UnityEngine;

[CreateAssetMenu(fileName=“ARReferenceImage”，menuName=“UnityARKitPlugin/ARReferenceImage”，order=2)]

public class ARReferenceImage: ScriptableObject

{

pulic class ARReferenceImage:ScriptableObject;

public string imageName;

public Texture2D imageTexture;

public float physicalSize;

}

3.4 系統(tǒng)優(yōu)化

3.4.1 三維模型優(yōu)化

虛擬熱軋生產(chǎn)線的設(shè)備模型眾多,且對(duì)模型精細(xì)度要求較高，模型上任何細(xì)小的優(yōu)化都有助于系統(tǒng)性能的提升。模型面數(shù)多少會(huì)直接影響計(jì)算機(jī)的渲染速度,可以選擇把模型里一些難以看見的線和面刪除。在不影響物體展示效果的前提下,將同色物體貼圖的Max size值調(diào)成最小,以達(dá)到節(jié)約系統(tǒng)資源的目的。

3.4.2 燈光陰影優(yōu)化

Unity3D中的燈光十分耗費(fèi)資源，燈光范圍越大，耗費(fèi)資源越多。因此在不影響物體展示效果的前提下，可將燈光范圍值調(diào)小一點(diǎn)。燈光照射下的模型在每一幀都需要被渲染，將一些有不太重要的模型合并，可以明顯降低系統(tǒng)資源的消耗。Unity3D中陰影計(jì)算量也較大，讓部分模型不做陰影投射可減少系統(tǒng)中的光照分析次數(shù)。

4 AR可視化仿真系統(tǒng)驗(yàn)證

為驗(yàn)證系統(tǒng)的可行性，將系統(tǒng)發(fā)布到帶有蘋果公司操作系統(tǒng)的移動(dòng)端進(jìn)行測試。首先啟動(dòng)程序掃描現(xiàn)實(shí)物體進(jìn)行模型空間位置的確定，圖3左邊為使用iPad掃描現(xiàn)實(shí)物體操作，右邊為掃描完成后現(xiàn)實(shí)環(huán)境中生成的經(jīng)透明化處理的熱軋生產(chǎn)線模型，整條生產(chǎn)線在空間中水平生成，將平板向前、后、左、右四個(gè)方向移動(dòng)均未出現(xiàn)畫面丟失情況，系統(tǒng)運(yùn)行過程中音樂自動(dòng)播放，并且可以較清晰地展示熱軋?jiān)O(shè)備的三維結(jié)構(gòu)。

在現(xiàn)場數(shù)據(jù)接入后，模型上方顯示軋制信息，例如加熱階段接入的數(shù)據(jù)是板坯軋制信息，有板坯號(hào)、軋制計(jì)劃號(hào)、鋼卷號(hào)、板坯長度X、板坯寬度Y、板坯厚度Z和重量t，具體數(shù)據(jù)見表2?，F(xiàn)實(shí)環(huán)境生成的板坯軋制信息畫面見圖4左上，畫面清晰度較高，可滿足裸眼觀察需求。系統(tǒng)可實(shí)現(xiàn)板坯的位置和形狀變化展示功能，圖4左下為處于加熱階段的板坯，右下為處于冷卻卷取階段的板坯，完成軋制的板坯規(guī)格為Z×Y=12.45×950 mm，滿足熱軋工藝要求。

表2 加熱階段板坯信息

圖3 掃描現(xiàn)實(shí)物體及生成的模型

圖4 加熱階段和冷卻卷取階段

5 結(jié)束語

經(jīng)測試基于增強(qiáng)現(xiàn)實(shí)技術(shù)的鋼鐵生產(chǎn)線可視化仿真系統(tǒng)運(yùn)行流暢，能較為直觀展現(xiàn)鋼鐵生產(chǎn)線設(shè)備的三維結(jié)構(gòu)，接入生產(chǎn)線現(xiàn)場數(shù)據(jù)后，軋制信息在設(shè)備三維模型上方顯示較為清晰，滿足裸眼觀察需求，加工過程中的板坯位置和形狀變化也較為精確。系統(tǒng)一定程度上有利于鋼鐵生產(chǎn)線設(shè)備的監(jiān)控，及時(shí)發(fā)現(xiàn)設(shè)備出現(xiàn)的問題，并進(jìn)行維修，從而減少損失，提高生產(chǎn)線的維護(hù)效率。將系統(tǒng)應(yīng)用到多條生產(chǎn)線上，可在一定程度上實(shí)現(xiàn)集中管控。