面向數(shù)字化車(chē)間的介入式三維實(shí)時(shí)監(jiān)控系統(tǒng)

張 濤 唐敦兵 張澤群 魏 鑫

南京航空航天大學(xué)機(jī)電學(xué)院，南京，210016

0 引言

目前，市場(chǎng)競(jìng)爭(zhēng)日益激烈，傳統(tǒng)的批量生產(chǎn)正在被個(gè)性化定制逐漸取代，伴隨著《中國(guó)制造2025》[1]的出臺(tái)，數(shù)字化制造逐漸成為了當(dāng)前企業(yè)車(chē)間的主要模式。但是，數(shù)字化車(chē)間的制造工藝復(fù)雜不確定、產(chǎn)品結(jié)構(gòu)復(fù)雜不確定、信息復(fù)雜不確定和突發(fā)情況復(fù)雜不確定，導(dǎo)致車(chē)間的生產(chǎn)效率低。高效的可視化監(jiān)控技術(shù)有助于管理者實(shí)時(shí)掌握制造車(chē)間的運(yùn)行狀態(tài)和生產(chǎn)情況，極大地提高應(yīng)對(duì)突發(fā)狀況的能力和生產(chǎn)效率。傳統(tǒng)的利用數(shù)據(jù)報(bào)表、二維圖表和組態(tài)軟件的車(chē)間監(jiān)控透明程度低、實(shí)時(shí)性差、監(jiān)控界面可視性低，不能滿(mǎn)足數(shù)字化制造環(huán)境下的監(jiān)控要求，不利于生產(chǎn)管理者掌握車(chē)間的運(yùn)行情況。因此，數(shù)字化車(chē)間急需一種可視性高且能實(shí)時(shí)動(dòng)態(tài)反映車(chē)間運(yùn)行狀態(tài)和生產(chǎn)情況的監(jiān)控系統(tǒng)，以有助于生產(chǎn)管理者實(shí)時(shí)地掌握車(chē)間運(yùn)行情況，及時(shí)調(diào)整生產(chǎn)計(jì)劃，合理分配制造資源，實(shí)現(xiàn)資源的高效利用。

隨著制造業(yè)和信息化水平的不斷提高，車(chē)間生產(chǎn)過(guò)程逐漸透明化，越來(lái)越多的學(xué)者開(kāi)始研究實(shí)時(shí)監(jiān)控技術(shù)。文獻(xiàn)[2]研究了基于Flash的自動(dòng)化生產(chǎn)線的上位機(jī)監(jiān)控系統(tǒng)，開(kāi)發(fā)了一個(gè)生產(chǎn)線上位機(jī)的可視化監(jiān)控系統(tǒng)；文獻(xiàn)[3]研究了離散過(guò)程的規(guī)劃、建模和仿真技術(shù)，介紹了基于eM-Plant環(huán)境下的生產(chǎn)線的仿真；文獻(xiàn)[4]利用CAN總線傳輸數(shù)據(jù)，開(kāi)發(fā)了由現(xiàn)場(chǎng)數(shù)據(jù)驅(qū)動(dòng)的三維模型遠(yuǎn)程監(jiān)控的仿真系統(tǒng)；文獻(xiàn)[5]研究了監(jiān)控系統(tǒng)的上位機(jī)和底層結(jié)構(gòu)的通信方式，設(shè)計(jì)和實(shí)現(xiàn)了基于仿真軟件和組態(tài)軟件的三維監(jiān)控系統(tǒng)；文獻(xiàn)[6]提出了MPS組態(tài)監(jiān)控系統(tǒng)中的三維仿真，利用OpenGL圖像編程語(yǔ)言建立了三維模型仿真；文獻(xiàn)[7]利用Flexsim對(duì)車(chē)間生產(chǎn)執(zhí)行情況可視化動(dòng)態(tài)監(jiān)控實(shí)現(xiàn)技術(shù)進(jìn)行了研究，開(kāi)發(fā)了一種能動(dòng)態(tài)反映車(chē)間底層工況的可視化監(jiān)控系統(tǒng)；文獻(xiàn)[8]采用面向?qū)ο蟮姆椒?gòu)建制造資源本體模型和一種支持生產(chǎn)系統(tǒng)實(shí)時(shí)監(jiān)控的對(duì)象模型，在此基礎(chǔ)上，設(shè)計(jì)了一種支持制造過(guò)程且實(shí)時(shí)可視化監(jiān)控的體系架構(gòu)；文獻(xiàn)[9]針對(duì)柔性智能制造系統(tǒng)，利用OpenGL的Web集成版本在Web上實(shí)現(xiàn)了3D建模渲染，構(gòu)建了一個(gè)基于物聯(lián)網(wǎng)的3D監(jiān)控體系?？傊瑖?guó)內(nèi)外對(duì)實(shí)時(shí)監(jiān)控技術(shù)做了許多研究，取得了一定的成果。但是，這些研究的監(jiān)控系統(tǒng)開(kāi)發(fā)過(guò)程繁瑣，對(duì)硬件要求高，動(dòng)態(tài)行為實(shí)時(shí)性差，監(jiān)控界面可視性差，并且大多數(shù)研究都停留在生產(chǎn)線仿真的階段，針對(duì)數(shù)字化制造的實(shí)時(shí)三維監(jiān)控，缺乏有效、合理、系統(tǒng)的研究。

因此，本文結(jié)合實(shí)時(shí)數(shù)據(jù)庫(kù)技術(shù)[10]、3D建模技術(shù)[11]和交互性界面設(shè)計(jì)技術(shù)[12]，設(shè)計(jì)了一種能實(shí)時(shí)動(dòng)態(tài)反映車(chē)間的狀態(tài)、倉(cāng)庫(kù)物料、零件加工和訂單等信息的介入式3D可視化實(shí)時(shí)監(jiān)控系統(tǒng)。

1 3D實(shí)時(shí)監(jiān)控系統(tǒng)的需求框架

利用模塊化設(shè)計(jì)思想[13]，將介入式3D實(shí)時(shí)監(jiān)控系統(tǒng)的需求分為不同模塊，具體的需求框架如圖1所示。

圖1 監(jiān)控系統(tǒng)的需求框架Fig.1 Requirements framework of monitoring system

系統(tǒng)管理模塊包括用戶(hù)管理、安全管理和權(quán)限管理。本文設(shè)計(jì)的監(jiān)控系統(tǒng)將用戶(hù)分為普通用戶(hù)和專(zhuān)業(yè)用戶(hù)，對(duì)于不同的用戶(hù)，系統(tǒng)設(shè)置了不同的權(quán)限。普通用戶(hù)通過(guò)普通的注冊(cè)就可以進(jìn)入監(jiān)控系統(tǒng)，但是只能完成下訂單、對(duì)應(yīng)訂單信息跟蹤和對(duì)應(yīng)訂單內(nèi)的工件加工執(zhí)行情況跟蹤。專(zhuān)業(yè)用戶(hù)一般為車(chē)間工作人員，擁有監(jiān)控系統(tǒng)的所有權(quán)限，包括跟蹤所有訂單、所有工件加工和所有機(jī)器運(yùn)行狀態(tài)等信息。

訂單管理模塊包括訂單下放和訂單審核。普通用戶(hù)和專(zhuān)業(yè)用戶(hù)都可以下訂單，但是普通用戶(hù)下訂單后，因自身專(zhuān)業(yè)能力有限，必須經(jīng)過(guò)專(zhuān)業(yè)用戶(hù)審核后才能下放車(chē)間，從而有效地避免了用戶(hù)定制的工件存在功能缺陷的問(wèn)題。

設(shè)備層信息獲取模塊包括實(shí)時(shí)工件信息獲取、實(shí)時(shí)機(jī)器狀態(tài)信息獲取和實(shí)時(shí)訂單信息獲取。實(shí)時(shí)工件信息包括工件所在位置、工件當(dāng)前加工工序、工件剩余加工工序等；實(shí)時(shí)機(jī)器狀態(tài)信息包括機(jī)器主軸轉(zhuǎn)速、機(jī)器關(guān)鍵部位溫度、機(jī)器當(dāng)前刀具等；實(shí)時(shí)訂單信息包括訂單內(nèi)的在加工工件、訂單內(nèi)剩余加工工件和訂單內(nèi)工件的加工工序等。

實(shí)時(shí)驅(qū)動(dòng)模型的運(yùn)行模塊將設(shè)備層內(nèi)影響車(chē)間機(jī)器的位置、機(jī)械結(jié)構(gòu)的運(yùn)轉(zhuǎn)和工件的尺寸變化等信息提取出來(lái)，用來(lái)驅(qū)動(dòng)車(chē)間映射的三維場(chǎng)景內(nèi)的相應(yīng)模型的變化，將車(chē)間內(nèi)的變化通過(guò)模型的動(dòng)態(tài)變化表現(xiàn)出來(lái)。

監(jiān)控結(jié)果輸出與統(tǒng)計(jì)模塊包括成品數(shù)量統(tǒng)計(jì)、在加工工件統(tǒng)計(jì)、故障信息警示、系統(tǒng)運(yùn)行時(shí)間統(tǒng)計(jì)、瓶頸信息統(tǒng)計(jì)、質(zhì)量信息統(tǒng)計(jì)和訂單信息統(tǒng)計(jì)，將車(chē)間內(nèi)的數(shù)字化信息通過(guò)圖和表顯示或統(tǒng)計(jì)出來(lái)，反饋給專(zhuān)業(yè)用戶(hù)，專(zhuān)業(yè)用戶(hù)再根據(jù)相關(guān)情況做出相應(yīng)調(diào)整。

2 3D實(shí)時(shí)監(jiān)控系統(tǒng)的體系結(jié)構(gòu)

基于介入式3D實(shí)時(shí)監(jiān)控系統(tǒng)的需求框架，參考OSI的七層參考模型[14]，設(shè)計(jì)了介入式3D實(shí)時(shí)監(jiān)控系統(tǒng)的體系結(jié)構(gòu)。該體系結(jié)構(gòu)從下到上依次為感知層、計(jì)算機(jī)網(wǎng)絡(luò)支持層和系統(tǒng)功能層。設(shè)計(jì)的體系結(jié)構(gòu)如圖2所示。

感知層位于監(jiān)控系統(tǒng)的底層，它包括各種機(jī)床(車(chē)床、銑床、磨床、刨床、鏜床、鉆床、數(shù)控機(jī)床和加工中心等)、各種傳感器(光電傳感器、紅外傳感器和壓力傳感器等)、AGV、自動(dòng)化立體倉(cāng)庫(kù)、質(zhì)量檢測(cè)系統(tǒng)和射頻識(shí)別系統(tǒng)等，主要功能是將直接采集的車(chē)間內(nèi)動(dòng)態(tài)變化的數(shù)據(jù)和信息傳輸給該區(qū)域內(nèi)的嵌入式控制器或直接控制車(chē)間設(shè)備的運(yùn)行。

計(jì)算機(jī)網(wǎng)絡(luò)支持層包括OSI的七層參考模型中的數(shù)據(jù)鏈路層、網(wǎng)絡(luò)層、傳輸層、會(huì)話(huà)層和表示層，負(fù)責(zé)系統(tǒng)內(nèi)的信息傳輸，使不同的系統(tǒng)和不同的網(wǎng)絡(luò)之間實(shí)現(xiàn)了高可靠性、高安全性和無(wú)障礙的通信，是數(shù)據(jù)和信息共享的基礎(chǔ)支撐。

圖2 監(jiān)控系統(tǒng)的體系結(jié)構(gòu)Fig.2 Architecture of monitoring system

系統(tǒng)功能層位于監(jiān)控系統(tǒng)的頂層，由分析部分、顯示部分、控制部分和監(jiān)控對(duì)象組成，它將車(chē)間內(nèi)采集的數(shù)據(jù)和信息進(jìn)行分類(lèi)、整理和分析，通過(guò)二維圖表顯示部分?jǐn)?shù)據(jù)和信息，存儲(chǔ)備份部分?jǐn)?shù)據(jù)和信息，用部分?jǐn)?shù)據(jù)和信息來(lái)驅(qū)動(dòng)車(chē)間內(nèi)設(shè)備映射的三維模型，極大地提高了監(jiān)控系統(tǒng)的可視性，方便了專(zhuān)業(yè)用戶(hù)管理車(chē)間。此外，它還可以通過(guò)訂單的指令給車(chē)間下放訂單，并根據(jù)訂單信息從工序庫(kù)中查找對(duì)應(yīng)的G代碼傳輸?shù)杰?chē)間，還可以根據(jù)用戶(hù)需要的信息直接給車(chē)間發(fā)送狀態(tài)采集指令和程序上傳指令。

3 3D實(shí)時(shí)監(jiān)控系統(tǒng)的運(yùn)行模式

面向數(shù)字化車(chē)間的介入式3D實(shí)時(shí)監(jiān)控系統(tǒng)對(duì)車(chē)間內(nèi)的生產(chǎn)任務(wù)執(zhí)行情況和車(chē)間的運(yùn)行情況進(jìn)行實(shí)時(shí)監(jiān)控，有助于專(zhuān)業(yè)用戶(hù)及時(shí)掌握車(chē)間運(yùn)行狀況和車(chē)間內(nèi)的瓶頸信息，迅速對(duì)車(chē)間做出相應(yīng)調(diào)整，充分利用車(chē)間內(nèi)的生產(chǎn)資源，快速低成本地生產(chǎn)出優(yōu)質(zhì)的產(chǎn)品；有助于普通用戶(hù)及時(shí)了解自己的訂單的加工情況，及時(shí)跟蹤自己訂單相應(yīng)的工件。設(shè)計(jì)的監(jiān)控系統(tǒng)的運(yùn)行模式如圖3所示。

結(jié)合圖3可以看出，實(shí)現(xiàn)實(shí)時(shí)監(jiān)控系統(tǒng)的第一步是利用3DS MAX對(duì)車(chē)間實(shí)體進(jìn)行等價(jià)造型，通過(guò)賦予材質(zhì)和貼圖對(duì)模型進(jìn)行渲染，使三維模型更加逼真，為了減輕硬件運(yùn)行壓力，對(duì)模型進(jìn)行適當(dāng)簡(jiǎn)化，然后輸出為.FBX的格式文件；第二步是采集車(chē)間內(nèi)的訂單信息、工件信息、物料信息、設(shè)備信息等，編寫(xiě)TCP/IP協(xié)議發(fā)送腳本，發(fā)送車(chē)間內(nèi)采集的數(shù)據(jù)和信息；第三步是將.FBX模型文件導(dǎo)入U(xiǎn)nity3D的場(chǎng)景；第四步是編寫(xiě)TCP/IP協(xié)議的接收腳本，接收從車(chē)間發(fā)送來(lái)的數(shù)據(jù)和信息；第五步是將數(shù)據(jù)和信息進(jìn)行分類(lèi)和整理，將數(shù)據(jù)和信息分為模型驅(qū)動(dòng)信息和非模型驅(qū)動(dòng)信息；第六步是對(duì)模型驅(qū)動(dòng)信息的數(shù)據(jù)描述結(jié)構(gòu)進(jìn)行統(tǒng)一，使車(chē)間底層的數(shù)據(jù)和信息、三維模型內(nèi)的數(shù)據(jù)和信息匹配，再傳遞給Unity3D場(chǎng)景，驅(qū)動(dòng)三維模型模擬車(chē)間內(nèi)設(shè)備工作；第七步將非模型驅(qū)動(dòng)信息進(jìn)行進(jìn)一步分類(lèi)、分析和處理，一部分傳遞給Unity3D的UGUI(UGUI利用文字和二維圖表將信息直觀顯示)信息顯示組件，一部分輸出為文本文件，存儲(chǔ)在數(shù)據(jù)庫(kù)中；第八步將UGUI組件嵌入U(xiǎn)nity3D場(chǎng)景；第九步利用UGUI編寫(xiě)場(chǎng)景菜單欄，包括訂單管理、監(jiān)控結(jié)果輸出、視角管理和幫助等選項(xiàng)；第十步編寫(xiě)Unity3D場(chǎng)景內(nèi)TCP/IP協(xié)議的發(fā)送腳本，編寫(xiě)訂單指令、G代碼(G代碼獲取指令和設(shè)備狀態(tài)信息獲取指令)文件傳輸指令。經(jīng)過(guò)上述的十步，基本完成了監(jiān)控系統(tǒng)的內(nèi)核構(gòu)建，之后只需要對(duì)場(chǎng)景文件進(jìn)行適當(dāng)?shù)恼{(diào)整，分別發(fā)布到windows平臺(tái)和android平臺(tái)。

介入式3D實(shí)時(shí)監(jiān)控系統(tǒng)中，專(zhuān)業(yè)用戶(hù)可以根據(jù)不同的工序信息，給車(chē)間內(nèi)設(shè)備傳輸不同的G代碼，如果加工時(shí)的G代碼發(fā)生錯(cuò)誤，可以遠(yuǎn)程要求設(shè)備上傳對(duì)應(yīng)的G代碼，專(zhuān)業(yè)用戶(hù)再根據(jù)上傳的G代碼，做出相應(yīng)的調(diào)整，極大地提高了專(zhuān)業(yè)用戶(hù)的工作效率。為了提高數(shù)據(jù)的實(shí)時(shí)性，如果專(zhuān)業(yè)用戶(hù)想查看某一臺(tái)設(shè)備的狀態(tài)信息，只需單擊該設(shè)備，等待幾秒鐘，控制該設(shè)備信息采集的裝置就會(huì)采集該設(shè)備的信息發(fā)送給Unity3D場(chǎng)景，經(jīng)分析處理顯示在該設(shè)備上，從而保證專(zhuān)業(yè)用戶(hù)看到的數(shù)據(jù)是實(shí)時(shí)的。

圖3 監(jiān)控系統(tǒng)的運(yùn)行模式Fig.3 Operation mode of monitoring system

通過(guò)該介入式3D實(shí)時(shí)監(jiān)控系統(tǒng)，數(shù)字化車(chē)間變得更加透明化，車(chē)間內(nèi)的物料信息、訂單加工信息、工件加工信息和設(shè)備狀態(tài)信息總是能通過(guò)非常直觀的方式呈現(xiàn)在用戶(hù)面前，專(zhuān)業(yè)用戶(hù)可以通過(guò)該系統(tǒng)進(jìn)行簡(jiǎn)單故障處理，通過(guò)設(shè)備狀態(tài)信息并結(jié)合動(dòng)態(tài)系統(tǒng)的故障預(yù)測(cè)方法[15]，對(duì)系統(tǒng)做出故障預(yù)測(cè)，然后調(diào)整車(chē)間內(nèi)的生產(chǎn)資源，從而提前預(yù)防故障。

4 3D實(shí)時(shí)監(jiān)控系統(tǒng)的關(guān)鍵技術(shù)

4.1 數(shù)據(jù)描述模型

在數(shù)字化車(chē)間運(yùn)行過(guò)程中，有大量的數(shù)據(jù)需要處理，其中，部分?jǐn)?shù)據(jù)和信息是隨時(shí)間改變的，例如加工時(shí)間、加工進(jìn)度和車(chē)間狀態(tài)等，剩余數(shù)據(jù)是一些靜態(tài)的數(shù)據(jù)和信息，例如機(jī)床型號(hào)和參數(shù)、刀具參數(shù)和工序等。傳統(tǒng)的數(shù)據(jù)庫(kù)難以滿(mǎn)足信息存儲(chǔ)的實(shí)時(shí)性要求，為此本文采用實(shí)時(shí)數(shù)據(jù)庫(kù)存儲(chǔ)監(jiān)控系統(tǒng)的數(shù)據(jù)和信息。

實(shí)時(shí)數(shù)據(jù)庫(kù)是在傳統(tǒng)數(shù)據(jù)庫(kù)的基礎(chǔ)上發(fā)展起來(lái)的，具有以下特性[16]：①支持?jǐn)?shù)據(jù)庫(kù)隨時(shí)改變；②支持事務(wù)的定時(shí)限制、內(nèi)部構(gòu)造和彼此之間的相關(guān)性，事務(wù)能協(xié)同、合作并發(fā)執(zhí)行；③支持?jǐn)?shù)據(jù)庫(kù)的邏輯一致性；④能實(shí)現(xiàn)數(shù)據(jù)和事務(wù)的“時(shí)間一致性”；⑤支持實(shí)時(shí)驅(qū)動(dòng)的優(yōu)先級(jí)事務(wù)調(diào)度；⑥不要求故障時(shí)“完全復(fù)原”數(shù)據(jù)庫(kù)狀態(tài)，但能繼續(xù)實(shí)施實(shí)時(shí)控制的故障恢復(fù)策略，支持不中斷系統(tǒng)服務(wù)的故障恢復(fù)。

對(duì)于采集到的智能設(shè)備和工件的信息，均通過(guò)接收并存儲(chǔ)在該實(shí)時(shí)數(shù)據(jù)庫(kù)中。通過(guò)分析數(shù)字化車(chē)間的數(shù)據(jù)，設(shè)計(jì)了實(shí)時(shí)數(shù)據(jù)庫(kù)的E-R-T模型(圖4)，然后根據(jù)該E-R-T模型建立實(shí)時(shí)數(shù)據(jù)庫(kù)。

圖4 實(shí)時(shí)數(shù)據(jù)庫(kù)的E-R-T模型Fig.4 E-R-T model of real-time database

E-R-T模型中，車(chē)間和設(shè)備之間是靜態(tài)關(guān)系，工件和設(shè)備之間是動(dòng)態(tài)關(guān)系，設(shè)備參數(shù)和工件參數(shù)既包含動(dòng)態(tài)參數(shù)，又包含靜態(tài)參數(shù)。為了減少重復(fù)表達(dá)，在模型圖中只選取了部分設(shè)備、部分工件以及部分設(shè)備的部分參數(shù)和部分工件的部分參數(shù)。

4.2 場(chǎng)景的性能優(yōu)化

在監(jiān)控系統(tǒng)的運(yùn)行過(guò)程中，大數(shù)據(jù)處理需要占用很大的一部分CPU，場(chǎng)景渲染需要占用很大一部分GPU，因而運(yùn)行監(jiān)控系統(tǒng)對(duì)CPU和GPU的壓力較大，監(jiān)控系統(tǒng)運(yùn)行的流暢度極易受到影響，有時(shí)甚至?xí)绊懕O(jiān)控系統(tǒng)的正常工作。為了減小CPU和GPU的運(yùn)行壓力，有必要對(duì)場(chǎng)景進(jìn)行適當(dāng)性能優(yōu)化。本文所提出的監(jiān)控系統(tǒng)針對(duì)場(chǎng)景的性能優(yōu)化采用了以下技術(shù)：

(1)實(shí)例化技術(shù)。當(dāng)整個(gè)三維模型中有一個(gè)以上幾何尺寸和幾何形狀相同但位置不同的模型時(shí)，只需建造一個(gè)幾何模型，其他的模型只需對(duì)此模型進(jìn)行實(shí)例化[17]，這樣使得在增加同類(lèi)物體數(shù)量時(shí)，多邊形數(shù)量和內(nèi)存不增加，而只需對(duì)該實(shí)例進(jìn)行平移和旋轉(zhuǎn)，大大減小了場(chǎng)景中多邊形面片的數(shù)量，節(jié)省了大量?jī)?nèi)存。

(2)層次細(xì)節(jié)(levers of detail，LOD)技術(shù)。層次細(xì)節(jié)技術(shù)的實(shí)質(zhì)是，用多個(gè)具有層次結(jié)構(gòu)的模型集合成一個(gè)場(chǎng)景時(shí)，可以根據(jù)不同的標(biāo)準(zhǔn)進(jìn)行細(xì)節(jié)省略[18]。本文采用距離標(biāo)準(zhǔn)、尺寸標(biāo)準(zhǔn)和運(yùn)行速度標(biāo)準(zhǔn)進(jìn)行細(xì)節(jié)省略。模型距離觀察者越遠(yuǎn)，被觀察到的細(xì)節(jié)部分越少，可以對(duì)該模型進(jìn)行適當(dāng)細(xì)節(jié)省略；模型尺寸越小，人眼相對(duì)該模型的分辨力越弱，可以適當(dāng)減少該模型的細(xì)節(jié)；模型的運(yùn)動(dòng)速度越高，觀察者觀察的模型越模糊，可以對(duì)該模型細(xì)節(jié)進(jìn)行粗糙化。

(3)紋理映射技術(shù)。紋理映射技術(shù)的本質(zhì)是對(duì)三維場(chǎng)景進(jìn)行二維參數(shù)化，即先求得三維物體表面上的任意一點(diǎn)的二維參數(shù)值，進(jìn)而得到該點(diǎn)的紋理值，生成二維紋理圖案，最終完成三維圖形的紋理映射[19]。如果紋理圖案定義在紋理空間內(nèi)的一個(gè)正交坐標(biāo)系(u,v)中，曲面定義在場(chǎng)景空間的正交坐標(biāo)系(x,y,z)中，它在參數(shù)空間(δ,ψ)中的表示為x(δ,ψ)、y(δ,ψ)、z(δ,ψ)，則從紋理空間到參數(shù)空間的映射為δ=f(u,v)，ψ=g(u,v)，從參數(shù)空間到紋理空間的逆映射為u=r(δ,ψ) ，v=s(δ,ψ)。車(chē)間內(nèi)的設(shè)備和零件存在不同的外觀，如果每一個(gè)設(shè)備和零件都采用由多邊形面片組成的幾何體，勢(shì)必造成很大的資源消耗。為了模擬設(shè)備和零件不同的外觀，在3DS MAX建造模型的過(guò)程中，引入U(xiǎn)V貼圖。UV是(u,v)紋理貼圖坐標(biāo)的簡(jiǎn)稱(chēng)，它定義了圖片上每個(gè)點(diǎn)的位置信息。這些點(diǎn)與3D模型是相互聯(lián)系的, 決定表面紋理貼圖的位置。UV貼圖就是將圖像上每一個(gè)點(diǎn)精確對(duì)應(yīng)到模型物體的表面。圖5所示為電機(jī)紋理映射，貼圖后大大增加了電機(jī)的細(xì)節(jié)等級(jí)和真實(shí)感。

圖5 電機(jī)紋理映射Fig.5 Texture mapping of motor

4.3 基于Unity3D的車(chē)間設(shè)備模型的動(dòng)態(tài)行為

模型的動(dòng)態(tài)性行為都是由模型的平移、旋轉(zhuǎn)或平移和旋轉(zhuǎn)組合而成的。Unity3D開(kāi)發(fā)了多種實(shí)現(xiàn)物體平移的方法，例如通過(guò)Transform組件平移、通過(guò)Rigidbody組件平移和通過(guò)CharacterController組件平移。同樣，針對(duì)模型的旋轉(zhuǎn)，Unity3D中包括多種實(shí)現(xiàn)方法，包括矩陣旋轉(zhuǎn)、歐拉旋轉(zhuǎn)和四元數(shù)旋轉(zhuǎn)。綜合考慮監(jiān)控系統(tǒng)的應(yīng)用環(huán)境，車(chē)間模型的動(dòng)態(tài)行為的平移采用Transform組件，旋轉(zhuǎn)采用四元數(shù)旋轉(zhuǎn)。下面以AGV為例，闡述模型的平移和旋轉(zhuǎn)。

4.3.1 Transform組件平移

通過(guò)Transform組件來(lái)移動(dòng)物體，指的是直接操作Transform組件來(lái)控制物體的位置，其基本思想如下：

在空間坐標(biāo)系(x,y,z)中，假設(shè)AGV的坐標(biāo)為(x1,y1,z1)。將AGV沿X軸平移Δx，沿Y軸平移Δy，沿Z軸平移Δz，中心坐標(biāo)變?yōu)?x11,y11,z11)，用矩陣表示為

得x11=x1+Δx，y11=y1+Δy，z11=z1+Δz。

Transform組件中包括以下實(shí)現(xiàn)平移的方法：

(1)Transform.Translate()方法。該方法可以將物體從當(dāng)前位置移動(dòng)到指定位置，并且可以選擇參照的坐標(biāo)系。當(dāng)需要進(jìn)行坐標(biāo)系轉(zhuǎn)換時(shí)，可以考慮采用該方法以省去轉(zhuǎn)換坐標(biāo)系的步驟。

(2)Vector3.Lerp()、Vector3.Slerp()和Vector3. MoveTowards()方法。這三個(gè)方法均為插值方法， Lerp()為線性插值，Slerp()為球形插值，MoveTowards()在Lerp()的基礎(chǔ)上增加了限制最大速度功能。當(dāng)需要從指定點(diǎn)A移動(dòng)到點(diǎn)B時(shí)，可以考慮這些方法。

(3)Vector3.SmoothDamp()方法。該方法可以平滑地從點(diǎn)A逐漸移動(dòng)到點(diǎn)B，并且可以控制速度，最常見(jiàn)的用法是相機(jī)跟隨目標(biāo)。

(4)Transform.position()方法。重新賦值position能更快實(shí)現(xiàn)移動(dòng)。

4.3.2四元數(shù)旋轉(zhuǎn)

四元數(shù)旋轉(zhuǎn)能夠有效地避免萬(wàn)向節(jié)鎖[20]，只需要一個(gè)四維的四元數(shù)就可以執(zhí)行繞任意經(jīng)過(guò)原點(diǎn)的向量的旋轉(zhuǎn)，方便快捷，在某些情況下比旋轉(zhuǎn)矩陣效率更高，可以提供平滑插值，其數(shù)學(xué)描述如下：

四元數(shù)是一種高階復(fù)數(shù)，它能夠很方便地表示剛體繞任意軸的旋轉(zhuǎn)。四元數(shù)q可以表示為

q=(α,β,γ,w)=αi+βj+γk+w

i、j、k滿(mǎn)足：i2=j2=k2=-1；ij=k，jk=i，ki=j。由于i、j、k的性質(zhì)和笛卡爾坐標(biāo)系三個(gè)軸叉乘的性質(zhì)很像，所以可以將四元數(shù)寫(xiě)成一個(gè)向量和一個(gè)實(shí)數(shù)組合的形式：

q=(v，w)=((α,β,γ),w)

當(dāng)四元數(shù)用來(lái)描述三維空間的旋轉(zhuǎn)時(shí)，如果AGV繞單位向量表示的軸旋轉(zhuǎn)角度θ時(shí)，則對(duì)應(yīng)的四元數(shù)為

如果AGV進(jìn)行一個(gè)歐拉旋轉(zhuǎn)，即分別繞X軸、Y軸和Z軸旋轉(zhuǎn)α、β和γ，則對(duì)應(yīng)的四元數(shù)為

x=sin(β/2)sin(γ/2)cos(α/2)+
cos(β/2)cos(γ/2)sin(α/2)
y=sin(β/2)cos(γ/2)cos(α/2)+
cos(β/2)sin(γ/2)sin(α/2)
z=cos(β/2)sin(γ/2)cos(α/2)-
sin(β/2)cos(γ/2)sin(α/2)
w=cos(β/2)cos(γ/2)cos(α/2)-
sin(β/2)sin(γ/2)sin(α/2)

因此AGV中的點(diǎn)p：(P,0)(寫(xiě)成四元數(shù)的形式)旋轉(zhuǎn)后的坐標(biāo)p′為

p′=qpq-1

根據(jù)四元數(shù)的數(shù)學(xué)描述，在Unity3D中，設(shè)計(jì)了以下四元數(shù)旋轉(zhuǎn)的方法：

(1)Quaternion.eulerAngles()方法表示旋轉(zhuǎn)的角度，首先繞Z軸旋轉(zhuǎn)euler.z，然后繞X軸旋轉(zhuǎn)euler.x，最后繞Y軸旋轉(zhuǎn)euler.y。

(2)Quaternion.Euler()方法，進(jìn)行一個(gè)歐拉旋轉(zhuǎn) ,即分別繞X軸、Y軸和Z軸旋轉(zhuǎn)α、β和γ。

(3)Quaternion.FromToRotation()方法，進(jìn)行從一個(gè)方向到另一個(gè)方向的旋轉(zhuǎn)。

(4)Quaternion.Inverse()方法，返回反向的旋轉(zhuǎn)。

(5)Quaternion.Lerp()、Quaternion.Slerp()和RotateTowards()方法。這三個(gè)方法均為插值方法， Lerp()為線性插值，Slerp()為球形插值，MoveTowards()在Lerp的基礎(chǔ)上增加了限制最大角度功能。當(dāng)需要從點(diǎn)A旋轉(zhuǎn)到點(diǎn)B時(shí)，可以考慮這些方法。

4.4 車(chē)間映射模型的實(shí)時(shí)信息顯示

目前，大多數(shù)監(jiān)控系統(tǒng)都是首先將車(chē)間內(nèi)定時(shí)采集的數(shù)據(jù)和信息存儲(chǔ)在數(shù)據(jù)庫(kù)中，如果想要查看車(chē)間內(nèi)某個(gè)設(shè)備的狀態(tài)信息，就從數(shù)據(jù)庫(kù)中調(diào)用采集時(shí)間最晚的信息，最后通過(guò)一些轉(zhuǎn)化顯示在監(jiān)控系統(tǒng)的界面上。通過(guò)分析這種實(shí)時(shí)信息顯示方法，不難發(fā)現(xiàn)它的信息很難滿(mǎn)足實(shí)時(shí)性要求，不可能實(shí)時(shí)采集信息，將采集時(shí)間間隔調(diào)整到滿(mǎn)足實(shí)時(shí)性要求，會(huì)造成采集頻率太高，硬件平臺(tái)負(fù)載急劇增加，有時(shí)甚至造成硬件損壞。因此，本文所提出的監(jiān)控系統(tǒng)摒棄了以前的實(shí)時(shí)信息顯示方法，開(kāi)發(fā)了一種新的實(shí)時(shí)性高的介入式顯示方法。

介入式顯示采用實(shí)時(shí)問(wèn)答機(jī)制，當(dāng)鼠標(biāo)左鍵單擊模型時(shí)，利用Unity3D中的ScreenPointToRay()方法，捕捉鼠標(biāo)左鍵單擊的具體模型，如圖6所示。根據(jù)射線擊中的模型，向車(chē)間內(nèi)對(duì)應(yīng)的具體設(shè)備發(fā)送獲取設(shè)備狀態(tài)指令，設(shè)備收到獲取設(shè)備狀態(tài)信息指令后，快速采集設(shè)備狀態(tài)信息，采集完成后反饋給監(jiān)控系統(tǒng)，最后在監(jiān)控界面射線擊中的模型中顯示設(shè)備狀態(tài)信息，從而完成了設(shè)備實(shí)時(shí)狀態(tài)信息的介入式顯示，整個(gè)過(guò)程如圖7所示。利用該機(jī)制不僅提高了狀態(tài)數(shù)據(jù)和信息顯示的實(shí)時(shí)性，還減小了系統(tǒng)運(yùn)行平臺(tái)的硬件壓力。

圖6 ScreenPointToRay()方法示意圖Fig.6 Schematic diagram of ScreenPointToRay() method

圖7 實(shí)時(shí)信息介入式顯示Fig.7 Real-time information intervention display

5 監(jiān)控系統(tǒng)的應(yīng)用實(shí)例

為了驗(yàn)證本文所提方法的可行性，筆者搭建了一個(gè)數(shù)字化車(chē)間桌面模擬平臺(tái)，硬件框架如圖8所示。桌面模擬平臺(tái)由1個(gè)模擬智能立體倉(cāng)庫(kù)、2臺(tái)模擬智能AGV、4個(gè)模擬智能加工單元和1臺(tái)LCD液晶顯示器組成。所有的智能設(shè)備的核心都是stm32f107zet6芯片，通過(guò)對(duì)該芯片進(jìn)行編程實(shí)現(xiàn)各個(gè)設(shè)備自組織、自適應(yīng)和自協(xié)調(diào)的功能。設(shè)備之間通過(guò)WIFI芯片，采用TCP/IP協(xié)議構(gòu)建無(wú)線局域網(wǎng)，實(shí)現(xiàn)各個(gè)設(shè)備之間的相互通信。桌面模擬平臺(tái)的工作原理如圖9所示。

針對(duì)該實(shí)驗(yàn)平臺(tái)，利用3DS MAX對(duì)其進(jìn)行三維等價(jià)造型，將輸出的.FBX格式的模型文件導(dǎo)入到Unity3D中，再建立監(jiān)控系統(tǒng)的實(shí)時(shí)數(shù)據(jù)庫(kù)，存儲(chǔ)感知層采集到的信息，最后結(jié)合C#編程建立了一種基于Unity3D的介入式3D實(shí)時(shí)監(jiān)控系統(tǒng)，該系統(tǒng)具有訂單管理、設(shè)備狀態(tài)顯示、物料信息顯示、工件狀態(tài)跟蹤、故障顯示等功能。圖10所示為某一時(shí)刻該系統(tǒng)實(shí)際運(yùn)行的監(jiān)控界面。當(dāng)鼠標(biāo)左鍵單擊在該系統(tǒng)的智能設(shè)備模型時(shí)，將會(huì)顯示該智能設(shè)備的狀態(tài)信息，圖10中，鼠標(biāo)左鍵單擊AGV1，顯示了AGV1的狀態(tài)信息。目前，該系統(tǒng)不僅能夠?qū)崟r(shí)動(dòng)態(tài)反映車(chē)間的狀態(tài)、倉(cāng)庫(kù)物料、零件加工和訂單等信息，而且監(jiān)控界面極大地提高了可視性和人機(jī)交互性。

圖8 數(shù)字化車(chē)間桌面模擬平臺(tái)硬件框架Fig.8 Hardware framework of digital workshop desktop simulation platform

圖9 數(shù)字化車(chē)間桌面模擬平臺(tái)工作原理圖Fig.9 Work principle of digital workshop desktop simulation platform

6 結(jié)語(yǔ)

數(shù)字化車(chē)間自動(dòng)化水平高、產(chǎn)品種類(lèi)多、產(chǎn)品工藝復(fù)雜、車(chē)間的信息復(fù)雜和突發(fā)情況較多，目前并沒(méi)有一種適用于數(shù)字化車(chē)間的合理高效的監(jiān)控方法。本文針對(duì)數(shù)字化車(chē)間開(kāi)發(fā)了一種基于Unity3D的能實(shí)時(shí)動(dòng)態(tài)反映車(chē)間的狀態(tài)、倉(cāng)庫(kù)物料、零件加工和訂單等信息的介入式3D實(shí)時(shí)監(jiān)控系統(tǒng)。首先，利用模塊化設(shè)計(jì)的思想，根據(jù)實(shí)際需求，設(shè)計(jì)了監(jiān)控系統(tǒng)的需求框架。然后，根據(jù)需求框架，設(shè)計(jì)了監(jiān)控系統(tǒng)的體系結(jié)構(gòu)和運(yùn)行模式。之后，研究了監(jiān)控系統(tǒng)的關(guān)鍵技術(shù)，針對(duì)車(chē)間部分信息隨時(shí)間改變的特性，提出了利用實(shí)時(shí)數(shù)據(jù)庫(kù)存儲(chǔ)車(chē)間信息的方法，設(shè)計(jì)了監(jiān)控系統(tǒng)的實(shí)時(shí)數(shù)據(jù)庫(kù)的E-R-T模型；針對(duì)結(jié)構(gòu)復(fù)雜的場(chǎng)景，為節(jié)省場(chǎng)景的運(yùn)行內(nèi)存和減輕場(chǎng)景的運(yùn)行壓力，采用了實(shí)例化技術(shù)、LOD技術(shù)和紋理映射技術(shù)，優(yōu)化了場(chǎng)景模型；為了實(shí)現(xiàn)場(chǎng)景中模型的動(dòng)態(tài)行為驅(qū)動(dòng)，利用Unity3D的Transform組件實(shí)現(xiàn)平移，利用四元數(shù)實(shí)現(xiàn)旋轉(zhuǎn)；提出了基于實(shí)時(shí)問(wèn)答機(jī)制的介入式顯示的方法。最后，搭建了數(shù)字化車(chē)間的桌面模擬平臺(tái)，利用本文所提方法構(gòu)建了該桌面模擬平臺(tái)的監(jiān)控系統(tǒng)，運(yùn)行結(jié)果表明，采用該監(jiān)控系統(tǒng)顯著提高了車(chē)間的透明度、實(shí)時(shí)性、可視性和人機(jī)交互性。

圖10 3D可視化監(jiān)控系統(tǒng)Fig.10 3D visual surveillance system

參考文獻(xiàn)：

[1] 周濟(jì). 智能制造——“中國(guó)制造2025”的主攻方向[J]. 中國(guó)機(jī)械工程, 2015, 26(17): 2273-2284.

ZHOU Ji. Intelligent Manufacturing—Main Direction of “Made in China 2025”[J]. China Mechanical Engineering, 2015, 26(17): 2273-2284.

[2] 伍俊. 基于Flash的自動(dòng)生產(chǎn)線上位機(jī)可視化監(jiān)控系統(tǒng)的研究[J]. 計(jì)算機(jī)應(yīng)用與軟件,2010,27(3):172-175.

WU Jun. On Flash-based Visual Monitoring System for Upper Computer in Automated Production Line [J]. Computer Applications and Software, 2010, 27(3):172-175.

[3] 賈晨輝, 張浩, 陸劍峰. 離散制造系統(tǒng)規(guī)劃與仿真建模研究[J]. 計(jì)算機(jī)工程與應(yīng)用, 2007, 43(3):242-245.

JIA Chenhui, ZHANG Hao, LU Jianfeng. Research on Planning and Simulation Modeling of Discrete Manufacturing System[J]. Computer Engineering & Applications, 2007, 43(3):242-245.

[4] LI Yangming, LIU Chengliang. Integrating Field Data and 3D Simulation for Tower Crane Activity Monitoring and Alarming[J]. Automation in Construction, 2012, 27(11): 111-119.

[5] 任銅擘. 自動(dòng)化立體倉(cāng)庫(kù)三維可視化監(jiān)控系統(tǒng)設(shè)計(jì)[D]. 保定：河北大學(xué), 2013.

REN Tongbo. The Design of Automated Warehouse 3D Visualization Monitoring System[D]. Baoding: Hebei University, 2013.

[6] 閔佳園. MPS組態(tài)監(jiān)控系統(tǒng)的三維設(shè)計(jì)與仿真[D]. 上海: 上海交通大學(xué), 2007.

MIN Jiayuan. Design and Realization of Wireless Communication Module of Modular Production System[D]. Shanghai: Shanghai Jiao Tong University, 2007.

[7] 尹超，張飛，李孝斌，等. 多品種小批量機(jī)加工車(chē)間生產(chǎn)任務(wù)執(zhí)行情況可視化動(dòng)態(tài)監(jiān)控系統(tǒng)[J]. 計(jì)算機(jī)集成制造系統(tǒng)，2013,19(1)：46-54.

YIN Chao, ZHANG Fei, LI Xiaobin, et al. Visualization Dynamic Monitoring System of Production Execution for Multi-variety and Small-batch Job Shop[J]. Computer Integrated Manufacturing Systems, 2013, 19(1):46-54.

[8] 劉明周，王強(qiáng)，馬靖. 基于實(shí)時(shí)信息驅(qū)動(dòng)的制造過(guò)程可視化監(jiān)控平臺(tái)[J]. 中國(guó)機(jī)械工程，2015,26(18) : 2466-2472

LIU Mingzhou, WANG Qiang, MA Jing. Visual Monitoring Platform of Manufacturing Process Based on Real-time Information Driven[J]. China Mechanical Engineering, 2015, 26(18): 2466-2472.

[9] 劉昭斌，劉文芝，顧才東，等 基于智能制造系統(tǒng)的物聯(lián)網(wǎng)3D監(jiān)控[J]. 實(shí)驗(yàn)技術(shù)與管理，2015, 32(2)：89-93.

LIU Zhaobin, LIU Wenzhi, GU Caidong, et al. 3D Monitoring for IOT Based on Intelligent Manufacturing System[J]. Experimental Technology & Management, 2015, 32(2)：89-93.

[10] 徐國(guó)風(fēng). 實(shí)時(shí)數(shù)據(jù)庫(kù)關(guān)鍵技術(shù)研究[D]. 西安：西安建筑科技大學(xué),2006.

XU Guofeng. Study of Pivotal Technologies for Real-time Databases[D]. Xi’an: Xi’an University of Architecture and Technology, 2006.

[11] 欒悉道，應(yīng)龍，謝毓湘，等. 三維建模技術(shù)研究進(jìn)展[J]. 計(jì)算機(jī)科學(xué),2008(2):208-210.

LUAN Xidao, YING Long, XIE Shuxiang, et al. Advances in Study of 3D Modeling[J]. Computer Science, 2008(2): 208-210.

[12] 姜葳. 用戶(hù)界面設(shè)計(jì)研究[D]. 杭州：浙江大學(xué), 2006.

JIANG Wei. Research on User Interface Design[D]. Hangzhou: Zhejiang University, 2006.

[13] 蔡業(yè)彬. 模塊化設(shè)計(jì)方法及其在機(jī)械設(shè)計(jì)中的應(yīng)用[J]. 機(jī)械設(shè)計(jì)與制造, 2005(8):154-156.

CAI Yebin. The Method of Modularization Design and Its Application in Machine Design[J]. Machinery Design & Manufacture, 2005(8):154-156.

[14] LI Yadong, CUI Wenqiang, LI Danlan, et al. Research Based on OSI Model[C]//IEEE, International Conference on Communication Software and Networks. Xi’an, 2011:554-557.

[15] 艾紅,周東華. 動(dòng)態(tài)系統(tǒng)的故障預(yù)測(cè)方法[J]. 華中科技大學(xué)學(xué)報(bào)(自然科學(xué)版),2009,37(增刊1):222-225.

AI Hong, ZHOU Donghua. Fault Prediction Approach for Dynamic System[J]. Journal of Huazhong University(Science & Technology), 2009,37(S1):222-225.

[16] 劉云山.實(shí)時(shí)數(shù)據(jù)庫(kù)系統(tǒng)[M]. 北京: 科學(xué)出版社, 2012.

LIU Yunshan. Real-time Database System[M]. Beijing: Science Publishing Company, 2012.

[17] 田師聰. 基于實(shí)例化的實(shí)時(shí)三維場(chǎng)景繪制加速研究與實(shí)現(xiàn)[D]. 成都：電子科技大學(xué), 2013.

TIAN Shicong. Research and Implementation on 3D real-time Rendering Optimization Based-on Instancing[D]. Chengdu: University of Electronic Science and Technology, 2013.

[18] 郭陽(yáng)明,翟正軍,陸艷紅. 虛擬場(chǎng)景生成中的LOD技術(shù)綜述[J]. 計(jì)算機(jī)仿真,2005, 22 (12):180-184.

GUO Yangming, ZHAI Zhengjun, LU Yanhong. A Survey: Technologies of LOD in Virtual Environment Generation[J]. Computer Simulation, 2005, 22(12):180-184.

[19] 左魯梅,黃心淵. 紋理映射技術(shù)在三維游戲引擎中的應(yīng)用[J]. 計(jì)算機(jī)仿真,2004, 21(10):146-148.

ZUO Lumei, HUANG Xinyuan. Texture Mapping and Its Application in 3D Game Engine[J]. Computer Simulation, 2004, 21(10):146-148.

[20] VASS G. Avoiding Gimbal Lock[J]. Computer Graphics World, 2009, 32(6):10-11.