深度學(xué)習(xí)在混合現(xiàn)實(shí)車間巡檢中的應(yīng)用①

劉云江, 關(guān) 慧,2, 王鴻亮, 王繼娜

1(沈陽化工大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院, 沈陽 110142)

2(遼寧省化工過程工業(yè)智能化技術(shù)重點(diǎn)實(shí)驗(yàn)室, 沈陽 110142)

3(中國(guó)科學(xué)院 沈陽計(jì)算技術(shù)研究所, 沈陽 110168)

4(中國(guó)科學(xué)院大學(xué), 北京 100049)

5(遼寧省先進(jìn)裝備制造業(yè)基地建設(shè)工程中心, 沈陽 110001)

隨著智能制造與信息技術(shù)的融合發(fā)展, 智能制造正在成為制造業(yè)發(fā)展的主要趨勢(shì), 巡檢是智能制造發(fā)展的重要一環(huán), 是車間設(shè)備正常運(yùn)行的重要保障[1]. 混合現(xiàn)實(shí)技術(shù)作為信息技術(shù)的一種, 可以有效地輔助企業(yè)提高生產(chǎn)效率, 降低運(yùn)維成本, 提升員工專業(yè)技能水平, 加速產(chǎn)業(yè)智能升級(jí)[2]. 混合現(xiàn)實(shí)技術(shù)(MR)是虛擬現(xiàn)實(shí)(VR)技術(shù)的進(jìn)一步發(fā)展, 它不同于虛擬現(xiàn)實(shí)技術(shù)的虛擬化信息的單獨(dú)存在, 也不同于增強(qiáng)現(xiàn)實(shí)(AR)技術(shù)的現(xiàn)實(shí)信息與虛擬信息的簡(jiǎn)單疊加[3], 而在于物理環(huán)境與數(shù)字世界融合在一起, 使其在視覺和聽覺上與所處世界融為一體.

在大型生產(chǎn)車間的巡檢中, 邱俊豪等設(shè)計(jì)的設(shè)備點(diǎn)檢與巡檢管理系統(tǒng)利用Web 系統(tǒng)和小程序解決了現(xiàn)存點(diǎn)檢流程中主要依靠紙質(zhì)記錄各類信息的低效率問題[4]. 在圖書館設(shè)備運(yùn)維方面, 孫臻等利用混合現(xiàn)實(shí)設(shè)備輔助運(yùn)維人員處理故障, 提高了設(shè)備運(yùn)維效率[3].在智能車間巡檢方面, 劉敏洋等提出了一套工業(yè)智能運(yùn)維系統(tǒng), 通過對(duì)混合現(xiàn)實(shí)技術(shù)的應(yīng)用達(dá)到工廠智能化管理的目的[2]. 相較于傳統(tǒng)的車間巡檢方法而言, 從Web 系統(tǒng)和小程序到混合現(xiàn)實(shí)技術(shù)的應(yīng)用已經(jīng)有了長(zhǎng)足的進(jìn)步, 針對(duì)于混合現(xiàn)實(shí)技術(shù)的應(yīng)用而言, 李玄基在基于HoloLens 增強(qiáng)現(xiàn)實(shí)的關(guān)鍵技術(shù)研究與實(shí)現(xiàn)的目標(biāo)空間定位實(shí)驗(yàn)中, 設(shè)備的真實(shí)空間位置同目標(biāo)空間定位計(jì)算出的位置進(jìn)行對(duì)比發(fā)現(xiàn)存在著一定的空間誤差范圍[5], 此時(shí), 若加上設(shè)備的類別信息則可以提高識(shí)別不同設(shè)備的能力. 為了提高設(shè)備的識(shí)別率, 本文將深度學(xué)習(xí)應(yīng)用到混合現(xiàn)實(shí)車間巡檢中. 傳統(tǒng)的淺層次結(jié)構(gòu)模型在處理圖像數(shù)據(jù)方面表現(xiàn)較差, 特征提取難以滿足要求, 而深度學(xué)習(xí)在彌補(bǔ)了這一缺陷, 提取圖像深層次的結(jié)構(gòu)特征方面更具有優(yōu)勢(shì)[6]. 本文采用了卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行設(shè)備的分類識(shí)別, 完成分類識(shí)別后再通過位置信息確認(rèn)設(shè)備, 提高了HoloLens 利用率和識(shí)別率.

混合現(xiàn)實(shí)技術(shù)在醫(yī)學(xué)、工業(yè)制造和軍事等領(lǐng)域已經(jīng)得到了廣泛應(yīng)用, 作為混合現(xiàn)實(shí)技術(shù)實(shí)現(xiàn)的載體, 其代表產(chǎn)品為Magic Leap 公司的Magic Leap One、 微軟公司的HoloLens[7-10]. 本文采用了微軟公司于2019年2 月25 日最新發(fā)布的HoloLens2 設(shè)備進(jìn)行實(shí)驗(yàn).

1 混合現(xiàn)實(shí)的車間巡檢架構(gòu)

1.1 混合現(xiàn)實(shí)車間巡檢

首先, 邊緣設(shè)備的基本信息、運(yùn)行狀態(tài)等數(shù)據(jù)通過網(wǎng)卡收集, 然后通過控制系統(tǒng), 最終存儲(chǔ)到服務(wù)器上的MySQL 數(shù)據(jù)庫中; 其次, 用于進(jìn)行深度學(xué)習(xí)訓(xùn)練的數(shù)據(jù)集存儲(chǔ)在服務(wù)器上, 訓(xùn)練采用深度學(xué)習(xí)框架PyTorch搭建ResNet50 網(wǎng)絡(luò), 將訓(xùn)練完成后的權(quán)重文件保存在服務(wù)器上, 并使用PyTorchServe 搭建Web 服務(wù), 提供設(shè)備分類識(shí)別功能; 巡檢人員頭戴HoloLens 在車間巡檢到某邊緣設(shè)備, 通過HoloLens 的攝像機(jī)功能發(fā)送該設(shè)備圖像到服務(wù)器, 服務(wù)器通過設(shè)備分類識(shí)別功能驗(yàn)證后, 再次發(fā)送由HoloLens 的空間定位功能獲取的位置信息, 并與數(shù)據(jù)庫中的設(shè)備位置信息進(jìn)行比對(duì), 成功則返回該設(shè)備的在數(shù)據(jù)庫中的信息; 最后, HoloLens 顯示三維信息并通過網(wǎng)絡(luò)同步到顯示器上.

1.2 整體架構(gòu)

本系統(tǒng)共包含了5 層結(jié)構(gòu), 即邊緣設(shè)備層、數(shù)據(jù)接入層、數(shù)據(jù)存儲(chǔ)層、應(yīng)用實(shí)現(xiàn)層和應(yīng)用交互層, 系統(tǒng)整體架構(gòu)圖如圖1 所示.

圖1 系統(tǒng)整體架構(gòu)圖

邊緣設(shè)備層主要包括數(shù)控機(jī)床、數(shù)控系統(tǒng)及工業(yè)機(jī)器人等設(shè)備, 通過部署的網(wǎng)卡采集數(shù)據(jù), 是實(shí)現(xiàn)車間巡檢的基礎(chǔ); 數(shù)據(jù)接入層對(duì)采集到的數(shù)據(jù)進(jìn)行管理與整合, 通過控制系統(tǒng)將數(shù)據(jù)存入數(shù)據(jù)存儲(chǔ)層的MySQL數(shù)據(jù)庫中; 應(yīng)用實(shí)現(xiàn)層通過混合現(xiàn)實(shí)開發(fā)包(MRTK)開發(fā)HoloLens 應(yīng)用, 在服務(wù)器端部署PyTorchServe 服務(wù), 實(shí)現(xiàn)設(shè)備分類識(shí)別功能; 應(yīng)用交互層提供了交互設(shè)備, 包括HoloLens 以及同步HoloLens 交互界面的顯示器, 這些應(yīng)用平臺(tái)可以輔助巡檢人員實(shí)時(shí)掌握車間運(yùn)行狀態(tài), 維護(hù)車間正常運(yùn)行.

1.3 巡檢功能

空間定位功能: 在車間入口處啟動(dòng)并佩戴HoloLens,以此時(shí)的位置為世界坐標(biāo)原點(diǎn)[5], 實(shí)際的車間設(shè)備的位置是相對(duì)于原點(diǎn)的; 當(dāng)車間巡檢人員佩戴HoloLens 移動(dòng)到目標(biāo)設(shè)備前, 可以通過空間定位功能計(jì)算出該目標(biāo)設(shè)備的相對(duì)位置, 通過比對(duì)數(shù)據(jù)庫中的位置信息判斷出當(dāng)前設(shè)備.

分類識(shí)別功能: 在巡檢作業(yè)時(shí), 由于HoloLens 的空間定位能力存在范圍誤差, 而且需要檢查的設(shè)備并非所有設(shè)備, 需要排除一些噪聲. 因此, 為了提高HoloLens的識(shí)別率以及過濾這些噪聲, 在進(jìn)行巡檢作業(yè)中, 需要通過分類識(shí)別功能確認(rèn)設(shè)備類別, 提高HoloLens 的利用率和識(shí)別率.

除了顯示信息, 用戶還可以通過人機(jī)交互功能對(duì)當(dāng)前巡檢設(shè)備添加日志信息, 并將日志信息存入數(shù)據(jù)庫進(jìn)行持久化處理, 如圖2 所示.

圖2 巡檢示意圖

1.4 混合現(xiàn)實(shí)人機(jī)交互

HoloLens 設(shè)備具有的交互方式主要包括手勢(shì)識(shí)別交互、凝視交互和語音識(shí)別交互.

基于手勢(shì)識(shí)別的交互方式: HoloLens 上有兩個(gè)神經(jīng)網(wǎng)絡(luò)來識(shí)別手勢(shì), 一個(gè)神經(jīng)網(wǎng)絡(luò)一直處于運(yùn)行中, 負(fù)責(zé)判斷是否識(shí)別到了手勢(shì), 當(dāng)通過初步檢驗(yàn)后, 打開第2 個(gè)神經(jīng)網(wǎng)絡(luò)來精確識(shí)別手勢(shì). 通過HoloLens 朝向外部的攝像頭識(shí)別到使用者的手部姿勢(shì)后, 在混合現(xiàn)實(shí)畫面中呈現(xiàn)人體手部骨骼運(yùn)動(dòng)狀態(tài)的虛擬UI[2], 通過手部跟蹤技術(shù)對(duì)虛擬對(duì)象實(shí)現(xiàn)交互操作, 相對(duì)于傳統(tǒng)交互的方式而言是一種更加自然、直觀的交互方式.

基于眼動(dòng)追蹤的凝視交互方式: HoloLens 在鼻梁部位有兩個(gè)用于眼動(dòng)追蹤的紅外相機(jī), 以獲得眼球圖像數(shù)據(jù)用于眼動(dòng)追蹤計(jì)算, 其支持實(shí)時(shí)的眼動(dòng)追蹤和注視點(diǎn)渲染, 可以用于與虛擬物體進(jìn)行交互、操控顯示頁面等.

基于語音識(shí)別的交互方式: HoloLens 前方上端有3 個(gè)小孔負(fù)責(zé)收集環(huán)境音的聲音, 而在護(hù)目鏡的底端的麥克風(fēng)則收集用戶語音, 它正好在用戶嘴唇的上方, 這使得在嘈雜的環(huán)境中依然可以使用語音操作. 語音識(shí)別交互技術(shù)主要通過采集用戶的語音指令生成控制指令, 處理后執(zhí)行最匹配的結(jié)果.

3 種交互方式相輔相成, 首先通過注視目標(biāo), 然后再通過手勢(shì)(隔空敲擊)、語音命令(說出選擇命令)或者停留(用戶凝視著要選擇的目標(biāo))來確認(rèn)選擇目標(biāo)進(jìn)行交互, 如圖3 所示.

圖3 人機(jī)交互圖

2 設(shè)備的分類識(shí)別

在車間環(huán)境下, 由于HoloLens 的空間定位能力只在一定的范圍內(nèi)可以識(shí)別出設(shè)備, 所以加上類別信息進(jìn)行區(qū)分可以在一定程度上提高其識(shí)別效果. 傳統(tǒng)的淺層特征識(shí)別容易受到車間環(huán)境的影響, 特征提取能力不足, 因此, 本文利用卷積神經(jīng)網(wǎng)絡(luò)(CNN)的深層特征提取能力, 彌補(bǔ)了空間定位能力的不足, 同時(shí)減少噪聲對(duì)設(shè)備的識(shí)別干擾, 提高識(shí)別能力.

CNN 是機(jī)器學(xué)習(xí)中常見的模型結(jié)構(gòu), 在圖像領(lǐng)域有著非常廣泛的應(yīng)用并且取得了一定的成就[11]. 在圖像分類任務(wù)上AlexNet[12]、VGGNet[13]和GoogleNet[14]均已被證明可以取得良好的識(shí)別效果. 本文采用的網(wǎng)絡(luò)模型是微軟實(shí)驗(yàn)室提出的ResNet[15], 斬獲當(dāng)年ImageNet 競(jìng)賽中分類任務(wù)第一名, 并且將錯(cuò)誤率降低到了3.75%, 其優(yōu)勢(shì)在于可以利用更深層次的網(wǎng)絡(luò)解決訓(xùn)練誤差隨網(wǎng)絡(luò)層數(shù)的增加而增大的問題[6].

為了解決該問題, 引入了殘差結(jié)構(gòu)單元, 其主要功能被稱為跳躍連接 (如圖4 所示). 圖中H(x)為理想映射,F(x) 為殘差映射,H(x)=F(x)+x, 把輸出變?yōu)閿M合和輸入的疊加, 保護(hù)了信息的完整性, 解決了加深網(wǎng)絡(luò)層次導(dǎo)致的梯度消失或梯度爆炸等問題[16].

圖4 殘差結(jié)構(gòu)單元

本文利用深度學(xué)習(xí)框架PyTorch 構(gòu)建的50 層ResNet網(wǎng)絡(luò)結(jié)構(gòu)模型, 訓(xùn)練時(shí)未使用dropout 層而是采用了BN 層, 并將BN 層放在卷積層和激活層之間, 且卷積層不使用偏置. 該框架分類模型的輸入為224×224 大小的圖片, 第一個(gè)卷積層的參數(shù)是64 個(gè)7×7 的卷積核,stride 為2, padding 為3, bias 設(shè)置為false; 然后設(shè)置BN 層進(jìn)行標(biāo)準(zhǔn)化處理, 激活函數(shù)使用ReLU; 最后通過最大池化層下采樣處理后. 然后進(jìn)行后面的4 個(gè)卷積層操作, 其殘差結(jié)構(gòu)的個(gè)數(shù)分別為3、4、6、3. 通過平均池化層下采樣處理后, 因需要輸出6 類, 故將最后的全連接層的神經(jīng)元個(gè)數(shù)設(shè)置為6, 最后經(jīng)過Softmax層處理輸出輸入圖片被分為某一類的概率.

3 實(shí)驗(yàn)分析

3.1 樣本數(shù)據(jù)采集

數(shù)據(jù)來源: 由于這類工業(yè)機(jī)器人、數(shù)控機(jī)床和數(shù)控系統(tǒng)的圖像數(shù)據(jù)廣泛分布于互聯(lián)網(wǎng)中, 其中百度的圖片搜索引擎搜集的數(shù)據(jù)量較大, 符合實(shí)驗(yàn)要求. 因此,數(shù)據(jù)集的采集主要通過百度圖庫下載.

數(shù)據(jù)類別: 被采集的數(shù)據(jù)一共分為6 類, 其中待識(shí)別的數(shù)據(jù)準(zhǔn)備了3 類(工業(yè)機(jī)器人、數(shù)控機(jī)床和數(shù)控系統(tǒng)), 由于在采集的待識(shí)別的數(shù)據(jù)集中存在噪聲特征(如人類)及數(shù)控系統(tǒng)的輪廓與其它數(shù)據(jù)(如書籍和圖表)的輪廓特征有一定的模糊性, 于是在實(shí)驗(yàn)過程中加入了另外3 類噪聲數(shù)據(jù)(人類、書籍、圖表).

采集過程: 首先利用自定義的爬蟲工具根據(jù)關(guān)鍵字下載特定的圖像數(shù)據(jù), 然后再經(jīng)過人為篩選(若符合某類特征, 則保留數(shù)據(jù), 否則過濾掉數(shù)據(jù)), 保留符合要求的數(shù)據(jù). 由于每種類別數(shù)據(jù)大概在1 500 張圖片左右, 采集到的圖像數(shù)據(jù)經(jīng)處理后按7:3 的比例分為測(cè)試集和驗(yàn)證集, 最后通過在車間實(shí)際采集到的圖片數(shù)據(jù)進(jìn)行測(cè)試.

3.2 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)主要在服務(wù)器上進(jìn)行, 操作系統(tǒng)是CentOS,深度學(xué)習(xí)框架采用PyTorch, 設(shè)備的分類識(shí)別服務(wù)采用PyTorchServe 部署在服務(wù)器上. 服務(wù)器上的處理器是NVIDIA GeForce RTX 3090, 24 GB 顯存, 對(duì)應(yīng)的CUDA版本號(hào)是11.1. Python 版本號(hào)是3.8.8.

3.3 深度學(xué)習(xí)訓(xùn)練實(shí)驗(yàn)

在實(shí)驗(yàn)中, 用loss 值來判斷ResNet 網(wǎng)絡(luò)模型學(xué)習(xí)訓(xùn)練的成功性, 用accuracy 值來評(píng)判識(shí)別的準(zhǔn)確性. 采集的訓(xùn)練集總計(jì)有6 960 個(gè)樣本, 其中待識(shí)別數(shù)據(jù)集3 類一共3 259 個(gè)樣本, 干擾數(shù)據(jù)集3 類一共3 701 個(gè)樣本. 為了優(yōu)化神經(jīng)網(wǎng)絡(luò), 加快訓(xùn)練的過程, 使用了隨機(jī)梯度下降(SGD)的優(yōu)化方法, 初始時(shí), 梯度值的學(xué)習(xí)率(lr)設(shè)置為0.001, 動(dòng)量(momentum)為0.9, 權(quán)重衰減參數(shù)為0.005.

實(shí)驗(yàn)過程: 在準(zhǔn)確率方面, 前200 次迭代, 訓(xùn)練效果顯著, 準(zhǔn)確率提升較快; 但200 到600 次一直處于波動(dòng)狀態(tài), 第800 次迭代后, accuracy 逐漸收斂, 穩(wěn)定在0.965 附近. 訓(xùn)練過程的accuracy 特征曲線如圖5 所示.實(shí)驗(yàn)迭代一共1 000 次, 在900 次基本上完成收斂,loss 值趨于0.064 附近, 此時(shí)得到訓(xùn)練模型, loss 值越小, 模型擬合效果越好, 訓(xùn)練過程的loss 特征曲線如圖6 所示.

圖5 訓(xùn)練過程的accuracy 特征曲線圖

圖6 訓(xùn)練過程的loss 特征曲線

在實(shí)驗(yàn)中發(fā)現(xiàn), 工業(yè)機(jī)器人樣本圖像中可能會(huì)出現(xiàn)車間工人的特征信息, 而數(shù)控系統(tǒng)在邊緣特征上與圖表和書籍(矩形框)樣本有一定的相似度, 會(huì)形成一定的干擾作用. 為了提高精度, 便將這些帶有干擾特征的樣本作為新的類別, 并建立對(duì)應(yīng)的數(shù)據(jù)集, 當(dāng)某類特征在圖像占主要特征時(shí), 則識(shí)別為該類, 如圖7 所示(class 為識(shí)別類別, prob 為識(shí)別率).

圖7 工業(yè)機(jī)器人識(shí)別

以工業(yè)機(jī)器人的識(shí)別為例, 4 張子圖中包括了機(jī)器人和人類的特征信息. 若工業(yè)機(jī)器人的特征在待識(shí)別圖像中占主導(dǎo)特征, 則識(shí)別為工業(yè)機(jī)器人; 若人類的特征信息在待識(shí)別圖像中占主導(dǎo)特征, 則識(shí)別為人類.

3.4 深度學(xué)習(xí)測(cè)試實(shí)驗(yàn)

當(dāng)epoch=304 時(shí), 其中pic=1 的工業(yè)機(jī)器人和pic=3 的數(shù)控系統(tǒng)的圖像都被識(shí)別為了書籍; 但在epoch=352后, pic=1 的工業(yè)機(jī)器人識(shí)別正常, 準(zhǔn)確率逐漸上升; 而pic=3 的數(shù)控系統(tǒng)在epoch=505 后才開始識(shí)別成功, 最后達(dá)到98.60%.

測(cè)試實(shí)驗(yàn)結(jié)果表明: 將噪聲單獨(dú)提取成一類, 在一定程度上提高了ResNet50 的識(shí)別率, 可以區(qū)分邊緣特征相似的B 與D (表1 中: pic=1 代表圖8 中的第一個(gè)子圖, 其余子圖以此類推; epoch 值從0 開始, 代表第一輪; 類別A 代表Industrial_robot, 即工業(yè)機(jī)器人, 類別B 代表Numerical_control_system, 即數(shù)控系統(tǒng), 類別C 代表Numerical_machine_tool, 即數(shù)控機(jī)床; 類別D 代表干擾噪聲books).

表1 測(cè)試實(shí)驗(yàn)結(jié)果

圖8 測(cè)試實(shí)驗(yàn)圖

3.5 混合現(xiàn)實(shí)巡檢應(yīng)用

巡檢人員在佩戴HoloLens 后, 在車間入口處啟動(dòng)設(shè)備, 并打開巡檢應(yīng)用程序. 當(dāng)巡檢到某機(jī)床設(shè)備時(shí),點(diǎn)擊拍照, 采集到的圖像會(huì)顯示在虛擬UI 上; 再點(diǎn)擊預(yù)測(cè), 圖像被上傳至服務(wù)器; 最后點(diǎn)擊顯示, 若通過服務(wù)器驗(yàn)證, 則顯示該機(jī)床的基本信息、運(yùn)行狀態(tài)和報(bào)警等運(yùn)維詳細(xì)信息, 完成日常巡檢任務(wù). 巡檢過程中,還可以在下面的輸入框中通過基于語音識(shí)別的交互方式錄入日志信息, 巡檢效果圖如圖9 所示.

圖9 混合現(xiàn)實(shí)巡檢效果圖

4 結(jié)論與展望

相對(duì)于傳統(tǒng)的車間人工巡檢, 本文將深度學(xué)習(xí)應(yīng)用到混合現(xiàn)實(shí)車間巡檢中提高了巡檢人員的工作效率,利用了卷積神經(jīng)網(wǎng)絡(luò)中識(shí)別率較高的ResNet 在一定程度上彌補(bǔ)了HoloLens 空間定位功能的不足之處, 通過類別和定位信息的方式識(shí)別設(shè)備, 提高了HoloLens的利用率和識(shí)別率. 實(shí)驗(yàn)結(jié)果表明, ResNet 在實(shí)際應(yīng)用環(huán)境中識(shí)別率較高, 有效的過濾了噪聲. 但是ResNet所需的訓(xùn)練時(shí)間較長(zhǎng), 對(duì)于車間設(shè)備圖像中帶有的噪聲特征有一定的模糊性, 接下來可以進(jìn)行目標(biāo)檢測(cè)技術(shù)的應(yīng)用實(shí)驗(yàn), 同時(shí)進(jìn)行多個(gè)車間設(shè)備的巡檢, 進(jìn)一步提高HoloLens 的利用率和識(shí)別率.