基于可穿戴增強現(xiàn)實的車間現(xiàn)場智能分揀

方 維，安澤武

(1.北京郵電大學 自動化學院,北京 100876；2.北京市郵政智能裝備工程技術研究中心,北京 100096；3.北京航空航天大學 機械工程及自動化學院,北京 100191)

0 引言

貨物分揀是工人根據(jù)分揀清單，從車間現(xiàn)場貨架上查找目標貨柜位置，并根據(jù)指定分揀數(shù)量將貨物搬運至移動運輸車的指定位置，進而運輸至下一工序現(xiàn)場，使貨物在生產(chǎn)制造和物流運輸過程中流轉，該過程是當前生產(chǎn)制造中的一個重要環(huán)節(jié)[1]。近年來，雖然已有一些自動化分揀和倉儲系統(tǒng)，但是在部分特定的生產(chǎn)環(huán)節(jié)，仍然大量依賴基于手工作業(yè)的訂單式分揀流程[2]。在現(xiàn)有手工分揀過程中，工人主要以紙質分揀單的形式，按流程邏輯依次讀取和理解文本描述信息，并執(zhí)行相應的手工分揀任務。然而，反復高頻率地讀取和理解待分揀目標編碼，在現(xiàn)場貨架查找待分揀目標位置的過程，容易使工人疲勞并出現(xiàn)分揀錯誤，難以持續(xù)保證實際分揀操作和理論任務規(guī)劃的一致性[3]，尤其在工業(yè)生產(chǎn)現(xiàn)場，作為整個物料運輸?shù)年P鍵環(huán)節(jié)，分揀流程的效率和準確性會極大制約整個產(chǎn)品的生產(chǎn)制造流程。為提高手工分揀效率并降低分揀過程中發(fā)生誤揀的概率，研究用直觀可視化的分揀表征方法代替?zhèn)鹘y(tǒng)紙質文本分揀單的形式，已經(jīng)成為當前智能分揀的一個重要方向[4]。

作為一項革命性的虛實融合技術，增強現(xiàn)實可將待作業(yè)任務信息以可視化的方式呈現(xiàn)在工人視場中，實現(xiàn)手工操作的智能可視化輔助功能[5-6]。相比傳統(tǒng)基于紙質分揀單的方法，增強現(xiàn)實技術在一定程度上突破了傳統(tǒng)邏輯本文方式對分揀信息表達的局限，在分揀效率和分揀準確性上均具優(yōu)勢[7]。GUO等[8]和FAGER等[9]借助頭戴式顯示(Head-Mounted-Displays，HMD)設備，如谷歌的增強現(xiàn)實眼鏡Google Glass，將待分揀過程中的任務邏輯轉化為可視化分揀指引信息呈現(xiàn)在工人視場中，引導工人執(zhí)行手工分揀任務。然而在分揀現(xiàn)場，由于該增強現(xiàn)實設備(如Google Glass)缺乏穩(wěn)定的空間定位能力，難以將待分揀目標的增強可視化信息(如其在貨架中的位置)與實際車間的物理現(xiàn)場進行幾何一致性關聯(lián)，分揀工人只能根據(jù)HMD設備上顯示的分揀任務和目標信息，通過腦力持續(xù)不斷地在車間現(xiàn)場查找待分揀目標的貨架和貨柜位置。類似地，HANSON等[10]采用Microsoft Hololens作為可穿戴的HMD設備來輔助手工分揀過程，但其仍然沒有在可視化分揀任務信息和車間物理現(xiàn)場貨架之間建立準確的空間對應關系。相比Google Glass，雖然Microsoft Hololens具有良好的自主跟蹤定位能力[11]，能將增強分揀信息與車間物理環(huán)境進行融合，但是在工業(yè)現(xiàn)場弱紋理環(huán)境中易出現(xiàn)跟蹤定位失敗，而且其定位精度會隨時間和現(xiàn)場環(huán)境的變化產(chǎn)生漂移，難以持續(xù)穩(wěn)定地將待分揀任務信息疊加在車間現(xiàn)場。上述增強現(xiàn)實分揀系統(tǒng)雖然能將待分揀任務轉化為HMD的可視化信息，但是由于其未能將分揀任務信息與車間現(xiàn)場物理貨架間的空間位置關聯(lián)，難以將待分揀的可視化輔助信息準確地標注在實際分揀現(xiàn)場，工人仍然需要根據(jù)視場中的可視化分揀清單，持續(xù)不斷地通過腦力在車間物理現(xiàn)場查找目標貨架和貨位來執(zhí)行預定的分揀任務。

相比上述獨立于車間物理現(xiàn)場的增強現(xiàn)實分揀系統(tǒng)，為實現(xiàn)增強分揀過程中信息系統(tǒng)與分揀現(xiàn)場貨架間的位姿互聯(lián)，Reif等[12]通過在分揀現(xiàn)場部署一定數(shù)量的紅外相機，并建立該相機系統(tǒng)與現(xiàn)場貨架間的空間位置關系，將具有反射特性的人工標識固連在可穿戴頭盔上進行實時定位，進而在手工分揀過程中，根據(jù)分揀可視化信息系統(tǒng)與物理貨架間的位姿關聯(lián)，將待分揀任務信息疊加在物理現(xiàn)場并呈現(xiàn)在工人的HMD上。然而該增強分揀系統(tǒng)的環(huán)境適應性較差，當分揀現(xiàn)場環(huán)境或貨架位置發(fā)生變化時，該視覺跟蹤系統(tǒng)需要重新安裝和標定，且其設備布置成本隨現(xiàn)場分揀區(qū)域面積的增加而增加。為此，在作業(yè)現(xiàn)場布置人工標識的增強現(xiàn)實分揀方法被廣泛應用于工業(yè)制造現(xiàn)場[5，13]。利用基于人工標識的識別和定位，將待分揀的目標貨位等信息以可視化形式疊加在物理分揀現(xiàn)場，能夠有效避免工人在車間現(xiàn)場持續(xù)查找目標貨位。TUMLER等[14]在待分揀的目標貨柜上布置相應的人工標識，借助可穿戴的增強現(xiàn)實技術，通過識別目標貨位下對應的人工標識，將分揀任務信息準確疊加在分揀現(xiàn)場，引導工人執(zhí)行手工分揀操作。與上述方法相似，KRAJCOVIC等[15]也采用基于人工標識的方法，首先利用安裝在可穿戴增強現(xiàn)實系統(tǒng)下的相機獲取分揀物理場景下的圖像信息，然后利用圖像分割、特征提取和匹配等方法檢索得到目標貨位下的人工標識，計算當前增強現(xiàn)實系統(tǒng)相對于目標貨位的位姿，實現(xiàn)待分揀任務信息在物理貨架現(xiàn)場上的準確疊加。上述基于人工標識的方法，通過構建分揀任務可視化信息和物理分揀現(xiàn)場間的位姿關聯(lián)，將待分揀的目標貨位以某種特定形式(如高亮標記)顯示在HMD上，避免了工人在高密度貨架上繁重的腦力搜索。然而，由于上述方法在分揀現(xiàn)場缺乏不同人工標識間的空間位置關系，只有當貨架上的人工標識被特定位置的相機所視并識別時，該可穿戴增強現(xiàn)實系統(tǒng)才能正確地進行分揀可視化指引，當貨架上的某些人工標識掉落或被污染時，該增強分揀系統(tǒng)將無法正常工作。

為進一步提高可穿戴增強現(xiàn)實分揀系統(tǒng)的車間現(xiàn)場適用性，本文在現(xiàn)有人工標識增強分揀系統(tǒng)[14-15]的基礎上，提出一種基于分揀現(xiàn)場地圖的全局感知和定位模型，通過構建分揀現(xiàn)場環(huán)境下基于人工標識的全局地圖，引入基于現(xiàn)場全局地圖的增強可視化導航，構建更具環(huán)境適應性的信息和物理關聯(lián)系統(tǒng)，從而避免傳統(tǒng)基于特定目標人工標識對增強分揀系統(tǒng)的局限。最后，通過在某汽車裝配線上的實際應用驗證，表明了本文所述增強現(xiàn)實分揀方法的有效性和可行性。

1 分揀問題描述

本文所述的手工分揀現(xiàn)場如圖1所示，工人需要根據(jù)紙質分揀單描述(如表1)，從固定貨架上查找待分揀目標所在的貨柜位置，并將該貨柜處一定數(shù)量的貨物搬運到移動運貨車對應的位置上，待移動運貨車上的貨物裝滿后，將分揀得到的貨物轉運至下一裝配工序。

表1 手工分揀單示例表

在執(zhí)行分揀工作時，工人需要根據(jù)上述分揀單，頻繁地從固定貨架上取出貨物，依次放置在移動運貨車相應的貨位。為保證持續(xù)執(zhí)行重復分揀過程的正確性，對分揀工人的腦力和體力都提出了非常高的要求，尤其在高密度的貨柜環(huán)境中，工人必須高度專注才能盡量避免誤揀。在手工分揀過程中，工人往往需要暫停當前工作去標記紙質分揀單信息，也在一定程度上影響了整個分揀效率。

因此，本文通過構建基于人工標識的分揀現(xiàn)場全局地圖，借助可穿戴增強現(xiàn)實技術，將分揀過程的紙質文本和分揀邏輯等信息以可視化方式標注在車間分揀現(xiàn)場，引導工人執(zhí)行正確有效的分揀工作。

2 增強現(xiàn)實智能分揀系統(tǒng)

為實現(xiàn)基于可穿戴增強現(xiàn)實的智能分揀，以將待增強的分揀任務直接標注在車間現(xiàn)場，本文具體流程如圖2所示，主要分為構建分揀現(xiàn)場地圖和增強現(xiàn)實分揀指引兩個階段。

(1)構建分揀現(xiàn)場地圖 在分揀現(xiàn)場和貨架上布置相應的人工標識，用相機獲取不同位置下分揀現(xiàn)場的圖像，通過對現(xiàn)場圖像中的人工標識進行提取—匹配—重建，得到基于多個人工標識的分揀現(xiàn)場地圖。同時，根據(jù)現(xiàn)有物料的紙質分揀單，在增強分揀系統(tǒng)中集成分揀任務邏輯，為后續(xù)可穿戴智能分揀系統(tǒng)作業(yè)流程提供指導。

(2)增強現(xiàn)實分揀指引 首先，通過可穿戴增強現(xiàn)實系統(tǒng)加載分揀任務信息和離線構建的人工標識地圖；其次，當工人在現(xiàn)場執(zhí)行分揀操作時，通過可穿戴增強現(xiàn)實眼鏡上固聯(lián)的相機實時獲取當前分揀現(xiàn)場的圖像，并提取和識別圖像中的人工標識，結合已離線構建的人工標識地圖構建3D-2D間的對應關系，進而解算增強現(xiàn)實眼鏡在車間現(xiàn)場的位姿；最后，根據(jù)手工分揀的任務流程，按照從整體到局部的檢索形式，將分揀目標貨位“點亮”在工人可穿戴眼鏡的視場中，實現(xiàn)手工分揀過程的智能可視化引導。

2.1 構建分揀現(xiàn)場地圖

在基于可穿戴增強現(xiàn)實的智能分揀中，為將待分揀任務信息準確疊加在車間現(xiàn)場，必須保證該增強現(xiàn)實系統(tǒng)在車間現(xiàn)場具有穩(wěn)定的跟蹤定位能力。文獻[14-15]的方法，只有當現(xiàn)場特定目標人工標識出現(xiàn)在相機視場中時，才能對待分揀信息進行可視化指引，極大限制了增強現(xiàn)實分揀的現(xiàn)場適應性。本文通過在分揀現(xiàn)場粘貼大量的人工標識，采用計算機視覺測量和三維重建方法構建分揀現(xiàn)場貨物的全局地圖。

對于現(xiàn)場環(huán)境下的人工標識，根據(jù)其朝向r=(rx,ry,rz)和位置t=(tx,ty,tz)，構建其在現(xiàn)場工況下的空間位姿φ∈6:

φ={(r,t)|r,t∈3}。

(1)

基于羅德里格斯旋轉變換，從旋轉向量r中恢復得到3×3旋轉矩陣R。因此，對于空間任意三維點p∈3，可根據(jù)相機的內(nèi)參數(shù)矩陣δ和空間位姿φ，計算其在相機平面上的二維投影點u∈2，對應的投影變換關系可表示為

u=π(φ,δ,p)。

(2)

式中δ=(fx,fy,cx,cy,k1,k2,p1,p2)為相機的內(nèi)參數(shù)，由相機焦距(fx,fy)、圖像主點坐標(cx,cy)和相機畸變參數(shù)(k1,k2,p1,p2)組成。

車間現(xiàn)場的不同人工標識通過構建反投影誤差的最小平方優(yōu)化函數(shù)進行求解，其函數(shù)模型表示為

(3)

式中：O(p)∈2為空間三維點p在圖像上的二維觀測坐標值；Ω為待重建的特征集合。

在構建人工標識地圖的過程中，本文采用AprilTag[16]對分揀現(xiàn)場下的不同人工標識進行編號。假設平面人工標識的邊長為L，以平面人工標識的中心為原點(如圖3a)，構建基于該人工標識各角點ci(i=1,2,3,4)的空間坐標：

(4)

根據(jù)分揀現(xiàn)場獲取的含有人工標識的圖像，采用人工標識的提取檢測方法[16]，從圖像中得到相應的人工標識編號及其對應的二維圖像角點坐標。對于第n幅圖像上的第i個人工標識，其對應的4個角點二維圖像坐標表示為

(5)

分揀現(xiàn)場下人工標識全局地圖的構建流程如圖3b所示，分為提取人工標識、匹配人工標識和構建全局地圖3個階段?；谌斯俗R三維點與二維圖像點間的對應關系，將式(4)和式(5)代入式(3)，得到分揀現(xiàn)場環(huán)境下各人工標識全局地圖的優(yōu)化函數(shù)

‖π(φ,δi,ci,j)-ui,j‖2。

(6)

式中：ci,j為i幅圖像上第j個角點的空間三維坐標；M和N分別為所獲取的分揀現(xiàn)場圖像數(shù)和每張現(xiàn)場圖上提取到的人工標識數(shù)量。通過求解式(6)，可解算現(xiàn)場環(huán)境下各人工標識間的空間位姿關系，進而獲取現(xiàn)場環(huán)境下的人工標識全局地圖。

2.2 增強現(xiàn)實分揀指引

采用2.1節(jié)獲取的分揀現(xiàn)場全局人工標識地圖，當分揀工人佩戴可穿戴增強現(xiàn)實眼鏡執(zhí)行分揀任務時，系統(tǒng)自帶的攝像頭能夠實時獲取車間現(xiàn)場包含人工標識的環(huán)境圖像，通過識別圖像中的人工標識，獲取不同人工標識的ID及其對應的二維圖像角點坐標。同時，利用離線獲取的人工標識全局地圖，構建當前圖像中所檢測標識的二維角點坐標與三維空間點坐標間的對應關系，進而估計智能眼鏡在分揀現(xiàn)場的位姿，其原理如圖4所示。

在本文的增強現(xiàn)實現(xiàn)場分揀研究中，考慮到工人在分揀現(xiàn)場位置運動的不確定性，借助上述基于人工標識的全局地圖，分別構建分揀現(xiàn)場環(huán)境下基于增強現(xiàn)實的目標貨架導航(如圖4a)和目標貨位分揀導航(如圖4b)兩部分，以快速引導分揀工人在車間現(xiàn)場查找到對應的分揀目標。

在離線構建分揀現(xiàn)場地圖中，得到現(xiàn)場世界坐標系{w}下人工標識N個角點的齊次三維坐標wXi(i=1,…,N)，wXi=(wXi,wYi,wZi,1)T。當工人在現(xiàn)場執(zhí)行增強可視化分揀時，通過相機獲取具有人工標識的現(xiàn)場圖像，可以得到該三維角點坐標對應的二維圖像齊次坐標wxi=(xi,yi,1)T，根據(jù)相應的ID號進行2D-3D對應，構建直接線性變換求解的PnP(perspective-n-point)[17]數(shù)學模型，實現(xiàn)增強現(xiàn)實眼鏡在分揀現(xiàn)場位姿的快速解算，具體過程如下：

將車間現(xiàn)場環(huán)境下增強現(xiàn)實眼鏡的位姿cTw=(cRw,ctw)表示為齊次4×4矩陣：

(7)

式中r1,r2，r3為cTw中旋轉矩陣部分的3×1行向量?？紤]到相機內(nèi)參數(shù)可以預先標定得到，根據(jù)式(2)構建相機在分揀現(xiàn)場位姿的求解模型

(8)

式中h是cTw的向量表示。將已獲取的N組對應點集合{wXi,wxi}i=1:N代入式(8)，利用奇異值分解方法，計算得到可穿戴增強現(xiàn)實眼鏡在分揀現(xiàn)場的實時位姿，根據(jù)該位姿將待分揀貨位信息高亮顯示在該眼鏡上進行可視化分揀引導。

3 實驗與分析

3.1 現(xiàn)場定位精度分析

為評估本文所述增強現(xiàn)實眼鏡在分揀現(xiàn)場的定位精度，用相機從不同視角獲取分揀現(xiàn)場的圖像，如圖5a所示?；谝褬硕ǖ南鄼C參數(shù)和本文所述方法，恢復得到分揀現(xiàn)場下不同人工標識的全局地圖，如圖5b所示。

在重建所得人工標識地圖的基礎上，通過建立人工標識編碼坐標系(如圖5a)，對分揀現(xiàn)場貨架上的人工標識位置進行編碼。采用基準標尺測量沿坐標軸方向上相鄰兩個人工標識之間的距離d(i+1,j)→(i,j)，結合離線重建所得對應人工標識間的距離M(i+1,j)→(i,j)，構建重建誤差的評定模型

(9)

式中i和j為人工標識在編碼坐標系中對應的位置坐標。

根據(jù)圖5b中恢復所得的人工標識地圖，在式(9)中將i，j位置互換，可構建24組距離測量評價組合，其重建人工標識間的相對位置誤差約為0.5%(如圖5c)，實驗結果表明本文所述方法能夠恢復得到現(xiàn)場環(huán)境下可靠的人工標識地圖。后續(xù)可通過構建現(xiàn)場人工標識三維地圖點和二位圖像點間的對應關系，采用PnP位姿求解方法，實現(xiàn)可穿戴增強現(xiàn)實眼鏡在分揀現(xiàn)場位姿的快速解算。

3.2 增強分揀實驗驗證

為驗證本文所述可穿戴增強現(xiàn)實的智能分揀方法，將其集成到北京悉見科技有限公司的XMAN系列眼鏡上，通過眼鏡端自帶的相機獲取車間現(xiàn)場1 280×720像素圖像，計算處理端采用華為Mate10手機搭載Android系統(tǒng)。實驗表明，從所獲取圖像中提取二維標識進行位姿解算的平均時間約為55 ms，基本可以實現(xiàn)導航信息的無延時更新顯示。同時，為保證增強可視化指引的平滑性，在位姿估計上采用了濾波的方式，以將邏輯分揀任務可視化、友好地呈現(xiàn)在眼鏡端，其現(xiàn)場分揀示意如圖6所示。

在現(xiàn)場大范圍目標貨架查找過程中，通過在分揀現(xiàn)場的走廊中布置尺寸較大的人工標識，構建現(xiàn)場貨架的智能導航地圖。當目標貨架不在增強現(xiàn)實設備視場中時，利用已離線構建的分揀現(xiàn)場全局地圖信息，對分揀現(xiàn)場環(huán)境下的目標貨架進行引導(如圖7a)，以輔助工人快速查找目標貨架，并將目標貨架位置點亮在分揀現(xiàn)場(如圖7b)，實現(xiàn)分揀現(xiàn)場環(huán)境下的增強可視化導航。

在局部高密度貨架上準確查找貨位的過程中，相應的增強現(xiàn)實分揀任務可視化如圖7c和圖7d所示：當待分揀目標不在當前視場中時，系統(tǒng)會基于已構建的全局人工標識地圖顯示目標貨架所在方位，以快速將工人引導至目標分揀貨位，并在視場中點亮目標貨位所在的位置。同時，在增強現(xiàn)實的智能分揀中，也采用可視化方式將當前的分揀狀態(tài)和任務執(zhí)行進度呈現(xiàn)在工人的視場中，從而輔助工人把控當前的手工分揀步驟，提高分揀過程的智能化和信息化水平。

為驗證本文所述增強分揀方法的可行性，在實際分揀作業(yè)過程中，為保證實驗公平，將尚無分揀經(jīng)驗的分揀工人分為兩組，并告知待分揀的目標任務信息，分別以傳統(tǒng)紙質分揀單和本文的增強現(xiàn)實分揀系統(tǒng)為依據(jù)，執(zhí)行相應的分揀任務。在雙方執(zhí)行分揀任務的過程中，由第三方統(tǒng)計各自執(zhí)行該分揀任務的時間，結果如圖8所示。其中圖8a為本文所述增強現(xiàn)實分揀和傳統(tǒng)紙質分揀過程的時間統(tǒng)計情況，可見本文方法具有更高的分揀效率;圖8b為對單次分揀時間的統(tǒng)計，可見傳統(tǒng)手工分揀時間約為每次分揀50 s左右，本文方法的單次分揀時間降至30 s，有效提高了手工分揀的效率。

為進一步討論本增強分揀系統(tǒng)的現(xiàn)場適應性，通過增加有經(jīng)驗分揀工人的方式，開展進一步實驗驗證。該分揀任務中涉及4組分揀物料的操作，其中每組分揀任務需根據(jù)分揀單的邏輯，從貨架上取出特定數(shù)量的物料放置在移動貨車上相應的位置，待移動貨車裝滿物料后，完成該組手工分揀任務。統(tǒng)計每組實驗過程中的執(zhí)行時間，具體如表2所示。從實驗結果可知，基于增強現(xiàn)實的分揀系統(tǒng)，在工人視場中呈現(xiàn)的可視化指引能提高無經(jīng)驗工人的分揀效率，然而在本實驗所述的應用現(xiàn)場下，有經(jīng)驗的分揀工人因為已經(jīng)熟悉和理解作業(yè)的任務邏輯和環(huán)境，所以是否采用增強可視化分揀，對提高分揀效率并不顯著，甚至會對熟練工人的正常分揀產(chǎn)生一定干擾，但在分揀的準確性上，本文所述增強可視化的分揀方法依然具有優(yōu)勢。該實驗也說明增強現(xiàn)實在實際分揀現(xiàn)場中的應用效果與待分揀任務的復雜性和成熟度有關，特別對現(xiàn)場作業(yè)經(jīng)驗不足的工人，其增強可視化輔助效果明顯。

表2 不同分揀方式的實驗結果統(tǒng)計

4 結束語

結合實際的分揀現(xiàn)場環(huán)境，本文提出一種基于可穿戴增強現(xiàn)實系統(tǒng)的智能分揀方法，通過獲取包含人工標識的車間現(xiàn)場圖像，離線構建分揀現(xiàn)場環(huán)境下的全局人工標識地圖，進而在工人執(zhí)行手工分揀過程中，實時解算增強現(xiàn)實眼鏡在分揀現(xiàn)場中的位置和朝向，以將待分揀任務高亮標注在分揀現(xiàn)場，指引工人執(zhí)行相應的手工分揀操作，有效提高了分揀效率和準確性。同時，本研究也表明增強分揀在車間現(xiàn)場的實際效果與待作業(yè)任務的復雜性和作業(yè)工人的經(jīng)驗有關，對缺乏經(jīng)驗的工人而言，其增強可視化指引更有效。

手工分揀是車間現(xiàn)場中的一項長時間重復工作，可穿戴眼鏡的介入會改善工人執(zhí)行分揀操作的舒適性。本文實驗間接表明了增強現(xiàn)實在實際分揀現(xiàn)場中的應用效果，其與作業(yè)工人的熟練程度和待作業(yè)任務的復雜性都存在一定關系，因此未來的研究將會進一步探討增強現(xiàn)實眼鏡在人因工程方面對分揀工人的影響，從更系統(tǒng)的角度評定增強現(xiàn)實系統(tǒng)在手工作業(yè)指引中的作用。