基于三維視覺的機器人安全預警系統

鄭澤凡 谷飛飛 王思成 宋 展

1(中國科學院深圳先進技術研究院 深圳 518055)

2(中國科學院大學 北京 100049)

3(人工智能與數字經濟廣東省實驗室 深圳 518052)

4(粵港澳人機智能協同系統聯合實驗室 深圳 518055)

1 引 言

隨著自動化制造技術的不斷發(fā)展，越來越多的工業(yè)機器人被應用在分揀、裝配、上料、焊接、涂裝等領域，工業(yè)機器人的廣泛應用對提高勞動產品的質量、產量有著十分重要的意義[1-2]。在機器人運行過程中，保證操作人員和周圍設備的絕對安全，是擴大機器人應用領域、保障人機協作安全進行的首要前提。因此，研究機器人安全技術將成為推動未來機器人發(fā)展的必然需求[3]。

隨著人們對機器人安全技術的研究，工業(yè)機器人安全防護技術逐漸形成了 3 個主要方向——機器人本體控制、機器人操作、人機干涉碰撞。著重在工業(yè)機器人控制器的完善、工業(yè)機器人對危險指令的識別和工業(yè)機器人隔離設備的搭建[4-6]3 個領域提高工業(yè)機器人的安全性。其中，隔離設備的發(fā)展最為快速多樣，目前最常見的安全防護手段是在機器人工作區(qū)域外部安裝金屬防護欄[7]。安裝護欄不僅可以有效隔絕人體，而且具有成本低、制作簡單等優(yōu)勢。但護欄的安裝需要預留足夠的位置，在配置機器人設備時，護欄的設計和安裝還需要耗費一定的時間，在實際應用過程中，很難快速地改變護欄的位置。針對安裝護欄的弊端，相關領域人員對基于傳統傳感器和機器視覺的安全防護系統進行了更加深入的研究。例如，利用“光幕技術”模擬物理護欄[8]、利用紅外距離傳感器標記人與機器人之間的距離[9]和利用力傳感器來判斷機器人是否與周邊的人或物體發(fā)生碰撞[10]。基于傳統傳感器的安全防護系統，一定程度上減少了傳統護欄的弊端，但其仍需要一定的安裝空間，需要針對特定的工作環(huán)境進行部署方案的設計。且為了實現全方位的防護，需要大量傳感器，若使用高精度的傳感器，還會增加成本?；跈C器視覺的安全防護系統，憑借機器視覺技術在運動目標檢測、人體識別、實時定位等方面的技術積累[11-12]，通過識別對象與機器人的位置[13]，結合機器人控制器的防控策略，來防止安全問題的發(fā)生[14]。然而，目前的視覺防護系統大多依靠二維(Two-Dimensional，2D)圖像進行禁區(qū)劃分和人員檢測，無法實時反映人員與禁區(qū)的真實距離，容易誤判。

本文提出一種基于三維( T h r e e -Dimensional，3D)視覺的機器人安全預警系統，在機器視覺安全防護系統中引入場景的 3D 點云信息來協助判斷安全狀態(tài)。系統分為雙 Kinect 采集模塊、點云處理模塊、控制模塊和顯示模塊。在雙 Kinect 采集模塊中，采用 Azure Kinect 的飛行時間(Time of Flight，ToF)模塊實時對監(jiān)控場景進行 3D 重建[15]。點云處理模塊首先對所獲取點云中的 3D 人體關鍵點進行識別，然后在剛性配準后拼接得到更完整的場景點云，最后逐一比較人體與所設置的禁區(qū)中心之間的最小距離，并將最小距離與預設的安全距離進行比較，判斷人體與禁區(qū)之間的關系，及時與機器人控制器進行通信，控制機器人的工作狀態(tài)，以確保機器人安全工作。此外，顯示模塊將監(jiān)控畫面和狀態(tài)通過軟件進行展示，方便操作員實時監(jiān)管。

2 系統方案設計

2.1 系統硬件設計

基于 3D 視覺的機器人安全預警系統由Azure Kinect 設備、上位機、機器人控制器等部分組成。

本文的系統設計圖如圖 1 所示。首先，由Azure Kinect 設備采集各自視角下的點云、彩色(Red-Green-Blue，RGB)圖像和人體關節(jié)點信息，并傳到上位機；然后，上位機利用雙目標定得到的剛性配準參數，將點云進行拼接，在一個統一坐標系下得到更加完整的場景點云和 3D 人體關鍵點的坐標信息；最后，根據預設好的禁區(qū)中心和安全距離判斷人體是否處于危險狀態(tài)，并且通過傳輸控制協議/網際協議(Transmission Control Protocol/Internet Protocol，TCP/IP)將狀態(tài)傳送給機器人控制器，確保機器人的安全運行。

圖1 系統設計圖Fig. 1 The diagram of system design

2.2 系統軟件設計

在 Windows 系統環(huán)境下，將 Visual Studio 20017 作為軟件開發(fā)平臺，C＋＋ 語言作為程序開發(fā)環(huán)境。系統軟件結構運用類設計思想，對應的軟件結構如圖 2 所示，其分為雙 Kinect 采集模塊、點云處理模塊、控制模塊和顯示模塊。

圖2 系統軟件結構Fig. 2 Structure of system software

(1)雙 Kinect 采集模塊。該模塊首先對兩臺Azure Kinect 設備中深度相機之間的旋轉平移矩陣參數進行標定；然后通過設備的軟件開發(fā)工具箱(Software Development Kit，SDK)獲取每臺設備捕獲的 RGB 圖像、深度圖和點云；最后將 RGB 圖像和深度圖發(fā)送到顯示模塊進行顯示，將點云和RGB 圖像發(fā)送給點云處理模塊進行后續(xù)處理。

(2)點云處理模塊。該模塊首先利用 Azure Kinect 的 SDK 對場景中 3D 人體關鍵點進行提?。蝗缓?，通過雙目標定得到深度相機之間的外參矩陣，再利用該外參矩陣對兩個點云進行剛性配準后拼接，將 3D 人體關鍵點轉換到統一坐標系下；最后，將 3D 人體關鍵點映射到 RGB 圖像上，將 RGB 圖像中的 2D 人體關鍵點檢測結果發(fā)送到顯示模塊，將統一坐標系下的點云發(fā)送到控制模塊。

(3)控制模塊。該模塊在收到的點云上設置禁區(qū)，并結合 3D 人體關鍵點進行距離計算，從而得到人體到禁區(qū)的最短距離，并根據此距離決定機器人的運行狀態(tài)。最后通過 TCP/IP 通信將控制命令發(fā)送給機器人控制器。

(4)顯示模塊。該模塊負責將接收到的 RGB圖像、深度圖結果進行顯示；當人體處于危險狀態(tài)時，予以警示。方便操作員進行人工監(jiān)控。

3 系統實現的關鍵技術

本文提出的基于 3D 視覺的機器人安全預警系統的關鍵技術大致分為 3 步：(1)標定兩臺Azure Kinect 設備中深度相機的外參矩陣，并通過標定得到的外參矩陣實現點云的配準、拼接；(2)利用拼接好的點云進行禁區(qū)中心點和禁區(qū)半徑的設定，得到禁區(qū)范圍后，結合 Azure Kinect設備獲取的 3D 人體關鍵點信息，進行狀態(tài)判斷；(3)根據(2)中得到的狀態(tài)判斷結果與機械臂控制器進行通信，保證人員安全。

3.1 點云獲取與系統標定

根據透視投影原理[16]得到空間點坐標的計算公式，如公式(1)所示：

將 Azure Kinect 設備中 ToF 模塊直接獲取的深度圖，與該設備出廠自帶的標定好的內參相結合，再代入公式(1)，可計算得到深度相機坐標系下的空間點坐標。同時，利用 Azure Kinect 設備的 SDK 可以獲取設備視野中的有關人體信息的數據幀，進而提取人體的關節(jié)位置信息。

本系統的標定指兩臺 Azure Kinect 設備中深度相機之間的外參矩陣標定。其目的是獲取兩個深度相機坐標系之間的旋轉平移矩陣，并根據該旋轉平移矩陣將其中一臺相機獲得的點云結果轉移到另一臺相機的坐標系下。圖 3 為兩個深度相機之間的坐標關系圖。根據圖 3 所示的幾何關系可以得到兩臺相機之間的變換關系，如公式(2)所示：

圖3 坐標關系圖Fig. 3 Coordinate diagram

圖4 雙目標定原理圖Fig. 4 System calibration schematic diagram

3.2 安全區(qū)域設定與侵入體識別

圖5 禁區(qū)示意圖Fig. 5 The range of restricted area

3.3 機器人運動狀態(tài)控制

基于上位機通過 TCP/IP 發(fā)送狀態(tài)控制指令和機器人控制器上部署對應的指令響應腳本，可實現對機器人運動狀態(tài)的控制。上位機為網絡通信的客戶端，機器人控制器為服務端。

為避免上位機頻繁發(fā)送控制指令，上位機會維持兩個機器人運動狀態(tài)變量。一個負責記錄當前計算得到的機器人狀態(tài)Statenow，另一個負責記錄上一個時刻的機器人狀態(tài)Stateprevious。當且僅當當前狀態(tài)與上一個時刻的狀態(tài)不一致時，才將當前狀態(tài)通過字符串發(fā)送給機器人控制器。

機器人控制器與上位機建立鏈接后，可監(jiān)聽端口發(fā)送的指令，根據指令調用機器人的調速模塊，從而設置機器人的全局運動速度。其中，safe 表示正常運行，slowdown 表示調速至運行速度的 50%，dangerous 表示暫停運行。

4 實驗結果與分析

4.1 實驗設備

本實驗平臺由兩臺 Azure Kinect 設備、優(yōu)傲 UR5 機械臂、越疆 CR5 機械臂和上位機電腦組成。其中，Azure Kinect 設備的 RGB 相機的分辨率設置為 1 920×1 080，幀率設置為30 fps，視野范圍為 90°×59°；ToF 相機工作模式設置為窄視野范圍 2×2 像素融合模式，分辨率為 320×288，幀率為 30 fps，視野范圍為75°×65°，工作范圍為 0.50～5.46 m，曝光時間為 12.8 ms；由于兩臺 Azure Kinect 對重疊的視場成像，為避免 ToF 模塊投射的激光互相干擾，兩臺 Azure Kinect 設備用 AUX 線連接，主 Azure Kinect 的 ToF 模塊激光投射完畢后，將通過AUX 線發(fā)出一個信號觸發(fā)副 Azure Kinect 工作；機器人選用丹麥優(yōu)傲機械臂(UR5)，其有效負載為 5 kg，有效工作半徑為 850 mm，自由度為 6 個旋轉關節(jié)；上位機處理器為 Intel i7 9700，顯卡為Nvidia RTX 2080 Super，內存大小為 32 GB。實驗平臺搭建如圖 6 所示。

圖6 實驗平臺搭建Fig. 6 The experimental setup

4.2 實驗結果分析

在基于 3D 視覺的機器人安全預警系統實驗中，首先計算兩臺 Azure Kinect 設備中深度相機的外參矩陣，然后根據第 3.1 節(jié)表述的步驟對深度相機進行雙目標定，標定結果如圖 7 所示。雙Azure Kinect 不僅解決了單 Azure Kinect 存在的視野盲區(qū)問題，如圖 7(b)～(e)所示，還具有較高的標定精度，拼接后的點云也顯示該系統的監(jiān)控區(qū)域覆蓋面積大，可滿足機器人工作場景下的人員安全監(jiān)控要求。本文選取場景中的某一薄木板進行重建，拼接后的木板點云如圖 7(f)所示，由圖 7(f)可知，主、副深度相機中木板的點云基本重合。本文還對場景中的某一方形柜子進行重建，拼接后的柜子點云如圖 7(g)所示，由圖 7(g)可知，柜子的幾何特征基本上得到了復原。

圖7 標定結果Fig. 7 The result of calibration

為進一步量化深度相機標定的精度，本文利用第 3 節(jié)雙目標定使用的標定紙，根據第 3 節(jié)描述的過程，在統一坐標系下，分別記錄兩個Azure Kinect 視角下標定紙上 9 個角點的坐標值并進行比較，比較結果如表 1 所示。由表 1 可知，兩個深度相機外參標定精度均在 5 mm 以內。

表1 9 點坐標值比較Table 1 Comparison of 9 points’ position

為驗證系統的可靠性，針對不同體型、服裝、性別的行人，本文從各個角度對禁區(qū)進行侵入測試，記錄預警的準確率。此外，為更直觀地觀察系統狀態(tài)，本文還設計了一套基于微軟基礎類庫的控制軟件，如圖 8 所示。該軟件可以自定義禁區(qū)中心點、禁區(qū)半徑等參數，且可以實時顯示監(jiān)控畫面和標記人體所處狀態(tài)。

圖8 軟件界面Fig. 8 Software interface

本文在優(yōu)傲 UR5 機械臂和越疆 CR5 上進行行人闖入實驗，當機械臂處于運動狀態(tài)時，使行人闖入，機械臂需要根據人和機械臂的距離做出相應的減速或停止動作。累計重復 100 次隨機穿著的隨機人員進行隨機方向的闖入實驗。系統按照第 3 節(jié)中的程序進行計算，部分實驗過程如圖 9 所示，部分實驗記錄如表 2 所示。

表2 實驗結果Table 2 Result of experiment

圖9 實驗過程Fig. 9 Experiment procedure

由表 2 可知，在實時監(jiān)控下，系統對各種穿著的人員侵入禁區(qū)行為的檢測率為 100%，且系統在兩種機械臂上均可以正常運行。如圖 9(a)～(c)所示，在優(yōu)傲 UR5 機械臂場景中，當行人進入預設的減速距離和停止距離時，可觸發(fā)相應的警告，并對機器人控制器發(fā)出相應的控制指令。如圖 9(d)～(f)所示，在越疆 CR5 機械臂場景中，當其中一臺 Azure Kinect 丟失對白布后面行人的監(jiān)控后，另一臺 Azure Kinect 依舊可以從它的視角繼續(xù)監(jiān)控場景，保證人員安全。綜上所述，本文所搭建系統具有穩(wěn)定性和可靠性。

與現有的安全防護系統相比，常州節(jié)卡智能裝備有限公司發(fā)布了一種基于 2D 視覺的機械臂安全防護系統[21]，其通過獲取機械臂正上方的俯視圖結合人體識別，實現類似虛擬欄桿的功能。該系統實現了對固定禁區(qū)的人體侵入監(jiān)控，但無法根據機械臂的運動狀態(tài)實時改變禁區(qū)。ABB(Asea Brown Boveri)公司推出“Safe Move 2(機器人安全區(qū)域控制技術)”，該系統使用大量傳感器對禁區(qū)進行覆蓋監(jiān)控[22]，結合軟件對禁區(qū)進行高度定制化的監(jiān)控，但高精度的傳感器會導致系統成本增加，此外，“Safe Move 2”系統只適用于 ABB 公司的產品，難以泛化到其他機器人上。目前，雖然有基于視覺檢測的機器人安全防護系統，也有許多基于傳感器的解決方案，但是基于人體檢測的方案缺少 3D 位置信息，導致精度不夠，且對監(jiān)控相機的架設有一定要求。基于傳感器的解決方案，其監(jiān)控效果與傳感器精度和布置方案有很大關系，通用性較差[23]。與現有方法相比，本文的機器人安全防護系統可作為保障機器人安全作業(yè)的一種全新的可行解決方案。

5 結 論

在機器人作業(yè)過程中，針對人員安全保障問題，本文搭建了基于 3D 視覺的機器人安全預警系統。首先，本文利用 Azure Kinect 可以高速重建大場景點云和檢測人體的優(yōu)勢，實時獲取場景中的點云信息。為了實現安全防護功能，先對兩臺 Azure Kinect 中的深度相機進行雙目標定，獲取其外參矩陣，再根據外參矩陣將點云都統一到一個公共坐標系下；然后，根據設定好的禁區(qū)范圍和獲取的 3D 人體關鍵點信息計算判斷人員的安全狀態(tài)；最后，通過 TCP/IP 協議與機器人控制器通信，確保機器人安全工作。該系統能夠利用多 Azure Kinect 進行多角度監(jiān)控，利用更完整的 3D 位置信息，正確控制機器人的工作狀態(tài)，保障人員安全，同時具有架設簡單、部署方便的優(yōu)勢，是保障人機交互安全作業(yè)的一個新思路。