基于Kinect的救援機器人系統(tǒng)設(shè)計

俞鎮(zhèn)洋

當(dāng)今世界各地自然災(zāi)害頻繁發(fā)生，地震、泥石流、海嘯等災(zāi)難不斷[1]。災(zāi)難事故發(fā)生后，現(xiàn)場建筑結(jié)構(gòu)坍塌，導(dǎo)致地形環(huán)境發(fā)生巨大變化，空間狹小不穩(wěn)定，嚴重威脅著人類安全和社會穩(wěn)定。許多遇難者因得不到及時的救援而失去寶貴的生命，因此救援人員如何快速高效的開展救援工作關(guān)系著被困人員的生命安全[2]。隨著社會科技水平不斷進步，機器人在人類的生活中扮演的角色越來越重要，而以科學(xué)技術(shù)和高新產(chǎn)業(yè)為基礎(chǔ)，現(xiàn)代社會已然成為一個科技社會，在科技的催產(chǎn)下，機器越來越智能化和自動化。機器人的觸手已然伸入我們的工作和生活的各個角落，偵察、探測、救援、生產(chǎn)等各個方面都可以見到它們的身影，在這些我們無法觸及和高難度的情況下，它們可以提供幫助，助人類一臂之力，它們加速著社會的發(fā)展。將機器人技術(shù)應(yīng)用到救援中已成為常態(tài)，救援機器人可代替工作人員去面對危險，減少傷亡[3]。但傳統(tǒng)的救援機器人通常需要技術(shù)人員在救援裝置里操作機器的運轉(zhuǎn)和現(xiàn)場破壞程度的檢查，這些情況會導(dǎo)致救援行動充滿不確定性，或者造成二次傷亡等。

本文設(shè)計了一種基于Kinect 的體感救援機器人，對發(fā)生災(zāi)難的區(qū)域能代替人來進行探測救援，以具有越障能力的履帶車作為移動平臺，能對復(fù)雜地形有很好的適應(yīng)性，機械臂作為實現(xiàn)遠程手部動作的直接載體，使用Kinect 體感傳感器將人的手臂動作以機械臂的運動展現(xiàn)出來，可遠程操控，減少二次傷亡，提高工作效率等優(yōu)點[4]。

1 救援機器人整體結(jié)構(gòu)設(shè)計

在設(shè)計救援機器人的結(jié)構(gòu)時，我們主要考慮了以下幾個要求[5]：1）救援機器人應(yīng)滿足基本的移動功能；2）救援機器人需要具備適應(yīng)惡劣地形環(huán)境的能力，例如越障、抗沖擊等；3）救援機器人應(yīng)充分考慮控制的安全性；4）視頻流的傳輸應(yīng)避免較長的延時。

本文設(shè)計的救援機器人三維建模如圖1 所示，可實現(xiàn)救援機器人的功能需求，完成危險環(huán)境的救援活動。圖a 為救援機器人三維模型圖，圖b 為救援機器人各部件位置圖。

救援機器人整個系統(tǒng)的機械結(jié)構(gòu)如圖1 所示，在SolidWorks 三維建模軟件中將救援機器人系統(tǒng)的機械結(jié)構(gòu)以及空間位置建模出來，然后將各部件結(jié)構(gòu)的二維圖導(dǎo)出來，在CAD 軟件中進行圖紙繪制修改，已達到生產(chǎn)加工出所需的零件。整個系統(tǒng)結(jié)構(gòu)攝像頭、樹莓派、樹莓派屏幕、STM32 單片機[6]、照明燈、機械臂系統(tǒng)，以及構(gòu)成機械臂的舵機、支架、機械臂爪等零部件。

2 系統(tǒng)硬件設(shè)計

救援機器人系統(tǒng)硬件部分由STM32 單片機、上位機及檢測模塊、關(guān)節(jié)角度變化識別模塊、移動模塊、執(zhí)行模塊等硬件組成。系統(tǒng)總體結(jié)構(gòu)框圖如圖2 所示。

系統(tǒng)的具體工作原理為：攝像頭拍攝到地形被破壞后的實時畫面，將視頻流傳輸?shù)綐漭啥?，可在遠程通信的PC 屏幕上觀察拍攝的地形畫面。通過Kinect 傳感器檢測遠程端操作人員的上肢手臂關(guān)節(jié)變化，將角度更新數(shù)據(jù)信息發(fā)送給PC 端的上位機軟件，然后將信息指令發(fā)送給STM32 單片機，單片機把處理后的信息指令以PWM 脈沖控制機械臂上的各舵機運動，從而實現(xiàn)手臂遠程控制機械臂運動，其中Kinect 傳感器與STM32 通過串口通信方式，救援機器人的移動功能由上位機PC 端軟件界面控制，可實現(xiàn)救援機器人的前進、后退、左轉(zhuǎn)、右轉(zhuǎn)、停止、越障等功能。另外，本系統(tǒng)下位機外接24V 供電電池以及電壓轉(zhuǎn)化器，起作用時將外接9V 電池電壓轉(zhuǎn)換為穩(wěn)定的5V 電壓，給所有模塊供電。上述工作原理流程可實現(xiàn)了救援機器人的多種功能，下文將對各子模塊進行說明介紹。

2.1 STM32 單片機

STM32 單片機作為整個系統(tǒng)的核心控制器，用于實現(xiàn)上下位機等模塊的信息交互處理，是整個系統(tǒng)不可或缺的一部分。STM32 單片機采用STM32f103芯片作為系統(tǒng)的下位機核心處理器，其內(nèi)核是Cortex-M3，具有電源管理、低功耗、模數(shù)轉(zhuǎn)換器、DMA 和多種調(diào)試模式，可通過藍牙、串口等通信端口來接收上位機發(fā)送的指令數(shù)據(jù)。

2.2 上位機及檢測模塊

上位機及檢測模塊是由樹莓派和攝像頭組成，其中攝像頭主要是將救援現(xiàn)場環(huán)境的視頻流通過遠程通信方式傳輸?shù)綐漭蒔C 端[7]，用于實時監(jiān)控遠程環(huán)境情況和確定救援方案。遠程通信方式采用2.4G 無線通信模塊，2.4G 無線通信技術(shù)是一種工作在全球免申請ISM 頻道2 400M-2 483M 范圍內(nèi)的無線通信技術(shù)，可以實現(xiàn)點對點近距離無線傳輸，具有使用方便、傳輸距離遠、功耗低等優(yōu)點[8]。

本次使用的是Raspberry Pi3(model B+)，具有4 個USB 口、支持有線網(wǎng)絡(luò)、功耗1W、512M RAM、40 個GPIO。樹莓派作為上位機可以和下位機STM32 單片機建立聯(lián)系，可直接在樹莓派上安裝Keil 進行開發(fā)，具有很好的開發(fā)效果，運行穩(wěn)定。本次救援機器人實現(xiàn)了樹莓派將攝像頭拍攝的視頻流顯示在PC 端上，同時可與STM32 單片機進行數(shù)據(jù)通信，進而控制救援機器人各功能的穩(wěn)定實現(xiàn)。

圖2 救援機器人控制系統(tǒng)總體框圖

2.3 關(guān)節(jié)角度變化識別模塊

系統(tǒng)的關(guān)節(jié)角度變化識別模塊的核心部分是Kinect 傳感器，Kinect 傳感器有三只眼睛，分別為紅外投影機、彩色攝像頭和紅外深度攝像頭（自左向右），搭配PrimeSense 技術(shù)、PS1080 系統(tǒng)級芯片和麥克風(fēng)。用來檢測人體上肢關(guān)節(jié)角度，使用骨骼追蹤技術(shù)來深度處理人體各個關(guān)節(jié)的坐標數(shù)據(jù)。

2.4 移動模塊

圖3 行星減速電機驅(qū)動器引腳圖

救援機器人的移動模塊的實現(xiàn)是采用雙輪差速驅(qū)動，具體為輪式履帶結(jié)構(gòu)，兩后輪差速驅(qū)動，其余輪與履帶嚙合配合。驅(qū)動電機為100W 行星減速電機，通過24V 雙通道直流有刷電機驅(qū)動器與STM32 單片機相連，直流電機驅(qū)動器引腳圖如圖3 所示，圖中右側(cè)引腳為驅(qū)動器功率接口，M1 與M2 的A、B 口分別對應(yīng)行星減速電機的引腳線，P+與P-口對應(yīng)兩個電機的電源正負極輸入，外接24V 電源。左側(cè)1、6 口為VCC，2、7 口為PWM 占空比調(diào)速，3、4、8、9 為控制邏輯高低電平信號口，5、x 口為隔離電源GND。

2.5 執(zhí)行模塊

圖4 機械臂與Kinect傳感器實物圖

如圖4 所示，機械臂有六個自由度，可代替正常救援人員手臂來清理救援現(xiàn)場，實現(xiàn)基本的手臂運動狀態(tài)，通過Kinect 傳感器采集救援工作人員上肢關(guān)節(jié)角度的變化，然后將變化指令發(fā)送給下位機STM32 單片機，進而控制機械臂隨手臂的同步運動，完成救援活動中系統(tǒng)執(zhí)行模塊的同步運動功能。具體可以使肩關(guān)節(jié)能夠完成可以完成水平面內(nèi)的肩關(guān)節(jié)內(nèi)收外展運動和矢狀面的屈伸運動，使肘關(guān)節(jié)可以完成矢狀面的屈伸運動，腕關(guān)節(jié)的屈伸和側(cè)彎運動均由肩關(guān)節(jié)運動和肘關(guān)節(jié)運動帶動[9]。

救援機器人機械臂的尺寸設(shè)計需要應(yīng)對救援行動中各種復(fù)雜突發(fā)情況，避免在遇到特殊情況時，機械臂無法工作而導(dǎo)致錯過最佳救援時機。

3 系統(tǒng)軟件設(shè)計

在系統(tǒng)的軟件設(shè)計主要分為上位機軟件界面設(shè)計、救援機器人移動軟件設(shè)計和機械臂鏡像運動軟件設(shè)計三大部分，下面將對各部分詳細介紹。

3.1 上位機軟件界面設(shè)計

圖5 系統(tǒng)上位機操作主界面

上位機軟件設(shè)計是基于WPF（Windows Presentation Foundation）環(huán)境進行設(shè)計的，WPF是微軟推出的基于Windows 的用戶界面框架，它提供了統(tǒng)一的編程模型、語言和框架，可靈活、容易上手[10]。系統(tǒng)上位機主界面如圖5 所示，上位機左側(cè)上部分為平板電腦端操縱救援機器人實現(xiàn)移動功能，下部分為機械臂鏡像運動的實現(xiàn)功能，界面最上側(cè)為整個系統(tǒng)的名稱，右側(cè)為救援機器人的三維模型。主界面的設(shè)計主要是為了實現(xiàn)人機交互，用來操作救援機器人的救援行動。當(dāng)工作人員點擊救援機器人運動和機械臂鏡像運動按鈕時，將會跳轉(zhuǎn)到各自的實時操作界面，具體界面如圖6 和圖8所示。

3.2 救援機器人移動設(shè)計

當(dāng)點擊主界面的救援機器人移動按鈕時，界面將跳轉(zhuǎn)如圖6 所示，此時界面有6 個按鈕，分別代表前進、后退、左轉(zhuǎn)、右轉(zhuǎn)、停止和返回，用來控制救援機器人的移動。

圖6 救援機器人移動上位機界面

圖7 機器人移動軟件設(shè)計流程圖

如圖7 所示，當(dāng)界面跳轉(zhuǎn)進來時，機器人移動控制將進行系統(tǒng)初始化，通過點擊控制按鈕，將上位機的信息指令發(fā)送到下位機STM32 單片機上，單片機將接收到的相應(yīng)的控制指令發(fā)送到電機驅(qū)動器上，進而使電機進行運動，最終機器人將執(zhí)行相應(yīng)的動作行為，完成整個移動系統(tǒng)的工作。

3.3 機械臂鏡像運動設(shè)計

圖8 機械臂鏡像運動上位機界面

當(dāng)點擊主界面的機械臂鏡像運動按鈕時[11]，界面將跳轉(zhuǎn)如圖8 所示，此時界面右側(cè)將顯示Kinect傳感器檢測的圖像，傳感器會自動捕捉工作人員的上肢關(guān)節(jié)角度，同時在界面的左側(cè)開始訓(xùn)練下方顯示的有相應(yīng)的關(guān)節(jié)角度值，本次系統(tǒng)設(shè)計主要展現(xiàn)了肩關(guān)節(jié)、肘關(guān)節(jié)、腕關(guān)節(jié)和指關(guān)節(jié)的角度變化，基本滿足對應(yīng)的機械臂運動。其中返回到主界面的按鈕在界面的左上方。

機械臂鏡像運動的軟件設(shè)計流程圖如圖9 所示，主要是Kinect 傳感器對上肢關(guān)節(jié)角度變化的計算和提取，從而實現(xiàn)上肢遠程控制機械臂同步運動。

當(dāng)跳轉(zhuǎn)到控制界面時，將會執(zhí)行救援機器人鏡像運動功能，此時Kinect 傳感器會通過自帶的攝像頭來檢測鏡頭下得上肢關(guān)節(jié)。如果系統(tǒng)界面沒有出現(xiàn)關(guān)節(jié)角度值，會返回初始化工作，反之當(dāng)系統(tǒng)界面出現(xiàn)關(guān)節(jié)角度值，將會進行下一步檢測關(guān)節(jié)角度是否更新變化，如果否的話，系統(tǒng)會返回上一步來顯示關(guān)節(jié)角度值，是的話，系統(tǒng)把相應(yīng)的信心指令發(fā)送給下位機，來控制對應(yīng)關(guān)節(jié)的舵機進行運動，最終實現(xiàn)機械臂與上肢同步運動。

圖9 機械臂鏡像運動軟件設(shè)計流程圖

4 可靠性測試分析

系統(tǒng)的可靠性測試分析主要體現(xiàn)在救援機器人的移動和機械臂的鏡像運動兩大部分，在調(diào)試好實物樣機的基礎(chǔ)上，隨機對志愿者進行測試，最終得出本次設(shè)計的救援機器人的移動控制完全實現(xiàn)，機械臂的鏡像運動準確度高達94.4%（34/36），滿足的設(shè)計要求。

為驗證機械臂鏡像運動的控制精度，設(shè)計了如下實驗，實驗步驟為：

1）由實驗協(xié)助者隨機報出實驗者上肢的運動指令（腕關(guān)節(jié)、肘關(guān)節(jié)和肩關(guān)節(jié)角度變化）；

2）受試者在Kinect 傳感器檢測下改變關(guān)節(jié)角度；

3）觀察機械臂和患側(cè)上肢是否按照指令同步運動，若是，則該單次實驗視為成功，若不是，則視為失敗。

12 名隨機受試者“鏡像療法”的準確度數(shù)據(jù)如表1 所示，表中“√”代表“成功”，“×”代表失敗。

表1 機械臂鏡像運動準確度測試結(jié)果

結(jié)果顯示：編號2 受試者在肘關(guān)節(jié)測試中出現(xiàn)不響應(yīng)，編號10 受試者在腕關(guān)節(jié)測試中時出現(xiàn)了失敗，經(jīng)計算其準確度高達94.4%（34/36），失敗的原因可能是受試者關(guān)節(jié)角度變化未被捕捉、Kinect 本身具有一定的誤差以及受試者個體差異不同等，但總體控制精度接近95%，可保證系統(tǒng)具有高穩(wěn)定性。

6 總結(jié)與展望

本文設(shè)計了基于Kinect 傳感器的救援機器人系統(tǒng)，主要完成了以下工作：

1）通過分析當(dāng)前救援任務(wù)和救援機器人的發(fā)展現(xiàn)狀，對救援機器人進行了機械結(jié)構(gòu)設(shè)計、繪制三維模型。2）查詢了相關(guān)技術(shù)的發(fā)展，搭建了相應(yīng)的控制系統(tǒng)，對系統(tǒng)進行硬件設(shè)計、軟件設(shè)計、研制了實驗樣機以及上位機控制軟件。3）對救援機器人各功能進行可靠性測試分析，驗證了其功能模塊是可實現(xiàn)的。

在接下來的工作將會繼續(xù)完善和優(yōu)化救援機器人的相關(guān)功能，提高機械臂的鏡像運動功能準確度，在現(xiàn)今的基礎(chǔ)上增加自主導(dǎo)航、越障功能、完善救援行動等。