基于深度強(qiáng)化學(xué)習(xí)的復(fù)雜地形適應(yīng)機(jī)器人設(shè)計(jì)與實(shí)驗(yàn)

楊 頓，楊 帥，于 洋，王 琪

(北京航空航天大學(xué)航空科學(xué)與工程學(xué)院，北京 100191)

0 引 言

行星表面附著探測(cè)、地震廢墟救援、天然洞穴探索等具有非結(jié)構(gòu)化表面、變尺度縫隙、狹小空間和未知信息的環(huán)境探索任務(wù)，通常需要機(jī)器人具備地形適應(yīng)力強(qiáng)、利用本體信息感知環(huán)境、可自主運(yùn)動(dòng)決策的能力。常規(guī)的足式機(jī)器人，如雙足、四足、六足機(jī)器人，相較輪式機(jī)器人具有良好的運(yùn)動(dòng)能力，且感知、決策、驅(qū)動(dòng)功能集成度高，但該類(lèi)機(jī)器人結(jié)構(gòu)尺寸相對(duì)固定，缺乏靈活性，難以適應(yīng)行星、洞穴、廢墟等極端地形下探索任務(wù)的部署和運(yùn)輸需求；同時(shí)，該類(lèi)機(jī)器人一般使用基于模型的控制方法，需要盡可能多地利用傳感器感知環(huán)境、估計(jì)狀態(tài)，所建立的動(dòng)態(tài)模型較復(fù)雜且泛化能力不足，這也將消耗不必要的計(jì)算資源和電力。

從仿生角度出發(fā)，借鑒自然界中動(dòng)植物適應(yīng)極端環(huán)境時(shí)所采用結(jié)構(gòu)外形和運(yùn)動(dòng)模式，為以上問(wèn)題提供了新的解決方案。在戈壁和海灘等地表復(fù)雜地形中，有兩類(lèi)生物——“風(fēng)滾草”和海膽，可借助近似球體結(jié)構(gòu)，利用滾動(dòng)運(yùn)動(dòng)克服地形障礙，而海膽由于其可伸縮足腿而具備更強(qiáng)的自主適應(yīng)性——主動(dòng)避開(kāi)或越過(guò)障礙，最終到達(dá)目標(biāo)地點(diǎn)。以上述生物為靈感，NASA提出了一種仿風(fēng)滾草行星探測(cè)器，可依靠火星風(fēng)力驅(qū)動(dòng)，實(shí)現(xiàn)星表探索，但不具備自主控制能力；Gheorghe等第一次提出了一種類(lèi)似海膽的球形機(jī)器人，其利用球體內(nèi)的伸縮機(jī)構(gòu)推動(dòng)機(jī)器人運(yùn)動(dòng)；日本東京大學(xué)的研究者研制的一款具有32條可伸縮足腿的球形機(jī)器人，基于運(yùn)動(dòng)學(xué)方法實(shí)現(xiàn)了直線(xiàn)和曲線(xiàn)的連續(xù)運(yùn)動(dòng)模式；MIT的研究人員設(shè)計(jì)了一種高伸縮比制動(dòng)器，將其應(yīng)用于14足仿海膽機(jī)器人的足腿機(jī)構(gòu)，并制作樣機(jī)驗(yàn)證了機(jī)器人在平面地形的基本運(yùn)動(dòng)能力。以上仿海膽機(jī)器人在結(jié)構(gòu)設(shè)計(jì)上具備較好地形適應(yīng)潛力，但目前還沒(méi)有研究工作實(shí)現(xiàn)該類(lèi)機(jī)器人的自主運(yùn)動(dòng)控制。

魯棒且泛化性能良好的運(yùn)動(dòng)決策算法是實(shí)現(xiàn)自主運(yùn)動(dòng)的關(guān)鍵。由于這類(lèi)機(jī)器人是非線(xiàn)性欠驅(qū)動(dòng)系統(tǒng)，其步態(tài)控制是一項(xiàng)極具挑戰(zhàn)性的工作。傳統(tǒng)的足式機(jī)器人步態(tài)控制方法需要進(jìn)行簡(jiǎn)化模型、狀態(tài)估計(jì)、軌跡優(yōu)化、足端位置規(guī)劃、操作空間控制等一系列復(fù)雜步驟，盡管該方法可發(fā)揮機(jī)器人良好的機(jī)動(dòng)性，但其通用性和泛化能力不足，需借助大量的專(zhuān)業(yè)領(lǐng)域知識(shí)，缺乏對(duì)變化較大的應(yīng)用場(chǎng)景的適應(yīng)性，較小的地形差異和傳感誤差就可能造成控制不穩(wěn)定。自然界中，動(dòng)物的運(yùn)動(dòng)技能是不斷與環(huán)境交互試錯(cuò)而習(xí)得的。與此類(lèi)似，強(qiáng)化學(xué)習(xí)就是這種不依賴(lài)機(jī)器人的運(yùn)動(dòng)學(xué)和動(dòng)力學(xué)模型，通過(guò)訓(xùn)練提升決策能力的端到端數(shù)據(jù)驅(qū)動(dòng)方法。但對(duì)足式機(jī)器人進(jìn)行運(yùn)動(dòng)步態(tài)的強(qiáng)化學(xué)習(xí)需要處理連續(xù)高維狀態(tài)空間和動(dòng)作空間，計(jì)算量巨大。近年來(lái)，隨著深度學(xué)習(xí)技術(shù)日趨成熟，結(jié)合深度神經(jīng)網(wǎng)絡(luò)的強(qiáng)化學(xué)習(xí)方法突破了連續(xù)高維空間計(jì)算量的限制，在諸多領(lǐng)域中取得了優(yōu)于傳統(tǒng)方法的效果，Peng等使用分層強(qiáng)化學(xué)習(xí)算法實(shí)現(xiàn)了仿真環(huán)境中的機(jī)器人運(yùn)動(dòng)方案，Kumar等實(shí)現(xiàn)了真實(shí)環(huán)境下的基于本體感知的四足機(jī)器人強(qiáng)化學(xué)習(xí)步態(tài)控制，Siekmann等實(shí)現(xiàn)了盲雙足機(jī)器人在真實(shí)環(huán)境下的步態(tài)控制。然而，對(duì)于硬件系統(tǒng)研究尚未成熟的新型仿生欠驅(qū)動(dòng)機(jī)器人，無(wú)先驗(yàn)知識(shí)的端到端運(yùn)動(dòng)策略訓(xùn)練和樣機(jī)部署仍具有挑戰(zhàn)性。

本文主要研究面向行星表面復(fù)雜地形探索任務(wù)的輕量化地形適應(yīng)機(jī)器人解決方案，需要指出，所涉及的復(fù)雜地形指非結(jié)構(gòu)化、無(wú)全局地形感知(視覺(jué)或雷達(dá))信息的一類(lèi)地形，其輪廓線(xiàn)的隨機(jī)起伏可達(dá)本文機(jī)器人結(jié)構(gòu)尺寸的70%左右；地形適應(yīng)指該機(jī)器人能夠穩(wěn)定運(yùn)動(dòng)以躲避或越過(guò)此地形下的障礙、隨機(jī)外部干擾，最終穿越地形到達(dá)運(yùn)動(dòng)目標(biāo)。本文貢獻(xiàn)包括仿生結(jié)構(gòu)設(shè)計(jì)開(kāi)發(fā)和基于學(xué)習(xí)方法的運(yùn)動(dòng)策略。首先，在分析海膽結(jié)構(gòu)特點(diǎn)和運(yùn)動(dòng)原理的基礎(chǔ)上，設(shè)計(jì)了一種新型仿海膽結(jié)構(gòu)的十二足球形機(jī)器人(以下稱(chēng)“仿海膽機(jī)器人”)，該機(jī)器人具有機(jī)構(gòu)伸展率高、能耗低、無(wú)傾覆等優(yōu)勢(shì)。此外，還提出了一種基于無(wú)模型強(qiáng)化學(xué)習(xí)技術(shù)的高效步態(tài)訓(xùn)練算法。通過(guò)仿真實(shí)驗(yàn)驗(yàn)證了該機(jī)器人可實(shí)現(xiàn)平面地形下的近似周期性運(yùn)動(dòng)、非結(jié)構(gòu)地形中基于純本體感知的自主穩(wěn)定運(yùn)動(dòng)，并可到達(dá)運(yùn)動(dòng)目標(biāo)；同時(shí)對(duì)外部干擾具有魯棒性。最后通過(guò)樣機(jī)實(shí)驗(yàn)驗(yàn)證了算法所生成步態(tài)的動(dòng)力學(xué)可行性。

1 結(jié)構(gòu)設(shè)計(jì)方案

1.1 仿生結(jié)構(gòu)分析及運(yùn)動(dòng)條件

如圖1(a)所示，風(fēng)滾草在風(fēng)力驅(qū)動(dòng)下可產(chǎn)生地形適應(yīng)運(yùn)動(dòng)，但缺少驅(qū)動(dòng)機(jī)構(gòu)使其無(wú)法主動(dòng)控制，只能被動(dòng)翻滾。海膽依靠伸縮棘刺調(diào)整結(jié)構(gòu)重心，可實(shí)現(xiàn)主動(dòng)運(yùn)動(dòng)，但其運(yùn)動(dòng)方式以蠕動(dòng)為主，速度較慢。兩類(lèi)生物近似球體的對(duì)稱(chēng)構(gòu)型為穩(wěn)定運(yùn)動(dòng)提供了基礎(chǔ)，可伸縮足腿進(jìn)一步加強(qiáng)了主動(dòng)控制能力。結(jié)合以上生物機(jī)理，本文采用足腿對(duì)稱(chēng)分布的球形機(jī)器人結(jié)構(gòu)方案，伸縮足作為驅(qū)動(dòng)機(jī)構(gòu)，可在復(fù)雜環(huán)境下實(shí)現(xiàn)整機(jī)構(gòu)型的大幅變化，獲得地形適應(yīng)能力；以重心移出支撐三角形而發(fā)生翻滾作為運(yùn)動(dòng)方式，可簡(jiǎn)化步態(tài)的設(shè)計(jì)難度。結(jié)構(gòu)設(shè)計(jì)細(xì)節(jié)需要考慮以下幾類(lèi)特征：

圖1 運(yùn)動(dòng)原理及結(jié)構(gòu)設(shè)計(jì)Fig.1 Motion principle and structure design

(1)對(duì)稱(chēng)性：高度對(duì)稱(chēng)是該機(jī)器人能以簡(jiǎn)單運(yùn)動(dòng)方式適應(yīng)復(fù)雜地形的基本條件。然而實(shí)物樣機(jī)受限于機(jī)電和結(jié)構(gòu)性能，無(wú)法實(shí)現(xiàn)與海膽相近的足腿數(shù)，因此為保障結(jié)構(gòu)對(duì)稱(chēng)，本文將足設(shè)置在正多面體的頂點(diǎn)和面心，以確保其足腿呈中心對(duì)稱(chēng)分布。

(2)足腿數(shù)量：考慮到機(jī)器人足數(shù)、整機(jī)質(zhì)量和驅(qū)動(dòng)能力之間存在相關(guān)性，合適的足數(shù)對(duì)高效完成運(yùn)動(dòng)目標(biāo)具有重要影響：一方面，足數(shù)較少會(huì)減小足與支撐面夾角，降低觸地足與地面的摩擦，增加打滑的可能，且需要更大的電機(jī)推力；另一方面，足數(shù)較多，運(yùn)動(dòng)所需電機(jī)推力將變小，但會(huì)增加整機(jī)重量和控制復(fù)雜度。綜合考慮結(jié)構(gòu)質(zhì)量和設(shè)計(jì)生產(chǎn)難度，本文選擇了十二條可伸縮足，其由正十二面體基座和驅(qū)動(dòng)機(jī)構(gòu)組成，通過(guò)控制每個(gè)驅(qū)動(dòng)機(jī)構(gòu)的徑向運(yùn)動(dòng)，可實(shí)現(xiàn)整機(jī)形狀改變以適應(yīng)地形。

(3)足腿伸縮長(zhǎng)度條件：機(jī)器人足數(shù)和位置確定后，需考慮伸縮足的最小伸縮長(zhǎng)度。如圖1(b)所示，機(jī)器人用三條足腿支撐站立時(shí)，其中一條為驅(qū)動(dòng)腿，另外兩條為支撐腿。假設(shè)機(jī)器人的運(yùn)動(dòng)從圖1(b)所示的位置開(kāi)始，驅(qū)動(dòng)腿伸長(zhǎng)使重心投影移出軸之外，機(jī)器人可實(shí)現(xiàn)一步翻滾動(dòng)作。已知正十二面體的二面角(相鄰兩個(gè)平面的夾角)約為11656°。因此機(jī)器人兩條腿之間的角度近似為6344°。圖1(b)中代表驅(qū)動(dòng)腿初始長(zhǎng)度，Δ代表驅(qū)動(dòng)腿伸長(zhǎng)量。是驅(qū)動(dòng)腿與兩條支撐腿，形成的平面的夾角，則存在如下伸縮關(guān)系：

(1)

可以得出約為58.28°，將，代入公式，得到Δ≈062，即最大伸長(zhǎng)量達(dá)到原長(zhǎng)的1.62倍及以上才可實(shí)現(xiàn)翻滾。結(jié)合樣機(jī)制作過(guò)程的其他影響因素，機(jī)器人樣機(jī)最終采用1.68倍伸縮比方案。

1.2 結(jié)構(gòu)設(shè)計(jì)

綜合考慮結(jié)構(gòu)特點(diǎn)和運(yùn)動(dòng)條件，整機(jī)結(jié)構(gòu)設(shè)計(jì)如圖1(c)左圖所示。執(zhí)行機(jī)構(gòu)安裝在正十二面體的基座面心上。執(zhí)行機(jī)構(gòu)末端設(shè)計(jì)為球形觸地殼，保證其與地面發(fā)生點(diǎn)接觸，便于進(jìn)行摩擦力分析。

(1)驅(qū)動(dòng)機(jī)構(gòu)：驅(qū)動(dòng)器應(yīng)滿(mǎn)足輕質(zhì)、可徑向運(yùn)動(dòng)的要求。本文自主設(shè)計(jì)了一款電動(dòng)直線(xiàn)執(zhí)行器。單個(gè)執(zhí)行機(jī)構(gòu)由步進(jìn)電機(jī)和套筒組成，包括電機(jī)、進(jìn)給螺桿、滑臺(tái)、支架。套筒與滑臺(tái)固連，隨著進(jìn)給螺桿的轉(zhuǎn)動(dòng)而產(chǎn)生徑向運(yùn)動(dòng)。作為滑臺(tái)的外延，套筒尺寸通過(guò)步進(jìn)電機(jī)直徑確定，需在滿(mǎn)足結(jié)構(gòu)要求的同時(shí)盡量減小直徑，同時(shí)保證不降低機(jī)構(gòu)伸縮比。

(2)基座：為使執(zhí)行機(jī)構(gòu)伸縮比滿(mǎn)足運(yùn)動(dòng)條件，要盡可能減小基座直徑，并增大中空體積，用于放置硬件控制系統(tǒng)。

(3)傳感器：作為自主運(yùn)動(dòng)機(jī)器人的外界感知來(lái)源，機(jī)器人十二條足腿末端裝配有接觸力傳感，中心基座裝配慣性傳感器，同時(shí)關(guān)節(jié)的位置和速度信息可獲取。以上感知將作為運(yùn)動(dòng)策略的輸入狀態(tài)。

1.3 初代樣機(jī)平臺(tái)制作

如圖1(c)右圖所示，整體包括執(zhí)行機(jī)構(gòu)、基座和控制系統(tǒng)。基座和套筒使用3D打印。硬件控制系統(tǒng)包括一個(gè)Arduino 2560控制板和4988步進(jìn)電機(jī)驅(qū)動(dòng)模塊。部件具體材料及尺寸見(jiàn)表1。將步態(tài)數(shù)據(jù)輸入Arduino控制板，輸出電脈沖信號(hào)；A4988驅(qū)動(dòng)模塊接收電脈沖信號(hào)，并驅(qū)動(dòng)執(zhí)行機(jī)構(gòu)達(dá)到期望長(zhǎng)度。初代樣機(jī)用于開(kāi)環(huán)步態(tài)驗(yàn)證，未搭載額外傳感裝置。樣機(jī)總質(zhì)量大約為700 g。

表1 機(jī)器人材料及尺寸Table 1 Robot material and size

2 基于強(qiáng)化學(xué)習(xí)方法的數(shù)據(jù)高效步態(tài)訓(xùn)練算法

在使用傳統(tǒng)方法進(jìn)行仿生足式機(jī)器人的步態(tài)設(shè)計(jì)和運(yùn)動(dòng)控制時(shí)，需要已知的地形信息，進(jìn)而建立精確的系統(tǒng)模型進(jìn)行反饋控制，以實(shí)現(xiàn)穩(wěn)定運(yùn)動(dòng)。這一方法缺乏對(duì)非結(jié)構(gòu)化未知地形的適應(yīng)能力。因此，本文采用基于數(shù)據(jù)的強(qiáng)化學(xué)習(xí)方法，使用從狀態(tài)空間映射到動(dòng)作空間的深度神經(jīng)網(wǎng)絡(luò)作為機(jī)器人運(yùn)動(dòng)策略，控制其在僅具備本體感知的非結(jié)構(gòu)化環(huán)境中自主運(yùn)動(dòng)。

本方法首先需在仿真環(huán)境中進(jìn)行模型訓(xùn)練，待策略網(wǎng)絡(luò)收斂后，將其遷移到真實(shí)環(huán)境中具有感知能力的樣機(jī)上，開(kāi)展自主運(yùn)動(dòng)實(shí)驗(yàn)。

作為一類(lèi)構(gòu)型新穎的機(jī)器人，為避免從頭設(shè)計(jì)運(yùn)動(dòng)模式、規(guī)劃步態(tài)，同時(shí)為了發(fā)揮數(shù)據(jù)驅(qū)動(dòng)方法和翻滾運(yùn)動(dòng)模式的優(yōu)勢(shì)，本文采用從0到1的訓(xùn)練模式，即基于無(wú)模型、無(wú)先驗(yàn)知識(shí)的訓(xùn)練方案，僅通過(guò)獎(jiǎng)勵(lì)函數(shù)為神經(jīng)網(wǎng)絡(luò)的優(yōu)化提供引導(dǎo)。該方法具備更強(qiáng)的通用性，可根據(jù)不同的任務(wù)目標(biāo)和地形條件快速訓(xùn)練不同運(yùn)動(dòng)策略。無(wú)模型強(qiáng)化學(xué)習(xí)方法的困難之處在于訓(xùn)練數(shù)據(jù)量過(guò)大、任務(wù)繁重。為此，本文利用機(jī)器人翻滾式運(yùn)動(dòng)的特點(diǎn)，設(shè)計(jì)了一種高效的數(shù)據(jù)采樣方案。經(jīng)過(guò)短時(shí)間訓(xùn)練即可實(shí)現(xiàn)仿海膽機(jī)器人在多種復(fù)雜地形的自主決策運(yùn)動(dòng)。

2.1 策略熵最大化強(qiáng)化學(xué)習(xí)

仿海膽機(jī)器人在未知環(huán)境下的運(yùn)動(dòng)控制過(guò)程可以由參數(shù)組{,,,,}所描述的部分可觀馬爾可夫決策過(guò)程(POMDP)抽象為強(qiáng)化學(xué)習(xí)問(wèn)題，其中,表示狀態(tài)空間和動(dòng)作空間；表示狀態(tài)轉(zhuǎn)移矩陣；是機(jī)器人與環(huán)境交互時(shí)得到的獎(jiǎng)勵(lì)回報(bào)；是表示未來(lái)獎(jiǎng)勵(lì)的衰減因子，取值范圍是[0,1]。強(qiáng)化學(xué)習(xí)的核心目標(biāo)是學(xué)習(xí)出一種從狀態(tài)空間映射到動(dòng)作空間的策略，以從環(huán)境中獲得最大的累計(jì)回報(bào)：

(2)

式中：表示數(shù)據(jù)采樣時(shí)間步；表示從策略中采樣出的軌跡。傳統(tǒng)的強(qiáng)化學(xué)習(xí)算法僅實(shí)現(xiàn)獎(jiǎng)勵(lì)函數(shù)的最大化，由該方法得到的運(yùn)動(dòng)策略在同一狀態(tài)下會(huì)采用相同的動(dòng)作，運(yùn)動(dòng)模式較為單一。但面向復(fù)雜地形探索任務(wù)的足式機(jī)器人需要具備同一狀態(tài)下采取多種可能動(dòng)作方式的能力，才能完成對(duì)障礙地形的探索和克服。所以在優(yōu)化網(wǎng)絡(luò)時(shí)引入了對(duì)策略網(wǎng)絡(luò)熵的優(yōu)化指標(biāo)：

((·|))]

(3)

同時(shí)最大化獎(jiǎng)勵(lì)和熵可保證機(jī)器人在完成任務(wù)目標(biāo)獲得獎(jiǎng)勵(lì)的同時(shí)，策略具備較強(qiáng)的探索能力。

2.2 強(qiáng)化學(xué)習(xí)算法設(shè)定

網(wǎng)絡(luò)結(jié)構(gòu)主要由兩部分組成：動(dòng)作值函數(shù)Q網(wǎng)絡(luò)和策略網(wǎng)絡(luò)(Policy)，參數(shù)設(shè)置如表2所示。策略網(wǎng)絡(luò)輸出層的作用是輸入觀測(cè)狀態(tài)后，輸出12個(gè)關(guān)節(jié)的初始動(dòng)作值。初始動(dòng)作值經(jīng)過(guò)映射算法得到關(guān)節(jié)可執(zhí)行的伸縮長(zhǎng)度。

表2 網(wǎng)絡(luò)結(jié)構(gòu)及參數(shù)設(shè)置Table 2 Network structure and parameter setting

可觀測(cè)狀態(tài)選取

本文設(shè)計(jì)的海膽機(jī)器人對(duì)環(huán)境信息的感知基于本體傳感器，不依靠視覺(jué)、雷達(dá)、地圖等高維觀測(cè)數(shù)據(jù)。獲取感知信息的硬件是慣性測(cè)量單元、步進(jìn)電機(jī)和足端的接觸力傳感器。因此，可觀測(cè)狀態(tài)主要選擇以上三方面信息，包括：十二個(gè)伸縮關(guān)節(jié)的位置和速度：{,…,,,…,}；中心基座的速度和姿態(tài)角：{,,,,,}；觸地腿信號(hào){,…,}。對(duì)以上42個(gè)觀測(cè)值進(jìn)行歸一化處理后，作為Policy網(wǎng)絡(luò)和Q網(wǎng)絡(luò)的輸入。

動(dòng)作空間

觀測(cè)狀態(tài)信息經(jīng)過(guò)策略網(wǎng)絡(luò)的傳遞和處理后，在輸出端得到十二維高斯分布函數(shù)，對(duì)此分布進(jìn)行抽樣，可得到一組初始動(dòng)作值。若直接以此初始動(dòng)作值作為機(jī)器人關(guān)節(jié)運(yùn)動(dòng)量，實(shí)驗(yàn)發(fā)現(xiàn)機(jī)器人將發(fā)生劇烈的碰撞和彈跳，無(wú)法部署到樣機(jī)上。因此本文對(duì)網(wǎng)絡(luò)輸出值A(chǔ)ction設(shè)計(jì)了映射算法進(jìn)行約束，約束后的機(jī)器人在實(shí)驗(yàn)中可以以最接近樣機(jī)真實(shí)的運(yùn)動(dòng)方式運(yùn)行，算法流程如圖2所示。

圖2 網(wǎng)絡(luò)輸出-關(guān)節(jié)動(dòng)作映射算法流程Fig.2 Flow chart of the network output and joint motion mapping

獎(jiǎng)勵(lì)函數(shù)設(shè)置

強(qiáng)化學(xué)習(xí)方法的優(yōu)勢(shì)是可通過(guò)簡(jiǎn)單的獎(jiǎng)勵(lì)函數(shù)為機(jī)器人設(shè)定復(fù)雜運(yùn)動(dòng)目標(biāo)，而不用設(shè)計(jì)者熟練掌握某一領(lǐng)域的特定知識(shí)，本文設(shè)置如下獎(jiǎng)勵(lì)函數(shù)：

(4)

式中：

為訓(xùn)練機(jī)器人具備沿直線(xiàn)運(yùn)動(dòng)能力，仿真時(shí)，在某一時(shí)間步下，將坐標(biāo)的變化量作為主要獎(jiǎng)勵(lì)，持續(xù)向軸正方向運(yùn)動(dòng)獲得正獎(jiǎng)勵(lì)；方向的速度(當(dāng)前質(zhì)心在坐標(biāo)方向下的速度與前一時(shí)間步的速度之差)越大將得到越高獎(jiǎng)勵(lì)；獎(jiǎng)勵(lì)函數(shù)對(duì)于少于三條觸地腿的情況進(jìn)行懲罰，其中表示落地腿數(shù)目；獎(jiǎng)勵(lì)限制了能量消耗，指第條腿的關(guān)節(jié)伸縮量。以上4項(xiàng)為衡量機(jī)器人運(yùn)動(dòng)狀態(tài)的基本獎(jiǎng)勵(lì)，總獎(jiǎng)勵(lì)為各獎(jiǎng)勵(lì)之和：

(5)

對(duì)于特定任務(wù)目標(biāo)還可補(bǔ)充特殊獎(jiǎng)勵(lì)。由此可以得到最終的獎(jiǎng)勵(lì)函數(shù)形式：

=+

(6)

2.3 高效數(shù)據(jù)采樣方案及訓(xùn)練框架

傳統(tǒng)強(qiáng)化學(xué)習(xí)算法在馬爾可夫決策過(guò)程中會(huì)按照時(shí)間順序?qū)Ψ抡孢^(guò)程的序列數(shù)據(jù)依次采樣。但翻滾式機(jī)器人在運(yùn)動(dòng)時(shí)具備特殊性質(zhì)：當(dāng)質(zhì)心投影點(diǎn)移出支撐三角形后，此時(shí)不用再施加關(guān)節(jié)動(dòng)作量，翻滾動(dòng)作即可自然發(fā)生，并在一段時(shí)間的持續(xù)定軸轉(zhuǎn)動(dòng)后穩(wěn)定到下一姿態(tài)。這段轉(zhuǎn)動(dòng)時(shí)間隨機(jī)器人結(jié)構(gòu)、姿態(tài)、重力加速度的不同會(huì)有差異，如果對(duì)這一性質(zhì)加以利用，即將傳統(tǒng)方法對(duì)每一時(shí)間步依次采樣的過(guò)程改變?yōu)榘凑辙D(zhuǎn)動(dòng)時(shí)間間隔進(jìn)行采樣，則可使用更少的數(shù)據(jù)訓(xùn)練出更高效的翻滾技能。

在實(shí)驗(yàn)中對(duì)轉(zhuǎn)動(dòng)時(shí)間間隔參數(shù)進(jìn)行了參數(shù)搜索，最優(yōu)參數(shù)在同一任務(wù)下相較依次采樣方法訓(xùn)練速度提升5倍以上，具體可參考實(shí)驗(yàn)部分3.2節(jié)?；谝陨戏椒ê铜h(huán)境設(shè)定，利用圖3所示的框架進(jìn)行策略網(wǎng)絡(luò)的訓(xùn)練，具體分為兩個(gè)并行循環(huán)：循環(huán)一是機(jī)器人與環(huán)境交互，產(chǎn)生新的馬爾可夫序列數(shù)據(jù)；循環(huán)二是存儲(chǔ)數(shù)據(jù)并優(yōu)化網(wǎng)絡(luò)參數(shù)，提升網(wǎng)絡(luò)性能。

圖3 運(yùn)動(dòng)策略網(wǎng)絡(luò)訓(xùn)練框架Fig.3 Movement policy network training framework

3 實(shí)驗(yàn)及分析

3.1 仿真驗(yàn)證實(shí)驗(yàn)

仿真實(shí)驗(yàn)在動(dòng)力學(xué)開(kāi)源平臺(tái)Pybullet 3.0.7上進(jìn)行，運(yùn)算主機(jī)配備了英特爾i7-8500U處理器和16 GB內(nèi)存。神經(jīng)網(wǎng)絡(luò)使用基于CPU版本Pytorch框架進(jìn)行訓(xùn)練，機(jī)器人模型參數(shù)設(shè)置如表3所示。

表3 仿真實(shí)驗(yàn)參數(shù)設(shè)置Table 3 Simulation experiment parameter setting

平面地形實(shí)驗(yàn)：首先在該實(shí)驗(yàn)中進(jìn)行運(yùn)動(dòng)策略可行性驗(yàn)證，預(yù)設(shè)5000回合訓(xùn)練，每回合進(jìn)行200時(shí)間步的探索，同時(shí)在此環(huán)境中補(bǔ)充如下獎(jiǎng)勵(lì)函數(shù)：

(7)

該獎(jiǎng)勵(lì)限制了機(jī)器人在方向的位移，使其以接近直線(xiàn)的軌跡朝軸正向運(yùn)動(dòng)。訓(xùn)練目標(biāo)是以最低能耗平穩(wěn)地運(yùn)動(dòng)進(jìn)入目標(biāo)地點(diǎn)，同時(shí)盡量保持3條腿觸地，以減少落地撞擊。經(jīng)過(guò)5小時(shí)訓(xùn)練，機(jī)器人達(dá)到了目標(biāo)平均獎(jiǎng)勵(lì)，學(xué)習(xí)曲線(xiàn)及運(yùn)動(dòng)效果如圖4,5(a)所示，代表仿真中的實(shí)時(shí)時(shí)間。

圖4 平面地形學(xué)習(xí)曲線(xiàn)Fig.4 Flat terrain movement learning curve

圖5 多地形運(yùn)動(dòng)步態(tài)，自主運(yùn)動(dòng)過(guò)程的魯棒性展示及對(duì)比Fig.5 Multi terrain gait movement display, demonstration and comparison of robustness of autonomous motion process

非結(jié)構(gòu)化地形實(shí)驗(yàn)：非結(jié)構(gòu)體現(xiàn)為位置和數(shù)量隨機(jī)生成的石塊障礙，如圖6(a)所示，石塊的直徑在0～280 mm之間，機(jī)器人所有關(guān)節(jié)全伸長(zhǎng)狀態(tài)下尺寸為320 mm；訓(xùn)練時(shí)，機(jī)器人只能通過(guò)自身足端接觸、關(guān)節(jié)長(zhǎng)度、速度和中心姿態(tài)感知外界，因此該相對(duì)比例下的未知復(fù)雜地形對(duì)機(jī)器人而言具有較大挑戰(zhàn)性。

非結(jié)構(gòu)化地形訓(xùn)練實(shí)驗(yàn)預(yù)設(shè)12000回合,每回合進(jìn)行1000時(shí)間步探索。訓(xùn)練目標(biāo)是在復(fù)雜環(huán)境中機(jī)器人通過(guò)網(wǎng)絡(luò)進(jìn)行自主運(yùn)動(dòng)控制和決策，越過(guò)障礙進(jìn)入目標(biāo)地點(diǎn)。經(jīng)過(guò)20 h訓(xùn)練，學(xué)習(xí)曲線(xiàn)基本收斂，如圖6(b)所示，運(yùn)動(dòng)展示如圖5(b)所示。

圖6 非結(jié)構(gòu)化地形及訓(xùn)練曲線(xiàn)Fig.6 Unstructured terrain and learning curve

魯棒性實(shí)驗(yàn)：本文通過(guò)對(duì)搭載訓(xùn)練過(guò)的策略網(wǎng)絡(luò)的機(jī)器人自主運(yùn)動(dòng)過(guò)程施加較大外力干擾，發(fā)現(xiàn)其具有較強(qiáng)魯棒性,即在外力干擾下偏離目標(biāo)軌跡后，撤除外力，機(jī)器人會(huì)自主調(diào)節(jié)運(yùn)動(dòng)過(guò)程，直至恢復(fù)目標(biāo)軌跡，如圖5(c)所示。

3.2 對(duì)比實(shí)驗(yàn)

為驗(yàn)證基于翻滾運(yùn)動(dòng)模式設(shè)計(jì)的數(shù)據(jù)高效采樣方案對(duì)步態(tài)訓(xùn)練的影響,進(jìn)行了對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)發(fā)現(xiàn)最優(yōu)時(shí)間間隔參數(shù)為45。圖7對(duì)比了參數(shù)為30，45，80時(shí)的學(xué)習(xí)曲線(xiàn)，參數(shù)45相較參數(shù)80的訓(xùn)練效率提升2倍以上，相較參數(shù)30效率提升5倍以上。

圖7 不同時(shí)間間隔參數(shù)對(duì)訓(xùn)練效率的影響Fig.7 Effect of different time gap parameters on training efficiency

為驗(yàn)證引入了策略熵最大化指標(biāo)的強(qiáng)化學(xué)習(xí)算法訓(xùn)練的策略能力，將該網(wǎng)絡(luò)的魯棒性與基于TD3強(qiáng)化學(xué)習(xí)算法的訓(xùn)練結(jié)果作對(duì)比。對(duì)比圖5(c)和圖5(d)，對(duì)相同訓(xùn)練任務(wù)的運(yùn)動(dòng)過(guò)程施加較大外力干擾后，基于本文方法訓(xùn)練的智能體可自主恢復(fù)路線(xiàn)，基于TD3算法的智能體不能對(duì)環(huán)境干擾做出響應(yīng)，最終無(wú)法自主恢復(fù)運(yùn)動(dòng)路線(xiàn)。

圖8提取了機(jī)器人平面地形運(yùn)動(dòng)過(guò)程(35時(shí)間步)，可看到該策略未基于任何先驗(yàn)信息而習(xí)得了近似周期性切換的步態(tài)，這一結(jié)果符合自然界翻滾式運(yùn)動(dòng)模式的步態(tài)特征；同時(shí)可發(fā)現(xiàn)在大多數(shù)時(shí)刻，機(jī)器人保持3腿著地狀態(tài)，該狀態(tài)下機(jī)器人質(zhì)心運(yùn)動(dòng)平穩(wěn)，但仍然存在某些時(shí)刻著地腿少于3的情況，在這一時(shí)刻，機(jī)器人的運(yùn)動(dòng)穩(wěn)定性較差，質(zhì)心處于較高點(diǎn)，可能會(huì)與地面發(fā)生劇烈撞擊，這是需要進(jìn)一步提升的方向。

圖8 平面地形周期性步態(tài)切換序列、關(guān)節(jié)能量消耗、質(zhì)心高度曲線(xiàn)和單足落地時(shí)刻Fig.8 Flat terrain periodic gait switching sequence, total energy consumption, centroid height curve and single foot landing time

3.3 樣機(jī)實(shí)驗(yàn)及分析

為驗(yàn)證本文方法所訓(xùn)練的運(yùn)動(dòng)步態(tài)在實(shí)物樣機(jī)平臺(tái)上的可行性，本文提取了策略網(wǎng)絡(luò)在平面地形下生成的步態(tài)數(shù)據(jù)，并在樣機(jī)上進(jìn)行了開(kāi)環(huán)步態(tài)實(shí)驗(yàn)。如圖9所示，該步態(tài)結(jié)果可實(shí)現(xiàn)摩擦接觸較復(fù)雜平面下的穩(wěn)定運(yùn)動(dòng)，運(yùn)動(dòng)過(guò)程基本保持3條腿觸地情況。

圖9(a)中0～30 s運(yùn)動(dòng)過(guò)程展示了一步翻滾動(dòng)作，俯視圖如圖9(b)所示。初始時(shí)刻機(jī)器人保持三足支撐，當(dāng)其準(zhǔn)備翻滾至下一狀態(tài)時(shí)，為避免落地沖擊對(duì)樣機(jī)造成破環(huán)，其訓(xùn)練得到的步態(tài)首先伸長(zhǎng)前進(jìn)方向上即將落地的新支撐腿(探測(cè)足)和此時(shí)已著地但下一時(shí)刻將騰空的支撐腿(驅(qū)動(dòng)足)，同時(shí)其他懸空足將以某種規(guī)律伸長(zhǎng)或縮短以配置質(zhì)心。如圖9(a)中=11 s和圖9(b)中時(shí)刻2所示，機(jī)器人將以緩慢穩(wěn)定的過(guò)程以?xún)芍巫阌|地點(diǎn)連線(xiàn)為軸旋轉(zhuǎn)，直到質(zhì)心越過(guò)兩不動(dòng)支撐足時(shí)，探測(cè)足觸地，驅(qū)動(dòng)足離地，全過(guò)程保持3條腿著地的方式完成本次翻滾。之后，探測(cè)足和驅(qū)動(dòng)足將收縮達(dá)到新的穩(wěn)定狀態(tài)，以調(diào)配下一步翻滾的質(zhì)心位置。

圖9 平面地形開(kāi)環(huán)步態(tài)樣機(jī)實(shí)驗(yàn)Fig.9 Open loop gait prototype experiment on flat terrain

由樣機(jī)實(shí)驗(yàn)過(guò)程可看出，相較手動(dòng)設(shè)計(jì)步態(tài)，基于學(xué)習(xí)方法的步態(tài)結(jié)果具有更高的運(yùn)動(dòng)效率：在實(shí)現(xiàn)本次翻滾的質(zhì)心調(diào)整時(shí)，部分關(guān)節(jié)的伸縮已開(kāi)始為下一次翻滾動(dòng)作準(zhǔn)備，因此該方法可更大程度發(fā)揮多足機(jī)器人冗余自由度的結(jié)構(gòu)優(yōu)勢(shì)。

4 結(jié) 論

針對(duì)適應(yīng)性結(jié)構(gòu)和智能化控制在行星表面輕型自主探測(cè)任務(wù)的需求，結(jié)合仿生思想和強(qiáng)化學(xué)習(xí)方法，本文設(shè)計(jì)了一種仿海膽結(jié)構(gòu)的十二足球形探測(cè)機(jī)器人及基于SAC算法的步態(tài)訓(xùn)練策略。實(shí)驗(yàn)表明，通過(guò)高效訓(xùn)練，該機(jī)器人可快速掌握未知非結(jié)構(gòu)化地形下的自主運(yùn)動(dòng)能力和抗干擾能力。在虛擬環(huán)境實(shí)驗(yàn)中：平面地形下，無(wú)模型策略習(xí)得了近似周期的步態(tài)序列；隨機(jī)石塊地形和施加外力情形下機(jī)器人均能自主躲避障礙、抵抗干擾、完成運(yùn)動(dòng)目標(biāo)。同時(shí)，通過(guò)開(kāi)展自研樣機(jī)的實(shí)驗(yàn)，驗(yàn)證了數(shù)據(jù)驅(qū)動(dòng)方法所生成的步態(tài)在真實(shí)環(huán)境下的動(dòng)力學(xué)可行性。為進(jìn)一步開(kāi)展復(fù)雜地形測(cè)試提供了實(shí)驗(yàn)基礎(chǔ)。與已有方法相比，該方法所生成的步態(tài)具有更高的魯棒性和運(yùn)動(dòng)效率。

另外，本文提出的運(yùn)動(dòng)策略無(wú)需動(dòng)力學(xué)模型或運(yùn)動(dòng)學(xué)模型等先驗(yàn)知識(shí)，具備不同地形下的泛化能力。機(jī)器人具有結(jié)構(gòu)簡(jiǎn)單、無(wú)傾覆等優(yōu)勢(shì)；通過(guò)快速訓(xùn)練，即可直接部署；可為洞穴、沙漠等地球極端地形的自主探測(cè)，或新一代小行星表面探測(cè)器的設(shè)計(jì)提供參考。本文后續(xù)將進(jìn)一步結(jié)合傳感器融合技術(shù)，實(shí)現(xiàn)樣機(jī)平臺(tái)在真實(shí)環(huán)境探測(cè)場(chǎng)景下的高精度運(yùn)動(dòng)控制。