由光場(chǎng)控制的柔性微型機(jī)器人 的步態(tài)學(xué)習(xí)

編輯部編譯

柔性微型機(jī)器人是一種亞毫米級(jí)的移動(dòng)機(jī)器人設(shè)備。而基于光響應(yīng)材料并由光場(chǎng)控制的柔性微型機(jī)器人可以產(chǎn)生多種不同的步態(tài)。最近，呂貝克大學(xué)、斯圖加特大學(xué)、蘇黎世聯(lián)邦理工學(xué)院的研究員就對(duì)此進(jìn)行了研究。該研究在微型機(jī)器人系統(tǒng)的背景下，將“步態(tài)”定義為導(dǎo)致運(yùn)動(dòng)的任何周期性變形模式。這些柔性微型機(jī)器人的變形和步態(tài)可以通過(guò)驅(qū)動(dòng)光場(chǎng)而被靈活地控制和調(diào)整，從而使步態(tài)適應(yīng)不同的環(huán)境。該研究所采用的基于具有高斯過(guò)程的貝葉斯優(yōu)化學(xué)習(xí)方案是高度數(shù)據(jù)有效的，并且對(duì)于微型機(jī)器人之間的差異具有魯棒性。

基于光響應(yīng)材料并由光場(chǎng)控制的柔性微型機(jī)器人可以產(chǎn)生多種不同的步態(tài)。盡管由于缺乏精確的運(yùn)動(dòng)模型并且考慮到微型機(jī)器人之間的內(nèi)在可變性，分析控制設(shè)計(jì)是不可能的，但這種固有的靈活性可以在給定的環(huán)境中最大限度地發(fā)揮它們的運(yùn)動(dòng)性能，并且用于使它們適應(yīng)變化的條件。另一方面，常見(jiàn)的數(shù)據(jù)驅(qū)動(dòng)方法需要進(jìn)行大量的實(shí)驗(yàn)，并產(chǎn)生非常特定于樣本的結(jié)果。本文提出了一種基于貝葉斯優(yōu)化（Bayesian Optimization，BO）和高斯過(guò)程（Gaussian Processe，GP）的光控柔性微型機(jī)器人的概率學(xué)習(xí)方法。該方法產(chǎn)生了高度數(shù)據(jù)有效的學(xué)習(xí)方案，可以實(shí)現(xiàn)在有限實(shí)驗(yàn)預(yù)算下的步態(tài)優(yōu)化，以及實(shí)現(xiàn)針對(duì)微機(jī)器人樣本之間差異的魯棒性。通過(guò)在半合成數(shù)據(jù)集上比較不同的GP先驗(yàn)和BO設(shè)置來(lái)設(shè)計(jì)學(xué)習(xí)方案，從而獲得這些特征。該開(kāi)發(fā)出來(lái)的學(xué)習(xí)方案在微型機(jī)器人實(shí)驗(yàn)中得到驗(yàn)證，其結(jié)果為：微型機(jī)器人的運(yùn)動(dòng)性能提高了115%，而其實(shí)驗(yàn)預(yù)算僅為20次測(cè)試。這些令人鼓舞的結(jié)果為基于光控柔性微型機(jī)器人和概率學(xué)習(xí)控制的自適應(yīng)微型機(jī)器人系統(tǒng)的開(kāi)發(fā)開(kāi)辟了道路。

引言

柔性微型機(jī)器人是一種亞毫米級(jí)的移動(dòng)機(jī)器人設(shè)備，由柔性的、刺激響應(yīng)性的材料制成，可以作為傳感器和/或執(zhí)行器。實(shí)際上，因?yàn)闆](méi)有機(jī)器人部件可用在微型規(guī)模級(jí)別上，所以在微型機(jī)器人中實(shí)現(xiàn)基本的機(jī)器人功能正是需要通過(guò)這些制造微型機(jī)器人的材料。

最近，由光響應(yīng)的液晶彈性體（liquid-crystal elastomer，LCE）組成的柔性微型機(jī)器人已經(jīng)問(wèn)世。這些柔性連續(xù)機(jī)器人基于材料的驅(qū)動(dòng)是由結(jié)構(gòu)光場(chǎng)提供動(dòng)力和控制的（如圖1所示），從而產(chǎn)生具有多個(gè)內(nèi)部自由度（degrees of freedom，DOF）的微型機(jī)器人。本文在微型機(jī)器人系統(tǒng)的背景下，將“步態(tài)”定義為導(dǎo)致運(yùn)動(dòng)的任何周期性變形模式。因此，這些柔性微型機(jī)器人的變形和步態(tài)可以通過(guò)驅(qū)動(dòng)光場(chǎng)而被靈活地控制和調(diào)整，從而使步態(tài)適應(yīng)不同的環(huán)境。盡管如此，通過(guò)手動(dòng)調(diào)節(jié)光場(chǎng)參數(shù)以找到良好的運(yùn)動(dòng)性能仍是非常低效和耗時(shí)的，特別是考慮到以下幾點(diǎn)：（1）通常沒(méi)有精準(zhǔn)的微型機(jī)器人運(yùn)動(dòng)模型；（2）由于手工制造過(guò)程，每個(gè)微型機(jī)器人在某種程度上都是不同的；（3）隨著材料緩慢的退化，微型機(jī)器人的響應(yīng)會(huì)隨時(shí)間的推移而變化。因此，從數(shù)據(jù)中學(xué)習(xí)有效的步態(tài)是一種可行的方法。

本文提出了一種自動(dòng)學(xué)習(xí)程序，以找到在給定環(huán)境中由光驅(qū)動(dòng)的柔性微型機(jī)器人的最佳步態(tài)。最佳的控制器參數(shù)，即驅(qū)動(dòng)光場(chǎng)的參數(shù)，由貝葉斯優(yōu)化（BO）逐步進(jìn)行評(píng)估。在這種情況下進(jìn)行學(xué)習(xí)會(huì)帶來(lái)一些特殊的挑戰(zhàn)。首先，所開(kāi)發(fā)的學(xué)習(xí)方案應(yīng)該是高度數(shù)據(jù)有效的，能夠利用先驗(yàn)信息并利用經(jīng)驗(yàn)數(shù)據(jù)在有限數(shù)量的實(shí)驗(yàn)中接近最佳的運(yùn)動(dòng)性能。同時(shí)，它應(yīng)該具有魯棒性，能夠抵抗微型機(jī)器人之間的差異，并且能夠獨(dú)立于所使用的特定微型機(jī)器人有良好的表現(xiàn)。

這項(xiàng)研究是首次嘗試從亞毫米機(jī)器人的數(shù)據(jù)中學(xué)習(xí)控制器。首先，我們定義了一種從微型機(jī)器人的跟蹤圖像中有效評(píng)估運(yùn)動(dòng)速度的方法。然后，我們記錄了對(duì)半合成數(shù)據(jù)集上的多個(gè)BO設(shè)置（即采集函數(shù)、內(nèi)核、超參數(shù)）的比較，該數(shù)據(jù)集基于來(lái)自微型機(jī)器人實(shí)驗(yàn)的實(shí)際數(shù)據(jù)并且被增強(qiáng)到微型機(jī)器人間的可變性模型上。最后，我們演示了在真實(shí)機(jī)器人實(shí)驗(yàn)中成功的學(xué)習(xí)，與初始猜測(cè)相比，運(yùn)動(dòng)性能提高了115%。該實(shí)驗(yàn)是使用先前未測(cè)試過(guò)的微型機(jī)器人進(jìn)行證實(shí)的。

微型機(jī)器人系統(tǒng)

在這項(xiàng)研究中，我們學(xué)習(xí)了所開(kāi)發(fā)的柔性微型機(jī)器人的最佳步態(tài)。它們由單片的LCE組成，這些LCE響應(yīng)光線(xiàn)而進(jìn)行主動(dòng)且連續(xù)的變形。當(dāng)局部發(fā)生變形時(shí)，可以通過(guò)用適當(dāng)?shù)墓鈭?chǎng)刺激微型機(jī)器人來(lái)獲得所需的運(yùn)動(dòng)模式。這種方法使微型機(jī)器人具有許多內(nèi)部的自由度。換句話(huà)說(shuō)，基于光的控制使這些亞毫米級(jí)的單片結(jié)構(gòu)表現(xiàn)得如同它們包含許多獨(dú)立的、無(wú)線(xiàn)控制的執(zhí)行器。

通過(guò)調(diào)制激光束的強(qiáng)度并通過(guò)顯微鏡目標(biāo)投射到微機(jī)器人的工作空間來(lái)產(chǎn)生驅(qū)動(dòng)光場(chǎng)。通過(guò)相同的目標(biāo)觀(guān)察微型機(jī)器人，該相機(jī)以10幀/秒的速度對(duì)工作空間成像，并且分辨率為1280×1024 pixel（1pixel=1.29 μm）。通過(guò)計(jì)算機(jī)控制的數(shù)字微鏡器件（digital micromirror device，DMD）模塊（V-7000，ViaLUX）在空間和時(shí)間上對(duì)激光束（532nm-Verdi G10，Coherent）進(jìn)行調(diào)制。該DMD由一個(gè)1024×768個(gè)微鏡構(gòu)成的陣列組成，每個(gè)微鏡代表一個(gè)投影光場(chǎng)中的像素。微鏡以二進(jìn)制的方式調(diào)制光強(qiáng)度，而灰度級(jí)控制可以通過(guò)高頻脈沖寬度調(diào)制（pulse-width modulation，PWM）實(shí)現(xiàn)。因此，微型機(jī)器人系統(tǒng)原則上具有大約106個(gè)控制參數(shù)，每個(gè)控制參數(shù)可以呈現(xiàn)28個(gè)值。這為步態(tài)優(yōu)化提供了巨大的參數(shù)空間。在這樣的高維參數(shù)空間中直接學(xué)習(xí)控制器參數(shù)將需要大量的實(shí)驗(yàn)數(shù)據(jù)。因此，在這個(gè)階段，我們提出通過(guò)采用有效的控制器結(jié)構(gòu)并使用BO調(diào)整其臨界自由參數(shù)來(lái)學(xué)習(xí)步態(tài)。

步態(tài)學(xué)習(xí)方法

我們將由光驅(qū)動(dòng)的柔性微型機(jī)器人的步態(tài)學(xué)習(xí)問(wèn)題表述為適當(dāng)參數(shù)化開(kāi)環(huán)控制器的成本最小化問(wèn)題。步態(tài)學(xué)習(xí)算法如圖2所示。我們使用僅具有少量開(kāi)放參數(shù)的周期性光模式，然后在該光模式的參數(shù)空間中進(jìn)行優(yōu)化。

具有GP的BO是本文所提出的步態(tài)學(xué)習(xí)方法的核心。具有GP的BO已經(jīng)成功地得到了使用，例如，用于雙足機(jī)器人、四足機(jī)器人和厘米級(jí)六足機(jī)器人的步態(tài)學(xué)習(xí)。它也被提出用于自動(dòng)反饋控制器的調(diào)優(yōu)。GP的一個(gè)主要優(yōu)勢(shì)在于允許以概率性先驗(yàn)的形式包含關(guān)于系統(tǒng)的現(xiàn)有信息。這減小了學(xué)習(xí)成本函數(shù)的良好近似所需的數(shù)據(jù)集大小，同時(shí)保持了非參數(shù)模型的靈活性。

學(xué)習(xí)一維運(yùn)動(dòng)的步態(tài)

我們考慮步態(tài)學(xué)習(xí)問(wèn)題的具體實(shí)例，即學(xué)習(xí)浸沒(méi)在液體中的圓柱形微型機(jī)器人的一維（1D）運(yùn)動(dòng)（如圖3所示）。特別是，將微型機(jī)器人放置在培養(yǎng)皿的底部，培養(yǎng)皿表面涂有聚二甲基硅氧烷（Polydimethylsiloxane，PDMS）以避免粘附，并浸沒(méi)在硅油中。微型機(jī)器人的運(yùn)動(dòng)是其周期性變形的結(jié)果，由所投射的光場(chǎng)提供動(dòng)力和控制。

首先描述用于控制微型機(jī)器人的光模式及其定義參數(shù)。然后定義運(yùn)動(dòng)目標(biāo)和用于學(xué)習(xí)1D步態(tài)的相應(yīng)成本函數(shù)。最后，估計(jì)出GP的超參數(shù)。

半合成基準(zhǔn)測(cè)試

為了使BO在實(shí)踐中良好地運(yùn)行，我們需要適當(dāng)?shù)剡x擇一些設(shè)置，特別是內(nèi)核和采集函數(shù)。這些適當(dāng)?shù)倪x擇應(yīng)該能夠?qū)Σ煌奈⑿蜋C(jī)器人進(jìn)行泛化，同時(shí)保持?jǐn)?shù)據(jù)效率。為了系統(tǒng)地確定良好的設(shè)置，我們考慮使用半合成的成本函數(shù)并對(duì)不同的設(shè)置進(jìn)行基準(zhǔn)測(cè)試。

我們首先描述了如何生成半合成成本函數(shù)，然后對(duì)GP和BO所經(jīng)過(guò)考慮的設(shè)計(jì)選擇進(jìn)行了激勵(lì)，最后得出了基準(zhǔn)測(cè)試的結(jié)果。

實(shí)驗(yàn)結(jié)果

采用一種新的微型機(jī)器人對(duì)所開(kāi)發(fā)的學(xué)習(xí)控制框架進(jìn)行實(shí)驗(yàn)驗(yàn)證。由于每個(gè)微型機(jī)器人之間略有不同，最佳步態(tài)參數(shù)也會(huì)有所不同。在沒(méi)有學(xué)習(xí)新微型機(jī)器人的具體成本函數(shù)的情況下，最著名的控制器參數(shù)為λ=645μm，δ=30%。從這個(gè)初始控制器開(kāi)始，我們使用20個(gè)樣本的實(shí)驗(yàn)預(yù)算來(lái)執(zhí)行BO。參數(shù)空間上所學(xué)習(xí)的成本函數(shù)如圖4所示。

然后將初始性能與具有最低后驗(yàn)平均值（θpost）和最低觀(guān)察成本（θy*）的參數(shù)集的性能進(jìn)行比較。最低后驗(yàn)平均值的參數(shù)為δpost = 43%和λpost =376μm，而最低觀(guān)察成本的參數(shù)為δy*=43%和λy* = 381μm。圖5所示為所獲得的成本函數(shù)J（θ）的值。值得注意的是，我們分別在最低后驗(yàn)平均值和最低觀(guān)察成本的情況下將成本降低了46%和58%。相應(yīng)地，運(yùn)動(dòng)性能，即平均速度Vm，相對(duì)于先前的實(shí)驗(yàn)獲得的初始控制器參數(shù)（Vm，prior = 1.01%bl/s）增加了92%（Vm，post = 1.93%bl/s）和115%（Vm，y*= 2.17%bl/s）。

結(jié)論

本文首次研究并論證了亞毫米機(jī)器人最佳步態(tài)的概率學(xué)習(xí)潛力。特別是，所提出的基于具有GP的BO學(xué)習(xí)方案被證明是高度數(shù)據(jù)有效的，并且對(duì)于微型機(jī)器人之間的差異具有魯棒性。這些特征對(duì)于由光驅(qū)動(dòng)的柔性微型機(jī)器人是必不可少的，它們?cè)谶B續(xù)的刺激下具有相對(duì)高的可變性和有限的壽命。該BO學(xué)習(xí)方法是具有通用性，并且可以用于為其他微型機(jī)器人系統(tǒng)確定最佳的控制器參數(shù)。

我們用于開(kāi)發(fā)步態(tài)優(yōu)化學(xué)習(xí)方案的方法是基于半合成基準(zhǔn)函數(shù)定義的。這種方法使我們能夠評(píng)估不同學(xué)習(xí)方案對(duì)于微型機(jī)器人之間變異性的魯棒性，并選擇具有最大機(jī)會(huì)的方案來(lái)為存在微小差異的微型機(jī)器人提供運(yùn)動(dòng)性能方面實(shí)質(zhì)性的改進(jìn)。這在實(shí)際的微型機(jī)器人實(shí)驗(yàn)中得到了驗(yàn)證。通過(guò)使用不同的微型機(jī)器人進(jìn)行半合成基準(zhǔn)測(cè)試和驗(yàn)證實(shí)驗(yàn)，我們證明了該方法可以解決微型機(jī)器人之間的差異問(wèn)題。

學(xué)習(xí)控制是構(gòu)建基于由光驅(qū)動(dòng)的柔性微型機(jī)器人的完整機(jī)器人系統(tǒng)的重要一步。不過(guò)，未來(lái)仍存在許多有趣的挑戰(zhàn)。未來(lái)的研究方向是針對(duì)問(wèn)題特定內(nèi)核的設(shè)計(jì)，以及在更高維度的參數(shù)空間中學(xué)習(xí)更復(fù)雜的步態(tài)以利用微型機(jī)器人的多自由度。例如，這與使用圓盤(pán)形微型機(jī)器人進(jìn)行二維平面運(yùn)動(dòng)相關(guān)。此外，擴(kuò)展BO以學(xué)習(xí)時(shí)變成本函數(shù)也是非常有趣的，因?yàn)樗鼘⑹刮⑿蜋C(jī)器人能夠適應(yīng)材料性能的退化，更重要的是，適應(yīng)環(huán)境的變化。