一文詳解群體機(jī)器人中的實(shí)體進(jìn)化

Nicolas Bredeche Evert Haasdijk Abraham Prieto

在自然生命系統(tǒng)中，生存和發(fā)展的自然演化規(guī)律是始終貫穿整個(gè)歷史的。受人生命思想的啟發(fā)，本文討論了一種群體機(jī)器人的實(shí)體進(jìn)化方法，將機(jī)器人的進(jìn)化過程內(nèi)嵌到實(shí)際的工作過程中，進(jìn)化伴隨著執(zhí)行任務(wù)的過程同時(shí)進(jìn)行。

本文概述了適用于機(jī)器人群體（robot collectives）在線分布式進(jìn)化的進(jìn)化機(jī)器人技術(shù)，即實(shí)體進(jìn)化（embodied evolution）。對具體進(jìn)化的定義進(jìn)行了闡述，并對基本概念和機(jī)制進(jìn)行了全面描述。此外，本文還全面總結(jié)了自2000年以來在該領(lǐng)域所發(fā)表的研究成果，提供了多方位的視角從而確定主要的發(fā)展趨勢。特別是，我們有了一個(gè)新的發(fā)現(xiàn)，即，將原先的把具體進(jìn)化看做是小型機(jī)器人群體內(nèi)（小于10臺(tái)機(jī)器人）的一種并行搜索方法，轉(zhuǎn)變?yōu)閷⒕唧w進(jìn)化看做是類群體性集體中用于設(shè)計(jì)集體行為的在線分布式學(xué)習(xí)方法?？偠灾?，本文所闡述的該技術(shù)的相關(guān)應(yīng)用和開放性問題，為過去提供了一個(gè)里程碑，也為未來的研究提供了靈感。

本文概述了進(jìn)化機(jī)器人的相關(guān)研究，在這項(xiàng)研究中，進(jìn)化以一種連續(xù)的方式發(fā)生在機(jī)器人群體中。Ficici等人（于1999年）創(chuàng)造了embodied evolution這一用于描述進(jìn)化過程的短語，它分布在群體機(jī)器人上，從而使它們能夠自主和持續(xù)地進(jìn)行適應(yīng)。同時(shí)，隨著機(jī)器人技術(shù)的發(fā)展具備越來越高的可能性，以及經(jīng)濟(jì)上的可行性，在最小的人為監(jiān)督環(huán)境下，專家團(tuán)隊(duì)以高昂代價(jià)操作的單個(gè)機(jī)器人，正通過機(jī)器人群體的協(xié)作使用，迅速地得以輔助（Bellingham和Rajan于2007年提出），并且，在這種機(jī)器人群體中實(shí)現(xiàn)自主的在線自適應(yīng)過程中，具體進(jìn)化可以發(fā)揮至關(guān)重要的作用。

實(shí)際上，實(shí)體進(jìn)化背后的愿景是一組真正的自主機(jī)器人，它們可以調(diào)整自己的行為以適應(yīng)不同的任務(wù)和環(huán)境。自主發(fā)生在兩個(gè)層面上：機(jī)器人不僅能夠在沒有外部控制的情況下執(zhí)行任務(wù)，而且它們能夠通過進(jìn)化，在不需要外部監(jiān)督的情況下對其自身行為進(jìn)行評估和調(diào)整，因此可以自主學(xué)習(xí)。這種自適應(yīng)能力使得機(jī)器人在無法事先準(zhǔn)確建模的情況下能夠得以部署。這可能是因?yàn)榄h(huán)境或用戶需求尚未完全了解，或者可能是由于機(jī)器人之間交互的復(fù)雜性以及它們環(huán)境的有效性導(dǎo)致場景不可預(yù)測。此外，車載自適應(yīng)性（onboard adaptivity）本質(zhì)上避免了在部署之前開發(fā)控制器時(shí)由于機(jī)器人或其環(huán)境的建模不準(zhǔn)確將造成的現(xiàn)實(shí)差距（Jakobi 等人于1995年提出），因?yàn)榭刂破髟诓渴鹬筮€將得以繼續(xù)開發(fā)。最終的好處是，實(shí)體進(jìn)化可以看做是并行化進(jìn)化過程，因?yàn)樗鼘⒃u估分布在多個(gè)機(jī)器人上。Alba（于2002年）已經(jīng)表明，這種并行性可以提供很大的好處，包括超線性加速（superlinear speedups）。在機(jī)器人的示例情況下，這具有減少每個(gè)機(jī)器人執(zhí)行不良控制器所耗費(fèi)的時(shí)間的附加好處，減少了磨損。

實(shí)體進(jìn)化的在線本質(zhì)與“傳統(tǒng)”進(jìn)化機(jī)器人研究形成鮮明對比。傳統(tǒng)的進(jìn)化機(jī)器人采用經(jīng)典順序集中的優(yōu)化范式進(jìn)行進(jìn)化：父輩和幸存者的選擇是集中并考慮整個(gè)群體?！皺C(jī)器人”部分需要進(jìn)行一系列機(jī)器人試驗(yàn)（模擬與否），以一種基于進(jìn)化的方式進(jìn)行搜索從而找到最優(yōu)機(jī)器人控制器。就任務(wù)性能表現(xiàn)而言，實(shí)體進(jìn)化在某些情況下，如飛行無人機(jī)的監(jiān)控和自我定位，其性能表現(xiàn)要遠(yuǎn)遠(yuǎn)優(yōu)于其他進(jìn)化機(jī)器人技術(shù)，特別是在收斂速度方面。

考慮到能夠提供一個(gè)清晰明了的討論的初衷，我們將實(shí)體進(jìn)化定義為這樣一個(gè)范例，其中，進(jìn)化是在多機(jī)器人（兩個(gè)或多個(gè)機(jī)器人）系統(tǒng)中實(shí)施的。兩個(gè)機(jī)器人已經(jīng)被認(rèn)為是一個(gè)多機(jī)器人系統(tǒng)，因?yàn)槿匀豢梢栽谄渖戏峙湟粋€(gè)算法。這些系統(tǒng)具有以下特征：

權(quán)力下放（Decentralized）

沒有中央權(quán)力機(jī)構(gòu)選擇生育后代的父母或?qū)⒈蝗〈膫€(gè)體。相反，機(jī)器人根據(jù)局部信息評估它們的表現(xiàn)，交換和選擇遺傳物質(zhì)。

在線

機(jī)器人控制器會(huì)隨著機(jī)器人正常行動(dòng)而發(fā)生動(dòng)態(tài)變化：進(jìn)化發(fā)生在機(jī)器人的操作壽命期間和任務(wù)環(huán)境中。在機(jī)器人得以部署完畢后，這一過程仍將繼續(xù)。

并行

無論它們是否在任務(wù)中進(jìn)行協(xié)作，群體都由多個(gè)機(jī)器人組成，這些機(jī)器人在同一環(huán)境中同時(shí)進(jìn)行動(dòng)作和進(jìn)化，頻繁地進(jìn)行交互以交換遺傳物質(zhì)。

通信遺傳物質(zhì)的分散性意味著選擇是在局部執(zhí)行的，通常只涉及整個(gè)群體的一部分（Eiben等人于2007年提出），并且它必須由機(jī)器人自己執(zhí)行。除了父母和幸存者選擇之外，這次還增加了第三個(gè)選擇的機(jī)會(huì)，這是為經(jīng)典進(jìn)化計(jì)算定義的。因此，實(shí)體進(jìn)化擴(kuò)展了定義進(jìn)化算法，即評估、選擇、變體和替換（Eiben和Smith于2008年提出）的運(yùn)算符集合，并將交配作為關(guān)鍵的進(jìn)化算子。

交配（Mating）

兩個(gè)（或更多）機(jī)器人決定發(fā)送/接收遺傳物質(zhì)的行為，不管這種物質(zhì)是否會(huì)用于生成新的后代。這種情況何時(shí)發(fā)生以及如何發(fā)生，不僅取決于預(yù)定的啟發(fā)式算法，還取決于進(jìn)化的行為，后者在很大程度上決定了機(jī)器人是否會(huì)遇到交換遺傳物質(zhì)的機(jī)會(huì)。

在過去的20年里，通用的在線進(jìn)化機(jī)器人以及特定的實(shí)體進(jìn)化，作為一個(gè)研究領(lǐng)域已經(jīng)成熟起來。在受人尊敬的進(jìn)化計(jì)算聚焦點(diǎn)所不斷涌現(xiàn)的相關(guān)出版物可以證明這一點(diǎn)，諸如會(huì)議（例如ACM GECCO、ALIFE、ECAL和EvoApplications）、期刊（例如進(jìn)化機(jī)器人領(lǐng)域進(jìn)化智能的特殊問題-Haasdijk等人于2014年提出）、研討會(huì)（PPSN 2014 ER研討會(huì)、GECCO 2015和2017機(jī)器人研討會(huì)上進(jìn)化群體性行為）以及教程（ALIFE 2014、GECCO 2015和2017、ECAL 2015、PPSN 2016和ICDL-EPIROB 2016）等。谷歌的一位學(xué)者所搜索的出版物引用Watson等人在2002年撰寫的開創(chuàng)性進(jìn)化論文說明了這種增長趨勢。自2009年以來，該論文引起了極大的關(guān)注，自2008年以來引用次數(shù)每年增加一倍以上（自那時(shí)起每年約引用20次）。

然而，到目前為止，還沒有關(guān)于什么是實(shí)體進(jìn)化（以及什么不是）的明確定義，也沒有關(guān)于這一領(lǐng)域技術(shù)現(xiàn)狀的概述。本文提供了實(shí)體進(jìn)化范式的定義，并將其與其他進(jìn)化和群體機(jī)器人學(xué)研究聯(lián)系起來。我們確認(rèn)并回顧了相關(guān)研究，強(qiáng)調(diào)了許多特定于具體進(jìn)化范例設(shè)計(jì)選擇和問題。這些有關(guān)最新技術(shù)的全面綜述，并為對群體自主適應(yīng)的進(jìn)化方法感興趣的研究人員提供了一個(gè)起點(diǎn)。文章指出了可能提供解決方案的其他領(lǐng)域的未解決問題與研究，指出了今后工作的方向，并討論了潛在的應(yīng)用。

本文概述了機(jī)器人群體的實(shí)體進(jìn)化， 這一研究領(lǐng)域自2000年以來得到了不斷發(fā)展。本文最主要的貢獻(xiàn)體現(xiàn)在三個(gè)方面。第一，闡明了實(shí)體進(jìn)化的定義和總體進(jìn)程;第二，概述了迄今為止已有的進(jìn)化研究成果;第三，為今后的研究提供了方向。

這一概述揭示了該領(lǐng)域的成熟性：雖然在實(shí)體進(jìn)化誕生的最初十年里，其主要被用作為設(shè)計(jì)個(gè)人行為的并行搜索方法，但在群體方面出現(xiàn)了一種趨勢（即合作、分工以及專業(yè)化）。這一趨勢與大型群體式機(jī)器人集體趨勢攜手并進(jìn)。

我們希望這一概述可以為該領(lǐng)域提供一個(gè)基礎(chǔ)，以此體現(xiàn)出它的成熟，并為有抱負(fù)的研究人員提供靈感。為此，我們強(qiáng)調(diào)了可能的應(yīng)用和可能推動(dòng)該領(lǐng)域研究議程的公開問題。