• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    考慮故障因素的多機(jī)器人動(dòng)態(tài)任務(wù)分配及路徑規(guī)劃

    2025-08-03 00:00:00何舟何鵬陽(yáng)
    關(guān)鍵詞:柵格編碼機(jī)器人

    Multi-root dynmic tsk lloction nd pth plnning considering fult fctors

    He Zhou'?,He Pengyang(a.Colegeoficalamp;tllallEiUesiegy,Xi'an 710021,China)

    Abstract:Toaddress therobustness problem of multiplerobots incomplex tasks,,this paper proposedacoupled task llcationand path planning method to adressthetrajectoryrequirementsundersuchtasks.Firstly,the Dijkstraalgorithmpreprocesed the shortestpathsand distances between task grids inenvironments.Secondly,whenthecentral controlermonitored the robotenteringthedangerzoneandfailure,itwasresponsibleforreal-timetask assignmentandenvironmentupdates toensuretask completion.Inaddition,it proposedanimproved northern goshawkoptimizationalgorithm(INGO)withlocaladjustment strategies inconjunction withaneighbourhoodsearchtoimprovethesolutionquality,andanauctionmethod incorporatingmarginalcosthandledtherootfailurereassignmentproblem.Finally,itconductedrandomtestsunderdiferentmapsizes and numbers of tasks. In 1OO-grid environment,the proposed method saved 19.63% of the total traveled distance compared to the auction method,andthesolutiontime wasshorter thanthatoftheothermethods.Theresultsdemonstratethatthe method beterbalances the travellingdistanceand solution time,whilealsooutperforming existing methods interms ofscalabilityand system robustness.

    Key words:multi-robot system;task planning;system robustness; robot failure;path planning

    0引言

    多機(jī)器人系統(tǒng)(multi-robotsystem,MRS),由于其相對(duì)于單機(jī)器人系統(tǒng)在工作效率、靈活性等方面的優(yōu)勢(shì)而受到廣泛關(guān)注[1,2]。目前MRS已被廣泛應(yīng)用于倉(cāng)儲(chǔ)、救援、巡檢監(jiān)測(cè)等領(lǐng)域[3-5]。作為MRS 的核心,任務(wù)分配和路徑規(guī)劃等問(wèn)題已受到廣泛關(guān)注。將系統(tǒng)的高級(jí)任務(wù)分解成子任務(wù)再分配給機(jī)器人的過(guò)程稱為多機(jī)器人任務(wù)分配(multi-robottaskallocation,MRTA)。在大多數(shù)MRTA問(wèn)題中,僅考慮避開(kāi)障礙物的同時(shí)最小化系統(tǒng)的目標(biāo)函數(shù),如移動(dòng)距離、求解時(shí)間等[6\~8]?,F(xiàn)實(shí)中,機(jī)器人對(duì)環(huán)境的感知可能是不準(zhǔn)確的,會(huì)存在一定的危險(xiǎn)性,從而對(duì)機(jī)器人產(chǎn)生影響,因此動(dòng)態(tài)任務(wù)分配問(wèn)題就變得具有挑戰(zhàn)性。Dai等人[9研究了MRTA下的軍事對(duì)抗問(wèn)題,機(jī)器人收到任務(wù)指令后,對(duì)環(huán)境搜索的同時(shí)要摧毀隱藏在環(huán)境中的目標(biāo),而目標(biāo)也可能對(duì)機(jī)器人造成損壞,系統(tǒng)需要重新考慮下發(fā)任務(wù),并開(kāi)發(fā)出基于競(jìng)拍、空缺鏈和DeepQ-leaming的方法。

    針對(duì)在執(zhí)行任務(wù)過(guò)程中機(jī)器人損壞的情況,Huang等人[1]在有限個(gè)機(jī)器人損壞的假設(shè)下,通過(guò)構(gòu)建過(guò)渡系統(tǒng)和自動(dòng)機(jī),提出一種有效的任務(wù)分配策略,在滿足故障機(jī)器人數(shù)量上限的情況下,保證任務(wù)的魯棒性要求。進(jìn)一步考慮到運(yùn)動(dòng)不確定的情況,Cai等人[]將機(jī)器人的運(yùn)動(dòng)建模為具有未知轉(zhuǎn)移概率的馬爾可夫決策過(guò)程,結(jié)合強(qiáng)化學(xué)習(xí)方法,提出一種最大化概率滿足任務(wù)的策略。

    近幾年,隨著問(wèn)題的日益復(fù)雜,點(diǎn)對(duì)點(diǎn)的單機(jī)器人規(guī)劃方法早已無(wú)法支持多機(jī)器人系統(tǒng)對(duì)復(fù)雜行為的需求[12.13],具有高規(guī)格MRS的任務(wù)分配已經(jīng)成為重要的研究課題。線性時(shí)序邏輯和布爾規(guī)范這類形式化的方法被用于描述高規(guī)格的復(fù)雜任務(wù)[14-17]。線性時(shí)序邏輯描述下的 MRS更多關(guān)注的是任務(wù)的滿足情況。李保羅等人[18]針對(duì)復(fù)雜環(huán)境下巡回任務(wù)的要求,使用線性時(shí)序邏輯描述任務(wù),將其轉(zhuǎn)換為自動(dòng)機(jī),并開(kāi)發(fā)出一種安全強(qiáng)化學(xué)習(xí)算法,但其構(gòu)建過(guò)程較為復(fù)雜,不適合在大地圖中應(yīng)用。當(dāng)不需要考慮無(wú)限巡回時(shí),可使用布爾規(guī)范簡(jiǎn)潔地描述復(fù)雜任務(wù)。Mahulea等人[19]利用 Petri 網(wǎng)對(duì)MRS建模,使用布爾規(guī)范進(jìn)行任務(wù)描述,并結(jié)合整數(shù)線性規(guī)劃求解最優(yōu)路徑,但該方法隨任務(wù)和機(jī)器人數(shù)量的遞增會(huì)導(dǎo)致?tīng)顟B(tài)爆炸。針對(duì)以上問(wèn)題,Shi等人[20]結(jié)合模擬退火算法,有效解決了大規(guī)模地圖中路徑規(guī)劃的問(wèn)題。進(jìn)一步地,何舟等人[21]考慮了布爾任務(wù)的時(shí)間窗要求,提出一種融合 A* 算法和回退機(jī)制的改進(jìn)蟻群算法來(lái)為MRS規(guī)劃路徑,但是上述研究均沒(méi)有考慮機(jī)器人故障的情況。

    基于此,本文提出一種考慮故障因素的多機(jī)器人任務(wù)分配及路徑規(guī)劃方法。首先,使用Dijkstra算法計(jì)算任務(wù)柵格間的最短路徑和距離;然后,提出一種改進(jìn)北方蒼鷹優(yōu)化算法為MRS分配任務(wù);控制器負(fù)責(zé)實(shí)時(shí)更新環(huán)境,并以拍賣的形式處理故障后的任務(wù)。通過(guò)仿真,證明本文方法在考慮機(jī)器人故障的因素下,能有效解決復(fù)雜任務(wù)分配和路徑規(guī)劃問(wèn)題。

    1問(wèn)題描述和假設(shè)

    1.1 問(wèn)題假設(shè)

    1)機(jī)器人假設(shè)

    集合 R={r1,r2,…,rk} 表示MRS具有 k 個(gè)執(zhí)行復(fù)雜任務(wù)能力的機(jī)器人(所有機(jī)器人完全相同),機(jī)器人的速度為1,一次可執(zhí)行多個(gè)任務(wù),且不考慮機(jī)器人能源問(wèn)題。

    2)任務(wù)假設(shè)

    考慮的任務(wù)包括途徑任務(wù)和終點(diǎn)任務(wù),終點(diǎn)任務(wù)需要在途徑任務(wù)完成后執(zhí)行,每個(gè)任務(wù)只需要任意一個(gè)機(jī)器人執(zhí)行,并且同一任務(wù)可以在對(duì)應(yīng)任務(wù)區(qū)域內(nèi)的任意一個(gè)位置完成。

    3)環(huán)境假設(shè)

    機(jī)器人對(duì)任務(wù)區(qū)域的位置分布已知,但任務(wù)區(qū)域附近隨機(jī)分布著一些危險(xiǎn)區(qū)域,機(jī)器人對(duì)危險(xiǎn)區(qū)域沒(méi)有先驗(yàn)的信息,在進(jìn)入危險(xiǎn)區(qū)域后,服從一定概率分布使機(jī)器人故障。

    4)故障假設(shè)

    機(jī)器人故障是屬于MRS魯棒性的一類問(wèn)題,本文考慮機(jī)器人故障后是不可修復(fù)的。

    1.2 環(huán)境建模

    環(huán)境建模是將機(jī)器人真實(shí)運(yùn)行的三維場(chǎng)景抽象為二維的數(shù)字地圖,來(lái)模擬機(jī)器人工作的過(guò)程,常見(jiàn)的環(huán)境建模方法包括可視圖法、三角分割法和柵格法等。其中,柵格法因其簡(jiǎn)單有效且對(duì)環(huán)境適應(yīng)性強(qiáng)的特點(diǎn),特別適用于機(jī)器人執(zhí)行的復(fù)雜任務(wù)環(huán)境。因此,在本文的研究中,選擇柵格法進(jìn)行環(huán)境建模。

    本文將MRS運(yùn)行的真實(shí)環(huán)境柵格劃分為 n 個(gè)尺寸相等的小柵格,用集合 C={c1,c2,…,cn} 表示。柵格環(huán)境中機(jī)器人只在水平方向上移動(dòng),并且相鄰柵格之間的距離為1。如對(duì)圖1(a)一真實(shí)的三維環(huán)境柵格劃分后,可得到圖1(b)的柵格地圖。

    圖1地圖劃分過(guò)程 Fig.1Map delineation process

    1.3 預(yù)處理方法

    Dijkstra算法作為一種常見(jiàn)的圖搜索算法,可以得到最優(yōu)路徑。因此,本節(jié)使用Dijkstra算法計(jì)算任務(wù)區(qū)域內(nèi)不同柵格

    ci 和 cj 之間的最短路徑 L(ci,cj) 和最短距離 D(ci,cj) 。首先構(gòu)建鄰接矩陣 M 存儲(chǔ)相鄰柵格間的距離 di,j,M 為一個(gè) n 維方陣:

    其中: di,j=1(ci 與 cj 相鄰, i≠j) di,j=∞ ( ci 與 cj 不相鄰, i≠ j) 。最后通過(guò)Dijkstra算法將得到的最短路和距離分別存儲(chǔ)在集合 L 和 D 中。

    1.4布爾規(guī)范的任務(wù)描述

    本文考慮的復(fù)雜任務(wù)由布爾規(guī)范進(jìn)行描述,T,={(cs,r1),(cs2,r2),…,(csk,rk)| 為 MRS 的初始柵格集合,其中( {csi ,ri )為機(jī)器人 i 對(duì)應(yīng)的初始位置 為危險(xiǎn)區(qū)域所包含的柵格集合, c′i∈C ;將環(huán)境中的任務(wù)區(qū)域劃分為 ,其中 表示途徑任務(wù)區(qū)域集合 表示終點(diǎn)任務(wù)區(qū)域集合,每一個(gè)途徑任務(wù)區(qū)域 和終點(diǎn)任務(wù)區(qū)域 πi(i=1,…,q) 由一個(gè)或多個(gè)表示相同任務(wù)的柵格組成, .IIi∈C,πi∈CPt= {π1,π2,…,πp} 和 Pf={π1,π2,…,πq} 為布爾規(guī)范原子命題的有限集合, ??πi 表示途徑任務(wù)區(qū)域 πi 需要在機(jī)器人軌跡中被訪問(wèn), πi 表示機(jī)器人沿軌跡需要最后停留在終點(diǎn)區(qū)域 πi 。布爾規(guī)范可用于描述包含“與”、“或”、“非”邏輯的復(fù)雜任務(wù),其中原子命題通過(guò)聯(lián)結(jié)詞 Λ (合?。?、 V (析取) (否定)連接,復(fù)雜任務(wù)由布爾規(guī)范公式 φ 進(jìn)行描述:

    φ=T∧U∧A

    a)子規(guī)范 T 表述為途徑任務(wù)的邏輯要求:

    其中 表示沿機(jī)器人軌跡需要至少訪問(wèn)一次 Pt 中原子命題對(duì)應(yīng)的一個(gè)任務(wù)區(qū)域; PT=∪i=1mPti 為途徑任務(wù)柵格集合;(204號(hào) PΔti={c|c∈∪πΔτiII} 為原子命題 中對(duì)應(yīng)的任務(wù)柵格集合。

    b)子規(guī)范 U 表述為禁止區(qū)域的邏輯要求:

    其中: Pu∈Pt 表示沿機(jī)器人軌跡需要始終避開(kāi) Pu 中原子命題對(duì)應(yīng)的區(qū)域。 為需要避開(kāi)的柵格集合。

    c)子規(guī)范 A 表述為終點(diǎn)任務(wù)區(qū)域的邏輯要求:

    其中: Σ:Paj∈Pf 表示沿機(jī)器人軌跡需要最終停留在 Paj 中原子命題對(duì)應(yīng)的區(qū)域。 PA=?j=1gPaj 為終點(diǎn)任務(wù)柵格集合,其中 Paj= (204號(hào) {c|c∈∪π∈PajII} 表示原子命題 II∈Paj 中對(duì)應(yīng)的任務(wù)柵格集合。

    在圖2給出的示例中,地圖環(huán)境由36個(gè)柵格組成, C= {c1,…,c36} ,機(jī)器人初始位置柵格集合 Ts={(c15,r1) , c16 ,r2),(c21,r3)} ,危險(xiǎn)區(qū)域柵格集合 Td={c17,c33} 。途徑任務(wù)區(qū)域集合 Ωt={I1,II2,II3,II4,II5,II6} ,終點(diǎn)任務(wù)區(qū)域集合 。其中 Π1={c6,c12},Π2={c25,c31} 分別表示途中的橙色和藍(lán)色區(qū)域, 和 Π4={c35} 表示圖中的粉色區(qū)域 II5={c23,c24} 和 表示圖中的灰色區(qū)域, π1= {c1,c2,c3} 表示圖中的綠色區(qū)域。原子命題集合 ,H2,H3,H4,H5,H6} , Pf={π1} 。

    子規(guī)范 表示機(jī)器人在移動(dòng)過(guò)程中沿軌跡需要訪問(wèn)這些區(qū)域執(zhí)行任務(wù)。

    子規(guī)范 ),表示由已知信息,這些區(qū)域無(wú)法通過(guò),為保證安全,機(jī)器人在移動(dòng)過(guò)程中沿軌跡需要始終避開(kāi) 和 π6 區(qū)域。

    子規(guī)范 A=π1 ,表示在考慮MRS魯棒性前提下,至少需要有一個(gè)機(jī)器人能執(zhí)行完所有任務(wù),到達(dá)終點(diǎn)區(qū)域 π1

    最后給出示例中MRS的布爾規(guī)范 φ 為

    表示至少有一個(gè)機(jī)器人沿軌跡需要訪問(wèn)橙色區(qū)域 和紫色區(qū)域 ,至少訪問(wèn)一個(gè)粉色區(qū)域 或 π* ,最后需要至少一個(gè)機(jī)器人停留在綠色區(qū)域 π1 ,并且始終避開(kāi)灰色區(qū)域 和 π6 (見(jiàn)電子版),進(jìn)入危險(xiǎn)區(qū)域的機(jī)器人則有一定的故障概率。

    圖2示例中的MRS地圖Fig.2MRS map in the example

    2 任務(wù)編碼與解碼

    在MRS中,任務(wù)由中央控制器以編碼的形式下發(fā),解碼后機(jī)器人獲得對(duì)任務(wù)柵格的訪問(wèn)序列,最后根據(jù)預(yù)處理方法得到每個(gè)機(jī)器人對(duì)應(yīng)柵格序列的詳細(xì)路徑。

    1)編碼

    編碼 Code=[?Ct,?Cf] 中的 Ct 和 Cf 分別用于存儲(chǔ)MRS中途徑任務(wù)和終點(diǎn)任務(wù)的信息。其中C,=[t,,t1,2,,1,m1,0,…,ti,1,ti,2,…,ti,ni,0,…,tk,1,tk,2,…,tk,nk,0] 是一個(gè) (m+k) (204維的非負(fù)整數(shù)行向量,表示機(jī)器人需要沿軌跡訪問(wèn)布爾子規(guī)范T 給出的 m 個(gè)表示不同途徑任務(wù)的區(qū)域, k 個(gè)0作為 k 個(gè)機(jī)器人分配任務(wù)結(jié)束的標(biāo)識(shí), Ct 中的每一個(gè) ti,j 對(duì)應(yīng)唯一的單元格Ctj∈Pr。Cf=[f1f,,]是一個(gè)k維的非負(fù)整數(shù)行向量,表示執(zhí)行完任務(wù)的機(jī)器人沿軌跡最終停留在對(duì)應(yīng)的終點(diǎn)任務(wù)柵格上, Cf 中的每一個(gè) fj 都唯一對(duì)應(yīng)一個(gè)終點(diǎn)任務(wù)柵格

    2)解碼

    途徑任務(wù) Ct 的解碼,對(duì)第i-1個(gè)與第 i 個(gè)0之間的正整數(shù) ti,1,ti,2,…,ti,ni ,可以解碼為第 i 個(gè)機(jī)器人沿軌跡依次訪問(wèn)柵格 cti,1,cti,2,…,cti,ni 的序列。對(duì)于終點(diǎn)任務(wù) Cf 的解碼,第 χi 個(gè)正整數(shù) fj 可以解碼為第 i 個(gè)機(jī)器人沿軌跡最終停留在終點(diǎn)柵格 cfj 上。因此,從解碼后的MRS 任務(wù)集合 TE=∪i=1kTi 中可得到每個(gè)機(jī)器人沿軌跡需要依次訪問(wèn)的柵格序列Ti =cti,,cti,2,…,cti,ni,cfj(i=1,…,k)

    若編碼 Code 中, Ct=[35,0,6,0,31,0] 和 ,解碼后可得到每個(gè)機(jī)器人訪問(wèn)的柵格序列,T=C35,c1,T=c6,c3,T3=c31,c2,T1 表示機(jī)器人 r1 從初始柵格 c15 位置開(kāi)始,沿軌跡首先訪問(wèn)粉色區(qū)域包含的柵格 c35 ,最后停留在綠色區(qū)域包含的柵格 c1 上。具體過(guò)程可參考文獻(xiàn)[20]。

    3任務(wù)分配策略

    本章針對(duì)故障因素下MRS的復(fù)雜任務(wù)分配問(wèn)題,開(kāi)發(fā)出一種結(jié)合改進(jìn)北方蒼鷹優(yōu)化算法和拍賣方法的分配策略,在有效應(yīng)對(duì)故障問(wèn)題的同時(shí),均衡考慮MRS的移動(dòng)距離和求解時(shí)間。首先,對(duì)任務(wù)編碼后,使用北方蒼鷹優(yōu)化算法迭代更新得到一個(gè)較優(yōu)的任務(wù)編碼,進(jìn)一步提出一種局部調(diào)整策略提高任務(wù)編碼的質(zhì)量。解碼后,結(jié)合預(yù)處理方法,求解出從初始位置柵格依次到各任務(wù)柵格之間的最短路徑。此后,中央控制器實(shí)時(shí)更新任務(wù)的完成情況,監(jiān)測(cè)到機(jī)器人故障后,以拍賣的形式下發(fā)任務(wù),來(lái)應(yīng)對(duì)機(jī)器人故障后的任務(wù)重分配問(wèn)題。

    3.1改進(jìn)北方蒼鷹優(yōu)化算法的任務(wù)分配策略

    北方蒼鷹優(yōu)化算法(northern goshawk optimization,NGO)具有收斂速度快、魯棒性好的特點(diǎn),算法主要由初始化、識(shí)別階段和追擊階段三個(gè)部分組成。識(shí)別階段為算法對(duì)搜索空間進(jìn)行勘探,盡可能找到每一個(gè)有希望存在全局最優(yōu)解的區(qū)域,追擊階段為在有可能找到最優(yōu)解的區(qū)域內(nèi)繼續(xù)尋找最優(yōu)解。

    a)初始化,集合 X=[X1,X2,…,XN] 為種群中的 N 個(gè)個(gè)體,每個(gè)個(gè)體X對(duì)應(yīng)一組任務(wù)編碼,集合F(X)=[Fx,,F(xiàn)xFXN] 為對(duì)應(yīng)的目標(biāo)函數(shù),目標(biāo)函數(shù)的定義如式(7)所示。

    為所有機(jī)器人訪問(wèn)任務(wù)柵格的最短距離之和。

    優(yōu)化過(guò)程使用編碼中 ti,j 和 fj 對(duì)應(yīng)的代價(jià)估值計(jì)算更新,定義為 k 個(gè)機(jī)器人初始位置柵格到任務(wù)柵格歐氏距離的均值:

    其中: gi,j 和 hj 分別為途徑任務(wù)柵格和終點(diǎn)任務(wù)柵格對(duì)應(yīng)的代價(jià)估值; x 和 y 分別為對(duì)應(yīng)柵格在地圖的橫縱坐標(biāo)。更新過(guò)程如圖3所示。

    圖3任務(wù)編碼更新過(guò)程Fig.3Task encoding update process

    b)在識(shí)別階段,通常是隨機(jī)選擇一個(gè)體作為參考個(gè)體進(jìn)行更新,該方法雖然可以加快算法收斂,但也會(huì)產(chǎn)生算法的盲目性,在本問(wèn)題中考慮一種最佳值引導(dǎo)策略,即把當(dāng)前迭代中目標(biāo)函數(shù)最小的個(gè)體 XNbest 作為參考個(gè)體,目標(biāo)函數(shù)滿足 FXbestlt; FXi ,根據(jù)式(9)進(jìn)行更新:

    xi,jnewl=xi,j+r×(bi,j-I×xi,j

    其中 :xi,j 為 Xi 中第 i 個(gè)機(jī)器人第 j 個(gè)正整數(shù) ti,j 的代價(jià)估值; bi,j 為 XNbest 中第 i 個(gè)機(jī)器人第 j 個(gè)正整數(shù) ti,j 的代價(jià)估值; r 為[0,1]的隨機(jī)數(shù); I 在1和2間隨機(jī)取值; xi,jnew1 為識(shí)別階段后的代價(jià)值。

    c)在追擊階段,針對(duì)NGO算法在迭代后期易陷入局部最優(yōu)的問(wèn)題,利用柯西分布函數(shù)在原點(diǎn)處峰值較小,兩端處分布較長(zhǎng)的特性,將柯西變異因子融入到算法中,以在更新后的蒼鷹個(gè)體附近生成一定擾動(dòng)來(lái)增強(qiáng)算法跳出局部最優(yōu)值的能力,從而提升算法的全局搜索性能。計(jì)算公式如下:

    xi,jnew2=xi,j+R×(2×r-1)×xi,j×δi

    其中: R 為蒼鷹的狩獵半徑,在算法迭代過(guò)程中逐漸減小,以縮小目標(biāo)的范圍,使算法盡早收斂,如下所示。

    其中 :t 為當(dāng)前迭代次數(shù); T 為總迭代次數(shù)。描述的柯西分布如下:

    擾動(dòng)值 δi 由柯西分布的逆變換采樣公式得到,如下所示:

    δi=x0+γ×tan(π×(μ-0.5))

    其中: Ψx0 和 γ 分別決定柯西分布的中心和寬度 Πiμ∈[0,1] 。

    d)為進(jìn)一步提高求解質(zhì)量,本文在算法更新中提出一種局部調(diào)整策略,對(duì)迭代中每一個(gè)個(gè)體隨機(jī)選擇兩個(gè)位置進(jìn)行2-opt操作,算法結(jié)束后對(duì)最優(yōu)個(gè)體再進(jìn)行有限次多點(diǎn)重插值操作,即迭代過(guò)程中增加算法的搜索空間,迭代后對(duì)最優(yōu)個(gè)體再進(jìn)一步優(yōu)化,其中單次進(jìn)行2-opt操作的算法復(fù)雜度為O(1) ,在 N 個(gè)蒼鷹個(gè)體下,迭代 T 次的總復(fù)雜度為 O(T×N) ,可在較少的算法求解時(shí)間下探索更大的解空間。

    2-opt操作為在更新后的 Cι 和 Cf 中分別隨機(jī)選擇兩個(gè)正整數(shù)進(jìn)行倒序。多點(diǎn)重插值操作為算法結(jié)束后在最優(yōu)編碼的Ct 中隨機(jī)選擇兩個(gè) ti,j ,對(duì)應(yīng)的柵格為 cti,j∈Pti ,將其替換為 Pti 中任意一表示相同任務(wù)的柵格 ,具體過(guò)程如圖4所示。

    圖4領(lǐng)域搜索操作

    若編碼 Code=[35,0,6,0,31,0][1,3,2] ,選擇 Ct 中的35和 31,Cf 中的1和2進(jìn)行2-opt操作,得到 Code=[31,0,6,0right] 35,0][2,3,1]。若 Code 為最優(yōu)編碼,選擇 Ct 中的31和6重插值,31和6對(duì)應(yīng)的柵格分別為c3∈P和6∈P,其中Pt={c25,c31} Pt1={c6,c12} ,若重插值操作分別選擇了 Pt2 中的 c25 和 Pt1 中的 c12 ,更新后的最優(yōu)編碼 Codebest=[25,0,12,0,35,0] (204號(hào)[2,3,1],如算法1所示。

    算法1任務(wù)分配算法

    輸入:隨機(jī)生成的 N 個(gè)個(gè)體 X ,最大迭代數(shù) T

    輸出:最優(yōu)編碼 Xbest ,全局任務(wù) TE 。

    初始化:選擇當(dāng)前迭代中 XNbest 開(kāi)始迭代, t=0 0

    while t (2號(hào)for 1:j do由式(8)和(9)得到 xi,jnew2 排序后輸出當(dāng)前迭代的最優(yōu)個(gè)體;end進(jìn)行 2-opt操作得到 XNnewl :三 F(XNnew1)Nbest) thenupdate XNbest=XNnew1;// 局部?jī)?yōu)化endendt=t+1

    end

    進(jìn)行 k 次多點(diǎn)重插值操作;

    for 1:k do對(duì) XNbest 重插值后得到 XNnew2 11 提高迭代后解的質(zhì)量證 F(XNnew2)Nbest)then (20update Xbest=XNnew2 end

    end

    對(duì) Xbest 解碼,得到MRS任務(wù) TE

    3.2 動(dòng)態(tài)任務(wù)分配策略

    在控制器監(jiān)測(cè)下,機(jī)器人每成功訪問(wèn)一個(gè)任務(wù)柵格,就將該柵格從 Ti 中移除,添加到已完成任務(wù)集合 T?D 中,直到子任務(wù)序列 Ti=O ,表示該機(jī)器人已完成對(duì)所有任務(wù)柵格的訪問(wèn)。

    Tf 為故障的機(jī)器人集合,監(jiān)測(cè)到機(jī)器人 i 進(jìn)入危險(xiǎn)區(qū)域 Td 故障后,控制器需要檢查該機(jī)器人的子任務(wù)序列是否滿足 Ti= ? ,若滿足,則后續(xù)只監(jiān)測(cè)其他機(jī)器人的運(yùn)行狀態(tài)。當(dāng)監(jiān)測(cè)到Ti=? ,需要重新分配剩余任務(wù)。將 ?i=1kTi 中的任務(wù)柵格添加到待訪問(wèn)柵格 中,并對(duì)機(jī)器人進(jìn)行更新 Tsnew= ,具體過(guò)程如算法2所示。

    算法2故障控制算法

    輸入:算法1得到的任務(wù) TE ,初始集合 Ts

    輸出:已訪問(wèn)柵格 Tp ,待訪問(wèn)柵格 TU ,機(jī)器人集合 Tsnew 號(hào)

    初始化: TD=O,Tsnew=Ts ,機(jī)器人 i 從 TE 中得到子任務(wù)序列 Ti

    控制器開(kāi)始工作。

    while TU≠O doif Tf≠? thenfor Ti∈TE,i=1,…,k do將 Ti 中已訪問(wèn)柵格添加到 Tp 將 Ti 中未訪問(wèn)柵格添加到 TU endupdate end道 Tsnew=? then機(jī)器人全部故障,無(wú)法完成任務(wù)end

    在圖2的示例中,若經(jīng)過(guò)算法更新,得到了最優(yōu)編碼Codebest=[25,0,12,0,35,0][2,3,1] ,解碼得到機(jī)器人3的子任務(wù)序列 T3=c35,c1 。時(shí)刻 在訪問(wèn)粉色區(qū)域柵格 c35 時(shí)進(jìn)入危險(xiǎn)區(qū)域柵格 c33 發(fā)生故障,導(dǎo)致該任務(wù)未完成, T3≠? 。需要重新考慮將訪問(wèn)柵格 c34 的任務(wù)分配給其他機(jī)器人,已故障機(jī)器人的終點(diǎn)任務(wù)不再考慮。控制器對(duì)環(huán)境更新后, Tp= D,TU={c25,c12,c35,c2,c3} ,剩余機(jī)器人及更新后的位置 Tsnew= (204號(hào) {(c20,r1),(c11,r2)} ,如圖5所示。

    Fig.4Neighbourhood search operation圖5MRS中機(jī)器人損壞Fig.5Robot damage in MRS

    3.3基于競(jìng)拍的重分配策略

    機(jī)器人故障后,控制器將剩余任務(wù)柵格以拍賣的形式進(jìn)行分配,具體步驟如下:

    a)更新剩余機(jī)器人集合 Tsnew ,更新當(dāng)前待分配的任務(wù)柵格TU ,初始化競(jìng)價(jià)為0。

    b)計(jì)算機(jī)器人所在柵格到 Tv 中各個(gè)任務(wù)柵格的歐氏距離,作為第一輪的競(jìng)價(jià),出價(jià)最低的機(jī)器人得到對(duì)應(yīng)的任務(wù)柵格,當(dāng)具有相同的最小競(jìng)價(jià)時(shí),優(yōu)先分配機(jī)器人的序號(hào)。

    c)為保證MRS的總路徑最小,每個(gè)機(jī)器人在新一輪競(jìng)拍中必須考慮前幾輪已經(jīng)分配到柵格的積累競(jìng)價(jià),競(jìng)拍到任務(wù)柵格的機(jī)器人在新一輪競(jìng)拍中的競(jìng)價(jià)需要實(shí)時(shí)更新。

    d)重復(fù)上述步驟c),直到所有途徑任務(wù)柵格分配完,再對(duì)終點(diǎn)任務(wù)柵格進(jìn)行競(jìng)拍,在競(jìng)拍終點(diǎn)任務(wù)柵格之前,其競(jìng)價(jià)設(shè)置為 ∞ 。

    e)競(jìng)拍到剩余任務(wù)柵格 ?i=1k′TUi 后,機(jī)器人按照子任務(wù)序列 TUi 依次訪問(wèn)任務(wù)柵格。

    f若后續(xù)仍有機(jī)器人故障,只需將該機(jī)器人要訪問(wèn)的任務(wù)

    柵格 cnew 交由其他正常機(jī)器人執(zhí)行,具體考慮在原序列 TUi 中的哪個(gè)位置會(huì)使得機(jī)器人的邊際成本最小,而不再需要對(duì)所有任務(wù)柵格重新考慮,邊際成本為

    ΔT=minck∈TUi?costE1+costE2-costE3

    costE1=(ck,cnew),costE2=(cnew,ck+1),costE3=(ck,ck+1

    g? 調(diào)用預(yù)處理的結(jié)果得到重分配后MRS的最短路徑和距離。

    在圖5中, r3 故障后, r1 和 r2 分別位于柵格 c20 和 c11 的位置,剩余待訪問(wèn)柵格 TU={c25,c12,c35,c2,c3} ,第一輪的競(jìng)價(jià)如表1所示。

    Tab.1 Initialbid sheet

    目前最小競(jìng)價(jià)為1.0,因此在第一輪競(jìng)拍中, r2 競(jìng)拍到了c12 處的任務(wù),將其添加到 r2 的任務(wù)柵格集合 TU2 中,并將 c12 從TU 中剔除,具體過(guò)程如圖6所示。

    圖6競(jìng)拍過(guò)程 Fig.6Auction process

    在第一輪競(jìng)拍中 r2 已競(jìng)拍到 c12 處的任務(wù),在下一輪競(jìng)標(biāo)中, r2 需要更新到 c12 的位置。目前由于 r1 沒(méi)有競(jìng)拍到任務(wù),仍然從初始競(jìng)拍位置開(kāi)始。第三輪后, r1 競(jìng)拍到 c25 和 c35 處的任務(wù), r2 競(jìng)拍到 c12 處的任務(wù)。接著對(duì)終點(diǎn)任務(wù)柵格競(jìng)拍,每個(gè)機(jī)器人只對(duì)應(yīng)一個(gè)終點(diǎn)柵格, r1 和 r2 分別競(jìng)拍到的終點(diǎn)任務(wù)柵格為 c2 和 c3 ,最后 r1 和 r2 的子任務(wù)序列為 TU1={c25,c35,c2} 和

    若在時(shí)刻 t,r2 在執(zhí)行 c12 處的任務(wù)途中也發(fā)生故障。對(duì)r1,c12 處的搜救任務(wù)為新加入的任務(wù),若重新考慮訪問(wèn)順序,共有3!種分配情況,為節(jié)省算力,對(duì)已經(jīng)分配的柵格順序不再改變,只需要將 c12 插入到 r1 已有的序列,如圖7所示。

    圖7新任務(wù)添加策略Fig.7New task addition strategyFig.8Overall operation flow

    只考慮柵格 c12 的位置,共有三種情況,分別為 {c12,c25 ,c35},{c25,c12,c35} 和 {c25,c35,c12} ,通過(guò)式(13)得到 r1 的最優(yōu)柵格序列為 {c25,c35,c12} ,完成任務(wù)后,最后訪問(wèn)終點(diǎn)柵格 c2 。本節(jié)任務(wù)分配策略的流程如圖8所示。

    圖8整體操作流程

    本節(jié)提出的任務(wù)分配策略具有良好的動(dòng)態(tài)性和自適應(yīng)能力。動(dòng)態(tài)性方面,控制器實(shí)時(shí)監(jiān)測(cè)機(jī)器人的狀態(tài),故障后以拍賣的方式將剩余任務(wù)重分配,確保任務(wù)完成。自適應(yīng)能力方面,可通過(guò)任務(wù)環(huán)境的變化來(lái)調(diào)整分配方案,機(jī)器人故障后通過(guò)計(jì)算邊際成本優(yōu)先訪問(wèn)滿足任務(wù)序列整體代價(jià)最小的任務(wù)。

    4實(shí)驗(yàn)驗(yàn)證

    為驗(yàn)證本文方法在考慮機(jī)器人故障因素下的有效性,本章開(kāi)展多組仿真實(shí)驗(yàn),并將實(shí)驗(yàn)結(jié)果和現(xiàn)有方法進(jìn)行對(duì)比。實(shí)驗(yàn)均在Windows11操作系統(tǒng)、處理器 Intel°ledast CoreTMi5-10210UCPU、主頻 1.6GHz 雙核、8GB內(nèi)存的計(jì)算機(jī)上進(jìn)行,所有實(shí)驗(yàn)均通過(guò)Python 實(shí)現(xiàn)。

    首先對(duì)一現(xiàn)實(shí)中的火災(zāi)環(huán)境進(jìn)行仿真,火警中心接到一居民家中發(fā)生火災(zāi),需要派遣機(jī)器人前去執(zhí)行滅火、人員搜救和閥門關(guān)閉的任務(wù)。柵格劃分后,環(huán)境由100個(gè)柵格組成, C= {c1,c2,…,c100} ,集合 Ts={(c98,r1),(c99,r2),(c50,r3)} 表示派遣的3個(gè)機(jī)器人分別從柵格 c98,c99 和 c50 的位置進(jìn)人居民家中。危險(xiǎn)區(qū)域柵格為 Td={c33,c37,c46,c64,c71} 。途徑任務(wù)區(qū)域 π13,π14} ,終點(diǎn)任務(wù)區(qū)域 ,任務(wù)區(qū)域所包含的柵格如表2所示。

    表2任務(wù)區(qū)域包含的柵格Tab.2 Grid contained inthe task area

    根據(jù)對(duì)居民家中進(jìn)行火災(zāi)救援的任務(wù)要求,控制器為MRS下發(fā)了如下的布爾規(guī)范:

    φ=φ1∧φ2∧φ3

    φ1=II1∧III2∧III3∧II4∧(II5∨II6

    φ2=II7∧II8∧II9∧II10

    即機(jī)器人在執(zhí)行任務(wù)過(guò)程中,沿軌跡需要訪問(wèn)紫色區(qū)域 、綠色區(qū)域 、黃色區(qū)域 、橙色區(qū)域 Π4 ,執(zhí)行被困人員的搜救任務(wù),訪問(wèn)粉色區(qū)域 ,執(zhí)行滅火任務(wù),隨機(jī)至少訪問(wèn)一個(gè)藍(lán)色區(qū)域 πs 或 π6 (見(jiàn)電子版),執(zhí)行關(guān)閉閥門的任務(wù)??紤]到任務(wù)的完成性,最后至少保證一個(gè)機(jī)器人到達(dá)安全區(qū)域 π1 向指揮部匯報(bào)任務(wù)進(jìn)展。綜合考慮機(jī)器人故障的情況,本文方法得到每個(gè)機(jī)器人的柵格序列如表3所示,對(duì)應(yīng)機(jī)器人的具體路徑如圖9所示。

    Tab.3Robot pathin fire scenario example

    開(kāi)始執(zhí)行前,控制器為每個(gè)機(jī)器人分發(fā)的子任務(wù)序列分別為 T1=c86,c92,c63,c21,T2=c68,c56,c41,c1,T3=c29,c17,c14,c11° 在 t=8 時(shí)刻, r2 在執(zhí)行衛(wèi)生間 c41 處關(guān)閉閥門的任務(wù)途中,進(jìn)入柵格 c46 遭到損壞。此時(shí) r1 完成了 c86 處的滅火任務(wù)和臥室 c92 處的搜救任務(wù), r3 完成廚房 c29 處的搜救任務(wù)和 c17 處的滅火任務(wù)。此時(shí) TD={c86,c92,c68,c29,c17},TU={c63,c41,c14,c21,c11}, 控制器將剩余柵格重分配后, r1 需要依次執(zhí)行 c63 處的滅火任務(wù)和衛(wèi)生間 c41 處關(guān)閉閥門的任務(wù), r3 則繼續(xù)執(zhí)行客廳 c14 處的搜救任務(wù),任務(wù)完成后,分別到達(dá)安全位置 c21 和 c11 處。所有路徑都始終避開(kāi)了禁止區(qū)域,同時(shí)滿足了布爾規(guī)范的任務(wù)要求。為進(jìn)一步驗(yàn)證本文方法的有效性和可擴(kuò)展性,通過(guò)設(shè)置不同地圖規(guī)模和任務(wù)數(shù)量,進(jìn)行一系列仿真實(shí)驗(yàn)來(lái)比較本文方法和文獻(xiàn)[20]以及其他方法的求解效果。首先,在不同地圖規(guī)模下,對(duì)隨機(jī)生成的示例運(yùn)行10次,記錄下平均移動(dòng)距離和求解時(shí)間,對(duì)文獻(xiàn)20測(cè)試了不同領(lǐng)域搜索次數(shù) K 下的求解結(jié)果( 和500),如圖10、11所示。

    (a)不同任務(wù)數(shù)量下各方法 (b)不同任務(wù)數(shù)量下各方法移動(dòng)距離對(duì)比 求解時(shí)間對(duì)比

    表4展示了不同地圖大小下,本文方法和其他方法的求解結(jié)果對(duì)比。本文方法在滿足布爾任務(wù)的要求下,所需的平均移動(dòng)距離均優(yōu)于其他方法,文獻(xiàn)[20]隨著 K 值的增加,求解質(zhì)量也在提高,但是算法的求解時(shí)間呈爆炸性增長(zhǎng),遠(yuǎn)高于本文方法,而基于拍賣的方法雖然求解時(shí)間較短,但是求解的路徑結(jié)果最差,而且當(dāng)機(jī)器人位置分布較為密集時(shí),部分機(jī)器人可能會(huì)分配不到任務(wù),從而導(dǎo)致個(gè)別機(jī)器人的負(fù)載過(guò)大。

    表5展示了在900個(gè)柵格的地圖中,在不同任務(wù)數(shù)量下的求解結(jié)果對(duì)比,隨著任務(wù)數(shù)量的增加,各種方法的求解時(shí)間明顯變長(zhǎng),基于拍賣的方法雖然求解時(shí)間較短,但是其求解的結(jié)果較差,而基于智能算法的方法在機(jī)器人故障后需要對(duì)剩余任務(wù)重新編碼迭代求解,使得計(jì)算變得復(fù)雜,顯著增加求解時(shí)間,本文方法綜合了平均移動(dòng)距離和求解時(shí)間的考慮,效果較好。

    表4不同地圖規(guī)模中3個(gè)機(jī)器人在9個(gè)任務(wù)中的隨機(jī)實(shí)驗(yàn)匯總Tab.4Summary of random experiments for3robots across9 tasks atdifferent map scales
    表5不同任務(wù)數(shù)量下3個(gè)機(jī)器人在900大小柵格中的隨機(jī)實(shí)驗(yàn)匯總Tab.5Summaryofrandomexperiments for3robotsin9OO gridswithdifferent number of tasks

    5結(jié)束語(yǔ)

    本文研究了考慮故障因素下的多機(jī)器人動(dòng)態(tài)任務(wù)分配及路徑規(guī)劃問(wèn)題,所提方法在確保機(jī)器人故障后仍能完成全局任務(wù)。通過(guò)多組仿真結(jié)果對(duì)比,證明本文方法在求解質(zhì)量和求解效率方面均優(yōu)于現(xiàn)有方法,并在實(shí)際的火災(zāi)救援場(chǎng)景中進(jìn)行仿真實(shí)驗(yàn),證明了本文方法的可擴(kuò)展性。最后,本文考慮的是理想環(huán)境下的路徑規(guī)劃,現(xiàn)實(shí)中由于傳感器的誤差可能會(huì)存在環(huán)境不確定的情況,后續(xù)工作會(huì)進(jìn)一步加入不確定環(huán)境中路徑規(guī)劃的考慮。

    參考文獻(xiàn):

    [1]JiangYichuan,Hu Jing,Liu Donghui.Decisionmaking of networked multi-agent systems for interaction structures[J].IEEE Trans on Systems,Man,and Cybernetics-PartA:Systemsand Humans,2011,41(6):1107-1121.

    [2]Chakraa H,GuerinF,LeclercqE,etal.Optimization techniques for multi-robot task allocation problems:review on the state-of-the-art [J].Roboticsand Autonomous Systems,2023,168:104492.

    [3]Cai Kai. Warehouse automation by logistic robotic networks:a cyberphysical control approach[J].Frontiers of Information Technologyamp;Electronic Engineering,2020,21(5):693-704.

    [4].MishraB,GargD,NarangP,etal.Drone-surveillance for search and rescue in natural disaster[J].Computer Communications, 2020,156(2):1-10.

    [5]Almadhoun R,Taha T,Seneviratne L,et al.A survey on inspecting 第42卷 structures using robotic systems [J]. International Journal of Advanced Robotic Systems,2016,13(6)1-18.

    [6]湯偉,趙靜,古嬋.基于自動(dòng)機(jī)的迷宮路徑規(guī)劃求解算法優(yōu)化 [J].南京郵電大學(xué)學(xué)報(bào):自然科學(xué)版,2021,41(5):92-100. (Tang Wei, Zhao Jing,Gu Chan. Optimization algorithm for maze path planning and solving based on automata[J]. Journal of Nanjing University of Posts and Telecommunications: Natural Science Edition,2021,41(5):92-100.)

    [7]Miao Changwei, Chen Guangzhu, Yan Chengliang,et al.Path planning optimization of indoor mobile robot based on adaptive ant colony algorithm[J]. Computers amp; Industrial Engineering,2021,156: 107230.

    [8]He Zhou,Dong Yuying,Ren Gongchang,et al.Path planning for automated guided vehicle systems with time constraints using timed Petri nets[J].Measurement and Control,2020,53(9-10): 2030-2040.

    [9]Dai Wei,Lu Huimin,Xiao Junhao,et al.Multi-robot dynamic task allocation for explorationand destruction[J]. Journal of Intelligent amp; Robotic Systems,2020,98(2): 455-479.

    [10]Huang Feifei,Yin Xiang,Li Shaoyuan.Failure-robust multi-robot tasks planning under linear temporal logic specifications [C]//Proc of the13th Asian Control Conference.Piscataway,NJ:IEEEPress, 2022: 1052-1059.

    [11]Cai Mingyu,Xiao Shaoping,LiBaoluo,etal.Reinforcementlearning based temporal logic control with maximum probabilistic satisfaction[C]//Proc of IEEE International Conference on Robotics and Automation.Piscataway,NJ: IEEE Press,2O21:806-812.

    [12]姜佩賀,王敬,桑忠啟,等.改進(jìn) A* 與DWA的室內(nèi)服務(wù)機(jī)器人 路徑規(guī)劃研究[J].計(jì)算機(jī)工程與應(yīng)用,2024,60(15):327- 335.(Jiang Peie,Wang Jing,Sang Zhongqi,etal.Researchonindoor service robot path planning based on improved A* and DWA [J].Computer Engineering and Applications,2024,60(15): 327-335. )

    [13]沈克宇,游志宇,劉永鑫,等.基于改進(jìn) A* 算法的移動(dòng)機(jī)器人 路徑規(guī)劃[J].計(jì)算機(jī)應(yīng)用研究,2023,40(1):75-79.(Shen Keyu,You Zhiyu,Liu Yongxin,et al.Mobile robot planning based on improved A* algorithm[J].Application Research of Computers,2023,40(1):75-79.)

    [14]Yu Xinyi, Yin Xiang,Li Shaoyuan,et al. Security-preserving multiagent coordination for complex temporal logic tasks[J]. Control EngineeringPractice,2022,123:105130.

    [15]Xie Yifan,Yin Xiang,Li Shaoyuan,etal. Secure-by-construction controller synthesis for stochastic systems under linear temporal logic specifications [C]//Proc of the 6Oth IEEE Conference on Decision and Control. Piscataway,NJ: IEEE Press,2021:7015-7021.

    [16]Zhang Hongbin,Luo Jiliang,Long Jinjun,et al.Multi-robot path planning using Petri nets[M]//Verification and Evaluation of Computer and Communication Systems.Cham:Springer,2020:15-26.

    [17]Mahulea C,Kloetzer M.Robot planning based on Boolean specifications using Petri net models[J]. IEEE Trans on Automatic Control,2018,63(7) : 2218-2225.

    [18]李保羅,蔡明鈺,闕震.線性時(shí)序邏輯引導(dǎo)的安全強(qiáng)化學(xué)習(xí) [J].控制與決策,2023,38(7):1835-1844.(Li Baoluo,Cai Mingyu,Kan Zhen.Linear temporal logic guided safe reinforcement learning[J].Control and Decision,2023,38(7):1835-1844.)

    [19]Mahulea C,Kloetzer M,Lesage JJ. Multi-robot path planning with Booleanspecificationsand collision avoidance[J].IFACPapersOnLine,2020,53(4): 101-108.

    [20]Shi Weijie,He Zhou,Tang Wei,etal.Path planning of multi-robot systems with Boolean specifications based on simulated annealing [J].IEEE Robotics and Automation Letters,2022,7(3): 6091-6098.

    [21]何舟,劉思羽.帶時(shí)間窗的多機(jī)器人系統(tǒng)復(fù)雜任務(wù)路徑規(guī)劃 [J].南京郵電大學(xué)學(xué)報(bào):自然科學(xué)版,2024,44(2):83-90. (He Zhou,Liu Siyu.Path planning for multi-robot systems with complex tasks and time windows [J]. Journal of Nanjing University of Posts and Telecommunications:Natural Science Edition,2024, 44(2): 83-90.)

    猜你喜歡
    柵格編碼機(jī)器人
    江蘇淮安:假期玩轉(zhuǎn)機(jī)器人
    一種基于家用機(jī)器人的柵格地圖路徑搜索方法
    白化菠蘿蜜幼苗光合作用相關(guān)基因表達(dá)分析
    融合蟻群算法和差分Transformer的農(nóng)業(yè)機(jī)器人路徑規(guī)劃研究
    基于降雨量數(shù)據(jù)的城市內(nèi)澇風(fēng)險(xiǎn)評(píng)估方法研究
    基于任務(wù)群的小學(xué)信息科技跨學(xué)科主題學(xué)習(xí)新樣態(tài)
    基于多機(jī)器人協(xié)作和視覺(jué)技術(shù)的智能噴涂工作站設(shè)計(jì)
    彈跳機(jī)器人著陸姿態(tài)分析及其控制方法研究
    基于改進(jìn)的A算法的復(fù)雜環(huán)境下路徑規(guī)劃研究
    社交電商用戶消費(fèi)助農(nóng)影響因素探究
    村委主任(2025年10期)2025-08-03 00:00:00
    大型黄色视频在线免费观看| 久久草成人影院| 亚州av有码| 波多野结衣高清无吗| 白带黄色成豆腐渣| 91久久精品国产一区二区成人| 在线观看美女被高潮喷水网站| 啪啪无遮挡十八禁网站| 亚洲国产色片| 免费看av在线观看网站| 欧洲精品卡2卡3卡4卡5卡区| 九九爱精品视频在线观看| 中文字幕熟女人妻在线| 久久精品国产亚洲av香蕉五月| 欧美高清成人免费视频www| 毛片一级片免费看久久久久 | www.色视频.com| 国产精品福利在线免费观看| 黄色视频,在线免费观看| 乱系列少妇在线播放| 日本一本二区三区精品| 不卡一级毛片| 女生性感内裤真人,穿戴方法视频| 嫁个100分男人电影在线观看| 成熟少妇高潮喷水视频| 99热这里只有是精品50| 99久久精品一区二区三区| 久久久久久久久久久丰满 | 国产日本99.免费观看| 女人被狂操c到高潮| 亚洲人与动物交配视频| 男人狂女人下面高潮的视频| 在线看三级毛片| 国产日本99.免费观看| 97超级碰碰碰精品色视频在线观看| 亚洲avbb在线观看| 美女被艹到高潮喷水动态| 国产亚洲精品综合一区在线观看| 国产精品99久久久久久久久| eeuss影院久久| 亚洲国产精品sss在线观看| 搡女人真爽免费视频火全软件 | 少妇高潮的动态图| 动漫黄色视频在线观看| 色哟哟哟哟哟哟| 三级男女做爰猛烈吃奶摸视频| 麻豆精品久久久久久蜜桃| 可以在线观看的亚洲视频| 成人鲁丝片一二三区免费| a在线观看视频网站| 男人的好看免费观看在线视频| 嫩草影院新地址| 一区二区三区四区激情视频 | 毛片一级片免费看久久久久 | 免费一级毛片在线播放高清视频| 嫩草影院入口| 国产 一区 欧美 日韩| 免费看av在线观看网站| 一级黄片播放器| 免费看日本二区| 久久精品国产99精品国产亚洲性色| 精品一区二区三区av网在线观看| 久久人妻av系列| 国产精品99久久久久久久久| 国产高清激情床上av| 69av精品久久久久久| 中出人妻视频一区二区| 国产精品98久久久久久宅男小说| 国产91精品成人一区二区三区| 国产精品久久视频播放| 免费看av在线观看网站| 亚洲人成网站高清观看| 高清在线国产一区| 天堂网av新在线| 别揉我奶头 嗯啊视频| 又黄又爽又刺激的免费视频.| 久久久久免费精品人妻一区二区| 国产精品久久久久久久电影| 中文字幕av成人在线电影| 日本五十路高清| 五月玫瑰六月丁香| 久久天躁狠狠躁夜夜2o2o| 国产单亲对白刺激| 国产亚洲精品综合一区在线观看| 午夜福利高清视频| avwww免费| 亚洲无线在线观看| 99在线视频只有这里精品首页| 直男gayav资源| 黄色一级大片看看| 欧美日本亚洲视频在线播放| 久久久久久久久大av| 极品教师在线免费播放| 1024手机看黄色片| 高清在线国产一区| 伦精品一区二区三区| 欧美激情国产日韩精品一区| 免费电影在线观看免费观看| 中文亚洲av片在线观看爽| 国产精品乱码一区二三区的特点| 日本黄大片高清| 精华霜和精华液先用哪个| 黄色视频,在线免费观看| 51国产日韩欧美| 亚洲欧美日韩高清在线视频| 全区人妻精品视频| 男女下面进入的视频免费午夜| 日韩欧美免费精品| bbb黄色大片| 日本在线视频免费播放| 国产av麻豆久久久久久久| 女的被弄到高潮叫床怎么办 | 身体一侧抽搐| 久久久午夜欧美精品| 久久这里只有精品中国| 美女高潮喷水抽搐中文字幕| 国产精品亚洲美女久久久| 亚洲人与动物交配视频| 一本久久中文字幕| 偷拍熟女少妇极品色| 亚洲成人精品中文字幕电影| 无遮挡黄片免费观看| 日韩中字成人| 听说在线观看完整版免费高清| 在现免费观看毛片| 欧美色视频一区免费| 亚洲一级一片aⅴ在线观看| 如何舔出高潮| 伦理电影大哥的女人| 欧美不卡视频在线免费观看| 午夜福利18| 五月伊人婷婷丁香| 他把我摸到了高潮在线观看| 91久久精品国产一区二区成人| 美女高潮的动态| 级片在线观看| 欧美国产日韩亚洲一区| 日本黄色片子视频| 成人高潮视频无遮挡免费网站| 日韩欧美国产一区二区入口| 欧美日韩精品成人综合77777| av天堂在线播放| 欧美一区二区国产精品久久精品| 亚洲av免费高清在线观看| 久久精品国产鲁丝片午夜精品 | 国产主播在线观看一区二区| 99九九线精品视频在线观看视频| 精品一区二区三区视频在线| 国产久久久一区二区三区| 波多野结衣巨乳人妻| 国产精品久久久久久久电影| 午夜福利在线在线| 热99在线观看视频| 免费人成视频x8x8入口观看| 亚洲avbb在线观看| 午夜日韩欧美国产| 国产精品一区二区三区四区免费观看 | 波多野结衣高清无吗| 日韩中字成人| 深夜精品福利| 国内精品宾馆在线| 亚洲人成网站高清观看| 亚洲国产精品合色在线| 国产 一区精品| 欧美黑人欧美精品刺激| 亚洲国产精品成人综合色| 蜜桃久久精品国产亚洲av| 成人国产综合亚洲| av在线观看视频网站免费| 99久久精品热视频| 久久久久国内视频| 一级av片app| 久久久国产成人精品二区| 久久精品国产鲁丝片午夜精品 | 国产不卡一卡二| 日本免费a在线| 精品人妻熟女av久视频| 精品国内亚洲2022精品成人| 国产精品98久久久久久宅男小说| 成年女人看的毛片在线观看| 色吧在线观看| 国产高清有码在线观看视频| x7x7x7水蜜桃| 免费在线观看日本一区| 亚洲av中文av极速乱 | 99久国产av精品| 亚洲,欧美,日韩| 国产老妇女一区| 久久欧美精品欧美久久欧美| 午夜福利18| 亚洲精品久久国产高清桃花| 免费观看的影片在线观看| 亚洲第一电影网av| 成人国产综合亚洲| eeuss影院久久| 久久久久久国产a免费观看| 嫁个100分男人电影在线观看| 真实男女啪啪啪动态图| 黄色丝袜av网址大全| 色综合婷婷激情| 久久欧美精品欧美久久欧美| 国产精品自产拍在线观看55亚洲| 国产av不卡久久| 很黄的视频免费| 日韩一区二区视频免费看| .国产精品久久| 日本色播在线视频| 亚洲av熟女| 69av精品久久久久久| 国产男人的电影天堂91| 最近在线观看免费完整版| 久久精品国产亚洲av天美| 色尼玛亚洲综合影院| 五月玫瑰六月丁香| 国产免费av片在线观看野外av| 欧美性猛交╳xxx乱大交人| bbb黄色大片| av在线亚洲专区| 欧美bdsm另类| 免费人成视频x8x8入口观看| 一级av片app| 黄色配什么色好看| 热99在线观看视频| 午夜亚洲福利在线播放| 久久99热6这里只有精品| 中文字幕高清在线视频| 国产亚洲精品综合一区在线观看| 此物有八面人人有两片| 亚洲国产欧洲综合997久久,| 久久午夜福利片| 欧美高清性xxxxhd video| 国产精品国产高清国产av| 精品国产三级普通话版| 国产精品免费一区二区三区在线| 男女之事视频高清在线观看| 制服丝袜大香蕉在线| 亚洲三级黄色毛片| 欧美一级a爱片免费观看看| 久久精品91蜜桃| 亚洲av成人av| 无人区码免费观看不卡| 亚洲中文日韩欧美视频| 看十八女毛片水多多多| 欧美bdsm另类| 一夜夜www| 亚洲成人久久爱视频| 波多野结衣巨乳人妻| 少妇人妻一区二区三区视频| 少妇的逼好多水| 国产单亲对白刺激| 成人高潮视频无遮挡免费网站| 国产一区二区三区av在线 | 亚洲成人久久爱视频| 国产精品国产高清国产av| 深夜精品福利| 老师上课跳d突然被开到最大视频| 国产男靠女视频免费网站| 美女cb高潮喷水在线观看| 日韩,欧美,国产一区二区三区 | 联通29元200g的流量卡| 亚洲综合色惰| 国产久久久一区二区三区| 国产一区二区三区视频了| 色播亚洲综合网| netflix在线观看网站| 国产精品,欧美在线| 乱系列少妇在线播放| 国产精品99久久久久久久久| 最近视频中文字幕2019在线8| 国产精品一区二区免费欧美| 男女做爰动态图高潮gif福利片| 99热6这里只有精品| 在线观看免费视频日本深夜| 色综合站精品国产| 直男gayav资源| 精品久久久久久,| 亚洲成人久久爱视频| 日韩中文字幕欧美一区二区| 日日干狠狠操夜夜爽| 国产精品野战在线观看| 亚洲18禁久久av| 国产亚洲欧美98| 国产精品亚洲一级av第二区| 日本精品一区二区三区蜜桃| 麻豆国产97在线/欧美| 老司机深夜福利视频在线观看| 久久久久国产精品人妻aⅴ院| 99国产极品粉嫩在线观看| 成年女人永久免费观看视频| 国产v大片淫在线免费观看| 看片在线看免费视频| av在线蜜桃| 免费av毛片视频| 亚洲欧美清纯卡通| 午夜精品久久久久久毛片777| 日韩大尺度精品在线看网址| 亚洲精品亚洲一区二区| 免费av毛片视频| 欧美色视频一区免费| 中文字幕精品亚洲无线码一区| 亚洲中文日韩欧美视频| 国产精品久久久久久亚洲av鲁大| 极品教师在线免费播放| 18禁黄网站禁片午夜丰满| 观看免费一级毛片| 动漫黄色视频在线观看| 免费不卡的大黄色大毛片视频在线观看 | 最后的刺客免费高清国语| 成人鲁丝片一二三区免费| 91狼人影院| 91麻豆精品激情在线观看国产| 亚洲成人久久爱视频| 国产激情偷乱视频一区二区| 免费av不卡在线播放| 美女黄网站色视频| 久久久久国内视频| 精品久久久久久久人妻蜜臀av| 两个人的视频大全免费| 国产一区二区在线观看日韩| 久久国内精品自在自线图片| 亚洲国产日韩欧美精品在线观看| 久久热精品热| a级毛片a级免费在线| 精品一区二区三区视频在线| 如何舔出高潮| 国语自产精品视频在线第100页| 欧美日韩精品成人综合77777| 亚洲精品久久国产高清桃花| 国产色婷婷99| 男人舔奶头视频| 俄罗斯特黄特色一大片| 久久精品国产亚洲网站| 国产伦一二天堂av在线观看| 精品久久久久久久久亚洲 | 国产精品电影一区二区三区| av.在线天堂| 国产一区二区亚洲精品在线观看| 久久久国产成人精品二区| 成年女人看的毛片在线观看| 长腿黑丝高跟| 久久精品国产亚洲网站| 日韩,欧美,国产一区二区三区 | 午夜福利18| 狂野欧美激情性xxxx在线观看| 无人区码免费观看不卡| 日日夜夜操网爽| 精品人妻1区二区| 乱人视频在线观看| 老司机午夜福利在线观看视频| 国产熟女欧美一区二区| 免费电影在线观看免费观看| 少妇的逼好多水| 老司机福利观看| 亚洲第一区二区三区不卡| 国产亚洲91精品色在线| 国产69精品久久久久777片| 欧美绝顶高潮抽搐喷水| 91麻豆精品激情在线观看国产| 在线免费观看不下载黄p国产 | 中文字幕熟女人妻在线| av在线老鸭窝| 精品人妻视频免费看| 成人午夜高清在线视频| 少妇人妻精品综合一区二区 | 国产亚洲精品av在线| 亚洲av免费在线观看| 性欧美人与动物交配| 国产一区二区三区视频了| 欧美在线一区亚洲| 国产亚洲精品av在线| 国产精品一及| 久久草成人影院| 免费看a级黄色片| 能在线免费观看的黄片| 色哟哟哟哟哟哟| 午夜老司机福利剧场| 亚洲色图av天堂| 国产成年人精品一区二区| 97超级碰碰碰精品色视频在线观看| 国产精品久久久久久久电影| 淫秽高清视频在线观看| 国产成人a区在线观看| 国产不卡一卡二| 久久精品国产亚洲网站| 成人av一区二区三区在线看| 天天躁日日操中文字幕| 亚洲中文日韩欧美视频| 少妇的逼好多水| 日韩欧美国产在线观看| 99国产极品粉嫩在线观看| 国产淫片久久久久久久久| 在线观看66精品国产| 搡老妇女老女人老熟妇| 窝窝影院91人妻| 国产成年人精品一区二区| 直男gayav资源| 色噜噜av男人的天堂激情| 亚洲人成伊人成综合网2020| 夜夜看夜夜爽夜夜摸| 欧美在线一区亚洲| 午夜免费男女啪啪视频观看 | 热99在线观看视频| 性欧美人与动物交配| 我的老师免费观看完整版| 欧美性感艳星| 级片在线观看| av天堂在线播放| 午夜精品在线福利| 国内精品一区二区在线观看| 麻豆国产97在线/欧美| 国产又黄又爽又无遮挡在线| 国产午夜精品久久久久久一区二区三区 | 成人国产综合亚洲| 亚洲18禁久久av| 91麻豆av在线| 日韩中文字幕欧美一区二区| 深爱激情五月婷婷| 久久久久久久久久久丰满 | 十八禁网站免费在线| 成人鲁丝片一二三区免费| 亚洲av二区三区四区| 国产男人的电影天堂91| aaaaa片日本免费| 成人特级黄色片久久久久久久| 中文在线观看免费www的网站| 在线观看av片永久免费下载| 欧美在线一区亚洲| 精品一区二区三区av网在线观看| 无遮挡黄片免费观看| 春色校园在线视频观看| 欧美激情国产日韩精品一区| 精品乱码久久久久久99久播| 亚洲成人久久爱视频| 国产高清不卡午夜福利| 男女边吃奶边做爰视频| 欧美极品一区二区三区四区| av.在线天堂| 18禁在线播放成人免费| 91麻豆av在线| av天堂在线播放| 午夜免费激情av| 伊人久久精品亚洲午夜| 成人特级av手机在线观看| 午夜久久久久精精品| www日本黄色视频网| 亚洲成人久久爱视频| 国产精品乱码一区二三区的特点| 免费不卡的大黄色大毛片视频在线观看 | 午夜视频国产福利| 国产私拍福利视频在线观看| 老司机福利观看| 欧美日韩精品成人综合77777| 特大巨黑吊av在线直播| 精华霜和精华液先用哪个| 两人在一起打扑克的视频| 日韩精品青青久久久久久| 色综合站精品国产| 不卡一级毛片| 韩国av在线不卡| 91久久精品电影网| 久久精品国产99精品国产亚洲性色| 婷婷色综合大香蕉| 又黄又爽又刺激的免费视频.| 国产一区二区激情短视频| 欧美+日韩+精品| 久久6这里有精品| 在线a可以看的网站| 久9热在线精品视频| 亚洲真实伦在线观看| 亚洲久久久久久中文字幕| 久久久久久久久久黄片| 91在线观看av| 国产精品久久视频播放| 午夜福利高清视频| 免费看日本二区| 久久精品国产亚洲av香蕉五月| 黄色欧美视频在线观看| 免费观看人在逋| av天堂中文字幕网| 国产麻豆成人av免费视频| 国产精品无大码| 日韩欧美在线二视频| 国产亚洲91精品色在线| 老司机深夜福利视频在线观看| 在线观看午夜福利视频| 国产三级中文精品| 国产v大片淫在线免费观看| 丰满人妻一区二区三区视频av| 赤兔流量卡办理| 日日干狠狠操夜夜爽| 日韩中文字幕欧美一区二区| aaaaa片日本免费| 婷婷六月久久综合丁香| 国产伦精品一区二区三区四那| 日韩欧美免费精品| 一级黄色大片毛片| 美女 人体艺术 gogo| 免费看a级黄色片| 国产av一区在线观看免费| 成年女人永久免费观看视频| 国产精品一区二区三区四区免费观看 | 国产亚洲av嫩草精品影院| 国产乱人视频| 九九爱精品视频在线观看| 亚洲熟妇熟女久久| 亚洲国产精品合色在线| 亚洲av免费高清在线观看| 2021天堂中文幕一二区在线观| 国产av一区在线观看免费| 色综合站精品国产| 亚洲经典国产精华液单| 成人av在线播放网站| 中文字幕av成人在线电影| 99久国产av精品| 在线免费观看的www视频| 欧美日本视频| 少妇猛男粗大的猛烈进出视频 | 成熟少妇高潮喷水视频| 亚洲精华国产精华液的使用体验 | 18禁在线播放成人免费| 午夜免费男女啪啪视频观看 | 亚洲内射少妇av| 女人被狂操c到高潮| 亚洲乱码一区二区免费版| 免费看av在线观看网站| av天堂在线播放| 麻豆av噜噜一区二区三区| 亚洲美女黄片视频| 成年女人毛片免费观看观看9| 美女免费视频网站| 91麻豆av在线| 99久久精品热视频| 中文字幕人妻熟人妻熟丝袜美| 丰满人妻一区二区三区视频av| 99久久成人亚洲精品观看| 久久99热这里只有精品18| 成人欧美大片| 一夜夜www| 国产黄片美女视频| 亚洲欧美清纯卡通| 我的老师免费观看完整版| av女优亚洲男人天堂| 中文字幕av成人在线电影| 波多野结衣高清无吗| 亚洲国产精品sss在线观看| 日韩欧美国产在线观看| 欧美精品国产亚洲| 日日摸夜夜添夜夜添av毛片 | 天堂网av新在线| 久久精品影院6| 成人精品一区二区免费| 亚洲av第一区精品v没综合| 变态另类成人亚洲欧美熟女| 成年人黄色毛片网站| 中文字幕av成人在线电影| 女人被狂操c到高潮| 一a级毛片在线观看| 久久久久精品国产欧美久久久| 色吧在线观看| 午夜福利成人在线免费观看| 国内精品美女久久久久久| 国产精品一区www在线观看 | 99riav亚洲国产免费| 白带黄色成豆腐渣| 69av精品久久久久久| 国产精品乱码一区二三区的特点| 亚洲精品影视一区二区三区av| 麻豆久久精品国产亚洲av| 国产视频内射| 18禁黄网站禁片免费观看直播| 老司机午夜福利在线观看视频| 色噜噜av男人的天堂激情| 国产亚洲av嫩草精品影院| 欧美成人免费av一区二区三区| 国产精品永久免费网站| 长腿黑丝高跟| 日日摸夜夜添夜夜添av毛片 | 蜜桃久久精品国产亚洲av| 精品久久久久久久久亚洲 | 日本黄色片子视频| 搡老岳熟女国产| 欧美中文日本在线观看视频| 男人舔女人下体高潮全视频| 中文字幕久久专区| 欧美一区二区亚洲| 亚洲av二区三区四区| 狠狠狠狠99中文字幕| av天堂中文字幕网| 欧美性猛交黑人性爽| 看片在线看免费视频| 成人特级av手机在线观看| 国产亚洲精品av在线| 亚洲av第一区精品v没综合| 麻豆成人av在线观看| a在线观看视频网站| 我的老师免费观看完整版| 欧美色欧美亚洲另类二区| 黄片wwwwww| 国产色爽女视频免费观看| 丰满乱子伦码专区| 亚洲国产精品合色在线| 亚洲va在线va天堂va国产| 成年女人看的毛片在线观看| 精品无人区乱码1区二区| 精品久久久久久久久亚洲 | 国产一区二区激情短视频| 熟女电影av网| 成人亚洲精品av一区二区| 我要看日韩黄色一级片| 1000部很黄的大片| 亚洲国产精品久久男人天堂| 一级毛片久久久久久久久女| 午夜福利高清视频| 久久久久精品国产欧美久久久| 国内毛片毛片毛片毛片毛片|