• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于強(qiáng)化學(xué)習(xí)的變電站巡檢路徑規(guī)劃算法

    2022-02-09 02:18:28馬松玲陳起源康佳歡
    計(jì)算機(jī)仿真 2022年12期
    關(guān)鍵詞:檢測(cè)點(diǎn)神經(jīng)網(wǎng)絡(luò)距離

    馬松玲,陳起源,康佳歡

    (西安建筑科技大學(xué)機(jī)電工程學(xué)院,陜西 西安 710000)

    1 引言

    變電站是電力傳輸與分配的樞紐,電網(wǎng)的《變電站智能機(jī)器人巡檢系統(tǒng)運(yùn)維規(guī)范》中對(duì)油浸式變壓器、斷路器、隔離開關(guān)等 28 類設(shè)備的巡視點(diǎn)位以及巡檢項(xiàng)目進(jìn)行了詳細(xì)規(guī)定[1]。由于變電站運(yùn)維工作量大,工作風(fēng)險(xiǎn)高,出于安全和節(jié)省人力成本的考慮,巡檢機(jī)器人的應(yīng)用日益廣泛[2]。面向在不同變電站下多種電器的巡檢任務(wù),巡檢機(jī)器人的正常工作依賴于有效合理的路徑規(guī)劃[3]。現(xiàn)有的巡檢機(jī)器人路徑規(guī)劃方法大多依賴于環(huán)境建模[4],其優(yōu)點(diǎn)是機(jī)器人能夠理解環(huán)境,利用地圖對(duì)所有檢測(cè)點(diǎn)進(jìn)行遍歷,能夠?qū)崿F(xiàn)全局最優(yōu)的路徑規(guī)劃[5];其缺點(diǎn)是變電站一旦由于后期維護(hù)導(dǎo)致檢測(cè)點(diǎn)發(fā)生變化,需要對(duì)變電站環(huán)境和檢測(cè)點(diǎn)進(jìn)行重新建模與標(biāo)定,具有較高的維護(hù)成本[6]。巡檢機(jī)器人運(yùn)行過程中,由于累積誤差導(dǎo)致機(jī)器人對(duì)自身定位存在較大偏差,導(dǎo)致機(jī)器人實(shí)際巡檢路徑與規(guī)劃的最優(yōu)巡檢路徑存在偏離,不僅需要變電站工作人員進(jìn)行定期校準(zhǔn),而且存在較大的安全風(fēng)險(xiǎn)[7]。同時(shí),當(dāng)巡檢機(jī)器人需要在不同變電站進(jìn)行遷移和快速部署時(shí),基于環(huán)境建模的方法也導(dǎo)致巡檢機(jī)器人的遷移代價(jià)較高,不利于其推廣使用。針對(duì)于此,強(qiáng)化學(xué)習(xí)被用來實(shí)現(xiàn)無環(huán)境模型下的機(jī)器人路徑規(guī)劃。然而,傳統(tǒng)強(qiáng)化學(xué)習(xí)通過維護(hù)狀態(tài)-行為-期望回報(bào)映射的Q表來實(shí)現(xiàn)最佳決策的迭代尋優(yōu),存在維數(shù)災(zāi)難問題,難以應(yīng)用于大規(guī)模變電站環(huán)境。近年來,研究表明在未創(chuàng)建地圖情況下利用深度強(qiáng)化學(xué)習(xí)實(shí)現(xiàn)移動(dòng)機(jī)器人的導(dǎo)航是完全可行的,且利用在柵格化地圖中初步實(shí)現(xiàn)了路徑規(guī)劃[8]。深度強(qiáng)化學(xué)習(xí)是一種結(jié)合了強(qiáng)化學(xué)習(xí)中的Q學(xué)習(xí)(Qlearning)[9]和深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)的算法。深度強(qiáng)化學(xué)習(xí)采用卷積神經(jīng)網(wǎng)絡(luò)作為學(xué)習(xí)模型,網(wǎng)絡(luò)參數(shù)需通過強(qiáng)化學(xué)習(xí)反復(fù)調(diào)整,達(dá)到神經(jīng)網(wǎng)絡(luò)對(duì)Q 表建模的目的。深度強(qiáng)化學(xué)習(xí)能夠?qū)?qiáng)化學(xué)習(xí)的決策能力和深度學(xué)習(xí)的感知能力相融合[10]。然而,基于深度強(qiáng)化學(xué)習(xí)的方法普遍以圖像作為輸入,使用較為復(fù)雜的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí),這對(duì)機(jī)器人平臺(tái)的計(jì)算能力提出了較高的要求。針對(duì)上述問題,本文提出了一種基于多層感知機(jī)的強(qiáng)化學(xué)習(xí)框架以及巡檢路徑規(guī)劃方法。該方法不需要對(duì)環(huán)境進(jìn)行事先建模,能夠使得巡檢機(jī)器人完成遍歷檢測(cè)點(diǎn)的巡檢任務(wù)。

    2 基于改進(jìn)強(qiáng)化學(xué)習(xí)的訓(xùn)練路徑規(guī)劃方法

    2.1 強(qiáng)化學(xué)習(xí)算法基本原理

    對(duì)Q表的學(xué)習(xí)是強(qiáng)化學(xué)習(xí)算法中的重要部分。Q表存儲(chǔ)某一個(gè)時(shí)刻的狀態(tài)下,采取動(dòng)作能夠獲得收益的期望,即環(huán)境會(huì)根據(jù)機(jī)器人的動(dòng)作反饋相應(yīng)的獎(jiǎng)賞。強(qiáng)化學(xué)習(xí)算法的主要思想是將狀態(tài)和動(dòng)作構(gòu)建成一張表來存儲(chǔ)Q值,然后根據(jù)Q值來選取能夠獲得最大收益的動(dòng)作。針對(duì)無環(huán)境模型的任務(wù)場(chǎng)景,Q學(xué)習(xí)一般使用融合了蒙特卡洛和動(dòng)態(tài)規(guī)劃的時(shí)間差分法進(jìn)行學(xué)習(xí),利用貝爾曼方程對(duì)馬爾科夫過程求解最優(yōu)策略:

    (1)

    式中,Qπ(s,a)為狀態(tài)-動(dòng)作值函數(shù),用來表示在策略π上,在狀態(tài)s下執(zhí)行動(dòng)作a后得到的累積獎(jiǎng)勵(lì)值,π*表示最優(yōu)策略,γ是折扣累積獎(jiǎng)賞值,T(s,a,s′)表示執(zhí)行動(dòng)作a后狀態(tài)s變?yōu)闋顟B(tài)s′的概率;R(s,a,s′)表示在狀態(tài)s下采取了動(dòng)作a后得到的獎(jiǎng)勵(lì),依照此策略行動(dòng)能獲得最佳預(yù)期獎(jiǎng)勵(lì)值。

    在強(qiáng)化學(xué)習(xí)算法在解空間進(jìn)行探索的過程中,根據(jù)(1)式,Q表的迭代過程為

    Q(s,a)←Q(s,a)+α(r+γmaxa′Q(s′,a′)-Q(s,a))

    (2)

    Q表即狀態(tài)—?jiǎng)幼髦岛瘮?shù)Q(s,a),α是學(xué)習(xí)率,γ是折扣因子,r和s′分別是在狀態(tài)s下選擇動(dòng)作a后得到的即時(shí)獎(jiǎng)勵(lì)和下一個(gè)狀態(tài),a′是在當(dāng)前策略下機(jī)器人處于狀態(tài)s′時(shí)選擇的動(dòng)作,max(s′,a′)是狀態(tài)s′對(duì)應(yīng)的最大累積獎(jiǎng)勵(lì)值。算法訓(xùn)練目標(biāo)是為了獲取到最優(yōu)化的Q值。通過對(duì)Q表的不斷更新能夠建立每個(gè)狀態(tài)下對(duì)應(yīng)的可選行為的回報(bào)值。根據(jù)更新后的Q表可以實(shí)現(xiàn)環(huán)境狀態(tài)和最優(yōu)行為的映射。

    2.2 機(jī)器人狀態(tài)-最優(yōu)行為映射模型

    當(dāng)解空間規(guī)模較大時(shí),傳統(tǒng)基于Q表維護(hù)的方法難以實(shí)現(xiàn)有效的狀態(tài)-行為映射建模。本文采用多層感知機(jī)(Multi-Layer Perception,MLP)實(shí)現(xiàn)對(duì)機(jī)器人狀態(tài)-最優(yōu)行為映射的學(xué)習(xí),以替代傳統(tǒng)的Q表模型。MLP神經(jīng)網(wǎng)絡(luò)以低維向量為輸入,具有計(jì)算效率高的特點(diǎn),能夠滿足巡檢機(jī)器人在環(huán)境探索過程中進(jìn)行更加高效訓(xùn)練的需求。與深度強(qiáng)化學(xué)習(xí)將地圖作為環(huán)境和機(jī)器人的狀態(tài)輸入到卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練不同,本文重新定義了低維度機(jī)器人實(shí)時(shí)狀態(tài)作為的輸入,以機(jī)器人的最優(yōu)運(yùn)動(dòng)控制量作為預(yù)測(cè)輸出,如圖1所示。

    圖1 機(jī)器人狀態(tài)-最優(yōu)行為映射的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)模型

    本文選用三層神經(jīng)網(wǎng)絡(luò),每層32個(gè)神經(jīng)元,MLP每個(gè)神經(jīng)元的值的前向傳遞公式為

    ni,j=f(∑jni-1,j*wj+bj)

    (3)

    其中:w為神經(jīng)網(wǎng)絡(luò)中每層的連接權(quán)重值,b是該神經(jīng)元的偏置值,f是激活函數(shù),nij是代表第i層第j個(gè)神經(jīng)元的值。

    激活函數(shù)采用雙曲正切函數(shù)

    (4)

    針對(duì)機(jī)器人巡檢任務(wù),本文設(shè)計(jì)的狀態(tài)輸入和行為輸出量如下:

    1)狀態(tài)輸入量一:機(jī)器人到巡檢目標(biāo)檢測(cè)點(diǎn)之間的距離。將檢測(cè)點(diǎn)設(shè)置為一個(gè)信號(hào)發(fā)射器,巡檢機(jī)器人在信號(hào)輻射范圍內(nèi)都可以接收到該信號(hào),障礙物對(duì)于信號(hào)的阻擋衰減和反射阻礙在仿真中忽略不計(jì),如圖2所示。

    圖2 巡檢目標(biāo)檢測(cè)點(diǎn)設(shè)計(jì)

    根據(jù)輻射信號(hào)衰減關(guān)系,輻射強(qiáng)弱和距離的平方分之一成正比,可以得到巡檢機(jī)器人與檢測(cè)點(diǎn)傳感器的距離為

    (5)

    式中,d為巡檢機(jī)器人與檢測(cè)點(diǎn)之間的距離,γ為信號(hào)的衰減程度。

    2) 狀態(tài)輸入量二:檢測(cè)點(diǎn)的遍歷標(biāo)志位。本文設(shè)置nc個(gè)檢測(cè)點(diǎn),標(biāo)記為nc1、nc2…nc3,機(jī)器人已知檢測(cè)點(diǎn)的數(shù)量,每個(gè)檢測(cè)點(diǎn)對(duì)應(yīng)的到達(dá)標(biāo)記值初始化為0。在仿真環(huán)境中模擬當(dāng)機(jī)器人與檢測(cè)點(diǎn)距離小于0.1時(shí),認(rèn)為機(jī)器人經(jīng)過了該檢測(cè)點(diǎn),則該目標(biāo)點(diǎn)對(duì)應(yīng)的到達(dá)標(biāo)記變?yōu)?。如果全部nc個(gè)點(diǎn)遍歷,則表明遍歷任務(wù)成功結(jié)束,本文將檢測(cè)點(diǎn)的經(jīng)歷信號(hào)做為神經(jīng)網(wǎng)絡(luò)的第二組輸入。

    3) 狀態(tài)輸入量三:機(jī)器人對(duì)環(huán)境障礙物的感知距離信息。仿真環(huán)境地圖設(shè)置為10×10個(gè)單位,超聲波傳感器檢測(cè)到的空間距離范圍設(shè)定為(0,20),機(jī)器人搭載12個(gè)環(huán)形設(shè)置的超聲波傳感器。它們檢測(cè)到的距離信息為神經(jīng)網(wǎng)絡(luò)的第三組輸入。

    圖3 超聲波傳感器搭載設(shè)計(jì)

    4) 狀態(tài)輸入量四:機(jī)器人歷史運(yùn)動(dòng)行為。機(jī)器人會(huì)存儲(chǔ)過去nstorage步的傳感器信息,不足以達(dá)到幫助機(jī)器人識(shí)別檢測(cè)點(diǎn)方向的目的,所以機(jī)器人還需要記錄過去nstorage步的歷史動(dòng)作。如圖4所示,歷史動(dòng)作的表達(dá)和計(jì)算方式如下:

    圖4 檢測(cè)點(diǎn)大致方向分析

    如圖所示,巡檢機(jī)器人由A點(diǎn)移動(dòng)到B點(diǎn),與檢測(cè)點(diǎn)的距離從b變化到a,b、a由檢測(cè)點(diǎn)傳感器得出,為已知量,機(jī)器人內(nèi)部存儲(chǔ)器能夠記錄前nstorage步動(dòng)作,所以距離c對(duì)于機(jī)器人來說也是已知量,根據(jù)公式

    (6)

    α角與機(jī)器人掌握的距離信息有著明確的邏輯關(guān)系,所以本文將機(jī)器人前兩次動(dòng)作輸出做為神經(jīng)網(wǎng)絡(luò)的第四組輸入。

    5) 狀態(tài)輸出量:機(jī)器人左右輪的角速度控制量。本文主要針對(duì)兩輪的巡檢機(jī)器人,因此通過左右輪的角速度變化實(shí)現(xiàn)對(duì)機(jī)器人狀態(tài)的轉(zhuǎn)移。

    2.3 獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)

    巡檢機(jī)器人必須到達(dá)每個(gè)檢測(cè)點(diǎn)并對(duì)重要設(shè)備進(jìn)行拍照和檢測(cè)任務(wù),在強(qiáng)化學(xué)習(xí)框架下,本文建立新的獎(jiǎng)勵(lì)函數(shù)來實(shí)現(xiàn)無碰撞的遍歷巡檢效果。

    利用獎(jiǎng)勵(lì)函數(shù)可以針對(duì)機(jī)器人的每步行為動(dòng)作進(jìn)行打分,是誘導(dǎo)機(jī)器人實(shí)現(xiàn)避障和遍歷檢測(cè)點(diǎn)的關(guān)鍵[8],本文設(shè)計(jì)了一種獎(jiǎng)勵(lì)函數(shù)

    (7)

    式中:rste為機(jī)器人行走步數(shù)的負(fù)獎(jiǎng)勵(lì),nste為機(jī)器人移動(dòng)的步數(shù);rmov為機(jī)器人移動(dòng)距離的負(fù)獎(jiǎng)勵(lì);Lstr為機(jī)器人從A點(diǎn)移動(dòng)到B點(diǎn)的直線距離;rnearcol為機(jī)器人接近碰撞時(shí)的負(fù)獎(jiǎng)勵(lì);dr-o(t)為t時(shí)刻機(jī)器人與最近障礙物間的距離;dnearcol為機(jī)器人接近碰撞時(shí)的距離;rapp為機(jī)器人靠近檢測(cè)點(diǎn)時(shí)的距離;dwin為機(jī)器人被認(rèn)為到達(dá)檢測(cè)點(diǎn)的距離;dr-t(t)為t時(shí)刻機(jī)器人與目標(biāo)檢測(cè)點(diǎn)間的距離;nnew為機(jī)器人新到達(dá)檢測(cè)點(diǎn)的個(gè)數(shù);rnew為機(jī)器人到達(dá)新檢測(cè)點(diǎn)的獎(jiǎng)勵(lì);rall為到達(dá)所有檢測(cè)點(diǎn)的獎(jiǎng)勵(lì);rcol為出現(xiàn)碰撞情況的負(fù)獎(jiǎng)勵(lì);rout為出現(xiàn)超時(shí)情況的負(fù)獎(jiǎng)勵(lì),具體參數(shù)如下

    表1 獎(jiǎng)勵(lì)函數(shù)具體參數(shù)值

    對(duì)機(jī)器人的移動(dòng)進(jìn)行負(fù)獎(jiǎng)勵(lì)是為了避免機(jī)器人無意義的移動(dòng)[9],巡檢需要有效率的遍歷檢測(cè)點(diǎn)的路線。對(duì)機(jī)器人的移動(dòng)進(jìn)行負(fù)獎(jiǎng)勵(lì)是為了避免機(jī)器人無意義的移動(dòng)[11],巡檢需要有效率的遍歷檢測(cè)點(diǎn)的路線。對(duì)于經(jīng)過新的檢測(cè)點(diǎn)和臨界靠近新的檢測(cè)點(diǎn)設(shè)置較大額度獎(jiǎng)勵(lì)是為了鼓勵(lì)機(jī)器人追求到達(dá)檢測(cè)點(diǎn),到達(dá)一個(gè)新的檢測(cè)點(diǎn)的正獎(jiǎng)勵(lì)和機(jī)器人移動(dòng)帶來的負(fù)獎(jiǎng)勵(lì)組合起來就可以鼓勵(lì)機(jī)器人不僅趨向于到達(dá)新的檢測(cè)點(diǎn),還要走最短路徑,以更快的獲得獎(jiǎng)勵(lì)。對(duì)于碰撞的負(fù)獎(jiǎng)勵(lì)和臨近碰撞的負(fù)獎(jiǎng)勵(lì)可以誘導(dǎo)出機(jī)器人的避障效果。對(duì)于超時(shí)的情況設(shè)置負(fù)獎(jiǎng)勵(lì)是為了使機(jī)器人工作更有效率,使機(jī)器人學(xué)習(xí)到能夠規(guī)劃出更有效率的的遍歷檢測(cè)點(diǎn)的運(yùn)動(dòng)路線。遍歷的最高額獎(jiǎng)勵(lì)設(shè)置明確了機(jī)器人的最終目標(biāo),如果單一設(shè)置這個(gè)獎(jiǎng)勵(lì)就會(huì)陷入稀疏獎(jiǎng)勵(lì)的誤區(qū)當(dāng)中,但本文的獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)方法對(duì)機(jī)器人靠近新的檢測(cè)點(diǎn),到達(dá)新的檢測(cè)點(diǎn)都設(shè)置了獎(jiǎng)勵(lì),使獎(jiǎng)勵(lì)設(shè)置的更為密集,幫助機(jī)器人能夠從易到難完成最終的目標(biāo)。基于前述定義的網(wǎng)絡(luò)模型和獎(jiǎng)勵(lì)函數(shù),利用較為成熟的近端策略優(yōu)化[12]對(duì)整個(gè)強(qiáng)化學(xué)習(xí)模型進(jìn)行訓(xùn)練。強(qiáng)化學(xué)習(xí)過程如下圖5 所示。其中,策略預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)對(duì)應(yīng)于本文2.2節(jié)提出的網(wǎng)絡(luò)模型。值函數(shù)預(yù)測(cè)網(wǎng)絡(luò)為多層神經(jīng)網(wǎng)絡(luò)模型。

    圖5 本文強(qiáng)化學(xué)習(xí)模型

    PPO1參數(shù)如下表所示:

    表2 PPO1參數(shù)表

    3 實(shí)驗(yàn)結(jié)果與分析

    3.1 仿真環(huán)境

    為驗(yàn)證本文所提出方法的性能,本文在仿真環(huán)境中進(jìn)行巡檢路徑規(guī)劃實(shí)驗(yàn)。本文在OpenAI Gym[13]中建立了仿真環(huán)境,搭建了10×10的仿真場(chǎng)景。OpenAI Gym是一種較為通用的強(qiáng)化學(xué)習(xí)平臺(tái)。根據(jù)巡檢機(jī)器人兩輪運(yùn)動(dòng)學(xué)模型定義了機(jī)器人,以空心小圈表示。其搭載了超聲波傳感器,具有檢測(cè)距離的功能。在環(huán)境中定義了隨機(jī)障礙物,賦予其不能被機(jī)器人穿過,不能被超聲波穿透,機(jī)器人過度靠近會(huì)發(fā)生碰撞的規(guī)則,以實(shí)心矩形表示。進(jìn)一步定義了檢測(cè)點(diǎn)傳感器,用黑點(diǎn)表示,機(jī)器人靠近時(shí)會(huì)顯示其輻射范圍圈。仿真環(huán)境如圖6所示。

    圖6 仿真環(huán)境

    3.2 仿真結(jié)果分析

    在巡檢機(jī)器人起點(diǎn)、障礙物位置與大小、檢測(cè)點(diǎn)位置與個(gè)數(shù)不變的情況下,通過調(diào)整巡檢機(jī)器人的訓(xùn)練次數(shù),設(shè)置對(duì)比實(shí)驗(yàn)驗(yàn)證本文方法的效果。訓(xùn)練結(jié)果如圖7所示。

    圖7 仿真結(jié)果對(duì)比

    從圖7可以看出,在獎(jiǎng)勵(lì)函數(shù)的誘導(dǎo)下,隨著訓(xùn)練次數(shù)的增加,機(jī)器人經(jīng)歷的檢測(cè)點(diǎn)數(shù)量逐漸增加,路徑效率不斷提高。且因?yàn)楠?jiǎng)勵(lì)函數(shù)對(duì)于碰撞和臨界碰撞的有效負(fù)獎(jiǎng)勵(lì)設(shè)置,即使在訓(xùn)練次數(shù)較少的情況下,機(jī)器人依然具有避障的功能。進(jìn)一步對(duì)訓(xùn)練過程中機(jī)器人所獲得的獎(jiǎng)勵(lì)進(jìn)行可視化展示,如圖8所示。

    圖8 獎(jiǎng)勵(lì)隨步數(shù)變化曲線圖

    由上圖可以看出,訓(xùn)練前期因?yàn)闄C(jī)器人尚處于探索環(huán)境階段,無法判斷什么樣的動(dòng)作會(huì)取得高分,所以每次動(dòng)作獲得的獎(jiǎng)勵(lì)較低,甚至可能因?yàn)榕鲎伯a(chǎn)生負(fù)獎(jiǎng)勵(lì)。隨著訓(xùn)練的深入,神經(jīng)網(wǎng)絡(luò)的輸入有更多的先驗(yàn)知識(shí)進(jìn)入,到達(dá)檢測(cè)點(diǎn)的概率會(huì)提升,機(jī)器人每次動(dòng)作獲得的獎(jiǎng)勵(lì)不斷增加。在訓(xùn)練后期,機(jī)器人達(dá)到了一直保持收益高獎(jiǎng)勵(lì)的狀態(tài),證明了巡檢機(jī)器人通過MLP神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)強(qiáng)化學(xué)習(xí)可以達(dá)到遍歷檢測(cè)點(diǎn)和避障的目標(biāo)。

    3.3 算法泛化性實(shí)驗(yàn)結(jié)果分析

    針對(duì)于變電站后期升級(jí)會(huì)產(chǎn)生的變化,現(xiàn)設(shè)置更改障礙物、改變檢測(cè)點(diǎn)位置、改變起點(diǎn)位置的對(duì)比實(shí)驗(yàn),驗(yàn)證本文方法是否能夠保證機(jī)器人的自適應(yīng)性:

    圖9 算法泛化性仿真結(jié)果對(duì)比

    其對(duì)應(yīng)的獎(jiǎng)勵(lì)隨步數(shù)變化曲線圖如下

    圖10 獎(jiǎng)勵(lì)隨步數(shù)變化曲線圖

    實(shí)驗(yàn)結(jié)果表明:在機(jī)器人起點(diǎn)、檢測(cè)點(diǎn)的位置以及障礙物大小、數(shù)量和方位發(fā)生一定范圍的改變時(shí),巡檢機(jī)器人依然可以通過自學(xué)習(xí),在不直接理解環(huán)境的情況下,完成遍歷檢測(cè)點(diǎn)且全程無碰撞的目標(biāo),證明了本文采用的方法能夠保證巡檢機(jī)器人的自適應(yīng)能力。

    4 總結(jié)

    本文提出了一種基于強(qiáng)化學(xué)習(xí)的機(jī)器人巡檢路徑規(guī)劃算法。在強(qiáng)化學(xué)習(xí)框架下,提出了有效的策略學(xué)習(xí)模型和獎(jiǎng)勵(lì)函數(shù)。將超聲波傳感器所獲取的與障礙物的距離信息、機(jī)器人與檢測(cè)點(diǎn)的距離和機(jī)器人的動(dòng)作歷史等作為多層感知器神經(jīng)網(wǎng)絡(luò)的輸入,提出了相適應(yīng)的連續(xù)獎(jiǎng)勵(lì)函數(shù),使用近端策略優(yōu)化對(duì)學(xué)習(xí)模型進(jìn)行訓(xùn)練,實(shí)現(xiàn)對(duì)巡檢機(jī)器人左右兩輪的在線角速度最優(yōu)控制量進(jìn)行決策。最后,在OpenAI Gym環(huán)境中建立算法仿真環(huán)境,對(duì)巡檢機(jī)器人進(jìn)行仿真學(xué)習(xí)訓(xùn)練,仿真結(jié)果驗(yàn)證了本文算法能夠使得巡檢機(jī)器人實(shí)現(xiàn)遍歷檢測(cè)點(diǎn)和全程無碰撞的目標(biāo),并且具有較高的可泛化性。

    猜你喜歡
    檢測(cè)點(diǎn)神經(jīng)網(wǎng)絡(luò)距離
    核酸檢測(cè)點(diǎn)上,有最可愛的平江人
    騎馬做核酸
    神經(jīng)網(wǎng)絡(luò)抑制無線通信干擾探究
    電子制作(2019年19期)2019-11-23 08:42:00
    算距離
    飛行器FPGA檢測(cè)點(diǎn)優(yōu)化設(shè)置方法
    基于神經(jīng)網(wǎng)絡(luò)的拉矯機(jī)控制模型建立
    每次失敗都會(huì)距離成功更近一步
    山東青年(2016年3期)2016-02-28 14:25:55
    復(fù)數(shù)神經(jīng)網(wǎng)絡(luò)在基于WiFi的室內(nèi)LBS應(yīng)用
    江西省綠色通道車輛貨物檢測(cè)點(diǎn)布點(diǎn)方案探討
    愛的距離
    母子健康(2015年1期)2015-02-28 11:21:33
    久久久色成人| 国产免费又黄又爽又色| 最近最新中文字幕大全电影3| 久热久热在线精品观看| 国产精品熟女久久久久浪| 国精品久久久久久国模美| 午夜亚洲福利在线播放| 国产一区二区亚洲精品在线观看| 国产av不卡久久| 久久人人爽人人爽人人片va| 高清av免费在线| 免费观看性生交大片5| 国产免费视频播放在线视频| 嫩草影院新地址| 一级爰片在线观看| 国产大屁股一区二区在线视频| 最近2019中文字幕mv第一页| 一级黄片播放器| 伊人久久国产一区二区| 91精品国产九色| 韩国高清视频一区二区三区| 热99国产精品久久久久久7| 亚洲国产精品成人久久小说| 婷婷色av中文字幕| 人妻制服诱惑在线中文字幕| 草草在线视频免费看| 啦啦啦中文免费视频观看日本| 日韩一区二区三区影片| 赤兔流量卡办理| 国内少妇人妻偷人精品xxx网站| 国产一区亚洲一区在线观看| 国产黄色视频一区二区在线观看| 亚洲在线观看片| 亚洲国产高清在线一区二区三| 99久久精品热视频| 男插女下体视频免费在线播放| 亚洲人成网站在线播| 欧美老熟妇乱子伦牲交| 哪个播放器可以免费观看大片| 一级二级三级毛片免费看| 人妻系列 视频| 国产精品国产av在线观看| 精品人妻偷拍中文字幕| 亚洲最大成人av| 下体分泌物呈黄色| 亚洲人成网站在线观看播放| 国产精品无大码| 青春草亚洲视频在线观看| 国产中年淑女户外野战色| 精品久久久噜噜| 久久久久久久大尺度免费视频| eeuss影院久久| 男女啪啪激烈高潮av片| 亚洲成人中文字幕在线播放| 在线观看一区二区三区| 日韩不卡一区二区三区视频在线| 欧美日韩视频精品一区| 七月丁香在线播放| 男女国产视频网站| 毛片一级片免费看久久久久| 又黄又爽又刺激的免费视频.| 熟女电影av网| 久久久精品94久久精品| 51国产日韩欧美| 久热这里只有精品99| 国产爱豆传媒在线观看| 午夜亚洲福利在线播放| av黄色大香蕉| 99精国产麻豆久久婷婷| 精品久久久久久久久av| 干丝袜人妻中文字幕| 欧美人与善性xxx| 久久国产乱子免费精品| 国产免费一区二区三区四区乱码| 国产免费又黄又爽又色| 22中文网久久字幕| 天美传媒精品一区二区| 国产v大片淫在线免费观看| 不卡视频在线观看欧美| 97超视频在线观看视频| 免费黄色在线免费观看| 亚洲国产精品999| 日本黄大片高清| 国产亚洲91精品色在线| 麻豆乱淫一区二区| www.av在线官网国产| 亚洲电影在线观看av| av播播在线观看一区| 在线观看av片永久免费下载| 1000部很黄的大片| 网址你懂的国产日韩在线| 在线精品无人区一区二区三 | av女优亚洲男人天堂| 国产乱来视频区| 99热这里只有是精品50| 麻豆成人av视频| 国产毛片a区久久久久| 日本免费在线观看一区| 中文欧美无线码| 欧美精品国产亚洲| 欧美zozozo另类| 欧美xxxx黑人xx丫x性爽| 毛片一级片免费看久久久久| 国产精品久久久久久精品电影小说 | 欧美一区二区亚洲| 婷婷色综合www| 男人狂女人下面高潮的视频| 又黄又爽又刺激的免费视频.| 在线精品无人区一区二区三 | 日韩欧美精品v在线| 啦啦啦在线观看免费高清www| 国产成人免费无遮挡视频| 久久精品国产亚洲网站| 久久精品熟女亚洲av麻豆精品| 免费av不卡在线播放| 日日啪夜夜撸| 一边亲一边摸免费视频| 日日摸夜夜添夜夜爱| 少妇人妻精品综合一区二区| 亚洲国产成人一精品久久久| 男人添女人高潮全过程视频| av天堂中文字幕网| 欧美精品一区二区大全| 少妇丰满av| 国产精品三级大全| 免费观看无遮挡的男女| 久久久久国产精品人妻一区二区| 久久精品国产鲁丝片午夜精品| 免费av观看视频| 欧美精品一区二区大全| 777米奇影视久久| 色播亚洲综合网| 国产大屁股一区二区在线视频| 国产免费一级a男人的天堂| 欧美少妇被猛烈插入视频| 天堂俺去俺来也www色官网| 黄色一级大片看看| 日韩av免费高清视频| 秋霞在线观看毛片| 欧美最新免费一区二区三区| 久久精品综合一区二区三区| 熟妇人妻不卡中文字幕| av.在线天堂| 国国产精品蜜臀av免费| 久久久久久久国产电影| 国产乱人视频| 亚洲婷婷狠狠爱综合网| 欧美潮喷喷水| 最新中文字幕久久久久| 黄色视频在线播放观看不卡| 色综合色国产| 国国产精品蜜臀av免费| 亚洲久久久久久中文字幕| 肉色欧美久久久久久久蜜桃 | 熟女av电影| 欧美日韩视频精品一区| 精品久久国产蜜桃| 街头女战士在线观看网站| 欧美精品一区二区大全| 国内揄拍国产精品人妻在线| 国产男人的电影天堂91| 777米奇影视久久| 国国产精品蜜臀av免费| 在线观看三级黄色| 日本av手机在线免费观看| 好男人在线观看高清免费视频| 五月天丁香电影| 99热全是精品| 极品教师在线视频| 国产色婷婷99| av福利片在线观看| 日韩av不卡免费在线播放| 亚洲av.av天堂| 国产精品人妻久久久影院| 一区二区三区四区激情视频| 嘟嘟电影网在线观看| 国产男女超爽视频在线观看| 国产综合精华液| 97在线人人人人妻| 蜜臀久久99精品久久宅男| 亚洲aⅴ乱码一区二区在线播放| 国产久久久一区二区三区| 中文天堂在线官网| 性插视频无遮挡在线免费观看| 中文字幕久久专区| av国产免费在线观看| 久久久久九九精品影院| 波多野结衣巨乳人妻| 精品国产乱码久久久久久小说| 亚洲va在线va天堂va国产| 另类亚洲欧美激情| 爱豆传媒免费全集在线观看| 成人二区视频| 日韩一本色道免费dvd| 女人十人毛片免费观看3o分钟| 久久精品国产亚洲av天美| 国产精品一区二区性色av| 搡老乐熟女国产| 别揉我奶头 嗯啊视频| 久久久久久九九精品二区国产| 免费观看性生交大片5| 又黄又爽又刺激的免费视频.| 蜜臀久久99精品久久宅男| av国产久精品久网站免费入址| 夜夜爽夜夜爽视频| 国产伦精品一区二区三区视频9| 18禁裸乳无遮挡免费网站照片| 极品教师在线视频| 久久热精品热| 久久97久久精品| 久久精品久久久久久久性| av福利片在线观看| 亚洲精品国产色婷婷电影| 麻豆精品久久久久久蜜桃| 日韩成人伦理影院| 精品国产一区二区三区久久久樱花 | 亚洲精品自拍成人| 精品久久久久久久久亚洲| 久久久久久伊人网av| 色视频在线一区二区三区| 狂野欧美白嫩少妇大欣赏| 国产精品一二三区在线看| 国产日韩欧美在线精品| 不卡视频在线观看欧美| 久久精品人妻少妇| 爱豆传媒免费全集在线观看| 亚洲最大成人手机在线| 国产一区有黄有色的免费视频| 夫妻性生交免费视频一级片| 亚洲av.av天堂| 青春草国产在线视频| 最近中文字幕2019免费版| 久久ye,这里只有精品| 亚洲天堂国产精品一区在线| 亚洲精品亚洲一区二区| 99九九线精品视频在线观看视频| 国产美女午夜福利| 赤兔流量卡办理| 国产黄色免费在线视频| 中国三级夫妇交换| 免费看av在线观看网站| 日本免费在线观看一区| 亚洲高清免费不卡视频| 成人高潮视频无遮挡免费网站| 午夜激情久久久久久久| 伊人久久国产一区二区| 五月伊人婷婷丁香| 啦啦啦啦在线视频资源| 亚洲精品自拍成人| 中文乱码字字幕精品一区二区三区| 岛国毛片在线播放| 欧美少妇被猛烈插入视频| 97在线人人人人妻| 少妇人妻 视频| 日韩 亚洲 欧美在线| 久久精品国产亚洲av涩爱| 久久99蜜桃精品久久| 国产国拍精品亚洲av在线观看| 观看美女的网站| 国产亚洲一区二区精品| 亚洲欧美日韩东京热| 婷婷色综合大香蕉| 一区二区三区免费毛片| 97在线人人人人妻| 中文字幕av成人在线电影| 嫩草影院入口| 看免费成人av毛片| 国内少妇人妻偷人精品xxx网站| 午夜免费鲁丝| 18+在线观看网站| 各种免费的搞黄视频| 亚洲av不卡在线观看| 久久精品人妻少妇| 黄色视频在线播放观看不卡| 熟女av电影| 嘟嘟电影网在线观看| 中文在线观看免费www的网站| 成人亚洲欧美一区二区av| 日韩大片免费观看网站| av国产久精品久网站免费入址| 国产乱人偷精品视频| 交换朋友夫妻互换小说| 嫩草影院入口| 成人免费观看视频高清| 一级毛片久久久久久久久女| 少妇的逼水好多| 国产欧美另类精品又又久久亚洲欧美| 99热这里只有精品一区| 日本午夜av视频| 在线免费观看不下载黄p国产| 国产午夜福利久久久久久| 少妇猛男粗大的猛烈进出视频 | 亚洲怡红院男人天堂| 性色av一级| 国内少妇人妻偷人精品xxx网站| 最后的刺客免费高清国语| 伊人久久精品亚洲午夜| 综合色丁香网| 国产精品99久久久久久久久| 一级二级三级毛片免费看| 99久久精品一区二区三区| 成人国产av品久久久| 亚洲精品,欧美精品| 国产亚洲av嫩草精品影院| 网址你懂的国产日韩在线| 校园人妻丝袜中文字幕| 精品少妇黑人巨大在线播放| a级毛片免费高清观看在线播放| tube8黄色片| 九九久久精品国产亚洲av麻豆| 热re99久久精品国产66热6| 亚洲精品自拍成人| 99热6这里只有精品| 中文天堂在线官网| 成年人午夜在线观看视频| 国产精品久久久久久久电影| 高清欧美精品videossex| 欧美最新免费一区二区三区| 国产免费一区二区三区四区乱码| 国产精品一区二区在线观看99| 观看美女的网站| 欧美老熟妇乱子伦牲交| 18禁在线播放成人免费| 亚洲,欧美,日韩| 精品一区在线观看国产| 国产在线男女| 2018国产大陆天天弄谢| 可以在线观看毛片的网站| 97超视频在线观看视频| 亚洲人成网站高清观看| 国产亚洲91精品色在线| 男女无遮挡免费网站观看| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 亚洲av二区三区四区| 日本爱情动作片www.在线观看| 欧美变态另类bdsm刘玥| 狂野欧美激情性xxxx在线观看| 国产色婷婷99| 国产一区亚洲一区在线观看| 成人综合一区亚洲| 一级a做视频免费观看| 中文字幕久久专区| 一级a做视频免费观看| 国产色婷婷99| 夫妻午夜视频| 赤兔流量卡办理| 久久久久久国产a免费观看| 精品一区二区三卡| 国产男女内射视频| 精品久久久久久久人妻蜜臀av| 中文精品一卡2卡3卡4更新| 久久久a久久爽久久v久久| 亚洲伊人久久精品综合| 最近最新中文字幕大全电影3| 久久99热这里只有精品18| 午夜精品国产一区二区电影 | 狂野欧美白嫩少妇大欣赏| 91久久精品电影网| 亚洲人与动物交配视频| 亚洲精品乱码久久久久久按摩| 99久国产av精品国产电影| 三级男女做爰猛烈吃奶摸视频| 精品少妇久久久久久888优播| 国产精品国产av在线观看| 九色成人免费人妻av| 亚洲av成人精品一区久久| 亚洲综合色惰| 极品少妇高潮喷水抽搐| 久久久久久久久大av| 欧美日韩亚洲高清精品| 国内揄拍国产精品人妻在线| 欧美成人午夜免费资源| 日本wwww免费看| 中文字幕亚洲精品专区| 精品久久久久久久久亚洲| 久热久热在线精品观看| 亚洲天堂av无毛| 国产乱来视频区| 午夜福利在线在线| 亚洲精品成人av观看孕妇| 欧美精品人与动牲交sv欧美| 18禁在线无遮挡免费观看视频| 人妻 亚洲 视频| 亚洲欧美成人综合另类久久久| 热99国产精品久久久久久7| 国产毛片在线视频| 精品国产乱码久久久久久小说| 国产免费视频播放在线视频| 欧美 日韩 精品 国产| 美女脱内裤让男人舔精品视频| 国产男女内射视频| 极品教师在线视频| 精品视频人人做人人爽| 大香蕉久久网| 少妇的逼好多水| 中文字幕免费在线视频6| 九九在线视频观看精品| 国产精品精品国产色婷婷| 亚洲美女搞黄在线观看| 免费av不卡在线播放| 日韩人妻高清精品专区| 在线观看国产h片| 丝瓜视频免费看黄片| 国产成人一区二区在线| 久久久亚洲精品成人影院| 久久久久精品久久久久真实原创| 我要看日韩黄色一级片| 老师上课跳d突然被开到最大视频| 97超碰精品成人国产| 3wmmmm亚洲av在线观看| 午夜亚洲福利在线播放| 欧美高清性xxxxhd video| 人妻夜夜爽99麻豆av| 啦啦啦在线观看免费高清www| 久久国内精品自在自线图片| 一级爰片在线观看| 国产精品久久久久久久电影| 国产高清国产精品国产三级 | 国产免费一区二区三区四区乱码| 国产色爽女视频免费观看| 日韩av不卡免费在线播放| 亚洲国产精品成人综合色| 蜜桃久久精品国产亚洲av| av专区在线播放| 国产一区二区在线观看日韩| 青春草国产在线视频| 国产成人免费观看mmmm| 97精品久久久久久久久久精品| 亚洲电影在线观看av| 欧美激情在线99| 久热这里只有精品99| 美女国产视频在线观看| 国产v大片淫在线免费观看| 国内揄拍国产精品人妻在线| 国产一区有黄有色的免费视频| 久久人人爽人人爽人人片va| 国产又色又爽无遮挡免| 亚洲,一卡二卡三卡| 亚洲经典国产精华液单| 日本一二三区视频观看| 亚洲精品亚洲一区二区| 特大巨黑吊av在线直播| 国产成人免费观看mmmm| 国产久久久一区二区三区| 精品久久久久久久久亚洲| 青青草视频在线视频观看| 亚洲最大成人手机在线| 国产一区二区三区综合在线观看 | 国产成人精品一,二区| 久久久久久久久久人人人人人人| 色婷婷久久久亚洲欧美| av在线观看视频网站免费| 又爽又黄无遮挡网站| 搡女人真爽免费视频火全软件| 久久久a久久爽久久v久久| 国产精品三级大全| 日本熟妇午夜| 最后的刺客免费高清国语| 边亲边吃奶的免费视频| 超碰97精品在线观看| 久久久久精品久久久久真实原创| 99热这里只有是精品50| 在线观看国产h片| 亚洲精华国产精华液的使用体验| 2018国产大陆天天弄谢| 在现免费观看毛片| 欧美丝袜亚洲另类| 日韩电影二区| 在线观看三级黄色| 国产成人a区在线观看| 777米奇影视久久| 天堂网av新在线| 国产欧美另类精品又又久久亚洲欧美| 亚洲国产成人一精品久久久| 男女边摸边吃奶| 日本欧美国产在线视频| 国产成人精品福利久久| 久久久久久久精品精品| 97超碰精品成人国产| 麻豆国产97在线/欧美| 丝袜喷水一区| 丰满人妻一区二区三区视频av| 九九爱精品视频在线观看| 国内揄拍国产精品人妻在线| 成人综合一区亚洲| 黄色怎么调成土黄色| 美女脱内裤让男人舔精品视频| 亚洲国产色片| 国产精品无大码| 中文字幕人妻熟人妻熟丝袜美| 啦啦啦在线观看免费高清www| 人妻 亚洲 视频| 欧美国产精品一级二级三级 | 97超视频在线观看视频| 久久精品国产a三级三级三级| 精华霜和精华液先用哪个| 蜜桃亚洲精品一区二区三区| 国产精品偷伦视频观看了| 国产成人aa在线观看| 全区人妻精品视频| 亚洲高清免费不卡视频| 九草在线视频观看| 午夜免费鲁丝| 国产伦在线观看视频一区| 噜噜噜噜噜久久久久久91| kizo精华| 亚洲最大成人av| 波多野结衣巨乳人妻| 国产亚洲午夜精品一区二区久久 | 亚洲av男天堂| 亚洲图色成人| 亚洲av成人精品一二三区| 九九爱精品视频在线观看| 一区二区av电影网| 秋霞伦理黄片| 在线观看免费高清a一片| 国内精品美女久久久久久| 色视频www国产| 亚洲伊人久久精品综合| 免费看不卡的av| 亚洲高清免费不卡视频| 亚洲精品亚洲一区二区| av线在线观看网站| 精品一区在线观看国产| 三级男女做爰猛烈吃奶摸视频| 午夜爱爱视频在线播放| 黄片wwwwww| 国产色婷婷99| 国精品久久久久久国模美| 我的老师免费观看完整版| 成人鲁丝片一二三区免费| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 男女边摸边吃奶| 久久久久久久国产电影| 亚洲国产欧美人成| 国产精品.久久久| 乱系列少妇在线播放| 亚洲成人中文字幕在线播放| 男人添女人高潮全过程视频| 欧美激情在线99| 中文天堂在线官网| 免费黄网站久久成人精品| 色哟哟·www| 看十八女毛片水多多多| 精品人妻熟女av久视频| 男女下面进入的视频免费午夜| 男女无遮挡免费网站观看| 欧美zozozo另类| 国内少妇人妻偷人精品xxx网站| 久久久久久久国产电影| 国国产精品蜜臀av免费| 三级男女做爰猛烈吃奶摸视频| 97精品久久久久久久久久精品| 亚洲国产av新网站| 欧美变态另类bdsm刘玥| 欧美日韩国产mv在线观看视频 | 国产视频首页在线观看| 99视频精品全部免费 在线| a级毛色黄片| 亚洲av免费在线观看| 亚洲在久久综合| 久久久久网色| 又大又黄又爽视频免费| 波多野结衣巨乳人妻| videossex国产| 自拍偷自拍亚洲精品老妇| 亚洲人成网站高清观看| av国产精品久久久久影院| 成人毛片a级毛片在线播放| 内地一区二区视频在线| 男女国产视频网站| 国产高清不卡午夜福利| 国产精品国产三级国产专区5o| 国产精品一及| 十八禁网站网址无遮挡 | 毛片一级片免费看久久久久| 亚洲精品自拍成人| 在线观看人妻少妇| 最近中文字幕高清免费大全6| 日本黄大片高清| 精品99又大又爽又粗少妇毛片| 欧美另类一区| 全区人妻精品视频| 极品教师在线视频| 久久久久久国产a免费观看| 色网站视频免费| 免费看av在线观看网站| 少妇的逼好多水| 老司机影院毛片| 久久99热6这里只有精品| 在线观看三级黄色| 看十八女毛片水多多多| 麻豆精品久久久久久蜜桃| xxx大片免费视频| 亚洲色图av天堂| 建设人人有责人人尽责人人享有的 | 少妇高潮的动态图| 少妇熟女欧美另类| 精品午夜福利在线看| 欧美激情久久久久久爽电影| 97精品久久久久久久久久精品| 五月伊人婷婷丁香| 国产综合懂色| 91久久精品国产一区二区三区| 熟女av电影| 卡戴珊不雅视频在线播放| 夜夜看夜夜爽夜夜摸| 简卡轻食公司| av在线观看视频网站免费| 精品99又大又爽又粗少妇毛片| 亚洲伊人久久精品综合| 舔av片在线| 九九在线视频观看精品| 国产乱来视频区| 男女下面进入的视频免费午夜|