• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于PPO算法的機(jī)器人軸孔裝配控制與仿真

    2024-01-11 02:30:46申玉鑫劉曉明肖逸余德平
    機(jī)械 2023年12期
    關(guān)鍵詞:軸孔位姿控制算法

    申玉鑫,劉曉明,肖逸,余德平

    基于PPO算法的機(jī)器人軸孔裝配控制與仿真

    申玉鑫,劉曉明,肖逸,余德平*

    (四川大學(xué) 機(jī)械工程學(xué)院,四川 成都 610065)

    針對(duì)在管道運(yùn)輸和航空航天領(lǐng)域常見的大口徑軸孔裝配任務(wù),設(shè)計(jì)一種基于PPO算法的裝配控制方法。首先,建立強(qiáng)化學(xué)習(xí)算法與裝配環(huán)境交互訓(xùn)練框架,設(shè)計(jì)兩個(gè)網(wǎng)絡(luò)用于擬合裝配策略和評(píng)估值函數(shù);其次,設(shè)計(jì)機(jī)器人輸出的動(dòng)作空間與裝配環(huán)境輸出的狀態(tài)空間,保證學(xué)習(xí)過程中的有效探索;然后,設(shè)計(jì)非線性獎(jiǎng)勵(lì)函數(shù)以確保訓(xùn)練過程的快速收斂;最后,搭建基于MuJoCo物理引擎的機(jī)器人大口徑軸孔裝配仿真平臺(tái),并在仿真平臺(tái)上對(duì)設(shè)計(jì)算法進(jìn)行訓(xùn)練和實(shí)驗(yàn)。結(jié)果表明:基于PPO算法的訓(xùn)練框架能保證訓(xùn)練過程的快速收斂,改進(jìn)后的優(yōu)勢(shì)函數(shù)估計(jì)方法提升了訓(xùn)練過程的穩(wěn)定性,訓(xùn)練模型不僅能保證軸插入孔和法蘭面貼合,還能保證裝配過程的安全性。

    裝配;PPO算法;MuJoCo仿真

    在航空航天領(lǐng)域存在著大量軸孔部件裝配任務(wù),這類任務(wù)不僅要求將裝配軸插入孔中,還要求實(shí)現(xiàn)裝配部件上法蘭面之間的完全貼合以實(shí)現(xiàn)機(jī)械聯(lián)接[1]。然而,裝配部件質(zhì)量重、口徑大等特點(diǎn)大大影響了生產(chǎn)效率,增加了生產(chǎn)安全風(fēng)險(xiǎn)。隨著自動(dòng)化技術(shù)的不斷發(fā)展,在工業(yè)生產(chǎn)中的搬運(yùn)、涂裝、焊接等危險(xiǎn)繁重環(huán)節(jié)機(jī)器人被大量應(yīng)用[2-3]。因此,機(jī)器人可以代替人工執(zhí)行這類裝配任務(wù)。

    機(jī)器人軸孔裝配技術(shù)需要克服操作環(huán)境中不可避免的定位誤差和夾持誤差等,只采用位置控制無法保證裝配的成功率和安全性[4]。因此,機(jī)器人必須借助外部感知手段監(jiān)測(cè)裝配過程[5],并設(shè)計(jì)裝配控制算法以應(yīng)對(duì)不同的裝配任務(wù)和接觸狀態(tài)。視覺信息能映射環(huán)境中的位置和姿態(tài)誤差,設(shè)計(jì)相應(yīng)的視覺伺服算法可用于實(shí)現(xiàn)軸孔裝配[6-7]。然而,視覺傳感器的應(yīng)用受到光線和視野條件的限制。力傳感器可以被安裝在機(jī)器人末端執(zhí)行器上,在應(yīng)用上不受環(huán)境條件影響。通過構(gòu)建準(zhǔn)靜態(tài)軸孔裝配模型來解釋接觸力與幾何約束之間的關(guān)系,設(shè)計(jì)運(yùn)動(dòng)控制算法可以保證裝配成功和安全[8-9]。然而,對(duì)于復(fù)雜精密的裝配任務(wù),接觸模型存在精度不足、建模困難等問題,運(yùn)動(dòng)控制算法也難以保證任務(wù)實(shí)施。

    深度強(qiáng)化學(xué)習(xí)是一種結(jié)合強(qiáng)化學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)的算法設(shè)計(jì)方式,使機(jī)器人能夠在與環(huán)境的交互過程中學(xué)習(xí)運(yùn)動(dòng)控制技能,而不依賴于精確的接觸模型[10]。它利用神經(jīng)網(wǎng)絡(luò)擬合需要學(xué)習(xí)的控制算法,并利用機(jī)器人與環(huán)境交互的訓(xùn)練數(shù)據(jù)更新網(wǎng)絡(luò)參數(shù),獲得需要的裝配控制算法。深度強(qiáng)化學(xué)習(xí)可以被用于訓(xùn)練基于位置的力控制器,用于保證裝配過程中的柔順性和安全性[11-12]。同時(shí),深度強(qiáng)化學(xué)習(xí)也能用于彌補(bǔ)傳統(tǒng)控制算法的不足,使傳統(tǒng)控制算法得到進(jìn)一步訓(xùn)練以加強(qiáng)算法魯棒性[13]。然而,其當(dāng)前應(yīng)用依然需要借助傳統(tǒng)力控算法提供先驗(yàn)知識(shí),且缺乏對(duì)實(shí)際裝配任務(wù)特性的深入研究。

    針對(duì)上述問題,本文提出一種基于PPO(Proximal Policy Optimization,近端策略優(yōu)化)算法的機(jī)器人軸孔裝配控制算法。該算法不僅能夠完全通過環(huán)境交互學(xué)習(xí)裝配技能,還能保證裝配的效率和成功率。首先,利用PPO的重要性采樣方法實(shí)現(xiàn)對(duì)交互數(shù)據(jù)的高效利用,并對(duì)優(yōu)勢(shì)函數(shù)的估計(jì)方法進(jìn)行改進(jìn)。其次,根據(jù)大口徑軸孔裝配任務(wù)的插孔和法蘭貼合需求設(shè)計(jì)動(dòng)作與狀態(tài)空間,并設(shè)計(jì)獎(jiǎng)勵(lì)函數(shù)保證訓(xùn)練過程的快速穩(wěn)定收斂。最后,在基于MuJoCo(Multi-Joint Dynamics with Contact,接觸型多關(guān)節(jié)動(dòng)力學(xué))物理引擎的軸孔裝配仿真平臺(tái)上進(jìn)行訓(xùn)練和實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明:該算法能夠在1500回合以內(nèi)學(xué)習(xí)到所需要的裝配技能,滿足插孔和法蘭面貼合的工藝需求。

    1 基于PPO的裝配控制算法

    1.1 PPO算法

    PPO算法利用Actor-Critic網(wǎng)絡(luò)結(jié)構(gòu)在連續(xù)空間中輸出動(dòng)作,且利用歷史訓(xùn)練數(shù)據(jù)更新參數(shù)。該算法利用Actor網(wǎng)絡(luò)擬合行為策略,利用Critic網(wǎng)絡(luò)擬合值函數(shù)。裝配過程被視為馬爾可夫決策過程,Actor根據(jù)當(dāng)前狀態(tài)輸出動(dòng)作,環(huán)境在動(dòng)作作用下轉(zhuǎn)換為下一狀態(tài),并輸出相關(guān)獎(jiǎng)勵(lì)。Actor和Critic擬合的行為策略和值函數(shù)分別為[11]:

    為了實(shí)現(xiàn)兩個(gè)網(wǎng)絡(luò)的梯度更新,需要估計(jì)優(yōu)勢(shì)函數(shù),為[11]:

    PPO算法利用重要性采樣方法來提高數(shù)據(jù)利用效率。因此,舊策略與環(huán)境交互產(chǎn)生的歷史數(shù)據(jù)可用于更新新策略。在完成更新后,新策略的參數(shù)被復(fù)制到舊策略中。

    Actor網(wǎng)絡(luò)的更新公式為[11]:

    Critic網(wǎng)絡(luò)的更新公式為[11]:

    式中:為Critic網(wǎng)絡(luò)的損失函數(shù);為歷史交互數(shù)據(jù)集樣本量。

    1.2 算法改進(jìn)

    常規(guī)PPO算法利用蒙特卡羅法估計(jì)優(yōu)勢(shì)函數(shù),該方法引入了后續(xù)時(shí)間步獎(jiǎng)勵(lì),使得估計(jì)值方差較大。這會(huì)導(dǎo)致訓(xùn)練曲線出現(xiàn)較大波動(dòng),影響收斂穩(wěn)定性。

    為了實(shí)現(xiàn)參數(shù)穩(wěn)定更新,使用具有泛化能力的優(yōu)勢(shì)函數(shù)估計(jì)方法,為:

    該方法的估計(jì)值雖然有一定偏差,但方差減小使得更新過程更加穩(wěn)定。

    Critic網(wǎng)絡(luò)的更新公式改進(jìn)為:

    2 網(wǎng)絡(luò)與參數(shù)設(shè)計(jì)

    2.1 網(wǎng)絡(luò)框架

    本文設(shè)計(jì)針對(duì)大口徑軸孔裝配任務(wù)的PPO網(wǎng)絡(luò)及訓(xùn)練框架。如圖1所示,Old Actor和New Actor分別用于數(shù)據(jù)交互和參數(shù)更新,Critic網(wǎng)絡(luò)用于估計(jì)當(dāng)前策略的優(yōu)異性。所有網(wǎng)絡(luò)層使用Linear全連接層以及Tanh激活函數(shù)構(gòu)建,其中Critic網(wǎng)絡(luò)最后一層直接由Linear全連接層輸出,以保證訓(xùn)練前期值函數(shù)的快速擬合。Actor輸出的動(dòng)作用于調(diào)整位姿,隨后機(jī)器人沿軸位移使軸與孔主動(dòng)接觸。裝配環(huán)境監(jiān)測(cè)接觸力并計(jì)算相應(yīng)的獎(jiǎng)勵(lì)值,所有數(shù)據(jù)被輸入到存儲(chǔ)緩沖區(qū)中。當(dāng)緩沖區(qū)數(shù)據(jù)足夠時(shí),對(duì)New Actor和Critic網(wǎng)絡(luò)梯度更新,清空存儲(chǔ)緩沖區(qū),將New Actor的網(wǎng)絡(luò)參數(shù)復(fù)制到Old Actor中。

    2.2 動(dòng)作空間與狀態(tài)空間

    機(jī)器人可在6個(gè)自由度移動(dòng)或旋轉(zhuǎn)軸部件以降低位姿誤差。為提高裝配安全性,插入動(dòng)作由機(jī)器人直接執(zhí)行,算法生成的裝配策略只用作位姿調(diào)整。由于軸孔部件具有軸對(duì)稱特性,繞軸旋轉(zhuǎn)的動(dòng)作不能改變軸孔接觸關(guān)系。因此,動(dòng)作可以表示為一個(gè)4維向量,且動(dòng)作輸出被限制在一定范圍內(nèi)以避免過度探索,為:

    圖1 訓(xùn)練網(wǎng)絡(luò)框架

    力傳感器監(jiān)測(cè)到的接觸力由3個(gè)力和3個(gè)力矩分量組成,它們反映裝配部件之間的接觸關(guān)系。同樣的,由于軸孔部件的軸對(duì)稱特性,繞軸力矩分量不能映射軸孔位姿關(guān)系。因此,狀態(tài)可以表示為一個(gè)5維向量:

    式中:為力分量;為力矩分量。

    2.3 獎(jiǎng)勵(lì)函數(shù)

    獎(jiǎng)勵(lì)函數(shù)用于人為直觀評(píng)價(jià)當(dāng)前狀態(tài)在裝配過程中的優(yōu)勢(shì)。為保證訓(xùn)練過程的穩(wěn)定性和高效性,在權(quán)衡整體進(jìn)度和當(dāng)前進(jìn)度后設(shè)計(jì)了一種非線性獎(jiǎng)勵(lì)函數(shù)。獎(jiǎng)勵(lì)函數(shù)包括三種類型,即常規(guī)獎(jiǎng)勵(lì)、懲罰獎(jiǎng)勵(lì)和終止獎(jiǎng)勵(lì)。所有獎(jiǎng)勵(lì)都為負(fù)值,以激勵(lì)策略減少裝配步數(shù)。常規(guī)獎(jiǎng)勵(lì)綜合考慮了裝配深度和深度增量以保證訓(xùn)練穩(wěn)定性。當(dāng)接觸力過大時(shí),環(huán)境直接輸出懲罰獎(jiǎng)勵(lì)。當(dāng)回合完成且步數(shù)不超過允許最大值時(shí),環(huán)境輸出終止獎(jiǎng)勵(lì)。

    獎(jiǎng)勵(lì)函數(shù)具體為:

    其中:

    3 訓(xùn)練與仿真實(shí)驗(yàn)

    3.1 任務(wù)描述

    本文研究對(duì)象為大口徑軸孔裝配任務(wù),其中軸孔部件上都帶有法蘭,且孔有倒角,如圖2所示。裝配任務(wù)的目標(biāo)是消除位姿誤差以使軸插入孔中,且裝配軸孔的法蘭面完全貼合以

    便于后續(xù)工藝實(shí)施。如表1所示,裝配軸直徑為206 mm,裝配間隙為0.1 mm。零部件的直徑大、長(zhǎng)度短,裝配過程容易受到法蘭干擾。

    圖2 大口徑軸孔零件實(shí)物圖

    表1 軸孔部件尺寸參數(shù)

    3.2 MuJoCo仿真平臺(tái)

    MuJoCo物理仿真引擎可以構(gòu)建高精度的接觸力學(xué)模型,可直接導(dǎo)入需要仿真的零件模型,并根據(jù)零件相對(duì)位姿計(jì)算接觸力。該仿真引擎可直接在Python環(huán)境下開發(fā),大幅提高強(qiáng)化學(xué)習(xí)的訓(xùn)練與部署效率。

    本文基于MuJoCo物理引擎構(gòu)建了大口徑軸孔裝配仿真環(huán)境,并在仿真環(huán)境下開展了算法訓(xùn)練和仿真實(shí)驗(yàn)。如圖3所示,從機(jī)器人末端執(zhí)行器到軸部件之間形成一條剛性聯(lián)接鏈,聯(lián)接順序?yàn)镸ocap(末端執(zhí)行器)-傳感器-夾具-軸??妆还潭ㄔ谄脚_(tái)表面。仿真平臺(tái)支持直接利用歐拉角形式(如式10)控制Mocap在空間中的位姿,等價(jià)于機(jī)器人操縱裝配軸運(yùn)動(dòng)。同時(shí),仿真平臺(tái)可以基于軸孔相對(duì)位姿計(jì)算接觸力(如式11)。仿真平臺(tái)中不包含任何特定的機(jī)器人,使訓(xùn)練的模型能夠適應(yīng)不同的機(jī)器人實(shí)體。所有接觸都是由Mocap沿軸位移產(chǎn)生,這保證了接觸過程的準(zhǔn)靜態(tài)特性,降低仿真與現(xiàn)實(shí)之間的差距。

    3.3 訓(xùn)練結(jié)果

    每回合訓(xùn)練開始時(shí),軸的位姿在一定誤差范圍內(nèi)被隨機(jī)初始化,以確保算法對(duì)位姿誤差具有魯棒性。設(shè)置位置誤差在1.5 mm以內(nèi)、角度誤差在1°以內(nèi),Actor輸出的動(dòng)作在0.15 mm和0.02°以內(nèi),最大允許力和力矩分別為10 N和1.5 N·m,訓(xùn)練回合為1500回合,每回合允許步數(shù)為800步。其他超參數(shù)設(shè)置如表2所示。

    圖3 基于MuJoCo的大口徑軸孔裝配仿真

    表2 訓(xùn)練超參數(shù)設(shè)置

    訓(xùn)練結(jié)果如圖4所示,其中曲線steps和rewards分別代表每10回合的平均步數(shù)和平均獎(jiǎng)勵(lì),陰影代表相應(yīng)數(shù)據(jù)的標(biāo)準(zhǔn)差??梢钥闯觯睾喜綌?shù)隨著訓(xùn)練進(jìn)行不斷降低,在第1500回合達(dá)到90步左右。而回合獎(jiǎng)勵(lì)隨著訓(xùn)練不斷升高,在第1500回合達(dá)到-40左右。訓(xùn)練曲線的波動(dòng)在訓(xùn)練過程中不斷減小。

    圖4 訓(xùn)練曲線

    訓(xùn)練過程中網(wǎng)絡(luò)更新的損失函數(shù)變化趨勢(shì)如圖5所示。訓(xùn)練開始時(shí),損失在16左右,這是因?yàn)榫哂蟹夯缘膬?yōu)勢(shì)函數(shù)估計(jì)具有一定的偏差。隨著訓(xùn)練進(jìn)行,損失在300回合下降到2以下,最終下降到1以下,這說明Critic網(wǎng)絡(luò)很快調(diào)整參數(shù)以適應(yīng)優(yōu)勢(shì)函數(shù)估計(jì)的偏差。

    圖5 損失函數(shù)變化趨勢(shì)

    3.4 實(shí)驗(yàn)結(jié)果

    本文針對(duì)基于PPO的裝配控制算法的工作能力進(jìn)行了仿真實(shí)驗(yàn)。裝配開始時(shí),裝配軸沿軸偏移約1 mm,沿軸偏移約0.5 mm,繞軸旋轉(zhuǎn)約0.5°。

    如圖6所示,error_和error_分別表示軸部件的橫向位置誤差在軸和軸上的分量,depth表示軸在孔內(nèi)的深度,由于軸與實(shí)際方向相反,depth為負(fù)值時(shí)表示軸部件在孔內(nèi)。可以看出,軸部件在軸和軸上的位置誤差不斷減小,在第16步時(shí),橫向位置誤差減小到裝配間隙以內(nèi),因此裝配軸直接下降到孔內(nèi)3 mm以下。

    如圖7所示,error_和error_分別表示軸部件的角度誤差在軸和軸上的分量。在第16~52步,軸部件在的角度誤差不斷減小,這導(dǎo)致裝配深度進(jìn)一步增加,直至達(dá)到要求裝配深度。

    如圖8所示,force_,force_,force_分別表示軸孔相對(duì)接觸力在三個(gè)軸上的分量。各接觸力分量始終在10 N以內(nèi)。裝配完成時(shí),沿軸和軸的接觸力接近0,而沿軸接觸力達(dá)到-8 N,這說明軸部件已完全插入孔內(nèi),且實(shí)現(xiàn)了法蘭面貼合。

    如圖9所示,torque_和torque_表示軸孔相對(duì)接觸力矩在和軸上的分量。各力矩分量始終低于1.5 N·m,滿足裝配安全需求。

    圖6 橫向位移誤差變化趨勢(shì)

    圖7 角度誤差變化趨勢(shì)

    圖8 接觸力變化趨勢(shì)

    圖9 接觸力矩變化趨勢(shì)

    4 結(jié)論

    本文設(shè)計(jì)了一個(gè)基于PPO的機(jī)器人軸孔裝配控制算法,并在基于MuJoCo物理引擎的裝配仿真平臺(tái)上對(duì)大口徑軸孔裝配任務(wù)進(jìn)行了訓(xùn)練與仿真實(shí)驗(yàn)。利用馬爾可夫決策性質(zhì)描述了機(jī)器人軸孔裝配任務(wù)的特點(diǎn);對(duì)PPO算法的優(yōu)勢(shì)函數(shù)估計(jì)進(jìn)行了改進(jìn),使之能適用于長(zhǎng)行程步數(shù)的裝配任務(wù);基于Actor-Critic原理搭建了算法網(wǎng)絡(luò)結(jié)構(gòu)及訓(xùn)練框架,設(shè)置了裝配任務(wù)的動(dòng)作與狀態(tài)空間,并設(shè)計(jì)了非線性獎(jiǎng)勵(lì)函數(shù)。仿真實(shí)驗(yàn)結(jié)果表明:本文提出的基于PPO的軸孔裝配控制算法可學(xué)習(xí)到機(jī)器人裝配策略,訓(xùn)練曲線收斂快速且穩(wěn)定,可快速有效地完成大口徑軸孔裝配任務(wù),克服位姿誤差,實(shí)現(xiàn)法蘭面貼合。未來可增加視覺感知手段,從而克服更大程度的位姿誤差并規(guī)劃?rùn)C(jī)器人移動(dòng)路徑。

    [1]Xiaolin Zhang,Wang Zanqin,Yu Hang,et al. Research on Visual Inspection Technology in Automatic Assembly for Manhole Cover of Rocket Fuel Tank[C]. 2022 4th International Conference on Advances in Computer Technology, Information Science and Communications (CTISC),2022:1-5.

    [2]未來10年工業(yè)機(jī)器人與協(xié)作機(jī)器人市場(chǎng)發(fā)展預(yù)測(cè)[J]. 機(jī)械,2017,44(10):54.

    [3]計(jì)時(shí)鳴,黃希歡. 工業(yè)機(jī)器人技術(shù)的發(fā)展與應(yīng)用綜述[J]. 機(jī)電工程,2015,32(1):1-13.

    [4]Rui Li,Qiao Hong. A Survey of Methods and Strategies for High-Precision Robotic Grasping and Assembly Tasks-Some New Trends[J]. IEEE-ASME Transactions on Mechatronics,2019,24(6):2718-2732.

    [5]張松松. 多維感知融合驅(qū)動(dòng)的機(jī)器人裝配行為研究[D]. 貴陽:貴州大學(xué),2023.

    [6]Sainbuyan Natsagdorj,Chiang John-Y,Su Che-Han,et al. Vision-based Assembly and Inspection System for Golf Club Heads[J]. Robotics and Computer-Integrated Manufacturing,2015,32(4):83-92.

    [7]R-J Chang,Lin C-Y,Lin P-S. Visual-Based Automation of Peg-in-Hole Microassembly Process[J]. Journal of Manufacturing Science and Engineering- Transactions of the Asme,2011,133(4):41015-41027.

    [8]A-De-Sam Lazaro,G Rocak H. Precision assembly using force sensing[J]. International Journal of Advanced Manufacturing Technology,1996,11(2):77-82.

    [9]D-E Whitney. Quasi-Static Assembly of Compliantly Supported Rigid Parts[J]. Journal of Dynamic Systems Measurement and Control-Transactions of the Asme,1982,104(1):65-77.

    [10]陳佳盼,鄭敏華. 基于深度強(qiáng)化學(xué)習(xí)的機(jī)器人操作行為研究綜述[J]. 機(jī)器人,2022,44(2):236-256.

    [11]Tadanobu Inoue,De Magistris Giovanni,Munawar Asim,et al. Deep reinforcement learning for high precision assembly tasks[C]. 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS),2017:819-825.

    [12]Tianyu Ren,Dong Yunfei,Wu Dan,et al. Learning-Based Variable Compliance Control for Robotic Assembly[J]. Journal of Mechanisms and Robotics-Transactions of The Asme,2018,10(6):61008.

    [13]Jing Xu,Hou Zhimin,Wang Wei,et al. Feedback Deep Deterministic Policy Gradient With Fuzzy Reward for Robotic Multiple Peg-in-Hole Assembly Tasks[J]. IEEE Transactions on Industrial Informatics,2019,15(3):1658-1667.

    Robotic Peg-in-Hole Assembly Control and Simulation Based on PPO Algorithm

    SHEN Yuxin,LIU Xiaoming,XIAO Yi,YU Deping

    (School of Mechanical Engineering, Sichuan University, Chengdu 610065, China )

    A PPO algorithm-based assembly control method is proposed for the large-diameter peg-in-hole assembly which is common in pipeline transportation and aerospace fields. Firstly, the interactive training framework between the reinforcement learning algorithm and assembly environment is established, and two networks are designed to fit the assembly strategy and the evaluation value function respectively. Secondly, the action space of robot output and the state space of assembly environment output are designed to ensure the effective exploration in the learning process. Then, a nonlinear reward function is designed to ensure the fast and stable convergence of the training process. Finally, a simulation platform for robot assembly of large-diameter peg-in-hole assembly based on MuJoCo physics engine is built, and the designed algorithm is trained and tested on the simulation platform. The results show that the training framework based on PPO algorithm can ensure the fast convergence of the training process, and the improved dominance function estimation method can improve the stability of the training process. The training model can not only ensure the fit of the shaft insertion hole and the flange surface, but also ensure the safety of the assembly process.

    assembly;PPO algorithm;MuJoCo simulation

    TP249

    A

    10.3969/j.issn.1006-0316.2023.12.012

    1006-0316 (2023) 12-0074-07

    2023-07-16

    申玉鑫(1998-),男,四川遂寧人,碩士研究生,主要研究方向?yàn)闄C(jī)器人自動(dòng)化,E-mail:shenyuxin2021@163.com。

    通訊作者:余德平(1984-),男,江西撫州人,博士,教授,主要研究方向?yàn)橹悄芘c自動(dòng)化裝備,E-mail:williamydp@scu.edu.cn。

    猜你喜歡
    軸孔位姿控制算法
    煉鋼轉(zhuǎn)爐托圈銷軸孔在線修復(fù)探討
    基于ARM+FPGA的模塊化同步控制算法研究
    軸孔協(xié)調(diào)接觸建模與試驗(yàn)研究
    基于共面直線迭代加權(quán)最小二乘的相機(jī)位姿估計(jì)
    基于CAD模型的單目六自由度位姿測(cè)量
    小型四旋翼飛行器位姿建模及其仿真
    有關(guān)大跨距同軸孔系加工方法的研究
    一種優(yōu)化的基于ARM Cortex-M3電池組均衡控制算法應(yīng)用
    一種實(shí)用的柴油機(jī)機(jī)體軸孔加工技術(shù)
    一種非圓旋轉(zhuǎn)工件支撐裝置控制算法
    不卡av一区二区三区| 免费女性裸体啪啪无遮挡网站| 后天国语完整版免费观看| 国产v大片淫在线免费观看| 日日夜夜操网爽| 黑人巨大精品欧美一区二区mp4| 美女午夜性视频免费| videosex国产| 香蕉丝袜av| 最近在线观看免费完整版| www.熟女人妻精品国产| 色老头精品视频在线观看| 欧美日本亚洲视频在线播放| 久久久国产精品麻豆| 别揉我奶头~嗯~啊~动态视频| 观看免费一级毛片| 久久国产精品影院| 午夜影院日韩av| 久久久久久大精品| 可以在线观看的亚洲视频| 黄色a级毛片大全视频| 侵犯人妻中文字幕一二三四区| 人人妻人人澡欧美一区二区| 99在线人妻在线中文字幕| a级毛片在线看网站| 99久久综合精品五月天人人| 亚洲专区字幕在线| 免费看a级黄色片| 精品久久久久久久毛片微露脸| 国产真实乱freesex| 淫妇啪啪啪对白视频| 黑人巨大精品欧美一区二区mp4| 午夜a级毛片| 69av精品久久久久久| 亚洲成国产人片在线观看| 精品国产国语对白av| 亚洲全国av大片| 在线天堂中文资源库| 午夜精品在线福利| 淫妇啪啪啪对白视频| 亚洲国产高清在线一区二区三 | 国产视频内射| 在线观看舔阴道视频| 亚洲 国产 在线| 国产一区二区在线av高清观看| 成年人黄色毛片网站| xxx96com| 欧美三级亚洲精品| 亚洲成av片中文字幕在线观看| 午夜精品在线福利| 精品国内亚洲2022精品成人| 老汉色∧v一级毛片| 欧美黑人欧美精品刺激| 欧美乱妇无乱码| 黄片播放在线免费| 亚洲中文字幕一区二区三区有码在线看 | 99国产精品99久久久久| 欧美+亚洲+日韩+国产| 亚洲精品国产精品久久久不卡| 国产熟女午夜一区二区三区| 高潮久久久久久久久久久不卡| 精品国产超薄肉色丝袜足j| 88av欧美| 久久久国产成人免费| 中文字幕久久专区| 少妇粗大呻吟视频| 91成年电影在线观看| 美女 人体艺术 gogo| 亚洲av中文字字幕乱码综合 | 久久草成人影院| 老司机深夜福利视频在线观看| 波多野结衣av一区二区av| 51午夜福利影视在线观看| 国产成人欧美在线观看| netflix在线观看网站| 国产男靠女视频免费网站| 国产精品自产拍在线观看55亚洲| 国内精品久久久久久久电影| 国产熟女xx| 欧美日本亚洲视频在线播放| 18禁美女被吸乳视频| 亚洲av电影不卡..在线观看| 欧美日韩精品网址| 国产免费av片在线观看野外av| 中国美女看黄片| 天堂影院成人在线观看| 久久精品91蜜桃| 一二三四社区在线视频社区8| 99在线视频只有这里精品首页| 国产激情欧美一区二区| 自线自在国产av| 91成年电影在线观看| 夜夜夜夜夜久久久久| 国产精品亚洲美女久久久| 久久人人精品亚洲av| 午夜亚洲福利在线播放| 亚洲男人的天堂狠狠| 一二三四在线观看免费中文在| 免费av毛片视频| 大香蕉久久成人网| 国内精品久久久久精免费| 18禁观看日本| 国产精品自产拍在线观看55亚洲| 精品欧美一区二区三区在线| 又黄又爽又免费观看的视频| 一进一出好大好爽视频| 久9热在线精品视频| 中文字幕av电影在线播放| 伊人久久大香线蕉亚洲五| 90打野战视频偷拍视频| 性欧美人与动物交配| 曰老女人黄片| 免费电影在线观看免费观看| 99在线视频只有这里精品首页| 99国产精品99久久久久| 丁香欧美五月| 中国美女看黄片| 高潮久久久久久久久久久不卡| 伊人久久大香线蕉亚洲五| 99国产综合亚洲精品| 精品欧美一区二区三区在线| 女同久久另类99精品国产91| 黄色视频不卡| 亚洲成国产人片在线观看| 精品福利观看| 美女高潮喷水抽搐中文字幕| 国产国语露脸激情在线看| 亚洲午夜理论影院| 丁香欧美五月| 俺也久久电影网| 精品国内亚洲2022精品成人| 男女午夜视频在线观看| 男女视频在线观看网站免费 | 日韩中文字幕欧美一区二区| 女生性感内裤真人,穿戴方法视频| 99热6这里只有精品| 亚洲一区二区三区不卡视频| 欧美黑人精品巨大| 久久久国产成人免费| 91九色精品人成在线观看| www日本黄色视频网| 国产欧美日韩一区二区精品| 99国产精品99久久久久| 欧美在线黄色| 国产精华一区二区三区| 午夜日韩欧美国产| 亚洲国产看品久久| tocl精华| netflix在线观看网站| 精品国产一区二区三区四区第35| 高清毛片免费观看视频网站| 一级毛片高清免费大全| 神马国产精品三级电影在线观看 | 99久久综合精品五月天人人| 黄网站色视频无遮挡免费观看| 女性生殖器流出的白浆| 亚洲第一欧美日韩一区二区三区| 又紧又爽又黄一区二区| 成人免费观看视频高清| 性欧美人与动物交配| 欧美日韩精品网址| 久久久水蜜桃国产精品网| 在线看三级毛片| 亚洲一区中文字幕在线| 男女床上黄色一级片免费看| 十分钟在线观看高清视频www| 亚洲专区国产一区二区| 天堂√8在线中文| 国产区一区二久久| 熟女电影av网| 成在线人永久免费视频| 熟女少妇亚洲综合色aaa.| 亚洲三区欧美一区| 极品教师在线免费播放| 亚洲欧洲精品一区二区精品久久久| ponron亚洲| 亚洲欧美一区二区三区黑人| 欧美久久黑人一区二区| 亚洲真实伦在线观看| 亚洲一码二码三码区别大吗| 我的亚洲天堂| 久久国产乱子伦精品免费另类| 1024视频免费在线观看| 99久久99久久久精品蜜桃| 国产高清激情床上av| 欧美色视频一区免费| 国产伦在线观看视频一区| 国产私拍福利视频在线观看| 日本撒尿小便嘘嘘汇集6| 国产精品99久久99久久久不卡| 在线天堂中文资源库| 国产v大片淫在线免费观看| 国产午夜福利久久久久久| 免费高清在线观看日韩| 成人18禁在线播放| 欧美+亚洲+日韩+国产| 男女视频在线观看网站免费 | 此物有八面人人有两片| 久久精品成人免费网站| 91在线观看av| 欧美激情 高清一区二区三区| 国产成人一区二区三区免费视频网站| 亚洲欧美精品综合一区二区三区| 女生性感内裤真人,穿戴方法视频| 精品日产1卡2卡| 国产一级毛片七仙女欲春2 | 亚洲中文字幕日韩| 免费观看人在逋| 亚洲人成网站高清观看| 成人三级黄色视频| 黄片大片在线免费观看| 亚洲一区二区三区不卡视频| 国产成年人精品一区二区| 欧美中文日本在线观看视频| 亚洲精品在线美女| 免费观看人在逋| 50天的宝宝边吃奶边哭怎么回事| 欧美av亚洲av综合av国产av| 午夜福利视频1000在线观看| 成人永久免费在线观看视频| 亚洲成av片中文字幕在线观看| 可以免费在线观看a视频的电影网站| 国产99白浆流出| 一夜夜www| 精品一区二区三区av网在线观看| 在线视频色国产色| 好男人在线观看高清免费视频 | 后天国语完整版免费观看| 日本熟妇午夜| 久久久久久国产a免费观看| 欧洲精品卡2卡3卡4卡5卡区| 好男人电影高清在线观看| 欧美在线一区亚洲| 啦啦啦观看免费观看视频高清| 在线视频色国产色| 精品熟女少妇八av免费久了| av免费在线观看网站| 90打野战视频偷拍视频| xxx96com| 在线观看一区二区三区| 久久这里只有精品19| 久久国产精品影院| 黄频高清免费视频| 亚洲 欧美一区二区三区| 男人舔女人下体高潮全视频| 很黄的视频免费| 亚洲人成网站在线播放欧美日韩| 精品国产乱码久久久久久男人| 精品国产乱子伦一区二区三区| 国产又色又爽无遮挡免费看| 热99re8久久精品国产| 美国免费a级毛片| 波多野结衣高清作品| 老司机福利观看| 欧美一区二区精品小视频在线| 久久亚洲真实| 欧美日本视频| 国产黄a三级三级三级人| www国产在线视频色| 搞女人的毛片| 亚洲国产欧洲综合997久久, | 亚洲精品在线观看二区| 母亲3免费完整高清在线观看| 亚洲av中文字字幕乱码综合 | 中文字幕高清在线视频| 亚洲片人在线观看| 欧美色视频一区免费| 老司机深夜福利视频在线观看| 19禁男女啪啪无遮挡网站| 国产人伦9x9x在线观看| 啦啦啦免费观看视频1| 国产麻豆成人av免费视频| 变态另类成人亚洲欧美熟女| 51午夜福利影视在线观看| 国产1区2区3区精品| 免费av毛片视频| 欧美一级毛片孕妇| 波多野结衣高清无吗| 国产色视频综合| 国产精品国产高清国产av| 久久久国产精品麻豆| 精品久久久久久久久久免费视频| 两个人免费观看高清视频| 久久久国产成人精品二区| 悠悠久久av| 丝袜人妻中文字幕| 国产精品国产高清国产av| 听说在线观看完整版免费高清| 国产成人av激情在线播放| 久热这里只有精品99| 欧美中文日本在线观看视频| 欧美又色又爽又黄视频| 久久久国产成人免费| 在线观看免费视频日本深夜| 男女视频在线观看网站免费 | 男人舔女人的私密视频| 男人操女人黄网站| 成人特级黄色片久久久久久久| 色播亚洲综合网| 亚洲av片天天在线观看| 一二三四社区在线视频社区8| 黄色丝袜av网址大全| 大型黄色视频在线免费观看| 99在线视频只有这里精品首页| 黑人巨大精品欧美一区二区mp4| 欧美成人性av电影在线观看| 久久精品亚洲精品国产色婷小说| 嫩草影院精品99| 久久青草综合色| 丰满的人妻完整版| 色尼玛亚洲综合影院| 女人高潮潮喷娇喘18禁视频| 国产精品美女特级片免费视频播放器 | 国产人伦9x9x在线观看| 久久亚洲精品不卡| 特大巨黑吊av在线直播 | www.熟女人妻精品国产| 国产主播在线观看一区二区| 婷婷丁香在线五月| 亚洲第一av免费看| 可以免费在线观看a视频的电影网站| 男人舔奶头视频| 午夜精品久久久久久毛片777| 国产黄片美女视频| 日日干狠狠操夜夜爽| 国产熟女xx| 午夜福利免费观看在线| 亚洲中文日韩欧美视频| 久久香蕉国产精品| 丁香六月欧美| 国产av不卡久久| 九色国产91popny在线| 少妇被粗大的猛进出69影院| www.精华液| 国产又色又爽无遮挡免费看| 丝袜人妻中文字幕| 国产伦在线观看视频一区| or卡值多少钱| 波多野结衣巨乳人妻| 变态另类丝袜制服| 国产精品电影一区二区三区| 天堂√8在线中文| 精品一区二区三区av网在线观看| 国产成年人精品一区二区| 成人18禁高潮啪啪吃奶动态图| 久久亚洲精品不卡| 国产精品 欧美亚洲| 久久狼人影院| 老司机福利观看| 亚洲国产精品999在线| 最新在线观看一区二区三区| 国产野战对白在线观看| 女人被狂操c到高潮| 欧美日本亚洲视频在线播放| 欧美黄色淫秽网站| 久久久国产欧美日韩av| 久久久久久亚洲精品国产蜜桃av| 久久人人精品亚洲av| 欧美色欧美亚洲另类二区| 久久欧美精品欧美久久欧美| 99热6这里只有精品| 此物有八面人人有两片| 免费在线观看亚洲国产| 不卡一级毛片| av视频在线观看入口| 91大片在线观看| 亚洲精品久久成人aⅴ小说| 亚洲成国产人片在线观看| 在线观看www视频免费| av视频在线观看入口| 脱女人内裤的视频| 欧美av亚洲av综合av国产av| 国产精品亚洲av一区麻豆| 国产男靠女视频免费网站| av片东京热男人的天堂| 在线视频色国产色| 国产亚洲欧美精品永久| 黄色女人牲交| 精品第一国产精品| 亚洲av成人av| 一级毛片高清免费大全| 欧美性猛交╳xxx乱大交人| 国产熟女xx| 欧美激情高清一区二区三区| 女性被躁到高潮视频| 日韩av在线大香蕉| 精品不卡国产一区二区三区| 成人手机av| 精品国产超薄肉色丝袜足j| 午夜精品在线福利| 亚洲全国av大片| 精品一区二区三区四区五区乱码| 久久人人精品亚洲av| 久久精品国产99精品国产亚洲性色| 色在线成人网| 精品久久久久久成人av| 国产一卡二卡三卡精品| 精品一区二区三区av网在线观看| 亚洲精品国产精品久久久不卡| 一级毛片高清免费大全| 欧美日韩亚洲综合一区二区三区_| 又黄又粗又硬又大视频| 夜夜爽天天搞| 中文亚洲av片在线观看爽| 青草久久国产| 大型黄色视频在线免费观看| 国产区一区二久久| 国产又色又爽无遮挡免费看| 国产人伦9x9x在线观看| 国产av不卡久久| 一级毛片高清免费大全| 日本免费a在线| 不卡av一区二区三区| 免费搜索国产男女视频| 熟女电影av网| av福利片在线| 99国产极品粉嫩在线观看| 两人在一起打扑克的视频| 国产精品久久久av美女十八| 亚洲第一电影网av| 波多野结衣高清作品| 国产激情偷乱视频一区二区| 欧美激情高清一区二区三区| 婷婷精品国产亚洲av| 黄片大片在线免费观看| 天天躁夜夜躁狠狠躁躁| 国产97色在线日韩免费| 久久精品夜夜夜夜夜久久蜜豆 | 精品久久久久久久人妻蜜臀av| 亚洲人成77777在线视频| 一本大道久久a久久精品| 99国产精品一区二区蜜桃av| 久久香蕉精品热| 亚洲成av人片免费观看| 97碰自拍视频| 中出人妻视频一区二区| 一进一出好大好爽视频| 成人欧美大片| 黄频高清免费视频| 在线观看66精品国产| 这个男人来自地球电影免费观看| 国产高清视频在线播放一区| 在线观看免费午夜福利视频| 亚洲一区二区三区色噜噜| 久久天躁狠狠躁夜夜2o2o| 国产亚洲精品久久久久久毛片| 色播亚洲综合网| 国产免费男女视频| 国产黄色小视频在线观看| 欧美日韩精品网址| 后天国语完整版免费观看| 波多野结衣高清无吗| 久久久久国产一级毛片高清牌| av欧美777| 一本精品99久久精品77| 色综合站精品国产| 女性被躁到高潮视频| 18禁裸乳无遮挡免费网站照片 | √禁漫天堂资源中文www| 久久99热这里只有精品18| 午夜免费鲁丝| 欧美日韩亚洲综合一区二区三区_| 老熟妇乱子伦视频在线观看| 91国产中文字幕| 韩国精品一区二区三区| 亚洲avbb在线观看| 国产欧美日韩精品亚洲av| 91在线观看av| 久久天躁狠狠躁夜夜2o2o| 老司机靠b影院| 桃色一区二区三区在线观看| 少妇被粗大的猛进出69影院| 国产1区2区3区精品| 亚洲av第一区精品v没综合| 一级a爱视频在线免费观看| 午夜精品在线福利| 色在线成人网| 亚洲天堂国产精品一区在线| 淫秽高清视频在线观看| 婷婷亚洲欧美| 欧美色视频一区免费| 男女午夜视频在线观看| 国产av一区在线观看免费| 99在线人妻在线中文字幕| 操出白浆在线播放| 啦啦啦免费观看视频1| 久久国产精品人妻蜜桃| 亚洲性夜色夜夜综合| 亚洲午夜精品一区,二区,三区| 亚洲成av人片免费观看| 亚洲美女黄片视频| 成人18禁高潮啪啪吃奶动态图| 成人免费观看视频高清| 免费无遮挡裸体视频| 老鸭窝网址在线观看| 首页视频小说图片口味搜索| 淫秽高清视频在线观看| 久久青草综合色| 亚洲熟妇熟女久久| 脱女人内裤的视频| 国产三级黄色录像| 国产成人精品久久二区二区免费| 哪里可以看免费的av片| 久久国产精品人妻蜜桃| av欧美777| 欧美中文综合在线视频| 国产精品香港三级国产av潘金莲| 老司机福利观看| 99re在线观看精品视频| 亚洲欧美精品综合久久99| av中文乱码字幕在线| 久久这里只有精品19| 男人舔奶头视频| 国产日本99.免费观看| 午夜福利高清视频| 国产精品美女特级片免费视频播放器 | 女性生殖器流出的白浆| 男男h啪啪无遮挡| 亚洲av电影在线进入| 久久精品国产综合久久久| 精品久久久久久久毛片微露脸| 中文字幕久久专区| av有码第一页| 窝窝影院91人妻| 女生性感内裤真人,穿戴方法视频| 一级毛片精品| 免费看美女性在线毛片视频| 婷婷亚洲欧美| 高清毛片免费观看视频网站| 精品一区二区三区视频在线观看免费| 一级作爱视频免费观看| 男女下面进入的视频免费午夜 | 欧美午夜高清在线| 韩国av一区二区三区四区| 18禁裸乳无遮挡免费网站照片 | 在线观看日韩欧美| 日韩精品免费视频一区二区三区| 久久 成人 亚洲| 国产成人精品久久二区二区91| 国产一级毛片七仙女欲春2 | 亚洲国产欧洲综合997久久, | 成年人黄色毛片网站| 在线视频色国产色| 精品国产乱子伦一区二区三区| а√天堂www在线а√下载| 久久婷婷成人综合色麻豆| 婷婷丁香在线五月| 国产一区二区在线av高清观看| 亚洲av五月六月丁香网| 操出白浆在线播放| 男女做爰动态图高潮gif福利片| 中文字幕av电影在线播放| 母亲3免费完整高清在线观看| 成人国产一区最新在线观看| 国产高清videossex| 欧美性猛交╳xxx乱大交人| 成人特级黄色片久久久久久久| 亚洲一区高清亚洲精品| 日本精品一区二区三区蜜桃| 757午夜福利合集在线观看| 亚洲一卡2卡3卡4卡5卡精品中文| 久久精品夜夜夜夜夜久久蜜豆 | 午夜激情av网站| 非洲黑人性xxxx精品又粗又长| 亚洲激情在线av| 在线观看舔阴道视频| 亚洲五月婷婷丁香| 巨乳人妻的诱惑在线观看| 国产激情欧美一区二区| a级毛片在线看网站| 午夜免费成人在线视频| 黄片播放在线免费| 欧美zozozo另类| 欧美一区二区精品小视频在线| 亚洲国产精品久久男人天堂| 日韩视频一区二区在线观看| 亚洲精品在线美女| 午夜福利成人在线免费观看| 视频区欧美日本亚洲| 在线观看66精品国产| 最新在线观看一区二区三区| 长腿黑丝高跟| 国产黄片美女视频| 国产视频内射| 亚洲精品美女久久久久99蜜臀| 757午夜福利合集在线观看| 国产国语露脸激情在线看| 久久狼人影院| xxx96com| 久久久久久人人人人人| 国产一卡二卡三卡精品| 国产人伦9x9x在线观看| 国产av一区二区精品久久| 久久久久精品国产欧美久久久| 国产一卡二卡三卡精品| 午夜免费鲁丝| 两个人视频免费观看高清| 亚洲专区中文字幕在线| 午夜久久久久精精品| 午夜亚洲福利在线播放| 日本免费一区二区三区高清不卡| 欧美国产日韩亚洲一区| 俄罗斯特黄特色一大片| 亚洲成人久久性| 国产精品 欧美亚洲| 91av网站免费观看| 精品电影一区二区在线| 高清在线国产一区| 51午夜福利影视在线观看| 欧美+亚洲+日韩+国产| 日本一本二区三区精品| av视频在线观看入口| 亚洲精品在线观看二区| 日韩大尺度精品在线看网址| 最近最新免费中文字幕在线|