• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于骨骼關(guān)節(jié)點(diǎn)和物體屬性的動(dòng)作指令學(xué)習(xí)方法

    2023-08-10 03:18:20鐘經(jīng)謀陳俊洪黃可思劉文印
    關(guān)鍵詞:關(guān)節(jié)點(diǎn)手部骨架

    鐘經(jīng)謀 陳俊洪 黃可思 劉文印

    (廣東工業(yè)大學(xué)計(jì)算機(jī)學(xué)院 廣東 廣州 510006)

    0 引 言

    近年來(lái),機(jī)器人在各行各業(yè)的應(yīng)用變得越來(lái)越廣泛,例如制造業(yè)、醫(yī)療服務(wù)、家庭服務(wù)等,然而現(xiàn)有的機(jī)器人工作模式大多為預(yù)編程模型,無(wú)法自主學(xué)習(xí)操作。對(duì)此近年來(lái)人們提出從視頻中學(xué)習(xí)動(dòng)作指令的學(xué)習(xí)方法,該方法不僅可以免除人工編程時(shí)間,而且能夠抑制外界環(huán)境的干擾。其中視頻學(xué)習(xí)的關(guān)鍵是對(duì)視頻中演示者動(dòng)作的準(zhǔn)確識(shí)別,動(dòng)作識(shí)別的準(zhǔn)確率影響物體分類的準(zhǔn)確率。因而動(dòng)作的準(zhǔn)確性和時(shí)效性將直接影響機(jī)器人的技能學(xué)習(xí)的效果。

    為了達(dá)到準(zhǔn)確高效的學(xué)習(xí)效果,人們提出許多視頻動(dòng)作識(shí)別方法,例如,Feichtenhofer等[1]提出結(jié)合時(shí)間和空間特征的雙流卷積網(wǎng)絡(luò),通過(guò)在相同像素位置融合空域卷積網(wǎng)絡(luò)和時(shí)域卷積網(wǎng)絡(luò),提高動(dòng)作識(shí)別的準(zhǔn)確率。Wang等[2]通過(guò)在雙流卷積網(wǎng)絡(luò)的基礎(chǔ)上改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的形式和以更小的學(xué)習(xí)速率、更高Dropout系數(shù)進(jìn)行訓(xùn)練,提高動(dòng)作的識(shí)別率。然而,由于視頻環(huán)境變化、人體外貌改變等不確定因素,基于圖像視頻的動(dòng)作識(shí)別具有一定的局限性。為了解決該問(wèn)題,人們開(kāi)始通過(guò)對(duì)人體骨骼節(jié)點(diǎn)運(yùn)動(dòng)進(jìn)行分析,Yan等[3]首次提出運(yùn)用時(shí)空?qǐng)D卷積網(wǎng)絡(luò)在人體骨架上進(jìn)行卷積,它有效地提取了人體骨架序列運(yùn)動(dòng)的時(shí)空特征,進(jìn)而識(shí)別出動(dòng)作。Tang等[4]提出利用強(qiáng)化學(xué)習(xí)對(duì)動(dòng)作進(jìn)行識(shí)別,該方法通過(guò)分析人體骨架的運(yùn)動(dòng)信息提取骨架序列中信息量最多的視頻幀,并丟棄不明確的幀,最終利用挑選的視頻幀進(jìn)行動(dòng)作識(shí)別,提高了識(shí)別效果。雖然這些方法都可以有效地捕捉到人體的操作動(dòng)作,但是對(duì)于一些細(xì)微的操作動(dòng)作,例如切、倒、攪拌等動(dòng)作卻難以進(jìn)行識(shí)別。

    針對(duì)該問(wèn)題,本文提出一種基于人體骨架、手部骨架和物體屬性的動(dòng)作技能學(xué)習(xí)方法,該方法包含兩個(gè)模塊。第一個(gè)模塊是動(dòng)作識(shí)別模塊,該模塊首先使用OpenPose算法識(shí)別RGB視頻中每一幀的人體骨架和手部骨架,然后我們基于人體骨架和手部骨架構(gòu)建自然連接拓?fù)鋱D,當(dāng)骨架鏈接拓?fù)鋱D構(gòu)建完畢后,我們使用時(shí)空?qǐng)D卷積網(wǎng)絡(luò)提取人體骨架和手部骨架序列的時(shí)空特征,并根據(jù)時(shí)空特征識(shí)別出演示視頻中演示者的操作動(dòng)作類別。第二個(gè)操作模塊是操作物體識(shí)別模塊,通過(guò)使用Mask R-CNN找出所有物體的位置并提取相應(yīng)特征,再將物體特征與第一個(gè)模塊所提取的動(dòng)作特征進(jìn)行融合,最后輸入到兩個(gè)LightGBM分類器將物體分為主體物體和受體物體。當(dāng)?shù)玫絼?dòng)作、主體物體和受體物體后,我們將其進(jìn)行組合用于表示視頻的語(yǔ)義。

    本文的主要貢獻(xiàn)包括:

    (1) 提出一種基于人體骨架和手部骨架序列的動(dòng)作識(shí)別方法,通過(guò)構(gòu)建人體和手部自然連接拓?fù)鋱D,使用時(shí)空?qǐng)D卷積網(wǎng)絡(luò)識(shí)別操作動(dòng)作,提高了細(xì)微操作動(dòng)作的識(shí)別率。

    (2) 提出將基于人體骨架和手部骨架所提取到的動(dòng)作特征與物體屬性相結(jié)合,進(jìn)一步細(xì)分物體的操作角色,并提高了物體角色的識(shí)別準(zhǔn)確率。

    (3) 通過(guò)在MPII烹飪活動(dòng)數(shù)據(jù)集2.0上進(jìn)行實(shí)驗(yàn),我們有效地將視頻轉(zhuǎn)換成指令三元組。

    1 相關(guān)研究

    1.1 動(dòng)作識(shí)別

    對(duì)于機(jī)器人技能學(xué)習(xí)來(lái)說(shuō),動(dòng)作的正確識(shí)別是機(jī)器人學(xué)習(xí)到技能的前提。動(dòng)作識(shí)別的研究大致可以分為兩類。第一類是基于RGB視頻的動(dòng)作識(shí)別,例如,Simonyan等[5]提出雙流卷積網(wǎng)絡(luò)提取視頻的時(shí)空特征進(jìn)行動(dòng)作分類,Tran等[6]提出在視頻動(dòng)作識(shí)別中使用三維神經(jīng)網(wǎng)絡(luò)代替二維的神經(jīng)網(wǎng)絡(luò),以捕獲視頻中更多的時(shí)空信息,Wang等[7]提出Temporal Segment Network(TSN),通過(guò)稀疏時(shí)間采樣,降低長(zhǎng)視頻識(shí)別的計(jì)算量。第二類是基于人體骨架序列的動(dòng)作識(shí)別,然而由于早期基于RGB視頻的姿態(tài)估計(jì)算法對(duì)背景嘈雜、光照變化和外觀變化等因素?zé)o法較好地適應(yīng),導(dǎo)致其識(shí)別效果并不是很好,但隨著微軟Kinect[8]深度傳感器的出現(xiàn)和改進(jìn),以及姿勢(shì)估計(jì)算法[9]的不斷優(yōu)化,對(duì)光照變化和場(chǎng)景變化具有魯棒性的人體骨架被廣泛地應(yīng)用于動(dòng)作識(shí)別。Yan等[3]提出時(shí)空?qǐng)D卷積網(wǎng)絡(luò),該網(wǎng)絡(luò)從視頻中提取骨架序列的時(shí)空特征并進(jìn)行動(dòng)作分類。Li等[10]提出動(dòng)作-結(jié)構(gòu)圖卷積,通過(guò)A-link推理模塊和自監(jiān)督算法捕獲更豐富的關(guān)節(jié)信息和動(dòng)作信息。該算法雖然可以很好地預(yù)測(cè)人的運(yùn)動(dòng),但由于只包含人體骨架特征,缺少手部骨架特征,導(dǎo)致其對(duì)于細(xì)微的操作卻取得不好的效果。為了解決該問(wèn)題,在本文中,我們保留了時(shí)空?qǐng)D卷積網(wǎng)絡(luò),并在此基礎(chǔ)上擴(kuò)展人體和手部的無(wú)向時(shí)空?qǐng)D,將人體骨架和手部骨架特征用于動(dòng)作識(shí)別。我們更改了時(shí)空?qǐng)D卷積網(wǎng)絡(luò)的大小和配置,并將其重新訓(xùn)練到新的骨架序列數(shù)據(jù)集上,從而獲得了動(dòng)作識(shí)別的高準(zhǔn)確率。

    1.2 語(yǔ)義表示

    為了更好的人機(jī)交互,完整的視頻語(yǔ)義是必不可少的。關(guān)于演示視頻的語(yǔ)義表示的研究大致可以分為兩類。第一類是基于語(yǔ)義上下文無(wú)關(guān)的語(yǔ)法規(guī)則組合,通過(guò)建立語(yǔ)法規(guī)則組合出復(fù)雜的動(dòng)作。例如,Summers-stay等[11]提出樹(shù)結(jié)構(gòu)語(yǔ)法規(guī)則,通過(guò)結(jié)合手、工具、物體等對(duì)演示者的操作過(guò)程進(jìn)行描述。Yang等[12]提出操作上下文無(wú)關(guān)語(yǔ)法,該語(yǔ)法分別定義了動(dòng)作和物體以及手與物體的關(guān)系,最后通過(guò)語(yǔ)法規(guī)則進(jìn)行鏈接。第二類是基于語(yǔ)言學(xué)的描述,利用語(yǔ)言學(xué)表達(dá)視頻的語(yǔ)義。例如Yang等[13]提出使用GNet和CNet兩個(gè)分支網(wǎng)絡(luò)分別處理抓取方案和視頻描述,該方法能產(chǎn)生準(zhǔn)確的命令和強(qiáng)大的抓取性能。Nguyen等[14]提出了<手-動(dòng)作-物體>的結(jié)構(gòu)語(yǔ)義語(yǔ)法,該方法為端到端的學(xué)習(xí)方法,將演示視頻輸入即可得到指令。然而以上方法沒(méi)有解決多物體操作時(shí)的操作方式,對(duì)此,我們使用(動(dòng)作(主體物體,受體物體))的指令三元組對(duì)操作過(guò)程進(jìn)行表達(dá),該方式可以解決機(jī)器人使用道具的難題,完整地保存了演示者的操作語(yǔ)義。

    2 動(dòng)作指令學(xué)習(xí)方法

    本文方法如圖1所示。本文方法分別使用基于人體骨架以及手部骨架的時(shí)空?qǐng)D卷積網(wǎng)絡(luò)進(jìn)行視頻動(dòng)作識(shí)別和Mask RCNN識(shí)別物體,然后使用兩個(gè)LightGBM分類器將物體分類,最后使用動(dòng)作三元組表達(dá)學(xué)習(xí)的技能。

    圖1 本文方法框架

    2.1 基于人體骨架及手部骨架的動(dòng)作識(shí)別

    人體骨架通常以二維或三維人體關(guān)節(jié)點(diǎn)坐標(biāo)表示,連續(xù)的人體關(guān)節(jié)點(diǎn)移動(dòng)可以有效地表達(dá)人類的運(yùn)動(dòng)。不同于日常的人類運(yùn)動(dòng),人類的操作往往包含有更多手部的細(xì)節(jié)。為了更好地識(shí)別人類的操作,我們提出將手部關(guān)節(jié)點(diǎn)加入人體骨架序列中進(jìn)行分析。具體來(lái)說(shuō),我們首先使用OpenPose算法識(shí)別演示視頻中的人體關(guān)節(jié)點(diǎn)和手部關(guān)節(jié)點(diǎn),在獲得N個(gè)身體關(guān)節(jié)點(diǎn)和M個(gè)手部關(guān)節(jié)點(diǎn)后,我們?cè)赥幀骨架序列上構(gòu)造一個(gè)無(wú)向時(shí)空?qǐng)DG=(V,E)。其中,V表示點(diǎn)集合,它包含每一幀人體骨架和手部骨架的所有關(guān)節(jié)點(diǎn),其表示如下:

    V={vti|t=1,2,…,T,i=1,2,…,N+M}

    (1)

    式中:vti表示視頻中第t幀第i個(gè)關(guān)節(jié)點(diǎn),并且我們使用特征向量F(vti)表示第t幀第i個(gè)關(guān)節(jié)點(diǎn)的二維坐標(biāo)向量和估計(jì)置信度。E表示邊集合,它由兩個(gè)子集組成,其中第一個(gè)子集描述了每幀的身體關(guān)節(jié)點(diǎn)連接和手部關(guān)節(jié)點(diǎn)連接,其表示為:

    Es={vtivtj|(i,j)∈H}

    (2)

    式中:H是自然連接的人類骨架和手部骨架關(guān)節(jié)點(diǎn)集合。第二個(gè)子集描述連續(xù)幀間相同關(guān)節(jié)點(diǎn)的連接,其表示為:

    Ef={vtiv(t+1)i}

    (3)

    其中第二個(gè)子集中的所有邊代表骨架序列隨時(shí)間的軌跡。本文使用25個(gè)關(guān)節(jié)點(diǎn)表示身體骨架,使用42個(gè)關(guān)節(jié)點(diǎn)表示手部骨架,其可視化效果如圖2所示。

    圖2 無(wú)向時(shí)空?qǐng)D

    在構(gòu)造無(wú)向時(shí)空?qǐng)D后,我們使用時(shí)空?qǐng)D卷積網(wǎng)絡(luò)提取人類操作的時(shí)空特征。在空間圖上,我們對(duì)每個(gè)節(jié)點(diǎn)進(jìn)行采樣,選擇每個(gè)節(jié)點(diǎn)連接范圍為一的相鄰域集作為采樣函數(shù),并使用空間配置分區(qū)策略實(shí)現(xiàn)標(biāo)簽映射,空間配置分區(qū)如圖3所示。人體各部分的運(yùn)動(dòng)大致可以劃分為向心運(yùn)動(dòng)和離心運(yùn)動(dòng),因此,對(duì)于每個(gè)節(jié)點(diǎn)的相鄰集,根據(jù)與人體重心的距離將其劃分成三個(gè)子集:1) 根節(jié)點(diǎn)本身;2) 比根節(jié)點(diǎn)更靠近人體重心的相鄰節(jié)點(diǎn);3) 比根節(jié)點(diǎn)更遠(yuǎn)離人體重心的相鄰節(jié)點(diǎn)。具體的標(biāo)簽映射表示如下:

    圖3 空間配置分區(qū)

    式中:lti(vtj)是單幀中節(jié)點(diǎn)vtj在節(jié)點(diǎn)vti的標(biāo)簽圖;rj是節(jié)點(diǎn)vtj到人體重心的距離;ri是節(jié)點(diǎn)vti到人體重心的距離。在時(shí)域方面,擴(kuò)展節(jié)點(diǎn)vti領(lǐng)域集如下:

    B(vti)={vqj|d(vtj,vti)≤1,|q-t|≤Γ/2}

    (5)

    式中:d(vtj,vti)表示節(jié)點(diǎn)vti與節(jié)點(diǎn)vtj的距離;??刂茣r(shí)域采樣范圍;q為采樣時(shí)域。對(duì)于擴(kuò)展的鄰域集,其標(biāo)簽映射表示如下:

    式中:lST(vqj)是節(jié)點(diǎn)vqj在采樣函數(shù)B(vti)的標(biāo)簽映射。在給定時(shí)空?qǐng)D的采樣函數(shù)和標(biāo)簽映射后,時(shí)空?qǐng)D卷積表示如下:

    式中:j是分區(qū)策略的各個(gè)子集;Λ=A+I,A是人體骨架和手部骨架的鄰接矩陣,即人體骨架和手部骨架自然連接的拓?fù)浣Y(jié)構(gòu),I是單位矩陣;fin為T幀人體骨架和手部骨架的關(guān)節(jié)點(diǎn)坐標(biāo)序列;Wj為可學(xué)習(xí)參數(shù)。

    圖4展示了視頻動(dòng)作模塊網(wǎng)絡(luò)框架。在該模塊中,我們將骨架序列輸入到批處理歸一化層進(jìn)行數(shù)據(jù)規(guī)范處理,然后使用時(shí)空?qǐng)D卷積網(wǎng)絡(luò)進(jìn)行人類操作的時(shí)空特征提取。時(shí)空?qǐng)D卷積網(wǎng)絡(luò)由六層時(shí)空?qǐng)D卷積組成,前面三層網(wǎng)絡(luò)輸出64個(gè)通道,后面三層網(wǎng)絡(luò)輸出128個(gè)通道。經(jīng)過(guò)時(shí)空?qǐng)D卷積后,輸入的特征圖和輸出的特征圖大小一致。該網(wǎng)絡(luò)一共有6個(gè)時(shí)間卷積核大小,在每個(gè)時(shí)空?qǐng)D卷積使用殘差連接。將第4層時(shí)間卷積層的步伐設(shè)置為2作為池化層,之后,對(duì)每個(gè)骨架序列輸出的128個(gè)通道特征進(jìn)行全局池化成128維的向量。最后,我們將該向量放入SoftMax分類器。該模型采用隨機(jī)梯度下降學(xué)習(xí),學(xué)習(xí)率為0.1,在50個(gè)Epoch后,下降為0.01,在150個(gè)Epoch后下降為0.001。由于MPII烹飪活動(dòng)數(shù)據(jù)集2.0中視頻長(zhǎng)短差異大,我們將骨架序列劃分為長(zhǎng)度為T幀的片段,在實(shí)驗(yàn)中,T設(shè)置為300。在訓(xùn)練時(shí)空?qǐng)D卷積時(shí),對(duì)劃分的骨架序列給定相同的動(dòng)作標(biāo)簽,在測(cè)試時(shí),將劃分的骨架序列的平均預(yù)測(cè)值作為動(dòng)作預(yù)測(cè)的標(biāo)準(zhǔn)。

    圖4 時(shí)空?qǐng)D卷積網(wǎng)絡(luò)框架

    2.2 操作物體識(shí)別

    表達(dá)完整的視頻語(yǔ)義,不僅需要準(zhǔn)確地識(shí)別動(dòng)作,而且還要識(shí)別演示者操作的物體。為了更加精確地識(shí)別演示者所操作的物體和排除遠(yuǎn)離演示者物體信息的干擾,我們使用在COCO數(shù)據(jù)集[15]上經(jīng)過(guò)預(yù)訓(xùn)練的Mask R-CNN[16]獲取演示者的邊框,并設(shè)計(jì)一個(gè)比該邊框高1.4倍的感興趣區(qū)域(ROI)邊框,效果如圖5所示。在得到包含操作者的ROI框后,我們使用在COCO數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練的,并在MPII Cooking Activities 2.0[17]中進(jìn)行微調(diào)的Mask R-CNN作為物體識(shí)別網(wǎng)絡(luò)。其中Mask R-CNN為兩階段網(wǎng)絡(luò)模型,第一階段使用Region Pro-posal Network(RPN)生成物體候選邊框,第二階段對(duì)這些候選邊框進(jìn)行分類、定位,并找出掩模。

    圖5 ROI邊框例子

    在本文中,我們使用Mask R-CNN識(shí)別的物體的出現(xiàn)次數(shù)、平均置信度和平均位置作為物體特征,并將動(dòng)作識(shí)別模塊所得到的動(dòng)作特征與其進(jìn)行拼接,最終分別輸入兩個(gè)LightGBM[18]分類器對(duì)主體物體和受體物體進(jìn)行分類。為了更好地表達(dá)視頻的語(yǔ)義,我們使用動(dòng)作三元組表示演示的操作,動(dòng)作三元組的表示形式如下:

    動(dòng)作(主體物體,受體物體)

    (8)

    通過(guò)該動(dòng)作三元組,機(jī)器人可以有效地區(qū)分出操作物體的邏輯,準(zhǔn)確執(zhí)行從視頻中所學(xué)習(xí)到的動(dòng)作指令,并完成相應(yīng)的模仿。

    3 實(shí)驗(yàn)結(jié)果與分析

    在這一部分,我們首先將介紹所使用的數(shù)據(jù)集,然后分別評(píng)估動(dòng)作識(shí)別、操作物體分類的性能,最后展示所學(xué)習(xí)得到的動(dòng)作指令效果。

    3.1 數(shù)據(jù)集

    我們選擇MPII Cooking Activities 2.0作為我們提出框架的數(shù)據(jù)集,該數(shù)據(jù)集在273個(gè)視頻中記錄了三十多種菜譜,總時(shí)長(zhǎng)達(dá)到27 h。在本文中,我們挑選了7個(gè)動(dòng)作和48種常見(jiàn)的物體進(jìn)行研究,類別如表1所示。

    表1 動(dòng)作和物體類別

    在本文中,由于只考慮單指令任務(wù),因此首先把視頻分割成視頻段,并選擇3 168個(gè)視頻段作為實(shí)驗(yàn)的數(shù)據(jù)集,各個(gè)動(dòng)作的視頻段的個(gè)數(shù)如表2所示。我們隨機(jī)選擇2 852(90%)個(gè)視頻段來(lái)訓(xùn)練時(shí)空?qǐng)D卷積網(wǎng)絡(luò),剩下的316(10%)個(gè)視頻段作為本文提出的框架的性能評(píng)估。對(duì)于物體識(shí)別模塊,從訓(xùn)練集中隨機(jī)選取3 000幀進(jìn)行人工標(biāo)注,并將其用于Mask R-CNN微調(diào)。

    表2 挑選的數(shù)據(jù)集統(tǒng)計(jì)

    3.2 動(dòng)作識(shí)別的性能

    如表3所示,與基于RGB視頻的動(dòng)作識(shí)別方法相比,例如CNN3D[19]、LSTM[20]和Two-Stream[5],本文所提出來(lái)的基于人體骨架的動(dòng)作識(shí)別方法(ST-GCN)在精確度、準(zhǔn)確率、召回率、F1值等表現(xiàn)得最好,這表明視頻的背景噪聲、光照變化、外觀變化對(duì)人體骨架的影響小。同時(shí),增加手部骨架的時(shí)空?qǐng)D卷積比僅有人體骨架的時(shí)空?qǐng)D卷積網(wǎng)絡(luò)在準(zhǔn)確率上高出5.37百分點(diǎn),在精度、召回率、F1-score上表現(xiàn)更是高出7百分點(diǎn)至10百分點(diǎn),這表明手部骨架信息對(duì)細(xì)微的操作動(dòng)作識(shí)別具有一定的指導(dǎo)作用。在圖6中,我們使用混淆矩陣來(lái)顯示基于人體骨架和手部骨架動(dòng)作識(shí)別方法的性能。

    表3 動(dòng)作識(shí)別效果對(duì)比(%)

    圖6 混淆矩陣

    3.3 物體分類的性能

    由于物體分類包含主體物體和受體物體兩個(gè)部分,因此我們對(duì)這兩個(gè)部分的性能分別進(jìn)行評(píng)估。為了體現(xiàn)物體分類的性能,我們使用了決策樹(shù)、隨機(jī)森林、Gradient Boosting、XGBoost[21]和LightGBM方法進(jìn)行對(duì)比,分類性能如表4所示??梢钥闯?LightGBM取得了最優(yōu)的性能,正確識(shí)別主體對(duì)象和受體對(duì)象的準(zhǔn)確率達(dá)到了78.07%。我們選擇最優(yōu)的物體分類方法,在該方法上我們測(cè)試了不同動(dòng)作識(shí)別方法識(shí)別出來(lái)的動(dòng)作對(duì)物體分類的影響。從表5中可以看出,隨著動(dòng)作預(yù)測(cè)準(zhǔn)確率的提高,物體分類的總準(zhǔn)確率也在提高。除此之外,我們還分析了物體出現(xiàn)次數(shù)、物體平均置信度、物體平均位置和動(dòng)作對(duì)物體分類的影響。從圖7可以看出,無(wú)論是主體物體分類還是受體物體分類,動(dòng)作特征都具有重要的影響,這有效地驗(yàn)證了動(dòng)作識(shí)別準(zhǔn)確率影響物體分類準(zhǔn)確率,進(jìn)一步影響動(dòng)作指令學(xué)習(xí)的準(zhǔn)確率。

    表4 物體分類效果對(duì)比(%)

    表5 不同動(dòng)作模型在物體分類上的表現(xiàn)(%)

    圖7 不同特征的重要性

    3.4 動(dòng)作指令三元組的效果

    在識(shí)別動(dòng)作、主體物體和受體物體后,我們使用指令三元組來(lái)表示演示視頻操作的語(yǔ)義,其中本文所提出的框架準(zhǔn)確率達(dá)到78.07%。表6展示了一些從視頻學(xué)習(xí)三元組的實(shí)例,其中不正確的指令由加粗字體標(biāo)出。錯(cuò)誤指令的產(chǎn)生可能是因?yàn)槲矬w類別的錯(cuò)誤識(shí)別,也可能是動(dòng)作的錯(cuò)誤識(shí)別,而動(dòng)作的錯(cuò)誤識(shí)別往往也導(dǎo)致主體物體和受體物體的錯(cuò)誤分類。

    表6 動(dòng)作指令實(shí)例

    4 結(jié) 語(yǔ)

    在本文中,我們提出一個(gè)機(jī)器人技能學(xué)習(xí)框架,它使機(jī)器人可以從真實(shí)環(huán)境中的演示視頻中自動(dòng)學(xué)習(xí)操作技能。該框架采用時(shí)空?qǐng)D卷積網(wǎng)絡(luò)和Mask-RCNN分別識(shí)別演示視頻中的操作動(dòng)作和物體,然后將動(dòng)作特征和對(duì)象特征的融合并應(yīng)用兩個(gè)LightGBM分類器將物體分為主體物體和受體物體。之后,該框架使用動(dòng)作指令三元組表示演示視頻的語(yǔ)義。實(shí)驗(yàn)結(jié)果表明,我們的框架能夠很好地識(shí)別演示視頻的操作動(dòng)作和物體,并有效地將演示視頻轉(zhuǎn)化為動(dòng)作指令三元組。

    在未來(lái)的工作中,我們將在以下方面擴(kuò)展我們的框架:(1) 改進(jìn)骨架序列無(wú)向時(shí)空?qǐng)D,發(fā)掘人體關(guān)節(jié)點(diǎn)和手部關(guān)節(jié)點(diǎn)之間的潛在聯(lián)系,更好地提取演示者的操作特征;(2) 進(jìn)一步擴(kuò)大適用場(chǎng)景的范圍,例如工業(yè)操作等。

    猜你喜歡
    關(guān)節(jié)點(diǎn)手部骨架
    手部皮膚軟組織缺損修復(fù)的皮瓣選擇
    淺談管狀骨架噴涂方法
    基于深度學(xué)習(xí)和視覺(jué)檢測(cè)的地鐵違規(guī)行為預(yù)警系統(tǒng)研究與應(yīng)用
    關(guān)節(jié)點(diǎn)連接歷史圖與卷積神經(jīng)網(wǎng)絡(luò)結(jié)合的雙人交互動(dòng)作識(shí)別
    骨架密度對(duì)炭/炭多孔骨架壓力浸滲銅的影響
    搞好新形勢(shì)下軍營(yíng)美術(shù)活動(dòng)需把握的關(guān)節(jié)點(diǎn)
    兩種皮瓣修復(fù)手部軟組織缺損的比較
    發(fā)生于手部的硬下疳一例
    內(nèi)支撐骨架封抽技術(shù)在突出煤層瓦斯抽采中的應(yīng)用
    復(fù)明膠囊疑致手部腫痛1例
    三上悠亚av全集在线观看| 男女下面进入的视频免费午夜 | 美女 人体艺术 gogo| 在线av久久热| 看片在线看免费视频| 动漫黄色视频在线观看| 国产精品免费一区二区三区在线| 久久精品亚洲av国产电影网| 久久人人爽av亚洲精品天堂| 曰老女人黄片| av视频免费观看在线观看| 香蕉丝袜av| 美女 人体艺术 gogo| 亚洲精品av麻豆狂野| 久久香蕉精品热| 男人舔女人下体高潮全视频| 一个人观看的视频www高清免费观看 | 国产av精品麻豆| 久99久视频精品免费| 国产aⅴ精品一区二区三区波| 欧美激情久久久久久爽电影 | 久久中文字幕一级| 国产97色在线日韩免费| 香蕉久久夜色| 亚洲国产毛片av蜜桃av| 日日干狠狠操夜夜爽| 首页视频小说图片口味搜索| 亚洲av成人一区二区三| 亚洲自拍偷在线| 一个人免费在线观看的高清视频| 久久久久久亚洲精品国产蜜桃av| netflix在线观看网站| 999久久久国产精品视频| 99在线人妻在线中文字幕| 久久九九热精品免费| 高清在线国产一区| 少妇 在线观看| 久久精品aⅴ一区二区三区四区| 亚洲国产精品一区二区三区在线| 日韩欧美在线二视频| 欧美精品啪啪一区二区三区| 久久精品aⅴ一区二区三区四区| 亚洲aⅴ乱码一区二区在线播放 | 久久久精品欧美日韩精品| 国产精品美女特级片免费视频播放器 | 亚洲中文日韩欧美视频| 涩涩av久久男人的天堂| 欧美成人性av电影在线观看| 男女高潮啪啪啪动态图| 动漫黄色视频在线观看| 长腿黑丝高跟| 精品无人区乱码1区二区| 看片在线看免费视频| 好男人电影高清在线观看| 国产午夜精品久久久久久| 后天国语完整版免费观看| 夜夜躁狠狠躁天天躁| 精品国产超薄肉色丝袜足j| 亚洲激情在线av| 中国美女看黄片| 成人18禁在线播放| 国产精品99久久99久久久不卡| 国产av一区二区精品久久| 国产精品久久久久久人妻精品电影| 91麻豆av在线| 夜夜看夜夜爽夜夜摸 | 熟女少妇亚洲综合色aaa.| 欧美激情久久久久久爽电影 | 日韩人妻精品一区2区三区| 色综合欧美亚洲国产小说| 欧美性长视频在线观看| 80岁老熟妇乱子伦牲交| 久9热在线精品视频| 黄色怎么调成土黄色| 超碰97精品在线观看| 人人妻人人爽人人添夜夜欢视频| 国产极品粉嫩免费观看在线| 国产精品乱码一区二三区的特点 | 51午夜福利影视在线观看| 精品欧美一区二区三区在线| 国产视频一区二区在线看| 午夜福利,免费看| 男人的好看免费观看在线视频 | 99精国产麻豆久久婷婷| 成人三级做爰电影| 妹子高潮喷水视频| 黑丝袜美女国产一区| 99久久精品国产亚洲精品| 美国免费a级毛片| 色在线成人网| 99riav亚洲国产免费| 最近最新中文字幕大全电影3 | 啦啦啦在线免费观看视频4| 纯流量卡能插随身wifi吗| 国产三级黄色录像| 少妇的丰满在线观看| 女性被躁到高潮视频| 国产精品香港三级国产av潘金莲| 午夜精品在线福利| 国产亚洲精品综合一区在线观看 | 国产片内射在线| 久久精品91蜜桃| 亚洲成av片中文字幕在线观看| 久久香蕉激情| 久久精品亚洲精品国产色婷小说| 国产精品久久久人人做人人爽| a在线观看视频网站| 黄色怎么调成土黄色| 好男人电影高清在线观看| 国产av精品麻豆| 中出人妻视频一区二区| x7x7x7水蜜桃| 欧美性长视频在线观看| 中文字幕人妻丝袜一区二区| 欧美丝袜亚洲另类 | 在线观看免费视频网站a站| 久久天躁狠狠躁夜夜2o2o| 国产高清国产精品国产三级| 自线自在国产av| 精品国产乱码久久久久久男人| 久久草成人影院| 欧美不卡视频在线免费观看 | 国产精品野战在线观看 | 天堂影院成人在线观看| 97碰自拍视频| 精品福利永久在线观看| 亚洲精品久久午夜乱码| 婷婷精品国产亚洲av在线| 中文字幕人妻丝袜制服| 欧洲精品卡2卡3卡4卡5卡区| ponron亚洲| 国产有黄有色有爽视频| 国产精品一区二区免费欧美| 色在线成人网| 亚洲精华国产精华精| 精品第一国产精品| 日韩成人在线观看一区二区三区| 欧美乱妇无乱码| 中文字幕av电影在线播放| 亚洲精品一区av在线观看| 国产成人精品久久二区二区91| 国产精品一区二区在线不卡| 91成人精品电影| 日本a在线网址| svipshipincom国产片| 999久久久精品免费观看国产| 国产午夜精品久久久久久| 国产97色在线日韩免费| 少妇 在线观看| 天堂√8在线中文| 久久这里只有精品19| 欧美人与性动交α欧美软件| 99精品欧美一区二区三区四区| 18禁黄网站禁片午夜丰满| 无限看片的www在线观看| 婷婷六月久久综合丁香| 美女 人体艺术 gogo| www日本在线高清视频| 另类亚洲欧美激情| 国产亚洲欧美98| 老熟妇乱子伦视频在线观看| 成人免费观看视频高清| 黄色丝袜av网址大全| 老司机靠b影院| 黄色视频,在线免费观看| 法律面前人人平等表现在哪些方面| 日韩中文字幕欧美一区二区| 中文字幕人妻丝袜制服| 国产aⅴ精品一区二区三区波| 好男人电影高清在线观看| 亚洲av第一区精品v没综合| 最新美女视频免费是黄的| 午夜精品国产一区二区电影| 午夜福利在线观看吧| 窝窝影院91人妻| 天天躁狠狠躁夜夜躁狠狠躁| 亚洲一卡2卡3卡4卡5卡精品中文| 一边摸一边抽搐一进一出视频| 中文字幕人妻丝袜一区二区| 高清av免费在线| 亚洲精品在线美女| 亚洲av第一区精品v没综合| 两个人看的免费小视频| 国产真人三级小视频在线观看| 十八禁人妻一区二区| 美女福利国产在线| 久久精品国产亚洲av香蕉五月| 欧美色视频一区免费| 咕卡用的链子| 日本黄色日本黄色录像| 亚洲成国产人片在线观看| 侵犯人妻中文字幕一二三四区| 欧美激情极品国产一区二区三区| 国产人伦9x9x在线观看| 国产又爽黄色视频| 精品无人区乱码1区二区| 国产精品免费视频内射| 淫秽高清视频在线观看| 午夜久久久在线观看| 丝袜在线中文字幕| 日韩人妻精品一区2区三区| 国产精品野战在线观看 | 看免费av毛片| 丰满的人妻完整版| 色婷婷av一区二区三区视频| 久久久久久免费高清国产稀缺| 叶爱在线成人免费视频播放| 看免费av毛片| 亚洲片人在线观看| 女人精品久久久久毛片| 午夜两性在线视频| 交换朋友夫妻互换小说| 成人永久免费在线观看视频| 琪琪午夜伦伦电影理论片6080| 亚洲精品国产一区二区精华液| 国产成人欧美| 啪啪无遮挡十八禁网站| 亚洲欧美一区二区三区久久| 日本精品一区二区三区蜜桃| 成人18禁在线播放| 日韩成人在线观看一区二区三区| 黄色片一级片一级黄色片| 一级a爱视频在线免费观看| 久久久久久久午夜电影 | 国产一区二区激情短视频| 高清av免费在线| 999久久久国产精品视频| 亚洲五月天丁香| 美女福利国产在线| 国产欧美日韩精品亚洲av| 久久草成人影院| 午夜视频精品福利| 亚洲五月婷婷丁香| av免费在线观看网站| 久久精品影院6| 免费在线观看黄色视频的| 性少妇av在线| 久久天堂一区二区三区四区| 久久久久久久精品吃奶| bbb黄色大片| 咕卡用的链子| 97碰自拍视频| 51午夜福利影视在线观看| 色尼玛亚洲综合影院| 丰满饥渴人妻一区二区三| 亚洲中文av在线| 亚洲欧美激情综合另类| 99久久99久久久精品蜜桃| 天堂俺去俺来也www色官网| 国产真人三级小视频在线观看| 大陆偷拍与自拍| 在线观看免费午夜福利视频| 国产aⅴ精品一区二区三区波| 午夜两性在线视频| 另类亚洲欧美激情| 国产精品 国内视频| 久久午夜亚洲精品久久| 精品国内亚洲2022精品成人| 国产无遮挡羞羞视频在线观看| 日韩欧美一区视频在线观看| 久久精品91无色码中文字幕| 欧美日韩瑟瑟在线播放| av在线天堂中文字幕 | 12—13女人毛片做爰片一| 99国产精品一区二区蜜桃av| 无限看片的www在线观看| 欧美日本中文国产一区发布| 久久人人爽av亚洲精品天堂| 亚洲成人国产一区在线观看| 国产人伦9x9x在线观看| 久久精品国产亚洲av香蕉五月| 亚洲一区高清亚洲精品| 国产精品影院久久| 欧美日韩福利视频一区二区| 久久久久久免费高清国产稀缺| 一个人观看的视频www高清免费观看 | 50天的宝宝边吃奶边哭怎么回事| 在线永久观看黄色视频| svipshipincom国产片| 天天躁狠狠躁夜夜躁狠狠躁| 亚洲一区高清亚洲精品| 国产精品影院久久| 精品一区二区三区四区五区乱码| 久久人人97超碰香蕉20202| 十八禁人妻一区二区| a级毛片黄视频| 免费高清在线观看日韩| 一区二区三区国产精品乱码| 女生性感内裤真人,穿戴方法视频| 国产精品一区二区在线不卡| 亚洲激情在线av| 一级片'在线观看视频| 国产亚洲精品第一综合不卡| 午夜老司机福利片| 老熟妇仑乱视频hdxx| 91国产中文字幕| 亚洲精品一卡2卡三卡4卡5卡| 51午夜福利影视在线观看| 国产亚洲精品综合一区在线观看 | 热99国产精品久久久久久7| 精品久久久久久久毛片微露脸| 亚洲欧美日韩高清在线视频| 一进一出好大好爽视频| 午夜成年电影在线免费观看| 在线观看一区二区三区激情| 成人国语在线视频| 亚洲国产毛片av蜜桃av| 少妇的丰满在线观看| 国产精品影院久久| 色婷婷av一区二区三区视频| 日韩欧美国产一区二区入口| 国产精品秋霞免费鲁丝片| 精品一区二区三区视频在线观看免费 | 人妻久久中文字幕网| 日本五十路高清| 欧美日韩福利视频一区二区| 亚洲全国av大片| 久久性视频一级片| 亚洲欧美日韩另类电影网站| 中亚洲国语对白在线视频| 女性被躁到高潮视频| 中文字幕人妻丝袜制服| 不卡av一区二区三区| 国产精品av久久久久免费| 美女福利国产在线| 午夜福利在线免费观看网站| 韩国av一区二区三区四区| 亚洲中文av在线| 免费观看精品视频网站| 国产精品一区二区三区四区久久 | 欧美色视频一区免费| 夜夜看夜夜爽夜夜摸 | 曰老女人黄片| av超薄肉色丝袜交足视频| 热99国产精品久久久久久7| 欧美激情高清一区二区三区| 国产伦一二天堂av在线观看| 视频区欧美日本亚洲| 亚洲精品久久午夜乱码| 国产三级黄色录像| 在线国产一区二区在线| 叶爱在线成人免费视频播放| 亚洲自偷自拍图片 自拍| 国内毛片毛片毛片毛片毛片| 日韩国内少妇激情av| 国产伦人伦偷精品视频| 又黄又爽又免费观看的视频| 亚洲国产欧美一区二区综合| 亚洲五月色婷婷综合| 色精品久久人妻99蜜桃| 亚洲三区欧美一区| 后天国语完整版免费观看| 精品一区二区三区视频在线观看免费 | 国产精品一区二区在线不卡| 免费在线观看完整版高清| 久久影院123| 国产精品久久久人人做人人爽| 多毛熟女@视频| 久久精品aⅴ一区二区三区四区| 久久久国产一区二区| 国产又色又爽无遮挡免费看| 成人18禁在线播放| 99热只有精品国产| 国产激情欧美一区二区| 国产午夜精品久久久久久| 中文字幕av电影在线播放| 国产午夜精品久久久久久| 黄色毛片三级朝国网站| 日韩视频一区二区在线观看| 久久精品亚洲精品国产色婷小说| 高清黄色对白视频在线免费看| 色婷婷久久久亚洲欧美| 夜夜爽天天搞| 精品少妇一区二区三区视频日本电影| 成人手机av| 日本黄色视频三级网站网址| 99精品久久久久人妻精品| 午夜视频精品福利| aaaaa片日本免费| 男女午夜视频在线观看| 中出人妻视频一区二区| 久久精品国产亚洲av香蕉五月| www.熟女人妻精品国产| 国产蜜桃级精品一区二区三区| 国产激情久久老熟女| 一区福利在线观看| 成人18禁高潮啪啪吃奶动态图| 欧美黄色片欧美黄色片| 国产精品野战在线观看 | 午夜激情av网站| 夜夜爽天天搞| 精品国产亚洲在线| 国产极品粉嫩免费观看在线| 国产男靠女视频免费网站| 夜夜夜夜夜久久久久| 亚洲国产毛片av蜜桃av| 日韩欧美在线二视频| 在线永久观看黄色视频| 亚洲欧美日韩高清在线视频| 90打野战视频偷拍视频| 99国产精品一区二区三区| 人成视频在线观看免费观看| 少妇 在线观看| 91国产中文字幕| 亚洲成人久久性| 黄色片一级片一级黄色片| av中文乱码字幕在线| 狂野欧美激情性xxxx| 一级a爱片免费观看的视频| 91麻豆av在线| 午夜免费观看网址| 可以在线观看毛片的网站| videosex国产| 欧美性长视频在线观看| 免费看十八禁软件| 成人av一区二区三区在线看| 国产亚洲欧美98| 国产一区在线观看成人免费| 91大片在线观看| 天堂√8在线中文| 看黄色毛片网站| 91av网站免费观看| 九色亚洲精品在线播放| 男人的好看免费观看在线视频 | 色综合欧美亚洲国产小说| 国产高清激情床上av| 国产日韩一区二区三区精品不卡| 美女高潮到喷水免费观看| 美女福利国产在线| 亚洲七黄色美女视频| 亚洲精品一卡2卡三卡4卡5卡| 在线观看免费日韩欧美大片| 亚洲全国av大片| 最新在线观看一区二区三区| 精品人妻在线不人妻| 成人影院久久| 女生性感内裤真人,穿戴方法视频| 12—13女人毛片做爰片一| 亚洲人成电影免费在线| 最好的美女福利视频网| 日本三级黄在线观看| 人人妻人人爽人人添夜夜欢视频| 美女福利国产在线| 亚洲精品一区av在线观看| 97超级碰碰碰精品色视频在线观看| 日韩成人在线观看一区二区三区| 高清在线国产一区| 黄色视频不卡| 91在线观看av| 男女之事视频高清在线观看| 侵犯人妻中文字幕一二三四区| 后天国语完整版免费观看| 久久欧美精品欧美久久欧美| 最新在线观看一区二区三区| 少妇被粗大的猛进出69影院| 99精品在免费线老司机午夜| 免费女性裸体啪啪无遮挡网站| 曰老女人黄片| 欧美色视频一区免费| 日本五十路高清| 亚洲男人的天堂狠狠| 国产成年人精品一区二区 | av网站免费在线观看视频| 亚洲精品成人av观看孕妇| av福利片在线| 巨乳人妻的诱惑在线观看| av天堂久久9| 久久久水蜜桃国产精品网| 亚洲一区二区三区不卡视频| 在线观看午夜福利视频| 男人舔女人的私密视频| 亚洲第一欧美日韩一区二区三区| 国产一卡二卡三卡精品| 色综合婷婷激情| 亚洲aⅴ乱码一区二区在线播放 | 99久久综合精品五月天人人| 欧美黄色片欧美黄色片| 91在线观看av| 亚洲一区二区三区欧美精品| 中文亚洲av片在线观看爽| 在线观看午夜福利视频| 精品一区二区三区视频在线观看免费 | 免费观看精品视频网站| 免费观看人在逋| 91九色精品人成在线观看| 成人亚洲精品一区在线观看| 日韩免费高清中文字幕av| 日韩人妻精品一区2区三区| 国产精品98久久久久久宅男小说| 日韩人妻精品一区2区三区| 在线观看66精品国产| 操出白浆在线播放| 亚洲第一av免费看| 久久热在线av| 免费高清在线观看日韩| 一二三四在线观看免费中文在| 99香蕉大伊视频| 久久人人精品亚洲av| 国产成人啪精品午夜网站| 国产精品二区激情视频| 中文字幕精品免费在线观看视频| 日韩高清综合在线| 成人国产一区最新在线观看| 亚洲男人的天堂狠狠| 亚洲精品美女久久av网站| 老司机深夜福利视频在线观看| 1024视频免费在线观看| 波多野结衣高清无吗| 午夜成年电影在线免费观看| av有码第一页| www日本在线高清视频| 久久午夜亚洲精品久久| 成人三级黄色视频| 黄色a级毛片大全视频| 免费观看人在逋| 成人特级黄色片久久久久久久| aaaaa片日本免费| 另类亚洲欧美激情| 精品国产国语对白av| 日韩人妻精品一区2区三区| 18禁观看日本| 国产成人啪精品午夜网站| 国产一区二区激情短视频| 曰老女人黄片| 日本一区二区免费在线视频| 国产主播在线观看一区二区| 国产1区2区3区精品| av网站免费在线观看视频| 国产欧美日韩一区二区三区在线| 国产激情久久老熟女| 国产一区二区激情短视频| 激情在线观看视频在线高清| 久久香蕉激情| 亚洲精品久久成人aⅴ小说| 日日摸夜夜添夜夜添小说| 国产成人精品久久二区二区91| 老汉色∧v一级毛片| 亚洲成国产人片在线观看| 99精品欧美一区二区三区四区| 国产免费男女视频| 欧美色视频一区免费| 国产一区在线观看成人免费| 可以在线观看毛片的网站| 交换朋友夫妻互换小说| 久久人人97超碰香蕉20202| 多毛熟女@视频| 露出奶头的视频| 久久国产精品影院| e午夜精品久久久久久久| 他把我摸到了高潮在线观看| 久久久久久久久中文| 午夜福利在线观看吧| 婷婷精品国产亚洲av在线| av天堂久久9| 欧美激情高清一区二区三区| 不卡一级毛片| 精品久久蜜臀av无| 亚洲精品粉嫩美女一区| 欧美不卡视频在线免费观看 | 在线观看免费视频网站a站| 91精品国产国语对白视频| 一级,二级,三级黄色视频| 国产av在哪里看| 亚洲情色 制服丝袜| 亚洲av第一区精品v没综合| 99久久久亚洲精品蜜臀av| 欧美中文综合在线视频| 五月开心婷婷网| 少妇 在线观看| 久久久久久亚洲精品国产蜜桃av| 国产精品一区二区三区四区久久 | svipshipincom国产片| 嫩草影院精品99| 黄网站色视频无遮挡免费观看| www国产在线视频色| 成年人免费黄色播放视频| 国产精品99久久99久久久不卡| 老司机午夜十八禁免费视频| 88av欧美| www日本在线高清视频| 一进一出抽搐动态| 欧美午夜高清在线| 高清欧美精品videossex| 99精品久久久久人妻精品| 80岁老熟妇乱子伦牲交| 香蕉久久夜色| 久久久国产成人免费| 80岁老熟妇乱子伦牲交| 午夜福利影视在线免费观看| 久久久国产成人免费| 男女做爰动态图高潮gif福利片 | 亚洲人成网站在线播放欧美日韩| 国产精品亚洲av一区麻豆| www.999成人在线观看| 久久久久国产精品人妻aⅴ院| 三级毛片av免费| 欧美老熟妇乱子伦牲交| www日本在线高清视频| 无人区码免费观看不卡| 久久中文看片网| 色婷婷久久久亚洲欧美| 国产成人一区二区三区免费视频网站| 国产精品免费一区二区三区在线| 老司机亚洲免费影院| 99久久国产精品久久久| 午夜福利,免费看| 欧美不卡视频在线免费观看 | 久久精品国产清高在天天线| 99国产精品一区二区三区| 黄色片一级片一级黄色片| 免费在线观看完整版高清| 老熟妇乱子伦视频在线观看| 免费不卡黄色视频| 久久久水蜜桃国产精品网| 国产亚洲av高清不卡|