基于元學(xué)習(xí)和關(guān)鍵點(diǎn)的實(shí)時(shí)抓取檢測(cè)算法

彭吉飛，吳清瀟

（1.中國(guó)科學(xué)院光電信息處理重點(diǎn)實(shí)驗(yàn)室，沈陽(yáng) 110016；2.中國(guó)科學(xué)院沈陽(yáng)自動(dòng)化研究所，沈陽(yáng) 110016；3.中國(guó)科學(xué)院機(jī)器人與智能制造創(chuàng)新研究院，沈陽(yáng) 110169；4.中國(guó)科學(xué)院大學(xué)，北京 100049）

機(jī)器人抓取在工業(yè)制造和生活場(chǎng)景中有著廣泛的應(yīng)用前景，成功抓取的前提是根據(jù)物體的觀測(cè)信息獲得合適的抓取位姿。針對(duì)抓取檢測(cè)任務(wù)，目前大部分都是基于深度學(xué)習(xí)進(jìn)行研究。早期，文獻(xiàn)[1]提出級(jí)聯(lián)式網(wǎng)絡(luò)在Cornell 數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，達(dá)到73.9%的準(zhǔn)確率。隨著更強(qiáng)大的特征提取網(wǎng)絡(luò)如AlexNet、ResNet 的出現(xiàn)，文獻(xiàn)[2]、文獻(xiàn)[3]使用單階段網(wǎng)絡(luò)直接預(yù)測(cè)抓取配置參數(shù)，抓取檢測(cè)更加精準(zhǔn)。同時(shí)目標(biāo)檢測(cè)技術(shù)得到越來越廣泛的應(yīng)用，文獻(xiàn)[4]借鑒雙階段目標(biāo)檢測(cè)網(wǎng)絡(luò)Faster-RCNN，在Cornell數(shù)據(jù)集上準(zhǔn)確率達(dá)到96.0%，但設(shè)計(jì)了錨框作為先驗(yàn)信息，模型的參數(shù)量和計(jì)算量過大，實(shí)時(shí)性較低。為了能夠滿足實(shí)時(shí)抓取，文獻(xiàn)[5]采用像素級(jí)的抓取姿態(tài)預(yù)測(cè)，每張圖片檢測(cè)速度達(dá)到4 ms，但準(zhǔn)確率僅有84.3%。

為了平衡抓取檢測(cè)的實(shí)時(shí)性和準(zhǔn)確率，有研究借鑒單階段的關(guān)鍵點(diǎn)目標(biāo)檢測(cè)算法的思想，比如文獻(xiàn)[6]通過改進(jìn)CornerNet[7]將其應(yīng)用于抓取檢測(cè)。文獻(xiàn)[8-9]也成功將關(guān)鍵點(diǎn)檢測(cè)網(wǎng)絡(luò)CenterNet[10]應(yīng)用到抓取檢測(cè)中，準(zhǔn)確率和實(shí)時(shí)性得到進(jìn)一步提升?；陉P(guān)鍵點(diǎn)檢測(cè)無需錨框設(shè)計(jì)，沒有過多的冗余計(jì)算能夠提高實(shí)時(shí)性，因此本文在CenterNet 思想基礎(chǔ)上進(jìn)行改進(jìn)，設(shè)計(jì)了基于注意力機(jī)制的輕量級(jí)神經(jīng)網(wǎng)絡(luò)模型。由于實(shí)際場(chǎng)景中的物體往往更復(fù)雜，對(duì)于訓(xùn)練過程中未曾見過的物體或顏色大小形狀變化較大的物體，難以獲取其準(zhǔn)確的抓取位姿，這就需要算法能夠動(dòng)態(tài)更新學(xué)習(xí)到的知識(shí)。MAML[11]是一種少樣本元學(xué)習(xí)算法，利用梯度下降尋找合適的初始化方法，能夠有效學(xué)習(xí)未知知識(shí)。因此本文設(shè)計(jì)了兩階段的學(xué)習(xí)過程，使用MAML 元學(xué)習(xí)方法提升了對(duì)新類目標(biāo)的檢測(cè)效果。

1 本文算法

1.1 改進(jìn)的旋轉(zhuǎn)橢圓高斯熱力圖

抓取檢測(cè)框通常表達(dá)方式是一個(gè)旋轉(zhuǎn)矩形框，如圖1 中的虛線矩形框所示。在實(shí)際的物體抓取中，兩指機(jī)械手的夾持器長(zhǎng)度h 本身固定，因此只需預(yù)測(cè)抓取框的中心點(diǎn)、抓取框?qū)挾葁 和抓取角度θ。

圖1 抓取框的表達(dá)方式Fig.1 Grasping position representation

抓取檢測(cè)框相比目標(biāo)檢測(cè)框在表達(dá)方式上增加旋轉(zhuǎn)角度，因此改用旋轉(zhuǎn)橢圓高斯熱力圖進(jìn)行映射。即對(duì)于抓取矩形標(biāo)簽的中心點(diǎn)真實(shí)位置p，執(zhí)行預(yù)測(cè)時(shí)所用的特征信息相當(dāng)于原尺度經(jīng)過T=4 倍的下采樣，標(biāo)簽中心點(diǎn)位置變?yōu)?，將其映射到高斯熱力圖Y，熱力圖Y 上的對(duì)應(yīng)像素點(diǎn)映射關(guān)系為

圖2 Cornell 數(shù)據(jù)集中的物體和可視化熱力圖Fig.2 Objects in Cornell dataset and the visual heatmap

1.2 抓取檢測(cè)網(wǎng)絡(luò)設(shè)計(jì)

1.2.1 基于注意力機(jī)制改進(jìn)的Ghost Bottleneck 模塊

GhostNet[12]是為移動(dòng)端硬件設(shè)計(jì)的輕量化神經(jīng)網(wǎng)絡(luò)，采取計(jì)算復(fù)雜度低的線性運(yùn)算代替普通卷積輸出特征圖，去除了部分彼此相似的冗余特征圖。對(duì)于給定輸入X∈Rc×h×w，其中c 為輸入特征通道數(shù)，h和w 為特征圖的高和寬，若使用卷積核f∈對(duì)其進(jìn)行普通的卷積操作，輸出特征圖Y∈，所需計(jì)算量為

Ghost Module 模塊在對(duì)輸入X 生成具有c′個(gè)通道的特征圖Y 時(shí)，先用普通卷積核f∈Rc×k×k×m進(jìn)行卷積計(jì)算得到特征圖Y′∈，再進(jìn)一步使用低計(jì)算代價(jià)的cheap 操作對(duì)這m 個(gè)通道的每個(gè)特征都生成s 個(gè)Ghost 特征，即：

式中：Φi，s是恒等映射以保留原始特征，其余Φi，j（j=1，…，s-1）為線性運(yùn)算，每個(gè)線性運(yùn)算的平均內(nèi)核大小為d×d（其大小與k×k 近似），由此得到具有m·s=c′個(gè)特征的特征圖Y。以上操作總共所需的計(jì)算量為

因?yàn)閐≈k，m·s=c′，且s?c 可知Ghost Module模塊的參數(shù)量只有普通卷積的1/s。

NAM[13]是一種輕量級(jí)的基于歸一化的注意力機(jī)制，不需要進(jìn)行卷積計(jì)算和全連接層的計(jì)算，而是利用歸一化后的權(quán)重作為加權(quán)因子。首先對(duì)輸入X批量標(biāo)準(zhǔn)化：B=BN（X）＝+β，其中γ 和β是縮放因子和偏移因子，μb和是小批量的均值和方差。再將其與歸一化后的權(quán)重相乘，經(jīng)過sigmoid歸一化后與原始輸入X 相乘得到輸出特征Y，即Y=X·sigmoid（Wγ（BN（X））），計(jì)算如圖3 所示，其中Wγ＝，利用縮放因子的大小反映不同通道的信息重要程度。

圖3 NAM 注意力機(jī)制Fig.3 NAM attention

利用上述Ghost Module 模塊和深度可分離卷積構(gòu)建基礎(chǔ)殘差模塊Ghost Bottleneck，并在Ghost Module 前后分別加入NAM 注意力機(jī)制，以進(jìn)一步加強(qiáng)特征提取能力，如圖4 所示。

圖4 嵌入注意力機(jī)制的Ghost Bottleneck 模塊Fig.4 Ghost Bottleneck embedded with the NAM attention

1.2.2 多尺度特征提取和特征融合模塊

為了更有效地提取特征，且在不損失語(yǔ)義信息的前提下增大感受野，引入膨脹率不同的空洞卷積。為此設(shè)計(jì)了2 個(gè)并行的雙層金字塔結(jié)構(gòu)，如圖5中的虛線框（a）和（b）所示，用于提取不同尺度的特征，每個(gè)金字塔由2 個(gè)串聯(lián)的空洞卷積組成。這種級(jí)聯(lián)結(jié)構(gòu)能夠在不減小感受野的同時(shí)提高信息利用率，而并行結(jié)構(gòu)能夠避免多尺度特征之間的冗余。其中（a）部分獲得的特征信息不包含邊緣信息，適合用來預(yù)測(cè)抓取框的中心關(guān)鍵點(diǎn)。（b）部分所獲得的特征信息包含邊緣信息，適合預(yù)測(cè)抓取檢測(cè)框的抓取寬度、抓取角度以及關(guān)鍵點(diǎn)的偏移信息。上采樣操作采用輕量化的CARAFE 算子[14]，該算子參數(shù)量相比反卷積更少，也擁有更好的性能。

圖5 多尺度特征提取和特征融合模塊Fig.5 Multi-scale feature extraction and feature fusion module

1.3 兩階段學(xué)習(xí)過程

模型的主要框架如圖6 所示，該框架可以被定義為O（F（·|θ）|w），其中F（·|θ）是帶有參數(shù)θ的特征提取器，O（·|w）是帶有參數(shù)w 的對(duì)象定位器。學(xué)習(xí)過程分為基礎(chǔ)訓(xùn)練階段和元學(xué)習(xí)階段。

圖6 算法模型框架Fig.6 Overview of the proposed model

圖7 元學(xué)習(xí)過程Fig.7 Meta-learning stage

1.3.1 基礎(chǔ)訓(xùn)練階段

在基礎(chǔ)訓(xùn)練階段使用基類樣本訓(xùn)練獲得通用的特征提取器F（·|θ）和對(duì)象定位器O（·|w），輸入圖像經(jīng)過特征提取器得到特征圖后再輸入到對(duì)象定位器，對(duì)象定位器部分都是二維卷積層，最終輸出相當(dāng)于原輸入圖像4 倍下采樣的特征圖，經(jīng)過解碼得到最終的抓取配置參數(shù)。

由于正負(fù)樣本不均衡，非關(guān)鍵點(diǎn)的數(shù)量多于關(guān)鍵點(diǎn)數(shù)量，采用Focal Loss 計(jì)算關(guān)鍵點(diǎn)熱力圖的損失，計(jì)算公式如下：

1.3.2 元學(xué)習(xí)階段

基礎(chǔ)訓(xùn)練結(jié)束后，凍結(jié)特征提取器參數(shù)，引入一個(gè)元學(xué)習(xí)器，元學(xué)習(xí)器的結(jié)構(gòu)和初始化參數(shù)與對(duì)象定位器相同。這一階段的學(xué)習(xí)目的是更新對(duì)象定位器的參數(shù)，以使模型適應(yīng)新類樣本。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)條件設(shè)置

本文算法基于Pytorch 框架實(shí)現(xiàn)，操作系統(tǒng)為Ubuntu 16.04.7，模型在GeForce RTX2080Ti 顯卡上訓(xùn)練，網(wǎng)絡(luò)輸入圖像分辨率為320×320。采用Cornell數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)驗(yàn)證，其中訓(xùn)練集和測(cè)試集按照?qǐng)D像分割和對(duì)象分割2 種方式進(jìn)行劃分[1]。

2.2 評(píng)估方式

其中式（7）表示預(yù)測(cè)矩形角度和真實(shí)抓取矩形角度相差小于30°，式（8）表示預(yù)測(cè)矩形和真實(shí)抓取矩形的Jaccard 相似系數(shù)大于25%，同時(shí)滿足式（7）和式（8）則代表預(yù)測(cè)抓取是合理抓取。

2.3 性能分析

本文算法分別按照?qǐng)D像分割和對(duì)象分割2 種方式在Cornell 數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，在準(zhǔn)確率和檢測(cè)速度上和其他算法對(duì)比效果如表1 所示。

表1 Cornell 數(shù)據(jù)集抓取檢測(cè)結(jié)果Tab.1 Grasping detection results on the Cornell dataset

可以看到本文提出的算法在檢測(cè)準(zhǔn)確率和檢測(cè)速度上與當(dāng)前性能最好的一些算法相當(dāng)，相比同樣基于關(guān)鍵點(diǎn)檢測(cè)的文獻(xiàn)[6，8，9]中的算法在精度和檢測(cè)速度上均有優(yōu)勢(shì)，很好地兼顧了準(zhǔn)確率與實(shí)時(shí)性。尤其在對(duì)象分割實(shí)驗(yàn)中，測(cè)試集中物體都是訓(xùn)練集中未見過的類別，準(zhǔn)確率有明顯優(yōu)勢(shì)，這得益于元學(xué)習(xí)方法增強(qiáng)了對(duì)未知物體的學(xué)習(xí)能力。在參數(shù)量和計(jì)算量上雖然不及文獻(xiàn)[5]的算法，如表2 所示，但是準(zhǔn)確率有明顯提高。而對(duì)比文獻(xiàn)[16]的算法，在準(zhǔn)確率相差不多的情況下，參數(shù)量和計(jì)算量得到明顯降低?？梢姳疚乃惴ㄔ诒ＷC高準(zhǔn)確率的同時(shí)有更少的參數(shù)量和計(jì)算量，能夠更加適合低性能的硬件設(shè)備。

表2 算法參數(shù)量和計(jì)算量對(duì)比Tab.2 Comparison of the parameters and FLOPs

2.4 消融實(shí)驗(yàn)

在Cornell 數(shù)據(jù)集上以對(duì)象分割的方式進(jìn)行消融實(shí)驗(yàn)，結(jié)果如表3 所示?？梢钥吹絅AM 注意力機(jī)制在使用2 種不同熱力圖的情況下準(zhǔn)確率分別提升0.53%和1.06%，能夠加強(qiáng)特征提取。多尺度的特征提取和特征融合模塊準(zhǔn)確率分別提升了1.58%和2.12%。最終融合這2 個(gè)模塊的網(wǎng)絡(luò)檢測(cè)準(zhǔn)確率分別提升了3.17%和3.71%，另外使用旋轉(zhuǎn)橢圓高斯熱力圖和原CenterNet 中的熱力圖相比，準(zhǔn)確率能夠提高約2.65%。最后再經(jīng)過元學(xué)習(xí)器的學(xué)習(xí)后，準(zhǔn)確率有2.17%的提升。綜上可知改進(jìn)的方法和模塊均能使模型性能得到提升。

表3 消融實(shí)驗(yàn)Tab.3 Ablation experiment

2.5 算法檢測(cè)效果

對(duì)Cornell 數(shù)據(jù)集中的部分測(cè)試集圖片進(jìn)行測(cè)試，效果如圖8 所示?？梢娝惴▽?duì)于不同形狀大小的物體漏檢率低，均有較好的抓取效果。

圖8 Cornell 數(shù)據(jù)集上算法檢測(cè)效果Fig.8 Detection effect on the Cornell dataset

選取真實(shí)場(chǎng)景中的常見物體進(jìn)行抓取實(shí)驗(yàn)，結(jié)果如圖9 所示。實(shí)驗(yàn)結(jié)果表明，對(duì)于在訓(xùn)練數(shù)據(jù)集中從未見過的物體，算法依舊能夠得到合適的抓取角度和抓取位置。

圖9 真實(shí)場(chǎng)景物體抓取檢測(cè)效果Fig.9 Detection effect on the objects in real scenes

3 結(jié)語(yǔ)

為了提升機(jī)器人抓取檢測(cè)的效果和效率，本文提出了基于元學(xué)習(xí)和關(guān)鍵點(diǎn)的實(shí)時(shí)抓取檢測(cè)算法。網(wǎng)絡(luò)模型基于關(guān)鍵點(diǎn)進(jìn)行輕量化設(shè)計(jì)，并參考MAML 元學(xué)習(xí)方法優(yōu)化模型參數(shù)。實(shí)驗(yàn)結(jié)果表明算法擁有較少的參數(shù)量和計(jì)算量，兼顧抓取準(zhǔn)確率和實(shí)時(shí)性，同時(shí)對(duì)未知物體的抓取有很好的泛化性。