基于深度學(xué)習(xí)的合作目標(biāo)靶球檢測(cè)

王國(guó)名，郝?tīng)N，石俊凱，高超，王博，周維虎*，高豆豆*

（1.中國(guó)科學(xué)院微電子研究所，北京 100094；2.中國(guó)科學(xué)院大學(xué)，北京 101408）

0 引言

隨著我國(guó)先進(jìn)制造和智能制造業(yè)的快速發(fā)展，對(duì)所需高端裝備的生產(chǎn)工裝測(cè)量、精密裝配檢測(cè)及整機(jī)精度檢測(cè)的精度要求越來(lái)越高，對(duì)以激光跟蹤儀為代表的大尺度空間坐標(biāo)精密測(cè)量?jī)x器的需求也越來(lái)越迫切［1-3］。在飛機(jī)、船舶等大型裝置的精密裝配過(guò)程中，激光跟蹤儀如何在復(fù)雜生產(chǎn)環(huán)境下對(duì)合作目標(biāo)靶球進(jìn)行快速精確識(shí)別捕獲，從而精確引導(dǎo)激光自動(dòng)對(duì)準(zhǔn)合作目標(biāo)，是提升大型裝置精密裝配效率、提高斷光續(xù)接精度亟需解決的難題［4］。為了解決目標(biāo)的自動(dòng)識(shí)別與自動(dòng)測(cè)量問(wèn)題，張滋黎等人［5］提出了一種基于視覺(jué)引導(dǎo)的激光測(cè)量系統(tǒng)，實(shí)現(xiàn)了激光的自動(dòng)對(duì)準(zhǔn)；中國(guó)科學(xué)院大學(xué)［6］提出了一種大目標(biāo)高精度位置姿態(tài)測(cè)量技術(shù)，利用單目相機(jī)獲取合作目標(biāo)的中心位置，準(zhǔn)確引導(dǎo)激光測(cè)距儀自動(dòng)瞄準(zhǔn)合作目標(biāo)的中心位置，通過(guò)參數(shù)運(yùn)算得到待測(cè)目標(biāo)的空間位姿，從而實(shí)現(xiàn)高精度自動(dòng)引導(dǎo)測(cè)量。

近年來(lái)，基于深度學(xué)習(xí)的機(jī)器視覺(jué)目標(biāo)檢測(cè)方法在精密檢測(cè)領(lǐng)域得到廣泛應(yīng)用，將深度學(xué)習(xí)方法用于合作目標(biāo)檢測(cè)，可極大地提高激光跟蹤儀對(duì)其合作目標(biāo)靶球的瞄準(zhǔn)精度。具有代表性的深度學(xué)習(xí)方法有基于區(qū)域推薦的目標(biāo)檢測(cè)方法（如Faster RCNN［7］）和基于回歸的目標(biāo)檢測(cè)方法（如YOLO［5］）?；趨^(qū)域推薦的目標(biāo)檢測(cè)方法分兩個(gè)步驟，首先預(yù)測(cè)可能存在目標(biāo)的區(qū)域，然后進(jìn)行目標(biāo)的分類(lèi)與邊界定位，因此檢測(cè)速度較慢，難以滿(mǎn)足實(shí)時(shí)檢測(cè)的需求。

2016 年，Redmon 等人［8］首創(chuàng)YOLO 目標(biāo)檢測(cè)方法，使用單個(gè)卷積神經(jīng)網(wǎng)絡(luò)直接對(duì)目標(biāo)進(jìn)行位置回歸與類(lèi)別預(yù)測(cè)，檢測(cè)速度可達(dá)到同時(shí)期兩步驟算法的5 倍，突破了目標(biāo)實(shí)時(shí)檢測(cè)的難題。但是，該方法在顯著提高檢測(cè)速度的同時(shí)模型檢測(cè)精度有所下降，尤其對(duì)小目標(biāo)的檢測(cè)精度較低，定位目標(biāo)準(zhǔn)確性差。針對(duì)此問(wèn)題，Liu等人［9］提出了一種SSD（Single Shot MultiBox Detector）方法，在不同尺度特征圖上分別生成目標(biāo)的先驗(yàn)框，提高了模型對(duì)不同尺度目標(biāo)的檢測(cè)精度。Redmon 和Farhadi［10］提出的YOLOv2 方法借鑒了SSD 對(duì)多尺度特征的處理策略，對(duì)小尺寸目標(biāo)的檢測(cè)精度有所提高，且其檢測(cè)精度能夠滿(mǎn)足大部分應(yīng)用場(chǎng)景。然而，該方法仍然采用特征提取能力較弱的Darknet19基礎(chǔ)網(wǎng)絡(luò)，目標(biāo)檢測(cè)精度有待進(jìn)一步提高。

深度學(xué)習(xí)方法利用卷積神經(jīng)網(wǎng)絡(luò)豐富提取圖像特征檢測(cè)目標(biāo)，能夠滿(mǎn)足激光跟蹤儀不同工作距離條件下多尺度目標(biāo)檢測(cè)的需求。其中，YOLOv2 方法使用單個(gè)卷積神經(jīng)網(wǎng)絡(luò)直接對(duì)目標(biāo)進(jìn)行分類(lèi)與回歸預(yù)測(cè)，檢測(cè)速度快，滿(mǎn)足激光跟蹤儀實(shí)時(shí)檢測(cè)合作目標(biāo)靶球的需求。但是YOLOv2的基礎(chǔ)網(wǎng)絡(luò)特征提取能力較弱，針對(duì)小目標(biāo)的定位能力較差，且復(fù)雜環(huán)境條件下的抗干擾能力較差，制約了合作目標(biāo)靶球的檢測(cè)精度。通過(guò)改進(jìn)基礎(chǔ)特征提取網(wǎng)絡(luò)，可進(jìn)一步提高YOLOv2網(wǎng)絡(luò)對(duì)多尺度目標(biāo)的提取能力，從而提高檢測(cè)精度。

針對(duì)激光跟蹤儀跟蹤的合作目標(biāo)靶球形狀單一、紋理細(xì)節(jié)較少且場(chǎng)景復(fù)雜的問(wèn)題，改進(jìn)基礎(chǔ)特征網(wǎng)絡(luò)，提出一種基于YOLOv2單階段目標(biāo)檢測(cè)模型的靶球檢測(cè)方法，能夠有效克服復(fù)雜背景的干擾，提高合作目標(biāo)靶球的檢測(cè)精度，從而提升激光跟蹤儀對(duì)合作目標(biāo)的瞄準(zhǔn)精度。

1 基于YOLOv2 卷積神經(jīng)網(wǎng)絡(luò)的合作目標(biāo)靶球檢測(cè)方法

1.1 YOLOv2網(wǎng)絡(luò)結(jié)構(gòu)原理

Joseph Redmon 在2016 年提出了YOLOv2 網(wǎng)絡(luò)結(jié)構(gòu)［10］，圖像輸入網(wǎng)絡(luò)后被劃分為S×S個(gè)網(wǎng)格，每個(gè)網(wǎng)格通過(guò)卷積神經(jīng)網(wǎng)絡(luò)后預(yù)測(cè)生成K個(gè)邊界框。邊界框包含目標(biāo)的置信度為Pr(Object)，預(yù)測(cè)邊界框與真實(shí)邊界的交并比為目標(biāo)屬于第i類(lèi)的條件概率為，則每個(gè)預(yù)測(cè)框的類(lèi)別置信度表示為

式（1）表征了目標(biāo)的預(yù)測(cè)邊框與真實(shí)邊框重合程度以及目標(biāo)屬于第i類(lèi)的概率。

大型裝置精密裝配時(shí)，合作目標(biāo)的運(yùn)動(dòng)范圍廣且隨機(jī)性強(qiáng)，背景環(huán)境復(fù)雜，將YOLOv2直接用于合作靶球?qū)崟r(shí)檢測(cè)仍存在一定挑戰(zhàn)。YOLOv2 候選框所能匹配到的正負(fù)樣本比例極為懸殊，而YOLOv2 的“Fine-Grained Features”方法偏重于融合不同層的全局特征，融合時(shí)會(huì)損失部分多尺度特征圖的局部細(xì)節(jié)信息，造成對(duì)小尺寸目標(biāo)的檢測(cè)精度下降，制約了合作目標(biāo)檢測(cè)精度。

1.2 針對(duì)靶球尺度變化及小目標(biāo)檢測(cè)的改進(jìn)網(wǎng)絡(luò)

除了模型與各項(xiàng)參數(shù)外，訓(xùn)練數(shù)據(jù)集的樣本質(zhì)量也影響著深度學(xué)習(xí)網(wǎng)絡(luò)的最終檢測(cè)性能［11-12］。若待測(cè)樣本極易被模型檢測(cè)，則其被認(rèn)為是簡(jiǎn)單樣本；若待測(cè)樣本較難被模型檢測(cè)，則其被認(rèn)為是困難樣本。相關(guān)研究表明：在模型訓(xùn)練困難樣本時(shí)，會(huì)產(chǎn)生較大的梯度變化，通過(guò)降低簡(jiǎn)單樣本的權(quán)重，增大困難樣本在訓(xùn)練中的權(quán)重，使其對(duì)損失的貢獻(xiàn)變大，能夠有效提高模型的優(yōu)化效率。

文章提出了一種結(jié)合注意力機(jī)制框架結(jié)構(gòu)與困難樣本挖掘的方法，通過(guò)注意力機(jī)制來(lái)自適應(yīng)提取合作目標(biāo)靶球周?chē)挠杏眯畔?。注意力機(jī)制模塊從多個(gè)感受野提取到大量上下文信息，并自適應(yīng)提取顯著對(duì)象周?chē)挠杏眯畔?。同時(shí)使用了更深度化的特征提取網(wǎng)絡(luò)，提取更豐富的全局語(yǔ)義信息與局部定位信息，從而得到更好的檢測(cè)與定位精度?；谧⒁饬C(jī)制與困難樣本挖掘的改進(jìn)YOLOv2模型網(wǎng)絡(luò)圖如圖1所示，使用RestNet50替換了原YOLOv2 中的Darknet19 特征提取網(wǎng)絡(luò)，并增加了注意力機(jī)制（AM）模塊以提升模型對(duì)困難樣本的挖掘能力。在圖像輸入特征提取網(wǎng)絡(luò)前對(duì)其進(jìn)行切片（Slice）操作，使用最近鄰下采樣（Focus）將原本只有RGB 三通道的輸入圖像擴(kuò)充到12 個(gè)通道，經(jīng)過(guò)卷積組件（CBL）和殘差組件（Rex Unit）處理后，進(jìn)行特征融合（Concat），得到包含豐富特征且無(wú)信息損失的特征圖，在輸出層利用注意力機(jī)制獲取有用的目標(biāo)信息。相較標(biāo)準(zhǔn)的YOLOv2網(wǎng)絡(luò)，新的特征圖具有更強(qiáng)的小目標(biāo)檢測(cè)能力，且在復(fù)雜背景下的魯棒性更強(qiáng)。

圖1 基于注意力機(jī)制與困難樣本挖掘的改進(jìn)YOLOv2模型網(wǎng)絡(luò)圖Fig.1 Improved YOLOv2 network based on attention mechanism and difficult sample mining

2 合作目標(biāo)靶球數(shù)據(jù)集分析與數(shù)據(jù)增強(qiáng)

2.1 合作目標(biāo)靶球數(shù)據(jù)集的建立

構(gòu)建的合作目標(biāo)靶球數(shù)據(jù)集使用面陣CCD 相機(jī)采集，使用PASCALVOC 標(biāo)準(zhǔn)數(shù)據(jù)集格式標(biāo)注，部分樣本圖像如圖2 所示，其中（a），（b），（d）為不同場(chǎng)景的圖像，（b），（c）為同一場(chǎng)景不同角度的圖像，標(biāo)注目標(biāo)為合作目標(biāo)靶球。合作目標(biāo)靶球在圖像中接近圓形，在構(gòu)建數(shù)據(jù)集時(shí)用圓形瓶蓋、圓形器件等構(gòu)建靶球的復(fù)雜背景。

圖2 部分合作目標(biāo)靶球數(shù)據(jù)集圖像Fig.2 Sample images of the cooperative target ball dataset

數(shù)據(jù)集包含1056 張圖像。每張圖像大小為640×480 pixels，每幅圖像僅包含一個(gè)合作目標(biāo)靶球，其最小邊界框的左上角與右下角坐標(biāo)作為真實(shí)值保存為標(biāo)簽。在真實(shí)應(yīng)用場(chǎng)景中，合作目標(biāo)靶球可能出現(xiàn)在圖像的任意位置，數(shù)據(jù)集中合作目標(biāo)靶球的位置分布如圖3（a）所示，數(shù)據(jù)集中合作目標(biāo)靶球在圖像中的面積占比分布如圖3（b）所示，可以看出長(zhǎng)寬比小的區(qū)域樣本密集，小目標(biāo)在整個(gè)數(shù)據(jù)集中占比較高。

圖3 合作目標(biāo)靶球分布圖Fig.3 Distribution of cooperative target balls

2.2 基于復(fù)雜背景的數(shù)據(jù)增強(qiáng)

深度學(xué)習(xí)目標(biāo)檢測(cè)模型的檢測(cè)性能一定程度上受數(shù)據(jù)集質(zhì)量的影響。在實(shí)際應(yīng)用中背景極為復(fù)雜，且合作目標(biāo)靶球在圖像中的大小會(huì)發(fā)生變化，為了增加模型對(duì)強(qiáng)背景干擾的魯棒性并提高圖像中任意大小合作目標(biāo)靶球的檢測(cè)精度，需要針對(duì)小目標(biāo)進(jìn)行數(shù)據(jù)增強(qiáng)［13］。

實(shí)驗(yàn)中發(fā)現(xiàn)，使用Mixup［14］數(shù)據(jù)增強(qiáng)方法不能解決復(fù)雜背景造成的檢測(cè)精度下降的問(wèn)題。由于合作目標(biāo)靶球的結(jié)構(gòu)外形單一，形狀近似的背景目標(biāo)極易對(duì)檢測(cè)造成干擾，且訓(xùn)練樣本中小目標(biāo)數(shù)據(jù)較少，采用測(cè)試集檢測(cè)小目標(biāo)樣本時(shí)效果較差。因此，本文提出了一種圖像拼接的數(shù)據(jù)增強(qiáng)方法：從原始數(shù)據(jù)集隨機(jī)選取4 張圖像，對(duì)4 張圖像分別進(jìn)行翻轉(zhuǎn)、旋轉(zhuǎn)、縮放操作后，拼接成一幅圖像，對(duì)于縮小圖像進(jìn)行0 像素填充，擴(kuò)充圖像至原圖像大小，對(duì)于放大圖像隨機(jī)截取包含合作目標(biāo)靶球的和原圖大小相同的區(qū)域，如此就形成了新的增強(qiáng)數(shù)據(jù)集。拼接增強(qiáng)后的圖像增加了合作目標(biāo)背景復(fù)雜度，從而提高模型對(duì)復(fù)雜背景干擾的魯棒性。且由于4 張圖像拼接減小了訓(xùn)練樣本合作目標(biāo)靶球的尺寸，從而有效地提高了模型對(duì)小尺度合作目標(biāo)靶球的檢測(cè)精度。采用數(shù)據(jù)集中隨機(jī)4 幅圖像進(jìn)行圖像拼接后生成的數(shù)據(jù)增強(qiáng)圖像如圖4 所示，其中O 為目標(biāo)靶球。該方法增強(qiáng)了原數(shù)據(jù)集中圖像的背景復(fù)雜度，有效地增加了檢測(cè)模型對(duì)復(fù)雜環(huán)境的魯棒性，以拼接圖像作為訓(xùn)練樣本，使合作目標(biāo)靶球的檢測(cè)準(zhǔn)確率得到顯著提高。

圖4 部分經(jīng)過(guò)數(shù)據(jù)增強(qiáng)后的合作目標(biāo)靶球數(shù)據(jù)集圖像Fig.4 Sample images of the cooperative target ball dataset by stitching enhancement

3 實(shí)驗(yàn)與結(jié)果分析

3.1 合作目標(biāo)靶球檢測(cè)的評(píng)價(jià)指標(biāo)

合作目標(biāo)靶球檢測(cè)使用平均準(zhǔn)確率AP（Average Precision）和每秒檢測(cè)幀數(shù)FPS（Frames Per Second）作為評(píng)價(jià)指標(biāo)。如圖5 所示，內(nèi)部矩形為預(yù)測(cè)為合作目標(biāo)靶球的樣本數(shù)量，外部矩形為所有被檢測(cè)為非合作目標(biāo)靶球的樣本數(shù)量。TP（True Positives）為預(yù)測(cè)與實(shí)際均為合作目標(biāo)靶球的樣本數(shù)量，F(xiàn)P（False Positives）為預(yù)測(cè)為合作目標(biāo)靶球但實(shí)際為干擾目標(biāo)的樣本數(shù)量，F(xiàn)N（False Negatives）為未檢出合作目標(biāo)靶球的樣本數(shù)量，TN（True Negatives）為預(yù)測(cè)為非合作目標(biāo)且實(shí)際為非合作目標(biāo)靶球樣本數(shù)量。

圖5 預(yù)測(cè)合作目標(biāo)靶球與真實(shí)合作目標(biāo)靶球的TP，F(xiàn)P，F(xiàn)N和TN的定義Fig.5 Definitions of TP，F(xiàn)P，F(xiàn)N and TN for predicted cooperative target balls and real cooperative target balls

查準(zhǔn)率p（Precision）和查全率r（Recall）可分別表示為

AP為合作目標(biāo)靶球PR曲線(xiàn)（Precision-Recall Curve）所包含的面積。使用11 點(diǎn)法［15］計(jì)算各個(gè)類(lèi)別的AP，計(jì)算公式如式（4）所示。

3.2 合作目標(biāo)靶球檢測(cè)實(shí)驗(yàn)結(jié)果

按照8∶1∶2 的比例將原始數(shù)據(jù)集分為訓(xùn)練集、驗(yàn)證集與測(cè)試集。采用2.2節(jié)所述的方法對(duì)原始數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)。采用未參加訓(xùn)練的207張?jiān)瓟?shù)據(jù)集中的圖像進(jìn)行算法性能測(cè)試，其中小目標(biāo)測(cè)試樣本約占總測(cè)試樣本數(shù)量的40%。實(shí)驗(yàn)所使用的高性能圖像工作站配置為Intel Core I7 v4 3.3 GHz CPU，128.00 GB內(nèi)存，RTX2080 Ti GPU，11.00 GB GPU 顯存。合作目標(biāo)靶球檢測(cè)實(shí)驗(yàn)在Windows10 系統(tǒng)Pycharm 平臺(tái)和Visual Studio 2019平臺(tái)上進(jìn)行，所有程序均采用python 語(yǔ)言和C/C++語(yǔ)言編程實(shí)現(xiàn)；程序所使用的深度學(xué)習(xí)框架為Py-Torch（C 語(yǔ)言對(duì)應(yīng)為L(zhǎng)ibTorch）。模型訓(xùn)練過(guò)程中的動(dòng)量設(shè)置為0.9，訓(xùn)練批次大小為4，權(quán)值衰減系數(shù)為1×10-4，訓(xùn)練初始學(xué)習(xí)率為5×10-3，最大迭代次數(shù)為30000，在迭代進(jìn)行到5000 次和12000 次時(shí)，學(xué)習(xí)率分別減小至5×10-4和5×10-5。

為比較本文提出的結(jié)合注意力機(jī)制和困難數(shù)據(jù)挖掘的改進(jìn)YOLOv2 的檢測(cè)性能，分別對(duì)Faster-RCNN、標(biāo)準(zhǔn)YOLOv2 和本文提出的改進(jìn)YOLOv2三種模型采用原始數(shù)據(jù)集和數(shù)據(jù)增強(qiáng)后數(shù)據(jù)集進(jìn)行模型訓(xùn)練，并采用同一測(cè)試集進(jìn)行合作目標(biāo)靶球檢測(cè)，6 種測(cè)試結(jié)果見(jiàn)表1。由實(shí)驗(yàn)結(jié)果可知，相較原始數(shù)據(jù)集，經(jīng)數(shù)據(jù)增強(qiáng)后的數(shù)據(jù)集檢測(cè)精度有了顯著提高。本文提出的改進(jìn)YOLOv2方法的檢測(cè)準(zhǔn)確率為92.25%，相較FasterRCNN 模型檢測(cè)準(zhǔn)確率提高了5.79%，且檢測(cè)速度接近Faster-RCNN 模型的5 倍，能夠有效滿(mǎn)足合作目標(biāo)靶球高精度檢測(cè)要求。

表1 不同模型合作目標(biāo)靶球檢測(cè)結(jié)果Tab.1 Detection results of cooperative target balls by different models

利用標(biāo)準(zhǔn)的YOLOv2 與改進(jìn)的YOLOv2 對(duì)同一數(shù)據(jù)集中不同圖像中合作目標(biāo)靶球進(jìn)行對(duì)比檢測(cè)試驗(yàn)，結(jié)果如圖6 和圖7 所示，同時(shí)在3 個(gè)場(chǎng)景條件下進(jìn)行檢測(cè)，標(biāo)準(zhǔn)YOLOv2模型在復(fù)雜背景下對(duì)小目標(biāo)存在誤檢和漏檢，而本文提出的改進(jìn)的YOLOv2 方法在復(fù)雜背景下的抗干擾性能較好，能夠保持較高的小目標(biāo)檢測(cè)準(zhǔn)確率，相較標(biāo)準(zhǔn)YOLOv2方法具有明顯優(yōu)勢(shì)。

圖6 標(biāo)準(zhǔn)YOLOv2模型的不同圖像中目標(biāo)靶球的檢測(cè)結(jié)果Fig.6 Detection results of target ball in different images of classical YOLOv2 network

圖7 改進(jìn)YOLOv2模型的不同圖像中目標(biāo)靶球的檢測(cè)結(jié)果Fig.7 Detection results of target ball in different images of improved YOLOv2 network

4 結(jié)論

為解決激光跟蹤儀在大型裝置精密裝配過(guò)程中對(duì)合作目標(biāo)瞄準(zhǔn)精度較低的問(wèn)題，探尋基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法，以提升復(fù)雜背景下合作目標(biāo)靶球的檢測(cè)準(zhǔn)確率與檢測(cè)速度。分析了實(shí)際應(yīng)用中檢測(cè)距離變化而使靶標(biāo)在圖像中尺寸不同，導(dǎo)致YOLOv2 深度卷積神經(jīng)網(wǎng)絡(luò)算法模型對(duì)合作目標(biāo)靶球檢測(cè)精度較低的現(xiàn)象，提出引入基于注意力機(jī)制與困難樣本挖掘的方法提升多尺度目標(biāo)檢測(cè)精度；針對(duì)復(fù)雜背景條件下，合作目標(biāo)靶球外形單一，紋理細(xì)節(jié)較少的特點(diǎn)，提出了基于拼接圖像對(duì)數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)的方法，增加復(fù)雜背景和小目標(biāo)樣本的數(shù)量，有效提高了模型的檢測(cè)準(zhǔn)確率。實(shí)驗(yàn)結(jié)果表明，本文提出的改進(jìn)YOLOv2 模型和數(shù)據(jù)增強(qiáng)方法能夠顯著提高復(fù)雜背景下小目標(biāo)合作目標(biāo)靶球的檢測(cè)精度，適用于遠(yuǎn)距離的合作目標(biāo)跟蹤，能夠滿(mǎn)足激光跟蹤儀的實(shí)際應(yīng)用要求。