面向廢線路板拆解的高值電子器件自動(dòng)識(shí)別方法研究

陳從平徐道猛李 游鄧 揚(yáng)何枝蔚張 屹戴國(guó)洪

(1.三峽大學(xué) 機(jī)械與動(dòng)力學(xué)院,湖北 宜昌443002；2.常州大學(xué) 機(jī)械工程學(xué)院,江蘇 常州213164)

目前,我國(guó)電子產(chǎn)品年報(bào)廢達(dá)5億臺(tái)/540萬(wàn)t,并正以33%的速率增長(zhǎng),造成環(huán)境污染和極大資源浪費(fèi),迫切需要開(kāi)發(fā)高效的處置利用技術(shù)與方法,以實(shí)現(xiàn)對(duì)線路板金屬材料進(jìn)行回收利用[1].線路板上的主要金屬如銅等主要富集在引腳密集的接口上(如PCI等)；稀貴金屬如金、銀等主要富集在CPU、IC 芯片、晶振及主要總線型接口上.如果對(duì)上述含銅及稀貴金屬富集的高值電子器件單獨(dú)拆解,后集中提純處理,相比于對(duì)整塊線路板及其上所有電子器件同時(shí)處理而言,將會(huì)顯著提高處置效益,同時(shí)也會(huì)減少后續(xù)提純過(guò)程中化學(xué)試劑的用量而減少環(huán)境污染[2-4].然而,由于廢線路板種類繁多,不同廢線路板上所含高值電子器件數(shù)量、大小、形狀、相對(duì)位置等都各異,若采用人工識(shí)別并進(jìn)行拆解,會(huì)嚴(yán)重降低效率并增加成本,亟待開(kāi)發(fā)自動(dòng)化的識(shí)別方法.

現(xiàn)有對(duì)線路板上電子器件自動(dòng)識(shí)別的方法均采用人工定義特征并結(jié)合機(jī)器視覺(jué)進(jìn)行識(shí)別.其中影響識(shí)別準(zhǔn)確性最為關(guān)鍵的人工定義特征主要分為兩大類,一是輪廓特征,二是顏色特征.例如柯一劍提出的采用機(jī)器視覺(jué)算法識(shí)別電子器件[5],即使是在較簡(jiǎn)單的背景下對(duì)4類元器件的識(shí)別準(zhǔn)確率也只有81.3%,當(dāng)改變檢測(cè)背景和元器件顏色或形狀時(shí),準(zhǔn)確率基本降為零,可見(jiàn)機(jī)器視覺(jué)算法的環(huán)境適應(yīng)性和可移植性極差.然而,同類高值器件在同一塊線路板或不同類型線路板上的形狀、大小、顏色都存在差異,且易受其他非高值元器件形狀、顏色、印刷電路輪廓、線路板底色等背景的干擾,故上述方法雖然對(duì)單一類型電子器件或固定類型線路板上多類電子器件識(shí)別有較好效果,但不適于生產(chǎn)線上多類型板卡、多類型電子器件的通用性識(shí)別,方法的可移植性和魯棒性差.

本文提出了一種基于深度學(xué)習(xí)的廢線路板高值電子器件自動(dòng)識(shí)別方法,搭建YOLOv3網(wǎng)絡(luò)模型并對(duì)模型進(jìn)行了改進(jìn),后通過(guò)網(wǎng)絡(luò)訓(xùn)練獲得多類高值電子器件特征模型對(duì)目標(biāo)器件進(jìn)行識(shí)別.與現(xiàn)有的基于深度學(xué)習(xí)識(shí)別方法相比,經(jīng)本文改進(jìn)后的方法不僅能實(shí)現(xiàn)多類高值電子器件的高精度識(shí)別,還具有很強(qiáng)的可移植性,可為廢線路板高值電子器件智能拆解提供關(guān)鍵技術(shù)支撐.

1 電子器件的識(shí)別方法

目前較為典型的深度學(xué)習(xí)網(wǎng)絡(luò)模型主要有SINet、SSD-Resnet、SSD[6]、Fast-RCNN、Faster RCNN[7]、R-FCN、YOLOv3[8]等,其中YOLOv3網(wǎng)絡(luò)模型相比于其他幾種網(wǎng)絡(luò)模型在檢測(cè)精度高的同時(shí)實(shí)時(shí)性也非常好,且其網(wǎng)絡(luò)內(nèi)部采用了金字塔網(wǎng)絡(luò)結(jié)構(gòu)和多尺度檢測(cè)思想,針對(duì)不同的問(wèn)題優(yōu)化空間大.因此本文以YOLOv3模型為基礎(chǔ)并對(duì)其優(yōu)化作為高值電子器件自動(dòng)識(shí)別的網(wǎng)絡(luò)訓(xùn)練模型.

1.1 YOLOv3算法原理

YOLOv3由Joseph Redmon在2018年提出,它是在Deaknet和YOLO[9]的基礎(chǔ)上發(fā)展而來(lái)的,主要采用了Darknet的殘差結(jié)構(gòu)來(lái)構(gòu)建網(wǎng)絡(luò)深度和運(yùn)用不同的降采樣倍數(shù)來(lái)提取不同尺寸特征圖,從而實(shí)現(xiàn)多尺度預(yù)測(cè)[10-11].其中殘差網(wǎng)絡(luò)結(jié)構(gòu)除了用于構(gòu)建網(wǎng)絡(luò)深度以外,在訓(xùn)練過(guò)程中還有利于信息的流動(dòng),使網(wǎng)絡(luò)訓(xùn)練起來(lái)比較容易.殘差結(jié)構(gòu)通常為每個(gè)殘差塊按一定的順序堆疊,各卷積層之間有直接連接,也有跳躍性連接,通過(guò)這樣的連接方式實(shí)現(xiàn)不同殘差塊、不同卷積層之間的信息傳遞與共享.若以xi和xi+1來(lái)表示第i個(gè)殘差塊的輸入與輸出向量,Fi(xi)表示轉(zhuǎn)換函數(shù),有:

對(duì)于多尺度目標(biāo)檢測(cè),YOLOv3使用了類似FPN 網(wǎng)絡(luò)金字塔的結(jié)構(gòu),將原圖像按照特征圖尺度大小將其劃分為K×K個(gè)等大的單元格,每個(gè)單元格再借助3個(gè)先驗(yàn)框(anchors box)來(lái)預(yù)測(cè)3個(gè)邊界框,而神經(jīng)網(wǎng)絡(luò)則為每個(gè)邊界框預(yù)測(cè)坐標(biāo)(x0,y0)、目標(biāo)寬w1和高h(yuǎn)14個(gè)值.若設(shè)目標(biāo)中心相對(duì)圖像左上角偏移量為(Δx,Δy),先驗(yàn)框高寬分別為w0,h0,則邊界框修正后為:

由于不同尺度特征圖的感受視野不一樣大[8],因此適合檢測(cè)不同尺寸的高值電子器件目標(biāo).

1.2數(shù)據(jù)集制作、網(wǎng)絡(luò)搭建優(yōu)化及訓(xùn)練

1.2.1 數(shù)據(jù)集的制作

總共采集了1000張含各類高值電子器件的廢線路板圖像,并按9∶1分配為訓(xùn)練集樣本和驗(yàn)證集樣本.這些圖像來(lái)自多種電子電器設(shè)備如洗衣機(jī)、電視機(jī)、空調(diào)、電腦等的廢線路板,并按VOC2012數(shù)據(jù)集的格式將其統(tǒng)一縮放成一個(gè)規(guī)格,即將圖片高和寬其中一個(gè)值固定為500 pixel,另一個(gè)值在450～500 pixel范圍內(nèi),然后對(duì)數(shù)據(jù)集的圖像進(jìn)行標(biāo)注,為了減小標(biāo)注工作量,對(duì)小于25×25 pixel的電子器件未做標(biāo)注也不列入回收范圍.采集的部分樣本如圖2所示,圖中主要對(duì)6個(gè)類別的目標(biāo)進(jìn)行了標(biāo)注,分別是CPU,IC芯片,晶振(X),插槽(PCI、DDIM),鋰電池(CR).

1.2.2 網(wǎng)絡(luò)搭建與優(yōu)化

以YOLOv3網(wǎng)絡(luò)模型為基礎(chǔ),將原來(lái)的網(wǎng)絡(luò)主體Darknet-53調(diào)整為Deaknet-62,并增加一個(gè)檢測(cè)尺度,構(gòu)建新的網(wǎng)絡(luò)模型YOLOv3-Darknet62.從模型的結(jié)構(gòu)上看整個(gè)網(wǎng)絡(luò)沒(méi)有像Faster RCNN 等網(wǎng)絡(luò)那樣含池化層和全連接層,而是在前向傳播過(guò)程中,通過(guò)改變卷積核的步長(zhǎng)來(lái)變換張量尺寸[8].所搭建的網(wǎng)絡(luò)模型深度為130 層(BN、leak_Re LU、add、con、zero Padding共178層未計(jì)算在內(nèi)),其中0～87 層為Deaknet-62部分,含有61 個(gè)卷積層,并引入Resnet特征金字塔網(wǎng)絡(luò)和運(yùn)用殘差結(jié)構(gòu)的跳躍式連接來(lái)增加網(wǎng)絡(luò)深度；88～130 層為YOLO網(wǎng)絡(luò)的特征交互層,分為4個(gè)尺度,每個(gè)尺度內(nèi),通過(guò)卷積核的方式實(shí)現(xiàn)特征圖局部特征交互,根據(jù)數(shù)據(jù)標(biāo)準(zhǔn)化處理以及維度聚類、細(xì)粒度特征操作,直接預(yù)測(cè)出目標(biāo)的中心坐標(biāo)；通過(guò)懲罰機(jī)制來(lái)提高模型的泛化能力,更好地匹配定位目標(biāo),在此基礎(chǔ)上添加多標(biāo)簽、多分類的邏輯回歸層,對(duì)每個(gè)類別做二分類,從而可實(shí)現(xiàn)分類識(shí)別.

由于各類高值電子器件尺寸差異較大,例如通常IC芯片與PCI插槽的長(zhǎng)度尺寸差別可達(dá)到數(shù)倍.為提高YOLOv3網(wǎng)絡(luò)模型對(duì)不同尺寸的高值器件檢出能力,本文對(duì)傳統(tǒng)YOLOv3 網(wǎng)絡(luò)模型進(jìn)行改進(jìn),在YOLOv3網(wǎng)絡(luò)模型后增加一個(gè)卷積塊(res4)與原網(wǎng)絡(luò)組成4尺度檢測(cè)模型,并將圖像輸入尺寸調(diào)整為512×512,構(gòu)成64×64,32×32,16×16,8×8共4個(gè)尺度的特征金字塔,即將網(wǎng)絡(luò)模型的最小提取特征層尺寸降為8×8,最大提取特征層尺寸提升到64×64,使得在檢測(cè)較大尺寸的插槽和較小的IC芯片時(shí)均有較高的檢出能力.并對(duì)形成的特征金字塔仍執(zhí)行2倍以上采樣操作,與前面的深度殘差網(wǎng)絡(luò)拼接形成深度為130層的高值電子器件識(shí)別網(wǎng)絡(luò)模型.圖3為所搭建網(wǎng)絡(luò)模型的結(jié)構(gòu)簡(jiǎn)圖,其中的6 個(gè)卷積塊共含有54個(gè)卷積層和27個(gè)殘差層.圖中Yi(i=1,2,3,4)表示不同的輸出尺度,DBL 是YOLOv3 的基本組件,代表conv+BN+Leaky_ReLU；Res-n 為YOLOv3的大組件,n代表數(shù)字,有res1,res2,…,res8 等,表示該res-block里含有多少個(gè)res-unit；con為張量拼接,即將darknet中間層和后面某一層的上采樣進(jìn)行拼接,用來(lái)擴(kuò)充張量的維度(本文類別為6類輸出張量維度為33),add表示殘差層的相加.

其中特征金字塔與殘差網(wǎng)絡(luò)的拼接方式為:經(jīng)上采樣的第98層與第74層殘差層拼接,經(jīng)上采樣的第110層與第61層殘差層拼接,經(jīng)上采樣的第122層與第36層殘差層拼接,并且所有卷積層使用1×1或3×3的卷積核進(jìn)行卷積,細(xì)節(jié)如圖4所示.

進(jìn)一步,通過(guò)數(shù)據(jù)集運(yùn)行了10次K-means聚類運(yùn)算程序,對(duì)每次生成的12個(gè)achours結(jié)合本文檢測(cè)目標(biāo)的尺寸和高寬比進(jìn)行分析比較,最終選擇20×172,22×19,26×40,35×27,38×331,47×53,72×86,90×42,129×118,209×203,233×20,365×39作為先驗(yàn)框.

1.2.3 網(wǎng)絡(luò)的訓(xùn)練

模型訓(xùn)練時(shí),采用Adam作為優(yōu)化器,使用隨機(jī)梯度下降進(jìn)行優(yōu)化,初始學(xué)習(xí)率設(shè)為lr=0.001,衰減因子dec=0.1,每訓(xùn)練10個(gè)批次衰減一次.同時(shí)還采用對(duì)數(shù)據(jù)集圖像隨機(jī)裁剪、水平翻轉(zhuǎn)、旋轉(zhuǎn)角度、調(diào)整色調(diào)、曝光度和飽和度來(lái)生成更多的訓(xùn)練數(shù)據(jù),以提高模型的檢測(cè)能力和泛化能力,其中表1為數(shù)據(jù)增強(qiáng)策略對(duì)檢測(cè)產(chǎn)生的不同效果.

表1數(shù)據(jù)增強(qiáng)策略產(chǎn)生的不同效果

在網(wǎng)絡(luò)收斂后,利用已標(biāo)注好的100張驗(yàn)證集樣本對(duì)模型進(jìn)行驗(yàn)證,結(jié)果如圖5所示,其中圖5(a)為未經(jīng)改進(jìn)的YOLOv3 原模型在驗(yàn)證集上的驗(yàn)證結(jié)果,在圖5(a)的第2張圖中出現(xiàn)了PCI插槽被重檢及晶振X 被漏檢的現(xiàn)象；圖5(b)為經(jīng)本文改進(jìn)后的模型在驗(yàn)證集上的驗(yàn)證結(jié)果,從中可以看出對(duì)于CPU 的檢測(cè)精度從87%上升到了92%；對(duì)其他高值電子器件的平均檢測(cè)精度提升了約2.5%,同時(shí)PCI插槽的重檢和晶振的漏檢問(wèn)題也被解決.故優(yōu)化后的YOLOv3-Darknet62模型不僅解決了重檢漏檢問(wèn)題,在檢測(cè)精度上也有所提高.

2 實(shí)驗(yàn)與分析

2.1 實(shí)驗(yàn)條件與訓(xùn)練結(jié)果

實(shí)驗(yàn)軟硬件配置見(jiàn)表2.

表2軟硬件配置

圖6 為本文制作的數(shù)據(jù)集在YOLOv3-Darknet62網(wǎng)絡(luò)模型訓(xùn)練過(guò)程中的損失值收斂曲線,橫坐標(biāo)表示迭代次數(shù),最大迭代為55 000次.當(dāng)網(wǎng)絡(luò)迭代超過(guò)3萬(wàn)次時(shí),各參數(shù)變化基本穩(wěn)定,最后損失值趨近于0,網(wǎng)絡(luò)訓(xùn)練結(jié)果較理想.

2.2 網(wǎng)絡(luò)模型性能評(píng)估與分析

依據(jù)VOC2007的評(píng)價(jià)標(biāo)準(zhǔn)通過(guò)繪制P-R曲線(如圖7所示),其中P代表Precision(準(zhǔn)確率),R代表Recall(召回率),并比較曲線下方與坐標(biāo)軸所圍成的面積(AUC)和比較檢測(cè)精度m AP 來(lái)對(duì)網(wǎng)絡(luò)模型性能進(jìn)行評(píng)估.其中AUC和m AP的值越大,則表示模型的性能越好.下面給出了P-R曲線的繪制方法和m AP的計(jì)算方法.

圖7(a)展示了在部分KITTI數(shù)據(jù)集(小目標(biāo)數(shù)較少)上5種不同深度學(xué)習(xí)網(wǎng)絡(luò)(Faster-R-CNN、YOLOv2、SSD-512、YOLOv3、YOLOv3-Darknet62)的P-R曲線.其中縱坐標(biāo)為6種目標(biāo)類別(pedestrian,car,van,truck,tram,cyclist)的平均值,橫坐標(biāo)為平均召回率.圖7(b)為在本文制作的數(shù)據(jù)集(含有大量小目標(biāo))上5種不同方法6個(gè)類別的P-R曲線,從圖7可看出兩種不同數(shù)據(jù)集對(duì)YOLOv3類網(wǎng)絡(luò)模型性能的相對(duì)影響不大,而對(duì)其他3種網(wǎng)絡(luò)模型性能的相對(duì)影響卻很大.同時(shí)YOLOv3-Darknet62 在兩種數(shù)據(jù)集上繪制出的P-R曲線與坐標(biāo)軸所圍成的面積(AUC)都最大,分別為0.843和0.791,由此可知YOLOv3-Darknet62的性能最優(yōu).

用Tp代表真例,Fp代表假例,FN為假負(fù)例,AP代表每個(gè)類別的平均精度,為召回率滿足時(shí)的精度最大值,R代表獲得精度最大值時(shí)的召回率,N代表類別數(shù),則有:

表3為5種不同網(wǎng)絡(luò)模型在本文測(cè)試集上的識(shí)別結(jié)果.通過(guò)比較AP 和m AP 兩個(gè)評(píng)估指標(biāo)可以發(fā)現(xiàn),在對(duì)含有大量小目標(biāo)的高值電子器件進(jìn)行識(shí)別時(shí),采用殘差網(wǎng)絡(luò)結(jié)構(gòu)和4尺度預(yù)測(cè)算法的YOLOv3-Darknet62網(wǎng)絡(luò)模型在對(duì)高值電子器件識(shí)別上其檢測(cè)精度m AP 值最高且達(dá)到了79.23%,比

SSD、YOLOv2高出8.1%以上,同時(shí)可發(fā)現(xiàn)檢測(cè)尺寸偏小的目標(biāo)(如晶振X)時(shí)所得到的AP(每個(gè)類別對(duì)應(yīng)的列)雖然偏低,但是YOLOv3-Darknet62模型的AP值仍然高于其他類型網(wǎng)絡(luò)的識(shí)別結(jié)果.

表3不同網(wǎng)絡(luò)模型在本文測(cè)試集上的識(shí)別結(jié)果

3 結(jié)論

本文提出了一種面向廢線路板智能拆解的高值電子器件識(shí)別方法,通過(guò)調(diào)整YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)和增加檢測(cè)尺度提升了原YOLOv3網(wǎng)絡(luò)模型的目標(biāo)檢測(cè)識(shí)別性能.實(shí)驗(yàn)表明經(jīng)改進(jìn)后,本文所提供的方法對(duì)廢線路板高值電子器件識(shí)別精度顯著提高,且能對(duì)多類高值電子器件同時(shí)識(shí)別.