基于自組織映射-反向傳播網(wǎng)絡(luò)的PCB樣板投料預(yù)測(cè)

鄭彬彬 呂盛坪 李燈輝 冼榮亨

(華南農(nóng)業(yè)大學(xué)南方農(nóng)業(yè)機(jī)械與裝備關(guān)鍵技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室 廣東 廣州 510642)

0 引 言

印制電路板(Printed circuit board，PCB)是電子元器件的支柱，常被稱為“電子產(chǎn)品之母”。隨著計(jì)算機(jī)、通信、消費(fèi)電子、5G、汽車電子、人工智能等行業(yè)的快速發(fā)展及其產(chǎn)品的迭代更新，具有不同設(shè)計(jì)特點(diǎn)和制造要求的多樣個(gè)性化PCB訂單(企業(yè)常稱之為樣板)快速增加，針對(duì)樣板的生產(chǎn)模式也從傳統(tǒng)的大規(guī)模批量生產(chǎn)轉(zhuǎn)化為面向客戶的小批量生產(chǎn)，相應(yīng)的生產(chǎn)管控面臨一系列新的挑戰(zhàn)，生產(chǎn)前更準(zhǔn)確預(yù)測(cè)每個(gè)訂單的投料是關(guān)鍵問題之一。

目前，大部分PCB樣板生產(chǎn)基本上依靠人工經(jīng)驗(yàn)估算投料面積并轉(zhuǎn)換計(jì)算相應(yīng)生產(chǎn)面板(Panel)數(shù)。但人工投料常導(dǎo)致車間超投和補(bǔ)投均較高且波動(dòng)較大。超投剩余個(gè)性化PCB樣板只能置于庫存或直接銷毀。通過補(bǔ)投可以減少樣板剩余，但會(huì)增加生產(chǎn)成本和造成交貨拖期，影響企業(yè)信譽(yù)。生產(chǎn)前更合理地確定各訂單投料面積和投入Panel數(shù)，可以降低物料、生產(chǎn)、庫存和銷毀等綜合成本，減少投料人力投入[1-2]。同時(shí)，減少冗余生產(chǎn)可以降低因生產(chǎn)和銷毀帶來的化學(xué)藥品和重金屬污染。

數(shù)據(jù)驅(qū)動(dòng)的智能制造框架[3-4]、范式[5-6]、分析方法和體系[7]等被大量研究。相應(yīng)成果已廣泛應(yīng)用于支持產(chǎn)品設(shè)計(jì)、生產(chǎn)制造、銷售、服務(wù)和回收等產(chǎn)品全生命周期不同階段[8-9]。同時(shí)，數(shù)據(jù)挖掘?yàn)榘盐债a(chǎn)品質(zhì)量規(guī)律和改進(jìn)質(zhì)量提供了更精益智能化手段，相應(yīng)研究主要集中在質(zhì)量描述、預(yù)測(cè)、分類和參數(shù)優(yōu)化四個(gè)方面[10]。具體到PCB質(zhì)量規(guī)律挖掘主要集中在PCB貼裝相關(guān)工藝，所采用理論方法主要集中在支持向量機(jī)(Support vector machine,SVM)[11]、人工神經(jīng)網(wǎng)絡(luò)(Artificial neural networks,ANN)[12-13]、ANN與遺傳算法結(jié)合[14-15]、模糊ANN[16]、自組織映射[17-18]等。所涉及業(yè)務(wù)對(duì)象及其任務(wù)主要集中在PCB貼裝相關(guān)工藝的質(zhì)量描述、預(yù)測(cè)和參數(shù)優(yōu)化。但是上述研究較少涉及PCB生產(chǎn)質(zhì)量特別是樣板質(zhì)量規(guī)律挖掘研究。

結(jié)合企業(yè)需求，呂盛坪等[1]利用多元線性回歸、卡方自動(dòng)交互檢測(cè)器、SVM和ANN構(gòu)建了報(bào)廢率預(yù)測(cè)模型。隨后，提出了考慮單屬性變結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)(multiple structural change ANN,MSC-ANN)預(yù)測(cè)模型[2]。但是訂單結(jié)構(gòu)及其報(bào)廢率影響因素可能存在較大差異，綜合考慮樣板不同屬性對(duì)訂單進(jìn)行分組，繼而優(yōu)選各分組訂單質(zhì)量影響關(guān)鍵因素，在此分組構(gòu)建相應(yīng)預(yù)測(cè)模型將有利于進(jìn)一步提高預(yù)測(cè)模型的精準(zhǔn)度。本文提出先基于SOM對(duì)樣本進(jìn)行聚類分組；繼而采用特征選擇機(jī)制，優(yōu)選各分組數(shù)據(jù)報(bào)廢率關(guān)鍵影響屬性；在每個(gè)分組的基礎(chǔ)上構(gòu)建BPN報(bào)廢率預(yù)測(cè)模型；綜合PCB生產(chǎn)特點(diǎn)，將其轉(zhuǎn)換為對(duì)應(yīng)預(yù)測(cè)投入生產(chǎn)面板數(shù)；最后以生產(chǎn)車間樣板訓(xùn)練上述模型并以不同評(píng)價(jià)指標(biāo)驗(yàn)證所提出模型的可行性和優(yōu)越性。

1 屬性與樣本

綜合企業(yè)資源管理數(shù)據(jù)庫中屬性，利用繼承、派生、轉(zhuǎn)換等方式，共梳理影響樣板報(bào)廢率和統(tǒng)計(jì)分析屬性56個(gè)，具體如表1所示[2]。編號(hào)1-35是可能影響每個(gè)樣板報(bào)廢率的屬性；36-56是統(tǒng)計(jì)變量，其中生產(chǎn)拼板數(shù)、要求生產(chǎn)數(shù)量、向上圓整Panel數(shù)、成品單元面積、要求生產(chǎn)面積等變量(編號(hào)分別為36、38、39、46和47)，不僅可以作為統(tǒng)計(jì)參數(shù)，還可以作為預(yù)測(cè)模型建立的候選屬性。

表1 PCB樣板屬性

在此基礎(chǔ)上，從企業(yè)資源管理數(shù)據(jù)庫中抽取一個(gè)廠2013年10月至2016年10月期間累計(jì)的共計(jì)30 117條有效數(shù)據(jù)，進(jìn)一步采用多變量箱線圖[2]篩除異常數(shù)據(jù)，最后得到29 157條樣板數(shù)據(jù)作為本研究模型構(gòu)建和測(cè)試分析樣本。

2 SOM-BPN預(yù)測(cè)模型

PCB樣板結(jié)構(gòu)和報(bào)廢率影響關(guān)鍵屬性存在一定差異，將所有樣本集中于單一模型之中易降低模型預(yù)測(cè)精度，增大預(yù)測(cè)偏差，降低泛化能力。

本文先基于SOM對(duì)樣板進(jìn)行聚類分組，進(jìn)一步優(yōu)選各類樣板報(bào)廢關(guān)鍵影響屬性并構(gòu)建基于BP網(wǎng)絡(luò)的預(yù)測(cè)模型。SOM網(wǎng)絡(luò)能將任意維的輸入在輸出層映射成一維或二維圖形，并保持其拓?fù)浣Y(jié)構(gòu)不變。網(wǎng)絡(luò)通過對(duì)輸入數(shù)據(jù)的反復(fù)學(xué)習(xí)可以使權(quán)重向量空間與輸入數(shù)據(jù)的概率分布趨于一致，使得輸入屬性相近的數(shù)據(jù)可以聚合在一起。SOM-BPN模型框架如圖1所示。

圖1 SOM-BPN預(yù)測(cè)模型框架

具體步驟如下：

(1) 數(shù)據(jù)準(zhǔn)備和預(yù)處理：基于表1給定屬性及其抽取的歷史數(shù)據(jù)，對(duì)各變量數(shù)據(jù)開展0-1歸一化處理，以降低不同屬性取值范圍差異影響。

(2) 聚類屬性選擇：結(jié)合車間專家經(jīng)驗(yàn)選取聚類輸出屬性，具體包括層數(shù)、工序數(shù)、內(nèi)層最小線寬/間距、外層最小線寬/間距、要求生產(chǎn)數(shù)量、向上圓整Panel數(shù)、要求生產(chǎn)面積、是否有鉛噴錫/無鉛噴錫/OSP/圖鍍銅鎳金/鍍金手指/電鍍硬金/軟金鎳鈀金/沉金沉銀沉錫。其中層數(shù)、工序數(shù)代表了樣板整體特征；內(nèi)外層最小線寬/間距是孔線加工代表性特征；要求生產(chǎn)數(shù)量、向上圓整Panel數(shù)、要求生產(chǎn)面積代表訂單規(guī)模。

(3) 基于SOM的樣本聚類分組：SOM是一種只有輸入層-競(jìng)爭(zhēng)層的神經(jīng)網(wǎng)絡(luò)。在此使用的SOM輸入層為上述17個(gè)屬性；競(jìng)爭(zhēng)層在此設(shè)置為由2×3神經(jīng)元組成的二維平面離散網(wǎng)絡(luò)，并且與輸入層之間全連接。競(jìng)爭(zhēng)層為2×3的二維平面將聚類數(shù)控制在2～4個(gè)之間，以便降低車間訓(xùn)練、測(cè)試和后續(xù)維護(hù)模型數(shù)量并保持較好的預(yù)測(cè)精準(zhǔn)度。

(4) 聚類樣本關(guān)鍵影響屬性優(yōu)選：模型構(gòu)建輸入屬性過多將增加數(shù)據(jù)準(zhǔn)備、預(yù)處理、模型構(gòu)建、預(yù)測(cè)分析的復(fù)雜度和時(shí)間，且更容易導(dǎo)致模型過擬合、降低模型泛化能力。本文采用線性相關(guān)性、最大信息系數(shù)、遞歸特征消除、線性回歸、Lasso回歸、Ridge回歸和隨機(jī)森林回歸等[19-20]，計(jì)算各屬性對(duì)報(bào)廢率影響得分，優(yōu)選平均得分大于一定閾值(比如0.15)的屬性為預(yù)測(cè)模型輸入。

(5) BPN預(yù)測(cè)模型構(gòu)建：基于聚類樣本及其優(yōu)選屬性，設(shè)置訓(xùn)練樣本和測(cè)試樣本，以相應(yīng)訓(xùn)練樣本開展模型訓(xùn)練。BPN網(wǎng)絡(luò)模型設(shè)置如下。

輸入和輸出:輸入為歸一化后各分組優(yōu)選屬性數(shù)據(jù)；輸出為歸一化處理后各樣本預(yù)測(cè)報(bào)廢率。

隱藏層設(shè)置:單一隱藏層，相應(yīng)節(jié)點(diǎn)數(shù)采用較為常見的(輸入節(jié)點(diǎn)數(shù)+輸出節(jié)點(diǎn)數(shù))/2計(jì)算。可以看出其隱層節(jié)點(diǎn)數(shù)取決于各分組所選屬性，較大的隱藏節(jié)點(diǎn)數(shù)一般能提高模型的非線性適應(yīng)能力和預(yù)測(cè)精準(zhǔn)度，在此將各分組BPN隱層節(jié)點(diǎn)統(tǒng)一設(shè)置為15(各分組所選屬性最多的一組為28個(gè))。

激活函數(shù)：研究表明，BP神經(jīng)網(wǎng)絡(luò)在其隱藏層采用Sigmoid函數(shù)即f(x)=1/(1+e-x)，輸出層采用線性函數(shù)f(x)=x，只要隱含層中有足夠的神經(jīng)元，就幾乎可以以任意精度擬合任何函數(shù)[21]。

學(xué)習(xí)率：0.05。

終止條件：最大迭代次數(shù)大于25 000。

SOM通過(歐氏)距離判斷樣本之間的相似性。學(xué)習(xí)過程中，輸入樣本找到與之距離最短的競(jìng)爭(zhēng)層單元(獲勝神經(jīng)元)，并對(duì)其更新。同時(shí)，將鄰近區(qū)域的權(quán)值更新。具體聚類流程如下：

(1) 網(wǎng)絡(luò)初始化:用0～1之間隨機(jī)數(shù)初始化輸入層與競(jìng)爭(zhēng)層之間權(quán)值矩陣wij(i=1,2,…，17，j=1,2,…,6，表示競(jìng)爭(zhēng)層第i個(gè)神經(jīng)元與輸入層第j個(gè)神經(jīng)元之間的連接權(quán)重)。設(shè)定初始鄰域Nc(0)=2，學(xué)習(xí)速率η(0)=1/3e2，最大迭代次數(shù)T=500，當(dāng)前迭代次數(shù)t=1。

(4) 權(quán)值、鄰域和學(xué)習(xí)率更新：以j*為中心確定t時(shí)刻的權(quán)值調(diào)整域。

(5) 基于樣本的學(xué)習(xí)：隨機(jī)抽取新樣本，返回步驟2，完成步驟2-步驟4，直至全部樣本完成上述迭代。

(6) 終止條件判斷：若t

3 結(jié)果分析

SOM-BPN模型采用Python 3.6開發(fā)實(shí)現(xiàn)?；赟OM聚類后的29 157條樣本被劃分為3組，分別以C1、C2和C3標(biāo)識(shí)，各聚類分組中樣本規(guī)模分別為12 992、6 674和9 491。因各分組內(nèi)向上圓整Panel數(shù)、要求生產(chǎn)數(shù)量和外層最小線寬取值差異較大，繪制樣本在上述三維空間的分布如圖2所示。圖3給出了不同聚類分組輸入屬性均值。

圖2 聚類結(jié)果分布

(a) 非二分類型屬性均值對(duì)比

(b) 二分類型屬性均值對(duì)比圖3 各聚類分組中相應(yīng)屬性均值比較

三組樣本的訂單規(guī)模(要求生產(chǎn)數(shù)量、向上圓整Panel數(shù)和要求生產(chǎn)面積)均值差異較大，是區(qū)分和識(shí)別每個(gè)分組內(nèi)樣本差異的主要屬性，與工廠實(shí)踐一致，車間也是將訂單規(guī)模視為重要變量。C2中外層最小值線寬/間距均低于C1和C3中樣本相應(yīng)值，但層數(shù)均值更高，說明層數(shù)越高相應(yīng)線路越密，這與實(shí)際一致。

基于聚類分組樣本，以表2給出的41個(gè)屬性為輸入，以報(bào)廢率為預(yù)測(cè)目標(biāo)，基于前述特征選擇機(jī)制計(jì)算各屬性對(duì)報(bào)廢率影響得分，計(jì)算出各分組樣本和所有樣本各屬性重要性得分均值，如圖4所示，其中對(duì)應(yīng)編號(hào)同表2給定編號(hào)?？梢钥闯?，不同樣本組關(guān)鍵影響屬性存在較大差異，原因之一是模型可能存在多個(gè)復(fù)雜分布[2]。

表2 不同樣本分組優(yōu)選屬性

續(xù)表2

(a) C1組樣本屬性重要性得分均值

(b) C2組樣本屬性重要性得分均值

(c) C3組樣本屬性重要性得分均值

(d) 全體樣本屬性重要性得分均值圖4 樣本屬性重要性得分均值

在此優(yōu)選其重要性得分均值大于0.15的屬性作為各BP網(wǎng)絡(luò)預(yù)測(cè)模型的輸入，各分組樣本相應(yīng)預(yù)測(cè)模型所優(yōu)選屬性在表2中以“▲”標(biāo)識(shí)?？梢钥闯?，C1、C2、C3組和全體樣本選擇屬性數(shù)分別為28、26、22和16。不同聚類組所選屬性存在一定的差異，但層數(shù)、羅杰斯材料、工序數(shù)、華為驗(yàn)收標(biāo)準(zhǔn)、樹脂塞孔、阻焊塞孔、背鉆、圖鍍銅鎳金、軟金鎳鈀金、成品單元面積、要求生產(chǎn)數(shù)量/面積、向上圓整Panel數(shù)、歷史良率等對(duì)各分組報(bào)廢率均具有關(guān)鍵影響。

隨機(jī)選擇每組中70%樣本用以訓(xùn)練相應(yīng)BPN網(wǎng)絡(luò)，剩余30%樣本作為測(cè)試樣本。其中C1、C2、C3以及全體數(shù)據(jù)中相應(yīng)訓(xùn)練樣本規(guī)模分別為9 094、4 672、6 644和20 410，測(cè)試樣本規(guī)模分別為3 898、2 002、2 847和8 747。基于優(yōu)選屬性分組訓(xùn)練報(bào)廢率預(yù)測(cè)模型，并將其轉(zhuǎn)換為預(yù)測(cè)投入Panel數(shù)。圖5、圖6分別為針對(duì)測(cè)試樣本人工投人Panel數(shù)(車間實(shí)際投料方式)和基于SOM-BP預(yù)測(cè)投入Panel數(shù)與至少投入Panel數(shù)的偏差對(duì)比和回歸圖。可以看出，人工投料存在明顯超投，基于SOM-BP預(yù)測(cè)機(jī)制能進(jìn)一步降低車間因超投Panel導(dǎo)致的余數(shù)入庫，從而降低車間因冗余帶來的物料、生產(chǎn)、庫存等浪費(fèi)。

(a) 人工投入Panel數(shù)與至少投入Panel數(shù)偏差

(b) SOM-BP預(yù)測(cè)投入Panel數(shù)與至少投入Panel數(shù)偏差圖5 測(cè)試樣本Panel數(shù)偏差

(a) 人工投入Panel數(shù)與至少投入Panel數(shù)擬合 (b) SOM-BP預(yù)測(cè)投入Panel數(shù)與至少投入Panel數(shù)擬合圖6 測(cè)試樣本Panel數(shù)回歸結(jié)果

進(jìn)一步以預(yù)測(cè)投入Panel數(shù)與至少投入Panel數(shù)的均方誤差(MSE)、絕對(duì)平均誤差(MAE)和平均絕對(duì)百分比誤差(MAPE)為評(píng)價(jià)指標(biāo)判斷相應(yīng)預(yù)測(cè)效果，指標(biāo)定義參考文獻(xiàn)[2]。同時(shí)，在此以全部訓(xùn)練樣板為輸入，以表2中“全體”列中所優(yōu)選屬性為輸入構(gòu)建單一BPN預(yù)測(cè)模型。同時(shí)與基于單一參數(shù)(要求生產(chǎn)數(shù)量)劃分樣本后分組構(gòu)建BP預(yù)測(cè)模型的MSC-ANN[2]進(jìn)行對(duì)比，對(duì)比結(jié)果如表3所示。可以看出SOM-BPN能明顯降低MSE、MAE和MAPE的誤差。其原因可能是基于分類劃分和分組屬性優(yōu)選，盡可能地降低了同組內(nèi)樣本分布差異，從而提高模型預(yù)測(cè)精準(zhǔn)度。

表3 不同預(yù)測(cè)模型MSE、MAE、MAPE對(duì)比

SOM-BPN與MSC-ANN對(duì)比結(jié)果顯示SOM-BPN所得MSE和MAPE指標(biāo)優(yōu)于MSC-ANN，其中MAE稍高于MSC-ANN所得對(duì)應(yīng)值。但是MSC-ANN將樣本劃分為6組，分別構(gòu)建了6個(gè)預(yù)測(cè)模型，在前期模型訓(xùn)練構(gòu)建、后續(xù)實(shí)施維護(hù)等方面均需要投入更多的人力物力，而SOM-BPN只需要分組構(gòu)建三個(gè)預(yù)測(cè)模型，所以基于SOM-BPN的模型在優(yōu)化人力投入上具有明顯優(yōu)勢(shì)。

結(jié)合車間具體需求，最終考核指標(biāo)一般為余數(shù)入庫率和補(bǔ)投率，基于文獻(xiàn)[2]中式(4)-式(11)轉(zhuǎn)換計(jì)算余數(shù)入庫率(Surpr_Pd)和補(bǔ)投率(Supfr Pd)，不同算法對(duì)比結(jié)果如表4所示。與投料相比，SOM-BPN預(yù)測(cè)模型可同時(shí)降低余數(shù)入庫率和補(bǔ)投率；其中前者從27.44%下降到10.13%，后者從17.91%下降到9.37%。另外，未經(jīng)聚類的單一BP預(yù)測(cè)模型余數(shù)入庫率和加投率明顯高于SOM-BPN模型。同時(shí)，SOM-BPN優(yōu)于MSC-ANN所得結(jié)果，進(jìn)一步證明本文模型在減少模型數(shù)量的同時(shí)可進(jìn)一步優(yōu)化車間投料，降低余數(shù)入庫和補(bǔ)投帶來的損失。

表4 不同預(yù)測(cè)模型余數(shù)入庫率和補(bǔ)投率的對(duì)比

4 結(jié) 語

本文結(jié)合SOM和BPN建立了基于SOM-BPN的PCB投料分組預(yù)測(cè)模型。SOM-BPN較手工投料、單一BP預(yù)測(cè)模型能獲取更低的MSE、MAE、MAPE以及與預(yù)測(cè)余數(shù)入庫率(Surpr_Pd)和補(bǔ)投率(Supfr_Pd)；與MSC-ANN比較，SOM-BP能獲得更低的MSE、Surpr_Pd和Supfr_Pd，且MSC-ANN需要訓(xùn)練、構(gòu)建和維護(hù)6個(gè)預(yù)測(cè)模型，而SOM-BP只需維護(hù)3個(gè)。單一BPN預(yù)測(cè)模型將Surpr_Pd和Supfr_Pd從27.95%和17.91%分別降低至16.53%和12.89%；MSC-ANN將其降低至11.96%和11.91%；而SOM-BPN分別將其降低至10.13%和9.37%。這表明SOM-BPN可進(jìn)一步降低因超/補(bǔ)投帶來的損失。綜合樣本不同分布特點(diǎn)的分組、優(yōu)選的關(guān)鍵屬性、基于優(yōu)選屬性的分組預(yù)測(cè)模型構(gòu)建及其轉(zhuǎn)換可為其他PCB樣板廠投料優(yōu)化提供參考。

直接基于多樣樣板和影響質(zhì)量全因素自動(dòng)分組劃分樣本，提取組內(nèi)共享特征并訓(xùn)練相應(yīng)預(yù)測(cè)模型，實(shí)施應(yīng)用時(shí)能自動(dòng)優(yōu)選各樣板最合適預(yù)測(cè)模型仍有待進(jìn)一步深入研究。