自動(dòng)化生產(chǎn)線中識(shí)別裝置學(xué)習(xí)模型評(píng)估方法淺析

李 俠 云南機(jī)電職業(yè)技術(shù)學(xué)院統(tǒng)計(jì)與國有資產(chǎn)管理處

自動(dòng)化生產(chǎn)線中識(shí)別裝置學(xué)習(xí)模型評(píng)估方法淺析

李 俠 云南機(jī)電職業(yè)技術(shù)學(xué)院統(tǒng)計(jì)與國有資產(chǎn)管理處

在自動(dòng)化生產(chǎn)線中，識(shí)別裝置可以說是整條生產(chǎn)線的核心，其識(shí)別率的高低直接決定了該生產(chǎn)線的生產(chǎn)質(zhì)量。本文列舉了幾種常用的依據(jù)樣本空間劃分訓(xùn)練集和測試集的方法，在使用時(shí)可依據(jù)實(shí)際情況合理選擇和評(píng)估學(xué)習(xí)模型，獲得滿足要求的識(shí)別裝置。

自動(dòng)生產(chǎn)線;識(shí)別裝置;樣本空間

引言

隨著科學(xué)技術(shù)的發(fā)展，自動(dòng)化生產(chǎn)線已經(jīng)在各個(gè)行業(yè)得到普及，它是將機(jī)械技術(shù)、微電子技術(shù)、電工電子技術(shù)、傳感測試技術(shù)、信息變換技術(shù)、網(wǎng)絡(luò)通信技術(shù)等多種技術(shù)有機(jī)地結(jié)合，并綜合應(yīng)用到生產(chǎn)設(shè)備中，同時(shí)將傳感檢測、傳輸與處理、控制、執(zhí)行與驅(qū)動(dòng)等機(jī)構(gòu)在微處理單元的控制下協(xié)調(diào)有序地工作，有機(jī)的融合在一起。在整個(gè)工作環(huán)節(jié)中，多次涉及對產(chǎn)品的識(shí)別問題，識(shí)別率的高低就直接決定了整條生產(chǎn)線的質(zhì)量。

例如在水果自動(dòng)包裝生產(chǎn)線中，假設(shè)我們需要將采收來的蘋果按照大小、色澤來分別包裝，采用安裝了傳感器的識(shí)別裝置來對蘋果的色澤和大小進(jìn)行識(shí)別。若我們需要識(shí)別裝置能夠準(zhǔn)確的識(shí)別產(chǎn)品，則必須采用大量樣本對識(shí)別裝置進(jìn)行學(xué)習(xí)模型設(shè)計(jì)和測試。通常我們需要的是識(shí)別裝置能夠?qū)W習(xí)樣本中的普遍規(guī)律，但若識(shí)別裝置的學(xué)習(xí)能力過強(qiáng)，將某些樣本自身的特點(diǎn)當(dāng)成了普遍規(guī)律，那么就會(huì)導(dǎo)致泛化能力下降，即可能將多數(shù)蘋果認(rèn)為是不合格產(chǎn)品，這種情況我們稱之為“過擬合”。與之相對應(yīng)的是“欠擬合”，即識(shí)別裝置并未學(xué)習(xí)到所有的普遍規(guī)律，這樣就有可能導(dǎo)致部分不合格的產(chǎn)品卻被當(dāng)成合格產(chǎn)品進(jìn)行包裝。不管是過擬合還是欠擬合，都不是我們想要的結(jié)果，那如何才能獲得一個(gè)滿足要求的識(shí)別裝置呢，這就需要對所設(shè)計(jì)的模型進(jìn)行選擇和評(píng)估。

圖1 10折交叉驗(yàn)證示意圖

1.評(píng)估方法

通常我們將識(shí)別裝置的實(shí)際輸出與真實(shí)結(jié)果之間的差異稱為“誤差”。假如，我們將識(shí)別裝置在訓(xùn)練集上的誤差稱為“訓(xùn)練誤差”，將識(shí)別裝置在新樣本上的誤差稱為“泛化誤差”。在很多情況下我們能得到的是一個(gè)訓(xùn)練誤差很小的識(shí)別裝置，有些識(shí)別裝置的訓(xùn)練誤差甚至為零，但是這并不一定是我們想要的識(shí)別裝置。我們希望得到的是泛化誤差盡可能小的識(shí)別裝置。但實(shí)際上，我們并不知道新樣本是什么樣的，因此也就沒有辦法直接選擇識(shí)別裝置。但是我們可以通過實(shí)驗(yàn)測試來對識(shí)別裝置的泛化誤差進(jìn)行評(píng)估。那么問題來了，通常我們采集數(shù)據(jù)時(shí)能得到一個(gè)包含有限樣本的樣本空間D，這些樣本空間D既要用于訓(xùn)練，又要用于測試，那么怎樣才能合理的劃分訓(xùn)練集和測試集呢？下面介紹幾種常用的劃分方法。

①留出法

留出法是將樣本空間D直接劃分成兩個(gè)互斥的集合，其中一個(gè)集合用于訓(xùn)練，稱為訓(xùn)練集S，另一個(gè)集合用于測試，稱為測試集T。該方法是最簡單的一種數(shù)據(jù)劃分方法。使用留出法時(shí)需要注意的問題是，訓(xùn)練集S和測試集T的劃分一定要保證數(shù)據(jù)分布的一致性。例如將包含200個(gè)樣本的樣本空間D進(jìn)行劃分為包含60%樣本的訓(xùn)練集S，和包含40%樣本的測試集T，若S包含60個(gè)正例和60個(gè)反例，則T也應(yīng)該按照相同比例包含40個(gè)正例和40個(gè)反例。若訓(xùn)練集S和測試集T中樣本類別的比例差別過大，則可能會(huì)由樣本比例誤差導(dǎo)致識(shí)別裝置的偏差過大。

另一個(gè)需要注意的問題是，由于劃分訓(xùn)練集和測試集是隨機(jī)的，所以單次應(yīng)用留出法得到的測試結(jié)果是不夠可靠的，一般需要經(jīng)過多次隨機(jī)劃分并進(jìn)行測試，將多次測試結(jié)果取平均值作為最終的返回值。

此外，我們需要評(píng)估的是用樣本空間D訓(xùn)練出來的模型的性能，但是采用留出法需要對樣本空間進(jìn)行劃分，將其劃分成訓(xùn)練集和測試集。這就帶來一個(gè)問題，若訓(xùn)練集S包含的樣本數(shù)量較多，則訓(xùn)練出來的模型就更接近于用D訓(xùn)練出來的模型，但是由于測試集T包含的樣本數(shù)量較少，就使得測試結(jié)果的偏差較大。若S包含的樣本數(shù)量少，則S和D的差別就比較大，用訓(xùn)練集訓(xùn)練出來的模型就和用樣本空間D訓(xùn)練出來的模型有較大的區(qū)別，從而降低了測試結(jié)果的真實(shí)性。通常我們的做法是將樣本空間D的2/3～4/5作為測試樣本，其余樣本用于訓(xùn)練。

②交叉驗(yàn)證法

交叉驗(yàn)證法是將樣本空間D劃分成k個(gè)大小一致的子集，每個(gè)子集之間沒有交集（即），并且在劃分子集的時(shí)候要保證數(shù)據(jù)分布的一致性。然后，每次從k個(gè)子集中抽取k-1個(gè)子集作為訓(xùn)練集S，另外一個(gè)子集作為測試集T，這樣我們就可以得到k組測試結(jié)果，最后返回k個(gè)測試結(jié)果的平均值。需要注意的是，采用交叉驗(yàn)證法所設(shè)計(jì)的識(shí)別裝置其精確度和k的取值有關(guān)，一般情況下k值越大，其結(jié)果越準(zhǔn)確，但同時(shí)計(jì)算量也就越大。在工程實(shí)踐中通常取k=10，也稱為10折交叉驗(yàn)證，或者k取10的倍數(shù)，如k=20、30等等。

③留一法

在使用交叉驗(yàn)證法時(shí)，假如樣本空間D內(nèi)共有m個(gè)樣本，當(dāng)k=m時(shí)就是交叉驗(yàn)證法的一個(gè)特例，稱為留一法。留一法由于每次只抽取1個(gè)樣本作為測試集T，其余數(shù)據(jù)均作為訓(xùn)練集S，用于訓(xùn)練識(shí)別裝置，這樣就最大程度的保證了S和D的一致性，訓(xùn)練出來的模型也就更接近于用樣本空間D訓(xùn)練出來的模型。但需要注意的是，當(dāng)樣本空間D中的樣本數(shù)量非常龐大時(shí)，要訓(xùn)練出m個(gè)模型所需要的計(jì)算量就非常大，例如某樣本空間D中有1萬個(gè)樣本，若采用留一法，即要訓(xùn)練出1萬個(gè)模型，然后輸出這1萬個(gè)模型的測試平均值作為最終的測試結(jié)果，計(jì)算量是非常驚人的。因此，當(dāng)樣本空間D中的樣本數(shù)量相對較少時(shí)，可采用留一法進(jìn)行模型訓(xùn)練，通常認(rèn)為訓(xùn)練結(jié)果是比較準(zhǔn)確的。

2.小結(jié)

在對識(shí)別裝置的模型進(jìn)行選擇和評(píng)估時(shí)，除了以上介紹的三種常用方法以外，還涉及到參數(shù)的設(shè)置，通常稱為“參數(shù)調(diào)節(jié)”或“調(diào)參”。參數(shù)包括識(shí)別裝置中學(xué)習(xí)算法的參數(shù)和數(shù)學(xué)模型的參數(shù)，參數(shù)設(shè)置不同，獲得的識(shí)別裝置性能就有很大差別。

需要注意的是，上面介紹的三種評(píng)估方法中，均是從樣本空間D中選出一部分樣本作為訓(xùn)練樣本，另外一部分樣本用于測試，這畢竟和直接用D訓(xùn)練出來的模型不一致。因此在模型選擇完成后，學(xué)習(xí)算法和參數(shù)配置已經(jīng)選定的情況下，采用樣本空間D重新訓(xùn)練模型，此時(shí)的模型在訓(xùn)練過程中使用了全部樣本，這才是我們最終用到識(shí)別裝置里面的模型。

[1]周志華.機(jī)器學(xué)習(xí)[M].清華大學(xué)出版社,2016

[2]鄭恩輝. 不平衡數(shù)據(jù)知識(shí)挖掘：類分布對支持向量機(jī)分類的影響[J].信息與控制,2005

[3]張金娥,宋巖.自動(dòng)化生產(chǎn)線[J].中國科技博覽,2014,(9)

云南機(jī)電職業(yè)技術(shù)學(xué)院青年骨干教師科研計(jì)劃項(xiàng)目“機(jī)電設(shè)備裝調(diào)實(shí)訓(xùn)項(xiàng)目的設(shè)計(jì)與開發(fā)”（編號(hào)：2015QN23），負(fù)責(zé)人：李俠