卷積神經(jīng)網(wǎng)絡(luò)和支持向量機算法在塑料近紅外光譜分類中的模型應(yīng)用

張文杰，焦安然，田 靜，王曉娟，王 斌，徐曉軒

（1．南開大學(xué) 物理科學(xué)學(xué)院 弱光非線性光子學(xué)教育部重點實驗室，天津 300071；2．江蘇大學(xué) 食品與生物工程學(xué)院，江蘇 鎮(zhèn)江 212013；3．寧波海關(guān)技術(shù)中心，浙江 寧波 315048）

塑料自發(fā)明以來為人類生產(chǎn)生活提供了便利，得到了應(yīng)用廣泛。但由于大多塑料制品化學(xué)性質(zhì)穩(wěn)定、不可降解，導(dǎo)致產(chǎn)生了大量塑料廢棄物。2018年環(huán)境規(guī)劃署發(fā)布的數(shù)據(jù)表明全世界塑料廢棄物年產(chǎn)量約3億噸。我國是世界上十大塑料制品生產(chǎn)和消費國之一，塑料廢棄物的分類回收再利用十分重要，否則不僅會污染環(huán)境，還會造成資源浪費。根據(jù)歐洲塑料加工協(xié)會的一項調(diào)查結(jié)果，超過76%的歐洲塑料加工商認為改善塑料廢棄物的收集和分類是提高再生塑料質(zhì)量的最佳方式［1］。傳統(tǒng)的塑料分類方式如人工分類法、光學(xué)分選法、浮選法［2－5］等耗時耗力，為節(jié)約勞動力成本，并精確、高效地進行塑料分類，人們研究了塑料的智能分類算法。如，激光誘導(dǎo)擊穿光譜（LIBS）技術(shù)和主成分分析（PCA）已成功用于鑒定聚對苯二甲酸乙二醇酯（PET）、高密度聚乙烯（PE）、聚丙烯（PP）和聚苯乙烯（PS）［6］。LIBS技術(shù)也可以識別具有相同聚合物基體但添加劑不同的塑料/聚合物樣品［7］。X射線吸收光譜（XAS）結(jié)合PCA和反向傳播神經(jīng)網(wǎng)絡(luò)（BPNN）被用于識別15種不同塑料［8］。拉曼光譜和K近鄰算法（KNN）、循環(huán)子空間回歸（CSR）、庫搜索被用于塑料分類［9］。衰減全反射傅里葉變換紅外光譜結(jié)合主成分分析及系統(tǒng)聚類分析（HCA）被用于對7類廢舊塑料進行分類鑒別，通過選擇余弦和平均距離法作為樣品間以及類間距離函數(shù)對數(shù)據(jù)進行聚類，最終得到100%的分類準確率［10］。而分類和回歸模型（CART）可以從近紅外光譜數(shù)據(jù)中找到直接和簡單的分類條件［11］。研究者們正不斷探索系統(tǒng)使用近紅外光譜分析技術(shù)進行塑料分類的方法。

近紅外光譜主要由含氫基團振動的合頻、倍頻組成［12］，包含吸收峰的強度和位置差異等豐富信息，因快速、無損的特點得到了廣泛應(yīng)用。由于大多數(shù)塑料聚合物分子在近紅外光譜區(qū)域可以提供特征信息［13］，因此近紅外光譜分析技術(shù)結(jié)合傳統(tǒng)的機器學(xué)習(xí)算法如KNN、PCA、CART等可用于塑料的檢測。塑料分類還可使用支持向量機（Support vector machines，SVM）和深度學(xué)習(xí)的分類算法。SVM是典型的有監(jiān)督分類算法之一，在1993年由Corinna Cortes和Vapnik提出［14］，可以根據(jù)給定類別的數(shù)據(jù)點確定一個超平面，將新的數(shù)據(jù)點劃分在不同類別。而卷積神經(jīng)網(wǎng)絡(luò)（Convolutional neural networks，CNN）作為深度學(xué)習(xí)的熱門之一，在圖像分類等方面有出色的性能。全連接的人工神經(jīng)網(wǎng)絡(luò)方法需要訓(xùn)練的參數(shù)太多，時間成本大。而CNN的神經(jīng)元只感知局部信息，同一層中使用的卷積核參數(shù)共享，使得需要訓(xùn)練的參數(shù)數(shù)量大大減少。近紅外光譜數(shù)據(jù)在空間上有關(guān)聯(lián)形成特征，且每個空間上采樣原理一致，適合用CNN學(xué)習(xí)［15－18］。

PP（聚丙烯）和PE（聚乙烯）是常用的塑料材料，可用于生產(chǎn)生活中的薄膜類制品、注塑制品、管材類制品、絲類制品等。通常塑料廢棄物中PP塑料和PE塑料的比例在70∶30（汽車廢料）～25∶75（包裝廢料）之間變化，不適合直接生產(chǎn)高質(zhì)量的產(chǎn)品（高質(zhì)量產(chǎn)品的生產(chǎn)應(yīng)滿足兩種塑料的純度達到97%［19］）。PP、PE塑料都包含―CH2和―CH3官能團，有相似的化學(xué)結(jié)構(gòu)，因而高效區(qū)分PP和PE塑料對其回收再利用有重要價值［20］。本文基于100組4種塑料樣本（PP新生料、PP再生料、PE新生料、PE再生料）的近紅外光譜數(shù)據(jù)，建立了一維卷積神經(jīng)網(wǎng)絡(luò)（1D CNN）模型，將其用于小數(shù)據(jù)集的預(yù)測，并與支持向量機模型進行比較，開發(fā)了快速準確的塑料分類方法。

1 實驗部分

1.1 樣品與光譜采集

塑料樣品由寧波市檢驗檢疫局提供，包括PP和PE兩種塑料共100個。其中PE再生料（PE recycled material，簡寫為PEr）32個，PE新生料（PE new raw material，簡寫為PEn）36個，PP再生料（PP recycled material，簡寫為PPr）15個，PP新生料（PP new raw material，簡寫為PPn）17個，類別分別標記為0、1、2、3。

塑料的近紅外光譜數(shù)據(jù)由江蘇大學(xué)食品與生物工程學(xué)院提供，使用棱光技術(shù)S450近紅外光譜分析儀采集。設(shè)置波長范圍為900～2 500 nm，在室溫（25℃）下將裝有塑料樣品的樣品杯置于采集窗口進行光譜采集，每個塑料樣品掃描3次，取其平均光譜數(shù)據(jù)。

采集的100個樣品的光譜圖如圖1A所示。根據(jù)光譜圖比對數(shù)據(jù)，剔除掉PP再生料中2個異常樣本的數(shù)據(jù)，得到的光譜圖如圖1B。

圖1 塑料樣品的原始光譜圖（A）與剔除異常值后的光譜圖（B）Fig．1 Raw spectra of plastic samples（A）and spectra after data cleaning（B）

4類塑料樣品均采用隨機選擇法（RS），按照訓(xùn)練集與驗證集近似3∶1的比例進行樣品集劃分。最終將98個有效樣本分為訓(xùn)練集樣品72個，驗證集樣品26個。具體信息如表1所示。

表1 塑料樣品信息統(tǒng)計表Table 1 Statistical table of 98 plastic samples

1.2 數(shù)據(jù)預(yù)處理

為了減少光譜中背景噪聲以及樣品散射對模型的影響，在建模之前，分別采用一階導(dǎo)數(shù)法（The first derivative，1st Der）、二階導(dǎo)數(shù)法（The second derivative，2nd Der）、中心化（Centralization）、標準化（Standardization）、Savitzky－Golay平滑法（Savitzky－Golay smoothing method，SG）、多元散射處理（Multiplicative scatter correction，MSC）、標準正態(tài)變換法（Standard normal variate，SNV）對光譜數(shù)據(jù)進行預(yù)處理。在建立支持向量機模型之后，根據(jù)實驗結(jié)果，選擇最合適的數(shù)據(jù)預(yù)處理方法。

1.3 支持向量機模型

支持向量機一般被用來解決二分類問題，現(xiàn)在也可以處理多分類問題?？梢允褂靡粚Χ啵∣neversus－all，OVA）或一對一（One－versus－one，OVO）方式將多分類問題轉(zhuǎn)化為二分類問題［21］。其基本原理是尋找一個超平面ωTx+b=0，使訓(xùn)練集中不同類別的點落在超平面的兩側(cè)，同時使超平面兩側(cè)的空白區(qū)域達到最大［22］。使用不同的核函數(shù)可以將樣本映射到高維空間找到超平面，因而支持向量機可進行線性分類和非線性分類。

對于線性可分的數(shù)據(jù)集，目標函數(shù)為：

服從約束條件：

對于公式（1）～（4），n為樣本數(shù)量，ω和b分別是超平面ωT x+b=0的權(quán)重和偏置參數(shù)，x i和y i表示第i個輸入的向量和第i個因變量值。使用拉格朗日乘子法可以求解上述極值。

支持向量機近年來被引入化學(xué)計量學(xué)領(lǐng)域，并且成功應(yīng)用于中紅外和近紅外光譜分類任務(wù)［23］。建模后，進行4折交叉驗證，通過比較不同數(shù)據(jù)預(yù)處理方法的準確率，選擇準確率最高的模型。選擇使模型效果最好的參數(shù)：使用OVO方法，即在每兩個類之間都構(gòu)造一個二分類SVM模型；懲罰因子C的值設(shè)為256，核函數(shù)為線性核函數(shù)。輸入塑料的近紅外光譜數(shù)據(jù)和相應(yīng)的類別標簽（0、1、2、3），按照表1的比例隨機選取10個驗證集進行10次實驗。模型輸出包括預(yù)測得到的標簽、訓(xùn)練集準確率和驗證集準確率。

1.4 一維卷積神經(jīng)網(wǎng)絡(luò)模型

卷積神經(jīng)網(wǎng)絡(luò)作為一種非線性模型，可以有效提取光譜中的局部信息，學(xué)習(xí)能力強。

典型的卷積神經(jīng)網(wǎng)絡(luò)模型包含輸入層、卷積層、池化層、全連接層、輸出層。對于光譜數(shù)據(jù)，輸入層輸入一維光譜數(shù)據(jù)比二維光譜矩陣更加高效［17］。輸入數(shù)據(jù)和標簽后，卷積層使用多個設(shè)定好大小和步長的一維卷積核經(jīng)卷積運算后得到特征圖。池化層通常在卷積層之后用來提取數(shù)據(jù)的局部特征。經(jīng)過一個或者多個全連接層，可將特征映射到樣本空間進行分類。激活函數(shù)使用ReLU函數(shù)可以避免梯度消失問題；而在分類問題中，神經(jīng)網(wǎng)絡(luò)的最后一層通常使用Softmax函數(shù)，將輸入映射為0到1之間，作為對應(yīng)類別的概率。模型訓(xùn)練時，首先初始化權(quán)值，輸入塑料樣本訓(xùn)練集近紅外光譜數(shù)據(jù)及類別標簽，經(jīng)過神經(jīng)網(wǎng)絡(luò)各層得到最終輸出結(jié)果。計算模型損失函數(shù)值，通過反向傳播將損失函數(shù)值從最末層傳至網(wǎng)絡(luò)各層，按照最小化損失函數(shù)值的方向更新權(quán)值，繼續(xù)訓(xùn)練。

本實驗構(gòu)建了一個6層一維CNN（1D CNN）用于塑料分類，包括輸入層－卷積層C1－池化層S2－全連接層F3－全連接層F4－輸出層，如圖2。將訓(xùn)練集表示塑料類別的標簽值“0、1、2、3”轉(zhuǎn)化為one－h(huán)ot向量輸入，每個樣本光譜數(shù)據(jù)輸入維度為1 501×1。為了盡可能避免過擬合現(xiàn)象，在神經(jīng)網(wǎng)絡(luò)中添加了正則項和隨機失活（Dropout）。為降低模型復(fù)雜性，僅使用一層卷積層，8個卷積核，大小為3×1，步長為1。池化層使用最大池化法，核的大小為2×1，步長為2。模型最后一層全連接層使用Softmax激活函數(shù)，優(yōu)化器為AdamOptimizer，學(xué)習(xí)率為0．000 1，卷積核個數(shù)為3，全連接層神經(jīng)元個數(shù)為60，迭代次數(shù)為5 000。模型訓(xùn)練基于TensorFlow框架GPU版本。

圖2 一維CNN模型各層結(jié)構(gòu)示意圖Fig．2 Representation of one-dimensional convolutional neural network（1D CNN）architecture

使用與MSC－SVM模型相同的10組驗證集進行實驗，得到預(yù)測類別和預(yù)測準確率。

1.5 評價指標

將訓(xùn)練集和測試集的分類準確率作為模型評價指標。準確率P為分類正確的樣本數(shù)Nc占總樣本數(shù)Nr的比例，由式（5）得到：

2 結(jié)果與討論

在建立SVM模型時，比較了不進行數(shù)據(jù)預(yù)處理以及不同數(shù)據(jù)預(yù)處理方法建模后的交叉驗證實驗結(jié)果，如表2所示。

表2 不同數(shù)據(jù)預(yù)處理的SVM模型準確率Table 2 Comparison of validation accuracy using different SVM models

可見采用MSC后模型準確率最高。選擇分類性能最好的MSC－SVM模型進行10次隨機實驗，98個樣本共得到結(jié)果980次，其中訓(xùn)練集720次，驗證集260次。將這980次結(jié)果進行統(tǒng)計，記錄不同塑料種類的分類結(jié)果，將其真實值和預(yù)測值在表格中體現(xiàn)，得到混淆矩陣，如表3所示。類似的，記錄1D CNN模型10次隨機實驗共980次分類結(jié)果的混淆矩陣，如表4所示（每次隨機實驗驗證集與MSC－SVM模型使用的對應(yīng)驗證集相同）?；煜仃囍袑蔷€元素表示被正確分類的樣品，訓(xùn)練集、驗證集實驗結(jié)果若在表格中呈對角線分布，則說明模型分類準確率高。

表3 MSC－SVM模型980次分類結(jié)果混淆矩陣Table 3 Confusion matrixes of 980 plastic type labels using MSC－SVM model

表4 1D CNN模型980次分類結(jié)果混淆矩陣Table 4 Confusion matrixes of 980 plastic type labels using 1D CNN model

由表3可知，MSC－SVM模型的訓(xùn)練集結(jié)果均分布在對角線上，表明在此實驗中分類完全準確；而其驗證集除PE新生料外其他3種塑料都有分類錯誤的結(jié)果。表4數(shù)據(jù)未全部分布在對角線，表明1D CNN模型訓(xùn)練集、驗證集分類結(jié)果都存在少數(shù)錯誤結(jié)果。綜合來看，對于PP新生料的類別預(yù)測，1D CNN模型效果更好，MSC－SVM模型會較大概率將其誤判為PP再生料。兩種模型中，PE再生料都有一定概率被誤判為PE新生料。而PE新生料幾乎都可以被正確分類。

將MSC－SVM模型和1D CNN模型10次隨機實驗結(jié)果進行綜合比較，得到表5。

表5 MSC－SVM模型和1D CNN模型準確率對比Table 5 Comparison of accuracies using MSC－SVM and 1D CNN models

由表5可知，MSC－SVM模型在訓(xùn)練集上表現(xiàn)很好，準確率為100%。在驗證集上，1D CNN模型準確率為91．5%，略優(yōu)于MSC－SVM模型。對于不同類別的塑料，PE再生料和PP再生料兩種模型預(yù)測效果近似，PP再生料的判定準確率都不高；PE新生料的判定準確率在驗證集上都達到100%；PP新生料使用1D CNN模型進行分類的準確率達100%。單次實驗訓(xùn)練所需的平均程序執(zhí)行時間，MSC－SVM模型為2．84 s，而1D CNN模型為24．55 s。可見在數(shù)據(jù)量較小的情況下，MSC－SVM模型相比1D CNN模型更快速。CNN一般在數(shù)據(jù)量大的情況下有顯著優(yōu)勢，而在小數(shù)據(jù)集上容易發(fā)生過擬合現(xiàn)象。但本實驗證明，只要卷積層數(shù)合理，一維卷積核的參數(shù)設(shè)置合適，加之采用一些避免過擬合的方法，也可以達到較好的準確率。而且CNN對數(shù)據(jù)預(yù)處理的要求較低，有些情況甚至無需數(shù)據(jù)預(yù)處理，亦無需考慮樣本數(shù)據(jù)的特性，是一種普適方法，在近紅外光譜數(shù)據(jù)分析上具有很大的應(yīng)用潛力。

3 結(jié) 論

本文基于近紅外光譜分析技術(shù)建立了塑料分類的MSC－SVM模型和1D CNN模型。在建立SVM模型時，比較了多種數(shù)據(jù)預(yù)處理方法對模型的影響。MSC－SVM模型在驗證集上的準確率為90．8%，1D CNN模型在驗證集上的準確率為91．5%，略好于MSC－SVM模型。PE新生料在驗證集上的分類準確率均為100%；使用1D CNN模型判別PP新生料在驗證集的準確率達100%。在本實驗的小數(shù)據(jù)集上，MSC－SVM建?？焖贉蚀_，而1D CNN則具有高度自學(xué)習(xí)、提取特征的能力，說明以1D CNN模型結(jié)合近紅外光譜技術(shù)進行自動塑料分類可行，并可推廣到其它領(lǐng)域的光譜分析中。