基于改進(jìn)LeNet-5網(wǎng)絡(luò)的污泥沉降比檢測(cè)研究

王 告

（中冶華天工程技術(shù)有限公司 互聯(lián)網(wǎng)+研究院，江蘇 南京 210000）

0 引言

工業(yè)廢水處理［1］一直是當(dāng)前以及未來的重點(diǎn)研究領(lǐng)域，污泥沉降比（SV）是指將曝氣池活性污泥混合液倒進(jìn)量筒中至滿刻度，靜置一段時(shí)間后沉淀污泥和混合液的體積比，在活性污泥法運(yùn)行中，污泥沉降比是需要測(cè)定的主要項(xiàng)目。傳統(tǒng)的污泥沉降比檢測(cè)以人工為主，工作量大且不可控，會(huì)對(duì)結(jié)果會(huì)造成不可統(tǒng)計(jì)的誤差。神經(jīng)網(wǎng)絡(luò)技術(shù)目前廣泛應(yīng)用于圖像處理領(lǐng)域，Lou 等［2］通過分析污水處理工藝并結(jié)合人工神經(jīng)網(wǎng)絡(luò)和數(shù)學(xué)回歸分析法建造污泥容積指的數(shù)據(jù)驅(qū)動(dòng)模型，該方法可極大提高計(jì)算精度，但是數(shù)據(jù)驅(qū)動(dòng)模型的大部分輸入?yún)?shù)本身就不易測(cè)量，從而導(dǎo)致其應(yīng)用性大為降低?；诖植诩?BP 神經(jīng)網(wǎng)絡(luò)的污泥測(cè)量模型得以改進(jìn)［3］，在一定程度上改善了神經(jīng)網(wǎng)絡(luò)性能，但不能實(shí)現(xiàn)測(cè)量的實(shí)時(shí)性。郭曉燕［4］利用改進(jìn)粒子群算法優(yōu)化RBF 神經(jīng)網(wǎng)絡(luò)對(duì)污泥容積指進(jìn)行預(yù)測(cè)，并用實(shí)驗(yàn)數(shù)據(jù)證明了有效性，此方法是RBF 神經(jīng)網(wǎng)絡(luò)的一種嘗試，雖然展現(xiàn)了很好的預(yù)測(cè)效果，但是每次實(shí)驗(yàn)都需要調(diào)整輔助變量值且無法做到實(shí)時(shí)性。針對(duì)以上研究方法中出現(xiàn)的問題，本文以傳統(tǒng)的LeNet-5 神經(jīng)網(wǎng)絡(luò)為研究對(duì)象，參考Inception-V3 網(wǎng)絡(luò)搭建特點(diǎn)對(duì)其進(jìn)行改進(jìn)，訓(xùn)練之前先對(duì)數(shù)據(jù)集進(jìn)行預(yù)處理，再對(duì)目標(biāo)進(jìn)行顏色閾值判定，并在訓(xùn)練過程中提出一種輕量化特征重用網(wǎng)絡(luò)模型和正則分類，經(jīng)過大量實(shí)驗(yàn)調(diào)參和測(cè)試，最終準(zhǔn)確率可達(dá)96%以上，實(shí)驗(yàn)中以100 張圖片作為實(shí)驗(yàn)對(duì)象，結(jié)果統(tǒng)計(jì)每張圖片的平均識(shí)別時(shí)間只需要0.46s，實(shí)時(shí)性問題也得到滿足。

1 LeNet-5神經(jīng)網(wǎng)絡(luò)

LeNet-5［5］模型于1998 年被提出，它是第一個(gè)成功應(yīng)用于數(shù)字識(shí)別問題的卷積神經(jīng)網(wǎng)絡(luò)。LeNet-5 模型總共有7層，模型結(jié)構(gòu)如圖1所示。

Fig.1 Network structure of LeNet-5圖1 LeNet-5網(wǎng)絡(luò)結(jié)構(gòu)

LeNet-5 神經(jīng)網(wǎng)絡(luò)包含1 個(gè)輸入層、3 個(gè)卷積層、2 個(gè)池化層以及1 個(gè)全連接層。每層都包含可訓(xùn)練參數(shù)，每個(gè)層有多個(gè)Feature Map，每個(gè)FeatureMap 通過一種卷積濾波器提取輸入的一種特征，由于LeNet-5 神經(jīng)網(wǎng)絡(luò)是最早應(yīng)用于數(shù)字識(shí)別的網(wǎng)絡(luò)，并且對(duì)于單個(gè)數(shù)字的識(shí)別效果可達(dá)99%以上。由于本次實(shí)驗(yàn)需要研究的是量筒上的數(shù)字識(shí)別，因此對(duì)該網(wǎng)絡(luò)進(jìn)行改進(jìn)并完成測(cè)試可以不破壞原有網(wǎng)絡(luò)結(jié)構(gòu)，將并聯(lián)搭建方式引入網(wǎng)絡(luò)，并根據(jù)訓(xùn)練集的種類和數(shù)量進(jìn)行層數(shù)擴(kuò)充，然后進(jìn)行參數(shù)優(yōu)化從而得到最優(yōu)訓(xùn)練結(jié)果。

1.1 LeNet-5模型優(yōu)化

傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)改進(jìn)算法中，一般都是以串聯(lián)的方式增加卷積層池化層，這樣造成的后果是不但準(zhǔn)確率不會(huì)有太大改善而且增加了網(wǎng)絡(luò)訓(xùn)練時(shí)間。本文參考Inceptionv3［6］網(wǎng)絡(luò)搭建特點(diǎn)，將并聯(lián)式搭建理論引入LeNet-5 神經(jīng)網(wǎng)絡(luò)中，提高了神經(jīng)網(wǎng)絡(luò)獲取多維特征的能力，而且由于并聯(lián)式特征提取可以有效地減少梯度消失問題，增強(qiáng)了模型的健壯性。結(jié)合訓(xùn)練集的數(shù)量及所分種類，最終將LeNet-5 神經(jīng)網(wǎng)絡(luò)由7 層擴(kuò)充到14 層，將串聯(lián)和并聯(lián)方式進(jìn)行組合，并且對(duì)于卷積核的尺寸和個(gè)數(shù)也作了改進(jìn)，具體改進(jìn)內(nèi)容如下：①傳統(tǒng)的LeNet-5 神經(jīng)網(wǎng)絡(luò)只有7 層，本文改進(jìn)后的網(wǎng)絡(luò)深度提高到14 層，并采用Dropout 策略減少由于訓(xùn)練參數(shù)過多而導(dǎo)致的過擬合現(xiàn)象；②使用BN 層，BN 層［7］的作用是對(duì)數(shù)據(jù)集進(jìn)行歸一化處理，解決內(nèi)部變量轉(zhuǎn)換從而改善前向傳播過程中的梯度消失問題；③對(duì)網(wǎng)絡(luò)結(jié)構(gòu)增加了兩個(gè)并聯(lián)層，增強(qiáng)了復(fù)雜圖片特征提取能力，增強(qiáng)了模型健壯性；④對(duì)于激活函數(shù)的選取，LeNet-5神經(jīng)網(wǎng)絡(luò)的激活函數(shù)是Sigmoid，在反向傳播過程中會(huì)出現(xiàn)導(dǎo)數(shù)為0 的情況，會(huì)導(dǎo)致誤差無法向前傳播，因此只能完成淺層次學(xué)習(xí)。ReLU 激活函數(shù)［8］反向傳播過程中可以很快地將梯度傳輸?shù)缴蠈泳W(wǎng)絡(luò)，加快收斂速度。

在卷積核數(shù)量和類別選取上。傳統(tǒng)的LeNet-5 神經(jīng)網(wǎng)絡(luò)選擇5*5 的卷積核，對(duì)于多維特征難以完整提取出來。為此，本文將5*5 卷積核替換為兩個(gè)3*3，并且將3*3 的卷積核轉(zhuǎn)變?yōu)?*3 和3*1 之間的組合進(jìn)行表示，提高網(wǎng)絡(luò)對(duì)特征獲取的能力［9］。

改進(jìn)后的LeNet-5神經(jīng)網(wǎng)絡(luò)模型如圖2所示。

Fig.2 Improved network structure圖2 改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)

如圖2 所示，修改后的神經(jīng)網(wǎng)絡(luò)中一共包含14 層，增加了兩個(gè)并聯(lián)結(jié)構(gòu)Inception 層，提高了獲取多維特征的能力。并聯(lián)層結(jié)構(gòu)如圖3所示。

Fig.3 Schematic diagram of parallel layer structure圖3 并聯(lián)層結(jié)構(gòu)

如圖3 所示，Inception 層主要包含3 個(gè)卷積層和1 個(gè)池化層，卷積核conv_filter1、conv_filter2、conv_filter3 尺寸分別為1*1、3*3 和5*5，卷積核以并聯(lián)的形式進(jìn)行連接，并且在每個(gè)卷積核與1*1 進(jìn)行組串聯(lián)。以往研究結(jié)果表明，1*1 的卷積核可以很好地降低模型參數(shù)。并聯(lián)的方式打破了傳統(tǒng)直接增加深度造成的過擬合問題，并且可以很好地增強(qiáng)多維特征提取能力，提高實(shí)驗(yàn)準(zhǔn)確度。

1.2 模型正則

對(duì)于每一個(gè)訓(xùn)練examplex，模型計(jì)算每個(gè)Labelk∈{1...K}的概率為：p(k|x)=，其中zi是logits或未歸一化的對(duì)數(shù)概率［10］。訓(xùn)練集上單個(gè)example標(biāo)簽的實(shí)際概率分布（Ground-TruthDistribution）進(jìn)行歸一化處理：，為了簡(jiǎn)潔計(jì)算，忽略p和q對(duì)x的依賴。定義單個(gè)example上 的crossentropy為l=最小化crossentropy等價(jià)于最大化一個(gè)標(biāo)簽的對(duì)數(shù)極大似然值的期望（expectedlog-likelihoodofalabel），這里標(biāo)簽根據(jù)q(k)選擇。crossentropy損失函數(shù)關(guān)于logitszk處處可微，因此可以使用梯度下降訓(xùn)練深度網(wǎng)絡(luò)。其梯度有一個(gè)相當(dāng)簡(jiǎn)單的形式：=p(k) -q(k)，其范圍為-1～1。

對(duì)于一個(gè)真實(shí)的標(biāo)簽：對(duì)于所有k/=y的情況，要求q(y)=1。在這種情況下，最小化交叉熵［11］等價(jià)于最大化正確標(biāo)簽的對(duì)數(shù)似然。對(duì)于一個(gè)標(biāo)簽為y的examplex，最大化q(k)=δk，y時(shí)的對(duì)數(shù)似然，這里q(k)=δk，y是狄拉克δ函數(shù)。在k=y時(shí)，狄拉克函數(shù)等于1，其余等于0。通過訓(xùn)練，正確logit的zy應(yīng)該遠(yuǎn)大于其他zk(z/=y)，zy一般取值較大，但是容易引起過擬合：如果模型學(xué)習(xí)將所有概率分配到真實(shí)標(biāo)簽的邏輯單元上，泛化是沒有保證的。鼓勵(lì)最大logit和其他logit的差異（KL距離）越大越好，結(jié)合有界梯度（doundedgradient），降低了模型適應(yīng)能力。直覺上，適應(yīng)能力降低的原因應(yīng)該是模型對(duì)其預(yù)測(cè)太過于自信。如果目標(biāo)是最大化訓(xùn)練標(biāo)簽的對(duì)數(shù)似然，那這很可能不是預(yù)期所需，它對(duì)模型進(jìn)行了正則并且使得模型的適應(yīng)性更強(qiáng)?？紤]一個(gè)獨(dú)立于訓(xùn)練examplex的標(biāo)簽分布u(k)，和一個(gè)smoothing參數(shù)?。對(duì)于一個(gè)訓(xùn)練標(biāo)簽為y的example，替代標(biāo)簽分布q(k|x)=δk，y為：

新的分布是原始標(biāo)簽分布和一個(gè)指定分布u(k)的混合，兩部分的權(quán)重為1 -?。使用標(biāo)簽的先驗(yàn)分布作為u(k)=1/K，LSR 的另一種損失函數(shù)可以通過研究交叉熵?fù)p失函數(shù)獲得：

等價(jià)于用一對(duì)損失函數(shù)H(q，p)和H(u，p)代替單個(gè)損失函數(shù)H(q，p)。損失函數(shù)的第二項(xiàng)懲罰了預(yù)測(cè)標(biāo)簽的分布和先驗(yàn)分布u的偏差with相對(duì)權(quán)重。因 為H(u，p)=DKL(u∣p) +H(u)，所以該偏差可以被KL散度捕獲。當(dāng)u是均勻分布時(shí)，H(u，p)衡量的是預(yù)測(cè)分布p和均勻分布之間的相似性，該相似性可用負(fù)熵-H(p)加以衡量。

2 實(shí)驗(yàn)過程

2.1 實(shí)驗(yàn)流程

本次實(shí)驗(yàn)采用的設(shè)備包括顯示器、工作臺(tái)、計(jì)算機(jī)和海康威視攝像頭，具體實(shí)驗(yàn)流程如圖4所示。

Fig.4 Experimental process圖4 實(shí)驗(yàn)流程

（1）數(shù)據(jù)采集。通過現(xiàn)場(chǎng)人員在廢水池中取得，每次實(shí)驗(yàn)將將1 000ml 廢水置于量筒中作為實(shí)驗(yàn)對(duì)象，利用?？低暠O(jiān)測(cè)0～30min內(nèi)污泥沉降比變化。

部分?jǐn)?shù)據(jù)集展示如圖5所示。

Fig.5 Partial training dataset display圖5 部分訓(xùn)練集展示

（2）圖像處理。主要是圖像預(yù)處理，由于圖像背景固定，因此預(yù)處理重點(diǎn)主要包含目標(biāo)增強(qiáng)［12］、裁剪、濾波二值等，以更好地突出目標(biāo)。

（3）區(qū)間判定。計(jì)算目標(biāo)在圖像中的高度，通過顏色閾值判定及比例確定污泥所處的大致區(qū)間。

（4）圖像訓(xùn)練。將處理后的訓(xùn)練集圖像放進(jìn)改進(jìn)后的神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，通過大量實(shí)驗(yàn)調(diào)參，優(yōu)化模型參數(shù)。

（5）圖像分類。將測(cè)試圖片進(jìn)行模型預(yù)測(cè)，得到分類結(jié)果。

2.2 實(shí)驗(yàn)結(jié)果

基于深度學(xué)習(xí)的污泥沉降比檢測(cè)主要是對(duì)傳統(tǒng)的LeNet-5 神經(jīng)網(wǎng)絡(luò)進(jìn)行合理的擴(kuò)充和優(yōu)化以完成圖片分類。本文將此次研究的15 類刻度標(biāo)尺圖片以7∶2∶1 的形式算出的訓(xùn)練集、驗(yàn)證集和測(cè)試集的數(shù)量全部投入訓(xùn)練，并得出梯度及損失函數(shù)變化如圖6所示。

Fig.6 Gradient and loss function change圖6 梯度及損失函數(shù)變化

根據(jù)實(shí)驗(yàn)結(jié)果可知，改進(jìn)后的神經(jīng)網(wǎng)絡(luò)訓(xùn)練105輪梯度和損失函數(shù)已經(jīng)趨于穩(wěn)定。最終測(cè)試準(zhǔn)確率可達(dá)96%以上，測(cè)試集訓(xùn)練過程展示如圖7所示。

Fig.7 Training process display圖7 訓(xùn)練過程展示

由于本次使用的數(shù)據(jù)集對(duì)背景干擾未做太大處理，且拍攝角度有反光，因此肉眼所見效果不佳，但是由于訓(xùn)練集和測(cè)試集都處于同一環(huán)境，在標(biāo)簽確定下的情況，系統(tǒng)仍然可以對(duì)圖片進(jìn)行很好的分類識(shí)別?；贑/S 結(jié)構(gòu)［13］，借助后端語言Python 和Django 框架搭建系統(tǒng)并進(jìn)行顯示，隨機(jī)挑選一張圖片的測(cè)試結(jié)果如圖8所示。

Fig.8 Identification results of sludge sedimentation ratio圖8 污泥沉降比識(shí)別結(jié)果

識(shí)別結(jié)果展示中，左邊為系統(tǒng)對(duì)圖片的識(shí)別預(yù)測(cè)，一共設(shè)有4 個(gè)值，分別是590ml、600ml、580ml、540ml 以及對(duì)應(yīng)的概率，概率最大的值則被認(rèn)為是該量筒的讀數(shù)，右邊為該污泥的照片?？梢钥闯觯撓到y(tǒng)很好地識(shí)別出了讀數(shù)，雖然有反光影響，但是由于訓(xùn)練時(shí)增加了該環(huán)境下的訓(xùn)練集，因此當(dāng)測(cè)試集出現(xiàn)這種情況時(shí)系統(tǒng)依然可以準(zhǔn)確識(shí)別出來。為了驗(yàn)證準(zhǔn)確率，分別選取原神經(jīng)網(wǎng)絡(luò)、改進(jìn)后的神經(jīng)網(wǎng)絡(luò)、AlexNet 和Vgg-16 4 種網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)，在100、150、200的測(cè)試集進(jìn)行測(cè)試，結(jié)果統(tǒng)計(jì)如表1所示。

Table 1 Recognition rate statistics表1 識(shí)別率統(tǒng)計(jì)

結(jié)果表明，改進(jìn)后的神經(jīng)網(wǎng)絡(luò)對(duì)測(cè)試集的識(shí)別準(zhǔn)確率基本維持在97%左右，在4 種神經(jīng)網(wǎng)絡(luò)的對(duì)比實(shí)驗(yàn)中，改進(jìn)后的神經(jīng)網(wǎng)絡(luò)的識(shí)別率高于其他3 種，與Vgg-16 接近，但是Vgg-16 網(wǎng)絡(luò)復(fù)雜、訓(xùn)練難度大，無疑會(huì)增加訓(xùn)練成本。因此性能上還是改進(jìn)后的網(wǎng)絡(luò)更加滿足條件，并且隨著數(shù)據(jù)集的增大，準(zhǔn)確率可以保持穩(wěn)定，模型健壯性也有所增強(qiáng)。

3 結(jié)語

本文提出了基于改進(jìn)的LeNet-5 的神經(jīng)網(wǎng)絡(luò)污泥沉降比檢測(cè)研究，通過參考Inception-v3 網(wǎng)絡(luò)搭建特點(diǎn)對(duì)LeNet-5 神經(jīng)網(wǎng)絡(luò)進(jìn)行改進(jìn)，引入并聯(lián)式搭建理論提高模型并行獲取特征的能力，并在訓(xùn)練過程中引入輕量化特征重用網(wǎng)絡(luò)模型和正則分類器模式消除訓(xùn)練過程中Label-Dropout 的邊緣效應(yīng)。經(jīng)過大量實(shí)驗(yàn)結(jié)果表明，在相同數(shù)據(jù)集上改進(jìn)的神經(jīng)網(wǎng)絡(luò)識(shí)別率達(dá)97.2%，遠(yuǎn)高于原網(wǎng)絡(luò)訓(xùn)練結(jié)果。雖然此次訓(xùn)練集背景并未對(duì)背景多做處理，但是使用深度學(xué)習(xí)的方法仍然可以準(zhǔn)確加以識(shí)別。后續(xù)將繼續(xù)參考其他神經(jīng)網(wǎng)絡(luò)搭建特點(diǎn)對(duì)該網(wǎng)絡(luò)進(jìn)行優(yōu)化［14］，并且對(duì)數(shù)據(jù)集進(jìn)行增強(qiáng)處理［15］，提高訓(xùn)練速度和準(zhǔn)確率，實(shí)現(xiàn)在其他復(fù)雜環(huán)境下真正意義的智能化操作。