深層神經(jīng)網(wǎng)絡(luò)混合剪枝算法在COD軟測(cè)量中的應(yīng)用

孫鴻飛，王仲平

（蘭州交通大學(xué)數(shù)理學(xué)院，甘肅 蘭州 730070）

隨著社會(huì)和經(jīng)濟(jì)的發(fā)展，城市化和工業(yè)化的進(jìn)程提升了人們的生活水平，隨之帶來(lái)的環(huán)境保護(hù)問(wèn)題也日益被重視，污水處理作為水環(huán)境保護(hù)中的關(guān)鍵部分，也受到了越來(lái)越多的關(guān)注，對(duì)出水水質(zhì)指標(biāo)的實(shí)時(shí)監(jiān)測(cè)是排水質(zhì)量的保證。化學(xué)需氧量是以化學(xué)方法測(cè)量水樣中需要被氧化的還原性物質(zhì)的量[1]。它反映了水中受還原性物質(zhì)污染的程度，主要是有機(jī)物，化學(xué)需氧量越高，水中有機(jī)物的污染越嚴(yán)重，根據(jù)《城鎮(zhèn)污水處理廠污染物排放標(biāo)準(zhǔn)》，一級(jí)指標(biāo)A標(biāo)準(zhǔn)的COD最高允許排放濃度達(dá)到50 mg/L[2]，如何實(shí)時(shí)準(zhǔn)確地監(jiān)測(cè)這類(lèi)指標(biāo)有著重要意義。

為了快速準(zhǔn)確并低成本地測(cè)量出COD，國(guó)內(nèi)外學(xué)者將軟測(cè)量方法應(yīng)用到污水處理過(guò)程中來(lái)，其中以具有優(yōu)秀處理非線性能力的神經(jīng)網(wǎng)絡(luò)為主[3]，目前已取得了不少研究成果。管秋[4]等結(jié)合污泥濃度法和神經(jīng)網(wǎng)絡(luò)的特點(diǎn)，以能在線監(jiān)測(cè)的ORP、DO、pH值和污泥濃度MLSS為軟測(cè)量的輔助變量，BOD等做目標(biāo)變量進(jìn)行BP神經(jīng)網(wǎng)絡(luò)和RBF神經(jīng)網(wǎng)絡(luò)的模型，為后續(xù)的污水水質(zhì)研究提供了重要理論和實(shí)際意義；李文靜[5]等提出了一種基于互信息和自組織的RBF神經(jīng)網(wǎng)絡(luò)用于BOD測(cè)量，對(duì)敏感度較低的神經(jīng)元進(jìn)行刪除，然后再加以訓(xùn)練，均方差結(jié)果表明此軟測(cè)量模型的有效性較好。目前用于污水處理過(guò)程的神經(jīng)網(wǎng)絡(luò)軟測(cè)量方法大多為三層神經(jīng)網(wǎng)絡(luò)，然而污水處理基本是露天的環(huán)境，單隱藏層的神經(jīng)網(wǎng)絡(luò)對(duì)復(fù)雜極端的天氣干擾下表現(xiàn)并不如深層神經(jīng)網(wǎng)絡(luò)優(yōu)秀[6]，由此本文提出一種修剪棧式自編碼神經(jīng)網(wǎng)絡(luò)，首先堆疊自編碼網(wǎng)絡(luò)，利用逐層廣泛和反向傳播無(wú)監(jiān)督訓(xùn)練出初始權(quán)值，再進(jìn)行有監(jiān)督的微調(diào)，最終通過(guò)OBS剪枝算法對(duì)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行修剪，提升網(wǎng)絡(luò)的快速性和精簡(jiǎn)性[7]。

1 基于修剪棧式自編碼神經(jīng)網(wǎng)絡(luò)的軟測(cè)量模型

1.1 自編碼網(wǎng)絡(luò)

自編碼網(wǎng)絡(luò)是一種只有一層隱藏層的三層神經(jīng)網(wǎng)絡(luò)，自編碼網(wǎng)絡(luò)的輸入神經(jīng)元個(gè)數(shù)與輸出神經(jīng)元個(gè)數(shù)相同，目的在于重組輸入變量的信息是一種無(wú)監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)[8]。為了達(dá)到重構(gòu)的目的，自編碼網(wǎng)絡(luò)選取反向傳播算法進(jìn)行訓(xùn)練權(quán)值和偏置。

1.2 棧式自編碼神經(jīng)網(wǎng)絡(luò)

棧式自編碼網(wǎng)絡(luò)是由堆疊自編碼網(wǎng)絡(luò)而成的神經(jīng)網(wǎng)絡(luò)[9]，從輸入層開(kāi)始，每相鄰的兩層構(gòu)成一個(gè)自編碼網(wǎng)絡(luò)，前一層的自編碼網(wǎng)絡(luò)的輸出作為后一層自編碼網(wǎng)絡(luò)的輸入。網(wǎng)絡(luò)是采用逐層廣泛算法來(lái)預(yù)訓(xùn)練，每次只訓(xùn)練一層的參數(shù)，通過(guò)無(wú)監(jiān)督訓(xùn)練得到最佳權(quán)值和偏置，當(dāng)一層參數(shù)訓(xùn)練完成后才開(kāi)始下一層，直到所有層的參數(shù)訓(xùn)練完，在上述預(yù)訓(xùn)練結(jié)束得到初始權(quán)值和偏置后，加入原始數(shù)據(jù)標(biāo)簽，利用反向傳播算法對(duì)其進(jìn)行有監(jiān)督訓(xùn)練，此過(guò)程一般稱(chēng)作“微調(diào)”，這樣整個(gè)訓(xùn)練過(guò)程可以有效地避免隨機(jī)化初始參數(shù)容易陷入局部最優(yōu)解。

1.3 OBS剪枝算法

OBS是一種基于Hessian矩陣的剪枝算法[10]，分析權(quán)值的擾動(dòng)對(duì)誤差的影響，首先通過(guò)將誤差函數(shù)泰勒展開(kāi)：

E是訓(xùn)練集的訓(xùn)練誤差，w是神經(jīng)網(wǎng)絡(luò)中的權(quán)值和偏置參數(shù)，δ是擾動(dòng)項(xiàng)，是Hessian矩陣，是第三階項(xiàng)和所有高階項(xiàng)。在OBS剪枝算法中，目的是將其中一個(gè)參數(shù)設(shè)置為0，用wq表示，在迭代中最小化δ E，由此得到優(yōu)化問(wèn)題：

1.4 軟測(cè)量模型的建立

本研究選取輔助變量從目標(biāo)變量化學(xué)需氧量的相關(guān)變量和采集的難易程度考慮，選取了以下6個(gè)輔助變量：流量（Q）、懸浮物（SS）、出水總磷（TP）、出水總氮（TN）、溶解氧（DO）和污泥濃度（MLSS），作為神經(jīng)網(wǎng)絡(luò)的變量，輸入層6個(gè)輸入節(jié)點(diǎn)，第一個(gè)隱藏層和第二隱藏層分別8個(gè)和3個(gè)節(jié)點(diǎn)，輸出層為單個(gè)節(jié)點(diǎn)，對(duì)采樣數(shù)據(jù)進(jìn)行歸一化處理以消除量綱和單位的影響，再對(duì)輸出結(jié)果進(jìn)行反歸一化。共選取87天的采樣數(shù)據(jù)，將其分為訓(xùn)練集和測(cè)試集，對(duì)軟測(cè)量模型的有效性進(jìn)行驗(yàn)證。

2 結(jié)果

將本研究的深層神經(jīng)網(wǎng)絡(luò)混合剪枝算法與現(xiàn)有的常用神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)和RBF神經(jīng)網(wǎng)絡(luò)做對(duì)比實(shí)驗(yàn)，結(jié)果如圖1所示，訓(xùn)練集和測(cè)試集均為隨機(jī)選取，使用深層神經(jīng)網(wǎng)絡(luò)混合剪枝算法SAE_OBS共修剪權(quán)值44個(gè)，優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)后測(cè)試集的均方誤差為1.498，R2為96.7%，BP神經(jīng)網(wǎng)絡(luò)的均方誤差為4.272，R2為90.5%，RBF神經(jīng)網(wǎng)絡(luò)的均方誤差為4.064，R2為91.0%，證明本研究的深層神經(jīng)網(wǎng)絡(luò)混合剪枝算法SAE_OBS比傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)有著更好的擬合能力，預(yù)測(cè)性能較好，且經(jīng)過(guò)剪枝算法修整后網(wǎng)絡(luò)結(jié)構(gòu)更簡(jiǎn)單。

3 結(jié)論

針對(duì)污水處理中出水COD難以實(shí)時(shí)準(zhǔn)確預(yù)測(cè)的問(wèn)題，本文提出了一種基于深層神經(jīng)網(wǎng)絡(luò)混合剪枝算法的COD軟測(cè)量模型，具有以下特點(diǎn)：

1.使用深層神經(jīng)網(wǎng)絡(luò)比單隱藏層神經(jīng)網(wǎng)絡(luò)的抗干擾能力更優(yōu)秀，可以應(yīng)對(duì)有極端干擾天氣的影響，對(duì)COD預(yù)測(cè)更貼合實(shí)際。

2.對(duì)深層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行修剪，讓本來(lái)復(fù)雜的深層網(wǎng)絡(luò)結(jié)構(gòu)更加簡(jiǎn)單，且不影響網(wǎng)絡(luò)的預(yù)測(cè)性能。

3.與現(xiàn)有最常用的神經(jīng)網(wǎng)絡(luò)BP和RBF做對(duì)比實(shí)驗(yàn)，本文提出的基于深層神經(jīng)網(wǎng)絡(luò)混合剪枝算法的COD軟測(cè)量模型擬合精度更高，證實(shí)了此算法的可靠性。