改進深度置信網(wǎng)絡在城市用水量預測中的應用

劉春柳 張征

摘要：城市用水量的準確預測可以為供水管網(wǎng)智能調度、異常報警提供支持，便于及時發(fā)現(xiàn)漏損、排查及檢修，具有極大的現(xiàn)實意義與經(jīng)濟利益。針對現(xiàn)有用水量預測方法忽視用水量數(shù)據(jù)自身特征及不能模擬更復雜的數(shù)學運算的問題，提出一種改進深度置信網(wǎng)絡（DBN）的用水量預測方法。對有高斯分布的連續(xù)受限玻爾茲曼機（CRBM）引入稀疏正則項，解決特征同質化現(xiàn)象的同時也適用于用水量數(shù)據(jù)輸入。實驗結果表明，在實際用水量預測中，改進DBN模型相比傳統(tǒng)神經(jīng)網(wǎng)絡和傳統(tǒng)DBN預測模型，預測準確率得到了較大的提高。

關鍵詞：水量預測;深度置信網(wǎng)絡;稀疏連續(xù)受限玻爾茲曼機

DOI：10. 11907/rjdk.191378

開放科學（資源服務）標識碼（OSID）：

中圖分類號：TP301

文獻標識碼：A

文章編號：1672-7800（2020）001-0041-05

0 引言

城市用水量預測是供水管網(wǎng)系統(tǒng)計算和分析的基礎[1]。它可作為供水管網(wǎng)智能調度、異常報警的依據(jù)，便于及時發(fā)現(xiàn)漏損、排查及檢修，增加管網(wǎng)安全性和可靠性[2]，對自來水公司及民眾均具有極大的現(xiàn)實與經(jīng)濟意義[3]。

現(xiàn)有城市用水量預測模型主要有3種：①多元線性回歸模型[4-5]，該模型結構簡單、計算量小，但預測精度低、模型泛化能力差;②時間序列模型，常見的有自回歸差分滑動平均模型（ Autoregressive Integrated Moving Average，ARI-MA）[6]，該模型只能捕捉線性關系，受隨機干擾因素影響大、預測成本高[7];③非參數(shù)統(tǒng)計預測模型，比如BP（backpropagation）神經(jīng)網(wǎng)絡[8]、支持向量機及其改進[9-10]等。這些模型可以反映用水量變化規(guī)律，但它們均屬于淺層模型，在有限樣本和計算單元條件下，不能模擬更復雜的數(shù)學運算，并且大量樣本的數(shù)據(jù)特征是根據(jù)特定領域的先驗知識選擇而來的，忽視了對用水量數(shù)據(jù)自身特征的有效利用[11]。

深度學習可通過學習一種深層的非線性網(wǎng)絡結構實現(xiàn)復雜函數(shù)逼近，得到有效特征[12]。郭冠呈等[13]嘗試使用雙向長短時記憶循環(huán)神經(jīng)網(wǎng)絡模型（ Bi-directional LongShort-Term Memory，Bi-LSTM）預測城市短時用水量，LSTM一般用于處理和預測時間序列中間隔和延遲相對較長的重要事件[14]。用水量雖然也存在時序，但語音識別單詞前后之間有很強的邏輯關系，用水量前后的邏輯關系并不是很明確。而在用水量預測領域，深度置信網(wǎng)絡（ Deep BeliefNetwork.DBN）已經(jīng)成功應用于各種現(xiàn)實問題[15-17]。傳統(tǒng)DBN還存在一些問題，訓練特征存在大量共有特征，且需大量訓練數(shù)據(jù)才能很好地學習[18]，直接移植并不完全合適。DBN由多層受限玻爾茲曼機（Restricted Boltzmann Ma-chine，RBM）組成，經(jīng)典RBM是一個包含一層可視層v和一層隱藏層h的無向概率圖模型，RBM是基于能量的模型，對所有可能的隱藏單元求和，可得到網(wǎng)絡分配給可視單元的概率分布p（y）[19]。RBM的學習目標是最大化P（v），利用極大似然法求解對數(shù)似然函數(shù)P（v）。為提升訓練效率，利用對比散度（ Contrastive Divergence，CD）算法進行參數(shù)更新。傳統(tǒng)的RBM模型可視層和隱藏層單元均為隨機二進制單元，對于用水量這種連續(xù)值來說不是特別合適[20-21]。

針對以上問題，本文提出一種改進的深度置信網(wǎng)絡，該模型對有高斯分布的連續(xù)受限玻爾茲曼機（ ContinuousRestricted Boltzmann Machine，CRBM）引入稀疏正則項，解決特征同質化現(xiàn)象的同時也適用于用水量數(shù)據(jù)的輸入。

1 深度置信網(wǎng)絡模型改進

通過使用堆疊的RBM可以創(chuàng)建分層處理的DBN。因此，DBN大部分改進源于RBM的改進。本部分首先對經(jīng)典RBM的缺點進行改進優(yōu)化，然后使用改進后的RBM組成適用于水量預測的新的深度置信網(wǎng)絡模型。

1.1 受限玻爾茲曼機改進

傳統(tǒng)隨機二進制單元RBM模型不適合處理水量預測問題，因此采用CRBM，在線性單元中加入獨立高斯噪聲使RBM可以處理連續(xù)輸入，CRBM具有實值可視單元和二值隱藏單元。CRBM訓練以及更新參數(shù)的過程與傳統(tǒng)RBM沒有明顯區(qū)別，均可運用CD算法對其參數(shù)進行調整。此時能量函數(shù)為：

為了實現(xiàn)深層結構中的稀疏特征，對CRBM可進一步改進——在CRBM的最大似然函數(shù)中添加稀疏正則項，可以學習有用的低級特征表示。它根據(jù)隱藏層節(jié)點激活概率與稀疏系數(shù)之間的差距而具有不同的行為，并且具有可以控制稀疏力度的位置參數(shù);另外，本文算法在樣本較少時仍可以獲得數(shù)據(jù)的主要特征，并一定程度上抑制了訓練數(shù)據(jù)較少情況的過擬合現(xiàn)象。使用稀疏正則化的無監(jiān)督預訓練優(yōu)化模型定義如式（2）所示。

本文提出一種引入Laplace函數(shù)的稀疏正則化連續(xù)受限玻爾茲曼機（IS-CRBM），通過使用拉普拉斯函數(shù)懲罰誘導隱含層單元的稀疏狀態(tài)，而拉普拉斯函數(shù)具有重尾特征，根據(jù)隱含層單元激活概率與p的差距，顯示不同的稀疏程度。最終參數(shù)更新公式為：

1.2 LSC-DBN整體架構設計

經(jīng)典DBN是由幾個RBM堆疊后附加一層BP神經(jīng)網(wǎng)絡節(jié)點形成的。RBM采用無監(jiān)督訓練機制進行訓練，BP神經(jīng)網(wǎng)絡采用有監(jiān)督的機制進行訓練。LSC-DBN利用預訓練和微調訓練兩個訓練過程訓練參數(shù)，區(qū)別主要在于對RBM的改進。本文提出一種基于Laplace函數(shù)的連續(xù)DBN （ISC-DBN），它由一個底層LSC-RBM及上層兩個LS-RBM層疊而成，將底層LSC-RBM訓練好的參數(shù)和輸出作為訓練模型中下一個LS-RBM的輸入，多次循環(huán)迭代后，可以學習到一個深層次的稀疏連續(xù)DBN模型。參數(shù)更新算法也有了變化——通過CD算法對似然函數(shù)項進行一次參數(shù)更新，在此基礎上使用正則化項的梯度進行一步梯度下降。LSC-DBN的算法流程如下：

預訓練：網(wǎng)絡參數(shù)初始化過程，通過逐層采用無監(jiān)督貪心算法方式自底向上初始化各層間的連接權重值和偏置值。底層LS-CRBM的輸出作為高層LS-RBM的輸入，經(jīng)過多次迭代訓練，得到無監(jiān)督的DBN。

微調：以LSC-DBN最后一層LS-RBM的輸出作為BP神經(jīng)網(wǎng)絡的輸入，計算出前向傳播的輸出結果與標簽數(shù)據(jù)的誤差，通過批量梯度下降法自頂向下地進行監(jiān)督學習、微調整個網(wǎng)絡。

整體流程如圖1所示。

2 應用實例與結果分析

本文實驗在MAC操作系統(tǒng)上運行，計算機配置為In-tel Core i7，16G內存，編碼在PyCharm平臺上完成。將BP神經(jīng)網(wǎng)絡、傳統(tǒng)DBN模型及本文改進后的DBN模型進行對比，并分析相應結果。

2.1 實驗數(shù)據(jù)與模型輸入

數(shù)據(jù)集來自某智慧水務公司，數(shù)據(jù)集包含有每隔Smin的用水流量。流量計覆蓋地較廣，因為地理位置及職能不同，呈現(xiàn)出不同的用水趨勢，根據(jù)用水趨勢、用水曲線形態(tài)等特征，作無監(jiān)督聚類，水量聚類工作在之前的工作中已經(jīng)完成。對流量曲線進行聚類之后的結果有6類典型用水模型。在每一類模型中隨機選取6條用水曲線數(shù)據(jù)，其中5條為輸入數(shù)據(jù)，1條為輸出數(shù)據(jù)。本文模型輸入層個數(shù)為10，具體模型的輸出為其中一條某時刻用水量的預測值Y（t），輸入為另外5條用水量曲線t-l、t-2時刻共10個歷史用水數(shù)據(jù)。表示如下：

其參數(shù)含義為：以X1（t -2）為例，表示第一條用水曲線t時刻之前兩個時刻的用水量。以此類推重復選取30次，得出一個特征和標簽數(shù)據(jù)集。數(shù)據(jù)集矩陣隨機劃分為訓練子集和測試子集以訓練模型，共訓練得到6類模型。

本文建立的LSC-DBN模型輸入層大小，隱藏層層數(shù)、每一層節(jié)點個數(shù)及各個參數(shù)的選擇需要大量測試及經(jīng)驗值選定。最終確定隱藏層結構為[100，100，50]。

2.2 模型評價指標確定

為了能夠更好地分析預測效果，使用兩個最常見的用于回歸評價的指標，即均方誤差誤差（MSE）和R2決定系（R2Score）.定義如下：

均方誤差（MSE）是一種反映估計量與被估計量之間差異程度的度量，數(shù)值越大差異越大，理想的均方誤差越小越好，公式如下：

其中，m為序列的維度;yi為流量計流量預測值;yi為實際的流量計流量數(shù)值。

R2決定系數(shù)（R2）也稱為擬合優(yōu)度，擬合優(yōu)度越大，觀察點在回歸線附近越密集。決定系數(shù)R2數(shù)值范圍在[0，1]，R2越大即預測數(shù)據(jù)和真實數(shù)據(jù)越接近。

2.3 預測模式及實例結果分析

為預測一個流量計的用水量，首先根據(jù)其以往用水量數(shù)據(jù)與訓練好的聚類中心進行距離度量，把以往用水量曲線聚類到6類模型中，根據(jù)每類的數(shù)量進行概率預測。例如，選取某流量計用水量，該流量計此前有100天的數(shù)據(jù)，聚類到聚類模型中，其中有90條屬于第一類，7條屬于第二類，3條屬于第三類，其余類型為0條，則該流量計有90%的概率是第一類預測的結果，7%的概率為第二類預測的結果，少于5條數(shù)據(jù)的類型忽略不計。選取每類中的6條數(shù)據(jù)，其中5條作為輸入數(shù)據(jù)，輸入到各自的模型中進行預測，得到的數(shù)據(jù)為預測曲線，一個流量計可能存在不同模式的用水曲線，因此一個流量計最后得出的預測曲線可能有多個，區(qū)別在于概率不同。

本文選取3個流量計，其用水曲線見圖2 -圖4。

流量計1共有83條曲線，其中第一類流量波動較大的曲線有61條，第二類平穩(wěn)低流量曲線有22條。流量計2、流量計3所有曲線屬于同類。從每類中任意選取6條曲線，其中5條用于預測，第6條用于驗證。

對流量計1而言，存在兩種用水模式，預測結果為73.5%的可能為高流量曲線，26.5%的概率為低流量曲線。除了極端尖點和谷點，兩種曲線模式擬合均較準確。

對流量計2而言，只有一種模式符合正常家庭用水模式。預測曲線整體擬合較好。但在7點時第一個峰值處稍低于實際值，在11點左右預測值有一個尖點，此處可能有異常情況，需結合閾值作進一步分析。

流量計3同樣是一種用水模式，整體值預測和趨勢都比較準確，對于高峰來臨及下降時刻也預測得比較準確，流量預警將更準確。

綜上，本文提出的預測模型的預測結果與實際用水量數(shù)據(jù)偏差很小，可以較好地反映出用水量隨時間變化的基本規(guī)律。

對訓練LSC-DBN模型的RBM訓練階段調優(yōu)次數(shù)ep-ochs進行調整測試，發(fā)現(xiàn)大于15次之后模型RBM的error可以穩(wěn)定下來，因此epochs設為15，以同樣方式對學習率、梯度下降的batch大小、微調階段BP過程迭代次數(shù)進行相關實驗，最終學習率為0.01' batch size為16，微調階段BP過程迭代次數(shù)為200。

為進一步驗證本文LSC-DBN預測模型的有效性，以預測第6條曲線全天用水量為目標，分別使用CA-BP神經(jīng)網(wǎng)絡、傳統(tǒng)RBM-DBN與本文方法進行對比預測。3種算法的性能指標對比如表1-表4所示。

由表1可知，對流量計1的高流量曲線來說，LSC-DBN預測模型的均方誤差最小，擬合優(yōu)度最高，說明預測曲線與實際曲線更接近，效果更好。3個模型的曲線走勢如圖9所示，BP神經(jīng)網(wǎng)絡和傳統(tǒng)DBN在峰值和低谷處沒有LSC-DBN擬合得好，即其峰值不夠高，谷值不夠低，且BP神經(jīng)網(wǎng)絡在流量高處抖動嚴重、不穩(wěn)定，流量報警容易出現(xiàn)漏報及誤報。

流量計1的低流量曲線由于數(shù)值較小，均方誤差值也較小，LSC-DBN同樣最低，擬合優(yōu)度最高。從圖10曲線對比可知，在凌晨2點左右，BP神經(jīng)網(wǎng)絡出現(xiàn)了一個異常尖峰，而實際值沒有;15點左右，BP神經(jīng)網(wǎng)絡和DBN流量趨勢均沒有LSC-DBN準確。

對流量計2來說，均方誤差值最小，擬合優(yōu)度最高。從圖11可看出，BP神經(jīng)網(wǎng)絡和DBN均沒有捕獲到第一個尖峰值特征，第二個峰值也不夠高，LSC-DBN更符合曲線特征。

同樣的，LSC-DBN在流量計3的曲線預測中，有更小的均方誤差和更高的擬合優(yōu)度。在圖12的曲線走勢中均可準確預測高流量到來時刻，但是BP神經(jīng)網(wǎng)絡在低流量時抖動嚴重，DBN在兩個高峰處趨勢沒有LSC-DBN準確。

綜上所述，從性能指標可以看出，LSC-DBN均方誤差小于另外兩種方法，擬合優(yōu)度也更佳。從曲線對比圖中可以看出，另外兩種方法在低點和高點處都有不同程度的預測誤差，LSC-DBN在極值處雖然仍然存在誤差，但遠小于另外兩種方法。因此在實際用水量預測結果中，本文LSC-DBN模型預測曲線比RBM-DBN模型和BP神經(jīng)網(wǎng)絡更接近實際用水流量曲線。

3 結語

本文提出了一種基于LSC-RBM及LS-RBM的改進DBN模型進行用水量預測。其中，針對RBM只能接受二進制輸入而導致數(shù)據(jù)丟失問題，使用帶有高斯分布的CRBM模型，并在此基礎上針對特征冗余問題提出LSC-RBM模型，結合CD算法及梯度下降更新參數(shù)。實驗結果表明，本文模型預測值與真實值基本吻合，預測精度高，是一種有效的用水量預測方法，但本文方法的時間復雜度較高，如何進行簡化是未來研究重點。另外可以結合CIS在地圖上對流量計進行數(shù)據(jù)可視化.實現(xiàn)監(jiān)控及報警功能。

參考文獻：

[1]安明陽，付婉霞，韓偉，等.城市供水三種時用水量預測方法的比較[J].給水排水，2012，48（ S2）：229-231.

[2]QUEVEDO J，SALUDES J，PUIG V. et al. Short-term demand fore-casting for real-time operational control of the Barcelona water trans-port net，vork [Cl. The 22nd Mediterranean Conference on Control&Automation， 2014： 990-995.

[3]BAI Y， WANG P，LI C，et al.A multi-scale relevance vector regres-sion approach for daily urban water demand forecasting[J]. Journal ofHydrology， 2014， 517： 236-245.

[4]周晨，馮宇東，肖匡心，等.基于多元線性回歸模型的東北地區(qū)需水量分析[J].數(shù)學的實踐與認識，2014，44（01）：118-123.

[5]YASAR A， BILGILI M. SIMSEK E.Water demand forecasting basedon stepwise multiple nonlinear regression analysis[J]. Arabian Jour-nal for Science and Engineering， 2012， 37（8）：2333-2341.

[6]MOMBENI H A， REZAEI S，NADARAJAH S，et al. Estimation ofwater demand on SARIMA models [J]. Environmental Modeling andAssessment. 2013. 18（5）：559-565.

[7]成云，成孝剛，談苗苗，等.基于ARIMA和小波神經(jīng)網(wǎng)絡組合模型的交通流預測[J].計算機技術與發(fā)展，2017，27（1）：169-172.

[8]JIANG X Q. CHEN W F.Comparison hetween BP neural network andCA-BP crop water demand forecasting model[J].Journal of Drainageand Irrigation Machinery Engine， 2018， 36（8）：762-766.

[9]CANDELIERI A， CIORDANI I， ARCHETTI F，et al. Tuning hyper-parameters of a SVM-based water demand forecasting system throughparallel global optimization [J]. Computers&Operations Research，2018，106（1）：202-209.

[10]仇軍，王景成.基于PSO-LSSVM的城市時用水量預測[J].控制工程，2014，21（ 02）：232-236.

[11]任瑋.基于深度信念網(wǎng)絡的網(wǎng)絡流量預測模型[J].山西電子技術.2016（1）：62-64+76.

[12]余凱，賈磊，陳雨強，等.深度學習的昨天、今天和明天[J].計算機研究與發(fā)展，2013，50（9）：1799 - 1804.

[13]郭冠呈，劉書明，李俊禹，等.基于雙向長短時神經(jīng)網(wǎng)絡的水量預測方法研究[J].給水排水，2018，54（3）：123-126.

[14]HOCHREITER S，SCHMIDHUBER J. Long short-term memory [J].Neural Computation， 1997，9（8）：1735.

[15]CHASEMI F，F(xiàn)ASSIHI A. PEREZ-sANCHEZ H， et al. The role ofdifferent sampling methods in improving biological activity predictionusing deep belief network[J].Journal of Computational Chemistry，2017， 38（4）：195.

[16] 劉方園，王水花，張煜東.深度置信網(wǎng)絡模型及應用研究綜述[J].計算機工程與應用，2018，54（1）：11-18+47.

[17]姚騰輝，李峰.基于深度信念網(wǎng)絡的建筑物用水流量預測[J].軟件導刊，2018，17（ 10）：36-40.

[18] HINTON G E.A practical guide to training restricted Boltzmann ma-chines[J]. Momentum， 2012，9（1）：599-619.

[19]HINTON G，OSINDERO S.A fast learning algorithm for deep beliefnets[J]. Neural Computation. 2006. 18（7）： 1527-1554.

[20]CHEN H，MURRAY A F.Continuous restricted Boltzmann machinewith an implementable training algorithm [J]. IEEE Proceedings ofVision， Image and Signal Processing， 2003， 150（3）：153-158.

[21]孫勁光，蔣金葉，孟祥福，等.一種數(shù)值屬性的深度置信網(wǎng)絡分類方法[J].計算機工程與應用，2014，50（2）：112-116.

（責任編輯：江艷）

作者簡介：劉春柳（1995-），女，華中科技大學人工智能與自動化學院碩士研究生，研究方向為城市智能化、數(shù)據(jù)可視化;張征（1976-），男，博士，華中科技大學人工智能與自動化學院副教授，研究方向為普適計算、物聯(lián)網(wǎng)與城市智能化、分子計算等。本文通訊作者：張征。