基于HMM和BP神經(jīng)網(wǎng)絡(luò)組合模型的用水行為識別

趙太飛， 谷偉豪， 馬欣媛， 段延峰

(1.西安理工大學(xué) 自動化與信息工程學(xué)院, 陜西 西安 710048； 2.戶縣農(nóng)村供水管理中心, 陜西 西安 710300)

1 研究背景

目前，在我國水資源需求量逐漸增加，供不應(yīng)求的情況下，地下水資源被大量開發(fā)和利用，導(dǎo)致了水位下降、水質(zhì)污染等問題[1]。我國超過一半的人口生活在農(nóng)村地區(qū)，農(nóng)村居民用水是水資源管理的主要構(gòu)成。在水資源潰乏并且需求量不斷增大的背景下[2]，通過研究農(nóng)村居民用水的行為，揭示居民的用水類型和過程，科學(xué)地評估農(nóng)村居民用水需求，對不合理用水行為采取相應(yīng)的節(jié)水措施，是保障居民用水安全、緩解水資源矛盾的重要方法，對農(nóng)村地區(qū)用水安全和管理有著重要的研究意義[3]。

目前，研究識別居民用水行為的文獻(xiàn)較少。文獻(xiàn)[4]通過在家中供水設(shè)施的關(guān)鍵位置部署少量低成本且易于安裝的傳感器，使用動態(tài)時間規(guī)整算法識別居民用水行為。但是，部分用水事件的識別精度比較低。文獻(xiàn)[5]在家庭用水基礎(chǔ)設(shè)施中部署壓力傳感器HydroSense，通過數(shù)據(jù)挖掘技術(shù)分析用水設(shè)施傳播到傳感器的壓力，識別用水行為。但是部署的傳感器影響了美觀，潛在地增加了成本。文獻(xiàn)[6]提出了一個基于web的知識管理系統(tǒng)的設(shè)想，該系統(tǒng)可以提供關(guān)于如何、何時、何地水的實時消耗信息。文獻(xiàn)[7]采用基于決策樹的分析工具Trace Wizard跟蹤用水流量確定家庭用水事件類別。但是該方法是復(fù)雜的模式匹配問題，識別準(zhǔn)確度不高，并且耗費大量的時間和資源。文獻(xiàn)[8]應(yīng)用隱馬爾可夫模型和動態(tài)時間規(guī)整算法的組合模型對居民用水行為進(jìn)行識別。該方法能準(zhǔn)確區(qū)分具有相似流量模式的用水事件，應(yīng)用模式匹配算法自動識別居民用水行為。

目前在用水行為識別領(lǐng)域使用的主要技術(shù)中，HMM對時間序列的建模能力較強，穩(wěn)健性好，但是分類決策能力比較弱，需要大量先驗知識，自適應(yīng)能力較差，占用資源較多[11]，主要在語音識別領(lǐng)域、故障診斷領(lǐng)域、行為識別領(lǐng)域[9-10]等應(yīng)用；BP神經(jīng)網(wǎng)絡(luò)的分類能力和對不確定信息的描述能力強，其網(wǎng)絡(luò)的容錯性以及魯棒性極佳[13]，但是它對時間序列的建模能力很差，收斂速度慢，有時容易陷入局部最小值情況[14]，主要應(yīng)用在模式識別、圖像處理、智能控制、預(yù)測等領(lǐng)域[12]。

因此，全面考慮這兩種模型在其他領(lǐng)域的運用，將這兩種模型的優(yōu)勢結(jié)合并提出一種HMM和BP神經(jīng)網(wǎng)絡(luò)優(yōu)點的組合模型[15]。該組合模型具有強大的建模能力、分類性以及適應(yīng)性強等特點，能更準(zhǔn)確地自動識別居民用水行為。本文首先對用水事件的流量數(shù)據(jù)進(jìn)行預(yù)處理，建立各個用水事件的HMM，在BP神經(jīng)網(wǎng)絡(luò)中輸入最佳概率，進(jìn)一步區(qū)分類似流量事件的不同行為。BP神經(jīng)網(wǎng)絡(luò)的輸入是根據(jù)Viterbi算法原理推導(dǎo)出最優(yōu)輸出狀態(tài)的概率，可以使該模型達(dá)到最佳識別效果。

2 HMM和BP神經(jīng)網(wǎng)絡(luò)的基本原理

2.1 HMM基本原理

由具有一定狀態(tài)數(shù)的隱馬爾可夫鏈和一般隨機過程構(gòu)成的隱馬爾可夫模型是一個雙重隨機過程。對于隱馬爾可夫模型，不能直接觀察到它的狀態(tài)轉(zhuǎn)移，但是可以通過觀察狀態(tài)分析隱含狀態(tài)，因此稱之為隱馬爾科夫模型。目前該模型已經(jīng)成功應(yīng)用于多個領(lǐng)域?？捎萌缦翹、M、A、B、π共5個參數(shù)來表示一個完整的隱馬爾科夫模型[16]，其中N為隱含狀態(tài)數(shù)目，M為可觀測狀態(tài)數(shù)目。

A=(aij)N×N：隱含狀態(tài)轉(zhuǎn)移概率矩陣。矩陣A中任意元素aij代表其從初始狀態(tài)si轉(zhuǎn)移到狀態(tài)為sj的概率。

B=(bj(k))：觀察狀態(tài)轉(zhuǎn)移概率矩陣。bj(k)是指因隱藏狀態(tài)sj產(chǎn)生觀察狀態(tài)vk的概率。

π={πi}，系統(tǒng)初始狀態(tài)概率矩陣。該矩陣表示t=1時，在隱含狀態(tài)下的概率矩陣。

一般可以用λ=(N,M,A,B,π)來表示一個HMM。由于N、M均為定值，所以1個HMM還可以簡寫為[17]：

λ=(A,B,π)

(1)

2.2 BP神經(jīng)網(wǎng)絡(luò)基本原理

BP網(wǎng)絡(luò)是利用誤差反向傳播訓(xùn)練算法的神經(jīng)網(wǎng)絡(luò)，是前饋型全局逼近神經(jīng)網(wǎng)絡(luò)。BP神經(jīng)網(wǎng)絡(luò)包括輸入層、輸出層和中間隱含層，神經(jīng)元的連接方式在層與層之間是全互連型，在同層之間沒有相互聯(lián)接。BP學(xué)習(xí)算法的實質(zhì)是盡可能優(yōu)化總體網(wǎng)絡(luò)誤差，BP神經(jīng)網(wǎng)絡(luò)包括以下兩個過程。

(1)輸入信號的正向傳播。在輸入端輸入初始信號，該信號分別在不同隱含層被處理，被隱含層處理完畢后送到輸出層。輸出層檢測信號，若檢測到的輸出與期望不一致，則進(jìn)入第2個過程。

(2)誤差信號的反向傳播。反向傳播過程中，計算誤差信號的值，然后傳回誤差信號，該信號方向與之前相反，按誤差不斷減小的原則調(diào)整權(quán)值，直到網(wǎng)絡(luò)誤差趨向最小。

這種輸入信號的正向傳播過程和誤差信號反向傳播過程，就是輸入信號在BP神經(jīng)網(wǎng)絡(luò)隱含層被處理，并且不斷調(diào)整和優(yōu)化每層的權(quán)值，也就相當(dāng)于網(wǎng)絡(luò)的學(xué)習(xí)過程。BP學(xué)習(xí)算法的實質(zhì)是計算神經(jīng)網(wǎng)絡(luò)誤差信號的最小值，使用最速下降法，通過分析誤差函數(shù)的負(fù)梯度方向修改權(quán)系數(shù)。網(wǎng)絡(luò)每層權(quán)值的改變由傳播到此層的誤差決定，BP學(xué)習(xí)算法結(jié)束依據(jù)的標(biāo)準(zhǔn)是誤差達(dá)到精度要求。

3 HMM和BP神經(jīng)網(wǎng)絡(luò)組合模型的建立

參考前人方法的研究基礎(chǔ)，全面考慮了HMM模型和BP神經(jīng)網(wǎng)絡(luò)模型的優(yōu)勢和不足，使HMM和BP神經(jīng)網(wǎng)絡(luò)結(jié)合起來[18]，將HMM的最佳狀態(tài)輸出概率作為BP神經(jīng)網(wǎng)絡(luò)的輸入，建立組合模型。首先為居民用水行為的6個事件分別建立一個HMM，使用Viterbi算法分析各個網(wǎng)絡(luò)模型，然后得出最優(yōu)輸出概率；將HMM的最佳狀態(tài)輸出概率作為BP神經(jīng)網(wǎng)絡(luò)的輸入，然后將HMM的輸出概率和期望的輸出做比較訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)，在BP神經(jīng)網(wǎng)絡(luò)的作用下，HMM模型的分類能力得到很大的提升，使得最終的識別結(jié)果更加準(zhǔn)確[19]。

具體訓(xùn)練過程如下：

(1)選定HMM的結(jié)構(gòu)類型為左右HMM，對HMM參數(shù)進(jìn)行初始化，并且初始化BP神經(jīng)網(wǎng)絡(luò)模型；

(2)選取各個用水事件流量數(shù)據(jù)，并且對數(shù)據(jù)進(jìn)行預(yù)處理，訓(xùn)練模型的數(shù)據(jù)選取約占總數(shù)據(jù)的4/5，剩余的數(shù)據(jù)用于驗證該算法模型；

(3)為每個類別的用水事件分別建立一個HMM模型并對各個HMM進(jìn)行訓(xùn)練，對模型的參數(shù)進(jìn)行重估，確定新的HMM參數(shù)；

(4)通過Viterbi算法計算各個HMM中最大狀態(tài)輸出概率，在識別過程中，經(jīng)過Viterbi算法計算，輸出6個用水事件的HMM中的最佳狀態(tài)輸出概率，并將此最佳狀態(tài)輸出概率和期望輸出輸入到3層結(jié)構(gòu)的BP神經(jīng)網(wǎng)絡(luò)中進(jìn)行學(xué)習(xí)，使網(wǎng)絡(luò)的實際輸出更加接近于網(wǎng)絡(luò)的期望輸出，BP神經(jīng)網(wǎng)絡(luò)選擇S型函數(shù)作為傳輸函數(shù)，使用基于梯度下降的訓(xùn)練算法，綜合考慮誤差的平方以及權(quán)值的梯度下降方法對權(quán)值進(jìn)行修改，以達(dá)到BP神經(jīng)網(wǎng)絡(luò)的期望效果；

(5)檢測BP網(wǎng)絡(luò)是否收斂，如不達(dá)到收斂要求，則繼續(xù)對BP網(wǎng)絡(luò)進(jìn)行訓(xùn)練；否則，執(zhí)行下一步；

(6)訓(xùn)練好組合模型后，在數(shù)據(jù)集中抽取測試數(shù)據(jù)，輸入訓(xùn)練好的組合模型中，記錄識別結(jié)果，并計算識別準(zhǔn)確度。

HMM和BP神經(jīng)網(wǎng)絡(luò)的組合模型的識別流程如圖l所示。

圖l HMM和BP組合模型

4 結(jié)果與分析

本文以戶縣龐光鎮(zhèn)為研究區(qū)域，隨機選取一份2015年4月份的用水資料，這份用水資料包含25戶樣本家庭，通過統(tǒng)計分析這些用戶半個月以來的用水情況，得出每個用戶的用水行為，將這些用水行為數(shù)據(jù)統(tǒng)計分類建立一個樣本庫。訓(xùn)練模型數(shù)據(jù)就從該樣本庫選取，大約占總樣本數(shù)的4/5，剩余的1/5則用于驗證該模型。

在數(shù)據(jù)集中抽取測試數(shù)據(jù)，輸入訓(xùn)練好的HMM和BP神經(jīng)網(wǎng)絡(luò)的組合模型中，記錄識別結(jié)果，并計算識別準(zhǔn)確度。將基于HMM和BP神經(jīng)網(wǎng)絡(luò)的組合模型的識別結(jié)果同單獨應(yīng)用HMM模型和BP神經(jīng)網(wǎng)絡(luò)的識別結(jié)果進(jìn)行對比[20]，如表1所示。

表1 基于HMM、BP、HMM和BP組合模型的識別率結(jié)果對比 %

由表1可知，HMM對于洗浴、洗鍋、洗衣服的識別準(zhǔn)確度比較低，對這3種事件的識別準(zhǔn)確度不高的主要原因是因為這3種事件有一個類似的流量模式，隱馬爾可夫模型對于相似模式的事件的識別無法達(dá)到最佳。

BP神經(jīng)網(wǎng)絡(luò)對相似流量模式的洗浴、洗鍋、洗衣服事件的識別結(jié)果仍然不高，這是因為這3種事件的流量模式容易混淆，使單一的BP神經(jīng)網(wǎng)絡(luò)無法更好地區(qū)分識別，因此造成了識別準(zhǔn)確度不高的結(jié)果。

從表1中可以看出，和傳統(tǒng)的HMM、BP神經(jīng)網(wǎng)絡(luò)模型相比，HMM和BP組合模型提高了其識別能力的準(zhǔn)確度。對于具有不同流量模式的用水事件，如農(nóng)田澆水、沖廁所、漏水等用水行為，這3個模型都能較好地識別，尤其是HMM和BP神經(jīng)網(wǎng)絡(luò)的組合模型，在識別準(zhǔn)確度上更高；而對于具有相似流量模式容易混淆的洗浴、洗鍋、洗衣服事件，在傳統(tǒng)HMM和BP神經(jīng)網(wǎng)絡(luò)中無法得到比較高的識別準(zhǔn)確度，即便使用HMM和BP神經(jīng)網(wǎng)絡(luò)的組合模型，其識別準(zhǔn)確度也并未達(dá)到比較高的水平。因為在這3種事件中，它們的流量模式非常相似，從而使得其識別準(zhǔn)確度無法得到很大提高。從識別結(jié)果中可以發(fā)現(xiàn)，HMM和BP神經(jīng)網(wǎng)絡(luò)的組合模型，其識別準(zhǔn)確度比單獨應(yīng)用HMM模型約高8.78%，比單獨應(yīng)用BP神經(jīng)網(wǎng)絡(luò)約高8.92%。

從本文的實驗結(jié)果中可以看出，辨別居民的不同用水行為的分析可以采用HMM和BP神經(jīng)網(wǎng)絡(luò)的組合模型，該組合模型的識別準(zhǔn)確度高于其他傳統(tǒng)模型。兩種模型的組合使用，對準(zhǔn)確識別居民用水行為，具有重要意義和參考價值。

5 結(jié) 論

本文在分析了HMM和BP網(wǎng)絡(luò)的優(yōu)缺點的基礎(chǔ)上，建立了HMM和BP神經(jīng)網(wǎng)絡(luò)的組合模型對居民用水行為進(jìn)行識別，實現(xiàn)了對6個居民用水事件的識別。該組合模型對于居民用水行為的識別具有較高的準(zhǔn)確度。研究結(jié)果中可以看出：

(1)HMM模型對于洗浴、洗鍋、洗衣服等用水行為的識別準(zhǔn)確度低于BP網(wǎng)絡(luò)模型。

(2)BP網(wǎng)絡(luò)模型對于農(nóng)田澆水、沖廁所、漏水等用水行為的識別準(zhǔn)確度低于HMM模型。

(3)HMM和BP神經(jīng)網(wǎng)絡(luò)的組合模型在用水行為識別準(zhǔn)確度上比單獨應(yīng)用HMM模型高8.78%，比單獨應(yīng)用BP神經(jīng)網(wǎng)絡(luò)高8.92%。

本方法的實現(xiàn)，對于優(yōu)化家庭用水需求管理策略，提高當(dāng)前農(nóng)村地區(qū)的節(jié)水行為并改善水資源管理薄弱現(xiàn)狀有重要的意義。