基于DQN 算法的泵站供水系統(tǒng)節(jié)能控制優(yōu)化

陳財會,張 天,黃健康,金 典,王卓悅,張小磊

(哈爾濱工業(yè)大學(xué)<深圳>土木與環(huán)境工程學(xué)院,深圳 518055)

隨著我國城鎮(zhèn)化的不斷深入推進,我國城區(qū)人 口由1981 年的1.4 億人增長至如今的4.4 億人。為保障城區(qū)人口的用水需求,我國給水事業(yè)發(fā)展迅速,城鎮(zhèn)供水系統(tǒng)投資規(guī)模日益擴大。 據(jù)國家統(tǒng)計年鑒數(shù)據(jù),2021 年年底全國供水總量達到631 億m3,供水投資為771 億元[1]。 我國供水企業(yè)每年需要投入大量的能源成本,以維持龐大供水體系,其中高達95%的電耗用于維持水泵的運轉(zhuǎn)[2]。 故而,泵組的優(yōu)化調(diào)節(jié)已被證明是降低整個供水系統(tǒng)運行成本的切實有效的方法[3]。

《中華人民共和國國民經(jīng)濟和社會發(fā)展第十四個五年規(guī)劃和2035 年遠景目標(biāo)綱要》(簡稱“十四五”規(guī)劃)明確指出,要加快交通、能源、市政等傳統(tǒng)設(shè)施數(shù)字化改造,全面提高資源利用效率,強化重點用能單位節(jié)能管理,實施能量系統(tǒng)優(yōu)化、節(jié)能技術(shù)改造等重點工程[4]。 根據(jù)“十四五”規(guī)劃的指導(dǎo),研究出現(xiàn)實可行的系統(tǒng)優(yōu)化算法是解決供水系統(tǒng)能量浪費問題的重要方向之一。

在我國城市供水體系中,由于泵站大多采用人工調(diào)節(jié)的方式,其往往根據(jù)歷史經(jīng)驗制定各水泵運行轉(zhuǎn)速和啟停方案,雖然可滿足當(dāng)前用戶端的用水需求,但未考慮供水泵站總體運行效率,存在運行效率低下、能量浪費問題[5]。 因此,在滿足城鎮(zhèn)居民用水需求的前提下,提升供水泵站中泵組總體效率所帶來的節(jié)能效益十分可觀。

泵站中水泵組運行狀態(tài)的節(jié)能優(yōu)化問題,可抽象為在供水需求不斷變化的情況下,以水泵組總效率為優(yōu)化目標(biāo),水泵高效區(qū)為約束條件的動態(tài)規(guī)劃問題。 而深度強化學(xué)習(xí)算法既具有良好的感知能力,又具有良好的決策能力。 目前,已有許多研究[6]證明,深度強化學(xué)習(xí)算法在動態(tài)規(guī)劃問題上具有良好的適用性,且已被廣泛應(yīng)用于工業(yè)制造、優(yōu)化調(diào)度、游戲博弈等領(lǐng)域。 而深度強化學(xué)習(xí)在我國供水領(lǐng)域中應(yīng)用很少,具有良好的研究前景。 Zhang等[7]首次提出將粒子群優(yōu)化算法應(yīng)用于水廠中進水泵組的優(yōu)化運行,最終實現(xiàn)節(jié)電4.2%的效果。

目前,成熟的深度強化學(xué)習(xí)算法包括Qlearning、深 度Q 網(wǎng) 絡(luò)(deep Q-learning network,DQN)、深度確定性策略梯度(deep deterministic policy gradient,DDPG)等算法[8-9]。 由于水泵的流量和揚程在數(shù)值上連續(xù)變化,本文針對水泵組運行狀態(tài)的節(jié)能優(yōu)化問題,采用適應(yīng)于連續(xù)狀態(tài)空間的DQN 算法進行泵站供水系統(tǒng)最優(yōu)節(jié)能控制研究。

1 理論設(shè)計計算

1.1 優(yōu)化水泵組運行狀態(tài)問題的數(shù)學(xué)描述

1.1.1 水泵高效區(qū)的界定

在求解水泵組運行狀態(tài)優(yōu)化問題之前,應(yīng)先定義何為水泵的高效運行,即界定水泵的高效運行區(qū)。變頻泵的高效區(qū)如圖1 所示,在額定轉(zhuǎn)速下,水泵運行時的效率η是關(guān)于流量Q的非線性函數(shù),其峰值為水泵運行的最高效率。 通常取最高效率的90%為高效段的下限,此時對應(yīng)的流量分別圖1 中的QA、QB,其工況點為水泵高效運行區(qū)的邊界點,即圖1 中的A、B 兩點,對應(yīng)的揚程分別為HA、HB。

圖1 變頻泵的高效區(qū)Fig.1 High-Efficiency Area of Variable Frequency Pumps

設(shè)額定轉(zhuǎn)速下,水泵的特性曲線方程如式(1)。

其中:Hx——虛總揚程,m;

Sx——泵體內(nèi)虛阻耗系數(shù);

H——揚程,m;

Q——流量,m3/s。

當(dāng)調(diào)節(jié)水泵轉(zhuǎn)速n時,圖1 中水泵的特性曲線也會改變。 現(xiàn)計算任意轉(zhuǎn)速ni下水泵的特性曲線方程。 由水泵的相似定律可得式(2)～式(3)。

其中:Q0、Qi——額定轉(zhuǎn)速n0和任意轉(zhuǎn)速ni下的流量,m3/s;

H0、Hi——額定轉(zhuǎn)速n0和任意轉(zhuǎn)速ni下的揚程,m;

ki——調(diào)速比。

將式(2)和式(3)代入式(1)得到式(4),即為任意轉(zhuǎn)速下水泵的特性曲線方程。

為防止水泵因超載運行而損壞,水泵轉(zhuǎn)速不宜超過額定轉(zhuǎn)速n0。 此外,為防止氣蝕現(xiàn)象的產(chǎn)生,水泵的轉(zhuǎn)速不能過低,因此,需設(shè)立最小轉(zhuǎn)速nmin,相應(yīng)的最小調(diào)速比為kmin。 則最小轉(zhuǎn)速下的水泵特性曲線方程為式(5)。

此時水泵的高效區(qū)拓展至圖1 中的環(huán)扇形區(qū)域ABDC,其由4 條曲線圍成,分別為額定轉(zhuǎn)速和最低轉(zhuǎn)速下的水泵特性曲線,以及由A、B 兩點引出的相似拋物線L1、L2。 在同一條相似拋物線上,各點所對應(yīng)的水泵效率相等,所以相似拋物線L1、L2上的點同樣為對應(yīng)轉(zhuǎn)速下的高效段邊界點。 相似拋物線L1、L2的方程分別為式(6)～式(7)。

通過聯(lián)立式(5)～式(7),可解出C、D 兩點分別對應(yīng)的揚程HC、HD和流量QC、QD。 再根據(jù)A、B、D、C 分別對應(yīng)的Q值和H值,即可得到高效工作區(qū)。

1.1.2 目標(biāo)函數(shù)建立

本文對優(yōu)化泵組運行狀態(tài)問題的數(shù)學(xué)描述如下:設(shè)泵組中含有x臺變頻泵,y臺工頻泵,各泵的泵型確定,管路特性曲線確定,且采用并聯(lián)供水方式。 已知供水流量要求Qsum和揚程要求He,求得水泵的運行組合以及各水泵的調(diào)速比ki,在泵站達到供水要求并且各個水泵均處于高效運行狀態(tài)的前提下,使泵站達到最高總效率。

基于該問題描述,泵站供水時,系統(tǒng)優(yōu)化的目標(biāo)函數(shù)如式(8)。

其中:γ——水的容重,N/m3;

Qsum——供水總流量要求,m3/s;

He——供水揚程要求,m;

η——效率;

Ni——第i臺泵的功率,W。

1.1.3 設(shè)置約束條件

水泵的工況點必須在其高效區(qū)內(nèi),以此為約束條件,數(shù)學(xué)描述如式(9)～式(10)。

其中:Qmin、Qmax——高效區(qū)限制,如式(11)～式(12)。

1.2 優(yōu)化泵組運行狀態(tài)問題的馬爾可夫決策過程描述

本文采用的DQN 算法是強化學(xué)習(xí)的經(jīng)典算法之一,用于解決智能體(agent)與環(huán)境(environment)的交互中,尋求最佳策略并獲得最大利益的問題。

而馬爾可夫決策過程(Markov decision process)為強化學(xué)習(xí)算法提供框架[10],其模型可用元組(S,A,T,R,β)表示。 其中,S表示系統(tǒng)的狀態(tài)空間;A表示動作空間;T代表狀態(tài)轉(zhuǎn)移矩陣,即從某一狀態(tài)執(zhí)行特定動作后轉(zhuǎn)變?yōu)榱硪粻顟B(tài)的概率;R為執(zhí)行特定動作后獲得的即時獎勵;β為折扣系數(shù)(β∈[0,1]),即未來獎勵的重要程度,可以避免馬爾可夫決策過程陷入無限循環(huán)。

在供水系統(tǒng)中,供水流量要求Qsum和揚程要求He是隨機量,故優(yōu)化水泵組運行狀態(tài)問題可視為不確定條件下的貫序決策問題,適用于馬爾可夫決策過程模型。 本節(jié)將該問題表述為馬爾可夫決策過程,并對模型參數(shù)進行定義。

1.2.1 狀態(tài)空間

在某一時間步(step)中,智能體將觀測環(huán)境的狀態(tài),該狀態(tài)包括各個水泵的運行狀態(tài),包括流量、揚程等參數(shù),其表達式如式(13)。 由于泵站供水的方式普遍采用并聯(lián)式供水,各個水泵的揚程視為相同。

1.2.2 動作空間

當(dāng)智能體獲取環(huán)境狀態(tài)S后會給出動作A,其包括調(diào)控各變頻泵的轉(zhuǎn)速以及各工頻泵的啟閉狀態(tài)。 本文將對變頻泵和工頻泵的調(diào)控分別劃分為動作空間Av和Ag,表達式如式(14)～式(15)。

其中:Av——智能體對變頻泵的調(diào)控,0 為調(diào)低轉(zhuǎn)速,1 為轉(zhuǎn)速保持不變,2 為調(diào)高轉(zhuǎn)速;

Ag——智能體對工頻泵的開閉狀態(tài),0 為開啟,1 為關(guān)閉;

a∈A,i∈[1,x],j∈[1,y]。

1.2.3 狀態(tài)轉(zhuǎn)移函數(shù)

傳統(tǒng)的馬爾可夫模型通過狀態(tài)轉(zhuǎn)移矩陣預(yù)測未來的狀態(tài),但當(dāng)狀態(tài)空間為高維連續(xù)時,可采用狀態(tài)轉(zhuǎn)移函數(shù)進行預(yù)測,即式(17)。

狀態(tài)轉(zhuǎn)移函數(shù)可通過神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)而得。

1.2.4 即時獎勵

智能體在狀態(tài)s時執(zhí)行動作a,會獲得即時獎勵r。 因為優(yōu)化水泵組運行狀態(tài)問題的目標(biāo)為最大化泵站總效率,設(shè)電機效率不變,則即時獎勵r可設(shè)置為式(18)。

2 設(shè)計方案

2.1 DQN 算法流程

DQN 算法是在馬爾可夫決策過程提供的框架下求解強化學(xué)習(xí)問題的算法之一,需滿足馬爾可夫決策過程的假設(shè)條件[11]。 因此,可在上述馬爾可夫決策過程描述的基礎(chǔ)上,構(gòu)建DQN 算法流程,其總體過程為智能體基于環(huán)境反饋的獎勵,學(xué)習(xí)出每個狀態(tài)下的最優(yōu)動作。

對于當(dāng)前狀態(tài)最優(yōu)動作的判斷,需要動作價值函數(shù)Q(s,a)提供該狀態(tài)下每個動作的價值。 而估值網(wǎng)絡(luò)Q負(fù)責(zé)輸出當(dāng)前狀態(tài)下所有動作的價值函數(shù){Q(s,ai)|i= 1,2,…}。 因此,動作價值函數(shù)的準(zhǔn)確與否,決定智能體的決策是否合理。 為不斷修正動作價值函數(shù),DQN 算法引入目標(biāo)網(wǎng)絡(luò)Qtarget 和經(jīng)驗回放池replay_memory,以不斷更新估值網(wǎng)絡(luò)的權(quán)重。經(jīng)過多輪更新,智能體能夠判斷出每個狀態(tài)下的最優(yōu)行為,但為防止陷入局部最優(yōu),智能體在選擇動作時,會采取ε-greedy 策略,即有小概率選擇隨機動作,而不根據(jù)動作價值函數(shù)Q(s,a) 進行選擇。

DQN 算法原理如圖2 所示,概念說明如表1 所示。

表1 DQN 算法中相關(guān)概念說明Tab.1 Instruction of Related Concepts in DQN Algorithm

圖2 DQN 算法原理Fig.2 Principle of DQN Algorithm

基于DQN 算法,水泵組運行狀態(tài)調(diào)控的訓(xùn)練過 程如圖3 所示。

圖3 DQN 算法過程Fig.3 Process of DQN Algorithm

2.2 仿真環(huán)境的搭建

2.2.1 設(shè)置供水場景

本文以深圳M 給水廠及其負(fù)責(zé)片區(qū)的供水情況為訓(xùn)練場景。

總流量與揚程數(shù)據(jù)源于給水廠提供的周供水?dāng)?shù)據(jù),其中前5 d 的數(shù)據(jù)用于訓(xùn)練,后2 d 的數(shù)據(jù)用于結(jié)果評估。 供水所用的泵組中,設(shè)置5 臺變頻泵,采用并聯(lián)供水方式,其具體參數(shù)如表2 所示。

表2 水泵性能參數(shù)Tab.2 Parameters of Pump Performance

2.2.2 供水過程中各個水泵的功率N 和效率η的確定

評估DQN 算法優(yōu)劣性的基礎(chǔ)是仿真環(huán)境能否準(zhǔn)確模擬供水需求和水泵組運行狀態(tài)。 若模擬變頻泵的工作狀態(tài),則需要得到在任意轉(zhuǎn)速下變頻泵的功率N關(guān)于流量Q和揚程H的定量關(guān)系式。 對于已投入運營的大型水泵,通過現(xiàn)場測試該關(guān)系式較為困難,而通過分析水泵的性能曲線圖得到該關(guān)系式則較為容易。

水泵性能曲線如圖4 所示。

圖4 水泵性能曲線Fig.4 Pump Performance Curve

根據(jù)各個水泵的性能曲線圖,可得到額定轉(zhuǎn)速下,水泵的一系列效率η0、流量Q0、揚程H0以及由此計算出的功率N0的離散值,即式(19)～式(22)。

再根據(jù)相似定律,可以得到任意調(diào)速比ki下,各水泵的功率Ni、流量Qi、揚程Hi,即式(23)～式(25)。

再搭建監(jiān)督學(xué)習(xí)神經(jīng)網(wǎng)絡(luò):在PyTorch 框架下,搭建2 層全連接層,各層的神經(jīng)元個數(shù)為128,各層間激活函數(shù)為ReLU 函數(shù)。 其工作原理如圖5 所示。

圖5 監(jiān)督學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)工作原理Fig.5 Principle of Supervised Learning Neural Networks

從而可得到功率N關(guān)于流量和揚程的非線性關(guān)系模型,即式(26)。

為驗證模型效果,本文通過式(27)計算出每臺水泵在不同流量與揚程下的效率η,并在Matlab 軟件中繪制曲面圖,其結(jié)果如圖6 所示。

圖6 效率-流量和揚程擬合關(guān)系曲面(4 種水泵)Fig.6 Fitting Relationship of Efficiency-Flow and Head (Four Kinds of Pumps)

其中:ρ——提升液體的密度,kg/m3;

g——重力加速度,m/s2。

由圖6 可知,水泵的效率均位于40%～90%,結(jié)果符合實際情況;而水泵高效區(qū)要求效率為70%以上,為程序調(diào)節(jié)水泵至高效運行區(qū)提供了操作空間。

2.2.3 設(shè)置DQN 參數(shù)

本文所使用的深化學(xué)習(xí)工具為PyTorch,設(shè)置的狀態(tài)空間包括5 臺水泵的流量和水泵組提供的揚程H,動作空間為調(diào)節(jié)各個水泵的轉(zhuǎn)速。 本文所涉及的估值網(wǎng)絡(luò)和目標(biāo)網(wǎng)絡(luò)均采用深度神經(jīng)網(wǎng)絡(luò)(DNN)結(jié)構(gòu),隱藏層層數(shù)為3 層,每層128 個神經(jīng)元,層與層之間的激活函數(shù)采用ReLU 函數(shù)。 超參數(shù)設(shè)置如表3 所示。

表3 超參數(shù)設(shè)置Tab.3 Hyperparameter Settings

3 網(wǎng)絡(luò)訓(xùn)練及其結(jié)果分析

3.1 水泵組狀態(tài)調(diào)控結(jié)果分析

圖7 代表在智能體離線學(xué)習(xí)過程中,均方損失函數(shù)的變化情況。

圖7 均方損失函數(shù)變化Fig.7 Changes of Mean Squared Loss Function

損失函數(shù)指神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中預(yù)測值與真實值之間的差距,在本問題的研究中,網(wǎng)絡(luò)預(yù)測值為各狀態(tài)下的動作價值。 可將損失值反向傳播,以更新網(wǎng)絡(luò)權(quán)重。 由圖7 可知,隨著訓(xùn)練迭代次數(shù)的增加,均方損失函數(shù)逐漸減小至0,并保持不變,說明深度神經(jīng)網(wǎng)絡(luò)逐漸接近行為值函數(shù),智能體可學(xué)習(xí)出最優(yōu)策略。

為了檢驗學(xué)習(xí)結(jié)果,本文將上述訓(xùn)練完成的網(wǎng)絡(luò)保存后,選取水廠周供水?dāng)?shù)據(jù)的第6 ～7 d 部分作為測試集,運行結(jié)果如圖8 和圖9 所示。

圖8 水泵組運行狀態(tài)變化Fig.8 Changes of Running State of the Pumps

圖9 運行中的水泵的效率變化Fig.9 Efficiency Changes of Running Pumps

圖8 為不同時間段的水泵組運行情況,包括各水泵提供的流量和揚程,其中供水需求(總流量和揚程)的改變間隔為1 h。 智能體在需求改變后自動調(diào)整各變頻泵的轉(zhuǎn)速,在滿足供水需求、各水泵均在高效區(qū)工作的基礎(chǔ)上,使得水泵組總效率盡可能高。

圖9 為各水泵在不同時間段的效率。 不同時間段上運行的水泵最低效率為70%,說明水泵的性能良好。 同時,在運行過程中,1 號、3 號、4 號水泵的效率均大于其最高效率的90%,說明水泵均處于高效區(qū)。 而波動較大的2 號泵,由圖9 可知,其在運行過程中的效率為水泵效率的86.2%～74.0%,即最高效率為水泵效率的86.2%,運行中的最低效率是最高效率的85.8%,未處于水泵的高效區(qū),還需優(yōu)化。

3.2 對比分析

為說明DQN 算法的有效性,本文在相同供水需求的前提下,將人工調(diào)控與DQN 調(diào)控兩種方式下的水泵組在不同時間段的功率消耗進行對比。 人工調(diào)控主要通過監(jiān)測管網(wǎng)控制點的水壓,通過比較實時水壓與設(shè)定水壓的差值,適當(dāng)對部分水泵進行啟?？刂?以確保水泵在正常運行范圍內(nèi),滿足水壓水位等要求。 由于上文所計算的效率為水泵效率,而實際中需考慮電機效率對水泵組總效率的影響,本文需對電機效率進行設(shè)定。 由于給水泵站的電動機銘牌效率普遍大于90%[12],本文設(shè)電機效率為90%,并由此計算水泵組在各時間段消耗的總效率。 對比結(jié)果如圖10 和表4 所示。

表4 調(diào)控結(jié)果對比Tab.4 Comparison of Control Results

圖10 調(diào)控結(jié)果對比Fig.10 Comparison of Control Results

由表4 可知,若采用人工調(diào)控,則泵組平均總消耗功率為466.042 kW;若采用DQN 算法調(diào)控,則泵組平均總消耗功率為453.339 kW。 而平均有效功率為322.375 kW,故兩種方法的平均損失功率分別為143.666 kW 和130.964 kW,即DQN 算法相較于人工調(diào)控降低了8.84%的損失能耗。 在此節(jié)能效果下,該水廠一年可節(jié)省電耗1.11×105kW·h,即節(jié)省噸水電耗1.27×10-2kW·h/t。

由此可見,DQN 算法應(yīng)用在給水領(lǐng)域,節(jié)能效果良好,不僅滿足用戶端的用水需求,且使各水泵均處于高效區(qū)工作,具有良好的經(jīng)濟效能,有效降低了泵站的運行能耗。

4 結(jié)論

針對水泵的流量和揚程在數(shù)值上連續(xù)變化的特點,首次將適應(yīng)于連續(xù)狀態(tài)空間的DQN 算法應(yīng)用在給水領(lǐng)域,適應(yīng)性良好。 根據(jù)用戶的實時用水需求,通過DQN 算法快速求解出最優(yōu)的水泵組合與流量分配,從而確定各水泵轉(zhuǎn)速,節(jié)省人力資源,減少工作人員未及時調(diào)控的風(fēng)險,提高供水服務(wù)水平。 同時,由于引入了經(jīng)驗回放池,DQN 算法能在運行過程中實時更新模型,針對不同的供水需求和其他環(huán)境變化,實現(xiàn)在線學(xué)習(xí)。 在本文的計算條件下,相較于人工調(diào)控,DQN 算法調(diào)控降低了8.84%的損失能耗,一年可節(jié)省噸水電耗1.27×10-2kW·h/t,實現(xiàn)了節(jié)能減排,具有良好的經(jīng)濟效能,說明基于DQN 算法的泵站供水系統(tǒng)最優(yōu)節(jié)能控制方法具有較強的可推廣性和實用性。