山區(qū)應(yīng)急供水裝備路徑規(guī)劃系統(tǒng)設(shè)計(jì)與應(yīng)用

摘要： 災(zāi)后救援保障中，應(yīng)急供水扮演著至關(guān)重要的角色.然而，由于山區(qū)地形和地貌條件復(fù)雜多變，現(xiàn)場指揮調(diào)度尤為關(guān)鍵，關(guān)系著救援人員能否迅速展開保障裝備進(jìn)行應(yīng)急供水作業(yè).文中基于多智能體強(qiáng)化學(xué)習(xí)（multi-agent proximal policy optimization，MAPPO）算法進(jìn)行了路徑規(guī)劃系統(tǒng)的設(shè)計(jì)，并進(jìn)行了試驗(yàn)仿真驗(yàn)證，根據(jù)獎(jiǎng)勵(lì)圖結(jié)果確認(rèn)該路徑規(guī)劃系統(tǒng)的可行性，并實(shí)現(xiàn)系統(tǒng)運(yùn)行可視化，證明該路徑規(guī)劃系統(tǒng)可以初步滿足山區(qū)應(yīng)急供水裝備路徑規(guī)劃需求.在此基礎(chǔ)上，結(jié)合Mask2Former圖像分割模型優(yōu)化山區(qū)應(yīng)急供水裝備路徑規(guī)劃系統(tǒng)，將地物信息輸出結(jié)果和路徑規(guī)劃結(jié)果相結(jié)合，有效避免了單一路徑規(guī)劃算法在受到環(huán)境影響時(shí)結(jié)果波動(dòng)較大的問題，提高了路徑規(guī)劃的魯棒性和可靠性.將該路徑規(guī)劃系統(tǒng)集成至山區(qū)應(yīng)急供水裝備指揮平臺，以解決山區(qū)應(yīng)急供水路徑規(guī)劃問題，為山區(qū)應(yīng)急供水裝備的實(shí)際運(yùn)行提供了有力支持.

關(guān)鍵詞： 路徑規(guī)劃；應(yīng)急供水；強(qiáng)化學(xué)習(xí)；指揮調(diào)度；多智能體強(qiáng)化學(xué)習(xí)算法

中圖分類號： S277.3;TP399 文獻(xiàn)標(biāo)志碼： A 文章編號： 1674-8530（2024）10-1066-07

DOI：10.3969/j.issn.1674-8530.24.0033

李偉，趙晨淞，袁壽其，等. 山區(qū)應(yīng)急供水裝備路徑規(guī)劃系統(tǒng)設(shè)計(jì)與應(yīng)用[J]. 排灌機(jī)械工程學(xué)報(bào)，2024，42（10）：1066-1072.

LI Wei， ZHAO Chensong， YUAN Shouqi，et al. Design and application of path planning system for emergency water supply equipment in mountainous areas[J]. Journal of drainage and irrigation machinery engineering（JDIME）， 2024， 42（10）： 1066-1072. （in Chinese）

Design and application of path planning system for emergency

water supply equipment in mountainous areas

LI Wei ZHAO Chensong， YUAN Shouqi， LI Haoming， CAO Weidong， ZHOU Ling， ZHU Yong， JI Leilei

（National Research Center of Pumps， Jiangsu University， Zhenjiang， Jiangsu 212013， China）

Abstract： In post-disaster rescue and relief assurance， emergency water supply plays a crucial role. However， due to the complex and changeable mountainous terrain and geomorphic conditions， on-site command and dispatch are particularly critical in determining whether rescue workers can quickly deploy support equipment for emergency water supply operations. Based on the multi-agent proximal policy optimization （MAPPO） algorithm， a path planning system was designed and experimental verification was conducted. The feasibility of the path planning system is confirmed according to the results of the reward diagram， and the system operation was visualized， demonstrating that the path planning system could preliminarily meet the requirements for path planning of emergency water supply equipment in mountainous areas. On this basis， Mask2Former′s image segmentation model was integrated to optimize the path planning system for mountainous area emergency water supply equipment. By combining the results of ground object information output with path planning results， significant fluctuations were avoided in the results of single path planning algorithms when affected by the environment， thereby enhancing the robustness and reliability of path planning. Integrating this path planning system into the command platform for mountainous area emergency water supply equipment solved the path planning issues in mountainous， providing strong support for the actual operation of emergency water supply equipment in mountainous regions.

Key words： path planning;emergency water supply;reinforcement learning;command dispatching;multi-agent proximal policy optimization algorithm

災(zāi)后救援保障中，應(yīng)急供水扮演著至關(guān)重要的角色，是確保生命安全的重要工程.尤其對于邊遠(yuǎn)山區(qū)，其復(fù)雜多變的地形和地貌條件不利于迅速展開應(yīng)急供水保障裝備，使應(yīng)急供水的難度增加.傳統(tǒng)的供水系統(tǒng)面臨著效率低、響應(yīng)速度慢等問題，常規(guī)的人工調(diào)度模式難以適應(yīng)復(fù)雜多變的山區(qū)環(huán)境.然而，隨著人工智能技術(shù)的不斷發(fā)展，智能調(diào)度決策技術(shù)在應(yīng)急供水領(lǐng)域得到了廣泛應(yīng)用.

在供水系統(tǒng)優(yōu)化調(diào)度方面，城市供水系統(tǒng)優(yōu)化調(diào)度技術(shù)已發(fā)展得較為成熟.KADU等[1]提出了一種基于關(guān)鍵路徑的方法來減少遺傳算法的搜索空間，并證明其在減少搜索空間方面的有效性；國內(nèi)，張朝等[2]針對魯棒連續(xù)聚類遺傳算法（robust continuous clustering genetic algorithm，rccGA）的缺陷采取了改變適應(yīng)度排序準(zhǔn)則等一系列改進(jìn)措施.在供水系統(tǒng)的應(yīng)急調(diào)度方面，國外供水系統(tǒng)的應(yīng)急調(diào)度主要集中在風(fēng)險(xiǎn)評價(jià)和應(yīng)急預(yù)案方向， SOLDI等[3]研究了城市供水網(wǎng)絡(luò)的彈性和脆弱性，結(jié)合水力模擬判斷管道故障的風(fēng)險(xiǎn)；ALSHARQAWI等[4]通過網(wǎng)絡(luò)故障樹來確定管段的工作和故障狀態(tài)，并開發(fā)了配水管網(wǎng)可靠性評估模型；RODRIGUES等[5]對準(zhǔn)備評估能力、響應(yīng)能力、救援和恢復(fù)能力等指標(biāo)進(jìn)行評估；BEKER等[6]在管道正常和故障狀態(tài)下使用模糊邏輯方法評價(jià)供水系統(tǒng)的整體性能.國內(nèi)供水系統(tǒng)的應(yīng)急調(diào)度研究主要集中在城鎮(zhèn)供水系統(tǒng)優(yōu)化調(diào)度方向，吳儀[7]建立應(yīng)急預(yù)案庫并利用多目標(biāo)模糊優(yōu)選原理進(jìn)行預(yù)案優(yōu)選，保障應(yīng)急供水系統(tǒng)在事故發(fā)生后的迅速響應(yīng)；張繼昌[8]利用優(yōu)化算法研究了水源污染事故發(fā)生后供水量不足情況下的調(diào)度方案；鮑任兵等[9]介紹了城市供水系統(tǒng)從水源到配水的全流程可能存在的風(fēng)險(xiǎn)，提出事故發(fā)生后的相應(yīng)應(yīng)急措施；袁曲等[10]以武漢市自來水有限公司為例，分析了疫情期間的供水量、水質(zhì)，提出了疫情期間水廠運(yùn)行的應(yīng)急響應(yīng)、應(yīng)急保障措施.

綜上所述，目前國內(nèi)尚缺乏面向山區(qū)災(zāi)害場景應(yīng)急供水裝備路徑規(guī)劃方面的研究.因此，文中利用深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等技術(shù)，實(shí)現(xiàn)對供水系統(tǒng)的裝備進(jìn)場和作業(yè)路徑規(guī)劃，為復(fù)雜環(huán)境下山區(qū)應(yīng)急供水裝備進(jìn)場調(diào)度提供高效、靈活運(yùn)行方案，為大規(guī)模實(shí)際應(yīng)用提供參考.

1 山區(qū)應(yīng)急供水裝備路徑規(guī)劃系統(tǒng)

1.1 山區(qū)應(yīng)急供水裝備與路徑規(guī)劃目標(biāo)

山區(qū)應(yīng)急供水裝備包括打井鉆機(jī)、高壓提水泵車、可折疊蓄水池、移動(dòng)泵站車和管線鋪設(shè)車等[11]，如圖1所示.

山區(qū)應(yīng)急供水裝備路徑規(guī)劃整體目標(biāo)如圖2所示，進(jìn)行應(yīng)急供水裝備進(jìn)場路徑及管路鋪設(shè)路徑規(guī)劃，縮短應(yīng)急供水裝備進(jìn)場作業(yè)時(shí)間.路徑規(guī)劃系統(tǒng)包括環(huán)境與車輛數(shù)據(jù)導(dǎo)入、山區(qū)應(yīng)急供水裝備管線連接方案、各車輛路徑規(guī)劃、管線車鋪管、路徑規(guī)劃結(jié)果可視化輸出和外部平臺集成應(yīng)用.

1.2 多智能體強(qiáng)化學(xué)習(xí)算法設(shè)計(jì)

1.2.1 多智能體強(qiáng)化學(xué)習(xí)算法

MAPPO[12]是Open AI在2018年提出的多智能體強(qiáng)化學(xué)習(xí)算法，改進(jìn)了原PPO算法[13].MAPPO采用近端目標(biāo)函數(shù)限制策略變化，使用重要性采樣估計(jì)梯度，并采用截?cái)嘀匾圆蓸蛹夹g(shù)穩(wěn)定學(xué)習(xí)過程.它在多智能體環(huán)境中表現(xiàn)出快速收斂和良好穩(wěn)定性.與其他MARL算法相比，在計(jì)算資源有限的MARL測試環(huán)境下，MAPPO解決了多智能體強(qiáng)化學(xué)習(xí)中的非穩(wěn)定性問題，具有更快的運(yùn)行速度和可改進(jìn)的樣本復(fù)雜性.MAPPO算法適用于需要多個(gè)智能體協(xié)同工作的場合，如無人機(jī)編隊(duì)飛行、機(jī)器人群體協(xié)作等領(lǐng)域.

1.2.2 算法適應(yīng)和網(wǎng)絡(luò)設(shè)計(jì)

在MAPPO算法的基礎(chǔ)上，針對山區(qū)應(yīng)急供水環(huán)境進(jìn)行設(shè)計(jì)，其中網(wǎng)絡(luò)設(shè)計(jì)對算法影響巨大.處理山區(qū)應(yīng)急供水路徑地圖信息時(shí)，卷積層捕捉空間信息，提取局部特征并輸出給下一層.卷積核大小和數(shù)量可調(diào).池化層降低特征圖維度，最大池化減少冗余信息，提高模型魯棒性和計(jì)算效率.在山區(qū)和邊遠(yuǎn)災(zāi)區(qū)應(yīng)急供水裝備路徑規(guī)劃問題中，選擇不使用批標(biāo)準(zhǔn)化或?qū)訕?biāo)準(zhǔn)化來訓(xùn)練深度網(wǎng)絡(luò)，以防訓(xùn)練不穩(wěn)定或性能下降.實(shí)際應(yīng)用中，采用LSTM作為網(wǎng)絡(luò)層的一部分，結(jié)構(gòu)如圖3a所示，圖中A為1個(gè)循環(huán)神經(jīng)網(wǎng)絡(luò)模塊；x為輸入;h為輸出；t-1，t，t+1分別為不同時(shí)刻.然后結(jié)合卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)，使得網(wǎng)絡(luò)可應(yīng)對復(fù)雜的地圖任務(wù)，從而提高模型的性能，最終的網(wǎng)絡(luò)結(jié)構(gòu)如圖3b所示.

1.3 山區(qū)應(yīng)急供水裝備路徑規(guī)劃系統(tǒng)設(shè)計(jì)

1.3.1 系統(tǒng)狀態(tài)信息

在多智能體問題中，狀態(tài)設(shè)計(jì)關(guān)鍵在于平衡全局信息和局部信息.全局信息包括所有智能體的相關(guān)信息，而局部信息關(guān)注個(gè)體特征和周圍環(huán)境.狀態(tài)設(shè)計(jì)提供豐富信息，幫助智能體理解環(huán)境和其他智能體的狀態(tài).在分布執(zhí)行中，智能體根據(jù)集中訓(xùn)練的策略或價(jià)值函數(shù)在實(shí)際環(huán)境中決策和交互.通過迭代集中訓(xùn)練和分布執(zhí)行，逐步改進(jìn)和優(yōu)化狀態(tài)設(shè)計(jì)，使智能體適應(yīng)復(fù)雜的多智能體環(huán)境.單個(gè)智能體的觀察結(jié)果被分為2部分：地圖信息和離散信息，如圖4所示.

其中，地圖信息是所有智能體共享的，由形狀為[3，10，10]的矩陣組成，從環(huán)境中抽取3個(gè)不同的類別（泵位置、管道位置和有效管道位置），環(huán)境大小為30×30.對于不同類別的物品，創(chuàng)建單獨(dú)的特征圖存儲(chǔ)這些信息以達(dá)到區(qū)分的目的；對于單通道數(shù)據(jù)形式，當(dāng)該位置有相應(yīng)的類別時(shí)，設(shè)置為1，否則為0.這種地圖狀態(tài)信息的設(shè)計(jì)反映了智能體所處環(huán)境的空間特征.actor網(wǎng)絡(luò)[14]（近似輸入state和輸出action函數(shù)的神經(jīng)網(wǎng)絡(luò)）輸出策略作為每一個(gè)智能體的輸入，而critic網(wǎng)絡(luò)（近似Q-value函數(shù)的神經(jīng)網(wǎng)絡(luò)）需要觀測所有智能體的狀態(tài)，因此地圖信息作為共有部分只保留一個(gè)，而將所有其他的信息進(jìn)行合并.離散信息包含單個(gè)智能體的狀態(tài)，具體如表1所示.

將連續(xù)的特征值轉(zhuǎn)換到[0，1]，統(tǒng)一比例和縮放標(biāo)準(zhǔn)，這樣有助于神經(jīng)網(wǎng)絡(luò)更好地理解和處理特征.地圖的位置坐標(biāo)被轉(zhuǎn)換為[0，1]的數(shù)值，通常根據(jù)地圖的最大尺寸來進(jìn)行縮放.使用獨(dú)熱編碼（one-hot encoding）將當(dāng)前的朝向狀態(tài)轉(zhuǎn)換為一個(gè)長為4的二進(jìn)制向量，其中只有一位代表當(dāng)前的朝向是有效的，其他位則為0.離散特征如動(dòng)作選擇、管道的存在狀態(tài)等使用0和1來表示，這些經(jīng)過轉(zhuǎn)換的特征作為觀測變量輸入到神經(jīng)網(wǎng)絡(luò)中，用于決策和路徑規(guī)劃.神經(jīng)網(wǎng)絡(luò)接收這些觀測變量，并生成策略和動(dòng)作，這些策略和動(dòng)作是基于當(dāng)前環(huán)境狀態(tài)的決策結(jié)果.地圖狀態(tài)信息提供空間特征，為決策過程提供了必要的上下文信息，幫助神經(jīng)網(wǎng)絡(luò)理解環(huán)境布局，并據(jù)此做出合適的行動(dòng)選擇.

1.3.2 行動(dòng)空間設(shè)計(jì)

在山區(qū)應(yīng)急供水場景中，每個(gè)智能體都有相同的行動(dòng)設(shè)計(jì)，包括5個(gè)離散的行動(dòng)：上、下、左、右和互動(dòng)（鉆井、啟動(dòng)、下泵、鋪管）.動(dòng)作的表達(dá)格式是[向X方向走，向Y方向走].因此，對于具有5種動(dòng)作的單個(gè)智能體，使用離散空間來設(shè)置其動(dòng)作空間.在網(wǎng)絡(luò)設(shè)計(jì)中，最后的輸出層有5個(gè)節(jié)點(diǎn)，對應(yīng)每個(gè)動(dòng)作的概率.允許根據(jù)網(wǎng)絡(luò)輸出的概率進(jìn)行動(dòng)作采樣或選擇最大概率的動(dòng)作.

1.3.3 獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)

在這個(gè)環(huán)境中，每個(gè)智能體都有自己的獎(jiǎng)勵(lì)，而同一智能體的獎(jiǎng)勵(lì)可能不同.這是因?yàn)槊總€(gè)智能體的行動(dòng)都會(huì)影響環(huán)境狀態(tài)的變化，從而影響另一個(gè)智能體的行動(dòng).因此，有必要對每個(gè)智能體的行動(dòng)分別計(jì)算獎(jiǎng)勵(lì).獎(jiǎng)勵(lì)函數(shù)的設(shè)計(jì)需要考慮環(huán)境的復(fù)雜性和智能體的目標(biāo)，算法獎(jiǎng)勵(lì)函數(shù)為

Rθ=∑τR（τ）Pθ（τ）=Eτ－Pθ（τ）［R（τ）］，（1）

式中：Rθ為參數(shù)化策略θ下的期望獎(jiǎng)勵(lì)，即智能體在策略θ下預(yù)期獲得的平均獎(jiǎng)勵(lì)；∑τ為對所有可能的行動(dòng)序列τ求和；R（τ）為行動(dòng)序列τ產(chǎn)生的獎(jiǎng)勵(lì)；Pθ（τ）為在策略θ下采取行動(dòng)序列τ的概率，用于描述智能體在給定參數(shù)θ下采取特定行動(dòng)序列的可能性；Eτ-Pθ（τ）為對所有可能的行動(dòng)序列τ在策略θ下的概率分布Pθ（τ）加權(quán)求期望；[R（τ）]為對行動(dòng)序列τ產(chǎn)生的獎(jiǎng)勵(lì)求期望的操作.

對于鉆機(jī)車和提水泵車，計(jì)算到水源距離，如果更近則獎(jiǎng)勵(lì)+0.005.對于泵站車，檢查材料剩余量，若水平/垂直距水源lt;8，則獎(jiǎng)勵(lì)+0.001，若使用了材料，獎(jiǎng)勵(lì)+0.100；若材料用完且用戶需求未滿足，且有滿足條件的獎(jiǎng)勵(lì)-0.500.對于管線作業(yè)車，獲取材料剩余數(shù)據(jù)和地圖特征路徑，如果island_get長度為1且地圖上還有其他管道存在，獎(jiǎng)勵(lì)-0.005.為了避免智能體重復(fù)“刷分”，設(shè)置Flag，詳細(xì)設(shè)置如表2所示.

2 試驗(yàn)仿真

2.1 基礎(chǔ)環(huán)境設(shè)置

任務(wù)的目標(biāo)是控制地圖中的4個(gè)智能體按照一定的步驟，處理管路并進(jìn)行連接，最后將連接好的管路放至供水點(diǎn)，環(huán)境可視化如圖5所示.由圖可知，該地圖的大小為30×30.地圖中的圖標(biāo)包括地下水源、應(yīng)急供水裝備集結(jié)地、鉆機(jī)、供水點(diǎn)、障礙物、管網(wǎng)、越野型管線作業(yè)車、泵站、越野型泵站車、地表水源和提水泵車.淺藍(lán)色的區(qū)域是可移動(dòng)的區(qū)域，地圖中存在轉(zhuǎn)向閾值限制及坡度限制.

基本過程為鉆機(jī)及智能體需要先到達(dá)水源處，執(zhí)行鉆井命令，生成地下水源，然后提水泵車再移動(dòng)至地下水源附近提水，越野型管線作業(yè)車需要連接地下水源與供水點(diǎn)，并需要越野型泵站車于途中放置泵站.任務(wù)的詳細(xì)參數(shù)設(shè)置如表3所示.

2.2 超參數(shù)設(shè)置

在MAPPO算法中，超參數(shù)的設(shè)置對算法的性能和穩(wěn)定性有很大的影響.試驗(yàn)中的一些超參數(shù)如表4所示.

其中，n_training_threads為用于訓(xùn)練的線程數(shù)，表示在多線程的環(huán)境下并行地訓(xùn)練10個(gè)智能體；n_rollout_threads為執(zhí)行rollout的線程數(shù)，用于收集樣本數(shù)據(jù)；lr為學(xué)習(xí)率，表示每次參數(shù)更新時(shí)參數(shù)的變化量；ppo_epoch為在每個(gè)訓(xùn)練周期中執(zhí)行PPO算法的次數(shù);熵值權(quán)重entropy_coef為策略的熵值，較小的熵值權(quán)重可以促進(jìn)智能體的探索行為；損失值系數(shù)value_loss_coef為PPO算法中的損失函數(shù)系數(shù).

2.3 仿真與可視化實(shí)現(xiàn)

基于上述的超參數(shù)，開始對智能體進(jìn)行訓(xùn)練.在每次采樣中，有10個(gè)采樣過程，每次采樣10個(gè)情節(jié).然后，進(jìn)行一次更新，結(jié)果如圖6a所示，圖中episode為更新次數(shù)，reward為智能體獎(jiǎng)勵(lì)值.從獎(jiǎng)勵(lì)曲線可以看出，智能體可以很好地完成訓(xùn)練過程.在訓(xùn)練的早期階段，智能體的策略水平可以迅速提高.進(jìn)入中期階段后，提高的速度減慢，最終隨著訓(xùn)練的進(jìn)展，逐漸收斂并趨于穩(wěn)定.把LSTM從網(wǎng)絡(luò)中移除，在其他條件不變的情況下與原網(wǎng)絡(luò)進(jìn)行了對比試驗(yàn)，結(jié)果如圖6b所示，從曲線可以看出，沒有LSTM的PPO在預(yù)訓(xùn)練期仍能進(jìn)行一定程度的策略提升，但其策略收斂水平不如有LSTM的PPO，這說明LSTM對網(wǎng)絡(luò)本身有一定的作用，特別是其記憶能力，對算法的訓(xùn)練和策略的提升有很大的作用.

智能體完成情況可視化結(jié)果如圖7所示.4個(gè)智能體通過協(xié)作完成從地下水源位置鋪設(shè)管道連通供水點(diǎn)的過程.根據(jù)圖7a的可視化結(jié)果，泵站車智能體放置泵站間隔位置過近，說明地圖復(fù)雜度較高時(shí)，由于地表信息過多，智能體的選擇限制較小，行動(dòng)過于靈活，導(dǎo)致整個(gè)規(guī)劃過程過長，最終的反饋無法及時(shí)體現(xiàn)在泵站車的動(dòng)作控制中.但在末端供水點(diǎn)的管線鋪設(shè)部分，在右上部分管線作業(yè)車智能體出現(xiàn)了完全無效的鋪管動(dòng)作，并且在部分區(qū)域出現(xiàn)鋪管浪費(fèi)的現(xiàn)象.這個(gè)結(jié)果表明，管線作業(yè)車智能體也無法將規(guī)劃過程過長的最終反饋及時(shí)體現(xiàn)在動(dòng)作控制中，浪費(fèi)了管道材料.如圖7b所示，管線作業(yè)車智能體在地形限制時(shí)出現(xiàn)碰壁情況，并且在部分工作路徑上出現(xiàn)同樣的浪費(fèi)管道材料的行為.綜上所述，由于受到過多地圖信息的干擾，一些反饋難以及時(shí)在智能體的決策中進(jìn)行調(diào)整，故部分區(qū)域出現(xiàn)了浪費(fèi)管道材料及路徑非最短的情況.從供水任務(wù)整個(gè)規(guī)劃流程看，4個(gè)智能體協(xié)作給出近似的全局最優(yōu)解，表明該規(guī)劃方法有效.

3 改進(jìn)與應(yīng)用

3.1 山區(qū)應(yīng)急供水裝備路徑規(guī)劃系統(tǒng)改進(jìn)

通過上文對山區(qū)應(yīng)急供水路徑規(guī)劃系統(tǒng)的仿真和可視化的結(jié)果分析發(fā)現(xiàn)，雖然智能體可以很好地完成訓(xùn)練，但是該系統(tǒng)還存在問題.一方面，該系統(tǒng)缺乏靈活的地圖調(diào)整能力，可能會(huì)導(dǎo)致部分地物信息失真；另一方面，該系統(tǒng)的可視化程度并不滿足應(yīng)急救援場景下的使用要求，因?yàn)榈乇硇畔o法直接應(yīng)用到該路徑規(guī)劃系統(tǒng)中，導(dǎo)致輸出結(jié)果無法實(shí)現(xiàn)圖上作業(yè).

為解決該問題，文中結(jié)合Mask2Former圖像分割模型，對山區(qū)應(yīng)急供水裝備路徑規(guī)劃系統(tǒng)進(jìn)行改進(jìn).應(yīng)用Mask2Former圖像分割模型，在給定的區(qū)域中識別并標(biāo)記可通行和不可通行的區(qū)域，并使用MAPPO算法規(guī)劃2個(gè)隨機(jī)選擇的可通行區(qū)域之間的路徑.加載原圖像，以便區(qū)分黑色區(qū)域和非黑色區(qū)域，將非黑色區(qū)域標(biāo)記為1（白色），黑色區(qū)域標(biāo)記為0.在二值化圖像中選擇2個(gè)白色像素點(diǎn)作為起點(diǎn)和終點(diǎn)，使用MAPPO算法找到這2點(diǎn)之間的最短路徑，確保路徑僅經(jīng)過可通行區(qū)域，并在第2張圖像上輸出路徑結(jié)果.

3.2 路徑規(guī)劃系統(tǒng)集成與應(yīng)用

創(chuàng)建GUI，用于調(diào)用路徑規(guī)劃算法生成路徑規(guī)劃結(jié)果，具有多個(gè)功能，其中輸入坐標(biāo)用于加入地理勘探信息以輔助決策；繪圖參數(shù)和縮放因子用于調(diào)整精準(zhǔn)度；消息框函數(shù)用于信息反饋制作動(dòng)圖.根據(jù)加載遙感圖像的要求，將圖像進(jìn)行標(biāo)準(zhǔn)化處理，文中圖像可精細(xì)化為250×250，滿足后續(xù)的使用標(biāo)識要求.可視化結(jié)果如圖9所示.

山區(qū)應(yīng)急供水裝備路徑規(guī)劃系統(tǒng)已在山區(qū)應(yīng)急供水裝備智能決策平臺中應(yīng)用.集成至平臺進(jìn)場部署模塊，現(xiàn)場路徑規(guī)劃方案結(jié)果如圖10所示.

4 結(jié) 論

1） 通過綜合應(yīng)用Mask2Former模型與MAPPO算法，改進(jìn)了山區(qū)應(yīng)急供水裝備路徑規(guī)劃系統(tǒng)，將地物信息輸出結(jié)果和路徑規(guī)劃結(jié)果相結(jié)合，有效避免了單一路徑規(guī)劃算法在受到環(huán)境影響時(shí)結(jié)果波動(dòng)較大的問題，提高了路徑規(guī)劃的魯棒性和可靠性.

2） 將改進(jìn)后的路徑規(guī)劃系統(tǒng)應(yīng)用至應(yīng)急供水系統(tǒng)指揮管控平臺，解決了山區(qū)應(yīng)急供水路徑規(guī)劃問題.通過路徑規(guī)劃系統(tǒng)研究與應(yīng)用，為山區(qū)應(yīng)急供水裝備的實(shí)際運(yùn)行提供了有力支持.

3） 未來的研究可致力于改進(jìn)小規(guī)模智能體在廣闊環(huán)境中的仿真計(jì)算復(fù)雜度，通過優(yōu)化算法和引入分布式計(jì)算等技術(shù)手段，以提高智能體在大范圍環(huán)境中的實(shí)時(shí)性和效率.

參考文獻(xiàn)（References）

[1] KADU M S，GUPTA R，BHAVE P R. Optimal design of water networks using a modified genetic algorithm with reduction in search space[J].Journal of water resources planning and management，2008，134（2）： 147-160.

[2] 張朝，劉海星，顧建強(qiáng)，等．基于需水不確定性的供水管網(wǎng)優(yōu)化運(yùn)行研究[J]. 給水排水. 2019， 45（11）： 124-130.

ZHANG Chao，LIU Haixing，GU Jianqiang，et al. Study on optimal operation of water distribution system under demand uncertainty[J].Water amp; wastewater enginee-ring， 2019， 45（11）： 124-130. （in Chinese）

[3] SOLDI D，CANDELIERI A，ARCHETTI F. Resilience and vulnerability in urban water distribution networks through network theory and hydraulic simulation[J].Procedia engineering，2015，119：1259-1268.

[4] ALSHARQAWI M， FASCE T Z，PARVIZSEDGHY L，et al. Reliability assessment model for water distribution networks[J]. Journal of pipeline systems engineering and practice，2020，11（2）：04019059.

[5] RODRIGUES F，BORGES M，RODRIGUES H. Risk management in water supply networks： Aveiro case study[J].Environmental science and pollution research，2020，27：4598-4611.

[6] BEKER B A，KANSAL M L. Fuzzy logic-based integra-ted performance evaluation of a water distribution network[J]. AQUA-water infrastructure， ecosystems and society，2022，71（3）：490-506.

[7] 吳儀. 城市供水系統(tǒng)多水廠聯(lián)合優(yōu)化調(diào)度研究[D]．大連：大連理工大學(xué)，2022.

[8] 張繼昌. D市多水源供水管網(wǎng)系統(tǒng)水源事故時(shí)優(yōu)化調(diào)度研究及應(yīng)用[D]．哈爾濱：哈爾濱工業(yè)大學(xué)，2011.

[9] 鮑任兵，鄒磊，張懷宇，等. 城市供水系統(tǒng)應(yīng)急設(shè)計(jì)研究及案例應(yīng)用[J]．給水排水，2020，46（5）：105-111.

BAO Renbing，ZOU Lei，ZHANG Huaiyu，et al. Study and application on emergency design of urban water supply system[J].Water amp; wastewater engineering，2020，46（5）：105-111. （in Chinese）

[10] 袁曲，鄒磊，周冬，等. 特殊時(shí)期水廠安全運(yùn)行保障應(yīng)急預(yù)案研究[J]．給水排水，2020，46（8）：24-30.

YUAN Qu，ZOU Lei，ZHOU Dong，et al. Study on emergency plan for safe operation of waterworks during epidemic prevention and control[J].Water amp; wastewater engineering，2020，46（8）：24-30. （in Chinese）

[11] 鄧凡杰，司喬瑞，李方忠，等. 山區(qū)和邊遠(yuǎn)災(zāi)區(qū)應(yīng)急供水系統(tǒng)提水裝備發(fā)展現(xiàn)狀[J]．排灌機(jī)械工程學(xué)報(bào)，2023，41（6）：614-623.

DENG Fanjie，SI Qiaorui，LI Fangzhong，et al. Review on water carrying equipment for emergency water supply system in mountain and remote disaster areas[J].Journal of drainage and irrigation machinery engineering，2023，41（6）：614-623. （in Chinese）

[12] LOHSE O，PTZ N，HRMANN K. Implementing an online scheduling approach for production with multi agent proximal policy optimization （MAPPO）[C]//Proceedings of IFIP International Conference on Advances in Production Management Systems （APMS），Nantes， France： Springer International Publishing， 2021，634：586-595.

[13] MNIH V，BADIA A P，MIRZA M，et al. Asynchronous methods for deep reinforcement learning[C]//Procee-dings of the 33rd International Conference on Machine Learning， PMLR，2016，48：1928-1937.

（責(zé)任編輯 黃鑫鑫）