高拱壩澆筑進(jìn)度仿真多進(jìn)程并行優(yōu)化的隔離計(jì)算管理方法

吳 彬，簡思彧，劉 全，鄔 志

(1. 中國電建集團(tuán)華東勘測設(shè)計(jì)研究院有限公司，浙江 杭州 310010；2. 武漢大學(xué)水資源與水電工程科學(xué)國家重點(diǎn)實(shí)驗(yàn)室，湖北 武漢 430072)

在混凝土高拱壩的澆筑過程中，復(fù)雜動(dòng)態(tài)的環(huán)境條件與澆筑資源和澆筑工藝等限制因素相互交織，大壩澆筑施工工期優(yōu)化便是典型的動(dòng)態(tài)環(huán)境和復(fù)雜約束條件相互作用下的動(dòng)態(tài)規(guī)劃問題[1]。因此，拱壩澆筑施工過程的優(yōu)化問題，是一個(gè)復(fù)雜動(dòng)態(tài)空間的路徑搜索優(yōu)化問題，需要嘗試大量的參數(shù)，進(jìn)行大規(guī)模的計(jì)算[2]。

首先，大規(guī)模的計(jì)算往往需要比較強(qiáng)勁的計(jì)算資源，而這些資源往往部署困難，且運(yùn)行環(huán)境(機(jī)房)要求較高。對(duì)于水電工程的建設(shè)過程而言，在每個(gè)有計(jì)算需求的位置都部署計(jì)算資源不現(xiàn)實(shí)，也不經(jīng)濟(jì)[3]。為此，有必要搭建適用于高拱壩澆筑進(jìn)度仿真優(yōu)化的計(jì)算資源平臺(tái)[4]。

其次，拱壩澆筑進(jìn)度仿真優(yōu)化平臺(tái)設(shè)置復(fù)雜、參數(shù)眾多、程序規(guī)模大、計(jì)算概念復(fù)雜[5]。拱壩澆筑進(jìn)度仿真優(yōu)化平臺(tái)對(duì)于工程現(xiàn)場的施工管理人員而言，過于復(fù)雜且不易使用[6]。因此，應(yīng)將拱壩仿真平臺(tái)接口簡化，將工程現(xiàn)場施工最常用的參數(shù)整合起來，形成仿真計(jì)算控制軟件，方便易用。

再次，拱壩澆筑進(jìn)度仿真優(yōu)化平臺(tái)歷經(jīng)多年開發(fā)，凝聚了工程師、專家多年來在拱壩澆筑進(jìn)度仿真實(shí)踐方面的智慧，有必要保護(hù)計(jì)算機(jī)軟件的知識(shí)產(chǎn)權(quán)，為此將一般用戶與拱壩澆筑進(jìn)度仿真優(yōu)化平臺(tái)隔離開來是比較可行的解決方案。

因此，遠(yuǎn)程計(jì)算方式應(yīng)運(yùn)而生。其方式多是：在企業(yè)中心部署計(jì)算能力強(qiáng)大的計(jì)算終端，用戶從遠(yuǎn)程接入，利用計(jì)算資源完成計(jì)算后取回優(yōu)化解[7]。但這些遠(yuǎn)程計(jì)算方式，有些需要根據(jù)計(jì)算終端操作系統(tǒng)重新編譯程序，仿真系統(tǒng)遷移成本高[8]；有些計(jì)算系統(tǒng)本身部署代價(jià)高[9]；還有一些，用戶可直接訪問計(jì)算終端，計(jì)算資源保護(hù)困難[10]等。

為此，需要一種便于部署、系統(tǒng)兼容性好、可保護(hù)知識(shí)產(chǎn)權(quán)的計(jì)算方式。本文提出在計(jì)算終端上部署虛擬機(jī)作為用戶訪問接口，在虛擬機(jī)與計(jì)算終端之間建立通訊協(xié)議，實(shí)現(xiàn)仿真計(jì)算控制功能。同時(shí)，由于計(jì)算終端和虛擬機(jī)可用相同的操作系統(tǒng)，便于計(jì)算控制端的研發(fā)和仿真系統(tǒng)部署，并且通訊協(xié)議限制了虛擬機(jī)對(duì)計(jì)算終端控制能力，實(shí)現(xiàn)上述遠(yuǎn)程計(jì)算控制和知識(shí)產(chǎn)權(quán)保護(hù)的功能。

1 隔離計(jì)算管理框架

1.1 計(jì)算資源架構(gòu)

1)計(jì)算終端。高拱壩澆筑進(jìn)度施工仿真計(jì)算量巨大，特別是需要進(jìn)行隨機(jī)并行仿真的情況下，普通的計(jì)算機(jī)計(jì)算效能難以滿足要求。因此需要建設(shè)專門的計(jì)算終端，配置較多的計(jì)算單元和較大的存儲(chǔ)空間。同時(shí)這樣的計(jì)算終端也需要滿足一般的安全性要求，不希望未授權(quán)用戶取得計(jì)算資源，也不希望授權(quán)用戶執(zhí)行未授權(quán)操作。

2)在計(jì)算終端上部署的虛擬機(jī)。為了建立計(jì)算終端相隔離的操作環(huán)境，在計(jì)算終端上部署虛擬機(jī)，作為計(jì)算資源訪問的接口(以下簡稱用戶控制端)。通過用戶控制端登錄認(rèn)證，來實(shí)現(xiàn)用戶授權(quán)。同時(shí)用戶控制端對(duì)計(jì)算終端僅能通過共享文件夾中的文本文件發(fā)出指令。計(jì)算終端在計(jì)算完成后，通過共享文件夾返回指定的計(jì)算結(jié)果。二者之間除此以外沒有其他的信息交換方式，從而保證計(jì)算終端的安全性。同時(shí)，由于計(jì)算終端與用戶控制端采用共享文件夾的交換方式，大文件的交換速度較快。并且用戶控制端可以選擇與計(jì)算終端相同的操作系統(tǒng)，以便用相同的編程語言研發(fā)執(zhí)行文件。降低計(jì)算系統(tǒng)的研發(fā)和部署難度。

1.2 計(jì)算終端與用戶控制端的通訊協(xié)議

1)空閑狀態(tài)。計(jì)算終端處于空閑狀態(tài)時(shí)，會(huì)設(shè)置狀態(tài)標(biāo)志為待機(jī)中。只有在這樣的狀態(tài)下，才能發(fā)起計(jì)算。

2)發(fā)起計(jì)算。由用戶控制端發(fā)起計(jì)算命令，但終端在接收到計(jì)算命令后，即刻開啟并行計(jì)算任務(wù)。預(yù)先編制好的高拱壩澆筑進(jìn)度并行隨機(jī)仿真程序，會(huì)按照用戶設(shè)定的優(yōu)化參數(shù)，進(jìn)行優(yōu)化解的大規(guī)模搜索。由于多進(jìn)程并行計(jì)算需要向系統(tǒng)申請(qǐng)大量的算力和存儲(chǔ)資源，采取逐個(gè)進(jìn)程延遲啟動(dòng)的方式。所有的計(jì)算進(jìn)程全部啟動(dòng)完成后，計(jì)算終端設(shè)置“計(jì)算中”標(biāo)志。

3)查詢計(jì)算進(jìn)度。計(jì)算終端在并行隨機(jī)搜索優(yōu)化解的過程中，并行計(jì)算管理程序會(huì)提取各進(jìn)程得到的優(yōu)化解摘要信息，并將摘要信息匯總保存在計(jì)算進(jìn)度摘要文件中。用戶控制端可以發(fā)出“查詢計(jì)算進(jìn)度”指令，通過讀取摘要文件獲得計(jì)算進(jìn)度信息。讀取操作是定時(shí)觸發(fā)的，也可以人工刷新。

4)提取方案摘要。用戶在控制端上查看計(jì)算進(jìn)度后，通過關(guān)鍵指標(biāo)信息發(fā)現(xiàn)感興趣的優(yōu)化解后，發(fā)出提取方案摘要指令。計(jì)算終端則會(huì)提取指定優(yōu)化解，并返回用戶控制端，方便用戶查取優(yōu)化解的詳細(xì)信息。

5)結(jié)束計(jì)算。用戶在控制端上查看優(yōu)化解詳細(xì)信息后，認(rèn)為已經(jīng)得到滿意的優(yōu)化解，即可發(fā)出結(jié)束計(jì)算指令。計(jì)算終端則會(huì)通知各進(jìn)程結(jié)束計(jì)算程序、收回計(jì)算資源，同時(shí)將計(jì)算狀態(tài)重新設(shè)置為“待機(jī)中”。

計(jì)算終端與用戶控制端的通訊協(xié)議如圖1所示，其中互斥狀態(tài)標(biāo)志表示在任意時(shí)刻，該組狀態(tài)只可能出現(xiàn)一個(gè)；共享狀態(tài)標(biāo)志則可能與計(jì)算中等狀態(tài)共存。

圖1 高拱壩澆筑進(jìn)度仿真的隔離式計(jì)算管理協(xié)議流程和系統(tǒng)狀態(tài)

1.3 隔離計(jì)算管理方法特性

基于上述協(xié)議，其技術(shù)特性分析如下：

1)用戶控制端可通過共享文件夾發(fā)出指令控制計(jì)算終端，指令和解析是雙方的約定內(nèi)容，方便根據(jù)科學(xué)計(jì)算的需求定制。

2)用戶無需也無法使用專業(yè)計(jì)算程序，一方面降低用戶計(jì)算界面和操作的復(fù)雜度；另一方面減少專用計(jì)算程序流失的可能性。

3)用戶控制端采用部署在計(jì)算平臺(tái)上的虛擬機(jī)，計(jì)算資源的控制和管理簡單方便，對(duì)于專攻水電工程軟件研發(fā)的科研人員而言，難度較低。

4)用戶控制端和計(jì)算終端可以采用相同的操作系統(tǒng)，計(jì)算程序和控制程序可以采用同種語言編寫，降低科研人員創(chuàng)建計(jì)算和控制系統(tǒng)的難度。

5)用戶控制端的安全性可以通過虛擬系統(tǒng)的用戶安全性控制實(shí)現(xiàn)，簡化了用戶管理問題。

2 隔離計(jì)算案例分析

2.1 隔離計(jì)算案例步驟

步驟0，系統(tǒng)初始化通訊環(huán)境。啟動(dòng)仿真計(jì)算終端和用戶控制端的操作系統(tǒng)、建立共享目錄、啟動(dòng)隔離計(jì)算控制軟件(如圖2)和仿真計(jì)算管理軟件(如圖3)。

圖2 隔離計(jì)算控制軟件(部分)

圖3 仿真計(jì)算管理軟件(部分)

步驟1.1，用戶登錄計(jì)算管理的用戶控制端。

按下，“保存實(shí)際進(jìn)度仿真后續(xù)施工”按鈕，發(fā)出計(jì)算指令。系統(tǒng)進(jìn)入計(jì)算中狀態(tài)，“保存實(shí)際進(jìn)度仿真后續(xù)施工”按鈕不再可用(如圖4)，“刷新仿真進(jìn)度”和“提取結(jié)果或結(jié)束計(jì)算”按鈕啟用。同時(shí)在共享目錄創(chuàng)建“開始計(jì)算.txt”文件作為開啟計(jì)算任務(wù)的標(biāo)志。

圖4 計(jì)算狀態(tài)的計(jì)算控制軟件界面

步驟1.2，仿真計(jì)算管理軟件監(jiān)控到共享目錄文件標(biāo)志為“開始計(jì)算.txt”，清除上次遺留的計(jì)算單元，如圖5。

圖5 仿真計(jì)算管理軟件清除上次遺留的計(jì)算單元

步驟1.3，仿真計(jì)算管理軟件開啟并行仿真計(jì)算(如圖6)，同時(shí)共享目錄創(chuàng)建“正在計(jì)算.txt”文件作為正在計(jì)算的標(biāo)志。

圖6 仿真計(jì)算管理軟件開啟并行仿真計(jì)算

步驟1.4，仿真計(jì)算管理軟件每隔5分鐘采集并行仿真計(jì)算進(jìn)度，如圖7，并將該進(jìn)度同步寫入共享目錄的“ProgLog.xlsx”文件中。

圖7 仿真管理軟件定時(shí)采集并行仿真計(jì)算進(jìn)度

步驟2.1，計(jì)算控制軟件間隔10 min，自動(dòng)加載“ProgLog.xlsx”，顯示仿真計(jì)算進(jìn)度。

步驟2.2，用戶在計(jì)算控制軟件中點(diǎn)下“刷新仿真進(jìn)度”按鈕，計(jì)算控制軟件會(huì)加載“ProgLog.xlsx”，顯示仿真計(jì)算進(jìn)度，如圖8。

圖8 計(jì)算控制軟件刷新并行仿真計(jì)算進(jìn)度

步驟3.1，經(jīng)過長時(shí)間的計(jì)算后，通過觀察并行仿真計(jì)算進(jìn)度，分析方案參數(shù)，用戶確定想要取得的方案，發(fā)起取得方案摘要流程。用戶選中想要查看的方案，點(diǎn)下提取方案摘要按鈕，計(jì)算控制軟件會(huì)在共享目錄寫入“提取方案摘要.txt”文件標(biāo)志，其內(nèi)容為待提取方案文件的名稱，本例為“C:/ArchDam64/ArchDam64/Release/ArchDam64/多進(jìn)程/04/MiniSQL2K/Data/18年05月31日09時(shí)49分.bak”，如圖9。

圖9 計(jì)算控制軟件提取方案摘要

步驟3.2，仿真計(jì)算管理軟件監(jiān)視到“提取方案摘要.txt”文件標(biāo)志，取得方案名稱，加載指定方案。在“提取方案摘要.txt”文件標(biāo)志寫入“正在提取方案摘要”。

步驟3.3，仿真計(jì)算管理軟件提取得到方案“18年05月31日09時(shí)49分”的方案摘要，在共享目錄寫入“18年05月31日09時(shí)49分方案摘要.doc”，同時(shí)在“提取方案摘要.txt”文件標(biāo)志寫入“計(jì)算成果提取成功”，如圖10。

圖10 提取方案摘要通訊標(biāo)志

步驟3.4，方案摘要提取成功后(如圖11)，用戶可以從共享目錄取得方案摘要：“18年05月31日09時(shí)49分方案摘要.doc”。

圖11 計(jì)算控制軟件方案摘要提取成功

步驟4.1，用戶選擇計(jì)算方案記錄的空行，按下提取或結(jié)束計(jì)算按鈕，如圖12。計(jì)算控制軟件會(huì)在共享目錄寫入“終止計(jì)算.txt”文件標(biāo)志，其內(nèi)容為“終止計(jì)算”。

圖12 計(jì)算控制軟件發(fā)出結(jié)束計(jì)算指令

步驟4.2，仿真計(jì)算管理軟件監(jiān)視到“終止計(jì)算.txt”文件標(biāo)志，取得指令“終止計(jì)算”，發(fā)起終止計(jì)算指令，通知所有計(jì)算任務(wù)終止，完成后重置系統(tǒng)狀態(tài)標(biāo)志。

2.2 案例分析

由前述步驟可知，用戶控制端和計(jì)算終端之間可以實(shí)現(xiàn)發(fā)起計(jì)算、查詢進(jìn)度、返回結(jié)果等操作。為了方便計(jì)算，計(jì)算參數(shù)也是通過用戶控制端發(fā)出指令修改的。廣義的講，用戶控制端和計(jì)算終端之間的協(xié)議是根據(jù)科學(xué)計(jì)算人員需求定制的。不僅僅對(duì)于高拱壩的并行優(yōu)化計(jì)算，對(duì)于其他類似的復(fù)雜空間搜索優(yōu)化任務(wù)同樣適用。

用戶控制端和計(jì)算終端之間通過共享文件夾通訊，適用于時(shí)效要求不高，但信息量較大的情況。當(dāng)然，通過文件夾通訊也存在基于共享文件夾的信息安全風(fēng)險(xiǎn)，但是這種層面的風(fēng)險(xiǎn)是操作系統(tǒng)級(jí)的，相比專業(yè)系統(tǒng)開發(fā)和小規(guī)模的使用而言，降低部署成本是十分重要的。

本文提出的隔離計(jì)算管理方法可以認(rèn)為是一種簡化的云計(jì)算解決方案[11]。

3 結(jié) 語

高拱壩施工仿真可利用高性能計(jì)算平臺(tái)的并行計(jì)算展開多進(jìn)程優(yōu)化計(jì)算。為了簡化用戶操作界面并保護(hù)專用計(jì)算程序的知識(shí)產(chǎn)權(quán)，研發(fā)了高拱壩澆筑進(jìn)度仿真的隔離計(jì)算系統(tǒng)。經(jīng)部署和遠(yuǎn)程計(jì)算實(shí)踐證明，本方法可以有效的控制計(jì)算終端完成并行計(jì)算優(yōu)化任務(wù)，查詢計(jì)算進(jìn)度和方案參數(shù)，并提取方案摘要。對(duì)高拱壩澆筑進(jìn)度仿真的高級(jí)用戶而言具有良好的適應(yīng)性。同時(shí)，用戶控制端和計(jì)算終端之間的通訊協(xié)議可以修改、定制，本文所述的隔離計(jì)算方法也適用于其他專業(yè)應(yīng)用程序的高性能計(jì)算的低成本部署和共享。針對(duì)因素多、環(huán)境復(fù)雜、計(jì)算量大的專業(yè)問題解算，專業(yè)計(jì)算人員的應(yīng)該把精力集中在解決專業(yè)問題上，本系統(tǒng)為專業(yè)程序輕量化部署提供了思路參考。