基于Azure AutoML的泥沙預報模型構建與應用

曹輝　陳柯兵　董炳江

摘要：泥沙預報是開展水庫泥沙實時調(diào)度的前提，而水沙作用機理和演進規(guī)律的復雜性又導致開展高效、精準的泥沙預報較為困難?；谖④浽?018年發(fā)布的Azure AutoML自動化機器學習技術，進行了泥沙預報模型構建與應用的探索。選取三峽水庫泥沙重要控制站——寸灘、清溪場、萬縣、黃陵廟站構建了含沙量預報模型，并從模型構建與評估、預報精度、輸入因子重要性等角度開展了分析。研究結果表明：Azure AutoML技術可便捷地進行自動化機器學習模型的構建，基于該技術建立的預見期為1～3 d的模型針對沙峰消退階段和含沙量較小階段預報效果較好；預見期為1～2 d的模型可以對沙峰開展較為準確的預報；寸灘、清溪場站含沙量主要受到上游來沙的影響，而萬縣、黃陵廟站的含沙量自相關性較強。

關 鍵 詞：泥沙預報； 沙峰傳播； 含沙量； Azure AutoML； 自動化機器學習； 三峽水庫

中圖法分類號： P338+.5

文獻標志碼： A

DOI：10.16232/j.cnki.1001-4179.2023.04.014

0 引 言

泥沙預報是水庫開展泥沙實時調(diào)度的前提［1-2］。由于下墊面條件的差異和水沙產(chǎn)輸機理的復雜，泥沙預報一直是一個世界性的技術難題。許多學者采用水文學和水力學的方法對此開展了研究［3-5］，近20 a來也有學者將人工神經(jīng)網(wǎng)絡等機器學習方法運用于河流的泥沙預報。苑希民等［6］闡述了人工神經(jīng)網(wǎng)絡方法對多泥沙洪水演進的辨識機理，通過模型聯(lián)想實現(xiàn)水沙演進預報，研究結果與實測結果吻合良好，體現(xiàn)了人工神經(jīng)網(wǎng)絡的應用價值和發(fā)展前景。李義天等［7］將神經(jīng)網(wǎng)絡理論應用于河道水沙運動規(guī)律的模擬與預報，并與傳統(tǒng)回歸模型進行了對比分析，回歸模型具有數(shù)學表達直觀、易于理解的特點，而神經(jīng)網(wǎng)絡模型在模型結構確定、模型容錯性能等方面較優(yōu)，但在模型學習速度、算法復雜程度、實用性和直觀性等方面遜于回歸模型。

利用機器學習開展研究工作，一般均包含數(shù)據(jù)清潔、特征選擇、模型選擇、參數(shù)優(yōu)化以及最終模型驗證等幾個步驟。這些步驟當中仍然包含大量既耗時又重復的手動操作流程，且往往需要具有經(jīng)驗的專家來開展這些工作，特別是根據(jù)特定的問題選取最合適的機器學習算法。

自動化機器學習（AutoML）則通過技術手段，將機器學習專家的經(jīng)驗固化下來，使機器可以自動建模、自動調(diào)參，將整個機器學習過程自動化，減少專家在整個機器學習過程中的參與［8］。谷歌、微軟、百度等紛紛在該領域發(fā)力，并提供了零門檻AI開發(fā)平臺，實現(xiàn)零算法基礎定制高精度AI模型。Azure AutoML是微軟在2018年發(fā)布的自動建模技術，支持模型結構搜索和超參數(shù)搜索，在算法上支持分類、回歸和時序預測的常用算法。相較于同類型的Google AutoML、Baidu EasyDL，它具有網(wǎng)絡易于訪問、低代碼（Low-Code）的特點，大部分的計算與操作可以在Web瀏覽器中完成。

隨著長江上游大型梯級水庫群的開發(fā)與建成，以三峽工程為核心的干支流控制性水庫群已形成規(guī)模［9-10］，三峽水庫入庫泥沙特性大幅改變［11］，針對三峽水庫開展高效、精準的泥沙預報也就極為關鍵［12］。為探索Azure AutoML技術在泥沙預報領域的運用效果，推動基于機器學習方法的泥沙預報模型應用于三峽水庫的泥沙預報生產(chǎn)實踐，本文基于Azure AutoML技術，以三峽水庫入庫、出庫沙量重要控制站——寸灘、清溪場、萬縣、黃陵廟站為例，開展泥沙預報研究。

1 研究數(shù)據(jù)與方法

1.1 研究數(shù)據(jù)

收集的數(shù)據(jù)資料為2010～2021年（7～9月）朱沱、北碚、寸灘、武隆、清溪場、萬縣、廟河、黃陵廟站的水沙整編資料，各站點的位置分布如圖1所示，數(shù)據(jù)時間間隔為1 d。收集的水沙要素為：各站的水位、流量、含沙量、輸沙率。此外，也收集了三峽水庫壩前水位（茅坪站）的同期數(shù)據(jù)。

研究對寸灘、清溪場、萬縣、黃陵廟站含沙量開展預報模型建模，使用數(shù)據(jù)如表1所列。以清溪場與黃陵廟兩站為例，具體說明如下。

（1）清溪場站。構建機器學習模型時，考慮寸灘、武隆至清溪場站的水沙傳播時間，選定21個水沙要素作為模型輸入因子（自變量，又稱為特征因子），分別為：當天與前一天的寸灘站水位、流量、含沙量、輸沙率，武隆站水位、流量、含沙量、輸沙率，清溪場站水位、流量；前一天的清溪場站含沙量。

為了探索預報模型性能受預見期時長的影響，共建立3種不同預見期的模型，模型輸出因子（因變量，又稱為標簽變量）為不同時段的清溪場站含沙量。舉例說明，如表2所列，若模型輸入為7月17日清溪場站日均含沙量，以及17，18日的日均寸灘站水位、流量、含沙量、輸沙率，武隆站水位、流量、含沙量、輸沙率，清溪場站水位、流量，則3種模型輸出分別為18日清溪場站日均含沙量（清溪場模型1）、19日清溪場站日均含沙量（清溪場模型2）、20日清溪場站日均含沙量（清溪場模型3）。

（2） 黃陵廟站。與清溪場站原理類似，選定15個水沙要素作為模型輸入因子。若模型輸入為7月17日黃陵廟站日均含沙量，以及17，18日的日均廟河站水位、流量、含沙量、輸沙率，茅坪站水位、黃陵廟站水位、黃陵廟站流量，則3種模型輸出分別為18日黃陵廟站日均含沙量（黃陵廟模型1）、19日黃陵廟站日均含沙量（黃陵廟模型2）、20日黃陵廟站日均含沙量（黃陵廟模型3）。

寸灘站建模過程與清溪場站類似，將清溪場站輸入的寸灘、武隆、清溪場站數(shù)據(jù)，對應替換為朱沱、北碚、寸灘站數(shù)據(jù)即可。萬縣站建模過程與黃陵廟站類似，將黃陵廟站輸入的廟河、茅坪、黃陵廟站數(shù)據(jù)，對應替換為清溪場、茅坪、萬縣站數(shù)據(jù)即可。

1.2 Azure AutoML計算流程

本文采用微軟Azure機器學習平臺（microsoft azure machine learning studio，Azure ML）中的AutoML功能對水沙數(shù)據(jù)進行建模。Azure ML是一種面向機器學習與大數(shù)據(jù)分析的云服務平臺，能夠有效提升采用機器學習方法進行數(shù)據(jù)分析的效率［13］。該平臺的優(yōu)勢主要有［14］：能夠在單個實驗中一次性嘗試多種模型并比較結果，有助于找到最適合的解決方案。具體即：在同一個實驗中建立多算法模型，對預測結果進行對比分析，通過選擇合適的學習算法和海量數(shù)據(jù)的訓練，從而達到建立預測模型的目的。

基于Azure AutoML的數(shù)據(jù)分析流程如圖2所示，主要由選擇數(shù)據(jù)資產(chǎn)、配置作業(yè)、選擇任務和設置、超參數(shù)配置（僅計算機視覺，本次研究不涉及）、驗證和測試等步驟組成。下文將結合清溪場站含沙量預報進行簡要介紹，詳細流程可參考相關鏈接［15］。

（1）選擇數(shù)據(jù)資產(chǎn)，即導入數(shù)據(jù)，可以采用4種方式將數(shù)據(jù)導入到實驗中：①從本地文件導入；②從數(shù)據(jù)存儲導入；③從Web文件導入；④從開放數(shù)據(jù)集導入。本次研究采用從本地文件導入數(shù)據(jù)的方式，數(shù)據(jù)格式必須預先處理為CSV格式。在數(shù)據(jù)導入過程中，可以對數(shù)據(jù)的表頭與字段等進行設置，并通過數(shù)據(jù)預覽功能確認上傳數(shù)據(jù)的正確性。

（2） 配置作業(yè)，從云平臺中選取不同的計算實例或計算集群運用到本次機器學習模型的構建中。算力越高，模型建模越快，收費也相應增加。在此步驟中，需選取用于執(zhí)行機器學習模型預測的目標列，即本次研究中的清溪場站含沙量。

（3） 選擇任務和設置，為實驗選擇機器學習任務類型，并配置機器學習任務的控制參數(shù)（見圖3）。在本次研究中，由輸入因子預測清溪場站含沙量屬于回歸問題（預測連續(xù)數(shù)值）。

進一步在查看其他配置設置選項中，可以進行個性化設置，如選擇對模型進行評分的主要指標標準均方根誤差、平均絕對誤差、相關系數(shù)R2等，用來更好地控制訓練作業(yè)。已阻止的模型選項可以主動排除Azure AutoML中內(nèi)置的部分模型，以加快整體的計算過程。退出條件為滿足設置中的任一條件，則會提前停止訓練作業(yè)。

（4）驗證和測試，選取不同數(shù)據(jù)的比例用于模型構建、調(diào)整。精度分析（測試）樣本在模型構建過程中不會使用，可作為全新樣本資料，用于分析精度指標。

1.3 Azure AutoML內(nèi)置模型介紹

Azure AutoML中內(nèi)置了大量不同的機器學習算法。其中，部分模型的算法名稱相同，如表3中出現(xiàn)了多次StandardScalerWrapper，ElasticNet，由于算法超參數(shù)設置有差異，可將其視作不同模型?，F(xiàn)將部分算法簡要介紹如下，詳細說明可參考相關鏈接［16-17］。

（1） VotingEnsemble算法。該算法是一個集合算法，它包含多個基本回歸模型，并對這些模型結果進行加權平均，以形成最終預測。

（2） MaxAbsScaler，ElasticNet算法。MaxAbsScaler（絕對值最大標準化）將輸入數(shù)據(jù)除以最大值，縮放至［-1，1］。以本次研究為例，即將原始的21個水文要素除以其各自的最大值后，作為ElasticNet算法的輸入。ElasticNet算法是一種線性模型，又叫彈性網(wǎng)絡回歸，它在目標函數(shù)里同時使用L1、L2懲罰項。

（3） StackEnsemble算法。此算法是一種簡單的集成學習算法，首先構建多個不同類型的一級學習器，并使用它們來得到一級預測結果，然后基于這些一級預測結果構建一個二級學習器，來得到最終的預測結果。Stacking的動機可以描述為：如果某個一級學習器錯誤地學習了特征空間的某個區(qū)域，那么二級學習器通過結合其他一級學習器的學習行為，可以適當糾正這種錯誤。

（4） StandardScalerWrapper，ElasticNet算法。StandardScalerWrapper是一個用來將數(shù)據(jù)進行歸一化和標準化的方法，將輸入數(shù)據(jù)刪除平均值和縮放到單位方差來標準化特征。得到的結果是新的輸入數(shù)據(jù)集方差為1，均值為0，隨后輸入到ElasticNet算法中。

（5） RobustScaler，ElasticNet算法。

RobustScaler利用中位數(shù)和四分位距縮放特征，對于給定的特征，每個觀測值先減去中位數(shù)，再除以四分位距，能夠在某種程度上抵消異常值的影響，隨后輸入到ElasticNet算法中。

2 結果分析

在寸灘、清溪場、萬縣、黃陵廟站泥沙預報模型構建過程中，選取的主要指標為R2，退出條件設置為訓練作業(yè)時間0.5 h。

研究中選定了2010～2021年的數(shù)據(jù)作為數(shù)據(jù)源。將數(shù)據(jù)系列分為兩大部分：2010～2019年樣本資料作為模型構建樣本（供訓練和驗證過程使用），2020～2021年的資料作為模型精度分析樣本（供測試過程使用）。在模型構建過程中不會使用精度分析樣本，可將其作為全新樣本資料，用于分析精度指標。

2.1 模型構建與評估

以清溪場站為例，Azure AutoML利用2010～2019年樣本資料建立了3種不同預見期模型，對應效果較好的算法與R2如表3所列?？梢园l(fā)現(xiàn)：3種預見期下效果最好的算法均為VotingEnsemble，筆者對該算法在2010～2019年、2020～2021年兩時期的詳細指標進行分析（見表4），值得注意的是這些指標均由Azure AutoML系統(tǒng)自動計算，無需額外設置。指標的具體說明可參考相關鏈接［18］，如解釋方差是（explained_variance）衡量模型對目標變量變化的解釋程度，它是原始數(shù)據(jù)方差與誤差方差之間的遞減百分比。

由表4中數(shù)據(jù)可以發(fā)現(xiàn)：模型1在兩個時期均能得到較好的結果；而模型2在進行模型構建的2010～2019年可以取得不錯的結果，但在進行測試的2020～2021年效果稍差，兩時期具有一定的性能差異；模型3則在兩時期的效果均較差。此結果表明，預見期是影響清溪場站泥沙預報精度的重要因素，模型在1～2 d預見期下能取得較好的結果，證實了已有研究對寸灘、清溪場站間輸沙規(guī)律的探索［19］，寸灘站到清溪場站沙峰時間傳播約為1 d，考慮到含沙量資料為日均數(shù)據(jù)，實際寸灘站到清溪場站沙峰時間小于2 d。

完成余下寸灘、萬縣、黃陵廟站的預報模型構建后，選擇各站點效果最好的算法為研究對象（如清溪場站的VotingEnsemble算法），表5給出了這些站點的模型R2的對比情況?？梢园l(fā)現(xiàn)寸灘、清溪場站模型的性能受預見期的影響較大，尤其是模型3，而萬縣與黃陵廟站模型的性能衰減幅度相對較小。

2.2 2020年和2021年預報精度分析

圖4展示了研究各站點含沙量整編值（可反映實測情況）與3種不同預見期的模型模擬值（可反映模型的預報性能）在2020，2021年的對比情況，可以發(fā)現(xiàn)如下特點：

（1） 2020年，本文研究的4個站點在8月中下旬出現(xiàn)了兩次較大的沙峰，所有模型均能一定程度上判斷沙峰的變化趨勢，尤其針對沙峰消退階段和輸沙率偏小的穩(wěn)定階段。但寸灘、清溪場站的模型3對第二次沙峰預報值明顯偏小，無法對沙峰的量級開展較為準確的預報。

（2） 2021年，沙峰出現(xiàn)次數(shù)較2020年更為頻繁，對于本文研究的4個站點，模型3的效果較差，無法對快速變化的含沙量波動做出有效反饋，寸灘、清溪場、萬縣站沙峰量級的預報值均有較大的誤差。但對于沙峰消退階段（如清溪場站7月下旬至8月上旬、萬縣站7月下旬至8月上旬、黃陵廟站8月上中旬），模型3同樣可以得到較好的結果。

模型1與模型2可對大多數(shù)沙峰的量級開展較為準確的預報，而對寸灘站7月10日左右發(fā)生快速漲落的沙峰（1.4 kg/m3），預報誤差則相對較大。

2.3 輸入因子重要性分析

此外，Azure AutoML在構建模型的過程中，能提供量化的輸入變量間相對重要性，通過觀察輸入變量的使用次數(shù)對模型性能的影響來衡量其重要性，可以幫助建模者對輸入變量更好地進行評估，其原理詳見相關鏈接［20-21］。

表6利用該功能統(tǒng)計了4個站點在不同預見期3個模型的前4個重要變量。從表6中可以發(fā)現(xiàn)規(guī)律如下：

（1） 萬縣和黃陵廟站的含沙量自相關性較強（見表中帶下劃線的變量）。而寸灘、清溪場站則主要受到上游來沙的影響，排名前二的重要性因子均為上游干流的含沙量、輸沙率。

（2） 僅清溪場站的模型1和萬縣站的模型1，2具有3個前一天的變量（見表中加粗的變量），即對它們進行預報模型構建時，主要依據(jù)的是過去的信息。在泥沙預報的工作實踐中，可操作性較強，余下的模型輸入以當天的信息為主，受到信息獲取時效性的影響較大。從表5中也可以發(fā)現(xiàn)，4個站中僅有萬縣站的模型2其預報性能要好于模型1。故針對萬縣站而言，對其進行泥沙預報模型的構建相對較易，模型受預見期的影響較小。

3 結 論

本次研究基于微軟的Azure AutoML技術，進行了泥沙預報模型構建與應用的探索，以三峽水庫入庫、出庫沙量重要控制站——寸灘、清溪場、萬縣、黃陵廟站為例，構建了各站的含沙量預報模型，并從模型構建與評估、預報精度、輸入因子重要性等角度開展了分析，結論如下：

（1） 微軟Azure AutoML技術可便捷地進行自動化機器學習模型的構建，其具有網(wǎng)絡易于訪問、低代碼（Low-Code）的特點，可極大降低機器學習建模的門檻，適用于泥沙預報模型的構建。

（2） 以2020，2021年的7～9月為例，預見期1～3 d的模型針對沙峰消退階段和輸沙率偏小的穩(wěn)定階段預報效果較好。對于沙峰，預見期為1～2 d的模型可以對大多數(shù)沙峰的量級開展較為準確的預報，而預見期3 d的模型效果較差。

（3） 模型輸入因子重要性分析結果表明，寸灘、清溪場站含沙量主要受到上游來沙的影響，而萬縣、黃陵廟站的含沙量自相關性較強，萬縣站的泥沙預報模型性能受預見期的影響較小。

參考文獻：

［1］陳桂亞，董炳江，姜利玲，等.2018長江2號洪水期間三峽水庫沙峰排沙調(diào)度［J］.人民長江，2018，49（19）：6-10.

［2］董炳江，陳顯維，許全喜.三峽水庫沙峰調(diào)度試驗研究與思考［J］.人民長江，2014，45（19）：1-5.

［3］陶冶，劉天成.基于一維水沙模型的三峽庫區(qū)泥沙預報初探［J］.人民長江，2011，42（6）：65-68.

［4］閆金波，代水平，劉天成，等.三峽水庫泥沙作業(yè)預報方案研究［J］.水利水電快報，2012，33（7）：71-74.

［5］王世平，王渺林，許全喜，等.三峽入庫站含沙量預報方法初探與試預報［J］.水利水電快報，2015，36（5）：11-14.

［6］苑希民，劉樹坤，陳浩.基于人工神經(jīng)網(wǎng)絡的多泥沙洪水預報［J］.水科學進展，1999，10（4）：393-398.

［7］李義天，李榮，黃偉.基于神經(jīng)網(wǎng)絡的水沙運動預報模型與回歸模型比較及應用［J］.泥沙研究，2001，26（1）：30-37.

［8］陳雨強.可降低AI應用門檻的自動機器學習技術［J］.人工智能，2018（5）：48-55.

［9］郭生練，何紹坤，陳柯兵，等.長江上游巨型水庫群聯(lián)合蓄水調(diào)度研究［J］.人民長江，2020，51（1）：6-10.

［10］陳柯兵，郭生練，王俊，等.長江上游ECMWF降水和徑流預報產(chǎn)品評估［J］.人民長江，2020，51（3）：73-80.

［11］周銀軍，王軍，金中武，等.三峽水庫來沙的地區(qū)組成變化分析［J］.泥沙研究，2020，45（4）：21-26.

［12］楊成剛，許全喜，董炳江，等.三峽水庫泥沙實時預報關鍵技術研究及應用：以2020年汛期為例［J］.人民長江，2020，51（12）：82-87.

［13］熊甜，鄭松，徐哲壯，等.基于Azure機器學習平臺的大學校園用電分析與預測［J］.電氣技術，2018，19（5）：5-9.

［14］易植.Windows Azure新服務，讓機器學習觸手可及［J］.英才，2014（9）：101.

［15］MICROSOFT.教程：AutoML-訓練無代碼分類模型-Azure Machine Learning | Microsoft Learn［EB/OL］.［2022-10-17］.https：∥learn.microsoft.com/zh-cn/azure/machine-learning/tutorial-first-experiment-automated-ml.

［16］MICROSOFT.使用Python （v2）設置AutoML-Azure Machine Learning | Microsoft Learn［EB/OL］.［2022-10-17］.https：∥learn.microsoft.com/zh-cn/azure/machine-learning/how-to-configure-auto-train.

［17］MICROSOFT.使用自動化機器學習進行特征化-Azure Machine Learning | Microsoft Learn［EB/OL］.［2022-10-17］.https：∥learn.microsoft.com/zh-cn/azure/machine-learning/how-to-configure-auto-features.

［18］MICROSOFT.評估 AutoML 試驗結果-Azure Machine Learning | Microsoft Learn［EB/OL］.［2022-10-17］.https：∥learn.microsoft.com/zh-cn/azure/machine-learning/how-to-understand-automated-ml.

［19］張地繼，董炳江，楊霞，等.三峽水庫庫區(qū)沙峰輸移特性研究［J］.人民長江，2018，49（2）：23-28.

［20］MICROSOFT.使用 Azure 機器學習工作室中的負責任 AI 儀表板（預覽版）-Azure Machine Learning | Microsoft Learn［EB/OL］.［2022-10-17］.https：∥learn.microsoft.com/zh-cn/azure/machine-learning/how-to-responsible-ai-dashboard#feature-importances-model-explanations.

［21］MICROSOFT.使用 Python 解釋和說明模型（預覽版）-Azure Machine Learning | Microsoft Learn［EB/OL］.［2022-10-17］.https：∥learn.microsoft.com/zh-cn/azure/machine-learning/how-to-machine-learning-interpretability-aml.

（編輯：胡旭東）

Construction and application of sediment forecast model based on Azure AutoML

CAO Hui1，2，CHEN Kebing3，DONG Bingjiang3

（1.State Key Laboratory of Hydraulics and Mountain River Engineering，Sichuan University，Chengdu 610065，China； 2.Water Resources Research Center，China Yangtze Power Company Limited，Yichang 443002，China； 3.Bureau of Hydrology，Changjiang Water Resources Commission，Wuhan 430010，China）

Abstract：

Sediment forecast is the premise of real-time operation of reservoir sediment，and the complexity of water-sediment action mechanism and evolution law makes it difficult to carry out efficient and accurate sediment forecast.Based on the Azure AutoML automatic machine learning technology released by Microsoft in 2018，the construction and application of sediment prediction model were explored.The important sediment control stations along the Three Gorges Reservoir，Cuntan，Qingxichang，Wanxian and Huanglingmiao Station were selected to construct a sediment concentration prediction model，and the analysis was carried out from the perspectives of model construction and evaluation，prediction accuracy and importance of input factors.The results showed that the Azure AutoML technology can be used to construct the automatic machine learning model conveniently.The model constructed by this technology with a forecast period of 1～3 days has better prediction effect for the sediment peak regression stage and the small sediment concentration stage.While the proposed model with a forecast period of 1～2 days can carry out more accurate prediction of sediment peaks.The sediment concentration of Cuntan Station and Qingxichang Station is mainly affected by the upstream sand，while the sediment concentration of Wanxian and Huanglingmiao stations has strong autocorrelation.

Key words： sediment forecast；sediment peak spreading；sediment concentration；Azure AutoML；automatic machine learning；Three Gorges Reservoir

收稿日期：2022-07-28

基金項目：國家自然科學基金聯(lián)合基金項目（U2040218）；三峽后續(xù)工作項目“三峽水庫區(qū)間支流水沙變化”（21303）；國家重點研發(fā)計劃項目（2019YFC0409000）

作者簡介：曹 輝，男，高級工程師，博士研究生，主要從事水文及河流動力學相關研究。E-mail：cao_hui@ctg.com.cn

通信作者：陳柯兵，男，工程師，博士，主要從事水資源規(guī)劃與管理研究。E-mail：chenkb@cjh.com.cn