深度學(xué)習(xí)在水利行業(yè)上的應(yīng)用綜述

孫 濤，王 雷，付文博，傅 罡，張 穎

(1.中國水利水電科學(xué)研究院，北京 100038；2.水利部防洪抗旱減災(zāi)工程技術(shù)研究中心，北京 100038；3.華中科技大學(xué)水電與數(shù)字化工程學(xué)院，武漢 430070；4. 清華大學(xué)工程物理系，北京 100084)

水利是國民經(jīng)濟(jì)和社會發(fā)展的重要設(shè)施和基礎(chǔ)產(chǎn)業(yè)[1]，隨著科學(xué)技術(shù)和信息技術(shù)的高速發(fā)展，水利信息化已成行業(yè)趨勢，而水利信息化建設(shè)的首要任務(wù)則是吸納國內(nèi)外先進(jìn)的科學(xué)技術(shù)成果和信息化建設(shè)體系。深度學(xué)習(xí)作為近幾年高新技術(shù)最突出的代表，自2006年，Geoffrey Hinton團(tuán)隊在科學(xué)雜志上公開發(fā)表相關(guān)研究內(nèi)容后，便在各行業(yè)引起廣泛關(guān)注[2]。深度學(xué)習(xí)在特征提取和模擬優(yōu)化上有著獨(dú)特的優(yōu)勢，在圖像識別與信息提取、語音識別和計算機(jī)視覺領(lǐng)域上有著成熟的運(yùn)用，在水利行業(yè)上也具有廣泛的應(yīng)用前景。

1 深度學(xué)習(xí)原理

1.1 深度學(xué)習(xí)發(fā)展歷程

深度學(xué)習(xí)的整個發(fā)展歷程可以分為三個階段，見圖1，第一階段(1943-1969年，雛形期)，該階段最重要的成果便是感知器模型的研發(fā)，盡管該模型簡單，但已體現(xiàn)了現(xiàn)代神經(jīng)網(wǎng)絡(luò)輸入線性加權(quán)、非線性激活兩個要素，后期被證實只能解決簡單的線性分類問題，應(yīng)用有限，因此，神經(jīng)網(wǎng)絡(luò)研究陷入近20年的低谷期。第二階段(1986-1998年，發(fā)展期)，多層感知器[3]、反向傳播算法[4]的提出使得非線性分類和學(xué)習(xí)問題得到有效解決，開啟了神經(jīng)網(wǎng)絡(luò)研究的第二次熱潮，這一時期，卷積神經(jīng)網(wǎng)絡(luò)[5]、LSTM模型[6]、LeNet模型[7]均獲得了較完善的發(fā)展，后期由于BP算法“梯度消失”現(xiàn)象，即網(wǎng)絡(luò)最后代價函數(shù)產(chǎn)生的梯度無法有效的向網(wǎng)絡(luò)前端傳導(dǎo)，網(wǎng)絡(luò)不能得到有效的學(xué)習(xí)，導(dǎo)致神經(jīng)網(wǎng)絡(luò)發(fā)展再次陷入低谷。

第三階段(2006-至今，火熱期)，2006年，Hinton等人通過基于自編碼器(AutoEncoder)的無監(jiān)督預(yù)訓(xùn)練與有監(jiān)督參數(shù)微調(diào)相結(jié)合的思路，給出了解決深層網(wǎng)絡(luò)梯度消失的方法，同時提出了深度學(xué)習(xí)的概念，至此，神經(jīng)網(wǎng)絡(luò)被再次推入大眾視野，深度學(xué)習(xí)開始飛速發(fā)展。2010年，ReLU(Rectified Linear Units)激活函數(shù)的提出使梯度消失問題得到有效抑制[8]。2012年，在ImageNet圖像分類競賽中，AlexNet網(wǎng)絡(luò)模型力壓SVM方法獲得冠軍。隨后的2013-2015年，在歷屆ImageNet競賽中，參賽者通過進(jìn)一步優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練方法，并結(jié)合GPU進(jìn)行算法加速，一次次刷新紀(jì)錄。2015年，何凱明[9]等人提出深度殘差網(wǎng)絡(luò)(Deep Residual Net, ResNet)采用分層預(yù)訓(xùn)練與批歸一化(Batch Normalization, BN)結(jié)合的方法，通過引入單位映射網(wǎng)絡(luò)分支，極大的增強(qiáng)了深度網(wǎng)絡(luò)的表達(dá)能力，使得訓(xùn)練上百層的深層網(wǎng)絡(luò)成為可能，該模型在分類、識別等重要視覺任務(wù)中均取得巨大成功，而且其網(wǎng)絡(luò)結(jié)構(gòu)也成為后續(xù)深度網(wǎng)絡(luò)的經(jīng)典結(jié)構(gòu)得以廣泛應(yīng)用。

圖1 深度學(xué)習(xí)發(fā)展歷程圖

1.2 深度學(xué)習(xí)主流方法原理

深度學(xué)習(xí)是人工神經(jīng)網(wǎng)絡(luò)技術(shù)框架的最新理論體系，相較傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)方法，它具有以下特點(diǎn)：①深層模型結(jié)構(gòu)：深度學(xué)習(xí)模型往往具有更多的隱含層，隨著層數(shù)的增加，參數(shù)也會隨之增加，其表現(xiàn)力更加強(qiáng)大。②多尺度特征表達(dá)：深度學(xué)習(xí)本質(zhì)上是數(shù)據(jù)特征結(jié)構(gòu)抽象逐層表達(dá)的過程，模型中每一層都將上一層的輸出作為輸入進(jìn)行數(shù)據(jù)結(jié)構(gòu)與特征更高層次的表示，從而構(gòu)建復(fù)雜的數(shù)據(jù)結(jié)構(gòu)，完成對原始數(shù)據(jù)的抽象表達(dá)。

在深度學(xué)習(xí)方法中，卷積神經(jīng)網(wǎng)絡(luò)、受限玻爾茲曼機(jī)[10]和自動編碼器[11]三種方法最為基本，由該方法及其衍生方法的應(yīng)用也最為廣泛，見表1與圖2。卷積神經(jīng)網(wǎng)絡(luò)是圖像處理領(lǐng)域一種高效的算法，一般由輸入層、卷積層、池化層、全連接層和SoftMax層5種結(jié)構(gòu)組成。卷積神經(jīng)網(wǎng)絡(luò)相比其他人工神經(jīng)網(wǎng)絡(luò)有著兩個突出的特點(diǎn)：局部感知與權(quán)值共享，能有效降低網(wǎng)絡(luò)結(jié)構(gòu)中的參數(shù)數(shù)目[12]。受限玻爾茲曼機(jī)是由顯性變量和隱性變量構(gòu)成，在受限玻爾茲曼機(jī)模型中，顯性變量和隱性變量之間才會存在映射關(guān)系，顯性變量內(nèi)部間、隱性變量內(nèi)部間均不存在連接。自動編碼器是由編碼器和解譯器兩部分組成，編碼器的功能是將上層數(shù)據(jù)信號編碼傳遞至下層，而解譯器的功能則是解譯編碼器編碼的數(shù)據(jù)信號。

表1 深度學(xué)習(xí)主流方法原理

圖2 深度學(xué)習(xí)主流方法結(jié)構(gòu)示意圖

2 深度學(xué)習(xí)在水利行業(yè)上的應(yīng)用

2.1 遙感圖像分類

遙感技術(shù)是獲取水文基礎(chǔ)數(shù)據(jù)的有力途徑之一，對于降雨徑流監(jiān)測、下墊面形態(tài)探究等具有重大意義與推動作用。而遙感圖像分類則是遙感技術(shù)中的關(guān)鍵問題，準(zhǔn)確的分類有利于開展多領(lǐng)域研究。遙感圖像分類的方法種類繁多，可以分為監(jiān)督與非監(jiān)督，參數(shù)與非參數(shù)，基于像元、亞像元和對象等不同類別，但由于分類方法受影響因素較多，如遙感數(shù)據(jù)源質(zhì)量、遙感數(shù)據(jù)預(yù)處理方法等，往往都存在較大的改進(jìn)空間[19]。深度學(xué)習(xí)作為人工智能最突出的分支代表，其在特征提取上絕對的優(yōu)勢，使其成為遙感圖像分類方向最具潛力，最火熱的方法之一。

2.1.1 遙感影像水體識別與提取

地表水體的空間分布規(guī)律及相關(guān)的地理信息對于研究區(qū)域水文與氣象具有重大意義[20]。早期水體分布規(guī)律的探索主要依靠人工勘測和手工測繪，進(jìn)入信息時代后，遙感技術(shù)開始廣泛應(yīng)用于水體信息提取中，目前，在水體識別提取上應(yīng)用的比較多的方法主要有單波段閾值法[21]、監(jiān)督分類法[22]、水體指數(shù)法[23]等，但是這些方法需要多次實驗設(shè)定閾值，且精度受影像質(zhì)量及人為影響較大。深度學(xué)習(xí)在特征提取上具有極大的優(yōu)勢，為遙感圖像水體提取提供了新思路，現(xiàn)今已有專家學(xué)者將深度學(xué)習(xí)方法應(yīng)用在遙感圖像水體識別上。

2015年，Liu Yang[24]等人建立了一個基于堆疊自動編碼器的水體提取模型。該模型采集當(dāng)前有用的特征為每個像素構(gòu)建獨(dú)特的特征矩陣，通過考慮相鄰像素的影響擴(kuò)展特征矩陣來設(shè)計特征擴(kuò)展算法(Feature Expansion Algorithm，F(xiàn)EA)，最后將擴(kuò)展功能設(shè)置為輸入，利用堆疊自動編碼器訓(xùn)練來提取水體。研究選取了新疆、江蘇、四川三地作為研究區(qū)域，并與SVM和NN算法進(jìn)行了對比研究，結(jié)果表明基于堆疊自動編碼器的水體提取模型優(yōu)于支持向量機(jī)模型(SVM)和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型(NN)。王知音[25]等人同樣選擇了堆疊自動編碼器來構(gòu)建深度學(xué)習(xí)模型，并將模型應(yīng)用在新疆塔里木河流域的遙感影像水體提取上，設(shè)置了SVM和BP神經(jīng)網(wǎng)絡(luò)與堆疊自動編碼器進(jìn)行對比研究，最終結(jié)果顯示堆疊自動編碼器模型水體提取的精度最高。

Long Yu[26]等人提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)和logistic回歸分類器的多光譜數(shù)據(jù)水體提取新方法，選取新疆、湖北、沈陽三地作為研究區(qū)，選擇ANN和SVM法作為對比，最終結(jié)果顯示深度學(xué)習(xí)方法準(zhǔn)確率最高。杜敬[27]構(gòu)建深度卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行無人機(jī)遙感影像水體識別，并采用支持向量機(jī)法、面向?qū)ο蠓ㄟM(jìn)行對比，結(jié)果顯示深度學(xué)習(xí)方法準(zhǔn)確識別率為95.36%，精度最高。楊柳[28]則利用了深度學(xué)習(xí)方法，主要是棧式自編碼器對遙感影像水體識別展開了相關(guān)研究，得到結(jié)論如下，相比支持向量機(jī)模型和人工神經(jīng)網(wǎng)絡(luò)模型，棧式自編碼器模型擁有更高的準(zhǔn)確率，高達(dá)94.35%，而三種模型都在訓(xùn)練量增大時，準(zhǔn)確率都有明顯的上升。

2.1.2 遙感影像土地利用分類

土地利用分類研究對于獲取區(qū)域水文下墊面情況具有重大意義，目前在遙感影像土地利用分類研究上應(yīng)用得較多的方法主要有：人工智能分類法(像神經(jīng)網(wǎng)絡(luò)分類法、決策樹分類法、支持向量機(jī)等)、面向?qū)ο蠓诸惙ā⑦b感與GIS結(jié)合法等，深度學(xué)習(xí)方法作為近幾年火熱的新方法，具有巨大的應(yīng)用潛力。

馮麗英[29]以高分二號遙感影像作為數(shù)據(jù)源，構(gòu)建深度卷積神經(jīng)網(wǎng)絡(luò)模型，進(jìn)行土地利用信息提取，并用支持向量機(jī)、決策樹、最近鄰分類器三種方法作為對比研究，結(jié)果顯示在，在不同的分割尺度和精度評價方法下，精度最高的方法均為深度卷積神經(jīng)網(wǎng)絡(luò)。張偉[30,31]則選取不同的深度卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行土地利用分類研究，結(jié)果顯示AlexNet 精度最高，VGG-16次之，GoogLeNet 精度最低。韓潔[32]等人則構(gòu)建深度信念網(wǎng)模型對北京市進(jìn)行城市擴(kuò)展變化檢測，與ISODATA和最大似然分類器法相比，深度學(xué)習(xí)方法表現(xiàn)最高的精度，達(dá)93.4%。

目前，深度學(xué)習(xí)在遙感影像水體識別與土地分類上尚處于起步階段，可支撐的文獻(xiàn)較少，縱觀上述文獻(xiàn)，可以發(fā)現(xiàn)，深度學(xué)習(xí)方法在與支持向量機(jī)、決策樹、最近鄰分類器、人工神經(jīng)網(wǎng)絡(luò)模型等等方法進(jìn)行比較研究時，均表現(xiàn)出了極高的優(yōu)越性，證實了深度學(xué)習(xí)在遙感圖像分類應(yīng)用上的可行性。現(xiàn)階段，在應(yīng)用深度學(xué)習(xí)方法時，大多還是采取監(jiān)督訓(xùn)練方法，需要大量的標(biāo)簽數(shù)據(jù)支撐。而遙感圖像是多波段數(shù)據(jù)，相對于普通圖像，需要預(yù)處理和標(biāo)準(zhǔn)化過程來制作標(biāo)簽數(shù)據(jù)，工作量巨大。其次，在遙感數(shù)據(jù)標(biāo)準(zhǔn)化處理方式也對最終的分類結(jié)果有一定的影響。因此，下一階段需要重點(diǎn)研究無監(jiān)督訓(xùn)練方法，加速遙感圖像預(yù)處理工作。

2.2 水質(zhì)分析預(yù)測

水質(zhì)分析與預(yù)測是水資源管理與水污染防治工作展開的基礎(chǔ)，準(zhǔn)確把握水質(zhì)現(xiàn)狀，預(yù)測水質(zhì)未來趨勢對于區(qū)域生產(chǎn)生活與生態(tài)具有重要意義。傳統(tǒng)的水質(zhì)分析大多依賴于已采集的水質(zhì)觀測指標(biāo)(氮、磷等)，而水質(zhì)指標(biāo)的采集往往需要復(fù)雜的物化過程，存在著費(fèi)用高、實時性差，覆蓋面窄的問題，難以對整個區(qū)域有很細(xì)致的把握。遙感技術(shù)的發(fā)達(dá)特別是高精度遙感圖像逐漸普及，為水質(zhì)分析提供了新的應(yīng)用，深度學(xué)習(xí)在圖像理解與分析上的優(yōu)越性，使得眾多學(xué)者探索深度學(xué)習(xí)在水質(zhì)分析上的應(yīng)用。而在水質(zhì)預(yù)測方面，目前我國常用的水質(zhì)預(yù)測模型為人工神經(jīng)網(wǎng)絡(luò)模型，該模型目前還存在著收斂速度慢、精度不高以及推廣性差等問題，迫切需要新理念與方法進(jìn)行改進(jìn)創(chuàng)新。

在水質(zhì)分析方面，黃鴻[33]等人提出了基于隨機(jī)子空間深度回歸的分析方法，以深度信念網(wǎng)進(jìn)行特征提取，BP神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練構(gòu)建深度學(xué)習(xí)TOC濃度反演模型，并成功對水體TOC進(jìn)行了檢測，結(jié)果顯示隨機(jī)子空間深度回歸方法在濃度反演上相對誤差都在1%以內(nèi)，精度高于傳統(tǒng)方法。鄭友亮[34]建立了基于卷積神經(jīng)網(wǎng)絡(luò)的沿海水質(zhì)評價模型，以廣東省沿海海域為研究區(qū)域，實現(xiàn)了沿海水質(zhì)的分類，準(zhǔn)確率高達(dá)93.75%。

在水質(zhì)預(yù)測方面，姚俊楊[35]等人建立了基于深度置信網(wǎng)的水華預(yù)測模型，成功對太湖流域水華爆發(fā)進(jìn)行了預(yù)測仿真，結(jié)果顯示向前預(yù)測1 d，相對誤差為7.72%，向前預(yù)測5 d，相對誤差為7.21%，向前預(yù)測10 d，相對誤差為9.3%。王功明[36]等人則以自適應(yīng)學(xué)習(xí)率進(jìn)行深度學(xué)習(xí)無監(jiān)督預(yù)訓(xùn)練，利用PLSR方法改進(jìn)深度置信網(wǎng)，構(gòu)建了基于偏最小二乘回歸自適應(yīng)深度信念網(wǎng)模型，并利用該模型實現(xiàn)了水處理過程中的出水總磷預(yù)測。Archana Solanki[37]等人則利用降噪自動編碼器和深度置信網(wǎng)構(gòu)建了深度學(xué)習(xí)模型，并進(jìn)行了水質(zhì)參數(shù)預(yù)測。田亞蘭[38]等人構(gòu)建了基于深度置信網(wǎng)的深度學(xué)習(xí)模型，成功對污水處理數(shù)據(jù)的預(yù)測結(jié)果進(jìn)行了預(yù)測。

現(xiàn)階段，深度學(xué)習(xí)在水質(zhì)分析預(yù)測方向上尚處于小范圍的應(yīng)用，未成體系，大多依靠設(shè)定的研究情景才能得出較好的結(jié)果。盡管深度學(xué)習(xí)方法在水質(zhì)分析上表現(xiàn)出一定的優(yōu)越性，但相比傳統(tǒng)的水質(zhì)分析方法，該方法顯得效率低下，且耗費(fèi)巨大。在水質(zhì)預(yù)測方面，深度學(xué)習(xí)方法的預(yù)測精度和收斂速度還需進(jìn)一步提高。

2.3 水文預(yù)報

數(shù)據(jù)驅(qū)動型模型是水文預(yù)報的主要手段之一。模型一般不直接考慮潛在的物理過程，只依靠歷史水文氣象資料，因此，輸入和參數(shù)較少，較為簡單。盡管模型簡單，但模型的精度卻和歷史數(shù)據(jù)的特征提取和學(xué)習(xí)直接相關(guān)，由于歷史數(shù)據(jù)復(fù)雜多樣，難以表示，因此，預(yù)測出的結(jié)果往往不夠理想。深度學(xué)習(xí)在特征提取表示上的優(yōu)勢，為水文預(yù)報提供了新方法。

Yun Bai[39]等人建立了多尺度深度特征學(xué)習(xí)方法，進(jìn)行了三峽庫區(qū)入庫流量的預(yù)測。該研究采用集合經(jīng)驗?zāi)B(tài)分解和傅立葉級數(shù)提取流入序列的多尺度特征，然后用三個深度置信網(wǎng)絡(luò)進(jìn)行特征表示，最后通過初始化權(quán)重，將每個DBN融合成神經(jīng)網(wǎng)絡(luò)，建立了深度學(xué)習(xí)模型。作者選取BP神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)和基于小波的人工神經(jīng)網(wǎng)絡(luò)作為研究對比，結(jié)果表明多尺度深度特征學(xué)習(xí)方法在峰值流入量預(yù)測中都表現(xiàn)出了所有對等方法中最好的預(yù)測性能，結(jié)果為平均絕對百分比誤差(MAPE= 11.289 6%)，歸一化均方根誤差(NRMSE=0.229 2)，決定系數(shù)標(biāo)準(zhǔn)(R2= 0.890 5)，和峰值百分比閾值統(tǒng)計(PPTS(5)= 10.022 9%)。現(xiàn)階段，深度學(xué)習(xí)在水文預(yù)報上的應(yīng)用極少，Yun Bai等人的研究成果證實了深度學(xué)習(xí)方法在水文預(yù)報上的可行性。

3 小結(jié)與展望

3.1 小 結(jié)

盡管深度學(xué)習(xí)在圖像、語音識別上有一定的成果，但在水利行業(yè)上的應(yīng)用尚處于起步探索階段，需要攻克的難題和問題還有很多，也有許多值得被挖掘應(yīng)用的方向。具體分析如下。

(1)深度學(xué)習(xí)模型的精度和模型訓(xùn)練直接相關(guān)，不論是監(jiān)督訓(xùn)練還是無監(jiān)督訓(xùn)練都需要大量的數(shù)據(jù)，而水文氣象資料比較寶貴，很多地區(qū)存在著資料不足的情況。其次，模型的訓(xùn)練耗時較長，須投入大量的精力進(jìn)行參數(shù)配置，因此，需要改進(jìn)算法提高模型訓(xùn)練的收斂速度。

(2)現(xiàn)階段的研究都是直接采用的深度學(xué)習(xí)模型，而深度學(xué)習(xí)屬于統(tǒng)計模型。在研究復(fù)雜水文機(jī)理問題時，可能會存在著物理機(jī)制支撐不足導(dǎo)致精度不高的現(xiàn)象，因此，將深度學(xué)習(xí)方法與水文模型有機(jī)整合是一個重要的研究方向。

3.2 展 望

深度學(xué)習(xí)在遙感影像水體識別提取上的成功應(yīng)用，表明深度學(xué)習(xí)在遙感信息解譯與提取上具備可行性，未來在水利遙感監(jiān)測上有較大的應(yīng)用前景，特別是水土保持動態(tài)監(jiān)測。深度學(xué)習(xí)模型在對三峽庫區(qū)入庫流量仿真模擬的可行性也為深度學(xué)習(xí)應(yīng)用在水文預(yù)報上奠定基石。下一階段，深度學(xué)習(xí)在水利上的應(yīng)用研究應(yīng)重點(diǎn)關(guān)注。①遙感圖像分類方面：深度學(xué)習(xí)模型的訓(xùn)練方式上，應(yīng)逐步由監(jiān)督訓(xùn)練過渡為監(jiān)督訓(xùn)練為主，非監(jiān)督訓(xùn)練為輔的方式，并采用GPU進(jìn)一步加速。②水質(zhì)分析預(yù)測方面：進(jìn)一步優(yōu)化模型結(jié)構(gòu)、簡化模型參數(shù)，提高深度學(xué)習(xí)模型水質(zhì)預(yù)測精度。③水文預(yù)報方面：目前可支撐的成果較少，下一階段應(yīng)將現(xiàn)有的深度學(xué)習(xí)模型應(yīng)用范圍擴(kuò)大，驗證并改進(jìn)其模擬效果。

隨著水利信息化進(jìn)程的加快和深度學(xué)習(xí)研究的深入，未來深度學(xué)習(xí)在水利行業(yè)將會有更加廣闊的運(yùn)用前景，發(fā)揮更加重要的作用。

□