• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    深度學(xué)習(xí)水文預(yù)報(bào)研究進(jìn)展綜述Ⅰ
    ——常用模型與建模方法

    2022-11-11 01:33:20歐陽(yáng)文宇葉磊王夢(mèng)云孟子文張弛
    南水北調(diào)與水利科技 2022年4期
    關(guān)鍵詞:水文卷積神經(jīng)網(wǎng)絡(luò)

    歐陽(yáng)文宇,葉磊,王夢(mèng)云,孟子文,張弛

    (大連理工大學(xué)水利工程學(xué)院,遼寧 大連 116024)

    水文預(yù)報(bào)是水文學(xué)者尋求水文現(xiàn)象時(shí)空變化特征及規(guī)律、揭示水文現(xiàn)象形成機(jī)理的重要手段,也是水旱災(zāi)害防御、水資源綜合利用等經(jīng)濟(jì)社會(huì)發(fā)展所必需的重要技術(shù)[1]。自20世紀(jì)中葉以來(lái),隨著電子計(jì)算機(jī)的發(fā)明和快速發(fā)展,通過(guò)計(jì)算機(jī)模擬水文現(xiàn)象形成和變化的“仿真范式”成為水文領(lǐng)域常用科學(xué)研究范式,人們?cè)诹饔蛞约案蟪叨壬侠盟哪P烷_(kāi)展水文預(yù)報(bào)成為可能[2-3]。然而,任何水文模型只是流域水文形成機(jī)理的近似,水文過(guò)程受氣象、流域下墊面、人類活動(dòng)等多重因素的綜合作用,是最復(fù)雜的自然現(xiàn)象之一,流域水文模型無(wú)法完全反映水文過(guò)程形成機(jī)理和變化規(guī)律。因此,完全依賴基于現(xiàn)有物理定律和數(shù)學(xué)方程的水文模型,難以準(zhǔn)確認(rèn)識(shí)和預(yù)報(bào)復(fù)雜的水文現(xiàn)象[4]。

    近數(shù)十年來(lái),隨著衛(wèi)星、航空遙感、雷達(dá)等觀測(cè)手段的不斷進(jìn)步,包括水文在內(nèi)的地球系統(tǒng)科學(xué)領(lǐng)域積累了大量數(shù)據(jù)[5]。這些密集觀測(cè)數(shù)據(jù)本質(zhì)上是自然現(xiàn)象形成機(jī)理和時(shí)空變化規(guī)律的微分方程在一定初始條件和邊界條件約束下的解[6],其中必然隱藏著自然現(xiàn)象形成機(jī)理和時(shí)空變化規(guī)律。因此,對(duì)于復(fù)雜的水文現(xiàn)象,若從觀測(cè)數(shù)據(jù)入手,采用逆向思維方式由果及因地分析水文問(wèn)題,構(gòu)建基于密集觀測(cè)數(shù)據(jù)的“數(shù)據(jù)水文學(xué)”研究范式[2],則可望突破目前流域水文模型僅憑少量觀測(cè)數(shù)據(jù)和固有模式進(jìn)行預(yù)報(bào)的制約,從而揭示更全面的水文過(guò)程形成機(jī)理和時(shí)空變化規(guī)律,成為推動(dòng)水文學(xué)發(fā)展的重要驅(qū)動(dòng)力。

    深度學(xué)習(xí)正是這樣一類研究如何從大量數(shù)據(jù)中發(fā)現(xiàn)規(guī)律、提取知識(shí)的領(lǐng)域。深度學(xué)習(xí)核心是讓計(jì)算機(jī)自動(dòng)學(xué)習(xí)各類算法,對(duì)大量樣本數(shù)據(jù)進(jìn)行分析并尋求規(guī)律,從而對(duì)未知數(shù)據(jù)進(jìn)行預(yù)測(cè)。這一過(guò)程與水文預(yù)報(bào)通過(guò)分析歷史水文數(shù)據(jù)獲取規(guī)律,并在其基礎(chǔ)上概化模型預(yù)測(cè)水文過(guò)程高度一致,因此深度學(xué)習(xí)在水文領(lǐng)域獲得廣泛關(guān)注[7]。本文主標(biāo)題命名為“深度學(xué)習(xí)水文預(yù)報(bào)研究進(jìn)展綜述”,旨在表明深度學(xué)習(xí)與水文預(yù)報(bào)的有機(jī)結(jié)合,而不僅局限于深度學(xué)習(xí)在水文預(yù)報(bào)中的簡(jiǎn)單應(yīng)用。本文主要面向水文領(lǐng)域研究人員,系統(tǒng)地介紹深度學(xué)習(xí)水文預(yù)報(bào)中常見(jiàn)深度學(xué)習(xí)模型的原理與結(jié)構(gòu),深度學(xué)習(xí)水文預(yù)報(bào)模型一般構(gòu)建方法以及深度學(xué)習(xí)與水文物理機(jī)制的整合方式。

    1 深度學(xué)習(xí)常見(jiàn)模型簡(jiǎn)介

    深度學(xué)習(xí)專指深度神經(jīng)網(wǎng)絡(luò),是一類將簡(jiǎn)單的非線性運(yùn)算模塊通過(guò)多層次網(wǎng)絡(luò)結(jié)構(gòu)聯(lián)結(jié)以學(xué)習(xí)復(fù)雜關(guān)系的表征學(xué)習(xí)方法,屬于機(jī)器學(xué)習(xí)子領(lǐng)域[8]。其多層次網(wǎng)絡(luò)一般指“深層”網(wǎng)絡(luò)結(jié)構(gòu),但關(guān)于“深層”網(wǎng)絡(luò)并沒(méi)有明確的定義,通常是指依賴大量數(shù)據(jù),有多層、多神經(jīng)元的神經(jīng)網(wǎng)絡(luò)?!吧顚印本W(wǎng)絡(luò)各層次模塊能將其輸入轉(zhuǎn)化為更高抽象層次的特征,放大輸入中對(duì)輸出變化重要的因素,并抑制不相關(guān)的變化,實(shí)現(xiàn)特征的自動(dòng)提取,而“淺層”網(wǎng)絡(luò)和一般機(jī)器學(xué)習(xí)算法則需要專家經(jīng)驗(yàn)和工程技巧設(shè)計(jì)特征提取器,這也是近年來(lái)深度學(xué)習(xí)模型相比于淺層網(wǎng)絡(luò)等算法應(yīng)用更廣泛的原因之一。深度學(xué)習(xí)范式多樣、模型種類眾多,背后涉及的數(shù)學(xué)和計(jì)算理論對(duì)水文學(xué)科研究者來(lái)說(shuō)極富挑戰(zhàn)[9],因此,本節(jié)簡(jiǎn)要介紹水文預(yù)報(bào)中常用的深度學(xué)習(xí)模型結(jié)構(gòu),為水文研究者了解和掌握適合于水文預(yù)報(bào)的深度學(xué)習(xí)模型提供幫助。

    1.1 深度前饋網(wǎng)絡(luò)

    最基礎(chǔ)的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)是深度前饋網(wǎng)絡(luò),即前饋神經(jīng)網(wǎng)絡(luò)或多層感知機(jī)(multilayer perceptron,MLP)[10],它包括輸入層、隱含層和輸出層,每一層神經(jīng)元和其前后層所有神經(jīng)元都有連接(即全連接),通過(guò)權(quán)值表達(dá)各神經(jīng)元的連接強(qiáng)度。前饋的含義是指,信號(hào)在神經(jīng)網(wǎng)絡(luò)是單向流動(dòng),信號(hào)從前一層流向后一層沒(méi)有反饋。對(duì)每個(gè)非輸入層的神經(jīng)元,計(jì)算其上一層所有神經(jīng)元的帶偏置的線性加權(quán)總和,并通過(guò)非線性激活函數(shù)得到激活值,作為該神經(jīng)元輸出。常用激活函數(shù)包括Sigmoid函數(shù)、雙曲正切函數(shù)(tanh)、線性整流函數(shù)(rectified linear unit,ReLU)等。

    為完成目標(biāo)變量的預(yù)測(cè)任務(wù),需要使用樣本數(shù)據(jù)訓(xùn)練MLP。首先將樣本數(shù)據(jù)輸入MLP完成前饋計(jì)算得到模型輸出,然后通過(guò)損失函數(shù)衡量其與目標(biāo)輸出之間的距離,即損失值,再由MLP調(diào)整其網(wǎng)絡(luò)權(quán)值來(lái)減小損失值。模型學(xué)習(xí)或者訓(xùn)練就是優(yōu)化權(quán)值使所有樣本總體損失最小。最基礎(chǔ)的模型訓(xùn)練算法是梯度下降法,梯度下降法首先計(jì)算損失值相對(duì)于各權(quán)值的梯度,然后從當(dāng)前權(quán)值出發(fā)沿負(fù)梯度方向變化更新權(quán)值。由于權(quán)值的梯度計(jì)算及更新均由輸出層反向逐層傳至輸入層,該算法也稱反向傳播算法。前饋計(jì)算和反向傳播算法是包括MLP在內(nèi)的各類神經(jīng)網(wǎng)絡(luò)的基本運(yùn)算模式。

    MLP很早就應(yīng)用于水文領(lǐng)域,在降雨、蒸散發(fā)、水位、徑流等各類水文變量預(yù)測(cè)方面都有廣泛應(yīng)用[11-12]。但MLP的輸入是一系列互相之間沒(méi)有連接的神經(jīng)元在面臨復(fù)雜高維輸入時(shí)必須將數(shù)據(jù)展開(kāi)到低維,破壞了高維輸入結(jié)構(gòu)關(guān)系,導(dǎo)致MLP模型難以學(xué)習(xí)復(fù)雜數(shù)據(jù)模式。因此,目前大多數(shù)深度學(xué)習(xí)并不直接使用MLP作為建模工具,而是將其以基礎(chǔ)模塊的形式嵌入到其他深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)中。

    1.2 卷積神經(jīng)網(wǎng)絡(luò)

    卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)是一類使用卷積運(yùn)算代替全連接矩陣乘法的神經(jīng)網(wǎng)絡(luò)[13],是深度學(xué)習(xí)的代表模型之一。CNN由輸入層、卷積層、池化層、全連接層及輸出層構(gòu)成,模型結(jié)構(gòu)見(jiàn)圖1。在卷積層中,輸入數(shù)據(jù)與卷積核執(zhí)行卷積運(yùn)算并通過(guò)非線性激活函數(shù)得到輸出特征圖。特征圖的每個(gè)單元都通過(guò)卷積核和上一層輸入的局部單元塊建立連接,不同的卷積核生成不同的特征圖。特征圖一般會(huì)進(jìn)一步通過(guò)稱為池化的降采樣運(yùn)算,以合并卷積層檢測(cè)的相似局部特征,降低數(shù)據(jù)量。經(jīng)過(guò)若干層的卷積、池化后,將得到的特征圖依次展開(kāi)連接成向量,輸入全連接網(wǎng)絡(luò),最終構(gòu)成完整卷積網(wǎng)絡(luò)。

    圖1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 The structure diagram of convolutional neural network

    通過(guò)這種結(jié)構(gòu)設(shè)計(jì),CNN克服了MLP難以處理高維復(fù)雜時(shí)空模式數(shù)據(jù)的缺點(diǎn)。一方面,CNN待訓(xùn)練參數(shù)是卷積核的各元素值,其數(shù)量通常遠(yuǎn)小于輸入數(shù)據(jù),相比于MLP的全連接矩陣權(quán)值,CNN需訓(xùn)練參數(shù)減少,降低了網(wǎng)絡(luò)模型復(fù)雜度,使得模型更容易訓(xùn)練。另一方面,每個(gè)卷積核單次運(yùn)算針對(duì)的是輸入數(shù)據(jù)的局部元素,通過(guò)多卷積核的卷積運(yùn)算以及層層抽象,CNN能獲取到一系列輸入數(shù)據(jù)時(shí)空維度局部特征,最后再經(jīng)過(guò)全連接層匯總,從而有效地挖掘高維數(shù)據(jù)的時(shí)空模式[14]。

    在水文預(yù)報(bào)研究中,CNN常應(yīng)用于涉及圖像等多維數(shù)據(jù)的復(fù)雜建模問(wèn)題[15-16]。典型地,遙感圖像中水文信息的提取可以使用卷積神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn),比如識(shí)別極端氣象模式[17];圖像超分辨率處理則可以用于水文網(wǎng)格數(shù)據(jù)降尺度分析,比如提升降雨數(shù)據(jù)空間分辨率[18];在水文變量預(yù)測(cè)中,如果將水文網(wǎng)格數(shù)據(jù)視為圖像,能利用卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)預(yù)報(bào)影響要素空間特征的捕捉提?。?9]。CNN還可用于時(shí)間序列建模問(wèn)題,比如降雨徑流建模中,將時(shí)間作為降雨等輸入數(shù)據(jù)維度之一,可以利用CNN提取時(shí)間序列特征用于構(gòu)建降雨徑流相關(guān)關(guān)系[20]。

    1.3 循環(huán)神經(jīng)網(wǎng)絡(luò)

    循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network,RNN)是一類通過(guò)隱含層循環(huán)連接實(shí)現(xiàn)網(wǎng)絡(luò)動(dòng)態(tài)記憶能力,從而表達(dá)時(shí)間等序列變化的神經(jīng)網(wǎng)絡(luò)[21],也是深度學(xué)習(xí)的代表模型之一。RNN同樣包含輸入層、隱含層、輸出層。RNN每時(shí)段完成一次前向計(jì)算,其中t時(shí)段隱含層輸出h t不僅取決于t時(shí)段隱含層輸入x t,也和t-1時(shí)段的隱含層輸出ht-1有關(guān)(圖2),而ht-1的計(jì)算又需要ht-2,以此類推,RNN中某一時(shí)段的狀態(tài)對(duì)過(guò)去的所有狀態(tài)都存在依賴,所以可以將RNN看作所有時(shí)段共享權(quán)值的神經(jīng)網(wǎng)絡(luò)。RNN能夠構(gòu)建序列數(shù)據(jù)之間的映射,但是輸出序列的長(zhǎng)度并不要求與輸入序列一致,根據(jù)不同需求,可以有一對(duì)多、多對(duì)一、多對(duì)多等多種對(duì)應(yīng)關(guān)系[22]。

    RNN能用于建模動(dòng)態(tài)系統(tǒng),但反向傳播計(jì)算中梯度的連乘效應(yīng)會(huì)導(dǎo)致梯度消失和爆炸問(wèn)題,使得其無(wú)法處理很長(zhǎng)的輸入序列[23],例如當(dāng)激活函數(shù)是Sigmoid函數(shù)時(shí),其導(dǎo)數(shù)小于1,多個(gè)小于1的導(dǎo)數(shù)連乘就會(huì)導(dǎo)致梯度消失。為解決這一問(wèn)題,Hochreiter等[24]引入了長(zhǎng)短期記憶(long short-term memory,LSTM)神經(jīng)網(wǎng)絡(luò)模型。LSTM建立了稱為“門”的內(nèi)部處理單元作為記憶模塊來(lái)實(shí)現(xiàn)序列信息的有效存儲(chǔ)和更新。每個(gè)門通過(guò)單個(gè)Sigmoid激活函數(shù)非線性網(wǎng)絡(luò)層來(lái)實(shí)現(xiàn)信息的選擇性通過(guò),門輸出表示信息通過(guò)的權(quán)重,其輸出范圍為0到1區(qū)間,其中,0表示遺忘所有信息,1表示記憶所有信息。LSTM有單元狀態(tài)和隱含狀態(tài)兩個(gè)傳輸狀態(tài),單元狀態(tài)隨時(shí)間緩慢改變,而不同時(shí)刻的隱含輸出可能會(huì)很不同[25]。如圖2所示,LSTM借助遺忘門f t、輸入門it和輸出門o t實(shí)現(xiàn)對(duì)上一時(shí)段單元狀態(tài)c t-1、隱含層輸出ht-1和本時(shí)段輸入x t的記憶和遺忘,其中,f t實(shí)現(xiàn)了對(duì)c t-1的控制,it確定了獲取多少來(lái)自ht-1和xt的輸入信息,兩者的輸出結(jié)合決定了如何更新單元狀態(tài)得到ct,最后經(jīng)ot得到輸出。

    圖2 循環(huán)神經(jīng)網(wǎng)絡(luò)隱含層結(jié)構(gòu)與長(zhǎng)短記憶神經(jīng)網(wǎng)絡(luò)循環(huán)單元Fig.2 The illustration of hidden layer in recurrent neural network and the unit of long short-term memory neural network

    水文預(yù)報(bào)是典型的時(shí)間序列預(yù)測(cè)問(wèn)題,且一些變量之間存在較長(zhǎng)時(shí)期的依賴關(guān)系,比如流域退水過(guò)程、積雪對(duì)徑流的影響等,而LSTM能處理序列內(nèi)單元之間彼此有復(fù)雜關(guān)聯(lián)的任務(wù),因此在水文領(lǐng)域受到了廣泛關(guān)注[26-27]。常見(jiàn)的應(yīng)用包括降水預(yù)報(bào)、徑流預(yù)報(bào)、洪水預(yù)報(bào)、土壤含水量時(shí)空分布預(yù)測(cè)、地下水位及流量模擬、水庫(kù)水位出流預(yù)測(cè)、水質(zhì)分析預(yù)測(cè)等多方面[28]。此外,將多時(shí)刻的水文網(wǎng)格數(shù)據(jù)連接在一起可構(gòu)成視頻信息,結(jié)合CNN和LSTM能構(gòu)建提取復(fù)雜時(shí)空特征的深度神經(jīng)網(wǎng)絡(luò)用于水文預(yù)報(bào)[29]。

    1.4 其他深度學(xué)習(xí)常見(jiàn)范式及模型

    通過(guò)對(duì)大量有標(biāo)簽的樣本進(jìn)行學(xué)習(xí)的方式屬于監(jiān)督學(xué)習(xí)范式,而無(wú)資料地區(qū)往往沒(méi)有標(biāo)簽數(shù)據(jù),因此在監(jiān)督學(xué)習(xí)范式下難以直接使用上述深度學(xué)習(xí)模型。如何利用少量標(biāo)簽或無(wú)標(biāo)簽樣本數(shù)據(jù)建立可靠模型,對(duì)目標(biāo)變量進(jìn)行預(yù)測(cè)正是遷移學(xué)習(xí)研究關(guān)注的問(wèn)題。遷移學(xué)習(xí)是運(yùn)用已存有的知識(shí)(源領(lǐng)域)對(duì)不同但相關(guān)領(lǐng)域(目標(biāo)領(lǐng)域)問(wèn)題進(jìn)行求解的一種機(jī)器學(xué)習(xí)方式[30],將深度學(xué)習(xí)模型用于遷移學(xué)習(xí)又被稱作深度遷移學(xué)習(xí)。最簡(jiǎn)單的深度遷移學(xué)習(xí)方法是深度網(wǎng)絡(luò)的預(yù)訓(xùn)練——微調(diào)[31],即將已訓(xùn)練深度學(xué)習(xí)模型的參數(shù)直接遷移至目標(biāo)領(lǐng)域,再根據(jù)目標(biāo)領(lǐng)域樣本微調(diào)神經(jīng)網(wǎng)絡(luò)參數(shù),從而優(yōu)化模型學(xué)習(xí)效率避免從零學(xué)習(xí)。類似地,在水文預(yù)報(bào)中,區(qū)域化方法也能將有資料流域的水文模型參數(shù)移植至無(wú)資料流域[32]。區(qū)域化常見(jiàn)的做法是在有資料流域率定水文模型參數(shù),然后擬合流域?qū)傩耘c水文模型參數(shù)間的關(guān)系從而用于無(wú)資料流域[33]。將深度遷移學(xué)習(xí)用于區(qū)域化方法研究,基于大數(shù)據(jù)樣本能構(gòu)建更準(zhǔn)確表達(dá)水文共性特征的源領(lǐng)域模型,再通過(guò)微調(diào)等遷移學(xué)習(xí)方式使模型更有效學(xué)習(xí)目標(biāo)領(lǐng)域任務(wù),有望獲得更好的無(wú)資料流域預(yù)報(bào)性能[34]。

    與監(jiān)督學(xué)習(xí)以及遷移學(xué)習(xí)不同,非監(jiān)督學(xué)習(xí)沒(méi)有待預(yù)測(cè)的目標(biāo)變量,它通過(guò)提取無(wú)標(biāo)簽數(shù)據(jù)特征挖掘數(shù)據(jù)背后潛在模式,以尋找可描述數(shù)據(jù)的模型和規(guī)律[10]。盡管不直接針對(duì)待預(yù)測(cè)目標(biāo)變量建模,但利用非監(jiān)督學(xué)習(xí)進(jìn)行數(shù)據(jù)降維和特征提取能消除變量中的不重要因素,保留其中關(guān)鍵信息,在此基礎(chǔ)上再與監(jiān)督學(xué)習(xí)模型結(jié)合能更有效實(shí)現(xiàn)預(yù)報(bào)目標(biāo)。傳統(tǒng)機(jī)器學(xué)習(xí)算法常與主成分分析結(jié)合用于水文預(yù)報(bào),通過(guò)主成分分析進(jìn)行數(shù)據(jù)降維和特征提取從而提高預(yù)報(bào)精度[35]。深度網(wǎng)絡(luò)結(jié)構(gòu)有更強(qiáng)的自學(xué)習(xí)能力,更適合于處理含高維復(fù)雜時(shí)空輸入數(shù)據(jù)的預(yù)報(bào)任務(wù)。堆疊自編碼器(stacked auto-encoder,SAE)是一類常見(jiàn)的非監(jiān)督學(xué)習(xí)深度神經(jīng)網(wǎng)絡(luò)。SAE基于自編碼器,利用相同神經(jīng)元個(gè)數(shù)的輸入層和輸出層以及更少神經(jīng)元的隱含層的特殊結(jié)構(gòu)來(lái)迫使神經(jīng)網(wǎng)絡(luò)在減少特征的前提下在輸出中復(fù)現(xiàn)輸入,從而實(shí)現(xiàn)信息壓縮[36]。比如在洪水淹沒(méi)預(yù)測(cè)中,編碼提取淹沒(méi)圖特征后,再以該特征為輸出,以降雨等驅(qū)動(dòng)因子為輸入,構(gòu)建循環(huán)神經(jīng)網(wǎng)絡(luò)用于預(yù)報(bào)特征,再對(duì)特征解碼可得到預(yù)報(bào)淹沒(méi)圖[37]。

    2 深度學(xué)習(xí)水文預(yù)報(bào)模型構(gòu)建方法

    數(shù)據(jù)驅(qū)動(dòng)模式研究思路下,研究人員首先收集整理數(shù)據(jù),然后建立模型和訓(xùn)練,在此基礎(chǔ)上測(cè)試評(píng)估模型,并運(yùn)用解釋方法從中提取符合數(shù)據(jù)規(guī)律和易于理解的假說(shuō),再基于合理假說(shuō)進(jìn)一步收集數(shù)據(jù)建立模型評(píng)估,重復(fù)此過(guò)程直到模型精度達(dá)到預(yù)期[38]。因此,深度學(xué)習(xí)模型構(gòu)建通常包括數(shù)據(jù)收集處理、模型構(gòu)建和訓(xùn)練、模型測(cè)試與解釋等環(huán)節(jié)。近些年,水文氣象數(shù)據(jù)監(jiān)測(cè)的高速發(fā)展使得降雨徑流建模方面的研究成果比較突出,因此本節(jié)以該問(wèn)題為例,討論深度學(xué)習(xí)用于水文預(yù)報(bào)的一般建模方法。

    2.1 數(shù)據(jù)收集處理

    模型構(gòu)建的第一步是針對(duì)目標(biāo)系統(tǒng)的輸入輸出收集整理數(shù)據(jù)。在降雨徑流預(yù)報(bào)研究中,大樣本水文研究(large-sample hydrology)[39]為深度學(xué)習(xí)奠定了較好的數(shù)據(jù)基礎(chǔ)。大樣本水文研究涉及的流域眾多且包含了廣泛的水文條件,因此能夠提供可靠的結(jié)論避免偶然結(jié)果。大樣本水文數(shù)據(jù)集正在快速發(fā)展,比如美國(guó)“大樣本研究的流域?qū)傩院蜌庀髷?shù)據(jù)集(catchment attributes and meteorology for largesample studies,CAMELS)”已經(jīng)成為眾多水文研究的基 礎(chǔ) 數(shù) 據(jù)[7,40],衍 生 的CAMELS-智 利、CAMELS-巴西、CAMELS-英國(guó)、CAMELS-澳大利亞等也在擴(kuò)充這一集合[41-44]。這些數(shù)據(jù)集包括降雨、徑流、地表氣溫等重要水文氣象時(shí)間序列,多年平均降雨量、流域土地利用類型及所占面積比例等水文氣候和地理環(huán)境屬性。在降雨徑流建模中,通常以徑流作為模型輸出、其他變量作為模型輸入。

    模型訓(xùn)練前通常需要對(duì)數(shù)據(jù)進(jìn)行前處理。為了評(píng)估模型在現(xiàn)有樣本外數(shù)據(jù)上的預(yù)測(cè)性能,即泛化能力,需要將數(shù)據(jù)分為訓(xùn)練集和測(cè)試集,依托訓(xùn)練集完成模型訓(xùn)練,并在測(cè)試集上測(cè)試模型性能作為對(duì)模型泛化能力的估計(jì)。模型除了可訓(xùn)練參數(shù)外,通常還具有一系列需要人工設(shè)定的參數(shù),即超參數(shù),比如神經(jīng)網(wǎng)絡(luò)層數(shù)、每層神經(jīng)元個(gè)數(shù)等。因此,還需從訓(xùn)練集中劃分出一部分作為驗(yàn)證集評(píng)價(jià)模型訓(xùn)練效果,從而進(jìn)行超參數(shù)比選,防止直接使用測(cè)試集選擇超參數(shù)而造成信息泄露,影響對(duì)模型泛化能力的估計(jì)。針對(duì)輸入輸出數(shù)據(jù),一般還需進(jìn)行歸一化處理使訓(xùn)練過(guò)程中梯度下降算法能更好地收斂[10]。

    2.2 模型構(gòu)建和訓(xùn)練

    數(shù)據(jù)收集處理后,根據(jù)水文過(guò)程記憶性特點(diǎn),可選擇能挖掘序列中數(shù)據(jù)間關(guān)系特點(diǎn)的神經(jīng)網(wǎng)絡(luò)建模,常用的如CNN或LSTM等。水文預(yù)報(bào)對(duì)精度和預(yù)見(jiàn)期都有要求,因此通常需要建立多時(shí)段輸出模型以延長(zhǎng)預(yù)見(jiàn)期,比如多對(duì)多模式的LSTM[45]。當(dāng)輸入輸出變量時(shí)段長(zhǎng)度不一致時(shí),比如輸入中含有歷史觀測(cè)徑流,輸出目標(biāo)為多時(shí)段未來(lái)徑流,還可應(yīng)用編碼解碼結(jié)構(gòu)類的模型[46],將輸入序列編碼到上下文向量后再傳遞給解碼器以轉(zhuǎn)換為時(shí)序輸出以靈活處理不同時(shí)段長(zhǎng)度的輸入輸出。

    建模后即可開(kāi)始訓(xùn)練模型,深度學(xué)習(xí)模型訓(xùn)練樣本較多,通常不會(huì)直接對(duì)所有樣本一次性執(zhí)行梯度下降運(yùn)算,而是將樣本分成一系列小批次(minibatch),并使用隨機(jī)梯度下降算法或進(jìn)一步改進(jìn)的Adam、Adelta等算法[47-48]完成各小批次的梯度下降計(jì)算。一次遍歷所有小批次的訓(xùn)練過(guò)程稱為代(epoch),訓(xùn)練通常會(huì)執(zhí)行多代。小批次數(shù)和代數(shù)等也是神經(jīng)網(wǎng)絡(luò)訓(xùn)練中的超參數(shù),最簡(jiǎn)單的超參數(shù)優(yōu)化方式是網(wǎng)格搜索法,即手動(dòng)設(shè)置多組可行的超參數(shù)組合,并從中選擇驗(yàn)證集損失最小的,其他自動(dòng)優(yōu)化方法包括隨機(jī)搜索、貝葉斯優(yōu)化等[49]。

    訓(xùn)練中,通常會(huì)使用正則化(regularization)方法防止模型過(guò)擬合[50]。模型過(guò)擬合是指訓(xùn)練中不區(qū)別對(duì)待數(shù)據(jù)中的噪聲和正常數(shù)據(jù),導(dǎo)致模型過(guò)度擬合訓(xùn)練集數(shù)據(jù)輸入輸出關(guān)系。此時(shí)雖然模型能在訓(xùn)練數(shù)據(jù)上獲得低偏差性能,但同時(shí)會(huì)有高方差缺點(diǎn),即性能不穩(wěn)定、泛化能力弱。常見(jiàn)正則化方法包括范數(shù)正則化、Dropout等。范數(shù)正則化在模型損失函數(shù)中增加包含模型參數(shù)權(quán)值范數(shù)的懲罰項(xiàng),比如L2范數(shù)正則化對(duì)應(yīng)權(quán)值平方項(xiàng),梯度下降更新權(quán)值時(shí)會(huì)減去帶系數(shù)的權(quán)值項(xiàng),即權(quán)值衰減。Goodfellow等[10]指出經(jīng)過(guò)權(quán)值衰減,學(xué)習(xí)算法能收縮增加預(yù)測(cè)方差特征的權(quán)重,從而減小模型預(yù)測(cè)方差,有效防止過(guò)擬合。Dropout會(huì)在訓(xùn)練時(shí)直接將部分神經(jīng)元的激活值或者連接權(quán)值設(shè)置為0,神經(jīng)元置0的概率稱為Dropout率。使用Dropout方法時(shí),由于輸入中每項(xiàng)都可能在訓(xùn)練期消失,因此最終輸出不能只依賴一兩個(gè)輸入,而須分散其權(quán)重并關(guān)注所有輸入,從而使神經(jīng)網(wǎng)絡(luò)對(duì)輸入變化不過(guò)分敏感來(lái)獲取更好的泛化能力。除了模型訓(xùn)練過(guò)程外,Gal等[51]還指出,在訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)中應(yīng)用Dropout預(yù)測(cè)時(shí),可將丟棄不同神經(jīng)元的網(wǎng)絡(luò)視為來(lái)自所有可用模型空間的蒙特卡羅樣本,這一過(guò)程被稱為蒙特卡羅Dropout,能為水文預(yù)報(bào)中的不確定性量化等研究提供有力工具[52]。

    神經(jīng)網(wǎng)絡(luò)訓(xùn)練多采用集成(ensemble)學(xué)習(xí)的方式。神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練后可能陷入局部最優(yōu),所以不同的初始化權(quán)重會(huì)得到不同性能模型,如果僅訓(xùn)練一組權(quán)重,預(yù)測(cè)時(shí)可能得到不良結(jié)果。集成學(xué)習(xí)能結(jié)合來(lái)自多個(gè)神經(jīng)網(wǎng)絡(luò)模型的預(yù)測(cè),以減少預(yù)測(cè)方差,提升模型性能[53]。目前最簡(jiǎn)單常用的集成訓(xùn)練方式之一是在同一數(shù)據(jù)集上訓(xùn)練具有相同網(wǎng)絡(luò)結(jié)構(gòu)和不同初始隨機(jī)權(quán)重的網(wǎng)絡(luò)集合,然后使用每個(gè)模型進(jìn)行預(yù)測(cè),最后取預(yù)測(cè)的平均值作為實(shí)際預(yù)測(cè)結(jié)果。

    2.3 模型測(cè)試與解釋

    模型訓(xùn)練完畢后就可用于推斷,即在新樣本數(shù)據(jù)輸入條件下進(jìn)行預(yù)測(cè)。訓(xùn)練后的模型不再執(zhí)行梯度下降運(yùn)算,因此深度學(xué)習(xí)能很快完成預(yù)測(cè),有極高的預(yù)測(cè)效率。衡量模型泛化能力就是評(píng)價(jià)模型在測(cè)試集上的預(yù)測(cè)結(jié)果。通常用擬合度和誤差等統(tǒng)計(jì)指標(biāo)進(jìn)行評(píng)價(jià),常用指標(biāo)包括平均絕對(duì)誤差、均方根誤差、相對(duì)偏差、Nash-Sutcliffe效率系數(shù)、Kling-Gupta效率系數(shù)、峰值徑流相對(duì)偏差及低流量相對(duì)偏差等[54-55],通常綜合使用它們以判斷模型性能。

    除了模型測(cè)試外,對(duì)于模型內(nèi)部工作機(jī)制的理解也是評(píng)價(jià)模型的關(guān)鍵,此過(guò)程能幫助進(jìn)一步了解水文規(guī)律,增強(qiáng)模型使用者對(duì)于深度神經(jīng)網(wǎng)絡(luò)的信任。深度學(xué)習(xí)模型解釋方法有很多且有不同的分類體系[56],目前在水文預(yù)報(bào)相關(guān)研究中結(jié)果反推類的方法使用較多,比如層次相關(guān)傳播(layer-wise relevance propagation,LRP)、SHapley Additive exPlanation(SHAP)、置換特征重要性(permutation feature importance,PFI)等[57-59];通過(guò)構(gòu)建簡(jiǎn)潔模型來(lái)幫助理解復(fù)雜深度學(xué)習(xí)模型也是一種常見(jiàn)方法,比如local interpretable model-agnostic explanations(LIME)[60]。此外,可視化網(wǎng)絡(luò)神經(jīng)元激活值或聯(lián)結(jié)權(quán)值等也是理解深度學(xué)習(xí)內(nèi)部運(yùn)行規(guī)律的有效手段,比如對(duì)CNN卷積核及生成特征圖的可視化分析[61]。

    3 深度學(xué)習(xí)與物理機(jī)制的整合方法

    深度學(xué)習(xí)已經(jīng)被廣泛應(yīng)用于各學(xué)科,尤其在水文這類過(guò)程仍未被完全理解的領(lǐng)域,它展示了從數(shù)據(jù)挖掘角度認(rèn)識(shí)物理過(guò)程規(guī)律的潛力,但仍面臨一系列挑戰(zhàn):深度學(xué)習(xí)需要在大量數(shù)據(jù)條件下學(xué)習(xí)訓(xùn)練,在水文領(lǐng)域,大量流域?qū)儆跓o(wú)資料或者缺資料地區(qū);隨著氣候變化和人類活動(dòng)等影響,水文規(guī)律非平穩(wěn)性也使得現(xiàn)有數(shù)據(jù)條件下的數(shù)據(jù)驅(qū)動(dòng)模型不能具備良好的外延性,即泛化能力;良好的預(yù)報(bào)不僅包括性能上的優(yōu)越,模型能否符合一般物理規(guī)律,能否具備良好的可解釋性,以及能否有助于科學(xué)知識(shí)發(fā)現(xiàn)等都是水文研究者關(guān)心的問(wèn)題。基于物理機(jī)制的模型通常具有較好的解釋性和物理一致性,對(duì)數(shù)據(jù)的依賴程度相對(duì)較低,能起到與深度學(xué)習(xí)模型互補(bǔ)的效果,因此,近年來(lái)物理機(jī)制與數(shù)據(jù)驅(qū)動(dòng)模型融合的新范式受到了廣泛的重視,并顯示出了推動(dòng)科學(xué)問(wèn)題研究的潛力[62],在水文預(yù)報(bào)中也有望通過(guò)整合現(xiàn)存大量基于物理機(jī)制的水文模型與深度學(xué)習(xí)模型來(lái)推動(dòng)相關(guān)研究進(jìn)展。本節(jié)將物理機(jī)制與深度學(xué)習(xí)模型整合的方法分為物理機(jī)制模型中融入深度學(xué)習(xí)和物理機(jī)制指導(dǎo)的深度學(xué)習(xí)兩大類展開(kāi)介紹。

    3.1 物理機(jī)制模型中融入深度學(xué)習(xí)

    3.1.1 替代物理機(jī)制模型中間過(guò)程

    復(fù)雜水文過(guò)程的物理機(jī)制建模中,部分子模塊采用基于人為經(jīng)驗(yàn)或簡(jiǎn)化的概念性公式,制約了模型精度。因此,可以考慮分解物理過(guò)程,針對(duì)性能較差的子模塊,構(gòu)建深度學(xué)習(xí)模型并予以替代,作為原模型的一部分,由此來(lái)結(jié)合深度學(xué)習(xí)直接從數(shù)據(jù)挖掘變量關(guān)系與物理機(jī)制模型物理一致性強(qiáng)的優(yōu)點(diǎn)。替代的神經(jīng)網(wǎng)絡(luò)模型可在訓(xùn)練后耦合到物理機(jī)制模型中(離線模式),也可先與物理機(jī)制模型耦合再整體訓(xùn)練(在線模式)。離線模式下神經(jīng)網(wǎng)絡(luò)模型已訓(xùn)練后,運(yùn)行時(shí)只需實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的前饋計(jì)算;在線模式下則需在深度學(xué)習(xí)框架下重寫(xiě)物理機(jī)制模型以實(shí)現(xiàn)自動(dòng)微分,從而順利完成深度神經(jīng)網(wǎng)絡(luò)和物理機(jī)制整合后模型的參數(shù)訓(xùn)練。值得注意的是,自動(dòng)微分是一類用于自動(dòng)計(jì)算函數(shù)導(dǎo)數(shù)的計(jì)算機(jī)程序技術(shù)[63]。在自動(dòng)微分實(shí)現(xiàn)之前,需手動(dòng)推導(dǎo)目標(biāo)函數(shù)對(duì)自變量的導(dǎo)數(shù)計(jì)算公式,然后再編程實(shí)現(xiàn),這給復(fù)雜的神經(jīng)網(wǎng)絡(luò)具體實(shí)現(xiàn)帶來(lái)了很大困難;而自動(dòng)微分將函數(shù)計(jì)算處理為導(dǎo)數(shù)表達(dá)式已知的基本運(yùn)算組成的運(yùn)算軌跡,然后依據(jù)鏈?zhǔn)椒▌t即可完成梯度計(jì)算。

    除了使用神經(jīng)網(wǎng)絡(luò)替代物理過(guò)程子模塊外,利用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)模型參數(shù)也是一種耦合方式,稱為參數(shù)學(xué)習(xí)[64]。在該方式下,首先構(gòu)建神經(jīng)網(wǎng)絡(luò)模型挖掘輸入數(shù)據(jù)和物理機(jī)制模型參數(shù)的關(guān)系,再利用學(xué)習(xí)到的模型參數(shù)進(jìn)行計(jì)算,從而構(gòu)建參數(shù)率定和模型計(jì)算一體的物理機(jī)制模型。參數(shù)學(xué)習(xí)必須以在線模式實(shí)現(xiàn),因此必須在深度學(xué)習(xí)框架下重寫(xiě)物理機(jī)制模型。相比于傳統(tǒng)的參數(shù)率定方式,借助深度學(xué)習(xí)梯度下降算法的并行實(shí)現(xiàn),參數(shù)學(xué)習(xí)易擴(kuò)展為并行計(jì)算,計(jì)算效率更優(yōu)。另一方面,參數(shù)學(xué)習(xí)合并了輸入與模型參數(shù)間映射關(guān)系構(gòu)建和參數(shù)率定過(guò)程,能直接作為一種區(qū)域化方法。相比于傳統(tǒng)參數(shù)區(qū)域化方法,基于大量流域和深度學(xué)習(xí)構(gòu)建的模型參數(shù)空間可能具備更好的普適性,結(jié)合遷移學(xué)習(xí)更有潛力應(yīng)用于無(wú)資料流域的水文預(yù)報(bào)。

    3.1.2 學(xué)習(xí)物理機(jī)制模型預(yù)報(bào)誤差

    使用深度學(xué)習(xí)模型學(xué)習(xí)物理機(jī)制模型預(yù)報(bào)誤差規(guī)律來(lái)改善預(yù)報(bào)能力,是物理機(jī)制與深度學(xué)習(xí)整合中較早出現(xiàn)的方式。流域水文模型發(fā)展多年,處于現(xiàn)有理論技術(shù)條件下的相對(duì)成熟階段,誤差校正是提高現(xiàn)有水文模型精度的有效方式[65]。目前誤差校正方法大多基于誤差自身統(tǒng)計(jì)規(guī)律進(jìn)行修正,然而由于模型預(yù)報(bào)誤差源自模型輸入、結(jié)構(gòu)、參數(shù)等多方面,規(guī)律十分復(fù)雜,企圖通過(guò)誤差數(shù)據(jù)自身分析找到規(guī)律,并進(jìn)行校正的想法難以實(shí)現(xiàn),需要探究誤差產(chǎn)生的背后機(jī)制,通過(guò)有效考慮誤差產(chǎn)生因素的時(shí)空動(dòng)態(tài)信息,才能達(dá)到較好的誤差校正效果。深度學(xué)習(xí)能有效考慮各類相關(guān)信息以幫助識(shí)別、理解誤差模式及其產(chǎn)生的背后機(jī)制,從而幫助模型校正,并指導(dǎo)模型乃至理論的改進(jìn)[19]。深度學(xué)習(xí)誤差校正通常以物理機(jī)制模型預(yù)報(bào)誤差作為模型訓(xùn)練目標(biāo),以影響誤差的各類時(shí)空動(dòng)態(tài)信息為輸入構(gòu)建神經(jīng)網(wǎng)絡(luò)模型,在學(xué)習(xí)誤差規(guī)律后可在預(yù)測(cè)階段用于對(duì)預(yù)報(bào)結(jié)果的校正。

    3.2 物理機(jī)制指導(dǎo)的深度學(xué)習(xí)

    3.2.1 指導(dǎo)深度學(xué)習(xí)模型損失函數(shù)設(shè)計(jì)

    水文預(yù)報(bào)涉及多維時(shí)空變量及其相互間復(fù)雜關(guān)系,在數(shù)據(jù)受限的情況下直接利用標(biāo)準(zhǔn)深度學(xué)習(xí)模型可能無(wú)法找到通用規(guī)律[62]。損失函數(shù)是神經(jīng)網(wǎng)絡(luò)梯度下降算法的優(yōu)化目標(biāo),通過(guò)將物理機(jī)制納入損失函數(shù),能夠約束模型得到符合物理規(guī)律的輸出,起到模型正則化作用。這種正則化有效縮小了參數(shù)搜索空間,為少樣本下的深度學(xué)習(xí)提供可能,同時(shí)保障了遵循物理規(guī)律的深度學(xué)習(xí)模型有更好外延性[66]。常見(jiàn)的物理機(jī)制指導(dǎo)的損失函數(shù)構(gòu)建方式包括基于物理方程的等式約束和利用變量單調(diào)性等的不等式約束:等式約束構(gòu)建和損失計(jì)算一致,在違反等式條件時(shí)給予懲罰;不等式約束可以使用Re-LU等函數(shù)轉(zhuǎn)換為具體損失值[67]。

    3.2.2 指導(dǎo)深度學(xué)習(xí)模型參數(shù)初始化

    深度學(xué)習(xí)模型訓(xùn)練前需要初始化,典型的做法是隨機(jī)生成,但是不良的初始化對(duì)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練不利,若加入物理機(jī)制指導(dǎo)模型初始化,能加速神經(jīng)網(wǎng)絡(luò)訓(xùn)練,提高樣本利用效率[62,66]。典型的做法:利用輸入數(shù)據(jù)驅(qū)動(dòng)未率定的物理機(jī)制模型生成一系列樣本,然后預(yù)訓(xùn)練深度學(xué)習(xí)模型,在此基礎(chǔ)上利用真實(shí)輸入輸出數(shù)據(jù)進(jìn)行訓(xùn)練[68];或先利用觀測(cè)數(shù)據(jù)率定物理機(jī)制模型,再利用隨機(jī)生成器等生成一系列隨機(jī)數(shù)據(jù)輸入物理機(jī)制模型獲取模擬樣本來(lái)預(yù)訓(xùn)練深度學(xué)習(xí)模型[69]。這類通過(guò)初始化幫助模型訓(xùn)練的方法和遷移學(xué)習(xí)相似。在遷移學(xué)習(xí)中,用有限訓(xùn)練數(shù)據(jù)進(jìn)行微調(diào)以適應(yīng)目標(biāo)任務(wù)之前,先在一個(gè)擁有大樣本數(shù)據(jù)的相關(guān)任務(wù)上預(yù)訓(xùn)練模型,再將該模型權(quán)值作為已包含相關(guān)信息的初始狀態(tài),從而獲取比隨機(jī)初始化更接近所需任務(wù)的理想?yún)?shù)[70]。因此,使用基于物理機(jī)制的模型模擬數(shù)據(jù)來(lái)預(yù)訓(xùn)練深度學(xué)習(xí)模型,能減少數(shù)據(jù)匱乏的影響,起到數(shù)據(jù)增強(qiáng)的效果。

    3.2.3 指導(dǎo)深度學(xué)習(xí)模型結(jié)構(gòu)設(shè)計(jì)

    根據(jù)物理機(jī)制設(shè)計(jì)深度學(xué)習(xí)模型,將規(guī)則直接編碼入神經(jīng)網(wǎng)絡(luò)是一類更直接的整合方式,能得到更具物理規(guī)則一致性結(jié)果,增強(qiáng)模型可解釋性。構(gòu)建這類新的深度學(xué)習(xí)模型結(jié)構(gòu),需要結(jié)合水文領(lǐng)域?qū)嶋H問(wèn)題特點(diǎn)[62,66],比如水文模型中物理方程常以時(shí)序形式給出,可以直接根據(jù)模型表達(dá)式寫(xiě)出神經(jīng)網(wǎng)絡(luò)前向計(jì)算公式并嵌入到循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中作為模型循環(huán)基本單元[71]。因?yàn)闃?biāo)準(zhǔn)深度學(xué)習(xí)模型只能利用高度復(fù)雜的連接結(jié)構(gòu)提取抽象隱含變量,所以其可解釋性有限,而這種在深度學(xué)習(xí)架構(gòu)中添加物理方程,能得到有物理意義的變量,從而使模型具備可解釋性。此外,水文學(xué)中典型的如系統(tǒng)整體質(zhì)量守恒對(duì)應(yīng)的水量平衡、能量守恒對(duì)應(yīng)的熱平衡等,如果能顯式或隱式地將這些規(guī)律寫(xiě)入神經(jīng)網(wǎng)絡(luò),那么深度學(xué)習(xí)模型會(huì)具有更好的外延性[72]。

    4 結(jié) 語(yǔ)

    近年來(lái)深度學(xué)習(xí)開(kāi)啟了新一輪水文數(shù)據(jù)驅(qū)動(dòng)模型的研究熱潮,本文概念性地介紹了水文預(yù)報(bào)中常用的卷積神經(jīng)網(wǎng)絡(luò)、長(zhǎng)短記憶神經(jīng)網(wǎng)絡(luò)等深度學(xué)習(xí)模型,給出了模型相應(yīng)的典型應(yīng)用場(chǎng)景,并討論了深度學(xué)習(xí)用于水文預(yù)報(bào)建模時(shí)的基本構(gòu)建方法。由于水文預(yù)報(bào)研究人員不僅僅從技術(shù)層面關(guān)心模型預(yù)報(bào)性能,還關(guān)注深度學(xué)習(xí)模型結(jié)果的可解釋性、外延性及物理一致性等,因此整合深度學(xué)習(xí)與基于物理機(jī)制模型的研究受到了越來(lái)越多的關(guān)注,本文按照物理機(jī)制模型中融入深度學(xué)習(xí)和物理機(jī)制指導(dǎo)的深度學(xué)習(xí)兩種方式討論了其基本方法,并指出了這類方法潛在的優(yōu)點(diǎn)。本文初步歸納總結(jié)基于深度學(xué)習(xí)的水文預(yù)報(bào)涉及的基本概念與方法,可為了解近期深度學(xué)習(xí)水文預(yù)報(bào)研究進(jìn)展提供充分背景知識(shí)。

    猜你喜歡
    水文卷積神經(jīng)網(wǎng)絡(luò)
    2022年《中國(guó)水文年報(bào)》發(fā)布
    基于3D-Winograd的快速卷積算法設(shè)計(jì)及FPGA實(shí)現(xiàn)
    水文
    水文水資源管理
    神經(jīng)網(wǎng)絡(luò)抑制無(wú)線通信干擾探究
    電子制作(2019年19期)2019-11-23 08:42:00
    從濾波器理解卷積
    電子制作(2019年11期)2019-07-04 00:34:38
    基于傅里葉域卷積表示的目標(biāo)跟蹤算法
    水文
    基于神經(jīng)網(wǎng)絡(luò)的拉矯機(jī)控制模型建立
    復(fù)數(shù)神經(jīng)網(wǎng)絡(luò)在基于WiFi的室內(nèi)LBS應(yīng)用
    欧美亚洲 丝袜 人妻 在线| 99久久国产精品久久久| 国产av精品麻豆| 热re99久久精品国产66热6| 国产精品亚洲av一区麻豆| 国产黄色免费在线视频| 性色av乱码一区二区三区2| 国产免费现黄频在线看| 亚洲第一青青草原| 成年动漫av网址| 韩国精品一区二区三区| 日韩 亚洲 欧美在线| 美国免费a级毛片| 啦啦啦视频在线资源免费观看| 婷婷丁香在线五月| 久久久国产成人免费| 狠狠婷婷综合久久久久久88av| 热99久久久久精品小说推荐| 亚洲国产看品久久| 好男人电影高清在线观看| 久热爱精品视频在线9| 精品久久久精品久久久| 久久综合国产亚洲精品| 国产极品粉嫩免费观看在线| 十八禁人妻一区二区| 中文字幕另类日韩欧美亚洲嫩草| 午夜福利乱码中文字幕| 1024香蕉在线观看| 精品国内亚洲2022精品成人 | av天堂在线播放| 亚洲伊人色综图| 午夜免费成人在线视频| 考比视频在线观看| 成年人免费黄色播放视频| 老汉色av国产亚洲站长工具| 男女之事视频高清在线观看| 成人黄色视频免费在线看| 十分钟在线观看高清视频www| 99久久精品国产亚洲精品| 在线av久久热| 国产高清国产精品国产三级| 国产片内射在线| 狂野欧美激情性xxxx| 国产成人系列免费观看| 老熟女久久久| 亚洲国产成人一精品久久久| 亚洲精品国产精品久久久不卡| 狠狠狠狠99中文字幕| 久久99一区二区三区| 国产免费福利视频在线观看| 中文字幕另类日韩欧美亚洲嫩草| 亚洲七黄色美女视频| 亚洲黑人精品在线| 51午夜福利影视在线观看| 欧美激情高清一区二区三区| 免费观看人在逋| 免费高清在线观看日韩| 国产精品一区二区在线观看99| 精品乱码久久久久久99久播| 欧美黄色片欧美黄色片| 欧美激情极品国产一区二区三区| 一个人免费在线观看的高清视频 | 亚洲视频免费观看视频| 在线精品无人区一区二区三| 深夜精品福利| 国产欧美日韩一区二区三 | 在线看a的网站| 老鸭窝网址在线观看| 女人久久www免费人成看片| 丝袜美腿诱惑在线| 日本a在线网址| 青草久久国产| 国产极品粉嫩免费观看在线| 中文精品一卡2卡3卡4更新| 国产激情久久老熟女| av网站在线播放免费| 99久久精品国产亚洲精品| 极品人妻少妇av视频| 国产国语露脸激情在线看| bbb黄色大片| 最黄视频免费看| 亚洲国产欧美一区二区综合| 免费在线观看完整版高清| 嫩草影视91久久| 欧美精品亚洲一区二区| 老司机在亚洲福利影院| 国产精品一二三区在线看| 我要看黄色一级片免费的| 水蜜桃什么品种好| 天天躁日日躁夜夜躁夜夜| 欧美日韩中文字幕国产精品一区二区三区 | 亚洲国产欧美网| 一边摸一边抽搐一进一出视频| 亚洲精品国产区一区二| 亚洲欧美色中文字幕在线| 欧美黄色片欧美黄色片| 99国产综合亚洲精品| 久久女婷五月综合色啪小说| 亚洲性夜色夜夜综合| 日本黄色日本黄色录像| 国产精品一区二区在线观看99| 国产男女超爽视频在线观看| 色94色欧美一区二区| 午夜福利在线免费观看网站| 国产有黄有色有爽视频| 亚洲国产欧美一区二区综合| 亚洲精品自拍成人| 90打野战视频偷拍视频| 成人亚洲精品一区在线观看| 美女脱内裤让男人舔精品视频| 99精国产麻豆久久婷婷| 精品国产乱码久久久久久男人| www.av在线官网国产| 国产精品九九99| 女性生殖器流出的白浆| 亚洲精品美女久久av网站| av有码第一页| 视频区欧美日本亚洲| 美女高潮到喷水免费观看| 久久国产精品大桥未久av| 久久女婷五月综合色啪小说| 亚洲国产精品一区二区三区在线| 国产精品av久久久久免费| 国产伦人伦偷精品视频| 国产免费福利视频在线观看| 欧美精品人与动牲交sv欧美| 亚洲精华国产精华精| 桃红色精品国产亚洲av| 中亚洲国语对白在线视频| 汤姆久久久久久久影院中文字幕| 成人黄色视频免费在线看| 国产极品粉嫩免费观看在线| 亚洲成国产人片在线观看| av网站在线播放免费| av天堂久久9| 看免费av毛片| 男男h啪啪无遮挡| 国精品久久久久久国模美| 精品高清国产在线一区| 99久久综合免费| 99久久99久久久精品蜜桃| a 毛片基地| 丝袜在线中文字幕| 韩国精品一区二区三区| 日韩视频在线欧美| 深夜精品福利| 宅男免费午夜| 国产在线视频一区二区| 日韩熟女老妇一区二区性免费视频| 少妇裸体淫交视频免费看高清 | 伦理电影免费视频| av天堂久久9| xxxhd国产人妻xxx| 黄色a级毛片大全视频| 黄色毛片三级朝国网站| 一本大道久久a久久精品| 曰老女人黄片| 在线观看www视频免费| 超碰成人久久| 女人爽到高潮嗷嗷叫在线视频| 两性午夜刺激爽爽歪歪视频在线观看 | 亚洲专区字幕在线| 成年人午夜在线观看视频| 秋霞在线观看毛片| 黑人巨大精品欧美一区二区蜜桃| 搡老岳熟女国产| 宅男免费午夜| 国产亚洲欧美在线一区二区| 中文字幕另类日韩欧美亚洲嫩草| 亚洲一区二区三区欧美精品| 一区二区av电影网| 法律面前人人平等表现在哪些方面 | 午夜91福利影院| 一边摸一边做爽爽视频免费| 国产精品麻豆人妻色哟哟久久| h视频一区二区三区| 国产成人精品在线电影| 久久精品成人免费网站| 久久这里只有精品19| √禁漫天堂资源中文www| 啦啦啦视频在线资源免费观看| 两性午夜刺激爽爽歪歪视频在线观看 | av欧美777| 99re6热这里在线精品视频| 90打野战视频偷拍视频| 最新的欧美精品一区二区| 老司机福利观看| 啦啦啦视频在线资源免费观看| 国产精品免费视频内射| 在线观看一区二区三区激情| 亚洲国产精品999| av超薄肉色丝袜交足视频| bbb黄色大片| 国产精品免费大片| 欧美人与性动交α欧美软件| 飞空精品影院首页| avwww免费| 亚洲av电影在线进入| 这个男人来自地球电影免费观看| 人人妻人人爽人人添夜夜欢视频| 十八禁网站免费在线| 男女之事视频高清在线观看| 青草久久国产| 2018国产大陆天天弄谢| 真人做人爱边吃奶动态| 欧美精品亚洲一区二区| 自线自在国产av| 久久精品国产亚洲av香蕉五月 | 一级毛片电影观看| 又黄又粗又硬又大视频| 999精品在线视频| 久久精品国产亚洲av香蕉五月 | 又黄又粗又硬又大视频| av天堂在线播放| 日韩,欧美,国产一区二区三区| 少妇裸体淫交视频免费看高清 | 一本大道久久a久久精品| 飞空精品影院首页| 日韩欧美一区视频在线观看| 亚洲精品中文字幕一二三四区 | 女人精品久久久久毛片| 成人18禁高潮啪啪吃奶动态图| 亚洲午夜精品一区,二区,三区| 99国产极品粉嫩在线观看| 欧美黑人欧美精品刺激| 亚洲精华国产精华精| 免费久久久久久久精品成人欧美视频| 亚洲精品国产av成人精品| 99久久人妻综合| 国产免费现黄频在线看| 国产熟女午夜一区二区三区| 国产一区二区 视频在线| 亚洲欧美日韩另类电影网站| 久热这里只有精品99| 久久天躁狠狠躁夜夜2o2o| 一本—道久久a久久精品蜜桃钙片| 在线观看舔阴道视频| 成人国产一区最新在线观看| 岛国毛片在线播放| bbb黄色大片| 日本av手机在线免费观看| 超碰97精品在线观看| 亚洲第一青青草原| 在线观看免费日韩欧美大片| 91大片在线观看| 国产无遮挡羞羞视频在线观看| 亚洲久久久国产精品| 亚洲av国产av综合av卡| 国产精品 欧美亚洲| 丝袜脚勾引网站| 精品国产一区二区三区四区第35| 日韩熟女老妇一区二区性免费视频| 亚洲国产av新网站| 精品高清国产在线一区| 男人舔女人的私密视频| 一个人免费在线观看的高清视频 | 亚洲精品国产一区二区精华液| 手机成人av网站| 精品一区二区三卡| 最近最新免费中文字幕在线| 伦理电影免费视频| 黄网站色视频无遮挡免费观看| 国产伦理片在线播放av一区| 亚洲美女黄色视频免费看| 欧美另类一区| 亚洲专区国产一区二区| 久久精品国产亚洲av香蕉五月 | 黄色视频在线播放观看不卡| 亚洲国产看品久久| 99国产精品一区二区蜜桃av | 午夜福利一区二区在线看| 交换朋友夫妻互换小说| 国产男女内射视频| 亚洲精品一卡2卡三卡4卡5卡 | 大型av网站在线播放| 国产精品亚洲av一区麻豆| 高清欧美精品videossex| avwww免费| 国产成人影院久久av| 天堂8中文在线网| 久久久久久久大尺度免费视频| 国产一区二区激情短视频 | 国产高清视频在线播放一区 | 丰满迷人的少妇在线观看| 97精品久久久久久久久久精品| 亚洲精品一二三| 久久精品成人免费网站| 久久人人爽av亚洲精品天堂| 亚洲全国av大片| av网站免费在线观看视频| 欧美久久黑人一区二区| 久久久久久久大尺度免费视频| 色94色欧美一区二区| 国产97色在线日韩免费| 国产精品久久久久成人av| 亚洲国产看品久久| 这个男人来自地球电影免费观看| 久久久久精品国产欧美久久久 | 91麻豆精品激情在线观看国产 | 亚洲av男天堂| 亚洲欧美清纯卡通| 日本欧美视频一区| 久久99一区二区三区| 久久久精品94久久精品| 日韩一区二区三区影片| 少妇被粗大的猛进出69影院| 最新的欧美精品一区二区| 看免费av毛片| 国产精品影院久久| 久久 成人 亚洲| 国产精品久久久久久精品古装| 91成年电影在线观看| 少妇的丰满在线观看| 成年人午夜在线观看视频| 国产又色又爽无遮挡免| 制服诱惑二区| 热re99久久国产66热| 欧美精品高潮呻吟av久久| 人成视频在线观看免费观看| 国产精品秋霞免费鲁丝片| 欧美 亚洲 国产 日韩一| 久久精品aⅴ一区二区三区四区| 69精品国产乱码久久久| 亚洲欧美一区二区三区久久| 午夜免费观看性视频| av福利片在线| 欧美国产精品va在线观看不卡| 久久国产精品男人的天堂亚洲| 天天操日日干夜夜撸| 日日夜夜操网爽| 国产精品久久久av美女十八| 丝袜人妻中文字幕| 黄色怎么调成土黄色| 国产成人系列免费观看| 麻豆av在线久日| 天堂8中文在线网| 黑人巨大精品欧美一区二区蜜桃| 亚洲国产精品一区二区三区在线| 亚洲欧洲日产国产| 天堂俺去俺来也www色官网| 国产免费现黄频在线看| 成人国语在线视频| 水蜜桃什么品种好| 中文字幕人妻丝袜一区二区| 日本wwww免费看| 9热在线视频观看99| 亚洲国产精品999| 国产成人一区二区三区免费视频网站| 高清欧美精品videossex| 精品人妻在线不人妻| 欧美日韩视频精品一区| 亚洲欧美日韩高清在线视频 | 国产精品久久久av美女十八| 中亚洲国语对白在线视频| xxxhd国产人妻xxx| 精品亚洲成a人片在线观看| 亚洲一码二码三码区别大吗| 国产成人一区二区三区免费视频网站| 国产精品熟女久久久久浪| 欧美黄色片欧美黄色片| 亚洲国产av新网站| 亚洲va日本ⅴa欧美va伊人久久 | 亚洲人成电影观看| 精品高清国产在线一区| 欧美97在线视频| 国产黄频视频在线观看| 国产成人a∨麻豆精品| 久久久国产欧美日韩av| 国产男女超爽视频在线观看| 可以免费在线观看a视频的电影网站| 亚洲精品中文字幕在线视频| 国产一区二区激情短视频 | 男女午夜视频在线观看| 免费观看av网站的网址| 亚洲国产精品一区三区| 久久人人97超碰香蕉20202| av网站免费在线观看视频| 久久99热这里只频精品6学生| 国产亚洲精品第一综合不卡| 亚洲黑人精品在线| av在线播放精品| 成年动漫av网址| 99精品久久久久人妻精品| 黄色视频在线播放观看不卡| 国产三级黄色录像| 美女扒开内裤让男人捅视频| 中文字幕制服av| 精品国产一区二区三区久久久樱花| 国产高清videossex| 黑人巨大精品欧美一区二区蜜桃| 性色av乱码一区二区三区2| 制服人妻中文乱码| 亚洲成人免费av在线播放| 在线看a的网站| 黄色怎么调成土黄色| 丁香六月天网| 亚洲精品自拍成人| 欧美日韩国产mv在线观看视频| 久久精品国产亚洲av香蕉五月 | 成人国产一区最新在线观看| 男女免费视频国产| 黄色a级毛片大全视频| 美女中出高潮动态图| 日本一区二区免费在线视频| 女性被躁到高潮视频| 性高湖久久久久久久久免费观看| 亚洲欧洲日产国产| 黑人巨大精品欧美一区二区蜜桃| 天天操日日干夜夜撸| 丁香六月欧美| 天天影视国产精品| 女警被强在线播放| 99热全是精品| 色94色欧美一区二区| 国产高清国产精品国产三级| 99久久人妻综合| 免费看十八禁软件| 亚洲精品国产av成人精品| 欧美激情 高清一区二区三区| av片东京热男人的天堂| 一区二区三区激情视频| 免费观看av网站的网址| 精品国内亚洲2022精品成人 | 香蕉国产在线看| 老司机深夜福利视频在线观看 | 亚洲精品国产色婷婷电影| 日韩制服丝袜自拍偷拍| 亚洲精品日韩在线中文字幕| 亚洲av成人一区二区三| 黄片小视频在线播放| 国产精品亚洲av一区麻豆| 999久久久精品免费观看国产| 成年美女黄网站色视频大全免费| 亚洲国产欧美网| 在线十欧美十亚洲十日本专区| 99精品欧美一区二区三区四区| 在线av久久热| 午夜精品国产一区二区电影| 亚洲成人免费电影在线观看| 国内毛片毛片毛片毛片毛片| 91大片在线观看| 久久狼人影院| 国产成人一区二区三区免费视频网站| 在线十欧美十亚洲十日本专区| 捣出白浆h1v1| 高清在线国产一区| 午夜免费成人在线视频| 国产精品偷伦视频观看了| 丝袜脚勾引网站| 国产精品av久久久久免费| 成人18禁高潮啪啪吃奶动态图| 新久久久久国产一级毛片| 嫁个100分男人电影在线观看| 两性午夜刺激爽爽歪歪视频在线观看 | 国产福利在线免费观看视频| 国产日韩一区二区三区精品不卡| 在线观看一区二区三区激情| 在线观看免费午夜福利视频| 丰满饥渴人妻一区二区三| 免费观看av网站的网址| 精品卡一卡二卡四卡免费| 十八禁网站网址无遮挡| 一级毛片电影观看| 日韩视频在线欧美| 国产一区二区在线观看av| 秋霞在线观看毛片| 久久精品人人爽人人爽视色| 制服人妻中文乱码| 精品国产一区二区三区四区第35| av福利片在线| 亚洲成人免费电影在线观看| 男女下面插进去视频免费观看| 啦啦啦视频在线资源免费观看| kizo精华| 色综合欧美亚洲国产小说| 亚洲伊人色综图| 日韩有码中文字幕| 一区二区三区激情视频| 中国美女看黄片| 美国免费a级毛片| 国产精品一区二区在线观看99| 正在播放国产对白刺激| 午夜福利视频在线观看免费| 亚洲熟女精品中文字幕| 国产精品一区二区精品视频观看| 国产伦人伦偷精品视频| 中文字幕高清在线视频| 国产91精品成人一区二区三区 | 免费不卡黄色视频| 蜜桃国产av成人99| 性色av乱码一区二区三区2| 亚洲中文日韩欧美视频| 蜜桃在线观看..| 美女扒开内裤让男人捅视频| 无遮挡黄片免费观看| 国产欧美日韩综合在线一区二区| 国产无遮挡羞羞视频在线观看| 黄片大片在线免费观看| 久久人人爽人人片av| 亚洲九九香蕉| 脱女人内裤的视频| 人人妻人人爽人人添夜夜欢视频| 精品久久蜜臀av无| 波多野结衣av一区二区av| 中文字幕人妻熟女乱码| 动漫黄色视频在线观看| 丝袜人妻中文字幕| 狂野欧美激情性bbbbbb| 国产精品av久久久久免费| 在线观看免费高清a一片| 国产一区二区三区综合在线观看| 天堂8中文在线网| 精品亚洲乱码少妇综合久久| 亚洲欧美一区二区三区黑人| 久久精品国产综合久久久| www.av在线官网国产| 日本av手机在线免费观看| 亚洲久久久国产精品| 国产片内射在线| 精品一品国产午夜福利视频| 亚洲精品国产一区二区精华液| 欧美97在线视频| 狂野欧美激情性xxxx| 无遮挡黄片免费观看| 99热网站在线观看| 97在线人人人人妻| 美女主播在线视频| 少妇粗大呻吟视频| 十八禁人妻一区二区| av免费在线观看网站| 老鸭窝网址在线观看| 老司机影院成人| 亚洲欧美一区二区三区黑人| 国产精品久久久久成人av| 亚洲九九香蕉| 咕卡用的链子| 美女脱内裤让男人舔精品视频| 午夜福利视频精品| 国产三级黄色录像| 日日摸夜夜添夜夜添小说| 捣出白浆h1v1| 精品少妇久久久久久888优播| 高清视频免费观看一区二区| 91老司机精品| 国产伦理片在线播放av一区| 国产日韩一区二区三区精品不卡| 久久毛片免费看一区二区三区| 欧美另类亚洲清纯唯美| 男人添女人高潮全过程视频| av又黄又爽大尺度在线免费看| 免费黄频网站在线观看国产| 国产成人免费观看mmmm| 精品亚洲成a人片在线观看| 久久久久久亚洲精品国产蜜桃av| 国产在线一区二区三区精| 久久久久久亚洲精品国产蜜桃av| 久久久国产欧美日韩av| 精品久久久久久电影网| 久久久国产欧美日韩av| 久久久久久亚洲精品国产蜜桃av| 一个人免费看片子| av又黄又爽大尺度在线免费看| 亚洲国产看品久久| 多毛熟女@视频| 久久亚洲精品不卡| 国产片内射在线| 欧美老熟妇乱子伦牲交| 色视频在线一区二区三区| 黄色视频不卡| 91精品伊人久久大香线蕉| 欧美日韩中文字幕国产精品一区二区三区 | 一区二区av电影网| 亚洲 国产 在线| 亚洲免费av在线视频| 一个人免费看片子| 国产男人的电影天堂91| 国产精品香港三级国产av潘金莲| 国产男女内射视频| 久久久欧美国产精品| 亚洲av电影在线观看一区二区三区| 亚洲男人天堂网一区| 窝窝影院91人妻| 99国产综合亚洲精品| 国产成人精品久久二区二区免费| 90打野战视频偷拍视频| 一本综合久久免费| 香蕉丝袜av| 一二三四社区在线视频社区8| 视频区图区小说| 亚洲成人免费av在线播放| 亚洲精品国产一区二区精华液| 久久久欧美国产精品| 午夜免费鲁丝| 欧美日韩中文字幕国产精品一区二区三区 | 在线 av 中文字幕| 人成视频在线观看免费观看| 黑人巨大精品欧美一区二区mp4| 亚洲精品久久久久久婷婷小说| 亚洲精品国产区一区二| 一进一出抽搐动态| 日本91视频免费播放| 国产激情久久老熟女| 欧美激情 高清一区二区三区| 黄色怎么调成土黄色| 国产免费现黄频在线看| 高清欧美精品videossex| 一级片免费观看大全| 国产精品99久久99久久久不卡| 大香蕉久久成人网| 老熟妇仑乱视频hdxx| 国产区一区二久久| 在线观看免费视频网站a站| 人人澡人人妻人| 国产男女超爽视频在线观看| 欧美性长视频在线观看|