• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于注意力機制的奶牛乳蛋白預(yù)測模型研究

    2023-06-25 12:14:08由楚川朱孟宇趙軍
    現(xiàn)代信息科技 2023年6期
    關(guān)鍵詞:雙向注意力向量

    由楚川 朱孟宇 趙軍

    摘? 要:機器學(xué)習(xí)在動物生理預(yù)測方面取得良好的效果,但在處理具有局限性的時序問題上未能得到深入應(yīng)用。文章通過環(huán)境數(shù)據(jù)對乳蛋白進行預(yù)測研究,根據(jù)數(shù)據(jù)的時序特點,對雙向門控循環(huán)神經(jīng)單元的網(wǎng)絡(luò)結(jié)構(gòu)進行重新設(shè)計,設(shè)計了一種基于注意力機制的正反向交替的門控循環(huán)神經(jīng)網(wǎng)絡(luò)(LG)預(yù)測模型,實驗驗證模型在精度上和速度上都優(yōu)于其他模型,所挖掘的關(guān)鍵指標(biāo)有助于深入理解對奶牛生理情況的影響,進而有效提升養(yǎng)殖效益。

    關(guān)鍵詞:奶牛乳蛋白預(yù)測模型;隨機森林算法;門控循環(huán)神經(jīng)網(wǎng)絡(luò);正反向交替門控循環(huán)神經(jīng)網(wǎng)絡(luò)模型

    中圖分類號:TP18? ? 文獻標(biāo)識碼:A? 文章編號:2096-4706(2023)06-0006-07

    Research on the Prediction Model of Milk Protein in Dairy Cattle Based on

    Attention Mechanism

    YOU Chuchuan1, ZHU Mengyu1, ZHAO Jun2

    (1.School of Information Engineering, Ningxia University, Yinchuan? 750021, China;

    2.School of Advanced Interdisciplinary Studies, Ningxia University, Zhongwei? 755099, China)

    Abstract: Machine learning has achieved good results in animal physiological prediction, but it has not been applied in dealing with time series problems with limitations. The paper predicts and studies the milk protein through environmental data, redesigns the network structure of two-way Gated Recurrent Unit according to the time sequence characteristics of the data, and designs a forward and reverse alternating gated Recurrent Neural Network (LG) prediction model based on attention mechanism. The experiment verifies that the model is superior to other models in accuracy and speed, The key indicators excavated are conducive to deeply understand the impact on the physiological conditions of dairy cows, and then effectively improve the breeding benefits.

    Keywords: milk protein prediction model; Random Forest algorithm; Gated Recurrent Neural Network; forward and reverse alternating gated Recurrent Neural Network Model

    0? 引? 言

    在我國現(xiàn)有的農(nóng)業(yè)模式下,國家提出了“現(xiàn)代農(nóng)業(yè)”發(fā)展戰(zhàn)略與糧食安全戰(zhàn)略研究[1]。畜牧業(yè)是我國農(nóng)業(yè)的重要組成部分,作為畜牧業(yè)重要組成部分之一的奶牛養(yǎng)殖業(yè),被國家列為調(diào)整和鼓勵扶持發(fā)展的重點產(chǎn)業(yè)。我國奶牛智慧化養(yǎng)殖起步較晚、起點較低。近年,奶牛規(guī)?;B(yǎng)殖技術(shù)的不斷提升使得我國乳制品產(chǎn)量得到回升。本文采用基于注意力機制的正反向交替門控循環(huán)神經(jīng)網(wǎng)絡(luò)的搭建并進行相關(guān)預(yù)測,與傳統(tǒng)的奶牛生理預(yù)測、發(fā)情預(yù)測、營養(yǎng)預(yù)測及疾病預(yù)測相比能進一步認識到環(huán)境因素與乳蛋白間的影響,深入理解環(huán)境因素對奶牛生理情況的影響,進而使企業(yè)通過預(yù)測結(jié)果提出有效的應(yīng)對策略,從而提高自身的利益。

    1? 模型與算法

    乳脂率、乳蛋白以及乳糖率是乳成分中較為重要的幾種物質(zhì)[2],而這些乳成分的含量與牛舍中環(huán)境因素有著不可分割的聯(lián)系,傳統(tǒng)的都是通過神經(jīng)網(wǎng)絡(luò)訓(xùn)練的方式利用環(huán)境因素對乳成分中的乳脂率進行預(yù)測,但是由于神經(jīng)網(wǎng)絡(luò)是模仿人的神經(jīng)網(wǎng)絡(luò)進行學(xué)習(xí)的,所以在一些方面就會出現(xiàn)瑕疵,因此本文在神經(jīng)網(wǎng)絡(luò)模型基礎(chǔ)上再做出一定的改進,提出來一種正反向交替門控循環(huán)神經(jīng)網(wǎng)絡(luò)模型,并在模型中加入了注意力機制,目的是為了使乳蛋白預(yù)測模型更加精確,進而使整個生理模型更加完善。

    1.1? LG模型

    對于Bi-LSTM做出改進的另一種雙向循環(huán)神經(jīng)網(wǎng)絡(luò)單元Bi-GRU模型,雖然可以對Bi-LSTM模型的一些不足進行提升,但是其在前后信息的緊要聯(lián)系上又不如長短時記憶網(wǎng)絡(luò)[3,4]。因此,本章對模型進行改進,考慮到雙向循環(huán)神經(jīng)網(wǎng)絡(luò)中包含正向和反向兩個方向的特殊性,并且對模型的提升既要提高訓(xùn)練效率,又要加強序列前后的聯(lián)系并縮短預(yù)測時間,所以提出一種基于LSTM與GRU正反向交替的雙向門控循環(huán)神經(jīng)網(wǎng)絡(luò),即LG模型。LG模型不僅具有LSTM關(guān)于時間序列前后信息的強大關(guān)聯(lián)功能,并且由于其是將LSTM與GRU有機結(jié)合,所以LG模型在訓(xùn)練效率、預(yù)測速度上也都發(fā)揮得非常出色,因此利用LG模型進行預(yù)測大有裨益。

    為了更直觀地了解對模型的改進思想,如圖1所示,為LG模型的結(jié)構(gòu)圖。圖中(X1, X2,…, Xt)為輸入序列X,Xt+1為輸出的最終結(jié)果,從LG模型的結(jié)構(gòu)圖中不難看出,該模型的輸入層和輸出層與雙向循環(huán)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)基本相同,LG模型的不同主要是在隱藏層的雙向循環(huán)神經(jīng)單元上做出改進,不同于一般的雙向循環(huán)神經(jīng)網(wǎng)絡(luò)的隱藏層內(nèi)部正反向均為同一種神經(jīng)元(LSTM、GRU)的結(jié)構(gòu),LG模型是通過正反向的LSTM單元與GRU單元相互交替而成的,所以該模型實現(xiàn)了既能在速度上有所提升,又可以在精度上提升優(yōu)勢。該模型的輸出結(jié)果的方式與雙向循環(huán)神經(jīng)網(wǎng)絡(luò)相同,將正向結(jié)果記為:,反向的結(jié)果記為 。最終的輸出結(jié)果也是通過某種運算將正向輸出結(jié)果與反向的輸出結(jié)果進行結(jié)合得到一個最終的ht,然后再進行統(tǒng)一的輸出預(yù)測結(jié)果Xt+1。

    另外,從圖1中還可以看出,LG模型采用的是一種多層雙向循環(huán)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)特點建立的,采用該結(jié)構(gòu)可以讓LG網(wǎng)絡(luò)的表達能力和學(xué)習(xí)能力更強。多層LG模型的整體結(jié)構(gòu)是與多層雙向循環(huán)神經(jīng)網(wǎng)絡(luò)相同的,主要區(qū)別在于多層雙向循環(huán)神經(jīng)網(wǎng)絡(luò)中每個時間步的輸入都會經(jīng)過正反兩個相同的循環(huán)神經(jīng)網(wǎng)絡(luò)(LSTM、GRU),而LG模型的特點是不同方向的神經(jīng)元是不同的[5-7]。LG模型在雙向循環(huán)神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上進行了功能的增強,解決了原本雙向多層神經(jīng)網(wǎng)絡(luò)的一些局限性,所以其在復(fù)雜度與時效性上表現(xiàn)得非常優(yōu)越,因此本文利用該模型進行乳蛋白預(yù)測模型的搭建。

    1.2? seq2seq模型結(jié)構(gòu)

    Seq2seq模型最初提出的目的是因為單一的循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)不能去處理變長序列的問題,所以,在2014年由CHO等人提出了一種Seq2seq的模型結(jié)構(gòu)[8,9],該模型最初的應(yīng)用場景是在智能翻譯、文本的摘要以及對圖像分析后自動生成相關(guān)的描述信息等方面。該模型的整體是由編碼器、中間向量以及解碼器組合而成的,通常情況下,該模型的搭建需要一種多層的循環(huán)神將網(wǎng)絡(luò)作為基本的主干網(wǎng)絡(luò)結(jié)構(gòu),因此在本章的seq2seq模型建立中選擇的是由上節(jié)提出的LG網(wǎng)絡(luò)模型作為seq2seq模型的基本主干網(wǎng)絡(luò)。seq2seq網(wǎng)絡(luò)模型結(jié)構(gòu)實際上就是一種編解碼(encoder-decoder)[10]的結(jié)構(gòu),但是seq2seq模型具有其獨特之處,即:在輸入輸出時不需要規(guī)定其具有相同的長度。由于該模型具有編、解碼的結(jié)構(gòu),所以要按照順序先進行編碼過程然后再進行解碼操作,編碼就是通過encoder編碼過程將輸入序列通過循環(huán)神經(jīng)網(wǎng)絡(luò)中的某一種算法轉(zhuǎn)換為指定的中間矩陣形式,然后再通過decoder解碼的方式將編碼形成的中間矩陣進行對應(yīng)的解碼得到輸出序列,seq2seq模型的結(jié)構(gòu)示意圖如圖2所示。

    從圖2中可以看出seq2seq模型就是將輸入向量x經(jīng)過某種特定的循環(huán)神經(jīng)網(wǎng)絡(luò)算法進行編解碼處理后生成另一個目標(biāo)向量Y的過程,對于這樣的一組向量,其中X為指定的輸入向量,X=(X1, X2, X3,…Xt),Y為輸出的目標(biāo)向量,記為Y=(Y1, Y2, Y3,…Yt),圖中C為向量組X輸入后進行encoder非線性編碼操作后形成的一個中間向量形式,形成的中間向量C的計算公式如式(1)所示:

    C=f (X1, X2, X3,…Xt)? ? ? ? ? ? ? ? ? ? ? ? ? (1)

    上式中f為指定的編碼方式,通常情況下編碼方式都是以RNN及其改進算法(LSTM、GRU)進行編碼的,解碼操作所用到的算法和原理與編碼操作用到的算法和原理是相同的,只是在解碼操作中需要將生成的中間向量加到需要解碼的向量組中去[11]。

    1.3? 注意力機制(Attention mechanism)

    起初注意力機制的提出就是模仿人腦在處理和思考問題時候的生物神經(jīng)元的工作原理,因此,注意力機制在一定程度上與人腦的注意力行為是類似的,例如:人類在處理圖片信息的時候,總會選擇自己著重關(guān)注的一部分,而忽略一部分相關(guān)性較小的信息[12,13]。不單單是在圖像方面,在音頻、文字等方面也會出現(xiàn)類似的情況。在神經(jīng)網(wǎng)絡(luò)中添加注意力機制的優(yōu)點在于其不但可以幫助神經(jīng)網(wǎng)絡(luò)挑選專注的特征子集,即:在訓(xùn)練過程中選擇出對輸出幫助更大的元素,而且還可以在有限的計算能力下,進行更有效的資源分配。所以近幾年來注意力機制在深度學(xué)習(xí)上的應(yīng)用較為廣泛,但是其主要應(yīng)用場景仍是在自然語言處理方面。

    注意力機制可以嵌入到seq2seq模型結(jié)構(gòu)中進行嵌套使用,注意力機制可以使seq2seq模型輸入的序列通過學(xué)習(xí)得到各個特征因素的重要程度,并且根據(jù)該程度的大小將特征進行合并,所以注意力機制能夠?qū)⑤斎胄蛄兄兄匾潭雀叩脑赜羞x擇性地挑出,然后再有選擇性的學(xué)習(xí)輸入與輸出序列間的對應(yīng)關(guān)系[14]。加入注意力機制以后seq2seq模型經(jīng)過編碼操作以后不再是單一的定長中間向量C,而是由多個中間向量C共同組成的編碼形式,該向量形式中包括不同的輸入序列以及不同的權(quán)重參數(shù)兩部分,能夠更好地為解碼操作提供幫助,提高模型整體的工作效率。加入Attention機制后的seq2seq模型的運行圖如圖3所示。

    從圖3中可以看出,在加入注意力機制后X序列的輸出不再是直接編碼為中間向量C,而是需要通過下式(2)的計算方式將各個元素的權(quán)重計算出來。

    (2)

    在式(2)中,j為輸入的X序列中的第j個元素,i為時刻,t是輸入序列的長度,函數(shù)f (x)表示對序列X中元素的編碼過程,aij表示重要權(quán)重的分數(shù),aij的分數(shù)一般通過softmax函數(shù)來進行計算,softmax的計算公式如式(3)所示:

    (3)

    在式(3)中,eij表示時刻i輸入的元素與輸出元素的相關(guān)程度,程度越高eij的值越高,相應(yīng)的aij值也會越大。計算得到不同的中間向量的權(quán)重之后,按照對應(yīng)關(guān)系再進行解碼操作。

    2? 數(shù)據(jù)準(zhǔn)備

    2.1? 數(shù)據(jù)描述

    本文的研究是對乳成分中乳蛋白進行預(yù)測,實驗中采用環(huán)境因素作為預(yù)測的條件因素。經(jīng)過對環(huán)境數(shù)據(jù)和鮮奶統(tǒng)計表中的數(shù)據(jù)分析,本研究在經(jīng)歷過實際考察了寧夏銀川地區(qū)荷斯坦奶牛基地且采用奶牛場內(nèi)的環(huán)境監(jiān)測數(shù)據(jù)集以及鮮奶統(tǒng)計報表作為樣本集數(shù)據(jù)集,環(huán)境數(shù)據(jù)采用牛場內(nèi)部環(huán)境傳感器(溫濕度傳感器、二氧化碳傳感器等)記錄時間間隔為一小時的環(huán)境數(shù)據(jù),對環(huán)境數(shù)據(jù)和鮮奶統(tǒng)計表中的數(shù)據(jù)進行重構(gòu)、異常值處理以及歸一化等數(shù)據(jù)預(yù)處理操作后,得到從2016年6月21日0:00至2020年12月21日22:00每天6:00、14:00和22:00這三個時間點的環(huán)境及鮮奶統(tǒng)計表中的數(shù)據(jù)。該數(shù)據(jù)是一個二維的數(shù)據(jù)形式,其表頭分別為環(huán)境因素名稱及乳成分名稱,其中環(huán)境名稱分別為:溫度(AT)、濕度(AH)、平均二氧化碳濃度(ACO2)、平均光照強度(ALI)、平均氨氣濃度(ANH3)和平均甲烷濃度(ACH4),乳成分名稱分別為:乳脂率(BFC)以及乳蛋白(LAC)。這些數(shù)據(jù)都是按照時間序列進行排序的。歸一化后的數(shù)據(jù)形式如表1所示。

    2.2? 基于注意力機制的LG乳蛋白預(yù)測模型的搭建

    在本文研究中,訓(xùn)練集數(shù)據(jù)采用的是由2016年6月21日6:00至2020年2月7日22:00的全部環(huán)境及乳蛋白數(shù)據(jù),其中訓(xùn)練集與測試集數(shù)據(jù)比例為7:3,將2020年2月8日起至2020年末的所有數(shù)據(jù)作為測試集數(shù)據(jù),在模型的搭建中本文選用的是Python語言中Keras人工神經(jīng)網(wǎng)絡(luò)庫用來當(dāng)做TensorFlow的接口[15]。本文實驗環(huán)境為Windows 10操作系統(tǒng)電腦,實驗編程語言為Python 3.7,搭建預(yù)測模型,其他庫包括NumPy、pandas、lightgbm、Matplotlib、Seaborn等。本實驗設(shè)置小批次處理為1 024,由于一天內(nèi)的鮮奶采集時刻為3個,所以滑動窗口設(shè)置為3,正反向循環(huán)神經(jīng)網(wǎng)絡(luò)的層數(shù)也為3,每層神經(jīng)元為128個,全連接神經(jīng)元為128,模型的輸入矩陣為(3,6),神經(jīng)網(wǎng)絡(luò)中的每層之間仍采用concat的拼接方式,由于LSTM與GRU都是采用誤差反向傳播的機制去進行誤差修正[16],所以本研究將Attention機制添加在了神經(jīng)網(wǎng)絡(luò)的隱藏層與輸出層之間,以用來提高訓(xùn)練的效率與精確度,最后再通過dense層將模型的最終結(jié)果進行輸出,乳蛋白預(yù)測模型構(gòu)建流程圖如圖4所示。實驗表明,迭代次數(shù)達500次左右時學(xué)習(xí)趨近穩(wěn)定,學(xué)習(xí)效率大大提高。

    3? 模型的評估對比

    由于模型結(jié)構(gòu)和原理不同,所以不同模型訓(xùn)練得出的結(jié)果也會不同,本文利用LSTM、GRU、Bi-GRU、Bi-LSTM模型以及LG模型進行預(yù)測,并與測試集上的真實值進行比較,不同模型的預(yù)測結(jié)果折線圖如圖5所示,其中橫坐標(biāo)的每個刻度為每八小時的一個整體時刻,單位為(/8 h),縱坐標(biāo)為乳蛋白情況,單位為%,其中實線為真實值,虛線為預(yù)測值。

    以上是五種不同模型進行乳蛋白的預(yù)測結(jié)果并與測試集中的真實數(shù)據(jù)集進行比對得出的折線圖,從圖5中不難看出,雖然五種模型在擬合效果上不盡相同,但是這五種模型的預(yù)測趨勢基本正確,因此需要利用誤差評估的手段來區(qū)分各個模型擬合效果的好壞,以下分別利用平均絕對誤差(Mean Absolute Error, MAE)、均方誤差(Mean Square Error, MSE)和平均絕對百分比誤差(Mean Absolute Percentage Error, MAPE)三種誤差評估方式對模型進行評估以下簡稱為MAE、MSE和MAPE,并以柱狀圖的方式更直觀地對以上五種模型進行誤差評估與分析,誤差分析柱狀圖如圖6所示。

    為了全面的體現(xiàn)模型擬合效果的優(yōu)劣,因此選用三種不同的誤差評估方式對模型進行誤差評估以達到更加全面的體現(xiàn)模型優(yōu)劣的效果,從圖6中不難看出,單向LSTM構(gòu)建的乳脂率預(yù)測模型在三種誤差評估方式上表現(xiàn)的都是最差的,其余三種單向GRU、雙向LSTM以及雙向GRU在三種評估方式上表現(xiàn)的基本相同[17],而基于Attention機制LG模型在三種評估方式上的誤差值要遠小于其余四個模型的誤差值,說明基于Attention機制的LG模型在乳成分中乳蛋白的預(yù)測值與真實值相差甚小,因此通過三種誤差評估方式能夠表明基于Attention機制的LG模型在精度以及擬合效果上表現(xiàn)得更好,所以基于Attention機制的LG模型能夠為乳成分中乳蛋白的預(yù)測提供一定的科學(xué)指導(dǎo)作用。

    4? 結(jié)? 論

    本文主要以乳成分中的乳蛋白為重點預(yù)測對象,構(gòu)建了基于注意力機制的LG乳蛋白預(yù)測模型,并將該模型應(yīng)用到生理預(yù)測模型中,對該模型的構(gòu)建首先考慮到隨機森林與Bi-GRU模型的利弊,針對該模型的短板進行了模型的改進,之后利用LG模型對Bi-GRU模型前后信息聯(lián)系較弱的缺點進行改進,并在模型中添加了注意力機制以提高模型的性能;然后對基于注意力機制的LG模型進行模型的整體搭建與實驗,其中包括數(shù)據(jù)的預(yù)處理,模型構(gòu)建及使用;最后針對該模型進行評估并與其他模型進行比較。得出該模型在預(yù)測效率、精度以及魯棒性等方面的效果均優(yōu)于其他模型。因此,實驗表明基于注意力機制的LG乳蛋白預(yù)測模型在奶牛生理模型的理論指導(dǎo)與構(gòu)建上具有一定的意義。

    參考文獻:

    [1] 童津津,張華,吳富鑫,等.不同泌乳水平奶牛產(chǎn)奶量、乳成分和環(huán)境溫濕指數(shù)的相關(guān)性研究 [J].動物營養(yǎng)學(xué)報,2020,32(7):3171-3180.

    [2] 母童,虎紅紅,馮小芳,等.寧夏地區(qū)荷斯坦牛乳成分及相關(guān)指標(biāo)的非遺傳因素、體細胞評分變化規(guī)律 [J].華南農(nóng)業(yè)大學(xué)學(xué)報,2021,42(2):34-43.

    [3] 張騰,劉新亮,高彥平.基于卷積神經(jīng)網(wǎng)絡(luò)和雙向門控循環(huán)單元網(wǎng)絡(luò)注意力機制的情感分析 [J].科學(xué)技術(shù)與工程,2021,21(1):269-274.

    [4] 湯森林,張霞,戚文超,等.基于長短時記憶神經(jīng)網(wǎng)絡(luò)的葡萄葉面積指數(shù)高光譜反演 [J].遙感信息,2022,37(5):38-44.

    [5] IMANI M. Long Short-Term Memory Network and Support Vector Regression for Electrical Load Forecasting [C]//2019 International Conference on Power Generation Systems and Renewable Energy Technologies (PGSRET).Istanbul:IEEE,2019:1-6.

    [6] CHUNG J,GULCEHRE C,CHO K,et al. Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling [J/OL].arXiv:1412.3555 [cs.NE].[2022-11-03].https://arxiv.org/abs/1412.3555.

    [7] 劉琳嵐,肖庭忠,舒堅,等.基于門控循環(huán)單元的鏈路質(zhì)量預(yù)測 [J].工程科學(xué)與技術(shù),2022,54(6):51-58.

    [8] CHO K,MERRIENBOER B V,GULCEHRE C,et al. Learning Phrase Representations Using RNN Encoder-Decoder for Statistical Machine Translation [J/OL].arXiv:1406.1078 [cs.CL].[2022-11-05].https://arxiv.org/abs/1406.1078.

    [9] 陳禮賢,梁杰,黃一帆,等.基于深度自回歸循環(huán)神經(jīng)網(wǎng)絡(luò)的邊緣負載預(yù)測 [J/OL].小型微型計算機系統(tǒng):1-8[2023-02-07].

    http://kns.cnki.net/kcms/detail/21.1106.TP.20221123.0919.010.html

    [10] ZHOU H,F(xiàn)ANG Z J,GAO Y B,et al. Feature Fusion Network Based on Attention Mechanism for 3D Semantic Segmentation of Point Clouds-Science Direct [J].Pattern Recognition Letters,2020,133:327-333.

    [11] 蔣玉英,陳心雨,李廣明,等.圖神經(jīng)網(wǎng)絡(luò)及其在圖像處理領(lǐng)域的研究進展 [J/OL].計算機工程與應(yīng)用:1-17(2022-11-28).http://kns.cnki.net/kcms/detail/11.2127.tp.20221125.1424.030.html

    [12] ZHOU H X,ZHANG Y J,YANG L F,et,al. Short-Term Photovoltaic Power Forecasting Based on Long Short Term Memory Neural Network and Attention Mechanism [J].IEEE Access,2019,7(99):78063-78074.

    [13] 師巖,王宇,吳水清.基于Self-Attention模型的機器翻譯系統(tǒng) [J].計算機與現(xiàn)代化,2019(7):9-14.

    [14] 楊子農(nóng).基于Seq2Seq框架的文本風(fēng)格遷移研究 [D].南京:南京郵電大學(xué),2022.

    [15] 胥凌.面向TensorFlow和PyTorch的線性代數(shù)基準(zhǔn)測試 [J].航空計算技術(shù),2022,52(3):5-9.

    [16] 王麗朝,孟子堯,陳詩明,等.基于GRU神經(jīng)網(wǎng)絡(luò)的光伏電站數(shù)據(jù)預(yù)處理方法 [J].太陽能學(xué)報,2022,43(11):78-84.

    [17] 鄭偉.多尺度注意力機制DenseNet網(wǎng)絡(luò) [J/OL].軟件導(dǎo)刊:1-6[2022-12-29].https://kns.cnki.net/kcms/detail/42.1671.TP.20221207.1123.038.html.

    作者簡介:由楚川(1997—),男,漢族,遼寧鐵嶺人,大數(shù)據(jù)工程師,碩士,研究方向:大數(shù)據(jù)智能;朱孟宇(1997—),男,漢族,河南周口人,碩士在讀,研究方向:大數(shù)據(jù)智能;通訊作者:趙軍(1971—),男,漢族,寧夏中衛(wèi)人,教授,博士,研究方向:大數(shù)據(jù)智能和企業(yè)計算實驗研究。

    收稿日期:2022-12-31

    基金項目:寧夏自然科學(xué)基金項目(2020AAC03028)

    猜你喜歡
    雙向注意力向量
    雙向度的成長與自我實現(xiàn)
    出版人(2022年11期)2022-11-15 04:30:18
    向量的分解
    讓注意力“飛”回來
    聚焦“向量與三角”創(chuàng)新題
    “揚眼”APP:讓注意力“變現(xiàn)”
    傳媒評論(2017年3期)2017-06-13 09:18:10
    A Beautiful Way Of Looking At Things
    向量垂直在解析幾何中的應(yīng)用
    一種軟開關(guān)的交錯并聯(lián)Buck/Boost雙向DC/DC變換器
    向量五種“變身” 玩轉(zhuǎn)圓錐曲線
    一種工作頻率可變的雙向DC-DC變換器
    久久久久精品人妻al黑| 国产片内射在线| 最近最新中文字幕大全免费视频| 午夜福利一区二区在线看| 国产在线一区二区三区精| 欧美 日韩 精品 国产| 无限看片的www在线观看| 中文字幕高清在线视频| 高潮久久久久久久久久久不卡| 国产91精品成人一区二区三区| avwww免费| 国产淫语在线视频| 国产主播在线观看一区二区| 99国产极品粉嫩在线观看| 亚洲精品在线观看二区| 亚洲全国av大片| 久热爱精品视频在线9| 亚洲午夜精品一区,二区,三区| 欧美性长视频在线观看| 亚洲av成人一区二区三| 亚洲 欧美一区二区三区| 黄片播放在线免费| 91大片在线观看| 在线av久久热| 日韩有码中文字幕| 麻豆av在线久日| 国产亚洲精品久久久久5区| 90打野战视频偷拍视频| 深夜精品福利| 亚洲第一青青草原| 免费在线观看完整版高清| 亚洲精品久久成人aⅴ小说| 波多野结衣av一区二区av| 日韩制服丝袜自拍偷拍| 黄色 视频免费看| 日本黄色视频三级网站网址 | 国产三级黄色录像| 国产精品.久久久| 欧美激情极品国产一区二区三区| 国产av一区二区精品久久| 久久亚洲精品不卡| 国产一区有黄有色的免费视频| 精品亚洲成国产av| 女人高潮潮喷娇喘18禁视频| 极品少妇高潮喷水抽搐| 女人被躁到高潮嗷嗷叫费观| 中文亚洲av片在线观看爽 | 免费女性裸体啪啪无遮挡网站| 丝袜美腿诱惑在线| 中文字幕人妻丝袜制服| 黑丝袜美女国产一区| 午夜福利,免费看| 亚洲,欧美精品.| 十八禁网站免费在线| 日本黄色日本黄色录像| 老汉色av国产亚洲站长工具| 亚洲精品美女久久久久99蜜臀| 午夜福利,免费看| 欧美黑人精品巨大| 午夜福利一区二区在线看| 欧美黑人精品巨大| 免费少妇av软件| 精品一区二区三卡| 久久精品熟女亚洲av麻豆精品| 国产成人精品无人区| 久久天堂一区二区三区四区| 一二三四社区在线视频社区8| 日本精品一区二区三区蜜桃| 捣出白浆h1v1| 欧美日本中文国产一区发布| 国产精品.久久久| 免费观看人在逋| 午夜亚洲福利在线播放| 电影成人av| 国产色视频综合| 69精品国产乱码久久久| 国产成人av教育| 色婷婷av一区二区三区视频| 国产成人一区二区三区免费视频网站| 操出白浆在线播放| 国产色视频综合| 亚洲熟女精品中文字幕| 久99久视频精品免费| 精品一区二区三区四区五区乱码| 一进一出抽搐动态| 视频区图区小说| 99香蕉大伊视频| 久久久国产成人免费| 99香蕉大伊视频| 欧美日韩视频精品一区| 日韩人妻精品一区2区三区| 国产精品 国内视频| 久久久久久久久久久久大奶| 久久天躁狠狠躁夜夜2o2o| 午夜福利在线观看吧| 超色免费av| 69精品国产乱码久久久| 成年女人毛片免费观看观看9 | 日韩免费高清中文字幕av| 亚洲色图av天堂| 午夜两性在线视频| 欧美 日韩 精品 国产| 一级a爱片免费观看的视频| 十八禁高潮呻吟视频| 国产又色又爽无遮挡免费看| 人妻一区二区av| 丰满的人妻完整版| 黄色女人牲交| 欧美黑人欧美精品刺激| 欧美日本中文国产一区发布| 国产成人精品在线电影| 中文字幕另类日韩欧美亚洲嫩草| 香蕉丝袜av| 国产男女超爽视频在线观看| 国产一区二区激情短视频| 精品久久久久久久毛片微露脸| 午夜福利,免费看| 人妻 亚洲 视频| 亚洲久久久国产精品| 国产精品.久久久| 国产一区二区三区在线臀色熟女 | 亚洲成人免费电影在线观看| 国产精品亚洲一级av第二区| 亚洲精品成人av观看孕妇| 一边摸一边做爽爽视频免费| 超碰97精品在线观看| 91字幕亚洲| 涩涩av久久男人的天堂| 波多野结衣av一区二区av| 两个人免费观看高清视频| 亚洲第一青青草原| 欧美日韩中文字幕国产精品一区二区三区 | 在线十欧美十亚洲十日本专区| 9热在线视频观看99| 亚洲精品在线美女| 黑人巨大精品欧美一区二区蜜桃| 村上凉子中文字幕在线| 久久精品国产亚洲av香蕉五月 | 国产精品美女特级片免费视频播放器 | 久久久久精品人妻al黑| 国产三级黄色录像| 最近最新中文字幕大全免费视频| 亚洲精华国产精华精| 日韩大码丰满熟妇| 操出白浆在线播放| e午夜精品久久久久久久| 国产男女内射视频| 啦啦啦在线免费观看视频4| 好看av亚洲va欧美ⅴa在| 侵犯人妻中文字幕一二三四区| 欧美成人午夜精品| 亚洲精品在线美女| 亚洲美女黄片视频| 国产主播在线观看一区二区| 美女高潮喷水抽搐中文字幕| 欧美日韩中文字幕国产精品一区二区三区 | 国产男女超爽视频在线观看| av国产精品久久久久影院| 久久青草综合色| netflix在线观看网站| 国产在视频线精品| 久久午夜综合久久蜜桃| 丰满迷人的少妇在线观看| 久久青草综合色| 一区二区三区国产精品乱码| 熟女少妇亚洲综合色aaa.| 老司机福利观看| x7x7x7水蜜桃| 日韩欧美在线二视频 | 99re在线观看精品视频| 一本一本久久a久久精品综合妖精| 国内毛片毛片毛片毛片毛片| 1024视频免费在线观看| 亚洲欧美激情综合另类| 午夜成年电影在线免费观看| 亚洲欧洲精品一区二区精品久久久| 看免费av毛片| 国产免费男女视频| 久久久精品区二区三区| 亚洲av成人不卡在线观看播放网| 丁香欧美五月| 亚洲av美国av| 香蕉丝袜av| 18禁裸乳无遮挡免费网站照片 | 五月开心婷婷网| 人成视频在线观看免费观看| 成年人黄色毛片网站| 国产精品免费大片| 一区二区三区国产精品乱码| 国产精品1区2区在线观看. | 91成年电影在线观看| 18在线观看网站| 两人在一起打扑克的视频| 国产成人啪精品午夜网站| 丝袜美足系列| 少妇粗大呻吟视频| 黄色女人牲交| 大型av网站在线播放| 亚洲熟女精品中文字幕| 亚洲第一欧美日韩一区二区三区| 在线观看免费高清a一片| 建设人人有责人人尽责人人享有的| 婷婷精品国产亚洲av在线 | 美女扒开内裤让男人捅视频| 一区二区三区国产精品乱码| 亚洲中文字幕日韩| 波多野结衣av一区二区av| 欧美日本中文国产一区发布| 男女免费视频国产| 极品人妻少妇av视频| av天堂久久9| 亚洲av成人一区二区三| 久久婷婷成人综合色麻豆| 80岁老熟妇乱子伦牲交| 亚洲av日韩在线播放| 老司机午夜十八禁免费视频| 亚洲欧美日韩高清在线视频| 老熟妇乱子伦视频在线观看| 纯流量卡能插随身wifi吗| 国产不卡av网站在线观看| 日韩欧美免费精品| 日韩有码中文字幕| 夜夜躁狠狠躁天天躁| 在线观看免费视频日本深夜| 女人高潮潮喷娇喘18禁视频| 人妻一区二区av| 国产成人影院久久av| 免费久久久久久久精品成人欧美视频| 美女福利国产在线| 动漫黄色视频在线观看| 日韩 欧美 亚洲 中文字幕| 亚洲人成77777在线视频| 欧美精品高潮呻吟av久久| 国产午夜精品久久久久久| 久久精品91无色码中文字幕| 久久香蕉激情| 国产精品 欧美亚洲| 99国产精品99久久久久| 一边摸一边做爽爽视频免费| 亚洲美女黄片视频| 捣出白浆h1v1| 麻豆av在线久日| 最新在线观看一区二区三区| 国产在线精品亚洲第一网站| 国产成人免费无遮挡视频| 亚洲专区国产一区二区| 乱人伦中国视频| 国产一卡二卡三卡精品| 欧美激情高清一区二区三区| 十八禁人妻一区二区| 视频在线观看一区二区三区| 男女之事视频高清在线观看| 欧美日韩亚洲综合一区二区三区_| a级片在线免费高清观看视频| 日韩 欧美 亚洲 中文字幕| 久久国产精品男人的天堂亚洲| 日本欧美视频一区| av天堂在线播放| 亚洲成人免费av在线播放| 十八禁高潮呻吟视频| 欧美黄色片欧美黄色片| 亚洲男人天堂网一区| www.999成人在线观看| 51午夜福利影视在线观看| 热99re8久久精品国产| 国产精品一区二区免费欧美| 国产精品1区2区在线观看. | 他把我摸到了高潮在线观看| 18禁美女被吸乳视频| 午夜老司机福利片| 最新美女视频免费是黄的| 网址你懂的国产日韩在线| 男女午夜视频在线观看| 亚洲熟妇熟女久久| 最后的刺客免费高清国语| 成人亚洲精品av一区二区| 日韩欧美在线乱码| 欧美三级亚洲精品| 国产伦精品一区二区三区视频9 | 无人区码免费观看不卡| 亚洲人成网站高清观看| 国产乱人伦免费视频| 美女大奶头视频| 18禁在线播放成人免费| 在线观看日韩欧美| 午夜精品一区二区三区免费看| 欧美三级亚洲精品| 一进一出好大好爽视频| 一个人观看的视频www高清免费观看| 欧美黄色淫秽网站| 啦啦啦观看免费观看视频高清| 老熟妇乱子伦视频在线观看| 色在线成人网| av在线天堂中文字幕| 国内精品久久久久久久电影| 成人永久免费在线观看视频| 91字幕亚洲| or卡值多少钱| 三级毛片av免费| 啦啦啦韩国在线观看视频| 99久久久亚洲精品蜜臀av| 国产三级黄色录像| av女优亚洲男人天堂| 中文字幕av在线有码专区| 色在线成人网| 成人午夜高清在线视频| 婷婷丁香在线五月| 亚洲五月婷婷丁香| 99riav亚洲国产免费| 制服人妻中文乱码| 波野结衣二区三区在线 | 日韩av在线大香蕉| 99热这里只有精品一区| 欧美日韩精品网址| 国产精品久久久久久精品电影| 高清毛片免费观看视频网站| 国内精品久久久久精免费| 国产高潮美女av| 欧美性猛交╳xxx乱大交人| 桃色一区二区三区在线观看| 日本熟妇午夜| avwww免费| 久久九九热精品免费| 看免费av毛片| 神马国产精品三级电影在线观看| 90打野战视频偷拍视频| 亚洲成a人片在线一区二区| 天天一区二区日本电影三级| 国产一区二区在线观看日韩 | 亚洲欧美精品综合久久99| 韩国av一区二区三区四区| 亚洲精品成人久久久久久| 母亲3免费完整高清在线观看| xxx96com| 12—13女人毛片做爰片一| 久久久国产精品麻豆| 国产97色在线日韩免费| 亚洲欧美日韩东京热| 久久久成人免费电影| 精品欧美国产一区二区三| 中文字幕av在线有码专区| 久久国产乱子伦精品免费另类| 亚洲国产精品成人综合色| 国产精品一区二区免费欧美| 91字幕亚洲| 18禁美女被吸乳视频| 亚洲不卡免费看| 欧美最新免费一区二区三区 | 午夜免费成人在线视频| 51午夜福利影视在线观看| 亚洲avbb在线观看| 国产午夜福利久久久久久| 亚洲狠狠婷婷综合久久图片| 欧美日韩亚洲国产一区二区在线观看| 成人国产综合亚洲| 中国美女看黄片| 女生性感内裤真人,穿戴方法视频| 两性午夜刺激爽爽歪歪视频在线观看| 1024手机看黄色片| 国产午夜精品论理片| 午夜精品在线福利| 黄色女人牲交| 午夜影院日韩av| 中文字幕人妻丝袜一区二区| 国产高清有码在线观看视频| 精品久久久久久久久久久久久| 在线观看av片永久免费下载| 观看美女的网站| 99热这里只有是精品50| 免费看a级黄色片| 国产精品久久久久久人妻精品电影| 天堂影院成人在线观看| 亚洲人成网站在线播放欧美日韩| 国产精品日韩av在线免费观看| 亚洲中文日韩欧美视频| 免费av不卡在线播放| 国产高清视频在线观看网站| 精品免费久久久久久久清纯| 亚洲欧美日韩高清专用| 黄色丝袜av网址大全| 国产乱人伦免费视频| 美女免费视频网站| 欧美一区二区亚洲| a在线观看视频网站| 看免费av毛片| 亚洲成人久久性| 十八禁网站免费在线| 免费看十八禁软件| 成年女人永久免费观看视频| 日本一二三区视频观看| 国产精品久久电影中文字幕| 久久久久久久久中文| 在线观看av片永久免费下载| 国产高清视频在线观看网站| 日韩av在线大香蕉| 亚洲男人的天堂狠狠| 欧美日本视频| 老汉色∧v一级毛片| 久久国产乱子伦精品免费另类| 深爱激情五月婷婷| 久99久视频精品免费| 日日摸夜夜添夜夜添小说| 小说图片视频综合网站| 一级a爱片免费观看的视频| 亚洲av日韩精品久久久久久密| 欧美日韩一级在线毛片| 一本一本综合久久| 性欧美人与动物交配| 中文字幕人妻熟人妻熟丝袜美 | 丰满的人妻完整版| 欧美日韩一级在线毛片| 天天一区二区日本电影三级| 国产成人福利小说| 校园春色视频在线观看| 国内精品久久久久精免费| 亚洲成人精品中文字幕电影| 欧美日韩福利视频一区二区| 国产乱人伦免费视频| 亚洲性夜色夜夜综合| av黄色大香蕉| 手机成人av网站| 99国产极品粉嫩在线观看| 丝袜美腿在线中文| 麻豆国产av国片精品| 丁香六月欧美| 国内精品美女久久久久久| 九九久久精品国产亚洲av麻豆| 久久久久国内视频| 亚洲中文日韩欧美视频| www日本黄色视频网| 亚洲国产精品成人综合色| 天堂影院成人在线观看| 午夜福利在线观看免费完整高清在 | 一级黄片播放器| 搡老熟女国产l中国老女人| 我的老师免费观看完整版| 国产精品精品国产色婷婷| 在线观看免费午夜福利视频| 天堂网av新在线| 午夜福利高清视频| 欧美一区二区国产精品久久精品| 久久天躁狠狠躁夜夜2o2o| 亚洲国产中文字幕在线视频| 亚洲中文日韩欧美视频| 一进一出抽搐gif免费好疼| 老汉色av国产亚洲站长工具| 亚洲成人久久爱视频| 国产在线精品亚洲第一网站| 精品人妻1区二区| 国产精品日韩av在线免费观看| 女警被强在线播放| 在线播放无遮挡| 午夜影院日韩av| 黄片大片在线免费观看| 国产成+人综合+亚洲专区| 午夜影院日韩av| 国产在线精品亚洲第一网站| 麻豆国产97在线/欧美| 男插女下体视频免费在线播放| 中文字幕精品亚洲无线码一区| 一区二区三区国产精品乱码| 亚洲专区中文字幕在线| 久久精品综合一区二区三区| 日本撒尿小便嘘嘘汇集6| 97超级碰碰碰精品色视频在线观看| 国产精品99久久久久久久久| 国产一区二区三区视频了| 丰满人妻一区二区三区视频av | 黄色女人牲交| 久久久久九九精品影院| 看免费av毛片| 最新中文字幕久久久久| 欧美成人a在线观看| 国产成人欧美在线观看| 国产极品精品免费视频能看的| 国产精品爽爽va在线观看网站| 精品人妻一区二区三区麻豆 | 亚洲熟妇熟女久久| 国产精品久久视频播放| 亚洲欧美日韩高清在线视频| 成年版毛片免费区| 听说在线观看完整版免费高清| 亚洲欧美日韩高清专用| 夜夜躁狠狠躁天天躁| 国内精品一区二区在线观看| 长腿黑丝高跟| 51国产日韩欧美| 国产探花在线观看一区二区| 国产伦一二天堂av在线观看| 精品人妻偷拍中文字幕| 美女cb高潮喷水在线观看| 在线观看免费午夜福利视频| av黄色大香蕉| 两个人的视频大全免费| www.999成人在线观看| 国产久久久一区二区三区| 亚洲在线自拍视频| 老师上课跳d突然被开到最大视频 久久午夜综合久久蜜桃 | 精品一区二区三区视频在线观看免费| 一二三四社区在线视频社区8| 日本撒尿小便嘘嘘汇集6| 亚洲精品在线美女| 国产精品自产拍在线观看55亚洲| 日韩有码中文字幕| 变态另类成人亚洲欧美熟女| 91麻豆精品激情在线观看国产| 亚洲av电影不卡..在线观看| 国产精品亚洲一级av第二区| 国产黄色小视频在线观看| 最近最新中文字幕大全电影3| 久久国产乱子伦精品免费另类| 午夜福利在线观看吧| 久久国产精品人妻蜜桃| 久久久久亚洲av毛片大全| 制服丝袜大香蕉在线| 在线国产一区二区在线| 亚洲精品色激情综合| 色视频www国产| 免费在线观看影片大全网站| 搡老妇女老女人老熟妇| 成人18禁在线播放| 欧美黄色淫秽网站| 国产一级毛片七仙女欲春2| 一个人免费在线观看电影| 久久伊人香网站| 少妇丰满av| 亚洲五月天丁香| 国产又黄又爽又无遮挡在线| 国产野战对白在线观看| 成年人黄色毛片网站| 国产精品久久久久久久电影 | 国产免费男女视频| 人妻夜夜爽99麻豆av| 欧美+亚洲+日韩+国产| 亚洲av免费高清在线观看| 中文字幕人妻熟人妻熟丝袜美 | 婷婷精品国产亚洲av| 国产成年人精品一区二区| 亚洲人成伊人成综合网2020| 欧美日韩精品网址| 久久久久亚洲av毛片大全| 热99re8久久精品国产| 香蕉久久夜色| 丰满人妻一区二区三区视频av | 欧美日本亚洲视频在线播放| 一本久久中文字幕| 在线十欧美十亚洲十日本专区| 12—13女人毛片做爰片一| 亚洲国产色片| 我的老师免费观看完整版| 一个人免费在线观看的高清视频| 欧美中文综合在线视频| 最好的美女福利视频网| 午夜精品久久久久久毛片777| 亚洲国产高清在线一区二区三| 最近视频中文字幕2019在线8| 久久久精品欧美日韩精品| 欧美大码av| 亚洲中文字幕日韩| 亚洲av一区综合| 欧美黑人巨大hd| av天堂中文字幕网| 久久久久久久午夜电影| 午夜日韩欧美国产| 热99在线观看视频| 国产v大片淫在线免费观看| 国产高清视频在线播放一区| 1024手机看黄色片| 三级男女做爰猛烈吃奶摸视频| 久久精品91无色码中文字幕| 欧美日韩瑟瑟在线播放| av视频在线观看入口| 九色国产91popny在线| 亚洲欧美日韩无卡精品| 99热6这里只有精品| 午夜福利在线观看免费完整高清在 | 国产视频一区二区在线看| 国产精品日韩av在线免费观看| 亚洲人成电影免费在线| 一进一出抽搐gif免费好疼| 一本久久中文字幕| 亚洲中文字幕一区二区三区有码在线看| 18禁在线播放成人免费| 99久久99久久久精品蜜桃| 久久这里只有精品中国| 午夜福利成人在线免费观看| 日本五十路高清| 色播亚洲综合网| 色综合婷婷激情| 国产伦精品一区二区三区视频9 | 久久亚洲真实| 18+在线观看网站| 精品久久久久久久毛片微露脸| 欧美日韩亚洲国产一区二区在线观看| 在线天堂最新版资源| 欧美乱妇无乱码| 日本熟妇午夜| 美女黄网站色视频| 99热精品在线国产| 美女高潮喷水抽搐中文字幕| 99精品在免费线老司机午夜| 国产精品香港三级国产av潘金莲| 久久伊人香网站| av欧美777| 国产aⅴ精品一区二区三区波| 日本 av在线| 最近最新中文字幕大全电影3| 精品国产超薄肉色丝袜足j| 黄片大片在线免费观看| 1000部很黄的大片| 亚洲五月婷婷丁香| av在线蜜桃| 1024手机看黄色片| 神马国产精品三级电影在线观看| 最近最新免费中文字幕在线|