• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于有監(jiān)督對比學習的航天信息獲取與圖像生成

    2023-11-18 12:13:00齊翌辰趙偉超
    液晶與顯示 2023年11期
    關(guān)鍵詞:開源航天向量

    齊翌辰,趙偉超

    (1.東北大學 計算機科學與工程學院,遼寧 沈陽 110167;2.中國科學院 長春光學精密機械與物理研究所 網(wǎng)絡與信息化技術(shù)中心,吉林 長春 130033)

    1 引 言

    近年來,隨著科學技術(shù)和工業(yè)制造水平的提高,我國航天事業(yè)實現(xiàn)了快速且長足的發(fā)展,取得舉世矚目的成就,而這些成績的獲得離不開航天信息工作的強有力支持。由于航天信息存在數(shù)據(jù)量較稀疏等特點,使得信息采集過程中存在數(shù)據(jù)不易獲取,人工搜集效率較低等問題[1]。在互聯(lián)網(wǎng)時代的浪潮之下,開源的航天信息資源呈現(xiàn)快速增長的趨勢,涉及的內(nèi)容較為廣泛,來源更加豐富[2]。因此,如何自動化且高效地從海量數(shù)據(jù)中獲取航天信息,是當前國內(nèi)外航天信息科技研究的熱點問題。郭頌[3]等人提出了基于支持向量機(Support Vector Machines,SVM)的主題爬蟲采集方法,針對航天領(lǐng)域的信息,通過SVM方法增強指定領(lǐng)域的特征權(quán)重,利用訓練好的分類模型對網(wǎng)頁信息進行篩選。張亞超[4]等人基于深度學習的文本分類方法,采用基于注意力機制的TextRCNN-A 文本分類算法,面向航天信息領(lǐng)域?qū)崿F(xiàn)了自動分類。劉秀磊[5]等人提出一種基于Bert 與XGBoost 融合模型的航天科技開源信息分類算法,使用Bert 提取文本的特征后,采用XGBoost 對特征進行分類,提升了航天信息分類的準確率。張玉峰[6]等人基于Web 數(shù)據(jù)挖掘的方法,研究了基于Web 文本挖掘的企業(yè)競爭信息的獲取步驟。黃勝[7]等人面向軍事領(lǐng)域,基于爬蟲技術(shù)從Web 開源信息中搜集軍事信息,通過層次聚類的算法生成信息主題。王明乾[8]等人通過基于機器學習的文本分類方法從互聯(lián)網(wǎng)的開源信息中篩選出軍事信息,并且分析了多種常用的詞向量模型和文本分類模型對于獲取開源軍事信息的效果。

    通過分析當前包含航天信息的文本數(shù)據(jù)集發(fā)現(xiàn),航天信息文本的內(nèi)容普遍較長,并且樣本數(shù)量相對較少[9],這些特點導致現(xiàn)有的提取航天信息的模型準確率較低。為進一步提高航天信息研究工作的效率,將信息較長的文本內(nèi)容可視化,本文提出了基于有監(jiān)督對比學習的航天信息文本分類方法。該方法利用BiLSTM 捕獲長文本的特征信息,使用注意力機制感知全局的文本特征,同時通過對比學習方法增強模型的魯棒性和泛化能力。即使樣本數(shù)量少也能夠提高模型預測的準確率,從而面向互聯(lián)網(wǎng)的開源信息篩選出航天信息,同時根據(jù)信息生成清晰直觀的圖像,達到高效獲取并可視化開源航天信息的目的,對于航天信息科技領(lǐng)域的研究具有重要意義。

    2 相關(guān)研究工作

    2.1 有監(jiān)督文本分類

    近年來,在文本分類領(lǐng)域,機器學習方法受到了人們的高度關(guān)注。深度學習作為實現(xiàn)機器學習的技術(shù)之一,也廣泛應用在文本分類中。深度學習處理文本分類任務現(xiàn)已慢慢成熟,相對于人工方法,提高了準確率和效率,并在實際工作中效果良好。

    Kim[10]將 卷積神經(jīng)網(wǎng)絡(CNN)應用在 文本分類,即在通過word2vec 獲取詞向量后,利用卷積學習文本特征并完成分類。循環(huán)神經(jīng)網(wǎng)絡(Recurrent Neural Networks,RNN)[11]將文本 看作詞語的序列,目的在于捕獲詞語之間的依賴關(guān)系和文本結(jié)構(gòu)。Peng Zhou[12]等人提出基于RNN的變體,即雙向長短期記憶網(wǎng)絡,同時加入注意力機制來捕捉句子中最重要的語義信息,可以自動聚焦對分類有關(guān)鍵作用的詞語。CNN 和RNN在捕獲句子中詞語之間關(guān)系的計算成本會隨著句子長度的增加而增大,Transformer[13]解決了這個問題,通過注意力機制為文本中的每個詞語計算并記錄注意力分數(shù),來模擬每個詞語對另一個詞語的影響。

    2.2 對比學習

    在使用深度學習進行有監(jiān)督的分類任務時,會出現(xiàn)由于交叉熵損失或者正則化帶來的魯棒性差和泛化性能低等問題[14]。然而對比學習作為一種無監(jiān)督學習方法,可以使模型中心學習編碼器的特征,盡可能所縮小相似樣本的距離,同時增大正負樣本之間的距離,因此對比學習的研究為有監(jiān)督學習帶來了重大進展,可以有效地解決這些問題。

    Khosla[15]提出了一種基于對比性自監(jiān)督文獻的有監(jiān)督學習損失函數(shù),即利用標簽信息,也就是來自同一類的標準化嵌入比來自不同類的嵌入更接近,同時增加不同類之間的距離。Gao[16]在無監(jiān)督學習的任務中,利用dropout 為樣本加入噪聲,實現(xiàn)數(shù)據(jù)擴增;在有監(jiān)督學習的任務中,利用自然語言推理數(shù)據(jù)集,將蘊含對作為正樣本,矛盾對作為負樣本,用于后續(xù)的對比學習訓練。Liang[17]針對在訓練深度神經(jīng)網(wǎng)絡時dropout技術(shù)的隨機性導致的訓練和預測不一致問題,提出了一致性訓練策略R-drop 來正則化dropout,強制dropout 生成的不同子模型的輸出保持一致。

    2.3 文本生成圖像

    根據(jù)文本的語義信息生成圖像是計算機視覺和自然語言處理兩個領(lǐng)域的綜合性任務,也是近幾年的研究熱點,即輸入是一段文本描述,輸出則是包含該文本語義信息的圖像,便于人們通過視覺更直接得感受文本表達的信息。

    Reed[18]等人首次將生成式對抗網(wǎng)絡(Generative adversarial Network,GAN)用于解決文本生成圖像的問題,提出了GAN-INT-CLS 模型,在GAN 模型的基礎(chǔ)上,同時將輸入數(shù)據(jù)的文本描述訓練為句嵌入向量,構(gòu)建文本和圖像匹配的對抗損失,對生成器和鑒別器進一步約束,最后生成分辨率為64×64 的圖像。Radford[19]等人提出了對比圖文預訓練(Contrastive Language-Image Pretraining,CLIP)模型。該模型利用兩個編碼器分別處理文本和圖像,然后計算文本特征和圖像特征匹配的相似度。利用對比學習思想,最大化正樣本對的相似度,最小化負樣本對的相似度。該模型可以轉(zhuǎn)換到圖像生成、圖像檢索[20]和視頻動作識別等多種下游任務。Ramesh[21]等人在CLIP 的基礎(chǔ)上提出了unCLIP 模型,針對文本生成圖像任務,首先利用一個先驗模型將文本編碼生成圖像的嵌入,然后通過圖像解碼器根據(jù)圖像嵌入生成給定文本對應的圖像。該圖像更加真實多樣。

    3 開源航天信息的獲取與圖像生成

    本文提出了有監(jiān)督對比學習的文本分類模型,可以在爬取到互聯(lián)網(wǎng)的開源信息之后進行分析和判斷,進而獲取航天類別的信息。該模型使用基于注意力機制的BiLSTM 作為深度神經(jīng)網(wǎng)絡架構(gòu),即BiLSTM-Attention,同時針對神經(jīng)網(wǎng)絡中由于隨機進行dropout帶來的訓練與預測不一致的問題,引入基于R-Drop 的對比學習方法訓練模型,即在原本的交叉熵損失函數(shù)中加入兩次前向傳播所形成概率分布的KL 散度損失,共同進行反向傳播,完成參數(shù)更新。最后通過unCLIP模型將獲取到的航天信息生成對應的圖像。

    3.1 BiLSTM-Attention 模型

    基于深度學習的有監(jiān)督文本分類模型[22]通常由文本預處理、文本的詞向量表示、神經(jīng)網(wǎng)絡層和分類層組成。

    第一步將文本中的詞語分隔開,然后去除停用詞,可以降低對下一步工作的干擾。第二步將文本轉(zhuǎn)化成一種便于計算機識別、數(shù)學表達的形式來表達詞語的特征,即詞向量。第三步將詞向量輸入到神經(jīng)網(wǎng)絡的模型進行運算,得到變換過的文本序列。最后通過sigmod 函數(shù)或者softmax 函數(shù)計算文本屬于某個類別的概率,概率最大的就是模型預測的文本類別。本文使用BiLSTM-Attention作為神經(jīng)網(wǎng)絡模型,該模型的示意圖見圖1。

    圖1 BiLSTM-Attention 模型Fig.1 BiLSTM-Attention model

    3.1.1 輸入層

    將輸入模型的文本進行預處理。首先對文本進行分詞處理,本文使用Jieba 工具實現(xiàn)分詞[23],將句子中的所有詞語快速地全部切分出來,同時利用正則表達式re 將文本中的空白字符刪除。分詞后去除停用詞[24],然后統(tǒng)計詞頻,選擇出現(xiàn)頻數(shù)較高的詞匯生成詞匯表。

    3.1.2 嵌入層

    文本的詞向量在嵌入層獲取。本文使用word2vec 方法[25]訓練詞向量,便于神經(jīng)網(wǎng)絡層之間的計算,訓練時聯(lián)系上下文,使詞向量的語義信息更加豐富。

    在Word2vec 模型中,主要有兩個關(guān)鍵的模型,第一個是CBOW 模型,根據(jù)某詞的上下文信息,確定該詞的詞向量;第二個是skip-gram 模型,根據(jù)某詞的詞向量,確定上下文的詞向量。

    本文使用gensim 框架,選用skip-gram 模型訓練得到詞向量,將詞向量的維度限定為200 維。

    3.1.3 BiLSTM 層

    LSTM[26]是一種RNN 的變體,通過引 入“門”結(jié)構(gòu),有效地解決了RNN 的訓練過程中激活函數(shù)的導數(shù)累積而導致的“梯度消失”和“梯度爆炸”的問題。LSTM 由遺忘門、輸入門和輸出門組成,用于控制記憶單元的狀態(tài)是否存儲和更新。

    LSTM在t時刻的計算過程可以通過公式(1)~(7)表示,其中ft、it和ot分別表示遺忘門、輸入門和輸出門,W和b表示權(quán)重矩陣和偏置向量,xt和ht分別表示隱藏層在時刻t的輸入和輸出,σ和tanh 分 別表示sigmod 和tanh 激活 函數(shù)。

    遺忘門根據(jù)上一個單元的輸出以及當前時刻t的輸入共同決定記憶單元中信息的丟棄與否,計算公式為:

    輸入門用于控制網(wǎng)絡當前時刻輸入的信息有多少保存到記憶單元中,同時計算前一時刻記憶單元的狀態(tài)更新值,計算公式為:

    根據(jù)遺忘門、輸入門以及上一個時刻記憶單元的狀態(tài),共同計算當前記憶單元Ct的狀態(tài),公式為:

    輸出門用于控制記憶單元對于當前時刻t輸出值的影響,也就是記憶單元中的哪些信息會輸出,公式為:

    隱藏層節(jié)點在時刻t的輸出ht的計算公式為:

    LSTM 雖然可以獲取長距離的特征信息,但是只完成了神經(jīng)網(wǎng)絡前向的計算,也就是只利用當前時刻之前的信息而忽略了當前時刻之后的信息產(chǎn)生的影響。BiLSTM[27]在LSTM 的基礎(chǔ)上同時計算前向和后向的信息,可以更加有效地提取文本的特征。本文采用BiLSTM 神經(jīng)網(wǎng)絡結(jié)構(gòu),聯(lián)合前向和后向的輸出,計算后傳遞給下一個隱藏層節(jié)點。

    第i個詞語的隱藏層節(jié)點的輸出hi通過前向傳遞和后向傳遞的信息共同決定,計算公式為:

    3.1.4 注意力層

    注意力機制[28]最早出現(xiàn)在人類的視覺領(lǐng)域,是關(guān)于人類大腦的注意力分配機制,也就是對于重要的信息分配更多的注意力。應用在人工智能領(lǐng)域,注意力機制旨在從較為復雜的信息中有效地提取出關(guān)鍵特征,在調(diào)整注意力的權(quán)重之后,篩選出關(guān)鍵的信息。在自然語言處理的任務中,注意力機制可以更好地捕捉全局的信息,更加充分地提取文本的特征。

    首先確定注意力機制的矩陣Ht,也就是BiLSTM 層輸出的文本特征向量矩陣,計算對應的權(quán)重ut,公式為:

    然后對得到的權(quán)重矩陣進行歸一化處理,計算輸入的第t個詞語對于判定文本類別的影響程度αt,公式為:

    最后將向量矩陣進行加權(quán)求和,計算得到輸出到分類層的句子向量表示h?,公式為:

    3.1.5 分類層

    分類層的輸入來自注意力層,經(jīng)過softmax 函數(shù)計算后,得到模型預測文本類別的概率,公式為:

    3.2 R-Drop 技術(shù)

    在神經(jīng)網(wǎng)絡進行訓練的過程中,通過調(diào)整隱藏層節(jié)點的權(quán)重參數(shù),可以學習到輸入模型的向量與預測標簽之間的關(guān)系,但在模型結(jié)構(gòu)較為復雜特別是訓練集較少的情況下,會導致過擬合的問題,即模型在訓練集的表現(xiàn)很好,但在測試集則表現(xiàn)很差。Hinton[29]等人針對過擬合的問題提出了dropout 技術(shù),也就是在神經(jīng)網(wǎng)絡前向傳播的過程中,使某個神經(jīng)元的激活值以一定的概率p停止工作,提高了模型的泛化能力。

    雖然dropout技術(shù)的效果很好,但是由于dropout 的隨機性,導致了在訓練時隨機抽樣的子模型和預測時完整模型之間的不一致問題。對比學習的方法可以有效地解決該問題,即通過對同一個樣本進行不同的增強得到正樣本對,保證相同樣本的輸出一致性,進一步提高了模型的魯棒性和泛 化能力。Liang 等 人[17]針 對dropout 帶 來的不一致問題,基于對比學習的思想提出了RDrop 技術(shù),用于正則化dropout,可以保證由于dropout 產(chǎn)生的不同子模型的輸出一致。R-Drop方法的示意圖見圖2。

    圖2 R-Drop 示意圖(陰影表示隨機dropout 的神經(jīng)元)Fig.2 R-Drop diagram(Shading represents random dropout neurons)

    在訓練時的每個批次中,對于同一個樣本xi,前向傳播兩次之后,由于隨機dropout 一些隱藏層節(jié)點,所以會得到兩個不同但差別很小的概率分布,分別表示為(yi|xi)和(yi|xi),其中yi表示對應的標簽。通過使兩個分布之間的KL散度最小化,可以將兩個子模型輸出的數(shù)據(jù)樣本保持一致,達到緩解訓練和預測之間不一致的目的,計算公式為:

    式中,DKL(P1||P2)表示P1和P2兩個分布之間的KL 散度。

    在兩次前向傳播的過程中,本文使用交叉熵損失函數(shù)作為模型學習的目標函數(shù)的一部分,公式為:

    對于輸入數(shù)據(jù)xi和對應的標簽yi,最終訓練需要最小化的目標函數(shù)為:

    式中,α表示控制KL 散度的權(quán)重系數(shù)。通過這種方式可以約束模型,將模型的魯棒性和泛化能力進一步提高。

    3.3 unCLIP 模型

    CLIP 作為一種基于對比學習的文本-圖像預訓練模型,根據(jù)數(shù)據(jù)集中的文本描述和其對應的圖像,利用文本編碼器和圖像編碼器分別提取文本和圖像的特征,然后計算文本特征和圖像特征的余弦相似度,最后進行對比學習,即模型的訓練目標為最大化正樣本對的相似度,最小化負樣本對的相似度。

    為了利用CLIP 學習到帶有語義信息的圖像特征來生成圖像,unCLIP 模型的訓練集由文本-圖像對(x,y)組成,即圖像x和對應的文本描述y。對于給定的圖像x,令zi表示CLIP 的圖像嵌入,首先利用先驗模型P(zi|y)根據(jù)文本描述生成對應的CLIP 圖像嵌入,然后解碼器根據(jù)CLIP圖像嵌入zi反向生成圖像x,這兩個階段對應的圖像生成模型P(x|y)如式(16)所示:

    3.4 開源航天信息的獲取與圖像生成框架

    基于上述相關(guān)技術(shù),本文提出一種基于開源文本信息的航天信息與圖像生成獲取框架,主要包括開源信息采集模塊、文本處理模塊、模型訓練和模型預測模塊、文本生成圖像模塊。

    開源信息采集模塊通過爬蟲技術(shù)從互聯(lián)網(wǎng)上的公開信息中搜集相關(guān)信息,信息主要來自科技文獻題錄數(shù)據(jù)和航天主題網(wǎng)站的公開數(shù)據(jù)。

    文本處理模塊首先對搜集到的數(shù)據(jù)進行清洗,然后進行分詞和去停用詞,最后通過Word2Vec方法獲取文本的詞向量。

    模型訓練模塊以詞向量作為輸入,通過RDrop 方法訓練BiLSTM-Attention 模型,對模型進行多輪訓練,保存表現(xiàn)最佳的模型。

    模型訓練之后,將待分類的數(shù)據(jù)輸入模型,根據(jù)模型預測的分類結(jié)果,實現(xiàn)對開源信息數(shù)據(jù)進行航天類的信息高效篩選,從而獲取航天信息。

    最后利用unCLIP 模型根據(jù)航天信息的文本內(nèi)容生成對應的圖像。

    基于開源信息的航天信息獲取與圖像生成框架流程見圖3。

    圖3 開源航天信息的獲取與圖像生成框架流程圖Fig.3 Flowchart of open source aerospace information acquisition and image generation framework

    4 實驗與結(jié)果分析

    4.1 實驗環(huán)境與數(shù)據(jù)集

    4.1.1 實驗環(huán)境

    本文所涉及到的實驗使用的環(huán)境配置見表1。

    表1 實驗環(huán)境配置Tab.1 Experimental environment configuration

    4.1.2 實驗數(shù)據(jù)集

    本文的實驗采用復旦大學發(fā)布的文本分類數(shù)據(jù)集,該數(shù)據(jù)集共含有19 637 篇文檔,其中訓練集和測試集基本按照1∶1 的比例劃分,涵蓋了20 個類別,主要包括航天、藝術(shù)、教育等主題。樣本的類別分布不均衡,航天類別的文本數(shù)量較少。在訓練過程中,由于該數(shù)據(jù)集的文本較長,統(tǒng)一處理成長度為600 的樣本,同時將原訓練集按照8∶2 的比例隨機劃分為訓練集和驗證集。

    4.2 評價指標

    在文本分類任務中,如何判斷分類的效果,即模型的性能如何,是提高分類能力、改善模型的關(guān)鍵。為判斷基于有監(jiān)督對比學習的模型分類效果,本文使用精確率P、召回率R和F1-Score作為評價標準[30]。

    在測試分類效果的過程中,判斷模型預測的標簽與正確的標簽是否一致,會出現(xiàn)4 種情況,即二維混淆矩陣,4 種情況分別定義為:

    (1)真正例(True Positive,TP):將正例預測為正例的個數(shù);

    (2)假正例(False Positive,F(xiàn)P):將負例預測為正例的個數(shù);

    (3)假反例(False Negative,F(xiàn)N):將正例預測為負例的個數(shù);

    (4)真反例(True Negative,TN):將負例預測為負例的個數(shù)。

    精確率(Precision,P)表示預測正確的正例樣本數(shù)與預測為正例的樣本總數(shù)的比例,計算公式為:

    召回率(Recall,R)表示預測正確的正例樣本數(shù)與實際為正例的樣本總數(shù)的比例,計算公式為:

    為了綜合評價模型的分類效果,結(jié)合精確率和召回率可以計算出F1-Score,對模型的表現(xiàn)做出整體評價,計算公式為:

    在多分類的任務中,還有宏平均、微平均和加權(quán)平均這3 個指標對分類效果進行評價。宏平均是先計算各個類別的相關(guān)指標后再對它們求算術(shù)平均;微平均是不區(qū)分樣本的類別,將所有樣本整體進行計算;加權(quán)平均考慮了每個類別的樣本數(shù)量的權(quán)重,對相關(guān)指標進行加權(quán)計算。

    4.3 實驗結(jié)果與分析

    本文采用基于有監(jiān)督對比學習的文本分類模型,即基于注意力機制的BiLSTM 模型,同時融合基于R-Drop 技術(shù)的對比學習方法進行訓練,該模型的算法流程如圖4 所示。

    圖4 算法流程圖Fig.4 Algorithm flowchart

    在訓練過程中,模型在訓練集和驗證集上的損失和準確率變化曲線見圖5。從圖5 可以看出,隨著迭代次數(shù)的增加,模型在訓練數(shù)據(jù)集上的損失值一直在變小,而在驗證集上的損失值先減小然后增大,說明模型在后續(xù)出現(xiàn)了過擬合現(xiàn)象。模型的準確率逐漸增加后趨于穩(wěn)定,并在訓練過程中保存了表現(xiàn)最佳的權(quán)重。

    圖5 訓練過程的損失(a)和準確率(b)變化Fig.5 Loss(a)and accuracy(b)changes during training

    本文同時選取CNN、BiLSTM、Transformer和BiLSTM-Attention 模型進行對比實驗,關(guān)于航天類別文本的分類效果見表2。

    表2 航天類別文本的分類效果Tab.2 Classification effect of aerospace category text

    實驗結(jié)果表明,對于航天類別的文本,本文提出的BiLSTM-Attention+R-drop 的分類模型在精確率、召回率和F1-Score 這3 個指標都是最高,說明該模型對于獲取航天信息具有很好的效果,有助于提高獲取開源航天信息的質(zhì)量和效率。

    在獲取到航天類別的信息后,將信息輸入到unCLIP 模型中,對應生成的圖像樣例如圖6 所示,可以更加直觀地表達信息,如信息主體、形態(tài)和環(huán)境等,便于研究人員開展后續(xù)工作。

    圖6 信息圖像Fig.6 Information image

    為了進一步說明R-Drop 方法對于有監(jiān)督文本分類模型的有效性,本文基于常見的文本分類模型CNN、BiLSTM、Transformer 和BiLSTMAttention 做了4 組對比實驗。由于數(shù)據(jù)集的樣本分布不均,所以采用加權(quán)平均作為評價整體分類效果的指標。同時給出當前實驗環(huán)境下測試集的預測時間,以便對不同模型的處理時效進行對比分析,實驗結(jié)果見表3。

    表3 各模型的整體分類效果Tab.3 Overall classification performance of each model

    實驗結(jié)果表明,即使在樣本分布不均衡的情況下,R-Drop 也可以有效地提升多數(shù)模型的分類效果,但是對于CNN 這種結(jié)構(gòu)過于簡單的模型,R-Drop對它的效果影響不大。從各個模型的預測時間可以看出,處理信息的時間與模型的結(jié)構(gòu)復雜程度或者隱藏層神經(jīng)元的數(shù)量有關(guān)。R-Drop 作為一種訓練策略,不會影響模型預測結(jié)果的時間。因此可以從實驗結(jié)果得出,在多數(shù)情況下,R-Drop的有效性與模型和樣本的分布無關(guān),不會影響模型的信息處理時間,能夠優(yōu)化基于深度學習的分類模型,提升模型的泛化能力和魯棒性。

    5 結(jié) 論

    本文針對開源航天信息的獲取和分析過程中,存在樣本的內(nèi)容過長且相關(guān)樣本數(shù)量較少的問題,提出了基于有監(jiān)督對比學習的文本分類模型,從互聯(lián)網(wǎng)爬取到開源的信息之后,通過該模型進行分類并篩選出航天類別的信息。實驗結(jié)果表明,針對航天類別的文本,融合R-Drop 技術(shù)的BiLSTM-Attention 模型具有較高的精確率、召回率和F1-Score,F(xiàn)1-Score 可以達到0.97,比原模型提高了1%,能夠做到高效地獲取開源航天信息,并且將信息以圖像的形式呈現(xiàn),更加直觀地展示文本內(nèi)容。本文研究可以提升信息研究人員的工作效率,對于航天科技領(lǐng)域的信息研究工作具有重要意義。

    猜你喜歡
    開源航天向量
    向量的分解
    我的航天夢
    兒童時代(2022年4期)2022-04-19 11:14:10
    航天夢,我的夢
    軍事文摘(2021年22期)2022-01-18 06:22:56
    聚焦“向量與三角”創(chuàng)新題
    五毛錢能買多少頭牛
    逐夢航天日
    大家說:開源、人工智能及創(chuàng)新
    開源中國開源世界高峰論壇圓桌會議縱論開源與互聯(lián)網(wǎng)+創(chuàng)新2.0
    向量垂直在解析幾何中的應用
    向量五種“變身” 玩轉(zhuǎn)圓錐曲線
    亚洲avbb在线观看| 亚洲av一区综合| 日本成人三级电影网站| 免费av不卡在线播放| xxx96com| 亚洲国产精品久久男人天堂| 久久6这里有精品| 成人午夜高清在线视频| 夜夜爽天天搞| 19禁男女啪啪无遮挡网站| 午夜免费观看网址| 两性午夜刺激爽爽歪歪视频在线观看| 99精品在免费线老司机午夜| 最新美女视频免费是黄的| 欧美黄色淫秽网站| 国产精品久久视频播放| 69av精品久久久久久| 黄片小视频在线播放| 日韩欧美精品v在线| 国产高潮美女av| av福利片在线观看| 欧美高清成人免费视频www| 九色国产91popny在线| 国产69精品久久久久777片| 亚洲精品久久国产高清桃花| 成人特级av手机在线观看| 色噜噜av男人的天堂激情| 日韩欧美国产一区二区入口| 三级男女做爰猛烈吃奶摸视频| 亚洲无线观看免费| 日日摸夜夜添夜夜添小说| 在线播放国产精品三级| 欧美3d第一页| 国产精品美女特级片免费视频播放器| 亚洲av熟女| 90打野战视频偷拍视频| 90打野战视频偷拍视频| 床上黄色一级片| 亚洲,欧美精品.| 免费av毛片视频| 日韩欧美一区二区三区在线观看| 欧美又色又爽又黄视频| 麻豆久久精品国产亚洲av| 亚洲 欧美 日韩 在线 免费| 亚洲专区国产一区二区| 99国产精品一区二区三区| 在线国产一区二区在线| 高潮久久久久久久久久久不卡| 亚洲男人的天堂狠狠| 免费在线观看成人毛片| 亚洲人与动物交配视频| 久9热在线精品视频| 亚洲国产色片| 欧美成狂野欧美在线观看| 在线观看午夜福利视频| 女人十人毛片免费观看3o分钟| 琪琪午夜伦伦电影理论片6080| 亚洲内射少妇av| 中文字幕人妻丝袜一区二区| 国产精品一及| 国产精品久久久人人做人人爽| 亚洲成人中文字幕在线播放| av中文乱码字幕在线| 亚洲精品在线观看二区| 男人舔奶头视频| 悠悠久久av| 精品国产亚洲在线| 黄色成人免费大全| 亚洲av五月六月丁香网| 亚洲最大成人中文| 亚洲一区二区三区不卡视频| 18+在线观看网站| 欧美乱码精品一区二区三区| 国产伦在线观看视频一区| 99久久99久久久精品蜜桃| 少妇的逼水好多| 在线播放无遮挡| 国产毛片a区久久久久| 亚洲av二区三区四区| 久久香蕉精品热| 夜夜看夜夜爽夜夜摸| 日本黄色视频三级网站网址| 日韩国内少妇激情av| 在线国产一区二区在线| 国产探花极品一区二区| 波野结衣二区三区在线 | 欧美日韩亚洲国产一区二区在线观看| 欧美成狂野欧美在线观看| av视频在线观看入口| 国产精品免费一区二区三区在线| 少妇的逼好多水| 噜噜噜噜噜久久久久久91| 免费观看人在逋| 性色av乱码一区二区三区2| 狠狠狠狠99中文字幕| 久久亚洲真实| 欧美乱妇无乱码| 欧美日韩福利视频一区二区| 亚洲久久久久久中文字幕| 老师上课跳d突然被开到最大视频 久久午夜综合久久蜜桃 | 午夜日韩欧美国产| 国产亚洲精品av在线| 日韩精品中文字幕看吧| h日本视频在线播放| 热99在线观看视频| 欧美在线黄色| 国产不卡一卡二| 亚洲精品美女久久久久99蜜臀| 一个人免费在线观看的高清视频| 国产精品精品国产色婷婷| 最近最新中文字幕大全免费视频| 18禁裸乳无遮挡免费网站照片| 禁无遮挡网站| 久久久久性生活片| 亚洲久久久久久中文字幕| 九色国产91popny在线| 国产激情欧美一区二区| 又黄又粗又硬又大视频| 少妇熟女aⅴ在线视频| av天堂中文字幕网| 色哟哟哟哟哟哟| 亚洲精品亚洲一区二区| 亚洲成人精品中文字幕电影| 国产一区在线观看成人免费| 亚洲av免费在线观看| 搡老妇女老女人老熟妇| 亚洲五月天丁香| 亚洲人与动物交配视频| 99热这里只有精品一区| 国产色婷婷99| 在线国产一区二区在线| 老司机深夜福利视频在线观看| 国产乱人伦免费视频| 中文字幕av成人在线电影| 少妇丰满av| 88av欧美| 偷拍熟女少妇极品色| 国产精品女同一区二区软件 | 国产伦一二天堂av在线观看| 成人高潮视频无遮挡免费网站| 99国产精品一区二区三区| av天堂中文字幕网| 国产99白浆流出| 久久香蕉精品热| 欧美日韩黄片免| 亚洲精品在线观看二区| 最新中文字幕久久久久| 最新中文字幕久久久久| 亚洲美女视频黄频| 丰满的人妻完整版| 丰满人妻一区二区三区视频av | 在线观看美女被高潮喷水网站 | 伊人久久大香线蕉亚洲五| 国产一区二区三区视频了| 精品国产亚洲在线| 亚洲成人久久性| 亚洲精品亚洲一区二区| 精品人妻1区二区| 无遮挡黄片免费观看| 少妇丰满av| 国产av不卡久久| 国产精品自产拍在线观看55亚洲| 亚洲七黄色美女视频| 久久久久九九精品影院| 成人性生交大片免费视频hd| 一卡2卡三卡四卡精品乱码亚洲| 高潮久久久久久久久久久不卡| 日日摸夜夜添夜夜添小说| 亚洲一区二区三区不卡视频| h日本视频在线播放| 亚洲精品在线美女| 国产一区在线观看成人免费| 久久婷婷人人爽人人干人人爱| 国产高清激情床上av| 九九久久精品国产亚洲av麻豆| 久久久精品欧美日韩精品| 久9热在线精品视频| 色尼玛亚洲综合影院| 91九色精品人成在线观看| 在线观看66精品国产| 精品电影一区二区在线| 男女午夜视频在线观看| 久久这里只有精品中国| 久久精品国产亚洲av香蕉五月| 深爱激情五月婷婷| 非洲黑人性xxxx精品又粗又长| 免费在线观看日本一区| 一区二区三区激情视频| 久久精品国产自在天天线| 久久久久久大精品| 久99久视频精品免费| 日韩欧美在线乱码| 日韩成人在线观看一区二区三区| 极品教师在线免费播放| 亚洲第一欧美日韩一区二区三区| 内射极品少妇av片p| 激情在线观看视频在线高清| 成人av一区二区三区在线看| 婷婷精品国产亚洲av在线| 久久精品影院6| 精品欧美国产一区二区三| 一卡2卡三卡四卡精品乱码亚洲| 欧美日韩亚洲国产一区二区在线观看| 校园春色视频在线观看| xxx96com| 日本黄大片高清| 精品国产美女av久久久久小说| 国产精品爽爽va在线观看网站| 国产精品女同一区二区软件 | 国产亚洲精品综合一区在线观看| 日韩国内少妇激情av| 亚洲国产精品sss在线观看| 久久久久久大精品| 精品久久久久久久末码| 国产在视频线在精品| 免费人成在线观看视频色| 欧美日韩精品网址| 色综合亚洲欧美另类图片| 免费看美女性在线毛片视频| 亚洲欧美日韩高清专用| 99久久成人亚洲精品观看| 熟女电影av网| 最新中文字幕久久久久| 少妇的逼好多水| 一级黄片播放器| 亚洲国产日韩欧美精品在线观看 | 99国产精品一区二区蜜桃av| 成人鲁丝片一二三区免费| 中文字幕av在线有码专区| 欧美又色又爽又黄视频| 国产三级中文精品| 国产精品一区二区三区四区久久| 在线观看午夜福利视频| 久久精品国产99精品国产亚洲性色| 一区二区三区国产精品乱码| 一级黄色大片毛片| 亚洲成人精品中文字幕电影| 哪里可以看免费的av片| 午夜福利在线观看吧| 国产视频内射| 色尼玛亚洲综合影院| 少妇的逼水好多| 身体一侧抽搐| 他把我摸到了高潮在线观看| 19禁男女啪啪无遮挡网站| 一个人免费在线观看的高清视频| 国产成人影院久久av| 51国产日韩欧美| 蜜桃久久精品国产亚洲av| 久久人妻av系列| 在线国产一区二区在线| 婷婷精品国产亚洲av| 欧美一区二区精品小视频在线| 男女午夜视频在线观看| 免费av毛片视频| 叶爱在线成人免费视频播放| 欧美成人一区二区免费高清观看| 日韩有码中文字幕| 国产精品久久久久久久久免 | 又粗又爽又猛毛片免费看| 少妇人妻一区二区三区视频| 深夜精品福利| 免费看美女性在线毛片视频| 免费看十八禁软件| 亚洲一区高清亚洲精品| www.熟女人妻精品国产| 亚洲无线观看免费| 日韩人妻高清精品专区| 国产精品久久久人人做人人爽| 中文字幕熟女人妻在线| 美女cb高潮喷水在线观看| 精品久久久久久成人av| 内射极品少妇av片p| 欧美又色又爽又黄视频| 亚洲国产欧洲综合997久久,| 十八禁人妻一区二区| 国产精品亚洲av一区麻豆| 淫妇啪啪啪对白视频| 国产精品99久久久久久久久| 欧美日韩黄片免| 中文字幕人成人乱码亚洲影| 有码 亚洲区| 久久亚洲真实| 亚洲一区高清亚洲精品| 国产成人av激情在线播放| 欧美激情久久久久久爽电影| 国产极品精品免费视频能看的| 男女下面进入的视频免费午夜| 99在线人妻在线中文字幕| 亚洲成人久久爱视频| 精品国内亚洲2022精品成人| 国产极品精品免费视频能看的| www.色视频.com| 欧美激情在线99| 精品午夜福利视频在线观看一区| 一本综合久久免费| 免费看a级黄色片| 免费看美女性在线毛片视频| 免费在线观看成人毛片| 国产精品电影一区二区三区| 日韩中文字幕欧美一区二区| 男女下面进入的视频免费午夜| а√天堂www在线а√下载| 免费在线观看亚洲国产| 午夜精品一区二区三区免费看| 欧美日本亚洲视频在线播放| 欧美日韩乱码在线| aaaaa片日本免费| 麻豆一二三区av精品| 老司机午夜十八禁免费视频| 最新美女视频免费是黄的| 久久国产精品影院| 久久精品国产清高在天天线| 日韩高清综合在线| 淫妇啪啪啪对白视频| 国内少妇人妻偷人精品xxx网站| 亚洲精品色激情综合| 中亚洲国语对白在线视频| 蜜桃久久精品国产亚洲av| 国产老妇女一区| 99精品欧美一区二区三区四区| 最后的刺客免费高清国语| 法律面前人人平等表现在哪些方面| 少妇高潮的动态图| 草草在线视频免费看| 中亚洲国语对白在线视频| 免费观看精品视频网站| 日韩欧美在线二视频| 午夜福利视频1000在线观看| 国产成人啪精品午夜网站| 熟妇人妻久久中文字幕3abv| 91字幕亚洲| 变态另类丝袜制服| 成年人黄色毛片网站| 天堂影院成人在线观看| 亚洲av二区三区四区| 色噜噜av男人的天堂激情| 极品教师在线免费播放| 欧美日韩福利视频一区二区| 精品熟女少妇八av免费久了| 九色国产91popny在线| 夜夜躁狠狠躁天天躁| 精品福利观看| av欧美777| 国产精品久久久久久人妻精品电影| 亚洲精品456在线播放app | 国产午夜精品久久久久久一区二区三区 | 男女视频在线观看网站免费| 成熟少妇高潮喷水视频| 每晚都被弄得嗷嗷叫到高潮| 中文字幕熟女人妻在线| 国产真实乱freesex| 国内精品久久久久精免费| 国产黄片美女视频| www.色视频.com| 午夜精品在线福利| 丁香六月欧美| 日本五十路高清| 90打野战视频偷拍视频| e午夜精品久久久久久久| 少妇熟女aⅴ在线视频| 欧美午夜高清在线| 亚洲av免费高清在线观看| 亚洲欧美日韩高清在线视频| 国产高潮美女av| 亚洲狠狠婷婷综合久久图片| 久久久久性生活片| 好看av亚洲va欧美ⅴa在| 97人妻精品一区二区三区麻豆| 两个人视频免费观看高清| 欧美国产日韩亚洲一区| 日韩中文字幕欧美一区二区| 国产av不卡久久| 免费在线观看亚洲国产| 国产精品乱码一区二三区的特点| 国产高清激情床上av| 禁无遮挡网站| 国产精品电影一区二区三区| 男人舔奶头视频| 天美传媒精品一区二区| 欧美日韩亚洲国产一区二区在线观看| 在线观看66精品国产| 色吧在线观看| 精品一区二区三区视频在线 | 91麻豆精品激情在线观看国产| 国产精品久久视频播放| 99久久99久久久精品蜜桃| 美女免费视频网站| 亚洲国产精品成人综合色| 尤物成人国产欧美一区二区三区| 亚洲 欧美 日韩 在线 免费| 俄罗斯特黄特色一大片| 日韩欧美在线二视频| 12—13女人毛片做爰片一| 亚洲狠狠婷婷综合久久图片| 最新在线观看一区二区三区| 757午夜福利合集在线观看| 在线免费观看的www视频| 午夜精品久久久久久毛片777| 韩国av一区二区三区四区| 男人舔女人下体高潮全视频| 18禁裸乳无遮挡免费网站照片| 免费在线观看日本一区| 国产精品综合久久久久久久免费| 成人特级av手机在线观看| 级片在线观看| 久久精品人妻少妇| 香蕉丝袜av| 日韩欧美国产在线观看| 每晚都被弄得嗷嗷叫到高潮| 国产精品爽爽va在线观看网站| 久久精品国产99精品国产亚洲性色| 国产精品一区二区三区四区免费观看 | 午夜久久久久精精品| 午夜福利高清视频| 亚洲无线在线观看| 日本撒尿小便嘘嘘汇集6| 激情在线观看视频在线高清| 久久久久久久久久黄片| 无人区码免费观看不卡| 亚洲色图av天堂| АⅤ资源中文在线天堂| 又爽又黄无遮挡网站| 欧美日韩精品网址| 亚洲熟妇中文字幕五十中出| 97超级碰碰碰精品色视频在线观看| 国产视频一区二区在线看| 国产成人福利小说| 夜夜夜夜夜久久久久| 国产精品国产高清国产av| 国产精品久久久久久精品电影| 麻豆成人午夜福利视频| 少妇高潮的动态图| 久久久久久久午夜电影| 精品久久久久久久久久久久久| 村上凉子中文字幕在线| 男人的好看免费观看在线视频| 日韩欧美在线乱码| 亚洲美女视频黄频| 少妇人妻精品综合一区二区 | 丰满的人妻完整版| 国语自产精品视频在线第100页| 久久这里只有精品中国| 国产精品久久久久久亚洲av鲁大| 一个人免费在线观看的高清视频| 欧美中文综合在线视频| 国产精品综合久久久久久久免费| 国产黄色小视频在线观看| 夜夜躁狠狠躁天天躁| 亚洲自拍偷在线| 久久九九热精品免费| 国产成+人综合+亚洲专区| 久久久久久久久久黄片| 国产97色在线日韩免费| 在线观看av片永久免费下载| 高清毛片免费观看视频网站| 两性午夜刺激爽爽歪歪视频在线观看| 长腿黑丝高跟| 亚洲国产精品久久男人天堂| 人人妻,人人澡人人爽秒播| 男插女下体视频免费在线播放| 欧美高清成人免费视频www| 久久久成人免费电影| 国产亚洲欧美98| 老汉色∧v一级毛片| 亚洲欧美日韩卡通动漫| 麻豆一二三区av精品| 国产免费av片在线观看野外av| 国内精品久久久久久久电影| 99视频精品全部免费 在线| 在线观看美女被高潮喷水网站 | а√天堂www在线а√下载| 99精品在免费线老司机午夜| 国产一区二区在线观看日韩 | 午夜久久久久精精品| 搡女人真爽免费视频火全软件 | 观看美女的网站| 国产aⅴ精品一区二区三区波| 亚洲自拍偷在线| 国产欧美日韩一区二区精品| 欧美日韩瑟瑟在线播放| 国内毛片毛片毛片毛片毛片| 久久久久久久亚洲中文字幕 | 一区福利在线观看| 欧美色欧美亚洲另类二区| 精品一区二区三区人妻视频| 欧美成人一区二区免费高清观看| 国产精品国产高清国产av| 中文字幕熟女人妻在线| 中文字幕人妻熟人妻熟丝袜美 | 亚洲人与动物交配视频| 精品一区二区三区视频在线观看免费| 亚洲欧美一区二区三区黑人| 久久久久久久久中文| 一进一出好大好爽视频| 美女高潮的动态| 悠悠久久av| 日本 欧美在线| 久久久久免费精品人妻一区二区| 免费电影在线观看免费观看| e午夜精品久久久久久久| 夜夜看夜夜爽夜夜摸| 69人妻影院| 日日摸夜夜添夜夜添小说| 色综合亚洲欧美另类图片| 最新在线观看一区二区三区| 精品一区二区三区人妻视频| 亚洲aⅴ乱码一区二区在线播放| 看黄色毛片网站| 亚洲激情在线av| 国产v大片淫在线免费观看| 国产高潮美女av| 成人无遮挡网站| 国产成+人综合+亚洲专区| 国产成人福利小说| 中文在线观看免费www的网站| 无遮挡黄片免费观看| 99精品久久久久人妻精品| 黄色日韩在线| 国产黄色小视频在线观看| 亚洲国产欧美网| 久久久国产精品麻豆| 国内精品久久久久精免费| www.色视频.com| 国产精品久久电影中文字幕| 久久精品夜夜夜夜夜久久蜜豆| 国产v大片淫在线免费观看| 精品人妻1区二区| 亚洲人成电影免费在线| 亚洲人成网站在线播放欧美日韩| 欧美zozozo另类| 欧美+日韩+精品| 国产精品精品国产色婷婷| 99久久精品一区二区三区| 男女床上黄色一级片免费看| 精品人妻一区二区三区麻豆 | av福利片在线观看| 欧美成人性av电影在线观看| 香蕉久久夜色| 亚洲无线在线观看| a级一级毛片免费在线观看| 国产精品一区二区三区四区久久| 欧美大码av| 久久精品国产亚洲av香蕉五月| 精品日产1卡2卡| 国产成人系列免费观看| e午夜精品久久久久久久| 波多野结衣高清无吗| 狂野欧美白嫩少妇大欣赏| 成人av一区二区三区在线看| 青草久久国产| 亚洲电影在线观看av| 久久久久九九精品影院| 熟女电影av网| 日韩欧美精品免费久久 | 激情在线观看视频在线高清| 日日干狠狠操夜夜爽| 一本综合久久免费| 俄罗斯特黄特色一大片| 91在线观看av| 乱人视频在线观看| 搡老熟女国产l中国老女人| 日韩欧美免费精品| 免费看光身美女| 色播亚洲综合网| 黄色成人免费大全| 嫁个100分男人电影在线观看| 午夜福利在线观看免费完整高清在 | 成人亚洲精品av一区二区| 成人三级黄色视频| 内地一区二区视频在线| 国产精品av视频在线免费观看| 蜜桃久久精品国产亚洲av| 亚洲激情在线av| 99久久精品一区二区三区| 18禁在线播放成人免费| 国产精品国产高清国产av| 国产成人影院久久av| 在线a可以看的网站| 男女之事视频高清在线观看| 欧美乱色亚洲激情| 日本a在线网址| 亚洲va日本ⅴa欧美va伊人久久| av视频在线观看入口| 老熟妇乱子伦视频在线观看| 最近最新免费中文字幕在线| 九九在线视频观看精品| 国产精华一区二区三区| 国产高清视频在线播放一区| 少妇人妻精品综合一区二区 | 亚洲精华国产精华精| 麻豆成人av在线观看| 日本一二三区视频观看| 一进一出抽搐gif免费好疼| 久9热在线精品视频| 亚洲 国产 在线| 色视频www国产| 亚洲欧美日韩无卡精品| 国产v大片淫在线免费观看| 中文字幕人成人乱码亚洲影| 法律面前人人平等表现在哪些方面| 黄色女人牲交| 久久国产精品人妻蜜桃| 亚洲内射少妇av| 中文字幕av在线有码专区| 欧美性感艳星| 亚洲国产精品合色在线| 一区二区三区免费毛片| av在线蜜桃| 免费在线观看成人毛片| 亚洲成人中文字幕在线播放| 欧美国产日韩亚洲一区| 99热只有精品国产| 美女被艹到高潮喷水动态| 国产精品自产拍在线观看55亚洲|