• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    面向聊天機(jī)器人的多注意力記憶網(wǎng)絡(luò)①

    2019-09-24 06:19:42任建龍孔維一
    關(guān)鍵詞:注意力準(zhǔn)確率向量

    任建龍,楊 立,孔維一,左 春,3

    1(中國科學(xué)院 軟件研究所 精準(zhǔn)計(jì)算聯(lián)合實(shí)驗(yàn)室,北京 100190)

    2(中國科學(xué)院大學(xué),北京 100049)

    3(中科軟科技股份有限公司,北京 100190)

    近來,人機(jī)對話由于其潛在的商業(yè)價(jià)值受到廣泛關(guān)注[1-5].智能聊天機(jī)器人也就是對話系統(tǒng)在工業(yè)界得到了廣泛的應(yīng)用,如蘋果的Siri,谷歌的Google Assistant,阿里巴巴的阿里精靈,小米的小愛,百度的小度等.根據(jù)用戶的使用意圖,聊天機(jī)器人可以分為兩種,1) 目標(biāo)導(dǎo)向的聊天機(jī)器人,它的目的是幫助用戶完成諸如訂票、訂餐、預(yù)定等特定任務(wù);2) 非目標(biāo)驅(qū)動的聊天機(jī)器人,旨在通過與人交互提供有意義的回復(fù)和娛樂功能,也被稱為開放域的聊天機(jī)器人或閑聊機(jī)器人.傳統(tǒng)的聊天機(jī)器人采用流水線的設(shè)計(jì),如圖1,包括1) 語音識別;2) 自然語言理解;3) 用戶狀態(tài)追蹤;4) 策略學(xué)習(xí);5) 自然語言生成;6) 文本轉(zhuǎn)化為語音共六個(gè)部分.這種流水線的設(shè)計(jì)存在如下兩個(gè)缺點(diǎn):(1) 錯誤定位問題,研發(fā)人員從最終客戶得到關(guān)于系統(tǒng)質(zhì)量的反饋,而誤差定位和分析需要大量繁重的工作,因?yàn)樯嫌蔚恼`差會傳播到下游任務(wù);(2) 過程的內(nèi)部依賴,給系統(tǒng)的自適應(yīng)和調(diào)整帶來了困難,例如當(dāng)其中一個(gè)模塊使用新數(shù)據(jù)進(jìn)行訓(xùn)練,那么下游模塊也需要重新訓(xùn)練,而這個(gè)過程還需要大量的人工工作.當(dāng)前深度學(xué)習(xí)領(lǐng)域的成功大大促進(jìn)了多輪對話系統(tǒng)的發(fā)展,其中端到端的深度神經(jīng)網(wǎng)絡(luò)成為研究的重點(diǎn).與傳統(tǒng)流水線方式相比,端到端的方式不需要手工設(shè)計(jì)規(guī)則,并且不存在錯誤定位和對齊問題[2].然而構(gòu)建一個(gè)智能的對話機(jī)器人仍然面臨著如何進(jìn)行多輪交互式建模的問題,需要機(jī)器人理解來自不同對話輪次中的歷史對話信息和避免產(chǎn)生無意義的、冗余和重復(fù)的回復(fù).

    循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Networks,RNNs),具體包括長短期記憶(Long Short-Term Memory,LSTM)[6]和門控循環(huán)神經(jīng)網(wǎng)絡(luò)(Gated Recurrent Neural Network,GRU)[7],作為強(qiáng)的基準(zhǔn)方式被廣泛應(yīng)用在自然語言處理領(lǐng)域(Natural Language Processing,NLP)中,如機(jī)器翻譯、對話建模和序列標(biāo)注[8-10].最近,記憶網(wǎng)絡(luò)被提出來用于自然語言理解中的語言建模[11-14].文獻(xiàn)[13,14]使用LSTM 或GRU 結(jié)合注意力機(jī)制,在聊天機(jī)器人的多輪對話中可以有效地進(jìn)行建模.然而現(xiàn)有的方法存在以下兩個(gè)方面的不足:

    (1) 計(jì)算效率較低

    大多數(shù)方法使用RNNs 類網(wǎng)絡(luò)模型,這種網(wǎng)絡(luò)結(jié)構(gòu)在建模時(shí)需要進(jìn)行序列對齊操作,執(zhí)行計(jì)算時(shí)是串行的,無法并行執(zhí)行和有效利用當(dāng)前高效的、加速計(jì)算的硬件資源,而這在大規(guī)模數(shù)據(jù)集上是十分重要和有意義的[9];

    (2) 依賴強(qiáng)監(jiān)督信息和先驗(yàn)知識

    一些方法使用強(qiáng)監(jiān)督信息,這些監(jiān)督信息包括手工設(shè)計(jì)的特征函數(shù),代價(jià)較大,同時(shí)不利于遷移到新的領(lǐng)域[13].還有的方法使用一些固定的先驗(yàn)知識[14],同樣不利于模型的擴(kuò)展和遷移,在特定領(lǐng)域構(gòu)建這類模型需要領(lǐng)域?qū)<抑贫ù罅康囊?guī)則.

    本文對深度神經(jīng)網(wǎng)絡(luò)在聊天機(jī)器人領(lǐng)域內(nèi)的應(yīng)用展開研究,提出一種端到端的基于多注意力機(jī)制的記憶網(wǎng)絡(luò),試圖解決以上問題.該網(wǎng)絡(luò)具有相對簡單的并行結(jié)構(gòu),首先通過多注意力機(jī)制在不同子空間捕獲對話輪次中的重要信息對對話歷史進(jìn)行建模,其次使用捷徑連接疊加多注意力層來控制信息流通和對話歷史記憶的獲取,對歷史對話信息建模結(jié)果進(jìn)行多次推理.

    本文的主要貢獻(xiàn)如下:

    (1) 使用多注意力機(jī)制對對話歷史和上下文進(jìn)行建模,該機(jī)制允許模型學(xué)習(xí)去對齊關(guān)注相關(guān)重要的信息和獲取輸入和輸出之前的全局依賴.與當(dāng)前LSTM或GRU 使用的注意力機(jī)制不同的是,多注意力機(jī)制具有相對簡單的并行結(jié)構(gòu);

    (2) 使用捷徑連接疊加多注意力層,形成多層的推理結(jié)構(gòu),對記憶單元進(jìn)行迭代推理,記憶單元就是多注意力機(jī)制建模的最新結(jié)果.該結(jié)構(gòu)通過控制信息在前一層和當(dāng)前層之間的流動來控制對記憶單元的動態(tài)讀取.

    本文剩余內(nèi)容的組織方式如下,第1 節(jié)介紹背景知識,第2 節(jié)對本文提出的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了詳細(xì)闡述,第3 節(jié)描述了實(shí)驗(yàn)過程并對實(shí)驗(yàn)結(jié)果進(jìn)行分析,第4 節(jié)介紹了相關(guān)工作,第5 節(jié)總結(jié)了本文工作.

    1 背景知識

    一個(gè)對話任務(wù)中一般包含歷史對話c和當(dāng)前用戶輸入u,產(chǎn)生回復(fù)r,可用如下公式表示:

    記憶網(wǎng)絡(luò)[11-15]整體上提供一個(gè)可讀寫的記憶模塊,從而實(shí)現(xiàn)對大量長期的記憶進(jìn)行建模和推理,網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示,包括輸入、記憶、輸出和響應(yīng)4 個(gè)基本組件.

    圖2 記憶網(wǎng)絡(luò)的一般結(jié)構(gòu)

    給定輸入x,記憶網(wǎng)絡(luò)各個(gè)模塊的執(zhí)行流程和作用如下:

    (1) Input:將原始輸入x進(jìn)行編碼表示為一個(gè)低維緊湊的向量R(x);

    (2) Memory Generalization:給定新的輸入時(shí)更新記憶單元;

    (3) Output:使用注意力機(jī)制對當(dāng)前輸入和記憶單元進(jìn)行讀取和推理;

    (4) Response:根據(jù)當(dāng)前輸出產(chǎn)生最終的回復(fù).

    記憶網(wǎng)絡(luò)及其相關(guān)變體整體上都遵循這個(gè)結(jié)構(gòu),在具體的一些表示方法、記憶更新以及讀取方式上略有不同.現(xiàn)有的大多數(shù)基于注意力機(jī)制的方法使用循環(huán)結(jié)構(gòu)LSTM 或GRU,這些循環(huán)結(jié)構(gòu)相對復(fù)雜從而導(dǎo)致計(jì)算效率比較低.有些方法使用強(qiáng)監(jiān)督信息或先驗(yàn)知識,不利于擴(kuò)展和遷移應(yīng)用.

    2 多注意力記憶網(wǎng)絡(luò)

    針對現(xiàn)有記憶網(wǎng)絡(luò)中存在的計(jì)算效率低和對額外信息輸入的依賴問題,本文提出一種端到端的多注意力記憶網(wǎng)絡(luò).該網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示,包括文本表示、多注意力層、捷徑連接的堆疊結(jié)構(gòu),以下對這三個(gè)部分分別展開闡述.

    圖3 本文提出的多注意力記憶網(wǎng)絡(luò)

    2.1 文本表示和編碼

    深度神經(jīng)網(wǎng)絡(luò)具有自主的學(xué)習(xí)表征的能力,因此也被稱為表示學(xué)習(xí).詞向量是神經(jīng)網(wǎng)絡(luò)訓(xùn)練語言模型的產(chǎn)物,它是一個(gè)緊湊和低維的分布式向量表示,維度經(jīng)常在20 至500 之間取值,相比傳統(tǒng)的one-hot 表示方式,它包含了可學(xué)習(xí)的語義信息.本文對于輸入的文本采用直接嵌入的詞向量,在神經(jīng)網(wǎng)絡(luò)訓(xùn)練和學(xué)習(xí)的過程中固定詞向量表示矩陣.具體地,詞向量表示矩陣被初始化為E,如公式(5)所示,對于所有的輸入包括用戶輸入、機(jī)器響應(yīng)以及候選答案都使用這個(gè)矩陣,目的是更充分地訓(xùn)練詞向量矩陣,詞嵌入相當(dāng)于一個(gè)查表操作.

    因?yàn)榛诙嘧⒁饬Φ木W(wǎng)絡(luò)結(jié)構(gòu)不能利用序列的位置信息,因此本文在詞向量的基礎(chǔ)上采用位置編碼(Position Encoding,PE)來獲取單詞的全局和局部信息.如式(6)和式(7)所示,其中pos表示單詞的位置信息,i表示詞向量的維度信息,dmodel與詞向量的維度一樣,使二者可以相加,在本文中取值為128.

    最終文本的表示為詞向量嵌入和位置編碼的和,即:

    2.2 多注意力機(jī)制

    在進(jìn)行對話歷史和上下文的建模之前,先利用上一節(jié)所述的文本表示方法將輸入轉(zhuǎn)化為向量表示.記憶單元的key 表示為K,value 表示為V,用戶輸入表示為Q.這3 個(gè)輸入的維度是一樣的,與式(6)和式(7)中的dmodel維度相同.

    如圖4所示,左側(cè)為單層點(diǎn)乘注意力,對用戶輸入Q和記憶單元的key-K進(jìn)行點(diǎn)積運(yùn)算,然后利用softmax函數(shù)計(jì)算注意力的值(注意力的值分布在0 至1 之間),如式(9)所示,與基礎(chǔ)的點(diǎn)乘注意力不同的是,這里還對點(diǎn)乘的結(jié)果除以K的維度dK也即dmodel.

    圖4 單層點(diǎn)乘注意力(左),并行多注意力(右)

    如式(10)所示,多注意力機(jī)制[9]就是并行地執(zhí)行單層點(diǎn)乘注意力,這個(gè)并行執(zhí)行過程是先將維度空間(例如詞向量維度)劃分為h個(gè)部分,然后在每個(gè)部分分別計(jì)算單層的點(diǎn)乘注意力.這樣做的目的是通過在不同子空間進(jìn)行注意力機(jī)制的計(jì)算,使模型在不同子空間獲得關(guān)于不同信息成分不同程度的關(guān)注,進(jìn)而獲得全局或局部的依賴信息,讓模型去關(guān)注對話不同輪次中重要的信息.此外,對于三個(gè)輸入部分乘以一個(gè)線性矩陣做線性映射的轉(zhuǎn)換,進(jìn)一步加強(qiáng)神經(jīng)網(wǎng)絡(luò)的表征能力.

    最后,這些并行的不同空間經(jīng)過不同關(guān)注的信息值被按照順序拼接,然后再乘以一個(gè)線性矩陣做線性映射作為輸出.

    2.3 捷徑連接的多層推理結(jié)構(gòu)

    在記憶網(wǎng)絡(luò)的相關(guān)研究中,已經(jīng)證明了一種稱為multi-hops 的重復(fù)多層結(jié)構(gòu)對于記憶和用戶輸入的推理是有效的.在本文的工作中,通過疊加多注意力層實(shí)現(xiàn)這種重復(fù)推理的方法.同時(shí),本文集成了捷徑連接(shortcut connections) 機(jī)制.這種機(jī)制允許網(wǎng)絡(luò)自主學(xué)習(xí)它應(yīng)該從前一層流到下一層的信息量,進(jìn)而實(shí)現(xiàn)對于信息的靈活讀寫和獲取.

    捷徑連接的機(jī)制首先應(yīng)用于計(jì)算機(jī)視覺的圖像識別任務(wù)[16],在殘差網(wǎng)絡(luò)(residual network)中使用的方式是恒等映射(identity mapping),如式(12)所示,其中g(shù)(·)表示激活函數(shù),x表示輸入.

    恒等映射是一種固定的連接前一層與當(dāng)前層的機(jī)制,即它無法靈活自主得決定信息的流通量.在文獻(xiàn)[17]的highway network 中采取可學(xué)習(xí)的門控連接來控制信息的流通量,如式(13)所示,其中 ?表示逐元素對應(yīng)的乘法操作,T(x)是一個(gè)可學(xué)習(xí)的非線性轉(zhuǎn)換函數(shù),本文中采取雙曲正切tanh函數(shù).

    如式(14)所示,本文通過門控的捷徑連接方式來堆疊多注意力層.其中S表示堆疊的層數(shù),o是式(11)中的輸出,表示上一多注意力層的輸出.這種門控機(jī)制是與輸入相關(guān)的非線性函數(shù),在神經(jīng)網(wǎng)絡(luò)訓(xùn)練的過程中,它可以自主調(diào)整到一個(gè)合適的參數(shù)空間,進(jìn)而控制信息的流通.

    最終的輸出選取最后堆疊層S的輸出和候選答案做相關(guān)性計(jì)算,選擇概率最大的回復(fù)作為機(jī)器人的最終響應(yīng),如式 (15) 所示,其中U1表示用戶輸入,US表示堆疊層最后的輸出,C表示候選答案的向量表示.

    3 實(shí)驗(yàn)

    為了驗(yàn)證多注意力記憶網(wǎng)絡(luò)的有效性,本文選取bAbI 對話數(shù)據(jù)集[15]進(jìn)行實(shí)驗(yàn)驗(yàn)證,該數(shù)據(jù)集為訂餐領(lǐng)域的多輪對話實(shí)例,由11 個(gè)任務(wù)組成,涵蓋回復(fù)準(zhǔn)確性,對話完成率和可擴(kuò)展性等多方面要求.實(shí)驗(yàn)環(huán)境為:Intel (R) Xeon (R) CPU E5-2640 @ 2.40 GHz,32 GB 內(nèi)存,NVIDIA Quadro P2000 顯卡,Centos 7.3 操作系統(tǒng).

    3.1 數(shù)據(jù)集

    bAbI 對話數(shù)據(jù)集是從典型的面向任務(wù)的多輪對話系統(tǒng)中收集或生成的.bAbI 對話數(shù)據(jù)集包括6 個(gè)任務(wù):1) T1:發(fā)出API 調(diào)用,2) T2:更新API 調(diào)用,3) T3:顯示選項(xiàng),4) T4:提供額外信息,5) T5:進(jìn)行完整對話 (上述4 個(gè)任務(wù)的集成),6) T6:對話狀態(tài)跟蹤挑戰(zhàn)語料庫(DSTC 2).所有6 個(gè)任務(wù)都屬于餐廳預(yù)訂領(lǐng)域.每項(xiàng)任務(wù),有1000 個(gè)對話用于訓(xùn)練,1000 個(gè)對話用于驗(yàn)證,1000 個(gè)對話用于測試.對于任務(wù)1-5,提供了包含對話的第二測試集 (具有后綴-OOV.txt),所述對話包括訓(xùn)練和開發(fā)集中不存在的實(shí)體.任務(wù)6 由真實(shí)的人機(jī)對話生成,其數(shù)據(jù)來自第二對話狀態(tài)跟蹤挑戰(zhàn)[18].DSTC2數(shù)據(jù)集最初是為對話狀態(tài)跟蹤而設(shè)計(jì)的 (每一輪都標(biāo)有狀態(tài):用戶意圖+插槽).因此,為了評估端到端模型的性能,文獻(xiàn)[15]將該數(shù)據(jù)集轉(zhuǎn)換為與上述5 個(gè)任務(wù)格式相同的第6 個(gè)任務(wù).任務(wù)6 與前5 個(gè)任務(wù)具有類似的統(tǒng)計(jì)信息,由于其包含部分語音識別錯誤并且存在噪聲信息,因此具有更高的難度.

    3.2 實(shí)驗(yàn)結(jié)果

    bAbI 對話數(shù)據(jù)集主要指標(biāo)是每輪響應(yīng)準(zhǔn)確率,即每次對話機(jī)器人回復(fù)正確的輪次占所有對話輪次的比例.本文選取監(jiān)督詞向量(LTR-SEM)[15]、循環(huán)端到端記憶網(wǎng)絡(luò)(MEMR)[13]作為與多注意力記憶網(wǎng)絡(luò)(MEMMA)比較的標(biāo)準(zhǔn).如圖5左側(cè)所示為每輪響應(yīng)準(zhǔn)確率的比較,LTR-SEM 除T1 外準(zhǔn)確率均低于MEMR和MEMMA,在T1,T2,T2-OOV,T3,T3-OOV這五個(gè)任務(wù)上MEMR和MEMMA 的表現(xiàn)相近,其中T1和T2 兩個(gè)對話任務(wù)兩個(gè)模型都獲得100%的準(zhǔn)確率,但是在T1-OOV,T4,T4-OOV,T5,T5-OOV 這5 個(gè)任務(wù)上,本文提出的模型表現(xiàn)優(yōu)于MEMR,在所有10 個(gè)任務(wù)上的平均準(zhǔn)確率提高了1.65%.在每輪對話時(shí)可以添加匹配特征,包括對話輪次的時(shí)間信息和對話發(fā)起者(機(jī)器人或用戶),添加匹配特征的方法后,MEMR和MEMMA 關(guān)于每輪響應(yīng)準(zhǔn)確率的比較結(jié)果如圖5右側(cè)所示,在T1,T3,T4,T4-OOV 這4 個(gè)任務(wù)上二者的表現(xiàn)相近,其中T1,T3,T4-OOV 都取得了100%的準(zhǔn)確率,而MEMMA 在T2,T2-OOV,T3-OOV,T5,T5-OOV 這5 個(gè)任務(wù)上的準(zhǔn)確率都高于MEMR,在所有10 個(gè)任務(wù)上的平均準(zhǔn)確率,前者比后者高1.46%.第6 個(gè)任務(wù)來自真實(shí)對話場景的數(shù)據(jù),該數(shù)據(jù)中包含語音識別的錯誤和噪音,同時(shí)又因?yàn)槠鋸奶畈蹖υ捴修D(zhuǎn)換為端到端的類型,任務(wù)整體難度更大.在該任務(wù)上的實(shí)驗(yàn)結(jié)果如表1所示,在每輪對話回復(fù)準(zhǔn)確率的比較上,MEMMA 比LTR-SEM和MEMR 分別提高18.5%和1.4%;在添加匹配特征后的比較中,MEMMA 相比MEMR 在每輪回復(fù)準(zhǔn)確率上高2.6%.實(shí)驗(yàn)結(jié)果表明,在多輪對話的建模中,本文提出的M E M M A 比MEMR 更加有效.

    圖5 左側(cè)為每輪回復(fù)準(zhǔn)確率比較,右側(cè)為添加匹配特征的的每輪回復(fù)準(zhǔn)確率比較

    多注意力記憶網(wǎng)絡(luò)具有相對簡單的并行結(jié)構(gòu),為了驗(yàn)證其有助于提高計(jì)算效率,針對循環(huán)端到端記憶網(wǎng)絡(luò)[13]和本文提出的網(wǎng)絡(luò),我們選取二者在相同實(shí)驗(yàn)環(huán)境下的訓(xùn)練時(shí)間進(jìn)行比較.實(shí)驗(yàn)結(jié)果如表2所示,取200 次迭代訓(xùn)練的時(shí)間 (重復(fù)10 次取平均值)作為比較基準(zhǔn),在全部11 個(gè)任務(wù)中,本文提出的網(wǎng)絡(luò)所需的訓(xùn)練時(shí)間相比MEMR 均有所減少.實(shí)驗(yàn)結(jié)果表明,本文提出的多注意力記憶網(wǎng)絡(luò)大約提升了50%的計(jì)算效率,這是因?yàn)閷τ诮o定一個(gè)長度為n的序列,循環(huán)結(jié)構(gòu)的注意力執(zhí)行序列操作的時(shí)間復(fù)雜度是 O(n),而并行的多注意力機(jī)制執(zhí)行序列操作只需要常數(shù)級的時(shí)間復(fù)雜度O (1).

    表1 任務(wù)6 即DSTC2 數(shù)據(jù)上的每輪回復(fù)準(zhǔn)確率比較

    表2 模型訓(xùn)練時(shí)間的比較(單位:s)

    4 相關(guān)工作

    在大多數(shù)NLP 任務(wù)中,例如機(jī)器翻譯,文本分類和對話建模[8,9,19],現(xiàn)有工作已經(jīng)證明循環(huán)或門控網(wǎng)絡(luò)和自注意力機(jī)制的結(jié)合可以有效地進(jìn)行語言建模.這種序列對齊的循環(huán)結(jié)構(gòu)使得其難以解決計(jì)算效率、梯度消失和長期依賴性的問題.最近,一系列語言建模和語言理解專注于記憶類網(wǎng)絡(luò).記憶類網(wǎng)絡(luò)可以通過學(xué)習(xí)讀寫內(nèi)容來推理長期記憶模塊,并且已被廣泛應(yīng)用,如語言建模[11],問答[13,14]和多輪對話[15].相關(guān)的工作最早提出的是非端到端的記憶網(wǎng)絡(luò),這種結(jié)構(gòu)依賴額外的強(qiáng)監(jiān)督信息輸入,所以并不是端到端的[20].后來的工作改進(jìn)了記憶網(wǎng)絡(luò)的組件,例如,讀,寫和記憶模塊.一些研究使用動態(tài)記憶機(jī)制來調(diào)節(jié)記憶的相互作用,但它具有代價(jià)較高的的手工特征功能和較復(fù)雜的循環(huán)或門控結(jié)構(gòu)[13,14].本文提出基于多注意力機(jī)制[9]的記憶網(wǎng)絡(luò),整體結(jié)構(gòu)與記憶類網(wǎng)絡(luò)類似,包含可供讀寫的記憶單元,但與現(xiàn)有記憶網(wǎng)絡(luò)的不同之處在于:1)使用并行的多注意力機(jī)制代替循環(huán)注意力機(jī)制,結(jié)構(gòu)較簡單可以提高計(jì)算效率,同時(shí)可以更有效地捕獲全局依賴關(guān)系;2)未依賴額外的監(jiān)督信息或先驗(yàn)知識,可以進(jìn)行端到端的訓(xùn)練.

    在神經(jīng)網(wǎng)絡(luò)優(yōu)化的背景下,梯度消失問題已經(jīng)被研究了很長時(shí)間[21],文獻(xiàn)[16]提出了一種用于圖像識別的殘差連接(residual connections),已被證明可有效地克服消失梯度問題.類似的工作是Highway Network采用可微分的門控機(jī)制[17].本文引入捷徑連接機(jī)制,將多個(gè)多注意力層與捷徑連接相結(jié)合構(gòu)建疊加的多層重復(fù)結(jié)構(gòu).

    5 結(jié)論

    本文提出一種多注意力記憶網(wǎng)絡(luò)來對聊天機(jī)器人進(jìn)行多輪對話的建模和推理.具體而言,首先采用關(guān)注不同對話輪次重要信息的多注意力機(jī)制對會話語境和歷史記憶進(jìn)行建模,該機(jī)制具有相對簡單和并行的結(jié)構(gòu).然后提出了具有捷徑連接的疊加多層推理結(jié)構(gòu).與現(xiàn)有方法相比,本文提出的網(wǎng)絡(luò)不依賴于代價(jià)較大的附加監(jiān)督信息或先驗(yàn)知識,提供了一種更為簡潔的端到端方式.通過在bAbI 數(shù)據(jù)集所有11 個(gè)任務(wù)上的實(shí)驗(yàn)表明,多注意力記憶網(wǎng)絡(luò)可以有效地建模和推理多輪對話交互,性能優(yōu)于循環(huán)端到端記憶網(wǎng)絡(luò).

    猜你喜歡
    注意力準(zhǔn)確率向量
    向量的分解
    讓注意力“飛”回來
    乳腺超聲檢查診斷乳腺腫瘤的特異度及準(zhǔn)確率分析
    健康之家(2021年19期)2021-05-23 11:17:39
    不同序列磁共振成像診斷脊柱損傷的臨床準(zhǔn)確率比較探討
    2015—2017 年寧夏各天氣預(yù)報(bào)參考產(chǎn)品質(zhì)量檢驗(yàn)分析
    聚焦“向量與三角”創(chuàng)新題
    高速公路車牌識別標(biāo)識站準(zhǔn)確率驗(yàn)證法
    “揚(yáng)眼”APP:讓注意力“變現(xiàn)”
    傳媒評論(2017年3期)2017-06-13 09:18:10
    A Beautiful Way Of Looking At Things
    向量垂直在解析幾何中的應(yīng)用
    日韩精品有码人妻一区| 美女大奶头黄色视频| 日韩在线高清观看一区二区三区| 国产亚洲精品第一综合不卡 | 亚洲美女搞黄在线观看| 热re99久久精品国产66热6| 人妻人人澡人人爽人人| freevideosex欧美| 亚洲精品乱码久久久久久按摩| 高清黄色对白视频在线免费看| 久久国产精品大桥未久av| 国产在线免费精品| 午夜福利,免费看| 免费少妇av软件| 国产在线一区二区三区精| 在线免费观看不下载黄p国产| 国产成人免费无遮挡视频| 狂野欧美激情性xxxx在线观看| 中国三级夫妇交换| 免费播放大片免费观看视频在线观看| 亚洲av中文av极速乱| 日本-黄色视频高清免费观看| 国产不卡av网站在线观看| 亚洲三级黄色毛片| 丁香六月天网| 久久国产精品大桥未久av| 看十八女毛片水多多多| 欧美老熟妇乱子伦牲交| 欧美精品高潮呻吟av久久| 女人被躁到高潮嗷嗷叫费观| 黄网站色视频无遮挡免费观看| 国产精品嫩草影院av在线观看| 国产1区2区3区精品| 久久综合国产亚洲精品| 亚洲欧洲日产国产| 又粗又硬又长又爽又黄的视频| 最新中文字幕久久久久| 九色成人免费人妻av| 亚洲一码二码三码区别大吗| 国产在线免费精品| 捣出白浆h1v1| 国产av一区二区精品久久| 国产色爽女视频免费观看| 熟女电影av网| 日韩熟女老妇一区二区性免费视频| 91精品三级在线观看| 久久亚洲国产成人精品v| av视频免费观看在线观看| 日韩电影二区| 久久狼人影院| 日本欧美视频一区| av在线老鸭窝| 国产日韩欧美亚洲二区| av线在线观看网站| 亚洲精品456在线播放app| 热re99久久精品国产66热6| 三级国产精品片| 亚洲精品第二区| 亚洲欧美中文字幕日韩二区| 欧美国产精品va在线观看不卡| 性色avwww在线观看| 99九九在线精品视频| 久久韩国三级中文字幕| 最近中文字幕高清免费大全6| 国产精品一区二区在线不卡| 青春草亚洲视频在线观看| 男女国产视频网站| 久久人人爽av亚洲精品天堂| 2018国产大陆天天弄谢| 亚洲成国产人片在线观看| 免费不卡的大黄色大毛片视频在线观看| 国产成人91sexporn| 日本wwww免费看| 国产一区二区在线观看日韩| 日韩中字成人| 亚洲国产av新网站| 成人国产麻豆网| 多毛熟女@视频| 又粗又硬又长又爽又黄的视频| 国产国拍精品亚洲av在线观看| 一级片'在线观看视频| 国产精品国产三级国产av玫瑰| 我的女老师完整版在线观看| 最近最新中文字幕免费大全7| 桃花免费在线播放| 亚洲国产欧美在线一区| 一本色道久久久久久精品综合| 久久久久视频综合| 爱豆传媒免费全集在线观看| 在线观看三级黄色| 2018国产大陆天天弄谢| 一级片'在线观看视频| 日韩av免费高清视频| 97在线视频观看| 一级毛片电影观看| 成人漫画全彩无遮挡| 成人影院久久| 亚洲av电影在线观看一区二区三区| 欧美精品一区二区大全| 大话2 男鬼变身卡| 国产免费福利视频在线观看| 一级,二级,三级黄色视频| 国产精品国产三级专区第一集| 免费高清在线观看视频在线观看| 一区二区三区精品91| av免费观看日本| 国产国语露脸激情在线看| 久久久久精品久久久久真实原创| 亚洲国产av影院在线观看| 99热网站在线观看| 亚洲精品乱久久久久久| 一级a做视频免费观看| 伦理电影免费视频| 综合色丁香网| 毛片一级片免费看久久久久| 王馨瑶露胸无遮挡在线观看| 性色avwww在线观看| 国产精品久久久久成人av| 下体分泌物呈黄色| 水蜜桃什么品种好| 国产无遮挡羞羞视频在线观看| 久久久久久人人人人人| 久久久久久久大尺度免费视频| 久久久久久久国产电影| 国产乱人偷精品视频| av在线老鸭窝| 国产又色又爽无遮挡免| 久久久精品免费免费高清| a级片在线免费高清观看视频| 人人妻人人爽人人添夜夜欢视频| 免费大片黄手机在线观看| 久久久久久久久久人人人人人人| 插逼视频在线观看| 天天躁夜夜躁狠狠久久av| 2022亚洲国产成人精品| 中文欧美无线码| 人人妻人人澡人人看| 中文精品一卡2卡3卡4更新| 91久久精品国产一区二区三区| 观看美女的网站| 好男人视频免费观看在线| 一本大道久久a久久精品| 女性被躁到高潮视频| 99热这里只有是精品在线观看| 亚洲精品456在线播放app| 久久精品国产a三级三级三级| 久久久国产欧美日韩av| 精品一区二区三卡| 午夜免费男女啪啪视频观看| 欧美人与善性xxx| 国产av码专区亚洲av| 欧美精品一区二区大全| 国产精品偷伦视频观看了| av福利片在线| 极品人妻少妇av视频| 成人国语在线视频| 欧美国产精品一级二级三级| 免费大片18禁| 午夜福利视频精品| 中文字幕精品免费在线观看视频 | 亚洲国产精品999| 五月开心婷婷网| 精品熟女少妇av免费看| 日韩av不卡免费在线播放| 久久99精品国语久久久| 观看av在线不卡| 精品久久蜜臀av无| 人人妻人人添人人爽欧美一区卜| 久久午夜福利片| 女性被躁到高潮视频| 国产精品久久久久久精品古装| av在线老鸭窝| 午夜福利,免费看| 99视频精品全部免费 在线| 视频在线观看一区二区三区| 国产欧美日韩综合在线一区二区| xxx大片免费视频| 中国国产av一级| 国语对白做爰xxxⅹ性视频网站| 日韩一区二区三区影片| 精品亚洲乱码少妇综合久久| 日韩成人伦理影院| 九九在线视频观看精品| 只有这里有精品99| 国产成人免费观看mmmm| 久久午夜综合久久蜜桃| 日韩欧美精品免费久久| 国产精品国产三级国产专区5o| 九九爱精品视频在线观看| 久热这里只有精品99| 免费大片黄手机在线观看| 边亲边吃奶的免费视频| 国产极品粉嫩免费观看在线| xxx大片免费视频| xxxhd国产人妻xxx| 日本欧美国产在线视频| 久久久久久人人人人人| 夜夜爽夜夜爽视频| 捣出白浆h1v1| 精品福利永久在线观看| 亚洲av成人精品一二三区| 丰满乱子伦码专区| 亚洲成人手机| 99热全是精品| 国产色爽女视频免费观看| 亚洲成av片中文字幕在线观看 | 色婷婷av一区二区三区视频| 一级毛片电影观看| 精品国产国语对白av| 在线观看www视频免费| 亚洲国产毛片av蜜桃av| 久久久久精品人妻al黑| 寂寞人妻少妇视频99o| 99香蕉大伊视频| 国产国拍精品亚洲av在线观看| 男男h啪啪无遮挡| 欧美成人午夜精品| 国产高清三级在线| 国产探花极品一区二区| 一级片免费观看大全| 精品久久久久久电影网| 9色porny在线观看| 老司机影院成人| 久久久久久久大尺度免费视频| 久久这里有精品视频免费| 成人免费观看视频高清| 视频在线观看一区二区三区| 一本—道久久a久久精品蜜桃钙片| 中国国产av一级| 亚洲欧美中文字幕日韩二区| 久久精品国产亚洲av天美| 免费在线观看完整版高清| 亚洲一码二码三码区别大吗| 一区在线观看完整版| 国产视频首页在线观看| 最后的刺客免费高清国语| 婷婷色av中文字幕| 成人午夜精彩视频在线观看| 亚洲人成77777在线视频| 中文欧美无线码| 大片电影免费在线观看免费| 久久国产亚洲av麻豆专区| 少妇人妻精品综合一区二区| 国产色爽女视频免费观看| 岛国毛片在线播放| 国产 一区精品| 精品一区在线观看国产| 国产亚洲精品久久久com| 国产爽快片一区二区三区| 欧美变态另类bdsm刘玥| 午夜福利网站1000一区二区三区| 日韩伦理黄色片| 成人漫画全彩无遮挡| 美女国产高潮福利片在线看| 国产精品麻豆人妻色哟哟久久| 成人亚洲欧美一区二区av| 日本av免费视频播放| 91久久精品国产一区二区三区| 老司机亚洲免费影院| 日韩制服丝袜自拍偷拍| 人妻一区二区av| 交换朋友夫妻互换小说| 国产欧美另类精品又又久久亚洲欧美| 少妇猛男粗大的猛烈进出视频| 国产日韩欧美视频二区| 亚洲国产看品久久| 色94色欧美一区二区| 99热国产这里只有精品6| 欧美日韩视频高清一区二区三区二| 丝袜脚勾引网站| 精品国产一区二区三区四区第35| 国产精品久久久久久久电影| 亚洲欧洲国产日韩| 国产av国产精品国产| 韩国高清视频一区二区三区| 精品人妻在线不人妻| 亚洲av欧美aⅴ国产| 成人国产av品久久久| 极品人妻少妇av视频| 免费观看性生交大片5| 韩国高清视频一区二区三区| 精品人妻在线不人妻| 亚洲欧美一区二区三区黑人 | 欧美日韩视频精品一区| 青春草亚洲视频在线观看| 三级国产精品片| 18禁国产床啪视频网站| 欧美精品人与动牲交sv欧美| 一边亲一边摸免费视频| 国语对白做爰xxxⅹ性视频网站| 久久人人97超碰香蕉20202| 在线精品无人区一区二区三| 欧美日韩成人在线一区二区| 激情五月婷婷亚洲| 丝袜脚勾引网站| 国产又爽黄色视频| 国产熟女欧美一区二区| 成人国语在线视频| 又黄又粗又硬又大视频| 丁香六月天网| 99国产综合亚洲精品| 亚洲伊人久久精品综合| 精品卡一卡二卡四卡免费| 久久久久久人人人人人| 久久精品国产亚洲av涩爱| 如日韩欧美国产精品一区二区三区| 亚洲精品国产色婷婷电影| 亚洲五月色婷婷综合| 精品视频人人做人人爽| 成人毛片a级毛片在线播放| 九色成人免费人妻av| 在线 av 中文字幕| 亚洲国产毛片av蜜桃av| 在线看a的网站| 在线观看三级黄色| 久久久久网色| 男人添女人高潮全过程视频| 成人毛片60女人毛片免费| 五月玫瑰六月丁香| 在现免费观看毛片| 欧美精品高潮呻吟av久久| 狠狠婷婷综合久久久久久88av| 色婷婷av一区二区三区视频| 日韩免费高清中文字幕av| 丝袜喷水一区| 国产69精品久久久久777片| 久久这里有精品视频免费| a级毛片在线看网站| 欧美精品av麻豆av| 99热这里只有是精品在线观看| 欧美老熟妇乱子伦牲交| 蜜臀久久99精品久久宅男| 国产亚洲最大av| 麻豆乱淫一区二区| 国产毛片在线视频| 91aial.com中文字幕在线观看| 久久人人爽av亚洲精品天堂| 亚洲成人一二三区av| 欧美日本中文国产一区发布| 26uuu在线亚洲综合色| 久久韩国三级中文字幕| 国产在线一区二区三区精| 亚洲人成77777在线视频| 日韩大片免费观看网站| 老司机影院成人| 人妻 亚洲 视频| 欧美亚洲 丝袜 人妻 在线| 黑人欧美特级aaaaaa片| 飞空精品影院首页| 久久久久久久久久久免费av| 国产成人91sexporn| 又黄又粗又硬又大视频| 国产淫语在线视频| 国产极品天堂在线| 亚洲精品久久午夜乱码| 高清毛片免费看| 全区人妻精品视频| av又黄又爽大尺度在线免费看| 亚洲国产精品成人久久小说| 久久久精品免费免费高清| 汤姆久久久久久久影院中文字幕| 欧美日韩视频高清一区二区三区二| 国产精品久久久久久久久免| 国产精品.久久久| 美女国产视频在线观看| av不卡在线播放| 精品国产一区二区三区四区第35| 中文天堂在线官网| 伦理电影免费视频| 国产乱来视频区| 久久久久久久久久成人| 免费在线观看黄色视频的| 成人无遮挡网站| 国产xxxxx性猛交| 久久免费观看电影| 黑人欧美特级aaaaaa片| 中文字幕亚洲精品专区| 国产av码专区亚洲av| 国产精品欧美亚洲77777| 久久精品久久久久久久性| 国产成人精品福利久久| av免费在线看不卡| 久久久久网色| 亚洲国产精品999| 亚洲国产av新网站| 在现免费观看毛片| 热99久久久久精品小说推荐| 波多野结衣一区麻豆| 91精品伊人久久大香线蕉| 又黄又爽又刺激的免费视频.| 婷婷色麻豆天堂久久| 免费观看无遮挡的男女| 国产亚洲av片在线观看秒播厂| 人成视频在线观看免费观看| 人人澡人人妻人| 久久精品国产亚洲av天美| 男女免费视频国产| 国产精品一区二区在线不卡| 久久人人97超碰香蕉20202| 免费女性裸体啪啪无遮挡网站| 色哟哟·www| 蜜桃国产av成人99| 国产精品一区二区在线观看99| 啦啦啦在线观看免费高清www| 黄网站色视频无遮挡免费观看| 国产一区二区激情短视频 | 国产欧美日韩一区二区三区在线| 欧美最新免费一区二区三区| 啦啦啦在线观看免费高清www| 在线免费观看不下载黄p国产| 波野结衣二区三区在线| 国产亚洲午夜精品一区二区久久| 欧美3d第一页| 老司机影院毛片| 精品第一国产精品| 内地一区二区视频在线| 成年美女黄网站色视频大全免费| √禁漫天堂资源中文www| 欧美丝袜亚洲另类| 国产精品一区二区在线观看99| 精品久久国产蜜桃| 欧美成人精品欧美一级黄| 色94色欧美一区二区| 国产成人免费观看mmmm| 色婷婷久久久亚洲欧美| 人妻 亚洲 视频| av免费观看日本| 丰满少妇做爰视频| 国产又爽黄色视频| 汤姆久久久久久久影院中文字幕| 人人妻人人添人人爽欧美一区卜| 欧美成人精品欧美一级黄| 国产成人精品福利久久| 菩萨蛮人人尽说江南好唐韦庄| 9191精品国产免费久久| 一级爰片在线观看| 中文天堂在线官网| 精品一区在线观看国产| 婷婷色av中文字幕| 久久久久久久久久人人人人人人| 日韩三级伦理在线观看| 一二三四在线观看免费中文在 | www.色视频.com| 王馨瑶露胸无遮挡在线观看| 国产一区有黄有色的免费视频| 伊人亚洲综合成人网| 久久人人爽av亚洲精品天堂| 韩国精品一区二区三区 | 一级毛片电影观看| 丰满饥渴人妻一区二区三| 女人久久www免费人成看片| 精品午夜福利在线看| 国产乱来视频区| 波野结衣二区三区在线| 黄色一级大片看看| 99热网站在线观看| 9热在线视频观看99| 亚洲精品美女久久久久99蜜臀 | 日日啪夜夜爽| 国产女主播在线喷水免费视频网站| 中国国产av一级| 丝瓜视频免费看黄片| 男女啪啪激烈高潮av片| 免费观看无遮挡的男女| 欧美变态另类bdsm刘玥| av片东京热男人的天堂| 亚洲五月色婷婷综合| 国产av精品麻豆| 两个人看的免费小视频| 久久精品熟女亚洲av麻豆精品| av免费观看日本| 老司机影院成人| 国产免费现黄频在线看| 久久久久人妻精品一区果冻| tube8黄色片| 99香蕉大伊视频| 国产精品一区www在线观看| 人人妻人人澡人人爽人人夜夜| 在线观看国产h片| 男女午夜视频在线观看 | 少妇熟女欧美另类| 九九在线视频观看精品| 青青草视频在线视频观看| 亚洲三级黄色毛片| 少妇人妻 视频| 人妻系列 视频| 满18在线观看网站| 午夜福利视频精品| 日本91视频免费播放| 中文欧美无线码| 国产 精品1| 精品国产一区二区三区久久久樱花| 久久人人爽av亚洲精品天堂| 亚洲国产毛片av蜜桃av| 久久精品国产自在天天线| 狂野欧美激情性bbbbbb| 免费观看av网站的网址| 91在线精品国自产拍蜜月| 午夜福利乱码中文字幕| 我的女老师完整版在线观看| 久久精品久久久久久久性| 久久久久久久久久久久大奶| av国产久精品久网站免费入址| 国产精品不卡视频一区二区| 久久人人爽人人爽人人片va| 男人舔女人的私密视频| 黄片无遮挡物在线观看| 国内精品宾馆在线| 色网站视频免费| 91在线精品国自产拍蜜月| 亚洲人成网站在线观看播放| 久久久国产一区二区| 亚洲图色成人| 哪个播放器可以免费观看大片| 97人妻天天添夜夜摸| 一级毛片黄色毛片免费观看视频| 国精品久久久久久国模美| 少妇的逼水好多| 中文精品一卡2卡3卡4更新| 伊人久久国产一区二区| 少妇被粗大猛烈的视频| 久久久精品区二区三区| 男的添女的下面高潮视频| 亚洲精品国产av成人精品| 看免费成人av毛片| 在线观看国产h片| 久久精品aⅴ一区二区三区四区 | www.av在线官网国产| 国产日韩一区二区三区精品不卡| 欧美精品高潮呻吟av久久| 精品一区二区免费观看| 蜜桃国产av成人99| 日产精品乱码卡一卡2卡三| 国产片特级美女逼逼视频| 精品国产一区二区三区久久久樱花| 黄色毛片三级朝国网站| 精品少妇黑人巨大在线播放| 两个人看的免费小视频| 80岁老熟妇乱子伦牲交| 又粗又硬又长又爽又黄的视频| 精品亚洲成a人片在线观看| 一区二区av电影网| 丝袜在线中文字幕| 成人手机av| 久久99热6这里只有精品| 亚洲av欧美aⅴ国产| 成年人午夜在线观看视频| 亚洲第一区二区三区不卡| 热re99久久国产66热| 免费大片黄手机在线观看| 午夜免费鲁丝| 国产精品不卡视频一区二区| 男女高潮啪啪啪动态图| 久热这里只有精品99| 亚洲av福利一区| 久久久a久久爽久久v久久| 亚洲国产精品专区欧美| 黑人巨大精品欧美一区二区蜜桃 | 99热全是精品| 母亲3免费完整高清在线观看 | 一区二区av电影网| 国产爽快片一区二区三区| av福利片在线| 久热久热在线精品观看| 欧美亚洲 丝袜 人妻 在线| 麻豆乱淫一区二区| 久久免费观看电影| 在现免费观看毛片| av.在线天堂| 精品久久久精品久久久| 99国产综合亚洲精品| 99久久综合免费| 黑丝袜美女国产一区| 最后的刺客免费高清国语| 精品国产一区二区三区久久久樱花| 久久午夜福利片| 久久国产精品大桥未久av| 日日摸夜夜添夜夜爱| 少妇高潮的动态图| 高清不卡的av网站| 成人免费观看视频高清| 午夜福利视频精品| 90打野战视频偷拍视频| 亚洲成人手机| 久久女婷五月综合色啪小说| 国产精品久久久久久av不卡| 国产在线免费精品| 热re99久久国产66热| 黑丝袜美女国产一区| 美国免费a级毛片| 99精国产麻豆久久婷婷| 亚洲国产最新在线播放| 99视频精品全部免费 在线| 午夜老司机福利剧场| 老司机影院毛片| 最后的刺客免费高清国语| 国产有黄有色有爽视频| 国产亚洲精品久久久com| 亚洲第一区二区三区不卡| 国产老妇伦熟女老妇高清| 男女下面插进去视频免费观看 | 国产av精品麻豆| 亚洲综合精品二区| 国产av码专区亚洲av| 又黄又粗又硬又大视频| 天堂中文最新版在线下载| 国产精品熟女久久久久浪| 国产成人精品久久久久久| 男人爽女人下面视频在线观看| av.在线天堂| 久久久久精品性色| 成人毛片60女人毛片免费| 国产精品99久久99久久久不卡 | 国产老妇伦熟女老妇高清| 男的添女的下面高潮视频|