基于多信息感知的多方對話問答方法

高曉倩 周夏冰 張民

北京大學(xué)學(xué)報(自然科學(xué)版) 第59卷 第1期 2023年1月

Acta Scientiarum Naturalium Universitatis Pekinensis, Vol. 59, No. 1 (Jan. 2023)

10.13209/j.0479-8023.2022.069

國家自然科學(xué)基金(62176174)和江蘇高校優(yōu)勢學(xué)科建設(shè)工程項目資助

2022-05-13;

2022-08-05

基于多信息感知的多方對話問答方法

高曉倩 周夏冰?張民

蘇州大學(xué)計算機科學(xué)與技術(shù)學(xué)院, 蘇州 215000; ? 通信作者, E-mail: zhouxiabing@suda.edu.cn

目前基于多方對話文本的自動問答任務(wù)側(cè)重于探索對話結(jié)構(gòu)信息或說話者角色信息, 忽視問題文本和對話文本的交互。針對這一問題, 提出一個融合多信息的全新模型。該模型使用圖卷積神經(jīng)網(wǎng)絡(luò), 對多方對話文本中的話語結(jié)構(gòu)、說話者角色以及問題–上下文信息進行分層次建模, 并設(shè)計合理的基于注意力機制的交互層, 通過選擇更有幫助的信息, 加強對多方對話文本的理解。此外, 該模型首次對問題和上下文間的顯式交互給予關(guān)注。實驗結(jié)果表明, 所提模型的性能優(yōu)于多個基線模型, 實現(xiàn)對多方對話文本的深層次理解。

多方對話; 自動問答; 圖卷積網(wǎng)絡(luò); 注意力機制

自動問答(question answering, QA)任務(wù)通過理解相關(guān)上下文進行問題解答。根據(jù)上下文類型的不同, QA 任務(wù)大致可分為基于文本的問答(document based question answering, DQA)[1–2]、基于結(jié)構(gòu)化數(shù)據(jù)的知識庫問答[3]以及基于圖片或視頻信息的視覺問答[4]等。早期的 DQA 任務(wù)主要基于段落式文本, 通過理解語義連貫的段落或篇章來回答給定問題。隨著大量可用數(shù)據(jù)集的發(fā)布[5–8], 基于對話文本的自動問答任務(wù)逐漸受到關(guān)注, 該任務(wù)旨在讓模型理解對話并回答與對話上下文有關(guān)的問題。早期的工作側(cè)重從雙方對話中通過提取與問題相關(guān)的證據(jù)進行答案預(yù)測。Niu 等[9]使用自訓(xùn)練的方法, 在非抽取式且不帶證據(jù)標簽的數(shù)據(jù)集上進行證據(jù)提取器的訓(xùn)練, 獲得預(yù)測答案。Perez 等[10]通過在兩方對話文本上訓(xùn)練一個強有力的證據(jù)提取器來提高模型的答案預(yù)測能力。

作為自然語言處理中的一個重要課題, 基于多方對話文本的自動問答任務(wù)(question answering in multi-party conversation, QAMC)也受到越來越多的關(guān)注。相較于兩方對話[7–8], 多方對話文本具有至少 3 個對話者, 他們具備各自的語言風(fēng)格和對話目的, 并且對話者的發(fā)言順序不具有輪換規(guī)律, 這會帶來更分散的信息分布和更頻繁的指代。為了進一步說明 QAMC 任務(wù)的挑戰(zhàn)性, 本文從 Molweni數(shù)據(jù)集[6]中抽取一個對話示例, 如圖 1 所示。為了解答示例中的問題 Q, 模型需首先找出 Q 與 U3 的關(guān)系, 然后利用 U3 與 U2 之間的話語依賴, 解決“you”帶來的共指問題。其次, 模型需鎖定說話者“djjason” 的系列話語, 并從中探索與 U3 存在話語依賴的語句, 最后將關(guān)注點放在 U4 上完成預(yù)測。可以看出, 相比于傳統(tǒng)基于段落式文本的問答任務(wù), QAMC 任務(wù)包含更多的信息感知和推理。

近年來在 QAMC 任務(wù)中出現(xiàn)很多新技術(shù)的探索。Shi 等[11]提出面向多方對話文本的話語結(jié)構(gòu)解析工具, He 等[12]提出多任務(wù)學(xué)習(xí)對話語結(jié)構(gòu)解析任務(wù)和 QA 任務(wù)聯(lián)合建模, Gu 等[13]提出的 SA-BERT 模型主要關(guān)注特定對話者的信息。Liu 等[14]提出基于說話者的掩碼自注意力機制, 通過兩個互補的掩碼矩陣以及恰當?shù)男畔⒕酆戏绞? 在字符級別上對文本進行理解。這些工作極大地促進了 QAMC 任務(wù)的發(fā)展, 但是它們只關(guān)注特定對話者角色感知的信息或話語結(jié)構(gòu)信息, 在處理問題文本時, 將其與對話文本進行拼接, 然后使用預(yù)訓(xùn)練語言模型統(tǒng)一編碼, 進行特征提取, 未關(guān)注問題文本和對話文本的交互。從圖 1 的示例中可以發(fā)現(xiàn), 模型需要對話語結(jié)構(gòu)、說話者角色感知以及問題–上下文感知等多方信息進行建模, 才能夠更加全面地理解多方對話文本。

本文針對 QAMC 任務(wù), 提出一個融合多方信息的模型 Dis-QueGCN (both discourse- and question-aware graph convolutional network, Dis-QueGCN),利用圖卷積神經(jīng)網(wǎng)絡(luò), 對對話文本和問題文本之間的細粒度交互信息進行分層次建模。最后, 在Molweni 數(shù)據(jù)集上進行實驗, 結(jié)果表明本文提出的模型性能優(yōu)于強大的基線模型。

1 結(jié)構(gòu)化建模方法

本文提出的 Dis-QueGCN 模型如圖 2 所示。模型分為 4 個分層模塊: 輸入編碼層、對話理解層、信息交互層和答案預(yù)測層。其中, 輸入編碼層使用BERT 作為編碼器進行字符級特征提取[15], 對話理解層應(yīng)用圖卷積神經(jīng)網(wǎng)絡(luò), 對多方對話文本進行分層次建模[16], 信息交互層使用注意力機制, 為字符級特征分別融入多層次的話語級特征, 答案預(yù)測層對交互后的分層次信息進行拼接融合, 并預(yù)測答案 區(qū)間。

1.1 問題定義

圖1 多方對話示例

圖2 Dis-QueGCN模型框架

1.2 輸入編碼層

由于預(yù)訓(xùn)練語言模型在各類任務(wù)中的出色表現(xiàn)[17–18], 本文使用一種基于 Transformer 結(jié)構(gòu)的雙向編碼器 BERT 來獲得字符級上下文特征表示[19]。為了更好地學(xué)習(xí)上下文表示, BERT 的預(yù)訓(xùn)練采用兩個子任務(wù): 掩碼語言建模和下一句預(yù)測任務(wù)。

首先將對話中個獨立的話語單元U進行拼接, 并在句首對問題進行拼接。接著在句首和單個話語單元U的句尾分別插入[CLS]標識符和[SEP]分隔符, 將輸入處理成[CLS][SEP]0[SEP0]1[SEP1]...U[SEP]形式后輸入 BERT, 經(jīng)過編碼可以得到初始化的上下文表示=R×Dim。其中,表示輸入序列的長度, Dim 表示隱藏狀態(tài)的維度。

1.3 對話理解層

對話理解層包含話語結(jié)構(gòu)感知圖、說話者角色感知圖和問題–上下文感知圖。話語結(jié)構(gòu)感知圖對對話文本之間的結(jié)構(gòu)關(guān)系進行建模, 說話者角色感知圖主要關(guān)注特定說話者的信息, 問題–上下文感知圖對問題文本和對話文本進行顯式建模。三幅圖從不同層面對多方對話文本進行分層次建模。

1.3.1 話語結(jié)構(gòu)感知圖

說話者角色的復(fù)雜轉(zhuǎn)換打破了原有段落式文本的一致性, 從而導(dǎo)致話語之間的相互關(guān)系錯綜復(fù)雜。本文構(gòu)建一幅有向圖d= {d,d,d}來建模對話文本中的話語結(jié)構(gòu)。其中d,d和d分別代表話語結(jié)構(gòu)感知圖中的頂點集合、邊集合和關(guān)系集合。

本文使用兩步圖卷積操作, 將話語結(jié)構(gòu)信息融合進字符級特征向量中, 信息融合的計算方式[16]如下:

1.3.2 說話者角色感知圖

為了捕捉特定于說話者的信息, 本文構(gòu)建一幅有向圖s={s,s,s}來建模對話文本中基于說話者的信息流動。

與話語結(jié)構(gòu)感知圖d的計算方式相同, 最終得到融合了說話者角色感知信息的特征向量s=(N+1)×Dim。

1.3.3 問題–上下文感知圖

為了設(shè)計問題與對話文本之間的交互, 本文對Molweni 數(shù)據(jù)集中明確提到說話者的問題比例進行統(tǒng)計, 結(jié)果如表 1 所示?？梢钥闯? 在訓(xùn)練集、驗證集和測試集上均有超過 50%的問題明確提及說話者。本文構(gòu)建一幅有向圖q= {q,q,q}, 對問題信息和上下文信息進行結(jié)構(gòu)化建模。

2)邊: 本文以question作為根節(jié)點, 首先建立一條根節(jié)點上的自回路question→question來加強問題文本自身間的交互。然后, 對于問題中提及的說話者S, 從節(jié)點question向所屬該說話者的話語節(jié)點建立有向邊, 符號化表示為question→v,question→v,S= S=S, 從而形成邊集合q。

表1 Molweni數(shù)據(jù)集中提及說話者的問題統(tǒng)計

3)邊權(quán)重: 受 Skianis 等[20]啟發(fā), 本文采用角度相似度為邊賦予權(quán)重:

本文使用兩個圖卷積層, 得到融合了問題–上下文交互信息的特征向量q=(N+1)×Dim, 計算方式 如下:

1.4 信息交互層

為了在字符級信息中融入話語級信息, 同時對卷積后的話語級信息中的重要線索進行篩選, 本文模型引入注意力機制。首先通過式(6), 計算得到每個字符位置上對各話語的關(guān)注度, 然后通過式(7),根據(jù)關(guān)注度的不同, 在話語級特征表示中進行重要信息篩選:

1.5 答案預(yù)測層

對 2.4 節(jié)得到的 3 個分層次的字符級特征向量進行拼接, 通過融合多方信息, 得到對多方對話文本具有深層次理解的特征表示。使用一個線性全連接層, 對特征向量進行映射, 使其映射后的維度代表模型預(yù)測的答案區(qū)間。此外, 使用交叉熵作為目標函數(shù)進行訓(xùn)練, 計算方式如下:

其中, FC 表示線性全連接層, […]表示向量拼接。

2 實驗設(shè)置

2.1 數(shù)據(jù)集

Molweni 是在 Ubuntu Chat Corpus 語料[21]上眾包產(chǎn)生的多方對話數(shù)據(jù)集, 可同時用于對話解析和機器閱讀理解研究。Molweni 中, 對包含 86042 條話語的 9754 組對話進行標注, 產(chǎn)生總計 30066 個問題和 78245 個話語關(guān)系的數(shù)據(jù)集, 具體劃分細節(jié)如表 2 所示。平均每組對話包含來自 3.51 個說話者的8.82 條話語。Molweni 數(shù)據(jù)集具有恰當?shù)钠骄捳Z長度, 包含說話者和所說內(nèi)容的獨立話語單元, 并且話語之間具有顯式結(jié)構(gòu)關(guān)系。因此, 本文將 Mol-weni 作為理想基準數(shù)據(jù)集。

2.2 參數(shù)設(shè)置

本文針對基線模型, 設(shè)置多組超參數(shù)進行實驗。選擇在開發(fā)集上表現(xiàn)最優(yōu)的超參數(shù)組合作為基線模型的超參數(shù), 如表 3 所示。評估指標為精確匹配率 EM 和模糊匹配率 Macro-F1。本文使用的BERT 基線模型為 BERT-base-uncased, 隱藏層大小Dim 為 768, 包含 12 個編碼層和 12 頭注意力機制。

2.3 基準模型

為了驗證本文模型的有效性, 實驗中選取以下對比方法。

表2 Molweni數(shù)據(jù)集概覽

表3 參數(shù)說明

BERT[11]: 一種基于 Transformer 結(jié)構(gòu)的雙向編碼器。為了更好地學(xué)習(xí)上下文表示, BERT 的預(yù)訓(xùn)練采用兩個子任務(wù): 掩碼語言建模和下一句預(yù)測任務(wù)。遵循 Li 等[6]的設(shè)置, 本文將 BERT 作為基線模型。

SA-BERT[10]: 一種具有說話者角色感知信息的BERT 模型。本文對 SA-BERT 方法進行調(diào)整, 只在BERT 的詞向量嵌入部分添加用來標志說話者角色的額外信息, 用以捕捉話語對應(yīng)的說話者信息。

DialogueRNN[22]: 使用 3 個 GRU 對話語中說話者狀態(tài)、全局上下文和情緒狀態(tài)進行跟蹤。

DialogueGCN[23]: 是一種基于圖的神經(jīng)網(wǎng)絡(luò)模型, 通過捕捉基于說話者的自我感知和說話者間的依賴關(guān)系來理解對話上下文。

MDFN[15]: 利用 Transformer 中的掩碼機制, 獲得對話文本中的話語感知和說話者感知信息。本文對該方法進行調(diào)整, 使其適用于多方對話文本。

DADgraph[24]: 是 DialogueGCN 結(jié)構(gòu)的變體。不同的是, DADgraph 利用圖卷積神經(jīng)網(wǎng)絡(luò)來捕捉對話文本中的特定話語結(jié)構(gòu)信息。

MTL model[9]: 一個在多方對話文本上聯(lián)合執(zhí)行 QA 任務(wù)和話語解析任務(wù)的多任務(wù)學(xué)習(xí)框架。

3 實驗結(jié)果

3.1 對比實驗結(jié)果

本文實驗在 Molweni 數(shù)據(jù)集上與 7 個基線模型進行對比, 結(jié)果如表 4 所示, 可以看出, 本文提出的 Dis-QueGCN 模型在 F1 和 EM 上分別達到 63.6%和 47.7%的性能, 優(yōu)于 7 個基線模型。

DialogueGCN, DialogueRNN, SA-BERT 和MDFN未考慮對話文本的話語結(jié)構(gòu)信息。其中 Dialogue-GCN 和 SA-BERT 只關(guān)注對話文本的相關(guān)說話者特性, DialogueRNN 只關(guān)注到文本的時間序列信 息, 而 MDFN 在字符級信息上同時考慮了說話者感知和話語感知, 因而比前三者表現(xiàn)稍好。盡管DADgraph 和 Multi-task 分別通過關(guān)系圖卷積和多任務(wù)框架捕捉到話語結(jié)構(gòu)信息, 但未關(guān)注話語的說話者特性。另外, 7 個基線模型的關(guān)注點集中在如何理解對話文本上, 忽視了對問題文本的理解, 且未過多關(guān)注問題文本和對話文本的交互。因此, 本文提出的模型表現(xiàn)優(yōu)于基線模型。

表4 在Molweni測試集上的實驗結(jié)果(%)

注: *表示是基于本文的數(shù)據(jù)集和參數(shù)設(shè)置重新做的實驗。除SA-BERT外, 本文對DialogueRNN, DialogueGCN和MDFN的處理均是用其替換“對話理解層”模塊, 其他模塊不做改動。

3.2 消融實驗結(jié)果分析

為了進一步說明本文模型的有效性, 我們分別通過一次去掉或添加對話理解層中的一個組件進行消融實驗 1 和 2, 其他 3 個模塊的設(shè)置不變, 結(jié)果如表 5 所示。說話者角色感知圖主要加強了來自同一說話者的話語之間的信息交互, 推測由于多方對話文本之間的信息流動大多存在于不同說話者之間, 因而該組件對多方對話文本理解的貢獻最小, 去掉該組件后, 模型在 F1 和 EM 上的表現(xiàn)均下降 0.5%。消融實驗 2 同樣表明, 說話者角色感知信息仍對部分問題有一定的效果。如圖 1 提到的對話示例, 模型需要關(guān)注到特定說話者“djjason”的話語才可解決問題。話語結(jié)構(gòu)感知圖使用圖卷積網(wǎng)絡(luò)對話語之間的結(jié)構(gòu)關(guān)系進行建模, 作為多方對話文本中不可或缺的一部分, 去掉該組件后, 模型在 F1 和 EM 上的表現(xiàn)分別下降 0.6%和 1.0%。結(jié)果表明, 問題–上下文感知圖對多方對話文本理解的貢獻最大, 去掉該組件后, 模型在 F1 和 EM 上的表現(xiàn)分別下降 0.9%和 1.4%。

表5 消融實驗1和2 (%)

消融實驗 2 的結(jié)果直觀地顯示了對話理解層中單個組件的性能。為了更深層次地剖析單個組件帶來性能提升的原因, 本文針對話語結(jié)構(gòu)感知圖和說話者角色感知圖, 分別定義結(jié)構(gòu)復(fù)雜度和基于說話者的話語密度兩個指標。通過分析 BERT+說話者角色感知圖和 BERT+話語結(jié)構(gòu)感知圖帶來的 F1 值提升來說明兩組件的有效性。為方便表示, 分別用組件 1 和組件 2 來表示 BERT+說話者角色感知圖和BERT+話語結(jié)構(gòu)感知圖。兩個指標定義如下:

基于說話者的話語密度

= 話語總量/說話者數(shù)量, (11)

結(jié)構(gòu)復(fù)雜度 = 關(guān)系數(shù)量/話語總量。 (12)

由式(11)可知, 在說話者數(shù)量一定的情況下, 話語總量越多, 基于說話者的話語密度越高。對本文的說話者角色感知圖來說, 基于說話者的話語密度越高, 表明圖中各子節(jié)點通過卷積操作聚合到的信息越密集, 因此推測該指標越大, 與 BERT 基線模型相比, 組件 1 所帶來的性能提升越大。

由式(12)可知, 在話語總量一定的情況下, 關(guān)系數(shù)量越多, 結(jié)構(gòu)復(fù)雜度越高。本文的話語結(jié)構(gòu)感知圖組件對話語之間的結(jié)構(gòu)關(guān)系進行顯式建模, 因此推測話語結(jié)構(gòu)復(fù)雜度越高, 相較于 BERT基線模型, 組件 2 帶來的性能提升越大。

為了驗證以上兩個猜想, 本文對測試集數(shù)據(jù)的話語密度和結(jié)構(gòu)復(fù)雜度進行統(tǒng)計, 根據(jù)區(qū)間取值和數(shù)據(jù)分布, 對兩指標范圍進行劃分, 并分別評價組件 1 和組件 2 在各自不同的劃分段帶來的性能提升。如表 6 和 7 所示, 隨著基于說話者的話語密度增大, 組件 1 所能聚合的信息較多, 所以性能提升較大。隨著對話結(jié)構(gòu)復(fù)雜度增大, 由于組件 2 對語句之間的結(jié)構(gòu)信息進行顯式建模, 所以帶來的性能提升較大。由此驗證了兩個猜想, 也進一步說明了兩個組件的有效性。

3.3 示例分析

為了直觀地展示模型效果, 本文通過示例對BERT 基線模型和 Dis-QueGCN 的預(yù)測結(jié)果進行分析。對于圖 3 中的問題, Dis-QueGCN 首先利用捕獲到的問題–上下文感知信息, 將注意力放在 U4 上, 再利用 U4-U2 間的話語結(jié)構(gòu)依賴關(guān)系, 解決“your”的指代問題。然后, 利用說話者角色感知圖聚合的信息, 關(guān)注說話者“Bacon5o”的系列話語。最后, 依據(jù) U5-U4 以及 U6-U5 之間的話語依賴關(guān)系給出答案預(yù)測。然而, BERT 未對以上信息進行顯式建模, 錯將問題判斷為不可回答。因此, 本文提出的模型具有對多方對話文本更深入的理解能力。

表6 話語密度指標下組件1的性能提升

表7 結(jié)構(gòu)復(fù)雜度指標下組件2的性能提升

波浪線和下劃線分別表示Gold answer和Dis-QueGCN的回答

4 總結(jié)與展望

本文針對 QAMC 任務(wù), 提出一個融合多方信息的問答模型 Dis-QueGCN, 從話語結(jié)構(gòu)、說話者角色以及問題–上下文信息三方面對對話文本和問題文本進行分層次的理解, 并設(shè)計了合理的信息交互方式來進行信息篩選和傳遞。該方法首次在 QAMC任務(wù)中考慮了問題文本和對話文本的顯式交互, 并利用圖卷積神經(jīng)網(wǎng)絡(luò), 對該交互信息進行建模。在 Molweni 數(shù)據(jù)集上與其他基線模型的對比實驗表明, Dis-QueGCN 模型的 F1 和 EM 分別達到 63.6%和 47.7%, 優(yōu)于基線模型。

目前, 本文方法側(cè)重于使用顯式的話語結(jié)構(gòu)信息, 如何采用隱式的信息捕捉方式, 從而關(guān)注到對話中的隱含線索, 是未來工作的重點。

[1]Rajpurkar P, Zhang J, Lopyrev K, et al. SQuAD: 100,000+ questions for machine comprehension of text // Proceedings of the 2016 Conference on Empiri-cal Methods in Natural Language Processing. Austin, 2016: 2383–2392

[2]Rajpurkar P, Jia R, Liang P. Know what you don’t know: unanswerable questions for SQuAD // Procee-dings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Pa-pers). Melbourne, 2018: 784–789

[3]Zhang Y, Dai H, Kozareva Z, et al. Variational rea-soning for question answering with knowledge graph // Thirty-second AAAI conference on artificial intelli-gence. New Orleans, 2018: 6069–6076

[4]Lei J, Yu L, Bansal M, et al. TVQA: localized, com-positional video question answering // Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing. Brussels, 2018: 1369–1379

[5]Yang Z, Choi J D. FriendsQA: open-domain question answering on TV show transcripts // Proceedings of the 20th Annual SIGdial Meeting on Discourse and Dialogue. Stockholm, 2019: 188–197

[6]Li Jiaqi, Liu Ming, Kan Min-Yen, et al. Molweni: a challenge multiparty dialogues-based machine reading comprehension dataset with discourse structure // Pro-ceedings of the 28th International Conference on Computational Linguistics. Barcelona, 2020: 2642–2652

[7]Sun Kai, Yu Dian, Chen Jianshu, et al. Dream: a challenge dataset and models for dialogue-based rea-ding comprehension. Transactions of the Association for Computational Linguistics, 2019, 7: 217–231

[8]Cui Leyang, Wu Yu, Liu Shujie, et al. MuTual: a dataset for multi-turn dialogue reasoning // Procee-dings of the 58th Annual Meeting of the Association for Computational Linguistics. Online Meeting, 2020: 1406–1416

[9]Niu Yilin, Jiao Fangkai, Zhou Mantong, et al. A self-training method for machine reading comprehension with soft evidence extraction // Proceedings of the 58th Annual Meeting of the Association for Compu-tational Linguistics. Online Meeting, 2020: 3916–3927

[10]Perez E, Karamcheti S, Fergus R, et al. Finding generalizable evidence by learning to convince Q&A models // Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing. Hong Kong, 2019: 2402–2411

[11]Shi Zhouxing, Huang Minlie. A deep sequential model for discourse parsing on multi-party dialogues // Pro-ceedings of the AAAI Conference on Artificial Intelli-gence. Hawaii, 2019: 7007–7014

[12]He Yuchen, Zhang Zhuosheng, Zhao Hai. Multi-tas-king dialogue comprehension with discourse parsing // Proceedings of the 35th Pacific Asia Conference on Language, Information and Computation. Shanghai, 2021: 551–561

[13]Gu Jia chen, Li Tianda, Liu Quan, et al. Speaker-aware BERT for multi-turn response selection in retrieval-based chatbots // Proceedings of the 29th ACM International Conference on Information & Knowledge Management. Ireland, 2020: 2041–2044

[14]Liu Longxiang, Zhang Zhuosheng, Zhao Hai, et al. Filling the gap of utterance-aware and speaker-aware representation for multi-turn dialogue // The Thirty-Fifth AAAI Conference on Artificial Intelligence (AAAI-21). Online Meeting, 2021: 13406–13414

[15]Devlin J, Chang M, Lee K, et al. BERT: pre-training of deep bidirectional transformers for language un-derstanding // Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Techno-logies, Volume 1 (Long and Short Papers). Minnea-polis, 2019: 4171–4186

[16]Schlichtkrull M, Kipf T N, Bloem P, et al. Modeling relational data with graph convolutional networks // The Semantic Web ― 15th International Conference. Heraklion, 2018: 593–607

[17]Yang Zhilin, Dai Zihang, Yang Yiming, et al. XLNET: generalized autoregressive pretraining for language understanding // Advances in Neural Information Pro-cessing Systems. Vancouver, 2019: 5754–5764

[18]Liu Y, Ott M, Goyal N, et al. RoBERTa: a robus- tly optimized BERT pretraining approach [EB/OL]. (2019–07–26) [2022–04–27]. https://arxiv.org/abs/190 7.11692

[19]Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need // Advances in Neural Information Pro-cessing Systems. Long Beach, 2017: 5998–6008

[20]Skianis K, Malliaros F, Vazirgiannis M. Fusing docu-ment, collection and label graph-based representa-tions with word embeddings for text classification // Proceedings of the Twelfth Workshop on Graph-Based Methods for Natural Language Processing (TextGra-phs–12). New Orleans, 2018: 49–58

[21]Lowe R, Pow N, Serban I, et al. The ubuntu dialogue corpus: a large dataset for research in unstructured multi-turn dialogue systems // The 16th Annual Mee-ting of the Special Interest Group on Discourse and Dialogue. Prague, 2015: 285–294

[22]Majumder N, Poria S, Hazarika D, et al. Dialogue-RNN: an attentive RNN for emotion detection in conversations // Proceedings of the AAAI Conference on Artificial Intelligence. Hawaii, 2019: 6818–6825

[23]Ghosal D, Majumder N, Poria S, et al. DialogueGCN: a graph convolutional neural network for emotion recognition in conversation // Proceedings of the 2019 Conference on Empirical Methods in Natural Lan-guage Processing and the 9th International Joint Con-ference on Natural Language Processing. Hong Kong, 2019: 154–164

[24]Li Jiaqi, Liu Ming, Zheng Zihao, et al. DADgraph: a discourse-aware dialogue graph neural network for multiparty dialogue machine reading comprehension // International Joint Conference on Neural Networks. Shenzhen, 2021: 1–8

A Multi-information Perception Based Method for Question Answering in Multi-party Conversation

GAO Xiaoqian, ZHOU Xiabing?, ZHANG Min

School of Computer Science and Technology, Soochow University, Suzhou 215000; ?Corresponding author, E-mail: zhouxiabing@suda.edu.cn

Question answering in multi-party conversation typically focuses on exploring discourse structures or speaker-aware information but ignores the interaction between questions and conversations. To solve this problem, a new model which integrates various information is proposed. In detail, to hierarchically model the discourse structures, speaker-aware dependency of interlocutors and question-context information, the proposed model leverages above information to propagate contextual information, by exploiting graph convolutional neural network. Besides, the model employs a reasonable interaction layer based on attention mechanism to enhance the understanding of multi-party conversations by selecting more helpful information. Furthermore, the model is the first to pay attention to the explicit interaction between question and context. The experimental results show that the model outperforms multiple baselines, illustrating that the model can understand the conversations more comprehensively.

multi-party in conversation; question answering; graph convolutional network; attention mechanism