基于深度強(qiáng)化學(xué)習(xí)的數(shù)據(jù)探索性會(huì)話自動(dòng)生成

收稿日期：2023-07-08

DOI：10.19850/j.cnki.2096-4706.2024.04.014

摘? 要：探索性數(shù)據(jù)分析（EDA）是一種數(shù)據(jù)分析方法，旨在通過(guò)對(duì)數(shù)據(jù)集進(jìn)行可視化和摘要統(tǒng)計(jì)等方式揭示數(shù)據(jù)的結(jié)構(gòu)、模式和關(guān)系。數(shù)據(jù)分析人員可通過(guò)操作交互式地探索不熟悉的數(shù)據(jù)集，并為用戶提供先導(dǎo)性見解。深度強(qiáng)化學(xué)習(xí)（DRL）已被證明可以用來(lái)解決眾多難以解決的人工智能挑戰(zhàn)，可嘗試將EDA與DRL進(jìn)行結(jié)合，提出了一個(gè)名為AEDAS的系統(tǒng)。該系統(tǒng)將EDA建模為一個(gè)控制決策問(wèn)題，從而結(jié)合一個(gè)新穎的DRL架構(gòu)來(lái)自動(dòng)生成有說(shuō)服力的探索性會(huì)話，并以EDA筆記本的形式呈現(xiàn)。實(shí)驗(yàn)表明，該系統(tǒng)生成的EDA筆記本，可以使用戶獲得切實(shí)有效的先導(dǎo)性見解。

關(guān)鍵詞：探索性數(shù)據(jù)分析；深度強(qiáng)化學(xué)習(xí)框架；控制性問(wèn)題；探索性會(huì)話；EDA筆記本

中圖分類號(hào)：TP181? ? 文獻(xiàn)標(biāo)識(shí)碼：A? 文章編號(hào)：2096-4706（2024）04-0066-09

Auto-generation of Data Exploratory Sessions Based on Deep Reinforcement Learning

WANG Yang

（Tobacco Company in Xinjiang Uyghur Autonomous Region， Urumqi? 830026， China）

Abstract： Exploratory Data Analysis （EDA） is a data analysis method aimed at revealing the structure， patterns， and relationships in a dataset through visualization and summary statistics. Data analysts can interactively explore unfamiliar datasets through operations and provide users with preliminary insights. Deep Reinforcement Learning （DRL） has been proven to address many difficult Artificial Intelligence challenges. One can attempts to combine the EDA and DRL， proposing a system called AEDAS. The system models EDA as a control decision problem， combining a novel DRL architecture to automatically generate the persuasive exploratory sessions and present them in the form of EDA notebooks. Experiments show that the EDA notebooks generated by the system can provide users with tangible and effective preliminary insights.

Keywords： exploratory data analysis; Deep Reinforcement Learning architecture; control problem; exploratory sessions; EDA notebook

0? 引? 言

探索性數(shù)據(jù)分析（EDA）[1-3]是數(shù)據(jù)科學(xué)中不可或缺的技術(shù)，它有助于數(shù)據(jù)分析人員更好地了解數(shù)據(jù)的性質(zhì)和特點(diǎn)。然而，EDA過(guò)程煩瑣，為了提高效率，許多系統(tǒng)被設(shè)計(jì)出來(lái)促進(jìn)這一過(guò)程。這些系統(tǒng)包括簡(jiǎn)化的可視化界面，如Northstar[4]和Tableau[5]，數(shù)據(jù)驅(qū)動(dòng)工具[6]，即展現(xiàn)數(shù)據(jù)立方體中感興趣子部件的工具，以及數(shù)據(jù)可視化和推薦下一個(gè)探索步驟的系統(tǒng)[7]和相關(guān)數(shù)據(jù)集[8]。這些能夠大大提高EDA的效率和準(zhǔn)確性，為數(shù)據(jù)分析人員提供更好的工作體驗(yàn)。

國(guó)內(nèi)已經(jīng)出現(xiàn)了一些成熟的系統(tǒng)，可以幫助數(shù)據(jù)分析人員開展EDA工作。例如，阿里云大數(shù)據(jù)可視化分析平臺(tái)MaxCompute可以提供豐富的可視化功能和數(shù)據(jù)挖掘技術(shù)，支持用戶進(jìn)行數(shù)據(jù)的探索性分析。此外，國(guó)內(nèi)的BI軟件如FineBI、DataV等也提供了強(qiáng)大的數(shù)據(jù)可視化功能，支持?jǐn)?shù)據(jù)分析人員進(jìn)行EDA工作。還有像DataCastle等數(shù)據(jù)科學(xué)競(jìng)賽平臺(tái)也提供了豐富的數(shù)據(jù)集和EDA筆記本。對(duì)于數(shù)據(jù)分析人員來(lái)說(shuō)，查看EDA筆記本——即由其他數(shù)據(jù)分析人員經(jīng)過(guò)策劃組織的具有說(shuō)明性的探索性會(huì)話[9，10]，是更為常用的方法。這些筆記本通常以筆記本界面呈現(xiàn)，允許用戶記錄和共享一系列編程操作及結(jié)果，幫助數(shù)據(jù)科學(xué)家快速開始EDA工作。

現(xiàn)有的EDA筆記本通?？稍跀?shù)據(jù)科學(xué)（DS）或代碼共享平臺(tái)（如Kaggle和GitHub）上使用，其中，已經(jīng)在特定數(shù)據(jù)集（也托管在平臺(tái)上）上執(zhí)行 EDA 的用戶將其匯總并整理成一個(gè)可以信賴的EDA筆記本，以與社區(qū)共享。之后，當(dāng)其他數(shù)據(jù)科學(xué)家開始研究相同數(shù)據(jù)集時(shí)，他們可先參考其隨附的 EDA 筆記本并跟蹤其中的探索步驟，了解其他用戶如何處理該數(shù)據(jù)集并獲得之前已有的見解，以便在以后自己進(jìn)行EDA時(shí)有進(jìn)一步的研究。然而，現(xiàn)有的EDA筆記本并不總是可用，例如在數(shù)據(jù)集是新的、保密的或尚未在特定數(shù)據(jù)科學(xué)平臺(tái)上審查過(guò)的情況下。

為了解決這一問(wèn)題，本文提出了一種名為AEDAS的系統(tǒng)，用于自動(dòng)生成EDA筆記本。AEDAS接受關(guān)系數(shù)據(jù)集作為輸入，并自動(dòng)產(chǎn)生和執(zhí)行一個(gè)有意義的、可靠的探索性會(huì)話，即一個(gè)EDA操作序列。操作結(jié)果將在筆記本界面上呈現(xiàn)給用戶，幫助用戶了解數(shù)據(jù)集的關(guān)鍵點(diǎn)和重要特征。因此，即使沒(méi)有現(xiàn)有的EDA筆記本，AEDAS也能為用戶提供初步的見解并協(xié)助進(jìn)行更深入的探索。

為了使EDA筆記本具有價(jià)值，本文指出了兩個(gè)關(guān)鍵因素。首先，EDA筆記本應(yīng)該全面涵蓋數(shù)據(jù)集的各個(gè)方面，以便用戶能夠深入了解其各個(gè)屬性。其次，筆記本應(yīng)該具有連貫性和易于理解性，即EDA操作需要按照合理的順序進(jìn)行，后續(xù)操作在邏輯上與之相關(guān)。AEDAS的設(shè)計(jì)充分考慮了這些目標(biāo)做出以下貢獻(xiàn)：

1）基于馬爾可夫決策過(guò)程（Markov Decision Process， MDP）模型建立了一個(gè)控制問(wèn)題。同時(shí)，設(shè)計(jì)了一個(gè)獎(jiǎng)勵(lì)信號(hào)，該信號(hào)旨在確保筆記本中的每個(gè)EDA操作可以揭示數(shù)據(jù)的新信息或潛在關(guān)系，從而激發(fā)用戶的興趣，同時(shí)整個(gè)操作序列應(yīng)具備多樣性、連貫性并與輸入數(shù)據(jù)集的相關(guān)性。因此，在生成EDA筆記本時(shí)，需要確定一系列合適的操作和決策，以在滿足這些要求的同時(shí)，最大化獎(jiǎng)勵(lì)信號(hào)。

2）采用了深度強(qiáng)化學(xué)習(xí)（DRL）框架，專門針對(duì)龐大且離散的行動(dòng)空間進(jìn)行設(shè)計(jì)和處理，以實(shí)現(xiàn)對(duì)MDP涉及的大量狀態(tài)和行動(dòng)空間的優(yōu)化

3）AEDAS生成的EDA筆記本具有較強(qiáng)的洞見性和易于理解性，為用戶提供了關(guān)于數(shù)據(jù)集的實(shí)際初步認(rèn)識(shí)。

1? 相關(guān)工作

數(shù)據(jù)游覽和投影追蹤是指發(fā)現(xiàn)有分析價(jià)值的數(shù)據(jù)“視圖”，并以連貫的序列呈現(xiàn)，以達(dá)到數(shù)據(jù)探索的目的。在煙草行業(yè)中，EDA的應(yīng)用可以幫助業(yè)務(wù)人員更好地分析煙草制品的性質(zhì)和特點(diǎn)。例如，煙草營(yíng)銷業(yè)務(wù)數(shù)據(jù)集包含各種類型的屬性，包括品牌、規(guī)格、銷量、業(yè)態(tài)等。業(yè)務(wù)人員可以使用各種EDA工具來(lái)探索這些屬性之間的關(guān)系，并發(fā)現(xiàn)分析價(jià)值的數(shù)據(jù)“視圖”。

本文的EDA筆記本可以被看作是數(shù)據(jù)“游覽”經(jīng)驗(yàn)的延伸，但具體的實(shí)現(xiàn)在兩個(gè)參數(shù)上有根本的不同：

1）本文假設(shè)數(shù)據(jù)集包含異構(gòu)（不一定是數(shù)字）類型的屬性，包括文本和分類數(shù)據(jù)。

2）本文更著重于常用的EDA操作，例如過(guò)濾、分組和聚合（具有可視化擴(kuò)展，連接等）。

數(shù)據(jù)驅(qū)動(dòng)生成分析價(jià)值的視圖是指通過(guò)不同類型的操作從輸入數(shù)據(jù)集中自動(dòng)生成分析價(jià)值的視圖。在煙草行業(yè)中，這個(gè)概念可以被應(yīng)用于探索煙草相關(guān)的數(shù)據(jù)集，以發(fā)現(xiàn)潛在的可利用信息，如煙草品牌、銷售渠道等。AEDAS在這個(gè)領(lǐng)域也有所突破。AEDAS依賴于一個(gè)興趣度的概念，并使用額外的手段來(lái)產(chǎn)生一個(gè)可以信賴的操作序列。這些手段包括復(fù)合獎(jiǎng)勵(lì)信號(hào)和有效的、新穎的DRL學(xué)習(xí)方案，以進(jìn)行對(duì)整個(gè)操作序列的優(yōu)化。在煙草行業(yè)中，這些手段可以幫助業(yè)務(wù)人員更好地理解煙草數(shù)據(jù)集[11-13]，并探索其中的潛在關(guān)聯(lián)和趨勢(shì)，例如特定品牌的銷售趨勢(shì)、不同渠道的銷售額等。

交互式EDA推薦系統(tǒng)是指在進(jìn)行探索性數(shù)據(jù)分析的過(guò)程中，為用戶推薦下一步的EDA建議。這些建議可以通過(guò)數(shù)據(jù)驅(qū)動(dòng)手段或者外部手段得到，例如EDA操作日志[14]，以及來(lái)自用戶的實(shí)時(shí)反饋[15]。在煙草行業(yè)中，交互式EDA推薦系統(tǒng)可以幫助業(yè)務(wù)人員更快地了解煙草數(shù)據(jù)集，并找到潛在的可利用信息，例如特定品牌的銷售趨勢(shì)、不同渠道的銷售額等。

綜上所述，交互式EDA推薦系統(tǒng)和其他協(xié)助EDA的工作在煙草行業(yè)中具有重要意義。它們?yōu)闃I(yè)務(wù)人員提供了更快速、更準(zhǔn)確的EDA分析方法，并幫助他們更好地理解和探索煙草數(shù)據(jù)集。同時(shí)，它們還為業(yè)務(wù)人員提供了更多的工具和資源，以便更好地進(jìn)行EDA分析。

2? 系統(tǒng)流程

簡(jiǎn)而言之，AEDAS的工作方式如下。首先，用戶向系統(tǒng)上傳一個(gè)表格數(shù)據(jù)集，然后被提示選擇其最感興趣的一組關(guān)鍵屬性，接下來(lái)，一個(gè)EDA控制問(wèn)題的實(shí)例（即一個(gè)EDA環(huán)境和一個(gè)目標(biāo)函數(shù)）將根據(jù)用戶的數(shù)據(jù)集和重點(diǎn)屬性被創(chuàng)建。

本文的EDA環(huán)境目前支持過(guò)濾、分組和聚合操作，也可以擴(kuò)展到可視化和連接操作。如圖1所示，采用DRL學(xué)習(xí)方案，通過(guò)DRL代理的神經(jīng)網(wǎng)絡(luò)以進(jìn)行權(quán)重的隨機(jī)初始化。接著，代理通過(guò)EDA環(huán)境與輸入數(shù)據(jù)集進(jìn)行自我交互，對(duì)數(shù)據(jù)集進(jìn)行“訓(xùn)練”。該環(huán)境（見圖1）允許代理采用EDA操作接收觀察結(jié)果得到一個(gè)總結(jié)其結(jié)果的向量，以及一個(gè)由目標(biāo)函數(shù)（見第3.2節(jié)）得出的正/負(fù)獎(jiǎng)勵(lì)值。DRL代理的目標(biāo)是，通過(guò)與環(huán)境的重復(fù)互動(dòng)，學(xué)習(xí)如何執(zhí)行N個(gè)（預(yù)定義的）EDA操作序列，以獲得最大的累積獎(jiǎng)勵(lì)。

3? EDA控制問(wèn)題

接下來(lái)，本文解釋如何使用MDP模型將EDA塑造成一個(gè)控制問(wèn)題并描述獎(jiǎng)勵(lì)信號(hào)。

3.1? 用于EDA的MDP模型

通常，在EDA中，用戶檢查一個(gè)數(shù)據(jù)集D=，其中Tup是一組數(shù)據(jù)圖元，Attr是屬性域（本文假設(shè)數(shù)據(jù)集包含不同類型的屬性，如文本、數(shù)字或分類）。在用戶執(zhí)行一系列的分析操作后（例如q1，q2，…，qn），每個(gè)操作都會(huì)產(chǎn)生一個(gè)結(jié)果顯示，表示為di。在檢查了操作qi的結(jié)果顯示后，由用戶決定是否和操作qi1進(jìn)行下一步操作。

本文用一個(gè)偶發(fā)的MDP來(lái)模擬EDA過(guò)程，它由一組可能的狀態(tài)和一組可能的動(dòng)作組成。直觀地說(shuō)，在本文的案例中，行動(dòng)集是所有可能的（和支持的）EDA操作的集合，而狀態(tài)集對(duì)應(yīng)于其結(jié)果顯示。在單一的情節(jié)中，代理通過(guò)執(zhí)行預(yù)定數(shù)量的N個(gè)行動(dòng)來(lái)探索一個(gè)特定的數(shù)據(jù)集D。在每個(gè)步驟中，代理獲得描述其在EDA會(huì)話中的當(dāng)前狀態(tài)的觀察向量，被要求選擇一個(gè)行動(dòng)。根據(jù)所選擇的行動(dòng)，代理被授予負(fù)面/正面的獎(jiǎng)勵(lì)，然后過(guò)渡到一個(gè)新的狀態(tài)。整個(gè)事件的效用被定義為累積獎(jiǎng)勵(lì)，由當(dāng)前事件中的行動(dòng)獲得。

接下來(lái)，本文將解釋AEDAS模型如何表示行動(dòng)和狀態(tài)觀測(cè)并介紹獎(jiǎng)勵(lì)信號(hào)。EDA行動(dòng)空間。本文的模型允許組成參數(shù)化的EDA操作，其中代理先選擇操作類型，再選擇適當(dāng)?shù)膮?shù)。每個(gè)這樣的操作都需要一些輸入?yún)?shù)，并在時(shí)間t對(duì)當(dāng)前顯示的dt-1（即t-1時(shí)最后執(zhí)行的操作的結(jié)果屏幕）進(jìn)行操作。然后它輸出一個(gè)相應(yīng)的新的結(jié)果顯示dt。由于AEDAS主要是一個(gè)概念驗(yàn)證，所以本文僅使用一組有限的分析操作，并在今后的工作中將加以擴(kuò)展，其中包括以下EDA操作：

1）FILTER（attr，op，term），用來(lái)選擇符合標(biāo)準(zhǔn)的數(shù)據(jù)圖集。它接受一個(gè)屬性，一個(gè)比較運(yùn)算符（例如=，≥，包含符等），和一個(gè)數(shù)字/文本術(shù)語(yǔ)，并產(chǎn)生一個(gè)代表相應(yīng)的數(shù)據(jù)子集的新顯示。

2）GROUP（g_attr，agg_func，agg_attr）用來(lái)對(duì)數(shù)據(jù)進(jìn)行分組和聚合。它包含一個(gè)要被分組的單一屬性，聚合函數(shù)（例如SUM，MAX，COUNT，AVG等）和另一個(gè)要使用聚合函數(shù)的屬性。

3）BACK（），允許代理回溯到之前的顯示（即在t-1執(zhí)行的行動(dòng)的結(jié)果顯示），以便采取另一種探索路徑。

形式上，行動(dòng)空間的定義如下。令OP是行動(dòng)類型的集合，OP = {FILTER，GROUP，BACK}。每個(gè)動(dòng)作類型o ∈ OP有一個(gè)相應(yīng)的參數(shù)集 ，每個(gè)參數(shù)p有一個(gè)有限的值域V（p）。一個(gè)動(dòng)作是一個(gè)元組（o，v），其中o ∈ OP，v是參數(shù)po的有效賦值。這樣整體的動(dòng)作空間被定義為A = Uo∈OPUv∈V（po）{（o，v）}。以類似的方式，本文的模型可以用其他操作類型進(jìn)行擴(kuò)展，如投影、可視化、連接等。

行動(dòng)空間的優(yōu)點(diǎn)是：1）動(dòng)作是原子性的，相對(duì)容易組成（例如，沒(méi)有語(yǔ)法上的困難）。2）復(fù)雜的顯示是逐步形成的（例如，首先采用FILTER操作，然后按某一列進(jìn)行GROUP，再按另一列進(jìn)行聚合等），而不像SQL查詢?yōu)椤耙淮涡浴苯M成。由于每個(gè)原子操作都會(huì)獲得自己的獎(jiǎng)勵(lì)（見3.2節(jié)），因此后者允許對(duì)代理進(jìn)行細(xì)粒度的控制。

狀態(tài)觀察向量。MDP模型的第二部分是定義正在進(jìn)行的事件中達(dá)到一個(gè)新的狀態(tài)時(shí)，應(yīng)該向代理提供的信息。本文使用一個(gè)簡(jiǎn)單的向量表示，基于獲得的先前結(jié)果顯示中提取的關(guān)鍵描述性特征。當(dāng)前的結(jié)果顯示dt被編碼為一個(gè)數(shù)字向量，表示為 ，它代表了dt的一個(gè)緊湊的、具有以下特征的結(jié)構(gòu)性總結(jié)。1）每個(gè)屬性的三個(gè)描述性特征：其值的熵、不同值的數(shù)量和空值的數(shù)量。2）每個(gè)屬性的一個(gè)特征，說(shuō)明它目前是否被分組/聚集，以及三個(gè)全局特征，存儲(chǔ)組的數(shù)量和組的大小平均值和方差。為了同時(shí)記錄當(dāng)前顯示產(chǎn)生的更廣泛的背景，本文將會(huì)話中最近三次操作的顯示向量串聯(lián)到dt，即最后的觀察向量由 和? 組成，與? 串聯(lián)（如果dt-1和dt-2不存在，則提供一個(gè)零的向量代替）。

3.2? 獎(jiǎng)勵(lì)信號(hào)

如第1節(jié)所述，數(shù)據(jù)驅(qū)動(dòng)系統(tǒng)[16]使用趣味性措施來(lái)評(píng)估分析操作的效用，并向用戶展示獲得最高分?jǐn)?shù)的操作。本文在AEDAS中也采用趣味性措施來(lái)評(píng)估代理執(zhí)行的EDA操作，但使用了兩個(gè)額外的信號(hào)，即多樣性和連貫性，以確保整個(gè)操作序列是可以信賴和易于理解的。單個(gè)EDA操作的獎(jiǎng)勵(lì)信號(hào)是以下元素的加權(quán)和：

1）趣味性獎(jiǎng)勵(lì)。本文的系統(tǒng)實(shí)現(xiàn)了兩個(gè)不同的興趣度信號(hào)，一個(gè)用于分組操作，一個(gè)用于過(guò)濾操作。

分組操作的趣味性獎(jiǎng)勵(lì)：衡量標(biāo)準(zhǔn)遵循類似的簡(jiǎn)潔性衡量標(biāo)準(zhǔn)[9，17]，這些標(biāo)準(zhǔn)認(rèn)為涵蓋許多圖元的緊湊的分組結(jié)果既具有信息量又易于理解。衡量標(biāo)準(zhǔn)考慮了組的數(shù)量、當(dāng)前被分組的屬性數(shù)量以及基礎(chǔ)圖元的數(shù)量，分別表示為g、a、r，獎(jiǎng)勵(lì)信號(hào)由h1 （ g · a） / h2 （r）給出，其中h1 （ · ）和h2 （ · ）是歸一化的sigmoid函數(shù)，具有預(yù)定的寬度和中心。

過(guò)濾操作的趣味性獎(jiǎng)勵(lì)：為獎(jiǎng)勵(lì)過(guò)濾操作，本文遵循文獻(xiàn)中常見的衡量標(biāo)準(zhǔn)，將趣味性獎(jiǎng)勵(lì)偏向于那些結(jié)果顯示dt明顯偏離先前顯示dt-1的過(guò)濾操作。為了量化這種偏差，使用Kullback-Leibler（KL），即KL散度作為度量指標(biāo)，它衡量了一個(gè)概率能力分布與另一個(gè)概率能力分布的不同。在dt沒(méi)有分組的情況下，本文定義一個(gè)屬性的價(jià)值概率分布 ，A ∈ Attr是其值的相對(duì)頻率（即對(duì)于dt中屬性A的每個(gè)值ev，p （v）是隨機(jī)選擇v的概率）。趣味性獎(jiǎng)勵(lì)定義為： ，其中，sigmoid h （ · ）被用于獲得更顯著的數(shù)值差異。在dt被分組的情況下，KL散度只在當(dāng)前聚合的屬性上進(jìn)行比較（相較于上面的在所有屬性上進(jìn)行比較）。

2）多樣性獎(jiǎng)勵(lì)。為鼓勵(lì)代理選擇誘發(fā)新的觀察結(jié)果的行動(dòng)，并顯示與迄今所檢查的數(shù)據(jù)不同的部分。通過(guò)進(jìn)一步利用每個(gè)結(jié)果顯示的數(shù)字向量表示（），即通過(guò)計(jì)算觀察向量? 和之前所有顯示的向量之間的最小歐幾里得距離。

3）連貫性/一致性獎(jiǎng)勵(lì)。依靠一個(gè)外部分類器，以確定一個(gè)給定的EDA操作在筆記本的某一點(diǎn)上是否是連貫的。本文的分類器是基于弱監(jiān)督學(xué)習(xí)的，使用Snorkel [17]從一組啟發(fā)式分類規(guī)則中構(gòu)建分類模型。這種解決方案有以下好處：克服缺乏包含注釋EDA操作的訓(xùn)練數(shù)據(jù)的問(wèn)題；在需要時(shí)，根據(jù)具體的模式和用戶給定的焦點(diǎn)屬性集，輕松地對(duì)分類器進(jìn)行微調(diào)。

本文的分類器中的每個(gè)分類規(guī)則都將EDA操作的子序列q1，q2，…，qt及其結(jié)果顯示作為輸入，并檢查輸出操作qt前面的操作中是否連貫。本文使用兩種類型的規(guī)則：

1）一般規(guī)則——考慮操作序列的一般屬性。例如，“對(duì)四個(gè)以上的屬性進(jìn)行分組是不連貫的”，“對(duì)一個(gè)連續(xù)的數(shù)字屬性進(jìn)行分組是不連貫的”。這種規(guī)則適用于所有的輸入數(shù)據(jù)集。

2）數(shù)據(jù)相關(guān)規(guī)則——為輸入數(shù)據(jù)集的語(yǔ)義和用戶預(yù)定的焦點(diǎn)屬性編寫更多的規(guī)則（有選擇性地）。本文在第5.1節(jié)中，詳細(xì)介紹了實(shí)驗(yàn)中使用的規(guī)則類型。

4? 深度強(qiáng)化學(xué)習(xí)（DRL）代理架構(gòu)

這部分首先解釋對(duì)EDA優(yōu)化MDP模型的困難程度，以及為什么DRL是解決它的合理方法。然后，討論了還需要克服的挑戰(zhàn)，并提出了針對(duì)這個(gè)問(wèn)題的DRL架構(gòu)。

為什么使用DRL解決EDA控制問(wèn)題？?jī)?yōu)化本文的 EDA模型具有挑戰(zhàn)性，主要有兩個(gè)原因：

1）MDP模型是指數(shù)級(jí)（相對(duì)于輸入數(shù)據(jù)集）且高維的。因?yàn)闋顟B(tài)的數(shù)量與輸入數(shù)據(jù)集上任何可能的探索性操作的所有中間結(jié)果的數(shù)量相一致。因此，該模型不能被完全具體化。

2）獎(jiǎng)勵(lì)信號(hào)是復(fù)合的、不可分的，并且是在N個(gè)連續(xù)步驟中累積的。這樣的設(shè)置使得分析性優(yōu)化（如線性編程、策略迭代）難以采用[18]，經(jīng)典的強(qiáng)化學(xué)習(xí)解決方法[19]也難以采用。而DRL已經(jīng)被證明對(duì)解決高維復(fù)雜控制問(wèn)題非常有用。

但由于本文的MDP模型，不僅狀態(tài)的數(shù)量很大，而且行動(dòng)空間也是參數(shù)化的，非常大，而且是離散的。即使在本文的原型環(huán)境中，只支持過(guò)濾、分組和聚合操作，每個(gè)點(diǎn)上可能的獨(dú)特操作的數(shù)量也超過(guò)100k。所以現(xiàn)成的DRL解決方案對(duì)于EDA問(wèn)題來(lái)說(shuō)是低效的。正如本文在第5.4節(jié)中證實(shí)的那樣，當(dāng)使用現(xiàn)有的DRL架構(gòu)時(shí)，代理的學(xué)習(xí)過(guò)程會(huì)非常緩慢地收斂到一個(gè)局部的最大值，離最佳狀態(tài)很遠(yuǎn)。

解決方案概述。本文采用了一種新穎的解決方案，既減少了網(wǎng)絡(luò)的規(guī)模，又促進(jìn)了有效的探索/開發(fā)。該解決方案可以很容易地注入現(xiàn)成的DRL架構(gòu)和算法（如DQN、Advantage Actor-Critic等）中。它包括三個(gè)部分：

1）一個(gè)“兩倍輸出”層結(jié)構(gòu)，可有效地利用EDA行動(dòng)空間的參數(shù)化性質(zhì)，允許代理選擇EDA操作類型和每個(gè)參數(shù)的值。

2）一種專門的“分檔”方法，它通過(guò)進(jìn)一步減少了過(guò)濾器術(shù)語(yǔ)參數(shù)的值域，包括所有可用的數(shù)據(jù)集標(biāo)記。

3）一種開發(fā)/探索策略，利用所獲得的經(jīng)驗(yàn)，選擇在每個(gè)狀態(tài)下采用的正確行動(dòng)，同時(shí)進(jìn)行智能探索選擇。接下來(lái)本文將對(duì)這些組成部分進(jìn)行詳細(xì)介紹。

雙層輸出層結(jié)構(gòu)。圖2提供了本文的網(wǎng)絡(luò)結(jié)構(gòu)的說(shuō)明。

圖2? Actor網(wǎng)絡(luò)體系結(jié)構(gòu)

如圖所示，狀態(tài)觀察向量首先經(jīng)過(guò)幾個(gè)具有ReLU激活函數(shù)的密集隱藏層（這是DRL架構(gòu)的常見做法[20]）。之后經(jīng)過(guò)兩個(gè)新的子層，輸出預(yù)測(cè)概率。本文設(shè)計(jì)的這兩個(gè)新層來(lái)代替標(biāo)準(zhǔn)的、非常大的Softmax輸出層是為了減少網(wǎng)絡(luò)的大小。細(xì)節(jié)如下：

1）預(yù)/前向輸出層。該層（圖2中為青色）包含每個(gè)EDA操作類型的一個(gè)節(jié)點(diǎn)，以及每個(gè)參數(shù)值的一個(gè)節(jié)點(diǎn)。每個(gè)節(jié)點(diǎn)都與前一個(gè)隱藏層相連。預(yù)輸出層的大小等于參數(shù)值域的大小和操作類型的數(shù)量。

2）多重Softmax計(jì)算層。在DRL結(jié)構(gòu)中，通常在最后一個(gè)隱藏層的輸出上應(yīng)用Softmax計(jì)算，以便為每個(gè)不同的動(dòng)作產(chǎn)生一個(gè)概率值（總和為1）。當(dāng)動(dòng)作空間很大時(shí)，不僅計(jì)算時(shí)間長(zhǎng)，而且學(xué)習(xí)過(guò)程也很慢，效果也不好（如第5.4節(jié)中所述）。因此，本文使用了一個(gè)新的多重Softmax計(jì)算層，其中Softmax計(jì)算被分割開來(lái)，對(duì)每個(gè)操作類型和參數(shù)單獨(dú)執(zhí)行。也就是說(shuō)，Softmax段σOP只與對(duì)應(yīng)于操作類型的預(yù)輸出節(jié)點(diǎn)相連，然后為每個(gè)參數(shù)p定義一個(gè)單獨(dú)的段OP，只與對(duì)應(yīng)于V（p）值的預(yù)輸出節(jié)點(diǎn)相連。

Multi-Softmax層的工作原理如圖2所示。首先，段σo用于生成操作類型OP的概率分布，從中抽取所選操作類型o ∈ OP（例如，在圖2中描述的工作流程示例中，獲得最高概率的所選操作是“過(guò)濾器”）。接下來(lái)，通過(guò)只激活相應(yīng)的片段σp ? p ∈ Po來(lái)實(shí)例化o的參數(shù)（見圖2中Multi-Softmax層的粉色部分）。

高效地選擇數(shù)據(jù)集值的過(guò)濾器“term”參數(shù)。即使選擇只限于出現(xiàn)在當(dāng)前結(jié)果顯示中的標(biāo)記物，過(guò)濾操作的參數(shù)項(xiàng)也可能過(guò)大。所以，為了避免在預(yù)輸出層中為每個(gè)數(shù)據(jù)集標(biāo)記設(shè)置專門的節(jié)點(diǎn)，本文使用了一個(gè)簡(jiǎn)單而有效的分檔解決方案，根據(jù)每個(gè)標(biāo)記在當(dāng)前顯示中出現(xiàn)的頻率，將單個(gè)標(biāo)記（即數(shù)據(jù)集的值或其部分）映射到一個(gè)固定大小的B檔陣列中。然后，代理不是選擇一個(gè)特定的標(biāo)記，而是選擇一個(gè)頻率范圍b[i，j]。反過(guò)來(lái)，一個(gè)實(shí)際的token，其出現(xiàn)的頻率在這個(gè)范圍內(nèi)，被均勻地隨機(jī)抽樣。

探索/開發(fā)策略。本文的結(jié)構(gòu)有利于有效的探索策略，基于Boltzmann探索[21]，其中，行動(dòng)是根據(jù)Softmax層產(chǎn)生的輸出概率分布進(jìn)行采樣。使用兩層輸出層允許代理對(duì)每個(gè)操作類型和參數(shù)做出獨(dú)立的探索/利用決定，因?yàn)槊總€(gè)參數(shù)都有一個(gè)專門的Softmax層。這允許代理利用其經(jīng)驗(yàn)（如果有的話）對(duì)一些參數(shù)進(jìn)行探索，并對(duì)其他參數(shù)的值進(jìn)行探索。另外，本文使用了熵正則化[22]，它可以防止代理過(guò)早地收斂到局部最優(yōu)。通過(guò)熵正則化，代理收到的獎(jiǎng)勵(lì)與策略的熵成正比。

5? 實(shí)驗(yàn)結(jié)果

本文的實(shí)驗(yàn)旨在回答三個(gè)主要問(wèn)題：1）用戶能否通過(guò)被動(dòng)檢查自動(dòng)生成的EDA筆記本獲得實(shí)際見解？2）AEDAS生成的notebook與其他方式生成的notebook相比效果如何？3）DRL框架對(duì)于生成高質(zhì)量的EDA筆記本是否是必要的？本文進(jìn)行了兩個(gè)互補(bǔ)的質(zhì)量評(píng)估實(shí)驗(yàn)：人工評(píng)估（第5.2節(jié)），即參與者手動(dòng)審查生成的EDA筆記本，以及EDA筆記本的自動(dòng)基準(zhǔn)（第5.3節(jié)），它將生成的筆記本與一組黃金標(biāo)準(zhǔn)的筆記本進(jìn)行比較（該基準(zhǔn)完全開源，并可在Aeda[23]中獲得）。最后，本文進(jìn)行了額外的實(shí)驗(yàn)（第5.4節(jié)），將AEDAS的收斂性與其他操作架構(gòu)進(jìn)行比較。

5.1? 實(shí)驗(yàn)設(shè)置

數(shù)據(jù)集。本文使用了兩個(gè)獨(dú)立無(wú)關(guān)聯(lián)的數(shù)據(jù)集，每個(gè)數(shù)據(jù)集都有不同的模式和應(yīng)用領(lǐng)域：煙草銷售和網(wǎng)絡(luò)安全。選擇這兩個(gè)數(shù)據(jù)集是因?yàn)樗鼈兲峁┝吮容^和評(píng)估自動(dòng)生成的筆記本的方法。接下來(lái)，本文將解釋每個(gè)集合的特點(diǎn)和它們?cè)趯?shí)驗(yàn)中的作用。

煙草銷售模擬數(shù)據(jù)集。本文使用了一個(gè)模擬的數(shù)據(jù)集，煙草銷售數(shù)據(jù)集。數(shù)據(jù)集屬性包括煙草品類、單期銷量、同期銷量、銷量排名、單品類銷量占比等。

網(wǎng)絡(luò)安全數(shù)據(jù)集。這個(gè)數(shù)據(jù)集由4個(gè)（完全不相關(guān)的）子數(shù)據(jù)集組成，這些數(shù)據(jù)集來(lái)自4個(gè)不同的網(wǎng)絡(luò)分析挑戰(zhàn)[24]，在這些挑戰(zhàn)中，參與者需要探索每個(gè)數(shù)據(jù)集，以揭示數(shù)據(jù)集中傳達(dá)的特定的潛在網(wǎng)絡(luò)攻擊。

基準(zhǔn)。本文將AEDAS筆記本的質(zhì)量與4種不同類型的基準(zhǔn)筆記本進(jìn)行了比較。首先，由人類EDA過(guò)程產(chǎn)生的兩種不同類型的筆記本。

1）“gold-standard”：基于真實(shí)的EDA筆記本/教程。由于筆記本和教程包含文字說(shuō)明以及AEDAS尚未支持的EDA操作，所以本文使用相同的過(guò)濾、分組和聚合操作創(chuàng)建了等效的EDA筆記本，以促進(jìn)所有基線之間平衡的質(zhì)量比較。

2）“EDA-Traces”：由有經(jīng)驗(yàn)的分析員從EDA會(huì)議的記錄中產(chǎn)生的筆記本。對(duì)于每一個(gè)記錄下來(lái)的會(huì)話，本文都會(huì)生成一個(gè)相應(yīng)的EDA筆記本。這些痕跡主要包含AEDAS支持的相同EDA操作，因此幾乎不需要進(jìn)行整理。每個(gè)數(shù)據(jù)集的所有探索性會(huì)話都是根據(jù)相同的探索目標(biāo)進(jìn)行。

3）“僅有趣味性”：僅根據(jù)趣味性評(píng)估而自動(dòng)生成的筆記本。為了研究復(fù)合獎(jiǎng)勵(lì)信號(hào)的必要性，本文使用只對(duì)EDA操作的趣味性進(jìn)行優(yōu)化的基準(zhǔn)。本文使用兩種不同的方法來(lái)優(yōu)化整個(gè)會(huì)話的趣味性：（3A）Interestingness-Only Greedy（Greedy-IO）在每一步計(jì)算所有可能操作的趣味性得分，并貪婪地選擇獲得最大趣味性的操作；（3B）Interestingness-Only AEDAS（ATN-IO）Only 使用第4節(jié)所述的DRL架構(gòu)，但目標(biāo)是僅對(duì)趣味性信號(hào)進(jìn)行優(yōu)化。

4）“備選優(yōu)化架構(gòu)”：使用不同優(yōu)化架構(gòu)/技術(shù)自動(dòng)生成的筆記本。為了研究DRL，特別是本文在第4節(jié)中描述的架構(gòu)地必要性，本文對(duì)復(fù)合獎(jiǎng)勵(lì)信號(hào)（有三個(gè)組成部分）使用三種替代優(yōu)化技術(shù)。首先，使用了與AEDAS架構(gòu)不同的兩種DRL架構(gòu)：（4A）現(xiàn)成的DRL（OTS-DRL）使用一個(gè)標(biāo)準(zhǔn)的DRL架構(gòu)，其輸出層為Softmax，包含每個(gè)不同EDA操作的節(jié)點(diǎn)。為了特別考察本文的雙重輸出層的必要性，本文還使用了（4B）OTS-DRL With Binning（OTS-DRL-B），它具有與（4A）中相同的標(biāo)準(zhǔn)DRL架構(gòu)，但它沒(méi)有采用明確的濾波器，而是使用了第4節(jié)中描述的基于頻率的分選解決方案。最后，為了檢驗(yàn)DRL對(duì)本文的問(wèn)題是否真的有效，本文使用了（4A）復(fù)合獎(jiǎng)勵(lì)貪婪法（Greedy-CR），它不使用DRL，而是使用貪婪的、非學(xué)習(xí)的策略來(lái)選擇引起最高獎(jiǎng)勵(lì)的操作。

代碼實(shí)現(xiàn)。本文采用Python 3實(shí)現(xiàn)了EDA環(huán)境，并使用Pandas庫(kù)執(zhí)行EDA操作。針對(duì)煙草銷售數(shù)據(jù)集，本文將煙草品類、同期銷量單品類銷量占比信息作為重點(diǎn)屬性，設(shè)置了相應(yīng)的權(quán)重值以獲得獎(jiǎng)勵(lì)成分之間的學(xué)習(xí)平衡。同時(shí)，為了保持一致性，本文還對(duì)網(wǎng)絡(luò)安全數(shù)據(jù)集進(jìn)行了探索，將焦點(diǎn)屬性設(shè)置為“源IP”和“目標(biāo)IP”，以揭示潛在的網(wǎng)絡(luò)攻擊。

該神經(jīng)網(wǎng)絡(luò)代理使用了目前DRL最先進(jìn)的Asynchronous Actor Critic（A3C）[22]，并以近似策略優(yōu)化Proximal Policy Optimization（PPO）[25]來(lái)加強(qiáng)。本文的雙重輸出層被注入到 "Actor"網(wǎng)絡(luò)中，取代了其Softmax輸出層。這些算法和神經(jīng)網(wǎng)絡(luò)是在ChainerRL中實(shí)現(xiàn)的（一個(gè)常見的DRL Python庫(kù)）。為了訓(xùn)練代理網(wǎng)絡(luò)，本文使用了一臺(tái)基于Intel Xeon CPU的服務(wù)器，包含24個(gè)內(nèi)核和96 GB的內(nèi)存。

5.2? 定性的人為評(píng)估

定性評(píng)估。在對(duì)每本筆記本進(jìn)行檢查后，用戶根據(jù)以下標(biāo)準(zhǔn)對(duì)其進(jìn)行評(píng)分，評(píng)分標(biāo)準(zhǔn)從1（最低）到7（最高）：1）信息性——筆記本的信息量有多大？它能捕捉到數(shù)據(jù)集的亮點(diǎn)嗎？2）可理解性——筆記本在多大程度上是可理解的和易于理解的？3）專業(yè)性——筆記本作者的專業(yè)水平如何？4）人類的等同性——筆記本與人類產(chǎn)生的會(huì)話有多大的相似性？圖3顯示了AEDAS和基線筆記本在每個(gè)標(biāo)準(zhǔn)下的平均得分?；€包括人工生成的Gold-Standard和EDA痕跡，以及每個(gè)類別中的代表自動(dòng)生成的筆記本——Greedy-IO和OTS-DRL-B（如第5.3節(jié)所述，這些基線在各自的類別中表現(xiàn)優(yōu)異）。使用配對(duì)T檢驗(yàn)，每?jī)蓚€(gè)基線之間的分?jǐn)?shù)差異被驗(yàn)證為具有統(tǒng)計(jì)學(xué)意義，P值遠(yuǎn)遠(yuǎn)低于0.000 01。

金標(biāo)準(zhǔn)的筆記本用虛線標(biāo)出（誤差限為±1個(gè)標(biāo)準(zhǔn)差），在所有的標(biāo)準(zhǔn)領(lǐng)域幾乎獲得了最高分（平均為6.8/7）。生成的筆記本中，替代性的自動(dòng)生成方法Greedy-IO和OTS-DRL-B獲得了最低的排名，平均得分是1.4/7和3.4/7。EDA痕跡生成的筆記本獲得了4.3/7的平均分，但與金標(biāo)準(zhǔn)筆記本相比，分?jǐn)?shù)上的巨大差異是由于EDA-traces筆記本并不是為了演示而產(chǎn)生的，而是為了讓其他用戶觀看的。相比之下，AEDAS的筆記本獲得了5.4/7的平均分，比EDA-traces筆記本好了不止一個(gè)等級(jí)。這是因?yàn)锳EDAS是專門為生成連貫性和易懂的筆記本而設(shè)計(jì)的（使用復(fù)合獎(jiǎng)勵(lì)號(hào)）。

獲得的見解的比較。圖4顯示了用戶通過(guò)檢查AEDAS生成的筆記本和上述基線所收集的見解的（平均）百分比。本文可以看到，AEDAS與用戶在所有標(biāo)準(zhǔn)中的評(píng)分相對(duì)應(yīng)，勝過(guò)其他方法。通過(guò)被動(dòng)地檢查AEDAS生成的筆記本，用戶就成功地得出了平均46%的數(shù)據(jù)集相關(guān)見解。

圖4? 人為定性評(píng)估——從瀏覽EDA筆記本中收集的見解

5.3? 自動(dòng)化基準(zhǔn)

用戶研究表明，AEDAS明顯優(yōu)于通過(guò)其他方式生成的筆記本。然而，由于用戶研究很難重現(xiàn)，本文接下來(lái)描述一個(gè)自動(dòng)生成EDA筆記本的基準(zhǔn)（稱為A-EDA），它可以很容易地在其他場(chǎng)合重現(xiàn)，從而促進(jìn)未來(lái)模型和方法的比較。A-EDA與其他生成模型的基準(zhǔn)類似，根據(jù)筆記本與一組經(jīng)過(guò)策劃的真實(shí)筆記本的距離來(lái)評(píng)估其質(zhì)量。作為基礎(chǔ)事實(shí)，本文使用上述的金標(biāo)準(zhǔn)筆記本，它們?cè)谌祟愒u(píng)估中獲得了接近完美的分?jǐn)?shù)。對(duì)于每個(gè)數(shù)據(jù)集，本文使用一組5～7個(gè)金標(biāo)準(zhǔn)筆記本。然后，本文用幾個(gè)指標(biāo)來(lái)評(píng)估生成的筆記本和金標(biāo)準(zhǔn)筆記本之間的距離，有不同程度的靈活性。

1）精度。該指標(biāo)將EDA筆記本視為不同觀點(diǎn)的集合（忽略它們的順序），如果一個(gè)觀點(diǎn)出現(xiàn)在黃金標(biāo)準(zhǔn)筆記本中，則算作“命中”，否則算作“未中”。它的計(jì)算方法是hits / （hits+misses）。

2～4）T-BLEU-1、T-BLEU-2、T-BLEU-3。這些度量是基于眾所周知的BLEU [26]得分，用于比較圖像說(shuō)明中的句子和機(jī)器翻譯（在本文的例子中，“句子”是筆記本中的視圖序列）。T-BLEU比Precision更嚴(yán)格，因?yàn)樗€考慮了每個(gè)視圖在金標(biāo)準(zhǔn)集中的普遍性，以及它們的順序，通過(guò)比較n大小的子序列（而不是單個(gè)視圖）。本文在T-BLEU-1到T-BLEU-3中使用1到3的n。

5）EDA-Sim [7]。EDA-Sim也考慮了視圖的順序，但允許對(duì)其內(nèi)容進(jìn)行精細(xì)的比較（即，在上述措施中，幾乎相同的視圖被認(rèn)為是“失誤”，但EDA-Sim將評(píng)估它們?yōu)楦叨认嗨疲?。?duì)于最終的EDA-Sim得分，本文將生成的筆記本與每一個(gè)金標(biāo)準(zhǔn)筆記本進(jìn)行比較，并取其最大的EDA-Sim得分。

表1? 總體A-EDA基準(zhǔn)測(cè)試結(jié)果

Baseline Precision T-

BLEU-1 T-

BLEU-2 T-

BLEU-3 EDA-Sim

ATN-IO 0.10 0.10 0.05 0.03 0.22

Greedy-IO 0.12 0.11 0.07 0.04 0.23

OTS-DRL 0.26 0.16 0.12 0.06 0.23

Greedy-CR 0.27 0.21 0.16 0.07 0.23

OTS-DRL-B 0.33 0.24 0.21 0.16 0.27

EDA-Traces 0.45 0.30 0.27 0.22 0.40

AEDAS 0.49 0.51 0.38 0.36 0.49

實(shí)驗(yàn)結(jié)果。表1描述了所有基線的得分，是第5.1節(jié)中提到的兩類實(shí)驗(yàn)數(shù)據(jù)集的平均得分。首先，可以看到A-EDA的分?jǐn)?shù)與人類評(píng)估和收集的見解比較的總分?jǐn)?shù)密切相關(guān)。所有替代的自動(dòng)生成方法都獲得了較低的分?jǐn)?shù)，被EDA-traces notebooks超過(guò)，然后被AEDAS在上述每個(gè)評(píng)價(jià)指標(biāo)上超過(guò)。接下來(lái)，檢查所有替代自動(dòng)生成基線的得分，本文可以得出以下結(jié)論：

1）忽略EDA操作的一致性和多樣性的“僅感興趣”基準(zhǔn)獲得最低得分——無(wú)論是使用簡(jiǎn)單的貪婪優(yōu)化（Greedy-IO）還是使用DRL（ATN-IO）時(shí)。這意味著生成有用的EDA筆記本需要一個(gè)更詳細(xì)的獎(jiǎng)勵(lì)信號(hào)，而不僅僅是數(shù)據(jù)驅(qū)動(dòng)的趣味性得分。

2）事實(shí)上，基線4A、4B和4C（根據(jù)本文的復(fù)合獎(jiǎng)勵(lì)信號(hào)進(jìn)行優(yōu)化）獲得了比僅有興趣的基線更好的分?jǐn)?shù)，即它們的表現(xiàn)仍然明顯優(yōu)于AEDAS。現(xiàn)成的DRL架構(gòu)（OTS-DRL）與基于貪婪的優(yōu)化（Greedy-CR）不相上下，但兩者都被OTS-DRL-B超越，后者使用了本文基于頻率的分選方案。然而，所有的替代性優(yōu)化方案都明顯優(yōu)于AEDAS的表現(xiàn)。因此，DRL，特別是本文在AEDAS中使用的新型架構(gòu)，對(duì)于生成有用的EDA筆記本非常有效。本文還從學(xué)習(xí)融合的角度得出了一個(gè)類似的結(jié)論，如下文第5.4節(jié)所述。

5.4? 學(xué)習(xí)收斂性比較

本文將AEDAS的解決方案與其他優(yōu)化架構(gòu)（基線4A-4C）進(jìn)行了比較，并通過(guò)圖5展示了兩個(gè)代表性數(shù)據(jù)集的平均情節(jié)獎(jiǎng)勵(lì)與AEDAS獲得的訓(xùn)練步驟數(shù)之間的關(guān)系（其他數(shù)據(jù)集也有類似趨勢(shì)）。由于Greedy-CR使用了非學(xué)習(xí)性的貪婪策略，它對(duì)訓(xùn)練步驟的數(shù)量無(wú)動(dòng)于衷，因此在每張圖中被描繪成虛線水平線。Greedy-CR獲得的獎(jiǎng)勵(lì)比AEDAS低得多?；€OTS-DRL，對(duì)應(yīng)于帶有Softmax輸出層的標(biāo)準(zhǔn)DRL架構(gòu)，顯示出較差的學(xué)習(xí)效果，因?yàn)樗枰^(guò)一百萬(wàn)個(gè)訓(xùn)練步驟才能穩(wěn)定在次優(yōu)獎(jiǎng)勵(lì)（接近0）。

圖5? 學(xué)習(xí)收斂性比較

OTS-DRL-B采用了與OTS-DRL相同的架構(gòu)，并使用了基于頻率的分選解決方案。與OTS-DRL相比，OTS-DRL-B的有效性更高，因?yàn)樗軌蛟诔^(guò)一百萬(wàn)步（在本文的服務(wù)器上為6～11小時(shí)）后收斂，并達(dá)到更高的重值。完整的AEDAS優(yōu)于所有三個(gè)基線，它的收斂速度快了2～3倍，并且達(dá)到了明顯更高的平均報(bào)酬。AEDAS的收斂是穩(wěn)定的，無(wú)論探索的數(shù)據(jù)集如何，都能達(dá)到高回報(bào)，而其他基線的性能則各不相同。

6? 結(jié)? 論

本文提出了一個(gè)基于MDP模型和DRL架構(gòu)的自動(dòng)生成EDA筆記本的系統(tǒng)。該系統(tǒng)不僅可以生成一組有分析價(jià)值的數(shù)據(jù)觀點(diǎn)，而且這些觀點(diǎn)在一個(gè)連貫的敘述中顯示了數(shù)據(jù)集的不同方面。實(shí)驗(yàn)結(jié)果表明，生成的筆記本質(zhì)量高，用戶可以通過(guò)檢查它們來(lái)獲得有價(jià)值的洞察力。然而，作為這一領(lǐng)域中的第一個(gè)系統(tǒng)，AEDAS還有一些局限性，需要在未來(lái)的工作中加以解決，例如擴(kuò)大其支持的探索性操作集、促進(jìn)個(gè)性化會(huì)話的生成，以及在不同的數(shù)據(jù)集中推廣其學(xué)習(xí)過(guò)程。進(jìn)一步開發(fā)可定制和更精細(xì)的EDA會(huì)話，以實(shí)現(xiàn)減少EDA中的人工努力的長(zhǎng)期目標(biāo)，可為煙草行業(yè)及其他領(lǐng)域提供更有效的數(shù)據(jù)分析和決策支持。

參考文獻(xiàn)：

[1] 朱鈺，張穎. 談探索性數(shù)據(jù)分析 [J].統(tǒng)計(jì)教育，1997 （3）：18-19.

[2] 張璇.探索性數(shù)據(jù)分析的方法在職工平均工資中的應(yīng)用 [J].中國(guó)市場(chǎng)，2013（46）：99-100.

[3] 彭紅星，鄒湘軍，郭艾俠，等.基于探索性數(shù)據(jù)分析的柑橘部位顏色模型分析與識(shí)別 [J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2013，44（S1）：253-259+235.

[4] KRASKA T. Northstar：An interactive data science system [J].Proceedings of the VLDB Endowment，2018，11（12）：2150-2164.

[5] Tableau software [EB/OL].[2023-04-23].https：//www.tableau.com/.

[6] SARAWAGI S，AGRAWAL R，MEGIDDO N. Discovery-driven exploration of olap data cubes [C]//Proceedings of the 6th International Conference on Extending Database Technology：Advances in Database Technology.Springer-Verlag，1998：168-182.

[7] MILO T，SOMECH A. Next-step suggestions for modern interactive data analysis platforms [C]//KDD '18：Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining.New York：Association for Computing Machinery，2018：576-585.

[8] CHIRIGATI F，DORAISWAMY H，DAMOULAS T，et al. Data polygamy：the many-many relationships among urban spatio-temporal data sets [C]//SIGMOD '16：Proceedings of the 2016 International Conference on Management of Data.New York：Association for Computing Machinery，2016：1011-1025.

[9] KERY M B，RADENSKY M，ARYA M，et al. The story in the notebook：Exploratory data science using a literate programming tool [C]//CHI '18：Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems.New York：Association for Computing Machinery，2018：1-11.

[10] RULE A，TABARD A，HOLLAN J D. Exploration and explanation in computational notebooks [C]//CHI '18：Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems.New York：Association for Computing Machinery，2018：1-12.

[11] 密紅，何利力，楊秀梅.煙草數(shù)據(jù)中心ETL技術(shù)應(yīng)用 [J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2011，20（5）：184-187.

[12] 章惠民.福建煙草數(shù)據(jù)中心數(shù)據(jù)質(zhì)量監(jiān)控技術(shù)應(yīng)用 [J].中國(guó)煙草學(xué)報(bào)，2017，23（2）：117-120.

[13] 周玉嬋.數(shù)據(jù)挖掘在煙草企業(yè)CRM中的應(yīng)用 [D].廣州：華南理工大學(xué)，2013.

[14] EIRINAKI M，ABRAHAM S，POLYZOTIS N，et al. Querie：Collabo- rative database exploration [J].IEEE Transactions on Knowledge and Data Engineering，2014，26（7）：1778-1790.

[15] HUANG E，PENG L，PALMA L D，et al. Optimization for active learning-based interactive database exploration [J].Proceedings ofthe VLDB Endowment，2018，12（1）：71–84.

[16] JOGLEKAR M，GARCIA-MOLINA H，PARAMESWARAN A G. Interactive data exploration with smart drill-down [C]//2016 IEEE 32nd International Conference on Data Engineering （ICDE）.Helsinki：IEEE，2016：906-917.

[17] RATNER A，BACH S H，EHRENBERG H，et al. Snorkel：Rapid training data creation with weak supervision [J].Proceedings of the VLDB Endowment，2017，11（3）：269-282.

[18] GOSAVI A. Reinforcement learning：A tutorial survey and recent advances [J].INFORMS Journal on Computing，2009，21（2）：178-192.

[19] LI Y. Deep reinforcement learning：An overview [J/OL].arXiv：1701.07274 [cs.LG].（2017-01-25）.https：//arxiv.org/abs/1701.07274v5.

[20] HAUSKNECHT M，STONE P. Deep reinforcement learning in parame-terized action space [J/OL].arXiv：1511.04143 [cs.AI].（2015-11-13）.https：//arxiv.org/abs/1511.04143v1.

[21] KAELBLING L P，LITTMAN M L，MOORE A P. Reinforcement learning：A survey [J].Journal of Artificial Intelligence Research，1996，4：237-285.

[22] MNIH V，BADIA A P，MIRZA M，et al. Asynchronous methods for deep reinforcement learning [C]//ICML'16：Proceedings of the 33rd International Conference on International Conference on Machine Learning.New York：JMLR.org，2016：1928-1937.

[23] EL O B，MILO T，SOMECH A. A-eda：Automatic benchmark for auto-generated eda [EB/OL].[2023-04-27].https：//github.com/TAU-DB/ATENS-A-EDA.

[24] SPITZNER L. The honeynet project：Trapping the hackers [J].IEEE Security & Privacy，2003，1（2）：15-23.

[25] SCHULMAN J，WOLSKI F，DHARIWAL P，et al. Proximal Policy Optimization Algorithms [J/OL].arXiv：1707.06347 [cs.LG].（2017-07-20）.https：//arxiv.org/abs/1707.06347.

[26] PAPINENI K，ROUKOS S，WARD T，et al. Bleu：a method for automatic evaluation of machine translation [C]//ACL '02：Proceedings of the 40th Annual Meeting on Association for Computational Linguistics.Stroudsburg：ACL，2002：311-318.

作者簡(jiǎn)介：汪洋（1988—），男，漢族，新疆哈密人，工程師，碩士研究生，研究方向：計(jì)算機(jī)技術(shù)。