基于神經(jīng)網(wǎng)絡(luò)詞嵌入模型的單詞聯(lián)想記憶系統(tǒng)設(shè)計(jì)

王彬彬 李強(qiáng) 李若宇

摘要：針對(duì)傳統(tǒng)單詞記憶軟件因缺乏語(yǔ)境與單詞關(guān)聯(lián)造成的學(xué)習(xí)效率低下問(wèn)題，文章采用Pytorch深度學(xué)習(xí)框架，基于神經(jīng)網(wǎng)絡(luò)構(gòu)建詞嵌入模型進(jìn)行單詞聯(lián)想記憶系統(tǒng)設(shè)計(jì)。在待學(xué)習(xí)的英語(yǔ)語(yǔ)料上訓(xùn)練模型并生成詞嵌入向量，計(jì)算英文單詞之間的相似度，通過(guò)相似度進(jìn)行單詞關(guān)聯(lián)分析。使用SpringBoot構(gòu)建后端系統(tǒng)，使用VUE技術(shù)構(gòu)建前端頁(yè)面，設(shè)計(jì)并實(shí)現(xiàn)單詞聯(lián)想記憶系統(tǒng)。系統(tǒng)依據(jù)學(xué)習(xí)進(jìn)度，將關(guān)聯(lián)單詞及其相應(yīng)語(yǔ)境圖片進(jìn)行可視化展示，達(dá)到單詞聯(lián)想記憶的效果，從而提升單詞的記憶效率。

關(guān)鍵詞：詞嵌入模型；神經(jīng)網(wǎng)絡(luò)；聯(lián)想記憶；單詞學(xué)習(xí)；SpringBoot；VUE

中圖分類(lèi)號(hào)：TP391.41? 文獻(xiàn)標(biāo)志碼：A

0 引言

隨著互聯(lián)網(wǎng)的發(fā)展，產(chǎn)生了諸多單詞記憶類(lèi)軟件［1-3］，如默默背單詞，百詞斬、扇貝單詞等。這些軟件的產(chǎn)生使學(xué)生記憶單詞的工具和方式更為靈活，并且可以充分利用碎片化時(shí)間來(lái)進(jìn)行單詞記憶。但這些軟件提供的單詞背誦方式，仍然是按字母表順序背誦、隨機(jī)背誦或者基于單詞在語(yǔ)料中出現(xiàn)的頻次進(jìn)行背誦。這些背誦方式雖然相對(duì)于傳統(tǒng)的基于書(shū)本的背誦方式更為靈活，但仍然缺乏語(yǔ)境的支持，導(dǎo)致記憶效率低下。

聯(lián)想記憶是一種高效的記憶方法，可以提升記憶深度和時(shí)長(zhǎng)［4］。需要一種方法能針對(duì)語(yǔ)料和學(xué)習(xí)語(yǔ)境，構(gòu)建單詞之間的關(guān)聯(lián)關(guān)系，并根據(jù)關(guān)聯(lián)關(guān)系給學(xué)生提供一套單詞聯(lián)想記憶系統(tǒng)。

基于神經(jīng)網(wǎng)絡(luò)的詞嵌入模型成為近年來(lái)自然語(yǔ)言研究的熱點(diǎn)［5-6］ （ChatGPT、BERT等大模型中均使用的詞嵌入技術(shù)），與傳統(tǒng)的One-Hot單詞編碼不同，詞嵌入技術(shù)將詞語(yǔ)轉(zhuǎn)化高維特征向量，并可以依據(jù)特征向量計(jì)算單詞的相似度，以此解決諸如文本推理、情感分析、對(duì)話支持等問(wèn)題。

本文借鑒詞嵌入技術(shù)的思想，設(shè)計(jì)了一款基于神經(jīng)網(wǎng)絡(luò)詞嵌入模型的單詞聯(lián)想記憶系統(tǒng)。該系統(tǒng)可以基于學(xué)習(xí)語(yǔ)料（比如四六級(jí)考試資料），使用基于神經(jīng)網(wǎng)絡(luò)的詞嵌入模型構(gòu)建詞嵌入向量，并基于詞嵌入向量對(duì)待學(xué)習(xí)的單詞進(jìn)行關(guān)聯(lián)分析。同時(shí)，系統(tǒng)還運(yùn)用SpringBoot、VUE等技術(shù)將分析的結(jié)果在WEB界面上進(jìn)行可視化。學(xué)生在學(xué)習(xí)某一單詞時(shí)，會(huì)展示相關(guān)的單詞以及對(duì)應(yīng)的語(yǔ)境圖片，從而達(dá)到通過(guò)聯(lián)想記憶，加深單詞記憶的效果，提升單詞背誦的效率。

1 詞嵌入向量構(gòu)建

1.1 詞嵌入技術(shù)

詞語(yǔ)是自然語(yǔ)言的基本單元，在計(jì)算機(jī)處理文本信息時(shí)，詞語(yǔ)的表示至關(guān)重要。傳統(tǒng)的One-Hot編碼雖然可以表示文本中的詞語(yǔ)，但無(wú)法表示出詞語(yǔ)之間的關(guān)系。針對(duì)這一問(wèn)題，谷歌在2013年提出了Word2Vec框架。該框架基于神經(jīng)網(wǎng)絡(luò)技術(shù)，運(yùn)用skip-grams思想，構(gòu)建了詞嵌入模型，并基于谷歌自身語(yǔ)料庫(kù)，訓(xùn)練生成了300維的詞向量。之后，詞嵌入技術(shù)受到學(xué)者們的深入研究，成為自然語(yǔ)言處理問(wèn)題中詞語(yǔ)的通用表示方法。

1.2 語(yǔ)料庫(kù)生成

單詞聯(lián)想記憶系統(tǒng)的目的是提升學(xué)生在特定學(xué)習(xí)目標(biāo)上的單詞記憶效率，因此在生成詞嵌入向量前，需要首先針對(duì)學(xué)習(xí)目標(biāo)，采集對(duì)應(yīng)學(xué)習(xí)場(chǎng)景的語(yǔ)料。比如，針對(duì)四六級(jí)單詞背誦，應(yīng)先采集歷年的四六級(jí)真題。以四六級(jí)真題數(shù)據(jù)，作為語(yǔ)料，來(lái)訓(xùn)練詞嵌入向量，更加有助于學(xué)生四六級(jí)單詞背誦。

采集完語(yǔ)料后，還需對(duì)語(yǔ)料數(shù)據(jù)進(jìn)行預(yù)處理，使之滿足神經(jīng)網(wǎng)絡(luò)的輸入結(jié)構(gòu)。語(yǔ)料預(yù)處理步驟如圖1所示。

在數(shù)據(jù)預(yù)處理時(shí)，首先將采集到的語(yǔ)料數(shù)據(jù)歸并到一個(gè)文件中，去除文件中的無(wú)用符號(hào)，比如逗號(hào)、句號(hào)、數(shù)字等。之后去除英文中的停止詞，比如a、the、of等?；谑Ｏ碌恼Z(yǔ)料信息構(gòu)建詞匯表，依據(jù)N-gram思想，構(gòu)建三單詞元組（即將連續(xù)出現(xiàn)的三個(gè)單詞當(dāng)做一個(gè)元組，用前兩個(gè)單詞預(yù)測(cè)后一個(gè)單詞），最后依據(jù)神經(jīng)網(wǎng)絡(luò)的輸入格式要求，構(gòu)建輸入特征和輸出標(biāo)簽。

經(jīng)過(guò)數(shù)據(jù)預(yù)處理后，構(gòu)建出了可用于訓(xùn)練的語(yǔ)料庫(kù)。之后將該語(yǔ)料庫(kù)數(shù)據(jù)輸入到基于神經(jīng)網(wǎng)絡(luò)的詞嵌入模型中，便可以訓(xùn)練得出基于特定學(xué)習(xí)場(chǎng)景的詞嵌入向量。

1.3 神經(jīng)網(wǎng)絡(luò)詞嵌入模型

高維稠密的詞嵌入向量通常是通過(guò)神經(jīng)網(wǎng)絡(luò)訓(xùn)練生成的。為了獲得基于特定學(xué)習(xí)場(chǎng)景的詞嵌入向量。本文使用Pytorch框架，基于神經(jīng)網(wǎng)絡(luò)技術(shù)，構(gòu)建了詞嵌入向量模型。模型的結(jié)構(gòu)如圖2所示。

系統(tǒng)使用N-gram思想，將連續(xù)出現(xiàn)的三個(gè)單詞作為一個(gè)樣本，用前兩個(gè)單詞來(lái)預(yù)測(cè)第三個(gè)單詞。因此，輸入時(shí)需要輸入兩個(gè)單詞，嵌入層將這兩個(gè)單詞轉(zhuǎn)化成對(duì)應(yīng)的詞嵌入向量，然后通過(guò)輸出層輸出成轉(zhuǎn)化成輸出向量（輸出向量維度與詞表表長(zhǎng)度相同），最后通過(guò)softmax函數(shù)，輸出預(yù)測(cè)單詞是詞匯表中各個(gè)單詞的概率。

神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時(shí)使用的損失函數(shù)為交叉熵?fù)p失函數(shù)，使用的優(yōu)化函數(shù)為隨機(jī)梯度下降方法，學(xué)習(xí)率為0.01。

2 單詞聯(lián)想記憶系統(tǒng)設(shè)計(jì)

2.1 總體設(shè)計(jì)

得出詞嵌入向量后，便可以計(jì)算單詞之間的關(guān)聯(lián)關(guān)系，進(jìn)而依據(jù)關(guān)聯(lián)關(guān)系進(jìn)行單詞學(xué)習(xí)了。為了便于用戶使用，本文基于SpringBoot和VUE技術(shù)，設(shè)計(jì)并實(shí)現(xiàn)了一款單詞聯(lián)想記憶系統(tǒng)。系統(tǒng)包括單詞管理模塊、關(guān)聯(lián)度計(jì)算模塊、用戶管理模塊。系統(tǒng)組織架構(gòu)如圖3所示。

2.2 單詞管理模塊

單詞管理模塊負(fù)責(zé)管理學(xué)習(xí)場(chǎng)景以及學(xué)習(xí)場(chǎng)景下的單詞信息管理。單詞信息包括單詞的釋義和單詞的嵌入向量。注意其中同一個(gè)單詞在不同學(xué)習(xí)場(chǎng)景下的詞向量可能存在差異。比如在中考英語(yǔ)、高考英語(yǔ)、考研英語(yǔ)三個(gè)場(chǎng)景下，因?yàn)檎Z(yǔ)料不同，同一個(gè)單詞關(guān)聯(lián)的單詞可能會(huì)發(fā)生變化，從而造成詞嵌入向量存在差異。

2.3 關(guān)聯(lián)度計(jì)算模塊

關(guān)聯(lián)度計(jì)算模塊用于計(jì)算單詞之間的相關(guān)性，找到與當(dāng)前記憶單詞相關(guān)性最高的TOP-N單詞。同時(shí)為了防止對(duì)用戶已學(xué)單詞重復(fù)推薦，系統(tǒng)會(huì)對(duì)已學(xué)單詞的相關(guān)性進(jìn)行降權(quán)處理，從而達(dá)到優(yōu)先推薦未學(xué)關(guān)聯(lián)單詞的目的。

2.4 用戶管理模塊

用戶管理模塊用于用戶的登錄、注冊(cè)及管理操作，并記錄用戶在各個(gè)場(chǎng)景下已學(xué)的單詞，以及單詞的學(xué)習(xí)時(shí)間。

3 結(jié)語(yǔ)

單詞的學(xué)習(xí)是英語(yǔ)學(xué)習(xí)的基礎(chǔ)，然而缺乏英文語(yǔ)境情況下，學(xué)生學(xué)習(xí)單詞的方法主要是通過(guò)重復(fù)背誦來(lái)進(jìn)行。這樣的背誦過(guò)程單調(diào)又乏味，容易使學(xué)生產(chǎn)生厭學(xué)情緒，導(dǎo)致單詞背誦效率低下。針對(duì)這一問(wèn)題，本文設(shè)計(jì)了一款單詞聯(lián)想記憶系統(tǒng)。該系統(tǒng)受到自然語(yǔ)言處理中廣泛使用的詞嵌入向量啟發(fā)，在待學(xué)習(xí)的語(yǔ)料上訓(xùn)練詞嵌入模型，運(yùn)用詞向量衡量單詞的相似性，并依據(jù)單詞相似性找出單詞之間的關(guān)聯(lián)關(guān)系。系統(tǒng)模型部分運(yùn)用Pytorch深度學(xué)習(xí)框架構(gòu)建，系統(tǒng)后臺(tái)邏輯通過(guò)Springboot進(jìn)行實(shí)現(xiàn)，系統(tǒng)前臺(tái)交互和可視化采用VUE技術(shù)。通過(guò)本系統(tǒng)，用戶可以依據(jù)單詞的相關(guān)性進(jìn)行單詞背誦，并提供語(yǔ)境圖片展示，從而達(dá)到聯(lián)想記憶的效果，進(jìn)而提升單詞背誦的效率。

參考文獻(xiàn)

［1］黃博.英語(yǔ)學(xué)習(xí)背詞類(lèi)軟件的調(diào)查分析［J］.計(jì)算機(jī)時(shí)代，2021（12）：128-130.

［2］李文慧，王俊麗，馮小玲.單詞記憶軟件中自主學(xué)習(xí)策略應(yīng)用的探究［J］.海外英語(yǔ)，2022（7）：86-87，104.

［3］陳禮騰.英語(yǔ)背單詞工具對(duì)比［J］.計(jì)算機(jī)與網(wǎng)絡(luò)，2021（23）：28-29.

［4］李毓秋，張二虎.“形象化聯(lián)想記憶訓(xùn)練”的初步實(shí)驗(yàn)研究［J］.山西大學(xué)師范學(xué)院學(xué)報(bào)，1999（1）：67-68.

［5］顧迎捷，桂小林，李德福，等.基于神經(jīng)網(wǎng)絡(luò)的機(jī)器閱讀理解綜述［J］.軟件學(xué)報(bào)，2020（7）：2095-2126.

［6］趙亞歐，張家重，李貽斌，等.融合基于語(yǔ)言模型的詞嵌入和多尺度卷積神經(jīng)網(wǎng)絡(luò)的情感分析［J］.計(jì)算機(jī)應(yīng)用，2020（3）：651-657.

（編輯 李春燕）

Design of word association memory system based on neural network word embedding model

Wang? Binbin， Li? Qiang*， Li? Ruoyu

（School of Computer Science， Huainan Normal University， Huainan 232038， China）

Abstract： To address the inefficiency of traditional word learning software due to the lack of context and word association， the Pytorch deep learning framework is used to build a word embedding model based on neural networks， train the model on the English corpus to be learned and generate a word embedding vector， use the word embedding vector to calculate the similarity between English words， and perform word association analysis through the similarity. The back-end system is built using SpringBoot and the front-end page is built using VUE technology to design and implement the word association memory system. The system visualizes the associated words and their corresponding contextual pictures according to the learning progress， so as to achieve the effect of word association memory and thus improve the efficiency of word memory.

Key words： word embedding model; neural network; association memory; word learning; SpringBoot; VUE