基于UML 的句子相似度計(jì)算小程序的設(shè)計(jì)

江阿古麗·哈依達(dá)爾 郭 玲

（昌吉學(xué)院，新疆 昌吉 831100）

1 句子相似度計(jì)算小程序的研究意義

以前的研究工作中，從詞性、詞序、句長(zhǎng)、相似單元角等幾個(gè)方面提出了哈薩克語(yǔ)句子相似度的計(jì)算方法，另外初步研究了切分名詞詞根和詞綴的有限狀態(tài)自動(dòng)機(jī)的構(gòu)造[1]。隨著python 程序設(shè)計(jì)語(yǔ)言的廣泛使用，目前也可以采用numpy()函數(shù)庫(kù)、字符串和有序組合數(shù)據(jù)的內(nèi)置函數(shù)等有關(guān)技術(shù)方法，從數(shù)據(jù)庫(kù)中可以篩選出相似句子，并按相似比例的高低進(jìn)行排序。粘著性語(yǔ)言類的詞根和詞綴具有較特殊的主從關(guān)系，因此，計(jì)算相似度前實(shí)現(xiàn)分解句子和切分詞綴是必不可少的。本文主要探討的小程序的詳細(xì)設(shè)計(jì)方案對(duì)計(jì)算句子相似度技術(shù)，甚至對(duì)機(jī)器翻譯、搜索引擎等領(lǐng)域的研究工作提供必要的技術(shù)條件。

2 句子相似度計(jì)算小程序的可行性研究

句子相似度計(jì)算小程序作為驗(yàn)證新的計(jì)算方法和其規(guī)則而推出的測(cè)試小系統(tǒng)，可以在人工智能、自然語(yǔ)言處理等領(lǐng)域，當(dāng)作數(shù)據(jù)分析的輔助系統(tǒng)應(yīng)用，該系統(tǒng)的設(shè)計(jì)和維護(hù)階段的任務(wù)分解明確，操作簡(jiǎn)單易學(xué)，使用群體只限于研究人員和測(cè)試人員，用戶不僅可查看數(shù)據(jù)分析結(jié)果以外，還可以組內(nèi)交流意見。

3 需求分析

參與者分管理員、測(cè)試員和計(jì)算相似度后臺(tái)系統(tǒng)。管理員可以進(jìn)行維護(hù)測(cè)試員信息、維護(hù)數(shù)據(jù)庫(kù)、審核新提交的數(shù)據(jù)、維護(hù)公告等操作。測(cè)試員首先登錄系統(tǒng)后可以使用計(jì)算相似度，上傳新數(shù)據(jù)，修改個(gè)人信息、查看公告和在分組討論模塊留言等功能。至于未注冊(cè)系統(tǒng)的用戶系統(tǒng)每一天只提供三次免費(fèi)查詢功能。計(jì)算相似度后臺(tái)系統(tǒng)以輔助參與者的身份與外部環(huán)境進(jìn)行交互。

4 句子相似度計(jì)算小程序的系統(tǒng)模塊分析

系統(tǒng)由登錄界面、測(cè)試相似度界面、查看公告界面和分組討論界面組成。其中前臺(tái)由測(cè)試員和管理員都可以登錄，每個(gè)模塊兩類用戶均可實(shí)現(xiàn)的操作有：登錄界面中可以注冊(cè)、登錄、填寫個(gè)人信息；測(cè)試相似度界面中可以搜索相似單詞、搜索相似句子、上傳新數(shù)據(jù)；查看公告（新聞）界面中可以完成查看新發(fā)布的公告、搜索公告、點(diǎn)贊公告（新聞）等操作；分組討論模塊中可以留言、點(diǎn)贊。

后臺(tái)智能允許管理員訪問，其中管理員可以完成的操作有：（1）用戶管理模塊：審核注冊(cè)、注銷的測(cè)試員賬號(hào)，維護(hù)測(cè)試員基本信息，并更新測(cè)試員實(shí)體類數(shù)據(jù)庫(kù)表；（2）相似單詞（句子）管理模塊：添加新的計(jì)算規(guī)則、維護(hù)有誤數(shù)據(jù)，并更新單詞（句子）實(shí)體類數(shù)據(jù)庫(kù)表；（3）公告（新聞）管理模塊：上傳新公告（新聞），維護(hù)已經(jīng)上傳的新數(shù)據(jù)，并更新公告（新聞）實(shí)體類數(shù)據(jù)庫(kù)表；（4）分組討論模塊：維護(hù)留言信息，并更新留言實(shí)體類數(shù)據(jù)庫(kù)表；（5）系統(tǒng)歷史記錄管理模塊：維護(hù)系統(tǒng)使用記錄信息，并更新歷史信息實(shí)體類數(shù)據(jù)庫(kù)表。

5 句子相似度計(jì)算小程序的功能分析

系統(tǒng)中除了注冊(cè)和登錄的前提條件為參與者打開系統(tǒng)界面外，維護(hù)、上傳、留言、搜索等功能的前置條件是參與者登錄系統(tǒng)成功，其基本的操作流程如下：

1.注冊(cè)功能：測(cè)試員登錄前先需要注冊(cè)，新測(cè)試員通過填寫姓名、聯(lián)系方式、單位和驗(yàn)證碼進(jìn)行注冊(cè)系統(tǒng)，并提交信息。管理員對(duì)其參與者信息進(jìn)行審核，如果審核通過，將分配ID 賬號(hào)編碼，并發(fā)送登錄密碼，設(shè)置其用戶權(quán)限。測(cè)試員收到管理員信息后對(duì)賬號(hào)密碼進(jìn)行修改。

圖1 系統(tǒng)用例分析圖

2.登錄功能：管理員和測(cè)試員首先登錄成功后可以正常使用小系統(tǒng)。為了保護(hù)測(cè)試員的基本信息，忘記賬號(hào)密碼時(shí)只允許輸入三次，如果輸入有誤，將系統(tǒng)提示錯(cuò)誤信息。測(cè)試員忘記密碼時(shí)，可以通過手機(jī)驗(yàn)證等措施找回賬號(hào)密碼。

3.維護(hù)測(cè)試員信息：新測(cè)試員注冊(cè)系統(tǒng)時(shí)，管理員查看其參與者基本信息的完整性，并審核其身份；如果測(cè)試員注銷其賬號(hào)，管理員將數(shù)據(jù)庫(kù)中刪除其基本信息，并取消權(quán)限；部分信息安全級(jí)別較高的，隱藏的用戶個(gè)人信息由管理員親自審核、修改、補(bǔ)充和刪除。

4.維護(hù)數(shù)據(jù)庫(kù)：句子相似度系統(tǒng)的數(shù)據(jù)庫(kù)規(guī)模可無限地?cái)U(kuò)展，隨著新數(shù)據(jù)的上傳，器容量可以不斷增大。但參與者提交新單詞或句子之后，管理員先審核該數(shù)據(jù)，如果數(shù)據(jù)中有拼寫錯(cuò)誤或者語(yǔ)法錯(cuò)誤等問題，將數(shù)據(jù)審核結(jié)果發(fā)送給上傳數(shù)據(jù)的測(cè)試員；該測(cè)試員第二次重新編輯數(shù)據(jù)，確保無誤后，再次提交到系統(tǒng)上。管理員再次審核該數(shù)據(jù)，如果新上傳的數(shù)據(jù)中沒有任何問題，下一步檢索在數(shù)據(jù)庫(kù)中是否存在該數(shù)據(jù)，如果沒有則添加至數(shù)據(jù)庫(kù)中。

除此之外，管理員還可以刪除數(shù)據(jù)庫(kù)中重復(fù)的信息或者錯(cuò)誤的信息，還可以進(jìn)行修改、更新等維護(hù)操作。用例維護(hù)信息的前置條件是數(shù)據(jù)庫(kù)在系統(tǒng)中存在，管理員登錄管理模塊成功。管理員與系統(tǒng)參加該用例，基本流程為：首先，管理員在數(shù)據(jù)庫(kù)中檢索相關(guān)單詞或句子；其次，如果數(shù)據(jù)庫(kù)中存在，則維護(hù)其內(nèi)容，并提交；最后，數(shù)據(jù)庫(kù)覆蓋原數(shù)據(jù)后，則提示維護(hù)成功。替代流為：如果數(shù)據(jù)庫(kù)中找不到關(guān)鍵字，則系統(tǒng)提示管理員該數(shù)據(jù)數(shù)據(jù)庫(kù)中不存在；如果元數(shù)據(jù)覆蓋失敗，則系統(tǒng)提示管理員數(shù)據(jù)維護(hù)失敗，請(qǐng)重新設(shè)置。

5.上傳新數(shù)據(jù)：測(cè)試員登錄系統(tǒng)后可查看某一個(gè)關(guān)鍵字在數(shù)據(jù)庫(kù)中的相似句子或者單詞，如果搜索數(shù)據(jù)時(shí)，數(shù)據(jù)庫(kù)提示其數(shù)據(jù)不存在，則測(cè)試員可以將數(shù)據(jù)作為新關(guān)鍵詞上傳至數(shù)據(jù)庫(kù)中，同時(shí)還可以提交使用該單詞的句子和它的近義詞，從而可以不斷更新和充實(shí)系統(tǒng)數(shù)據(jù)庫(kù)。

6.搜索相似句：測(cè)試員首先在搜索框中輸入關(guān)鍵字，并點(diǎn)擊確認(rèn)后，系統(tǒng)將其關(guān)鍵字的相似單詞或句子從數(shù)據(jù)庫(kù)中進(jìn)行檢索，并把最終結(jié)果輸出。其中相似度的計(jì)算方法在查找相似單詞和相似句子中應(yīng)用。

搜索相似單詞：測(cè)試員登陸成功后再計(jì)算相似度模塊選擇單詞相似度計(jì)算功能，輸入關(guān)鍵詞，點(diǎn)擊確。則系統(tǒng)會(huì)自動(dòng)檢測(cè)數(shù)據(jù)庫(kù)中出現(xiàn)該單詞的句子和近義詞，通過對(duì)比單詞的長(zhǎng)短、對(duì)比字符串的序號(hào)和字符類型等方式計(jì)算其相似度比例，并把相似單詞、近義詞和相似度顯示在界面上；如果數(shù)據(jù)庫(kù)中找不到該關(guān)鍵字?jǐn)?shù)據(jù)庫(kù)則提醒測(cè)試員數(shù)據(jù)庫(kù)中不存在該數(shù)據(jù)，并提示是否確認(rèn)添加到數(shù)據(jù)中。

搜索相似句子：該功能的基本用例模板與搜索相似單詞的基本流程是一樣的，只不過計(jì)算數(shù)據(jù)模型是按句子所包含的有序組合中的字符序號(hào)、其來長(zhǎng)度和詞序進(jìn)行匹配，搜索過程中找不到的句子時(shí)，測(cè)試員可以通過上傳新數(shù)據(jù)的方式提交至數(shù)據(jù)庫(kù)中，管理員審核通過后更新系統(tǒng)數(shù)據(jù)庫(kù)。

7.查看公告（新聞）：前置條件為管理員發(fā)表公告，只能高級(jí)管理員對(duì)公告進(jìn)行上傳、刪除、編輯和置頂?shù)染S護(hù)操作。管理員發(fā)布公告成功后，測(cè)試員在登錄系統(tǒng)的狀態(tài)下，可以查看其公告，并公告左下方可以進(jìn)行點(diǎn)贊和舉報(bào)操作。

8.分組討論（留言）：只要注冊(cè)系統(tǒng)的參與者都可以參與到分組討論中。測(cè)試員同樣先登錄后發(fā)表自己的意見；管理員審核通過后以“組內(nèi)留言”方式組內(nèi)可以開展討論。留言審核通過后，如果發(fā)現(xiàn)有錯(cuò)別字或者別的問題，留言的參與者可以自行修改、刪除其內(nèi)容。其他參加互動(dòng)的人員通過引用該評(píng)論發(fā)表自己的意見，點(diǎn)贊自己贊同的留言，有意見的內(nèi)容可以舉報(bào)給系統(tǒng)管理員。

以上功能的后置條件為操作成功，更新數(shù)據(jù)庫(kù)中對(duì)應(yīng)的實(shí)體類數(shù)據(jù)庫(kù)表，并生成每個(gè)階段的操作記錄文件。

6 數(shù)據(jù)庫(kù)分析

系統(tǒng)數(shù)據(jù)庫(kù)是通過連接多種子表的方式創(chuàng)建。其中，數(shù)據(jù)庫(kù)子表可分為實(shí)體類和邊界類數(shù)據(jù)庫(kù)表。實(shí)體類表示參與系統(tǒng)交互的人員和系統(tǒng)關(guān)鍵信息存儲(chǔ)的表格，如：用戶實(shí)體類表、單詞實(shí)體類表、句子實(shí)體類表、公告（新聞）實(shí)體類表、留言實(shí)體類表等。邊界類表示系統(tǒng)界面數(shù)據(jù)存儲(chǔ)的表格，如：主界面邊界類表、公告頁(yè)面邊界類表、搜索頁(yè)面邊界類表、登錄頁(yè)面邊界類表、留言頁(yè)面邊界類表等。

測(cè)試員和管理員完成一項(xiàng)操作后數(shù)據(jù)庫(kù)表中以下幾個(gè)實(shí)體類表格數(shù)據(jù)會(huì)被修改：一是賬號(hào)實(shí)體類的屬性包含用戶名、ID、注冊(cè)日期、聯(lián)系方式、單位、賬號(hào)密碼和賬號(hào)級(jí)別（管理員或測(cè)試員）組成。二是單詞實(shí)體類的屬性包含單詞編號(hào)、單詞內(nèi)容、近義詞和相似度信息組成。三是句子實(shí)體類的屬性包含句子編號(hào)、句子內(nèi)容、句子相似度信息組成。四是留言實(shí)體類的屬性包含留言者名稱、留言編號(hào)、留言時(shí)間和其內(nèi)容組成。五是公告（新聞）實(shí)體類的屬性包含編號(hào)、發(fā)布時(shí)間、標(biāo)題、內(nèi)容、點(diǎn)贊次數(shù)等內(nèi)容組成。六是歷史記錄實(shí)體類的屬性包含記錄編號(hào)、詳細(xì)內(nèi)容、記錄時(shí)間和操作者名稱組成。

計(jì)算句子相似度的過程中，如果對(duì)單詞進(jìn)行切分時(shí)，需要在數(shù)據(jù)庫(kù)中添加粘著性語(yǔ)言類的詞綴實(shí)體類表，通過匹配單詞和詞綴表，完成詞根和詞綴的分解操作[2]。

系統(tǒng)主界面包含搜索界面（計(jì)算相似度）、留言界面、登錄界面和公告界面，這幾個(gè)界面的基本信息通過邊界類的類型保存至數(shù)據(jù)庫(kù)，測(cè)試員與系統(tǒng)之間通過以上邊界類來進(jìn)行交互。

7 狀態(tài)機(jī)分析

1.數(shù)據(jù)狀態(tài)：數(shù)據(jù)包含數(shù)據(jù)庫(kù)中的實(shí)體單詞、句子和測(cè)試員輸入的關(guān)鍵詞；數(shù)據(jù)狀態(tài)根據(jù)詞性判斷，分別有詞根狀態(tài)、詞綴未切分狀態(tài)和連詞狀態(tài)等。

2.操作狀態(tài)：測(cè)試員輸入關(guān)鍵詞在系統(tǒng)進(jìn)行搜索時(shí)處于正在搜索狀態(tài)、匹配方式查找相似句子或單詞需要時(shí)間，時(shí)間長(zhǎng)度由數(shù)據(jù)庫(kù)規(guī)模決定。

3.參與者狀態(tài)：測(cè)試員和管理員的狀態(tài)第一階段可以分為未注冊(cè)、注冊(cè)狀態(tài)和注銷賬號(hào)等，完成注冊(cè)小系統(tǒng)后由登錄狀態(tài)、未登錄狀態(tài)和退出系統(tǒng)狀態(tài)等組成。

8 總結(jié)

句子相似度計(jì)算方法是目前人工智能領(lǐng)域普遍使用的技術(shù)，機(jī)器制造、自然語(yǔ)言處理等領(lǐng)域普遍使用的搜索，匹配功能中必須研究的項(xiàng)目之一。通過不同的數(shù)據(jù)模型計(jì)算相似度的方法識(shí)別模式具有龐大的數(shù)據(jù)庫(kù)系統(tǒng)可以提高匹配工作效率，其操作流程和數(shù)據(jù)庫(kù)之間的關(guān)系可以采用UML 模型表示[3]。本文中推出的小程序嚴(yán)格遵守系統(tǒng)需求分析和詳細(xì)設(shè)計(jì)階段的基本原理和任務(wù)要求，完成了對(duì)粘著性語(yǔ)言類計(jì)算句子相似度小系統(tǒng)的設(shè)計(jì)和建模工作，該模型在各種級(jí)別的管理系統(tǒng)的搜索模塊的開發(fā)工作中均可嵌套使用。設(shè)計(jì)方案中提出的關(guān)鍵字、屬性等數(shù)據(jù)字典部分包含的字段沒有重復(fù)出現(xiàn)，測(cè)試員的需求在允許范圍內(nèi)可擴(kuò)展，系統(tǒng)的數(shù)據(jù)庫(kù)和功能在維護(hù)過程中也需要不斷地改造和升級(jí)。