基于AI算法的自然語言信息提取?翻譯?校對系統(tǒng)設(shè)計

摘" 要： 自20世紀(jì)90年代起，隨著人工智能（AI）的飛速發(fā)展及其與深度學(xué)習(xí)等機器學(xué)習(xí)方法的廣泛融合，自然語言處理（NLP）作為人工智能的核心，也取得了令人矚目的進步。而隨著國際學(xué)術(shù)交流、世界文化交融愈加頻繁，人們搜尋、閱讀他國網(wǎng)絡(luò)信息的現(xiàn)實需求也隨之增多。當(dāng)信息搜尋者在搜尋非母語信息時，不僅會出現(xiàn)語言障礙問題，還會因錯綜復(fù)雜、層次不齊的各色信息而產(chǎn)生諸多不便。為了便于信息搜尋者快速高效地獲取有用信息，文中基于人工智能算法（PageRank/TextRank）設(shè)計一種信息提取?翻譯?校對（ETP）系統(tǒng)。系統(tǒng)通過AI自動搜索閱讀頁面上的重要信息和文本摘取，生成摘要，并基于機器翻譯API模塊完成翻譯；其次，采用智能校對系統(tǒng)完成校對審核后，將信息呈現(xiàn)給搜尋者，以供其對全部信息高效且準(zhǔn)確地進行預(yù)篩選，從而節(jié)省閱讀時間和精力。最后對系統(tǒng)算法所實現(xiàn)的功能進行實驗測試，結(jié)果達到預(yù)期。

關(guān)鍵詞： AI算法； 自然語言處理； 信息提?。?機器翻譯； 翻譯校對； PageRank算法； TextRank算法

中圖分類號： TN912.3?34" " " " " " " " " " " " " 文獻標(biāo)識碼： A" " " " " " " " " " " "文章編號： 1004?373X（2024）10?0111?06

Design of natural language information extraction?translation?proofreading

system based on AI algorithm

Abstract： Since the 1990s， with the blossom of artificial intelligence （AI） and its massive integration with machine learning methods such as deep learning， natural language processing" （NLP） technology has also made remarkable progress as the core of AI. With international academic exchanges and the integration of world cultures growing， people have more practical demands for searching and reading online information from other countries. While searching for information in other languages other than their native， information seekers will encounter not only language barriers but also much difficulty brought by intricate and uneven information. In order designs to help them obtain useful information quickly and efficiently， on the basis of AI algorithm （PageRank/TextRank）， an information extraction?translation?proofreading （ETP） system is designed. The system will， by AI automatically finding out critical information on the reading pages and generating summary， complete the translation based on machine translation API module， and present the information to seekers after completing proofreading with the intelligent proofreading system. As such， they can efficiently and accurately pre?screen all the information with less reading time and energy. In the end， the functions realized by the system algorithm are experimentally tested， and the results meet expectations.

Keywords： AI algorithm; natural language processing; information extraction; machine translation; translation proofreading; PageRank algorithm; TextRank algorithm

0" 引" 言

隨著世界一體化趨勢深入演變，不同語言文化以及國際學(xué)術(shù)圈之間的交流日益密切[1]。在此過程中，人們難免會接觸到大量的非母語信息，而當(dāng)信息搜尋者面對這類信息時，非母語的生疏感與網(wǎng)絡(luò)信息的錯綜復(fù)雜性給其帶來了極大不便，難以快速獲取其所需要的有用信息，這是因為通讀海量頁面信息一定會耗費大量的時間和精力。

人工智能技術(shù)的蓬勃發(fā)展使得自然語言處理技術(shù)對于解決這類問題呈現(xiàn)出不錯的答案。自然語言處理（NLP）領(lǐng)域起源于大約50年前的機器翻譯系統(tǒng)，該技術(shù)用于對人類自然語言進行自動處理分析及展示[2]。目前，自然語言處理的領(lǐng)域包括各種語言學(xué)理論、認(rèn)知模型以及工程方法。如今通過此技術(shù)可以在不到1 s內(nèi)完成對于數(shù)以百萬計的網(wǎng)頁處理[3]。在多種自然語言處理技術(shù)中，其重要分支——信息提取技術(shù)，能夠基于自然語言學(xué)特征，通過在新媒體信息、從論壇網(wǎng)頁、新聞資源、文獻資源等非結(jié)構(gòu)化或者半結(jié)構(gòu)化文本（如網(wǎng)頁、新媒體、論壇、新聞、學(xué)術(shù)文獻等）中提取用戶信息獲取者所需要或者指定類型的信息（如時間、地點、人物事件、屬性關(guān)系、目的結(jié)論等），通過整合并攏及合并拼接、去除冗余消除和噪聲處理等技術(shù)將非結(jié)構(gòu)化文本轉(zhuǎn)換為結(jié)構(gòu)化信息[4]。1958年，H. P. Luhn首次發(fā)表了一篇關(guān)于信息提取技術(shù)雛形的研究論文，該研究基于句子詞頻以及短語詞頻的相關(guān)特征，從信息文本中提取重要句子進行匯總[5]。H. P. Edmundson等人于1961年提出了自動分析的新概念：測量單詞，即單詞組和句子意義的相對頻率方法。該研究詳細討論了相對頻率方法，以及它在自動索引和自動抽象問題中的應(yīng)用[6]。幾年后H. P. Edmundson又在其研究中提出線索詞的概念，通過定位線索詞出現(xiàn)在研究樣本的標(biāo)題以及正文句子中的位置來判斷句子的權(quán)重程度。該研究能實現(xiàn)對權(quán)重值高以及意義重大的句子進行提取，以便進行文本總結(jié)[7]。

同樣作為自然語言處理末端技術(shù)的一種，機器翻譯是使用計算機在兩種不同語言之間進行文本或語音的翻譯，是一門實驗學(xué)科。1972年，Y. Wilks將人工智能技術(shù)帶到了機器翻譯領(lǐng)域，闡述了機器翻譯AI技術(shù)的實現(xiàn)可能與理論[8]。1981年，M. King基于語言學(xué)中的語義學(xué)理論背景，研究了人工智能機器翻譯技術(shù)，優(yōu)化了AI翻譯效果[9]。2011年，R. Mihalcea等研究者基于AI技術(shù)設(shè)計了一套特殊的機器翻譯系統(tǒng)，能夠識別輸入的不同形式的字符，完善了AI機器翻譯技術(shù)的功能[10]。

機器翻譯軟件的工作原理是：基于開發(fā)者編寫的算法設(shè)置，在網(wǎng)絡(luò)上搜索語義詞匯來提供翻譯結(jié)果。然而，這些翻譯結(jié)果的準(zhǔn)確性、可靠性及可讀性較差，難以達到主體的特定需求，無法直接使用。因此，后期需要大量人工校對與修改，但此過程中人工校對存在兩個主要缺點[11]：其一，人工校對的速度難以跟上實際情況對翻譯結(jié)果的校正需求；其二，通常而言，在實施人工校對工作時，高昂的成本和較低的效率往往同時出現(xiàn)。所以，在該領(lǐng)域基于人工校對的致命短板，涌現(xiàn)出了關(guān)于智能計算機校對系統(tǒng)的眾多研究。馮志偉采用基于短語和句法的英語翻譯校對系統(tǒng)來校正英語翻譯結(jié)果，其研究強調(diào)短語和語法的準(zhǔn)確性，但忽視了校對結(jié)果的上下文連貫性[12]。李業(yè)剛等則提出了一個包含雙語最大名詞短語的英語翻譯和校對系統(tǒng)，但通過分析發(fā)現(xiàn)，其缺少有關(guān)用戶行為的數(shù)據(jù)，這使得開發(fā)人員難以根據(jù)用戶使用情況而對系統(tǒng)進行優(yōu)化[13]。

在自然語言信息提取領(lǐng)域中，上述國內(nèi)外研究僅實現(xiàn)了提取功能，并未實現(xiàn)對信息提取之后的翻譯及校對過程的整合，并且現(xiàn)有研究中機器翻譯和翻譯校對功能存在優(yōu)化空間。因此，為便于信息搜尋者在搜尋非母語信息時快速高效、準(zhǔn)確地獲取有用信息，本文基于人工智能Page/TextRank算法，實現(xiàn)自動搜索閱讀頁面上的重要信息并進行排序，再根據(jù)字段權(quán)重排名進行文本摘取從而生成摘要。其次，采用機器翻譯API模塊對摘要信息進行自動翻譯，隨后經(jīng)過翻譯智能校對系統(tǒng)處理，最終將母語信息結(jié)果呈現(xiàn)給讀者，供其對全部頁面進行預(yù)篩選，從而節(jié)省時間和精力。

1" 理論及概念

1.1" 人工智能與自然語言處理

作為實現(xiàn)人工智能技術(shù)的一種突破性技術(shù)手段，深度學(xué)習(xí)似乎已和人工智能畫上等號。深度學(xué)習(xí)通過人工神經(jīng)元之間的連接建立一種數(shù)學(xué)模型，使計算機可以像人一樣進行分析、學(xué)習(xí)和推理。在諸多自然語言處理任務(wù)中，深度學(xué)習(xí)已經(jīng)成為了一種標(biāo)準(zhǔn)模型。

自然語言學(xué)習(xí)的過程也是機器自動學(xué)習(xí)的一個過程，其基本原理分為三個方面：語言學(xué)分析理論、數(shù)理統(tǒng)計理論、機器/深度學(xué)習(xí)[14]。對自然語言的處理過程中，存在一些基本處理點，比如：語料庫、分詞、詞向量化等等。此外，在自然語言處理過程中，基于深度學(xué)習(xí)方法特征的一些語言模型在詞義消歧、冗余消除等自然語言處理任務(wù)中具有突出優(yōu)勢[15]。

人工智能和自然語言處理相互促進、共同發(fā)展。一方面，人工智能技術(shù)的不斷發(fā)展為自然語言處理提供了更多的機會和條件。人工智能可以幫助計算機學(xué)習(xí)新的語言，并將其轉(zhuǎn)換為可被其他程序和設(shè)備理解的可編程格式。通過自然語言處理，人工智能能夠分析、理解和回應(yīng)各種語言文本和語音輸入，從而拓展計算機的應(yīng)用領(lǐng)域。另一方面，自然語言處理也是人工智能實現(xiàn)智能決策、人機交互等功能的基石。自然語言處理使得計算機能夠理解和分析人類語言，從而更好地與人類交流和協(xié)作。自然語言處理技術(shù)的發(fā)展也促進了人工智能在各個領(lǐng)域的應(yīng)用，如智能客服、智能家居、自動駕駛等。

1.2" PageRank算法

在最初的研究中，基于互聯(lián)網(wǎng)頁面重要性的排名計算需求，佩奇和布林在1996年提出了著名的PageRank算法[16]，隨后這套算法被用于谷歌搜索引擎的頁面排名。隨著PageRank算法的深入發(fā)展，其可以在任何有向圖上定義，可應(yīng)用于社會影響分析、頁面信息提取等其他問題。

PageRank算法首先根據(jù)網(wǎng)頁之間的鏈接數(shù)量以及跳轉(zhuǎn)關(guān)系來構(gòu)造一個初始權(quán)重矩陣A，如圖1所示。圖1左側(cè)含有4個網(wǎng)頁，右側(cè)展示了4個網(wǎng)頁之間的拓撲關(guān)系。

定義一個初始矩陣M，矩陣中數(shù)值代表每個網(wǎng)頁的重要程度，即概率值，初始狀態(tài)下概率值都為0.25。在PageRank算法中，依據(jù)網(wǎng)頁之間的拓撲跳轉(zhuǎn)關(guān)系，對初始矩陣M和網(wǎng)頁初始權(quán)重矩陣連續(xù)相乘，公式如下所示：

根據(jù)上式連乘直到結(jié)果不變，最后得到的值為4個網(wǎng)頁的權(quán)重排序，根據(jù)矩陣展示的結(jié)果，權(quán)重最高即最重要的為網(wǎng)頁3，權(quán)重最低的為網(wǎng)頁1。利用此算法功能就能實現(xiàn)對權(quán)重高的頁面信息優(yōu)先進行提取，保證信息提取的科學(xué)性。

1.3" TextRank算法

本文中基于Python語言實現(xiàn)TextRank算法的應(yīng)用，從多個單域文本數(shù)據(jù)中提取句子以形成摘要，圖2為TextRank算法流程。

與PageRank算法原理相似，TextRank算法是一種基于圖片的文本排序算法[10]，它類似于將一個瀏覽頁面中的文本分成幾個組成單元（通常以句子為基本單元），像構(gòu)建網(wǎng)頁連接結(jié)構(gòu)圖一樣，將分好的組成單元節(jié)點連接起來，構(gòu)成連接結(jié)構(gòu)圖，其中連接線的權(quán)重代表句子之間的相似程度。通過對公式進行循環(huán)迭代最終計算權(quán)重值，權(quán)重值排名越高代表句子重要性越高。最后文本摘要便由權(quán)重值較高的句子提取而組成，具體公式如下：

式中：[Q（vi）]是句子i的權(quán)重；d為阻尼系數(shù)；[Sji]和[Sjk]表示兩個句子的相似程度；[Q（vj）]是上一次的迭代值。

1.4" 機器翻譯

利用人工智能算法對閱讀頁面以及不同頁面上的信息進行處理之后，需要對接機器翻譯平臺實現(xiàn)自動翻譯，以母語呈現(xiàn)給讀者。現(xiàn)有的商業(yè)翻譯軟件有著較為成熟的開放平臺，可供開發(fā)者利用或二次開發(fā)。本文基于Python調(diào)用百度通用翻譯API，實現(xiàn)對提取后的頁面信息進行自動翻譯。百度通用翻譯通過HTTP接口對外提供多語種語言互譯服務(wù)。API的工作模式為：通過調(diào)用通用翻譯API，傳入待翻譯內(nèi)容，并對待翻譯的源語言進行指定，目前也支持自動檢測源語言語種；與此同時，設(shè)定目標(biāo)語言種類，就可以得到相應(yīng)的翻譯結(jié)果。

表1為百度翻譯通用API輸入?yún)?shù)字段名[17]，采用此規(guī)則調(diào)用API的輸入?yún)?shù)部分代碼如下：

1.5" 智能翻譯校對系統(tǒng)設(shè)計

1.5.1" 系統(tǒng)總體架構(gòu)設(shè)計

為了對提取生成以及自動翻譯后的摘要進行譯后校對，進而達到較好的呈現(xiàn)效果，本文開發(fā)了翻譯智能功能模塊。圖3展示了本文設(shè)計的英語翻譯計算機智能校對功能模塊的總體架構(gòu)。工作模塊、搜索模塊、英語翻譯模塊、英語翻譯校對模塊、用戶模塊和行為日志等局部單元模塊共同搭配，相互結(jié)合，實現(xiàn)了智能校對系統(tǒng)的完整功能。

上述所有模塊在進行英語翻譯智能校對過程中，會產(chǎn)生大量的工作行為數(shù)據(jù)，此時需要日志單元將其記錄下來。通過這種記錄方式產(chǎn)生的數(shù)據(jù)及記錄，可以為后臺工程師提供實時查看系統(tǒng)工作過程以及及時改正問題的科學(xué)依據(jù)，從而提高系統(tǒng)的校對性能。

通過仔細研究智能校對系統(tǒng)的工作框架原理，不難發(fā)現(xiàn)，英語翻譯計算機智能校對系統(tǒng)本質(zhì)上就是一個實現(xiàn)英語翻譯的過程，通過對英語語句不斷進行再翻譯，替換原有翻譯結(jié)果中系統(tǒng)判定為不正確、不通順或可讀性不高的部分，以實現(xiàn)智能校對的目的，從而獲取準(zhǔn)確性和可讀性較高的英語翻譯結(jié)果。

在此系統(tǒng)框架中，工作模塊構(gòu)成了英語翻譯智能校對的基礎(chǔ)，系統(tǒng)根據(jù)待校對語句特征，在互聯(lián)網(wǎng)中搜索相關(guān)翻譯信息，將其存儲在工作模塊內(nèi)。整個串通的過程為：校對命令下達，系統(tǒng)收到命令，翻譯模塊將搜索鏈接傳送到工作模塊，英語翻譯模塊通過分析待校對語句的各個詞匯特征，隨即以相似度為衡量指標(biāo)，將翻譯結(jié)果排序，最終選取出最符合實際的翻譯結(jié)果。此時排序靠后的翻譯結(jié)果將在用戶模塊中出現(xiàn)，以供用戶參考。

1.5.2" 代碼實現(xiàn)

基于改進短語翻譯模型，本文設(shè)計的翻譯智能校對技術(shù)所對應(yīng)的偽代碼如下：

2" 多任務(wù)信息提取及翻譯校對功能的實現(xiàn)

在本研究中，對多個操作頁面進行信息提取、整合并翻譯的功能是基于多種人工智能算法及工具實現(xiàn)的。圖4為功能實現(xiàn)框架圖。在導(dǎo)入程序所需庫之后，首先需要讀取如表2所示的網(wǎng)頁，獲取所有頁面信息；隨后分別利用PageRank和TextRank對網(wǎng)頁和網(wǎng)頁中矢量的權(quán)重進行排名；最后利用權(quán)重排名提取摘要，并通過API翻譯。

3" 實驗測試

功能設(shè)計完成之后，為驗證本文所編寫程序在實際應(yīng)用中的有效性及便捷性，對設(shè)計開發(fā)的功能模塊展開翻譯測試實驗，記錄實驗過程中的相關(guān)數(shù)據(jù)，以此進行系統(tǒng)性能分析。實驗采取“二二四”總方針，示意圖如圖5所示，具體內(nèi)容如下。

2個維度：增加頁面數(shù)、增加頁面信息量；

2個工況：本文系統(tǒng)功能（AI算法）VS人工讀取，并提煉摘要（Manual Reading， MR）；

4個衡量指標(biāo)：概括度、重要元素持有率、花費時間、流利度。

3.1" 橫向維度實驗分析

在橫向維度上，通過設(shè)置不同的網(wǎng)頁數(shù)量對比本研究功能（AI算法）和人工讀取，并提煉兩種條件下摘要的4個衡量指標(biāo)，以驗證本文所編寫程序在實際應(yīng)用中的有效性和便捷性。

圖6展示了在網(wǎng)頁數(shù)量為2～6情況下的對比數(shù)據(jù)（為便于數(shù)據(jù)對比展示，將AI耗費時間進行平方放大）。由圖可以看出：在不同的網(wǎng)頁數(shù)量下，人工智能算法所實現(xiàn)的功能在流利度、概括度、重要元素持有率三個指標(biāo)上略低于人工讀取，幅度基本分布在0～5%之內(nèi)；但是隨著網(wǎng)頁數(shù)量增多，就執(zhí)行任務(wù)所耗費的時間而言，人工讀取遠遠大于AI算法，最高達到65倍。通過此結(jié)果可知，AI算法在流利度、概括度、重要元素持有率上都超過人工讀取，以極小的成本犧牲節(jié)省了大量時間和精力。

3.2" 縱向維度實驗分析

為提高實驗嚴(yán)謹(jǐn)性，在縱向維度上，通過對實驗設(shè)置不同的網(wǎng)頁信息行數(shù)（分別為10、20、30行）進行對比，實驗結(jié)果如圖7所示（為便于數(shù)據(jù)對比展示，將AI耗費時間進行平方放大），主要結(jié)論與橫向維度實驗分析結(jié)果相似。由圖7可知：頁面文本數(shù)量超過10行后，AI算法提取頁面主要信息并進行翻譯和校對所耗費的時間開始超過人工；且隨著頁面行數(shù)增多，二者差距逐漸拉大，并且AI算法在流利度、概括度、重要元素持有率上均超過人工。由此說明，本文所設(shè)計的ETP系統(tǒng)具有明顯優(yōu)勢。

4" 結(jié)" 論

本文基于人工智能技術(shù)在自然語言處理領(lǐng)域廣泛應(yīng)用的背景，針對信息搜尋者在搜尋非母語信息時常遇到的困難與問題，設(shè)計了一種可實現(xiàn)自然語言信息提取、整合、翻譯及校對的功能模塊。

所設(shè)計的功能模塊利用PageRank和TextRank算法對網(wǎng)頁和網(wǎng)頁中信息矢量的權(quán)重進行排名，再利用權(quán)重排名提取生成摘要，并通過API翻譯以及校對模塊進行智能校對，最終將結(jié)果呈現(xiàn)給用戶。

為驗證本文所編寫程序在實際應(yīng)用中的有效性和便捷性，基于“二二四”方針對所設(shè)計的功能模塊展開雙維度翻譯測試實驗。實驗結(jié)果證明了本文所設(shè)計模塊的預(yù)設(shè)功能的有效性，也驗證了基于AI算法實現(xiàn)的功能模塊在流利度、概括度、重要元素持有率上均超過人工，以較小的成本節(jié)省了大量時間和精力，具有實際可行性。

參考文獻

[1] 張威.我國翻譯研究現(xiàn)狀考察：基于國家社科基金項目（2000—2013）的統(tǒng)計與分析[J].外語教學(xué)與研究，2015，47（1）：106?118.

[2] THOMPSON F B， THOMPSON B H. Practical natural language processing： the rel system as prototype [J]. Advances in computers， 1975， 13： 109?168.

[3] CHOWDHARY K R. Natural language processing [J]. Fundamentals of artificial intelligence， 2020（12）： 603?649.

[4] NADKARNI P M， OHNO?MACHADO L， CHAPMAN W W. Natural language processing： an introduction [J]. Journal of the American medical informatics association， 2011， 18（5）： 544?551.

[5] LUHN H P. The automatic creation of literature abstracts [J]. IBM journal of research and development， 1958， 2（2）： 159?165.

[6] EDMUNDSON H P， WYLLYS R E. Automatic abstracting and indexing?survey and recommendations [J]. Communications of the ACM， 1961， 4（5）： 226?234.

[7] EDMUNDSON H P. New methods in automatic extracting [J]. Journal of the ACM， 1969， 16（2）： 264?285.

[8] WILKS Y. An artificial intelligence approach to machine tran?slation [J]. Machine translation， 2009（11）： 27?63.

[9] KING M. Semantics and artificial intelligence in machine translation [J]. Sprache and datenverarbeitung， 1981， 5（1/2）： 5?8.

[10] MIHALCEA R， TARAU P. Textrank： bringing order into text [C]// Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing. Barcelona， Spain： ACL， 2004： 404?411.

[11] 陳卉.英語專業(yè)翻譯課程形成性評價體系改革研究[J].外國語文，2017，33（4）：133?136.

[12] 馮志偉.基于短語和句法的統(tǒng)計機器翻譯[J].燕山大學(xué)學(xué)報，2015，39（6）：546?554.

[13] 李業(yè)剛，梁麗君，孫福振，等.融入雙語最大名詞短語的機器翻譯模型[J].計算機應(yīng)用研究，2017，34（5）：1316?1320.

[14] 于佳弘，莊天賜，昌雨葒.淺談 Trados輔助翻譯軟件和語料庫在公開課英文字幕翻譯中的應(yīng)用[J].知識經(jīng)濟，2019（36）：103.

[15] WEI Yuehong， SHEN Qi. The comparison of translation memory of three major computer?aided translation software [J]. Journal of basic and applied research international， 2020， 14： 10214.

[16] GLEICH D F. PageRank beyond the web [J]. SIAM review， 2015， 57（3）： 321?363.

[17] 佚名.通用翻譯API接入文檔[EB/OL].[2023?04?11]. https：//fanyi?api.baidu.com/product/113.