基于機器學習的Word文檔數(shù)據(jù)識別系統(tǒng)的設計與實現(xiàn)

曹湘華

摘要：傳統(tǒng)Word文檔數(shù)據(jù)識別系統(tǒng)識別精度一般較低，面對數(shù)據(jù)量龐大的Word文檔數(shù)據(jù)時，系統(tǒng)響應時間較長，無法采用統(tǒng)一的識別方法完成數(shù)據(jù)識別，制約文檔數(shù)據(jù)的信息化、高效化發(fā)展。針對此問題在傳統(tǒng)Word文檔數(shù)據(jù)識別系統(tǒng)的基礎上，引入機器學習原理，實現(xiàn)了新的Word文檔數(shù)據(jù)識別系統(tǒng)設計。系統(tǒng)硬件采用C/S架構，為各個硬件的穩(wěn)定運行提供環(huán)境保障。軟件通過提取與預處理Word文檔數(shù)據(jù)，放大文檔數(shù)據(jù)信息；采用穿線法，識別文檔數(shù)據(jù)特征；利用機器學習原理，設計系統(tǒng)Word文檔數(shù)據(jù)識別模塊。應用結果表明，基于機器學習的Word文檔數(shù)據(jù)識別系統(tǒng)，其文檔數(shù)據(jù)識別結果的準確率均在96.58%以上，識別結果誤報率均小于0.34%，具有較高的可行性。

關鍵詞：機器學習；文檔；Word；數(shù)據(jù)；識別；系統(tǒng)

中圖分類號：TP303? ? ? 文獻標識碼：A

文章編號：1009-3044（2022）33-0017-02

Word文檔數(shù)據(jù)識別系統(tǒng)作為信息化社會發(fā)展背景下處理海量文檔數(shù)據(jù)的方式之一，對提升數(shù)據(jù)處理、錄入、存儲的效率具有重要意義[1]。Word文檔數(shù)據(jù)識別系統(tǒng)與傳統(tǒng)的文檔數(shù)據(jù)人工處理方式相比，極大程度地減少了數(shù)據(jù)處理的人力資源消耗，將紙質文檔信息轉換為電子數(shù)據(jù)信息，上傳至識別系統(tǒng)。系統(tǒng)通過信息化、智能化的運行方式，對數(shù)據(jù)進行識別、錄入、處理與存儲，降低了數(shù)據(jù)錄入與識別的錯誤率[2]?，F(xiàn)階段，我國在Word文檔數(shù)據(jù)識別系統(tǒng)方面的研究逐漸接近成熟，然而，其中仍然存在一定的不足，主要體現(xiàn)在針對數(shù)據(jù)量較龐大的Word文檔數(shù)據(jù)，系統(tǒng)識別響應的時間較長，無法采用統(tǒng)一的識別方式完成數(shù)據(jù)識別，且文檔數(shù)據(jù)識別結果的準確率較低[3]。機器學習技術能夠有效地改善這一問題，通過靜態(tài)分析與動態(tài)分析相結合的方式，對識別系統(tǒng)的運行特征進行全方位的分析與學習，提高系統(tǒng)運行的準確率與完備性[4]。

基于此，本文在傳統(tǒng)Word文檔數(shù)據(jù)識別系統(tǒng)的基礎上，引入機器學習原理，實現(xiàn)了新的Word文檔數(shù)據(jù)識別系統(tǒng)設計，為促進Word文檔數(shù)據(jù)識別的信息化、智能化發(fā)展作出貢獻。

1 識別系統(tǒng)硬件設計

本文設計的基于機器學習的Word文檔數(shù)據(jù)識別系統(tǒng)采用C/S硬件架構，在運行過程中，能夠為系統(tǒng)內其他硬件提供穩(wěn)定高效的運行環(huán)境。系統(tǒng)硬件接口采用I/O接口方式，主要負責為系統(tǒng)中各個硬件提供電源、輸入系統(tǒng)外部觸發(fā)信號以及控制硬件輸出[5]。接口采用RT36型號的千兆以太網(wǎng)接口，分別將網(wǎng)線兩端插入接口。系統(tǒng)的網(wǎng)絡交換機采用S Series系列的交換機，端口為48×10/100/1000BASE-T RJ45， 8×10G SFP+，交換容量為256Gbps，PoE標準協(xié)議采用IEEE 802.3af/at，為了保證識別系統(tǒng)運行的效率，設置網(wǎng)絡交換機的最小延時為2.2μs，最大延時為64.69μs，包轉發(fā)率為192 Mpps。為了提升系統(tǒng)文檔數(shù)據(jù)識別、傳輸與接收的速度，本文采用芯片型號為Intel X710-BM2的英特爾網(wǎng)卡，其端口為雙光口，與系統(tǒng)主機的接口為PCIe 3.0×8類型，在系統(tǒng)內的布線類型為SFP+光模塊/DAC/AOC，支持系統(tǒng)VT-c連通性。

2 識別系統(tǒng)軟件設計

2.1 Word文檔數(shù)據(jù)提取與預處理

為了更好地識別Word文檔數(shù)據(jù)，本文首先對Word文檔數(shù)據(jù)進行提取與預處理。由于文檔數(shù)據(jù)量龐大，將Word文檔數(shù)據(jù)轉換為圖像存儲的形式，輸入系統(tǒng)中，利用系統(tǒng)的自動掃描功能，掃描圖像中存儲的Word文檔數(shù)據(jù)[6]。將轉換后的Word文檔數(shù)據(jù)存儲圖像進行增強處理，提高圖像的灰度級范圍與對比度，使圖像中存儲的數(shù)據(jù)信息更加清晰。采用伽馬變換的增強方法，增強圖像對比度，增強處理公式為：

[m=arγ，γ∈0，1]

其中，[a]表示圖像低灰度值；[r]表示原始圖像的灰度級；[γ]表示伽馬參數(shù)。通過上述公式，對系統(tǒng)中輸入的Word文檔數(shù)據(jù)存儲圖像進行增強預處理，增強圖像的灰度部分細節(jié)，放大文檔數(shù)據(jù)信息，為后續(xù)系統(tǒng)的高效識別提供基礎保障。

2.2 穿線法識別文檔數(shù)據(jù)特征

對上述Word文檔數(shù)據(jù)進行提取與預處理后，系統(tǒng)采用穿線法，對Word文檔數(shù)據(jù)的自身特征進行識別，識別流程如圖1所示。

如圖1所示，穿線法識別流程為：系統(tǒng)通過自動查找的方式，獲取文檔數(shù)據(jù)的單個數(shù)字輪廓；設置三條線，將數(shù)字輪廓進行均分處理；根據(jù)數(shù)字輪廓的相交方式，確定各個數(shù)字輪廓之間的交點個數(shù)；選取兩條線將所有Word文檔數(shù)據(jù)平均劃分為左右兩個部分，利用第三條線穿過左右兩個部分所有的數(shù)字輪廓，根據(jù)線與數(shù)字輪廓交點的個數(shù)，獲取對應的Word文檔數(shù)據(jù)特征。

2.3 基于機器學習設計文檔數(shù)據(jù)識別模塊

在文檔數(shù)據(jù)特征識別結束后，采用機器學習技術，設計系統(tǒng)中Word文檔數(shù)據(jù)識別模塊。文檔數(shù)據(jù)識別模塊作為系統(tǒng)中的核心模塊，對系統(tǒng)識別結果的準確率具有直接影響[7]。通過機器學習技術，識別系統(tǒng)中輸入的文檔數(shù)據(jù)通道類型，利用模塊端口的子檢測識別模塊，過濾大量非Word文檔數(shù)據(jù)，提高數(shù)據(jù)的有效負載識別精度。

利用模塊中機器學習模塊的深度挖掘功能，對各個數(shù)據(jù)通道類型進行細致劃分，劃分為文字消息數(shù)據(jù)、文件傳輸數(shù)據(jù)與文檔數(shù)據(jù)三個類型。其中，文字消息數(shù)據(jù)主要通過系統(tǒng)中的傳輸窗口，基于UDP協(xié)議進行數(shù)據(jù)的傳輸與上傳；文件傳輸數(shù)據(jù)作為客戶端傳輸文檔數(shù)據(jù)的通道，在上傳與傳輸過程中具有較高的加密性；文檔數(shù)據(jù)為上述兩種數(shù)據(jù)的總和，綜合性較強，且數(shù)據(jù)量龐大。通過系統(tǒng)識別模塊，識別出各個通道類型的數(shù)據(jù)上傳方式，檢測數(shù)據(jù)端口的特征與有效負載長度，結合機器學習原理，建立機器學習識別模型，識別Word文檔數(shù)據(jù)的數(shù)量、初始窗口長度、數(shù)據(jù)屬性等信息。

綜上所述為本文提出的基于機器學習的Word文檔數(shù)據(jù)識別系統(tǒng)的整體設計流程，分別從系統(tǒng)硬件與軟件兩個方面進行了設計，實現(xiàn)了Word文檔數(shù)據(jù)高效識別的目標。

3 系統(tǒng)測試

為了驗證本文設計的基于機器學習的Word文檔數(shù)據(jù)識別系統(tǒng)的有效性，進行了相關的實驗測試。按照上述系統(tǒng)硬件與軟件設計內容與要求，建立文檔數(shù)據(jù)識別系統(tǒng)，在此基礎上，對系統(tǒng)測試的開發(fā)環(huán)境進行搭建。本次測試操作的開發(fā)環(huán)境由AMD Athlon（tm） II X2 215 Processor 型號的CPU、GCC 4.4型號的編譯器、15×800MHz， 1×2400MHz型號的CPU主頻、VIM+CTags+Tlist的編輯工具共同組成，其中，硬盤大小為250G，內存為16G，網(wǎng)卡包括千兆網(wǎng)卡、4個串行接口與2個光纖接口。先采用黑盒測試方法，對系統(tǒng)文檔數(shù)據(jù)識別模塊的功能進行測試，測試流程如圖2所示。

如圖2所示，文檔數(shù)據(jù)識別模塊功能測試流程為：在識別系統(tǒng)內輸入Word文檔數(shù)據(jù)，在系統(tǒng)端口對數(shù)據(jù)進行預處理；根據(jù)文檔數(shù)據(jù)的有效負載長度，選取系統(tǒng)運行協(xié)議；采用Gtalk文字流處理方式，對文檔數(shù)據(jù)進行處理；基于機器學習模型，對文檔數(shù)據(jù)進行檢測識別，判斷識別文檔數(shù)據(jù)的有效負載長度是否大于0，若大于0，則輸出數(shù)據(jù)識別結果，完成識別流程；若數(shù)據(jù)有效負載長度小于0，則返回并重復上述步驟，直至文檔數(shù)據(jù)的有效負載長度大于0為止。根據(jù)系統(tǒng)文檔數(shù)據(jù)識別模塊檢測識別的結果，判斷該模塊的運行狀況。

系統(tǒng)功能模塊測試完畢后，再采用白盒測試的方法，對系統(tǒng)的性能進行測試分析。選取系統(tǒng)性能測試使用的數(shù)據(jù)集，為了保證測試結果的客觀性與準確性，本次測試使用NIMS的公開數(shù)據(jù)集作為性能測試數(shù)據(jù)集，其中包括Word文檔數(shù)據(jù)368024條，非Word文檔數(shù)據(jù)531672條。由于原數(shù)據(jù)集的數(shù)據(jù)量龐大，不利于系統(tǒng)測試操作，因此，本次測試從NIMS數(shù)據(jù)集中，隨機抽取15000條Word文檔數(shù)據(jù)和15000條非Word文檔數(shù)據(jù)，共同組成訓練數(shù)據(jù)集，然后從剩余的NIMS數(shù)據(jù)集中，隨機選取5000條Word文檔數(shù)據(jù)組成測試數(shù)據(jù)集，對測試數(shù)據(jù)集進行標號處理，分別標記為1、2、3、4、5，測試數(shù)據(jù)集Word文檔數(shù)據(jù)分布如表1所示。

為了驗證文檔數(shù)據(jù)識別系統(tǒng)性能的可行性，本次測試采用對比分析方法，將本文設計的基于機器學習的文檔數(shù)據(jù)識別系統(tǒng)，與傳統(tǒng)的基于OCR技術的文檔數(shù)據(jù)識別系統(tǒng)進行對比，分別使用兩種系統(tǒng)對相同Word文檔數(shù)據(jù)的訓練數(shù)據(jù)集進行訓練，在此基礎上，對5個Word文檔數(shù)據(jù)的測試數(shù)據(jù)集進行數(shù)據(jù)識別測試，對比兩種系統(tǒng)識別結果的準確率，如表2所示。

根據(jù)表2的對比結果，在兩種文檔數(shù)據(jù)識別系統(tǒng)中，本文設計的基于機器學習的文檔數(shù)據(jù)識別系統(tǒng)，其在不同測試數(shù)據(jù)集中，文檔數(shù)據(jù)識別結果的準確率均在96.58%以上，識別結果誤報率均小于0.34%，與傳統(tǒng)識別系統(tǒng)相比，數(shù)據(jù)識別結果的準確率更高且誤報率更低，說明本文系統(tǒng)在Word文檔數(shù)據(jù)識別上的效果更佳、更具有優(yōu)勢。

4 結束語

綜上所述，為了改善傳統(tǒng)Word文檔數(shù)據(jù)識別系統(tǒng)識別精度較低且海量文檔數(shù)據(jù)下系統(tǒng)識別速率較慢的情況，本文在傳統(tǒng)數(shù)據(jù)識別系統(tǒng)的基礎上，引入機器學習理念，實現(xiàn)了新的Word文檔數(shù)據(jù)識別系統(tǒng)設計。應用結果證明，該系統(tǒng)有效地提升了文檔數(shù)據(jù)識別結果的準確率，降低了系統(tǒng)識別的誤報率，對海量文檔數(shù)據(jù)處理的信息化、高效化發(fā)展具有重要意義。

參考文獻：

[1] 李洪波，廖詳剛，陳立.基于機器學習One-stage目標檢測算法的塑料自動識別系統(tǒng)[J].塑料科技，2020，48（12）：86-89.

[2] 楊思怡，付相祥，吳曉華，等.Tesseract-OCR的文檔掃描識別系統(tǒng)[J].電子世界，2021（20）：98-100.

[3] 吳麗華，龍海俠，馮建平.智能機器的認知學習機理及計算模型研究[J].電子技術與軟件工程，2021（21）：106-109.

[4] 徐琳宏，丁堃，林原，等.基于機器學習算法的引文情感自動識別研究——以自然語言處理領域為例[J].現(xiàn)代情報，2020，40（1）：35-40，48.

[5] 殷倩倩，申鑫欣，夏祎.大數(shù)據(jù)背景下機器學習在數(shù)據(jù)挖掘中的應用[J].數(shù)字技術與應用，2022，40（5）：21-23.

[6] 肖治鴻，韓曄彤，鄒永攀.基于多源數(shù)據(jù)和邏輯推理的行為識別技術研究[J].計算機科學，2022，49（S1）：397-406.

[7] 于楚凡，郭大亮，張秋霞，等.基于大數(shù)據(jù)挖掘的發(fā)電系統(tǒng)異常數(shù)據(jù)識別系統(tǒng)設計[J].電子設計工程，2022，30（6）：131-135.

【通聯(lián)編輯：張薇】