文檔結(jié)構(gòu)化轉(zhuǎn)換過程中的數(shù)據(jù)處理研究

張運珍，唐維

（株洲時代新材料科技股份有限公司，湖南 株洲 412007）

0 引言

隨著信息技術的快速發(fā)展，各行業(yè)所積累的信息暴漲，分析發(fā)現(xiàn)，有15%的數(shù)據(jù)信息是結(jié)構(gòu)化信息，85%是非結(jié)構(gòu)信息，這些信息包括文檔、視頻、音頻等[1]。這些信息造成企業(yè)信息管理存在困難，管理效率低。如何解決當前結(jié)構(gòu)化信息與非結(jié)構(gòu)化信息共同管理的困境是企業(yè)急需解決問題。結(jié)構(gòu)化信息與非結(jié)構(gòu)化信息管理中關鍵技術是文件結(jié)構(gòu)化轉(zhuǎn)化，目前研究主要有：馬玉偉[2]針對航天器設計中存在的復雜問題，提出采用文件驅(qū)動信息設計方法進行設計。該方法將傳統(tǒng)的非結(jié)構(gòu)化文檔轉(zhuǎn)化為數(shù)字化模型，從而建立了遙控信息數(shù)學模型，應用結(jié)果表明所設計的信息流能夠滿足航天器信息設計，且提高了設計效率。馬永軍[3]研究了非結(jié)構(gòu)化的文本數(shù)據(jù)轉(zhuǎn)化為結(jié)構(gòu)化數(shù)學模型，針對當前自然語言處理過程中存在文檔表示任務中有無法直接表示文檔的缺陷，提出了使用神經(jīng)網(wǎng)絡算法進行對抗學習，結(jié)果表明改進算法相比基于詞的模型有更強的文檔表示能力。

細節(jié)精準化的今天，研發(fā)對產(chǎn)品的設計、性能、生產(chǎn)、物流等方面都有詳細明確的要求，也就使得針對產(chǎn)品研發(fā)的技術指導文件要求詳盡，以減振降噪彈性元件為例，從技術交流、圖紙與文件設計到工藝與模具設計、工藝實施，再到生產(chǎn)與包裝運輸，產(chǎn)品研發(fā)的成套性文件多達70份，而如涉及系統(tǒng)組件，那對應的技術文件將會更多。大量的技術管理文件的編制、審批占用了研發(fā)人員時間多，如何在滿足文件輸出的符合性前提下，大幅減少文件編制數(shù)量及花費時間，提升研發(fā)人員的工作效率，本研究的必要性有非常現(xiàn)實的意義。

1 概念分析

結(jié)構(gòu)化數(shù)據(jù)（Structured Data）是指具有一定結(jié)構(gòu)、可以劃分出固定的基本組成要素、能以表格的形式表達的數(shù)據(jù)。非結(jié)構(gòu)化數(shù)據(jù)（Unstructured Data）一般指結(jié)構(gòu)化數(shù)據(jù)以外的數(shù)據(jù)，這些數(shù)據(jù)未存儲在數(shù)據(jù)庫中，而是以各種類型的文件形式存放，如各種辦公文檔、電子郵件、企業(yè)的各種報表、賬單、圖片、傳真、掃描影像，以及大量的多媒體的音頻、視頻信息等等。半結(jié)構(gòu)化數(shù)據(jù)(Semistructured Data)，是介于界地嚴格結(jié)構(gòu)化的數(shù)據(jù)（如關系或面向?qū)ο髷?shù)據(jù)庫的數(shù)據(jù)）和完全無結(jié)構(gòu)的數(shù)據(jù)（如聲音、圖像文件等）之間的一種數(shù)據(jù)形式，這類數(shù)據(jù)有HTML頁面、XML文檔等。

2 轉(zhuǎn)換關鍵技術設計

2.1 共通元素設計

文檔結(jié)構(gòu)轉(zhuǎn)換系統(tǒng)中需要處理各種非結(jié)構(gòu)化數(shù)據(jù)的轉(zhuǎn)換和處理，該過程中首先建立通用數(shù)據(jù)結(jié)構(gòu)，將其作為新的操作對象。本文將使用的通用數(shù)據(jù)結(jié)構(gòu)定義為通用文檔模型[1]。根據(jù)產(chǎn)品設計要求可知，通用文檔模型中包含的共通元素主要有如表1所示。

表1 共同元素組成表

共通元素中頁面信息是指記錄頁面大小、紙張類型、打印大小、頁面坐標、頁邊距、每頁行數(shù)和間距、是否為雙面打印等。文本和編碼是指記錄文檔字體編碼、字體大小、字體類型、字體間距等。字體定義主要包括字體類型、編碼、字體大小等。顏色是指文檔背景顏色可使用24位的RGB和CMY。由于標準中需要對應的英文，在頁面中增加了漢譯英翻譯功能。頁眉、頁腳是指文檔頁眉、頁腳信息。直方圖是指文檔相應的點到點連接圖形。點陣圖是指定義尺寸、分辨率等方式。矢量圖包括弧形、矩形等線段方便文檔繪制圖形。模板是指系統(tǒng)自帶模塊能讓設計簡化。

2.2 模型設計

系統(tǒng)信息拓撲有向圖采用文獻[3]中提供的設計方案。如圖1為系統(tǒng)信息拓撲層流向圖。

圖1中文件與文件之間傳輸采用FTP協(xié)議進行傳輸提高了文檔傳輸效率。文件控制與文件管理之間有信息交互。為提高信息流通用設計采用UML建模技術進行信息拓撲設計。系統(tǒng)總體類為File類包含文件管理FileManger、文檔控制FileControl兩個關鍵類，F(xiàn)ileMange類負責管理文檔屬性比如邊距、大小、顏色等；FileControl類負責進行文件權限控制、信息流向控制。

圖1 文檔信息拓撲層有向圖

2.3 文檔結(jié)構(gòu)標準流程

為便于文檔數(shù)據(jù)管理，本文按照標準規(guī)范流程進行文檔流程管理，流程圖如圖2所示。

圖2 文檔數(shù)據(jù)標準流程圖

文檔數(shù)據(jù)標準流程中轉(zhuǎn)換數(shù)據(jù)元素標準化是對元素設計進行數(shù)據(jù)元素設計思想說明，是規(guī)范重要環(huán)節(jié)；數(shù)據(jù)元素分類是對標準中設計的共通元素進行分類找出關聯(lián)環(huán)節(jié)；轉(zhuǎn)換數(shù)據(jù)元素屬性是共通元素的集中體現(xiàn)；轉(zhuǎn)換數(shù)據(jù)定義規(guī)范是指對轉(zhuǎn)換過程中的概念、數(shù)據(jù)進行規(guī)范讓用戶能夠準確的掌握數(shù)據(jù)；數(shù)據(jù)轉(zhuǎn)換元素導入數(shù)據(jù)庫是指所定義的規(guī)范存入到數(shù)據(jù)庫中。

3 數(shù)據(jù)處理在文檔結(jié)構(gòu)化中的實施應用

3.1 結(jié)構(gòu)化文檔模版設計

將減振降噪彈性元件的研發(fā)按項目開展階段進行劃分，通常劃分為如圖3所示五個階段：

圖3 產(chǎn)品研發(fā)階段劃分

對每個研發(fā)階段的文件成套性的齊全性進行梳理，具體包括輸出文件、按產(chǎn)品級別難易程度輸出必要性、文件所屬類別、歸口責任人等。

對減振降噪彈性元件按產(chǎn)品類型進行劃分；按產(chǎn)品類型對各技術文件的詳情內(nèi)容進行梳理，梳理出按產(chǎn)品類型編制的成套性技術文件模版。由于產(chǎn)品的差異性，故此處對產(chǎn)品類型的劃分，應對產(chǎn)品類型歸類同步考慮產(chǎn)品的同質(zhì)與差異性，同時兼顧實用性及模版工作量，使制作的技術模版的內(nèi)容均包括該產(chǎn)品類型中最完善的試驗性能內(nèi)容及技術項點，方便對文件進行后續(xù)的通用化與結(jié)構(gòu)化管理。

3.2 文檔數(shù)據(jù)的處理與轉(zhuǎn)化實施

康宏宇[4]基于JATS數(shù)據(jù)標準，制定了存儲格式的數(shù)據(jù)轉(zhuǎn)換方法，所設計的資源格式轉(zhuǎn)換工作流程如圖4所示[4]。

圖4 資源格式處理與轉(zhuǎn)換工作流程圖

由圖4可知資源格式處理與轉(zhuǎn)換流程包含的模塊有信息采集、數(shù)據(jù)存儲、信息抽取以及驗證模塊。所設計的JATS數(shù)據(jù)標準是由前置部分、主體部分、后置部分、浮動部分、評價組成。其中主體部分包含內(nèi)容有文字內(nèi)容、數(shù)學公式、表格、圖片以及其它輔助內(nèi)容組成[5]。

3.3 文檔結(jié)構(gòu)化轉(zhuǎn)換實施

按不同產(chǎn)品類型進行文件內(nèi)容的標準化；根據(jù)各產(chǎn)品類型的性能要求及其它要求，對整套文件的內(nèi)容進行標準化，首先是完成技術文件的格式和相關內(nèi)容的統(tǒng)型，統(tǒng)型方面包括但不限于模版封面設計、字體行距等規(guī)定、文件背景設計、頁眉頁腳規(guī)定、章節(jié)涉及研發(fā)項點規(guī)定、產(chǎn)品名稱及編碼規(guī)定。隨后對各個文件的內(nèi)容進行標準化，具體包括產(chǎn)品結(jié)構(gòu)、常用零部件清單、材料性能要求、產(chǎn)品應用工況、試驗項點與方法、試驗采用標準選擇、產(chǎn)品應用環(huán)境、生產(chǎn)工藝過程設計方案等，進行數(shù)據(jù)結(jié)構(gòu)化轉(zhuǎn)換與范圍設定，使得文件的適用性與通用性都得到最大范圍的擴展[6-7]。

4 結(jié)語

通過有效處理好數(shù)據(jù)結(jié)構(gòu)化信息與非結(jié)構(gòu)化信息，并借助JATS文檔結(jié)構(gòu)化轉(zhuǎn)換過程思想進行研發(fā)文檔轉(zhuǎn)化，精準實現(xiàn)了研發(fā)文檔的非結(jié)構(gòu)化轉(zhuǎn)為結(jié)構(gòu)化，擴大了文檔結(jié)構(gòu)化的適用范圍，也提高了文檔轉(zhuǎn)化效率，降低了人工操作成本。