面向船舶制造的統(tǒng)一數(shù)據(jù)庫集成平臺(tái)應(yīng)用研究

卞德志，胡昌平，楊 哲，王 夢，單文金，宋飛飛

(1.中國船舶重工集團(tuán)公司第七一六研究所 江蘇 連云港 222006；2.中船重工信息科技有限公司 江蘇 連云港 222006；3.南京醫(yī)科大學(xué)康達(dá)學(xué)院 江蘇 連云港 222000)

0 引 言

隨著“中國制造2 025”、“海洋強(qiáng)國”等不斷落實(shí)和推進(jìn)，國內(nèi)各大船舶制造企業(yè)積極響應(yīng)國家號(hào)召，不斷提升船舶制造過程中的信息化、數(shù)字化水平[1]。但是，目前國內(nèi)絕大部分船舶制造企業(yè)由于長期依賴傳統(tǒng)的建造加工方式，同時(shí)缺乏統(tǒng)一的信息化頂層建設(shè)規(guī)劃，從而導(dǎo)致各業(yè)務(wù)系統(tǒng)建設(shè)步驟混亂[2]，“信息孤島”現(xiàn)象長期存在，數(shù)據(jù)集成工作異常繁重，無法準(zhǔn)確定位企業(yè)的運(yùn)營狀態(tài)，難以實(shí)現(xiàn)精細(xì)化管理[3]。同時(shí)，我國船舶設(shè)計(jì)還未實(shí)現(xiàn)自頂向下的全過程集成，現(xiàn)有系統(tǒng)的集成度較差，系統(tǒng)協(xié)同能力和柔性應(yīng)對(duì)能力較弱，產(chǎn)品設(shè)計(jì)、制造、管理的信息化集成度低下，主線仍未貫通[4]。為了實(shí)時(shí)、準(zhǔn)確掌握企業(yè)運(yùn)營狀態(tài)，盡可能降低企業(yè)集成成本，需要統(tǒng)一標(biāo)準(zhǔn)的數(shù)據(jù)庫集成平臺(tái)將各個(gè)異構(gòu)數(shù)據(jù)庫連接起來。如何科學(xué)管理各業(yè)務(wù)數(shù)據(jù)庫以實(shí)現(xiàn)高效地分析利用是一個(gè)非常重要的任務(wù)。該任務(wù)的實(shí)現(xiàn)，對(duì)有效利用業(yè)務(wù)數(shù)據(jù)以減少不必要的工作，合理開展船舶建造業(yè)務(wù)，精準(zhǔn)管理企業(yè)等具有重要現(xiàn)實(shí)意義。

船舶制造企業(yè)業(yè)務(wù)種類較多，覆蓋船舶產(chǎn)品的前期研發(fā)、詳細(xì)設(shè)計(jì)、生產(chǎn)制造、生產(chǎn)管理、日常經(jīng)營和決策等過程。船舶企業(yè)數(shù)據(jù)集成工作就是將支撐企業(yè)生產(chǎn)運(yùn)營的CAD，CAE，CAM，CAPP，PDM，ERP，MES 等系統(tǒng)的數(shù)據(jù)庫有效連接起來，并對(duì)各業(yè)務(wù)數(shù)據(jù)進(jìn)行關(guān)聯(lián)和分析展示。

1 船舶制造異構(gòu)數(shù)據(jù)庫集成概述

1.1 船舶制造數(shù)據(jù)庫集成現(xiàn)狀

船舶制造是一個(gè)典型的多品種、小批量，多工種、跨專業(yè)，工作開展面廣、交叉作業(yè)量大的系統(tǒng)工程[5-7]。這就導(dǎo)致船舶企業(yè)在建設(shè)信息化時(shí)的業(yè)務(wù)系統(tǒng)種類繁多，結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)大量存在，并且數(shù)據(jù)的集成度較低，無法滿足企業(yè)實(shí)時(shí)了解生產(chǎn)經(jīng)營情況的需求[8-9]。隨著國內(nèi)船舶制造企業(yè)信息化建設(shè)的不斷推進(jìn)，越來越多的企業(yè)認(rèn)為數(shù)據(jù)集成工作迫在眉睫[10]。

國內(nèi)船舶制造企業(yè)的信息化建設(shè)是分階段進(jìn)行的，在每個(gè)階段都可能應(yīng)用不同的開發(fā)平臺(tái)和不同的應(yīng)用標(biāo)準(zhǔn)，從而產(chǎn)生了大量的異構(gòu)信息[11]。經(jīng)過充分調(diào)研國內(nèi)大中型造船廠的數(shù)據(jù)庫集成工作，如大連船廠、滬東中華造船廠、外高橋造船廠、中遠(yuǎn)川崎船廠等，發(fā)現(xiàn)大部分企業(yè)僅僅進(jìn)行了部分結(jié)構(gòu)化數(shù)據(jù)庫的集成，并未開展半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)集成工作。另外，大多數(shù)企業(yè)未對(duì)元數(shù)據(jù)、數(shù)據(jù)字典、信息分類與代碼標(biāo)準(zhǔn)進(jìn)行全面梳理，集成工作返工量較大，未按照標(biāo)準(zhǔn)的信息集成步驟進(jìn)行。同時(shí)，由于絕大部分系統(tǒng)供應(yīng)商在研發(fā)業(yè)務(wù)應(yīng)用系統(tǒng)時(shí)未能提供標(biāo)準(zhǔn)的信息交換接口，造船企業(yè)自身的業(yè)務(wù)流程管理標(biāo)準(zhǔn)不統(tǒng)一等這些情況造成了企業(yè)數(shù)據(jù)庫集成工作開展異常困難。

1.2 船舶制造異構(gòu)數(shù)據(jù)庫集成目標(biāo)和任務(wù)

船舶制造異構(gòu)數(shù)據(jù)庫集成的目標(biāo)是將異構(gòu)的、分散的源數(shù)據(jù)抽取出來，并根據(jù)用戶需要進(jìn)行數(shù)據(jù)挖掘與分析，將分析結(jié)果呈現(xiàn)給用戶，為企業(yè)生產(chǎn)運(yùn)營提供有力支撐。

船舶制造異構(gòu)數(shù)據(jù)庫集成應(yīng)解決以下5 個(gè)問題：

1）分布性。針對(duì)業(yè)務(wù)系統(tǒng)分散部署的特點(diǎn)，實(shí)現(xiàn)數(shù)據(jù)的集中與匯總。

2）異構(gòu)性。分為系統(tǒng)異構(gòu)和結(jié)構(gòu)異構(gòu)。針對(duì)源數(shù)據(jù)業(yè)務(wù)系統(tǒng)采用的操作系統(tǒng)、數(shù)據(jù)庫管理系統(tǒng)的不同構(gòu)成系統(tǒng)異構(gòu)；各業(yè)務(wù)數(shù)據(jù)庫的存儲(chǔ)方式上不同構(gòu)成結(jié)構(gòu)異構(gòu)。

3）自治性。對(duì)原有應(yīng)用系統(tǒng)的數(shù)據(jù)庫進(jìn)行集成時(shí)，不能影響原有系統(tǒng)的正常運(yùn)行。

4）擴(kuò)展性。集成平臺(tái)應(yīng)具有良好擴(kuò)展和適應(yīng)性，對(duì)于數(shù)據(jù)源的數(shù)量可以靈活適配，同時(shí)適應(yīng)內(nèi)容及格式的調(diào)整。

5）可靠性。保證數(shù)據(jù)的可靠傳輸，適應(yīng)不同軟件、硬件以及網(wǎng)絡(luò)環(huán)境中的系統(tǒng)通信問題。

切實(shí)解決以上5 點(diǎn)問題，并在此基礎(chǔ)上運(yùn)用大數(shù)據(jù)等技術(shù)聚焦船舶設(shè)計(jì)、計(jì)劃、生產(chǎn)、服務(wù)等業(yè)務(wù)場景實(shí)現(xiàn)數(shù)據(jù)的挖掘與分析，基本可以完成船舶制造異構(gòu)數(shù)據(jù)庫的集成任務(wù)[12-13]。

2 統(tǒng)一數(shù)據(jù)庫集成平臺(tái)設(shè)計(jì)

2.1 設(shè)計(jì)思路

面向船舶制造的統(tǒng)一數(shù)據(jù)庫集成平臺(tái)以國內(nèi)某大型船舶制造企業(yè)的業(yè)務(wù)數(shù)據(jù)為基礎(chǔ)，匯聚船舶制造結(jié)構(gòu)信息、圖紙信息、報(bào)表信息、設(shè)計(jì)管理、進(jìn)度管理、物資管理等各種數(shù)據(jù)以及外部相關(guān)數(shù)據(jù)資源，實(shí)現(xiàn)集成數(shù)據(jù)統(tǒng)一交換、存儲(chǔ)和安全管理。

平臺(tái)總體架構(gòu)如圖1 所示。主要分為網(wǎng)絡(luò)層、數(shù)據(jù)源層、集成層、數(shù)據(jù)層和應(yīng)用層等5 層架構(gòu)，集成層采用兼容多種數(shù)據(jù)庫的ETL 工具實(shí)時(shí)與各業(yè)務(wù)數(shù)據(jù)庫進(jìn)行集成，集成數(shù)據(jù)經(jīng)過抽取、清洗、轉(zhuǎn)換后，統(tǒng)一存儲(chǔ)在數(shù)據(jù)層的統(tǒng)一數(shù)據(jù)庫內(nèi)。在統(tǒng)一數(shù)據(jù)庫中根據(jù)不同船廠不同業(yè)務(wù)類別構(gòu)建獨(dú)立的廠級(jí)數(shù)據(jù)和主題數(shù)據(jù)庫，結(jié)合業(yè)務(wù)場景采用大數(shù)據(jù)技術(shù)實(shí)現(xiàn)應(yīng)用層的查詢檢索、數(shù)值分析、數(shù)據(jù)挖掘、生產(chǎn)決策等應(yīng)用與展示。

圖1 船舶制造統(tǒng)一數(shù)據(jù)庫集成平臺(tái)總體架構(gòu)Fig.1 Overall architecture of unified database integration platform for shipbuilding

圖2 船舶制造統(tǒng)一數(shù)據(jù)庫集成平臺(tái)技術(shù)架構(gòu)Fig.2 Technical architecture of unified database integration platform for shipbuilding

平臺(tái)技術(shù)架構(gòu)如圖2 所示。主要分為數(shù)據(jù)匯集子平臺(tái)、數(shù)據(jù)治理子平臺(tái)、數(shù)據(jù)共享子平臺(tái)，提供實(shí)時(shí)數(shù)據(jù)和歷史數(shù)據(jù)的集成、處理、分析與共享功能。數(shù)據(jù)匯集子平臺(tái)主要將采集到的能源、物料、設(shè)備、場地、人員等實(shí)時(shí)數(shù)據(jù)或歷史數(shù)據(jù)通過實(shí)時(shí)數(shù)據(jù)采集器或離線分析數(shù)據(jù)采集器發(fā)送至實(shí)時(shí)流處理與計(jì)算引擎，通過數(shù)據(jù)治理子平臺(tái)進(jìn)行數(shù)據(jù)預(yù)處理、裝載、詳單處理、明細(xì)數(shù)據(jù)處理同步和數(shù)據(jù)挖掘等處理操作，最終將計(jì)算結(jié)果上傳至數(shù)據(jù)共享子平臺(tái)供用戶進(jìn)行即席分析、分析專題、專題挖掘和門戶集成等應(yīng)用。

2.2 數(shù)據(jù)標(biāo)準(zhǔn)的建立

該平臺(tái)數(shù)據(jù)標(biāo)準(zhǔn)體系由信息分類與代碼、元數(shù)據(jù)、數(shù)據(jù)字典等3 部分組成，它們相互作用、相互依賴、相互補(bǔ)充。

1）信息分類與代碼標(biāo)準(zhǔn)。根據(jù)業(yè)務(wù)和管理需求，科學(xué)合理的進(jìn)行信息分類，建立標(biāo)準(zhǔn)代碼，是信息處理、信息交換和資源共享的前提。船舶制造信息分類與代碼構(gòu)建示例如表1 所示。

表1 船舶制造信息分類與代碼構(gòu)建示例Tab.1 Information classification and code construction

2）元數(shù)據(jù)標(biāo)準(zhǔn)。明確哪些數(shù)據(jù)在統(tǒng)一數(shù)據(jù)庫中，定義進(jìn)入統(tǒng)一數(shù)據(jù)庫的數(shù)據(jù)和從統(tǒng)一數(shù)據(jù)庫中產(chǎn)生的數(shù)據(jù)，安排數(shù)據(jù)抽取的工作時(shí)間并進(jìn)行數(shù)據(jù)一致性的檢測。船舶制造元數(shù)據(jù)構(gòu)建示例如表2 所示。

表2 船舶制造元數(shù)據(jù)構(gòu)建示例Tab.2 Metadata construction for shipbuilding

3）數(shù)據(jù)字典。定義和說明數(shù)據(jù)流、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)項(xiàng)，統(tǒng)一不同系統(tǒng)中對(duì)相同數(shù)據(jù)的定義。船舶制造數(shù)據(jù)字典構(gòu)建示例如表3 所示。

2.3 關(guān)鍵技術(shù)

為解決異構(gòu)數(shù)據(jù)的交換問題，本文進(jìn)行了基于元數(shù)據(jù)的模式集成研究，通過構(gòu)建元數(shù)據(jù)庫統(tǒng)一管理各異構(gòu)數(shù)據(jù)庫中的元數(shù)據(jù)，并利用設(shè)定的模式信息和模式規(guī)則來解決異構(gòu)數(shù)據(jù)庫模式之間的結(jié)構(gòu)沖突和語義沖突，最終實(shí)現(xiàn)各類數(shù)據(jù)庫之間的共享與交互。本文重點(diǎn)介紹集成過程中的結(jié)構(gòu)差異和語義差異解決辦法，具體如下：

1）結(jié)構(gòu)差異

相似結(jié)構(gòu)差異。源表的多個(gè)屬性能通過合并操作轉(zhuǎn)成目標(biāo)表的一個(gè)屬性；源表的一個(gè)屬性亦能拆分成目標(biāo)表的多個(gè)屬性，如表4 所示。

表3 船體區(qū)域數(shù)據(jù)字典構(gòu)建示例Tab.3 Hull area data dictionary

表4 源表與目標(biāo)表的屬性結(jié)構(gòu)沖突Tab.4 Attribute structure conflict between source and target table

針對(duì)表4 中的屬性結(jié)構(gòu)沖突，將設(shè)備信息庫中的“通信地址”分裂為“地址、編碼”，實(shí)現(xiàn)相似結(jié)構(gòu)差異的沖突解決。

相異結(jié)構(gòu)差異。相異結(jié)構(gòu)差異可以分為5 種情況：值與屬性的差異、值的差異、表的差異、屬性與值差異、表與值差異。例如圖3 中A 船廠中的日期與訂單量，B 船廠中的日期與訂單量可以合并為一個(gè)表。

圖3 A 船廠與B 船廠相異結(jié)構(gòu)差異解決示例Fig.3 A shipyard and B shipyard differential structure solution

2）語義差異

集成過程中的語義差異主要為屬性的類型、格式、單位、精度、命名等的差異。如表5 所示，針對(duì)數(shù)據(jù)類型差異的沖突解決策略是將某種數(shù)據(jù)的類型統(tǒng)一轉(zhuǎn)變成另一種數(shù)據(jù)的類型，使整體數(shù)據(jù)庫的同種含義的數(shù)據(jù)保持類型統(tǒng)一。

表5 數(shù)據(jù)類型語義差異解決示例Tab.5 Semantic difference resolution for data types

3 統(tǒng)一數(shù)據(jù)庫集成平臺(tái)的實(shí)現(xiàn)

3.1 數(shù)據(jù)抽取與轉(zhuǎn)換

通過統(tǒng)一數(shù)據(jù)庫集成平臺(tái)中的數(shù)據(jù)抽取功能將待轉(zhuǎn)換的數(shù)據(jù)從源數(shù)據(jù)庫中提取出來。首先用戶要選擇提取的源數(shù)據(jù)庫，寫入提取的SQL 及相應(yīng)的字段，在參數(shù)設(shè)置一欄寫明提取字段的對(duì)應(yīng)轉(zhuǎn)換字段名稱及類型即可實(shí)現(xiàn)對(duì)數(shù)據(jù)庫的數(shù)據(jù)抽取與轉(zhuǎn)換操作。

3.2 數(shù)據(jù)同步策略

統(tǒng)一數(shù)據(jù)庫集成平臺(tái)中的任務(wù)調(diào)度模塊提供管理員設(shè)置數(shù)據(jù)更新時(shí)間、更新頻率（小時(shí)）、更新方式（全量/增量）。在平臺(tái)建立與各業(yè)務(wù)數(shù)據(jù)庫的連接后，首先對(duì)用戶提供的業(yè)務(wù)數(shù)據(jù)庫進(jìn)行首次同步，將目標(biāo)數(shù)據(jù)同步到統(tǒng)一數(shù)據(jù)庫集成平臺(tái)中并做批量索引和保存。針對(duì)業(yè)務(wù)數(shù)據(jù)的特點(diǎn)不同，提供3 種更新策略：全量更新、增量更新、混合更新。

1）全量更新。對(duì)于經(jīng)常變化的數(shù)據(jù)源，管理員可以配置較低頻率全量更新模式，即對(duì)全表進(jìn)行重新抽取，在建立新的索引后，替換原有索引，更新速度可達(dá)到5 000 萬～1 億條/天。

2）增量更新。對(duì)于基本不存在內(nèi)容修改的數(shù)據(jù)，管理員可以配置較高頻率的增量更新模式，利用時(shí)間戳對(duì)前次處理時(shí)間與本次處理時(shí)間之間的數(shù)據(jù)進(jìn)行抽取，同時(shí)建立增量索引。

3）混合更新。針對(duì)數(shù)據(jù)庫中存在少量刪除記錄的情況，全文索引方式無法及時(shí)發(fā)現(xiàn)，采用高速頻繁的增量更新與定期全量更新的方式滿足此種情況。

3.3 數(shù)據(jù)集成可視化

本文研究的船舶制造統(tǒng)一數(shù)據(jù)庫集成平臺(tái)成功應(yīng)用到國內(nèi)某大型船舶制造公司的管件加工車間，集成了管加車間的MES，ERP，WMS，BCS，PDM，QMS 等系統(tǒng)的數(shù)據(jù)庫，并將業(yè)務(wù)數(shù)根據(jù)用戶需求搭建出了工程整體統(tǒng)計(jì)分析、工程實(shí)際配送量統(tǒng)計(jì)分析、工程庫存量統(tǒng)計(jì)分析、工程車間交接量統(tǒng)計(jì)分析、工程計(jì)劃下達(dá)量統(tǒng)計(jì)分析和工程總數(shù)量統(tǒng)計(jì)分析等業(yè)務(wù)應(yīng)用場景，為該船廠的業(yè)務(wù)流程優(yōu)化與領(lǐng)導(dǎo)決策管理提供有力支撐。

4 結(jié) 語

本文針對(duì)國內(nèi)大中型船舶制造企業(yè)“信息孤島”現(xiàn)象，提出面向船舶行業(yè)的統(tǒng)一數(shù)據(jù)庫集成平臺(tái)，分析船舶制造企業(yè)數(shù)據(jù)庫集成的現(xiàn)狀、目標(biāo)與任務(wù)，研究平臺(tái)整體架構(gòu)與數(shù)據(jù)標(biāo)準(zhǔn)，實(shí)現(xiàn)了基于元數(shù)據(jù)的模式集成等關(guān)鍵技術(shù)，搭建了數(shù)據(jù)匯集子平臺(tái)、數(shù)據(jù)治理子平臺(tái)和數(shù)據(jù)共享子平臺(tái)，進(jìn)而完成了船舶業(yè)務(wù)系統(tǒng)的數(shù)據(jù)抽取、治理與共享。該平臺(tái)已成功應(yīng)用于國內(nèi)某大型船舶制造企業(yè)的管件加工車間，為船舶管件加工車間透明化生產(chǎn)與管理提供可靠保障，對(duì)其他船舶企業(yè)異構(gòu)數(shù)據(jù)庫集成工作的開展具有現(xiàn)實(shí)借鑒意義。