某特鋼企業(yè)MES系統(tǒng)多源異構(gòu)數(shù)據(jù)采集架構(gòu)設(shè)計(jì)與應(yīng)用

盛 剛，李 勇，張效華

（冶金自動(dòng)化研究設(shè)計(jì)院有限公司，北京 100076）

0 引言

某特鋼企業(yè)在建設(shè)MES 系統(tǒng)過程中需要集中將不同源的數(shù)據(jù)進(jìn)行采集，統(tǒng)一集中后，按照需求供給不同的應(yīng)用系統(tǒng)使用，實(shí)現(xiàn)數(shù)據(jù)自動(dòng)集中采集，統(tǒng)一供給，降低數(shù)據(jù)落地和人為干預(yù)，為后續(xù)MES 系統(tǒng)的應(yīng)用打下堅(jiān)實(shí)的基礎(chǔ)。

由于該企業(yè)產(chǎn)能?。戤a(chǎn)能不到2 萬噸），設(shè)備數(shù)量少，所以在MES 系統(tǒng)實(shí)施過程中并沒有按照嚴(yán)格的鋼鐵企業(yè)5層架構(gòu)（一級PCS 層、二級自動(dòng)控制、三級MES 系統(tǒng)、四級ERP 層、五層商業(yè)智能）進(jìn)行設(shè)計(jì)和實(shí)施，而是直接實(shí)施MES 系統(tǒng)，先提升企業(yè)生產(chǎn)管理水平，拉通企業(yè)產(chǎn)品生產(chǎn)過程信息化，然后再完善一級和二級。所以在實(shí)施過程中三級MES 系統(tǒng)充當(dāng)了很多二級系統(tǒng)功能（傳統(tǒng)方案是二級為三級提供數(shù)據(jù)，只需和二級進(jìn)行通訊即可），需要采集底層不同源的數(shù)據(jù)為MES 系統(tǒng)統(tǒng)計(jì)和決策提供支持。

MES 系統(tǒng)采集的數(shù)據(jù)分布在MES 系統(tǒng)、應(yīng)用系統(tǒng)、網(wǎng)關(guān)、儀器儀表、文件等不同的數(shù)據(jù)源中，且各數(shù)據(jù)源的數(shù)據(jù)交換協(xié)議也不相同，設(shè)計(jì)PLC、OPC、MODBUS、104、102 智能電表協(xié)議、應(yīng)用系統(tǒng)并通過數(shù)據(jù)庫完成數(shù)據(jù)交換[1-3]。本文在開發(fā)了一兩個(gè)數(shù)據(jù)采集接口后，發(fā)現(xiàn)數(shù)據(jù)采集程序有一些通用的代碼，包括數(shù)據(jù)鏈接、協(xié)議轉(zhuǎn)換、讀取數(shù)據(jù)、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)存儲(chǔ)等共同的模塊，其中數(shù)據(jù)鏈接和協(xié)議轉(zhuǎn)換是所有的接口中不同的部分。系統(tǒng)通過抽象，設(shè)計(jì)了一套通用的多源異構(gòu)的數(shù)據(jù)采集架構(gòu)。該架構(gòu)通過對采集鏈接和采集協(xié)議的可配置性和可擴(kuò)展性，實(shí)現(xiàn)多協(xié)議的適配性，提高了數(shù)據(jù)采集的效率。

1 MES系統(tǒng)采集數(shù)據(jù)的多源性和異構(gòu)性

1.1 數(shù)據(jù)的多源性

MES 系統(tǒng)是特鋼企業(yè)信息化的基石。MES 系統(tǒng)通過聯(lián)通ERP 系統(tǒng)將銷售訂單轉(zhuǎn)換為生產(chǎn)訂單并分解為各工序的生產(chǎn)計(jì)劃，通過跟蹤生產(chǎn)計(jì)劃、物流運(yùn)輸、原料庫存、能源消耗，產(chǎn)品質(zhì)量等信息完成對整個(gè)生產(chǎn)的管控。所以，在MES 系統(tǒng)實(shí)施過程中需要集成訂單信息、工藝信息、能源信息、設(shè)備信息、質(zhì)量信息、原料庫存信息、生產(chǎn)過程信息和物流信息。這些信息數(shù)據(jù)源分布在不同的系統(tǒng)中，MES 系統(tǒng)在集成過程中需要與這些數(shù)據(jù)源通信，才能將這些數(shù)據(jù)集成到MES 系統(tǒng)中，使MES 系統(tǒng)完成對生產(chǎn)計(jì)劃的跟蹤和管控。具體數(shù)據(jù)源和傳輸協(xié)議見表1。

表1 MES系統(tǒng)采集數(shù)據(jù)多源性Table 1 Multi source of data collected by MES system

本文在MES 系統(tǒng)落地實(shí)施過程中，MES 系統(tǒng)需要與參與特鋼生產(chǎn)的各工段、車間和分廠中各種信息系統(tǒng)對接。

其中，對于工段需要集成該工段二級系統(tǒng)中的信號，例如設(shè)備事件信號中的啟動(dòng)和結(jié)束來判斷作業(yè)是否開始或者結(jié)束。此類信息，以Socket 報(bào)文信息對外提供信號，或者是直接對接設(shè)備控制系統(tǒng)PLC、DCS 系統(tǒng)進(jìn)行事件類的信號采集；對于某些特殊設(shè)備未進(jìn)行標(biāo)準(zhǔn)化，以串口的形式對外提供信號，如工段中使用天車秤、煤氣表或者水表等老設(shè)備，對外的接口一般以串口的形式與外圍系統(tǒng)進(jìn)行對接。

對于車間，一般由二級管理系統(tǒng)主要管理整個(gè)車間的生產(chǎn)任務(wù)執(zhí)行情況。MES 系統(tǒng)要向二級管理系統(tǒng)下發(fā)任務(wù)，此類信息可以通過數(shù)據(jù)庫的形式或者Web Api、Web Service的形式進(jìn)行數(shù)據(jù)傳遞。

對于廠級間信號傳遞，在MES 系統(tǒng)建設(shè)過程中遇到了兩個(gè)分廠產(chǎn)線間傳遞原料信息，需要在原料系統(tǒng)中記錄原料表面質(zhì)量信息，然后將原料的表面質(zhì)量信息傳遞給MES系統(tǒng)中的質(zhì)量模塊。此過程中涉及了圖片信息的傳輸，通過Web Api 的形式進(jìn)行文件信息傳遞。

MES 系統(tǒng)的成功除了要集成各類系統(tǒng)信息，還需要集成其他業(yè)務(wù)系統(tǒng)的信息，用來實(shí)現(xiàn)對整個(gè)生產(chǎn)的管理。同時(shí)，MES 系統(tǒng)只負(fù)責(zé)企業(yè)的生產(chǎn)管理，其他業(yè)務(wù)需要在其他系統(tǒng)中體現(xiàn)，也需要MES 系統(tǒng)為其他系統(tǒng)提供接口，將MES 系統(tǒng)的信息發(fā)送給目標(biāo)系統(tǒng)。例如，將MES 系統(tǒng)的生產(chǎn)任務(wù)統(tǒng)計(jì)信息發(fā)給4 級系統(tǒng)ERP 中，在ERP 系統(tǒng)中實(shí)現(xiàn)生產(chǎn)成本信息的核算。

1.2 數(shù)據(jù)的異構(gòu)性

異構(gòu)數(shù)據(jù)（Heterogeneous Data）廣義上是指數(shù)據(jù)結(jié)構(gòu)、存取方式、形式不一樣的多種數(shù)據(jù)。在本次項(xiàng)目實(shí)施過程中主要為3 種數(shù)據(jù)：時(shí)序數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)。

時(shí)序數(shù)據(jù)指數(shù)據(jù)的產(chǎn)生按照時(shí)間的順序產(chǎn)生，一般主要是設(shè)備工藝參數(shù)（生產(chǎn)過程中產(chǎn)生）和儀器儀表的計(jì)量數(shù)據(jù)。此類數(shù)據(jù)具備一定的時(shí)序性，數(shù)據(jù)的主要結(jié)構(gòu)為數(shù)據(jù)唯一標(biāo)識、數(shù)據(jù)產(chǎn)生的時(shí)間、數(shù)據(jù)的值。

業(yè)務(wù)數(shù)據(jù)，指業(yè)務(wù)過程的描述信息。如生產(chǎn)計(jì)劃，描述了產(chǎn)品生產(chǎn)起始結(jié)束時(shí)間、所需設(shè)備、原料等資源信息。

非結(jié)構(gòu)化數(shù)據(jù)，指一些無法結(jié)構(gòu)化數(shù)據(jù)。如圖片信息等，在本次項(xiàng)目中主要是指圖片信息、文件信息，例如物料的質(zhì)量圖片信息、工藝標(biāo)準(zhǔn)、生產(chǎn)過程參數(shù)以及文件存儲(chǔ)的文件信息。

其中，對于本文特鋼MES 系統(tǒng)中，業(yè)務(wù)數(shù)據(jù)是數(shù)據(jù)量最大的種類；其次是時(shí)序數(shù)據(jù)，最后是非結(jié)構(gòu)化的數(shù)據(jù)。業(yè)務(wù)數(shù)據(jù)涵蓋了生產(chǎn)計(jì)劃、作業(yè)計(jì)劃、檢修計(jì)劃、生產(chǎn)實(shí)績、能源實(shí)績、原料信息、產(chǎn)品信息、工藝過程信息、產(chǎn)品質(zhì)量信息、工藝標(biāo)準(zhǔn)信息、產(chǎn)品質(zhì)量等信息。而時(shí)序數(shù)據(jù)，主要為生產(chǎn)過程中的生產(chǎn)工藝參數(shù)，如產(chǎn)品生產(chǎn)過程中環(huán)境的溫度、濕度、設(shè)備的電流和電壓信息，產(chǎn)品實(shí)時(shí)的物理信息，如長度、重量、溫度等變化信息。而非結(jié)構(gòu)的數(shù)據(jù)，一般為復(fù)雜工況識別需要的圖片信息，產(chǎn)品表面質(zhì)量、產(chǎn)品低倍組織信息，這些圖片需要進(jìn)行保存分析。還有一些流媒體的信息，如生產(chǎn)過程中的視頻監(jiān)控信息——電爐中電弧圖像信息有非常重要的價(jià)值，目前只能存在設(shè)備中，MES 系統(tǒng)需要對這些圖片進(jìn)行分門別類地存儲(chǔ)，為MES 系統(tǒng)質(zhì)量分析提供支持。

2 多源異構(gòu)數(shù)據(jù)采集系統(tǒng)架構(gòu)

通過對數(shù)據(jù)源數(shù)據(jù)、數(shù)據(jù)接口協(xié)議以及對數(shù)據(jù)本身的采集要求（采集頻率）的特點(diǎn)分析，整個(gè)數(shù)據(jù)采集的過程可以分為外圍數(shù)據(jù)源注冊、數(shù)據(jù)源的鏈接、數(shù)據(jù)讀取、協(xié)議解析和數(shù)據(jù)轉(zhuǎn)換和轉(zhuǎn)發(fā)、數(shù)據(jù)存儲(chǔ)6 個(gè)過程。其中，由于數(shù)據(jù)源不同導(dǎo)致協(xié)議解析和數(shù)據(jù)轉(zhuǎn)換和轉(zhuǎn)發(fā)不同，此部分根據(jù)軟件設(shè)計(jì)思想可以以插件的方式進(jìn)行設(shè)計(jì)，方便后續(xù)針對不同源不同協(xié)議數(shù)據(jù)源進(jìn)行擴(kuò)展。

2.1 多源異構(gòu)數(shù)據(jù)采集系統(tǒng)架構(gòu)

根據(jù)數(shù)據(jù)采集過程的劃分，構(gòu)建整個(gè)數(shù)據(jù)采集架構(gòu)模型如圖1。整個(gè)架構(gòu)分為3 部分，從下到上依次是驅(qū)動(dòng)配置、驅(qū)動(dòng)管理和驅(qū)動(dòng)調(diào)用。其中，驅(qū)動(dòng)配置用于整個(gè)驅(qū)動(dòng)的形成，包括數(shù)據(jù)源定義、通道配置、協(xié)議選擇、數(shù)據(jù)采集配置（數(shù)據(jù)轉(zhuǎn)換定義及采集規(guī)則的定義），配置完成后形成數(shù)據(jù)采集驅(qū)動(dòng)。驅(qū)動(dòng)管理主要負(fù)責(zé)對驅(qū)動(dòng)的添加、測試、修改、刪除和保存等操作，完成后將驅(qū)動(dòng)形成數(shù)據(jù)庫存儲(chǔ)的模型存儲(chǔ)在數(shù)據(jù)庫中。驅(qū)動(dòng)調(diào)用模塊，由MES 系統(tǒng)在數(shù)據(jù)采集過程中通過驅(qū)動(dòng)調(diào)用完成數(shù)據(jù)采集。圖1中用圈中的數(shù)字標(biāo)明數(shù)據(jù)采集驅(qū)動(dòng)的配置順序。

圖1 數(shù)據(jù)采集架構(gòu)Fig.1 Data acquisition architecture

2.2 多源異構(gòu)數(shù)據(jù)采集引擎

完成了數(shù)據(jù)采集驅(qū)動(dòng)配置之后，需要對數(shù)據(jù)采集驅(qū)動(dòng)進(jìn)行控制[5-8]。讓系統(tǒng)通過驅(qū)動(dòng)定時(shí)地掃描數(shù)據(jù)源后，根據(jù)采集驅(qū)動(dòng)的定義將數(shù)據(jù)源的信息按照確定周期將確定要采集的數(shù)據(jù)采集到目標(biāo)系統(tǒng)中。如圖2所示，設(shè)計(jì)了數(shù)據(jù)采集引擎，通過在引擎啟動(dòng)過程中將已經(jīng)配置好的數(shù)據(jù)驅(qū)動(dòng)讀到系統(tǒng)內(nèi)存中，形成數(shù)據(jù)采集隊(duì)列。由程序控制數(shù)據(jù)源隊(duì)列的出隊(duì)，并判斷是否可以下一次采集，判斷方法為根據(jù)不同的數(shù)據(jù)選擇不同判斷算法，判斷算法以程序接口或者動(dòng)態(tài)鏈接庫的形式存在數(shù)據(jù)庫中，由程序在使用過程中進(jìn)行調(diào)用。

圖2 數(shù)據(jù)采集引擎Fig.2 Data acquisition engine

對實(shí)時(shí)數(shù)據(jù)的采集根據(jù)數(shù)據(jù)直接進(jìn)行輪訓(xùn)采集，對于業(yè)務(wù)數(shù)據(jù)需要根據(jù)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)時(shí)間標(biāo)志位進(jìn)行判斷是否是當(dāng)前采集周期內(nèi)的數(shù)據(jù)，對于歷史數(shù)據(jù)（用于補(bǔ)采數(shù)據(jù)）也根據(jù)設(shè)置的采集范圍進(jìn)行數(shù)據(jù)采集，對于符合進(jìn)入數(shù)據(jù)源緩沖隊(duì)列開始采集數(shù)據(jù)，等采集完成后釋放數(shù)據(jù)源，重新進(jìn)入數(shù)據(jù)源隊(duì)列進(jìn)行下一輪的數(shù)據(jù)采集。

2.3 多源異構(gòu)數(shù)據(jù)采集系統(tǒng)特點(diǎn)

該系統(tǒng)具備集中統(tǒng)一采集不同數(shù)據(jù)源的數(shù)據(jù)，通過配置的方式完成了不同的數(shù)據(jù)源的數(shù)據(jù)采集驅(qū)動(dòng)配置，通過數(shù)據(jù)采集引擎定周期自動(dòng)完成對各個(gè)系統(tǒng)的數(shù)據(jù)采集工作。

系統(tǒng)具備驅(qū)動(dòng)的可擴(kuò)展性，后續(xù)可通過添加驅(qū)動(dòng)的形式在其他模塊不用改動(dòng)的情況下即可完成數(shù)據(jù)采集。

此外，隨著系統(tǒng)驅(qū)動(dòng)積累的越來越多，項(xiàng)目中涉及數(shù)據(jù)采集的工作時(shí)，由于系統(tǒng)中已積累了很多驅(qū)動(dòng)，項(xiàng)目實(shí)施人員只需對系統(tǒng)進(jìn)行配置，即選擇數(shù)據(jù)源、配置鏈接方式和數(shù)據(jù)轉(zhuǎn)換方式后存儲(chǔ)成驅(qū)動(dòng)，系統(tǒng)就可以自動(dòng)對目標(biāo)數(shù)據(jù)源的數(shù)據(jù)進(jìn)行采集，所以后續(xù)工程效率會(huì)逐漸增大。而且隨著軟件多次使用，軟件的質(zhì)量也因?yàn)轵?qū)動(dòng)種類多帶來系統(tǒng)測試多，軟件質(zhì)量也會(huì)提升。

3 多源異構(gòu)數(shù)據(jù)采集系統(tǒng)應(yīng)用

針對特鋼企業(yè)需求，聚焦生產(chǎn)制造環(huán)節(jié)信息的打通，通過設(shè)備技術(shù)改造、產(chǎn)品工藝優(yōu)化、設(shè)備自動(dòng)化升級和信息化系統(tǒng)建設(shè)提升企業(yè)精益化管理水平，提高產(chǎn)線自動(dòng)化控制水平，實(shí)現(xiàn)銷產(chǎn)銜接，降本增效，節(jié)能減排。通過MES 系統(tǒng)的建設(shè)，實(shí)現(xiàn)銷產(chǎn)轉(zhuǎn)換、生產(chǎn)計(jì)劃和作業(yè)計(jì)劃編制、產(chǎn)線調(diào)度、質(zhì)量控制、物流跟蹤和質(zhì)量追溯、能源管理等完整功能，實(shí)現(xiàn)該特鋼企業(yè)鋼鐵的網(wǎng)絡(luò)化、智能化生產(chǎn)。

在MES 系統(tǒng)實(shí)施過程中，為實(shí)現(xiàn)以上該特鋼企業(yè)智能管控功能，需要采集數(shù)采網(wǎng)關(guān)的自動(dòng)化設(shè)備（PLC、儀器儀表）數(shù)據(jù)，NC 系統(tǒng)的數(shù)據(jù)，能源管理系統(tǒng)、質(zhì)量管理系統(tǒng)、檢化驗(yàn)系統(tǒng)、物流跟蹤系統(tǒng)、煉鋼二級、鍛鋼二級、連軋二級等系統(tǒng)數(shù)據(jù)。

通過使用數(shù)據(jù)采集系統(tǒng)實(shí)現(xiàn)在系統(tǒng)中通過配置數(shù)據(jù)采集驅(qū)動(dòng)，完成以上數(shù)據(jù)的采集。數(shù)據(jù)采集系統(tǒng)，完成43 套采集網(wǎng)關(guān)的數(shù)據(jù)采集；業(yè)務(wù)系統(tǒng)采集3 個(gè)，ERP 系統(tǒng)、檢化驗(yàn)系統(tǒng)和原料庫存系統(tǒng)；計(jì)量設(shè)備天成吊鉤秤27 套，工藝參數(shù)實(shí)時(shí)文件1 個(gè)，視頻流2 個(gè)。

采集系統(tǒng)累計(jì)完成實(shí)時(shí)信號8000 多點(diǎn)，業(yè)務(wù)數(shù)據(jù)表20多個(gè)，工藝文件1 個(gè)，視頻監(jiān)控接入到了系統(tǒng)中實(shí)現(xiàn)打開即可看到。實(shí)時(shí)數(shù)據(jù)每秒中讀取1 次，業(yè)務(wù)表每分鐘讀取1 次，工藝文件每30 分鐘讀取1 次。目前系統(tǒng)運(yùn)行1年多，未出現(xiàn)任何問題。

MES 系統(tǒng)在定時(shí)采集各種數(shù)據(jù)源數(shù)據(jù)的同時(shí)，它自身也可作為數(shù)據(jù)源通過采集系統(tǒng)的配置反向地將數(shù)據(jù)發(fā)送給指定系統(tǒng)中。本項(xiàng)目中MES 系統(tǒng)通過數(shù)據(jù)采集系統(tǒng)，將MES 系統(tǒng)中計(jì)劃信息、工藝標(biāo)準(zhǔn)、質(zhì)量標(biāo)準(zhǔn)信息、作業(yè)標(biāo)準(zhǔn)信息發(fā)給二級系統(tǒng)，指導(dǎo)二級系統(tǒng)生產(chǎn)；同時(shí)將MES 系統(tǒng)匯聚統(tǒng)計(jì)的數(shù)據(jù)利用數(shù)據(jù)采集系統(tǒng)發(fā)送給ERP 系統(tǒng)，用于統(tǒng)計(jì)生產(chǎn)成本和公司其他財(cái)務(wù)核算。

4 結(jié)論

特鋼現(xiàn)場MES 系統(tǒng)在實(shí)施過程中，由于需要集成各類系統(tǒng)的數(shù)據(jù)，在集成過程中因提供數(shù)據(jù)源的各種系統(tǒng)的接口方式、數(shù)據(jù)格式和傳輸協(xié)議的不同，呈現(xiàn)出多源、異構(gòu)的特點(diǎn)。因此，考慮到系統(tǒng)的后續(xù)推廣應(yīng)用，通過對各種數(shù)據(jù)采集接口進(jìn)行對比分析，設(shè)計(jì)了一種多源異構(gòu)數(shù)據(jù)采集架構(gòu)和數(shù)據(jù)采集引擎，將數(shù)據(jù)采集過程以插件的形式進(jìn)行設(shè)計(jì)，實(shí)現(xiàn)了使用一個(gè)系統(tǒng)完成多種數(shù)據(jù)源數(shù)據(jù)的交換工作，通過MES 系統(tǒng)的使用完成了多數(shù)據(jù)源的單向和雙向通訊，系統(tǒng)可擴(kuò)展性強(qiáng)，具有良好的可復(fù)用性，避免了適應(yīng)不同的系統(tǒng)而開發(fā)不同的接口，應(yīng)用效果優(yōu)秀，實(shí)現(xiàn)了特鋼MES 系統(tǒng)的業(yè)務(wù)要求。