處理tibco中間件交互數(shù)據(jù)的通信系統(tǒng)設(shè)計(jì)與開(kāi)發(fā)

唐鋼信息自動(dòng)化部 胡運(yùn)杰

0 前言

按照以往的慣例，數(shù)據(jù)庫(kù)用來(lái)保存數(shù)據(jù)，而對(duì)數(shù)據(jù)的處理由相應(yīng)的進(jìn)程處理。在以前的項(xiàng)目中有過(guò)類似的案例，通常的解決思路是MES將XML數(shù)據(jù)寫(xiě)入本地?cái)?shù)據(jù)庫(kù)。數(shù)據(jù)處理進(jìn)程內(nèi)部會(huì)維護(hù)一個(gè)定時(shí)器，該定時(shí)器會(huì)定時(shí)觸發(fā)查詢數(shù)據(jù)庫(kù)的新數(shù)據(jù)。進(jìn)程查詢到新數(shù)據(jù)后，把存儲(chǔ)通信數(shù)據(jù)的XML文檔從數(shù)據(jù)庫(kù)內(nèi)讀出，然后按照通信XML的格式進(jìn)行解析，將解析的結(jié)果存入變量中，最后將解析完的的數(shù)據(jù)寫(xiě)入數(shù)據(jù)庫(kù)。發(fā)送數(shù)據(jù)也一樣，先把待發(fā)送數(shù)據(jù)寫(xiě)入數(shù)據(jù)庫(kù)，數(shù)據(jù)處理進(jìn)程掃描到新數(shù)據(jù)后將數(shù)據(jù)封裝成XML文件，然后寫(xiě)入數(shù)據(jù)庫(kù)再發(fā)送給MES。目前常用的處理方式有很多亟待解決的問(wèn)題。所以需要一種全新的處理方法解決上述問(wèn)題。

1 解決思路

原通信的數(shù)據(jù)處理方式簡(jiǎn)單直觀，技術(shù)較成熟。但是有一些不能避免的缺點(diǎn)：數(shù)據(jù)流復(fù)雜，系統(tǒng)開(kāi)銷大，由此導(dǎo)致處理效率低，資源占用高。為了保證數(shù)據(jù)處理進(jìn)程處理數(shù)據(jù)的即時(shí)性，只能縮短數(shù)據(jù)處理進(jìn)程對(duì)數(shù)據(jù)庫(kù)進(jìn)行查詢的周期。這樣的話，即使數(shù)據(jù)庫(kù)中沒(méi)有新數(shù)據(jù)也要對(duì)數(shù)據(jù)庫(kù)進(jìn)行查詢。為了保證通信就需要保持以高頻率查詢數(shù)據(jù)庫(kù)。同時(shí)數(shù)據(jù)先寫(xiě)入本地?cái)?shù)據(jù)庫(kù)，再由數(shù)據(jù)處理進(jìn)程讀出解析，再寫(xiě)入本地?cái)?shù)據(jù)庫(kù)，這種處理方式也會(huì)額外占用磁盤的讀寫(xiě)資源。綜上，這種處理方式會(huì)導(dǎo)致很多不必要的開(kāi)銷，而且也不能完全彌補(bǔ)它自身的弊端。

為縮短數(shù)據(jù)處理流程決定去掉后臺(tái)的數(shù)據(jù)處理程序，對(duì)新數(shù)據(jù)的處理采用觸發(fā)方式，收到新數(shù)據(jù)觸發(fā)解析，沒(méi)有新數(shù)據(jù)時(shí)沒(méi)有額外的資源開(kāi)銷。減少數(shù)據(jù)的流轉(zhuǎn)過(guò)程，數(shù)據(jù)不再交由后臺(tái)進(jìn)程處理,減少服務(wù)器硬盤讀寫(xiě)操作，降低出錯(cuò)幾率的同時(shí)減少磁盤資源占用，該部分?jǐn)?shù)據(jù)的處理完全交給數(shù)據(jù)庫(kù)操作。數(shù)據(jù)庫(kù)直接解析或者封裝XML數(shù)據(jù)并保存處理后的信息。

2 設(shè)計(jì)與實(shí)現(xiàn)

2.1 接收數(shù)據(jù)的解析處理

在與MES通信接口方式中采用傳遞XML文件的方式進(jìn)行數(shù)據(jù)交換。XML作為輕量級(jí)的數(shù)據(jù)儲(chǔ)存文件非常適合系統(tǒng)間的數(shù)據(jù)交換，具有統(tǒng)一的標(biāo)準(zhǔn)語(yǔ)法，并且在傳遞過(guò)程中保留了諸如父/子關(guān)系這樣的數(shù)據(jù)結(jié)構(gòu)。在MES系統(tǒng)中由于采用了Tibco中間件，能夠簡(jiǎn)單有效的處理XML文件，而在無(wú)人天車的系統(tǒng)中只能手動(dòng)解析處理通信數(shù)據(jù)。

在通信報(bào)文中有3條用于生產(chǎn)的步進(jìn)梁跟蹤數(shù)據(jù)對(duì)時(shí)間要求較高，需要及時(shí)對(duì)該數(shù)據(jù)進(jìn)行處理并下發(fā)給WMS系統(tǒng)。在WMS與A模塊系統(tǒng)中鋼卷信息與鋼卷實(shí)物的對(duì)應(yīng)關(guān)系依靠步進(jìn)梁的跟蹤數(shù)據(jù)處理。如果步進(jìn)梁跟蹤數(shù)據(jù)滯后或者不準(zhǔn)確會(huì)導(dǎo)致嚴(yán)重的安全問(wèn)題。其它生產(chǎn)數(shù)據(jù)也需要及時(shí)獲取并處理，所以及時(shí)準(zhǔn)確與MES通信非常重要。

在以前的技術(shù)解決方案中，數(shù)據(jù)庫(kù)不僅作為最后結(jié)果的存儲(chǔ)器，也可以用作各個(gè)處理進(jìn)程間的“共享緩沖”使用。使用數(shù)據(jù)庫(kù)作為“共享緩存”的弊端就是速度慢、開(kāi)銷大。經(jīng)過(guò)技術(shù)攻關(guān)決定采用新的數(shù)據(jù)處理結(jié)構(gòu)，從根本上解決通信及時(shí)性問(wèn)題。接收MES數(shù)據(jù)時(shí)，本地?cái)?shù)據(jù)觸發(fā)器觸發(fā)新數(shù)據(jù)的解析處理，然后將解析后的數(shù)據(jù)存入本地。向MES發(fā)送數(shù)據(jù)時(shí)，本地?cái)?shù)據(jù)庫(kù)觸發(fā)數(shù)據(jù)封裝處理，封裝完成后存入MES遠(yuǎn)程數(shù)據(jù)表。很明顯如果這樣處理極大的提高了處理效率，并且降低了資源開(kāi)銷。因?yàn)槔系奶幚斫Y(jié)構(gòu)并沒(méi)有把全部系統(tǒng)資源用于處理數(shù)據(jù)，而是浪費(fèi)在了等待、掃描新數(shù)據(jù)和無(wú)用的重復(fù)讀寫(xiě)上面。

2.2 XML文檔的結(jié)構(gòu)

通過(guò)查閱有關(guān)XML的資料發(fā)現(xiàn)，XML文檔雖然是線性存儲(chǔ)的文檔，但是其內(nèi)部的標(biāo)準(zhǔn)格式能保存完整的數(shù)據(jù)結(jié)構(gòu)。很多軟件都提供了對(duì)XML對(duì)象的支持。XML DOM文檔對(duì)象模型類是XML文檔的內(nèi)存中表示形式，DOM文檔對(duì)象模型能夠以編程方式讀取、處理和修改XML文檔。XML數(shù)據(jù)在內(nèi)存中表示是常見(jiàn)的結(jié)構(gòu)化方法，盡管實(shí)際的XML數(shù)據(jù)在文件中時(shí)或從另一個(gè)對(duì)象傳入時(shí)以線性方式存儲(chǔ)。

2.3 構(gòu)建存儲(chǔ)過(guò)程

在XML文檔結(jié)構(gòu)中，XMLNode對(duì)象是DOM樹(shù)中的基本對(duì)象。通過(guò)將XML文件轉(zhuǎn)換成對(duì)象，能夠用程方式操作XML文檔。通過(guò)查找、學(xué)習(xí)相關(guān)資料發(fā)現(xiàn)Oracle有一個(gè)包XMLDOM，可以很方便的處理XML對(duì)象。

通過(guò)oracle的XMLDOM包解析出的數(shù)據(jù)直接插入數(shù)據(jù)表中。存儲(chǔ)過(guò)程運(yùn)行于數(shù)據(jù)庫(kù)內(nèi)部，不需要再由程序?qū)?shù)據(jù)讀出來(lái)，所以減少了系統(tǒng)資源占用。在實(shí)際使用過(guò)程中發(fā)現(xiàn)數(shù)據(jù)庫(kù)的執(zhí)行效率非常高，解析時(shí)間在毫秒級(jí)，CPU占用率也極低。

解決了XML數(shù)據(jù)解析問(wèn)題后還存在一個(gè)問(wèn)題，就是收到MES新數(shù)據(jù)后的觸發(fā)處理，這是解決通信數(shù)據(jù)處理及時(shí)性的關(guān)鍵。采用定時(shí)器掃描處理的方式有先天的弊端，并不適合對(duì)速度要求較高的環(huán)境。通過(guò)比較認(rèn)為采用觸發(fā)器比較適用于及時(shí)處理通信數(shù)據(jù)。觸發(fā)器在數(shù)據(jù)庫(kù)以獨(dú)立的對(duì)象存儲(chǔ)，觸發(fā)器不需要顯示調(diào)用而是由一個(gè)事件啟動(dòng)運(yùn)行。

這樣當(dāng)MES有新數(shù)據(jù)存入本地接口表時(shí)，在插入新數(shù)據(jù)前就會(huì)觸發(fā)解析新數(shù)據(jù)的存儲(chǔ)過(guò)程。存儲(chǔ)過(guò)程會(huì)把解析好的數(shù)據(jù)保存到相應(yīng)的表。MES發(fā)送的原始數(shù)據(jù)也插入本地接口表存檔。使用觸發(fā)器觸發(fā)新數(shù)據(jù)處理，免去了定時(shí)器對(duì)某個(gè)表的頻繁讀取，減輕了對(duì)數(shù)據(jù)庫(kù)的沖擊，能夠提高整個(gè)數(shù)據(jù)運(yùn)行效率。數(shù)據(jù)庫(kù)解析過(guò)程對(duì)于上層程序來(lái)說(shuō)是透明的，上層進(jìn)程不需要知道數(shù)據(jù)來(lái)源，只需使用即可。

2.4 發(fā)送數(shù)據(jù)封裝

向MES發(fā)送的數(shù)據(jù)采用類似的處理方式，不用后臺(tái)進(jìn)程處理，直接由oracle數(shù)據(jù)庫(kù)進(jìn)行封裝，然后發(fā)送到MES的接口表。oracle對(duì)數(shù)據(jù)的封裝調(diào)用了oracle的DBMS_XML包，這個(gè)包能夠把SQL查詢的結(jié)果轉(zhuǎn)換成XML文件。最后將生成的XML文檔放入clob字段并發(fā)送給MES。封裝XML的過(guò)程重點(diǎn)是根據(jù)報(bào)文結(jié)構(gòu)構(gòu)造查詢結(jié)果集，查詢結(jié)果集要和生成的XML數(shù)據(jù)結(jié)構(gòu)一致，否則會(huì)生成錯(cuò)誤的XML文件。

3 結(jié)語(yǔ)

經(jīng)過(guò)后期的應(yīng)用測(cè)試，去掉后臺(tái)處理程序后縮短了數(shù)據(jù)處理流程?？s短數(shù)據(jù)流程后數(shù)據(jù)處理速度更加迅速，滿足了生產(chǎn)的實(shí)時(shí)性要求。新數(shù)據(jù)通過(guò)觸發(fā)的方式處理速度更加迅速，同時(shí)降低了服務(wù)器的資源占用。并且通過(guò)數(shù)據(jù)庫(kù)解析、封裝XML通信數(shù)據(jù)，使數(shù)據(jù)與應(yīng)用程序的分層更加清晰。數(shù)據(jù)的問(wèn)題全部交由數(shù)據(jù)庫(kù)處理，數(shù)據(jù)庫(kù)不僅是“容器”還作為“處理器”。前臺(tái)應(yīng)用程序只需調(diào)用現(xiàn)成處理好的數(shù)據(jù)。也為以后大項(xiàng)目的分工協(xié)作提供了新的方法。