數(shù)據(jù)交換平臺(tái)建設(shè)研究
——以昆明工業(yè)職業(yè)技術(shù)學(xué)院為例

王志宏

(昆明工業(yè)職業(yè)技術(shù)學(xué)院，云南昆明，650302)

數(shù)據(jù)交換平臺(tái)建設(shè)研究
——以昆明工業(yè)職業(yè)技術(shù)學(xué)院為例

王志宏

(昆明工業(yè)職業(yè)技術(shù)學(xué)院，云南昆明，650302)

文章首先對(duì)昆明工職院數(shù)據(jù)交換平臺(tái)的系統(tǒng)構(gòu)架進(jìn)行了介紹，對(duì)系統(tǒng)各模塊的功能做出分析和設(shè)計(jì)；并從實(shí)際出發(fā)，對(duì)數(shù)據(jù)交換的實(shí)際操作應(yīng)用進(jìn)行了介紹。

數(shù)據(jù)交換；ETL；異構(gòu)庫

1 數(shù)據(jù)交換平臺(tái)是數(shù)字化校園應(yīng)用系統(tǒng)數(shù)據(jù)共享的核心系統(tǒng)

隨著信息化建設(shè)的開展，昆明工業(yè)職業(yè)技術(shù)學(xué)院（簡(jiǎn)稱昆明工職院），對(duì)數(shù)字化校園建設(shè)加大了投資力度，以幫助學(xué)校進(jìn)行電子事務(wù)處理和管理工作。各業(yè)務(wù)系統(tǒng)的運(yùn)行，積累了大量的業(yè)務(wù)數(shù)據(jù)；但各個(gè)系統(tǒng)的業(yè)務(wù)數(shù)據(jù)分布在各自的系統(tǒng)中,操作系統(tǒng)、數(shù)據(jù)庫管理系統(tǒng)和數(shù)據(jù)標(biāo)準(zhǔn)都不相同。這些數(shù)據(jù)之間缺乏對(duì)應(yīng)和轉(zhuǎn)換關(guān)系，協(xié)同能力較差，形成“信息孤島”。信息雖然可以在本系統(tǒng)中進(jìn)行流轉(zhuǎn)，但與其他系統(tǒng)的交互性較差。各自孤立運(yùn)作的系統(tǒng)將會(huì)產(chǎn)生大量的冗余數(shù)據(jù)和造成業(yè)務(wù)人員的重復(fù)勞動(dòng)，而采用傳統(tǒng)點(diǎn)對(duì)點(diǎn)的數(shù)據(jù)交換方式將使得系統(tǒng)的集成費(fèi)用和維護(hù)成本增加。構(gòu)建公共數(shù)據(jù)交換成為當(dāng)務(wù)之急。

ETL(Extraction、Transform and oad，數(shù)據(jù)抽取、轉(zhuǎn)換和裝載)是構(gòu)建公共數(shù)據(jù)交換的關(guān)鍵環(huán)節(jié)。ETL系統(tǒng)將一個(gè)機(jī)構(gòu)的所有的信息資源集成到一個(gè)無縫的、并列的、易于訪問的數(shù)據(jù)資產(chǎn)中；這樣可使一個(gè)功能強(qiáng)大的數(shù)據(jù)資產(chǎn)運(yùn)作起來就像一個(gè)單一系統(tǒng)。ETL通過建立底層數(shù)據(jù)交換平臺(tái)來聯(lián)系整個(gè)部門機(jī)構(gòu)的異構(gòu)系統(tǒng)、應(yīng)用、數(shù)據(jù)源等。該平臺(tái)用于滿足機(jī)構(gòu)內(nèi)部的業(yè)務(wù)系統(tǒng)、數(shù)據(jù)庫、數(shù)據(jù)倉庫，以及其它重要的內(nèi)部系統(tǒng)之間無逢地共享和交換數(shù)據(jù)的需要。

2 數(shù)據(jù)交換平臺(tái)的功能及架構(gòu)

2.1 實(shí)現(xiàn)基礎(chǔ)信息共享

大部分應(yīng)用系統(tǒng)都需要學(xué)生、教師等公共基礎(chǔ)信息，必須建立全校統(tǒng)一標(biāo)準(zhǔn)的基礎(chǔ)信息源，以避免產(chǎn)生數(shù)據(jù)不一致、數(shù)據(jù)冗余等現(xiàn)象。而這些信息來源于不同的系統(tǒng)，需要對(duì)其進(jìn)行整合、標(biāo)準(zhǔn)化之后再對(duì)外發(fā)布，因此，必須建立一個(gè)強(qiáng)大的數(shù)據(jù)采集、數(shù)據(jù)整合和數(shù)據(jù)發(fā)布的平臺(tái)。

2.2 進(jìn)行實(shí)時(shí)數(shù)據(jù)交換

為了保證學(xué)校服務(wù)、管理的需要，一些應(yīng)用系統(tǒng)需要其他應(yīng)用實(shí)時(shí)提供數(shù)據(jù)，比如一卡通系統(tǒng)需要人事系統(tǒng)實(shí)時(shí)提供新到職工的基本信息，以便及時(shí)為老師辦理新卡。

2.3 領(lǐng)導(dǎo)決策支持

學(xué)校領(lǐng)導(dǎo)需要及時(shí)掌握學(xué)校在教學(xué)、管理、服務(wù)等方面的綜合信息，校園信息化建設(shè)應(yīng)當(dāng)為領(lǐng)導(dǎo)建立一個(gè)決策支持平臺(tái)，為領(lǐng)導(dǎo)決策提供各種數(shù)據(jù)、信息、分析報(bào)表等，而這些必須建立在一個(gè)經(jīng)過整合的、具有智能分析功能的數(shù)據(jù)平臺(tái)和技術(shù)平臺(tái)之上。

2.4 有利于系統(tǒng)擴(kuò)展

學(xué)校未來新建的系統(tǒng)會(huì)越來越多，應(yīng)當(dāng)提供一個(gè)強(qiáng)壯的擴(kuò)展機(jī)制，使這些系統(tǒng)能比較方便地與已有系統(tǒng)整合，實(shí)現(xiàn)數(shù)據(jù)的交換和共享，從而使校園信息化框架具有強(qiáng)大的可擴(kuò)展性。

2.5 數(shù)據(jù)交換共享服務(wù)的系統(tǒng)結(jié)構(gòu)

數(shù)據(jù)交換平臺(tái)是構(gòu)建學(xué)校信息交換的系統(tǒng)框架，制定全校統(tǒng)一的數(shù)據(jù)采集、維護(hù)、交換的技術(shù)規(guī)范和標(biāo)準(zhǔn)，實(shí)現(xiàn)學(xué)校信息資源的交換共享、信息集成管理和信息資源的充分利用。

3 數(shù)據(jù)交換平臺(tái)系統(tǒng)的主要技術(shù)

數(shù)據(jù)交換共享服務(wù)是一個(gè)分布式開放型網(wǎng)絡(luò)系統(tǒng)，它由一個(gè)交換中心，若干個(gè)應(yīng)用軟件的適配器，以及保證數(shù)據(jù)傳輸可靠、安全，穩(wěn)定的通訊平臺(tái)（數(shù)據(jù)郵局）以及系統(tǒng)運(yùn)行的輔助單元--管理中心構(gòu)成，數(shù)據(jù)交換中的各應(yīng)用軟件以適配器作為接口，通過與交換中心的消息和數(shù)據(jù)交互實(shí)現(xiàn)信息交換。

3.1 適配器

適配器工作在應(yīng)用系統(tǒng)端，負(fù)責(zé)該系統(tǒng)與其他應(yīng)用系統(tǒng)的數(shù)據(jù)交換，其主要功能包括：數(shù)據(jù)輸出、數(shù)據(jù)輸入。

3.2 數(shù)據(jù)輸出

數(shù)據(jù)輸出是指從應(yīng)用系統(tǒng)中采集數(shù)據(jù)，并通過數(shù)據(jù)郵局發(fā)送到數(shù)據(jù)交換中心的全過程。

適配器中的數(shù)據(jù)獲取方式有以下兩種：（1）實(shí)時(shí)數(shù)據(jù)獲取，（2）數(shù)據(jù)發(fā)送。

3.3 數(shù)據(jù)輸入

數(shù)據(jù)交換中心根據(jù)定義將該系統(tǒng)所需要的數(shù)據(jù)通過數(shù)據(jù)郵局傳遞給適配器，適配器對(duì)接到的數(shù)據(jù)進(jìn)行解析并對(duì)該系統(tǒng)的運(yùn)行狀態(tài)進(jìn)行查詢，在不影響系統(tǒng)正常運(yùn)轉(zhuǎn)的前提下將數(shù)據(jù)傳遞給應(yīng)用系統(tǒng)，或?qū)?shù)據(jù)保存，通知該系統(tǒng)來取。

適配器的數(shù)據(jù)輸入方式主要有以下兩種：（1）數(shù)據(jù)推送，（2）應(yīng)用系統(tǒng)自動(dòng)獲取。

3.4 通訊平臺(tái)

在數(shù)據(jù)交換共享服務(wù)內(nèi)部，主要用到通訊平臺(tái)服務(wù)來負(fù)責(zé)交換、傳遞數(shù)據(jù)，可以利用現(xiàn)實(shí)中傳統(tǒng)的郵局來理解通訊平臺(tái)。通訊平臺(tái)包括郵局管理以及基于通訊傳輸系統(tǒng)的郵局倉庫組成。郵局管理負(fù)責(zé)對(duì)整個(gè)郵局進(jìn)行控制、數(shù)據(jù)管理、信息監(jiān)控并將監(jiān)控信息報(bào)告系統(tǒng)監(jiān)控臺(tái)。郵局倉庫通過通訊傳輸系統(tǒng)進(jìn)行數(shù)據(jù)的收發(fā)，并在接收端負(fù)責(zé)緩存數(shù)據(jù)，同時(shí)向郵局管理提供數(shù)據(jù)收發(fā)及監(jiān)控信息。

數(shù)據(jù)郵局通過一個(gè)個(gè)同構(gòu)的節(jié)點(diǎn)的擴(kuò)展，為C/S結(jié)構(gòu)的系統(tǒng)提供了一個(gè)透明的應(yīng)用數(shù)據(jù)總線，數(shù)據(jù)郵局通過數(shù)據(jù)總線的概念，屏蔽了C/S系統(tǒng)在構(gòu)架時(shí)所面臨的網(wǎng)絡(luò)的復(fù)雜性。

數(shù)據(jù)郵局是通過一些同構(gòu)的節(jié)點(diǎn)來延伸其應(yīng)用數(shù)據(jù)總線的，在這樣一個(gè)結(jié)構(gòu)中，數(shù)據(jù)郵局使用一些策略來保證這個(gè)數(shù)據(jù)總線的高效率，安全和可靠。這些策略包括復(fù)用的連接，節(jié)點(diǎn)間的數(shù)據(jù)加密，節(jié)點(diǎn)成組，動(dòng)態(tài)的鏈路選擇等。

3.5 管理中心

管理中心子系統(tǒng)是“數(shù)據(jù)交換共享服務(wù)”的支持系統(tǒng)，包含監(jiān)控管理、日志管理、認(rèn)證管理、數(shù)據(jù)維護(hù)等功能。

3.6 數(shù)據(jù)集成服務(wù)

數(shù)據(jù)交換集成服務(wù)主要利用數(shù)據(jù)交換共享服務(wù)，實(shí)現(xiàn)各個(gè)業(yè)務(wù)系統(tǒng)與數(shù)據(jù)中心之間的數(shù)據(jù)采集、規(guī)范、更新、交換等功能。

3.7 數(shù)據(jù)采集

數(shù)據(jù)采集的過程是共享數(shù)據(jù)庫根據(jù)數(shù)據(jù)使用協(xié)議，按照約定的時(shí)間頻度，通過數(shù)據(jù)交換共享服務(wù)，從數(shù)據(jù)生產(chǎn)單位的業(yè)務(wù)系統(tǒng)抽取共享數(shù)據(jù)。然后按照學(xué)校是數(shù)據(jù)模型進(jìn)行整理、分類、儲(chǔ)存并實(shí)現(xiàn)數(shù)據(jù)的充分利用。，為保證學(xué)校不同來源數(shù)據(jù)的可靠采集，數(shù)據(jù)采集模塊支持多種模式的數(shù)據(jù)采集方式。

3.8 數(shù)據(jù)采集

數(shù)據(jù)采集的過程是共享數(shù)據(jù)庫根據(jù)數(shù)據(jù)使用協(xié)議，按照約定的時(shí)間頻度，通過數(shù)據(jù)交換共享服務(wù)，從數(shù)據(jù)生產(chǎn)單位的業(yè)務(wù)系統(tǒng)抽取共享數(shù)據(jù)。然后按照學(xué)校是數(shù)據(jù)模型進(jìn)行整理、分類、儲(chǔ)存并實(shí)現(xiàn)數(shù)據(jù)的充分利用。為保證學(xué)校不同來源數(shù)據(jù)的可靠采集，數(shù)據(jù)采集模塊支持多種模式的數(shù)據(jù)采集方式。

3.9 數(shù)據(jù)推送

數(shù)據(jù)交換中心根據(jù)定義將該系統(tǒng)所需要的數(shù)據(jù)通過數(shù)據(jù)郵局傳遞給適配器，適配器對(duì)接到的數(shù)據(jù)進(jìn)行解析并對(duì)該系統(tǒng)的運(yùn)行狀態(tài)進(jìn)行查詢，在不影響系統(tǒng)正常運(yùn)轉(zhuǎn)的前提下將數(shù)據(jù)傳遞給應(yīng)用系統(tǒng)，或?qū)?shù)據(jù)保存，通知該系統(tǒng)來提取數(shù)據(jù)。

4 數(shù)據(jù)交換業(yè)務(wù)的實(shí)現(xiàn)

4.1 建立數(shù)據(jù)交換

選中數(shù)據(jù)交換平臺(tái)系統(tǒng)列表中的“表輸入”、“表輸出”、“插入/更新”，拖拽到右側(cè)工作區(qū)。鼠標(biāo)選中節(jié)點(diǎn)鍵盤按shift鍵，拖拽即可連線。

4.2 建立定時(shí)執(zhí)行的JOB

建立JOB的前提是有可以完整執(zhí)行的作業(yè)，把定制的作業(yè)進(jìn)行保存后直接運(yùn)行即可實(shí)現(xiàn)數(shù)據(jù)的交換。

5 總結(jié)與展望

目前昆明工職院的業(yè)務(wù)應(yīng)用系統(tǒng)有教務(wù)系統(tǒng)、學(xué)生工作管理系統(tǒng)、后勤管理系統(tǒng)、宿舍管理系統(tǒng)、招生管理系統(tǒng)、收費(fèi)管理系統(tǒng)等。這些業(yè)務(wù)系統(tǒng)能基本滿足學(xué)校日常業(yè)務(wù)和管理的需要，但各自為政的業(yè)務(wù)系統(tǒng)隨著業(yè)務(wù)流程日益復(fù)雜，協(xié)同化需求，雖然在一定程度上實(shí)現(xiàn)了基礎(chǔ)數(shù)據(jù)的共享，但大部分業(yè)務(wù)平臺(tái)的數(shù)據(jù)標(biāo)準(zhǔn)和共享還存在問題，在管理層、發(fā)展及高效化操作上的支撐服務(wù)還遠(yuǎn)遠(yuǎn)不夠，基于以上實(shí)際情況，需針對(duì)各部門所使用的各業(yè)務(wù)系統(tǒng)之間數(shù)據(jù)交換，實(shí)現(xiàn)在不改造原有業(yè)務(wù)系統(tǒng)的基礎(chǔ)上，實(shí)現(xiàn)業(yè)務(wù)應(yīng)用整合和數(shù)據(jù)交換共享，并為未來形成的新協(xié)議提供相應(yīng)適配器，保證新建業(yè)務(wù)系統(tǒng)能順利進(jìn)行業(yè)務(wù)應(yīng)用整合和數(shù)據(jù)交換共享。

[1] 唐川,丁梓強(qiáng). 異構(gòu)系統(tǒng) Internet—XML-EDI數(shù)據(jù)交換平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[J]. 佛山科學(xué)技術(shù)學(xué)院學(xué)報(bào):自然科學(xué)版,2013,12(9):123—125．

[2] 張強(qiáng)善,白連紅,嚴(yán)正香． 基于XML的數(shù)字校園數(shù)據(jù)交換平臺(tái)的設(shè)計(jì)[J].吉林建筑工程學(xué)院學(xué)報(bào),2013,11(7):112-l15．

Research on construction of data exchange platform -- Taking Kunming Vocational and Technical College of Industry as an example

Wang Zhihong
(Kunming Vocational and Technical College of Industry,Kunming,Yunnan,650302)

System architecture firstly,engineering of Kunming Vocational College of data exchange platform is introduced,each module of the system function analysis and design;and from reality,to the practical application of data exchange is introduced in this paper.

data exchange;ETL;heterogeneous database