校園輔助決策平臺中數(shù)據(jù)采集及同步方法研究*

張仕華，蔡 毅，劉志超，曹桂紅

(1.湖南工程學院 網絡信息中心，湘潭 411104；2.湖南工程學院 風力發(fā)電機組及控制湖南省重點實驗室，湘潭 411104)

校園輔助決策平臺中數(shù)據(jù)采集及同步方法研究*

張仕華，蔡 毅，劉志超，曹桂紅

(1.湖南工程學院 網絡信息中心，湘潭 411104；2.湖南工程學院 風力發(fā)電機組及控制湖南省重點實驗室，湘潭 411104)

分析了目前高校信息化發(fā)展需要的數(shù)據(jù)采集及數(shù)據(jù)同步需求，提出了根據(jù)高校數(shù)字校園的特點而設計的一種新穎的數(shù)據(jù)同步方法，該方法采用靈活的SQL語句設置數(shù)據(jù)來源，通過映射關系交換與同步數(shù)據(jù)，采用Quartz自動調度任務實現(xiàn)自動同步，并在實踐中證明了該方法的有效性和系統(tǒng)的可擴展性.解決了在輔助決策平臺中數(shù)據(jù)采集及同步的實際需求.

數(shù)字校園；數(shù)據(jù)同步；Quartz

0 引言

隨著信息化技術的發(fā)展，高校信息化建設異?？焖?21世紀初我國大多數(shù)高校的校園網已經建成，高校都在自行研發(fā)或采購信息化商業(yè)軟件應用系統(tǒng)，如高校教務管理系統(tǒng)、財務系統(tǒng)、學生管理系統(tǒng)、一卡通系統(tǒng)等，這些系統(tǒng)的應用在很大的程度提高了高校的信息化管理水平和工作效率，實現(xiàn)了校園的網上教學和管理，在有利的同時，也帶來了系統(tǒng)之間的管理問題.由于這些業(yè)務系統(tǒng)都是由學校各個職能部門在不同時期建設和完成的，他們的開發(fā)商、編程語言、數(shù)據(jù)庫等都沒有統(tǒng)一規(guī)劃，這就導致各個業(yè)務系統(tǒng)沒有統(tǒng)一的數(shù)據(jù)標準，系統(tǒng)之間沒有實現(xiàn)數(shù)據(jù)共享與同步，從而沒有形成一個有機的整體.

但隨著這些“信息孤島”系統(tǒng)的投入使用，信息共享問題便隨之而來，相同的信息在不同系統(tǒng)中需要重復采集與維護，不同系統(tǒng)之間信息不能共享，不同部門上報的信息不一致.因此，盡快建設統(tǒng)一標準的“數(shù)字化校園”是各高校面臨的一個迫切問題.

數(shù)字校園建設的一大難點就是如何在不同業(yè)務系統(tǒng)之間統(tǒng)一標準及在統(tǒng)一標準前提之下的數(shù)據(jù)共享及同步.目前一種公認做法就是實現(xiàn)所有數(shù)據(jù)的集中管理，即建立一個“中心數(shù)據(jù)庫”，雖然這是一種徹底的做法，但是面對大量分散的業(yè)務應用系統(tǒng)，這種方法實施難度和風險都很大，各個職能部門都持不同的觀點，目前國內外基本上沒有高校采用.

另一種做法就是建立公共數(shù)據(jù)的“共享數(shù)據(jù)庫”，實現(xiàn)相關公共數(shù)據(jù)和代碼的共享，此法對已有應用系統(tǒng)的改動降到最低，從而可以快速實施和部署.

綜上所述，本文以Quartz和Java技術為基礎，提出了一種在數(shù)字校園中進行數(shù)據(jù)采集和交換的實現(xiàn)方案，將多個應用系統(tǒng)的數(shù)據(jù)按照來源方式和用途分別進行歸類，應用系統(tǒng)的數(shù)據(jù)為來源的設置為數(shù)據(jù)提供者，其將提供權威數(shù)據(jù)存放于中心數(shù)據(jù)庫，其他要使用中心數(shù)據(jù)庫數(shù)據(jù)的業(yè)務系統(tǒng)，將其歸類為數(shù)據(jù)使用者，數(shù)據(jù)提供者和數(shù)據(jù)使用者通過中心數(shù)據(jù)庫進行數(shù)據(jù)交換，最后中心數(shù)據(jù)將保存一份所有應用系統(tǒng)數(shù)據(jù)的完整歸檔數(shù)據(jù)，此完整數(shù)據(jù)即可以用于各應用系統(tǒng)數(shù)據(jù)的完整映像，又可用于數(shù)據(jù)挖掘及決策分析使用.通過實際使用證明，該方案在數(shù)據(jù)交換的效率和數(shù)據(jù)傳輸?shù)陌踩缘确矫嬗休^大優(yōu)勢，并且該方案從根本上解決數(shù)字校園中業(yè)務系統(tǒng)間信息孤島的問題，讓各個業(yè)務系統(tǒng)的各種異構數(shù)據(jù)源能夠通過該方案實現(xiàn)業(yè)務系統(tǒng)數(shù)據(jù)的互聯(lián)互通，避免數(shù)據(jù)的重復輸入和重復處理，實現(xiàn)不同數(shù)據(jù)庫之間數(shù)據(jù)信息的采集與同步，并且形成了校園信息化的中心數(shù)據(jù)庫.

1 數(shù)據(jù)采集與同步方法設計

1.1 數(shù)據(jù)采集與同步系統(tǒng)體系結構

整個系統(tǒng)分為三個部分：首先是主數(shù)據(jù)庫服務器的數(shù)據(jù)源及數(shù)據(jù)庫驅動封裝，將主流的數(shù)據(jù)源，如Mysql，SQL SERVER，Oracle等數(shù)據(jù)源驅動全部打包并調試好連接，以便系統(tǒng)能處理各種異構的數(shù)據(jù)源；第二部分是設計數(shù)據(jù)采集，根據(jù)業(yè)務系統(tǒng)類型及需求，設計業(yè)務系統(tǒng)源數(shù)據(jù)錄入模塊及數(shù)據(jù)導入模塊，導入模塊有相應的模板，根據(jù)模板整理好業(yè)務系統(tǒng)數(shù)據(jù)，再導入到系統(tǒng)中；第三部分是數(shù)據(jù)交換部分，也是系統(tǒng)的核心模塊，根據(jù)數(shù)據(jù)的來源和用途，將數(shù)據(jù)源分別命名為數(shù)據(jù)提供者和數(shù)據(jù)使用者，在數(shù)據(jù)提供者中創(chuàng)建一個原始提供源，為保持使用的靈活性，所提供的數(shù)據(jù)來源于創(chuàng)建數(shù)據(jù)的SQL語句，這樣的設計，在使用的難度上有所增加，但在數(shù)據(jù)交換的靈活性方面，幾乎可以滿足用戶或系統(tǒng)的所有需求，數(shù)據(jù)提供者創(chuàng)建后，下一步是創(chuàng)建數(shù)據(jù)使用者，數(shù)據(jù)使用者創(chuàng)建過程中選擇相應的數(shù)據(jù)源及數(shù)據(jù)表，程序將自動列出所有表項供管理員選擇要交換的數(shù)據(jù)列，并且可設置一列或多列為主鍵，第三步是設置數(shù)據(jù)提供者與數(shù)據(jù)使用者之間的數(shù)據(jù)映射關系，創(chuàng)建數(shù)據(jù)映射，選擇數(shù)據(jù)提供者和數(shù)據(jù)使用者，設置表列的數(shù)據(jù)對應關系，數(shù)據(jù)提供者與數(shù)據(jù)使用者表列的關系可以是一對一關系，也可以是一對多的關系，可以設置僅插入的列，重復數(shù)據(jù)只更新，第四步是設置數(shù)據(jù)交換，程序設計中提供了兩種方式的實現(xiàn)，第一種是輔助數(shù)據(jù)交換，在輔助數(shù)據(jù)交換中，列出了所有的數(shù)據(jù)映射，選擇其中的一個點擊“數(shù)據(jù)交換”，此條映射的數(shù)據(jù)立即開始進行數(shù)據(jù)的交換與同步，第二種是自動數(shù)據(jù)交換，程序引入Quartz來實現(xiàn)數(shù)據(jù)映射的自動同步，數(shù)據(jù)同步的間隔可以按分鐘、小時、天、月等，完全可以按需實現(xiàn)數(shù)據(jù)的交換與同步，Quartz是一個完全由java編寫的開源作業(yè)調度框架，在Job接口實現(xiàn)類里面，添加一些用戶邏輯到execute()方法.配置好Job實現(xiàn)類并設定好調度時間表，Quartz將密切注意剩余時間.當調度程序確定是通知作業(yè)的時候，Quartz框架將調用Job實現(xiàn)類(作業(yè)類)上的execute()方法并允許做它該做的事情.無需報告任何東西給調度器或調用任何特定的系統(tǒng)調用.僅僅執(zhí)行任務和結束任務.如果配置作業(yè)在隨后再次被調用，Quartz框架將在計劃調度的時間再次調用它.

1.2 數(shù)據(jù)采集及交換模型

數(shù)字校園中各個業(yè)務系統(tǒng)之間的數(shù)據(jù)交換最方便的辦法是通過數(shù)據(jù)采集及交換系統(tǒng)來實現(xiàn)，數(shù)據(jù)交換系統(tǒng)為異構的數(shù)據(jù)庫、文件系統(tǒng)等數(shù)據(jù)源提供數(shù)據(jù)提取、轉換、傳輸和存儲等操作的數(shù)據(jù)服務.設計的本系統(tǒng)基于程序的SQL及Quartz任務調度，實現(xiàn)自動、方便、快捷地進行數(shù)據(jù)的交換與同步，完成基于數(shù)據(jù)的交換應用及集成.

數(shù)據(jù)采集系統(tǒng)主要用于業(yè)務部門目前還未使用網絡業(yè)務系統(tǒng)，其數(shù)據(jù)不能通過交換系統(tǒng)進行數(shù)據(jù)交換獲取，只能由設計的前端Form頁面收集用戶數(shù)據(jù)，存儲于中心數(shù)據(jù)庫，或者由專門的數(shù)據(jù)采集模板，由用戶按模板進行數(shù)據(jù)的收集，再由程序設計的專用數(shù)據(jù)導入模塊進行數(shù)據(jù)的導入來采集.

數(shù)據(jù)交換模型主要由數(shù)據(jù)源、數(shù)據(jù)提供者、數(shù)據(jù)使用者、數(shù)據(jù)映射、輔助數(shù)據(jù)交換和自動數(shù)據(jù)交換等組成.程序設計中包括數(shù)據(jù)源連接模塊、任務管理模塊、數(shù)據(jù)源管理模塊、任務處理模塊、調度管理模塊、日志管理模塊等部分組成.數(shù)據(jù)采集及交換系統(tǒng)中的任務處理支持數(shù)據(jù)提取、轉換、傳輸和加載過程的操作，通過任務定義的方式定義數(shù)據(jù)處理流程，完成在各種網絡條件下的數(shù)據(jù)提取和傳送操作.任務可以通過輔助數(shù)據(jù)交換手工執(zhí)行和自動數(shù)據(jù)交換自動執(zhí)行，特別是可以靈活定義自動執(zhí)行的條件，如確定時刻觸發(fā)、確定時間間隔觸發(fā)，實現(xiàn)數(shù)據(jù)的自動交換.用戶一旦定義了自動執(zhí)行的任務，就不再需要人工干預，系統(tǒng)會根據(jù)設定的條件自動地根據(jù)數(shù)據(jù)映射將數(shù)據(jù)從數(shù)據(jù)提供者交換到數(shù)據(jù)使用者，并進行自動加載.數(shù)據(jù)交換完成之后，日志管理模塊會自動將數(shù)據(jù)交換的結果存入數(shù)據(jù)庫表，包括數(shù)據(jù)交換的開始時間、結束時間、總記錄數(shù)據(jù)、完成的記錄數(shù)、交換的狀態(tài)，交換的狀態(tài)分為“成功”和“失敗”，如果為“失敗”，將包含一個導向包含失敗原因的超鏈接，點開可以查詢失敗的具體原因.

1.3 數(shù)據(jù)交換流程

1)設置數(shù)據(jù)源，配置連接的IP地址、端口、用戶名與密碼等，并點擊“測試”，如果成功則設置完成.

2)設置數(shù)據(jù)提供者，配置數(shù)據(jù)提供者的SQL查詢語句，設置表列及關鍵字等信息.

3)設置數(shù)據(jù)使用者，此為業(yè)務系統(tǒng)或中心數(shù)據(jù)庫要接受數(shù)據(jù)的表列的相關設置.

4)設置數(shù)據(jù)映射關系，也就是設置數(shù)據(jù)提供者與數(shù)據(jù)使用者表列的對應關系，對于重復列，可以設置為更新或覆蓋等操作.

5)自動數(shù)據(jù)交換設置，設置同步計劃，同步開始時間，結束時間，重復的頻率等.

其中的輔助數(shù)據(jù)交換為手動同步，點擊“數(shù)據(jù)交換”立即進行數(shù)據(jù)的交換與同步.

2 數(shù)據(jù)交換系統(tǒng)安全性分析

數(shù)據(jù)采集及交換系統(tǒng)在數(shù)據(jù)操作和傳輸過程中提供了完善的安全機制，系統(tǒng)提供用戶權限管理和身份認證功能，只有合法的并且有權限的用戶才能通過系統(tǒng)進行數(shù)據(jù)的采集及交換，并進行與其權限相應的操作.本系統(tǒng)必須保證數(shù)據(jù)的安全性，為了確保本系統(tǒng)重要數(shù)據(jù)的安全性，對重要數(shù)據(jù)的進行加密處理.目前主要有兩種數(shù)據(jù)加密技術，分別為 “非對稱式”和 “對稱式”兩種.非對稱式加密技術即加密和解密使用的是不同的密鑰，這兩個密鑰分別稱為 “公鑰”和 “私鑰”，它們兩個只有配對使用才能打開加密文件. “公鑰”是指可以對外公布的，而 “私鑰”則不能，只能由持有人知道，這就是它安全的優(yōu)越性.本系統(tǒng)采用“非對稱式”加密方法，對交換系統(tǒng)的數(shù)據(jù)進行加密傳輸，保證了系統(tǒng)的安全.

3 實驗與分析

為了測試數(shù)據(jù)采集及交換系統(tǒng)在校園網中對不同的業(yè)務系統(tǒng)進行數(shù)據(jù)的采集、同步及交換的準確性及效率，采用該系統(tǒng)對學生教務管理系統(tǒng)、中心數(shù)據(jù)庫系統(tǒng)、一卡通系統(tǒng)和財務管理系統(tǒng)的業(yè)務流程中所涉及的業(yè)務數(shù)據(jù)交換和同步進行驗證，其中以上4個系統(tǒng)的數(shù)據(jù)庫均采用JAVA數(shù)據(jù)適配器，不同的數(shù)據(jù)連接源及驅動來進行連接與交換.學生教務管理系統(tǒng)為Sql server 2005，中心數(shù)據(jù)庫系統(tǒng)為Oracle 12c，一卡通系統(tǒng)為Oracle 11 g、財務管理系統(tǒng)為Sql Server 2000.數(shù)據(jù)交換系統(tǒng)主數(shù)據(jù)庫服務器的配置為Vmware5.0虛擬機：4核心CPU2.0，RAM6G，操作系統(tǒng)Windows server 2008R2，數(shù)據(jù)庫為Oracle 12c.實驗提取了20000多條在校學生信息、專業(yè)、院系等進行數(shù)據(jù)交換與同步處理，自動同步設置每天同步一卡通消費信息，學生住宿信息、學生異動信息、同步財務繳費信息，平均同步時間為5-6秒/萬條記錄，數(shù)據(jù)采集系統(tǒng)可以采集學校院系及部門基本信息、專業(yè)班級及教職工個人信息，也可實現(xiàn)導入功能，實驗結果表明達到了設計的功能要求，響應時間也達到了預期設計的性能要求.

4 結束語

針對校園網中不同業(yè)務系統(tǒng)數(shù)據(jù)進行數(shù)據(jù)交換與同步及數(shù)據(jù)綜合分析的現(xiàn)實需求，提出了利用 程序設計方式及Quartz的任務調度功能，在校園網中的不同業(yè)務系統(tǒng)之間進行數(shù)據(jù)同步與交換，并主要通過Quartz進行數(shù)據(jù)自動交換的方案，這樣既屏蔽了數(shù)據(jù)庫的異構性問題，又解決了安全性的問題.同時該方案采用數(shù)據(jù)提供者和數(shù)據(jù)使用者進行數(shù)據(jù)的提供和使用，保證了數(shù)據(jù)來源的權威性及使用的靈活性.實驗結果表明新的數(shù)據(jù)采集與交換方案滿足了輔助決策平臺中數(shù)據(jù)的管理需求.

[1] Liu YL, Liu XM,Yang L. Analysis and Design of Heterogeneous Bioinformatics Database Integration System Based on Middleware[A]. Chengdu, China:IACSIT[C]. IEEE,2010:272-275.

[2] 丁 鋮，張新華．數(shù)字校園中數(shù)據(jù)同步方法的研究與實現(xiàn)[J]．計算機工程，2006，32(20)：270-272．

[3] Aji A, Wang F, Vo H, Lee R, Liu Q, Zhang X, Saltz J. Hadoop GIS: a High Performance Spatial Data Warehousing System Over Mapreduce, Proceedings of the VLDB Endowment, 2013, 6(11), 1009-1020.

[4] 張西山，連光耀．基于XML原生數(shù)據(jù)庫技術的維修保障信息存儲和交換研究[J]．計算機測量與控 制， 2011, 19(12):3099-3101.

[5] 任開銀，胡昊偉. 分布式數(shù)據(jù)交換平臺設計與實現(xiàn)[J]. 計算機與數(shù)字工程, 2013,40(11): 1850-1852.

Research on Data Collection and Synchronization in Campus
Auxiliary Decision-making Platform

ZHANG Shi-hua, CAI Yi, LIU Zhi-chao, CAO Gui-hong

(1. Network Information Center, Huan Institute of Engineering, Xiangtan 411104, China;2. Hunan Provincial Key Laboratory of Wind Generator and Its Control, Hunan Institure of Engineering, Xiangtan 411104, China)

This article analyzes the development requirements of the data collection and synchronization information technology needs. According to the characteristics of digital campus, a novel data synchronization method is proposed. The method adopts flexible SQL statements set the data source. Through the mapping relationship between exchanging and data synchronization, automatic scheduling of tasks are nealized to achieve automatic synchronization. Scalability of the system and effectiveness of the method are proved by using quartz in practice. The data and synchronization of the actual demand in the auxiliary decision-making platform are satisfied.

digital campus; data synchronization; quartz

2016-06-30

湖南省教育廳科研資助項目(15C0331).

張仕華(1976-)，男，碩士，工程師，研究方向：計算機科學及應用技術.

TP311.1

A

1671-119X(2016)04-0051-04