基于SSIS企業(yè)數(shù)據(jù)集成系統(tǒng)的技術(shù)實(shí)現(xiàn)

姜瀟 程軍芝 陳立媛 何雅昆 王汝剛

摘 要 論述了SSIS（SQL Server Integration Services）在企業(yè)信息系統(tǒng)集成中發(fā)揮的作用，通過(guò)公司數(shù)據(jù)共享平臺(tái)的建設(shè)，介紹了與SAP ERP系統(tǒng)、AD、文件系統(tǒng)異構(gòu)數(shù)據(jù)集成的技術(shù)實(shí)現(xiàn)，以及在數(shù)據(jù)質(zhì)量管理和數(shù)據(jù)應(yīng)用的方式和技術(shù)實(shí)現(xiàn)。

關(guān)鍵詞 SSIS；數(shù)據(jù)集成；數(shù)據(jù)質(zhì)量

中圖分類號(hào) G2 文獻(xiàn)標(biāo)識(shí)碼 A 文章編號(hào) 1674-6708（2018）209-0136-03

某工程建造行業(yè)公司采用了SAP公司的ERP解決方案、建立了基于微軟SharePoint的門戶系統(tǒng)，以及應(yīng)用了AVEVA PDMS等為代表的專業(yè)軟件系統(tǒng)。由于各信息系統(tǒng)之間數(shù)據(jù)的獨(dú)立性，在不斷發(fā)展過(guò)程中，信息孤島的現(xiàn)象逐漸體現(xiàn)，成為阻礙公司發(fā)展的一大障礙。為有效應(yīng)用現(xiàn)有信息系統(tǒng)數(shù)據(jù)，實(shí)現(xiàn)共享與信息深入挖掘，公司建立了數(shù)據(jù)共享平臺(tái)，用于解決數(shù)據(jù)在各系統(tǒng)間交互、多維分析統(tǒng)計(jì)等存在的困難，為未來(lái)系統(tǒng)間的進(jìn)一步集成與數(shù)據(jù)挖掘奠定基礎(chǔ)。

1 SSIS在信息系統(tǒng)集成中發(fā)揮的作用

基于公司現(xiàn)有的信息系統(tǒng)情況，針對(duì)各系統(tǒng)（或系統(tǒng)外）的數(shù)據(jù)應(yīng)用情況劃分了數(shù)據(jù)源、數(shù)據(jù)匯集和應(yīng)用3個(gè)層面，如圖1。數(shù)據(jù)源層包括了基礎(chǔ)的環(huán)境數(shù)據(jù)，如AD（Active Directory）數(shù)據(jù)信息，業(yè)務(wù)應(yīng)用系統(tǒng)數(shù)據(jù)，如SAP ERP系統(tǒng)數(shù)據(jù)，以及基于系統(tǒng)外文件、手工錄入等數(shù)據(jù)信息；數(shù)據(jù)匯集層按數(shù)據(jù)獲取、存儲(chǔ)和發(fā)布的流程對(duì)數(shù)據(jù)信息進(jìn)行處理，在此過(guò)程中實(shí)現(xiàn)數(shù)據(jù)的標(biāo)準(zhǔn)化、關(guān)聯(lián)性處理、質(zhì)量控制、匯集歸類等操作；應(yīng)用層則對(duì)數(shù)據(jù)共享平臺(tái)提供的數(shù)據(jù)進(jìn)行展示或再利用。

數(shù)據(jù)作為信息應(yīng)用的基礎(chǔ)，常存在“垃圾進(jìn)，垃圾出”的現(xiàn)象，而通過(guò)架構(gòu)中SSIS的應(yīng)用，對(duì)數(shù)據(jù)的入口進(jìn)行了統(tǒng)一管理，一方面將“垃圾”拒之門外，另一方面，將可回收利用的“垃圾”進(jìn)行再加工產(chǎn)生新的價(jià)值，有效地利用現(xiàn)有的系統(tǒng)數(shù)據(jù)資源，在一定程度上解決“垃圾進(jìn)，垃圾出”的問(wèn)題，最大限度地挖掘數(shù)據(jù)的潛在價(jià)值。

SSIS作為數(shù)據(jù)獲取環(huán)節(jié)的技術(shù)應(yīng)用，實(shí)現(xiàn)了數(shù)據(jù)共享平臺(tái)的入口數(shù)據(jù)管理，同時(shí)也是相關(guān)的信息系統(tǒng)應(yīng)用的數(shù)據(jù)入口。其應(yīng)用ETL技術(shù)來(lái)實(shí)現(xiàn)源端數(shù)據(jù)的抽取、轉(zhuǎn)換和加載。通過(guò)對(duì)源數(shù)據(jù)的篩選、轉(zhuǎn)換、清洗等處理，提升數(shù)據(jù)的完整性和準(zhǔn)確性，保障高質(zhì)量的數(shù)據(jù)進(jìn)入下一環(huán)節(jié)，提升系統(tǒng)應(yīng)用效果，其重要性影響到公司整個(gè)信息化的建設(shè)。

2 SSIS在數(shù)據(jù)集成中的技術(shù)實(shí)現(xiàn)

SSIS具有易用與靈活的特點(diǎn)，其提供的組件不僅可支持SQL Server系統(tǒng)，同時(shí)也支持如Excel、Oracle、SAP等方式的異構(gòu)數(shù)據(jù)獲取，通過(guò)自定義開(kāi)發(fā)可擴(kuò)展SSIS的組件，達(dá)到個(gè)性化數(shù)據(jù)訪問(wèn)連接的需求。

公司在應(yīng)用上使用了SQL Server 2014 Integration Services產(chǎn)品，實(shí)現(xiàn)了與SAP ERP系統(tǒng)、AD、文件系統(tǒng)、手工等數(shù)據(jù)的集成應(yīng)用。

2.1 SAP ERP數(shù)據(jù)集成應(yīng)用

SSIS與SAP ERP系統(tǒng)的數(shù)據(jù)集成可使用SSIS腳本組件連接SAP自定義RFC接口直接獲取，或者使用SSIS的SAP BI組件連接SAP BI間接獲取SAP ERP數(shù)據(jù)信息，或者使用SSIS對(duì)應(yīng)SAP PI端組件通過(guò)SAP PI連接SAP ERP系統(tǒng)進(jìn)行獲取等多種方式。前兩者受限于連接的方式存在大數(shù)據(jù)量數(shù)據(jù)效率低（RFC接口）、無(wú)法實(shí)現(xiàn)同步處理（SAP BI）等限制；SAP PI則是專門用于SAP與其它系統(tǒng)間數(shù)據(jù)集成的應(yīng)用產(chǎn)品，其設(shè)計(jì)難度相對(duì)復(fù)雜，但其應(yīng)用更為靈活、性能更易監(jiān)控與管理。集成的方式可結(jié)合實(shí)際及應(yīng)用的產(chǎn)品授權(quán)等情況進(jìn)行綜合判斷選擇。

在實(shí)現(xiàn)SAP ERP系統(tǒng)人員基本信息的同步應(yīng)用中，使用了SAP PI系統(tǒng)提供的Web Services方式進(jìn)行數(shù)據(jù)的獲取，可實(shí)現(xiàn)按需獲取人員基本信息的應(yīng)用需求。在SAP ERP端，通過(guò)開(kāi)發(fā)程序讀取系統(tǒng)PA0001表人員編號(hào)（PERNR）、人事范圍（WERKS）、人事子范圍（BTRTL）等信息，通過(guò)SAP PI系統(tǒng)配置并發(fā)布Web Services服務(wù)；在SSIS端，通過(guò)Web服務(wù)任務(wù)連接SAP PI發(fā)布的Web Services服務(wù)，并將處理結(jié)果轉(zhuǎn)交XML任務(wù)進(jìn)行無(wú)效數(shù)據(jù)的排除處理，最后交由數(shù)據(jù)流任務(wù)進(jìn)行ETL的處理后存入數(shù)據(jù)庫(kù)，如圖2。

2.2 AD數(shù)據(jù)集成應(yīng)用

AD中存儲(chǔ)了有關(guān)網(wǎng)絡(luò)對(duì)象的信息，如比較常用的域賬號(hào)信息。本身AD使用了結(jié)構(gòu)化的數(shù)據(jù)存儲(chǔ)方式，可通過(guò) ADSI（Active Directory Service Interface）進(jìn)行數(shù)據(jù)的訪問(wèn)。在數(shù)據(jù)共享平臺(tái)上，使用SSIS來(lái)實(shí)現(xiàn)數(shù)據(jù)信息的獲取，使得訪問(wèn)更易于管理，同時(shí)也兼具了性能和靈活性的考慮。

在實(shí)現(xiàn)AD賬號(hào)信息同步的應(yīng)用中，首先以O(shè)LE DB（OLE DB Provider for Microsoft Directory Services）的方式配置鏈接服務(wù)器信息，并按需創(chuàng)建數(shù)據(jù)信息訪問(wèn)的視圖，然后在SSIS中創(chuàng)建訪問(wèn)視圖的連接，通過(guò)腳本任務(wù)等方式獲取視圖中AD賬號(hào)的數(shù)據(jù)信息，其數(shù)據(jù)結(jié)果交由數(shù)據(jù)流程任務(wù)進(jìn)行處理，在數(shù)據(jù)流處理過(guò)程中，獲取的數(shù)據(jù)與SAP ERP中人員基本信息進(jìn)行了對(duì)比選擇、數(shù)據(jù)關(guān)聯(lián)與合并的處理，其中人員組織的信息以SAP ERP系統(tǒng)數(shù)據(jù)為準(zhǔn)、而網(wǎng)絡(luò)相關(guān)信息（如，email地址）則取自AD賬號(hào)數(shù)據(jù)，形成了更高質(zhì)量和完整的數(shù)據(jù)，最終存儲(chǔ)至數(shù)據(jù)庫(kù)。通過(guò)SSIS的方式讓AD數(shù)據(jù)的訪問(wèn)有更大的靈活性，可根據(jù)需要指定所需數(shù)據(jù)的讀取，以及對(duì)數(shù)據(jù)過(guò)濾，安全等細(xì)節(jié)加以控制。

實(shí)際應(yīng)用中，AD賬號(hào)的更新頻率并不高。處于性能的考慮，與AD數(shù)據(jù)集成的應(yīng)用被設(shè)置為SQL Server 代理中的作業(yè)項(xiàng)，每日2：00執(zhí)行一次作業(yè)，通過(guò)使用SQL Server 代理的日志和通知功能定時(shí)匯報(bào)（郵件方式）執(zhí)行情況。

2.3 文件型數(shù)據(jù)集成應(yīng)用

通常企業(yè)信息系統(tǒng)按規(guī)劃逐步實(shí)施，在未形成體系的過(guò)程中，大部分情況對(duì)于文件型數(shù)據(jù)集成需求仍然較多。對(duì)于文件型數(shù)據(jù)的集成應(yīng)用，在SSIS中有著豐富的支持，也可以通過(guò)類似ODBC的方式支持更多的文件類型。在實(shí)際的應(yīng)用中，全面的開(kāi)放各種類型并不是一個(gè)好主意，這會(huì)導(dǎo)致管理、設(shè)計(jì)實(shí)施和運(yùn)行維護(hù)成本的成倍增加。適當(dāng)進(jìn)行一個(gè)小的業(yè)務(wù)流程再造或是用戶習(xí)慣的改變，會(huì)帶來(lái)明顯收益。

在數(shù)據(jù)共享平臺(tái)上對(duì)文件型數(shù)據(jù)的集成應(yīng)用中，提供了XML和平面文件的支持，而對(duì)于常用的Excel文件，則在調(diào)用SSIS包之前進(jìn)行了程序化的處理，使其轉(zhuǎn)化為平面文件再行使用SSIS。

對(duì)于平臺(tái)文件的連接，可使用文件系統(tǒng)任務(wù)、FTP任務(wù)等多種方式靈活訪問(wèn)。在使用大容量插入任務(wù)時(shí)，使用平臺(tái)文件顯示出其優(yōu)勢(shì)，更高的處理性能可彌補(bǔ)像Web Services訪問(wèn)中對(duì)大數(shù)據(jù)量處理能力較弱的不足。

手工數(shù)據(jù)的處理上常常也會(huì)調(diào)用文件型數(shù)據(jù)用于批量的數(shù)據(jù)上載，為用戶提供一個(gè)界面，可使系統(tǒng)更為健壯，用戶體驗(yàn)更佳，也是對(duì)加強(qiáng)系統(tǒng)安全與提升數(shù)據(jù)質(zhì)量的有效手段。

在數(shù)據(jù)共享平臺(tái)實(shí)現(xiàn)了公司電話通訊信息的數(shù)據(jù)集成。通訊信息存儲(chǔ)于公司IP電話系統(tǒng)，通過(guò)每日導(dǎo)出電話相關(guān)信息（如通訊錄、通話記錄等）至文件系統(tǒng)（平面文件），SSIS端通過(guò)FTP任務(wù)獲取平面文件，再使用配有bulkadmin權(quán)限的賬戶調(diào)用大容量插入任務(wù)將數(shù)據(jù)存儲(chǔ)于數(shù)據(jù)庫(kù)Org（原始數(shù)據(jù)）架構(gòu)下，后續(xù)通過(guò)數(shù)據(jù)流程任務(wù)，將通訊錄信息與SAP ERP中獲取的人員基本信息、AD中獲取的網(wǎng)絡(luò)相關(guān)信息進(jìn)行關(guān)聯(lián)與合并，形成更為完整的數(shù)據(jù)信息最終存儲(chǔ)至Prd（生產(chǎn)數(shù)據(jù)）架構(gòu)下；而通話記錄等大數(shù)據(jù)量的數(shù)據(jù)信息配上基本分類的數(shù)據(jù)信息提供給BI系統(tǒng)用于數(shù)據(jù)的分析應(yīng)用。

3 數(shù)據(jù)質(zhì)量管理及技術(shù)應(yīng)用

數(shù)據(jù)共享平臺(tái)匯集各系統(tǒng)（或非系統(tǒng)）數(shù)據(jù)信息，對(duì)外提供標(biāo)準(zhǔn)的數(shù)據(jù)訪問(wèn)接口，對(duì)數(shù)據(jù)管理提供了統(tǒng)一、標(biāo)準(zhǔn)的管理模式。整個(gè)管理過(guò)程中，數(shù)據(jù)質(zhì)量的管理是最重要的目標(biāo)。談數(shù)據(jù)質(zhì)量的前提是數(shù)據(jù)有其應(yīng)用價(jià)值，應(yīng)用價(jià)值體現(xiàn)在應(yīng)用層對(duì)其數(shù)據(jù)需求的情況。只將有需求的數(shù)據(jù)納入數(shù)據(jù)共享平臺(tái)可降低應(yīng)用成本，否則過(guò)多的無(wú)用數(shù)據(jù)會(huì)消耗空間、性能和設(shè)計(jì)、維護(hù)的成本。

在基于應(yīng)用層的需求基礎(chǔ)上，數(shù)據(jù)匯集層更多的考慮數(shù)據(jù)的關(guān)聯(lián)性與復(fù)用，規(guī)避冗余情況的發(fā)生。數(shù)據(jù)共享平臺(tái)在設(shè)計(jì)上，基于數(shù)據(jù)標(biāo)準(zhǔn)化的基礎(chǔ)，進(jìn)行數(shù)據(jù)的組織與分類，對(duì)數(shù)據(jù)進(jìn)行了基本管理數(shù)據(jù)、業(yè)務(wù)應(yīng)用數(shù)據(jù)的劃分，并依據(jù)具體業(yè)務(wù)分類進(jìn)行了細(xì)化，在技術(shù)的劃分上，將數(shù)據(jù)歸屬到原始數(shù)據(jù)、過(guò)程數(shù)據(jù)和生產(chǎn)數(shù)據(jù)3個(gè)數(shù)據(jù)架構(gòu)內(nèi)。數(shù)據(jù)共享平臺(tái)在具體實(shí)現(xiàn)上，應(yīng)用DQS（Data Quality Services）實(shí)現(xiàn)數(shù)據(jù)的清洗工作，處理數(shù)據(jù)錯(cuò)誤，提升數(shù)據(jù)準(zhǔn)確性。

4 數(shù)據(jù)應(yīng)用的方式及技術(shù)實(shí)現(xiàn)

數(shù)據(jù)共享平臺(tái)利用SSIS有效將數(shù)據(jù)獲取，并存儲(chǔ)為高質(zhì)量的數(shù)據(jù)信息。經(jīng)過(guò)這樣的處理，數(shù)據(jù)更易于使用，發(fā)揮其深層的價(jià)值。應(yīng)用層的需求，決定了對(duì)數(shù)據(jù)的要求。在數(shù)據(jù)共享平臺(tái)整體的實(shí)現(xiàn)上，設(shè)計(jì)過(guò)程是從應(yīng)用到數(shù)據(jù)發(fā)布，再到數(shù)據(jù)存儲(chǔ)，再到數(shù)據(jù)獲取，最終追溯到數(shù)據(jù)源各系統(tǒng)或系統(tǒng)外數(shù)據(jù)，而實(shí)施/測(cè)試過(guò)程是與設(shè)計(jì)相反的流程，整個(gè)實(shí)現(xiàn)的過(guò)程應(yīng)用了軟件工程的V模型方式。

在數(shù)據(jù)應(yīng)用技術(shù)上，針對(duì)不同的應(yīng)用系統(tǒng)數(shù)據(jù)共享平臺(tái)提供了不同的數(shù)據(jù)應(yīng)用路徑，針對(duì)微軟兼容的系統(tǒng)（如Office系統(tǒng)等）可以直接使用數(shù)據(jù)庫(kù)SSRS（SQL Server Report Services）提供的二維數(shù)據(jù)信息，在應(yīng)用層面主要完成數(shù)據(jù)的展示；而針對(duì)異構(gòu)的系統(tǒng)/平臺(tái)，可以使用標(biāo)準(zhǔn)Web Services服務(wù)或兼容的XMLA等方式來(lái)傳輸數(shù)據(jù)，應(yīng)用層可對(duì)數(shù)據(jù)信息進(jìn)行更靈活的二次處理。

5 結(jié)論

基于SSIS的企業(yè)數(shù)據(jù)集成易設(shè)計(jì)、多功能、低成本、易部署，與眾多產(chǎn)品有更好的兼容性，成為企業(yè)輕量級(jí)數(shù)據(jù)質(zhì)量管理的有效工具，同時(shí)作為補(bǔ)充也可為大數(shù)據(jù)分析提供高質(zhì)量的數(shù)據(jù)輸入，結(jié)合DQS、SSRS、SSAR等產(chǎn)品可以實(shí)現(xiàn)靈活的設(shè)計(jì)，系統(tǒng)應(yīng)用的收益明鮮，是一種實(shí)用價(jià)值和應(yīng)用前景都很廣闊的技術(shù)手段。

參考文獻(xiàn)

[1]蘇鵬，李釗，王文，等.基于SSIS企業(yè)數(shù)據(jù)集成系統(tǒng)的技術(shù)實(shí)現(xiàn)[J].計(jì)算機(jī)應(yīng)用與軟件，2008，25（9）：179-180.

[2]彭亞發(fā).基于SSIS設(shè)計(jì)器的數(shù)據(jù)庫(kù)數(shù)據(jù)轉(zhuǎn)換的實(shí)現(xiàn)[J].電腦開(kāi)發(fā)與應(yīng)用，2013（5）：38-40.

[3]張永濤.基于SQL 2005 SSIS技術(shù)的分布式海量數(shù)據(jù)ETL系統(tǒng)[J].電信技術(shù)，2011，1（7）：33-37.

[4]王濤.基于SSIS的數(shù)據(jù)起源追蹤系統(tǒng)研究與實(shí)現(xiàn)[D].長(zhǎng)沙：國(guó)防科學(xué)技術(shù)大學(xué)，2010.