探討主數(shù)據(jù)管理平臺(tái)在信息化建設(shè)中的應(yīng)用

朱磊 張文 呂亮亮 楊東

【摘要】? ? 針對(duì)信息化建設(shè)業(yè)務(wù)系統(tǒng)相互獨(dú)立、缺乏集成數(shù)據(jù)計(jì)劃的問題，提出了主數(shù)據(jù)管理平臺(tái)方案。主數(shù)據(jù)管理的每個(gè)系統(tǒng)都可以促進(jìn)數(shù)據(jù)的分析與管理。這項(xiàng)研究對(duì)數(shù)據(jù)管理信息化具有實(shí)際意義。

【關(guān)鍵詞】? ? 主數(shù)據(jù)管理平臺(tái)? ? 信息化建設(shè)? ? 應(yīng)用

隨著企業(yè)業(yè)務(wù)的不斷擴(kuò)展和信息技術(shù)的不斷發(fā)展，從簡單到復(fù)雜的企業(yè)信息化系統(tǒng)正在逐漸緩慢構(gòu)建，關(guān)鍵業(yè)務(wù)數(shù)據(jù)在不同系統(tǒng)之間分布。系統(tǒng)主數(shù)據(jù)管理可以保證企業(yè)內(nèi)所有業(yè)務(wù)系統(tǒng)可以有一個(gè)統(tǒng)一的平臺(tái)訪問企業(yè)主數(shù)據(jù)，該平臺(tái)可以為信息交換提供完整而一致的數(shù)據(jù)，并為業(yè)務(wù)流程和決策系統(tǒng)提供信息和數(shù)據(jù)的有效訪問通道。

一、主數(shù)據(jù)的內(nèi)涵及作用

1.1主數(shù)據(jù)的內(nèi)涵

企業(yè)主數(shù)據(jù)用于描述重要的業(yè)務(wù)部門、業(yè)務(wù)對(duì)象及其主要功能及特點(diǎn)，該數(shù)據(jù)需要存在很長時(shí)間，并且頻繁被企業(yè)內(nèi)部各類信息系統(tǒng)訪問和使用。企業(yè)主數(shù)據(jù)并非企業(yè)內(nèi)部所有的業(yè)務(wù)數(shù)據(jù)，而是對(duì)通用性、一致性、可訪問行要求非常高的業(yè)務(wù)數(shù)據(jù)，以及各種應(yīng)用系統(tǒng)中重用的數(shù)據(jù)才被稱為主數(shù)據(jù)。例如，員工、組織架構(gòu)、庫存、供應(yīng)商、客戶、項(xiàng)目、合同等。 主數(shù)據(jù)是在業(yè)務(wù)體系結(jié)構(gòu)中的關(guān)鍵組成部分，主數(shù)據(jù)是企業(yè)的核心數(shù)據(jù)。企業(yè)信息化的發(fā)展，信息系統(tǒng)的使用涵蓋了企業(yè)的各個(gè)方面，但企業(yè)信息系統(tǒng)的飛速發(fā)展，創(chuàng)建各種信息系統(tǒng)的過程也是不斷創(chuàng)建各種企業(yè)數(shù)據(jù)的過程。這導(dǎo)致各種數(shù)據(jù)的大量積累，使得具有許多重要數(shù)據(jù)源的信息化建設(shè)遇到了困境：1.由于分布式管理和缺乏集成標(biāo)準(zhǔn)，因此，數(shù)據(jù)系統(tǒng)成為了信息孤島，這增加了系統(tǒng)集成的復(fù)雜性;2.由于缺少全局?jǐn)?shù)據(jù)的集成視圖和規(guī)范，數(shù)據(jù)集成難度增大，同時(shí)，也無法保證數(shù)據(jù)質(zhì)量，此外，數(shù)據(jù)的分析和應(yīng)用結(jié)果會(huì)直接影響決策過程和控制的有效性;3.缺乏集成的數(shù)據(jù)管理和控制平臺(tái)，不同的業(yè)務(wù)部門分布著大量數(shù)據(jù)，這使得集成和共享關(guān)鍵數(shù)據(jù)變得困難，并且難以體現(xiàn)數(shù)據(jù)資產(chǎn)的價(jià)值。 建設(shè)主數(shù)據(jù)管理平臺(tái)是一個(gè)解決上述問題的有效方法。

1.2主數(shù)據(jù)管理信息系統(tǒng)的作用

“管理”是主數(shù)據(jù)管理的本質(zhì)和重點(diǎn)。主數(shù)據(jù)管理使許多業(yè)務(wù)系統(tǒng)能夠?qū)崿F(xiàn)統(tǒng)一的治理與控制。主數(shù)據(jù)模型的創(chuàng)建提供了這種數(shù)據(jù)管理和控制的規(guī)范，主數(shù)據(jù)管理信息系統(tǒng)是功能強(qiáng)大的數(shù)據(jù)管理工具，數(shù)據(jù)交換技術(shù)用于交換和共享來自各種業(yè)務(wù)系統(tǒng)的數(shù)據(jù)。數(shù)據(jù)管理信息系統(tǒng)有效的提高了信息的傳輸和交換速度，及時(shí)提供了各種新數(shù)據(jù)和相關(guān)的信息流，并為業(yè)務(wù)決策提供了準(zhǔn)確可靠的基礎(chǔ)[1]。

二、主數(shù)據(jù)管理在企業(yè)信息化建設(shè)中存在的問題

作為企業(yè)數(shù)據(jù)管理的關(guān)鍵，主數(shù)據(jù)可以提供企業(yè)數(shù)據(jù)管理的統(tǒng)一平臺(tái)，以提供完整、可管理和準(zhǔn)確的解決方案方面發(fā)揮作用。這樣不僅可以提高企業(yè)整個(gè)數(shù)據(jù)鏈的質(zhì)量，并可以進(jìn)行各個(gè)部門的數(shù)據(jù)交換。但是，因?yàn)閿?shù)據(jù)量大、包含的數(shù)據(jù)類型也有所不同，并且由于缺乏統(tǒng)一的標(biāo)準(zhǔn)，信息化建設(shè)也存在許多問題。第一，生成數(shù)據(jù)忽略了應(yīng)用程序的復(fù)雜性，并且缺乏一致的編碼。因此，企業(yè)可以通過重復(fù)的編碼得到相同的數(shù)據(jù)，甚至，在同一扇區(qū)的不同鏈接上，同一個(gè)信息擁有不同的編碼，因此，無法實(shí)現(xiàn)所查看信息的準(zhǔn)確性。第二，主題劃分不夠清楚，并且主數(shù)據(jù)在每個(gè)部門都有不同的要求。除此之外，它的分類是比較復(fù)雜的，因?yàn)樗枰憫?yīng)多個(gè)管理部門，忽略了部門關(guān)鍵領(lǐng)域的數(shù)據(jù)，而管理和控制也是十分艱難和復(fù)雜的，這也使得責(zé)任部門無法進(jìn)行切實(shí)有效的管理。第三，數(shù)據(jù)信息的質(zhì)量不夠高效準(zhǔn)確。由于業(yè)務(wù)信息的存儲(chǔ)不完整，因此，許多數(shù)據(jù)和信息都存在不完整或者不一致的問題。缺乏準(zhǔn)確性和一致性的信息會(huì)嚴(yán)重影響數(shù)據(jù)的使用和分析，甚至得出錯(cuò)誤的結(jié)論。第四，由于所涉及的人員不是專家或不能完全理解企業(yè)數(shù)據(jù)的經(jīng)驗(yàn)，因此，他們的專業(yè)知識(shí)的水平不足，并且不能保證主數(shù)據(jù)精度。統(tǒng)計(jì)錯(cuò)誤不僅會(huì)給企業(yè)造成經(jīng)濟(jì)損失，而且還會(huì)導(dǎo)致影響企業(yè)發(fā)展未來方向的決策錯(cuò)誤。第五，缺乏協(xié)調(diào)一致的綜合管理和控制機(jī)制。由于企業(yè)沒有內(nèi)置的管理和監(jiān)視機(jī)制，因此無法保證數(shù)據(jù)質(zhì)量，這也增加了管理企業(yè)數(shù)據(jù)的成本[2]。

三、主數(shù)據(jù)管理平臺(tái)在信息化建設(shè)中的應(yīng)用

3.1主數(shù)據(jù)管理范疇和機(jī)制

對(duì)于大多數(shù)天然氣企業(yè)而言，在系統(tǒng)主數(shù)據(jù)管理主要有數(shù)據(jù)類別、數(shù)據(jù)模型、數(shù)據(jù)內(nèi)容、數(shù)據(jù)質(zhì)量等。還有五個(gè)主要系統(tǒng)管理機(jī)制：第一是地方天然氣企業(yè)的主數(shù)據(jù)管理系統(tǒng)，包含主數(shù)據(jù)結(jié)構(gòu)和每個(gè)企業(yè)的信息，并且主數(shù)據(jù)結(jié)構(gòu)和基本分類代碼由主數(shù)據(jù)管理系統(tǒng)定義;第二是內(nèi)容管理，具體因不同企業(yè)而異，將他們歸結(jié)在維護(hù)方的管理系統(tǒng)中;第三是主數(shù)據(jù)管理的操作方式是通過企業(yè)服務(wù)總線傳送有關(guān)每個(gè)部門的系統(tǒng)信息，并且每個(gè)企業(yè)的系統(tǒng)的所有基本編碼分類也都統(tǒng)一參與此通道，以此來實(shí)現(xiàn)高速有效的信息共享;第四是必須在主數(shù)據(jù)中進(jìn)行精細(xì)的業(yè)務(wù)驗(yàn)證和技術(shù)驗(yàn)證。默認(rèn)情況下，會(huì)使用主數(shù)據(jù)系統(tǒng)中定義的主數(shù)據(jù)結(jié)構(gòu)，主數(shù)據(jù)信息將應(yīng)用于企業(yè)服務(wù)總線周圍的主數(shù)據(jù)管理系統(tǒng)。

3.2主數(shù)據(jù)管理平臺(tái)定位

眾所周知，主數(shù)據(jù)管理平臺(tái)使用計(jì)算機(jī)技術(shù)和互聯(lián)網(wǎng)技術(shù)創(chuàng)建了一套全面的主數(shù)據(jù)規(guī)范、技術(shù)、解決方案，并提供了一個(gè)完整、準(zhǔn)確且功能強(qiáng)大的主數(shù)據(jù)，可以在每個(gè)部門的服務(wù)方面進(jìn)行集成，以及決策支持系統(tǒng)和業(yè)務(wù)流程中對(duì)于數(shù)據(jù)的使用。同時(shí)，集成、共享、數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理是四個(gè)主要因素。 主數(shù)據(jù)管理平臺(tái)充當(dāng)主數(shù)據(jù)與交易系統(tǒng)之間的橋梁，為各種系統(tǒng)和應(yīng)用程序提供主數(shù)據(jù)和規(guī)范，它的功能主要是以下幾點(diǎn)：1.為功能性業(yè)務(wù)應(yīng)用程序系統(tǒng)提出基本的數(shù)據(jù)標(biāo)準(zhǔn)：通過主數(shù)據(jù)管理系統(tǒng)和數(shù)據(jù)接口將主數(shù)據(jù)放在一個(gè)統(tǒng)一的規(guī)范中，以促進(jìn)應(yīng)用程序系統(tǒng)之間的數(shù)據(jù)交換和協(xié)作，以及數(shù)據(jù)集成和數(shù)據(jù)分析。2.為分析系統(tǒng)提供數(shù)據(jù)以確保數(shù)據(jù)的準(zhǔn)確性：根據(jù)標(biāo)準(zhǔn)和主數(shù)據(jù)的維度定義，它可以為數(shù)據(jù)分析應(yīng)用程序提供集成的統(tǒng)計(jì)分析模板，這不僅提高了數(shù)據(jù)統(tǒng)計(jì)的準(zhǔn)確性，并提高了應(yīng)用程序的有效性。

3.3主數(shù)據(jù)建設(shè)前進(jìn)行數(shù)據(jù)建模

數(shù)據(jù)建模是創(chuàng)建信息系統(tǒng)主數(shù)據(jù)之前必須做的事情，必須通過為每個(gè)系統(tǒng)和每個(gè)業(yè)務(wù)部門進(jìn)行主數(shù)據(jù)的集成與分析來定義企業(yè)每個(gè)業(yè)務(wù)領(lǐng)域的關(guān)鍵數(shù)據(jù)，并構(gòu)建一個(gè)穩(wěn)定高效的系統(tǒng)主數(shù)據(jù)模型。此模型旨在為系統(tǒng)主數(shù)據(jù)管理提供數(shù)據(jù)安全性。通過編譯該模型，它可以對(duì)代碼列表進(jìn)行系統(tǒng)地分類和評(píng)估，支持系統(tǒng)主數(shù)據(jù)管理的構(gòu)建，并提供數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)的理論基礎(chǔ)。通過建立貼合實(shí)際應(yīng)用的數(shù)據(jù)模型，可以有效促進(jìn)未來業(yè)務(wù)模型的數(shù)據(jù)模型的開發(fā)和使用。概念數(shù)據(jù)模型和邏輯模型的組合為將來構(gòu)建企業(yè)應(yīng)用程序系統(tǒng)和理解企業(yè)數(shù)據(jù)提供了堅(jiān)實(shí)的參考基礎(chǔ)[3]。

3.4主數(shù)據(jù)采集

對(duì)于企業(yè)的主數(shù)據(jù)管理內(nèi)容，主數(shù)據(jù)主要來自統(tǒng)建類主數(shù)據(jù)、自建類主數(shù)據(jù)、以及現(xiàn)有系統(tǒng)的某些應(yīng)用型主數(shù)據(jù)。因此，選擇平臺(tái)控制模式時(shí)，需要選用集中的主數(shù)據(jù)模式。在集中模式下，系統(tǒng)主數(shù)據(jù)管理的形成和更改均是統(tǒng)一的系統(tǒng)處理，并使用推（Push）/拉（Pull）模式與其他系統(tǒng)同步。常見的處理方法包括：1.統(tǒng)建類主數(shù)據(jù)通常通過單向推動(dòng)，將其升級(jí)為準(zhǔn)能系統(tǒng)，例如企業(yè)組織架構(gòu)、員工信息等;2.自建類主數(shù)據(jù)是將特定系統(tǒng)的自有數(shù)據(jù)導(dǎo)入系統(tǒng)主數(shù)據(jù)管理平臺(tái)，并由該系統(tǒng)自行維護(hù)，例如系統(tǒng)權(quán)限等;3.應(yīng)用型主數(shù)據(jù)指不同系統(tǒng)產(chǎn)生的應(yīng)用數(shù)據(jù)，而且這些數(shù)據(jù)可能會(huì)與其他系統(tǒng)有關(guān)聯(lián)，各系統(tǒng)按統(tǒng)一的數(shù)據(jù)規(guī)范提交至主數(shù)據(jù)管理平臺(tái)，同時(shí)可自由從主數(shù)據(jù)平臺(tái)獲取數(shù)據(jù)，例如不同系統(tǒng)獲取同一產(chǎn)品的庫存信息等。

3.5主數(shù)據(jù)查詢

主數(shù)據(jù)查詢服務(wù)旨在為企業(yè)內(nèi)所有業(yè)務(wù)系統(tǒng)中提供集成的主數(shù)據(jù)查詢。為了提供安全性和穩(wěn)定性而設(shè)計(jì)的主數(shù)據(jù)可使系統(tǒng)保持安全，主數(shù)據(jù)查詢服務(wù)不僅提供標(biāo)準(zhǔn)的查詢接口，還提供了統(tǒng)一的展示數(shù)據(jù)界面。除此之外，每個(gè)企業(yè)內(nèi)部系統(tǒng)都應(yīng)統(tǒng)一申請(qǐng)?jiān)L問主數(shù)據(jù)平臺(tái)的賬戶和密鑰，主數(shù)據(jù)平臺(tái)應(yīng)包含一套完整的生成和解析帶有效期的口令算法，以確保訪問安全。開發(fā)主數(shù)據(jù)查詢服務(wù)時(shí)，可以不需要直接向業(yè)務(wù)系統(tǒng)提供某些敏感數(shù)據(jù)（用戶密碼等），取而代之的是帶有效期的動(dòng)態(tài)口令，這樣即便業(yè)務(wù)系統(tǒng)捕獲了口令，但是過了有效期仍無法獲取數(shù)據(jù)，以避免由于敏感業(yè)務(wù)數(shù)據(jù)的傳播而造成的安全風(fēng)險(xiǎn)。

3.6主數(shù)據(jù)管理

主數(shù)據(jù)的管理包括數(shù)據(jù)標(biāo)準(zhǔn)管理，質(zhì)量管理等。1.主數(shù)據(jù)標(biāo)準(zhǔn)管理分為兩部分：主數(shù)據(jù)實(shí)體管理和參考實(shí)體管理。在創(chuàng)建標(biāo)準(zhǔn)時(shí)，我們主要遵循以下原則：1）唯一性：每個(gè)主數(shù)據(jù)代碼唯一地標(biāo)識(shí)對(duì)應(yīng)應(yīng)用程序系統(tǒng)中的唯一一條記錄。2）兼容性：根據(jù)業(yè)務(wù)需求，可以加速從舊代碼到新代碼的過渡，并減少從舊代碼到新代碼過渡所需的工作量和時(shí)間。3）可擴(kuò)展性：標(biāo)準(zhǔn)代碼的創(chuàng)建必須有足夠的可伸縮性，以實(shí)現(xiàn)未來的業(yè)務(wù)敏捷性。4）穩(wěn)定性：為了避免由于業(yè)務(wù)變更、組織變更和其他因素導(dǎo)致的代碼變更，需要在創(chuàng)建代碼標(biāo)準(zhǔn)時(shí)考慮如何穩(wěn)定的處理所有代碼。5）可識(shí)別性：編碼為業(yè)務(wù)提供了適當(dāng)?shù)臉I(yè)務(wù)定義，方便相關(guān)的業(yè)務(wù)人員對(duì)其進(jìn)行使用。2.主數(shù)據(jù)質(zhì)量控制主要包括主數(shù)據(jù)審核和主數(shù)據(jù)質(zhì)量報(bào)告等。

3.7數(shù)據(jù)一致性保證

主數(shù)據(jù)管理系統(tǒng)設(shè)計(jì)中最重要的是識(shí)別并消除重復(fù)的主數(shù)據(jù)。當(dāng)新的主數(shù)據(jù)進(jìn)入系統(tǒng)時(shí)，系統(tǒng)會(huì)自動(dòng)比較現(xiàn)有主數(shù)據(jù)，識(shí)別重復(fù)的主數(shù)據(jù)，并根據(jù)已建立的主數(shù)據(jù)自動(dòng)或手動(dòng)進(jìn)行確定和處理。例如，供應(yīng)商信息通常包括供應(yīng)商編號(hào)、供應(yīng)商名稱、企業(yè)稅號(hào)、企業(yè)銀行賬戶、地址、電話號(hào)碼、電子郵件地址等。數(shù)據(jù)編號(hào)采用系統(tǒng)自動(dòng)生成的UUID，這類編號(hào)既能保證數(shù)據(jù)的唯一性，又具備足夠的復(fù)雜度（區(qū)別于自增編號(hào)），另外所有主數(shù)據(jù)都應(yīng)包含一個(gè)唯一主鍵和一組或幾組復(fù)合主鍵，唯一主鍵可以構(gòu)建索引加快查詢，復(fù)合主鍵能協(xié)助判重，例如供應(yīng)商或客戶可能會(huì)有同名，但加上企業(yè)稅號(hào)或者身份證號(hào)就能區(qū)分，而在搜索過程中用戶能提供的模糊關(guān)鍵詞往往是供應(yīng)商或客戶名稱。

3.8系統(tǒng)監(jiān)控

提供一系列系統(tǒng)監(jiān)控信息，包括系統(tǒng)日志、系統(tǒng)性能檢測(cè)、系統(tǒng)監(jiān)控平臺(tái)、管理員管理平臺(tái)、系統(tǒng)接入申請(qǐng)和審批等等，這些是任何一個(gè)完整的平臺(tái)都不可缺少的組成部分，而且是系統(tǒng)穩(wěn)定運(yùn)行和管理的常規(guī)操作平臺(tái)。

3.9主數(shù)據(jù)管理系統(tǒng)架構(gòu)

主數(shù)據(jù)管理平臺(tái)的體系結(jié)構(gòu)主要由三部分組成：分布式數(shù)據(jù)存儲(chǔ)系統(tǒng)，流處理數(shù)據(jù)接口，主數(shù)據(jù)管理平臺(tái)。

大量數(shù)據(jù)保存必須用到分布式架構(gòu)，分布式系統(tǒng)為每個(gè)數(shù)據(jù)節(jié)點(diǎn)都提供多個(gè)拷貝，不僅能應(yīng)對(duì)軟件系統(tǒng)故障，同時(shí)能有效防止硬件故障帶來的數(shù)據(jù)丟失;流處理流程（例如Flink）本身也是分布式架構(gòu)，能很好的結(jié)合分布式存儲(chǔ)的主數(shù)據(jù)，提供穩(wěn)定而高效的數(shù)據(jù)接口;主數(shù)據(jù)管理平臺(tái)就是通過調(diào)用流處理數(shù)據(jù)接口而提供給用戶和系統(tǒng)管理員進(jìn)行系統(tǒng)操作的管理平臺(tái)，提供包括但不限于以上提到的數(shù)據(jù)查詢、系統(tǒng)接入申請(qǐng)和審批、系統(tǒng)監(jiān)控等功能。

四、結(jié)束語

綜上所述，隨著企業(yè)主數(shù)據(jù)平臺(tái)的應(yīng)用和繼續(xù)深化，數(shù)據(jù)的混亂狀態(tài)將逐漸得到有效的改善，并最終完成數(shù)據(jù)規(guī)范化建設(shè)。在天然氣行業(yè)中，主數(shù)據(jù)管理的使用旨在創(chuàng)建企業(yè)主數(shù)據(jù)平臺(tái)，集成企業(yè)各部門信息，提高信息安全性、一致性，從而指導(dǎo)企業(yè)做決策、促進(jìn)企業(yè)發(fā)展。

參? 考? 文? 獻(xiàn)

[1]劉立松.主數(shù)據(jù)管理平臺(tái)在信息化建設(shè)中的應(yīng)用[J].電腦編程技巧與維護(hù)，2020（01）：80-82+100.

[2]鐘志堅(jiān). 制造企業(yè)主數(shù)據(jù)管理平臺(tái)分析設(shè)計(jì)與實(shí)現(xiàn)[D].北京工業(yè)大學(xué)，2017.

[3]羅莉.主數(shù)據(jù)管理在信息化建設(shè)中的應(yīng)用[J].電子世界，2012（07）：105-109.