主數(shù)據(jù)管理及數(shù)據(jù)庫(kù)查詢優(yōu)化在企業(yè)發(fā)展中的應(yīng)用

【摘要】企業(yè)能否準(zhǔn)確、高效獲得數(shù)據(jù)背后真正的信息以及預(yù)測(cè)信息帶來(lái)的市場(chǎng)動(dòng)向，決定了企業(yè)未來(lái)的發(fā)展變化。主數(shù)據(jù)管理及數(shù)據(jù)庫(kù)查詢優(yōu)化在生產(chǎn)管控中的應(yīng)用能提高企業(yè)在生產(chǎn)環(huán)節(jié)中的信息獲取、分析效率，通過(guò)計(jì)算機(jī)輔助應(yīng)用幫助獲得數(shù)據(jù)背后的信息，讓企業(yè)抓住市場(chǎng)動(dòng)向，獲得先機(jī)，更有競(jìng)爭(zhēng)力，讓企業(yè)真正地被掌控在正確的方向上以獲得更好的發(fā)展。

【關(guān)鍵詞】數(shù)據(jù)管理；SQLServer；系統(tǒng)；生產(chǎn)；市場(chǎng)；信息化

一、加快推進(jìn)企業(yè)信息化，贏得競(jìng)爭(zhēng)優(yōu)勢(shì)

信息技術(shù)的迅猛發(fā)展，既為我國(guó)企業(yè)帶來(lái)發(fā)展的契機(jī)，又使我國(guó)企業(yè)面臨嚴(yán)峻的挑戰(zhàn)。未來(lái)社會(huì)是一個(gè)信息社會(huì)、網(wǎng)絡(luò)社會(huì)，誰(shuí)在這場(chǎng)信息革命中領(lǐng)先一步，誰(shuí)便能在未來(lái)的國(guó)際競(jìng)爭(zhēng)中占據(jù)優(yōu)勢(shì)。因?yàn)榻裉斓母?jìng)爭(zhēng)不再是規(guī)模經(jīng)濟(jì)的競(jìng)爭(zhēng)，而是速度經(jīng)濟(jì)的競(jìng)爭(zhēng)，只有實(shí)現(xiàn)企業(yè)信息化，才能快速響應(yīng)市場(chǎng)，贏得競(jìng)爭(zhēng)的主動(dòng)權(quán)。

在高度信息化競(jìng)爭(zhēng)市場(chǎng)的環(huán)境下，數(shù)據(jù)已經(jīng)成為了企業(yè)的核心資產(chǎn)。大數(shù)據(jù)主要表現(xiàn)為四個(gè)特征：海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉(zhuǎn)和動(dòng)態(tài)的數(shù)據(jù)體系、多樣的數(shù)據(jù)類型和巨大的數(shù)據(jù)價(jià)值。通過(guò)對(duì)大數(shù)據(jù)進(jìn)行處理和分析而發(fā)掘出來(lái)的價(jià)值，具有稀缺性和差異性，成為企業(yè)的一大競(jìng)爭(zhēng)優(yōu)勢(shì)。企業(yè)可以在產(chǎn)品研發(fā)、客戶關(guān)系管理、風(fēng)險(xiǎn)管理、供應(yīng)鏈管理、決策支持等各方面進(jìn)行挖掘分析，從而促進(jìn)企業(yè)業(yè)務(wù)創(chuàng)新、提升用戶體驗(yàn)、增強(qiáng)抗險(xiǎn)能力、改進(jìn)業(yè)務(wù)流程、提高決策效率。而數(shù)據(jù)治理正是大數(shù)據(jù)價(jià)值得以實(shí)現(xiàn)的必要途徑，大數(shù)據(jù)的核心價(jià)值體現(xiàn)不在于數(shù)據(jù)的數(shù)量大，而在于數(shù)據(jù)的質(zhì)量高。

一般數(shù)據(jù)的采集與使用面臨著兩大問(wèn)題：

（1）數(shù)據(jù)缺乏完整性和一致性，重復(fù)數(shù)據(jù)多。數(shù)據(jù)涵蓋企業(yè)經(jīng)營(yíng)管理的各個(gè)領(lǐng)域并不斷變化，但這些信息通常分散于各個(gè)業(yè)務(wù)系統(tǒng)進(jìn)行管理，每個(gè)獨(dú)立系統(tǒng)中只存儲(chǔ)信息的片段，系統(tǒng)間彼此隔離，且數(shù)據(jù)創(chuàng)建與維護(hù)的流程各不相同，導(dǎo)致數(shù)據(jù)不具備完整性和一致性，系統(tǒng)內(nèi)數(shù)據(jù)垃圾逐年增長(zhǎng)，嚴(yán)重影響數(shù)據(jù)統(tǒng)計(jì)分析的準(zhǔn)確率。正是由于構(gòu)建在各種架構(gòu)之上的孤立系統(tǒng)中的這種部門化數(shù)據(jù)，導(dǎo)致各級(jí)業(yè)務(wù)人員及管理者無(wú)法適時(shí)獲取企業(yè)級(jí)、全局性的統(tǒng)一業(yè)務(wù)視圖，企業(yè)管理缺乏規(guī)范協(xié)調(diào)，影響企業(yè)的整體健康發(fā)展。

（2）數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一，共享過(guò)程中不知以誰(shuí)為“主”。隨著企業(yè)發(fā)展，數(shù)據(jù)量會(huì)呈爆炸性增長(zhǎng)的態(tài)勢(shì)，但在信息系統(tǒng)建設(shè)過(guò)程中，多數(shù)信息分類標(biāo)準(zhǔn)化工作相對(duì)落后，難以有效的進(jìn)行系統(tǒng)間的信息交換、共享、統(tǒng)計(jì)和分析，無(wú)法形成決策依據(jù)。各部門對(duì)信息的描述、分類和后續(xù)使用等工作，完全按照本部門的需要和習(xí)慣來(lái)進(jìn)行，導(dǎo)致物料分類歸屬不清晰，業(yè)務(wù)數(shù)據(jù)不準(zhǔn)確，后續(xù)體外操作無(wú)法進(jìn)行，很難滿足企業(yè)現(xiàn)代化信息管理的要求。

以上問(wèn)題的存在最終導(dǎo)致企業(yè)數(shù)據(jù)管理混亂，各層級(jí)、各部門人員在業(yè)務(wù)執(zhí)行、管理和決策的過(guò)程中缺少有力的數(shù)據(jù)支撐，影響操作效率，降低企業(yè)的靈活性和創(chuàng)新速度。如：生產(chǎn)管理方面，企業(yè)在不能很好掌控產(chǎn)品細(xì)節(jié)管理，導(dǎo)致生產(chǎn)節(jié)奏與市場(chǎng)需求以及物流等環(huán)節(jié)不匹配，財(cái)務(wù)人員不能準(zhǔn)確測(cè)算分析各產(chǎn)品的利潤(rùn)水平；采購(gòu)管理方面，企業(yè)各部門不能合并數(shù)據(jù)制定統(tǒng)一的合格供應(yīng)商和產(chǎn)品清單，一方面，反復(fù)對(duì)供應(yīng)商選擇和優(yōu)化的支出成本居高不下，另一方面，無(wú)法實(shí)現(xiàn)集中采購(gòu)，失去了在與供應(yīng)商談判過(guò)程中的有利地位；決策管理方面，高層管理人員無(wú)法獲得企業(yè)經(jīng)營(yíng)管理的一致性信息，影響最終決策的準(zhǔn)確性、創(chuàng)新性、前瞻性。

二、主數(shù)據(jù)管理提升企業(yè)數(shù)據(jù)質(zhì)量

為解決上述現(xiàn)象，實(shí)現(xiàn)數(shù)據(jù)在整個(gè)企業(yè)范圍內(nèi)保持一致性、完整性和正確性，就需要進(jìn)行主數(shù)據(jù)管理（MDM——Master Data Management）。即：從企業(yè)的多個(gè)業(yè)務(wù)系統(tǒng)中整合最核心的、最需要共享的數(shù)據(jù)（主數(shù)據(jù)），集中進(jìn)行數(shù)據(jù)的清洗和豐富，并且以服務(wù)的方式把統(tǒng)一的、完整的、準(zhǔn)確的、具有權(quán)威性的主數(shù)據(jù)分發(fā)給全企業(yè)范圍內(nèi)需要使用這些數(shù)據(jù)的操作型應(yīng)用和分析型應(yīng)用，包括各個(gè)業(yè)務(wù)系統(tǒng)、業(yè)務(wù)流程和決策支持系統(tǒng)等。

企業(yè)主數(shù)據(jù)用來(lái)描述企業(yè)核心業(yè)務(wù)實(shí)體，是在整個(gè)企業(yè)范圍內(nèi)的各個(gè)操作型應(yīng)用系統(tǒng)（OLTP）和分析型應(yīng)用系統(tǒng)（OLAP）間需要共享的數(shù)據(jù)，也是企業(yè)內(nèi)部能夠跨業(yè)務(wù)、跨系統(tǒng)重復(fù)使用的高價(jià)值的數(shù)據(jù)。例如：物資、供應(yīng)商、客戶、財(cái)務(wù)、賬戶、員工、合作伙伴、組織單位等都是主數(shù)據(jù)。

主數(shù)據(jù)管理使得企業(yè)能夠集中化管理數(shù)據(jù)，在分散的系統(tǒng)間保證主數(shù)據(jù)的一致性，改進(jìn)數(shù)據(jù)合規(guī)性、快速部署新應(yīng)用、充分了解客戶、加速推出新產(chǎn)品的速度。主數(shù)據(jù)管理作為應(yīng)用流程的補(bǔ)充，通過(guò)從各個(gè)操作型應(yīng)用以及分析型應(yīng)用中分離出主要的信息，使其成為一個(gè)集中的、獨(dú)立于企業(yè)中各種應(yīng)用的核心資源，從而使得企業(yè)的核心信息得以重用并確保各個(gè)操作型應(yīng)用以及分析型應(yīng)用間的核心數(shù)據(jù)的一致性。通過(guò)主數(shù)據(jù)管理，強(qiáng)化了對(duì)企業(yè)各業(yè)務(wù)系統(tǒng)的共性數(shù)據(jù)實(shí)體的數(shù)據(jù)和模型管理，改變了原來(lái)系統(tǒng)數(shù)據(jù)、流程封閉的現(xiàn)狀，降低了應(yīng)用孤島、數(shù)據(jù)孤島出現(xiàn)的幾率，增強(qiáng)了各系統(tǒng)在企業(yè)層面的互動(dòng)，從而更好地優(yōu)化企業(yè)業(yè)務(wù)流程，提升企業(yè)運(yùn)轉(zhuǎn)效率。主數(shù)據(jù)管理可以降低接口成本、數(shù)據(jù)清洗和維護(hù)成本等。

三、主數(shù)據(jù)管理需要數(shù)據(jù)庫(kù)查詢優(yōu)化支持

數(shù)據(jù)庫(kù)設(shè)計(jì)是從系統(tǒng)的需求出發(fā)，結(jié)合軟硬件相關(guān)要求，設(shè)計(jì)合理能否符合系統(tǒng)需要功能的數(shù)據(jù)的集合，如何設(shè)計(jì)高效合理的查詢語(yǔ)句在主數(shù)據(jù)管理中就顯得非常重要。

下面重點(diǎn)說(shuō)明改善用戶查詢計(jì)劃的常用解決方案。

1.合理使用索引

索引是數(shù)據(jù)庫(kù)中重要的數(shù)據(jù)結(jié)構(gòu)，它的根本目的就是為了提高查詢效率?，F(xiàn)在大多數(shù)的數(shù)據(jù)庫(kù)產(chǎn)品都采用IBM最先提出的ISAM索引結(jié)構(gòu)。索引的使用要恰到好處，其使用原則如下：

●在經(jīng)常進(jìn)行連接，但是沒(méi)有指定為外鍵的列上建立索引，而不經(jīng)常連接的字段則由優(yōu)化器自動(dòng)生成索引。

●在頻繁進(jìn)行排序或分組的列上建立索引。

●在條件表達(dá)式中經(jīng)常用到的不同值較多的列上建立檢索，在不同值少的列上不要建立索引。比如在雇員表的“性別”列上只有“男”與“女”兩個(gè)不同值，因此就無(wú)必要建立索引。如果建立索引不但不會(huì)提高查詢效率，反而會(huì)嚴(yán)重降低更新速度。如果待排序的列有多個(gè)，可以在這些列上建立復(fù)合索引（compound index）。

2.避免或簡(jiǎn)化排序

應(yīng)當(dāng)簡(jiǎn)化或避免對(duì)大型表進(jìn)行重復(fù)的排序。當(dāng)能夠利用索引自動(dòng)以適當(dāng)?shù)拇涡虍a(chǎn)生輸出時(shí)，優(yōu)化器就避免了排序的步驟。

3.消除對(duì)大型表行數(shù)據(jù)的順序存取

在嵌套查詢中，對(duì)表的順序存取對(duì)查詢效率可能產(chǎn)生致命的影響。比如采用順序存取策略，一個(gè)嵌套3層的查詢，如果每層都查詢1000行，那么這個(gè)查詢就要查詢10億行數(shù)據(jù)。避免這種情況的主要方法就是對(duì)連接的列進(jìn)行索引。還可以使用并集來(lái)避免順序存取。

4.避免相關(guān)子查詢

一個(gè)列的標(biāo)簽同時(shí)在主查詢和where子句中的查詢中出現(xiàn)，那么很可能當(dāng)主查詢中的列值改變之后，子查詢必須重新查詢一次。查詢嵌套層次越多，效率越低，因此應(yīng)當(dāng)盡量避免子查詢。如果子查詢不可避免，那么要在子查詢中過(guò)濾掉盡可能多的行。

5.避免困難的正規(guī)表達(dá)式

LIKE關(guān)鍵字支持通配符匹配，技術(shù)上叫正規(guī)表達(dá)式。但這種匹配特別耗費(fèi)時(shí)間。例如：SELECT*FROM customer WHERE zipcode LIKE“98___”

即使在zipcode字段上建立了索引，在這種情況下也還是采用順序掃描的方式。如果把語(yǔ)句改為SELECT*FROM customer WHERE zipcode>“98000”，在執(zhí)行查詢時(shí)就會(huì)利用索引來(lái)查詢，顯然會(huì)大大提高速度。

6.使用臨時(shí)表加速查詢

把表的一個(gè)子集進(jìn)行排序并創(chuàng)建臨時(shí)表，有時(shí)能加速查詢。它有助于避免多重排序操作，而且在其他方面還能簡(jiǎn)化優(yōu)化器的工作。

7.盡量不要使用or

使用or會(huì)引起全表掃描，將大大降低查詢效率。

8.字段提取要按照“需多少、提多少”的原則

避免“select *”，盡量使用“select字段1，字段2，字段3........”。實(shí)踐證明：每少提取一個(gè)字段，數(shù)據(jù)的提取速度就會(huì)有相應(yīng)的提升。提升的速度還要看您舍棄的字段的大小來(lái)判斷

四、主數(shù)據(jù)管理結(jié)合數(shù)據(jù)庫(kù)查詢優(yōu)化的建議方案

主數(shù)據(jù)管理的工具不止有MDM，還有BW、SCM、CRM等等，而眾多工具的準(zhǔn)確高效使用，依賴于準(zhǔn)確、快速提取的主數(shù)據(jù)管理支持。一般企業(yè)都會(huì)面臨信息化改革，也就會(huì)帶來(lái)垃圾數(shù)據(jù)對(duì)信息化系統(tǒng)的沖擊。如果置之不理，終究系統(tǒng)會(huì)變成“每天超負(fù)荷運(yùn)轉(zhuǎn)的電子垃圾場(chǎng)”，數(shù)據(jù)清理和查詢優(yōu)化就顯得尤為重要。一般可以由以下幾個(gè)方面入手：

1.針對(duì)數(shù)據(jù)基本信息進(jìn)行進(jìn)行中整合清理，借助MDM等SAP周邊系統(tǒng)將主數(shù)據(jù)號(hào)段進(jìn)行規(guī)范限制，針對(duì)舊的字段、編碼進(jìn)行比對(duì)對(duì)照，發(fā)現(xiàn)重復(fù)項(xiàng)進(jìn)行映射管理，待業(yè)務(wù)處理完畢，將業(yè)務(wù)轉(zhuǎn)移至新的編碼物料中；

2.針對(duì)產(chǎn)品結(jié)構(gòu)數(shù)據(jù)，不要重復(fù)引用使用，要建立新的產(chǎn)品體系，即使是復(fù)制整體結(jié)構(gòu)。因?yàn)橹貜?fù)引用舊的產(chǎn)品結(jié)構(gòu)會(huì)導(dǎo)致多產(chǎn)品使用一個(gè)結(jié)構(gòu)，而只有細(xì)微的差別，但任何人都不敢去觸碰最原始的結(jié)構(gòu)，那么主數(shù)據(jù)的錯(cuò)誤也會(huì)一直保留并傳播到各個(gè)產(chǎn)品結(jié)構(gòu)中去，這比平時(shí)的單個(gè)物料數(shù)據(jù)錯(cuò)誤積累跟可怕。

3.在主數(shù)據(jù)管理優(yōu)化的基礎(chǔ)上，加大制度標(biāo)準(zhǔn)輔助力度，因?yàn)闆](méi)有數(shù)據(jù)標(biāo)準(zhǔn)支持，制度管控，很難達(dá)到數(shù)據(jù)提報(bào)的準(zhǔn)確性，即使是有類似MDM數(shù)據(jù)檢查體系存在，要在固化的申請(qǐng)管理流程中清理數(shù)據(jù)，保證了主數(shù)據(jù)的準(zhǔn)確和高效才能很好地去支持未來(lái)技術(shù)或管理方案的實(shí)施。

4.管控的核心還是人員素質(zhì)的管理，大部分的數(shù)據(jù)問(wèn)題都是由于崗位調(diào)整或者業(yè)務(wù)素質(zhì)不達(dá)標(biāo)引起的疏漏，例如，新申請(qǐng)物料并不去查詢系統(tǒng)中是否有可用的已申請(qǐng)物料存在，或者申請(qǐng)錯(cuò)誤物料后，不去進(jìn)行修改，而是直接重新申請(qǐng)同種新的物料等等，要給員工培養(yǎng)危機(jī)意識(shí)，數(shù)據(jù)管理就好比是銀行管理資金，如果存入不斷貶值或即將消亡的價(jià)值體，那么最終可以回饋的必然是零或更少，而好的數(shù)據(jù)就像是貴重金屬等價(jià)值體，得到的是更多的反饋。

企業(yè)信息化的發(fā)展不是一朝一夕的事情，需要全員的配合，以及素質(zhì)、制度、標(biāo)準(zhǔn)等支持，設(shè)計(jì)和構(gòu)建高質(zhì)量和用途廣泛的軟件工具來(lái)支持主數(shù)據(jù)管理是很有必要的。同時(shí)也需要領(lǐng)導(dǎo)層面的支持與關(guān)注，否則當(dāng)數(shù)據(jù)危機(jī)發(fā)生，可能會(huì)導(dǎo)致企業(yè)發(fā)展的倒退。

參考文獻(xiàn)

[1]尚春明，李浩.建設(shè)企業(yè)信息化發(fā)展對(duì)策[J].建筑經(jīng)濟(jì)，2002（01）.

[2]梁文斌.數(shù)據(jù)清洗技術(shù)的研究及其應(yīng)用[D].蘇州：蘇州大學(xué)計(jì)算機(jī)應(yīng)用技術(shù)，2005.

[3]周芝芬.基于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)清洗方法研究[D].上海：東華大學(xué)計(jì)算機(jī)應(yīng)用，2004.

[4]陳松.數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)質(zhì)量研究及數(shù)據(jù)清洗工具DataCleaner的設(shè)計(jì)[D]沈陽(yáng)：東北大學(xué)計(jì)算機(jī)應(yīng)用與技術(shù)，2003.