混合型數(shù)據(jù)管理引擎在金融信息服務(wù)系統(tǒng)中的應(yīng)用

摘 要： 金融信息服務(wù)系統(tǒng)中，需要處理的數(shù)據(jù)對(duì)象包括了結(jié)構(gòu)化和非結(jié)構(gòu)化的復(fù)雜混合數(shù)據(jù)。構(gòu)建一個(gè)滿足金融混合數(shù)據(jù)處理要求的統(tǒng)一的數(shù)據(jù)管理平臺(tái)，是成功實(shí)現(xiàn)一個(gè)可擴(kuò)展、高性能、高可靠的金融信息服務(wù)系統(tǒng)的基礎(chǔ)。文章介紹了混合型數(shù)據(jù)管理引擎的概念和方法，提出了一種基于混合型數(shù)據(jù)管理引擎構(gòu)建金融數(shù)據(jù)平臺(tái)的解決方案，可有效解決混合類型金融數(shù)據(jù)在數(shù)據(jù)集成、組合查詢檢索、數(shù)據(jù)挖掘等環(huán)節(jié)遇到的問(wèn)題，為客戶提供更有價(jià)值的、可個(gè)性化定制的金融信息服務(wù)。

關(guān)鍵詞： 金融信息服務(wù)系統(tǒng)； 混合型數(shù)據(jù)管理引擎； 數(shù)據(jù)集成； 個(gè)性化定制

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1006-8228（2015）11-36-04

Abstract： Data objects processed by a financial information service system contain structural data and unstructured data. Therefore， building a unified data management platform that meets the requirement of such comprehensive data， is the essential basement to build an expandable， high performance， high reliable financial information service system. The paper introduces the concept and method of hybrid data management engine， proposes a solution to build a financial data management platform based on hybrid data management engine， which is effective to solve the problem in acquiring， integrating， analyzing and utilizing the mix-type financial data， and to provide more valuable and customizable financial information service to the clients.

Key words： financial information service system； hybrid data management engine； data integration； personalized customization

0 引言

金融信息服務(wù)系統(tǒng)是集實(shí)時(shí)資訊、行情報(bào)價(jià)、歷史數(shù)據(jù)、研究工具和分析模型于一體的系統(tǒng)。金融信息服務(wù)系統(tǒng)需要處理各類型的金融數(shù)據(jù)，從數(shù)據(jù)結(jié)構(gòu)的角度，可分為宏觀經(jīng)濟(jì)數(shù)據(jù)、行業(yè)統(tǒng)計(jì)數(shù)據(jù)、上市公司數(shù)據(jù)、海關(guān)數(shù)據(jù)等結(jié)構(gòu)化數(shù)據(jù)，以及實(shí)時(shí)資訊、分析報(bào)告等非結(jié)構(gòu)化數(shù)據(jù)；從數(shù)據(jù)更新頻度的角度，可分為低頻數(shù)據(jù)，以及高頻數(shù)據(jù)如實(shí)時(shí)行情報(bào)價(jià)、交易數(shù)據(jù)等。顯然，金融信息服務(wù)系統(tǒng)是一個(gè)典型的混合數(shù)據(jù)類型的應(yīng)用系統(tǒng)。

面對(duì)種類多樣、結(jié)構(gòu)復(fù)雜的金融數(shù)據(jù)，如何有效地獲取、整合、存儲(chǔ)、分析和挖掘利用，如何構(gòu)建一個(gè)滿足金融數(shù)據(jù)處理需求的統(tǒng)一的數(shù)據(jù)管理與檢索平臺(tái)，是成功實(shí)現(xiàn)一個(gè)可擴(kuò)展、高性能、高可靠、可定制的金融信息服務(wù)系統(tǒng)的基礎(chǔ)。如何打通不同結(jié)構(gòu)類型之間數(shù)據(jù)的鴻溝，有效地理解和挖掘蘊(yùn)含在金融資訊中的價(jià)值，發(fā)現(xiàn)結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)之間的內(nèi)在聯(lián)系，從而為用戶提供有價(jià)值且及時(shí)的增值服務(wù)，是金融信息服務(wù)系統(tǒng)要努力達(dá)到的目標(biāo)[1]。

1 金融信息服務(wù)系統(tǒng)對(duì)數(shù)據(jù)管理平臺(tái)的要求

金融數(shù)據(jù)管理平臺(tái)要處理的數(shù)據(jù)對(duì)象是結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)并存的混合類型數(shù)據(jù)，其具有以下特點(diǎn)。

⑴ 海量性：數(shù)據(jù)數(shù)量多、容量大，需要高性能的存儲(chǔ)、查詢檢索和分布式存儲(chǔ)和管理技術(shù)。

⑵ 多樣性：信息來(lái)源不同、格式不同、載體不同、處理方式不同。

⑶ 復(fù)雜性：金融數(shù)據(jù)在采集、過(guò)濾、存儲(chǔ)、檢索、提取、挖掘、分析等方面，具有更高的復(fù)雜性。

⑷ 個(gè)性化：在金融信息應(yīng)用中，對(duì)信息個(gè)性化增值服務(wù)方面存在廣泛需求。

⑸ 實(shí)時(shí)性：金融數(shù)據(jù)關(guān)系到交易決策，從數(shù)據(jù)產(chǎn)生到推送至用戶終端，延遲越低越好。

金融數(shù)據(jù)具有來(lái)源繁多、種類復(fù)雜多樣、體量大、實(shí)時(shí)性強(qiáng)的特點(diǎn)，金融信息服務(wù)系統(tǒng)對(duì)金融數(shù)據(jù)的利用需求又涵蓋實(shí)時(shí)查詢、聯(lián)機(jī)事務(wù)處理、批量分析處理等多個(gè)方面，如何統(tǒng)一存儲(chǔ)和管理這些海量異構(gòu)的金融數(shù)據(jù)，實(shí)現(xiàn)集中管理與共享，是建立金融信息服務(wù)系統(tǒng)的重點(diǎn)。

歸納上述需求特點(diǎn)，我們需要這樣一個(gè)金融數(shù)據(jù)管理引擎，其能夠統(tǒng)一管理結(jié)構(gòu)化和非結(jié)構(gòu)化混合的數(shù)據(jù)類型，既具有高可靠性、一致性的在線事務(wù)處理能力，也能滿足批量分析處理的要求；既能高效實(shí)現(xiàn)結(jié)構(gòu)化數(shù)據(jù)的查詢、統(tǒng)計(jì)，也提供高性能和功能豐富的文本檢索，并支持跨數(shù)據(jù)和文本的智能挖掘功能[2]。

最后，我們希望在此統(tǒng)一數(shù)據(jù)引擎上可以獲得更高的開(kāi)發(fā)效率，具有一致的開(kāi)發(fā)語(yǔ)言和接口。同時(shí)我們也關(guān)注并發(fā)控制、災(zāi)難恢復(fù)等需求。

2 混合數(shù)據(jù)管理技術(shù)

混合數(shù)據(jù)管理技術(shù)是將傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)技術(shù)與智能信息檢索、數(shù)據(jù)挖掘等技術(shù)相結(jié)合，在內(nèi)核級(jí)實(shí)現(xiàn)結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)統(tǒng)一管理的一種新型的數(shù)據(jù)管理技術(shù)[3]。

傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)主要面向事務(wù)處理和數(shù)據(jù)分析應(yīng)用領(lǐng)域，擅長(zhǎng)解決結(jié)構(gòu)化數(shù)據(jù)管理問(wèn)題。而全文信息檢索系統(tǒng)是八十年代發(fā)展起來(lái)，面向文檔類型的數(shù)據(jù)管理系統(tǒng)。其核心是結(jié)合智能信息處理技術(shù)，采用專門的倒排結(jié)構(gòu)對(duì)海量文本信息建立索引，以實(shí)現(xiàn)海量文本數(shù)據(jù)的高速檢索。但是，全文數(shù)據(jù)庫(kù)不支持?jǐn)?shù)據(jù)管理和查詢語(yǔ)言的標(biāo)準(zhǔn)，事務(wù)處理能力差。

混合數(shù)據(jù)管理技術(shù)，既利用了關(guān)系數(shù)據(jù)模型在抽象和數(shù)據(jù)類型簡(jiǎn)單上的優(yōu)勢(shì)，以實(shí)現(xiàn)數(shù)據(jù)間的關(guān)系運(yùn)算并確保數(shù)據(jù)一致性、容錯(cuò)性；同時(shí)利用了全文檢索對(duì)海量文本數(shù)據(jù)的高速檢索和信息處理技術(shù)，在系統(tǒng)內(nèi)核把關(guān)系數(shù)據(jù)庫(kù)、全文檢索統(tǒng)一起來(lái)。因此其同時(shí)擁有兩類系統(tǒng)原有的長(zhǎng)處與好處[4]。

混合數(shù)據(jù)管理技術(shù)具有以下五個(gè)特點(diǎn)和優(yōu)勢(shì)。

⑴ 數(shù)據(jù)管理特性

具有傳統(tǒng)數(shù)據(jù)庫(kù)管理系統(tǒng)中基本的被實(shí)踐證明是非常有效的數(shù)據(jù)管理特性。這些特性包括：CRUD操作，支持事務(wù)處理的ACID特性（原子性、并發(fā)性、隔離性和一致性）、數(shù)據(jù)庫(kù)寫日志（WAL）、容錯(cuò)恢復(fù)等。

⑵ 混合的數(shù)據(jù)查詢語(yǔ)言

在SQL/MM的標(biāo)準(zhǔn)（《ISO/IEC 13249-2信息技術(shù) 數(shù)據(jù)庫(kù)語(yǔ)言SQL多媒體和應(yīng)用包 第2部分：全文》[6]）的數(shù)據(jù)接口基礎(chǔ)上進(jìn)行適當(dāng)?shù)臄U(kuò)展，形成同時(shí)支持SQL規(guī)范和面向信息檢索、多媒體查詢的混合查詢語(yǔ)言，且可互操作。使得大量的應(yīng)用程序開(kāi)發(fā)人員可用SQL工具上進(jìn)行混合數(shù)據(jù)應(yīng)用項(xiàng)目的開(kāi)發(fā)，降低開(kāi)發(fā)成本。

⑶ 查詢優(yōu)化

針對(duì)混合查詢語(yǔ)言，擁有混合查詢優(yōu)化的能力。系統(tǒng)能通過(guò)數(shù)據(jù)的類型、索引方式，負(fù)載情況自動(dòng)選擇較優(yōu)的索引和查詢計(jì)劃，實(shí)現(xiàn)查詢優(yōu)化，獲得好的查詢性能。

⑷ 靈活的結(jié)果排序

對(duì)于高質(zhì)量查詢結(jié)果輸出必須是靈活、可定制的加權(quán)（評(píng)分）和排序機(jī)制。最常用的有按相關(guān)度或時(shí)間序輸出。

⑸ 智能處理

內(nèi)置自然語(yǔ)言文本智能分析組件、多媒體智能處理組件和數(shù)據(jù)挖掘組件，組成文本多媒體智能處理套件。具有內(nèi)容自動(dòng)分詞、要素提取、自動(dòng)去重、自動(dòng)摘要、自動(dòng)分類、自動(dòng)聚類、傾向性分析、多媒體數(shù)據(jù)文本抽取、特征標(biāo)引、數(shù)據(jù)挖掘、多維分析等功能。

混合數(shù)據(jù)管理引擎是滿足上述五項(xiàng)要求的，在數(shù)據(jù)管理系統(tǒng)的基礎(chǔ)層提供統(tǒng)一的數(shù)據(jù)處理內(nèi)核，在存儲(chǔ)方法上支持Hash索引、B+索引、層次索引、高維索引和倒排索引。同時(shí)具有完整的事務(wù)處理、并發(fā)控制和數(shù)據(jù)恢復(fù)功能，以及包括混合查詢和關(guān)聯(lián)查詢的執(zhí)行器和優(yōu)化器。如圖1所示。

3 基于混合數(shù)據(jù)管理引擎的金融信息服務(wù)平臺(tái)

以混合數(shù)據(jù)引擎為基礎(chǔ)，將各類型金融結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)等都集成到基于混合數(shù)據(jù)引擎的數(shù)據(jù)庫(kù)中，進(jìn)行統(tǒng)一存儲(chǔ)管理。如圖2所示。由于采用同一個(gè)數(shù)據(jù)引擎內(nèi)核，可方便地實(shí)現(xiàn)數(shù)據(jù)集成、組合查詢、和挖掘利用。

3.1 金融數(shù)據(jù)集成加工系統(tǒng)

結(jié)構(gòu)化數(shù)據(jù)主要包括各類行情數(shù)據(jù)、宏觀經(jīng)濟(jì)數(shù)據(jù)、行業(yè)數(shù)據(jù)以及上市公司數(shù)據(jù)等，非結(jié)構(gòu)化數(shù)據(jù)主要包括新聞資訊、研究報(bào)告和音視頻等[5]。此類數(shù)據(jù)特點(diǎn)是：來(lái)源不一，格式復(fù)雜多樣。因此需要開(kāi)發(fā)一套數(shù)據(jù)集成加工系統(tǒng)對(duì)多種數(shù)據(jù)進(jìn)行采集、校驗(yàn)和入庫(kù)?；旌蠑?shù)據(jù)引擎本身支持多種數(shù)據(jù)類型及組合數(shù)據(jù)類型的定義，同時(shí)提供了對(duì)不同類型數(shù)據(jù)進(jìn)行預(yù)處理的工具包，因此在數(shù)據(jù)集成工具的設(shè)計(jì)上，可充分利用這一優(yōu)勢(shì)，簡(jiǎn)化并加快數(shù)據(jù)集成系統(tǒng)的實(shí)現(xiàn)過(guò)程。

3.2 金融數(shù)據(jù)的存儲(chǔ)、索引和查詢

結(jié)構(gòu)化數(shù)據(jù)在混合數(shù)據(jù)引擎中的存儲(chǔ)，與傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)的組織方式一致。關(guān)系表中的數(shù)據(jù)，以b-tree索引的方式進(jìn)行訪問(wèn)。

而新聞資訊、研究報(bào)告、多媒體音視頻等非結(jié)構(gòu)化數(shù)據(jù)，則按平臺(tái)規(guī)劃的統(tǒng)一的元數(shù)據(jù)標(biāo)準(zhǔn)，以類xml數(shù)據(jù)模型的方式進(jìn)行組織和存儲(chǔ)。多媒體數(shù)據(jù)在集成平臺(tái)中就進(jìn)行了預(yù)處理，利用人工標(biāo)注和自動(dòng)標(biāo)注相結(jié)合的方式，加上了特征標(biāo)引和內(nèi)容文本。最后，對(duì)于需要查詢分析的元數(shù)據(jù)屬性和大文本內(nèi)容，統(tǒng)一建立混合型倒排索引。

混合數(shù)據(jù)引擎在內(nèi)核級(jí)支持跨表的結(jié)構(gòu)化B-tree索引和倒排索引的組合求交運(yùn)算，因而，我們可以實(shí)現(xiàn)復(fù)雜的跨關(guān)系數(shù)據(jù)、文本數(shù)據(jù)以及多媒體數(shù)據(jù)的組合查詢和檢索。

混合數(shù)據(jù)引擎支持?jǐn)?shù)據(jù)庫(kù)事務(wù)，這確保了金融數(shù)據(jù)在更新時(shí)的高可靠性、一致性和并發(fā)性。譬如，一條新聞稿件可能會(huì)關(guān)聯(lián)到多個(gè)數(shù)據(jù)對(duì)象，如文本、圖像、視頻和相關(guān)的宏觀經(jīng)濟(jì)數(shù)據(jù)記錄，事務(wù)機(jī)制可保證這些數(shù)據(jù)對(duì)象以及附加的各類索引在更新時(shí)保持一致性、完整性，并在統(tǒng)一語(yǔ)言接口的層面為應(yīng)用服務(wù)的開(kāi)發(fā)提供了可靠保障和便捷性。

3.3 金融數(shù)據(jù)的分析和挖掘

當(dāng)金融數(shù)據(jù)平臺(tái)中積累了大量的不同類型數(shù)據(jù)，為了提供高質(zhì)量的金融信息服務(wù)，我們需要對(duì)這些數(shù)據(jù)進(jìn)行進(jìn)一步的分析、挖掘和利用?；旌蠑?shù)據(jù)管理引擎內(nèi)置了一系列的文本智能分析組件，如分詞、自動(dòng)分類、自動(dòng)聚類、內(nèi)容去重、自動(dòng)摘要等，這些工具可以對(duì)金融類資訊進(jìn)行深層次加工和挖掘。同時(shí)，由于結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)在同一個(gè)數(shù)據(jù)內(nèi)核中，利用引擎提供的高維索引、層次索引、B樹(shù)索引和倒排索引，就能較容易地實(shí)現(xiàn)跨類型跨媒體數(shù)據(jù)的關(guān)聯(lián)、分析和挖掘。

3.4 統(tǒng)一接口的應(yīng)用服務(wù)層

應(yīng)用服務(wù)層是金融信息混合數(shù)據(jù)平臺(tái)對(duì)外提供靈活服務(wù)和發(fā)布統(tǒng)一數(shù)據(jù)的部分。金融終端的數(shù)據(jù)服務(wù)種類繁多，要求并發(fā)性能高，延遲低。因此，需要在應(yīng)用服務(wù)系統(tǒng)設(shè)計(jì)統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)和接口規(guī)范，合理規(guī)劃，使得多個(gè)模塊之間能協(xié)調(diào)高效地運(yùn)作，為客戶端提供高質(zhì)量的金融信息服務(wù)。

⑴ 數(shù)據(jù)訪問(wèn)接口層

通過(guò)消息中間件、高速緩沖技術(shù)和專線網(wǎng)絡(luò)解決方案來(lái)實(shí)現(xiàn)終端平臺(tái)與系統(tǒng)內(nèi)部的高效、可靠的數(shù)據(jù)推送和分發(fā)。采用Restful Web API提供輕量級(jí)并高效的應(yīng)用服務(wù)。

⑵ 負(fù)載均衡

將大量的并發(fā)訪問(wèn)或數(shù)據(jù)流量分擔(dān)到多臺(tái)節(jié)點(diǎn)設(shè)備上分別處理，減少用戶等待時(shí)間，利用動(dòng)態(tài)的分布式負(fù)載提高整體性能和吞吐量。

⑶ 安全管理

提供應(yīng)用層對(duì)用戶權(quán)限的管理，實(shí)時(shí)監(jiān)控用戶的接入；分離應(yīng)用程序和數(shù)據(jù)庫(kù)服務(wù)，保證數(shù)據(jù)獨(dú)立于應(yīng)用程序，提供安全的隔離。

3.5 可個(gè)性化定制的終端顯示框架

終端界面作為用戶與系統(tǒng)平臺(tái)的交互媒介，是用戶評(píng)論系統(tǒng)平臺(tái)好壞的重要指標(biāo)之一。個(gè)性化界面針對(duì)金融信息服務(wù)業(yè)用戶需要的多樣性，改變終端界面的交互內(nèi)容及表現(xiàn)形式，以滿足用戶的個(gè)性化需求，在提高用戶滿意度的同時(shí)增強(qiáng)系統(tǒng)平臺(tái)的通用性。

將終端界面從應(yīng)用程序頂級(jí)開(kāi)始，逐層進(jìn)行對(duì)象化設(shè)計(jì)。功能界面劃分為框架、對(duì)象、工具條、浮動(dòng)按鈕等多個(gè)層次。各個(gè)功能模塊加以細(xì)分為資訊、行情、交易、用戶管理等，每個(gè)功能模塊設(shè)計(jì)成一個(gè)個(gè)的獨(dú)立組件，每一個(gè)組件完成一個(gè)特定的功能。設(shè)計(jì)組件之間交互接口，通過(guò)協(xié)議和API接口組合成一個(gè)完整的系統(tǒng)。該方案增加了系統(tǒng)的靈活性，有利于針對(duì)不同用戶組進(jìn)行功能的裁減、重組和擴(kuò)充。

對(duì)用戶角色進(jìn)行定義和分類，用戶可選擇自己的角色，即可訪問(wèn)系統(tǒng)為這類角色預(yù)先設(shè)置好的一組新聞、行情鏈接，實(shí)現(xiàn)系統(tǒng)終端的個(gè)性化服務(wù)。

金融信息服務(wù)系統(tǒng)提供PC終端、Web終端、移動(dòng)終端等多種形式。

4 結(jié)束語(yǔ)

本文提出基于混合數(shù)據(jù)引擎構(gòu)建金融信息服務(wù)系統(tǒng)的解決方案，從數(shù)據(jù)管理的基礎(chǔ)引擎著手，解決了金融信息服務(wù)系統(tǒng)在處理復(fù)雜混合結(jié)構(gòu)數(shù)據(jù)時(shí)，在數(shù)據(jù)集成、組合查詢檢索、跨類型跨媒體的數(shù)據(jù)挖掘方面遇到的困難，使得由此構(gòu)建的金融信息服務(wù)系統(tǒng)，向用戶提供高可靠、高性能、可個(gè)性化定制的金融信息服務(wù)。本文也對(duì)基于數(shù)據(jù)引擎之上的金融應(yīng)用服務(wù)層和金融終端顯示層需要解決的一些關(guān)鍵問(wèn)題給出了設(shè)計(jì)思路和簡(jiǎn)要描述。

本文論述的基于混合數(shù)據(jù)管理引擎的金融信息服務(wù)系統(tǒng)的設(shè)計(jì)思路和方案，已應(yīng)用于新華08金融信息服務(wù)系統(tǒng)（精華版“金融臺(tái)”）[5]，并取得了良好的社會(huì)效益和經(jīng)濟(jì)效益。

下一步的工作是總結(jié)金融信息服務(wù)系統(tǒng)在實(shí)際應(yīng)用中的經(jīng)驗(yàn)，展望未來(lái)，繼續(xù)探索基于混合數(shù)據(jù)引擎的分布式處理機(jī)制如分布式一致性、水平可擴(kuò)展性，實(shí)現(xiàn)更大級(jí)別數(shù)據(jù)容量的混合管理，并支持在更高并發(fā)場(chǎng)景下系統(tǒng)的高可用性。

參考文獻(xiàn)（References）：

[1] 俞楓，李潔華.金融信息服務(wù)系統(tǒng)技術(shù)框架研究[J].計(jì)算機(jī)系

統(tǒng)應(yīng)用，2014.7：201

[2] Steve Duplessie.混合數(shù)據(jù)管理將成主流[J].軟件世界，

2007.23：68

[3] 鄭益，毛楚祥.傳統(tǒng)數(shù)據(jù)庫(kù)技術(shù)與信息檢索系統(tǒng)的集成[J].計(jì)

算機(jī)時(shí)代，2010.8：1

[4] 毛楚祥，鄭益.混合數(shù)據(jù)管理引擎[J].情報(bào)資料工作，2011.1：

68

[5] 吳滿宇，楊曉君.新華社推出綜合金融信息服務(wù)系統(tǒng)[J].

Chinese Journalist，2007.7：52

[6] ISO/IEC 13249-2：2003， SQL/MM：Part 2：Full-Text[S].

[國(guó)際、國(guó)家標(biāo)準(zhǔn)]