上證所數(shù)據(jù)深耕

如果不出意外，上證所的數(shù)據(jù)增值系統(tǒng)將成為全球最好的系統(tǒng)之一

7月20日上海萬(wàn)國(guó)股市測(cè)評(píng)咨詢有限公司的活動(dòng)部經(jīng)理呂沈強(qiáng)緊急電告《互聯(lián)網(wǎng)周刊》，“今年的科技股50強(qiáng)實(shí)在沒(méi)時(shí)間去做數(shù)據(jù)分析方面的工作了，”電話中的呂沈強(qiáng)帶著歉意說(shuō)：“沒(méi)辦法，幾乎所有的人都在忙著推動(dòng)上交所Level-2行情版的事情?！?/p>

而之前的《互聯(lián)網(wǎng)周刊》科技股50強(qiáng)評(píng)選活動(dòng)都是在與萬(wàn)國(guó)測(cè)評(píng)合作，甚至為了強(qiáng)化雙方之間的合作，在6月底呂沈強(qiáng)甚至帶著其同事一行三人專(zhuān)程來(lái)到北京，并言之鑿鑿“會(huì)全力配合今年的科技股50強(qiáng)?！蹦壳叭f(wàn)國(guó)測(cè)評(píng)正想如何把自己的“大智慧”交易系統(tǒng)做大，而與《互聯(lián)網(wǎng)周刊》合作做這樣的活動(dòng)，對(duì)推廣自己的網(wǎng)站，其好處是不言而喻的。“包括總經(jīng)理在內(nèi)都很支持這個(gè)事情?！眳紊驈?qiáng)說(shuō)。

而現(xiàn)在能讓萬(wàn)國(guó)測(cè)評(píng)忍痛割?lèi)?ài)的理由只能是比科技股50強(qiáng)還重要的事情，而這就是上證所的Level-2行情版。

開(kāi)始有償服務(wù)

7月18日，上海證券交易所證券信息獨(dú)家全權(quán)經(jīng)營(yíng)機(jī)構(gòu)—上證所信息網(wǎng)絡(luò)有限公司宣布推出了上證所Level-2行情。作為國(guó)內(nèi)證券市場(chǎng)的第一個(gè)商業(yè)版行情，消費(fèi)者及最終用戶將一律與信息服務(wù)商通過(guò)簽約方式獲取有償服務(wù)。

上證所信息網(wǎng)絡(luò)有限公司的董事長(zhǎng)趙小平介紹，新版的Level-2行情并不是取代上海證券交易所已供給市場(chǎng)的即時(shí)行情（Show2003），而是為不同類(lèi)型的投資者提供差異化服務(wù)。也就是說(shuō)之前無(wú)論是大戶還是散戶都在用同樣的免費(fèi)交易系統(tǒng)，在系統(tǒng)上獲取的交易信息幾無(wú)二致，但新版的Level-2行情將會(huì)給交錢(qián)的會(huì)員以更多的信息。而這一點(diǎn)對(duì)于股市的投資者來(lái)說(shuō)，無(wú)疑平添了獲利的籌碼。

趙小平1994年到上證所研究中心主持研究工作，1998年任上證所信息中心主任，2005年開(kāi)始擔(dān)任上證所信息網(wǎng)絡(luò)有限公司董事長(zhǎng)。從2000年開(kāi)始，上證所開(kāi)始啟動(dòng)三大技術(shù)項(xiàng)目：新交易系統(tǒng)、新網(wǎng)站和新信息系統(tǒng)，而趙小平經(jīng)歷了實(shí)施中的諸多過(guò)程。

趙小平介紹，Level-2行情是在現(xiàn)有的行情基礎(chǔ)上設(shè)計(jì)了新的增值內(nèi)容，由信息服務(wù)商進(jìn)行再加工，并將其他信息源與之融合而成。在信息內(nèi)容上，Level-2行情也有顯著提升，包括從提供五個(gè)價(jià)位上的委托量增加到十個(gè)價(jià)位、加權(quán)平均委買(mǎi)/委賣(mài)價(jià)格實(shí)時(shí)顯示、逐筆成交明細(xì)的從無(wú)到有、刷新頻率明顯加快，由6秒刷新提升到3秒刷新、最佳買(mǎi)賣(mài)價(jià)位上前50筆分筆委托量及動(dòng)態(tài)成交筆數(shù)的提供等。這些內(nèi)容在很大程度上豐富了交易行情的信息空白，滿足了客戶差異化信息需求。此外，Level-2行情還具備國(guó)際標(biāo)準(zhǔn)的數(shù)據(jù)接口、數(shù)據(jù)重發(fā)保障機(jī)制、信息安全保障等眾多優(yōu)勢(shì)。

呂沈強(qiáng)說(shuō)目前國(guó)內(nèi)已經(jīng)有三家證券服務(wù)機(jī)構(gòu)與上證所信息網(wǎng)絡(luò)有限公司簽約，但至今為止都在忙于系統(tǒng)的對(duì)接和調(diào)整，還沒(méi)有一個(gè)收費(fèi)的交易系統(tǒng)出來(lái)。另外對(duì)于這個(gè)市場(chǎng)上陌生的新鮮產(chǎn)品，究竟應(yīng)該如何收費(fèi)，通過(guò)什么樣的途徑來(lái)收費(fèi)，思路確實(shí)不是很清晰。目前大智慧的Level-2行情版仍是在測(cè)試階段，原本計(jì)劃8月1日進(jìn)行收費(fèi)，現(xiàn)在推遲到9月1日。

搭建數(shù)據(jù)倉(cāng)庫(kù)

而為這個(gè)系統(tǒng)做的準(zhǔn)備早在2000年就開(kāi)始了。

上證所信息中心副主任石曉成博士介紹，交易所中最值錢(qián)的是數(shù)據(jù)，就像源代碼對(duì)微軟、保密配方對(duì)可口可樂(lè)的重要，交易所的數(shù)據(jù)也是交易所的核心價(jià)值所在。數(shù)據(jù)不僅涉及到幾千萬(wàn)股民的利益，還涉及到上千家企業(yè)的利益，更是整個(gè)宏觀經(jīng)濟(jì)的一個(gè)微觀層面的展現(xiàn)。

2000年上證所開(kāi)始考慮如何搭建一個(gè)全面、穩(wěn)健、安全的信息系統(tǒng)，而從1990年上證所成立之后的10年間，交易所的信息系統(tǒng)曾經(jīng)歷過(guò)六次大的系統(tǒng)改革，代碼等信息基本上已經(jīng)面目全非。同時(shí)，2000年的牛市行情，不管是開(kāi)戶數(shù)量和交易手?jǐn)?shù)/秒都創(chuàng)出了歷史新高，在行情突飛猛漲的時(shí)候，后臺(tái)的穩(wěn)健和安全被上證所提到了議事日程上。而第一件事情就是IT系統(tǒng)的戰(zhàn)略規(guī)劃。

“當(dāng)時(shí)與BCG、路透等多家國(guó)際知名咨詢公司進(jìn)行過(guò)信息化戰(zhàn)略咨詢和數(shù)據(jù)倉(cāng)庫(kù)整體的規(guī)劃與設(shè)計(jì)?！笔瘯猿烧f(shuō)自己當(dāng)時(shí)還沒(méi)有回國(guó)，所以也沒(méi)有參加過(guò)一期工程IT系統(tǒng)的戰(zhàn)略規(guī)劃。事實(shí)上，上證所與路透集團(tuán)早在1992年就有了合作，當(dāng)時(shí)路透社的綜合數(shù)據(jù)網(wǎng)絡(luò)與中國(guó)最大的上海證券交易所的行情電腦系統(tǒng)正式聯(lián)通，使得上海證券交易所的Ａ股和Ｂ股的牌價(jià)可以通過(guò)路透社的網(wǎng)絡(luò)傳送到世界各國(guó)。

在這樣的關(guān)系基礎(chǔ)上，IT系統(tǒng)的戰(zhàn)略規(guī)劃多是出于路透咨詢之手。

石曉成說(shuō)，2002年中期，上證所開(kāi)始進(jìn)行嚴(yán)格的性能測(cè)試和專(zhuān)家評(píng)審。性能測(cè)試可以看作是整個(gè)項(xiàng)目實(shí)施過(guò)程的預(yù)演（概念驗(yàn)證），而2002年的測(cè)試數(shù)據(jù)量當(dāng)時(shí)是國(guó)內(nèi)同類(lèi)測(cè)試中數(shù)據(jù)量最大的一次。石曉成說(shuō)通過(guò)這次測(cè)試，一些在系統(tǒng)建設(shè)、實(shí)施過(guò)程中可能遇到的問(wèn)題（包括技術(shù)層面、實(shí)施過(guò)程）大部分得到了驗(yàn)證，為隨之進(jìn)行的項(xiàng)目實(shí)施降低了相當(dāng)?shù)娘L(fēng)險(xiǎn)。有了這次測(cè)試之后的結(jié)果和分析，上證所最終采用了Teradata的海量并行處理技術(shù)和先進(jìn)的數(shù)據(jù)倉(cāng)庫(kù)實(shí)施方法論。不過(guò)選中Teradata除了技術(shù)本身的因素外，之前上證所的登記結(jié)算中心也曾經(jīng)采用了Teradata的技術(shù)。

2002年10月，上證所啟動(dòng)數(shù)據(jù)倉(cāng)庫(kù)一期工程。當(dāng)時(shí)作為上證所三大重要項(xiàng)目之一，數(shù)據(jù)倉(cāng)庫(kù)起著承上啟下的作用，并將與新一代交易系統(tǒng)、消息總線、新網(wǎng)站等共同構(gòu)成未來(lái)交易所的IT基礎(chǔ)架構(gòu)。所以其重要性不言而喻。

隨后上證所開(kāi)始抽調(diào)精兵強(qiáng)將組成項(xiàng)目組，制定了項(xiàng)目管理、文檔規(guī)范、安全保密、變更控制、匯報(bào)制度等。而全部的實(shí)施過(guò)程經(jīng)過(guò)了信息調(diào)查分析、業(yè)務(wù)需求分析、邏輯數(shù)據(jù)模型設(shè)計(jì)、體系結(jié)構(gòu)設(shè)計(jì)、物理數(shù)據(jù)庫(kù)設(shè)計(jì)、ETL設(shè)計(jì)開(kāi)發(fā)、歷史數(shù)據(jù)加載、備份、業(yè)務(wù)應(yīng)用設(shè)計(jì)開(kāi)發(fā)、系統(tǒng)測(cè)試、驗(yàn)收移交、用戶培訓(xùn)及知識(shí)轉(zhuǎn)移等各個(gè)環(huán)節(jié)。2003年10月上證所完成了一期建設(shè)。

石曉成回憶說(shuō)一期工作要解決的主要是基礎(chǔ)性的工作，大致內(nèi)容是基本的數(shù)據(jù)清洗、存儲(chǔ)、整合和統(tǒng)一，1990年以來(lái)存儲(chǔ)在光盤(pán)、磁盤(pán)等上面的信息資料，全被轉(zhuǎn)移到新建成的數(shù)據(jù)庫(kù)中。

“完成的14個(gè)節(jié)點(diǎn)的并行處理， 14TB的存儲(chǔ)，使數(shù)據(jù)處理非?？欤?30億成交量可以在45分鐘之內(nèi)全部清洗完畢，而后加載存儲(chǔ)，全部進(jìn)入庫(kù)。目前在單位時(shí)間內(nèi)處理的交易筆數(shù)要高于美國(guó)近100倍。”趙小平不無(wú)得意地說(shuō)。

數(shù)據(jù)深耕

但是從發(fā)展的角度來(lái)說(shuō)，上證所需要對(duì)數(shù)據(jù)進(jìn)行深度分析，從而實(shí)現(xiàn)業(yè)務(wù)創(chuàng)新，這就需要數(shù)據(jù)倉(cāng)庫(kù)二期工程的補(bǔ)充。但二期工程應(yīng)該怎么做，究竟如何才能做好，解決這些問(wèn)題并不是一件簡(jiǎn)單的事情。

石曉成就是在這時(shí)候進(jìn)入了上證所，并開(kāi)始參與二期工程的前期論證工作?！按笾聲r(shí)間在2003年的上半年，當(dāng)時(shí)一期還沒(méi)有完。”石曉成說(shuō)自己在國(guó)外曾經(jīng)接觸過(guò)數(shù)據(jù)庫(kù)方面的工作，通過(guò)朋友聽(tīng)說(shuō)上證所需要這方面的人才，就回國(guó)找上證所談了一下，事情很快就確定了。

趙小平介紹實(shí)施二期工程的目的很明確：實(shí)現(xiàn)上證所深度監(jiān)管、支持產(chǎn)品創(chuàng)新和服務(wù)信息經(jīng)營(yíng)三大目標(biāo)。具體目標(biāo)是通過(guò)信息數(shù)據(jù)共享，提高監(jiān)管能力；二是通過(guò)對(duì)ETF、權(quán)證、指數(shù)定制等新業(yè)務(wù)提供數(shù)據(jù)支持，提高創(chuàng)新能力；三是通過(guò)對(duì)信息數(shù)據(jù)的加工，為信息公司提供LEVEL-2靜態(tài)數(shù)據(jù)和數(shù)據(jù)產(chǎn)品目錄，為上證所信息經(jīng)營(yíng)提供全面的數(shù)據(jù)資源。

但做這樣的工程要牽涉到上證所十幾個(gè)部門(mén)的運(yùn)作，而且這是企業(yè)級(jí)的數(shù)據(jù)倉(cāng)庫(kù)。并且交易所任何一個(gè)新產(chǎn)品開(kāi)發(fā)，通常都會(huì)涉及測(cè)試、監(jiān)管、建模、預(yù)警、預(yù)報(bào)、監(jiān)察、指標(biāo)等。而這是全局性的工作，不是一個(gè)部門(mén)或信息中心能做的。

項(xiàng)目實(shí)施中間的困難可想而知。

事實(shí)上，選擇什么樣的合作伙伴來(lái)做二期工程似乎成為更重要的一件事情。一個(gè)原因是好的合作伙伴有更多的經(jīng)驗(yàn)可以借鑒；二是新產(chǎn)品的安全和穩(wěn)定性應(yīng)該說(shuō)更為關(guān)鍵和重要，而這樣來(lái)說(shuō)對(duì)合作伙伴的要求也會(huì)更高。

石曉成說(shuō)當(dāng)時(shí)的競(jìng)爭(zhēng)對(duì)手有幾家，但主要是兩家：IBM和NCR的Teradata?！霸谝黄诘臅r(shí)候，IBM就參加過(guò)競(jìng)爭(zhēng)。”石曉成說(shuō)，“當(dāng)時(shí)作了一個(gè)PK，把需要測(cè)試的所有機(jī)器拉到外高橋，全部封閉，然后進(jìn)行測(cè)試。一共有200多個(gè)指標(biāo)，最后看數(shù)據(jù)結(jié)果，當(dāng)時(shí)交易所給了他們大量的模擬數(shù)據(jù)?！?/p>

結(jié)果是Teradata再一次中標(biāo)?！癗CR獲得兩個(gè)項(xiàng)目非常不容易，完全是PK后拿到項(xiàng)目的，這沒(méi)辦法，一切為了公平、公正。”趙小平說(shuō)。

而這時(shí)候，在一個(gè)沒(méi)有產(chǎn)品和經(jīng)驗(yàn)的領(lǐng)域內(nèi)做信息系統(tǒng)，可能需要更多的是領(lǐng)導(dǎo)的支持和同事們的信任。

要獲得這些，需要證實(shí)信息系統(tǒng)的作用?！拔覀儾捎昧恕赝鞠碌啊姆绞絹?lái)做，一個(gè)項(xiàng)目成功了就上線一個(gè)，領(lǐng)導(dǎo)和同事逐漸看到了信息化的好處后，實(shí)施工作就好干多了?！壁w小平說(shuō)二期工程得到了諸多業(yè)務(wù)部門(mén)的支持與“沿途下蛋”這種辦法不無(wú)關(guān)系。

2004年12月，上證所啟動(dòng)數(shù)據(jù)倉(cāng)庫(kù)二期，2005年12月基本完成。從管理角度而言，數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)實(shí)際上整合了很多系統(tǒng)各自的建設(shè)布局，結(jié)束了之前缺乏全局性的無(wú)序建設(shè)局面。全局?jǐn)?shù)據(jù)的關(guān)聯(lián)，將基礎(chǔ)性數(shù)據(jù)工作與增值性工作做出了一個(gè)恰當(dāng)?shù)姆止ぁ?/p>

但上證所畢竟是一個(gè)企業(yè)單位，也面臨著經(jīng)營(yíng)發(fā)展的問(wèn)題，美國(guó)的納斯達(dá)克市場(chǎng)本身就是一個(gè)上市公司，所以二期工程的關(guān)鍵在于如何應(yīng)用。

開(kāi)通Level-2行情版只是利用信息化進(jìn)行的應(yīng)用之一。上證所信息網(wǎng)絡(luò)有限公司總經(jīng)理王勇說(shuō)，國(guó)內(nèi)證券市場(chǎng)提供的都是單一即時(shí)行情，證券信息服務(wù)業(yè)也未形成從源數(shù)據(jù)供應(yīng)到加工、增值、分發(fā)等的有效產(chǎn)業(yè)鏈。“而采用國(guó)際通行的‘交易所—信息經(jīng)營(yíng)商—用戶’模式，規(guī)范化運(yùn)作打造完整的產(chǎn)業(yè)鏈?zhǔn)巧献C所信息網(wǎng)絡(luò)有限公司成立的根本初衷之一?！蓖跤抡f(shuō)。

“不過(guò)，如果沒(méi)有一、二期工程作支撐，所有的這些增值服務(wù)都談不上?！壁w小平承認(rèn)。