在做政務(wù)大數(shù)據(jù)的過程當(dāng)中,翱旗現(xiàn)在正在經(jīng)歷一些問題,未來也有可能會(huì)遇到很多問題,接下來我將分享翱旗是如何去解決這些問題的。沿用我們之前做的楚天云的案例,來給大家做整體分享。
楚天云及其基礎(chǔ)數(shù)據(jù)庫(kù)共享工程,是智慧湖北“63010”行動(dòng)方案的龍頭與核心。楚天云的意義在于推動(dòng)湖北省大數(shù)據(jù)資源的匯聚存儲(chǔ)、開發(fā)利用、開放共享。伴隨相關(guān)產(chǎn)業(yè)發(fā)展,它將成為全國(guó)第一個(gè)集電子政務(wù)、數(shù)據(jù)產(chǎn)業(yè)于一體的數(shù)據(jù)共享平臺(tái),全國(guó)第一個(gè)貫穿國(guó)家、省、市、縣四級(jí)的統(tǒng)一信息基礎(chǔ)設(shè)施服務(wù)平臺(tái)和信息共享交換樞紐平臺(tái),全國(guó)大數(shù)據(jù)行業(yè)中第一個(gè)完全市場(chǎng)化的大型PPP工程。
這是楚天云建設(shè)的總體架構(gòu),我們做政務(wù)大數(shù)據(jù)的過程當(dāng)中,也是沿用了這樣的架構(gòu),底層是各政府部門的數(shù)據(jù)。數(shù)據(jù)云有區(qū)域內(nèi)的企業(yè)數(shù)據(jù),再形成各種主題的數(shù)據(jù)庫(kù),由數(shù)據(jù)交換共享的平臺(tái)將數(shù)據(jù)提供給上層的智慧應(yīng)用;同時(shí)數(shù)據(jù)云還會(huì)把相應(yīng)的數(shù)據(jù)對(duì)外共享給政府部門,以及區(qū)域內(nèi)的企業(yè)單位。這主要涉及兩個(gè)方面:一是內(nèi)部的共享交換,另一個(gè)是外部增值的部分,是比較完善的數(shù)據(jù)云的建設(shè)架構(gòu)。
那么我們?cè)跀?shù)據(jù)云建設(shè)的過程當(dāng)中,或者說在建設(shè)政務(wù)大數(shù)據(jù)平臺(tái)的過程中,還存在著哪些問題?
第一,我們的客戶重視應(yīng)用,但各自為政,缺乏統(tǒng)一的規(guī)劃,因而各個(gè)應(yīng)用都是單獨(dú)建立的,不僅僅是各個(gè)單位沒有統(tǒng)一的標(biāo)準(zhǔn),各個(gè)單位的各個(gè)應(yīng)用業(yè)務(wù)系統(tǒng)也沒有統(tǒng)一的標(biāo)準(zhǔn)和規(guī)劃。
第二,我們?cè)谧鲰?xiàng)目的過程中發(fā)現(xiàn),70%~80%的數(shù)據(jù)是在應(yīng)用廠商手中,我們的客戶根本不知道業(yè)務(wù)系統(tǒng)中到底有什么樣的數(shù)據(jù),需要應(yīng)用廠商來提供接口,給我們對(duì)外去提供各種各樣的數(shù)據(jù)進(jìn)行共享。這會(huì)存在很大的隱患,比如周期非常長(zhǎng),我們的智慧應(yīng)用、大數(shù)據(jù)平臺(tái)就得不到高時(shí)效性、高準(zhǔn)確性的數(shù)據(jù)。這是接口方式存在的最大問題,也是我們采用SOA(面向服務(wù)的構(gòu)架)時(shí)存在的最大問題,現(xiàn)在大家已經(jīng)開始意識(shí)到這個(gè)問題。
第三,沒有一個(gè)統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn),數(shù)據(jù)的形態(tài)各異,數(shù)據(jù)的結(jié)構(gòu)也各種各樣,我們需要有一個(gè)通用化的產(chǎn)品或自適配的方式去解決這個(gè)問題。
第四,海量數(shù)據(jù)以及實(shí)時(shí)數(shù)據(jù)并存的情況。大數(shù)據(jù)存在好幾個(gè)V,實(shí)時(shí)的應(yīng)用場(chǎng)景需要一些實(shí)時(shí)的數(shù)據(jù)。以往實(shí)時(shí)數(shù)據(jù)的量不大,但當(dāng)我們涉及建設(shè)政務(wù)大數(shù)據(jù)平臺(tái)時(shí),會(huì)涉及公安的數(shù)據(jù)、人社的數(shù)據(jù)、運(yùn)營(yíng)商的數(shù)據(jù)。公安的數(shù)據(jù),每天的變化量可能都是TB級(jí)別的,如果想要支撐這些實(shí)時(shí)的業(yè)務(wù),這個(gè)平臺(tái)就要能夠支撐這樣的海量數(shù)據(jù),而且進(jìn)行實(shí)時(shí)傳輸。
這是我們?cè)谧鰝鹘y(tǒng)的數(shù)據(jù)云平臺(tái)或政務(wù)大數(shù)據(jù)過程中存在的一些問題。那么解決的方案是什么呢?一是統(tǒng)一規(guī)劃、統(tǒng)一平臺(tái)。我們很多的政務(wù)大平臺(tái)已經(jīng)開始在做這件事情了。二是自動(dòng)化的平臺(tái)交換共享。這是很多的政務(wù)大數(shù)據(jù)平臺(tái)沒有完成的,全部都靠人用各種各樣的技術(shù)方式實(shí)現(xiàn)。我們會(huì)發(fā)現(xiàn),很多的智慧城市建設(shè)一期完成之后,接下來第二期、第三期非常難做,最大的問題就在于缺乏大量自動(dòng)化的手段來完成二期、三期項(xiàng)目的建設(shè)。每一個(gè)大數(shù)據(jù)應(yīng)用至少要花費(fèi)3~4個(gè)月左右的時(shí)間,在二期、三期可能會(huì)涉及30~40個(gè)的應(yīng)用,如果沒有自動(dòng)化的平臺(tái)、通用化的產(chǎn)品,只靠人堆的方式,我相信這個(gè)政務(wù)大數(shù)據(jù)平臺(tái)最終將難以達(dá)到當(dāng)初規(guī)劃的效果,這也是為什么很多人沒有享受到大數(shù)據(jù)的好處。三是制作統(tǒng)一的標(biāo)準(zhǔn)。這是數(shù)據(jù)管理方面的內(nèi)容,包括采用數(shù)據(jù)處理的專有技術(shù)自動(dòng)識(shí)別數(shù)據(jù)源的所有變化,并自動(dòng)地反應(yīng)、交互,這是現(xiàn)在很多的傳統(tǒng)技術(shù)還無法解決的問題。
我們采用數(shù)據(jù)融合平臺(tái)產(chǎn)品來解決這些問題。底層比較簡(jiǎn)單,主要是數(shù)據(jù)的接入、融合、服務(wù)等幾個(gè)方面,底層各種各樣的數(shù)據(jù)源都可以采用連接器的框架接入,接入的過程是實(shí)時(shí)的,最高達(dá)到每小時(shí)200G的數(shù)據(jù)傳輸量,這個(gè)相當(dāng)于海量數(shù)據(jù)來說是非常實(shí)用的。另外它可以適配任意數(shù)據(jù)源的任意變化,是自動(dòng)適配的自動(dòng)化平臺(tái)。在此之上是我們的數(shù)據(jù)融合引擎,可以對(duì)數(shù)據(jù)質(zhì)量、數(shù)據(jù)生命周期進(jìn)行統(tǒng)一的管理和融合。上面是數(shù)據(jù)服務(wù)的框架,這在電子政務(wù)里體現(xiàn)得比較多,包括做一些交換的服務(wù),以及對(duì)外的一些智慧應(yīng)用的數(shù)據(jù)服務(wù)。另外,我們有自己的安全框架,這個(gè)框架主要是針對(duì)用戶,是由安全模塊去完成的,包括一些角色的安全以及數(shù)據(jù)傳輸過程中的安全。
我們現(xiàn)在的數(shù)據(jù)云平臺(tái)是搭建在云平臺(tái)當(dāng)中,我們有自己的云框架,一些管理、自建的門戶都在這個(gè)平臺(tái)上實(shí)現(xiàn)。在實(shí)現(xiàn)的過程當(dāng)中,我們的一些比較優(yōu)秀的技術(shù),包括持續(xù)技術(shù)、復(fù)制技術(shù)、流計(jì)算技術(shù)、數(shù)據(jù)質(zhì)量技術(shù)、云方面技術(shù),都在融合架構(gòu)中體現(xiàn)。整個(gè)架構(gòu)的優(yōu)勢(shì)包括采用數(shù)據(jù)集成的方式完成,數(shù)據(jù)處理高效、靈活,一次性開發(fā)建設(shè),后期管理維護(hù)較簡(jiǎn)單。我們?cè)诮ㄔO(shè)的過程當(dāng)中也感覺到,客戶越來越了解大數(shù)據(jù)到底是什么,它到底能帶來什么樣的好處。