神通大數(shù)據(jù)平臺(tái)在政務(wù)領(lǐng)域的應(yīng)用

吳嵩

在大數(shù)據(jù)領(lǐng)域，我們是一家做數(shù)據(jù)底層分析產(chǎn)品的公司，聚焦于數(shù)據(jù)庫(kù)的領(lǐng)域，我從這個(gè)角度來談下對(duì)大數(shù)據(jù)的一些理解和思考以及公司的實(shí)踐應(yīng)用。

數(shù)據(jù)庫(kù)的發(fā)展是從20世紀(jì)60、70年代，有了計(jì)算機(jī)之后在國(guó)外逐漸發(fā)展起來，那個(gè)時(shí)候的數(shù)據(jù)庫(kù)并不像現(xiàn)在的數(shù)據(jù)庫(kù)，最早的一批數(shù)據(jù)庫(kù)是層次型的或者是網(wǎng)狀型的，或者是對(duì)仗型的。到了2006年以后，Google的三篇論文撬動(dòng)了大數(shù)據(jù)這個(gè)概念的快速發(fā)展。

十年之后的今天，大家對(duì)于大數(shù)據(jù)的認(rèn)識(shí)已經(jīng)初步到位了，并且大家已經(jīng)明確了大數(shù)據(jù)要去融合、開放，實(shí)現(xiàn)一些深層次的數(shù)據(jù)分析和挖掘，政府也在確定自己的位置，企業(yè)也在找準(zhǔn)自己的位置。

神舟通用公司我們是航天科技集團(tuán)下屬的公司，目前主要專注于數(shù)據(jù)庫(kù)和大數(shù)據(jù)平臺(tái)的研發(fā)，公司經(jīng)歷了24年的發(fā)展，從1993年開始我們就做國(guó)產(chǎn)的數(shù)據(jù)庫(kù)，其中無論是嵌入式軟件還是操作系統(tǒng)、數(shù)據(jù)庫(kù)、CAD產(chǎn)品，三維造型、數(shù)字加工都是我們自己做研發(fā)。

我們展開來看一下，今天對(duì)于政務(wù)大數(shù)據(jù)來講，現(xiàn)在我們看到的是大數(shù)據(jù)的處理能力需要進(jìn)一步提升，數(shù)據(jù)關(guān)聯(lián)分析和數(shù)據(jù)融合需要更多的實(shí)踐，政務(wù)領(lǐng)域很多應(yīng)用跟移動(dòng)已經(jīng)充分在結(jié)合，這是我們?cè)谧鲰?xiàng)目的過程中發(fā)現(xiàn)的特點(diǎn)。

回憶十年前這個(gè)階段，大數(shù)據(jù)框架產(chǎn)生之后，我們更多關(guān)注于一些更結(jié)合實(shí)際的東西，比如說資源管理，結(jié)合云計(jì)算，目前這個(gè)問題也基本解決了?，F(xiàn)在這個(gè)階段我們要解決數(shù)據(jù)的價(jià)值問題，也就是數(shù)據(jù)的共享、融合和深度的挖掘問題。

1.采集。無論是網(wǎng)絡(luò)或者是互聯(lián)網(wǎng)、物聯(lián)網(wǎng)，采集都應(yīng)該有相應(yīng)的手段和方法，這個(gè)還不是難點(diǎn)。2.存儲(chǔ)。目前也能解決，包括互聯(lián)網(wǎng)的數(shù)據(jù)：文本數(shù)據(jù)、表格數(shù)據(jù)、圖數(shù)據(jù)、即時(shí)數(shù)據(jù)，這些都不是技術(shù)難點(diǎn)。

現(xiàn)在很多的問題集中在應(yīng)用和分析層面上，分析可以講有很多歷史的統(tǒng)計(jì)，包括標(biāo)準(zhǔn)的海量統(tǒng)計(jì)，有很多多維的分析、可視化的展現(xiàn)，尤其是現(xiàn)在還提出來很多實(shí)時(shí)的要求，在生產(chǎn)系統(tǒng)里面還需要實(shí)時(shí)性的查詢。

在資源管理階段：計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)，三步虛擬化解決已經(jīng)比較成熟了，現(xiàn)在用得比較多的桌面資源的虛擬化和應(yīng)用的虛擬化，能幫我們很多大數(shù)據(jù)和云平臺(tái)上的數(shù)據(jù)安全問題。

在樹立價(jià)值階段，現(xiàn)實(shí)世界更多呈現(xiàn)在我們面前的是數(shù)據(jù)，要處理好這些數(shù)據(jù)，我們是不是需要一些工具？這些工具包括我們的數(shù)據(jù)庫(kù)，也包括我們的數(shù)據(jù)分析，如報(bào)表這些，但是不僅是工具。

在有數(shù)據(jù)、工具的基礎(chǔ)上，還要建立模型，根據(jù)我們所有的條件建立模型。有了模型以后我們來形成我們處理問題的方法。

在面對(duì)這么多類型的大數(shù)據(jù)時(shí)，我們首先解決的是虛擬化存儲(chǔ)。在很多項(xiàng)目中，客戶提出了很多要求，我們根據(jù)實(shí)際的需要發(fā)展我們的產(chǎn)品線。結(jié)構(gòu)化數(shù)據(jù)的分析產(chǎn)品，我們叫MP數(shù)據(jù)集群，解決完以后我們又面臨著非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)和分析，之后又面臨著對(duì)象數(shù)據(jù)的存儲(chǔ)。同時(shí)在這些做項(xiàng)目的過程中，我們發(fā)現(xiàn)采集數(shù)據(jù)的處理本身也是一個(gè)很大的技術(shù)難點(diǎn)，我們需要解決。

在這之上，結(jié)合我們之前就有的一些數(shù)據(jù)挖掘的產(chǎn)品線，我們?cè)跀?shù)據(jù)挖掘和數(shù)據(jù)展現(xiàn)層面又完善了我們的產(chǎn)品，就構(gòu)成了存儲(chǔ)和分析的主線產(chǎn)品線。

龐大的數(shù)據(jù)要管理好，我們需要控制好它的授權(quán)，不是任何一個(gè)客源進(jìn)來就能夠看到大量的數(shù)據(jù)，一定不是這樣的，所以政府希望我們?nèi)ソ鉀Q不同的人有不同的權(quán)限，所以說這一系列就構(gòu)成了我們這套在實(shí)踐當(dāng)中，在大數(shù)據(jù)項(xiàng)目里面總結(jié)出的產(chǎn)品線，實(shí)際上也是我們大數(shù)據(jù)的一個(gè)平臺(tái)。

總結(jié)起來，神舟公司的大數(shù)據(jù)平臺(tái)經(jīng)過了十幾年磨合，從2007年之前我們就在展開，那個(gè)時(shí)候我們是做海量的壓縮存儲(chǔ)的數(shù)據(jù)庫(kù)，那時(shí)候處理的是海量數(shù)據(jù)以及數(shù)據(jù)挖掘，到后來才逐步完善了我們這樣一個(gè)產(chǎn)品線。

政務(wù)大數(shù)據(jù)實(shí)際上現(xiàn)在已經(jīng)到大家埋頭苦干的階段了，各個(gè)領(lǐng)域都在用行業(yè)的大數(shù)據(jù)，政府有政府統(tǒng)一的政務(wù)服務(wù)的大數(shù)據(jù)，未來我們的空間還很大?，F(xiàn)在除了大的這幾個(gè)部委，軍隊(duì)各方面的大數(shù)據(jù)平臺(tái)都在建，無論是純行業(yè)的還是融合性的，多數(shù)據(jù)集成的大數(shù)據(jù)目前是我們參與得比較多的。

我們的企業(yè)特點(diǎn)就是掌握了自己的核心產(chǎn)品和自己的核心技術(shù)，在這里面以技術(shù)見長(zhǎng)，但是我們也會(huì)再深入到幾個(gè)領(lǐng)域，比如說審計(jì)、網(wǎng)安、軍隊(duì)這樣的大領(lǐng)域，這些領(lǐng)域有我們的用武之地。同時(shí)這些政務(wù)大數(shù)據(jù)領(lǐng)域我們有相當(dāng)多的經(jīng)驗(yàn)和積累，當(dāng)前主要專注于這些，我們和純做互聯(lián)網(wǎng)大數(shù)據(jù)的還不太一樣。

總之，面對(duì)這么紛繁復(fù)雜的數(shù)據(jù)，作為神舟公司，我們提供的是解決問題的一套工具，有了這套工具和平臺(tái)之后，我們可以去建立各種模型，最后為用戶和開發(fā)商總體提供一個(gè)解決方案，讓大家面對(duì)紛繁的數(shù)據(jù)時(shí)不再煩惱。（根據(jù)演講內(nèi)容整理，未經(jīng)本人審核）endprint