基于Neo4j處理大數(shù)據(jù)中元數(shù)據(jù)溯源的研究

靳永超，吳懷谷

（1.西華大學(xué)數(shù)學(xué)與計(jì)算機(jī)學(xué)院，成都　610039；2.成都大學(xué)信息科學(xué)與技術(shù)學(xué)院，成都　610106）

基于Neo4j處理大數(shù)據(jù)中元數(shù)據(jù)溯源的研究

靳永超1,2，吳懷谷2

（1.西華大學(xué)數(shù)學(xué)與計(jì)算機(jī)學(xué)院，成都610039；2.成都大學(xué)信息科學(xué)與技術(shù)學(xué)院，成都610106）

0　引言

隨著信息技術(shù)的高速發(fā)展和大量數(shù)據(jù)以各種形式的出現(xiàn)，企業(yè)的需求也在不斷地改變。如何構(gòu)建一個(gè)隨著需求改變而平滑變化的大數(shù)據(jù)平臺(tái)，是大數(shù)據(jù)領(lǐng)域面臨的一個(gè)重大考驗(yàn)。一個(gè)平臺(tái)擴(kuò)展N個(gè)應(yīng)用，將是未來(lái)大數(shù)據(jù)平臺(tái)擴(kuò)展性的重要體現(xiàn)，傳統(tǒng)的各種信息系統(tǒng)往往是通過(guò)文檔來(lái)適應(yīng)需求的變化，但是僅僅依靠文檔還是遠(yuǎn)遠(yuǎn)不夠的。所以在大數(shù)據(jù)平臺(tái)中元數(shù)據(jù)管理將是其核心的一部分，成功的元數(shù)據(jù)管理系統(tǒng)必須把整個(gè)平臺(tái)業(yè)務(wù)的工作流、數(shù)據(jù)流和信息流有效地管理起來(lái)，使得系統(tǒng)不依賴特定的開(kāi)發(fā)人員［1］，從而提高系統(tǒng)的擴(kuò)展性和全局性。在大數(shù)據(jù)平臺(tái)中，像數(shù)據(jù)模型、任務(wù)模型、需求模型等模型池的定時(shí)調(diào)度，以及ETL中大量的數(shù)據(jù)源定義、映射規(guī)則、轉(zhuǎn)換規(guī)則、裝載策略等這些元數(shù)據(jù)都需要一個(gè)完整的管理。一個(gè)項(xiàng)目，從數(shù)據(jù)源到最終目標(biāo)表，多則達(dá)上百個(gè)ETL過(guò)程，少則也十幾個(gè)。這些過(guò)程之間的依賴關(guān)系、出錯(cuò)控制以及恢復(fù)的流程處理，都需要一個(gè)追根溯源的功能，通過(guò)最終形態(tài)的數(shù)據(jù)結(jié)構(gòu)，追溯到整個(gè)大數(shù)據(jù)處理中，元數(shù)據(jù)的更改歷史記錄。所以大數(shù)據(jù)的元數(shù)據(jù)管理系統(tǒng)如何設(shè)計(jì)已經(jīng)關(guān)系到大數(shù)據(jù)平臺(tái)能否高效推送數(shù)據(jù)變更，任務(wù)變更和大數(shù)據(jù)平臺(tái)突破瓶頸能否進(jìn)一步發(fā)展的問(wèn)題。

1　大數(shù)據(jù)平臺(tái)中的元數(shù)據(jù)

大數(shù)據(jù)處理中，尤其是大數(shù)據(jù)平臺(tái)構(gòu)建中，結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化在整個(gè)平臺(tái)中遷移、轉(zhuǎn)換和裝載。例如像關(guān)系型數(shù)據(jù)向數(shù)據(jù)倉(cāng)庫(kù)Hive、HBase、HDFS之間轉(zhuǎn)換，列族HBase數(shù)據(jù)庫(kù)向Hive，分布式文件存儲(chǔ)HDFS向Hive相互之間數(shù)據(jù)遷移，而傳統(tǒng)的ETL只針對(duì)關(guān)系型數(shù)據(jù)庫(kù)之間轉(zhuǎn)換，根本滿足不了現(xiàn)有的各種需求，在海量數(shù)據(jù)面前查詢、統(tǒng)計(jì)、更新效率很低，異構(gòu)數(shù)據(jù)源的管理的利用效率低。所以，針對(duì)大數(shù)據(jù)平臺(tái)需求，必須設(shè)計(jì)一個(gè)滿足各種結(jié)構(gòu)數(shù)據(jù)之間相互遷移，異構(gòu)數(shù)據(jù)源之間高效利用的元數(shù)據(jù)管理系統(tǒng)，并且能夠?qū)υ獢?shù)據(jù)進(jìn)行追蹤溯源和版本管理。

1.1構(gòu)建大數(shù)據(jù)平臺(tái)中元數(shù)據(jù)模型池

數(shù)據(jù)建模是一個(gè)發(fā)現(xiàn)數(shù)據(jù)元素、探尋面向數(shù)據(jù)的結(jié)構(gòu)的過(guò)程，探索當(dāng)前關(guān)聯(lián)方式及定義方式來(lái)進(jìn)行需求調(diào)用，而其建立的模型稱為數(shù)據(jù)模型。數(shù)據(jù)模型可用于各種目的，從高層的概念數(shù)據(jù)模型到物理數(shù)據(jù)模型。從面向?qū)ο蟮慕嵌葋?lái)看，在概念上，數(shù)據(jù)模型是指采用“實(shí)體．關(guān)系”方法描述數(shù)據(jù)及其數(shù)據(jù)之間關(guān)系的模型，即指用實(shí)體、屬性及其關(guān)系對(duì)企業(yè)運(yùn)營(yíng)和管理中涉及的業(yè)務(wù)概念和邏輯規(guī)則進(jìn)行統(tǒng)一定義、命名和編碼。數(shù)據(jù)模型是一組概念的集合，這些概念描述了系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)、動(dòng)態(tài)特征和完整約束條件，這就是數(shù)據(jù)模型的三要素。數(shù)據(jù)結(jié)構(gòu)是組成數(shù)據(jù)庫(kù)的對(duì)象的集合，是對(duì)象和對(duì)象間聯(lián)系的表達(dá)和實(shí)現(xiàn)，是對(duì)系統(tǒng)靜態(tài)特征的描述。數(shù)據(jù)操作是數(shù)據(jù)庫(kù)中數(shù)據(jù)可執(zhí)行的操作集合，是對(duì)系統(tǒng)動(dòng)態(tài)特性的描述。數(shù)據(jù)完整性約束是一組完整性規(guī)則的集合，規(guī)定了數(shù)據(jù)庫(kù)狀態(tài)以及狀態(tài)變化所滿足的條件，以保證數(shù)據(jù)的正確性、有效性和數(shù)據(jù)模型建模方法的基本原理相容性。而在大數(shù)據(jù)平臺(tái)中，我們構(gòu)建一個(gè)元數(shù)據(jù)模型池，以供整個(gè)平臺(tái)按照需求進(jìn)行模型設(shè)計(jì)和模型調(diào)用。

模型池：預(yù)測(cè)模型算法、Sqoop數(shù)據(jù)遷移、Storm數(shù)據(jù)模型算法、spark數(shù)據(jù)模型、數(shù)據(jù)庫(kù)連接管理模型。Sqoop基于MapReduce計(jì)算框架，支持Hive、MySQL、Oracle、HDFS、Impala、HBase之間相互數(shù)據(jù)遷移。每種數(shù)據(jù)模型，保存入模型池以啟動(dòng)數(shù)據(jù)同步進(jìn)行增量抽取任務(wù)。

1.2異構(gòu)數(shù)據(jù)源連接管理

傳統(tǒng)的數(shù)據(jù)源的元數(shù)據(jù)主要有：源系統(tǒng)地址、網(wǎng)絡(luò)連接、訪問(wèn)方式；計(jì)算機(jī)系統(tǒng)、操作系統(tǒng)；源數(shù)據(jù)庫(kù)鏈接說(shuō)明。在大數(shù)據(jù)平臺(tái)中主要是對(duì)異構(gòu)數(shù)據(jù)源和同構(gòu)數(shù)據(jù)源進(jìn)行連接管理，例如對(duì) Oracle、Hive、MySQL、HDFS、Impala進(jìn)行連接管理以供元數(shù)據(jù)管理系統(tǒng)調(diào)用。這是大數(shù)據(jù)平臺(tái)ETL處理的第一步情況，也是貫穿整個(gè)大數(shù)據(jù)任務(wù)調(diào)度的一個(gè)關(guān)鍵點(diǎn)。

1.3大數(shù)據(jù)平臺(tái)中各種數(shù)據(jù)庫(kù)的元數(shù)據(jù)獲取

傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)的元數(shù)據(jù)主要有：分區(qū)設(shè)置、索引、數(shù)據(jù)庫(kù)管理系統(tǒng)層次的安全性特權(quán)與授權(quán)；視圖定義；存儲(chǔ)過(guò)程與 SQL管理腳本；數(shù)據(jù)庫(kù)管理系統(tǒng)備份狀態(tài)、備份程序及備份安全性。而大數(shù)據(jù)不僅僅是關(guān)系型數(shù)據(jù)庫(kù)，還有基于列族的HBase，基于文件的MongDB,HDFS，數(shù)據(jù)倉(cāng)庫(kù)Hive，Impala等NoSQL,獲取這些元數(shù)據(jù)才能夠使得大數(shù)據(jù)平臺(tái)滿足各大數(shù)據(jù)庫(kù)之間數(shù)據(jù)相互遷移，數(shù)據(jù)清洗，數(shù)據(jù)裝載。

2　基于Neo4j來(lái)設(shè)計(jì)元數(shù)據(jù)溯源方案

2.1Neo4j原理

Neo4j是一個(gè)基于圖論算法、完全兼容ACID的圖形數(shù)據(jù)庫(kù)。低層數(shù)據(jù)以一種針對(duì)圖形網(wǎng)絡(luò)進(jìn)行過(guò)優(yōu)化的文件格式保存在磁盤(pán)上。由于Neo4j的圖形結(jié)構(gòu)導(dǎo)致其數(shù)據(jù)結(jié)構(gòu)不是必須的，而且可以完全沒(méi)有，它在數(shù)據(jù)建模方面針對(duì)常見(jiàn)的復(fù)雜領(lǐng)域數(shù)據(jù)集，如CMS里的訪問(wèn)控制可被建模成細(xì)粒度的訪問(wèn)控制表，類對(duì)象數(shù)據(jù)庫(kù)的用例等進(jìn)行圖形數(shù)據(jù)建模。常常被用于基因分析、社交網(wǎng)絡(luò)數(shù)據(jù)建模、深度推薦算法等領(lǐng)域。由于Neo4j是自適應(yīng)規(guī)模的，而且它的圖遍歷執(zhí)行速度是常數(shù)，與圖大小無(wú)關(guān)，所以其讀性能可以達(dá)到每毫秒遍歷2000多節(jié)點(diǎn)關(guān)系，在處理圖關(guān)系時(shí)候完全是事務(wù)性的，這就保證了圖數(shù)據(jù)庫(kù)操作的完整性和準(zhǔn)確性。相比關(guān)系型數(shù)據(jù)庫(kù)其性能更突出，而最為主要的一點(diǎn)是Neo4j面向分析的圖形數(shù)據(jù)庫(kù)。

2.2數(shù)據(jù)建模存儲(chǔ)

在大數(shù)據(jù)平臺(tái)的元數(shù)據(jù)池中，建模之后的數(shù)據(jù)模型都以JSON格式展現(xiàn)出來(lái)，基于Neo4j進(jìn)行模型存儲(chǔ)，就要對(duì)其調(diào)用方式最小顆粒度進(jìn)行分析、對(duì)其使用范圍進(jìn)行規(guī)范、對(duì)其調(diào)用方式進(jìn)行分析然后確定存儲(chǔ)方式。Neo4j存儲(chǔ)時(shí)候主要進(jìn)行節(jié)點(diǎn)Label標(biāo)簽定義、節(jié)點(diǎn)屬性定義、節(jié)點(diǎn)與節(jié)點(diǎn)之間關(guān)系定義。定義Label，主要是為了標(biāo)示一個(gè)節(jié)點(diǎn)集合，為所屬節(jié)點(diǎn)的屬性定義某些限制，增加索引。Label機(jī)制提供的是一種對(duì)節(jié)點(diǎn)進(jìn)行分組的方法，建立在分組上的管理需要采用TraversalDescription遍歷API機(jī)制來(lái)實(shí)現(xiàn)，進(jìn)而在該集合上執(zhí)行建立索引、定義約束和查詢等操作。定義節(jié)點(diǎn)屬性，按照首先創(chuàng)建空節(jié)點(diǎn)方法，添加屬性。而在創(chuàng)建的節(jié)點(diǎn)之間按照自己定義的關(guān)系語(yǔ)義來(lái)兩兩節(jié)點(diǎn)之間創(chuàng)建有向圖關(guān)系。

如圖1所示：這是基于Neo4j實(shí)現(xiàn)Storm兩張表進(jìn)行Join操作最后導(dǎo)入HDFS中的數(shù)據(jù)模型存儲(chǔ)。

圖1　Neo4j存儲(chǔ)的Storm的Topology模型

2.3元數(shù)據(jù)版本維護(hù)

針對(duì)元數(shù)據(jù)的不斷更新、補(bǔ)缺、變換，傳統(tǒng)元數(shù)據(jù)管理系統(tǒng)沒(méi)有版本維護(hù)功能，很難完整地記錄所有的更改歷史記錄，也很難在某個(gè)時(shí)間戳的時(shí)間節(jié)點(diǎn)上進(jìn)行統(tǒng)計(jì)和查詢。在大數(shù)據(jù)平臺(tái)中，如果對(duì)元數(shù)據(jù)的追加和元數(shù)據(jù)的更新做一個(gè)版本維護(hù)的話，數(shù)據(jù)量太大很少有人去愿意這樣做，而我們基于Neo4j做元數(shù)據(jù)版本管理，針對(duì)圖關(guān)聯(lián)，以及最短路徑算法對(duì)其進(jìn)行高效存儲(chǔ)和快速查詢。與數(shù)據(jù)模型不同的是大量元數(shù)據(jù)我們存儲(chǔ)進(jìn)入Neo4j圖形數(shù)據(jù)庫(kù)，采取嵌入式離線存儲(chǔ)方式，其內(nèi)部采取MapReduce，可以快速存儲(chǔ)上億節(jié)點(diǎn)，把每條元數(shù)據(jù)設(shè)計(jì)為最小顆粒度進(jìn)行節(jié)點(diǎn)存儲(chǔ)，一旦某條記錄被改變，不用去刪除節(jié)點(diǎn)，只需要在節(jié)點(diǎn)之后擴(kuò)展一個(gè)加入時(shí)間戳的新節(jié)點(diǎn)，并建立有向圖關(guān)系，在查詢時(shí)候可以根據(jù)需求，對(duì)每一個(gè)修改時(shí)間段進(jìn)行版本維護(hù)，可以快速實(shí)現(xiàn)不同版本之間全表對(duì)比，而且可以對(duì)修改的元數(shù)據(jù)很快速地遍歷修改過(guò)程和修改詳情。

圖2　元數(shù)據(jù)版本管理

如圖2所示：按照我們的設(shè)計(jì)方案，某元數(shù)據(jù)經(jīng)歷5次改變，甚至元數(shù)據(jù)都改變了Label，實(shí)現(xiàn)了跨集合之間版本管理和全表對(duì)比。

2.4元數(shù)據(jù)溯源

基于異構(gòu)數(shù)據(jù)源的連接管理和數(shù)據(jù)源版本管理的基礎(chǔ)之上，我們需要對(duì)元數(shù)據(jù)的每一條信息，例如數(shù)據(jù)庫(kù)的表字段，進(jìn)行數(shù)據(jù)溯源，在整個(gè)大數(shù)據(jù)平臺(tái)數(shù)據(jù)處理中，一旦某元數(shù)據(jù)做了更新和變換，我們都能通過(guò)最終形式的表現(xiàn)追溯到這個(gè)字段的整個(gè)遍歷歷史詳情，我們采用Neo4j進(jìn)行有向圖擴(kuò)展，每次元數(shù)據(jù)更改我們會(huì)基于這個(gè)節(jié)點(diǎn)對(duì)其進(jìn)行節(jié)點(diǎn)擴(kuò)展，其中兩個(gè)節(jié)點(diǎn)之間關(guān)系類型設(shè)計(jì)為修改標(biāo)示符，在新增節(jié)點(diǎn)加入修改時(shí)間戳，以利于遍歷節(jié)點(diǎn)時(shí)候，能夠記錄修改時(shí)間，以及做時(shí)間段修改數(shù)量統(tǒng)計(jì)和遍歷詳情管理，數(shù)據(jù)源的每一個(gè)表一個(gè)Label，每一個(gè)字段一個(gè)節(jié)點(diǎn)，節(jié)點(diǎn)中屬性就是Value，外加連接節(jié)點(diǎn)信息。這種設(shè)計(jì)模式，可以最小粒度來(lái)溯源以及管理整個(gè)元數(shù)據(jù)，在大數(shù)據(jù)平臺(tái)整個(gè)元數(shù)據(jù)這種粒度調(diào)用管理，可以任意調(diào)取，以及實(shí)現(xiàn)不同的推送功能和將來(lái)擴(kuò)展的應(yīng)用。元數(shù)據(jù)溯源節(jié)點(diǎn)遍歷主要是對(duì)最短路徑算法和Dijkstra算法的實(shí)現(xiàn)。

最短路徑算法如下所示：

這種最短路徑算法，針對(duì)數(shù)據(jù)模型的深入和節(jié)點(diǎn)關(guān)系的出入度，而Dijkstra解決有向圖中任意兩個(gè)頂點(diǎn)之間的最短路徑問(wèn)題，這種算法在元數(shù)據(jù)溯源和版本維護(hù)中可以快速查找作業(yè)流程和全表對(duì)比。

3　結(jié)語(yǔ)

本文基于Neo4j對(duì)大數(shù)據(jù)平臺(tái)的元數(shù)據(jù)進(jìn)行溯源設(shè)計(jì)。通過(guò)Neo4j構(gòu)建數(shù)據(jù)模型池，生成數(shù)據(jù)模型圖以供平臺(tái)調(diào)用，而對(duì)元數(shù)據(jù)的連接管理和任務(wù)調(diào)度過(guò)程以圖形進(jìn)行關(guān)聯(lián)，進(jìn)而對(duì)元數(shù)據(jù)進(jìn)行版本管理和溯源，對(duì)整個(gè)大數(shù)據(jù)平臺(tái)的ETL模塊進(jìn)行流程監(jiān)控，流程回溯和全局掌控，并且對(duì)平臺(tái)內(nèi)部擴(kuò)展功能模型進(jìn)行流程關(guān)聯(lián)和任務(wù)調(diào)度流程記錄。大數(shù)據(jù)的元數(shù)據(jù)溯源實(shí)現(xiàn)并且大大地提高了大數(shù)據(jù)平臺(tái)的推送能力和擴(kuò)展N個(gè)大數(shù)據(jù)應(yīng)用的能力，在未來(lái)大數(shù)據(jù)發(fā)展中，進(jìn)一步提高平臺(tái)擴(kuò)展性和推送能力將是大數(shù)據(jù)平臺(tái)自適應(yīng)發(fā)展的一個(gè)核心發(fā)展方向。

［1］宋杰，郝文寧，陳剛等.基于MapReduce的分布式ETL體系結(jié)構(gòu)研究［J］.計(jì)算機(jī)科學(xué),2013,40（6）:152～154

［2］Ian Robinson,Jim Webber,and Emil Eifrem.Graph Databases［M］.US:O'Reilly Media，2013

［3］宋青,汪小帆.最短路徑算法加速技術(shù)研究綜述［J］.電子科技大學(xué)學(xué)報(bào)，2012，2（41）:177～178

［4］戴磊，馬小平，姜代紅.基于優(yōu)化Dijkstra算法的物流配送系統(tǒng)設(shè)計(jì)［J］.微電子學(xué)與計(jì)算機(jī)，2011,10（28）:34～35

［5］方圓,杜祝平,周功業(yè).基于對(duì)象存儲(chǔ)的新型元數(shù)據(jù)管理策略［J］.計(jì)算機(jī)工程，2012（3）：25～27

［6］White T.Hadoop:The Definitive Guide［M］.US:O'Reilly Media,2012

［7］Jin X J.Trident Storm and Flow Calculation Experience［J］.Journal of Programmers,2012（10）:99～103

［8］陸嘉桓.大數(shù)據(jù)挑戰(zhàn)與NoSQL數(shù)據(jù)庫(kù)技術(shù)［M］.北京:電子工業(yè)出版社，2013

Big Data；Metadata；Provenance；Neo4j

Research on the Process of Metadata Provenance in the Big Data Based on Neo4j

JIN Yong-chao1,2，WU Huai-gu2
（1．College of Mathmatic and Computer，Xihua University，Chengdu 610039；2．College of Information Science Technology，Chengdu University，Chengdu 610106）

1007-1423（2015）08-0061-04

10.3969/j.issn.1007-1423.2015.08.014

靳永超（1987-），男，陜西寶雞人，碩士，研究方向?yàn)樵朴?jì)算、大數(shù)據(jù)處理

2015-02-12

2015-03-12

在大數(shù)據(jù)處理中，針對(duì)大量的結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)以不同形式被遷移、轉(zhuǎn)換、裝載，整個(gè)流程的數(shù)據(jù)和元數(shù)據(jù)都得不到很好掌控和集中管理，沒(méi)有辦法追根溯源，這對(duì)整個(gè)大數(shù)據(jù)平臺(tái)自適應(yīng)的推送能力和擴(kuò)展能力產(chǎn)生極大影響。提出一種基于Neo4j圖形數(shù)據(jù)庫(kù)來(lái)對(duì)大數(shù)據(jù)的元數(shù)據(jù)進(jìn)行溯源的方法，以使得整個(gè)大數(shù)據(jù)處理過(guò)程中對(duì)元數(shù)據(jù)進(jìn)行全局掌控，流程監(jiān)控和流程回溯。

大數(shù)據(jù)；元數(shù)據(jù)；溯源；Neo4j

吳懷谷（1975-），男，四川成都人，博士，教授，研究方向?yàn)樵朴?jì)算體系結(jié)構(gòu)、移動(dòng)應(yīng)用體系結(jié)構(gòu)和分布式信息系統(tǒng)

In the process of big data,as for the large number of structured data,semi-structured data,the data is migrated,transformed,and loaded in different forms.The whole process of the data and metadata are hard to control and centralize management.And there is also no way to track back these data,so it affects this push capability and scalability of the whole large data platform.Proposes a method which is based on Neo4j graphics databases to provenance to the metadata,in order to global control,flow monitoring and flow provenance the processing of the data.