• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    圖引擎底層存儲(chǔ)的設(shè)計(jì)與實(shí)現(xiàn)

    2014-06-07 05:53:26馬洪賓陳貴海
    計(jì)算機(jī)工程 2014年11期
    關(guān)鍵詞:引擎定義

    馬洪賓,陳貴海

    (上海交通大學(xué)計(jì)算機(jī)科學(xué)與工程系,上海200240)

    圖引擎底層存儲(chǔ)的設(shè)計(jì)與實(shí)現(xiàn)

    馬洪賓,陳貴海

    (上海交通大學(xué)計(jì)算機(jī)科學(xué)與工程系,上海200240)

    隨著社交網(wǎng)絡(luò)和語義Web等數(shù)據(jù)應(yīng)用的興起,催生了許多圖數(shù)據(jù)處理產(chǎn)品,包括Neo4j,HyperGraphDB等,然而這些產(chǎn)品在設(shè)計(jì)時(shí)并未充分考慮圖應(yīng)用對(duì)數(shù)據(jù)可用性和可擴(kuò)展性的更高要求。為此,提出一種基于分布式內(nèi)存云的圖引擎底層建模和存儲(chǔ)解決方案。在內(nèi)存云上搭建分布式鍵值引擎,進(jìn)而在鍵值存儲(chǔ)的基礎(chǔ)上對(duì)圖的數(shù)據(jù)進(jìn)行建模和讀寫。在大規(guī)模數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明,該方案具有較好的圖隨機(jī)訪問性能,并能夠高效地支持海量規(guī)模的圖數(shù)據(jù)應(yīng)用。

    圖處理;云計(jì)算;分布式;數(shù)據(jù)建模;存儲(chǔ);數(shù)據(jù)結(jié)構(gòu)

    1 概述

    圖是最常見的數(shù)據(jù)結(jié)構(gòu)之一,與線性表和樹相比,它的結(jié)構(gòu)更加復(fù)雜,對(duì)數(shù)據(jù)的表現(xiàn)能力也更豐富。傳統(tǒng)的圖應(yīng)用包括道路分析[1]、論文引用分析[2]、網(wǎng)頁鏈接分析[3]等。 隨著社交網(wǎng)絡(luò)[4-5]、語義網(wǎng)絡(luò)[6]等研究領(lǐng)域的興起,由于圖在表示實(shí)體間關(guān)系方面的顯著優(yōu)勢,因此越來越多的研究嘗試使用圖來存儲(chǔ)和挖掘數(shù)據(jù)。

    學(xué)術(shù)界和工業(yè)界已有大量工作致力于圖的應(yīng)用和理論研究。截止目前,已有很多圖數(shù)據(jù)庫產(chǎn)品可供選擇。但是隨著數(shù)據(jù)規(guī)模的日益增長,圖的規(guī)模也隨之呈現(xiàn)爆發(fā)式增長的趨勢。如何有效地存儲(chǔ)和使用海量規(guī)模的圖數(shù)據(jù)集,成為圖數(shù)據(jù)庫領(lǐng)域內(nèi)的一大難題。

    本文結(jié)合圖數(shù)據(jù)應(yīng)用對(duì)可用性和可擴(kuò)展性的要求,提出一種基于分布式內(nèi)存Key-Value引擎的圖數(shù)據(jù)存儲(chǔ)和建模方案,介紹底層使用的分布式內(nèi)存云引擎,根據(jù)圖應(yīng)用對(duì)數(shù)據(jù)建模的需求分析建模技術(shù),并將已知的語義Web數(shù)據(jù)集導(dǎo)入到系統(tǒng)中,對(duì)系統(tǒng)性能進(jìn)行全面分析。

    2 圖數(shù)據(jù)應(yīng)用及其挑戰(zhàn)

    2.1 使用圖數(shù)據(jù)結(jié)構(gòu)進(jìn)行數(shù)據(jù)建模的優(yōu)勢

    在已知的大數(shù)據(jù)問題中,有很大一部分的問題可以由圖進(jìn)行更為直觀的建模。而且這種直觀的建模方式可以帶來高效的數(shù)據(jù)讀寫效率。以社交網(wǎng)絡(luò)為例,網(wǎng)絡(luò)中的兩大元素:人物與人物之間的關(guān)系,可以分別對(duì)應(yīng)到圖里面的頂點(diǎn)和邊。假設(shè)采用鄰接表的形式存儲(chǔ)圖的邊,那么所有的邊都可以保存在頂點(diǎn)上。人物的一些屬性,例如姓名、年齡等,可以作為頂點(diǎn)的屬性存放在頂點(diǎn)內(nèi)。與此相對(duì)地,也可以使用關(guān)系數(shù)據(jù)庫將數(shù)據(jù)建模成為一個(gè)人物表和一個(gè)朋友關(guān)系表。當(dāng)客戶端程序需要獲取某個(gè)特定人物的朋友列表時(shí),假設(shè)采用圖建模的方式,程序可以首先找到代表該人物的圖頂點(diǎn),然后通過一次頂點(diǎn)內(nèi)的訪問獲得其所有鄰居。而在關(guān)系數(shù)據(jù)庫中,需要將朋友關(guān)系表與人物表進(jìn)行一次內(nèi)聯(lián)結(jié)才能達(dá)到相同目的。當(dāng)然,用戶可以選擇對(duì)朋友關(guān)系表中的外鍵來加速這一過程,但這又勢必會(huì)帶來了額外開銷。

    無論是在單機(jī)的多核計(jì)算處理器上,還是在分布式環(huán)境中的多機(jī)多處理器環(huán)境下,對(duì)并行計(jì)算是否友好都已經(jīng)成為衡量一個(gè)模型好壞的重要標(biāo)準(zhǔn)。在圖模型的領(lǐng)域,以頂點(diǎn)為中心的計(jì)算模型因?yàn)樗暮唵涡?、可擴(kuò)展性和靈活性而被廣泛地采用。在以頂點(diǎn)為中心的計(jì)算模型中,每個(gè)頂點(diǎn)都可以成為最細(xì)粒度的計(jì)算單元,一個(gè)或者多個(gè)頂點(diǎn)的計(jì)算工作可以由同一個(gè)操作系統(tǒng)線程或進(jìn)程負(fù)責(zé),以頂點(diǎn)為中心的計(jì)算模型可以將工作量自然地切割,并且適用于同步和異步、集中式和分布式的計(jì)算模型。

    2.2 圖數(shù)據(jù)庫面臨的挑戰(zhàn)

    傳統(tǒng)的圖數(shù)據(jù)庫面臨可用性與可擴(kuò)展性[7]之間的博弈。傳統(tǒng)圖數(shù)據(jù)庫可以粗略地分為以下3類:

    (1)基于磁盤存儲(chǔ)的單機(jī)實(shí)現(xiàn)

    已有的借助磁盤存儲(chǔ)空間的單機(jī)圖數(shù)據(jù)庫,雖然能夠在假設(shè)磁盤空間沒有限制的前提下,克服數(shù)據(jù)的規(guī)模問題。根據(jù)程序訪問局部性原理,這類圖數(shù)據(jù)庫也可以在內(nèi)存中緩存適量的緩存,以期減少數(shù)據(jù)訪問的開銷。然而,圖應(yīng)用的隨機(jī)訪問性質(zhì)決定了程序在圖中對(duì)頂點(diǎn)的訪問呈現(xiàn)隨機(jī)的特征,因此難以找到一種簡單通用的緩存算法來加速數(shù)據(jù)訪問。而大量的隨機(jī)讀寫是對(duì)磁盤訪問速度的災(zāi)難。因此,基于磁盤的解決方案會(huì)帶來不能接受的性能問題。

    (2)基于MapReduce/Hadoop的實(shí)現(xiàn)

    這類實(shí)現(xiàn)的典型代表為PEGASUS[8],一個(gè)基于Hadoop的分布式圖信息挖掘系統(tǒng)。Hadoop對(duì)應(yīng)Google的分布式計(jì)算框架MapReduce[9],它的文件系統(tǒng)HFS(Hadoop File System)對(duì)應(yīng)于MapReduce的GFS(Google File System)[10]。圖數(shù)據(jù)以文件的形式存放在HFS中。雖然這類實(shí)現(xiàn)在可擴(kuò)展性和容錯(cuò)性方面得到了保證,但是Hadoop的計(jì)算模型與圖數(shù)據(jù)上的計(jì)算需求并不完全匹配。Hadoop的作業(yè)調(diào)度與任務(wù)分配要求對(duì)數(shù)據(jù)的反復(fù)讀寫,這造成了同樣的圖信息被反復(fù)地在磁盤中讀寫,增加了系統(tǒng)的 I/O開銷。另外,為離線數(shù)據(jù)分析而設(shè)計(jì)的Hadoop也不能滿足對(duì)反應(yīng)時(shí)間具有更高要求的在線圖數(shù)據(jù)查詢需求。

    (3)基于分布式和列式存儲(chǔ)的實(shí)現(xiàn)

    在MapReduce后,Google相繼推出了基于GFS的列存儲(chǔ)引擎BigTable[11]以及Dremel[12]。這類列式儲(chǔ)引擎將數(shù)據(jù)的不同維度(列)單獨(dú)存儲(chǔ),并且可以靈活地根據(jù)數(shù)據(jù)的使用頻率,將某些常用維度的數(shù)據(jù)配置在內(nèi)存中,以減少磁盤I/O,提高讀寫性能。列式存儲(chǔ)需要對(duì)數(shù)據(jù)模型具有嚴(yán)格定義。在圖數(shù)據(jù)中,使用鄰接表來表示頂點(diǎn)間的關(guān)系。鄰接表的一個(gè)基本性質(zhì)是其長度可變,而像BigTable這樣的列式存儲(chǔ)引擎對(duì)這一性質(zhì)并無很好的支持??勺冮L、可嵌套、可重復(fù)的列成員在Dremel中被引入,但是由于Dremel是一個(gè)只讀的交互式在線分析系統(tǒng),圖數(shù)據(jù)的頂點(diǎn)增加/刪除、關(guān)系的增加/刪除就無法被支持。

    3 基于分布式內(nèi)存云的圖引擎存儲(chǔ)解決方案

    3.1 分布式內(nèi)存云引擎——Trinity

    Trinity是微軟亞洲研究院設(shè)計(jì)并實(shí)現(xiàn)的服務(wù)于云計(jì)算的一款輕量的高性能分布式內(nèi)存Key-Value存儲(chǔ)引擎[13]。在Trinity系統(tǒng)中,所有數(shù)據(jù)都被保存在內(nèi)存云中,因此能夠支撐每秒數(shù)百萬次的隨機(jī)讀寫。另外,Trinity支持通過配置服務(wù)器集群的方式,靈活地調(diào)整系統(tǒng)的服務(wù)能力[14]。Trinity向客戶端提供以下統(tǒng)一接口:

    Trinity作為一個(gè)Key-Value存儲(chǔ)引擎,其中的Key僅限長整數(shù)類型,而Value則是一段不定長的字節(jié)數(shù)組,稱為BLOB。因此,Trinity可以看作是一個(gè)long->BLOB的Key-Value存儲(chǔ)引擎。

    從單機(jī)角度觀察,Trinity在啟動(dòng)時(shí)向操作系統(tǒng)申請(qǐng)大塊的內(nèi)存,用以對(duì) BLOB進(jìn)行動(dòng)態(tài)儲(chǔ)存。Trinity封裝了高效的內(nèi)存管理模塊,可以進(jìn)行高效的垃圾收集和內(nèi)存清理。另外,Trinity提供細(xì)粒度的鎖機(jī)制,保證對(duì)于單個(gè)鍵值對(duì)的修改是原子的。從集群角度觀察,每個(gè)Trinity的服務(wù)器實(shí)例負(fù)責(zé)維護(hù)一批BLOB,Trinity系統(tǒng)通過對(duì)Key的哈希對(duì)不同BLOB進(jìn)行分割。各個(gè)實(shí)例之間由高速以太網(wǎng)互聯(lián)。

    3.2 在BLOB上的圖頂點(diǎn)建模

    Trinity中的每個(gè)BOLB都是獨(dú)立的個(gè)體,彼此之間互相獨(dú)立,且每個(gè)BLOB擁有全局唯一的長整數(shù)標(biāo)識(shí)符。在BLOB的不同區(qū)間段內(nèi)存儲(chǔ)不同的信息,可以自然地將BLOB隱射成圖數(shù)據(jù)中的頂點(diǎn),如圖1所示。每個(gè)頂點(diǎn)中存儲(chǔ)的信息可以分為兩部分:屬性和邊。然而,BLOB只是簡單的字節(jié)數(shù)組,無法為上層應(yīng)用提供更多數(shù)據(jù)格式的信息。因此,需要在BLOB上搭建數(shù)據(jù)訪問層,以便上層圖處理程序能夠有效獲得感興趣的圖信息。

    圖1 每個(gè)BLOB視作一個(gè)圖頂點(diǎn)的情況

    圖的應(yīng)用千變?nèi)f化,對(duì)圖頂點(diǎn)和邊的定義也會(huì)存在巨大差異。例如,一個(gè)典型社交網(wǎng)絡(luò)可能需要定義人物這樣的圖頂點(diǎn),也需要把人物和人物之間的關(guān)系定義為圖中的邊。而在一個(gè)語義Web的圖應(yīng)用中,用戶可能更希望將任意的主語和賓語定義為圖頂點(diǎn),而將謂詞定義為圖中的關(guān)系??偠灾?一個(gè)通用的圖引擎無法提前預(yù)知圖應(yīng)用所需的數(shù)據(jù)結(jié)構(gòu),因此允許用戶提前對(duì)圖的結(jié)構(gòu)進(jìn)行定義。例如,社交網(wǎng)絡(luò)中的人物頂點(diǎn)可以由以下語句定義:

    根據(jù)定義,所有人物頂點(diǎn)的實(shí)例都由一個(gè)整數(shù)記錄其年齡,一個(gè)字符串記錄其姓名,還有一個(gè)可變長的長整數(shù)容器記錄其所有朋友的標(biāo)識(shí)符。對(duì)頂點(diǎn)的定義模仿了面向?qū)ο笳Z言(例如Java)中對(duì)類的定義。然而,在實(shí)際存儲(chǔ)方式上卻完全不同。在面向?qū)ο笳Z言中,對(duì)象只保存各個(gè)非基本類型成員的引用,成員具體的內(nèi)容保存在堆上,其物理地址并不一定相鄰。而在實(shí)現(xiàn)中,由于需要將圖頂點(diǎn)所有的信息保存到一段BLOB中,成員會(huì)按序依次排列,所有成員在存儲(chǔ)邏輯地址上是保證相鄰的,稱為線性排列。

    采用基于BLOB的線性排列,而不采用類似于面向?qū)ο笳Z言基于堆的儲(chǔ)存方式的主要原因有以下2個(gè)方面:

    (1)前者相對(duì)于后者更具空間優(yōu)勢。為了克服傳統(tǒng)圖數(shù)據(jù)庫在可用性上的瓶頸,達(dá)到最高效的訪問速度來適應(yīng)圖的隨機(jī)訪問性質(zhì),考慮將大部分的圖數(shù)據(jù)放入內(nèi)存中。盡管采用分布式的內(nèi)存云引擎作為底層存儲(chǔ),但是考慮到內(nèi)存云的代價(jià),更經(jīng)濟(jì)有效地利用內(nèi)存空間仍然具有重要的意義。以對(duì)象為單元存儲(chǔ)圖頂點(diǎn),涉及到引用類型的開銷,以及對(duì)象本身的開銷(例如對(duì)象上的鎖)等。事實(shí)上,在64 bit.NET平臺(tái)上,一個(gè)空對(duì)象也需要占據(jù)12 Byte的空間。因此,以BLOB的形式存儲(chǔ)圖頂點(diǎn)更具空間優(yōu)勢。

    (2)以BLOB形式存儲(chǔ)的節(jié)點(diǎn)更有利于在分布式環(huán)境中分發(fā)傳送。在不同機(jī)器間傳送對(duì)象,需要首先在發(fā)送端將對(duì)象序列化成字節(jié)序列,然后通過網(wǎng)絡(luò)傳送至接收端,并由接收端負(fù)責(zé)將字節(jié)序列反序列化成對(duì)象,單個(gè)對(duì)象的序列化和反序列化的開銷可能難以察覺,但是在大型的圖應(yīng)用中,通常需要在不同機(jī)器間傳輸成千上萬的圖頂點(diǎn)。在這種情況下,序列化和反序列化的代價(jià)就變得十分顯著。然而,基于BLOB的儲(chǔ)存形式無需經(jīng)歷序列化和反序列化的過程,BLOB本身就是字節(jié)數(shù)組,可以直接在網(wǎng)絡(luò)上傳輸。

    3.3 具體實(shí)現(xiàn)

    為了能夠用方便的接口讀寫B(tài)LOB中的數(shù)據(jù),需要將用戶定義的圖頂點(diǎn)類型編譯并生成相應(yīng)的訪問器。

    3.3.1 訪問器類的生成

    對(duì)于每種類型的圖頂點(diǎn),為它的每一個(gè)成員分配一個(gè)訪問器。根據(jù)成員的長度是否固定,訪問器又可以細(xì)分為定長訪問器和變長訪問器。定長訪問器適用于對(duì)基本類型成員的訪問,而可變長的成員如字符串、線性容器等需要由變長訪問器來訪問。例如人物頂點(diǎn)中,由于age成員占據(jù)固定4 Byte的空間,因此只需分配一個(gè)定長訪問器IntegerAccessor來訪問它,而對(duì)于name成員來說,由于無法提前確定該字符串的長度,使用變長訪問器StringAccessor訪問它。同理,成員friends的類型是長整數(shù)線性表,也需要生成一個(gè)變長訪問器LongListAccessor才能訪問它。

    可以看到,對(duì)于每種成員類型,需要為其生成對(duì)應(yīng)的訪問器類型。已知的最大規(guī)模圖應(yīng)用需要定義數(shù)千種頂點(diǎn)類型,但是由于不同頂點(diǎn)類型的成員類型存在大量重復(fù),例如同樣的StringAccessor適用于任何擁有字符串成員的頂點(diǎn)類型,因此訪問器類型的種類數(shù)目反而不是很多。訪問器訪問BLOB內(nèi)數(shù)據(jù)的方式如圖2所示。

    圖2 使用訪問器的BLOB數(shù)據(jù)訪問

    在初始化訪問器實(shí)例時(shí),傳入成員的指針,以便訪問器知道成員從何開始。對(duì)與定長訪問器而言,無需額外的信息,即可了解數(shù)據(jù)存放的格式。例如,如果在給定開始指針之后,一個(gè)IntegerAccessor就明白在開始指針之后的4 Byte就是需要訪問的整數(shù)數(shù)據(jù)。而對(duì)于變長訪問器而言,需要借助一些輔助信息才能夠確定數(shù)據(jù)的格式。例如,對(duì)于所有簡單數(shù)據(jù)類型的線性表容器,如List<long>類型,在成員的開始用一個(gè)整數(shù)的空間存放該容器的大小,當(dāng)一個(gè)LongListAccessor訪問這個(gè)成員時(shí),首先讀取首部4 Byte的容器大小信息,然后將指針向后偏移4 Byte,才開始真正訪問數(shù)據(jù)。

    3.3.2 動(dòng)態(tài)容器擴(kuò)容的支持

    圖應(yīng)用的數(shù)據(jù)處于經(jīng)常性的變化之中。社交網(wǎng)絡(luò)中的人物隨時(shí)會(huì)增加新的好友關(guān)系,同時(shí)也有可能解除原有的好友關(guān)系。因此,可支持動(dòng)態(tài)增減的容器類型不可或缺。由于本文設(shè)計(jì)一個(gè)圖頂點(diǎn)所有的數(shù)據(jù)順序存放在一個(gè)固定大小的字節(jié)數(shù)組中,因此任何一個(gè)容器的擴(kuò)容都有可能導(dǎo)致空間不足??梢杂^察到,在圖2中,BLOB的尾端有一部分不屬于任何成員的空間,稱為緩沖區(qū)。當(dāng)任何一個(gè)容器試圖擴(kuò)容,請(qǐng)求更多的空間時(shí),如果緩沖區(qū)的大小足夠,那么該擴(kuò)容請(qǐng)求可以通過簡單的向后生長來實(shí)現(xiàn)。如圖3所示。如果緩沖區(qū)的大小不足以支持當(dāng)前的擴(kuò)容請(qǐng)求,那么需要向Trinity系統(tǒng)申請(qǐng)一塊更大的內(nèi)存區(qū)間來存放擴(kuò)容后的新數(shù)據(jù),同時(shí)把原有的內(nèi)存區(qū)間標(biāo)記為廢棄,以便Trinity內(nèi)置的內(nèi)存垃圾收集器能夠回收利用。

    圖3 容器擴(kuò)容

    3.3.3 嵌套支持

    為向圖應(yīng)用提供更豐富的建模工具,允許用戶自行定義除了圖頂點(diǎn)之外的結(jié)構(gòu)體,并允許在圖頂點(diǎn)的定義中直接嵌套使用它。以社交網(wǎng)絡(luò)中的人物為例,如果對(duì)于每個(gè)好友,不僅希望保存他的標(biāo)識(shí)符,還希望保存對(duì)各個(gè)不同好友的備注簽名,那么可以將好友關(guān)系定義為一個(gè)特定結(jié)構(gòu)體,在這個(gè)結(jié)構(gòu)體中分別記錄好友的標(biāo)識(shí)符和對(duì)好友的備注簽名,這種情況下人物的朋友成員可以按以下方式定義:

    在存儲(chǔ)上,結(jié)構(gòu)體會(huì)以和基本類型相似的方式,順序保存在BLOB中。不同的是,系統(tǒng)會(huì)為每個(gè)結(jié)構(gòu)體生成特別的訪問器,保證結(jié)構(gòu)體能被正確地讀寫。另外,結(jié)構(gòu)體的引入增加了成員內(nèi)存管理的復(fù)雜度,為了支持嵌套成員的擴(kuò)容和縮減,每個(gè)成員都需要保存其上層成員的Resize函數(shù)指針,在需要擴(kuò)容或縮減時(shí),各個(gè)成員遞歸地調(diào)用Resize方法,直到傳遞到最終能夠處理該事件的圖頂點(diǎn)自身。對(duì)于好友關(guān)系中的備注簽名成員alias,如果希望將其修改成更長的字符串,就需要向上遞歸地調(diào)用結(jié)構(gòu)體Friendship、容器FriendshipList以及圖頂點(diǎn)Person的Resize函數(shù)。該過程如圖4所示。

    圖4 遞歸調(diào)用Resize方法

    4 實(shí)驗(yàn)結(jié)果與分析

    基于分布式內(nèi)存云的圖引擎存儲(chǔ)解決方案,首先借助內(nèi)存云的優(yōu)良擴(kuò)展性,解決了可擴(kuò)展性的問題,能夠?qū)A繄D數(shù)據(jù)的存儲(chǔ)和計(jì)算提供較好的支持。在實(shí)驗(yàn)中,將RDF(Resource Description Framework)數(shù)據(jù)集導(dǎo)入到圖引擎中。原數(shù)據(jù)集采用文本記錄,大小超過1 TB,擁有約110億條三元組,導(dǎo)入到圖引擎中共生成了30億個(gè)頂點(diǎn)、50億條邊。即使采用基于BLOB的緊湊內(nèi)存存儲(chǔ)結(jié)構(gòu),整個(gè)數(shù)據(jù)集仍然占用了480 GB左右的內(nèi)存。

    基于內(nèi)存的底層存儲(chǔ)對(duì)圖的隨機(jī)訪問具有較好的支撐,因此圖引擎在可用性上體現(xiàn)出較大優(yōu)勢。圖5是對(duì)17個(gè)不同類型的圖頂點(diǎn)成員進(jìn)行隨機(jī)訪問所花費(fèi)的時(shí)間。橫坐標(biāo)從P01至P17分別代表不同的17種查詢,縱坐標(biāo)表示所花費(fèi)時(shí)間。

    圖5 圖頂點(diǎn)成員隨機(jī)訪問速度

    借助于性能優(yōu)異的底層存儲(chǔ)引擎,上層的圖引擎應(yīng)用能夠表現(xiàn)出更優(yōu)異的性能。分別使用8臺(tái)96 GB DDR3內(nèi)存的服務(wù)器存儲(chǔ)上文提到的RDF數(shù)據(jù)集,并使用高速路由InfiniteBand對(duì)服務(wù)器進(jìn)行互聯(lián),并使用子圖匹配算法對(duì)圖數(shù)據(jù)進(jìn)行子圖搜索。圖6刻畫了若干查詢的響應(yīng)速度,橫坐標(biāo)從Q1至Q7分別代表7個(gè)不同的插敘,縱坐標(biāo)即完成查詢的時(shí)間。

    圖6 圖查詢響應(yīng)速度

    由圖5、圖6可以看出,分布式內(nèi)存云引擎可以為圖引擎提供穩(wěn)定高效的底層數(shù)據(jù)訪問。在此之上,圖引擎可以向客戶端提供幾十毫秒內(nèi)的查詢響應(yīng)時(shí)間,有助于客戶端高效快速地完成查詢?nèi)蝿?wù)。

    5 結(jié)束語

    在大數(shù)據(jù)環(huán)境背景下,圖數(shù)據(jù)處理面對(duì)上億規(guī)模頂點(diǎn)的海量數(shù)據(jù)處理問題。傳統(tǒng)的基于磁盤或者分布式文件系統(tǒng)的解決方案,在應(yīng)對(duì)圖應(yīng)用的大量隨機(jī)訪問請(qǐng)求時(shí)存在性能瓶頸。本文基于分布式內(nèi)存云提出一種新穎的圖建模和存儲(chǔ)方案,可對(duì)上層圖應(yīng)用提供靈活高效的數(shù)據(jù)訪問接口。實(shí)驗(yàn)結(jié)果表明,本文方案能夠?qū)崿F(xiàn)海量規(guī)模的圖數(shù)據(jù)處理。

    [1] Porta S,Crucitti P,Latora V.The Network Analysis of Urban Streets:A Dual Approach[J].Physica A: Statistical Mechanics and Its Applications,2006, 369(2):853-866.

    [2] Narin F.Evaluative Bibliometrics:The Use of Publication and Citation Analysis in the Evaluation of Scientific Activity[M].Cherry Hill,USA:Computer Horizons,1976.

    [3] Lawrence P.The PageRank Citation Ranking:Bringing Order to the Web[R].Stanford University,Technical Report:SIDL-WP-1999-0120,1999.

    [4] Wasserman S.SocialNetwork Analysis:Methodsand Applications[M].Cambridge,UK:Cambridge University Press,1994.

    [5] Mislove A.Measurement and Analysis of Online Social Networks[C]//Proceedings of the 7th ACM SIGCOMM Conference on Internet Measurement.New York,USA: ACM Press,2007:29-42.

    [6] Berners-Lee T,Hendler J,Lassila O.The Semantic Web[J].Scientific American,2001,284(5):28-37.

    [7] Ramakrishnan R,Gehrke J.Database Management Systems[M].[S.l.]:McGraw-Hill,2000.

    [8] Deelman E.Pegasus:A Framework for Mapping Complex Scientific Workflows onto Distributed Systems[J].Scientific Programming Journal,2005,13(3):219-237.

    [9] Dean J,Sanjay G.MapReduce:Simplified Data Processing on Large Clusters[J].Communications of the ACM,2008, 51(1):107-113.

    [10] Ghemawat S,Howard G,Leung Shun-Tak.The Google File System[J].ACM SIGOPS Operating Systems Review,2003,37(5):29-43.

    [11] Chang F.Bigtable:A Distributed Storage System for Structured Data[J].ACM Transactions on Computer Systems,2008,26(2):4-9.

    [12] Melnik S.Dremel:Interactive Analysis of Web-scale Datasets[J].Proceedings of the VLDB Endowment, 2010,3(1/2):330-339.

    [13] Shao Bin,Wang Haixun,Li Yatao.Trinity:A Distributed Graph Engine on a Memory Cloud[C]//Proceedings of 2013 ACM SIGMOD International Conference on Management of Data.New York,USA:ACM Press,2013:505-516.

    [14] 于 戈,谷 峪,鮑玉斌,等.云計(jì)算環(huán)境下的大規(guī)模圖數(shù)據(jù)處理技術(shù)[J].計(jì)算機(jī)學(xué)報(bào),2011,34(10): 1753-1768.

    編輯 陸燕菲

    Design and Implementation of Underlying Storage for Graph Engine

    MA Hongbin,CHEN Guihai
    (Department of Computer Science and Engineering,Shanghai Jiaotong University,Shanghai 200240,China)

    Graph applications rise with the emerging of social network and semantic Web,and generate many graph data processing products,including Neo4j,HyperGraphDB,etc.However,current solutions fail to take into consideration graph applications'higher requirements on data availability and scalability.This paper proposes a modeling and storage solution based on distributed memory cloud.It takes advantage of the prior work to build a key-value system over the memory cloud,then builds data modeling and read-write based on it.Experimental results on large scaled datasets show that this solution has a good figure random access performance,and it can support massive graph applications efficiently.

    graph processing;cloud computing;distributed;data modeling;storage;data structure

    1000-3428(2014)11-0060-05

    A

    TP311

    10.3969/j.issn.1000-3428.2014.11.012

    馬洪賓(1989-),男,碩士研究生,主研方向:數(shù)據(jù)查詢處理,分布式系統(tǒng),云計(jì)算;陳貴海,教授、博士生導(dǎo)師。

    2013-11-18

    2013-12-17E-mail:790123072@qq.com

    中文引用格式:馬洪賓,陳貴海.圖引擎底層存儲(chǔ)的設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)工程,2014,40(11):60-64.

    英文引用格式:Ma Hongbin,Chen Guihai.Design and Implementation of Underlying Storage for Graph Engine[J].Computer Engineering,2014,40(11):60-64.

    猜你喜歡
    引擎定義
    以學(xué)促干 挺膺擔(dān)當(dāng) 激活砥礪前行的紅色引擎
    永遠(yuǎn)不要用“起點(diǎn)”定義自己
    海峽姐妹(2020年9期)2021-01-04 01:35:44
    定義“風(fēng)格”
    三生 三大引擎齊發(fā)力
    藍(lán)谷: “涉藍(lán)”新引擎
    商周刊(2017年22期)2017-11-09 05:08:31
    成功的定義
    山東青年(2016年1期)2016-02-28 14:25:25
    無形的引擎
    河南電力(2015年5期)2015-06-08 06:01:46
    基于Cocos2d引擎的PuzzleGame開發(fā)
    修辭學(xué)的重大定義
    山的定義
    国产成人精品久久久久久| av在线播放精品| 中文字幕人妻丝袜一区二区 | 啦啦啦啦在线视频资源| 国产精品 欧美亚洲| 亚洲欧美成人综合另类久久久| 色吧在线观看| 亚洲情色 制服丝袜| 黑人欧美特级aaaaaa片| 亚洲欧美一区二区三区久久| 最近的中文字幕免费完整| 晚上一个人看的免费电影| 飞空精品影院首页| 亚洲色图综合在线观看| 一本大道久久a久久精品| 精品一区二区三区四区五区乱码 | 日韩制服丝袜自拍偷拍| 性色av一级| 亚洲精品日本国产第一区| 青青草视频在线视频观看| 大片电影免费在线观看免费| 久久久久精品人妻al黑| 性高湖久久久久久久久免费观看| 亚洲成av片中文字幕在线观看| 午夜福利一区二区在线看| 精品一区二区三卡| 在线观看人妻少妇| 亚洲欧美一区二区三区国产| av电影中文网址| 在线观看免费高清a一片| 黄片播放在线免费| 搡老乐熟女国产| av片东京热男人的天堂| 黄片无遮挡物在线观看| 国产福利在线免费观看视频| 国产色婷婷99| 丝袜喷水一区| 18禁动态无遮挡网站| 久久精品久久久久久久性| 成年人午夜在线观看视频| 毛片一级片免费看久久久久| 91老司机精品| 少妇的丰满在线观看| 波多野结衣一区麻豆| 一级片免费观看大全| 黄色一级大片看看| 国产成人午夜福利电影在线观看| 男女无遮挡免费网站观看| 日日啪夜夜爽| av女优亚洲男人天堂| 最近手机中文字幕大全| 啦啦啦在线免费观看视频4| 国产精品欧美亚洲77777| 欧美人与性动交α欧美精品济南到| 日韩av不卡免费在线播放| 母亲3免费完整高清在线观看| 日韩精品免费视频一区二区三区| 男女无遮挡免费网站观看| avwww免费| 美女中出高潮动态图| 久久精品熟女亚洲av麻豆精品| 精品人妻在线不人妻| 久久久久久人妻| 精品午夜福利在线看| 一级片'在线观看视频| 亚洲欧美成人综合另类久久久| e午夜精品久久久久久久| 91aial.com中文字幕在线观看| 国产精品.久久久| 一区福利在线观看| 极品少妇高潮喷水抽搐| 国产视频首页在线观看| 欧美精品一区二区免费开放| 啦啦啦视频在线资源免费观看| 午夜激情久久久久久久| 激情五月婷婷亚洲| 99久久综合免费| 老司机影院成人| 日韩免费高清中文字幕av| 美女脱内裤让男人舔精品视频| 中文字幕人妻丝袜制服| 天天操日日干夜夜撸| 1024视频免费在线观看| 波多野结衣av一区二区av| 天堂俺去俺来也www色官网| 久久精品久久久久久久性| 日韩av在线免费看完整版不卡| 性少妇av在线| 国产高清不卡午夜福利| 国产伦理片在线播放av一区| 熟女av电影| 赤兔流量卡办理| 午夜福利一区二区在线看| 两个人免费观看高清视频| 亚洲精品久久成人aⅴ小说| 成年动漫av网址| 久久人人爽人人片av| 美国免费a级毛片| 欧美乱码精品一区二区三区| 亚洲欧美清纯卡通| 亚洲欧美清纯卡通| 亚洲精品成人av观看孕妇| 国产精品免费视频内射| www日本在线高清视频| 亚洲国产最新在线播放| 中文字幕av电影在线播放| 国产男女内射视频| 人人妻人人澡人人看| 免费在线观看黄色视频的| 成人黄色视频免费在线看| 亚洲七黄色美女视频| 国产一区二区三区综合在线观看| 涩涩av久久男人的天堂| 麻豆乱淫一区二区| 精品少妇久久久久久888优播| 国产成人91sexporn| 伊人亚洲综合成人网| 午夜福利,免费看| 天天躁狠狠躁夜夜躁狠狠躁| 日韩中文字幕欧美一区二区 | 国产精品免费视频内射| 一二三四在线观看免费中文在| 一本大道久久a久久精品| 老司机在亚洲福利影院| 高清欧美精品videossex| 91老司机精品| 欧美中文综合在线视频| 久久久国产一区二区| 亚洲七黄色美女视频| 1024视频免费在线观看| 欧美xxⅹ黑人| 久久婷婷青草| 丝袜脚勾引网站| 亚洲精品国产一区二区精华液| 国产成人91sexporn| 国产伦人伦偷精品视频| 一区福利在线观看| 久久久久久久大尺度免费视频| 国产在视频线精品| 久久久久精品久久久久真实原创| 精品久久久久久电影网| 亚洲美女黄色视频免费看| 国产成人啪精品午夜网站| 一区二区三区乱码不卡18| 999久久久国产精品视频| 亚洲,欧美精品.| 色精品久久人妻99蜜桃| 国产精品免费大片| 国产在视频线精品| 天天躁狠狠躁夜夜躁狠狠躁| 看免费成人av毛片| 51午夜福利影视在线观看| 岛国毛片在线播放| 五月开心婷婷网| 母亲3免费完整高清在线观看| 日韩制服骚丝袜av| 母亲3免费完整高清在线观看| 精品国产一区二区三区久久久樱花| 国产成人精品在线电影| 国产毛片在线视频| 亚洲精品中文字幕在线视频| 悠悠久久av| 国产亚洲午夜精品一区二区久久| 免费在线观看黄色视频的| 水蜜桃什么品种好| 女人爽到高潮嗷嗷叫在线视频| netflix在线观看网站| netflix在线观看网站| 亚洲精品日本国产第一区| 久久国产亚洲av麻豆专区| 亚洲婷婷狠狠爱综合网| 国产精品一区二区在线不卡| 国产成人欧美在线观看 | 麻豆乱淫一区二区| 美女视频免费永久观看网站| 国产精品蜜桃在线观看| 欧美日韩亚洲高清精品| 国产亚洲av片在线观看秒播厂| 久久精品人人爽人人爽视色| 色吧在线观看| 亚洲欧美清纯卡通| 一级爰片在线观看| 国产伦人伦偷精品视频| 色综合欧美亚洲国产小说| 精品国产国语对白av| 国产又爽黄色视频| 久久久亚洲精品成人影院| 亚洲欧洲精品一区二区精品久久久 | 久久毛片免费看一区二区三区| 免费高清在线观看日韩| 亚洲精品久久久久久婷婷小说| 国产极品粉嫩免费观看在线| 两个人看的免费小视频| 老司机亚洲免费影院| 亚洲精品中文字幕在线视频| 国产av一区二区精品久久| 亚洲成色77777| 在线观看免费日韩欧美大片| 久久久久视频综合| 青青草视频在线视频观看| 99久国产av精品国产电影| 涩涩av久久男人的天堂| 午夜福利免费观看在线| 夫妻午夜视频| 如何舔出高潮| 久久99一区二区三区| 黄片播放在线免费| avwww免费| 操出白浆在线播放| 少妇人妻精品综合一区二区| 精品国产一区二区三区久久久樱花| 久久ye,这里只有精品| 亚洲国产精品国产精品| 国产黄频视频在线观看| 曰老女人黄片| 亚洲人成77777在线视频| 国产片内射在线| 乱人伦中国视频| 久久久亚洲精品成人影院| 91精品伊人久久大香线蕉| 日韩欧美一区视频在线观看| 久久精品久久久久久噜噜老黄| 9热在线视频观看99| 久久鲁丝午夜福利片| 亚洲成国产人片在线观看| 麻豆精品久久久久久蜜桃| 久久国产精品大桥未久av| 成人三级做爰电影| 嫩草影视91久久| 欧美精品一区二区大全| 精品国产国语对白av| 欧美老熟妇乱子伦牲交| 最新在线观看一区二区三区 | 久久久久久人妻| 日韩人妻精品一区2区三区| 最近中文字幕高清免费大全6| 国产精品久久久av美女十八| 香蕉国产在线看| 久久久久网色| 免费高清在线观看日韩| 久久午夜综合久久蜜桃| 天天躁狠狠躁夜夜躁狠狠躁| 午夜老司机福利片| 久久久久久免费高清国产稀缺| 免费女性裸体啪啪无遮挡网站| 国产精品免费大片| 亚洲欧美色中文字幕在线| 69精品国产乱码久久久| 韩国高清视频一区二区三区| 国产有黄有色有爽视频| 看免费av毛片| 少妇被粗大的猛进出69影院| 成人国产av品久久久| 久久精品国产亚洲av高清一级| av国产精品久久久久影院| 日韩欧美一区视频在线观看| 自拍欧美九色日韩亚洲蝌蚪91| 亚洲专区中文字幕在线 | 嫩草影视91久久| 日韩大码丰满熟妇| 一边摸一边抽搐一进一出视频| 女性生殖器流出的白浆| 看免费av毛片| 国产毛片在线视频| 久久ye,这里只有精品| 亚洲欧美色中文字幕在线| 看非洲黑人一级黄片| 亚洲欧美日韩另类电影网站| 男女下面插进去视频免费观看| 丝袜美足系列| 在线天堂中文资源库| 精品一区在线观看国产| 青春草视频在线免费观看| 成人国产麻豆网| 国产亚洲一区二区精品| 丝袜人妻中文字幕| 亚洲欧美中文字幕日韩二区| 免费观看av网站的网址| 毛片一级片免费看久久久久| 精品少妇黑人巨大在线播放| 国产一区二区 视频在线| 美女中出高潮动态图| 99久久精品国产亚洲精品| 亚洲国产欧美日韩在线播放| 黄片无遮挡物在线观看| 亚洲三区欧美一区| 男女边摸边吃奶| 亚洲四区av| 国产精品一区二区在线观看99| 天堂8中文在线网| 久久精品熟女亚洲av麻豆精品| av片东京热男人的天堂| 伊人久久国产一区二区| 夜夜骑夜夜射夜夜干| 蜜桃在线观看..| 中文字幕色久视频| 一个人免费看片子| 一本—道久久a久久精品蜜桃钙片| 亚洲五月色婷婷综合| 性高湖久久久久久久久免费观看| 最新在线观看一区二区三区 | 亚洲激情五月婷婷啪啪| 成人影院久久| 飞空精品影院首页| 亚洲国产精品999| 久久久久久久久久久久大奶| 日韩大片免费观看网站| av天堂久久9| 另类精品久久| 亚洲精品一二三| 免费高清在线观看视频在线观看| 777米奇影视久久| 国产片特级美女逼逼视频| 人妻 亚洲 视频| 交换朋友夫妻互换小说| 免费观看性生交大片5| 老熟女久久久| 一级片免费观看大全| 自拍欧美九色日韩亚洲蝌蚪91| 性色av一级| 亚洲久久久国产精品| 多毛熟女@视频| 免费黄频网站在线观看国产| 成人国语在线视频| 丁香六月天网| 亚洲精品乱久久久久久| 国产精品麻豆人妻色哟哟久久| 又大又黄又爽视频免费| 国产深夜福利视频在线观看| 精品久久久久久电影网| 亚洲美女搞黄在线观看| 精品一区二区三区四区五区乱码 | 波多野结衣av一区二区av| 久久久久精品久久久久真实原创| 久久久久久久大尺度免费视频| 久久性视频一级片| 丰满饥渴人妻一区二区三| 一级,二级,三级黄色视频| 无限看片的www在线观看| 大香蕉久久网| 亚洲成人手机| 欧美日韩综合久久久久久| 丁香六月欧美| 九草在线视频观看| 亚洲精品av麻豆狂野| 午夜福利,免费看| 中国国产av一级| 少妇被粗大的猛进出69影院| www.熟女人妻精品国产| 少妇被粗大的猛进出69影院| 制服人妻中文乱码| 国产精品国产av在线观看| 欧美国产精品一级二级三级| 久久久精品免费免费高清| 爱豆传媒免费全集在线观看| 一个人免费看片子| 女人精品久久久久毛片| 国产一区有黄有色的免费视频| 91aial.com中文字幕在线观看| 一二三四在线观看免费中文在| 男的添女的下面高潮视频| 日本欧美国产在线视频| 欧美精品一区二区大全| 9热在线视频观看99| 国产女主播在线喷水免费视频网站| 99久国产av精品国产电影| 亚洲第一区二区三区不卡| 咕卡用的链子| 你懂的网址亚洲精品在线观看| 咕卡用的链子| 亚洲欧美一区二区三区黑人| a 毛片基地| 高清黄色对白视频在线免费看| 日本欧美国产在线视频| 美女大奶头黄色视频| 久久久久网色| 亚洲精品自拍成人| 热re99久久精品国产66热6| 青草久久国产| 婷婷成人精品国产| bbb黄色大片| 丝瓜视频免费看黄片| 久久久久精品久久久久真实原创| 日日啪夜夜爽| 精品午夜福利在线看| 国产xxxxx性猛交| 成年女人毛片免费观看观看9 | 午夜福利乱码中文字幕| 欧美国产精品一级二级三级| 国产伦理片在线播放av一区| 久久97久久精品| av有码第一页| 美国免费a级毛片| 男女之事视频高清在线观看 | 麻豆乱淫一区二区| 国产 一区精品| 久久久久久久大尺度免费视频| 日韩伦理黄色片| 丝瓜视频免费看黄片| 亚洲伊人久久精品综合| 国产日韩欧美在线精品| 高清av免费在线| 国产av一区二区精品久久| 中文字幕最新亚洲高清| 日本黄色日本黄色录像| 91精品伊人久久大香线蕉| 免费高清在线观看日韩| 最近手机中文字幕大全| 欧美精品人与动牲交sv欧美| 秋霞在线观看毛片| 日本午夜av视频| 亚洲国产成人一精品久久久| 99久久精品国产亚洲精品| tube8黄色片| av网站在线播放免费| 久久精品aⅴ一区二区三区四区| 国产片内射在线| 一本一本久久a久久精品综合妖精| xxxhd国产人妻xxx| 90打野战视频偷拍视频| 夜夜骑夜夜射夜夜干| 国产成人精品久久二区二区91 | 黄频高清免费视频| 欧美国产精品va在线观看不卡| 中文天堂在线官网| 激情视频va一区二区三区| 观看av在线不卡| 黑人巨大精品欧美一区二区蜜桃| 日韩大片免费观看网站| 人妻 亚洲 视频| 精品第一国产精品| 看十八女毛片水多多多| 一本久久精品| 日韩一本色道免费dvd| 韩国高清视频一区二区三区| 成人国产麻豆网| 精品亚洲成国产av| 国产亚洲欧美精品永久| 久久亚洲国产成人精品v| 久久青草综合色| 午夜福利在线免费观看网站| 国产片特级美女逼逼视频| 亚洲一区二区三区欧美精品| 国产精品蜜桃在线观看| 最近最新中文字幕免费大全7| 国产精品香港三级国产av潘金莲 | 亚洲五月色婷婷综合| 制服诱惑二区| 精品亚洲成a人片在线观看| 国产亚洲av片在线观看秒播厂| 人成视频在线观看免费观看| 欧美乱码精品一区二区三区| 考比视频在线观看| 女人精品久久久久毛片| 国产爽快片一区二区三区| 亚洲精品久久久久久婷婷小说| 午夜福利影视在线免费观看| 19禁男女啪啪无遮挡网站| 搡老乐熟女国产| 午夜免费观看性视频| 国产精品人妻久久久影院| 高清在线视频一区二区三区| 欧美人与性动交α欧美精品济南到| 久久久久国产精品人妻一区二区| 亚洲第一区二区三区不卡| netflix在线观看网站| 啦啦啦 在线观看视频| 久久久久久久久免费视频了| 热99久久久久精品小说推荐| 亚洲综合色网址| 国产日韩欧美亚洲二区| 亚洲欧美成人综合另类久久久| 国产精品蜜桃在线观看| 亚洲精品日韩在线中文字幕| 水蜜桃什么品种好| 欧美精品人与动牲交sv欧美| av女优亚洲男人天堂| 久久99一区二区三区| 超碰成人久久| 国产伦人伦偷精品视频| 777久久人妻少妇嫩草av网站| 免费人妻精品一区二区三区视频| 亚洲精品国产区一区二| 桃花免费在线播放| 另类亚洲欧美激情| av国产精品久久久久影院| 欧美激情高清一区二区三区 | 久久性视频一级片| 精品人妻一区二区三区麻豆| 丰满乱子伦码专区| 啦啦啦 在线观看视频| 中文字幕精品免费在线观看视频| 汤姆久久久久久久影院中文字幕| 九九爱精品视频在线观看| 啦啦啦在线观看免费高清www| 国产伦理片在线播放av一区| 99九九在线精品视频| 久久久久久久久久久久大奶| 久久久久久久大尺度免费视频| 日韩中文字幕视频在线看片| 欧美黄色片欧美黄色片| 丰满少妇做爰视频| 亚洲精品aⅴ在线观看| 天堂俺去俺来也www色官网| 日韩制服骚丝袜av| 一区福利在线观看| 国精品久久久久久国模美| 男女之事视频高清在线观看 | 韩国精品一区二区三区| 国产亚洲午夜精品一区二区久久| 精品人妻熟女毛片av久久网站| 婷婷色综合www| 汤姆久久久久久久影院中文字幕| 亚洲国产精品国产精品| 国产人伦9x9x在线观看| 午夜福利免费观看在线| 久热爱精品视频在线9| 国产国语露脸激情在线看| 国产又爽黄色视频| 看免费av毛片| 亚洲av日韩在线播放| 亚洲精品中文字幕在线视频| 中文字幕色久视频| 亚洲男人天堂网一区| 啦啦啦在线免费观看视频4| 欧美日韩亚洲综合一区二区三区_| 国产黄色视频一区二区在线观看| 日韩不卡一区二区三区视频在线| 国产淫语在线视频| 久久国产亚洲av麻豆专区| 亚洲av日韩在线播放| 国产精品久久久久久久久免| 日韩中文字幕视频在线看片| 十八禁网站网址无遮挡| 在线 av 中文字幕| 成人黄色视频免费在线看| 久久久国产欧美日韩av| 中国国产av一级| 美女脱内裤让男人舔精品视频| 一边摸一边做爽爽视频免费| 一级毛片 在线播放| 国产伦理片在线播放av一区| 一本大道久久a久久精品| 两性夫妻黄色片| 午夜影院在线不卡| 亚洲 欧美一区二区三区| 国产女主播在线喷水免费视频网站| 欧美成人精品欧美一级黄| 国产97色在线日韩免费| 亚洲,欧美,日韩| 亚洲精品国产av成人精品| 两性夫妻黄色片| 在线观看一区二区三区激情| 啦啦啦中文免费视频观看日本| 亚洲av日韩在线播放| 女人被躁到高潮嗷嗷叫费观| 午夜久久久在线观看| 黄色视频不卡| 最近2019中文字幕mv第一页| 日韩一卡2卡3卡4卡2021年| 国产午夜精品一二区理论片| 丝袜美足系列| av在线观看视频网站免费| 免费黄频网站在线观看国产| 日本av手机在线免费观看| 午夜福利网站1000一区二区三区| 亚洲专区中文字幕在线 | 大香蕉久久网| 一级a爱视频在线免费观看| 一区二区av电影网| 午夜福利一区二区在线看| netflix在线观看网站| 国产精品偷伦视频观看了| 一级爰片在线观看| 亚洲精品久久午夜乱码| 国产成人精品无人区| 久久久久久人妻| 国产视频首页在线观看| 欧美日韩一区二区视频在线观看视频在线| 久久久精品区二区三区| 又粗又硬又长又爽又黄的视频| 日韩,欧美,国产一区二区三区| 在线 av 中文字幕| 精品国产一区二区久久| 国产又色又爽无遮挡免| 咕卡用的链子| 波多野结衣一区麻豆| 欧美黑人精品巨大| 色播在线永久视频| 丝袜人妻中文字幕| 国产精品久久久av美女十八| 久久99热这里只频精品6学生| 国产成人精品久久二区二区91 | 日本av免费视频播放| 精品视频人人做人人爽| 国产免费一区二区三区四区乱码| 成人手机av| 成年动漫av网址| 欧美日韩国产mv在线观看视频| 国产精品无大码| h视频一区二区三区| 亚洲国产最新在线播放| 亚洲熟女精品中文字幕| 国产av一区二区精品久久| 日韩免费高清中文字幕av| 最黄视频免费看| 亚洲精华国产精华液的使用体验| 欧美乱码精品一区二区三区| 日本色播在线视频| 成年动漫av网址| 一区二区三区乱码不卡18| av免费观看日本| 国产又色又爽无遮挡免| 欧美国产精品va在线观看不卡| 看非洲黑人一级黄片|