• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    面向CLAIMS基于Smart物化策略的列存儲設計與實現

    2017-09-22 09:28:10張晗周敏奇
    關鍵詞:元組列式物化

    張晗,周敏奇

    (華東師范大學數據科學與工程學院,上海200062)

    面向CLAIMS基于Smart物化策略的列存儲設計與實現

    張晗,周敏奇

    (華東師范大學數據科學與工程學院,上海200062)

    物化是列存儲數據庫查詢中必不可少的操作,物化策略和物化技術在查詢執(zhí)行過程中起著至關重要的作用.因此設計一種針對列存儲數據庫的物化策略尤為重要.提前物化生成的元組中存在無關屬性;而延遲物化對選擇率較高的查詢可能無法優(yōu)化其性能,且某些列會被訪問多次.針對以上缺點,本文提出了有別于上述兩種策略的策略——Smart物化策略.本文提出了在邏輯查詢計劃中使用結構——projection,該結構是由用戶選取查詢所需的屬性來生成的,相當于對全表進行物理上的切分;在查詢開始時,能減少直接加載到內存的數據量,避免額外的開銷.在構建邏輯查詢計劃過程中,Smart物化策略將projection作為掃描操作標準來對數據進行按列劃分,根據一組語句集中對列訪問的相關性來對下一次查詢所需要的列進行預測,將所需要的列加入到一個最合適的projection中來進行物化.本文通過在分布式內存數據庫CLAIMS上使用TPC-H數據集來驗證其有效性.

    projection;Smart物化;數據壓縮

    0 引言

    隨著互聯網技術的發(fā)展、計算機硬件的不斷更新、企業(yè)及政府信息化的不斷深入,行存儲數據庫所涉及應用的復雜性越來越高.海量數據管理、實時數據分析、商務智能、決策支持等應用對系統的可擴展性、數據分析的實時性提出了新的挑戰(zhàn).在實時海量數據分析方面,基于行存儲的傳統關系型數據庫技術逐漸顯得性能低下,并形成了數據處理技術的瓶頸,尤其是在超大數據集的匯總、關聯操作方面操作開銷越來越大.而列式數據庫系統采用基于按列存儲的存儲策略,適用于面向企業(yè)決策分析領域的實時數據分析處理,尤其在金融交易數據分析上應用廣泛.

    按列存儲在復雜數據查詢中,因其只讀取相關列的數據,大大減少內存數據量和I/O(Input/Output)開銷,從而提高了查詢的效率;同時,在列上建立索引使得信息檢索的速度達到秒級.數據壓縮是列存儲數據庫的顯著特點之一,通過算法將數據文件進行合理壓縮,減少存儲的數據量.現有列式存儲引擎C-store[1]可以直接對壓縮數據格式進行操作,減少了操作過程中的數據量,提高了讀操作的速度.對于現代CPU(Central Processing Unit)而言,CPU在緩存中找到有用的數據稱為命中;當緩存中沒有CPU所需的數據時(未命中),CPU才訪問內存.所以,CPU訪問內存的頻率越低(也稱未命中頻率),查詢的效率就越高,在列式數據庫中使用數據成組迭代技術有助于提高緩存的命中.同時,列式存儲具有高度的可壓縮性,從而提高了CPU的吞吐量.延遲物化作為列式存儲的關鍵技術之一,其使得查詢引擎并不直接在物理上的數據進行操作,而是以指針形式處理數據,保證數據的完整輸出,盡可能地推遲構建元組的時間.然而物化作為影響列存儲數據庫的性能關鍵,最需要考慮的問題是何時將不同列組合構建成新的元組.提前物化會導致在構建過程中添加與查詢語句無關的屬性,而延遲物化通過推遲元組的構建,從而達到構建元組屬性最少、生成元組最少的效果;但是某些列會訪問兩次以上,浪費了CPU資源.針對上述問題,本文提出了一種Smart物化方式,不同于傳統的提前物化和延遲物化,該物化方式僅將相關屬性構建進元組中,同時在該策略中使用projection的結構來避免對某些列訪問兩次,造成CPU資源的浪費.本文主要貢獻在以下3個方面.

    (1)提出了一種新的物化策略—–Smart物化.

    (2)為CLAIMS系統底層設計列存儲引擎.

    (3)在CLAIMS系統上驗證Smart物化策略的有效性.

    論文的內容安排如下:第1節(jié)主要介紹列存儲數據庫使用的相關技術;第2節(jié)介紹現有列存儲數據庫中的物化策略;第3節(jié)介紹基于Smart物化的優(yōu)化方案;第4節(jié)主要針對基準數據集TPC-H與不同的分布式內存計算模型進行性能對比;第5節(jié)總結Smart物化策略在數據分析系統以及CLAIMS系統上性能的提升.

    1 相關工作與技術

    按列存儲的概念早在1985年的論文[2]中即已提出,簡稱DSM(A Decomposition Storage Model),是列數據庫的雛形,但是這種技術在當時并沒有得到足夠的重視.近些年來,在以Michael Stonebraker、Daniel J.Abadi、Peter Boncz為首的一批專家的大力提倡下,圍繞列存儲數據庫的商業(yè)價值以及列數據庫主要關鍵技術(包括存儲壓縮、延時物化、成組疊代、查詢優(yōu)化、索引、加密等)的研究和應用快速發(fā)展,在金融數據分析領域開辟出了一條新道路.文獻[3]明確指出,在不斷變化的時代中,指望一個數據庫產品就能夠一統天下的日子已經一去不復還了.目前開源列數據庫有C–Store、rasdaman、MonetDB等,商用列數據庫有Sybase IQ、Vertica Analytic Database、ParAccel Analytic Database、EXASOL EXASolution等.

    1.1 數據壓縮

    在當前計算速度快速增長的時代,I/O漸漸成為硬件瓶頸,計算帶寬遠遠高于I/O帶寬,盡管數據存儲的硬件從原先的普通硬盤SATA發(fā)展到SSD,數據持久化方式從HDFS發(fā)展到內存中的mem-cache,I/O的劣勢仍然明顯.雖然在現有數據庫中使用了多種方式來平衡計算與I/O速度的差距,但是考慮到商用的使用環(huán)境,將數據進行壓縮仍顯得尤為必要[4-5].

    公式(1)說明了數據壓縮的必要性,同時性能指標如下.

    其中,B為I/O帶寬,C r表示壓縮比,Q為查詢帶寬,D為解壓縮帶寬,R為生成結果的帶寬,B C r表示數據傳輸的帶寬,即表示數據處理過程的帶寬.查詢過程中主要分為兩個階段,數據傳輸階段和數據處理階段.數據傳輸主要的瓶頸是I/O,在分布式情況下網絡傳輸也作為衡量指標;數據處理細分為兩個階段,數據解壓縮和數據查詢,這個階段主要的開銷在于CPU的處理速度上.這兩個階段與生產者和消費者模型類似,哪個環(huán)節(jié)慢就會拖累整個過程,并成為生成結果的帶寬.當I/O為瓶頸時,數據傳輸的開銷會更大,此時CPU會等待數據從磁盤導入到內存中,對數據進行解壓縮.此外當集群計算資源不足時,解壓縮速度越快,查詢時間也越短.但在計算資源富足時,則壓縮比越大越好.使用專門針對列式存儲的壓縮算法,有助于執(zhí)行引擎直接對壓縮數據進行操作.在開源的存儲引擎parquet、ORC中,都將數據壓縮作為必要的操作.

    1.1.1 字典壓縮

    字典壓縮模式可能是在當今數據庫中最為常見的一種壓縮模式.通過這種方式可以將經常使用的模式替換成很小的編碼,建立編碼與被替換的模式之間的映射關系,將這樣的映射關系作為字典進行查詢.如圖1所示.

    字典壓縮的優(yōu)勢是將每個屬性的內容映射成簡短的編碼,以此來調高屬性元素的頻繁度.如果在列上建立索引,可將不同元組屬性中的相同成分保存在同一條目中,減少保存元組所需要的條目.

    然而列式存儲的字典壓縮也存在一定缺陷,例如,基準測試集TPC-H中的大表LINEITEM中的屬性L EXTENDEDPRICE,經由字典壓縮后,生成的字典表的耗時較大,增加了額外的開銷.

    圖1 字典編碼Fig.1 Dictionary coding

    1.1.2 行程編碼

    行程編碼將列中相同元素統一轉換成一個值進行表示,這種方案比較適合已經排過序且大小比較合理的列,通過三元組進行管理(值、起始位置、長度).

    如果使用行存儲,那么存儲的數據必須是稀疏的或是大量重復的數據,否則產生的三元組的數量將會接近元組的數量,產生更大的額外開銷.面對TPC-H數據集,該編碼幫助減少的數據量也非常有限.它比較適用于已經排好序的、包含極少不同元素的列存儲數據,比如交易操作的數據集.

    1.1.3 位圖編碼

    當列中的元素個數有限時,位圖編碼更為合適.該方法通過0或1來表示元素在某位置上是否存在來進行編碼,將元組轉換成為二元組的形式(元素值、表示出現位置的位圖).行存儲利用這種編碼方式來生成索引,來提高查詢速度.相比較行存儲,列式存儲更為直接的將數據進行轉換和去重.在無序和較少不同元素的列中,位圖編碼發(fā)揮的作用更大.然而當數據選擇率高時,生成的位圖會更加稀疏,不利于存儲.所以使用位圖編碼時,應該更加慎重考慮使用場景.

    1.1.4 輕量級壓縮

    字典壓縮、行程編碼、位圖編碼等3種壓縮方式,對按列存儲的數據格式的優(yōu)化簡單而直接,然而各自都存在缺點.針對測試數據集TPC-H來說,LINEITEM中的屬性L EXTENDEDPRICE不管用哪種壓縮方式都不能將壓縮比提高到0.4.面對較大的數據量,需要使用通用壓縮的方法以將該列切分成數據塊進行壓縮.相比較重量級壓縮,通用壓縮雖然不能極大地壓縮數據達到最好的壓縮比,但極快的解壓縮速度是其優(yōu)點.在優(yōu)化分布式數據庫的網絡方面,解壓縮速度是作為考慮的因素.Snappy[6]壓縮具有較快的速度、高穩(wěn)定性和較好的魯棒性,其壓縮速度可達到250 MB/s,無需匯編代碼.Google數據中心大量使用了該算法進行壓縮,壓縮數據達到PB級,可以保證其穩(wěn)定性.我們選用該壓縮算法作為CLAIMS系統壓縮方案中的一個算法.

    1.2 分布式內存數據庫CLAIMS

    CLAIMS是分布式內存OLAP系統,主要提供高可用的實時查詢和數據的實時注入.作為關系型數據庫,支持SQL92標準,設計采用傳統迭代器模型并使用彈性流水線并發(fā)提高查詢速度[7].作為內存數據庫,CLAIMS將數據加載到內存中駐存,數據在內存中進行計算,避免了多余的I/O開銷[8].作為分布式數據庫,CLAIMS采用主從節(jié)點的模式(Master/Salve),集群中有唯一的主節(jié)點作為任務的調度者,主要負責接收SQL語句,解析并生成查詢計劃樹,通過任務調度器將任務分發(fā)給其他從節(jié)點,收集并匯總從節(jié)點返回的結果信息;從節(jié)點主要計算主節(jié)點分發(fā)的任務,并將執(zhí)行結果返回給主節(jié)點.

    主節(jié)點(Master)由SQL解析器(SQL Parser)、查詢優(yōu)化器(Query optimizer)、元數據管理器(Catalog)、資源管理器(Resource)、任務調度器(Scheduler)、協調器(Coordinator)等6個部件組成;而從節(jié)點(Salves)主要包括執(zhí)行器(Executor)、資源管理器(Resource)、本機調度器(Coordinator)和存儲引擎(Stroage)等4部分.如圖2所示.

    圖2 CLAIMS架構Fig.2 The architecture of CLAIMS

    2 列存儲數據庫中的物化策略

    本文在實現的物化方案中智能地調整元組構建所需的屬性,使其物化產生的元組在一系列查詢語句中達到較好的效果.

    執(zhí)行一個查詢計劃的原始方法是對運算進行適當的排序,并且將每個運算的結果存儲在磁盤上直到它被另一個運算所需要,這種策略叫做物化.在現今硬件技術的發(fā)展下存儲設備單位價格降低,大容量內存成為可能,因此可以將較大的中間結果物化到內存中,以此來提高查詢性能.物化技術作為提高數據庫查詢性能的重要手段是數據庫領域研究的熱點,例如Vertica通過對延遲物化和提前物化這兩種物化策略的權衡,選擇代價較低的物化策略,來提高查詢速度.本文通過分析大數據的數據特征以及影響物化的操作、查詢語句的頻率和列與列之間的相關性,提出基于列存儲的分布式內存數據系統的物化策略.

    2.1 提前物化

    提前物化是盡可能早的構建元組,以便在查詢計劃中生成需要的元組值.在列存儲數據庫中,列數據將被加載到內存中進行解壓縮,并被拼接成行數據.提前物化的好處是,列在查詢過程中被訪問,將其直接物化到中間結果中,減少了額外訪問的開銷.但會帶來以下問題:所有數據都被解壓縮;無關屬性添加到元組增加了查詢的開銷;內存資源不足.

    2.2 延遲物化

    延遲物化針對壓縮的列式數據有著很高的性能,例如列數據庫c-store中所實現的列式查詢引擎可以直接針對壓縮數據進行操作[9].同時,延遲物化能在查詢計劃中推遲構建元組時間,以生成較少的元組,提高查詢速度.由Daniel的文章[10]中可以知道在查詢中延遲物化的效果會更加好,特別是復雜查詢語句.在列式執(zhí)行引擎中,join操作最為影響性能,尤其是有很高選擇率的join操作或者join操作生成的結果接著進行聚合操作的情況,而針對復雜join操作使用延遲物化策略能夠得到良好的性能.但是延遲物化也有一定缺陷,它會在查詢計劃中導致某些列被多次訪問.假設某列首先通過匹配謂詞來獲得位置信息,然后再次訪問來獲取值;當查詢過程中沒有使用到索引時,列是被訪問了兩次,例如在join操作之后再進行排序就會造成額外的成本開銷.即使在查詢過程中使用流水線模式和高速緩存,CPU的計算資源依然會有一部分浪費在查找數據塊位置上.具體見算法1.

    上述算法表述:從判定條件的條件F中,將條件所在的列分別用位向量選擇標定;生成的位向量與相關列進行邏輯與運算;根據之后生成的查詢結果物化元組,如果SQL語句中有聚集操作,需將物化的元組進行聚集操作;生成最后的結果.

    3 Smart物化

    針對前兩種物化策略的缺陷進行優(yōu)化的Smart物化是基于動態(tài)projection來進行物化的策略.基于動態(tài)projection的關系型數據庫可以選擇查詢樹中任何一個算子進行物化操作.在查詢計劃樹中向上迭代邏輯projection,直到在任何需要的算子位置進行物化[11-12].該物化策略在行存儲CLAIMS系統進行驗證.

    3.1 projection

    CLAIMS系統中存在名為projection的結構,實際上是一種在行式存儲中減少數據量的結構.在數據注入這一過程中,根據建表與構建projection的信息,將元組按照用戶自定義projection所含有的屬性成分生成新的元組[13],以此來避免過多不必要的數據加載到內存中,將內存池的大小控制在一個可控的范圍內,不會使得某一臺機器因為內存不足而宕機

    在同一表上會有多個projection,projection是行存儲直接進行物化的標準,每一個projection在數據注入階段,都會生成一個符合自己模式(schema)的元組.這就導致同一元組的不同屬性可能會落盤多次,數據在內存中產生了冗余,大大浪費存儲空間;而頻繁地執(zhí)行換入換出策略將產生大量的I/O操作,降低了查詢速度[14].

    圖3 projection的結構Fig.3 The structure of projection

    為了解決上述問題,本文將數據由行存儲轉換成列存儲,將projection僅僅作為邏輯結構在查詢樹中向上迭代,根據查詢優(yōu)化器執(zhí)行列剪枝,將邏輯結構的projection中的屬性不斷優(yōu)化,減少所需要的屬性個數.為了保證數據可以復用,根據一段時間內輸入的查詢語句生成最優(yōu)的projection,將projection中對應的列式結構進行物化,從而降低數據的選擇率,減少數據量,加快查詢速度.

    盡管在邏輯查詢計劃中以projection進行操作的,但實際上底層數據存儲的形式是按照列進行存儲的,projection只是持有屬性的元數據,因此在同一個表構建多個projection時,內存僅僅維護一份數據,在確定物化的時機時,會生成最優(yōu)的projection;同時底層文件系統存儲的列式結構數據將根據最優(yōu)的projection生成數據并物化到內存中.

    3.2 底層列式數據結構

    目前Hbase以及Facebook開發(fā)的persto數據庫的底層設計都是列簇的形式.列簇不是將元組拆分成單列,而是將多列以簇的形式作為整體進行管理.Hbase表中的每一列,都歸屬于某一列簇,而列簇僅僅是表的一部分.projection由原來的全表部分屬性的組合,重新定義為列簇.細化projection的投影范圍,將原有projection由列簇projection替代.

    圖4 projection中的列簇Fig.4 The family of column in projection

    3.3 動態(tài)projection算法

    根據每次查詢產生的查詢樹,向上迭代projection得到最優(yōu)projection[15],將其物化結果存放在內存中.而當同一組的每條查詢語句得到的最優(yōu)projection相差不大時,則生成最大包含的projection,以保證每條語句所需要的列信息都囊括在當前的projection中.然而這會造成projection漸漸擴張成為全表的projection,這樣就無法減少數據選擇率.

    針對projection的動態(tài)生成,需要檢測查詢語句與projection中列的相關性.通過每次查詢產生需要的列來與全表中列進行權重的更新.我們選取權重較大,且相差不多的列生成projection.具體見算法2.

    對于每一條屬于Q中的q來說,參考表中屬性進行聚類,并分配到第i個簇中.通過與簇中語句進行比較距離,距離主要是兩條SQL語句中相同屬性的個數來確定.如果語句q與ri屬性有差距不大,那么將不相同的屬性設置一個權重添加到第i個簇中.每一個簇中的屬性列表就是構成projection的參考.使用貪心算法確定ri中的哪些屬性應該用來動態(tài)生成projection.

    根據查詢語句的不斷變化,該算法將延遲地改變projection的屬性.projection在擴張與收縮的物化過程中,一直保留一份projection,此方案減少了內存中冗余的數據,同時也減少了I/O操作,其代價的僅為內存中元組切分或拼接的操作,顯然開銷是微不足道的.

    4 實驗

    4.1 實驗環(huán)境

    基于CentOS release 6.5(Final)系統,CPU型號為Intel(R)Xeon(R)CPU E5-2620 0@ 2.00 GHz,雙路,共12核,可超線程到24核,每各節(jié)點擁有165 G的內存和1T大小的硬盤,每個節(jié)點之間通過千兆網進行互聯.選取標準的基準數據TPC-H進行測試,分別測試擴展因子為1、10以及100的數據,其中TPC-H數據集有8個事實表.TPC-H是用3NF實現的,TPC-H基準測試的度量單位是每小時執(zhí)行的查詢數—–QphH@size,其中,Qph是Query-per-hour(每小時查詢),H表示每小時系統執(zhí)行復雜查詢的平均次數,size表示數據庫規(guī)模的大小,它能夠反映出系統在處理查詢時的能力[16].

    4.2 實驗設計

    本文將Smart物化實現于分布式內存關系型數據庫CLAIMS上,以此來進行其性能評估. CLAIMS是開源的分布式內存數據庫,運行在NUMA架構的集群上,支持數據實時注入和實時查詢.列式存儲的缺點是在寫過程中增加了拆分元組的操作,增加了CPU的開銷,而在讀操作上進行了優(yōu)化.同時,數據在內存中的復用也作為性能考核的指標,不過內存中數據的復用是顯然的,隨著構建projection的增加,先前版本會不斷地增加數據量,造成內存和磁盤上的數據膨脹,同時頻繁的換入換出也增加了I/O的開銷.

    實驗1:將列式版本與之前版本進行內存中數據量的比對

    在CLAIMS上構建全表大小的projection以及不同種的projection,原CLAIMS以行的形式存儲,必然會造成數據的冗余,從而增加了內存的負擔以及I/O開銷.圖中可以看到數據量在列式的情況下并沒有多余的增長,而原CLAIMS內存中的數據在不斷的膨脹.同時操作系統也會頻繁地進行換入換出操作,降低查詢效率.

    圖5 內存中的數據量Fig.5 The delay of three materialization strategies in di ff erent query

    表1 在不同SQL語句中3種物化策略的時延Tab.1 Simulation results of parametric estimation

    通過比較表中查詢語句的結果可以得出,Smart物化在初期的物化時延其實與延遲物化是一樣的.但隨著查詢語句間相關性的比對,projection將被保持在一個最大包含的相關屬性的范圍內,在后期則不再需要進行物化操作,而能將之前生成好的元組直接給下一次查詢進行使用,減少了I/O以及物化的開銷;同時如果某一列的權重過低,Smart物化策略會重新進行物化,排除掉這一列.

    5 結論

    CLAIMS系統當前版本并不支持列式存儲的格式,同時數據會在構建表的過程中造成冗余. Smart物化策略解決了列數據在何時物化成元組,同時Smart物化能盡量減少物化過程中的元組數量.在不同的執(zhí)行語句中,不同的選擇率導致需求的projection不盡相同,但是通過動態(tài)收縮projection的大小,物化過程中元組的數據量大小能夠得以維護.

    [1]STONEBRAKER M,ABADI D J,BATKIN A,et al.C-store:A column-oriented DBMS[C]//International Conference on Very Large Data Bases.DBLP,2005:553-564.

    [2]COPELAND G P,KHOSHAFIAN S N.A decomposition storage model[C]//ACM SIGMOD International Conference on Management of Data.ACM,1985:268-279.

    [3]STONEBRAKER M,ETINTEMEL U.“One Size Fits All”:An idea whose time has come and gone[C]// International Conference on Data Engineering.IEEE,2005:2-11.

    [4]CORMACK G V.Data compression on a database system[J].Communications of the ACM,1985,28(12): 1336-1342.

    [5]黃鵬,李占山,張永剛,等.基于列存儲數據庫的壓縮態(tài)數據訪問算法[J].吉林大學學報(理學版),2009,47(5):1013-1019.

    [6]Google Snappy[EB/OL].[2017-04-01].https://github.com/google/snappy.

    [7]WANG L,ZHOU M,ZHANG Z,et al.Elastic pipelining in an in-memory database cluster[C]//ACM SIGMOD. ACM,2016:1279-1294.

    [8]SIKKA V,RBER F,GOEL A,et al.SAP HANA:The evolution from a modern main-memory data platform to an enterprise application platform[J].Proceedings of the Vldb Endowment,2013,6(11):1184-1185.

    [9]ABADI D,MADDEN S,FERREIRA M.Integrating compression and execution in column-oriented database systems[C]//ACM SIGMOD International Conference on Management of Data.DBLP,2006:671-682.

    [10]ABADI D J,MYERS D S,DEWITT D J,et al.Materialization strategies in a column-oriented DBMS[C]// 2007 IEEE 23rd International Conference on Data Engineering.IEEE,2007:466-475.

    [11]CORNELL D W,YU P S.An ef f ective approach to vertical partitioning for physical design of relational databases [J].IEEE Transactions on Software Engineering,1990,16(2):248-258.

    [12]BRYANT R E,HALLARON D R O’.深入理解計算機系統[M].龔奕利,雷迎春,譯.北京:機械工業(yè)出版社,2011.

    [13]IDREOS S,KERSTEN M L,MANEGOLD S.Self-organizing tuple reconstruction in column-stores[C]//ACM SIGMOD International Conference on Management of Data.ACM,2009:297-308.

    [14]楊傳輝.大規(guī)模分布式存儲系統[M].北京:機械工業(yè)出版社,2013.

    [15]BRUNO N,CHAUDHURI S.To tune or not to tune?:A lightweight physical design alerter[C]//International Conference on Very Large Data Bases.VLDB Endowment,2006:499-510.

    [16]TPC Benchmark H[EB/OL].[2017-04-01].http://www.tpc.org/tpch/.

    (責任編輯:李藝)

    Design and implementation of Smart materialization for column-store in CLAIMS

    ZHANG Han,ZHOU Min-qi
    (School of Data Science and Engineering,East China Normal University, Shanghai 200062,China)

    Materialization is a necessary operation in the process of query execution. Materialization strategy and materialization technology play an important role in the process of query execution.Therefore,it is necessary to design a materialization strategy for column-store database.According to the shortcomings of early materialization and later materialization,we provide a strategy named Smart materialization that are dif f erent from the two strategies mentioned above.Here we need to def i ne a concept in the logical query plan—projection,the structure is used to select the desired attributes,the physicaltable is cut by column,to ensure that the structure at the beginning of the query can reduce the direct load to memory of the amount of data,to avoid additional overhead.In the logical query plan,the projection is divided by columns,and the next required columns are predicted according to the relevance of the query in a set of queries,and the required columns are stabilized in one of the most appropriate projection.We use the data set of TPC-H to verify its validity worked on the disturbed in-memory database—CLAIMS.

    projection;Smart materialization;data compression

    TP311

    A

    10.3969/j.issn.1000-5641.2017.05.004

    1000-5641(2017)05-0030-10

    2017-06-19

    國家自然科學基金(61672233)

    張晗,男,碩士研究生,研究方向為內存數據庫系統.E-mail:chxiaoyifeng1992@gmail.com.

    周敏奇,男,副教授,研究方向為對等計算、云計算、分布式數據管理、內存數據庫管理系統. E-mail:mqzhou@sei.ecnu.edu.cn.

    猜你喜歡
    元組列式物化
    Python核心語法
    電腦報(2021年14期)2021-06-28 10:46:22
    海量數據上有效的top-kSkyline查詢算法*
    基于減少檢索的負表約束優(yōu)化算法
    準確審題正確列式精確驗證
    教師·下(2017年10期)2017-12-10 12:35:13
    每筐多裝多少
    物的人化與人的物化——當代舞臺美術的表演
    檔案:一種物化的文化形態(tài)
    學習月刊(2015年16期)2015-07-09 05:39:16
    拋物化Navier-Stokes方程的降維仿真模型
    計算物理(2014年1期)2014-03-11 17:00:18
    面向數據流處理的元組跟蹤方法
    電信科學(2013年10期)2013-08-10 03:41:54
    讓課堂煥發(fā)創(chuàng)造活力
    精品一区二区三区视频在线| 国产高清三级在线| 国产精品久久久久久亚洲av鲁大| 欧美bdsm另类| 可以在线观看的亚洲视频| 国产亚洲精品久久久久久毛片| 淫秽高清视频在线观看| 中文字幕久久专区| 亚洲av.av天堂| 国产在视频线在精品| 3wmmmm亚洲av在线观看| 久久久久性生活片| 日韩免费av在线播放| 欧美xxxx黑人xx丫x性爽| 国产午夜精品论理片| 国产精品爽爽va在线观看网站| 特大巨黑吊av在线直播| 老熟妇仑乱视频hdxx| 在线观看午夜福利视频| 首页视频小说图片口味搜索| 一级黄色大片毛片| 精品免费久久久久久久清纯| 9191精品国产免费久久| 露出奶头的视频| 老师上课跳d突然被开到最大视频 久久午夜综合久久蜜桃 | 内地一区二区视频在线| 欧美bdsm另类| 久久伊人香网站| 国产91精品成人一区二区三区| 色综合欧美亚洲国产小说| 日本五十路高清| 久99久视频精品免费| 午夜福利高清视频| 久久久国产成人免费| 久久国产精品影院| 男女之事视频高清在线观看| 中文字幕av在线有码专区| 99在线人妻在线中文字幕| 国产探花在线观看一区二区| 国产精品三级大全| 在线播放无遮挡| 黄色视频,在线免费观看| 精品国内亚洲2022精品成人| 久久人人爽人人爽人人片va | 中文字幕久久专区| 午夜福利免费观看在线| av在线老鸭窝| 亚洲精品粉嫩美女一区| 亚洲美女搞黄在线观看 | 欧美绝顶高潮抽搐喷水| 国产亚洲精品久久久com| 国产黄a三级三级三级人| 自拍偷自拍亚洲精品老妇| 国产精品永久免费网站| 变态另类丝袜制服| 色5月婷婷丁香| 欧美黑人巨大hd| 成人特级黄色片久久久久久久| 午夜福利在线观看吧| 在线天堂最新版资源| 亚洲人与动物交配视频| 国产免费一级a男人的天堂| a级一级毛片免费在线观看| av黄色大香蕉| 午夜激情福利司机影院| 91久久精品国产一区二区成人| 午夜a级毛片| ponron亚洲| 别揉我奶头 嗯啊视频| 国产亚洲欧美在线一区二区| 亚洲午夜理论影院| 两个人视频免费观看高清| 久久国产精品影院| 嫩草影院入口| 精品国产亚洲在线| 久9热在线精品视频| 很黄的视频免费| 日本 av在线| 91麻豆av在线| 中文字幕人成人乱码亚洲影| 最近最新中文字幕大全电影3| 国产欧美日韩一区二区三| 中出人妻视频一区二区| 草草在线视频免费看| 免费人成在线观看视频色| 两个人视频免费观看高清| 身体一侧抽搐| 免费看日本二区| 亚洲av免费在线观看| 国产精品99久久久久久久久| 亚洲精品影视一区二区三区av| av福利片在线观看| 国产人妻一区二区三区在| 婷婷色综合大香蕉| 久久久精品大字幕| 嫩草影院新地址| 每晚都被弄得嗷嗷叫到高潮| 国产淫片久久久久久久久 | 国产乱人视频| 久久精品国产亚洲av天美| 丰满乱子伦码专区| 又紧又爽又黄一区二区| 男插女下体视频免费在线播放| 又紧又爽又黄一区二区| 99riav亚洲国产免费| 久久久久久九九精品二区国产| 国产中年淑女户外野战色| 一级a爱片免费观看的视频| 真实男女啪啪啪动态图| 天美传媒精品一区二区| 1000部很黄的大片| 日韩欧美在线二视频| 亚洲无线在线观看| 在线观看66精品国产| 一本一本综合久久| 亚洲成人精品中文字幕电影| 99热这里只有是精品50| av视频在线观看入口| 国产三级中文精品| 观看免费一级毛片| 国产高清有码在线观看视频| 91字幕亚洲| 国产成人欧美在线观看| 哪里可以看免费的av片| 国产精品国产高清国产av| 欧美日韩福利视频一区二区| 自拍偷自拍亚洲精品老妇| av在线老鸭窝| 国产精品久久久久久人妻精品电影| 亚洲欧美日韩东京热| 国产精品嫩草影院av在线观看 | 美女 人体艺术 gogo| 高清日韩中文字幕在线| 黄色一级大片看看| 亚洲成a人片在线一区二区| 午夜a级毛片| 亚洲,欧美,日韩| 精品熟女少妇八av免费久了| 美女免费视频网站| 亚洲成av人片在线播放无| www.熟女人妻精品国产| 在线十欧美十亚洲十日本专区| 久久国产精品人妻蜜桃| 久久久色成人| 国产精品久久视频播放| 国内毛片毛片毛片毛片毛片| 精品一区二区三区视频在线观看免费| 国产亚洲欧美98| 欧美一区二区亚洲| 人人妻人人澡欧美一区二区| 成人一区二区视频在线观看| 男插女下体视频免费在线播放| 成人三级黄色视频| 日韩欧美在线乱码| 国产成人aa在线观看| 麻豆国产97在线/欧美| 亚洲va日本ⅴa欧美va伊人久久| 人妻制服诱惑在线中文字幕| 97碰自拍视频| 午夜福利18| 最好的美女福利视频网| 久久久久久九九精品二区国产| av福利片在线观看| 久久国产精品影院| 永久网站在线| 看黄色毛片网站| 国产亚洲欧美在线一区二区| 免费av不卡在线播放| 桃色一区二区三区在线观看| 欧美性猛交╳xxx乱大交人| 亚洲自拍偷在线| 国内精品一区二区在线观看| 色av中文字幕| 国产精品久久视频播放| 欧美黄色片欧美黄色片| 三级国产精品欧美在线观看| 国产探花在线观看一区二区| bbb黄色大片| www.999成人在线观看| 一区二区三区激情视频| 欧美一级a爱片免费观看看| 国产淫片久久久久久久久 | 99在线人妻在线中文字幕| 国产精品综合久久久久久久免费| 乱码一卡2卡4卡精品| 国模一区二区三区四区视频| 美女黄网站色视频| 亚洲电影在线观看av| 亚洲欧美日韩高清在线视频| 免费搜索国产男女视频| 免费一级毛片在线播放高清视频| 欧美一区二区国产精品久久精品| 看十八女毛片水多多多| 桃色一区二区三区在线观看| 日韩欧美三级三区| 久久久久久久久中文| 观看美女的网站| 欧美区成人在线视频| 99久久精品国产亚洲精品| 亚洲乱码一区二区免费版| 日本黄色视频三级网站网址| 欧美另类亚洲清纯唯美| 深夜精品福利| 亚洲经典国产精华液单 | 久久精品国产99精品国产亚洲性色| 亚洲av二区三区四区| 精品日产1卡2卡| 国产精品爽爽va在线观看网站| 欧美日韩综合久久久久久 | 极品教师在线免费播放| 精品国产亚洲在线| 亚洲第一欧美日韩一区二区三区| 97超视频在线观看视频| av福利片在线观看| 成熟少妇高潮喷水视频| 黄色视频,在线免费观看| 日本成人三级电影网站| 色视频www国产| 成年女人永久免费观看视频| 国产av在哪里看| 99精品在免费线老司机午夜| 成人午夜高清在线视频| ponron亚洲| 精品国内亚洲2022精品成人| 欧美成人一区二区免费高清观看| 两个人的视频大全免费| www.熟女人妻精品国产| 亚洲av熟女| 国产精品一及| 欧美潮喷喷水| 国产成人影院久久av| 在线观看av片永久免费下载| 亚洲男人的天堂狠狠| 我要搜黄色片| 99国产精品一区二区三区| 国产精品嫩草影院av在线观看 | 亚洲成人精品中文字幕电影| 赤兔流量卡办理| 亚洲无线在线观看| 免费人成视频x8x8入口观看| 精品免费久久久久久久清纯| a级毛片a级免费在线| 亚洲无线在线观看| 欧美日韩福利视频一区二区| 久99久视频精品免费| 午夜免费激情av| 99国产精品一区二区蜜桃av| 久久精品夜夜夜夜夜久久蜜豆| 久久精品国产亚洲av涩爱 | 精品久久久久久成人av| 亚洲黑人精品在线| 久久欧美精品欧美久久欧美| 免费在线观看日本一区| 一区二区三区免费毛片| 男女下面进入的视频免费午夜| 1000部很黄的大片| 欧美日本亚洲视频在线播放| 波多野结衣高清无吗| 成人毛片a级毛片在线播放| 一区二区三区激情视频| 女同久久另类99精品国产91| 又黄又爽又免费观看的视频| 中文字幕久久专区| 51国产日韩欧美| 制服丝袜大香蕉在线| 丁香欧美五月| 丁香六月欧美| 中国美女看黄片| 亚洲国产精品999在线| 网址你懂的国产日韩在线| 亚洲人成网站在线播| 一区二区三区四区激情视频 | 国产一区二区在线观看日韩| 亚洲经典国产精华液单 | 精品久久久久久成人av| 国产高清有码在线观看视频| 男女做爰动态图高潮gif福利片| 波多野结衣巨乳人妻| 一级黄片播放器| 欧美性感艳星| 一区福利在线观看| 国产精品亚洲一级av第二区| 日韩欧美在线二视频| 中亚洲国语对白在线视频| 在线天堂最新版资源| 国产探花在线观看一区二区| 日本一二三区视频观看| 亚洲国产精品专区欧美| 国产精品99久久久久久久久| 97精品久久久久久久久久精品| 亚洲精品成人久久久久久| 一个人看的www免费观看视频| 国产精品久久久久久精品古装| 久久久久久久午夜电影| 两个人的视频大全免费| 国产成人a区在线观看| 美女内射精品一级片tv| 亚洲av免费在线观看| av.在线天堂| 午夜视频国产福利| 男人狂女人下面高潮的视频| 美女内射精品一级片tv| 97在线视频观看| 欧美精品一区二区大全| 国产高清三级在线| 最近手机中文字幕大全| 麻豆国产97在线/欧美| 亚洲精品亚洲一区二区| 伦精品一区二区三区| 国产日韩欧美亚洲二区| 人妻少妇偷人精品九色| 午夜免费鲁丝| av免费在线看不卡| freevideosex欧美| 久久久久国产网址| 国产成人a区在线观看| 三级国产精品片| 亚洲aⅴ乱码一区二区在线播放| 成人黄色视频免费在线看| 在线a可以看的网站| 亚洲人成网站在线播| 水蜜桃什么品种好| 亚洲色图综合在线观看| 九色成人免费人妻av| 欧美区成人在线视频| 午夜免费观看性视频| 国产精品蜜桃在线观看| 成人特级av手机在线观看| 亚洲精品aⅴ在线观看| 大香蕉久久网| 男人添女人高潮全过程视频| 国产v大片淫在线免费观看| 美女国产视频在线观看| 午夜福利在线在线| 岛国毛片在线播放| 亚洲三级黄色毛片| 嘟嘟电影网在线观看| 99久久精品国产国产毛片| av免费在线看不卡| 少妇人妻一区二区三区视频| 国产男女超爽视频在线观看| 亚洲av不卡在线观看| 亚洲欧美一区二区三区国产| 美女内射精品一级片tv| 国产高清国产精品国产三级 | 久久99精品国语久久久| 亚洲精品色激情综合| 日本av手机在线免费观看| 亚洲欧美日韩卡通动漫| 久久久精品欧美日韩精品| 69人妻影院| 成人无遮挡网站| 性色avwww在线观看| 激情五月婷婷亚洲| 国产精品一及| 午夜福利在线在线| 九草在线视频观看| 欧美日本视频| 热re99久久精品国产66热6| 禁无遮挡网站| 欧美国产精品一级二级三级 | 欧美xxⅹ黑人| 国产精品福利在线免费观看| 中文在线观看免费www的网站| 在线精品无人区一区二区三 | 午夜免费鲁丝| 男人狂女人下面高潮的视频| 久久久久国产网址| 亚洲精品乱码久久久久久按摩| 国产一区二区在线观看日韩| 大片电影免费在线观看免费| 国产av国产精品国产| 久久精品久久久久久久性| 大又大粗又爽又黄少妇毛片口| 亚洲精华国产精华液的使用体验| 免费av不卡在线播放| 亚洲天堂av无毛| 精品一区在线观看国产| 国产亚洲av嫩草精品影院| 晚上一个人看的免费电影| 精品视频人人做人人爽| 国产精品一区二区性色av| 777米奇影视久久| 99久国产av精品国产电影| 又黄又爽又刺激的免费视频.| 久久女婷五月综合色啪小说 | 熟妇人妻不卡中文字幕| 日韩电影二区| 一级毛片aaaaaa免费看小| 亚洲欧美一区二区三区黑人 | 菩萨蛮人人尽说江南好唐韦庄| 男的添女的下面高潮视频| 久久99热这里只有精品18| 一级毛片久久久久久久久女| 少妇熟女欧美另类| 91精品一卡2卡3卡4卡| 亚洲欧洲国产日韩| 嫩草影院新地址| 中文字幕制服av| 九草在线视频观看| 看非洲黑人一级黄片| 一二三四中文在线观看免费高清| 国产精品女同一区二区软件| 色视频www国产| 久久久久久久久久久丰满| 日韩,欧美,国产一区二区三区| 欧美日韩一区二区视频在线观看视频在线 | 99久久精品国产国产毛片| 人妻一区二区av| 亚洲怡红院男人天堂| 亚洲人与动物交配视频| 久久亚洲国产成人精品v| 日韩伦理黄色片| 国产片特级美女逼逼视频| 看免费成人av毛片| 久久久国产一区二区| 女人被狂操c到高潮| 欧美日韩一区二区视频在线观看视频在线 | 午夜日本视频在线| 一级毛片我不卡| 免费看光身美女| 少妇人妻久久综合中文| 久久精品国产亚洲网站| 成人黄色视频免费在线看| 最近2019中文字幕mv第一页| 精品国产露脸久久av麻豆| 亚洲av电影在线观看一区二区三区 | 亚洲精品一二三| 深爱激情五月婷婷| 夜夜爽夜夜爽视频| 91久久精品国产一区二区三区| 国产精品伦人一区二区| 成年版毛片免费区| 少妇人妻久久综合中文| 色网站视频免费| av黄色大香蕉| 特大巨黑吊av在线直播| 国产一区二区三区综合在线观看 | 国产老妇女一区| 国产国拍精品亚洲av在线观看| 狠狠精品人妻久久久久久综合| 内射极品少妇av片p| 日韩中字成人| 丝袜美腿在线中文| 亚洲久久久久久中文字幕| 日本-黄色视频高清免费观看| 青春草亚洲视频在线观看| 国产乱人偷精品视频| 搡女人真爽免费视频火全软件| 丰满少妇做爰视频| 亚洲欧洲日产国产| 韩国高清视频一区二区三区| 青春草国产在线视频| 天天一区二区日本电影三级| 成人亚洲欧美一区二区av| 九色成人免费人妻av| 男人爽女人下面视频在线观看| 亚洲图色成人| 国产成人精品福利久久| 搡女人真爽免费视频火全软件| 久久人人爽av亚洲精品天堂 | 国产成人免费无遮挡视频| 美女视频免费永久观看网站| 最近中文字幕2019免费版| 日日撸夜夜添| 少妇的逼好多水| 在线免费观看不下载黄p国产| av专区在线播放| 欧美日韩综合久久久久久| 一边亲一边摸免费视频| 欧美 日韩 精品 国产| 亚洲最大成人中文| 一本色道久久久久久精品综合| 久久精品国产亚洲网站| 永久免费av网站大全| 99久久精品国产国产毛片| 国产黄片美女视频| 精品一区在线观看国产| 国产免费又黄又爽又色| 久久久久久久久大av| 久久久久国产精品人妻一区二区| 亚洲精品日韩在线中文字幕| 久久久色成人| 91午夜精品亚洲一区二区三区| 97热精品久久久久久| 亚洲成人av在线免费| 欧美xxxx黑人xx丫x性爽| 熟女av电影| 久久97久久精品| 十八禁网站网址无遮挡 | 六月丁香七月| 永久网站在线| 亚洲四区av| 三级经典国产精品| 国产片特级美女逼逼视频| 国产成人精品久久久久久| 国产免费一区二区三区四区乱码| 免费观看av网站的网址| 久久国内精品自在自线图片| 最近中文字幕2019免费版| 中文乱码字字幕精品一区二区三区| 成人免费观看视频高清| 校园人妻丝袜中文字幕| 91狼人影院| 男男h啪啪无遮挡| 午夜视频国产福利| 亚洲内射少妇av| 日韩,欧美,国产一区二区三区| 91久久精品国产一区二区三区| 国产在线一区二区三区精| eeuss影院久久| 一本一本综合久久| 十八禁网站网址无遮挡 | 波多野结衣巨乳人妻| 美女国产视频在线观看| 新久久久久国产一级毛片| 免费av毛片视频| 18禁动态无遮挡网站| 国产亚洲5aaaaa淫片| 又爽又黄a免费视频| 一区二区av电影网| 久久久久久久久久久丰满| 久久久久久久午夜电影| tube8黄色片| 国产一区二区三区av在线| 91精品国产九色| 日韩三级伦理在线观看| 久久精品熟女亚洲av麻豆精品| 亚洲怡红院男人天堂| 中文字幕免费在线视频6| 18禁裸乳无遮挡动漫免费视频 | 99精国产麻豆久久婷婷| 日韩 亚洲 欧美在线| 日日啪夜夜撸| 一级黄片播放器| 99热网站在线观看| 久久精品国产a三级三级三级| 亚洲国产欧美在线一区| 在线观看一区二区三区激情| 18禁裸乳无遮挡动漫免费视频 | 在线 av 中文字幕| 国产精品福利在线免费观看| 久久久a久久爽久久v久久| 国产高清国产精品国产三级 | 国产淫语在线视频| 亚洲怡红院男人天堂| 国产v大片淫在线免费观看| 亚洲精品日韩在线中文字幕| 国产91av在线免费观看| 九色成人免费人妻av| 欧美人与善性xxx| 日本欧美国产在线视频| 精品人妻视频免费看| 国产一区有黄有色的免费视频| 国产亚洲午夜精品一区二区久久 | 亚洲婷婷狠狠爱综合网| 午夜福利在线在线| 欧美高清性xxxxhd video| 男女国产视频网站| 精品国产一区二区三区久久久樱花 | 久久99热这里只频精品6学生| 日本免费在线观看一区| 又爽又黄无遮挡网站| 免费不卡的大黄色大毛片视频在线观看| 97超碰精品成人国产| 日韩免费高清中文字幕av| 国产精品无大码| 午夜激情福利司机影院| 日本与韩国留学比较| 亚洲人与动物交配视频| 久久精品国产自在天天线| 亚洲久久久久久中文字幕| 国产成人91sexporn| av专区在线播放| 国国产精品蜜臀av免费| 精品国产一区二区三区久久久樱花 | 美女视频免费永久观看网站| 亚洲成人中文字幕在线播放| 久久精品夜色国产| 国产精品成人在线| 久久久久久久大尺度免费视频| 亚洲天堂av无毛| 亚洲精品中文字幕在线视频 | 一个人观看的视频www高清免费观看| 人妻夜夜爽99麻豆av| 一本一本综合久久| 99视频精品全部免费 在线| 天堂俺去俺来也www色官网| 免费观看a级毛片全部| a级一级毛片免费在线观看| 男女国产视频网站| 亚洲精品一二三| 国产精品熟女久久久久浪| 亚洲电影在线观看av| 91在线精品国自产拍蜜月| 欧美区成人在线视频| 国产精品精品国产色婷婷| 你懂的网址亚洲精品在线观看| 日韩免费高清中文字幕av| 国产高清不卡午夜福利| 亚洲婷婷狠狠爱综合网| 插逼视频在线观看| 久久久久精品性色| 只有这里有精品99| 免费观看的影片在线观看| 99久久九九国产精品国产免费| 一级二级三级毛片免费看| 国产精品一区二区在线观看99| 成人特级av手机在线观看| 国产 一区 欧美 日韩| 天天躁夜夜躁狠狠久久av| 日本黄大片高清| 国产亚洲精品久久久com| 91午夜精品亚洲一区二区三区| 热99国产精品久久久久久7|