• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于科學(xué)工作流的海量海底觀測數(shù)據(jù)處理研究

    2017-05-12 11:29:13宋靖東湯友華
    海洋技術(shù)學(xué)報(bào) 2017年2期
    關(guān)鍵詞:調(diào)用數(shù)據(jù)處理集群

    宋靖東,湯友華,李 秀,馬 輝

    (清華大學(xué)深圳研究生院 信息學(xué)部,廣東 深圳 518055)

    基于科學(xué)工作流的海量海底觀測數(shù)據(jù)處理研究

    宋靖東,湯友華,李 秀,馬 輝

    (清華大學(xué)深圳研究生院 信息學(xué)部,廣東 深圳 518055)

    近些年來,在處理由海底觀測網(wǎng)站收集到的龐大觀測數(shù)據(jù)的研究中,需引入新的科學(xué)工具來支持所需的高性能分布式計(jì)算環(huán)境。而科學(xué)工作流在先進(jìn)信息基礎(chǔ)設(shè)施研究中得到廣泛重視,成為未來科研環(huán)境的具體實(shí)現(xiàn)工具。針對這一問題,提出了基于Kepler科學(xué)工作流的海量海底觀測數(shù)據(jù)處理解決方案,并且研究了系統(tǒng)調(diào)用Hadoop集群進(jìn)行海量數(shù)據(jù)處理的兩種方式及其優(yōu)缺點(diǎn);通過實(shí)驗(yàn),對比分析了該兩種方式與傳統(tǒng)Java編程模式調(diào)用Hadoop集群進(jìn)行數(shù)據(jù)處理的效率問題,證明了Kepler調(diào)用集群的高效性。

    科學(xué)工作流;Hadoop集群;Kepler

    隨著科學(xué)技術(shù)的進(jìn)步,現(xiàn)代大型海底觀測網(wǎng)的數(shù)據(jù)采集能力遠(yuǎn)遠(yuǎn)超于傳統(tǒng)的海底采集方式,在海底電纜的電力保障下可以長期不間斷地進(jìn)行數(shù)據(jù)采集與傳輸,單個大型的海底觀測網(wǎng)每日獲取的數(shù)據(jù)量就已達(dá)到GB級,年管理數(shù)據(jù)達(dá)到TB級,成為不可忽視的海量數(shù)據(jù)資源。海量的觀測數(shù)據(jù)為科學(xué)研究提供了新的機(jī)遇,為更多的未解問題提供了探索依據(jù),但是同樣面臨著大數(shù)據(jù)處理帶來的急需新的科學(xué)工具的問題。雖然硬件技術(shù)在不斷發(fā)展,但是單純的單節(jié)點(diǎn)計(jì)算機(jī)完全不可能完成海量數(shù)據(jù)的運(yùn)行處理,集群技術(shù)、分布式計(jì)算技術(shù)成為人們的研究重點(diǎn)。同時海洋科學(xué)家更需要一種可以屏蔽底層計(jì)算設(shè)計(jì)、直接方便調(diào)用的計(jì)算工具完成其專業(yè)領(lǐng)域內(nèi)的相關(guān)研究的工具。

    目前研究者針對海洋領(lǐng)域內(nèi)各個方向的數(shù)據(jù)處理研究工作較多。如文獻(xiàn) [1]基于SOA(service oriented architecture)的概念,通過在設(shè)計(jì)中引入本體技術(shù)完成對異構(gòu)數(shù)據(jù)的統(tǒng)一描述,從而實(shí)現(xiàn)海洋領(lǐng)域的信息集成與共享。文獻(xiàn)[2]通過在臺風(fēng)海洋網(wǎng)絡(luò)氣象信息系統(tǒng)中引入時空數(shù)據(jù)模型實(shí)現(xiàn)對多源異構(gòu)氣象數(shù)據(jù)的一致描述與集成融合。文獻(xiàn)[3]基于大型網(wǎng)絡(luò)數(shù)據(jù)庫Oracle構(gòu)建了一個ARGO(array for real-time geostrophic oceanography)海洋觀察數(shù)據(jù)存儲模型,并結(jié)合GIS(geographical information system)和遙感技術(shù)實(shí)現(xiàn)了海量ARGO數(shù)據(jù)的高效存儲、管理和分析。文獻(xiàn)[4]基于改進(jìn)的卡爾曼平滑器,通過檢潮儀的海平面測量數(shù)據(jù)估計(jì)冰川的融化速度。文獻(xiàn)[5]設(shè)計(jì)了一個逐步校正的模型用于融合SWAN (simulating waves nearshore)模型產(chǎn)生的海浪預(yù)測數(shù)據(jù)和部分實(shí)測的海浪數(shù)據(jù),從而提高對海面狀況估計(jì)的準(zhǔn)確率。這些研究工作促進(jìn)了針對海洋某一領(lǐng)域的研究或小范圍數(shù)據(jù)處理的進(jìn)步,但不能滿足對海洋大數(shù)據(jù)進(jìn)行處理的相關(guān)要求。本文針對海底觀測所遇到的海量數(shù)據(jù)處理問題,通過對目前科學(xué)工作流系統(tǒng)的研究,提出了基于科學(xué)工作流的數(shù)據(jù)處理方案,并且研究了在科學(xué)工作流平臺上進(jìn)行Hadoop集群調(diào)用的具體方式以及對比傳統(tǒng)集群調(diào)用的效率問題。

    1 相關(guān)技術(shù)

    1.1 科學(xué)工作流

    科學(xué)工作流(Scientific Workflow,SWF)借鑒于傳統(tǒng)業(yè)務(wù)工作流的思想進(jìn)化而來[6],針對目前新的科研環(huán)境,將科學(xué)研究過程中數(shù)據(jù)下載、分析、計(jì)算、可視化等流程步驟組合在一起實(shí)現(xiàn)數(shù)據(jù)的處理與計(jì)算,它可以簡化科研調(diào)用流程,減少科研人員在復(fù)雜計(jì)算相關(guān)工作上的精力消耗。如文獻(xiàn)[7]構(gòu)建了一個基于科學(xué)工作流的鐵路行車安全評價系統(tǒng),在行車數(shù)據(jù)自動收集融合的基礎(chǔ)上建立了一個模糊綜合評價的科學(xué)工作流程,實(shí)現(xiàn)自動對狀態(tài)不佳的列車進(jìn)行跟蹤和評價,對有安全隱患的列車進(jìn)行預(yù)警,并為管理者提供決策支持。文獻(xiàn)[8]針對渦度相關(guān)技術(shù)獲取的碳通量觀測數(shù)據(jù)體量大、計(jì)算復(fù)雜、算法的更新和共享難以實(shí)現(xiàn)等問題開發(fā)了一個基于web service和科學(xué)工作流技術(shù)的碳通量數(shù)據(jù)處理系統(tǒng),用以實(shí)現(xiàn)數(shù)據(jù)的整合、算法的共享、重用以及通量數(shù)據(jù)的自動化計(jì)算。文獻(xiàn)[9]將科學(xué)工作流引入到月球數(shù)據(jù)預(yù)處理中,通過改進(jìn)工作流定義元模型并詳細(xì)設(shè)計(jì)數(shù)據(jù)模型和過程模型,解決了數(shù)據(jù)預(yù)處理的流程靈活配置和中間結(jié)果展示等問題,方便了科研人員對算法進(jìn)行設(shè)計(jì)和改進(jìn)。

    經(jīng)過十幾年的發(fā)展,目前各大科研組織在各自的實(shí)際應(yīng)用中設(shè)計(jì)和開發(fā)了很多成熟的科學(xué)工作流管理系統(tǒng),其中Kepler[10]由UC Berkeley和San Diego超級計(jì)算中心聯(lián)合開發(fā)的一套科學(xué)工作流系統(tǒng),它基于Ptolemy II系統(tǒng),以Java為底層語言,將要執(zhí)行的過程步驟進(jìn)行可視化的表達(dá),從而使科研人員只需通過簡單地拖拽各個功能模塊就可以組成實(shí)驗(yàn)所需的科學(xué)工作流,大大減輕了研究人員的負(fù)擔(dān)。各個功能模塊之間通過各自的輸入輸出接口進(jìn)行連接,用戶可以很清晰地看到整個流程的執(zhí)行順序,而且Kepler提供了多種引導(dǎo)器如串行引導(dǎo)器、并行引導(dǎo)器等來決定整個流程的執(zhí)行順序。同時Kepler系統(tǒng)是一個開源的系統(tǒng),可以方便地調(diào)用web服務(wù)和遠(yuǎn)程數(shù)據(jù)服務(wù)從而可以針對特定的領(lǐng)域進(jìn)行二次開發(fā)。

    1.2 Kepler的通用數(shù)據(jù)讀取轉(zhuǎn)換模塊

    Kepler提供了比較全面的數(shù)據(jù)讀取轉(zhuǎn)換模塊actor供科研人員進(jìn)行科學(xué)工作流的搭建。目前,Kepler支持 EML(Ecological Metadata Language)、 Darwin Core等元數(shù)據(jù)規(guī)范,可以使用相應(yīng)的actor對數(shù)據(jù)集進(jìn)行元數(shù)據(jù)的解析及輸出。對于沒有采用元數(shù)據(jù)描述的數(shù)據(jù),如EXCEL表格數(shù)據(jù)、Web頁面表格數(shù)據(jù)等,Kepler提供了Binary File Reader,URL To Local File,Line Reader,F(xiàn)ile To Array Convert等多種數(shù)據(jù)讀取轉(zhuǎn)換模塊。此外,Kepler可以獲取與DAP(data access protocol)2.0兼容數(shù)據(jù)資源;擁有DataTurbine actor可以從DataTurbine服務(wù)器上獲取數(shù)據(jù);支持FTP文件傳輸協(xié)議,可以實(shí)現(xiàn)文件的上傳和下載;支持Oracle、MySQL以及本地與遠(yuǎn)程MS Access等數(shù)據(jù)庫,可以使用相應(yīng)的actor實(shí)現(xiàn)對這些關(guān)系型數(shù)據(jù)庫的訪問、查詢和檢索;對于圖像數(shù)據(jù),可以使用ImageJ actor等圖像數(shù)據(jù)進(jìn)行讀取編輯等操作。

    1.3 MapReduce與Hadoop

    MapReduce是由美國谷歌公司提出的一種并行化用于處理和生成海量數(shù)據(jù)的編程模型[11],由于其簡單易用性、容錯能力等特點(diǎn)已經(jīng)在各領(lǐng)域普遍得到應(yīng)用。MapReduce框架最大的特點(diǎn)并不是計(jì)算程序并行化而是數(shù)據(jù)并行化,從而達(dá)到縮短時間的目的,與MapReduce框架相配套使用的是分布式文件系統(tǒng),數(shù)據(jù)被分布到不同存儲節(jié)點(diǎn),而且計(jì)算節(jié)點(diǎn)與存儲節(jié)點(diǎn)是同一節(jié)點(diǎn),使得計(jì)算程序可以直接調(diào)用在本地的數(shù)據(jù)進(jìn)行運(yùn)行,減少了跨節(jié)點(diǎn)的IO傳輸開銷。MapReduce框架的簡易操作在于其提供了兩個函數(shù)即map函數(shù)和reduce函數(shù),如公式(1)~(2),編程人員只需要簡單修改操作就可以實(shí)現(xiàn)并行化應(yīng)用。

    map函數(shù)和 reduce函數(shù)對數(shù)據(jù)都采用鍵/值對,即key/value對的形式進(jìn)行處理的,作業(yè)執(zhí)行時,數(shù)據(jù)被分割成若干數(shù)據(jù)塊分布到各個節(jié)點(diǎn),map函數(shù)并行地處理這些數(shù)據(jù)塊,從中提取key/value對作為輸入并產(chǎn)生中間key/value對存儲到本地磁盤,然后框架對中間key/value對進(jìn)行混洗(Shuffle)、排序(sort),具有相同key的中間結(jié)果聚集在一起,最后將結(jié)果傳輸給reduce函數(shù),map函數(shù)與reduce函數(shù)都需要事前自定義完成指定的計(jì)算功能。MapReduce框架的數(shù)據(jù)處理流程圖如圖1所示。

    圖1 MapReduce框架的數(shù)據(jù)處理流程

    Hadoop是Apache基金會下的一個開源項(xiàng)目,它實(shí)現(xiàn)了谷歌公司提出的分布式文件系統(tǒng)以及MapReduce計(jì)算框架,其分布式文件系統(tǒng)稱之為HDFS(Hadoop Distributed Filesystem)。該項(xiàng)目具備高可靠性、高擴(kuò)展性、高效性以及成本低、操作簡單等特點(diǎn),已經(jīng)被國內(nèi)外多家大型公司采用,用于處理海量客戶與產(chǎn)品數(shù)據(jù)。如文獻(xiàn)[12-14]通過在各自的研究領(lǐng)域利用MapReduce將大量計(jì)算并行化,從而顯著提高了算法的運(yùn)行效率。

    2 科學(xué)工作流調(diào)用方式

    Hadoop可以方便地在價格低廉的計(jì)算硬件上進(jìn)行部署,實(shí)現(xiàn)條件簡單,同時MapReduce分布式編程模型將復(fù)雜并行化程序設(shè)計(jì)簡化為兩個函數(shù)的編寫過程,允許沒有分布式系統(tǒng)開發(fā)經(jīng)驗(yàn)的人員進(jìn)行并行開發(fā)。但是對專業(yè)領(lǐng)域的科學(xué)家,如海洋學(xué)科學(xué)研究人員來說,參照MapReduce分布式編程模型的說明文檔編寫出正確的計(jì)算機(jī)程序是非常困難的,而采用科學(xué)工作流的方式屏蔽底層代碼為專業(yè)領(lǐng)域科學(xué)家使用Hadoop集群提供了便利途徑。以下將詳細(xì)介紹科學(xué)工作流與Hadoop集群相結(jié)合的方法。

    2.1 MapReduce Actor應(yīng)用方式

    文獻(xiàn)[15]提出了一個Kepler+Hadoop的通用架構(gòu),使得用戶利用MapReduce編程模型可以方便地表示以及高效地執(zhí)行各自領(lǐng)域內(nèi)的專業(yè)分析。MapReduce模型控件現(xiàn)在已經(jīng)在Kepler科學(xué)工作流系統(tǒng)中使用,其實(shí)際應(yīng)用框架如圖2所示。Kepler科學(xué)工作流系統(tǒng)底層開發(fā)人員將MapReduce的相關(guān)復(fù)雜程序進(jìn)行封裝,留出操作數(shù)據(jù)的輸入輸出地址供終端用戶使用,同時該actor給出map函數(shù)與reduce函數(shù)的輸入輸出接口,而兩個函數(shù)的具體實(shí)現(xiàn)可以根據(jù)不同的專業(yè)領(lǐng)域內(nèi)的知識進(jìn)行開發(fā),從而構(gòu)造出各種不同類型的專業(yè)領(lǐng)域并行化actor。而科學(xué)工作流開發(fā)者根據(jù)底層人員開發(fā)的各類基于MapReduce模型的actor構(gòu)造出不同的專業(yè)工作流。

    在該框架下,首先設(shè)計(jì)了一個名為MapReduce的復(fù)合控件/actor,其與整個計(jì)算過程中的其余工作流相連,而map函數(shù)與reduce函數(shù)的功能實(shí)現(xiàn)為其兩條子工作流。在每條子工作流中又設(shè)計(jì)有專門的actor與map函數(shù)、reduce函數(shù)的接口相對應(yīng),分別為 MapInput,MapOutput與 ReduceInput,Reduce-Output。map函數(shù)、reduce函數(shù)需要在這兩條子工作流中完成自定義。具體設(shè)計(jì)如圖3所示,圖為Kepler提供的單詞計(jì)數(shù)操作。

    圖2 MapReduce應(yīng)用框架

    圖3 MapReduce actor的使用

    2.2 Web服務(wù)應(yīng)用方式

    Web服務(wù)技術(shù)具有高度的互操作性,并且根據(jù)它所實(shí)現(xiàn)的應(yīng)用可以在任意的機(jī)器或者平臺上不需借助第三方的幫助就可實(shí)現(xiàn)數(shù)據(jù)的交換或者應(yīng)用的集成。利用MapReduce編程模型的代碼開發(fā)者只需要將所寫源代碼發(fā)布成Web服務(wù)即可。目前主流的Web服務(wù)開源框架有Apache Axis1,Apache Axis2,Codehaus XFire,Apache CXF,JWS等,其中Axis2與CXF最為常用。

    還以單詞計(jì)數(shù)為例,采用Kepler科學(xué)工作流系統(tǒng)提供的WebService actor,右擊打開屬性填入Web服務(wù)地址就可調(diào)用該程序功能,添加輸入、輸出以及流程引導(dǎo)器director即可構(gòu)成完整工作流,實(shí)現(xiàn)海量數(shù)據(jù)分析,完成單詞計(jì)數(shù),流程圖與結(jié)果如圖4所示。

    圖4 單詞計(jì)數(shù)Web服務(wù)調(diào)用與結(jié)果

    采用該種方式調(diào)用Hadoop集群,對于專業(yè)領(lǐng)域的科學(xué)家來說,操作簡便,只需知道所需功能的Web服務(wù)地址,添加輸入輸出即可,但是要求處理機(jī)與Web服務(wù)器在同一網(wǎng)絡(luò)環(huán)境內(nèi),同時因?yàn)榉?wù)已被封裝,用戶不能再做任何的修改。

    3 實(shí)驗(yàn)分析

    本文已經(jīng)研究了如何在Kepler科學(xué)工作流系統(tǒng)進(jìn)行Hadoop集群的調(diào)用,進(jìn)一步需要研究在所開發(fā)的系統(tǒng)上進(jìn)行調(diào)用的效率問題。相比于傳統(tǒng)的在Hadoop集群上直接執(zhí)行Java程序,系統(tǒng)調(diào)用Hadoop集群必然存在各種軟件調(diào)用與初始化開支,單論在執(zhí)行上花費(fèi)時間也必然要比傳統(tǒng)方法多。文獻(xiàn)[9]已經(jīng)研究了采用MapReduce actor的方式調(diào)用Hadoop集群進(jìn)行數(shù)據(jù)分析的效率問題,通過與傳統(tǒng)方法的對比,得出如下三個結(jié)論:(1)使用MapReduce actor的方式比傳統(tǒng)方法所花費(fèi)的執(zhí)行時間多數(shù)倍,主要的花費(fèi)開支在于Kepler引擎系統(tǒng)的初始化以及Map和Reduce兩個子工作流的調(diào)用,但是隨著集群節(jié)點(diǎn)的增加,兩種方式所花費(fèi)的時間都會減少,系統(tǒng)調(diào)用方式與傳統(tǒng)方式的耗時時間差成倍下降;(2)當(dāng)Map任務(wù)的輸入數(shù)據(jù)逐漸增加時,兩種方式處理速度都會變快,當(dāng)輸入過大時則又逐漸變慢。輸入變大則意味著Map階段處理時間長,開支占用的百分比減少,當(dāng)過大時即所需Map任務(wù)數(shù)減少,并行度下降;(3)當(dāng)Map和Reduce兩個子工作流的處理非常復(fù)雜時,在引擎初始化以及工作流調(diào)用上的開支占總花費(fèi)時間的比例隨著其復(fù)雜度的增加逐漸下降。本文主要分析第二種Web服務(wù)方式進(jìn)行Hadoop集群調(diào)用的效率問題,同樣采用實(shí)驗(yàn)對比的方式進(jìn)行。

    3.1 實(shí)驗(yàn)環(huán)境

    實(shí)驗(yàn)環(huán)境為在100 Mbps的局域網(wǎng)中配置的五節(jié)點(diǎn)的Hadoop集群,操作系統(tǒng)皆為64位的Centos6.4版本。主節(jié)點(diǎn)master處理器為四核3.3 GHz Intel Xeon CPU,8 GB內(nèi)存,500 GB硬盤;從節(jié)點(diǎn)1/slave1與從節(jié)點(diǎn)2/slave2的處理器為四核3.1 GHz Intel i5 CPU,4 GB內(nèi)存,250 GB硬盤;從節(jié)點(diǎn)3/slave3與從節(jié)點(diǎn)4/slave4的處理器為四核3.1 GHz Intel i5 CPU,4 GB內(nèi)存,500 GB硬盤。

    3.2 效率對比實(shí)驗(yàn)結(jié)果與分析

    實(shí)驗(yàn)對比了Web服務(wù)方式與傳統(tǒng)Java編程兩種方式在大規(guī)模海底圖像分割問題上的時間消耗。所采用的圖像分割方法為基于MapReduce的快速模糊C均值算法FFCM[16],模糊C均值算法采用隸屬度將圖像的像素點(diǎn)進(jìn)行聚類,但由于面臨數(shù)據(jù)量過大的問題,采用灰度直方圖進(jìn)行改進(jìn),加快目標(biāo)函數(shù)的收斂即為FFCM,而基于MapReduce的FFCM則為算法的進(jìn)一步改進(jìn),將圖像數(shù)據(jù)在多個節(jié)點(diǎn)分割,實(shí)現(xiàn)并行化算法執(zhí)行。實(shí)驗(yàn)采用的是fish4knowledge項(xiàng)目提供的海底視頻圖像,使用Hadoop的MapReduce框架處理圖像數(shù)據(jù)需要使用到專門的圖像處理庫HIPI(Hadoop Image Processing Library),其提供了將大量圖像存儲到分布式文件系統(tǒng)HDFS上的方法,一個HIB(Hipi Image Bundle)文件即為存儲在HDFS上一個圖片集合。

    圖5 五節(jié)點(diǎn)Hadoop集群處理時間

    實(shí)驗(yàn)中構(gòu)造了若干圖像文件,每個文件所含圖片張數(shù)由4 000到16 000張不等,文件大小從240 MB到970 MB不等,首先圖像文件安排到五節(jié)點(diǎn)的Hadoop集群上運(yùn)行,實(shí)驗(yàn)對比結(jié)果如圖5所示,可以得到類似的結(jié)果,采用Kepler科學(xué)工作流系統(tǒng)調(diào)用Web服務(wù)使用Hadoop集群執(zhí)行花費(fèi)的時間約比傳統(tǒng)Java編程直接在集群上運(yùn)行多1~3倍的時間,系統(tǒng)調(diào)用的花費(fèi)開支(包括網(wǎng)絡(luò)傳輸)占了主要部分。實(shí)驗(yàn)中采用單獨(dú)一臺主機(jī)調(diào)用Web服務(wù),Web服務(wù)代碼存放在Hadoop集群的主節(jié)點(diǎn)上。

    考慮科學(xué)工作流的可擴(kuò)展性,將原任務(wù)重新安排到3個節(jié)點(diǎn)的Hadoop集群上運(yùn)行,并且與上一實(shí)驗(yàn)五節(jié)點(diǎn)結(jié)果進(jìn)行對比,得到表1。由表可知,節(jié)點(diǎn)的增加,可以加速運(yùn)算的進(jìn)行,但是系統(tǒng)調(diào)用的開支在總的執(zhí)行時間中仍占較大部分,主要因?yàn)閷?shí)驗(yàn)中所用分割算法較為簡單。

    表1 Hadoop集群運(yùn)算對比結(jié)果

    同時本文比較了兩種Kepler系統(tǒng)調(diào)用方式的效率,仍舊采用單詞計(jì)數(shù)程序,集群節(jié)點(diǎn)為3個,兩種方式的具體工作流設(shè)計(jì)如圖3與圖4所示。HDFS默認(rèn)的一個文件塊大小為64 MB,所以實(shí)驗(yàn)設(shè)計(jì)文件大小從96.6 MB到782 MB不等,所得實(shí)驗(yàn)結(jié)果如圖6所示。

    由圖可知,采用MapReduce actor的方式花費(fèi)的時間最長,Kepler引擎的初始化與多次Map/Reduce子工作流的調(diào)用占用了絕大部分,采用Web服務(wù)調(diào)用的方式花費(fèi)時間相對較小,沒有子工作流的調(diào)用,程序執(zhí)行過程與傳統(tǒng)Java編程方式基本相同,耗時大約是傳統(tǒng)方式的2~3倍,但是采用MapReduce actor的方式用戶只需在Hadoop集群直接運(yùn)行工作流程序即可,不關(guān)心集群的啟動等問題,而采用Web服務(wù)調(diào)用的方式,用戶需要首先人工啟動Hadoop集群,需要了解基本的Hadoop集群運(yùn)行規(guī)則以及會使用命令行輸入命令。兩種Kepler系統(tǒng)調(diào)用的方式雖然比傳統(tǒng)方式用時偏長,但是省去了大量的程序構(gòu)建時間,用戶可以簡單地采用Kepler科學(xué)工作流系統(tǒng)提供的圖形化操作界面直接進(jìn)行領(lǐng)域知識分析。

    圖6 3種方式集群處理時間比較

    4 結(jié)束語

    海洋觀測數(shù)據(jù)的處理具有數(shù)據(jù)處理規(guī)模大,數(shù)據(jù)處理性能要求高、數(shù)據(jù)處理流程復(fù)雜以及協(xié)同工作等特點(diǎn),因此研究能夠有效利用和處理海洋觀測的大數(shù)據(jù),對整個海洋觀測資源的有效整合和管理,實(shí)現(xiàn)數(shù)據(jù)處理無縫協(xié)同工作的數(shù)據(jù)處理工具是十分必要的。本文提出了基于科學(xué)工作流Kepler系統(tǒng)的海洋觀測大數(shù)據(jù)處理方法,能夠?qū)崿F(xiàn)幫助海洋領(lǐng)域?qū)I(yè)科學(xué)家乃至其他專業(yè)領(lǐng)域科學(xué)家有效使用先進(jìn)大數(shù)據(jù)處理技術(shù),提高其工作效率。

    [1]楊鵬,王文俊,董存祥.海洋領(lǐng)域信息集成與共享研究[J].計(jì)算機(jī)工程與應(yīng)用,2010,26:194-197.

    [2]陳鉆,李海勝.新型臺風(fēng)海洋網(wǎng)絡(luò)氣象信息系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].應(yīng)用氣象學(xué)報(bào),2012,23(2):245-250.

    [3]劉南,劉仁義,尹勁峰,等.ARGO海洋衛(wèi)星觀測數(shù)據(jù)處理方法及應(yīng)用[J].中國圖象圖形學(xué)報(bào):A輯,2005,9(11):1386-1391.

    [4]HayC C,MorrowE,Kopp R E,et al.Estimatingthe sources ofglobal sea level rise with data assimilation techniques[J].Proceedings of the National AcademyofSciences,2013,110(Supplement 1):3692-3699.

    [5]Butunoiu D,Rusu E.Wave modeling with data assimilation to support the navigation in the Black Sea close to the Romanian ports[C]//Proceedingofthe International Conference on Traffic and Transport Engineering,2014:27-28.

    [6]Deelman E,Gannon D,Shields M,et al.Workflows and e-Science:An overviewofworkflowsystemfeatures and capabilities[J].Future Generation Computer Systems,2009,25(5):528-540.

    [7]杜彥華,吳秀麗,錢程,等.基于科學(xué)工作流的鐵路行車安全評價系統(tǒng)研究[J].鐵道學(xué)報(bào),2012,34(12):76-82.

    [8]劉敏,何洪林,吳楠,等.基于Web Service和科學(xué)工作流技術(shù)的碳通量數(shù)據(jù)處理系統(tǒng)實(shí)現(xiàn)研究 [J].科研信息化技術(shù)與應(yīng)用, 2013(2):50-58.

    [9]譚旭,劉建軍,李春來.月球數(shù)據(jù)預(yù)處理工作流模型的構(gòu)建及應(yīng)用[J].吉林大學(xué)學(xué)報(bào):工學(xué)版,2015,45(6):2007-2013.

    [10]Altintas I,Berkley C,Jaeger E,et al.Kepler:An extensible system for design and execution of scientific workflows[C]//Proceedingsofthe16thInternationalConferenceonScientificandStatisticalDatabaseManagement,SantoriniIsland,2004:423-424.

    [11]Dean J,Ghemawat S.MapReduce:simplified data processing on large clusters[J].Communications of the ACM,2008,51(1): 107-113.

    [12]胡愛娜.基于MapReduce的分布式EM算法的研究與應(yīng)用[J].科技通報(bào),2013(6):68-70.

    [13]張曉強(qiáng).MapReduce在Web日志挖掘中的應(yīng)用[D].成都:電子科技大學(xué),2011.

    [14]吳文忠,易平.MapReduce在分布式搜索引擎中的應(yīng)用[J].計(jì)算機(jī)系統(tǒng)應(yīng)用,2012,21(2):249-251.

    [15]Wang J,Crawl D,Altintas I.Kepler+Hadoop:a general architecture facilitating data-intensive applications in scientific workflow systems[C]//Proceedings ofthe 4th Workshop on Workflows in Support ofLarge-Scale Science.ACM,2009:12.

    [16]Li X,Song J,Zhang F,et al.MapReduce-based fast fuzzy c-means algorithm for large-scale underwater image segmentation[J]. Future Generation Computer Systems,2016,65:90-101.

    Research on Massive Seafloor Observation Data Processing Based on Scientific Workflow

    SONG Jing-dong,TANG You-hua,LI Xiu,MA Hui
    Division of Information Science&Technology,Graduate School at Shenzhen,Tsinghua University,Shenzhen 518055,Guangdong Province,China

    In recent years,faced with the problem of processing massive observing data collected by the seafloor observatory networks,new scientific tools are needed to be introduced to support the high-performance and distributed computing environment.Scientific workflow has been widely attached great importance to research advanced information infrastructure,and it has become a concrete realization tool for the future research environment.To solve this problem,this paper puts forward a new solution for processing massive seafloor observing data based on the Kepler scientific workflow,and studies the advantages and drawbacks of the two methods applying for massive data processing with the use of Hadoop clusters.Compared with the traditional Java programming mode,the experiment results prove that the efficiency of the two methods using Hadoop cluster is higher,and the Kepler scientific workflow will result in high efficiency.

    scientific workflow;Hadoop clusters;Kepler

    TP311.5

    A

    1003-2029(2017)02-0065-06

    10.3969/j.issn.1003-2029.2017.02.011

    2016-05-27

    國家高技術(shù)研究發(fā)展計(jì)劃(863計(jì)劃)重大項(xiàng)目資助(2012AA09A408);國家自然科學(xué)基金資助項(xiàng)目(71171121);深圳市基礎(chǔ)研究及技術(shù)開發(fā)項(xiàng)目資助(JCYJ20151117173236192);基于傳感網(wǎng)的海洋觀測集成平臺的研發(fā)項(xiàng)目資助(CXZZ20140902110505864);海底觀測網(wǎng)岸基控制運(yùn)行與數(shù)據(jù)管理系統(tǒng)配套項(xiàng)目資助(GJHS20120702113257111)

    宋靖東(1991-),男,碩士,主要研究方向?yàn)槊芗?jì)算、大數(shù)據(jù)處理。E-mail:tyhcjf@163.com

    李秀(1971-),女,教授,主要研究方向?yàn)楹Q笮畔?。E-mail:li.xiu@sz.tsinghua.edu.cn

    猜你喜歡
    調(diào)用數(shù)據(jù)處理集群
    認(rèn)知診斷缺失數(shù)據(jù)處理方法的比較:零替換、多重插補(bǔ)與極大似然估計(jì)法*
    ILWT-EEMD數(shù)據(jù)處理的ELM滾動軸承故障診斷
    核電項(xiàng)目物項(xiàng)調(diào)用管理的應(yīng)用研究
    海上小型無人機(jī)集群的反制裝備需求與應(yīng)對之策研究
    LabWindows/CVI下基于ActiveX技術(shù)的Excel調(diào)用
    一種無人機(jī)集群發(fā)射回收裝置的控制系統(tǒng)設(shè)計(jì)
    電子制作(2018年11期)2018-08-04 03:25:40
    Python與Spark集群在收費(fèi)數(shù)據(jù)分析中的應(yīng)用
    勤快又呆萌的集群機(jī)器人
    基于系統(tǒng)調(diào)用的惡意軟件檢測技術(shù)研究
    基于希爾伯特- 黃變換的去噪法在外測數(shù)據(jù)處理中的應(yīng)用
    啦啦啦 在线观看视频| 亚洲专区字幕在线| 大型黄色视频在线免费观看| 国产精品日韩av在线免费观看| 亚洲av熟女| 国产区一区二久久| 国产精品野战在线观看| 午夜视频精品福利| 亚洲熟妇熟女久久| 香蕉国产在线看| 特大巨黑吊av在线直播 | 日韩欧美一区视频在线观看| a级毛片在线看网站| 成年女人毛片免费观看观看9| 看黄色毛片网站| 麻豆久久精品国产亚洲av| 欧美午夜高清在线| 丝袜人妻中文字幕| 最近最新中文字幕大全电影3 | 一个人免费在线观看的高清视频| 国产极品粉嫩免费观看在线| 麻豆一二三区av精品| 每晚都被弄得嗷嗷叫到高潮| 亚洲中文av在线| 亚洲色图 男人天堂 中文字幕| 国产片内射在线| 国产黄片美女视频| 亚洲成人国产一区在线观看| 亚洲色图 男人天堂 中文字幕| 久久热在线av| 亚洲五月色婷婷综合| 午夜a级毛片| 国产高清有码在线观看视频 | 久久国产精品人妻蜜桃| 色老头精品视频在线观看| 999久久久精品免费观看国产| 亚洲真实伦在线观看| 俄罗斯特黄特色一大片| 中文字幕另类日韩欧美亚洲嫩草| 亚洲aⅴ乱码一区二区在线播放 | 99国产综合亚洲精品| 男女之事视频高清在线观看| 亚洲黑人精品在线| 国产成人影院久久av| 一级作爱视频免费观看| 国产欧美日韩一区二区精品| 欧美乱妇无乱码| 最近在线观看免费完整版| 香蕉国产在线看| 特大巨黑吊av在线直播 | 日本 欧美在线| 色av中文字幕| 亚洲国产精品合色在线| 亚洲国产精品999在线| 欧美日韩亚洲综合一区二区三区_| 99热6这里只有精品| 久久 成人 亚洲| 日韩欧美 国产精品| 久久中文看片网| 黄片大片在线免费观看| 亚洲天堂国产精品一区在线| 侵犯人妻中文字幕一二三四区| 久热这里只有精品99| 色播亚洲综合网| 日韩欧美在线二视频| 欧美精品亚洲一区二区| 一区二区日韩欧美中文字幕| 亚洲黑人精品在线| 日韩欧美在线二视频| 亚洲欧美精品综合一区二区三区| 亚洲精品久久成人aⅴ小说| 亚洲一码二码三码区别大吗| 特大巨黑吊av在线直播 | 一本一本综合久久| 黄片播放在线免费| 国产99白浆流出| 十八禁网站免费在线| 国产av又大| 中文字幕久久专区| 午夜视频精品福利| 女性生殖器流出的白浆| 国产麻豆成人av免费视频| 国产1区2区3区精品| 91字幕亚洲| 黑丝袜美女国产一区| av片东京热男人的天堂| 香蕉久久夜色| 亚洲国产毛片av蜜桃av| 一夜夜www| 精品日产1卡2卡| 国产精品国产高清国产av| 久久精品aⅴ一区二区三区四区| 亚洲国产欧美一区二区综合| 成人18禁在线播放| 一边摸一边做爽爽视频免费| 在线免费观看的www视频| 亚洲成av人片免费观看| 看免费av毛片| 欧美一区二区精品小视频在线| 90打野战视频偷拍视频| av片东京热男人的天堂| 欧美 亚洲 国产 日韩一| 久久国产精品男人的天堂亚洲| 亚洲aⅴ乱码一区二区在线播放 | 在线观看免费视频日本深夜| 国产精品免费一区二区三区在线| 一本一本综合久久| 麻豆一二三区av精品| 亚洲真实伦在线观看| 日本a在线网址| 亚洲国产中文字幕在线视频| 在线观看66精品国产| 国产91精品成人一区二区三区| 两性夫妻黄色片| 一级毛片女人18水好多| 91字幕亚洲| 少妇裸体淫交视频免费看高清 | 亚洲欧美日韩高清在线视频| 精品电影一区二区在线| 亚洲av电影在线进入| 国产亚洲欧美98| 在线十欧美十亚洲十日本专区| 午夜a级毛片| 嫁个100分男人电影在线观看| 中文字幕久久专区| 午夜福利在线在线| 午夜亚洲福利在线播放| 国产成人啪精品午夜网站| 黑丝袜美女国产一区| 亚洲av第一区精品v没综合| 午夜老司机福利片| 99精品在免费线老司机午夜| av免费在线观看网站| 日本精品一区二区三区蜜桃| 日韩有码中文字幕| 香蕉久久夜色| avwww免费| 一本久久中文字幕| 欧美最黄视频在线播放免费| 久久久久久九九精品二区国产 | 女人被狂操c到高潮| 激情在线观看视频在线高清| 国产91精品成人一区二区三区| 一级作爱视频免费观看| 久久久久免费精品人妻一区二区 | 老司机午夜十八禁免费视频| 国产免费男女视频| 婷婷六月久久综合丁香| 成人手机av| 亚洲av中文字字幕乱码综合 | 天堂影院成人在线观看| 国产成人欧美| 免费高清在线观看日韩| 99久久综合精品五月天人人| 亚洲欧美精品综合一区二区三区| 天堂动漫精品| 桃色一区二区三区在线观看| 免费无遮挡裸体视频| 亚洲精品色激情综合| 一边摸一边抽搐一进一小说| 精品久久久久久成人av| 成人精品一区二区免费| 在线观看舔阴道视频| 亚洲 欧美 日韩 在线 免费| 久久狼人影院| 中文字幕人妻丝袜一区二区| 亚洲七黄色美女视频| 很黄的视频免费| 天堂影院成人在线观看| 欧美日韩瑟瑟在线播放| 精品人妻1区二区| 99在线人妻在线中文字幕| 视频在线观看一区二区三区| 欧美色欧美亚洲另类二区| 精品一区二区三区av网在线观看| 亚洲色图av天堂| 亚洲国产毛片av蜜桃av| 69av精品久久久久久| 我的亚洲天堂| 2021天堂中文幕一二区在线观 | 少妇粗大呻吟视频| 精品国产乱码久久久久久男人| 日本在线视频免费播放| 午夜福利高清视频| 黄频高清免费视频| 久久人妻av系列| 亚洲精品在线观看二区| 夜夜爽天天搞| 日日摸夜夜添夜夜添小说| 美女大奶头视频| 嫁个100分男人电影在线观看| 亚洲午夜理论影院| 婷婷六月久久综合丁香| 操出白浆在线播放| 成年版毛片免费区| 哪里可以看免费的av片| 少妇的丰满在线观看| 亚洲 欧美 日韩 在线 免费| 欧美性猛交╳xxx乱大交人| 久久久久精品国产欧美久久久| 嫩草影视91久久| 啪啪无遮挡十八禁网站| 亚洲精品av麻豆狂野| 18禁黄网站禁片免费观看直播| 青草久久国产| 国产免费男女视频| 男女床上黄色一级片免费看| 国产单亲对白刺激| 国产99白浆流出| 国产黄色小视频在线观看| 黑人欧美特级aaaaaa片| 国产野战对白在线观看| www.www免费av| 黑人操中国人逼视频| 国产精品久久久人人做人人爽| 久久这里只有精品19| 麻豆成人av在线观看| 黄色视频,在线免费观看| 国产aⅴ精品一区二区三区波| 国产男靠女视频免费网站| 久久精品91无色码中文字幕| 免费一级毛片在线播放高清视频| 两个人免费观看高清视频| 国产成人一区二区三区免费视频网站| 国语自产精品视频在线第100页| 久久久久久国产a免费观看| 欧美中文综合在线视频| 好男人电影高清在线观看| 亚洲精华国产精华精| 亚洲av片天天在线观看| 欧美午夜高清在线| 在线av久久热| 亚洲精品国产区一区二| 成人午夜高清在线视频 | 精品免费久久久久久久清纯| 亚洲在线自拍视频| 亚洲国产精品sss在线观看| 两性夫妻黄色片| 欧美激情久久久久久爽电影| 久久久久久国产a免费观看| 国内久久婷婷六月综合欲色啪| 国产精品影院久久| 国产精华一区二区三区| 色播在线永久视频| 欧美黄色片欧美黄色片| 婷婷丁香在线五月| 欧美一区二区精品小视频在线| 最近最新免费中文字幕在线| 女人爽到高潮嗷嗷叫在线视频| 日韩欧美三级三区| 中出人妻视频一区二区| 男人舔女人的私密视频| 麻豆av在线久日| 亚洲一区二区三区不卡视频| 国产欧美日韩精品亚洲av| 国产激情久久老熟女| 嫩草影视91久久| 午夜福利视频1000在线观看| 超碰成人久久| 国产午夜精品久久久久久| 国产av一区在线观看免费| 欧美日本亚洲视频在线播放| 久久久国产成人免费| 国产精品一区二区精品视频观看| 欧美性猛交╳xxx乱大交人| 黄色a级毛片大全视频| 国产不卡一卡二| 精品无人区乱码1区二区| 动漫黄色视频在线观看| 亚洲一码二码三码区别大吗| 国产亚洲精品综合一区在线观看 | 制服诱惑二区| 亚洲精品一卡2卡三卡4卡5卡| 国产精品自产拍在线观看55亚洲| 怎么达到女性高潮| 国产主播在线观看一区二区| 老司机午夜十八禁免费视频| 亚洲国产欧美日韩在线播放| 中亚洲国语对白在线视频| 国产熟女xx| 99在线人妻在线中文字幕| 黄色丝袜av网址大全| 国产成人系列免费观看| 国产麻豆成人av免费视频| 一区二区三区激情视频| 人成视频在线观看免费观看| 美国免费a级毛片| 亚洲精品国产精品久久久不卡| 国产aⅴ精品一区二区三区波| 国产又色又爽无遮挡免费看| av片东京热男人的天堂| 午夜福利高清视频| 91国产中文字幕| 免费无遮挡裸体视频| 叶爱在线成人免费视频播放| 亚洲av中文字字幕乱码综合 | 香蕉久久夜色| 久久久久久久午夜电影| 国产成人av激情在线播放| 国产av一区二区精品久久| 成年女人毛片免费观看观看9| 好男人电影高清在线观看| 久久午夜亚洲精品久久| 在线观看66精品国产| 国产高清有码在线观看视频 | 亚洲专区国产一区二区| 狠狠狠狠99中文字幕| 久久精品国产综合久久久| 国产一区二区在线av高清观看| 91大片在线观看| 国产主播在线观看一区二区| 老司机午夜福利在线观看视频| 久久久久亚洲av毛片大全| 午夜精品久久久久久毛片777| 久久香蕉精品热| 亚洲aⅴ乱码一区二区在线播放 | 中文字幕人成人乱码亚洲影| e午夜精品久久久久久久| 色av中文字幕| 亚洲欧美日韩无卡精品| 97超级碰碰碰精品色视频在线观看| 12—13女人毛片做爰片一| 一区二区三区精品91| 黄色成人免费大全| 啪啪无遮挡十八禁网站| 一本大道久久a久久精品| 91成年电影在线观看| 免费观看精品视频网站| 99热只有精品国产| 国产片内射在线| 欧美黑人精品巨大| 亚洲欧美精品综合久久99| av中文乱码字幕在线| 国产麻豆成人av免费视频| 12—13女人毛片做爰片一| 久久九九热精品免费| 午夜两性在线视频| 中亚洲国语对白在线视频| 亚洲av五月六月丁香网| 最近最新中文字幕大全免费视频| 免费在线观看视频国产中文字幕亚洲| 欧美日韩亚洲综合一区二区三区_| 亚洲av成人一区二区三| 欧美性猛交黑人性爽| 日日夜夜操网爽| 免费高清视频大片| 两个人看的免费小视频| 免费电影在线观看免费观看| 亚洲欧洲精品一区二区精品久久久| 婷婷六月久久综合丁香| 午夜成年电影在线免费观看| 男女下面进入的视频免费午夜 | 午夜激情福利司机影院| 天天躁夜夜躁狠狠躁躁| 日本一区二区免费在线视频| 老熟妇仑乱视频hdxx| 好男人在线观看高清免费视频 | 国产亚洲欧美98| 日本五十路高清| 非洲黑人性xxxx精品又粗又长| 老熟妇仑乱视频hdxx| 别揉我奶头~嗯~啊~动态视频| 色哟哟哟哟哟哟| 亚洲色图 男人天堂 中文字幕| 精品国产超薄肉色丝袜足j| 黄片大片在线免费观看| 精品国产亚洲在线| 91国产中文字幕| 亚洲国产高清在线一区二区三 | 老司机在亚洲福利影院| 母亲3免费完整高清在线观看| 白带黄色成豆腐渣| 免费人成视频x8x8入口观看| 亚洲一区中文字幕在线| 日韩av在线大香蕉| 国产精品99久久99久久久不卡| 国产精品 国内视频| 欧美日韩精品网址| 最近最新免费中文字幕在线| 一级黄色大片毛片| 免费看十八禁软件| 亚洲色图av天堂| 最近最新免费中文字幕在线| 又紧又爽又黄一区二区| 男人的好看免费观看在线视频 | 免费高清视频大片| 国产激情欧美一区二区| 19禁男女啪啪无遮挡网站| 黄色毛片三级朝国网站| a级毛片a级免费在线| 亚洲国产欧美网| 国产精品精品国产色婷婷| 搡老熟女国产l中国老女人| 91av网站免费观看| 又黄又爽又免费观看的视频| 亚洲五月天丁香| 一二三四在线观看免费中文在| 亚洲精华国产精华精| 黑人巨大精品欧美一区二区mp4| 久久久久九九精品影院| 国产午夜福利久久久久久| 麻豆国产av国片精品| 午夜福利高清视频| 99热6这里只有精品| 国产三级在线视频| 99久久综合精品五月天人人| 亚洲片人在线观看| 亚洲第一电影网av| 日韩欧美三级三区| 国产精品电影一区二区三区| 露出奶头的视频| 国产伦一二天堂av在线观看| av视频在线观看入口| 婷婷精品国产亚洲av| 高清毛片免费观看视频网站| 不卡一级毛片| 久99久视频精品免费| 亚洲精品在线观看二区| 精品久久蜜臀av无| 婷婷六月久久综合丁香| 黑人欧美特级aaaaaa片| 国产一区二区激情短视频| 国产亚洲精品综合一区在线观看 | 精品午夜福利视频在线观看一区| 日韩欧美一区视频在线观看| 久久热在线av| 国产一区二区激情短视频| 9191精品国产免费久久| 亚洲欧美一区二区三区黑人| 午夜激情av网站| 桃红色精品国产亚洲av| 一进一出抽搐gif免费好疼| 亚洲人成伊人成综合网2020| 搡老岳熟女国产| 欧美国产日韩亚洲一区| 99精品欧美一区二区三区四区| 日日摸夜夜添夜夜添小说| 极品教师在线免费播放| 成人国产综合亚洲| 俺也久久电影网| 少妇粗大呻吟视频| 久久婷婷人人爽人人干人人爱| 级片在线观看| 美女高潮到喷水免费观看| 在线观看舔阴道视频| 满18在线观看网站| 亚洲电影在线观看av| 18禁黄网站禁片午夜丰满| 色在线成人网| 正在播放国产对白刺激| 久久久久久国产a免费观看| av电影中文网址| 母亲3免费完整高清在线观看| 亚洲 欧美 日韩 在线 免费| 午夜激情福利司机影院| 国产不卡一卡二| 成人18禁高潮啪啪吃奶动态图| 亚洲精品粉嫩美女一区| 国产成+人综合+亚洲专区| 夜夜爽天天搞| 12—13女人毛片做爰片一| 亚洲成a人片在线一区二区| 一a级毛片在线观看| 成人18禁高潮啪啪吃奶动态图| 久久香蕉国产精品| 亚洲最大成人中文| 国产亚洲av嫩草精品影院| 日本免费一区二区三区高清不卡| 久久久国产成人精品二区| 黄色女人牲交| 成人欧美大片| 亚洲av第一区精品v没综合| 精品少妇一区二区三区视频日本电影| 日本一区二区免费在线视频| 国产又爽黄色视频| 日本一本二区三区精品| 极品教师在线免费播放| 一级黄色大片毛片| 热99re8久久精品国产| 精品国产一区二区三区四区第35| 亚洲在线自拍视频| 精品国产乱码久久久久久男人| 亚洲精品一卡2卡三卡4卡5卡| 欧美色视频一区免费| 亚洲精品在线观看二区| 国产精品永久免费网站| 国产精品日韩av在线免费观看| 两性午夜刺激爽爽歪歪视频在线观看 | 91av网站免费观看| 国产视频一区二区在线看| 操出白浆在线播放| av在线播放免费不卡| 午夜免费鲁丝| 搡老妇女老女人老熟妇| 日韩中文字幕欧美一区二区| 97超级碰碰碰精品色视频在线观看| 国产主播在线观看一区二区| 可以在线观看毛片的网站| 51午夜福利影视在线观看| 成人特级黄色片久久久久久久| 午夜老司机福利片| 男女做爰动态图高潮gif福利片| 国产99久久九九免费精品| 黄频高清免费视频| 国产99白浆流出| 国产亚洲欧美98| 久久天堂一区二区三区四区| 国产亚洲精品综合一区在线观看 | 高清在线国产一区| 91成年电影在线观看| 国产乱人伦免费视频| 欧美日韩一级在线毛片| 男人舔女人下体高潮全视频| 国产高清videossex| 久久久久久久久久黄片| 免费在线观看影片大全网站| av超薄肉色丝袜交足视频| 日韩国内少妇激情av| 欧美激情高清一区二区三区| 韩国av一区二区三区四区| 久久中文字幕一级| 黄网站色视频无遮挡免费观看| 国产日本99.免费观看| 日韩欧美一区视频在线观看| 麻豆一二三区av精品| 亚洲黑人精品在线| 久久精品人妻少妇| 亚洲国产精品久久男人天堂| 久久久国产精品麻豆| 精品福利观看| 国产国语露脸激情在线看| 亚洲片人在线观看| 成人精品一区二区免费| 久久精品91无色码中文字幕| 国产精品久久久久久亚洲av鲁大| 久久久久精品国产欧美久久久| 露出奶头的视频| 精品不卡国产一区二区三区| e午夜精品久久久久久久| 久久中文看片网| 国产伦在线观看视频一区| 在线观看免费日韩欧美大片| 久久国产乱子伦精品免费另类| 九色国产91popny在线| 日韩欧美免费精品| 精品国产超薄肉色丝袜足j| 成人国语在线视频| 日本精品一区二区三区蜜桃| 少妇熟女aⅴ在线视频| 别揉我奶头~嗯~啊~动态视频| 国产精品香港三级国产av潘金莲| 99国产精品99久久久久| 亚洲精品久久国产高清桃花| 午夜影院日韩av| 观看免费一级毛片| 黄频高清免费视频| 12—13女人毛片做爰片一| 校园春色视频在线观看| 色综合站精品国产| 精品少妇一区二区三区视频日本电影| 两人在一起打扑克的视频| 精品乱码久久久久久99久播| 熟妇人妻久久中文字幕3abv| 后天国语完整版免费观看| 亚洲国产看品久久| 麻豆一二三区av精品| 18美女黄网站色大片免费观看| 婷婷精品国产亚洲av在线| xxx96com| 亚洲一码二码三码区别大吗| 自线自在国产av| 一本精品99久久精品77| 久久中文字幕一级| 亚洲成人久久性| 免费看日本二区| 黄色视频不卡| 婷婷精品国产亚洲av| 日本撒尿小便嘘嘘汇集6| 国产91精品成人一区二区三区| 又黄又粗又硬又大视频| 一级作爱视频免费观看| 午夜福利一区二区在线看| 国产亚洲精品av在线| 亚洲成av人片免费观看| 国产精品香港三级国产av潘金莲| 热re99久久国产66热| 又大又爽又粗| 国产成人系列免费观看| 国产1区2区3区精品| 这个男人来自地球电影免费观看| 亚洲成人精品中文字幕电影| 日日夜夜操网爽| 视频在线观看一区二区三区| 波多野结衣av一区二区av| 可以在线观看毛片的网站| 免费看十八禁软件| 97人妻精品一区二区三区麻豆 | 亚洲成人国产一区在线观看| 国产亚洲精品av在线| tocl精华| 国产av一区二区精品久久| 亚洲专区字幕在线| 免费在线观看黄色视频的| 宅男免费午夜| 757午夜福利合集在线观看| 亚洲成人久久爱视频| 宅男免费午夜| 成人国产综合亚洲| xxxwww97欧美| www.999成人在线观看| 亚洲精品一卡2卡三卡4卡5卡| 成人国语在线视频| 琪琪午夜伦伦电影理论片6080| 亚洲中文字幕日韩| 美女扒开内裤让男人捅视频|