• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于云計(jì)算的電磁問(wèn)題并行計(jì)算方法

    2016-12-12 06:26:42邱運(yùn)濤楊慶新牛萍娟祝麗花
    電工技術(shù)學(xué)報(bào) 2016年22期
    關(guān)鍵詞:剖分計(jì)算資源電工

    金 亮 邱運(yùn)濤 楊慶新 牛萍娟 祝麗花

    ?

    基于云計(jì)算的電磁問(wèn)題并行計(jì)算方法

    金 亮 邱運(yùn)濤 楊慶新 牛萍娟 祝麗花

    (天津工業(yè)大學(xué)天津市電工電能新技術(shù)重點(diǎn)實(shí)驗(yàn)室 天津 300387)

    針對(duì)電工裝備性能分析與優(yōu)化所需的易用高性能計(jì)算問(wèn)題,使用云計(jì)算技術(shù)搭建了彈性集群,實(shí)現(xiàn)了典型電磁問(wèn)題在彈性集群中的并行計(jì)算。使用虛擬化技術(shù)將計(jì)算機(jī)資源整合為資源池,搭建并部署了可實(shí)現(xiàn)彈性計(jì)算的云平臺(tái)及并行計(jì)算所需的彈性集群。計(jì)算節(jié)點(diǎn)通過(guò)千兆路由器相連,節(jié)點(diǎn)之間使用SSH通信協(xié)議。選取感應(yīng)電機(jī)和變壓器作為計(jì)算案例,使用Fortran編寫(xiě)靜磁場(chǎng)計(jì)算程序。對(duì)云計(jì)算的并行架構(gòu)OpenMpi與MapReduce進(jìn)行了分析研究,使用OpenMpi并行化方法實(shí)現(xiàn)了數(shù)百萬(wàn)計(jì)算節(jié)點(diǎn)的并行計(jì)算。并通過(guò)與商業(yè)軟件計(jì)算結(jié)果的對(duì)比驗(yàn)證了計(jì)算的正確性。研究結(jié)果表明,可在云計(jì)算的彈性集群上使用OpenMpi實(shí)現(xiàn)大規(guī)模并行計(jì)算。相比超級(jí)計(jì)算機(jī)提供的并行計(jì)算方案,本文使用云計(jì)算建立的彈性機(jī)群具有便捷、按需、可配置的優(yōu)點(diǎn),這為高性能計(jì)算提供了一種更易獲取、易用的解決方法,為開(kāi)展復(fù)雜真實(shí)機(jī)構(gòu)的集成計(jì)算提供了高性能計(jì)算的理論和實(shí)踐依據(jù)。

    云計(jì)算 并行計(jì)算 電磁場(chǎng)數(shù)值計(jì)算 有限元法

    0 引言

    《國(guó)家自然科學(xué)基金“十二五”發(fā)展規(guī)劃綱要》明確提出重視新技術(shù)與新工藝、新器件與新結(jié)構(gòu)等應(yīng)用方面的前沿研究,開(kāi)展復(fù)雜真實(shí)機(jī)構(gòu)的集成計(jì)算理論與方法研究?!吨袊?guó)制造2025》對(duì)新型高性能電工材料的發(fā)展與電工裝備的研發(fā)制造提出新的要求,需要考慮其磁性材料的磁特性和磁致伸縮特性[1,2]及裝備的制造工藝與性能優(yōu)化,因而具有計(jì)算規(guī)模大、計(jì)算復(fù)雜程度高的特點(diǎn)。因此電工材料發(fā)展與電工裝備研發(fā)制造所需的數(shù)值計(jì)算方法、大規(guī)??茖W(xué)計(jì)算和智能設(shè)計(jì)方法,成為國(guó)內(nèi)外的研究熱點(diǎn)。

    傳統(tǒng)的電工裝備設(shè)計(jì)與性能分析常采用的電磁場(chǎng)解析法、場(chǎng)路結(jié)合法的計(jì)算精度無(wú)法滿足設(shè)計(jì)要求,可實(shí)現(xiàn)高精度計(jì)算的電磁場(chǎng)有限元分析法存在所需計(jì)算資源多的現(xiàn)實(shí)需求[3,4]。針對(duì)有限元分析法的大規(guī)模計(jì)算,不少國(guó)內(nèi)外學(xué)者進(jìn)行了相關(guān)的探索研究,主要采取的方法有并行計(jì)算和分布式計(jì)算[5]。2006年管建和等對(duì)有限元電磁法勘探研究使用分布式并行計(jì)算(Distributed Parallel Computing, DPC),利用局域網(wǎng)上閑置CPU資源協(xié)同實(shí)現(xiàn)高性能計(jì)算[6]。2009年葉茂等提出基于Beowulf集群模型,利用普通物理PC和以太網(wǎng),通過(guò)Linux系統(tǒng)搭建基于MPICH2的并行計(jì)算集群[7]。2010年王海濤等綜合分析了基于Linux集群的并行計(jì)算方法,并對(duì)其進(jìn)行了性能測(cè)試[8]。傳統(tǒng)超級(jí)計(jì)算機(jī)并行計(jì)算和分布式計(jì)算仍存在難擴(kuò)展、不易移植、信息集成和共享困難、成本高和計(jì)算資源不易獲得等問(wèn)題。

    為了應(yīng)對(duì)復(fù)雜電磁數(shù)值模擬帶來(lái)的諸多挑戰(zhàn),高速公有云和萬(wàn)兆私有云的彈性計(jì)算成為一種可行的解決方案。2010年G. Mateescu等提出了面向高性能計(jì)算的混合云計(jì)算體系[9]。2012年I. Ari等設(shè)計(jì)并實(shí)現(xiàn)了云計(jì)算平臺(tái)下針對(duì)有限元分析的計(jì)算服務(wù)體系,重點(diǎn)關(guān)注了在多核和多節(jié)點(diǎn)計(jì)算資源上的線性、非線性結(jié)構(gòu)分析計(jì)算負(fù)載下的性能特點(diǎn)[10]。華中科技大學(xué)建立了稀疏矩陣向量乘法、共軛梯度法等數(shù)值計(jì)算的MapReduce編程模型并實(shí)現(xiàn)了相關(guān)的驗(yàn)證計(jì)算[11]。2015年中科院陳國(guó)良院士團(tuán)隊(duì)提出的高性能云計(jì)算新思想[12],是解決大規(guī)??茖W(xué)計(jì)算問(wèn)題的新方法。

    基于云計(jì)算的并行計(jì)算或高性能計(jì)算研究方興未艾[13],在電磁計(jì)算領(lǐng)域中并行計(jì)算環(huán)境的效能分析、并行設(shè)計(jì)方法的研究尚不多見(jiàn),如何應(yīng)用電工裝備的電磁數(shù)值模擬成為急需解決和研究的問(wèn)題。本文使用云計(jì)算的虛擬化技術(shù)將工作站資源整合為虛擬資源池形成小型私有云[14]。將虛擬資源池劃分為兩部分,兩臺(tái)Win7操作系統(tǒng);9臺(tái)Linux系統(tǒng),搭建并行計(jì)算集群[15]。經(jīng)測(cè)試表明在云計(jì)算的虛擬資源環(huán)境中,可同時(shí)正常運(yùn)行Windows、Linux操作系統(tǒng),并獲得隔離的計(jì)算環(huán)境。對(duì)比分析并行編程模型OpenMpi與MapReduce的并行實(shí)現(xiàn)原理,經(jīng)過(guò)研究發(fā)現(xiàn)MapReduce適于編寫(xiě)大規(guī)模數(shù)據(jù)集型應(yīng)用程序[16],而OpenMpi更適合編寫(xiě)大規(guī)模計(jì)算集型應(yīng)用程序[17]。選取感應(yīng)電機(jī)、變壓器等作為對(duì)比的典型計(jì)算案例,采用OpenMpi并行模式編寫(xiě)了并行程序,并在并行計(jì)算集群中實(shí)現(xiàn)對(duì)兩者的電磁場(chǎng)計(jì)算。通過(guò)兩個(gè)案例不同計(jì)算規(guī)模的電磁場(chǎng)計(jì)算,驗(yàn)證了云計(jì)算平臺(tái)可實(shí)現(xiàn)典型電工裝備的數(shù)百萬(wàn)級(jí)計(jì)算節(jié)點(diǎn)的并行計(jì)算。

    1 云計(jì)算的彈性集群搭建

    1.1 云計(jì)算與彈性集群

    云計(jì)算是隨著互聯(lián)網(wǎng)發(fā)展的新型商業(yè)化計(jì)算服務(wù)模式,主要包括三個(gè)層次的服務(wù):基礎(chǔ)設(shè)施即服務(wù)IaaS,平臺(tái)即服務(wù)PaaS和軟件即服務(wù)SaaS[18,19],如圖1所示。用戶可以隨時(shí)隨地通過(guò)互聯(lián)網(wǎng),以即付即用的形式,按照自己的計(jì)算需求從云資源池中獲得抽象的、虛擬的、動(dòng)態(tài)易擴(kuò)展的與可管理的計(jì)算資源、存儲(chǔ)資源、平臺(tái)及相關(guān)服務(wù)[20,21]。云計(jì)算降低了傳統(tǒng)集群計(jì)算的前期復(fù)雜配置與運(yùn)行維護(hù)專業(yè)技術(shù)門(mén)檻??蒲腥藛T可以低成本的投入,獲得高效的、按需配置的且易獲取的計(jì)算資源。

    圖1 云計(jì)算的有限元并行計(jì)算原理

    1.2 云計(jì)算彈性集群系統(tǒng)架構(gòu)

    本文選用9臺(tái)Linux系統(tǒng)搭建、部署了并行計(jì)算集群如圖2所示。其中一臺(tái)作為主節(jié)點(diǎn)(Master),負(fù)責(zé)整體計(jì)算任務(wù)的分配、調(diào)度與存儲(chǔ),其余8臺(tái)作為從節(jié)點(diǎn)(Slave)實(shí)現(xiàn)計(jì)算與存儲(chǔ)。集群之間通過(guò)一臺(tái)千兆路由器相連,各主機(jī)在同一個(gè)局域網(wǎng)內(nèi)。節(jié)點(diǎn)之間采用SSH通信協(xié)議機(jī)制,實(shí)現(xiàn)節(jié)點(diǎn)間免密登錄,提高節(jié)點(diǎn)間的通信效率。

    圖2 集群的系統(tǒng)框架

    2 云計(jì)算并行編程算法對(duì)比

    OpenMpi是一種基于消息傳遞機(jī)制的并行程序標(biāo)準(zhǔn)設(shè)計(jì)方法,可為程序設(shè)計(jì)者提供一個(gè)高效的、可擴(kuò)展的、統(tǒng)一的并行編程環(huán)境。相對(duì)于MapReduce來(lái)說(shuō),OpenMpi更專注應(yīng)用于計(jì)算密集型的并行程序,提供給用戶功能強(qiáng)大的通信函數(shù),也有MapReduce的標(biāo)志性處理,即歸約(Reduce)相應(yīng)的函數(shù)調(diào)用。圖3為OpenMpi的工作機(jī)制。OpenMpi能提供強(qiáng)大的并行計(jì)算能力,計(jì)算與數(shù)據(jù)存儲(chǔ)為分離方式,主要應(yīng)用在科學(xué)計(jì)算領(lǐng)域中的各種大型的并行處理機(jī)上。

    圖3 OpenMpi工作機(jī)制

    MapReduce并行算法主要分為Map階段與Reduce階段。Map函數(shù)首先將輸入的計(jì)算任務(wù)文件進(jìn)行分塊,分配到不同機(jī)器上執(zhí)行計(jì)算,映射形成一系列中間結(jié)果鍵值對(duì)(key1, key2, key3,…),Reduce函數(shù)通過(guò)將相同的中間結(jié)果鍵值對(duì)進(jìn)行規(guī)約形成最終的輸出結(jié)果文件。MapReduce工作機(jī)制如圖4所示。

    圖4 MapReduce工作機(jī)制

    MapReduce是云計(jì)算時(shí)代的關(guān)鍵核心技術(shù),是谷歌提出的一個(gè)并行軟件編程架構(gòu),但主要應(yīng)用于大規(guī)模數(shù)據(jù)集的并行計(jì)算處理?;贛apReduce寫(xiě)出來(lái)的并行應(yīng)用程序能夠運(yùn)行在由上千個(gè)普通機(jī)器組成的大型集群上,并以一種可靠容錯(cuò)的方式并行處理上太(T)級(jí)別的數(shù)據(jù)集。MapReduce通過(guò)分布式文件系統(tǒng)的底層支持組成了主、從結(jié)構(gòu),其顯著特點(diǎn)是計(jì)算與存儲(chǔ)節(jié)點(diǎn)為同一個(gè)節(jié)點(diǎn),滿足無(wú)需數(shù)據(jù)交互的情況,適合于數(shù)據(jù)密集型計(jì)算應(yīng)用程序。

    OpenMpi則是通過(guò)主節(jié)點(diǎn)統(tǒng)一將需要計(jì)算的各子區(qū)域的數(shù)據(jù)分配給只負(fù)責(zé)計(jì)算的從節(jié)點(diǎn),整體計(jì)算過(guò)程需要數(shù)據(jù)交互。適合于計(jì)算密集型的科學(xué)計(jì)算應(yīng)用程序。在云計(jì)算資源框架的平臺(tái)層采用OpenMpi消息傳遞標(biāo)準(zhǔn)并行程序設(shè)計(jì)方法,可打破傳統(tǒng)的并行計(jì)算集群的相對(duì)固化,充分使用云計(jì)算資源池中虛擬的、抽象的、動(dòng)態(tài)可擴(kuò)展的與可管理的、即付即用的計(jì)算資源與存儲(chǔ)資源,可實(shí)現(xiàn)處理科學(xué)計(jì)算領(lǐng)域中的高性能計(jì)算(High Performance Computer, HPC)資源處理的大規(guī)模計(jì)算問(wèn)題。

    本文基于OpenMpi的容錯(cuò)系統(tǒng)解決隨計(jì)算集群規(guī)模擴(kuò)大、進(jìn)程出錯(cuò)、節(jié)點(diǎn)失效等易造成計(jì)算過(guò)程失敗的問(wèn)題。容錯(cuò)系統(tǒng)使用并行檢查點(diǎn)協(xié)議,實(shí)現(xiàn)并行程序的檢查點(diǎn)設(shè)置/回卷恢復(fù)功能。采用檢查點(diǎn)文件鏡像技術(shù)解決計(jì)算節(jié)點(diǎn)失效問(wèn)題。通過(guò)均衡存儲(chǔ)策略,將檢查點(diǎn)文件均衡存儲(chǔ)到多節(jié)點(diǎn)存儲(chǔ)器上,進(jìn)程信息可有效保存。當(dāng)計(jì)算節(jié)點(diǎn)宕機(jī)時(shí),宕機(jī)節(jié)點(diǎn)信息可在其他節(jié)點(diǎn)上獲得,并從最近的檢查點(diǎn)處重新加載程序運(yùn)行。

    3 云計(jì)算并行集群中計(jì)算案例的實(shí)現(xiàn)

    3.1 感應(yīng)電機(jī)

    選取的案例為感應(yīng)電機(jī)的靜磁場(chǎng)計(jì)算。計(jì)算模型包括四個(gè)區(qū)域:定子和轉(zhuǎn)子、流入紙面的載流線圈、流出紙面的載流線圈、定子和轉(zhuǎn)子之間的氣隙。感應(yīng)電機(jī)的磁勢(shì)等值線(磁力線)分布如圖5和圖6所示。

    圖5 自編程序的感應(yīng)電機(jī)磁勢(shì)等值線分布

    圖6 COMSOL中感應(yīng)電機(jī)的磁勢(shì)等值線分布

    對(duì)比圖5和圖6,云計(jì)算集群中自編程序的感應(yīng)電機(jī)計(jì)算結(jié)果與商業(yè)有限元軟件Comsol計(jì)算的結(jié)果,其誤差僅為0.2%,說(shuō)明自編軟件的計(jì)算結(jié)果是準(zhǔn)確的。

    改變剖分單元尺寸,在云計(jì)算集群中不同節(jié)點(diǎn)數(shù)的計(jì)算速率如圖7所示。通過(guò)案例的剖分單元計(jì)算速率曲線圖顯示,計(jì)算任務(wù)的單臺(tái)節(jié)點(diǎn)數(shù)的計(jì)算速率隨參與計(jì)算的節(jié)點(diǎn)數(shù)增加。可見(jiàn)通過(guò)彈性調(diào)節(jié)云計(jì)算集群中參與計(jì)算的節(jié)點(diǎn),并行計(jì)算效能可得到有效提高。

    圖7 不同計(jì)算規(guī)模在不同節(jié)點(diǎn)數(shù)的剖分單元計(jì)算速率

    3.2 變壓器計(jì)算案例描述

    一般變壓器結(jié)構(gòu)為軸對(duì)稱,故只取右半側(cè)進(jìn)行分析;對(duì)右半側(cè)來(lái)講,雖然變壓器油箱外殼是矩形的,但決定磁場(chǎng)分布的鐵心以及線圈都是圓柱形狀的,故可以用二維模型來(lái)計(jì)算。

    二維磁場(chǎng)的時(shí)諧微分方程為

    (2)

    式中,e為各剖分單元的磁通密度;e為剖分單元的面積;e為平面剖分單元中心到鐵心柱軸線的距離。已知電感和短路電壓分別為

    (4)

    式中,1為變壓器繞組1相電流。故短路阻抗

    (6)

    式中,e為一次側(cè)相電壓;1為繞組1匝數(shù);t為匝電壓。

    通過(guò)式(2)的電場(chǎng)強(qiáng)度、式(1)的磁場(chǎng)強(qiáng)度及式(6),可求解短路阻抗。

    案例計(jì)算模型如圖8所示,變壓器計(jì)算模型包括5個(gè)區(qū)域:0為鐵心柱及油箱壁;1為電流流入紙面的線圈;2為電流流出紙面的線圈;3為變壓器油;4為空氣罩。

    圖8 案例計(jì)算模型

    外圍電位邊界條件為=0,鐵心柱及油箱壁相對(duì)磁導(dǎo)率r=100,其余區(qū)域相對(duì)磁導(dǎo)率r=1。線圈1匝數(shù)1=82,電流1=688.5A,匝電壓t=15.842 8V,線圈2和線圈3匝數(shù)分別為2=3=789。經(jīng)計(jì)算得線圈1電流密度為-3.136 5′106A/m2,線圈2和線圈3電流密度為2.281 1′106A/m2。

    式(2)的虛功率方程形式為

    通過(guò)式(8)求解出電場(chǎng)強(qiáng)度,然后通過(guò)最小二乘法求解磁場(chǎng)強(qiáng)度及阻抗。圖9為Comsol計(jì)算的變壓器磁勢(shì)等值線分布。

    對(duì)于云計(jì)算中的并行計(jì)算,本文選取剖分尺寸為0.82mm、0.66mm、0.60mm、0.55mm等。其剖分的網(wǎng)格單元數(shù)及節(jié)點(diǎn)數(shù)見(jiàn)表1。

    圖9 Comsol計(jì)算變壓器的磁勢(shì)等值線分布

    表1 網(wǎng)格剖分

    Tab.1 Mesh generation

    不同剖分尺寸,在云計(jì)算集群中不同節(jié)點(diǎn)數(shù)對(duì)應(yīng)的剖分單元計(jì)算速率,如圖10所示。計(jì)算規(guī)模較小時(shí),數(shù)據(jù)通信、程序啟動(dòng)等占據(jù)的時(shí)間影響加速效果的正確驗(yàn)證。隨計(jì)算規(guī)模的增大,并行計(jì)算中時(shí)間計(jì)算趨于準(zhǔn)確,加速效果增強(qiáng)且趨于穩(wěn)定。由于計(jì)算節(jié)點(diǎn)之間存在計(jì)算數(shù)據(jù)交換的時(shí)間消耗,最大計(jì)算速度為7臺(tái)節(jié)點(diǎn)機(jī)。通過(guò)研究發(fā)現(xiàn)節(jié)點(diǎn)之間由于存在計(jì)算數(shù)據(jù)交換的時(shí)間消耗,云平臺(tái)的并行計(jì)算效能主要受制于計(jì)算節(jié)點(diǎn)的通信速度。相對(duì)于單機(jī)的百萬(wàn)級(jí)的單元計(jì)算速率,千兆網(wǎng)云計(jì)算的彈性集群仍可實(shí)現(xiàn)千萬(wàn)單元級(jí)的單元計(jì)算速率。隨著高性能計(jì)算的需求提升,云計(jì)算的通信寬帶從早期的百兆發(fā)展到現(xiàn)在的千兆,隨著亞馬遜云平臺(tái)3 600MHz通信寬帶的實(shí)現(xiàn)以及私有云萬(wàn)兆網(wǎng)的部署,云計(jì)算平臺(tái)實(shí)現(xiàn)并行計(jì)算的效率可進(jìn)一步提升。

    圖10 不同計(jì)算規(guī)模在不同節(jié)點(diǎn)數(shù)的單元計(jì)算速率

    4 結(jié)論

    本文在云計(jì)算的彈性集群中,實(shí)現(xiàn)了一種OpenMpi編程框架的電磁場(chǎng)并行計(jì)算方法。使用云計(jì)算方法解決實(shí)際工程中電機(jī)、變壓器等典型的電工裝備性能優(yōu)化設(shè)計(jì)所面臨的大規(guī)模計(jì)算問(wèn)題,基于OpenMpi實(shí)現(xiàn)了千萬(wàn)單元級(jí)的計(jì)算速率,滿足科學(xué)計(jì)算的計(jì)算資源需求。云計(jì)算和OpenMpi開(kāi)源特性使其內(nèi)核和實(shí)現(xiàn)方法易于修改和重復(fù)調(diào)用,這為電工裝備性能分析和優(yōu)化所需的大規(guī)模計(jì)算提供了一種自主、可控、高效能的解決方案,為大型電工裝備真實(shí)模型的計(jì)算仿真分析奠定了理論和實(shí)踐基礎(chǔ)。

    參考文獻(xiàn):

    [1] 侯淑萍, 楊慶新, 陳海燕, 等. 新型高性能電工材料應(yīng)用特性建模的模塊化設(shè)計(jì)[J]. 電工技術(shù)學(xué)報(bào), 2008, 23(10): 1-5.

    Hou Shuping, Yang Qingxin, Chen Haiyan, et al. Modularity design of modeling for new high performance materials applied to electrical engin- eering[J]. Transactions of China Electrotechnical Society, 2008, 23(10): 1-5.

    [2] 謝德馨, 程志光, 楊仕友, 等. 對(duì)當(dāng)前計(jì)算電磁學(xué)發(fā)展的觀察與思考-參加COMPUMAG2011會(huì)議有感[J]. 電工技術(shù)學(xué)報(bào), 2013, 28(1): 136-141.

    Xie Dexin, Cheng Zhiguang, Yang Shiyou, et al. Observation and consideration on the current deve- lopment of computational electromagnetics-in perspec- tive of COMPUMAG2011[J]. Transactions of China Electrotechnical Society, 2013, 28(1): 136-141.

    [3] 袁中勝. 新能源汽車驅(qū)動(dòng)用永磁同步電機(jī)的設(shè)計(jì)[D]. 哈爾濱: 哈爾濱工業(yè)大學(xué), 2013.

    [4] 楊亮. 云計(jì)算與電磁仿真結(jié)合的可行性分析[J]. 電子技術(shù)與軟件工程, 2014(2): 29-30.

    Liang Yang. Feasibility analysis for the combination of cloud computing and electromagnetic simula- tion[J]. Electronic Technology & Software Engin- eering, 2014(2): 29-30.

    [5] 唐任遠(yuǎn), 吳東陽(yáng), 謝德馨. 單元級(jí)別并行有限元法求解工程渦流場(chǎng)的關(guān)鍵問(wèn)題研究[J]. 電工技術(shù)學(xué)報(bào), 2014, 29(5): 1-8.

    Tang Renyuan, Wu Dongyang, Xie Dexin. Research on the key problem of element by element parallel FEM applied to engineering eddy current analysis[J]. Transactions of China Electrotechnical Society, 2014, 29(5): 1-8.

    [6] 管建和. 電磁場(chǎng)有限元法解釋分布式并行計(jì)算的研究[D]. 北京: 中國(guó)地質(zhì)大學(xué), 2006.

    [7] 葉茂, 繆綸, 王志璋, 等. 基于LINUX和MPICH2的高性能科學(xué)計(jì)算集群搭建及其性能評(píng)測(cè)[J]. 中國(guó)水利水電科學(xué)研究院學(xué)報(bào), 2009, 7(4): 302-306.

    Ye Mao, Miao Lun, Wang Zhizhang, et al. The establishment and performance evaluation of high performance scientific computing cluster based on LINUX and MPICH2[J]. Journal of China Institute of Water Resources and Hydropower Research, 2009, 7(4): 302-306.

    [8] 王海濤, 劉淑芬. 基于Linux集群的并行計(jì)算[J]. 計(jì)算機(jī)工程, 2010, 36(1): 64-66.

    Wang Haitao, Liu Shufen. Parallel computing based on Linux cluster[J]. Computing Engineering, 2010, 36(1): 64-66.

    [9] Mateescu Gabriel, Gentzsch Wolfgang, Ribbens Calvinj. Hybrid computing-where HPC meets grid and cloud computing[J]. Future Generation Computer Systems-The International Journal of Grid Com- puting and Escience, 2011, 27(5): 440-453.

    [10] Ari Ismail, Muhtaroglu Nitel. Design and implement- ation of a cloud computing service for finite element analysis[J]. Advances in Engineering Software, 2013(60-61): 122-135.

    [11] 符偉. 云計(jì)算環(huán)境下的線性有限元方法研究[D]. 武漢: 華中科技大學(xué), 2013.

    [12] 陳國(guó)良, 毛睿, 蔡曄. 高性能計(jì)算及其相關(guān)新興技術(shù)[J]. 深圳大學(xué)學(xué)報(bào)(理工版), 2015, 32(1): 25-31.

    Chen Guoliang, Mao Rui, Cai Ye. High performance computing and related new technologies[J]. Journal Shenzhen University Science and Engineering, 2015, 32(1): 25-31.

    [13] 張少敏, 趙碩, 王保義. 基于云計(jì)算和量子粒子群算法的電力負(fù)荷曲線聚類算法研究[J]. 電力系統(tǒng)保護(hù)與控制, 2014, 42(21): 93-98.

    Zhang Shaomin, Zhao Shuo, Wang Baoyi. Research of power load curve clustering algorithm based on cloud computing and quantum particle swarm optimization[J]. Power System Protection and Control, 2014, 42(21): 93-98.

    [14] Peterson B, Baumgartner G, Qingyang Wang. A hybrid cloud framework for scientific computing[C]// IEEE 8th International Conference on Cloud Com- puting, 2015: 373-380.

    [15] 王意潔, 孫偉東, 周松, 等. 云計(jì)算環(huán)境下的分布存儲(chǔ)關(guān)鍵技術(shù)[J]. 軟件學(xué)報(bào), 2012, 23(4): 962-986.

    Wang Yijie, Sun Weidong, Zhou Song, et al. Key technologies of distributed storage for cloud com- puting[J]. Journal of Software, 2012, 23(4): 962-986.

    [16] 李成華, 張新訪, 金海, 等. MapReduce: 新型的分布式并行計(jì)算編程模型[J]. 計(jì)算機(jī)工程與科學(xué), 2011(3): 129-135.

    Li Chenghua, Zhang Xinfang, Jin Hai, et al. MapReduce: a new programming model for distri- buted parallel computing[J]. Computing Engineering & Science, 2011(3): 129-135.

    [17] 郭本俊, 王鵬, 陳高云, 等. 基于MPI的云計(jì)算模型[J]. 計(jì)算機(jī)工程, 2009, 35(24): 84-86.

    Guo Benjun, Wang Peng, Chen Gaoyun, et al. Cloud computing model based on MPI[J]. Computing Engineering, 2009, 35(24): 84-86.

    [18] 趙俊華, 文福拴, 薛禹勝, 等. 云計(jì)算:構(gòu)建未來(lái)電力系統(tǒng)的核心計(jì)算平臺(tái)[J]. 電力系統(tǒng)自動(dòng)化, 2010, 34(15): 1-8.

    Zhao Junhua, Wen Fushuan, Xue Yusheng, et al. Cloud computing: build the core computing paltform for the future electric power system[J]. Automation of Electric Power Systems, 2010, 34(15): 1-8.

    [19] 孫超. 高性能計(jì)算平臺(tái)的設(shè)計(jì)與應(yīng)用[D]. 天津: 天津大學(xué), 2013.

    [20] 丁凡. 云環(huán)境中高性能計(jì)算應(yīng)用的關(guān)鍵問(wèn)題研究[D]. 蘭州: 蘭州大學(xué), 2014.

    [21] 宋亞奇, 周國(guó)亮, 朱永利, 等. 云平臺(tái)下并行總體經(jīng)驗(yàn)?zāi)B(tài)分解局部放電信號(hào)去噪方法[J]. 電工技術(shù)學(xué)報(bào), 2015, 30(18): 213-222.

    Song Yaqi, Zhou Guoliang, Zhu Yongli, et al. Research on parallel ensemble empirical mode decomposition denoising method for partial discharge signals based on cloud platform[J]. Transactions of China Electrotechnical Society, 2015, 30(18): 213- 222.

    A Parallel Computing Method to Electromagnetic Problems Based on Cloud Computing

    (Key Laboratory of Advanced Electrical Engineering and Energy Technology Tianjin Polytechnic University Tianjin 300387 China)

    High performance and easy calculation are required for the performance analysis and optimization of electrical equipment. For this reason, a kind of elastic cluster is built using cloud computing and parallel computing, which the typical electromagnetic problems can be achieved. The virtualization technology is used to integrate the computer resources into virtual resource pool. Thus, the cloud platform for elastic computing and a kind of elastic cluster for parallel computing can be built and implemented. Computing nodes are connected by Gigabit router, and SSH communication protocol is used between nodes. Induction motor and transformer are chosen as the calculation cases. The calculation programs of static magnetic field are written by Fortran. Cloud computing parallel architecture of OpenMpi and MapReduce are analyzed. The parallel calculation including millions of meshing scales are realized based on OpenMpi. The correctness of the calculation is verified by the result comparisons from a commercial software. It is shown that larger scale of parallel computing can be realized by using OpenMpi in the elastic cluster of cloud computing. Compared with the calculation schemes of parallel supercomputers, the built elastic cluster using cloud computing in this paper is more convenient and configurable, which provides a more accessible and easy-to-use solution for high performance computing. The proposed method also provides the theoretical and practical basis for the integrated calculation theory and method in complex real model.

    Cloud computing, parallel computing, numerical calculation of electromagnetic fields, finite element method

    TM153

    國(guó)家自然科學(xué)基金青年項(xiàng)目(51207105、51507110),國(guó)家自然科學(xué)基金面上項(xiàng)目(51577132)和國(guó)家火炬計(jì)劃(2015GH611592)資助項(xiàng)目。

    2016-03-01 改稿日期 2016-05-17

    金 亮 男,1982年生,博士,副教授,研究方向?yàn)楣こ屉姶艌?chǎng)與磁技術(shù)、電磁場(chǎng)云計(jì)算和電磁無(wú)損檢測(cè)等。E-mail: jinliang@tjpu.edu.cn

    牛萍娟 女,1973年生,教授,研究方向?yàn)楦咝阅苡?jì)算、第三代半導(dǎo)體器件、半導(dǎo)體光源與照明系統(tǒng)等。E-mail: niupingjuan@tjpu.edu.cn(通信作者)

    猜你喜歡
    剖分計(jì)算資源電工
    《電工電氣》征訂
    基于模糊規(guī)劃理論的云計(jì)算資源調(diào)度研究
    基于重心剖分的間斷有限體積元方法
    特變電工
    能源(2019年9期)2019-12-06 09:33:00
    改進(jìn)快速稀疏算法的云計(jì)算資源負(fù)載均衡
    特變電工
    能源(2019年5期)2019-06-19 09:36:44
    特變電工
    能源(2019年12期)2019-02-11 07:11:42
    二元樣條函數(shù)空間的維數(shù)研究進(jìn)展
    基于Wi-Fi與Web的云計(jì)算資源調(diào)度算法研究
    耦合分布式系統(tǒng)多任務(wù)動(dòng)態(tài)調(diào)度算法
    久久精品国产亚洲av高清一级| 午夜福利视频1000在线观看| 欧美日韩乱码在线| 哪里可以看免费的av片| 国产视频一区二区在线看| 黑人操中国人逼视频| 日本一本二区三区精品| 欧美黄色淫秽网站| 国产单亲对白刺激| 天堂√8在线中文| 黄色女人牲交| 亚洲精品粉嫩美女一区| 亚洲18禁久久av| 久久久久久久午夜电影| 淫秽高清视频在线观看| 99在线人妻在线中文字幕| 国产欧美日韩精品亚洲av| 99精品欧美一区二区三区四区| 成人三级黄色视频| 国产在线观看jvid| av天堂在线播放| 天天躁夜夜躁狠狠躁躁| 一级黄色大片毛片| 中文字幕av在线有码专区| 亚洲中文日韩欧美视频| 精品久久久久久久久久免费视频| 高清在线国产一区| 亚洲第一电影网av| 欧美一级毛片孕妇| 亚洲人成电影免费在线| 欧美日韩一级在线毛片| 狂野欧美白嫩少妇大欣赏| 国产亚洲av嫩草精品影院| 成在线人永久免费视频| 久久精品综合一区二区三区| 国产高清激情床上av| 亚洲 国产 在线| av免费在线观看网站| 9191精品国产免费久久| 国产久久久一区二区三区| x7x7x7水蜜桃| 久9热在线精品视频| 亚洲aⅴ乱码一区二区在线播放 | 国产精品av久久久久免费| 久久天堂一区二区三区四区| 国产野战对白在线观看| 国产精品久久久久久久电影 | 19禁男女啪啪无遮挡网站| 久久婷婷人人爽人人干人人爱| 午夜影院日韩av| 国产高清视频在线播放一区| 变态另类成人亚洲欧美熟女| 日韩欧美在线乱码| 国产99久久九九免费精品| 成人亚洲精品av一区二区| xxxwww97欧美| 嫁个100分男人电影在线观看| 国产单亲对白刺激| 欧美性猛交黑人性爽| 淫秽高清视频在线观看| 国产精品日韩av在线免费观看| 他把我摸到了高潮在线观看| 国产av在哪里看| 黄色成人免费大全| 欧美一区二区精品小视频在线| 国产午夜福利久久久久久| 久久久久久免费高清国产稀缺| 午夜激情av网站| 又紧又爽又黄一区二区| 久久国产精品影院| 久久国产精品影院| 国产视频一区二区在线看| 国产精品98久久久久久宅男小说| 免费在线观看视频国产中文字幕亚洲| 特级一级黄色大片| 一本大道久久a久久精品| 欧美乱码精品一区二区三区| 波多野结衣巨乳人妻| 国产99久久九九免费精品| 91在线观看av| 黑人巨大精品欧美一区二区mp4| 久热爱精品视频在线9| 亚洲专区国产一区二区| 一级黄色大片毛片| 国产午夜福利久久久久久| 人人妻,人人澡人人爽秒播| 老熟妇仑乱视频hdxx| 色哟哟哟哟哟哟| 黄色成人免费大全| 夜夜看夜夜爽夜夜摸| 欧美+亚洲+日韩+国产| 一级a爱片免费观看的视频| 日韩 欧美 亚洲 中文字幕| 在线观看一区二区三区| 丁香欧美五月| 久久婷婷人人爽人人干人人爱| 亚洲精品久久成人aⅴ小说| 色噜噜av男人的天堂激情| 天天躁狠狠躁夜夜躁狠狠躁| 99re在线观看精品视频| 天堂√8在线中文| 99热只有精品国产| 国产不卡一卡二| 91麻豆精品激情在线观看国产| 亚洲国产精品sss在线观看| av天堂在线播放| 国产三级中文精品| 午夜视频精品福利| 精品国产亚洲在线| 国产视频一区二区在线看| 久热爱精品视频在线9| 成人国产一区最新在线观看| 国内揄拍国产精品人妻在线| 深夜精品福利| 狠狠狠狠99中文字幕| 最新在线观看一区二区三区| 久久久久性生活片| 国产又黄又爽又无遮挡在线| 国产精品永久免费网站| 亚洲第一欧美日韩一区二区三区| 欧美色欧美亚洲另类二区| 三级毛片av免费| 国产精品美女特级片免费视频播放器 | 91av网站免费观看| 久久久精品欧美日韩精品| 国产一区二区激情短视频| 99在线人妻在线中文字幕| 国产午夜精品久久久久久| 久久中文字幕人妻熟女| 老司机午夜十八禁免费视频| 久久久久久久久免费视频了| 亚洲精品av麻豆狂野| 又紧又爽又黄一区二区| 久久精品人妻少妇| 久久这里只有精品中国| 国产精品日韩av在线免费观看| 男女之事视频高清在线观看| 高清毛片免费观看视频网站| av福利片在线| 久久草成人影院| 精品第一国产精品| 色老头精品视频在线观看| 午夜激情av网站| 757午夜福利合集在线观看| 麻豆成人av在线观看| 麻豆成人av在线观看| 亚洲中文字幕一区二区三区有码在线看 | 男插女下体视频免费在线播放| 成年人黄色毛片网站| 久99久视频精品免费| 久久久精品国产亚洲av高清涩受| 欧美色视频一区免费| 99久久国产精品久久久| xxxwww97欧美| 精品久久蜜臀av无| 美女扒开内裤让男人捅视频| 亚洲狠狠婷婷综合久久图片| 亚洲av电影在线进入| 啪啪无遮挡十八禁网站| 毛片女人毛片| 国产97色在线日韩免费| 国产精品久久电影中文字幕| 精品高清国产在线一区| 精品福利观看| 身体一侧抽搐| av中文乱码字幕在线| 精品国产美女av久久久久小说| 黄片小视频在线播放| 丝袜美腿诱惑在线| 亚洲av熟女| 两性夫妻黄色片| 非洲黑人性xxxx精品又粗又长| 日本三级黄在线观看| 在线播放国产精品三级| 欧美绝顶高潮抽搐喷水| 国产午夜福利久久久久久| 男人舔奶头视频| 97人妻精品一区二区三区麻豆| 欧美黑人精品巨大| 国产精品,欧美在线| 亚洲av成人av| 舔av片在线| 黄片大片在线免费观看| 成人av在线播放网站| 伦理电影免费视频| 亚洲av五月六月丁香网| 亚洲全国av大片| 18禁国产床啪视频网站| 69av精品久久久久久| 午夜激情福利司机影院| 级片在线观看| 91九色精品人成在线观看| 亚洲电影在线观看av| 国产蜜桃级精品一区二区三区| 久久精品综合一区二区三区| 又大又爽又粗| 男人的好看免费观看在线视频 | 白带黄色成豆腐渣| 国产爱豆传媒在线观看 | 久久久久久亚洲精品国产蜜桃av| 日韩欧美国产在线观看| 欧美高清成人免费视频www| 岛国在线观看网站| 久久婷婷成人综合色麻豆| 久久国产乱子伦精品免费另类| 久久天堂一区二区三区四区| 亚洲av电影在线进入| 亚洲五月天丁香| 99久久国产精品久久久| 校园春色视频在线观看| 欧美久久黑人一区二区| 欧美乱色亚洲激情| 国产午夜福利久久久久久| 久久国产乱子伦精品免费另类| 哪里可以看免费的av片| 日本一二三区视频观看| 久久久久精品国产欧美久久久| 国产伦一二天堂av在线观看| 亚洲乱码一区二区免费版| 久久久水蜜桃国产精品网| 一边摸一边抽搐一进一小说| 亚洲国产中文字幕在线视频| 亚洲一区二区三区不卡视频| 在线观看www视频免费| 婷婷六月久久综合丁香| 国产伦人伦偷精品视频| 久久久久性生活片| 精品国产乱子伦一区二区三区| 久久国产精品影院| 男女午夜视频在线观看| 国产黄a三级三级三级人| 在线观看午夜福利视频| 欧美丝袜亚洲另类 | 久久久久久大精品| 操出白浆在线播放| 国产人伦9x9x在线观看| 成年版毛片免费区| 日韩成人在线观看一区二区三区| 视频区欧美日本亚洲| 俺也久久电影网| 久久久久精品国产欧美久久久| 国产午夜精品论理片| 欧美+亚洲+日韩+国产| 亚洲精品粉嫩美女一区| 午夜精品在线福利| 国产aⅴ精品一区二区三区波| 欧美性长视频在线观看| 嫩草影视91久久| 欧美午夜高清在线| 啪啪无遮挡十八禁网站| 亚洲国产中文字幕在线视频| 欧美乱色亚洲激情| 每晚都被弄得嗷嗷叫到高潮| 少妇被粗大的猛进出69影院| 久久香蕉国产精品| www.www免费av| 狂野欧美激情性xxxx| 看片在线看免费视频| 日韩中文字幕欧美一区二区| 欧美午夜高清在线| 叶爱在线成人免费视频播放| 久久午夜亚洲精品久久| 一卡2卡三卡四卡精品乱码亚洲| 国产熟女xx| 亚洲成人免费电影在线观看| 一a级毛片在线观看| 听说在线观看完整版免费高清| aaaaa片日本免费| 高清在线国产一区| 露出奶头的视频| 两性夫妻黄色片| 国产区一区二久久| 国产精品野战在线观看| 国产午夜精品论理片| 身体一侧抽搐| 欧美黑人精品巨大| 最近视频中文字幕2019在线8| 男女视频在线观看网站免费 | 熟妇人妻久久中文字幕3abv| 我的老师免费观看完整版| 国产主播在线观看一区二区| 嫩草影院精品99| 国产av又大| 日韩欧美在线二视频| 中文资源天堂在线| 亚洲电影在线观看av| av在线播放免费不卡| 舔av片在线| 国产av又大| 精品国产乱子伦一区二区三区| 国产一区二区三区视频了| 国产精品香港三级国产av潘金莲| av天堂在线播放| 少妇裸体淫交视频免费看高清 | 最新在线观看一区二区三区| 欧美高清成人免费视频www| 此物有八面人人有两片| 亚洲无线在线观看| 可以在线观看的亚洲视频| 50天的宝宝边吃奶边哭怎么回事| 国产精品久久久久久久电影 | 黄色丝袜av网址大全| 日韩精品中文字幕看吧| 久久久国产欧美日韩av| 90打野战视频偷拍视频| 国产成人aa在线观看| 亚洲欧美日韩高清在线视频| 中文亚洲av片在线观看爽| 久久亚洲精品不卡| 男女之事视频高清在线观看| 国产亚洲欧美98| 亚洲中文日韩欧美视频| 大型黄色视频在线免费观看| 哪里可以看免费的av片| 亚洲欧美日韩高清专用| 日韩欧美国产在线观看| 国产精品一区二区精品视频观看| 美女午夜性视频免费| 亚洲七黄色美女视频| 可以免费在线观看a视频的电影网站| 中文资源天堂在线| 波多野结衣高清无吗| 国产午夜精品久久久久久| 久久久国产成人免费| 夜夜躁狠狠躁天天躁| 999久久久精品免费观看国产| 国产91精品成人一区二区三区| 亚洲精华国产精华精| 午夜成年电影在线免费观看| 国产精品一区二区三区四区免费观看 | 波多野结衣巨乳人妻| ponron亚洲| 中文字幕人妻丝袜一区二区| 欧美乱妇无乱码| 黄色a级毛片大全视频| 精品一区二区三区视频在线观看免费| 免费av毛片视频| 麻豆av在线久日| 国产人伦9x9x在线观看| 一边摸一边做爽爽视频免费| 草草在线视频免费看| 免费搜索国产男女视频| 欧美另类亚洲清纯唯美| 少妇熟女aⅴ在线视频| 国产真人三级小视频在线观看| 岛国在线免费视频观看| 精品久久蜜臀av无| 欧美 亚洲 国产 日韩一| 国产精品久久久av美女十八| 男女之事视频高清在线观看| 久久草成人影院| 激情在线观看视频在线高清| 亚洲精品久久成人aⅴ小说| 午夜福利在线观看吧| www.熟女人妻精品国产| 国产99白浆流出| 亚洲av日韩精品久久久久久密| 1024手机看黄色片| 亚洲精品av麻豆狂野| 好男人电影高清在线观看| 亚洲无线在线观看| www国产在线视频色| 欧美日韩瑟瑟在线播放| 国产av一区二区精品久久| www.www免费av| 人妻丰满熟妇av一区二区三区| 亚洲av成人不卡在线观看播放网| 国产一区二区激情短视频| 热99re8久久精品国产| 搡老熟女国产l中国老女人| 精华霜和精华液先用哪个| 人成视频在线观看免费观看| 欧美国产日韩亚洲一区| 一边摸一边做爽爽视频免费| 五月玫瑰六月丁香| 18禁黄网站禁片午夜丰满| 黑人操中国人逼视频| av国产免费在线观看| 精品久久久久久久末码| 观看免费一级毛片| 午夜福利高清视频| av有码第一页| e午夜精品久久久久久久| 亚洲欧美日韩东京热| 男女做爰动态图高潮gif福利片| 国产真实乱freesex| 欧美绝顶高潮抽搐喷水| 亚洲男人天堂网一区| 国产单亲对白刺激| 日本成人三级电影网站| 床上黄色一级片| 亚洲欧美精品综合久久99| 亚洲 欧美 日韩 在线 免费| 亚洲熟妇熟女久久| 国产视频内射| 女同久久另类99精品国产91| 天堂动漫精品| 欧美中文日本在线观看视频| 熟女电影av网| 最近视频中文字幕2019在线8| 99热这里只有精品一区 | 91麻豆av在线| 亚洲国产高清在线一区二区三| 最近视频中文字幕2019在线8| 国产高清videossex| 麻豆久久精品国产亚洲av| 中文字幕熟女人妻在线| www.精华液| 日本免费一区二区三区高清不卡| 18禁美女被吸乳视频| xxx96com| 美女大奶头视频| 久久亚洲真实| 国产熟女xx| 亚洲精品在线美女| 99精品欧美一区二区三区四区| 亚洲欧美精品综合久久99| 亚洲电影在线观看av| 亚洲人成77777在线视频| 亚洲第一电影网av| 国产三级中文精品| 日韩高清综合在线| 亚洲国产欧美网| 国产免费av片在线观看野外av| 亚洲人与动物交配视频| 国产乱人伦免费视频| 亚洲中文av在线| 成年女人毛片免费观看观看9| 三级国产精品欧美在线观看 | av视频在线观看入口| 一级毛片高清免费大全| 精品国产美女av久久久久小说| 桃色一区二区三区在线观看| 麻豆成人av在线观看| 久久久精品欧美日韩精品| 天堂影院成人在线观看| 国产三级中文精品| www.www免费av| 国产伦在线观看视频一区| 岛国视频午夜一区免费看| 蜜桃久久精品国产亚洲av| 欧美+亚洲+日韩+国产| 久久久久国内视频| 欧美高清成人免费视频www| 久久这里只有精品中国| 真人一进一出gif抽搐免费| www日本在线高清视频| 国产精品免费一区二区三区在线| 亚洲一卡2卡3卡4卡5卡精品中文| 97人妻精品一区二区三区麻豆| 国产精品久久久久久亚洲av鲁大| 免费看十八禁软件| 日韩欧美在线乱码| 1024香蕉在线观看| 熟女少妇亚洲综合色aaa.| 每晚都被弄得嗷嗷叫到高潮| 人成视频在线观看免费观看| netflix在线观看网站| 国产av不卡久久| 淫妇啪啪啪对白视频| 在线观看一区二区三区| 成年免费大片在线观看| 久久久久久人人人人人| 中亚洲国语对白在线视频| 在线观看舔阴道视频| 亚洲精品色激情综合| 色av中文字幕| 日韩欧美国产一区二区入口| a在线观看视频网站| 超碰成人久久| 床上黄色一级片| 级片在线观看| 国产一区在线观看成人免费| 热99re8久久精品国产| 精品国产亚洲在线| 日韩av在线大香蕉| 好看av亚洲va欧美ⅴa在| 国产精品一区二区三区四区久久| 精品久久久久久成人av| 国产精品影院久久| 99精品久久久久人妻精品| 国产午夜福利久久久久久| 久久久久国内视频| 一本大道久久a久久精品| 老汉色av国产亚洲站长工具| 国产aⅴ精品一区二区三区波| 午夜福利欧美成人| av片东京热男人的天堂| 好男人电影高清在线观看| 国产真实乱freesex| 国语自产精品视频在线第100页| 在线观看美女被高潮喷水网站 | 一本一本综合久久| 曰老女人黄片| 精品久久久久久久毛片微露脸| 亚洲在线自拍视频| 久久精品aⅴ一区二区三区四区| 在线看三级毛片| 欧美一区二区精品小视频在线| 制服诱惑二区| 亚洲熟女毛片儿| 啪啪无遮挡十八禁网站| 国产1区2区3区精品| 美女黄网站色视频| 精品欧美一区二区三区在线| 亚洲专区中文字幕在线| cao死你这个sao货| 亚洲午夜理论影院| 国产一区二区在线av高清观看| 国产人伦9x9x在线观看| www日本黄色视频网| 午夜老司机福利片| 亚洲精品在线美女| 亚洲国产欧美一区二区综合| 亚洲国产日韩欧美精品在线观看 | www.熟女人妻精品国产| 丁香欧美五月| av福利片在线| 999久久久精品免费观看国产| 日本 欧美在线| 亚洲va日本ⅴa欧美va伊人久久| 露出奶头的视频| 人妻丰满熟妇av一区二区三区| 丰满的人妻完整版| 特大巨黑吊av在线直播| 亚洲国产精品sss在线观看| xxxwww97欧美| 日韩精品青青久久久久久| 国产伦人伦偷精品视频| 久久 成人 亚洲| 哪里可以看免费的av片| 中文字幕久久专区| 在线免费观看的www视频| 久久国产精品人妻蜜桃| 免费av毛片视频| 蜜桃久久精品国产亚洲av| 免费看a级黄色片| 久久久久性生活片| 精品电影一区二区在线| 毛片女人毛片| 久久精品91蜜桃| 日韩高清综合在线| 在线a可以看的网站| 母亲3免费完整高清在线观看| 在线十欧美十亚洲十日本专区| 黄频高清免费视频| 久久精品亚洲精品国产色婷小说| av在线天堂中文字幕| 国产熟女xx| 久久中文字幕一级| 亚洲午夜理论影院| 九九热线精品视视频播放| 国产激情欧美一区二区| 天堂√8在线中文| 日韩大尺度精品在线看网址| 国产精品免费一区二区三区在线| 国产片内射在线| 国产私拍福利视频在线观看| 最新美女视频免费是黄的| 久久天堂一区二区三区四区| 国产aⅴ精品一区二区三区波| 精品乱码久久久久久99久播| 精品无人区乱码1区二区| 亚洲全国av大片| 在线观看免费午夜福利视频| 老司机靠b影院| 好男人在线观看高清免费视频| 两个人的视频大全免费| 久久香蕉激情| 18禁观看日本| 午夜激情福利司机影院| 国产三级中文精品| 精品一区二区三区四区五区乱码| 午夜福利在线在线| 女人被狂操c到高潮| 18禁黄网站禁片免费观看直播| 少妇的丰满在线观看| 亚洲欧美日韩无卡精品| 精品久久蜜臀av无| 男人舔女人下体高潮全视频| 国产av一区在线观看免费| 免费电影在线观看免费观看| 黄色a级毛片大全视频| 一二三四社区在线视频社区8| 可以在线观看毛片的网站| 女生性感内裤真人,穿戴方法视频| 黄色毛片三级朝国网站| 91成年电影在线观看| 亚洲国产日韩欧美精品在线观看 | 最新美女视频免费是黄的| 黄片小视频在线播放| 欧美久久黑人一区二区| 男女床上黄色一级片免费看| 免费观看精品视频网站| 久久久久久久午夜电影| 国产熟女xx| 亚洲aⅴ乱码一区二区在线播放 | 一夜夜www| 成人国产综合亚洲| 精品久久久久久久末码| 亚洲熟女毛片儿| 成人av在线播放网站| 日韩精品青青久久久久久| 午夜激情福利司机影院| 午夜福利在线在线| 亚洲av电影不卡..在线观看| 亚洲激情在线av| 啦啦啦观看免费观看视频高清| 欧美性猛交黑人性爽| 国产午夜精品论理片| 啪啪无遮挡十八禁网站| 三级男女做爰猛烈吃奶摸视频| 嫁个100分男人电影在线观看| 日韩中文字幕欧美一区二区| 精品欧美国产一区二区三|