• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    全球高性能計(jì)算發(fā)展態(tài)勢分析

    2019-01-28 07:53:07鄭曉歡陳明奇唐川張娟房俊民
    中國學(xué)術(shù)期刊文摘 2019年16期
    關(guān)鍵詞:超級計(jì)算機(jī)高性能系統(tǒng)

    鄭曉歡 陳明奇 唐川 張娟 房俊民

    1 引言

    高性能計(jì)算(high performance computing,HPC)是利用并行處理和互聯(lián)技術(shù)將多個(gè)計(jì)算節(jié)點(diǎn)連接起來,從而高效、可靠、快速地運(yùn)行高級應(yīng)用程序的過程,在許多情況下又被稱作超級計(jì)算(supercomputing),可以提供比普通臺式計(jì)算機(jī)或工作站更高的性能,以解決科學(xué)、工程或商業(yè)中的復(fù)雜問題,已成為解決科學(xué)研究、經(jīng)濟(jì)發(fā)展、國家安全等方面諸多重大難題的重要手段。發(fā)展高性能計(jì)算催生了許多高端技術(shù),并推動了下游產(chǎn)業(yè)的發(fā)展,因此各發(fā)達(dá)國家多年來均投入大量資金和人力發(fā)展高性能計(jì)算。

    目前,我國已建成由17個(gè)高性能計(jì)算中心構(gòu)成的國家高性能計(jì)算服務(wù)環(huán)境,資源能力位居世界前列,尖端成果不斷涌現(xiàn)。我國研制的超級計(jì)算機(jī)已連續(xù)10次在以Linpack性能排名的HPC TOP500中奪冠,我國學(xué)者開發(fā)的超算應(yīng)用還連續(xù)兩次獲得 ACM 戈登·貝爾獎(jiǎng),說明我國不但能造出世界上速度最快的計(jì)算機(jī),而且能在超級計(jì)算機(jī)上實(shí)現(xiàn)其他國家還做不到的實(shí)際應(yīng)用,高性能計(jì)算已像航天和高鐵一樣成為中國的“名片”。同時(shí),各國紛紛加強(qiáng)高性能計(jì)算研發(fā)布局和應(yīng)用拓展,我國已做好百億億次計(jì)算的戰(zhàn)略部署,新一輪競爭已經(jīng)開始。在此背景下,本文對全球高性能計(jì)算發(fā)展態(tài)勢進(jìn)行了剖析和討論。

    2 主要國家和地區(qū)戰(zhàn)略規(guī)劃與項(xiàng)目部署

    2.1 美國

    美國以“國家戰(zhàn)略性計(jì)算計(jì)劃”為主要綱領(lǐng),由不同政府部門協(xié)同推進(jìn)未來高性能計(jì)算,特別是百億億次計(jì)算研發(fā)與應(yīng)用。

    2015年 7月,美國正式啟動“國家戰(zhàn)略性計(jì)算計(jì)劃”(National Strategic Computing Initiative,NSCI),旨在使 HPC的研發(fā)與部署最大程度地造福于經(jīng)濟(jì)競爭與科學(xué)發(fā)現(xiàn)。NSCI確定了 HPC研發(fā)的指導(dǎo)原則與目標(biāo),界定了參與機(jī)構(gòu)的性質(zhì)與職責(zé),并設(shè)立了協(xié)調(diào)機(jī)構(gòu)。2016年7月發(fā)布的“國家戰(zhàn)略性計(jì)算計(jì)劃戰(zhàn)略規(guī)劃”則在此基礎(chǔ)上,進(jìn)一步明確了各機(jī)構(gòu)在每一項(xiàng)發(fā)展目標(biāo)中的具體責(zé)任。該計(jì)劃設(shè)定的戰(zhàn)略目標(biāo)有:加快可實(shí)際使用的百億億次計(jì)算系統(tǒng)的交付;加強(qiáng)建模、仿真技術(shù)與數(shù)據(jù)分析計(jì)算技術(shù)的融合;在15年內(nèi)為HPC系統(tǒng)乃至后摩爾時(shí)代的計(jì)算系統(tǒng)研發(fā)開辟一條可行的途徑;實(shí)施整體方案,綜合考慮聯(lián)網(wǎng)技術(shù)、工作流、向下擴(kuò)展、基礎(chǔ)算法與軟件、可訪問性、勞動力發(fā)展等諸多因素的影響,提升國家HPC生態(tài)系統(tǒng)的可持續(xù)能力;創(chuàng)建一個(gè)可持續(xù)的公私合作關(guān)系,確保HPC研發(fā)的利益最大化,并實(shí)現(xiàn)美國政府、產(chǎn)業(yè)界、學(xué)術(shù)界間的利益共享。

    此外,一些政府科研部門也有相應(yīng)部署和投入,主要包括以下。

    2.1.1 美國國家科學(xué)基金會超算系統(tǒng)投資計(jì)劃作為美國國家科學(xué)基金會(NSF)“極限數(shù)字發(fā)展計(jì)劃”(XD)的一部分,2014年11月,NSF宣布投資1620萬美元構(gòu)建兩套超算系統(tǒng),用于補(bǔ)充開放科學(xué)團(tuán)體現(xiàn)有的資源,使研究人員能在更廣泛的前沿科學(xué)領(lǐng)域中利用HPC。這兩套超算系統(tǒng)被分別命名為“橋(bridges)”和“噴流(jetstream)”,并于 2016年投入使用。

    (1)“橋”(bridges)。Bridges獲資960萬美元,位于匹茲堡大學(xué)的匹茲堡超級計(jì)算中心,重點(diǎn)幫助科學(xué)家解決需要處理和移動大量數(shù)據(jù)、對計(jì)算速度要求不高的科學(xué)問題,可針對不同的問題和數(shù)據(jù)量,為用戶提供定制化的內(nèi)存、數(shù)據(jù)帶寬、計(jì)算能力。

    (2) “噴流” (jetstream)。Jetstream獲資660萬美元,分散安置于印第安那大學(xué)的泛在技術(shù)研究所和德州大學(xué)奧斯汀分校的德州先進(jìn)計(jì)算中心(TACC),是全球最大的公共科技云之一,用于補(bǔ)充美國國家網(wǎng)絡(luò)基礎(chǔ)設(shè)施中基于云的計(jì)算能力,幫助研究人員按需訪問云計(jì)算和數(shù)據(jù)分析資源,以滿足科學(xué)與工程研究群體的多樣化計(jì)算需求。

    2.1.2 美國陸軍研究實(shí)驗(yàn)室 2015—2019年技術(shù)實(shí)施計(jì)劃2015年 1月,美國陸軍研究實(shí)驗(yàn)室(ARL)發(fā)布“2015至 2019年技術(shù)實(shí)施計(jì)劃”,分別從技術(shù)研發(fā)和基礎(chǔ)設(shè)施建設(shè)兩個(gè)層面提出美國陸軍對高性能計(jì)算研發(fā)與建設(shè)的短、中、長期目標(biāo)。

    2.1.3 美國能源部下一代超級計(jì)算機(jī)研發(fā)項(xiàng)目針對“國家戰(zhàn)略性計(jì)算計(jì)劃”,美國能源部(DOE)于2016年4月推出了“百億億次計(jì)算項(xiàng)目”(Exascale Computing Project,ECP),將此前處于初期的“百億億次計(jì)算行動計(jì)劃”(Exascale Computing Initiative)逐步轉(zhuǎn)變?yōu)檎降腄OE項(xiàng)目。ECP旨在解決對未來百億億次系統(tǒng)的有效開發(fā)和部署至關(guān)重要的硬件、軟件、平臺和人才發(fā)展需求,使高性能計(jì)算為美國經(jīng)濟(jì)競爭力、國家安全和科學(xué)發(fā)現(xiàn)帶來最大程度的利益。ECP將開發(fā)運(yùn)算性能是當(dāng)前的千萬億次系統(tǒng)50~100倍甚至更高的超算系統(tǒng),提供突破性建模與仿真方案以在更短的時(shí)間內(nèi)分析更多數(shù)據(jù)。

    作為10年期項(xiàng)目,ECP重點(diǎn)關(guān)注以下4個(gè)領(lǐng)域。

    (1)應(yīng)用開發(fā):使ECP的應(yīng)用套件具備可擴(kuò)展的性能,能在 ECP百億億次系統(tǒng)上有效執(zhí)行。

    (2)軟件技術(shù):擴(kuò)展現(xiàn)有的DOESC和NNSA軟件棧,使其能有效使用百億億次系統(tǒng)。同時(shí)開展工具與方法研發(fā),改進(jìn)生產(chǎn)性能并提升可移植性。

    (3)硬件技術(shù):資助超算供應(yīng)商開展創(chuàng)建百億億次系統(tǒng)所需的硬件架構(gòu)設(shè)計(jì)研發(fā)。

    (4)百億億次系統(tǒng):資助測試床和先進(jìn)系統(tǒng)工程的開發(fā),關(guān)注采購功能性百億億次系統(tǒng)所需增量式現(xiàn)場準(zhǔn)備和系統(tǒng)擴(kuò)展的成本。

    總額為3980萬美元的首輪經(jīng)費(fèi)全額資助了15項(xiàng)應(yīng)用開發(fā)項(xiàng)目和7項(xiàng)種子基金項(xiàng)目,涵蓋45家研究和學(xué)術(shù)機(jī)構(gòu),旨在開發(fā)側(cè)重于可移植性、可用性和可擴(kuò)展性的先進(jìn)建模和模擬解決方案,應(yīng)對DOE在科學(xué)發(fā)現(xiàn)、清潔能源、國家安全和與國立衛(wèi)生研究院(NIH)的國家癌癥研究所(NCI)合作的精準(zhǔn)醫(yī)療計(jì)劃等方面所面臨的具體挑戰(zhàn)。

    2.2 歐盟

    2.2.1 ETP4HPC與歐盟高性能計(jì)算戰(zhàn)略研究議程歐洲高性能計(jì)算技術(shù)平臺(ETP4HPC)在歐洲HPC生態(tài)系統(tǒng)中發(fā)揮著“研發(fā)新技術(shù)、提升社會經(jīng)濟(jì)效益、協(xié)調(diào)機(jī)構(gòu)與項(xiàng)目間合作”等多重關(guān)鍵作用。2013年12月,ETP4HPC與歐盟委員會簽訂合同制公私伙伴關(guān)系(contractual public-private partnerships,cPPP),歐盟“地平線 2020”(H2020)計(jì)劃對 HPC投資 7億歐元,而ETP4HPC也將提供匹配研發(fā)資金。2015年9月,ETP4HPC與PRACE聯(lián)合啟動為期30個(gè)月的“歐洲極限數(shù)據(jù)與計(jì)算行動計(jì)劃”(EXDCI),以促進(jìn)歐洲HPC生態(tài)系統(tǒng)中關(guān)鍵機(jī)構(gòu)和項(xiàng)目之間的合作。

    2015年11月,ETP4HPC發(fā)布2015年版 HPC戰(zhàn)略研究議程(SRA),旨在提出歐洲百億億次計(jì)算的路線圖。該議程在原有的6大重點(diǎn)領(lǐng)域外,還提出了新的技術(shù)領(lǐng)域和新的概念,以及HPC技術(shù)研發(fā)四維度,具體包括:① 新技術(shù)研發(fā),為更廣泛的HPC市場提供更多具備競爭性和創(chuàng)新性的HPC系統(tǒng);② 通過為新技術(shù)提供增強(qiáng)的、合適的特性,解決極限規(guī)模需求;③ 開發(fā)新的 HPC應(yīng)用,包括復(fù)雜系統(tǒng)(如電網(wǎng))控制、云模型、大數(shù)據(jù)等;④ 通過HPC技能培訓(xùn)和服務(wù)支撐,提升HPC解決方案的可用性。

    2.2.2 歐盟HPC公私合作伙伴關(guān)系2013年12月,歐盟委員會針對8個(gè)領(lǐng)域宣布與歐洲產(chǎn)業(yè)界建立合同性公私合作伙伴關(guān)系(cPPP),并通過“地平線 2020”計(jì)劃提供62億歐元,其中HPC cPPP獲得7億歐元的資助,用于攜手技術(shù)供應(yīng)商和用戶開發(fā)下一代百億億次超級計(jì)算機(jī)技術(shù)、應(yīng)用和系統(tǒng)。其預(yù)期成果是:制定對產(chǎn)業(yè)競爭力、可持續(xù)發(fā)展、社會和經(jīng)濟(jì)效益具有顯著影響的研究與創(chuàng)新戰(zhàn)略,促進(jìn)涵蓋整個(gè)產(chǎn)業(yè)鏈的HPC生態(tài)系統(tǒng),通過提供HPC資源和技術(shù)使用的便利條件來擴(kuò)大用戶群。

    2016年5月,歐盟根據(jù)其2016—2017工作計(jì)劃,發(fā)布H2020計(jì)劃HPC領(lǐng)域招標(biāo)公告,此次招標(biāo)屬于未來新興技術(shù)(FET)前瞻計(jì)劃的一部分,旨在利用從千萬億次向百億億次計(jì)算過渡中出現(xiàn)的新機(jī)遇,創(chuàng)建下一代極限性能計(jì)算。

    2.2.3 歐盟 1.4億歐元資助多個(gè)HPC項(xiàng)目和卓越中心2015年9月,歐盟宣布投資 1.4億歐元,資助 21項(xiàng)“邁向百億億次高性能計(jì)算”的HPC項(xiàng)目并新建8所面向計(jì)算應(yīng)用的卓越中心。其中三個(gè)項(xiàng)目——ExaNest,ExaNode和 ECOSCALE于 2016年底合作完成了 ARM64+FPGA架構(gòu)的百億億次超算機(jī)原型。

    2.2.4 歐盟框架計(jì)劃百億億次計(jì)算項(xiàng)目研究進(jìn)展歐盟希望在2022年前能建造3臺全球頂級的超級計(jì)算機(jī),為此H2020之前的FP7框架計(jì)劃(2007—2013)資助了 8項(xiàng)百億億次計(jì)算研究項(xiàng)目,且在2011—2016年間投入的資助超過5000萬歐元。這些項(xiàng)目主要用于解決算法和應(yīng)用開發(fā)、系統(tǒng)軟件、能源效率、工具和硬件設(shè)計(jì)等方面的挑戰(zhàn)。

    2016年9月,歐盟委員會發(fā)布百億億次計(jì)算研究概述報(bào)告,回顧了 FP7所資助計(jì)算項(xiàng)目的研究進(jìn)展,包括:CRESTA,百億億次軟件、工具和應(yīng)用的合作研究;DEEP/DEEP-ER,動態(tài)的百億億次入口平臺及其拓展;Mont-BlancI+II,面向節(jié)能 HPC的歐洲路徑,目前已經(jīng)進(jìn)入第三階段,計(jì)劃在2019年前設(shè)計(jì)出一個(gè)新的高端HPC平臺,能以更低的能耗、更高的性能運(yùn)行真實(shí)應(yīng)用;EPiGRAM,百億億次編程模型,在消息傳遞接口(MPI)并行編程設(shè)計(jì)中引入和實(shí)現(xiàn)新概念,以實(shí)現(xiàn) MPI在執(zhí)行時(shí)間和內(nèi)存消耗方面的可擴(kuò)展性;EXA2CT,百億億次算法與先進(jìn)計(jì)算技術(shù);Numexas,面向工程和應(yīng)用科學(xué)中關(guān)鍵百億億次計(jì)算挑戰(zhàn)的數(shù)值方法和工具等。

    2.3 日本

    2013年12月,日本文部科學(xué)省推出百億億次超級計(jì)算機(jī)研發(fā)項(xiàng)目,旨在保持日本在計(jì)算科學(xué)和技術(shù)領(lǐng)域的領(lǐng)先優(yōu)勢。新的超級計(jì)算機(jī)“后京”(Post-K)預(yù)計(jì)于2020年投入使用,速度將是日本現(xiàn)有最快超級計(jì)算機(jī)“京”的100倍。新的百億億次超級計(jì)算機(jī)研發(fā)被文部科學(xué)省列為“旗艦 2020計(jì)劃”(Flagship 2020 Project),由日本理化學(xué)研究所(RIKEN)的計(jì)算科學(xué)研究機(jī)構(gòu)(AICS)負(fù)責(zé)實(shí)施。文部科學(xué)省2015年8月公布的2016年預(yù)算顯示,該計(jì)劃2016年獲得了76億日元的撥款,比前一年的39億日元增加了近一倍。

    “后京”的研發(fā)秉持 4項(xiàng)基本的設(shè)計(jì)方針:能解決實(shí)際的社會和科學(xué)問題;在能效方面具備國際競爭力;最大程度地利用前任“京”確立的技術(shù)、人才和應(yīng)用;2020年以后也能針對半導(dǎo)體技術(shù)的發(fā)展實(shí)現(xiàn)有效的性能擴(kuò)展?;谶@4項(xiàng)方針,“后京”的開發(fā)將通過系統(tǒng)與應(yīng)用的協(xié)同設(shè)計(jì)(Co-design)進(jìn)行,一是開發(fā)下一代超算系統(tǒng)“后京”,二是面向“后京”的使用開發(fā)相應(yīng)的應(yīng)用,以解決革命性新藥開發(fā)、生命科學(xué)計(jì)算、災(zāi)害預(yù)測、氣象預(yù)測、綠色能源系統(tǒng)實(shí)用、宇宙演化分析等9項(xiàng)重要的社會和科學(xué)問題。

    “后京”的開發(fā)分為4個(gè)方面:架構(gòu)開發(fā)、協(xié)同設(shè)計(jì)推進(jìn)、系統(tǒng)軟件開發(fā)、應(yīng)用開發(fā),AICS為此設(shè)立了4個(gè)專職研發(fā)團(tuán)隊(duì)。從預(yù)定的計(jì)劃來看,“后京”的研發(fā)將在2018年完成制造并開始量產(chǎn),2019年進(jìn)行設(shè)置和調(diào)整,2020年投入運(yùn)行。不過,2016年9月在美國奧斯汀舉行的HPC用戶論壇上,該項(xiàng)目負(fù)責(zé)人—— RIKEN的石川裕表示,正式運(yùn)行的時(shí)間可能會延后 1~2年,但并未說明延后的原因。有報(bào)道稱,可能是由于半導(dǎo)體設(shè)計(jì)問題導(dǎo)致的 CMOS制造技術(shù)尚不成熟,或者是芯片開發(fā)的時(shí)間比預(yù)期要長。

    2.4 法國

    法國的新一代超級計(jì)算機(jī)研發(fā)主要是通過國立科研機(jī)構(gòu)與企業(yè)的合作開展,部分研發(fā)項(xiàng)目如下。

    法國布爾公司(Bull)于 2014年11月公布其百億億次計(jì)算的研發(fā)計(jì)劃,在提高處理器運(yùn)算速度和數(shù)據(jù)處理能力的同時(shí),開發(fā)超快的互聯(lián)技術(shù)和更好的冷卻技術(shù),提高能效,并從根本上重新設(shè)計(jì)軟件。該計(jì)劃擬開發(fā)一臺開放式、高度模塊化并具有最頂級互聯(lián)能力的百億億次超級計(jì)算機(jī)SEQUANA及其配套的軟件棧,以及一系列具有超高內(nèi)存性能,支持內(nèi)存數(shù)據(jù)庫、預(yù)處理、后處理和可視化等操作的服務(wù)器。

    2015年 7月,法國源訊公司(Atos)與法國新能源與原子能委員會(CEA)簽訂合同,約定于2020年向CEA提供百億億次超級計(jì)算機(jī)“Tera1000”。系統(tǒng)的第一部分組件已在2015年4月交付,原型系統(tǒng)也在2017年建成并投入運(yùn)行,其理論峰值達(dá)到9.3千萬億次/秒、實(shí)測峰值達(dá) 4.9千萬億次/秒(2017年11月)。CEA軍事應(yīng)用科為其開發(fā)了一套生態(tài)系統(tǒng),使其能夠基于Atos的高性能計(jì)算技術(shù)提供具有競爭力的、耐用的、符合自身需求的超級計(jì)算能力。

    2015年8月,IBM和法國國家大型計(jì)算中心(GENCI)宣布將開展一項(xiàng)合作,充分利用Open-POWER聯(lián)盟帶來的創(chuàng)新技術(shù),以及IBM基于Open-POWER生態(tài)系統(tǒng)開發(fā)的最先進(jìn)HPC技術(shù),加快邁向百億億次計(jì)算的步伐。該合作得到 POWER加速設(shè)計(jì)中心的支持,主要致力于為超算系統(tǒng)編寫復(fù)雜的科學(xué)應(yīng)用,這些系統(tǒng)的運(yùn)算速度有望超越10億億次級并邁向百億億次級。此項(xiàng)合作將多點(diǎn)接口技術(shù)和共享存儲并行編程技術(shù)作為共享內(nèi)存多處理器編程的第一步,致力于理解編程模型的進(jìn)化。由于系統(tǒng)邁向百億億次的過程中可能出現(xiàn)潛在變化,此項(xiàng)合作也將考察多種應(yīng)用程序接口。

    3 高性能計(jì)算面臨的挑戰(zhàn)與趨勢

    3.1 計(jì)算性能的提升

    2015年10月,美國計(jì)算社區(qū)聯(lián)盟(CCC)在《下一代計(jì)算的機(jī)遇與挑戰(zhàn)》報(bào)告中指出,目前氣候建模與仿真等超算應(yīng)用的精度受限于計(jì)算能力。各國都在大力研發(fā)下一代的百億億次計(jì)算,但科研界擔(dān)憂超算應(yīng)用是否能跟上百億億次計(jì)算硬件的發(fā)展步伐,一個(gè)主要的困難就是沒有人確切地知道未來的百億億次計(jì)算架構(gòu)。多位科學(xué)家認(rèn)為,超算應(yīng)用面臨著正式建模、靜態(tài)分析與優(yōu)化、運(yùn)行時(shí)分析與優(yōu)化、自主計(jì)算4大關(guān)鍵挑戰(zhàn),并建議基于百億億次系統(tǒng)目前的假設(shè)和可用的數(shù)據(jù),采取逐步改進(jìn)的方式將現(xiàn)有超算應(yīng)用移植到未來的百億億次計(jì)算系統(tǒng)上。

    3.2 能耗的降低

    隨著高性能計(jì)算機(jī)的速度日益提升,能耗成為一個(gè)亟待解決的關(guān)鍵問題。各國目前制定的百億億次計(jì)算規(guī)劃基本將系統(tǒng)功耗目標(biāo)設(shè)定為20 MW。但從目前各方面的技術(shù)水平來看,要在2020年左右實(shí)現(xiàn)這一目標(biāo)仍存在相當(dāng)大的困難。目前最“綠色”系統(tǒng)為日本理化所研制的 Shoubu system B(2017年 11月 Green500排名第 1),其能效為17 GFlops/w。由此推算,百億億次計(jì)算系統(tǒng)的功耗將達(dá)到58.8 MW,距離既定的能效指標(biāo)尚有近3倍的差距。

    2015年4月,在美國NSF與半導(dǎo)體研究聯(lián)盟(SRC)聯(lián)合舉行的高能效計(jì)算研討會上,與會專家展望了高能效計(jì)算研究的機(jī)遇。例如,相變的控制對研發(fā)能在極低壓下工作的計(jì)算設(shè)備而言是一條潛在的途徑,傳導(dǎo)則是其他有前景的低功率開關(guān)機(jī)制之一。在儲能線路中部署絕熱開關(guān)也是改善能效的一條途徑。此外,需要更多的關(guān)注更高級的架構(gòu)。例如,磁滯設(shè)備具備非易失性邏輯與存儲功能,可以改善現(xiàn)有架構(gòu)的性能;線性與非線性光學(xué)設(shè)備和緊湊型光發(fā)射器近年來在小型化與能效改善方面都獲得了巨大進(jìn)步。其他架構(gòu)研究領(lǐng)域也可能利用新興的設(shè)備理念來大幅提升計(jì)算能效。相關(guān)研究主題包括:異構(gòu)系統(tǒng)的架構(gòu)、最大程度減少數(shù)據(jù)移動的架構(gòu)、神經(jīng)形態(tài)架構(gòu)、新的隨機(jī)計(jì)算方案、近似計(jì)算、認(rèn)知計(jì)算等。

    3.3 軟件與算法的開發(fā)

    GPU已經(jīng)大幅提高了計(jì)算能力,但對新軟件和新算法的需求仍然迫切,一些重要問題包括:隨著晶片上集成的晶體管數(shù)量急劇增加,摩爾定律可能失效的推測將促使計(jì)算架構(gòu)發(fā)生重要變化,這就需要新的軟件和算法能來幫助新的計(jì)算架構(gòu)發(fā)揮最大效用;放寬對計(jì)算精確度“近乎完美”的要求可能開創(chuàng)一個(gè)“近似計(jì)算”的新時(shí)代,從而更好地解決系統(tǒng)故障。任何對網(wǎng)絡(luò)基礎(chǔ)設(shè)施的投資都需要考慮到軟件的更新和重新開發(fā),算法、數(shù)值方法、理論模型的創(chuàng)新對未來計(jì)算能力的提升可能發(fā)揮重要作用。另一方面,開展應(yīng)用數(shù)學(xué)研究對促進(jìn)軟件與算法開發(fā)也非常重要。只有在應(yīng)用數(shù)學(xué)方面取得進(jìn)展才能開發(fā)出高性能應(yīng)用程序,從而應(yīng)對百億億次計(jì)算面臨的大量科學(xué)與技術(shù)挑戰(zhàn)。美國著名計(jì)算科學(xué)家杰克·唐加拉(Jack Dongarra)建議美國能源部“先進(jìn)科學(xué)計(jì)算研究”項(xiàng)目(ASCR)優(yōu)先開展針對百億億次計(jì)算的應(yīng)用數(shù)學(xué)研究,以幫助DOE保持在先進(jìn)計(jì)算方面的優(yōu)勢,包括:對新模型、抽象化、算法的研發(fā)投入大量經(jīng)費(fèi),以充分利用百億億次計(jì)算的巨大性能;利用應(yīng)用數(shù)學(xué)方法尋找平衡點(diǎn),以準(zhǔn)確區(qū)分各項(xiàng)研究是否需要百億億次計(jì)算支持。

    3.4 硬件架構(gòu)的發(fā)展

    硬件架構(gòu)將更趨多樣化,分別以提升運(yùn)算性能、能效和數(shù)據(jù)密集型處理能力為目標(biāo)的各種架構(gòu)會陸續(xù)出現(xiàn)。處理器由多核向眾核發(fā)展,2016年6月的TOP500中96套系統(tǒng)使用了眾核加速器技術(shù),其中86套使用了協(xié)處理器,另外10套使用了最新的 Xeon Phi“Knights Landing”處理器作為主要的處理單元,它們是TOP500上首批將眾核技術(shù)作為獨(dú)立處理器使用的系統(tǒng)。就互連技術(shù)而言,206套系統(tǒng)采用了千兆以太網(wǎng)技術(shù),187套系統(tǒng)采用了InfiniBand技術(shù),28套系統(tǒng)采用了IntelOmni-Path技術(shù),該技術(shù)在2016年6月的TOP500榜單上首次出現(xiàn)。

    此外,后摩爾時(shí)代的新型計(jì)算架構(gòu)是重要研究熱點(diǎn)?!?015國際半導(dǎo)體技術(shù)發(fā)展路線圖》認(rèn)為,在經(jīng)歷50多年的不斷小型化發(fā)展之后,晶體管體積將在2021年停止縮減,屆時(shí)摩爾定律將失效,該路線圖自2016年起也已停止更新。2016年3月,英特爾宣布延長處理器研發(fā)周期,將傳統(tǒng)的研發(fā)周期從“制程—架構(gòu)”的兩步戰(zhàn)略變?yōu)椤爸瞥獭軜?gòu)—優(yōu)化”的三步走戰(zhàn)略,業(yè)內(nèi)認(rèn)為這一策略的轉(zhuǎn)變意味著摩爾定律正式終結(jié)。

    隨著摩爾定律的終結(jié),各國政府、企業(yè)和學(xué)術(shù)界都在加大力度研發(fā)新一代的計(jì)算架構(gòu)。例如,IBM公司在2014年7月宣布,將在未來5年投資 30億美元推動計(jì)算技術(shù)的發(fā)展,其中就涉及面向后硅時(shí)代的量子計(jì)算和神經(jīng)形態(tài)計(jì)算研發(fā);2015年1月,美國空軍研究實(shí)驗(yàn)室提出了2015—2030年在超級計(jì)算領(lǐng)域的研發(fā)目標(biāo),長期目標(biāo)之一就是實(shí)現(xiàn)量子計(jì)算、神經(jīng)形態(tài)計(jì)算和生物計(jì)算等新型計(jì)算模式與硬件的集成;美國高級情報(bào)研究計(jì)劃局正在致力于超導(dǎo)超級計(jì)算(包括低溫存儲)的研究;此外,美國桑迪亞國家實(shí)驗(yàn)室正在開展一項(xiàng)名為“超越摩爾定律計(jì)算”的計(jì)劃,以開發(fā)后摩爾時(shí)代的計(jì)算技術(shù)。

    4 我國高性能計(jì)算戰(zhàn)略部署、進(jìn)展與提升空間

    4.1 我國百億億次計(jì)算戰(zhàn)略部署

    為進(jìn)一步在與各國的高性能計(jì)算競爭中取得先機(jī),我國將百億億次(E級)超級計(jì)算機(jī)及相關(guān)技術(shù)的研究寫入了國家“十三五”規(guī)劃,希望在2020年左右實(shí)現(xiàn)這一宏偉研究計(jì)劃。在2016年啟動的國家“十三五”高性能計(jì)算專項(xiàng)課題中,國防科技大學(xué)、中科曙光和江南計(jì)算技術(shù)研究所同時(shí)獲批開展 E級超級計(jì)算原型系統(tǒng)的研制工作,形成了“三頭并進(jìn)”的局面,擬通過賽馬機(jī)制打造我國自主的E級超算系統(tǒng)。

    該專項(xiàng)總體目標(biāo)是:在 E級計(jì)算機(jī)的體系結(jié)構(gòu),新型處理器結(jié)構(gòu)、高速互連網(wǎng)絡(luò)、整機(jī)基礎(chǔ)架構(gòu)、軟件環(huán)境、面向應(yīng)用的協(xié)同設(shè)計(jì)、大規(guī)模系統(tǒng)管控與容錯(cuò)等核心技術(shù)方面取得突破,依托自主可控技術(shù),研制適應(yīng)應(yīng)用需求的 E級高性能計(jì)算機(jī)系統(tǒng),使我國高性能計(jì)算機(jī)的性能在“十三五”末期保持世界領(lǐng)先水平。

    4.2 我國高性能計(jì)算研制與應(yīng)用進(jìn)展及提升空間

    4.2.1 研制能力顯著增強(qiáng)2016年11月公布的第48期全球超級計(jì)算機(jī)500強(qiáng)(TOP500)榜單上,使用中國自主芯片制造的“神威·太湖之光”以較大的運(yùn)算速度優(yōu)勢輕松蟬聯(lián)冠軍,“天河二號”排名第2。中國超算總體表現(xiàn)出色,以171臺上榜數(shù)量與美國并列第 1。這見證了中國和美國并駕齊驅(qū)的超算優(yōu)勢,也反映了中國超算的快速崛起。

    在一年后(2017年11月)發(fā)布的第50期TOP500榜單中,我國“神威·太湖之光”和“天河二號”依舊占據(jù)前兩名,其中“神威·太湖之光”的核心部件全部為國產(chǎn),凸顯中國在超算領(lǐng)域的自主研發(fā)能力。在入圍TOP500的系統(tǒng)數(shù)量方面,我國首次以顯著優(yōu)勢領(lǐng)先美國(202套:143套),呈現(xiàn)出全面爆發(fā)趨勢。在計(jì)算資源總量上,我國占到榜單上所有HPC系統(tǒng)總和的35.4%,高于美國的29.6%。

    值得注意的是,我國HPC的研制能力已顯著增強(qiáng),除了國防科技大學(xué)、江南計(jì)算技術(shù)研究所先后研制出最快超算系統(tǒng)外,在第 50期Top500榜單中,聯(lián)想、浪潮、曙光等3家中國廠商所研制的 HPC數(shù)6382.024量依次排名第 2、第 3和第5,與美國惠普(第1)和Cray(第4)共同構(gòu)成全球第一梯隊(duì)。另一方面,美國在 TOP500榜單上的成績已跌至歷史最差。但從HPC研制企業(yè)與核心技術(shù)看,美國依舊牢牢占據(jù)優(yōu)勢。最新TOP500榜單上有471套HPC使用了英特爾的芯片,比6個(gè)月前增加了7臺,另有14臺采用IBM的芯片。

    4.2.2 多領(lǐng)域應(yīng)用獲得豐碩成果隨著我國高性能計(jì)算的研制不斷取得進(jìn)步以及相關(guān)學(xué)科快速發(fā)展,我國高性能計(jì)算的應(yīng)用在近年取得了豐碩成果,有較大國際影響的包括以下。

    (1)千萬核可擴(kuò)展大氣動力學(xué)全隱式模擬

    在 2016年 11月美國鹽湖城舉行的2016年全球超級計(jì)算大會上,中國憑借“千萬核可擴(kuò)展大氣動力學(xué)全隱式模擬”研究成果一舉獲得“戈登·貝爾”獎(jiǎng)。該研究由“神威·太湖之光”提供運(yùn)算支撐,可有效開展全球公里級氣象預(yù)報(bào),與國際主流的大氣動力模式相比,計(jì)算速度提升近10倍,與2015年獲得戈登·貝爾獎(jiǎng)的項(xiàng)目相比,計(jì)算效率提升10倍以上。這是我國超算應(yīng)用團(tuán)隊(duì)首次獲得有著“超算應(yīng)用諾獎(jiǎng)”美譽(yù)的“戈登·貝爾”獎(jiǎng),標(biāo)志著我國科研人員正將超級計(jì)算的速度優(yōu)勢轉(zhuǎn)化為應(yīng)用優(yōu)勢。

    (2)鈦合金微結(jié)構(gòu)演化相場模擬

    鈦合金制備工藝復(fù)雜,微觀組織形成機(jī)制和規(guī)律難以通過實(shí)驗(yàn)獲得,常借助于軟件模擬。相場法能夠模擬微觀組織的演化過程,廣泛應(yīng)用于新材料的設(shè)計(jì)。基于“神威·太湖之光”,中國科學(xué)院計(jì)算機(jī)網(wǎng)絡(luò)信息中心自主開發(fā)了基于可擴(kuò)展緊致指數(shù)時(shí)間差分算法庫的相場模擬軟件 ScETDPF,支持計(jì)算材料科學(xué)、計(jì)算物理、計(jì)算生命科學(xué)等學(xué)科的科研模擬。

    該研究由網(wǎng)絡(luò)中心和中國科學(xué)院金屬研究所合作開展,首次實(shí)現(xiàn)了國際最大規(guī)模的鈦合金微結(jié)構(gòu)粗化相場模擬,顯著加快了我國新型鈦合金的設(shè)計(jì)和工藝優(yōu)化。計(jì)算擴(kuò)展到800萬核,實(shí)現(xiàn)整機(jī)規(guī)模計(jì)算,最大性能達(dá)到 39.678 PFlops。該應(yīng)用也入圍2016年“戈登·貝爾”獎(jiǎng)提名。

    (3)高分辨率海浪數(shù)值模擬

    對于海洋模式模擬而言,分辨率的提高會帶來計(jì)算量的大幅提升。如果水平分辨率提高10倍,模式的計(jì)算量將增加數(shù)百乃至上千倍,是未來 E級計(jì)算機(jī)系統(tǒng)的驅(qū)動應(yīng)用。

    國家海洋局第一海洋研究所、青島海洋科學(xué)與技術(shù)國家實(shí)驗(yàn)室與清華大學(xué)合作,在“神威·太湖之光”超級計(jì)算機(jī)實(shí)現(xiàn)了(1/60)。高分辨率的全球海洋模式,通過核加速、負(fù)載均衡、通信重疊和指令流水等優(yōu)化手段,模式成功擴(kuò)展到了8,519,680核數(shù),達(dá)到最高30.07 PFlops的峰值性能,獲得了優(yōu)異的擴(kuò)展性與并行效率。該應(yīng)用同樣入圍2016年“戈登·貝爾”獎(jiǎng)提名。

    (4)非線性大地震模擬

    基于“神威·太湖之光”的強(qiáng)大計(jì)算能力,由清華大學(xué)、國家超級計(jì)算無錫中心、山東大學(xué)、南方科技大學(xué)、中國科技大學(xué)、國家并行計(jì)算機(jī)工程技術(shù)研究中心組成的聯(lián)合團(tuán)隊(duì)成功設(shè)計(jì)實(shí)現(xiàn)了高可擴(kuò)展性的非線性大地震模擬工具。該工具充分發(fā)揮國產(chǎn)處理器在存儲、計(jì)算、通信資源等方面的優(yōu)勢,可以實(shí)現(xiàn)高達(dá)18.9 PFlops的非線性地震模擬,是國際上首次實(shí)現(xiàn)如此大規(guī)模下的高分辨率、高頻率、非線性塑性地震模擬,對未來的地震災(zāi)害救援演習(xí)、預(yù)防預(yù)測等研究具有重要的借鑒意義?!胺蔷€性大地震模擬”贏得了2017年“戈登·貝爾”獎(jiǎng)。

    4.3 我國高性能計(jì)算的提升空間及建議

    我國高性能計(jì)算近年取得了巨大發(fā)展,既反映了國家經(jīng)濟(jì)實(shí)力和創(chuàng)新能力的提升,也說明當(dāng)前我國的研發(fā)與生產(chǎn)需求都十分強(qiáng)勁,尤其是互聯(lián)網(wǎng)領(lǐng)域?qū)τ?jì)算的旺盛需求大力拉動了我國高性能計(jì)算的發(fā)展。但是,一些核心技術(shù)仍未實(shí)現(xiàn)突破,加之建設(shè)、運(yùn)營、市場化經(jīng)驗(yàn)有限,導(dǎo)致實(shí)際發(fā)展與建設(shè)目標(biāo)存在一定差距,依然存在較多提升空間。

    4.3.1 構(gòu)建“大”、“小”高性能計(jì)算創(chuàng)新生態(tài)系統(tǒng)我國高性能計(jì)算的發(fā)展到了關(guān)鍵時(shí)期,必須要在此階段建立起良好的生態(tài)系統(tǒng),方可實(shí)現(xiàn)全面領(lǐng)先和持續(xù)性進(jìn)步。從狹義上說,“小”的創(chuàng)新生態(tài)系統(tǒng)是要面向處理器研發(fā)系統(tǒng)軟件、工具軟件和應(yīng)用軟件,讓處理器得到廣泛應(yīng)用。而“大”的創(chuàng)新生態(tài)系統(tǒng)是指產(chǎn)業(yè)界、學(xué)術(shù)界和應(yīng)用部門之間的協(xié)調(diào),即把系統(tǒng)研發(fā)、應(yīng)用研發(fā)和整個(gè)計(jì)算基礎(chǔ)設(shè)施的研發(fā)整合起來,真正形成具有世界競爭力的科學(xué)產(chǎn)業(yè)和基礎(chǔ)設(shè)施。需要通過在教育、研究和產(chǎn)業(yè)各個(gè)領(lǐng)域更好地開展合作來建設(shè)這更大的創(chuàng)新生態(tài)環(huán)境。

    4.3.2 改善科研院所高性能計(jì)算設(shè)施建設(shè)盡管我國入圍TOP500榜單的高性能計(jì)算機(jī)數(shù)量已大幅超越美國,但其中大部分都排在榜單的后半部分,并且大多被部署在互聯(lián)網(wǎng)公司、云服務(wù)提供商、電信運(yùn)營商、電力公司和政府部門,用于尖端研發(fā)的寥寥無幾。與此相對應(yīng)的,美國大多數(shù)高性能計(jì)算機(jī)被部署在國家實(shí)驗(yàn)室、大學(xué)以及研究機(jī)構(gòu)中,從事最尖端和前沿的研究。中國的大學(xué)和研究機(jī)構(gòu)需要高性能計(jì)算設(shè)施,應(yīng)當(dāng)加大在這方面的投資。

    4.3.3 突破軟件瓶頸,釋放高性能計(jì)算設(shè)施價(jià)值高性能計(jì)算機(jī)的壽命通常只有5~7年,并且運(yùn)行維護(hù)費(fèi)用很高,因此必須快速研制出相關(guān)應(yīng)用程序,才能最大程度發(fā)揮其價(jià)值。我國高性能計(jì)算長期重“硬”輕“軟”,導(dǎo)致基礎(chǔ)并行環(huán)境、基礎(chǔ)算法、高性能數(shù)學(xué)庫、操作系統(tǒng)等基礎(chǔ)與應(yīng)用軟件的發(fā)展落后于計(jì)算機(jī)系統(tǒng)的發(fā)展,進(jìn)而導(dǎo)致我國高性能計(jì)算設(shè)施難以充分發(fā)揮作用。目前,我國許多研究機(jī)構(gòu)、高等院校大量使用國外商業(yè)軟件、開源軟件,并導(dǎo)致諸多困難:一些軟件甚至只是目標(biāo)程序,很難對物理模型、計(jì)算格式、算法進(jìn)行調(diào)整、改進(jìn);計(jì)算規(guī)模受限制;計(jì)算精度、分辨率不高;關(guān)鍵應(yīng)用受到限制。

    要使高性能計(jì)算在實(shí)際應(yīng)用中真正成為科技創(chuàng)新的重要手段,就必須堅(jiān)持對基礎(chǔ)與應(yīng)用軟件和高性能計(jì)算機(jī)系統(tǒng)的統(tǒng)籌規(guī)劃、均衡投資、協(xié)調(diào)發(fā)展。建議成立若干國家并行軟件工程中心,統(tǒng)籌、協(xié)調(diào)全國各行業(yè)并行軟件的研究、開發(fā)、推廣和應(yīng)用,同時(shí)采用自研、開源、共享等多種手段,解決國產(chǎn)軟件缺乏和市場占有率低的問題。

    4.3.4 大力培養(yǎng)高素質(zhì)跨學(xué)科人才高性能計(jì)算是一門典型的交叉學(xué)科,其內(nèi)容涉及計(jì)算機(jī)科學(xué)、計(jì)算數(shù)學(xué)、行業(yè)應(yīng)用知識。我國高性能計(jì)算的研發(fā)人才已具備相當(dāng)實(shí)力,但應(yīng)用人才相對短缺,特別是缺乏應(yīng)用軟件和系統(tǒng)軟件方面的專業(yè)人才。主要原因在于培養(yǎng)相關(guān)人才的門檻高、專業(yè)性強(qiáng),學(xué)科交叉協(xié)作還未形成風(fēng)氣,缺乏鼓勵(lì)學(xué)科交叉合作的具體機(jī)制和組織保障。

    因此,培養(yǎng)高素質(zhì)跨學(xué)科人才顯得尤為迫切。應(yīng)建立長期的人才培養(yǎng)戰(zhàn)略,通過科普讓更多年輕人接觸、了解高性能計(jì)算,同時(shí)擴(kuò)大設(shè)置“高性能計(jì)算理論+多學(xué)科應(yīng)用課程”的高校范圍,加大對“懂計(jì)算懂專業(yè)”的復(fù)合型人才培養(yǎng)力度,大力推動該領(lǐng)域多學(xué)科的交叉融合。要加強(qiáng)課程建設(shè)、師資隊(duì)伍建設(shè),還要拓寬人才培養(yǎng)渠道、結(jié)合實(shí)踐培訓(xùn)用戶來解決人才不足問題。?

    猜你喜歡
    超級計(jì)算機(jī)高性能系統(tǒng)
    超級計(jì)算機(jī)
    Smartflower POP 一體式光伏系統(tǒng)
    WJ-700無人機(jī)系統(tǒng)
    ZC系列無人機(jī)遙感系統(tǒng)
    北京測繪(2020年12期)2020-12-29 01:33:58
    超級計(jì)算機(jī)及其在航空航天領(lǐng)域中的應(yīng)用
    科技傳播(2019年22期)2020-01-14 03:06:36
    美國制造出全球最快超級計(jì)算機(jī)
    每秒100億億次 中國超級計(jì)算機(jī)
    連通與提升系統(tǒng)的最后一塊拼圖 Audiolab 傲立 M-DAC mini
    一款高性能BGO探測器的研發(fā)
    電子制作(2017年19期)2017-02-02 07:08:49
    高性能砼在橋梁中的應(yīng)用
    欧美乱码精品一区二区三区| 1024香蕉在线观看| 日韩视频一区二区在线观看| 日韩av在线大香蕉| 日本vs欧美在线观看视频| 国产精品永久免费网站| 97人妻天天添夜夜摸| 波多野结衣av一区二区av| 亚洲精品美女久久久久99蜜臀| a级毛片在线看网站| 亚洲免费av在线视频| xxxhd国产人妻xxx| 丰满饥渴人妻一区二区三| 在线观看免费视频网站a站| 成人亚洲精品一区在线观看| 久久精品亚洲av国产电影网| 日韩大尺度精品在线看网址 | 99国产极品粉嫩在线观看| 十八禁网站免费在线| 国产黄色免费在线视频| 黑人欧美特级aaaaaa片| 麻豆久久精品国产亚洲av | 一区二区三区国产精品乱码| 国产深夜福利视频在线观看| 天天添夜夜摸| 少妇的丰满在线观看| 亚洲欧美一区二区三区久久| 涩涩av久久男人的天堂| 欧美成人性av电影在线观看| 多毛熟女@视频| 美女国产高潮福利片在线看| 日韩欧美一区二区三区在线观看| 母亲3免费完整高清在线观看| 久久精品国产99精品国产亚洲性色 | 午夜精品久久久久久毛片777| 国产精品一区二区免费欧美| 悠悠久久av| 国产成年人精品一区二区 | 大型黄色视频在线免费观看| 国产一区二区激情短视频| 69精品国产乱码久久久| 50天的宝宝边吃奶边哭怎么回事| 悠悠久久av| 神马国产精品三级电影在线观看 | 女人被狂操c到高潮| 精品高清国产在线一区| 亚洲国产毛片av蜜桃av| 亚洲黑人精品在线| 日本三级黄在线观看| 欧美日韩av久久| 久久亚洲精品不卡| 日韩高清综合在线| 高清在线国产一区| 欧美日韩黄片免| 黄片小视频在线播放| 这个男人来自地球电影免费观看| 人人妻人人添人人爽欧美一区卜| 97碰自拍视频| 日本a在线网址| 久久精品国产99精品国产亚洲性色 | 久久久久久久久免费视频了| 国产一区二区三区视频了| 黄片小视频在线播放| 在线观看免费日韩欧美大片| 男男h啪啪无遮挡| 91字幕亚洲| 久久久国产精品麻豆| 黄色片一级片一级黄色片| 看片在线看免费视频| 欧美一区二区精品小视频在线| 亚洲精品美女久久av网站| 欧美色视频一区免费| 看免费av毛片| 91成人精品电影| 精品国产乱码久久久久久男人| 亚洲一区高清亚洲精品| 两性午夜刺激爽爽歪歪视频在线观看 | 欧美成狂野欧美在线观看| 欧美久久黑人一区二区| 国产欧美日韩一区二区三区在线| 大陆偷拍与自拍| 如日韩欧美国产精品一区二区三区| aaaaa片日本免费| 黑人猛操日本美女一级片| 美女福利国产在线| 嫩草影视91久久| 亚洲精品美女久久av网站| 国产极品粉嫩免费观看在线| 国产免费男女视频| 男女做爰动态图高潮gif福利片 | 亚洲成国产人片在线观看| 国产伦一二天堂av在线观看| 搡老岳熟女国产| 最近最新中文字幕大全免费视频| 成人亚洲精品av一区二区 | 99在线视频只有这里精品首页| 怎么达到女性高潮| 纯流量卡能插随身wifi吗| 男人舔女人下体高潮全视频| 成年人免费黄色播放视频| 91成年电影在线观看| 亚洲黑人精品在线| 亚洲人成电影免费在线| 久久久国产一区二区| 真人做人爱边吃奶动态| 亚洲一区中文字幕在线| 亚洲成人免费电影在线观看| www.自偷自拍.com| 欧美激情 高清一区二区三区| 欧美激情高清一区二区三区| 亚洲一区二区三区欧美精品| 精品国产一区二区久久| 国产片内射在线| 免费一级毛片在线播放高清视频 | 高清欧美精品videossex| 亚洲 国产 在线| 国产午夜精品久久久久久| 免费搜索国产男女视频| 在线观看免费午夜福利视频| 亚洲欧美精品综合久久99| 国产成人免费无遮挡视频| 精品一区二区三区视频在线观看免费 | 日韩精品青青久久久久久| 巨乳人妻的诱惑在线观看| 色综合站精品国产| av超薄肉色丝袜交足视频| 亚洲一卡2卡3卡4卡5卡精品中文| 日韩欧美在线二视频| 欧美乱色亚洲激情| 久久久久久人人人人人| 精品一品国产午夜福利视频| 久久精品人人爽人人爽视色| 欧美日韩一级在线毛片| 亚洲成国产人片在线观看| 夫妻午夜视频| 夜夜躁狠狠躁天天躁| 国产成人精品久久二区二区免费| 99国产精品一区二区三区| 少妇 在线观看| 亚洲国产精品sss在线观看 | 国产午夜精品久久久久久| 亚洲九九香蕉| 母亲3免费完整高清在线观看| 嫁个100分男人电影在线观看| tocl精华| 国产单亲对白刺激| 日本vs欧美在线观看视频| 欧洲精品卡2卡3卡4卡5卡区| 国产1区2区3区精品| 91精品国产国语对白视频| 一级毛片高清免费大全| 国产伦一二天堂av在线观看| 亚洲欧美激情在线| 又紧又爽又黄一区二区| 成人av一区二区三区在线看| 亚洲成人免费av在线播放| 欧美黑人欧美精品刺激| 90打野战视频偷拍视频| 亚洲第一青青草原| 美女高潮到喷水免费观看| 午夜福利在线免费观看网站| 亚洲精品国产一区二区精华液| 日韩中文字幕欧美一区二区| av在线天堂中文字幕 | 在线观看www视频免费| 女性生殖器流出的白浆| 高清在线国产一区| 午夜影院日韩av| 最近最新免费中文字幕在线| 咕卡用的链子| 91精品三级在线观看| 亚洲成a人片在线一区二区| 国产精品国产高清国产av| 久久中文看片网| 国产极品粉嫩免费观看在线| 手机成人av网站| 男女床上黄色一级片免费看| 桃色一区二区三区在线观看| 亚洲精品国产区一区二| 高清黄色对白视频在线免费看| 亚洲在线自拍视频| 在线观看一区二区三区| 欧美乱妇无乱码| netflix在线观看网站| 80岁老熟妇乱子伦牲交| 欧美日韩福利视频一区二区| 午夜激情av网站| 一二三四社区在线视频社区8| 欧美黄色淫秽网站| 国产高清视频在线播放一区| 电影成人av| 欧美最黄视频在线播放免费 | 日本wwww免费看| 精品免费久久久久久久清纯| 欧美色视频一区免费| 一本大道久久a久久精品| 亚洲第一青青草原| 自拍欧美九色日韩亚洲蝌蚪91| 天堂俺去俺来也www色官网| 国产av精品麻豆| 免费av中文字幕在线| 91字幕亚洲| 一个人观看的视频www高清免费观看 | 国内久久婷婷六月综合欲色啪| 亚洲成人久久性| 18禁美女被吸乳视频| 我的亚洲天堂| 亚洲精品久久成人aⅴ小说| 99精品久久久久人妻精品| 老司机亚洲免费影院| 国产精品二区激情视频| 国产精品久久电影中文字幕| 亚洲美女黄片视频| 日韩人妻精品一区2区三区| 成人三级做爰电影| 中文字幕高清在线视频| 亚洲成人免费电影在线观看| 一区福利在线观看| 日日干狠狠操夜夜爽| 日韩一卡2卡3卡4卡2021年| 久久精品91蜜桃| 亚洲欧美日韩无卡精品| 国产午夜精品久久久久久| 欧美人与性动交α欧美精品济南到| 美女扒开内裤让男人捅视频| 亚洲专区字幕在线| 久久人人97超碰香蕉20202| 99热只有精品国产| 啪啪无遮挡十八禁网站| 婷婷丁香在线五月| 日本黄色视频三级网站网址| 亚洲一码二码三码区别大吗| 91九色精品人成在线观看| 精品乱码久久久久久99久播| 多毛熟女@视频| 嫩草影视91久久| 国产黄色免费在线视频| 曰老女人黄片| 少妇裸体淫交视频免费看高清 | 国产又色又爽无遮挡免费看| 午夜精品久久久久久毛片777| 国产高清videossex| 九色亚洲精品在线播放| 午夜免费成人在线视频| 久久精品国产亚洲av高清一级| 亚洲欧美日韩高清在线视频| 91麻豆精品激情在线观看国产 | 丰满的人妻完整版| 老司机福利观看| 欧美一区二区精品小视频在线| 国产精品 国内视频| 男男h啪啪无遮挡| 欧美老熟妇乱子伦牲交| 国产单亲对白刺激| 国产男靠女视频免费网站| 两性夫妻黄色片| 激情在线观看视频在线高清| 日本a在线网址| 看片在线看免费视频| 丰满的人妻完整版| www.精华液| 涩涩av久久男人的天堂| 国产精品秋霞免费鲁丝片| 精品少妇一区二区三区视频日本电影| 交换朋友夫妻互换小说| 精品久久久精品久久久| 亚洲精品粉嫩美女一区| 黄色怎么调成土黄色| avwww免费| 精品一区二区三区四区五区乱码| 欧美一区二区精品小视频在线| 丝袜人妻中文字幕| 一级a爱视频在线免费观看| 叶爱在线成人免费视频播放| 国产亚洲精品综合一区在线观看 | 欧美乱色亚洲激情| 大陆偷拍与自拍| 久久青草综合色| 久热这里只有精品99| 久久久久久亚洲精品国产蜜桃av| 午夜免费成人在线视频| 一级作爱视频免费观看| 久久婷婷成人综合色麻豆| 亚洲国产欧美一区二区综合| 老熟妇乱子伦视频在线观看| 亚洲欧美一区二区三区黑人| 色综合婷婷激情| www.999成人在线观看| 午夜久久久在线观看| 啦啦啦 在线观看视频| 亚洲一区高清亚洲精品| 婷婷精品国产亚洲av在线| 黄片大片在线免费观看| 亚洲精品成人av观看孕妇| 天天添夜夜摸| 精品国产国语对白av| 在线天堂中文资源库| 国产日韩一区二区三区精品不卡| 国产蜜桃级精品一区二区三区| 久久久久久亚洲精品国产蜜桃av| 国产男靠女视频免费网站| 久99久视频精品免费| 国产视频一区二区在线看| 亚洲av第一区精品v没综合| 看片在线看免费视频| 深夜精品福利| 亚洲情色 制服丝袜| 80岁老熟妇乱子伦牲交| 成人18禁在线播放| 国产av一区二区精品久久| 欧美黄色淫秽网站| 亚洲自拍偷在线| x7x7x7水蜜桃| 成人国产一区最新在线观看| 操出白浆在线播放| 国产高清视频在线播放一区| 99香蕉大伊视频| 激情视频va一区二区三区| 国产精品久久视频播放| 少妇 在线观看| 交换朋友夫妻互换小说| 手机成人av网站| 日本a在线网址| 精品久久久精品久久久| 香蕉丝袜av| 亚洲国产欧美网| 日韩三级视频一区二区三区| 国产激情欧美一区二区| 他把我摸到了高潮在线观看| 国产97色在线日韩免费| 在线观看免费视频日本深夜| 欧美激情久久久久久爽电影 | 欧美一区二区精品小视频在线| 国产一区二区三区在线臀色熟女 | 国产精品一区二区三区四区久久 | 亚洲精品在线观看二区| 久久亚洲真实| 国产熟女xx| 亚洲男人天堂网一区| av片东京热男人的天堂| 精品少妇一区二区三区视频日本电影| 久久久水蜜桃国产精品网| 成人国语在线视频| 超碰成人久久| 久久狼人影院| a级毛片在线看网站| 国产精品电影一区二区三区| 自线自在国产av| 淫秽高清视频在线观看| 色综合欧美亚洲国产小说| 一区二区三区激情视频| 国产精品免费一区二区三区在线| 久99久视频精品免费| 免费在线观看视频国产中文字幕亚洲| 久久精品aⅴ一区二区三区四区| 青草久久国产| 国产亚洲精品综合一区在线观看 | 国产成人精品在线电影| 久久久久国产一级毛片高清牌| 亚洲成人久久性| 黄频高清免费视频| 久久久久久久久免费视频了| 亚洲精品在线美女| 国产成人精品在线电影| 亚洲国产中文字幕在线视频| 大型黄色视频在线免费观看| av网站免费在线观看视频| netflix在线观看网站| 国产91精品成人一区二区三区| av国产精品久久久久影院| 我的亚洲天堂| 欧美性长视频在线观看| 国产蜜桃级精品一区二区三区| 青草久久国产| 国产熟女xx| 国产av一区二区精品久久| 国产精品偷伦视频观看了| 精品一区二区三区av网在线观看| 12—13女人毛片做爰片一| 久久人妻福利社区极品人妻图片| 国产av一区在线观看免费| 18禁观看日本| 日日干狠狠操夜夜爽| 午夜免费鲁丝| 美女大奶头视频| 后天国语完整版免费观看| 久久精品亚洲熟妇少妇任你| 国产精品二区激情视频| 97超级碰碰碰精品色视频在线观看| 亚洲色图av天堂| 国产一区二区三区在线臀色熟女 | 夜夜看夜夜爽夜夜摸 | 欧美日韩福利视频一区二区| 岛国在线观看网站| 亚洲熟妇熟女久久| 欧美中文日本在线观看视频| 色哟哟哟哟哟哟| 亚洲aⅴ乱码一区二区在线播放 | www.精华液| 亚洲成人精品中文字幕电影 | 亚洲 国产 在线| 国产麻豆69| 午夜影院日韩av| www国产在线视频色| 99re在线观看精品视频| 国产高清videossex| 岛国视频午夜一区免费看| xxxhd国产人妻xxx| 亚洲人成77777在线视频| 韩国av一区二区三区四区| 日本免费a在线| 欧美激情久久久久久爽电影 | 久久午夜综合久久蜜桃| 久久久水蜜桃国产精品网| 成人精品一区二区免费| 久久人妻熟女aⅴ| 欧美日韩av久久| 丝袜人妻中文字幕| 一进一出抽搐gif免费好疼 | 国产蜜桃级精品一区二区三区| 欧美大码av| 老汉色av国产亚洲站长工具| 亚洲中文日韩欧美视频| 亚洲av第一区精品v没综合| 成年版毛片免费区| 国产精品成人在线| 国产深夜福利视频在线观看| 91麻豆av在线| 宅男免费午夜| 黄色毛片三级朝国网站| 国产伦人伦偷精品视频| 侵犯人妻中文字幕一二三四区| 青草久久国产| 亚洲伊人色综图| 性欧美人与动物交配| 亚洲精品久久成人aⅴ小说| 最新美女视频免费是黄的| 久久久水蜜桃国产精品网| 亚洲av成人一区二区三| 日韩av在线大香蕉| 妹子高潮喷水视频| 日本vs欧美在线观看视频| 亚洲欧美日韩无卡精品| 三级毛片av免费| 男女午夜视频在线观看| 亚洲男人的天堂狠狠| 婷婷六月久久综合丁香| xxxhd国产人妻xxx| 精品久久久久久久毛片微露脸| 久久精品亚洲精品国产色婷小说| a级毛片在线看网站| 国产无遮挡羞羞视频在线观看| 女警被强在线播放| 在线视频色国产色| 午夜成年电影在线免费观看| 99精品欧美一区二区三区四区| 黄色毛片三级朝国网站| 性色av乱码一区二区三区2| 国产精品99久久99久久久不卡| 超色免费av| 午夜精品国产一区二区电影| 亚洲免费av在线视频| 国产主播在线观看一区二区| 高潮久久久久久久久久久不卡| 成人亚洲精品一区在线观看| 美女国产高潮福利片在线看| 欧美成狂野欧美在线观看| 午夜精品国产一区二区电影| 老司机午夜福利在线观看视频| av欧美777| 9色porny在线观看| 免费高清在线观看日韩| 亚洲午夜精品一区,二区,三区| 视频在线观看一区二区三区| 亚洲国产欧美日韩在线播放| e午夜精品久久久久久久| avwww免费| 人人澡人人妻人| 久久精品人人爽人人爽视色| 一边摸一边抽搐一进一出视频| 91av网站免费观看| 久久 成人 亚洲| 亚洲熟妇熟女久久| 亚洲色图综合在线观看| 欧美黑人欧美精品刺激| 亚洲欧美一区二区三区久久| 日韩人妻精品一区2区三区| 老汉色∧v一级毛片| 精品无人区乱码1区二区| 亚洲国产看品久久| 免费观看精品视频网站| 精品免费久久久久久久清纯| 亚洲精品在线美女| 欧美黄色淫秽网站| 久久中文看片网| 国产亚洲精品综合一区在线观看 | 国产欧美日韩一区二区三区在线| 婷婷丁香在线五月| 十八禁网站免费在线| 成人永久免费在线观看视频| 日韩大码丰满熟妇| 精品一区二区三区视频在线观看免费 | 亚洲七黄色美女视频| 真人一进一出gif抽搐免费| 黑人巨大精品欧美一区二区mp4| cao死你这个sao货| 日韩精品中文字幕看吧| 国产伦人伦偷精品视频| 久久精品国产综合久久久| 亚洲中文av在线| 国产精品久久电影中文字幕| 日韩欧美一区视频在线观看| 夫妻午夜视频| 午夜免费观看网址| 免费在线观看日本一区| 亚洲av电影在线进入| 日韩国内少妇激情av| 大型av网站在线播放| 久热爱精品视频在线9| 亚洲五月婷婷丁香| 悠悠久久av| 别揉我奶头~嗯~啊~动态视频| 9热在线视频观看99| 亚洲av第一区精品v没综合| 美国免费a级毛片| 国产成人精品在线电影| 黄色毛片三级朝国网站| 19禁男女啪啪无遮挡网站| 99久久99久久久精品蜜桃| 日韩人妻精品一区2区三区| 日韩免费av在线播放| 精品欧美一区二区三区在线| 午夜福利,免费看| 亚洲一区二区三区不卡视频| 黄片大片在线免费观看| 村上凉子中文字幕在线| 最近最新中文字幕大全电影3 | 免费人成视频x8x8入口观看| 亚洲成人久久性| 免费在线观看亚洲国产| 在线观看免费视频网站a站| 脱女人内裤的视频| 国产成人精品久久二区二区91| 亚洲 欧美 日韩 在线 免费| 亚洲一区高清亚洲精品| 欧美黑人欧美精品刺激| 欧美人与性动交α欧美软件| 如日韩欧美国产精品一区二区三区| 波多野结衣av一区二区av| 亚洲欧洲精品一区二区精品久久久| 亚洲人成77777在线视频| 777久久人妻少妇嫩草av网站| 中文字幕人妻熟女乱码| 男人舔女人下体高潮全视频| 免费观看精品视频网站| 日日干狠狠操夜夜爽| 亚洲精品中文字幕在线视频| 欧美成人免费av一区二区三区| 99国产精品免费福利视频| 在线十欧美十亚洲十日本专区| 久9热在线精品视频| 一级a爱片免费观看的视频| xxxhd国产人妻xxx| cao死你这个sao货| 自线自在国产av| 国产高清videossex| 99国产综合亚洲精品| 久久香蕉精品热| 欧美丝袜亚洲另类 | 亚洲精华国产精华精| 乱人伦中国视频| 搡老乐熟女国产| 久久人妻熟女aⅴ| 亚洲成人久久性| 欧美中文综合在线视频| 久久久久久久午夜电影 | 精品一区二区三区四区五区乱码| 亚洲成人国产一区在线观看| 两性午夜刺激爽爽歪歪视频在线观看 | 色婷婷久久久亚洲欧美| 午夜精品久久久久久毛片777| 久久精品aⅴ一区二区三区四区| 精品卡一卡二卡四卡免费| a在线观看视频网站| 在线观看一区二区三区激情| 欧美最黄视频在线播放免费 | 免费日韩欧美在线观看| 国产熟女午夜一区二区三区| 精品一品国产午夜福利视频| 亚洲av片天天在线观看| 欧美乱妇无乱码| 日韩 欧美 亚洲 中文字幕| 热re99久久国产66热| 这个男人来自地球电影免费观看| 大型黄色视频在线免费观看| 国产aⅴ精品一区二区三区波| 亚洲七黄色美女视频| 伊人久久大香线蕉亚洲五| 国产日韩一区二区三区精品不卡| 国产精品自产拍在线观看55亚洲| 亚洲精品中文字幕在线视频| 法律面前人人平等表现在哪些方面| 淫秽高清视频在线观看| 热re99久久精品国产66热6| 免费久久久久久久精品成人欧美视频| 一个人免费在线观看的高清视频| 一区二区三区激情视频| 亚洲avbb在线观看| 久久精品影院6| 国产精品一区二区精品视频观看| 最新在线观看一区二区三区| 亚洲精品粉嫩美女一区| 久久香蕉精品热| 亚洲avbb在线观看| 在线天堂中文资源库|