• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    淺談武漢氣象高性能計(jì)算機(jī)系統(tǒng)的運(yùn)維管理

    2021-03-24 11:16:32尹常紅胡雅超袁文波涂明侯靜
    電腦知識(shí)與技術(shù) 2021年2期
    關(guān)鍵詞:集群監(jiān)控管理

    尹常紅 胡雅超 袁文波 涂明 侯靜

    摘要:高性能計(jì)算機(jī)在氣象部門得到了廣泛應(yīng)用,發(fā)揮了重要作用,對(duì)高性能計(jì)算集群的科學(xué)高效的運(yùn)維管理是確保高性能計(jì)算機(jī)系統(tǒng)正常運(yùn)行的首要任務(wù)。本文結(jié)合武漢軍運(yùn)會(huì)氣象高性能計(jì)算機(jī)的實(shí)際情況,對(duì)高性能計(jì)算機(jī)在業(yè)務(wù)應(yīng)用、運(yùn)行監(jiān)控與維護(hù)管理等方面做了介紹,對(duì)業(yè)務(wù)科研人員和運(yùn)維管理人員具有一定參考借鑒意義。

    關(guān)鍵詞:高性能計(jì)算;集群;監(jiān)控;管理

    中圖分類號(hào):TP311? ? ?文獻(xiàn)標(biāo)識(shí)碼: A

    文章編號(hào):1009-3044(2021)02-0204-03

    1 引言

    隨著現(xiàn)代科學(xué)技術(shù)特別是信息技術(shù)的不斷發(fā)展,高性能計(jì)算應(yīng)用逐步走進(jìn)科研和服務(wù)領(lǐng)域。高性能計(jì)算應(yīng)用不是單一的片面的簡(jiǎn)單應(yīng)用,而是一整套科學(xué)合理的系統(tǒng)布局。高性能計(jì)算應(yīng)用主要包括高性能計(jì)算應(yīng)用和高性能計(jì)算機(jī)技術(shù),它們?cè)诠δ馨l(fā)揮和相互促進(jìn)方面有著密切的聯(lián)系。高性能計(jì)算機(jī)及其相關(guān)技術(shù)的創(chuàng)新研發(fā),為高性能計(jì)算的應(yīng)用奠定了堅(jiān)實(shí)的基礎(chǔ)。同時(shí),高性能計(jì)算應(yīng)用的物質(zhì)設(shè)備來(lái)自高性能計(jì)算機(jī)及相關(guān)技術(shù)。

    高性能計(jì)算機(jī)近年來(lái)發(fā)展迅速,已逐漸成為計(jì)算機(jī)科學(xué)的一個(gè)分支。高性能計(jì)算集群(HPC)是先進(jìn)的高可用性技術(shù)與高性能計(jì)算機(jī)的有機(jī)結(jié)合。它在軍工軍事、物質(zhì)材料、生物醫(yī)療、天氣預(yù)報(bào)等越來(lái)越多的科學(xué)領(lǐng)域得到應(yīng)用。

    高性能計(jì)算集群由多臺(tái)計(jì)算機(jī)(稱之為節(jié)點(diǎn))共同完成整個(gè)系統(tǒng)承擔(dān)的工作負(fù)載,目的是完成超大、超高和超復(fù)雜的計(jì)算任務(wù),使用并行算法,通過(guò)SMP或Cluster架構(gòu)計(jì)算平臺(tái),解決CPU、內(nèi)存、網(wǎng)絡(luò)和存儲(chǔ)的性能瓶頸,實(shí)現(xiàn)高并發(fā)性能的計(jì)算過(guò)程。實(shí)現(xiàn)了求解規(guī)模更大、計(jì)算時(shí)間更短、計(jì)算任務(wù)更多的目的。高性能集群是由一個(gè)性能良好的管理節(jié)點(diǎn)和多臺(tái)計(jì)算節(jié)點(diǎn)組成,管理節(jié)點(diǎn)對(duì)所有計(jì)算節(jié)點(diǎn)進(jìn)行統(tǒng)一管理,每個(gè)子節(jié)點(diǎn)獨(dú)立運(yùn)行自己的操作系統(tǒng),節(jié)點(diǎn)與節(jié)點(diǎn)之間通過(guò)內(nèi)部高速局域網(wǎng)相互連接。工作流程是,管理節(jié)點(diǎn)負(fù)責(zé)與用戶進(jìn)行人機(jī)交互,當(dāng)它接收到用戶根據(jù)一定規(guī)則一定語(yǔ)法提交的任務(wù)請(qǐng)求后,再通過(guò)高性能集群的作業(yè)管理系統(tǒng),按照作業(yè)任務(wù)申請(qǐng)的高性能計(jì)算資源,將作業(yè)任務(wù)分配給計(jì)算節(jié)點(diǎn)。根據(jù)作業(yè)調(diào)度安排,計(jì)算節(jié)點(diǎn)通過(guò)系統(tǒng)組件完成計(jì)算任務(wù),計(jì)算結(jié)果返回給管理節(jié)點(diǎn),管理節(jié)點(diǎn)通過(guò)外部網(wǎng)絡(luò)提供最終用戶下載。

    高性能計(jì)算系統(tǒng)具有超強(qiáng)的計(jì)算能力,它不但可以解決大規(guī)模計(jì)算問題,而且它更容易根據(jù)計(jì)算能力的要求逐步實(shí)現(xiàn)性能擴(kuò)展。高性能計(jì)算機(jī)的每個(gè)節(jié)點(diǎn)獨(dú)立運(yùn)行,如果其中一個(gè)節(jié)點(diǎn)宕機(jī),它運(yùn)行的程序和連接到它的服務(wù)器將被系統(tǒng)自動(dòng)接管。這樣,整個(gè)集群就不會(huì)受到故障節(jié)點(diǎn)的影響,計(jì)算服務(wù)不會(huì)中斷。高性能計(jì)算集群大多采用 Linux 操作系統(tǒng),加載相關(guān)的編程和編譯環(huán)境,例如編程環(huán)境、編譯器、數(shù)學(xué)庫(kù)等。

    2 武漢氣象高性能計(jì)算機(jī)系統(tǒng)

    武漢市氣象局在第七屆世界軍人運(yùn)動(dòng)會(huì)前面建設(shè)了氣象高性能計(jì)算系統(tǒng),以滿足武漢軍運(yùn)會(huì)期間武漢市全境1km分辨率多源資料逐時(shí)快速融合分析系統(tǒng)和逐時(shí)快速更新循環(huán)同化預(yù)報(bào)系統(tǒng)業(yè)務(wù),實(shí)現(xiàn)每小時(shí)1次的12小時(shí)的天氣預(yù)報(bào),為武漢市提供精細(xì)化的氣象預(yù)報(bào)服務(wù)。武漢氣象高性能計(jì)算平臺(tái)系統(tǒng)整體上由計(jì)算子系統(tǒng)、存儲(chǔ)子系統(tǒng)、網(wǎng)絡(luò)子系統(tǒng)、管理區(qū)功能節(jié)點(diǎn)以及相關(guān)軟件系統(tǒng)組成。

    系統(tǒng)配置了26個(gè)計(jì)算節(jié)點(diǎn)、2個(gè)登錄節(jié)點(diǎn)、1個(gè)管理節(jié)點(diǎn)、1個(gè)后處理節(jié)點(diǎn),6個(gè)存儲(chǔ)節(jié)點(diǎn),一套風(fēng)冷排級(jí)微模塊機(jī)柜系統(tǒng)。安裝了曙光Gridview集群管理軟件、數(shù)學(xué)庫(kù)、并行環(huán)境以及氣象軟件包等。理論峰值計(jì)算能力為127TFlops,實(shí)測(cè)效率為66%。系統(tǒng)裸盤存儲(chǔ)容量544TB,讀寫聚合帶寬大于8GB/s。采用InfiniBand 100G EDR高速計(jì)算網(wǎng)絡(luò)確保了數(shù)據(jù)信息高速傳輸。結(jié)構(gòu)圖如如圖1。

    武漢氣象高性能計(jì)算機(jī)系統(tǒng)主要運(yùn)行武漢市快速更新循環(huán)同化預(yù)報(bào)業(yè)務(wù)系統(tǒng)RUC(RapidUpdateCycle),實(shí)現(xiàn)逐小時(shí)精細(xì)化氣象預(yù)報(bào)服務(wù)。如圖2所示。

    3 高性能計(jì)算機(jī)基本應(yīng)用

    高性能計(jì)算機(jī)系統(tǒng)最基本的應(yīng)用主要是系統(tǒng)登錄、文件交換以及作業(yè)調(diào)度。

    3.1 系統(tǒng)登錄

    武漢氣象高性能計(jì)算機(jī)開放普通用戶從氣象廣域網(wǎng)登錄,用戶可以通過(guò)ssh方式登錄集群系統(tǒng),也可以通過(guò) VNC、xmanager 等軟件訪問桌面圖形界面。用戶提交作業(yè)和軟件編譯調(diào)試建議都在登錄節(jié)點(diǎn)進(jìn)行。

    采用SSH方式 登錄時(shí), Windows 用戶可以使用相關(guān)客戶端軟件登錄,例如PuTTY、SecureCRT、 xShell、SSH Secure Shell Client,如圖3所示。Linux 用戶能夠直接執(zhí)行 ssh 命令進(jìn)行登錄:

    $ ssh username@IP

    3.2 文件上傳下載

    Windows 用戶可以使用客戶端軟件實(shí)現(xiàn)文件的上傳下載,例如winscp、SSH Secure Shell Client 等,如圖4。

    Linux 操作系統(tǒng)直接使用 scp 命令

    scp filenametest@ip:/home/test

    3.3 作業(yè)調(diào)度

    武漢氣象高性能計(jì)算機(jī)系統(tǒng)采用 Gridview 作業(yè)調(diào)度系統(tǒng),該調(diào)度系統(tǒng)基于 pbs 作業(yè)調(diào)度。集群隊(duì)列設(shè)置如下表所示。

    同時(shí),可以采用PBS(Portable Batch System)命令行模式來(lái)進(jìn)行作業(yè)調(diào)度。

    用戶通過(guò)qsub命令向高性能計(jì)算機(jī)系統(tǒng)提交任務(wù),有兩種方式:腳本模式和命令行模式。

    在腳本模式下提交作業(yè)任務(wù)時(shí),用戶可以使用簡(jiǎn)單的文本編輯器編寫腳本,預(yù)先將要執(zhí)行的程序或命令寫入腳本,同時(shí)可以根據(jù)需要添加一些必要的或可選的語(yǔ)句,然后使用qsub提交腳本。PBS將根據(jù)腳本內(nèi)容執(zhí)行工作任務(wù)。在PBS系統(tǒng)中,作業(yè)腳本由運(yùn)行程序的用戶命令和PBS環(huán)境變量的設(shè)置組成。注釋以“#”開頭,PBS命令以“#PBS”開頭。語(yǔ)法為:

    qsub xxx.pbs

    在以命令行模式提交時(shí),不用寫腳本,用戶可以直接從命令行輸入,輸入的內(nèi)容基本上和腳本中輸入的相同,其基本格式如下:

    qsub? ? ? ? ? ?//輸入qsub命令后回車

    [directives]? ?//pbs指示語(yǔ)句(以#pbs為前綴)

    [tasks]? ? ? ? //任務(wù)或命令

    ctrl-D? ? ? ? ?//結(jié)束輸入,提交任務(wù)

    與作業(yè)調(diào)度其他相關(guān)命令有(具體使用可以參考有關(guān)PBS的說(shuō)明文檔):

    查詢隊(duì)列信息:qmgr -c 'p s'

    查詢節(jié)點(diǎn)信息:pestat |more

    查詢作業(yè)運(yùn)行狀態(tài):qstat -an |more

    刪除作業(yè): qdel 作業(yè)號(hào)

    4 高性能集群運(yùn)行監(jiān)控

    武漢氣象高性能計(jì)算系統(tǒng)安裝部署了Gridview管理軟件,它是一款面向集群管理以及高性能計(jì)算的綜合管理系統(tǒng),它擁有較為強(qiáng)大的負(fù)載管理平臺(tái),實(shí)現(xiàn)對(duì)曙光HPC安裝部署、系統(tǒng)配置、運(yùn)行狀態(tài)監(jiān)控、故障告警以及報(bào)表分析等運(yùn)維管理工作;實(shí)現(xiàn)對(duì)高性能計(jì)算資源的調(diào)度分配、作業(yè)提交、作業(yè)管理、統(tǒng)計(jì)記賬等。Gridview 通過(guò) Web 瀏覽器即可輕松地實(shí)現(xiàn)監(jiān)控和管理,采用 Html5、CSS3 等先進(jìn)技術(shù),對(duì)機(jī)房、機(jī)柜、服務(wù)器等信息實(shí)現(xiàn)三維視圖的方式進(jìn)行監(jiān)控,所見即所得,直觀地監(jiān)控到高性能計(jì)算機(jī)機(jī)房的各種設(shè)備信息,并且能夠準(zhǔn)確定位故障點(diǎn)。

    登錄系統(tǒng)后,默認(rèn)進(jìn)入導(dǎo)航頁(yè)面,如圖5所示。每個(gè)圖標(biāo)對(duì)應(yīng)于一個(gè)功能項(xiàng),點(diǎn)擊可以直接進(jìn)入對(duì)應(yīng)的功能頁(yè)面,點(diǎn)擊“開始”可以進(jìn)入系統(tǒng)“首頁(yè)”。

    在對(duì)高性能計(jì)算集群的運(yùn)行監(jiān)控中,管理人員最為關(guān)注的就是資源利用情況、故障告警情況以及作業(yè)調(diào)度情況。Gridview提供了強(qiáng)大的系統(tǒng)監(jiān)控功能。

    其中在集群總覽功能頁(yè)面上,提供了共享存儲(chǔ)利用率、最近一小時(shí)CPU利用率、最近一小時(shí)內(nèi)存利用率、節(jié)點(diǎn)網(wǎng)絡(luò)可用性、計(jì)算能力峰值、已使用核時(shí)、已使用核數(shù)、集群運(yùn)行時(shí)長(zhǎng)、運(yùn)行作業(yè)數(shù)、歷史作業(yè)數(shù)統(tǒng)計(jì)等功能,這些功能對(duì)集群當(dāng)前工作狀態(tài)提供了一個(gè)總體運(yùn)行報(bào)告,詳見圖6。在集群負(fù)載的功能頁(yè)面上,提供了本地磁盤利用率、內(nèi)存平均利用率、共享存儲(chǔ)利用率、CPU平均利用率、相對(duì)一分鐘負(fù)載、共享存儲(chǔ)概況等實(shí)時(shí)監(jiān)測(cè)信息,同時(shí)在集群告警概況中展現(xiàn)了最近一個(gè)月來(lái)每一天中對(duì)刀片機(jī)箱、交換機(jī)、服務(wù)器、盤陣、機(jī)柜和存儲(chǔ)系統(tǒng)的告警數(shù)量統(tǒng)計(jì)值,這對(duì)于管理人員有針對(duì)性地對(duì)集群故障情況定位提供了很好的幫助,如圖7。根據(jù)這些告警分類,可以在相應(yīng)的“監(jiān)控”也沒的機(jī)房視圖、機(jī)柜視圖、節(jié)點(diǎn)視圖、分組視圖以及熱圖中查看相關(guān)設(shè)備的故障情況。

    在用戶對(duì)高性能計(jì)算資源的使用中,會(huì)有多個(gè)用戶提交數(shù)量不等的作業(yè)任務(wù),在Gridview的作業(yè)管理中,提供了歷史作業(yè)、狀態(tài)視圖、作業(yè)熱圖頁(yè)面的跳轉(zhuǎn)功能以及作業(yè)查詢和作業(yè)控制功能,管理員可以根據(jù)情況對(duì)作業(yè)進(jìn)行保留、釋放、掛起、恢復(fù)、重新運(yùn)行和刪除等操作。此外管理員也可以對(duì)相關(guān)資源進(jìn)行調(diào)度管理,對(duì)隊(duì)列和節(jié)點(diǎn)資源進(jìn)行相應(yīng)的管理和配置,如圖8。

    此外,Gridview提供了較為詳盡的報(bào)表管理功能,用戶可以生成指定時(shí)間范圍內(nèi)服務(wù)器、交換機(jī)、刀片機(jī)箱、磁盤陣列等的監(jiān)控指標(biāo)報(bào)表,這對(duì)分析高性能集群資源利用分析提供了參考。如圖9、圖10分別以服務(wù)器15分鐘負(fù)載統(tǒng)計(jì)和CPU使用時(shí)間統(tǒng)計(jì)為例,展示了Gridview的查詢統(tǒng)計(jì)功能。

    5 機(jī)房動(dòng)力環(huán)境監(jiān)控

    武漢氣象高性能計(jì)算機(jī)系統(tǒng)對(duì)機(jī)房動(dòng)力環(huán)境有著嚴(yán)格要求。系統(tǒng)電源電壓與PC服務(wù)器相同,一般為單相220V,工作頻率為50Hz,特別要求做好接地保護(hù),零地電壓應(yīng)小于1V。武漢氣象高性能計(jì)算機(jī)機(jī)房配備有3組行間精密空調(diào)和除塵除濕設(shè)備,確保運(yùn)行環(huán)境溫度控制在22℃左右,相對(duì)濕度應(yīng)為60%左右。同時(shí)配備防水、防火、報(bào)警以及抗電磁干擾等設(shè)備實(shí)施。

    武漢氣象高性能計(jì)算機(jī)系統(tǒng)可以在線對(duì)動(dòng)力環(huán)境進(jìn)行監(jiān)控,可以對(duì)列頭柜的電壓、電流、頻率進(jìn)行監(jiān)控,對(duì)除塵除濕機(jī)的溫濕度、風(fēng)機(jī)檔位、壓差等指標(biāo)進(jìn)行監(jiān)控,對(duì)機(jī)柜的前后門開關(guān)狀態(tài)、煙霧報(bào)警燈進(jìn)行監(jiān)控,重點(diǎn)對(duì)行間空調(diào)的上下回風(fēng)溫度濕度以及室內(nèi)外機(jī)的其他工作參數(shù)進(jìn)行監(jiān)控,對(duì)故障信息提供頁(yè)面告警和短信告警,提醒運(yùn)維管理人員及時(shí)處置,確保高性能集群系統(tǒng)工作正常。圖11和圖12分別截取了動(dòng)力環(huán)境監(jiān)控系統(tǒng)的部分監(jiān)控頁(yè)面。

    6 小結(jié)

    高性能計(jì)算機(jī)的應(yīng)用范圍越來(lái)越廣,其重要程度也越來(lái)越高,氣象業(yè)務(wù)服務(wù)對(duì)高性能計(jì)算機(jī)的依賴也越來(lái)越強(qiáng)。為確保高性能計(jì)算機(jī)能夠安全、穩(wěn)定運(yùn)行,必須做好高性能計(jì)算機(jī)的運(yùn)行監(jiān)控與維護(hù)管理工作,這就要求系統(tǒng)管理人員熟練掌握相應(yīng)的運(yùn)維管理技術(shù),并不斷從實(shí)踐中總結(jié)經(jīng)驗(yàn),只有這樣,才能使高性能計(jì)算機(jī)在氣象業(yè)務(wù)科研工作中的作用得以充分發(fā)揮,才能讓更加優(yōu)質(zhì)高效的氣象預(yù)報(bào)產(chǎn)品為經(jīng)濟(jì)社會(huì)發(fā)展和人民生產(chǎn)生活提供更好的服務(wù)。

    參考文獻(xiàn):

    [1] 趙立成,沈文海,肖華東,等.高性能計(jì)算技術(shù)在氣象領(lǐng)域的應(yīng)用[J].應(yīng)用氣象學(xué)報(bào),2016,27(5):550-558.

    [2] 王俊超,彭濤,馮光柳.曙光高性能計(jì)算機(jī)在數(shù)值預(yù)報(bào)模式中的應(yīng)用[J].計(jì)算機(jī)技術(shù)與發(fā)展,2014,24(10):178-181,185.

    [3] 秦運(yùn)龍,許瑋,張冰松.華中區(qū)域高性能計(jì)算機(jī)監(jiān)控管理平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[J].電子制作,2016(14):37-38.

    [4] 王彬.高性能計(jì)算技術(shù)在氣象部門的應(yīng)用[J].計(jì)算機(jī)工程與設(shè)計(jì),2014,35(4):1476-1479.

    [5] 宗翔,王彬.國(guó)家級(jí)氣象高性能計(jì)算機(jī)管理與應(yīng)用網(wǎng)絡(luò)平臺(tái)設(shè)計(jì)[J].應(yīng)用氣象學(xué)報(bào),2006,17(5):629-634.

    [6] 文洮,金能智,馬堯,等.中小型規(guī)模高性能計(jì)算集群的搭建與維護(hù)[J].現(xiàn)代信息科技,2019,3(5):20-24.

    【通聯(lián)編輯:梁書】

    猜你喜歡
    集群監(jiān)控管理
    集群式AUV可控分群控制算法
    棗前期管理再好,后期管不好,前功盡棄
    The Great Barrier Reef shows coral comeback
    你被監(jiān)控了嗎?
    Zabbix在ATS系統(tǒng)集中監(jiān)控中的應(yīng)用
    一種無(wú)人機(jī)集群發(fā)射回收裝置的控制系統(tǒng)設(shè)計(jì)
    電子制作(2018年11期)2018-08-04 03:25:40
    看監(jiān)控?cái)z像機(jī)的4K之道
    Python與Spark集群在收費(fèi)數(shù)據(jù)分析中的應(yīng)用
    勤快又呆萌的集群機(jī)器人
    “這下管理創(chuàng)新了!等7則
    雜文月刊(2016年1期)2016-02-11 10:35:51
    人人妻人人添人人爽欧美一区卜| 成人无遮挡网站| 亚洲欧美日韩另类电影网站| av专区在线播放| .国产精品久久| 欧美日韩精品成人综合77777| 亚洲欧洲精品一区二区精品久久久 | 久久人人爽av亚洲精品天堂| 午夜激情福利司机影院| 国产不卡av网站在线观看| 三级国产精品欧美在线观看| 桃花免费在线播放| 国产精品嫩草影院av在线观看| 狂野欧美白嫩少妇大欣赏| 国产免费又黄又爽又色| 99精国产麻豆久久婷婷| 国产成人91sexporn| 一级二级三级毛片免费看| 老司机影院成人| 久久精品国产亚洲av天美| 九草在线视频观看| 69精品国产乱码久久久| 国产成人a∨麻豆精品| 久久99热6这里只有精品| 国产av一区二区精品久久| 亚洲精品aⅴ在线观看| 3wmmmm亚洲av在线观看| 成人漫画全彩无遮挡| 亚洲国产精品成人久久小说| 国产淫语在线视频| 交换朋友夫妻互换小说| a级毛片免费高清观看在线播放| 国产在视频线精品| 日日啪夜夜爽| 九九在线视频观看精品| av又黄又爽大尺度在线免费看| 男男h啪啪无遮挡| 久久久久久久大尺度免费视频| 欧美变态另类bdsm刘玥| 久久久午夜欧美精品| 一级a做视频免费观看| 高清欧美精品videossex| 高清毛片免费看| 日日摸夜夜添夜夜添av毛片| 日本与韩国留学比较| 久久ye,这里只有精品| 人妻夜夜爽99麻豆av| 国产黄色免费在线视频| 精品久久国产蜜桃| 亚洲国产色片| a级片在线免费高清观看视频| 午夜日本视频在线| 成人漫画全彩无遮挡| 久久精品夜色国产| kizo精华| 欧美精品一区二区免费开放| 91精品国产国语对白视频| 特大巨黑吊av在线直播| 久久久久久久久久久免费av| 99热网站在线观看| 日韩亚洲欧美综合| 免费人成在线观看视频色| 午夜福利网站1000一区二区三区| 国产成人精品婷婷| 久久久久精品性色| 免费看不卡的av| 亚洲精品aⅴ在线观看| 大码成人一级视频| 97精品久久久久久久久久精品| 久久国产精品男人的天堂亚洲 | 国产精品秋霞免费鲁丝片| 国产成人a∨麻豆精品| 中文字幕制服av| 免费看光身美女| 久久99精品国语久久久| 搡老乐熟女国产| 最近2019中文字幕mv第一页| 熟女av电影| 国产精品偷伦视频观看了| 18禁在线播放成人免费| 亚洲精品国产av蜜桃| 精品人妻熟女毛片av久久网站| 欧美日韩视频精品一区| videossex国产| 国产亚洲av片在线观看秒播厂| 国产av码专区亚洲av| 亚洲国产av新网站| 国产亚洲精品久久久com| 亚洲av成人精品一区久久| 男女免费视频国产| 欧美少妇被猛烈插入视频| 国产乱来视频区| 97超碰精品成人国产| 亚洲一区二区三区欧美精品| 最近中文字幕高清免费大全6| 婷婷色av中文字幕| 国产成人精品在线电影| 免费久久久久久久精品成人欧美视频 | 一区二区三区四区激情视频| 99热这里只有精品一区| 大话2 男鬼变身卡| 亚洲精品国产色婷婷电影| 三级国产精品片| 日韩在线高清观看一区二区三区| 最新的欧美精品一区二区| 久久人人爽av亚洲精品天堂| 中文字幕人妻熟人妻熟丝袜美| 日本免费在线观看一区| 夫妻午夜视频| 99热全是精品| 国产成人freesex在线| av免费观看日本| 久久久久久久精品精品| 精品亚洲成国产av| 亚洲精品自拍成人| 久久精品久久精品一区二区三区| 18禁动态无遮挡网站| 欧美日本中文国产一区发布| 菩萨蛮人人尽说江南好唐韦庄| 久久午夜福利片| 国产精品麻豆人妻色哟哟久久| 我的老师免费观看完整版| 黑人猛操日本美女一级片| 少妇 在线观看| 亚洲,欧美,日韩| 国产极品粉嫩免费观看在线 | 国产欧美亚洲国产| 一边亲一边摸免费视频| 久久久精品区二区三区| 欧美日韩一区二区视频在线观看视频在线| 男女国产视频网站| 免费黄色在线免费观看| 成年人免费黄色播放视频| 国产国语露脸激情在线看| videossex国产| 大又大粗又爽又黄少妇毛片口| 男女边摸边吃奶| 久久影院123| 香蕉精品网在线| 精品国产露脸久久av麻豆| 又粗又硬又长又爽又黄的视频| 曰老女人黄片| 精品酒店卫生间| 极品人妻少妇av视频| 亚洲综合精品二区| 久久精品熟女亚洲av麻豆精品| 久久久午夜欧美精品| 高清不卡的av网站| 在线观看免费视频网站a站| 91午夜精品亚洲一区二区三区| 久久影院123| 亚洲人成网站在线播| 精品国产露脸久久av麻豆| 国国产精品蜜臀av免费| av黄色大香蕉| 中文天堂在线官网| 啦啦啦视频在线资源免费观看| 精品人妻一区二区三区麻豆| 婷婷色麻豆天堂久久| 黑人欧美特级aaaaaa片| 国产高清三级在线| 一区二区三区精品91| 久久国产亚洲av麻豆专区| 国产日韩欧美在线精品| 欧美日韩成人在线一区二区| 婷婷色综合www| 中文字幕久久专区| 国产一区二区在线观看日韩| 熟女人妻精品中文字幕| 不卡视频在线观看欧美| 亚洲精品乱久久久久久| 亚洲精品中文字幕在线视频| 亚洲精品aⅴ在线观看| 中国国产av一级| 日韩亚洲欧美综合| 人妻 亚洲 视频| 国产熟女午夜一区二区三区 | 国产成人一区二区在线| 国产男人的电影天堂91| 久久99热6这里只有精品| 国产男女超爽视频在线观看| 免费久久久久久久精品成人欧美视频 | 下体分泌物呈黄色| 高清视频免费观看一区二区| 色婷婷av一区二区三区视频| 国产无遮挡羞羞视频在线观看| 99国产综合亚洲精品| 久久久精品94久久精品| 亚洲精品一区蜜桃| 欧美精品一区二区大全| 亚洲精品av麻豆狂野| 在线观看一区二区三区激情| 26uuu在线亚洲综合色| 夜夜骑夜夜射夜夜干| 久久亚洲国产成人精品v| 69精品国产乱码久久久| 水蜜桃什么品种好| 九草在线视频观看| 大码成人一级视频| 久久久久久久久久久丰满| 在线看a的网站| 欧美日韩视频高清一区二区三区二| 久久精品国产a三级三级三级| 日韩一本色道免费dvd| 少妇猛男粗大的猛烈进出视频| 久久狼人影院| 亚洲综合色惰| 国产视频内射| 久久99一区二区三区| 中国国产av一级| 热re99久久精品国产66热6| 久久国产精品大桥未久av| 91久久精品国产一区二区三区| 成年av动漫网址| 亚洲欧美精品自产自拍| 久久影院123| 国产亚洲av片在线观看秒播厂| 只有这里有精品99| 日韩亚洲欧美综合| 免费av不卡在线播放| 久久ye,这里只有精品| 国产日韩欧美亚洲二区| 黄片无遮挡物在线观看| 99久国产av精品国产电影| 91精品一卡2卡3卡4卡| 人人妻人人澡人人看| 午夜激情av网站| 人人妻人人澡人人爽人人夜夜| 九色成人免费人妻av| 欧美日韩亚洲高清精品| 中文天堂在线官网| 午夜91福利影院| 亚洲精品一二三| 精品国产一区二区久久| 久久精品久久久久久久性| 久久国产精品大桥未久av| 青春草亚洲视频在线观看| 高清毛片免费看| 精品人妻偷拍中文字幕| 男男h啪啪无遮挡| 日韩在线高清观看一区二区三区| 大码成人一级视频| 精品人妻一区二区三区麻豆| 亚洲天堂av无毛| a 毛片基地| 黑丝袜美女国产一区| 亚洲情色 制服丝袜| 欧美精品高潮呻吟av久久| 欧美人与性动交α欧美精品济南到 | 日产精品乱码卡一卡2卡三| 男男h啪啪无遮挡| 欧美老熟妇乱子伦牲交| 夫妻午夜视频| 少妇精品久久久久久久| 亚洲国产av新网站| 91精品国产九色| 欧美精品一区二区大全| av电影中文网址| 国产成人freesex在线| 国产成人精品婷婷| 久久精品国产鲁丝片午夜精品| 视频在线观看一区二区三区| 99久久精品国产国产毛片| 国产成人freesex在线| 久久久国产一区二区| 中文字幕亚洲精品专区| 国产极品天堂在线| 曰老女人黄片| 国产有黄有色有爽视频| netflix在线观看网站| 一本一本久久a久久精品综合妖精| 午夜激情久久久久久久| 波多野结衣av一区二区av| 如日韩欧美国产精品一区二区三区| 成人永久免费在线观看视频 | 欧美国产精品va在线观看不卡| 99re6热这里在线精品视频| 成人国语在线视频| 超碰97精品在线观看| 国产精品久久久久久人妻精品电影 | 一进一出好大好爽视频| 亚洲国产欧美在线一区| 嫩草影视91久久| 在线观看免费日韩欧美大片| 曰老女人黄片| 免费女性裸体啪啪无遮挡网站| 色视频在线一区二区三区| 精品人妻在线不人妻| 人人妻人人澡人人看| 国产精品亚洲一级av第二区| 老鸭窝网址在线观看| 亚洲中文日韩欧美视频| 日韩欧美三级三区| 久久影院123| 在线观看免费视频网站a站| 免费不卡黄色视频| 亚洲av成人不卡在线观看播放网| 人人妻人人澡人人看| 麻豆成人av在线观看| 高清黄色对白视频在线免费看| 国产免费视频播放在线视频| 欧美日本中文国产一区发布| 两个人看的免费小视频| 日韩欧美一区二区三区在线观看 | 国产片内射在线| 免费黄频网站在线观看国产| 在线av久久热| 丁香六月天网| 国产国语露脸激情在线看| 国产日韩欧美视频二区| 亚洲欧美一区二区三区黑人| 热99国产精品久久久久久7| 免费高清在线观看日韩| av国产精品久久久久影院| 久久中文看片网| 黑人猛操日本美女一级片| 国产真人三级小视频在线观看| 日本vs欧美在线观看视频| 久久婷婷成人综合色麻豆| 亚洲人成电影观看| 黄色成人免费大全| 视频在线观看一区二区三区| 精品福利观看| 国产精品 国内视频| 夜夜骑夜夜射夜夜干| 久久国产精品大桥未久av| 怎么达到女性高潮| 在线天堂中文资源库| 成人影院久久| 日韩欧美三级三区| 午夜免费鲁丝| 久久久水蜜桃国产精品网| 最近最新中文字幕大全电影3 | 视频区欧美日本亚洲| 看免费av毛片| www.999成人在线观看| 正在播放国产对白刺激| 国产精品久久久人人做人人爽| 色综合欧美亚洲国产小说| 国产精品麻豆人妻色哟哟久久| 99热网站在线观看| 日本五十路高清| 菩萨蛮人人尽说江南好唐韦庄| 久久人人97超碰香蕉20202| 国产精品成人在线| 精品国产超薄肉色丝袜足j| 母亲3免费完整高清在线观看| 久久精品亚洲熟妇少妇任你| 国产成人精品无人区| 黑人巨大精品欧美一区二区蜜桃| 香蕉国产在线看| 亚洲精品一卡2卡三卡4卡5卡| 久久亚洲真实| 在线观看免费视频日本深夜| 亚洲五月婷婷丁香| 热re99久久精品国产66热6| 桃红色精品国产亚洲av| 亚洲精品中文字幕在线视频| 欧美精品一区二区免费开放| 亚洲国产欧美日韩在线播放| 免费人妻精品一区二区三区视频| 久久久精品区二区三区| 久久精品亚洲av国产电影网| 天堂俺去俺来也www色官网| 18在线观看网站| 老熟妇乱子伦视频在线观看| 亚洲国产欧美一区二区综合| 午夜两性在线视频| 国产欧美日韩一区二区精品| 自线自在国产av| 午夜精品久久久久久毛片777| 亚洲国产欧美日韩在线播放| 亚洲一卡2卡3卡4卡5卡精品中文| 亚洲专区中文字幕在线| 日本wwww免费看| 精品亚洲乱码少妇综合久久| 少妇的丰满在线观看| av天堂在线播放| 日本vs欧美在线观看视频| 大型黄色视频在线免费观看| 欧美精品一区二区免费开放| 久久久久久久国产电影| 亚洲国产av新网站| 亚洲欧美色中文字幕在线| 夜夜夜夜夜久久久久| 精品亚洲成a人片在线观看| 老司机午夜十八禁免费视频| 欧美av亚洲av综合av国产av| 国产成人啪精品午夜网站| 考比视频在线观看| 亚洲精品国产色婷婷电影| 18禁国产床啪视频网站| 成人18禁高潮啪啪吃奶动态图| 国产高清激情床上av| www.熟女人妻精品国产| 1024香蕉在线观看| 黑人欧美特级aaaaaa片| 精品少妇黑人巨大在线播放| 免费一级毛片在线播放高清视频 | 五月天丁香电影| 国产成人精品无人区| 欧美精品啪啪一区二区三区| 免费看十八禁软件| 老司机靠b影院| 18禁黄网站禁片午夜丰满| 成人国产一区最新在线观看| 国产成人欧美在线观看 | 电影成人av| 手机成人av网站| 亚洲一区二区三区欧美精品| 国产成人欧美| 一进一出抽搐动态| 99国产极品粉嫩在线观看| 日韩大片免费观看网站| 精品人妻在线不人妻| 成人18禁在线播放| 一二三四社区在线视频社区8| 久久99热这里只频精品6学生| 美女高潮到喷水免费观看| 黄色毛片三级朝国网站| 日韩熟女老妇一区二区性免费视频| 免费一级毛片在线播放高清视频 | 国产精品一区二区精品视频观看| 国产色视频综合| 三上悠亚av全集在线观看| 久久香蕉激情| 亚洲美女黄片视频| 多毛熟女@视频| 美女高潮喷水抽搐中文字幕| 亚洲中文日韩欧美视频| 亚洲av日韩在线播放| 国产精品1区2区在线观看. | 女人精品久久久久毛片| 亚洲欧美色中文字幕在线| 欧美成人免费av一区二区三区 | 女性生殖器流出的白浆| 国产亚洲精品一区二区www | 正在播放国产对白刺激| 国产欧美亚洲国产| 一本大道久久a久久精品| 亚洲七黄色美女视频| 国产精品免费视频内射| 两性夫妻黄色片| 飞空精品影院首页| 精品国产乱码久久久久久小说| 午夜免费成人在线视频| www.精华液| 国产欧美日韩一区二区三| xxxhd国产人妻xxx| 一个人免费在线观看的高清视频| 欧美激情久久久久久爽电影 | 国产精品影院久久| 欧美日韩亚洲国产一区二区在线观看 | 国产男靠女视频免费网站| av网站在线播放免费| 久热这里只有精品99| 国产成人av激情在线播放| 捣出白浆h1v1| netflix在线观看网站| 久久99一区二区三区| 国产精品一区二区精品视频观看| 免费观看a级毛片全部| 精品亚洲乱码少妇综合久久| 亚洲专区国产一区二区| 久久人妻福利社区极品人妻图片| 9热在线视频观看99| 一级片免费观看大全| 国产精品免费视频内射| 欧美精品一区二区免费开放| 午夜免费成人在线视频| 多毛熟女@视频| 日本黄色日本黄色录像| 亚洲自偷自拍图片 自拍| 一级片免费观看大全| 亚洲三区欧美一区| 99热国产这里只有精品6| 波多野结衣av一区二区av| 国产激情久久老熟女| 国产91精品成人一区二区三区 | 男女下面插进去视频免费观看| 一二三四在线观看免费中文在| 黄片大片在线免费观看| 99国产极品粉嫩在线观看| 亚洲国产中文字幕在线视频| 一二三四社区在线视频社区8| 久久精品国产综合久久久| 亚洲av第一区精品v没综合| 国产日韩欧美视频二区| 99热国产这里只有精品6| 亚洲欧美色中文字幕在线| 黑人猛操日本美女一级片| 成年人免费黄色播放视频| 午夜91福利影院| 久久99一区二区三区| 国产视频一区二区在线看| 操出白浆在线播放| 午夜福利欧美成人| 精品少妇久久久久久888优播| 黑丝袜美女国产一区| 国产精品98久久久久久宅男小说| 精品国产乱码久久久久久小说| 搡老岳熟女国产| 国产日韩一区二区三区精品不卡| 性高湖久久久久久久久免费观看| www日本在线高清视频| 丝袜人妻中文字幕| 91字幕亚洲| 美女扒开内裤让男人捅视频| 在线天堂中文资源库| 美国免费a级毛片| 欧美精品一区二区大全| 欧美 日韩 精品 国产| 大码成人一级视频| 国产欧美日韩精品亚洲av| 欧美人与性动交α欧美软件| 18在线观看网站| 999久久久国产精品视频| 久久久久视频综合| 天堂动漫精品| 欧美国产精品va在线观看不卡| 18在线观看网站| 18禁观看日本| 成人三级做爰电影| 19禁男女啪啪无遮挡网站| 岛国在线观看网站| 最黄视频免费看| 久久狼人影院| 精品国产乱子伦一区二区三区| 香蕉丝袜av| av免费在线观看网站| 视频区图区小说| 久久久精品免费免费高清| 99国产精品99久久久久| 国产精品 国内视频| 欧美日韩亚洲高清精品| 午夜久久久在线观看| 国产欧美日韩精品亚洲av| www日本在线高清视频| 青草久久国产| 国产日韩欧美亚洲二区| 黑人巨大精品欧美一区二区蜜桃| 熟女少妇亚洲综合色aaa.| 亚洲成av片中文字幕在线观看| 亚洲自偷自拍图片 自拍| 亚洲色图 男人天堂 中文字幕| 亚洲美女黄片视频| 50天的宝宝边吃奶边哭怎么回事| 男女免费视频国产| 国产欧美日韩一区二区三区在线| 婷婷丁香在线五月| 精品人妻熟女毛片av久久网站| 亚洲专区字幕在线| 男人操女人黄网站| 免费黄频网站在线观看国产| 人人妻人人添人人爽欧美一区卜| 少妇裸体淫交视频免费看高清 | 国产精品电影一区二区三区 | 国产高清国产精品国产三级| 亚洲中文av在线| 一级a爱视频在线免费观看| 在线观看免费日韩欧美大片| 免费看a级黄色片| 黑人欧美特级aaaaaa片| 国产有黄有色有爽视频| 久久婷婷成人综合色麻豆| 免费久久久久久久精品成人欧美视频| 成年人免费黄色播放视频| 五月天丁香电影| 国产极品粉嫩免费观看在线| 日韩精品免费视频一区二区三区| 亚洲色图综合在线观看| 最近最新免费中文字幕在线| 97在线人人人人妻| 人人妻人人添人人爽欧美一区卜| 性色av乱码一区二区三区2| 欧美 日韩 精品 国产| 午夜成年电影在线免费观看| 99精国产麻豆久久婷婷| 国产一区二区三区视频了| 高清av免费在线| 一个人免费在线观看的高清视频| 国产亚洲一区二区精品| 午夜激情久久久久久久| 人人妻人人澡人人爽人人夜夜| 成人特级黄色片久久久久久久 | 亚洲少妇的诱惑av| svipshipincom国产片| 亚洲人成77777在线视频| 亚洲欧美日韩另类电影网站| 性少妇av在线| 国产欧美日韩一区二区三| 高清欧美精品videossex| av福利片在线| 久久狼人影院| 91精品国产国语对白视频| 国产成人影院久久av| 免费少妇av软件| 午夜福利视频精品| 超色免费av| 国产精品麻豆人妻色哟哟久久| 久久 成人 亚洲| 国产黄色免费在线视频| 亚洲成人免费av在线播放| 国精品久久久久久国模美| 又大又爽又粗| 久久国产精品男人的天堂亚洲| 啦啦啦中文免费视频观看日本| 午夜福利在线观看吧| 一个人免费看片子| 久久国产亚洲av麻豆专区| 一区二区三区精品91| avwww免费| 日韩免费高清中文字幕av| 亚洲天堂av无毛| 久久久欧美国产精品|