• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于Prometheus的基礎(chǔ)軟硬件全鏈路監(jiān)控設(shè)計(jì)和實(shí)現(xiàn)

    2019-12-01 10:13:22馬永吳躍何李囡程航
    電子技術(shù)與軟件工程 2019年24期
    關(guān)鍵詞:警報日志可視化

    文/馬永 吳躍 何李囡 程航

    1 Prometheus概述

    Prometheus是一套開源的系統(tǒng)監(jiān)控報警解決框架,它源于SoundCloud公司的開源監(jiān)控告警解決方案。作為新一代的云原生監(jiān)控系統(tǒng),擁有易管理性、高效、良好可視化等優(yōu)點(diǎn),旨在為集團(tuán)內(nèi)部提供更成熟的監(jiān)控與告警服務(wù)。

    國網(wǎng)安徽公司各信息系統(tǒng)自上線至今已穩(wěn)定運(yùn)行多年,得益于國網(wǎng)公司統(tǒng)推的I6000監(jiān)控平臺、性能監(jiān)測等,主機(jī)、中間件、網(wǎng)絡(luò)等方面得到了有效的監(jiān)控。但隨著國網(wǎng)安徽公司承載業(yè)務(wù)量的增加以及系統(tǒng)規(guī)模的擴(kuò)大,對于容器層級、業(yè)務(wù)層級以及內(nèi)部資源對象上的監(jiān)控和問題排查變得越發(fā)復(fù)雜和困難。

    針對該情況,我們結(jié)合運(yùn)維場景,提出了基于Prometheus監(jiān)控工具的全鏈路監(jiān)控、告警,搭載Grafana軟件統(tǒng)一展示的解決方案。

    2 企業(yè)級系統(tǒng)監(jiān)控面臨的問題

    與傳統(tǒng)監(jiān)控相比,電力企業(yè)級系統(tǒng)監(jiān)控面臨著許多難點(diǎn):

    (1)監(jiān)控資源對象動態(tài)可變,無法進(jìn)行預(yù)先配置;

    (2)涉及系統(tǒng)多、監(jiān)控范圍繁雜,各類監(jiān)控融合難度大;

    (3)各個實(shí)例間的調(diào)用關(guān)系復(fù)雜,故障排查更困難。

    在工程角度也面臨著不少考驗(yàn),監(jiān)控系統(tǒng)必須要保證可靠性,同時監(jiān)控數(shù)據(jù)也要保證有備份機(jī)制;監(jiān)控系統(tǒng)必須支持快速部署及水平擴(kuò)容,這既是云原生的基本要求,也符合企業(yè)系統(tǒng)容器化演進(jìn)的實(shí)際情況。

    3 企業(yè)級系統(tǒng)監(jiān)控技術(shù)選型

    監(jiān)控的諸多問題讓選型變得非常慎重,經(jīng)過調(diào)研和部署測試,決定采用開源監(jiān)控方案Prometheus。其具有以下優(yōu)勢:

    (1)靈活的數(shù)據(jù)模型。在Prometheus里,監(jiān)控數(shù)據(jù)是由值、時間戳和標(biāo)簽表組成的;同時Prometheus支持在監(jiān)控數(shù)據(jù)采集階段對監(jiān)控數(shù)據(jù)的標(biāo)簽表進(jìn)行修改,這使其具備強(qiáng)大的擴(kuò)展能力。

    (2)更契合的架構(gòu)。采用Kubernetes作為容器編排工具,支持Prometheus無縫部署和擴(kuò)展。

    (3)Prometheus提供有數(shù)據(jù)查詢語言PromQL。大部分情況下都可以直接通過PromQL從Prometheus里查詢到需要的聚合數(shù)據(jù),便于快速獲取監(jiān)控數(shù)據(jù)。

    (4)豐富的組件支持。Prometheus監(jiān)控主體是Prometheus Operator。除此以外,Prometheus方案加入了多種組件滿足Kubernetes的監(jiān)控場景,極大地豐富了Prometheus方案的功能。

    (5)成熟的社區(qū)。Prometheus擁有成熟的開源社區(qū),有豐富的參考文檔,便于快速的搭建監(jiān)控系統(tǒng)。

    4 企業(yè)級系統(tǒng)監(jiān)控目標(biāo)

    監(jiān)控系統(tǒng)需要能夠有效的了解其實(shí)際運(yùn)行狀態(tài),通過對監(jiān)控指標(biāo)的觀察能夠預(yù)判可能出現(xiàn)的問題,從而對潛在的不確定因素進(jìn)行優(yōu)化。通過建立完善的監(jiān)控體系,從而達(dá)到以下目的:

    監(jiān)控數(shù)據(jù)獲?。褐芷谛缘膹膶?shí)例中獲取監(jiān)控樣本,并保存到基于本地磁盤實(shí)現(xiàn)的時間序列數(shù)據(jù)庫中。

    告警:當(dāng)系統(tǒng)出現(xiàn)或者即將出現(xiàn)故障時,監(jiān)控系統(tǒng)需要迅速反應(yīng)并通知管理員,從而能夠?qū)栴}進(jìn)行快速的處理或提前預(yù)防問題的發(fā)生,避免出現(xiàn)對業(yè)務(wù)的影響。

    故障分析與定位:當(dāng)問題發(fā)生后,需要對問題進(jìn)行調(diào)查和處理。通過對不同監(jiān)控指標(biāo)以及歷史數(shù)據(jù)的分析,能夠找到并解決根源問題。

    數(shù)據(jù)可視化:通過Grafana可視化工具能夠直接展示獲取的系統(tǒng)運(yùn)行狀態(tài)、資源使用情況、以及服務(wù)運(yùn)行狀態(tài)等直觀的信息。

    5 Prometheus監(jiān)控設(shè)計(jì)方案

    國網(wǎng)安徽公司Prometheus監(jiān)控的物理架構(gòu),具體包括數(shù)據(jù)采集模塊、數(shù)據(jù)存儲模塊、告警上報模塊、數(shù)據(jù)可視化模塊四大模塊。

    5.1 數(shù)據(jù)采集模塊

    主要采用Prometheus擴(kuò)展組件Nodeexporter采集底層服務(wù)器的各種運(yùn)行參數(shù),如CPU、內(nèi)存使用率,主機(jī)運(yùn)行時長,分區(qū)使用率,網(wǎng)絡(luò)狀態(tài),數(shù)據(jù)IO吞吐量等信息。

    5.2 數(shù)據(jù)存儲模塊

    為數(shù)據(jù)的可視化呈現(xiàn)提供有效的數(shù)據(jù)支持,需要對采集到的數(shù)據(jù)進(jìn)行存儲,Prometheus將采集到的監(jiān)控數(shù)據(jù)按照時間序列的方式存儲在本地磁盤當(dāng)中。

    5.3 告警上報模塊

    當(dāng)出現(xiàn)異常情況時,Prometheus首先推送單條異常告警,如果異常情況大于1條,會同時觸發(fā)過濾規(guī)則,此時Prometheus會將所有的告警合并成一條Json數(shù)據(jù)推送出來。根據(jù)這一特點(diǎn),Prometheus可以有效減少告警數(shù)量。

    5.4 數(shù)據(jù)可視化模塊

    采用Grafana可視化工具,提供面向集群級的數(shù)據(jù)展示服務(wù),圖標(biāo)可定制化,兼容多種數(shù)據(jù)源,便于用戶監(jiān)控管理。

    6 監(jiān)控架構(gòu)實(shí)際應(yīng)用特點(diǎn)

    6.1 準(zhǔn)確性與可靠性的權(quán)衡

    Prometheus作為一個基于指標(biāo)的監(jiān)控系統(tǒng),在設(shè)計(jì)上放棄了一部分?jǐn)?shù)據(jù)準(zhǔn)確性。比如在兩次采樣的間隔中,內(nèi)存用量有一個瞬時小尖峰,那么此時小尖峰是觀察不到的。

    放棄一點(diǎn)準(zhǔn)確性得到的是更高的可靠性,這里的可靠性體現(xiàn)為架構(gòu)簡單、數(shù)據(jù)簡單、運(yùn)維簡單。比如ELK或其它日志架構(gòu),日志系統(tǒng)想要穩(wěn)定需要付出多倍的硬件成本與人力成本。

    6.2 做好自身監(jiān)控

    Prometheus本身可以由另一個Prometheus進(jìn)行監(jiān)控。按照官方部署的Prometheus單實(shí)例做好自身監(jiān)控。因此建議在生產(chǎn)環(huán)境上,要確保至少有兩個獨(dú)立的Prometheus實(shí)例做交叉監(jiān)控。

    另一個點(diǎn)是警報系統(tǒng)(Alertmanager),Prometheus可以監(jiān)控到警報系統(tǒng)出現(xiàn)了問題,但是因?yàn)榫瘓蠊δ墚惓?,所以警報無法正常發(fā)出。這個問題可以通過給警報系統(tǒng)做HA來應(yīng)對。

    6.3 發(fā)現(xiàn)維度過高的指標(biāo)

    Prometheus里50%以上的存儲空間和80%以上的計(jì)算資源(CPU、內(nèi)存)都是被兩三個維度超高的指標(biāo)用掉。而且這類指標(biāo)由于數(shù)據(jù)量很大,時間久了就會導(dǎo)致Prometheus實(shí)例出問題。有效的解決辦法是用警報規(guī)則找出維度過高的指標(biāo),然后在Scrape配置里Drop掉導(dǎo)致維度過高的label。

    6.4 監(jiān)控的核心目標(biāo)

    監(jiān)控的核心目標(biāo)是保障業(yè)務(wù)系統(tǒng)穩(wěn)定。追求“監(jiān)控的覆蓋率”,所有系統(tǒng)所有層面要有指標(biāo),太多監(jiān)控項(xiàng)讓Prometheus負(fù)載加重;追求“警報的覆蓋率”,事無巨細(xì)必須要有警報,最后“告警風(fēng)暴”讓大家都對警報產(chǎn)生疲勞。

    監(jiān)控的目標(biāo)絕對不是為了達(dá)到多少個指標(biāo),多少條警報規(guī)則,不要為監(jiān)控系統(tǒng)的功能或覆蓋面負(fù)責(zé),而要為整個系統(tǒng)的業(yè)務(wù)穩(wěn)定性負(fù)責(zé)。

    7 全鏈路監(jiān)控展望

    7.1 監(jiān)控立體化

    主機(jī)資源對象監(jiān)控主要依賴Prometheus實(shí)現(xiàn),既適用于面向服務(wù)器等硬件指標(biāo)的監(jiān)控,也適用于高動態(tài)的面向服務(wù)架構(gòu)的監(jiān)控。但容器監(jiān)測上還有所欠缺,如需做到監(jiān)控的立體化,cAdvisor是專門用來分析運(yùn)行中的Docker容器的資源占用以及性能特性的工具,能夠收集、聚集、處理并導(dǎo)出運(yùn)行中容器的信息。

    7.2 ELK日志分析平臺搭建

    Prometheus不支持日志監(jiān)控及分布式追蹤等功能,加入ELK實(shí)用化日志平臺,進(jìn)行日志監(jiān)控,對服務(wù)器操作系統(tǒng)、數(shù)據(jù)庫、中間件、應(yīng)用程序等文件型日志采集和集中展示。

    7.3 IPMITools管理工具應(yīng)用

    IPMItool是一個遠(yuǎn)程管理方案。它能夠用于IPMI接口管理和配置,支持本地操作和遠(yuǎn)端操作,支持智能平臺接口管理,可以獨(dú)立于服務(wù)器的CPU、內(nèi)存、存儲、電源而工作。

    IPMI是一個開放的標(biāo)準(zhǔn)、監(jiān)控、記錄、回收,庫存和硬件實(shí)現(xiàn)獨(dú)立于主CPU、BIOS以及操作系統(tǒng)的控制權(quán)。服務(wù)處理器的背后是平臺管理的大腦,其主要目的是處理自主傳感器監(jiān)控和事件記錄功能。

    IPMItool提供了一個簡單的命令行接口(BMC)。它具有讀取傳感器數(shù)據(jù)存儲庫(SDR)和打印傳感器值,顯示系統(tǒng)事件日志內(nèi)容的功能。IPMItool工具的應(yīng)用,使信息運(yùn)維可以做到遠(yuǎn)程主機(jī)電源的開關(guān)、重啟,服務(wù)器硬件告警的自動發(fā)送,大大節(jié)約了現(xiàn)場運(yùn)維人力的投入。

    8 結(jié)束語

    安徽公司信通公司運(yùn)檢中心的全體開發(fā)人員,為了實(shí)現(xiàn)當(dāng)前一個微服務(wù)的應(yīng)用指標(biāo),采用了Prometheus對開源監(jiān)控進(jìn)行指標(biāo)采集與分析,并在國網(wǎng)公司和網(wǎng)省公司各領(lǐng)導(dǎo)的正確帶領(lǐng)下,厲兵秣馬、夯實(shí)基礎(chǔ),為建設(shè)國際一流電網(wǎng)、世界一流企業(yè),落實(shí)“一強(qiáng)三優(yōu)”的現(xiàn)代化公司的企業(yè)戰(zhàn)略努力前行。對于此項(xiàng)實(shí)例,可以描述微服務(wù)監(jiān)控解決的主流程,能夠有效地提高監(jiān)控預(yù)警系統(tǒng)可靠性?;赑rometheus則需要使用多臺服務(wù)器拉取標(biāo)簽,分別存儲,同時根據(jù)Gossip機(jī)制去完成過濾、去噪等操作。在此過程中,由于迭代速度較快,如果需要有自動化服務(wù)發(fā)現(xiàn)(如Consul)配置來替代當(dāng)前的手動配置。

    猜你喜歡
    警報日志可視化
    身體的警報
    基于CiteSpace的足三里穴研究可視化分析
    基于Power BI的油田注水運(yùn)行動態(tài)分析與可視化展示
    云南化工(2021年8期)2021-12-21 06:37:54
    一名老黨員的工作日志
    華人時刊(2021年13期)2021-11-27 09:19:02
    扶貧日志
    心聲歌刊(2020年4期)2020-09-07 06:37:14
    基于CGAL和OpenGL的海底地形三維可視化
    假期終結(jié)者
    “融評”:黨媒評論的可視化創(chuàng)新
    傳媒評論(2019年4期)2019-07-13 05:49:14
    是誰的責(zé)任?
    游學(xué)日志
    成人手机av| 久久精品久久精品一区二区三区| 久久人人爽av亚洲精品天堂| 一区在线观看完整版| 爱豆传媒免费全集在线观看| 亚洲av国产av综合av卡| 欧美激情高清一区二区三区 | 美女主播在线视频| 女性生殖器流出的白浆| 久久这里有精品视频免费| 天天影视国产精品| 人人妻人人澡人人爽人人夜夜| 国产精品一国产av| 多毛熟女@视频| 超碰成人久久| 国产成人精品一,二区| 免费高清在线观看日韩| 性少妇av在线| 一本久久精品| 国产日韩欧美在线精品| 免费观看av网站的网址| 自拍欧美九色日韩亚洲蝌蚪91| 色播在线永久视频| 在线观看人妻少妇| 永久网站在线| 中文字幕色久视频| 婷婷色综合www| 999久久久国产精品视频| 伦精品一区二区三区| 日韩av在线免费看完整版不卡| av网站在线播放免费| 99久久综合免费| 欧美成人精品欧美一级黄| 国产毛片在线视频| 婷婷色综合大香蕉| 亚洲国产欧美网| 999久久久国产精品视频| 日本黄色日本黄色录像| 成人国产麻豆网| 啦啦啦中文免费视频观看日本| 国产精品一二三区在线看| 另类亚洲欧美激情| 在线观看免费日韩欧美大片| av一本久久久久| 午夜激情av网站| 亚洲国产看品久久| 亚洲激情五月婷婷啪啪| 久久人人爽av亚洲精品天堂| 另类精品久久| 中文字幕制服av| 日日爽夜夜爽网站| 80岁老熟妇乱子伦牲交| 久久精品熟女亚洲av麻豆精品| 亚洲,欧美精品.| 亚洲久久久国产精品| 国产av码专区亚洲av| 亚洲精品久久久久久婷婷小说| 国产精品欧美亚洲77777| 欧美日韩av久久| 久久精品熟女亚洲av麻豆精品| 最近最新中文字幕大全免费视频 | 天天操日日干夜夜撸| 久久久久国产一级毛片高清牌| 人妻人人澡人人爽人人| 日韩电影二区| 欧美亚洲 丝袜 人妻 在线| 激情五月婷婷亚洲| 成人二区视频| 色94色欧美一区二区| 观看av在线不卡| 亚洲 欧美一区二区三区| 国产精品蜜桃在线观看| 美女高潮到喷水免费观看| 日韩中字成人| 午夜老司机福利剧场| 在线观看人妻少妇| a级毛片在线看网站| 丰满乱子伦码专区| 黄色 视频免费看| 伦精品一区二区三区| 国产精品无大码| 国产成人av激情在线播放| 免费看av在线观看网站| 日本黄色日本黄色录像| 久久久久精品久久久久真实原创| 婷婷色综合www| 国产xxxxx性猛交| 边亲边吃奶的免费视频| 国产精品女同一区二区软件| 九九爱精品视频在线观看| 90打野战视频偷拍视频| 啦啦啦在线观看免费高清www| www日本在线高清视频| 国产日韩欧美在线精品| 国产成人精品久久二区二区91 | 欧美日韩视频高清一区二区三区二| 久久久久久免费高清国产稀缺| 欧美黄色片欧美黄色片| 国产 一区精品| av国产精品久久久久影院| 欧美成人精品欧美一级黄| 女性生殖器流出的白浆| 大片电影免费在线观看免费| 国产亚洲一区二区精品| 午夜福利在线免费观看网站| 色吧在线观看| 秋霞在线观看毛片| 亚洲精品美女久久av网站| 欧美日韩精品成人综合77777| 国产免费视频播放在线视频| 国产精品偷伦视频观看了| 两个人看的免费小视频| 亚洲精品国产av蜜桃| 亚洲成色77777| 女人精品久久久久毛片| 亚洲国产精品成人久久小说| 在线精品无人区一区二区三| 免费在线观看黄色视频的| 嫩草影院入口| 美女中出高潮动态图| 纵有疾风起免费观看全集完整版| 国产精品女同一区二区软件| 天天躁夜夜躁狠狠躁躁| 国产成人精品久久久久久| 久久久国产一区二区| 少妇 在线观看| 欧美老熟妇乱子伦牲交| 看非洲黑人一级黄片| 热re99久久国产66热| 91成人精品电影| 免费观看在线日韩| 成人漫画全彩无遮挡| 欧美 日韩 精品 国产| 国产精品一区二区在线观看99| 亚洲av.av天堂| 亚洲精品日本国产第一区| 久久精品aⅴ一区二区三区四区 | 最近的中文字幕免费完整| 欧美老熟妇乱子伦牲交| 99热网站在线观看| 狂野欧美激情性bbbbbb| 性高湖久久久久久久久免费观看| 日韩一本色道免费dvd| 人体艺术视频欧美日本| 精品一区二区三卡| 国产成人精品福利久久| 男女免费视频国产| 日韩伦理黄色片| 看免费av毛片| 亚洲一区中文字幕在线| 99热全是精品| 国产又爽黄色视频| 老司机影院毛片| 欧美日韩一区二区视频在线观看视频在线| 精品国产乱码久久久久久男人| 汤姆久久久久久久影院中文字幕| 国产极品粉嫩免费观看在线| av一本久久久久| 亚洲av免费高清在线观看| 久热这里只有精品99| 亚洲精品,欧美精品| 日日爽夜夜爽网站| 在线观看免费视频网站a站| 亚洲人成电影观看| 亚洲 欧美一区二区三区| 涩涩av久久男人的天堂| 天天躁夜夜躁狠狠久久av| 日本爱情动作片www.在线观看| 丝瓜视频免费看黄片| 男女免费视频国产| 国产av国产精品国产| 男女午夜视频在线观看| 在线观看免费日韩欧美大片| 中文字幕精品免费在线观看视频| a级片在线免费高清观看视频| 欧美日韩一级在线毛片| 国产精品免费视频内射| 亚洲人成77777在线视频| 大片电影免费在线观看免费| 久久人人97超碰香蕉20202| 亚洲成色77777| 一级,二级,三级黄色视频| 老熟女久久久| 国产免费又黄又爽又色| 国产欧美亚洲国产| 婷婷色麻豆天堂久久| 欧美精品国产亚洲| 欧美日韩国产mv在线观看视频| 中文字幕制服av| 欧美+日韩+精品| 九草在线视频观看| 久久狼人影院| 最近中文字幕2019免费版| 国产精品无大码| 青春草亚洲视频在线观看| 一本久久精品| videos熟女内射| 久久人妻熟女aⅴ| 一级片'在线观看视频| 亚洲国产色片| 青春草视频在线免费观看| 精品人妻偷拍中文字幕| 欧美精品国产亚洲| 亚洲精品国产av成人精品| 久久久久久免费高清国产稀缺| 欧美在线黄色| 你懂的网址亚洲精品在线观看| 日韩不卡一区二区三区视频在线| 看免费av毛片| 中文字幕亚洲精品专区| 国产高清不卡午夜福利| 国产亚洲最大av| 男人舔女人的私密视频| 亚洲精品日韩在线中文字幕| 丰满少妇做爰视频| 欧美日本中文国产一区发布| 国产精品欧美亚洲77777| 天天躁夜夜躁狠狠躁躁| 纵有疾风起免费观看全集完整版| 精品国产国语对白av| av视频免费观看在线观看| 看非洲黑人一级黄片| a级毛片黄视频| 亚洲精品美女久久av网站| 日韩制服骚丝袜av| 久久热在线av| 亚洲精品自拍成人| 亚洲色图 男人天堂 中文字幕| 亚洲欧洲日产国产| 成年人午夜在线观看视频| 欧美av亚洲av综合av国产av | 成年动漫av网址| 国产精品.久久久| 香蕉丝袜av| 国产麻豆69| 91精品伊人久久大香线蕉| 久久久久久人妻| 纵有疾风起免费观看全集完整版| 亚洲国产欧美网| 免费看不卡的av| 一级毛片 在线播放| 热re99久久精品国产66热6| 日韩制服骚丝袜av| 精品少妇一区二区三区视频日本电影 | 国产免费又黄又爽又色| 少妇人妻 视频| 亚洲欧美精品综合一区二区三区 | 亚洲国产精品一区三区| 美女中出高潮动态图| 又大又黄又爽视频免费| 免费看av在线观看网站| 亚洲av国产av综合av卡| 美女国产高潮福利片在线看| 美女脱内裤让男人舔精品视频| 亚洲国产精品一区三区| 久久这里有精品视频免费| 日韩制服骚丝袜av| 纯流量卡能插随身wifi吗| a级毛片在线看网站| 久久精品国产综合久久久| 国产成人一区二区在线| www.精华液| 18禁观看日本| 午夜福利在线观看免费完整高清在| 亚洲精品久久午夜乱码| 宅男免费午夜| 中文精品一卡2卡3卡4更新| 18禁动态无遮挡网站| 中文天堂在线官网| 精品少妇内射三级| 久久久久国产网址| 丰满迷人的少妇在线观看| 亚洲第一av免费看| 日韩大片免费观看网站| 女人高潮潮喷娇喘18禁视频| 男人操女人黄网站| 9热在线视频观看99| 久久精品人人爽人人爽视色| 91在线精品国自产拍蜜月| 久久婷婷青草| 欧美精品国产亚洲| 亚洲欧美色中文字幕在线| 视频区图区小说| 国产精品一二三区在线看| 国产成人精品无人区| 亚洲国产欧美网| 亚洲成av片中文字幕在线观看 | 97在线人人人人妻| 亚洲欧洲国产日韩| 香蕉精品网在线| 日韩av不卡免费在线播放| 一级毛片我不卡| 久久久久精品人妻al黑| 两个人看的免费小视频| 宅男免费午夜| 伦理电影免费视频| 国产av一区二区精品久久| 国产精品无大码| www.熟女人妻精品国产| 国产一区二区三区av在线| 2018国产大陆天天弄谢| 狂野欧美激情性bbbbbb| 一区二区日韩欧美中文字幕| 欧美人与善性xxx| 香蕉国产在线看| 国产精品一区二区在线不卡| 麻豆乱淫一区二区| 欧美人与善性xxx| 亚洲美女视频黄频| 春色校园在线视频观看| 国产色婷婷99| 久久99蜜桃精品久久| 性色avwww在线观看| 日韩,欧美,国产一区二区三区| 国产精品 欧美亚洲| 国产一区有黄有色的免费视频| 亚洲av成人精品一二三区| 国产一级毛片在线| 黄片无遮挡物在线观看| 麻豆精品久久久久久蜜桃| 永久免费av网站大全| 美国免费a级毛片| 性高湖久久久久久久久免费观看| 免费观看无遮挡的男女| 一区二区日韩欧美中文字幕| 在线观看免费日韩欧美大片| 99热网站在线观看| 欧美bdsm另类| 精品卡一卡二卡四卡免费| 少妇精品久久久久久久| 国产成人精品无人区| 黑人猛操日本美女一级片| 一区二区三区激情视频| 伦理电影大哥的女人| 精品久久蜜臀av无| 亚洲欧美日韩另类电影网站| 亚洲精品美女久久av网站| 18禁裸乳无遮挡动漫免费视频| 最近的中文字幕免费完整| 午夜福利网站1000一区二区三区| 曰老女人黄片| 老鸭窝网址在线观看| 欧美 亚洲 国产 日韩一| 99国产综合亚洲精品| 久久韩国三级中文字幕| 国产精品.久久久| 亚洲 欧美一区二区三区| 伦精品一区二区三区| 青春草亚洲视频在线观看| 少妇被粗大的猛进出69影院| 中文字幕最新亚洲高清| 免费在线观看完整版高清| 亚洲欧洲精品一区二区精品久久久 | 欧美日韩国产mv在线观看视频| 国产精品.久久久| 国产成人av激情在线播放| 日韩在线高清观看一区二区三区| 久久ye,这里只有精品| 精品一品国产午夜福利视频| 欧美日韩亚洲国产一区二区在线观看 | 午夜激情久久久久久久| 青春草视频在线免费观看| 日韩三级伦理在线观看| 国产免费又黄又爽又色| 亚洲内射少妇av| 亚洲第一av免费看| 欧美日韩亚洲国产一区二区在线观看 | 亚洲国产欧美在线一区| 精品一区二区三卡| 亚洲欧洲日产国产| 欧美变态另类bdsm刘玥| 国产视频首页在线观看| 亚洲,欧美精品.| 中文字幕最新亚洲高清| 深夜精品福利| 天美传媒精品一区二区| 久久精品国产亚洲av涩爱| 久久久久久久久免费视频了| 久久精品国产亚洲av涩爱| 久久久久久久久免费视频了| 亚洲久久久国产精品| 久久人人爽av亚洲精品天堂| 亚洲成av片中文字幕在线观看 | 久久精品熟女亚洲av麻豆精品| 亚洲av福利一区| 国产又爽黄色视频| 男女边吃奶边做爰视频| 亚洲人成网站在线观看播放| 在线观看三级黄色| 中文字幕亚洲精品专区| 久久久精品区二区三区| 黄片小视频在线播放| 国产一区二区三区av在线| 亚洲国产欧美网| 欧美在线黄色| 色婷婷av一区二区三区视频| 丰满少妇做爰视频| 日本91视频免费播放| 一级毛片黄色毛片免费观看视频| 欧美另类一区| 欧美亚洲日本最大视频资源| 大话2 男鬼变身卡| 黑人欧美特级aaaaaa片| 精品一区二区三卡| 欧美国产精品一级二级三级| 久久亚洲国产成人精品v| 黑人欧美特级aaaaaa片| 黄色一级大片看看| videossex国产| 欧美日韩综合久久久久久| 日韩免费高清中文字幕av| 一级毛片黄色毛片免费观看视频| av女优亚洲男人天堂| 久久免费观看电影| 人妻系列 视频| 在线观看免费日韩欧美大片| 久久久久久人人人人人| 亚洲国产av影院在线观看| 97在线人人人人妻| 又粗又硬又长又爽又黄的视频| 国产淫语在线视频| 91久久精品国产一区二区三区| 宅男免费午夜| 高清不卡的av网站| 成人亚洲欧美一区二区av| 天天躁日日躁夜夜躁夜夜| 欧美日韩一区二区视频在线观看视频在线| 曰老女人黄片| 在线观看免费日韩欧美大片| 男人舔女人的私密视频| 亚洲精品乱久久久久久| 80岁老熟妇乱子伦牲交| 黄色怎么调成土黄色| 国产精品.久久久| 欧美日韩国产mv在线观看视频| 久久人妻熟女aⅴ| 久久久久精品性色| 免费人妻精品一区二区三区视频| 欧美 日韩 精品 国产| 亚洲国产av新网站| 午夜影院在线不卡| 国产视频首页在线观看| 黄色配什么色好看| 咕卡用的链子| 精品福利永久在线观看| 国产精品国产三级国产专区5o| 一区在线观看完整版| 久久精品国产亚洲av天美| 国产精品亚洲av一区麻豆 | 看免费成人av毛片| 亚洲精品国产av成人精品| 男女下面插进去视频免费观看| 国产成人aa在线观看| 在线观看免费日韩欧美大片| 九九爱精品视频在线观看| 中国三级夫妇交换| 少妇被粗大的猛进出69影院| 日韩成人av中文字幕在线观看| 成人免费观看视频高清| 国产精品嫩草影院av在线观看| 伊人亚洲综合成人网| 丰满饥渴人妻一区二区三| 中文字幕人妻熟女乱码| 天天躁狠狠躁夜夜躁狠狠躁| 一边亲一边摸免费视频| 尾随美女入室| 色网站视频免费| 日韩欧美一区视频在线观看| 亚洲伊人久久精品综合| www.自偷自拍.com| 国产一区二区在线观看av| 涩涩av久久男人的天堂| 久久久久视频综合| 午夜影院在线不卡| 精品久久蜜臀av无| 天天影视国产精品| 久久久国产一区二区| 午夜影院在线不卡| 国产97色在线日韩免费| 国产在线一区二区三区精| 少妇人妻久久综合中文| 日本91视频免费播放| av又黄又爽大尺度在线免费看| 久久国产精品男人的天堂亚洲| 啦啦啦在线观看免费高清www| 伊人久久大香线蕉亚洲五| 国产国语露脸激情在线看| 如何舔出高潮| 中文字幕人妻熟女乱码| 亚洲国产成人一精品久久久| 哪个播放器可以免费观看大片| 婷婷色av中文字幕| 成人手机av| 国产精品一二三区在线看| 2022亚洲国产成人精品| 一二三四在线观看免费中文在| 大话2 男鬼变身卡| 热99国产精品久久久久久7| 香蕉丝袜av| 春色校园在线视频观看| 美女脱内裤让男人舔精品视频| av国产久精品久网站免费入址| 人人妻人人澡人人爽人人夜夜| 久久国产亚洲av麻豆专区| 91精品三级在线观看| 午夜免费鲁丝| 中文字幕人妻丝袜一区二区 | 自拍欧美九色日韩亚洲蝌蚪91| 十八禁高潮呻吟视频| 亚洲色图 男人天堂 中文字幕| 美女国产高潮福利片在线看| 午夜影院在线不卡| 青草久久国产| av国产久精品久网站免费入址| 亚洲经典国产精华液单| 国产男女内射视频| 香蕉精品网在线| 国产精品无大码| 五月天丁香电影| 纵有疾风起免费观看全集完整版| 国产高清国产精品国产三级| 新久久久久国产一级毛片| 国产成人91sexporn| 一级黄片播放器| 夫妻性生交免费视频一级片| 国产精品久久久久久av不卡| 丝袜喷水一区| 又粗又硬又长又爽又黄的视频| 熟妇人妻不卡中文字幕| 国产精品 国内视频| 天堂俺去俺来也www色官网| 制服丝袜香蕉在线| 国产精品嫩草影院av在线观看| 不卡视频在线观看欧美| 99热网站在线观看| 精品人妻一区二区三区麻豆| 欧美亚洲 丝袜 人妻 在线| 韩国av在线不卡| 国产一区二区激情短视频 | 亚洲av国产av综合av卡| 欧美成人午夜精品| 欧美日韩综合久久久久久| 午夜福利影视在线免费观看| 免费看不卡的av| 国产av精品麻豆| 多毛熟女@视频| 久久精品国产鲁丝片午夜精品| 搡女人真爽免费视频火全软件| 亚洲国产色片| 日本免费在线观看一区| 日本av手机在线免费观看| 亚洲在久久综合| 高清av免费在线| 久久婷婷青草| 久久久久精品久久久久真实原创| 黑人巨大精品欧美一区二区蜜桃| 在线观看免费日韩欧美大片| 久热久热在线精品观看| 亚洲激情五月婷婷啪啪| 韩国av在线不卡| 18在线观看网站| 在线观看人妻少妇| 天堂8中文在线网| 亚洲精品美女久久av网站| 国产精品久久久久久精品电影小说| 捣出白浆h1v1| av国产久精品久网站免费入址| 超色免费av| 另类精品久久| 午夜激情久久久久久久| 国产又色又爽无遮挡免| 青春草亚洲视频在线观看| 久久狼人影院| 国产乱来视频区| 在线天堂中文资源库| 精品少妇久久久久久888优播| 亚洲三级黄色毛片| 国产男女内射视频| 成年av动漫网址| 日本午夜av视频| 韩国av在线不卡| 夫妻性生交免费视频一级片| 精品少妇久久久久久888优播| 日韩欧美一区视频在线观看| 一本色道久久久久久精品综合| 男女无遮挡免费网站观看| 国产人伦9x9x在线观看 | 国产毛片在线视频| 2021少妇久久久久久久久久久| 久久精品国产自在天天线| 春色校园在线视频观看| 精品福利永久在线观看| 日本vs欧美在线观看视频| 亚洲,一卡二卡三卡| 麻豆精品久久久久久蜜桃| 国产高清不卡午夜福利| 久久久久网色| 久久精品国产鲁丝片午夜精品| 亚洲av男天堂| 久久人人97超碰香蕉20202| 日韩大片免费观看网站| 亚洲精品一区蜜桃| √禁漫天堂资源中文www| 99国产精品免费福利视频| 亚洲情色 制服丝袜| 国产午夜精品一二区理论片| 日韩中字成人| 青春草国产在线视频| 久久这里只有精品19| 欧美成人精品欧美一级黄| a级毛片在线看网站| 亚洲成人一二三区av| 久久99精品国语久久久| 亚洲精品中文字幕在线视频| 美女国产视频在线观看|