• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于Prometheus的基礎(chǔ)軟硬件全鏈路監(jiān)控設(shè)計(jì)和實(shí)現(xiàn)

    2019-12-01 10:13:22馬永吳躍何李囡程航
    電子技術(shù)與軟件工程 2019年24期
    關(guān)鍵詞:警報日志可視化

    文/馬永 吳躍 何李囡 程航

    1 Prometheus概述

    Prometheus是一套開源的系統(tǒng)監(jiān)控報警解決框架,它源于SoundCloud公司的開源監(jiān)控告警解決方案。作為新一代的云原生監(jiān)控系統(tǒng),擁有易管理性、高效、良好可視化等優(yōu)點(diǎn),旨在為集團(tuán)內(nèi)部提供更成熟的監(jiān)控與告警服務(wù)。

    國網(wǎng)安徽公司各信息系統(tǒng)自上線至今已穩(wěn)定運(yùn)行多年,得益于國網(wǎng)公司統(tǒng)推的I6000監(jiān)控平臺、性能監(jiān)測等,主機(jī)、中間件、網(wǎng)絡(luò)等方面得到了有效的監(jiān)控。但隨著國網(wǎng)安徽公司承載業(yè)務(wù)量的增加以及系統(tǒng)規(guī)模的擴(kuò)大,對于容器層級、業(yè)務(wù)層級以及內(nèi)部資源對象上的監(jiān)控和問題排查變得越發(fā)復(fù)雜和困難。

    針對該情況,我們結(jié)合運(yùn)維場景,提出了基于Prometheus監(jiān)控工具的全鏈路監(jiān)控、告警,搭載Grafana軟件統(tǒng)一展示的解決方案。

    2 企業(yè)級系統(tǒng)監(jiān)控面臨的問題

    與傳統(tǒng)監(jiān)控相比,電力企業(yè)級系統(tǒng)監(jiān)控面臨著許多難點(diǎn):

    (1)監(jiān)控資源對象動態(tài)可變,無法進(jìn)行預(yù)先配置;

    (2)涉及系統(tǒng)多、監(jiān)控范圍繁雜,各類監(jiān)控融合難度大;

    (3)各個實(shí)例間的調(diào)用關(guān)系復(fù)雜,故障排查更困難。

    在工程角度也面臨著不少考驗(yàn),監(jiān)控系統(tǒng)必須要保證可靠性,同時監(jiān)控數(shù)據(jù)也要保證有備份機(jī)制;監(jiān)控系統(tǒng)必須支持快速部署及水平擴(kuò)容,這既是云原生的基本要求,也符合企業(yè)系統(tǒng)容器化演進(jìn)的實(shí)際情況。

    3 企業(yè)級系統(tǒng)監(jiān)控技術(shù)選型

    監(jiān)控的諸多問題讓選型變得非常慎重,經(jīng)過調(diào)研和部署測試,決定采用開源監(jiān)控方案Prometheus。其具有以下優(yōu)勢:

    (1)靈活的數(shù)據(jù)模型。在Prometheus里,監(jiān)控數(shù)據(jù)是由值、時間戳和標(biāo)簽表組成的;同時Prometheus支持在監(jiān)控數(shù)據(jù)采集階段對監(jiān)控數(shù)據(jù)的標(biāo)簽表進(jìn)行修改,這使其具備強(qiáng)大的擴(kuò)展能力。

    (2)更契合的架構(gòu)。采用Kubernetes作為容器編排工具,支持Prometheus無縫部署和擴(kuò)展。

    (3)Prometheus提供有數(shù)據(jù)查詢語言PromQL。大部分情況下都可以直接通過PromQL從Prometheus里查詢到需要的聚合數(shù)據(jù),便于快速獲取監(jiān)控數(shù)據(jù)。

    (4)豐富的組件支持。Prometheus監(jiān)控主體是Prometheus Operator。除此以外,Prometheus方案加入了多種組件滿足Kubernetes的監(jiān)控場景,極大地豐富了Prometheus方案的功能。

    (5)成熟的社區(qū)。Prometheus擁有成熟的開源社區(qū),有豐富的參考文檔,便于快速的搭建監(jiān)控系統(tǒng)。

    4 企業(yè)級系統(tǒng)監(jiān)控目標(biāo)

    監(jiān)控系統(tǒng)需要能夠有效的了解其實(shí)際運(yùn)行狀態(tài),通過對監(jiān)控指標(biāo)的觀察能夠預(yù)判可能出現(xiàn)的問題,從而對潛在的不確定因素進(jìn)行優(yōu)化。通過建立完善的監(jiān)控體系,從而達(dá)到以下目的:

    監(jiān)控數(shù)據(jù)獲?。褐芷谛缘膹膶?shí)例中獲取監(jiān)控樣本,并保存到基于本地磁盤實(shí)現(xiàn)的時間序列數(shù)據(jù)庫中。

    告警:當(dāng)系統(tǒng)出現(xiàn)或者即將出現(xiàn)故障時,監(jiān)控系統(tǒng)需要迅速反應(yīng)并通知管理員,從而能夠?qū)栴}進(jìn)行快速的處理或提前預(yù)防問題的發(fā)生,避免出現(xiàn)對業(yè)務(wù)的影響。

    故障分析與定位:當(dāng)問題發(fā)生后,需要對問題進(jìn)行調(diào)查和處理。通過對不同監(jiān)控指標(biāo)以及歷史數(shù)據(jù)的分析,能夠找到并解決根源問題。

    數(shù)據(jù)可視化:通過Grafana可視化工具能夠直接展示獲取的系統(tǒng)運(yùn)行狀態(tài)、資源使用情況、以及服務(wù)運(yùn)行狀態(tài)等直觀的信息。

    5 Prometheus監(jiān)控設(shè)計(jì)方案

    國網(wǎng)安徽公司Prometheus監(jiān)控的物理架構(gòu),具體包括數(shù)據(jù)采集模塊、數(shù)據(jù)存儲模塊、告警上報模塊、數(shù)據(jù)可視化模塊四大模塊。

    5.1 數(shù)據(jù)采集模塊

    主要采用Prometheus擴(kuò)展組件Nodeexporter采集底層服務(wù)器的各種運(yùn)行參數(shù),如CPU、內(nèi)存使用率,主機(jī)運(yùn)行時長,分區(qū)使用率,網(wǎng)絡(luò)狀態(tài),數(shù)據(jù)IO吞吐量等信息。

    5.2 數(shù)據(jù)存儲模塊

    為數(shù)據(jù)的可視化呈現(xiàn)提供有效的數(shù)據(jù)支持,需要對采集到的數(shù)據(jù)進(jìn)行存儲,Prometheus將采集到的監(jiān)控數(shù)據(jù)按照時間序列的方式存儲在本地磁盤當(dāng)中。

    5.3 告警上報模塊

    當(dāng)出現(xiàn)異常情況時,Prometheus首先推送單條異常告警,如果異常情況大于1條,會同時觸發(fā)過濾規(guī)則,此時Prometheus會將所有的告警合并成一條Json數(shù)據(jù)推送出來。根據(jù)這一特點(diǎn),Prometheus可以有效減少告警數(shù)量。

    5.4 數(shù)據(jù)可視化模塊

    采用Grafana可視化工具,提供面向集群級的數(shù)據(jù)展示服務(wù),圖標(biāo)可定制化,兼容多種數(shù)據(jù)源,便于用戶監(jiān)控管理。

    6 監(jiān)控架構(gòu)實(shí)際應(yīng)用特點(diǎn)

    6.1 準(zhǔn)確性與可靠性的權(quán)衡

    Prometheus作為一個基于指標(biāo)的監(jiān)控系統(tǒng),在設(shè)計(jì)上放棄了一部分?jǐn)?shù)據(jù)準(zhǔn)確性。比如在兩次采樣的間隔中,內(nèi)存用量有一個瞬時小尖峰,那么此時小尖峰是觀察不到的。

    放棄一點(diǎn)準(zhǔn)確性得到的是更高的可靠性,這里的可靠性體現(xiàn)為架構(gòu)簡單、數(shù)據(jù)簡單、運(yùn)維簡單。比如ELK或其它日志架構(gòu),日志系統(tǒng)想要穩(wěn)定需要付出多倍的硬件成本與人力成本。

    6.2 做好自身監(jiān)控

    Prometheus本身可以由另一個Prometheus進(jìn)行監(jiān)控。按照官方部署的Prometheus單實(shí)例做好自身監(jiān)控。因此建議在生產(chǎn)環(huán)境上,要確保至少有兩個獨(dú)立的Prometheus實(shí)例做交叉監(jiān)控。

    另一個點(diǎn)是警報系統(tǒng)(Alertmanager),Prometheus可以監(jiān)控到警報系統(tǒng)出現(xiàn)了問題,但是因?yàn)榫瘓蠊δ墚惓?,所以警報無法正常發(fā)出。這個問題可以通過給警報系統(tǒng)做HA來應(yīng)對。

    6.3 發(fā)現(xiàn)維度過高的指標(biāo)

    Prometheus里50%以上的存儲空間和80%以上的計(jì)算資源(CPU、內(nèi)存)都是被兩三個維度超高的指標(biāo)用掉。而且這類指標(biāo)由于數(shù)據(jù)量很大,時間久了就會導(dǎo)致Prometheus實(shí)例出問題。有效的解決辦法是用警報規(guī)則找出維度過高的指標(biāo),然后在Scrape配置里Drop掉導(dǎo)致維度過高的label。

    6.4 監(jiān)控的核心目標(biāo)

    監(jiān)控的核心目標(biāo)是保障業(yè)務(wù)系統(tǒng)穩(wěn)定。追求“監(jiān)控的覆蓋率”,所有系統(tǒng)所有層面要有指標(biāo),太多監(jiān)控項(xiàng)讓Prometheus負(fù)載加重;追求“警報的覆蓋率”,事無巨細(xì)必須要有警報,最后“告警風(fēng)暴”讓大家都對警報產(chǎn)生疲勞。

    監(jiān)控的目標(biāo)絕對不是為了達(dá)到多少個指標(biāo),多少條警報規(guī)則,不要為監(jiān)控系統(tǒng)的功能或覆蓋面負(fù)責(zé),而要為整個系統(tǒng)的業(yè)務(wù)穩(wěn)定性負(fù)責(zé)。

    7 全鏈路監(jiān)控展望

    7.1 監(jiān)控立體化

    主機(jī)資源對象監(jiān)控主要依賴Prometheus實(shí)現(xiàn),既適用于面向服務(wù)器等硬件指標(biāo)的監(jiān)控,也適用于高動態(tài)的面向服務(wù)架構(gòu)的監(jiān)控。但容器監(jiān)測上還有所欠缺,如需做到監(jiān)控的立體化,cAdvisor是專門用來分析運(yùn)行中的Docker容器的資源占用以及性能特性的工具,能夠收集、聚集、處理并導(dǎo)出運(yùn)行中容器的信息。

    7.2 ELK日志分析平臺搭建

    Prometheus不支持日志監(jiān)控及分布式追蹤等功能,加入ELK實(shí)用化日志平臺,進(jìn)行日志監(jiān)控,對服務(wù)器操作系統(tǒng)、數(shù)據(jù)庫、中間件、應(yīng)用程序等文件型日志采集和集中展示。

    7.3 IPMITools管理工具應(yīng)用

    IPMItool是一個遠(yuǎn)程管理方案。它能夠用于IPMI接口管理和配置,支持本地操作和遠(yuǎn)端操作,支持智能平臺接口管理,可以獨(dú)立于服務(wù)器的CPU、內(nèi)存、存儲、電源而工作。

    IPMI是一個開放的標(biāo)準(zhǔn)、監(jiān)控、記錄、回收,庫存和硬件實(shí)現(xiàn)獨(dú)立于主CPU、BIOS以及操作系統(tǒng)的控制權(quán)。服務(wù)處理器的背后是平臺管理的大腦,其主要目的是處理自主傳感器監(jiān)控和事件記錄功能。

    IPMItool提供了一個簡單的命令行接口(BMC)。它具有讀取傳感器數(shù)據(jù)存儲庫(SDR)和打印傳感器值,顯示系統(tǒng)事件日志內(nèi)容的功能。IPMItool工具的應(yīng)用,使信息運(yùn)維可以做到遠(yuǎn)程主機(jī)電源的開關(guān)、重啟,服務(wù)器硬件告警的自動發(fā)送,大大節(jié)約了現(xiàn)場運(yùn)維人力的投入。

    8 結(jié)束語

    安徽公司信通公司運(yùn)檢中心的全體開發(fā)人員,為了實(shí)現(xiàn)當(dāng)前一個微服務(wù)的應(yīng)用指標(biāo),采用了Prometheus對開源監(jiān)控進(jìn)行指標(biāo)采集與分析,并在國網(wǎng)公司和網(wǎng)省公司各領(lǐng)導(dǎo)的正確帶領(lǐng)下,厲兵秣馬、夯實(shí)基礎(chǔ),為建設(shè)國際一流電網(wǎng)、世界一流企業(yè),落實(shí)“一強(qiáng)三優(yōu)”的現(xiàn)代化公司的企業(yè)戰(zhàn)略努力前行。對于此項(xiàng)實(shí)例,可以描述微服務(wù)監(jiān)控解決的主流程,能夠有效地提高監(jiān)控預(yù)警系統(tǒng)可靠性?;赑rometheus則需要使用多臺服務(wù)器拉取標(biāo)簽,分別存儲,同時根據(jù)Gossip機(jī)制去完成過濾、去噪等操作。在此過程中,由于迭代速度較快,如果需要有自動化服務(wù)發(fā)現(xiàn)(如Consul)配置來替代當(dāng)前的手動配置。

    猜你喜歡
    警報日志可視化
    身體的警報
    基于CiteSpace的足三里穴研究可視化分析
    基于Power BI的油田注水運(yùn)行動態(tài)分析與可視化展示
    云南化工(2021年8期)2021-12-21 06:37:54
    一名老黨員的工作日志
    華人時刊(2021年13期)2021-11-27 09:19:02
    扶貧日志
    心聲歌刊(2020年4期)2020-09-07 06:37:14
    基于CGAL和OpenGL的海底地形三維可視化
    假期終結(jié)者
    “融評”:黨媒評論的可視化創(chuàng)新
    傳媒評論(2019年4期)2019-07-13 05:49:14
    是誰的責(zé)任?
    游學(xué)日志
    亚洲国产成人一精品久久久| e午夜精品久久久久久久| 亚洲国产中文字幕在线视频| 曰老女人黄片| 精品人妻一区二区三区麻豆| 19禁男女啪啪无遮挡网站| 中文天堂在线官网| 中文字幕色久视频| 咕卡用的链子| 天天躁夜夜躁狠狠躁躁| 日韩熟女老妇一区二区性免费视频| 亚洲av国产av综合av卡| 成人18禁高潮啪啪吃奶动态图| 高清不卡的av网站| 不卡av一区二区三区| 午夜激情av网站| 夜夜骑夜夜射夜夜干| 日韩av免费高清视频| 亚洲av男天堂| 精品一区二区三区四区五区乱码 | 老司机亚洲免费影院| 中文字幕精品免费在线观看视频| 精品久久久精品久久久| 曰老女人黄片| 青春草国产在线视频| 蜜桃国产av成人99| 黑人巨大精品欧美一区二区蜜桃| 亚洲欧美色中文字幕在线| 国产不卡av网站在线观看| 亚洲国产精品999| 女人久久www免费人成看片| 这个男人来自地球电影免费观看 | 巨乳人妻的诱惑在线观看| 国产探花极品一区二区| av在线观看视频网站免费| 日本猛色少妇xxxxx猛交久久| 一级毛片我不卡| 欧美亚洲日本最大视频资源| 大香蕉久久网| 色婷婷av一区二区三区视频| 色播在线永久视频| 久久精品国产a三级三级三级| 看十八女毛片水多多多| 免费不卡黄色视频| 日韩免费高清中文字幕av| 18禁观看日本| 啦啦啦 在线观看视频| 欧美亚洲 丝袜 人妻 在线| 久久久久视频综合| 咕卡用的链子| 成年动漫av网址| 亚洲欧美一区二区三区黑人| √禁漫天堂资源中文www| 欧美人与性动交α欧美软件| av在线app专区| 热99久久久久精品小说推荐| 欧美精品一区二区免费开放| av国产精品久久久久影院| 国产无遮挡羞羞视频在线观看| 久久久欧美国产精品| 日韩一本色道免费dvd| 国产激情久久老熟女| 2021少妇久久久久久久久久久| 国产爽快片一区二区三区| 成年人免费黄色播放视频| 别揉我奶头~嗯~啊~动态视频 | 叶爱在线成人免费视频播放| 一本—道久久a久久精品蜜桃钙片| 精品少妇久久久久久888优播| 妹子高潮喷水视频| videosex国产| 日本wwww免费看| 国产成人a∨麻豆精品| 女人被躁到高潮嗷嗷叫费观| 国产免费现黄频在线看| 精品一区二区三区四区五区乱码 | 777久久人妻少妇嫩草av网站| 美女中出高潮动态图| 国产成人精品无人区| 亚洲国产欧美在线一区| 老司机在亚洲福利影院| 赤兔流量卡办理| 又大又爽又粗| 黄色怎么调成土黄色| 欧美 日韩 精品 国产| 十八禁网站网址无遮挡| 99久久精品国产亚洲精品| 王馨瑶露胸无遮挡在线观看| 在线观看一区二区三区激情| 在线看a的网站| 亚洲av福利一区| 中文乱码字字幕精品一区二区三区| 国产又爽黄色视频| 老鸭窝网址在线观看| 免费久久久久久久精品成人欧美视频| 国产精品一区二区精品视频观看| 赤兔流量卡办理| av在线观看视频网站免费| 精品一区二区三区av网在线观看 | 欧美在线一区亚洲| 久久综合国产亚洲精品| 亚洲美女搞黄在线观看| 久久精品国产亚洲av高清一级| 亚洲av福利一区| 亚洲欧美精品综合一区二区三区| 尾随美女入室| 日日撸夜夜添| 国产精品99久久99久久久不卡 | 看免费av毛片| 乱人伦中国视频| 老司机影院毛片| 别揉我奶头~嗯~啊~动态视频 | 一级毛片黄色毛片免费观看视频| 中文字幕人妻丝袜制服| 别揉我奶头~嗯~啊~动态视频 | 在线观看免费高清a一片| 黑人欧美特级aaaaaa片| 国产精品免费视频内射| 男人添女人高潮全过程视频| 国产色婷婷99| 看免费成人av毛片| 亚洲国产欧美一区二区综合| 亚洲欧洲国产日韩| 多毛熟女@视频| 不卡av一区二区三区| 一区二区三区激情视频| 涩涩av久久男人的天堂| 深夜精品福利| 大话2 男鬼变身卡| 日韩伦理黄色片| 久久人人爽av亚洲精品天堂| av在线app专区| 人成视频在线观看免费观看| 在线观看国产h片| 欧美亚洲日本最大视频资源| 精品国产一区二区三区久久久樱花| 18禁裸乳无遮挡动漫免费视频| 午夜激情av网站| 高清视频免费观看一区二区| 操美女的视频在线观看| 又大又爽又粗| 精品久久久精品久久久| 久久av网站| 最黄视频免费看| 欧美日韩国产mv在线观看视频| 亚洲欧美色中文字幕在线| 日韩av不卡免费在线播放| 午夜免费鲁丝| 日本91视频免费播放| 精品福利永久在线观看| 精品第一国产精品| av在线app专区| 纵有疾风起免费观看全集完整版| 久久青草综合色| 日日啪夜夜爽| 亚洲精品久久久久久婷婷小说| 校园人妻丝袜中文字幕| 精品亚洲成国产av| 久久精品亚洲av国产电影网| 又黄又粗又硬又大视频| 人妻一区二区av| 日本一区二区免费在线视频| 在现免费观看毛片| 高清视频免费观看一区二区| av片东京热男人的天堂| 亚洲av综合色区一区| 大陆偷拍与自拍| 啦啦啦在线观看免费高清www| 97精品久久久久久久久久精品| 国产精品二区激情视频| 成年女人毛片免费观看观看9 | 韩国av在线不卡| 国产在线视频一区二区| 777米奇影视久久| 久久人人爽人人片av| 老汉色av国产亚洲站长工具| 中文精品一卡2卡3卡4更新| 久久久久国产精品人妻一区二区| 90打野战视频偷拍视频| 多毛熟女@视频| 久久久久久久大尺度免费视频| 中文字幕人妻丝袜制服| 亚洲国产精品一区三区| 青春草国产在线视频| 久久女婷五月综合色啪小说| 亚洲国产中文字幕在线视频| 伊人久久国产一区二区| 国产精品偷伦视频观看了| 亚洲欧美一区二区三区久久| 国产精品久久久人人做人人爽| 亚洲美女黄色视频免费看| 一级毛片我不卡| 1024香蕉在线观看| 色婷婷av一区二区三区视频| 国产精品久久久久久精品古装| 黑丝袜美女国产一区| 国产片内射在线| 18禁观看日本| 免费人妻精品一区二区三区视频| 欧美人与性动交α欧美软件| 性高湖久久久久久久久免费观看| 日本猛色少妇xxxxx猛交久久| 中文字幕亚洲精品专区| a级毛片在线看网站| 啦啦啦视频在线资源免费观看| 亚洲欧美色中文字幕在线| 日本av免费视频播放| 丰满少妇做爰视频| 亚洲精华国产精华液的使用体验| 各种免费的搞黄视频| 青春草国产在线视频| 丝袜美腿诱惑在线| 黄片播放在线免费| 天天影视国产精品| 街头女战士在线观看网站| 亚洲国产最新在线播放| kizo精华| av又黄又爽大尺度在线免费看| 999精品在线视频| 在线看a的网站| 久久97久久精品| 在线观看免费视频网站a站| 婷婷色综合大香蕉| 97人妻天天添夜夜摸| 国产在线视频一区二区| 久久ye,这里只有精品| 日韩制服丝袜自拍偷拍| 在线观看免费日韩欧美大片| 水蜜桃什么品种好| 欧美激情高清一区二区三区 | 99国产精品免费福利视频| 各种免费的搞黄视频| 在线观看www视频免费| 国产伦人伦偷精品视频| 久久97久久精品| 国产淫语在线视频| 桃花免费在线播放| 18禁动态无遮挡网站| 亚洲av日韩在线播放| 天堂8中文在线网| 久久国产精品男人的天堂亚洲| 欧美精品一区二区免费开放| 老司机影院成人| 亚洲精品美女久久久久99蜜臀 | 不卡av一区二区三区| 亚洲精品美女久久av网站| 在线观看三级黄色| 亚洲少妇的诱惑av| 日韩伦理黄色片| 秋霞在线观看毛片| 纵有疾风起免费观看全集完整版| 高清欧美精品videossex| 欧美人与善性xxx| 国产精品免费大片| 美女午夜性视频免费| 操出白浆在线播放| 黄频高清免费视频| 国产成人欧美在线观看 | 亚洲国产精品国产精品| 国产又色又爽无遮挡免| 街头女战士在线观看网站| 青青草视频在线视频观看| 亚洲精品中文字幕在线视频| 在线天堂中文资源库| 香蕉国产在线看| 国产精品欧美亚洲77777| 亚洲欧美中文字幕日韩二区| 久久精品国产a三级三级三级| www.av在线官网国产| 欧美日韩一级在线毛片| 欧美久久黑人一区二区| 飞空精品影院首页| videosex国产| 中文字幕色久视频| 九色亚洲精品在线播放| 亚洲精品一二三| 免费观看a级毛片全部| av卡一久久| av在线老鸭窝| 男的添女的下面高潮视频| 欧美精品av麻豆av| 亚洲精品在线美女| 国产欧美亚洲国产| 亚洲天堂av无毛| 日韩欧美精品免费久久| 丝袜喷水一区| 男女免费视频国产| 日韩欧美精品免费久久| 波野结衣二区三区在线| 久久国产亚洲av麻豆专区| 久久久精品免费免费高清| 最近最新中文字幕免费大全7| 免费看av在线观看网站| 成人手机av| 曰老女人黄片| 国产成人精品久久二区二区91 | 成人午夜精彩视频在线观看| 一级片'在线观看视频| 丝瓜视频免费看黄片| 国产一区二区三区av在线| 国产精品久久久久久精品电影小说| 美女脱内裤让男人舔精品视频| 亚洲精品av麻豆狂野| 亚洲精品一二三| 国产精品三级大全| 午夜福利乱码中文字幕| 日韩av免费高清视频| av在线老鸭窝| 亚洲成国产人片在线观看| 亚洲av成人不卡在线观看播放网 | 母亲3免费完整高清在线观看| 亚洲成人手机| 国产成人精品福利久久| 免费观看性生交大片5| 尾随美女入室| 免费av中文字幕在线| 国产亚洲精品第一综合不卡| 十分钟在线观看高清视频www| 晚上一个人看的免费电影| 欧美日韩成人在线一区二区| 久久久精品区二区三区| 久久99精品国语久久久| 少妇 在线观看| 满18在线观看网站| 精品福利永久在线观看| 久久这里只有精品19| 妹子高潮喷水视频| 日韩一本色道免费dvd| 久久精品亚洲熟妇少妇任你| 亚洲欧美精品自产自拍| 国产精品嫩草影院av在线观看| videosex国产| 99久久综合免费| 大香蕉久久网| 热re99久久国产66热| 国产精品二区激情视频| 日本爱情动作片www.在线观看| kizo精华| 黄片播放在线免费| 久久精品国产亚洲av涩爱| 制服人妻中文乱码| 国产不卡av网站在线观看| 国产男女内射视频| 日韩一区二区视频免费看| 狂野欧美激情性xxxx| 精品亚洲成国产av| 各种免费的搞黄视频| av在线app专区| 极品人妻少妇av视频| 女的被弄到高潮叫床怎么办| 亚洲激情五月婷婷啪啪| 亚洲四区av| 中文字幕另类日韩欧美亚洲嫩草| 免费在线观看视频国产中文字幕亚洲 | 久久热在线av| 宅男免费午夜| 成人影院久久| 国产精品国产av在线观看| 免费久久久久久久精品成人欧美视频| 午夜福利一区二区在线看| 色综合欧美亚洲国产小说| 国产又爽黄色视频| 男女边吃奶边做爰视频| 亚洲成人国产一区在线观看 | 一区二区三区激情视频| 香蕉国产在线看| 亚洲精品在线美女| 亚洲一卡2卡3卡4卡5卡精品中文| 女的被弄到高潮叫床怎么办| 亚洲美女视频黄频| 亚洲少妇的诱惑av| 成人国语在线视频| 青春草视频在线免费观看| 中国三级夫妇交换| 日本欧美视频一区| 亚洲精品乱久久久久久| 亚洲第一av免费看| 2018国产大陆天天弄谢| 男人添女人高潮全过程视频| www.熟女人妻精品国产| 亚洲精华国产精华液的使用体验| 国产日韩一区二区三区精品不卡| 国产一卡二卡三卡精品 | 波多野结衣av一区二区av| 成人国语在线视频| 国产精品香港三级国产av潘金莲 | 亚洲欧美一区二区三区国产| 亚洲一区二区三区欧美精品| 免费看av在线观看网站| 亚洲一码二码三码区别大吗| 老司机在亚洲福利影院| 亚洲精品日韩在线中文字幕| 韩国高清视频一区二区三区| 制服诱惑二区| 亚洲国产成人一精品久久久| 极品人妻少妇av视频| 国产日韩欧美亚洲二区| 日韩中文字幕视频在线看片| 国产精品香港三级国产av潘金莲 | 麻豆精品久久久久久蜜桃| 欧美日韩成人在线一区二区| 亚洲国产欧美日韩在线播放| 成人国产麻豆网| 高清在线视频一区二区三区| 一本色道久久久久久精品综合| 天天影视国产精品| av一本久久久久| 久久天堂一区二区三区四区| 久久青草综合色| 五月开心婷婷网| 午夜91福利影院| 老汉色av国产亚洲站长工具| 亚洲精品av麻豆狂野| 久久女婷五月综合色啪小说| 亚洲自偷自拍图片 自拍| 欧美xxⅹ黑人| 黄色视频在线播放观看不卡| 欧美精品一区二区免费开放| www.自偷自拍.com| 桃花免费在线播放| 男女无遮挡免费网站观看| 国产一区亚洲一区在线观看| 午夜免费男女啪啪视频观看| 国产精品女同一区二区软件| 伦理电影大哥的女人| av国产久精品久网站免费入址| 大陆偷拍与自拍| 亚洲自偷自拍图片 自拍| 国产精品久久久久久人妻精品电影 | 久久久国产精品麻豆| 精品久久久精品久久久| 老鸭窝网址在线观看| 黄网站色视频无遮挡免费观看| 亚洲色图 男人天堂 中文字幕| 久久久久久久国产电影| 18禁裸乳无遮挡动漫免费视频| 日韩精品免费视频一区二区三区| 精品第一国产精品| 成人免费观看视频高清| 一本久久精品| 欧美精品人与动牲交sv欧美| 韩国高清视频一区二区三区| 精品国产一区二区久久| 男人添女人高潮全过程视频| 欧美久久黑人一区二区| 波野结衣二区三区在线| 久久久久精品性色| 亚洲一码二码三码区别大吗| 久久精品久久久久久久性| 日本一区二区免费在线视频| 免费少妇av软件| √禁漫天堂资源中文www| 操出白浆在线播放| 免费黄频网站在线观看国产| 久久久久精品国产欧美久久久 | 亚洲国产成人一精品久久久| 一本色道久久久久久精品综合| 一区二区日韩欧美中文字幕| 精品一区二区三区av网在线观看 | 国产99久久九九免费精品| 久久国产精品大桥未久av| 五月天丁香电影| 超色免费av| 女的被弄到高潮叫床怎么办| 国产精品亚洲av一区麻豆 | 黄色毛片三级朝国网站| 欧美xxⅹ黑人| 久久精品久久久久久久性| 少妇人妻 视频| 日本欧美视频一区| 青青草视频在线视频观看| 欧美最新免费一区二区三区| 黄色视频在线播放观看不卡| 免费观看a级毛片全部| av在线app专区| 国产亚洲午夜精品一区二区久久| 国产精品二区激情视频| 人妻人人澡人人爽人人| 亚洲一区二区三区欧美精品| 伊人久久大香线蕉亚洲五| 777米奇影视久久| 尾随美女入室| 咕卡用的链子| 狠狠婷婷综合久久久久久88av| 欧美日韩视频精品一区| 一级a爱视频在线免费观看| 欧美人与善性xxx| 看免费成人av毛片| 婷婷色综合大香蕉| 99久久99久久久精品蜜桃| 捣出白浆h1v1| 伦理电影免费视频| 久久狼人影院| 大码成人一级视频| 国产淫语在线视频| 男女高潮啪啪啪动态图| 波多野结衣av一区二区av| 午夜av观看不卡| 黄网站色视频无遮挡免费观看| 国产黄色免费在线视频| 黄色视频在线播放观看不卡| 永久免费av网站大全| 老司机影院成人| 国产成人精品无人区| 成年人午夜在线观看视频| 午夜福利网站1000一区二区三区| 中文字幕精品免费在线观看视频| 国产熟女欧美一区二区| 亚洲国产最新在线播放| 欧美激情高清一区二区三区 | 免费在线观看完整版高清| 两个人看的免费小视频| 日韩视频在线欧美| 成人国语在线视频| 欧美精品高潮呻吟av久久| 爱豆传媒免费全集在线观看| 亚洲欧美色中文字幕在线| 国产男人的电影天堂91| www.自偷自拍.com| 国产成人啪精品午夜网站| 不卡视频在线观看欧美| 亚洲自偷自拍图片 自拍| 汤姆久久久久久久影院中文字幕| 高清在线视频一区二区三区| 久久久精品94久久精品| 女性生殖器流出的白浆| av女优亚洲男人天堂| 久久精品亚洲av国产电影网| av线在线观看网站| 丰满乱子伦码专区| 久久久国产精品麻豆| 九色亚洲精品在线播放| 日韩制服骚丝袜av| 亚洲欧美成人精品一区二区| 男男h啪啪无遮挡| 男的添女的下面高潮视频| 悠悠久久av| 熟女少妇亚洲综合色aaa.| 日本黄色日本黄色录像| 9191精品国产免费久久| 午夜日本视频在线| 国产亚洲精品第一综合不卡| 人人澡人人妻人| 香蕉丝袜av| 国产精品久久久久久精品古装| 大码成人一级视频| www.av在线官网国产| 欧美日韩av久久| 久久精品久久久久久噜噜老黄| 欧美黑人精品巨大| 99久久99久久久精品蜜桃| 国产极品天堂在线| 精品亚洲成a人片在线观看| av天堂久久9| 中文字幕另类日韩欧美亚洲嫩草| 国产精品久久久久久精品古装| 在线观看三级黄色| 大香蕉久久网| 免费黄色在线免费观看| 日本vs欧美在线观看视频| 黄片小视频在线播放| av不卡在线播放| 91aial.com中文字幕在线观看| 丝袜喷水一区| 亚洲 欧美一区二区三区| 美女大奶头黄色视频| www.自偷自拍.com| 中国国产av一级| 久久人妻熟女aⅴ| 18禁动态无遮挡网站| 欧美国产精品一级二级三级| 欧美日韩综合久久久久久| 日韩一区二区三区影片| 色吧在线观看| 欧美日本中文国产一区发布| 一边摸一边抽搐一进一出视频| 亚洲av成人精品一二三区| 赤兔流量卡办理| 国产在视频线精品| 制服诱惑二区| 午夜免费观看性视频| av国产久精品久网站免费入址| 久久性视频一级片| 国产成人系列免费观看| 中文字幕av电影在线播放| 久久久久久久久久久久大奶| 高清在线视频一区二区三区| 综合色丁香网| 一级片免费观看大全| 国产在线一区二区三区精| 人人澡人人妻人| 亚洲av欧美aⅴ国产| 高清在线视频一区二区三区| 人人妻人人添人人爽欧美一区卜| 亚洲国产精品一区二区三区在线| 伊人久久大香线蕉亚洲五| 亚洲国产精品一区三区| 满18在线观看网站| 乱人伦中国视频| 午夜免费鲁丝| 色精品久久人妻99蜜桃| 欧美av亚洲av综合av国产av | 欧美xxⅹ黑人| 男人舔女人的私密视频| 国产一区二区 视频在线| 欧美在线一区亚洲| 国产日韩欧美亚洲二区| av在线播放精品| 日韩大码丰满熟妇| 精品一区二区三卡| 91精品伊人久久大香线蕉| 国产极品天堂在线| 男人添女人高潮全过程视频| 久久精品国产综合久久久| 哪个播放器可以免费观看大片|