• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于Zabbix的監(jiān)控運(yùn)維系統(tǒng)在勘察設(shè)計(jì)行業(yè)的研究與應(yīng)用

    2023-06-21 21:18:31朱曉偉劉迪胡迅黃爭(zhēng)舸
    現(xiàn)代信息科技 2023年1期
    關(guān)鍵詞:實(shí)時(shí)監(jiān)控

    朱曉偉 劉迪 胡迅 黃爭(zhēng)舸

    摘? 要:隨著勘察設(shè)計(jì)企業(yè)信息化的不斷發(fā)展,網(wǎng)絡(luò)服務(wù)器系統(tǒng)軟硬件架構(gòu)也日益復(fù)雜,企業(yè)面臨著大量的應(yīng)用程序、服務(wù)器、網(wǎng)絡(luò)設(shè)備等的監(jiān)控運(yùn)維問(wèn)題。為此,基于Zabbix開(kāi)源平臺(tái)構(gòu)建了適合企業(yè)一體化信息體系現(xiàn)狀的監(jiān)控運(yùn)維系統(tǒng),實(shí)現(xiàn)了對(duì)企業(yè)各類軟硬件的實(shí)時(shí)監(jiān)控和故障報(bào)警,大大提高了運(yùn)維效率,降低了運(yùn)維人員的工作復(fù)雜度。

    關(guān)鍵詞:實(shí)時(shí)監(jiān)控;Zabbix;Grafana;自動(dòng)化運(yùn)維;勘察設(shè)計(jì)行業(yè)

    中圖分類號(hào):TP39 文獻(xiàn)標(biāo)識(shí)碼:A? 文章編號(hào):2096-4706(2023)01-0102-05

    Research and Application of Monitoring Operation and Maintenance System

    Based on Zabbix in Survey and Design Industry

    ZHU Xiaowei, LIU Di, HU Xun, HUANG Zhengge

    (The Architectural Design & Research Institute of Zhejiang University Co., Ltd., Hangzhou? 310028, China)

    Abstract: With the continuous development of informatization in survey and design enterprises, the hardware and software architecture of network server system is increasingly complex, and enterprises are faced with a large number of monitoring operation and maintenance problems of applications, servers, network equipments, etc. Therefore, based on Zabbix open source platform, a monitoring operation and maintenance system suitable for the status of enterprise integrated information system is constructed, which can realize real-time monitoring and fault alarm of various software and hardware of enterprises, greatly improve the efficiency of operation and maintenance, and reduce the work complexity of operation and maintenance staff.

    Keywords: real-time monitoring; Zabbix; Grafana; automatic operation and maintenance; survey and design industry

    0? 引? 言

    隨著勘察設(shè)計(jì)行業(yè)各大企業(yè)信息化建設(shè)的高速發(fā)展,在近幾年,行業(yè)大部分企業(yè)已經(jīng)從原來(lái)的幾乎沒(méi)有管理系統(tǒng),進(jìn)入到信息管理系統(tǒng)全面開(kāi)花階段,企業(yè)IT基礎(chǔ)架構(gòu)規(guī)模也在不斷擴(kuò)大。網(wǎng)絡(luò)設(shè)備、服務(wù)器、存儲(chǔ)、業(yè)務(wù)系統(tǒng)、數(shù)據(jù)庫(kù)、企業(yè)云等軟硬件設(shè)備的紛繁復(fù)雜,以及員工對(duì)于IT業(yè)務(wù)服務(wù)的高可用性需求,使得運(yùn)維工作壓力加大,傳統(tǒng)的運(yùn)維方式已經(jīng)無(wú)法滿足保障生產(chǎn)業(yè)務(wù)系統(tǒng)的穩(wěn)定運(yùn)行,存在以下不足:

    (1)機(jī)械式的監(jiān)控,人工巡檢效率低下。

    (2)不夠精確的監(jiān)控,復(fù)雜IT元素難以有效監(jiān)控。

    (3)傳統(tǒng)運(yùn)維工具單一分散,無(wú)法集中管控。

    (4)運(yùn)維人員無(wú)法做到24小時(shí)不間斷監(jiān)控。

    (5)缺少自動(dòng)化或自服務(wù),從發(fā)現(xiàn)問(wèn)題到解決問(wèn)題的時(shí)間周期長(zhǎng)。

    監(jiān)控是整個(gè)運(yùn)維過(guò)程乃至整個(gè)產(chǎn)品生命周期中非常重要的一環(huán),應(yīng)事前能夠及時(shí)預(yù)警發(fā)現(xiàn)故障,事后可以提供翔實(shí)的數(shù)據(jù)用于追查和定位問(wèn)題。

    沒(méi)有監(jiān)控系統(tǒng),IT部門(mén)將無(wú)法全面地了解企業(yè)各類系統(tǒng)的運(yùn)行環(huán)境,進(jìn)行故障診斷,也無(wú)法向企業(yè)管理層提供系統(tǒng)性的IT架構(gòu)性能、成本和狀態(tài)等信息。當(dāng)前行業(yè)企業(yè)普遍現(xiàn)狀是在缺少告警機(jī)制的情況下,企業(yè)無(wú)法第一時(shí)間洞悉到系統(tǒng)發(fā)生故障,往往只能通過(guò)被動(dòng)的用戶反饋來(lái)獲取。系統(tǒng)運(yùn)維人員大多數(shù)時(shí)候也只是充當(dāng)了“救火”人員,大面積的系統(tǒng)或網(wǎng)絡(luò)癱瘓會(huì)給企業(yè)和用戶帶來(lái)極大的損失。通過(guò)企業(yè)監(jiān)控運(yùn)維系統(tǒng),企業(yè)可以在系統(tǒng)受損的第一時(shí)間得到反饋,并及時(shí)對(duì)問(wèn)題進(jìn)行處理,大大減小系統(tǒng)故障給企業(yè)和用戶造成的影響,甚至可以做到無(wú)感知的修復(fù)。而且相比于運(yùn)維人員去多個(gè)管理界面查詢發(fā)現(xiàn)問(wèn)題,入口統(tǒng)一到一個(gè)監(jiān)控運(yùn)維平臺(tái)更能快速定位問(wèn)題所在,提升工作效率。

    另外,數(shù)字化轉(zhuǎn)型已經(jīng)成為國(guó)家戰(zhàn)略、城市戰(zhàn)略,也是勘察設(shè)計(jì)行業(yè)轉(zhuǎn)型升級(jí)的重要方向。目前設(shè)計(jì)院的數(shù)字化轉(zhuǎn)型,整體上仍處于初級(jí)階段。數(shù)字化生產(chǎn)服務(wù)模式、數(shù)字化管理系統(tǒng)、數(shù)字化業(yè)務(wù)模式等是推動(dòng)數(shù)字化轉(zhuǎn)型發(fā)展的幾個(gè)重要方向,而數(shù)字化監(jiān)控運(yùn)維系統(tǒng)正是數(shù)字化管理系統(tǒng)的重要組成部分。

    鑒于此,構(gòu)建數(shù)字化監(jiān)控運(yùn)維系統(tǒng)勢(shì)在必行,不僅是企業(yè)規(guī)模發(fā)展到一定階段后所必需的,也是響應(yīng)國(guó)家戰(zhàn)略方向的重要之舉。

    工欲善其事必先利其器,善于利用各種工具是推進(jìn)企業(yè)數(shù)字化的重要手段。選擇監(jiān)控工具的原則是根據(jù)企業(yè)具體業(yè)務(wù)場(chǎng)景、IT架構(gòu)進(jìn)行選擇,而不是盲目的追求新的、熱度高的工具。工具的選擇一般有三種模式:

    (1)購(gòu)買(mǎi)商業(yè)軟件。

    (2)第三方公司外包。

    (3)開(kāi)源工具結(jié)合自主開(kāi)發(fā)。

    出于成本、時(shí)間、風(fēng)險(xiǎn)的考慮,又因?yàn)楣P者所在企業(yè)的信息技術(shù)部門(mén)具有一定的自主研發(fā)能力,我們選擇第三種模式來(lái)構(gòu)建企業(yè)監(jiān)控運(yùn)維系統(tǒng)。

    為了構(gòu)建監(jiān)控運(yùn)維系統(tǒng),實(shí)現(xiàn)對(duì)服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)、應(yīng)用程序、服務(wù)、集群等的監(jiān)控,及時(shí)對(duì)發(fā)生的故障和問(wèn)題進(jìn)行告警通知,減少運(yùn)維人員的工作壓力,本文基于Zabbix和Grafana兩大流行的開(kāi)源系統(tǒng),設(shè)計(jì)了面向勘察設(shè)計(jì)企業(yè)的監(jiān)控運(yùn)維系統(tǒng)。

    1? 系統(tǒng)體系結(jié)構(gòu)

    1.1? 應(yīng)用背景

    在選擇具體的監(jiān)控平臺(tái)之前,我們最先需要明確,我們監(jiān)控的目標(biāo)是什么,也就是我們應(yīng)該監(jiān)控什么,以及是用什么樣的工具、技術(shù)來(lái)實(shí)現(xiàn)對(duì)這些指標(biāo)的監(jiān)控。本文從搭建通用的監(jiān)控運(yùn)維系統(tǒng)開(kāi)始,結(jié)合勘察設(shè)計(jì)行業(yè)的行業(yè)特征,全面的分析監(jiān)控目標(biāo)和內(nèi)容指標(biāo),以浙江大學(xué)建筑設(shè)計(jì)研究院有限公司(UAD)為例,針對(duì)如何構(gòu)建企業(yè)監(jiān)控運(yùn)維系統(tǒng)進(jìn)行研究與應(yīng)用。

    在搭建這套監(jiān)控運(yùn)維體系之前,UAD已經(jīng)構(gòu)建了一套面向勘察設(shè)計(jì)行業(yè)的一體化信息體系,其中集成了大量的軟硬件系統(tǒng),使其作為一個(gè)有機(jī)整體對(duì)外提供服務(wù),用以滿足企業(yè)的全方位需求。如圖1所示,體系分為兩層結(jié)構(gòu),上層為各類應(yīng)用軟件系統(tǒng),為企業(yè)用戶提供應(yīng)用支持;下層為IT基礎(chǔ)設(shè)施支撐層,由傳統(tǒng)IT基礎(chǔ)設(shè)施和企業(yè)私有云混合而成,用以保證用戶快速便捷地訪問(wèn)和使用上層的應(yīng)用系統(tǒng)。

    UAD的一體化信息體系是一個(gè)集約型的信息體系,它能夠整合不同的系統(tǒng)或資源,涵蓋多種關(guān)系并能在統(tǒng)一的構(gòu)架下運(yùn)行,是一個(gè)軟硬件互為支撐的體系[1]。擁有各類物理機(jī)和虛擬化服務(wù)器約80多臺(tái),交換機(jī)等網(wǎng)絡(luò)設(shè)備50多臺(tái),支撐企業(yè)辦公、設(shè)計(jì)出圖、市場(chǎng)運(yùn)營(yíng)、教學(xué)科研、圖檔管理等30多個(gè)業(yè)務(wù)系統(tǒng)及網(wǎng)站。業(yè)務(wù)復(fù)雜,出現(xiàn)故障后人工排查困難,運(yùn)維人員工作枯煩瑣且忙碌,經(jīng)常因不能及時(shí)處理故障遭到員工的抱怨,極大影響了員工對(duì)于UAD信息化建設(shè)的認(rèn)同感和體驗(yàn)。

    基于這些情況對(duì)已有的開(kāi)源工具進(jìn)行調(diào)研和比較,對(duì)市面上的監(jiān)控開(kāi)源工具進(jìn)行比較,如表1所示。相較于Nagios、Cacti、Prometheus等使用最為廣泛的開(kāi)源監(jiān)控系統(tǒng),Zabbix無(wú)論在代碼熟練度、源代碼質(zhì)量、系統(tǒng)架構(gòu),還是用戶友好性、面向?qū)ο罄砟畹确矫娑季哂邢喈?dāng)優(yōu)勢(shì)[2]。因此,本文最終選擇Zabbix作為本運(yùn)維監(jiān)控平臺(tái)的基礎(chǔ)進(jìn)行設(shè)計(jì),并選擇Grafana作為可視化展示平臺(tái),不用Zabbix自帶的UI模塊,目的是為了更好地展示,在充分利用Zabbix在監(jiān)控方面的優(yōu)勢(shì)的同時(shí),彌補(bǔ)Zabbix在UI方面的不足。

    綜上,為了達(dá)到提高運(yùn)維效率、節(jié)約人力資源的目的,我們通過(guò)Zabbix和Grafana這套監(jiān)控體系,根據(jù)前端實(shí)際生產(chǎn)應(yīng)用情況完成大數(shù)據(jù)監(jiān)控,進(jìn)行大體系的實(shí)時(shí)監(jiān)控、預(yù)警和統(tǒng)計(jì)分析,及時(shí)發(fā)現(xiàn)問(wèn)題并做出快速響應(yīng),保證整個(gè)體系運(yùn)轉(zhuǎn)正常。

    1.2? 整體架構(gòu)

    在IT架構(gòu)方面,UAD為了物理容災(zāi),把服務(wù)器架在主院區(qū)和分院區(qū)的兩個(gè)機(jī)房中。由于一臺(tái)Server主機(jī)(Zabbix Server)的CPU、內(nèi)存都是有限的,監(jiān)控的內(nèi)容越多,損耗它的資源也越多,故在系統(tǒng)搭建架構(gòu)方面,我們?cè)趦蓚€(gè)院區(qū)各自放一臺(tái)代理監(jiān)控服務(wù)器(Zabbix Proxy),由它來(lái)進(jìn)行監(jiān)控。Zabbix Proxy是Zabbix Server與Zabbix Agent之間溝通的一個(gè)橋梁,Zabbix Proxy本身沒(méi)有前端,而且其本身并不存放數(shù)據(jù),只是將Agent發(fā)來(lái)的數(shù)據(jù)暫時(shí)存放,而后再提交給Zabbix Server[3]。如圖2所示,是Zabbix的監(jiān)控流程圖。其中主機(jī)是指被監(jiān)控的設(shè)備,監(jiān)控項(xiàng)是指被監(jiān)控的主機(jī)特定監(jiān)控指標(biāo)數(shù)據(jù),觸發(fā)器可以看作是一個(gè)控制中心,用于評(píng)估監(jiān)控項(xiàng)的值是否在合理的范圍內(nèi),它會(huì)設(shè)定一個(gè)條件,當(dāng)監(jiān)控項(xiàng)中接收到的數(shù)據(jù)達(dá)到預(yù)設(shè)的條件時(shí),便會(huì)執(zhí)行相應(yīng)的動(dòng)作(如企業(yè)微信報(bào)警或執(zhí)行特定腳本對(duì)問(wèn)題進(jìn)行告警或自愈等)。

    最后Zabbix Web界面負(fù)責(zé)統(tǒng)一表現(xiàn)出來(lái),運(yùn)維管理員可以通過(guò)電腦或移動(dòng)端訪問(wèn),充分體現(xiàn)分布式監(jiān)控集中化管理的特性。整體架構(gòu)圖如圖3所示。

    1.3? 開(kāi)發(fā)技術(shù)

    Zabbix是一個(gè)基于Web界面的企業(yè)級(jí)監(jiān)控解決方案,并且是一個(gè)高度集成的開(kāi)源分布式網(wǎng)絡(luò)監(jiān)控解決方案[4]。全球各行各業(yè)各種大小規(guī)模的組織機(jī)構(gòu)都有選擇Zabbix作為主要的監(jiān)控平臺(tái),尤其是互聯(lián)網(wǎng)企業(yè)。

    Zabbix擁有很多優(yōu)秀的特性,正是這些特性,讓它可以實(shí)時(shí)監(jiān)控?cái)?shù)萬(wàn)臺(tái)設(shè)備,采集百萬(wàn)級(jí)指標(biāo),真正做到全方位監(jiān)控,是適用于絕大多數(shù)IT基礎(chǔ)架構(gòu)、服務(wù)、應(yīng)用和云資源的監(jiān)控解決方案,可以監(jiān)控的內(nèi)容包括服務(wù)器監(jiān)控、網(wǎng)絡(luò)監(jiān)控、應(yīng)用監(jiān)控、云監(jiān)控、服務(wù)監(jiān)控等。

    Grafana是一個(gè)跨平臺(tái)的開(kāi)源度量分析和可視化面板(Dashboard),有著非常漂亮的圖表和布局展示,功能齊全的度量?jī)x表盤(pán)和圖形編輯器,可對(duì)采集的數(shù)據(jù)查詢和可視化展示,并及時(shí)通知。雖然Zabbix自5.4版本之后新增了強(qiáng)大的UI特性,但是Grafana的UI更加靈活,擁有豐富的插件,功能強(qiáng)大。隨著業(yè)務(wù)的愈加復(fù)雜,對(duì)軟件系統(tǒng)的要求越來(lái)越高,這意味著我們需要隨時(shí)掌控系統(tǒng)的運(yùn)行情況。因此,對(duì)系統(tǒng)的實(shí)時(shí)監(jiān)控以及可視化展示,就成了基礎(chǔ)架構(gòu)的必須能力。

    綜上,Zabbix具備較完善的監(jiān)測(cè)告警系統(tǒng)模塊,Grafana則提供了可配置的監(jiān)測(cè)數(shù)據(jù)可視化能力。因此本文方案將以Zabbix為核心,集成Grafana,再補(bǔ)充關(guān)鍵監(jiān)測(cè)數(shù)據(jù)采集能力,最終實(shí)現(xiàn)滿足企業(yè)實(shí)際需要的監(jiān)控運(yùn)維系統(tǒng)。

    2? 系統(tǒng)總體設(shè)計(jì)與實(shí)現(xiàn)

    UAD的一體化體系分兩層結(jié)構(gòu):上層是各種應(yīng)用系統(tǒng),直接面向企業(yè)用戶;下層則是基礎(chǔ)設(shè)施支撐平臺(tái),由傳統(tǒng)IT架構(gòu)和企業(yè)私有云混合而成。

    本系統(tǒng)通過(guò)Zabbix支持各類監(jiān)控方式,對(duì)各層資源進(jìn)行監(jiān)控,具體如圖4所示。

    基礎(chǔ)層:主要偏硬件、監(jiān)控主機(jī)和底層資源。比如CPU、內(nèi)存、網(wǎng)絡(luò)吞吐、硬盤(pán)I/O、存儲(chǔ)等。

    中間層:包括Nginx、Redis、MySQL、Tomcat等。

    應(yīng)用層:HTTP訪問(wèn)的吞吐量、響應(yīng)時(shí)間、返回碼、調(diào)用鏈路分析、性能瓶頸、API,還包括用戶端監(jiān)控等。

    不同的監(jiān)控內(nèi)容需要不同的監(jiān)控方式來(lái)獲取監(jiān)控?cái)?shù)據(jù),如表2所示。

    2.1? 基于SNMP協(xié)議對(duì)設(shè)備的監(jiān)控

    勘察設(shè)計(jì)企業(yè)組網(wǎng)中常見(jiàn)的幾類設(shè)備有邊界核心交換機(jī)、匯聚交換機(jī)、接入交換機(jī)、路由器、UPS、存儲(chǔ)等,這類設(shè)備不能或者不方便在目標(biāo)監(jiān)控設(shè)備上安裝Agent代理程序進(jìn)行獲取,Zabbix允許我們通過(guò)SNMP(簡(jiǎn)單網(wǎng)絡(luò)管理)協(xié)議獲取這些設(shè)備的CPU使用率、內(nèi)存使用率、供電、設(shè)備溫度、端口進(jìn)出流量等監(jiān)控信息。

    UAD一體化信息體系使用了各種類型的存儲(chǔ),包括廉價(jià)的SATA、高性能EMC、NAS等,存放了企業(yè)最重要的數(shù)據(jù)。在數(shù)據(jù)中心中,存儲(chǔ)設(shè)備是非常核心且關(guān)鍵的基礎(chǔ)設(shè)施,任何一個(gè)相關(guān)告警都會(huì)讓運(yùn)維人員警覺(jué)。在推進(jìn)Zabbix存儲(chǔ)監(jiān)控的過(guò)程中,一個(gè)非常棘手的困難點(diǎn)是存儲(chǔ)不單單是硬件設(shè)備,SNMP協(xié)議不能獲取到帶內(nèi)的性能信息,但也不像主流操作系統(tǒng)那樣可以安裝Zabbix Agent來(lái)做數(shù)據(jù)采集。

    對(duì)于這種問(wèn)題的處理,我們積累的經(jīng)驗(yàn)是:首選使用RESTful等外部接口來(lái)獲取監(jiān)控?cái)?shù)據(jù),在不支持此條件的情況下,在Zabbix Proxy服務(wù)器上通過(guò)自定義監(jiān)控封裝廠家推薦工具或方法來(lái)監(jiān)控,避免對(duì)重要設(shè)備的侵入,同時(shí)相關(guān)的存儲(chǔ)告警也能夠及時(shí)觸發(fā),并幫助存儲(chǔ)管理人員迅速發(fā)現(xiàn)問(wèn)題、定位原因。

    2.2? Windows服務(wù)器的監(jiān)控

    UAD目前服務(wù)器主要以Windows為主,占比在90%以上,是各類業(yè)務(wù)系統(tǒng)的主力承載者,故急需實(shí)時(shí)監(jiān)控以保障它們的穩(wěn)定運(yùn)行。在操作系統(tǒng)層面,經(jīng)常會(huì)出現(xiàn)的問(wèn)題有系統(tǒng)假死無(wú)響應(yīng)、存儲(chǔ)空間不夠等,因此需要監(jiān)控的指標(biāo)項(xiàng)包括CPU使用率、內(nèi)存使用率、硬盤(pán)資源使用率等。

    Zabbix默認(rèn)使用Zabbix Agent監(jiān)控操作系統(tǒng),且它已經(jīng)為我們配置好了很多用于監(jiān)控主機(jī)的模板,包括CPU監(jiān)控、內(nèi)存監(jiān)控、系統(tǒng)進(jìn)程監(jiān)控、系統(tǒng)時(shí)間監(jiān)控、磁盤(pán)讀寫(xiě)監(jiān)控、磁盤(pán)容量監(jiān)控、網(wǎng)卡流量監(jiān)控、服務(wù)監(jiān)控等,其內(nèi)置的監(jiān)控項(xiàng)可以滿足系統(tǒng)大部分的指標(biāo)監(jiān)控,監(jiān)控內(nèi)容非常豐富。但是有時(shí)候,我們并不需要監(jiān)控那么多內(nèi)容,只需要監(jiān)控某一些特定信息即可。因此,我們的解決方案是:根據(jù)企業(yè)實(shí)際情況,使用Zabbix默認(rèn)的操作系統(tǒng)模板監(jiān)控相應(yīng)的主機(jī),通過(guò)進(jìn)行一些優(yōu)化來(lái)確保達(dá)到最好的監(jiān)控效果,同時(shí)兼顧Zabbix對(duì)系統(tǒng)性能的開(kāi)銷(xiāo)。

    Zabbix對(duì)Windows系統(tǒng)監(jiān)控的默認(rèn)模板包含了11個(gè)應(yīng)用集,各個(gè)應(yīng)用集又包含了不同的監(jiān)控項(xiàng)。在本系統(tǒng)搭建過(guò)程中,一塊很重要的工作就是針對(duì)行業(yè)業(yè)務(wù)管理系統(tǒng)的特點(diǎn)和需要,在現(xiàn)有模板的基礎(chǔ)上對(duì)應(yīng)用集、監(jiān)控項(xiàng)、觸發(fā)器和圖形進(jìn)行定制化增刪改。

    以CPU的監(jiān)控項(xiàng)為例,模板默認(rèn)有8個(gè)監(jiān)控項(xiàng),在對(duì)5個(gè)監(jiān)控項(xiàng)設(shè)有觸發(fā)器。如圖5所示。

    可以看到,Zabbix未提供能查看CPU使用率的監(jiān)控項(xiàng),也就是CPU使用的百分率,在實(shí)際應(yīng)用時(shí),這個(gè)指標(biāo)是十分受關(guān)注的,因此需新創(chuàng)建一個(gè)監(jiān)控項(xiàng),并對(duì)這個(gè)監(jiān)控項(xiàng)創(chuàng)建一個(gè)觸發(fā)器,如CPU使用率過(guò)高(比如5分鐘均值大于90%),其表達(dá)式為:

    {Windows Server Model:cpu_time.avg(5m)}>90

    當(dāng)實(shí)際運(yùn)行情況達(dá)到上述條件時(shí),Zabbix就會(huì)發(fā)出告警。

    2.3? 基于性能及進(jìn)程的Web系統(tǒng)監(jiān)控

    UAD的一體化信息體系中有著30多個(gè)不同的Web業(yè)務(wù)系統(tǒng),其中企業(yè)綜合信息管理平臺(tái)是最重要的Web系統(tǒng),涵蓋了企業(yè)設(shè)計(jì)生產(chǎn)全過(guò)程數(shù)字化的各個(gè)環(huán)節(jié),保證其Web服務(wù)的高可用性和高性能,是企業(yè)正常運(yùn)轉(zhuǎn)的重要前提。

    HTTP狀態(tài)碼、響應(yīng)時(shí)間、頁(yè)面加載速度是最能直觀反映Web服務(wù)可用性和性能的3個(gè)指標(biāo)?;谶@三個(gè)指標(biāo),本文從一個(gè)或多個(gè)應(yīng)用中自定義選取域名/URL組合成模塊,可實(shí)現(xiàn)方便快捷的自定義關(guān)注某一業(yè)務(wù)、某一域名、某一子域名,以及由此推測(cè)某一功能模塊下的頁(yè)面用戶體驗(yàn)。

    對(duì)于運(yùn)行在一體化信息體系應(yīng)用還需要監(jiān)視常用的中間件,如有Oracle、MySQL、SQLSERVER等主流的關(guān)系型數(shù)據(jù)庫(kù),還有像Redis、Neo4J這樣的NoSQL數(shù)據(jù)庫(kù),Tomcat、Nginx等Web容器的性能。

    數(shù)據(jù)庫(kù)以MySQL為例,MySQL數(shù)據(jù)庫(kù)是目前主流的關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)應(yīng)用軟件。本系統(tǒng)將使用Agent 模式對(duì)Zabbix默認(rèn)的監(jiān)視進(jìn)行擴(kuò)展。Agent將會(huì)對(duì)MySQL3306連接線程的存活狀態(tài)、主從延時(shí)、連接池狀態(tài)、平均TPS/QPS、慢SQL語(yǔ)句個(gè)數(shù)等進(jìn)行監(jiān)視,如圖6所示。

    Web容器以Tomcat為例,由于Tomcat Web應(yīng)用容器是基于JAVA語(yǔ)言開(kāi)發(fā)的,Zabbix支持以JMX對(duì)其性能進(jìn)行監(jiān)視。通過(guò)JMX監(jiān)視,可以監(jiān)視到Tomcat服務(wù)占用CPU的情況、Tomcat網(wǎng)絡(luò)進(jìn)出流量、內(nèi)存分配情況、請(qǐng)求數(shù)、并發(fā)線程數(shù)量等。

    2.4? 工地設(shè)備監(jiān)控

    隨著數(shù)字化、大數(shù)據(jù)、互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等信息技術(shù)的發(fā)展,近年來(lái)智慧工地這一概念在業(yè)界嶄露頭角,在工程建設(shè)中得到良好的實(shí)踐應(yīng)用[5]。智慧工地應(yīng)用的設(shè)備種類繁多,專業(yè)性強(qiáng),目前缺乏整體的自動(dòng)化監(jiān)控手段[6]。目前這塊內(nèi)容由于要和具體的工程項(xiàng)目對(duì)接,本系統(tǒng)只對(duì)少數(shù)的項(xiàng)目設(shè)備進(jìn)行了監(jiān)控。如浙大科創(chuàng)項(xiàng)目中監(jiān)控的設(shè)備包括:環(huán)境采集(傳感器)設(shè)備、塔吊設(shè)備、無(wú)人機(jī)設(shè)備、閘機(jī)設(shè)備、各點(diǎn)位攝像頭等。

    3? Grafana接入Zabbix數(shù)據(jù)源

    在大屏監(jiān)控展示的時(shí)候,我們會(huì)發(fā)現(xiàn)Zabbix Web界面顯得沒(méi)有科技感,不夠高端,這時(shí)候我們可以通過(guò)Grafana來(lái)優(yōu)化我們的Zabbix Web界面。

    Grafana的搭建步驟相對(duì)簡(jiǎn)單,主要分以下3個(gè)步驟:

    (1)在一臺(tái)CentOS上部署Grafana。

    (2)安裝Grafana連接Zabbix的插件。

    (3)Grafana與Zabbix整合。

    本系統(tǒng)從廣度和深度對(duì)監(jiān)控?cái)?shù)據(jù)可視化展示,根據(jù)實(shí)際的監(jiān)控可視化需要,在Grafana上配置了全局、應(yīng)用、主機(jī)、主機(jī)服務(wù)等多個(gè)維度的監(jiān)控儀表板,方便運(yùn)維人員從多個(gè)視角掌握監(jiān)控、告警情況,實(shí)現(xiàn)對(duì)主機(jī)的集中監(jiān)控[7]。圖7是某個(gè)業(yè)務(wù)服務(wù)器的關(guān)鍵監(jiān)控指標(biāo)。

    4? 企業(yè)微信告警模塊

    告警功能是Zabbix監(jiān)控平臺(tái)的重要組成部分,便于運(yùn)維人員在系統(tǒng)出現(xiàn)故障時(shí)及時(shí)知曉,并第一時(shí)間處理[8]。企業(yè)微信是UAD一體化信息體系的重要組成部分,應(yīng)用十分廣泛,Zabbix默認(rèn)只支持郵件的方式進(jìn)行告警,本系統(tǒng)通過(guò)編寫(xiě)接入企業(yè)微信的腳本,將告警信息通過(guò)企業(yè)微信進(jìn)行發(fā)送。根據(jù)業(yè)務(wù)的類型,我們對(duì)不同監(jiān)控模塊的告警通知,設(shè)置了不同的運(yùn)維人員,以企業(yè)微信應(yīng)用作為載體,將告警信息推送到具體的運(yùn)維人員。這既保證了消息推送的時(shí)效性,又保證了告警通知信息不外泄,兼顧了信息的安全性。實(shí)際運(yùn)行情況如圖8所示。

    5? 結(jié)? 論

    本文基于Zabbix設(shè)計(jì)了一套面向勘察設(shè)計(jì)行業(yè)的企業(yè)監(jiān)控運(yùn)維系統(tǒng),能夠?qū)ζ髽I(yè)一體化信息化體系中的網(wǎng)絡(luò)通信設(shè)備、物理服務(wù)器、虛擬服務(wù)器、私有云,以及運(yùn)行在其上的各類軟件應(yīng)用系統(tǒng)進(jìn)行實(shí)時(shí)監(jiān)控。系統(tǒng)在運(yùn)行期間成效顯著,幫助運(yùn)維人員快速定位發(fā)現(xiàn)問(wèn)題,降低了運(yùn)維的難度和風(fēng)險(xiǎn),提升了運(yùn)維服務(wù)質(zhì)量,保障了企業(yè)一體化信息體系的穩(wěn)定性和可用性。

    在今后的工作中,我們將繼續(xù)從廣度和深度方面還將進(jìn)一步拓展監(jiān)控系統(tǒng),希望在監(jiān)控的種類、指標(biāo)項(xiàng)的優(yōu)化、豐富其他報(bào)警手段、完善的系統(tǒng)賬戶配置、自動(dòng)修復(fù)、基于Zabbix API的二次開(kāi)發(fā)等方面做進(jìn)一步提升,推進(jìn)企業(yè)智能化運(yùn)維的大力發(fā)展。

    參考文獻(xiàn):

    [1] 黃爭(zhēng)舸,胡迅,朱曉偉,等.一體化信息體系助力設(shè)計(jì)院快速提升企業(yè)效能 [J].中國(guó)勘察設(shè)計(jì),2019(7):56-61.

    [2] 楊立苑,胡佳軍,鄧衛(wèi)華,劉喆玥.基于Zabbix的省級(jí)氣象云監(jiān)控運(yùn)維系統(tǒng) [J].計(jì)算機(jī)系統(tǒng)應(yīng)用,2021,30(8):73-80.

    [3] 吳秉羲,李明峰.基于Zabbix和Grafana的蘇州臺(tái)媒體云監(jiān)控系統(tǒng) [J].廣播電視網(wǎng)絡(luò),2020,27(3):111-112.

    [4] 吳夫丹.基于云平臺(tái)的服務(wù)器監(jiān)控系統(tǒng)設(shè)計(jì) [D].西安:西安工業(yè)大學(xué),2014.

    [5] 喬妹莉.淺析智慧工地建設(shè)對(duì)項(xiàng)目管理的積極作用 [J].建設(shè)監(jiān)理,2021(7):60-62.

    [6] 韓嘯虎,陳超.智慧工地設(shè)備運(yùn)行狀態(tài)自動(dòng)化監(jiān)控的解決方案研究 [J].電子元器件與信息技術(shù),2020,4(5):70-71.

    [7] 潘少博,張和,戴誼.基于Zabbix+Grafana構(gòu)建微服務(wù)自動(dòng)化監(jiān)控運(yùn)維平臺(tái) [J].網(wǎng)絡(luò)安全和信息化,2020(10):77-79.

    [8] 劉遠(yuǎn)超,李樹(shù)彬.基于Zabbix和微信企業(yè)號(hào)實(shí)現(xiàn)網(wǎng)絡(luò)監(jiān)控的研究 [J].山東科學(xué),2017,30(4):124-130.

    作者簡(jiǎn)介:朱曉偉(1989—),男,漢族,浙江海鹽人,室主任助理,碩士,研究方向:計(jì)算機(jī)應(yīng)用、數(shù)據(jù)集成、協(xié)同設(shè)計(jì);劉迪(1985—),男,漢族,湖南澧縣人,中級(jí)工程師,本科,研究方向:虛擬化、私有云;胡迅(1983—),男,漢族,浙江諸暨人,副高,碩士,研究方向:協(xié)同設(shè)計(jì);黃爭(zhēng)舸(1969—),女,漢族,浙江紹興人,研究員,博士,研究方向:協(xié)同設(shè)計(jì)、管理信息系統(tǒng)、三維數(shù)字化設(shè)計(jì)。

    收稿日期:2022-08-18

    猜你喜歡
    實(shí)時(shí)監(jiān)控
    面向家庭的服務(wù)型機(jī)器人的設(shè)計(jì)與實(shí)現(xiàn)
    軟件(2016年7期)2017-02-07 13:05:52
    智能可調(diào)節(jié)動(dòng)作識(shí)別型節(jié)能風(fēng)扇的設(shè)計(jì)
    智能投料過(guò)程動(dòng)態(tài)監(jiān)控系統(tǒng)研發(fā)及應(yīng)用
    基于無(wú)線傳感器網(wǎng)絡(luò)的綠色蔬菜生長(zhǎng)環(huán)境監(jiān)控系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)
    一種煤礦瓦斯檢測(cè)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)
    一種基于物聯(lián)網(wǎng)的電梯閘瓦磨耗實(shí)時(shí)監(jiān)測(cè)系統(tǒng)的設(shè)計(jì)
    科技視界(2016年23期)2016-11-04 23:10:07
    海鐵聯(lián)運(yùn)場(chǎng)站協(xié)同應(yīng)用系統(tǒng)的研發(fā)和應(yīng)用
    粉針生產(chǎn)線設(shè)備OEE設(shè)計(jì)實(shí)施方案
    基于ZigBee無(wú)線傳感網(wǎng)絡(luò)的綜合環(huán)境實(shí)時(shí)監(jiān)控系統(tǒng)
    基于視覺(jué)傳感的動(dòng)態(tài)高危區(qū)域檢測(cè)與系統(tǒng)構(gòu)建
    好男人在线观看高清免费视频| 尾随美女入室| 欧美区成人在线视频| 国产一区二区三区av在线 | 一个人观看的视频www高清免费观看| 三级毛片av免费| 天堂影院成人在线观看| 中文亚洲av片在线观看爽| 在线观看一区二区三区| av视频在线观看入口| 麻豆av噜噜一区二区三区| 美女被艹到高潮喷水动态| 久久精品91蜜桃| 菩萨蛮人人尽说江南好唐韦庄 | 18禁黄网站禁片免费观看直播| 久久久久久国产a免费观看| 午夜福利视频1000在线观看| 99热这里只有是精品50| 国产极品精品免费视频能看的| 3wmmmm亚洲av在线观看| 一区二区三区四区激情视频 | 伦精品一区二区三区| 中文字幕av成人在线电影| 99热只有精品国产| 欧美色视频一区免费| 精品人妻一区二区三区麻豆 | 欧美一区二区亚洲| 午夜激情欧美在线| 久久亚洲国产成人精品v| 日韩av不卡免费在线播放| 九色成人免费人妻av| 99riav亚洲国产免费| 欧洲精品卡2卡3卡4卡5卡区| 小说图片视频综合网站| 国产蜜桃级精品一区二区三区| 一区二区三区四区激情视频 | 久久久久国产网址| 久久精品久久久久久噜噜老黄 | 亚洲最大成人av| 乱系列少妇在线播放| 亚洲欧美日韩高清在线视频| ponron亚洲| 99在线人妻在线中文字幕| 日韩高清综合在线| 啦啦啦观看免费观看视频高清| 国产视频一区二区在线看| 婷婷六月久久综合丁香| 日韩欧美精品免费久久| 久久人妻av系列| 成人亚洲欧美一区二区av| 我要看日韩黄色一级片| 麻豆精品久久久久久蜜桃| 人人妻人人看人人澡| 久久精品人妻少妇| 欧美一区二区亚洲| 欧美另类亚洲清纯唯美| 波野结衣二区三区在线| 久久久久久伊人网av| 丰满人妻一区二区三区视频av| 欧美激情在线99| 一区二区三区免费毛片| 别揉我奶头 嗯啊视频| 欧美激情久久久久久爽电影| 精品一区二区免费观看| 亚洲欧美清纯卡通| 亚洲丝袜综合中文字幕| 国产v大片淫在线免费观看| 欧美绝顶高潮抽搐喷水| 久久精品夜夜夜夜夜久久蜜豆| 毛片一级片免费看久久久久| 国产精品一区二区免费欧美| 大型黄色视频在线免费观看| 一级毛片久久久久久久久女| 国产精品伦人一区二区| 在线a可以看的网站| 日韩欧美一区二区三区在线观看| 亚洲婷婷狠狠爱综合网| 欧美潮喷喷水| 美女大奶头视频| 亚洲av熟女| 国产精品久久电影中文字幕| 亚洲人成网站在线播放欧美日韩| 丰满乱子伦码专区| 韩国av在线不卡| 亚洲,欧美,日韩| 亚洲精品成人久久久久久| 日日摸夜夜添夜夜爱| 蜜桃久久精品国产亚洲av| 免费av不卡在线播放| 国产精品,欧美在线| 给我免费播放毛片高清在线观看| 国产亚洲精品av在线| 国产精品福利在线免费观看| 美女内射精品一级片tv| 国产精品一区二区免费欧美| 亚洲精品一区av在线观看| 欧美日韩乱码在线| 久久久久精品国产欧美久久久| 欧美日韩一区二区视频在线观看视频在线 | 国产亚洲精品久久久久久毛片| 99久久中文字幕三级久久日本| 久久午夜亚洲精品久久| av在线亚洲专区| 国产一区二区三区av在线 | 亚洲图色成人| 91久久精品电影网| 午夜亚洲福利在线播放| 日韩欧美国产在线观看| 老熟妇仑乱视频hdxx| 久久久久久大精品| 美女高潮的动态| 亚洲国产精品合色在线| 日韩中字成人| 成人无遮挡网站| 欧美一级a爱片免费观看看| 天天躁夜夜躁狠狠久久av| 99九九线精品视频在线观看视频| 一卡2卡三卡四卡精品乱码亚洲| h日本视频在线播放| 99热只有精品国产| 国产69精品久久久久777片| 黄色配什么色好看| 久久精品影院6| 国产人妻一区二区三区在| 亚洲中文日韩欧美视频| 久久亚洲精品不卡| 久久久色成人| 色5月婷婷丁香| avwww免费| 97热精品久久久久久| 色av中文字幕| 国产在线男女| 日日摸夜夜添夜夜添小说| 日日摸夜夜添夜夜爱| 成年女人毛片免费观看观看9| 国产探花极品一区二区| 在线观看一区二区三区| 两个人视频免费观看高清| 精品久久久久久成人av| 欧美绝顶高潮抽搐喷水| 搡老岳熟女国产| 黑人高潮一二区| 女人十人毛片免费观看3o分钟| 亚洲精品456在线播放app| 欧美日本视频| 此物有八面人人有两片| 最近视频中文字幕2019在线8| 亚洲成a人片在线一区二区| 欧美+日韩+精品| 97人妻精品一区二区三区麻豆| 69人妻影院| 国产精品永久免费网站| 白带黄色成豆腐渣| 亚洲乱码一区二区免费版| 欧美性猛交╳xxx乱大交人| 国产亚洲欧美98| 亚洲中文日韩欧美视频| 人人妻人人澡欧美一区二区| 乱人视频在线观看| 日韩亚洲欧美综合| 联通29元200g的流量卡| 男女啪啪激烈高潮av片| 美女黄网站色视频| 国内精品宾馆在线| 99精品在免费线老司机午夜| 亚洲成人久久性| 我的女老师完整版在线观看| 久久久久九九精品影院| 最近最新中文字幕大全电影3| 亚洲人成网站在线播放欧美日韩| 国产精品,欧美在线| 日日干狠狠操夜夜爽| 精品无人区乱码1区二区| 欧美高清成人免费视频www| 日韩欧美 国产精品| 精品久久久久久久久av| 欧美xxxx性猛交bbbb| 少妇的逼水好多| 男女啪啪激烈高潮av片| 久久久久久大精品| 在线免费十八禁| 日韩欧美三级三区| 亚洲高清免费不卡视频| 老司机福利观看| 亚洲无线观看免费| 99久久久亚洲精品蜜臀av| 日韩制服骚丝袜av| 美女内射精品一级片tv| 欧美成人精品欧美一级黄| 欧美激情国产日韩精品一区| 成人三级黄色视频| 成人漫画全彩无遮挡| 中出人妻视频一区二区| 精品福利观看| 色噜噜av男人的天堂激情| 亚洲av熟女| 男人狂女人下面高潮的视频| 国产午夜精品论理片| 国产午夜精品久久久久久一区二区三区 | 午夜激情欧美在线| 午夜免费男女啪啪视频观看 | www日本黄色视频网| 精品久久久久久久末码| 久久精品国产亚洲网站| 国产精品亚洲美女久久久| 人人妻人人澡欧美一区二区| 长腿黑丝高跟| 少妇熟女欧美另类| 波多野结衣巨乳人妻| 日本-黄色视频高清免费观看| 亚洲综合色惰| 亚洲高清免费不卡视频| 成年av动漫网址| 亚洲国产精品合色在线| 精品人妻视频免费看| 国产黄色小视频在线观看| 三级毛片av免费| 成人一区二区视频在线观看| 欧美三级亚洲精品| 看非洲黑人一级黄片| 一个人免费在线观看电影| 久久99热6这里只有精品| 国产亚洲精品综合一区在线观看| 1000部很黄的大片| 亚洲综合色惰| 亚洲欧美日韩卡通动漫| 欧美极品一区二区三区四区| 伦精品一区二区三区| 日日啪夜夜撸| 亚洲精品国产成人久久av| 中文字幕精品亚洲无线码一区| 99热这里只有是精品50| 插逼视频在线观看| 少妇丰满av| 午夜亚洲福利在线播放| 男人狂女人下面高潮的视频| 国产精品乱码一区二三区的特点| 人人妻,人人澡人人爽秒播| 亚洲精品色激情综合| 亚洲av免费高清在线观看| 男女那种视频在线观看| 国产老妇女一区| 精品国产三级普通话版| 欧美激情在线99| 久久久久精品国产欧美久久久| 国内精品一区二区在线观看| 国产 一区精品| 男女之事视频高清在线观看| 91精品国产九色| 国产精品国产高清国产av| 亚洲自拍偷在线| 日本免费a在线| 久久精品国产亚洲网站| 精品久久久久久久人妻蜜臀av| 久久热精品热| 男女边吃奶边做爰视频| 精品人妻熟女av久视频| 天堂av国产一区二区熟女人妻| 国内精品美女久久久久久| 亚洲内射少妇av| av女优亚洲男人天堂| 大又大粗又爽又黄少妇毛片口| 精品熟女少妇av免费看| 欧美精品国产亚洲| 高清毛片免费观看视频网站| 国产乱人偷精品视频| 黄色日韩在线| 亚洲综合色惰| 亚洲五月天丁香| av黄色大香蕉| 日本-黄色视频高清免费观看| 日韩强制内射视频| 亚洲一区高清亚洲精品| 免费看光身美女| 亚洲精品成人久久久久久| 日韩av在线大香蕉| 亚洲人成网站在线播| 免费无遮挡裸体视频| 男女下面进入的视频免费午夜| 国产精品久久久久久av不卡| 成熟少妇高潮喷水视频| 黄色一级大片看看| 最新中文字幕久久久久| 毛片一级片免费看久久久久| 观看免费一级毛片| 亚洲一区二区三区色噜噜| 天堂√8在线中文| 在现免费观看毛片| 精品久久久噜噜| 全区人妻精品视频| 亚洲av.av天堂| 国产精品嫩草影院av在线观看| 国产av一区在线观看免费| 在线天堂最新版资源| 亚洲av成人av| 国产日本99.免费观看| 国产伦在线观看视频一区| 国产不卡一卡二| 天天躁日日操中文字幕| 老师上课跳d突然被开到最大视频| 人妻夜夜爽99麻豆av| 国产精品日韩av在线免费观看| 最近2019中文字幕mv第一页| 国产精品不卡视频一区二区| 日本五十路高清| 我要搜黄色片| 欧美高清性xxxxhd video| 高清午夜精品一区二区三区 | 久久综合国产亚洲精品| 久久精品夜色国产| 国产午夜精品论理片| 亚洲成人中文字幕在线播放| videossex国产| 国内精品久久久久精免费| 国产乱人视频| 一级毛片久久久久久久久女| 内地一区二区视频在线| 欧美日韩一区二区视频在线观看视频在线 | 午夜老司机福利剧场| 久久久久久久亚洲中文字幕| 大型黄色视频在线免费观看| 校园人妻丝袜中文字幕| 国内久久婷婷六月综合欲色啪| av天堂中文字幕网| 97超视频在线观看视频| 国产精品一区www在线观看| 搡老熟女国产l中国老女人| 亚洲美女视频黄频| 亚洲四区av| 欧美高清成人免费视频www| 日本与韩国留学比较| 91久久精品国产一区二区成人| 国产精品永久免费网站| 悠悠久久av| 欧美性猛交黑人性爽| 精品日产1卡2卡| 国产极品精品免费视频能看的| 听说在线观看完整版免费高清| 99热这里只有精品一区| 免费在线观看影片大全网站| 中文字幕熟女人妻在线| 如何舔出高潮| 在线a可以看的网站| 久久久精品94久久精品| 国产精品久久久久久久久免| 在线观看免费视频日本深夜| 舔av片在线| 高清毛片免费看| 色哟哟哟哟哟哟| 超碰av人人做人人爽久久| 亚洲精品乱码久久久v下载方式| 寂寞人妻少妇视频99o| 黄色视频,在线免费观看| 九九爱精品视频在线观看| 色哟哟哟哟哟哟| 俄罗斯特黄特色一大片| 亚洲美女搞黄在线观看 | 精品一区二区三区视频在线| 免费看光身美女| 日本免费一区二区三区高清不卡| 欧美性猛交╳xxx乱大交人| 国产av一区在线观看免费| 欧美+亚洲+日韩+国产| 丝袜美腿在线中文| 天堂av国产一区二区熟女人妻| avwww免费| 久99久视频精品免费| 一个人看的www免费观看视频| 久久精品影院6| 成熟少妇高潮喷水视频| av在线蜜桃| 欧美性感艳星| 久久久久久久久久久丰满| 国内少妇人妻偷人精品xxx网站| 日本a在线网址| 久久人妻av系列| 深夜a级毛片| 国产精华一区二区三区| 熟妇人妻久久中文字幕3abv| 久久精品夜夜夜夜夜久久蜜豆| 老司机影院成人| 国内精品久久久久精免费| 亚洲激情五月婷婷啪啪| 性插视频无遮挡在线免费观看| 精品久久久久久久人妻蜜臀av| 亚洲美女视频黄频| 99热全是精品| 全区人妻精品视频| 精品免费久久久久久久清纯| 精品久久久噜噜| 色噜噜av男人的天堂激情| 熟女人妻精品中文字幕| 亚洲精品一卡2卡三卡4卡5卡| 国产成人福利小说| 精品久久久久久成人av| 国产精品综合久久久久久久免费| 狠狠狠狠99中文字幕| 日韩大尺度精品在线看网址| 亚洲美女黄片视频| 禁无遮挡网站| 国产精品亚洲美女久久久| 有码 亚洲区| 日本一本二区三区精品| av在线蜜桃| 搡老妇女老女人老熟妇| 十八禁国产超污无遮挡网站| av天堂在线播放| 日本一二三区视频观看| 国产成人一区二区在线| 丰满人妻一区二区三区视频av| 男人狂女人下面高潮的视频| 色哟哟哟哟哟哟| 丝袜美腿在线中文| 看片在线看免费视频| 日韩制服骚丝袜av| 久久99热6这里只有精品| 成年女人看的毛片在线观看| 女人十人毛片免费观看3o分钟| 国产av麻豆久久久久久久| 丰满人妻一区二区三区视频av| 亚洲精品乱码久久久v下载方式| 色在线成人网| 美女 人体艺术 gogo| 精品熟女少妇av免费看| 美女内射精品一级片tv| 国产伦在线观看视频一区| 女生性感内裤真人,穿戴方法视频| 国产色婷婷99| 久久精品国产自在天天线| 亚洲成人久久爱视频| 亚洲中文字幕日韩| 综合色丁香网| 免费一级毛片在线播放高清视频| 国产高清激情床上av| 欧美丝袜亚洲另类| 成年女人看的毛片在线观看| а√天堂www在线а√下载| 日韩大尺度精品在线看网址| 国产精品av视频在线免费观看| 性欧美人与动物交配| 日韩精品青青久久久久久| 99久国产av精品国产电影| 国产毛片a区久久久久| 丰满乱子伦码专区| 99久国产av精品国产电影| 日韩精品中文字幕看吧| 日本五十路高清| 美女xxoo啪啪120秒动态图| 国产成人a区在线观看| 91麻豆精品激情在线观看国产| 老师上课跳d突然被开到最大视频| 热99在线观看视频| 成年女人毛片免费观看观看9| av天堂在线播放| 可以在线观看的亚洲视频| 大型黄色视频在线免费观看| 国产精品av视频在线免费观看| 看片在线看免费视频| 国产三级在线视频| 精品无人区乱码1区二区| 天天躁夜夜躁狠狠久久av| 国产欧美日韩一区二区精品| 国产老妇女一区| 中国美白少妇内射xxxbb| 男女啪啪激烈高潮av片| 亚洲国产色片| 国产精品久久久久久久电影| 色播亚洲综合网| 成人一区二区视频在线观看| 18+在线观看网站| 久久久久久久久大av| 一级av片app| 亚洲av中文av极速乱| 在线免费十八禁| 国产成人精品久久久久久| 午夜福利在线观看吧| 不卡视频在线观看欧美| 日韩强制内射视频| 一级毛片aaaaaa免费看小| 香蕉av资源在线| 欧美极品一区二区三区四区| 日本免费一区二区三区高清不卡| 最后的刺客免费高清国语| 成年版毛片免费区| 俄罗斯特黄特色一大片| 午夜日韩欧美国产| 国产精品一区二区三区四区久久| 亚洲精品乱码久久久v下载方式| 欧美日韩在线观看h| 在线免费观看不下载黄p国产| 亚洲一区二区三区色噜噜| 高清毛片免费观看视频网站| 国产精品1区2区在线观看.| 日日干狠狠操夜夜爽| 尾随美女入室| 俄罗斯特黄特色一大片| 亚洲av成人精品一区久久| 亚洲国产欧洲综合997久久,| 十八禁国产超污无遮挡网站| 精品一区二区免费观看| 国产91av在线免费观看| 国产 一区精品| 97超级碰碰碰精品色视频在线观看| 欧美一区二区精品小视频在线| 国内精品宾馆在线| av.在线天堂| 99久久精品国产国产毛片| 婷婷精品国产亚洲av| 亚洲欧美日韩卡通动漫| 不卡视频在线观看欧美| 天美传媒精品一区二区| 国产精品99久久久久久久久| 91久久精品国产一区二区三区| 小蜜桃在线观看免费完整版高清| 国产一区二区亚洲精品在线观看| 日日摸夜夜添夜夜添小说| 国产av不卡久久| 欧美最黄视频在线播放免费| 国产成人福利小说| 成人欧美大片| a级毛片免费高清观看在线播放| 久久久久久久亚洲中文字幕| 久久久成人免费电影| 国产乱人偷精品视频| eeuss影院久久| 色视频www国产| 亚洲国产精品sss在线观看| 国产精品伦人一区二区| 午夜影院日韩av| 欧美3d第一页| 深夜a级毛片| 成人二区视频| 美女免费视频网站| 久久99热6这里只有精品| av中文乱码字幕在线| 干丝袜人妻中文字幕| 最好的美女福利视频网| 国产视频内射| 人人妻,人人澡人人爽秒播| 秋霞在线观看毛片| 日产精品乱码卡一卡2卡三| 97超级碰碰碰精品色视频在线观看| 自拍偷自拍亚洲精品老妇| 蜜桃亚洲精品一区二区三区| 久久人人精品亚洲av| a级毛色黄片| 美女大奶头视频| 欧美极品一区二区三区四区| 久久精品国产自在天天线| 亚洲美女搞黄在线观看 | 嫩草影院入口| 亚洲色图av天堂| 嫩草影院入口| 国产精品1区2区在线观看.| 一本久久中文字幕| 两个人的视频大全免费| 亚洲国产色片| 国产精品久久久久久亚洲av鲁大| 亚洲欧美日韩高清专用| 悠悠久久av| 韩国av在线不卡| 18禁黄网站禁片免费观看直播| 国产69精品久久久久777片| 搡老岳熟女国产| 亚洲美女搞黄在线观看 | 十八禁国产超污无遮挡网站| 波多野结衣高清作品| 看黄色毛片网站| 亚洲性夜色夜夜综合| 欧美日韩国产亚洲二区| 一夜夜www| av福利片在线观看| 亚洲婷婷狠狠爱综合网| av.在线天堂| 一进一出抽搐动态| 婷婷精品国产亚洲av在线| 蜜桃亚洲精品一区二区三区| 男人舔女人下体高潮全视频| 久久人妻av系列| 天堂动漫精品| 亚洲人成网站在线观看播放| 深爱激情五月婷婷| 两性午夜刺激爽爽歪歪视频在线观看| 男女视频在线观看网站免费| 插逼视频在线观看| 给我免费播放毛片高清在线观看| 天天躁夜夜躁狠狠久久av| 国产69精品久久久久777片| 国产一区二区三区av在线 | 亚洲精品乱码久久久v下载方式| 国产真实伦视频高清在线观看| 精品午夜福利视频在线观看一区| 欧美bdsm另类| 日本在线视频免费播放| www.色视频.com| 亚洲国产精品国产精品| 免费高清视频大片| 搡老熟女国产l中国老女人| 日日摸夜夜添夜夜爱| 在线天堂最新版资源| 99在线视频只有这里精品首页| 国产av在哪里看| 亚洲不卡免费看| 亚洲熟妇中文字幕五十中出| 97超碰精品成人国产| 亚洲精品国产成人久久av| 日本熟妇午夜| 美女cb高潮喷水在线观看| 亚洲激情五月婷婷啪啪| 99久国产av精品| 亚洲综合色惰| 亚洲人成网站在线观看播放| 两个人视频免费观看高清| 欧美区成人在线视频| 日本欧美国产在线视频|