• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于Nagios的銀行集中監(jiān)控系統(tǒng)的構(gòu)建與應(yīng)用

    2013-04-29 22:33:05羅奕,陳粵
    計(jì)算機(jī)時(shí)代 2013年6期
    關(guān)鍵詞:報(bào)警

    羅奕,陳粵

    摘 要: 銀行為了在發(fā)生異常時(shí)能及時(shí)處理,往往會(huì)通過(guò)監(jiān)控系統(tǒng)來(lái)實(shí)現(xiàn)對(duì)硬件、網(wǎng)絡(luò)、應(yīng)用系統(tǒng)等的監(jiān)控和報(bào)警。Nagios是一個(gè)開(kāi)源且免費(fèi)的計(jì)算機(jī)及網(wǎng)絡(luò)系統(tǒng)監(jiān)控軟件,運(yùn)行在Linux平臺(tái)上,能通過(guò)各種插件和SNMP協(xié)議,對(duì)設(shè)備、網(wǎng)絡(luò)及各種應(yīng)用系統(tǒng)進(jìn)行狀態(tài)監(jiān)控。介紹了Nagios的工作原理和功能,以及在平安銀行成都分行的應(yīng)用情況。具體應(yīng)用實(shí)踐表明,利用Nagios構(gòu)建集中監(jiān)控系統(tǒng)效果非常顯著,為銀行的生產(chǎn)運(yùn)維提供了有效的監(jiān)控報(bào)警平臺(tái)。

    關(guān)鍵詞: Nagios; 集中監(jiān)控; SNMP; 報(bào)警

    中圖分類(lèi)號(hào):TP319 文獻(xiàn)標(biāo)志碼:B 文章編號(hào):1006-8228(2013)06-30-04

    Construction and application of Nagios-based centralized monitoring system in banks

    Luo Yi1, Chen Yue2

    (1. Medical information engineering college,Chengdu University of Traditional Chinese Medicine, Chengdu, Sichuan 610075, China;

    2. Ping An Bank Chengdu Branch)

    Abstract: In order to deal with unexpected abnormal events in time, monitor or alert of devices, networks or applications are realized usually through monitoring systems in banks. Nagios is a free and open-source software running on Linux to monitor computer or networks status. It detects the devices, networks, and applications states by many plug-ins or SNMP protocol. Nagios working principle and primary functions are introduced in this paper, and the actual cases of Ping An Bank Chengdu Branch are analyzed. The practical examples show that constructing centralized monitoring system by using Nagios has good effects and is efficient for bank daily working tasks supporting.

    Key words: Nagios; centralized monitoring; SNMP; fault alerting

    0 引言

    銀行科技部的管理人員最擔(dān)心在不知情的情況下發(fā)生異常突發(fā)事件,比如機(jī)房供電異常、設(shè)備硬件故障、應(yīng)用進(jìn)程終止、網(wǎng)絡(luò)通訊中斷等等,而且某些故障發(fā)生后,科技人員不能第一時(shí)間發(fā)現(xiàn)故障,直到出現(xiàn)明顯不良影響,才發(fā)現(xiàn)問(wèn)題,采取補(bǔ)救措施,特別是遇到節(jié)假日,這種風(fēng)險(xiǎn)就更大。要使系統(tǒng)能正常穩(wěn)定運(yùn)行,管理員就必須時(shí)刻關(guān)注各個(gè)系統(tǒng)的硬件狀況、服務(wù)進(jìn)程、網(wǎng)絡(luò)是否正常、CPU、內(nèi)存使用率是否過(guò)高、數(shù)據(jù)庫(kù)可用空間、UPS負(fù)載是否合理等等。如果在沒(méi)有自動(dòng)監(jiān)控工具的幫助下,這些日常必須的檢查工作就需要由人工去做,這樣不僅效率低下,消耗大量的人力資源,而且容易發(fā)生漏查、錯(cuò)查現(xiàn)象。

    為改變這種被動(dòng)局面,銀行往往會(huì)引進(jìn)一些監(jiān)控系統(tǒng)來(lái)實(shí)現(xiàn)自動(dòng)監(jiān)控功能,用計(jì)算機(jī)來(lái)代替人工進(jìn)行日常檢查,并在一定的條件下自動(dòng)報(bào)警。目前市場(chǎng)上的網(wǎng)管系統(tǒng)、環(huán)境監(jiān)控系統(tǒng)、服務(wù)管理系統(tǒng)等產(chǎn)品都有這些功能,但是,這些產(chǎn)品往往功能單一,比如,網(wǎng)管系統(tǒng)就只監(jiān)控網(wǎng)絡(luò)狀態(tài),環(huán)境監(jiān)控就只對(duì)機(jī)房環(huán)境做出響應(yīng),服務(wù)管理系統(tǒng)只對(duì)進(jìn)程實(shí)施監(jiān)控。需要同時(shí)部署多個(gè)系統(tǒng)才能比較全面地實(shí)現(xiàn)監(jiān)控功能,這么多監(jiān)控系統(tǒng)不僅價(jià)格不菲,而且給后期運(yùn)維帶來(lái)不便。能否用一種監(jiān)控系統(tǒng),就能實(shí)現(xiàn)多種軟硬件平臺(tái)、多種業(yè)務(wù)系統(tǒng)的集中監(jiān)控報(bào)警功能呢?這是銀行真正需要的系統(tǒng)。

    經(jīng)過(guò)不懈地尋找與部署,試用各種不同的監(jiān)控軟件,終于找到了一個(gè)符合銀行上述要求的監(jiān)控軟件——Nagios。通過(guò)一年多的實(shí)踐使用,利用Nagios構(gòu)建的監(jiān)控系統(tǒng)效果非常顯著,為銀行的生產(chǎn)運(yùn)維管理提供了有效監(jiān)控報(bào)警平臺(tái)。

    1 Nagios簡(jiǎn)介

    Nagios是一個(gè)監(jiān)視系統(tǒng)運(yùn)行狀態(tài)和網(wǎng)絡(luò)信息的系統(tǒng),它是一種開(kāi)源且免費(fèi)的管理工具,運(yùn)行在Linux/Unix平臺(tái)之上,能監(jiān)視指定的本地或遠(yuǎn)程主機(jī)以及服務(wù),提供郵件報(bào)警功能以及Web界面,方便系統(tǒng)管理人員查看網(wǎng)絡(luò)狀態(tài),各種系統(tǒng)問(wèn)題,以及事件日志等等。2009年,Nagios被InfoWorld評(píng)為最佳開(kāi)源軟件,同時(shí)也是該年度SourceForge社區(qū)的系統(tǒng)管理工具最佳選擇。2010年的LinuxCon會(huì)上又被選為最受歡迎的IT運(yùn)維工具。Nagios已被很多世界知名企業(yè)用于監(jiān)控管理,包括AOL、DHL、AT&T、歐萊雅、德州儀器、時(shí)代華納有線、Yahoo等。

    Nagios由一個(gè)主程序(Nagios)、一個(gè)插件程序(Nagios-

    plugins)和四個(gè)可選的擴(kuò)展應(yīng)用(NRPE、NSCA、NSClient++和NDOUtils)組成[1],如圖1所示。

    圖1 Nagios架構(gòu)圖

    Nagios和Nagios-plugins是服務(wù)器端的必須組件。在四個(gè)主要擴(kuò)展應(yīng)用中,NRPE和NSClient++分別被部署到被監(jiān)控的Linux/Unix和Windows主機(jī)上以實(shí)現(xiàn)Nagios服務(wù)器對(duì)被監(jiān)控主機(jī)資源的檢測(cè);NSCA用來(lái)讓被監(jiān)控的Linux/Unix主機(jī)主動(dòng)將資源信息發(fā)送給Nagios服務(wù)器;NDOUtils用來(lái)將Nagios的各種事件信息存入數(shù)據(jù)庫(kù),以實(shí)現(xiàn)對(duì)這些數(shù)據(jù)的快速檢索和處理。

    Nagios系統(tǒng)具有很好的擴(kuò)展性,它本身并沒(méi)有檢測(cè)功能,它所有的檢測(cè)都是通過(guò)它的各種開(kāi)源插件來(lái)實(shí)現(xiàn)的(比如NRPE和NSClient++),所以,我們也可以按照自己的需要來(lái)開(kāi)發(fā)和使用各種檢測(cè)功能的插件。從圖1中我們還可以發(fā)現(xiàn)一個(gè)很關(guān)鍵的地方,那就是Nagios對(duì)SNMP協(xié)議的支持,這意味著可以實(shí)現(xiàn)對(duì)所有支持SNMP協(xié)議的主機(jī)或者設(shè)備的監(jiān)控,只需要知道監(jiān)控目標(biāo)的OID值即可。

    以Linux目標(biāo)機(jī)器的監(jiān)控為例說(shuō)明Nagios的工作原理:在Nagios服務(wù)器上對(duì)每一臺(tái)被監(jiān)控主機(jī)的各種資源對(duì)象進(jìn)行閥值定義,比如CPU、內(nèi)存、磁盤(pán)的占用率、進(jìn)程狀態(tài)、數(shù)據(jù)庫(kù)表空間大小等等,并指定該監(jiān)控對(duì)象的責(zé)任人和郵件地址。在被監(jiān)控主機(jī)上運(yùn)行一個(gè)NRPE后臺(tái)進(jìn)程,Nagios服務(wù)器定期向被監(jiān)控主機(jī)的NRPE進(jìn)程發(fā)出指令,要求NRPE進(jìn)程執(zhí)行對(duì)各種資源對(duì)象的查詢(xún)腳本,并將查詢(xún)結(jié)果返回給Nagios服務(wù)器。Nagios服務(wù)器根據(jù)預(yù)先定義好的監(jiān)控閥值對(duì)結(jié)果進(jìn)行檢查,一旦發(fā)現(xiàn)超出閥值,則立即向管理人員發(fā)送報(bào)警郵件,其監(jiān)控原理如圖2所示。

    圖2 Nagios監(jiān)控Linux/Unix主機(jī)原理圖

    2 Nagios的主要功能

    ⑴ 監(jiān)視各種服務(wù)狀態(tài) (SMTP、 POP3、 HTTP、 PING、數(shù)據(jù)庫(kù)等);

    ⑵ 監(jiān)視主機(jī)資源 (CPU、內(nèi)存、磁盤(pán)、UPS負(fù)載、進(jìn)程、端口等);

    ⑶ 簡(jiǎn)單的插件設(shè)計(jì),使用戶可以自行擴(kuò)展Nagios的監(jiān)控功能;

    ⑷ 監(jiān)控的對(duì)象發(fā)生故障,自動(dòng)發(fā)送報(bào)警郵件;

    ⑸ 支持各種操作系統(tǒng),包括Windows、Linux、UnixWare、SUN、AIX等;

    ⑹ 可以通過(guò)Web方式直觀的查看當(dāng)前各種監(jiān)控對(duì)象的狀態(tài)。

    3 平安銀行成都分行的集中監(jiān)控應(yīng)用

    平安銀行成都分行(以下簡(jiǎn)稱(chēng)分行)目前已利用Nagios系統(tǒng)對(duì)行內(nèi)核心服務(wù)器、應(yīng)用系統(tǒng)、網(wǎng)絡(luò)設(shè)備和通訊線路、UPS供電等分行IT設(shè)備和應(yīng)用的集中監(jiān)控管理,共計(jì)83臺(tái)設(shè)備、413個(gè)服務(wù)狀態(tài)。包括支付系統(tǒng)、驗(yàn)印系統(tǒng)、支票影像系統(tǒng)、代理服務(wù)器、郵件系統(tǒng)、OA系統(tǒng)、客戶經(jīng)理考核系統(tǒng)、各種網(wǎng)絡(luò)設(shè)備、UPS設(shè)備等,系統(tǒng)的監(jiān)控對(duì)象主要包括磁盤(pán)空間大小、內(nèi)存使用率、CPU使用率、服務(wù)進(jìn)程、數(shù)據(jù)庫(kù)表空間等等。所有這些監(jiān)控目標(biāo)都可通過(guò)一個(gè)Web頁(yè)面進(jìn)行集中檢查,當(dāng)主機(jī)或者服務(wù)狀態(tài)異常時(shí)會(huì)用黃色或者紅色顯示,讓人一目了然。如圖3所示。

    圖3 Nagios集中監(jiān)控頁(yè)面(局部)

    3.1 利用PushMail或者QQ郵箱實(shí)現(xiàn)免費(fèi)短信報(bào)警

    Nagios本身支持通過(guò)短信貓或者電話語(yǔ)音卡一類(lèi)的硬件設(shè)備來(lái)發(fā)送短信或者語(yǔ)音報(bào)警,但安裝硬件和配置比較復(fù)雜,而且還增加了投入。分行通過(guò)實(shí)踐和摸索,利用分行自建的郵件服務(wù)器和各大通訊運(yùn)營(yíng)商推出的免費(fèi)PushMail功能,在不用增加硬件和復(fù)雜配置的情況下成功實(shí)現(xiàn)了免費(fèi)短信報(bào)警功能。其原理是:在Nagios服務(wù)器上將報(bào)警通知設(shè)置為管理人員的手機(jī)郵箱地址[2],比如130*****231@wo.com.cn,然后在聯(lián)通的Email郵箱中啟用免費(fèi)的PushMail功能,這樣,一旦該郵箱收到郵件,都將以短信方式將該郵件主題發(fā)送到手機(jī)上從而實(shí)現(xiàn)了短信報(bào)警功能。

    另外,還有一種更快捷、更全面的微信通知方式。原理和PushMail基本一致,將報(bào)警信息發(fā)往管理人員的QQ郵箱中,比如359***653@qq.com,再通過(guò)微信自動(dòng)接收QQ郵箱內(nèi)容。隨著智能手機(jī)和3G無(wú)線通訊網(wǎng)絡(luò)的普及,這種方式更為有效。

    3.2 對(duì)核心生產(chǎn)應(yīng)用系統(tǒng)的集中監(jiān)控

    3.2.1 利用NRPE擴(kuò)展應(yīng)用監(jiān)控Linux/Unix主機(jī)

    以分行現(xiàn)代化支付系統(tǒng)業(yè)務(wù)為例,利用NRPE插件[3]實(shí)現(xiàn)了對(duì)支付系統(tǒng)的網(wǎng)絡(luò)狀態(tài)、登錄用戶數(shù)量、root空間、mbfe空間、depsmbfe空間、Sybase空間、大小額支付系統(tǒng)進(jìn)程狀態(tài)都進(jìn)行了監(jiān)控,如圖4所示。

    圖4 現(xiàn)代化支付系統(tǒng)監(jiān)控服務(wù)

    3.2.2 利用NSClient++擴(kuò)展應(yīng)用監(jiān)控Windows主機(jī)

    如圖5所示,以分行柜面驗(yàn)印系統(tǒng)業(yè)務(wù)為例,實(shí)現(xiàn)了對(duì)驗(yàn)印系統(tǒng)的CPU、內(nèi)存、磁盤(pán)空間利用率、SQL Server數(shù)據(jù)庫(kù)狀態(tài)以及多個(gè)驗(yàn)印服務(wù)進(jìn)程的監(jiān)控。

    圖5 驗(yàn)印系統(tǒng)監(jiān)控服務(wù)

    3.3 對(duì)網(wǎng)絡(luò)設(shè)備和通訊線路狀態(tài)的集中監(jiān)控

    3.3.1 利用SNMP和Rping實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)設(shè)備和通訊線路狀態(tài)的監(jiān)控

    Nagios對(duì)SNMP協(xié)議的支持非常完美,所以,我們可以通過(guò)在網(wǎng)絡(luò)設(shè)備上啟用SNMP只讀通訊字符串的功能,來(lái)實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)設(shè)備狀態(tài)的監(jiān)控[4],同時(shí),還可以利用端口狀態(tài)來(lái)監(jiān)控通訊線路。但隨著MSTP線路的引進(jìn),雖然線路端口狀態(tài)UP,但實(shí)際線路不可用的情況也隨之產(chǎn)生,在這種情況下,分行利用同事編寫(xiě)的Rping插件程序[5]來(lái)對(duì)通訊線路進(jìn)行進(jìn)一步的測(cè)試,以確保線路的真實(shí)可用性。如圖6所示,實(shí)現(xiàn)了對(duì)外聯(lián)路由器的監(jiān)控,包括路由器存活測(cè)試、CPU利用率、與人行、銀監(jiān)局、銀聯(lián)、公積金中心、德陽(yáng)銀行等外聯(lián)通訊線路的監(jiān)控。

    圖6 外聯(lián)路由器監(jiān)控服務(wù)

    3.3.2 利用SNMP實(shí)現(xiàn)對(duì)Juniper核心防火墻的監(jiān)控

    為加強(qiáng)網(wǎng)絡(luò)安全,分行部署了多臺(tái)Juniper防火墻,其MIB庫(kù)是未公開(kāi)的,所以,分行積極與設(shè)備廠商溝通、協(xié)商,說(shuō)明目的,最終得到廠商的認(rèn)可,提供了該型號(hào)設(shè)備的MIB庫(kù),然后再利用Nagios對(duì)SNMP協(xié)議的支持,實(shí)現(xiàn)了對(duì)會(huì)話數(shù)量、CPU、內(nèi)存利用率等防火墻關(guān)鍵狀態(tài)的監(jiān)控,如圖7所示。

    圖7 核心防火墻監(jiān)控服務(wù)

    3.4 對(duì)機(jī)房UPS設(shè)備的集中監(jiān)控

    3.4.1 對(duì)分行中心機(jī)房精密配電機(jī)柜輸入/輸出狀態(tài)的監(jiān)控

    持續(xù)穩(wěn)定的供電保障是所有系統(tǒng)正常運(yùn)行的基礎(chǔ),分行中心機(jī)房的供電狀態(tài)監(jiān)控非常重要。分行中心機(jī)房供電系統(tǒng)采用精密配電機(jī)柜集中控制所有輸入輸出電路,該機(jī)柜本身支持SNMP協(xié)議,所以,利用廠家提供的私有MIB庫(kù),實(shí)現(xiàn)了對(duì)機(jī)房供電系統(tǒng)的監(jiān)控,包括:市電三相輸入電壓、頻率、零相電流,以及每一臺(tái)UPS設(shè)備的輸入/輸出電流,如圖8所示。

    圖8 精密配電機(jī)柜監(jiān)控服務(wù)

    3.4.2 對(duì)支行UPS設(shè)備的監(jiān)控

    在Nagios系統(tǒng)上線前,支行網(wǎng)點(diǎn)發(fā)生電力故障時(shí),科技部只有在接到網(wǎng)點(diǎn)人工報(bào)警電話后才能得知發(fā)生了電力故障,所以,對(duì)網(wǎng)點(diǎn)供電狀態(tài)實(shí)施集中監(jiān)控是非常必要的。為此,分行與UPS設(shè)備供應(yīng)商通過(guò)深入交流、溝通以及現(xiàn)場(chǎng)勘查,在對(duì)費(fèi)用、功能、穩(wěn)定性等多種因素的綜合考慮后,2012年分行對(duì)所有網(wǎng)點(diǎn)UPS進(jìn)行了升級(jí)改造,給所有UPS設(shè)備增加了監(jiān)控模塊,最終實(shí)現(xiàn)了對(duì)網(wǎng)點(diǎn)UPS的集中監(jiān)控。圖9是金牛支行的UPS設(shè)備監(jiān)控對(duì)象,包括UPS環(huán)境溫濕度、電力輸入狀態(tài)、負(fù)載等數(shù)據(jù)。

    圖9 網(wǎng)點(diǎn)UPS監(jiān)控服務(wù)

    3.5 對(duì)設(shè)備硬件狀態(tài)的監(jiān)控

    幾乎所有的應(yīng)用系統(tǒng)都是基于硬件平臺(tái)運(yùn)行的,現(xiàn)在硬件平臺(tái)大多具有冗余功能,不會(huì)因?yàn)閱吸c(diǎn)故障而崩潰。比如存儲(chǔ)系統(tǒng)不會(huì)因?yàn)橐粔K硬盤(pán)損壞而丟失數(shù)據(jù);服務(wù)器不會(huì)因?yàn)橐桓鶅?nèi)存條故障而宕機(jī);刀箱不會(huì)因?yàn)橐粋€(gè)電源故障而停止運(yùn)行。但是,這種冗余功能在一定程度上又造成了硬件故障的隱蔽性,在未出現(xiàn)嚴(yán)重后果前,管理人員容易被正常的服務(wù)狀態(tài)所迷惑,不能及時(shí)發(fā)現(xiàn)單點(diǎn)和修復(fù)故障。所以,為了實(shí)現(xiàn)對(duì)服務(wù)器硬件狀態(tài)的有效監(jiān)控,我們盡量選用支持SNMP進(jìn)行硬件狀態(tài)監(jiān)控的設(shè)備,通過(guò)Nagios監(jiān)控,確保能在第一時(shí)間發(fā)現(xiàn)和處理故障。如圖10所示,該圖是分行IBM刀箱的硬件狀態(tài)監(jiān)控圖[6],在該刀箱上運(yùn)行著驗(yàn)印、票據(jù)、郵件、OA、小前置等等生產(chǎn)系統(tǒng),其硬件健康狀態(tài)的重要性不言而喻。

    圖10 分行刀箱服務(wù)器硬件狀態(tài)監(jiān)控

    4 典型成功案例

    4.1 銀聯(lián)主線路故障報(bào)警處理

    2012年3月30日10:07,分行網(wǎng)絡(luò)管理員收到銀聯(lián)主線路通訊中斷的報(bào)警短信,立即向中國(guó)電信報(bào)障,請(qǐng)求故障處理,并進(jìn)入分行機(jī)房核實(shí)情況和配合維修人員。經(jīng)維修人員現(xiàn)場(chǎng)檢查,確定故障原因是線路尾端BNC接頭老化所致,更換線路接頭后故障排除,主線路恢復(fù)正常,及時(shí)消除了銀聯(lián)業(yè)務(wù)單線路運(yùn)行的風(fēng)險(xiǎn)隱患。

    4.2 上聯(lián)總行電信線路延遲異常處理

    2012年8月17日9:53,分行網(wǎng)絡(luò)管理員收到上聯(lián)總行電信線路延遲大于200ms的報(bào)警短信,立即登錄上聯(lián)路由器,發(fā)現(xiàn)故障線路因數(shù)據(jù)流量大導(dǎo)致帶寬耗盡,網(wǎng)絡(luò)延遲大,經(jīng)分析發(fā)現(xiàn)是由于許多員工登錄總行電子學(xué)習(xí)平臺(tái)參與課程學(xué)習(xí),產(chǎn)生大量下載流量所致,為保障營(yíng)業(yè)時(shí)間業(yè)務(wù)的順暢,立即上報(bào)總行網(wǎng)管人員,在營(yíng)業(yè)時(shí)間內(nèi)關(guān)閉電子學(xué)習(xí)平臺(tái),恢復(fù)了正常的網(wǎng)絡(luò)傳輸速度,及時(shí)避免了全分行業(yè)務(wù)系統(tǒng)響應(yīng)緩慢情況的發(fā)生。

    4.3 現(xiàn)代支付系統(tǒng)異常處理

    2012年9月7日20:36,分行應(yīng)用系統(tǒng)管理員收到現(xiàn)代化支付系統(tǒng)MBFE進(jìn)程異常的報(bào)警短信,立即趕赴分行中心機(jī)房,發(fā)現(xiàn)行內(nèi)大額支付系統(tǒng)進(jìn)程異常中止,重新啟動(dòng)大額支付系統(tǒng)進(jìn)程后恢復(fù)正常。因事發(fā)當(dāng)時(shí)為非營(yíng)業(yè)時(shí)間,并且發(fā)現(xiàn)和處理及時(shí),未對(duì)分行支付業(yè)務(wù)造成不良影響。

    4.4 天府支行UPS負(fù)載異常處理

    2012年12月28日9:15,分行UPS管理員收到天府支行UPS負(fù)載達(dá)到80%以上的報(bào)警短信,立即電話聯(lián)系網(wǎng)點(diǎn)員工核實(shí)情況,未發(fā)現(xiàn)明顯異常,幾分鐘后再次收到短信通知負(fù)載恢復(fù)正常,報(bào)警解除,但沒(méi)過(guò)幾分鐘又再次收到負(fù)載異常報(bào)警。初步懷疑該網(wǎng)點(diǎn)UPS電源插座接入了大功率用電設(shè)備,立即趕赴現(xiàn)場(chǎng),經(jīng)檢查,該網(wǎng)點(diǎn)理財(cái)柜臺(tái)柜員因天氣寒冷,在使用電加熱器取暖時(shí)誤將插頭接入了UPS電源插座,導(dǎo)致UPS負(fù)載異常。立即對(duì)該員工予以批評(píng)并再次強(qiáng)調(diào)UPS電源使用規(guī)定。成功消除了該網(wǎng)點(diǎn)UPS設(shè)備因過(guò)載而停機(jī)的風(fēng)險(xiǎn)隱患。

    4.5 雙楠支行UPS輸入異常處理

    2012年7月8日周日10:22,分行UPS管理員收到報(bào)警短信,雙楠支行UPS市電輸入異常,立即電話聯(lián)系網(wǎng)點(diǎn)員工核實(shí)是否發(fā)生停電或者跳閘現(xiàn)象?但該員工反映市電、開(kāi)關(guān)狀態(tài)均正常,UPS設(shè)備也無(wú)報(bào)警音。初步懷疑Nagios或者UPS監(jiān)控模塊誤報(bào),為弄清楚情況,管理員趕赴現(xiàn)場(chǎng)進(jìn)行核實(shí),發(fā)現(xiàn)該網(wǎng)點(diǎn)市電正常,但UPS輸入開(kāi)關(guān)已跳閘,UPS處于逆變輸出狀態(tài),電池電壓已降到192V,因UPS設(shè)備型號(hào)原因,該臺(tái)UPS設(shè)備未產(chǎn)生聲音報(bào)警,導(dǎo)致網(wǎng)點(diǎn)員工檢查疏忽,未能正確匯報(bào)情況。合上UPS市電輸入開(kāi)關(guān)后,恢復(fù)對(duì)UPS設(shè)備的供電,故障排除。如果不是Nagios的正確檢測(cè)及管理人員的一絲不茍,該網(wǎng)點(diǎn)員工的疏忽就將導(dǎo)致一場(chǎng)因UPS長(zhǎng)期處于逆變輸出狀態(tài),最終電池電量耗盡,網(wǎng)點(diǎn)供電終止的嚴(yán)重運(yùn)營(yíng)事故。

    4.6 第五刀片服務(wù)器硬盤(pán)故障處理

    2012年4月6日5:58,應(yīng)用管理員收到刀箱異常的報(bào)警短信,立即趕赴中心機(jī)房查看,發(fā)現(xiàn)刀箱和第五刀片服務(wù)器同時(shí)亮橘黃色故障燈,登錄刀箱控制臺(tái)查看日志進(jìn)一步核實(shí),發(fā)現(xiàn)第五刀片第1槽位硬盤(pán)故障,上班后立即與廠家聯(lián)系,趕赴現(xiàn)場(chǎng)及時(shí)更換了故障硬盤(pán),消除了分行OA系統(tǒng)單盤(pán)運(yùn)行的隱患。

    4.7 郵件服務(wù)器磁盤(pán)空間不足異常處理

    2012年7月18日22:19,應(yīng)用系統(tǒng)管理員收到分行郵件服務(wù)器磁盤(pán)空間達(dá)到閥值的報(bào)警短信,立即趕赴分行機(jī)房登錄郵件服務(wù)器進(jìn)行處理,發(fā)現(xiàn)因過(guò)期日志和數(shù)據(jù)文件過(guò)多,導(dǎo)致已用磁盤(pán)空間達(dá)到閥值,管理員進(jìn)行清理后確保了磁盤(pán)空間的充足,及時(shí)消除了因磁盤(pán)空間不足導(dǎo)致分行郵件系統(tǒng)故障的隱患。

    5 結(jié)束語(yǔ)

    綜上所述,利用Nagios來(lái)構(gòu)建集中監(jiān)控系統(tǒng)是可行的,并且是非常有效的,在實(shí)踐中已經(jīng)得到各級(jí)單位的認(rèn)可和贊同。隨著時(shí)間的推移,Nagios的功能和穩(wěn)定性將日臻完善,使用Nagios來(lái)構(gòu)建集中監(jiān)控系統(tǒng)的用戶也會(huì)越來(lái)越多。

    參考文獻(xiàn):

    [1] Nagios Plugin Development Team.Nagios Plugins.http://

    nagiosplugins.org/,2011-1-18.

    [2] sery. 開(kāi)源監(jiān)控利器nagios實(shí)戰(zhàn). http://sery.blog.51cto.com/

    10037/139281,2009-3-16.

    [3] 21wmd. Linux開(kāi)源監(jiān)控平臺(tái)Nagios(NRPE的安裝配置). http://

    21wmd.blog.51cto.com/206183/207616,2009-9-28.

    [4] Cisco. How to Collect CPU Utilization on Cisco IOS Devices Using

    SNMP. http://www.cisco.com/en/US/tech/tk648/tk362/

    technologies_tech_note09186a0080094a94.shtml,2005-10-26.

    [5] javavsnet. Nagios 簡(jiǎn)介及其二次開(kāi)發(fā). http://blog.chinaunix.net/

    uid-8257165-id-3037487.html,2011-12-08.

    [6] NetSeek. check_snmp一些常用服務(wù)的OID. http://bbs.linuxtone.

    org/thread-6315-1-1.html,2010-5-18.

    猜你喜歡
    報(bào)警
    紅薯會(huì)給同伴報(bào)警
    LKD2-HS型列控中心驅(qū)采不一致報(bào)警處理
    基于AT89S52寢室防火報(bào)警系統(tǒng)
    電子制作(2017年9期)2017-04-17 03:00:33
    報(bào)警運(yùn)營(yíng)插上“云翅膀”
    2015款奔馳E180車(chē)安全氣囊報(bào)警
    降低TDCS/CTC系統(tǒng)列車(chē)占用丟失誤報(bào)警率探討
    2014款?yuàn)W迪Q5車(chē)發(fā)動(dòng)機(jī)OBD燈報(bào)警
    死于密室的租住者
    奔馳ML350發(fā)動(dòng)機(jī)故障燈報(bào)警
    奔馳E260車(chē)安全氣囊報(bào)警
    久久中文字幕人妻熟女| 亚洲第一青青草原| 午夜视频精品福利| avwww免费| 国产一区二区三区综合在线观看| 中文欧美无线码| 黑人猛操日本美女一级片| 欧美人与性动交α欧美软件| 丝袜在线中文字幕| av视频免费观看在线观看| 午夜影院日韩av| 亚洲在线自拍视频| 国产精品久久电影中文字幕 | 在线观看免费高清a一片| 一本大道久久a久久精品| 水蜜桃什么品种好| av中文乱码字幕在线| 久久久久精品人妻al黑| 成人免费观看视频高清| 国产伦人伦偷精品视频| 午夜亚洲福利在线播放| 久久人妻熟女aⅴ| 久久久久国内视频| 极品人妻少妇av视频| 精品久久蜜臀av无| 免费久久久久久久精品成人欧美视频| 人妻丰满熟妇av一区二区三区 | 亚洲七黄色美女视频| 免费在线观看黄色视频的| 久久人妻av系列| 久久国产精品影院| 看免费av毛片| 在线观看66精品国产| 国产主播在线观看一区二区| 国产成人影院久久av| 免费av中文字幕在线| 韩国av一区二区三区四区| 侵犯人妻中文字幕一二三四区| 91九色精品人成在线观看| 岛国在线观看网站| 亚洲精品中文字幕在线视频| 在线观看66精品国产| 午夜精品国产一区二区电影| 免费看a级黄色片| 精品亚洲成国产av| 亚洲成人国产一区在线观看| 国产精品.久久久| 免费女性裸体啪啪无遮挡网站| 亚洲一码二码三码区别大吗| 最新的欧美精品一区二区| 18禁黄网站禁片午夜丰满| 老司机福利观看| 精品一区二区三区av网在线观看| 国产成人精品久久二区二区免费| 又黄又爽又免费观看的视频| 国产精品久久久久久精品古装| 国产亚洲精品第一综合不卡| 亚洲国产毛片av蜜桃av| 精品乱码久久久久久99久播| 人人妻人人澡人人爽人人夜夜| 亚洲一码二码三码区别大吗| 桃红色精品国产亚洲av| 亚洲免费av在线视频| 一级片'在线观看视频| 欧美精品av麻豆av| 国产成人av激情在线播放| 亚洲中文日韩欧美视频| 欧美日韩瑟瑟在线播放| 999久久久精品免费观看国产| 国产日韩欧美亚洲二区| 亚洲视频免费观看视频| 99在线人妻在线中文字幕 | 黑人操中国人逼视频| 亚洲专区国产一区二区| 日韩免费av在线播放| 乱人伦中国视频| 国产真人三级小视频在线观看| 亚洲av美国av| 久久人妻熟女aⅴ| 69精品国产乱码久久久| 校园春色视频在线观看| 一级毛片高清免费大全| 在线观看66精品国产| 亚洲少妇的诱惑av| 久久亚洲精品不卡| 在线天堂中文资源库| 欧美日韩乱码在线| 男人操女人黄网站| 亚洲一区高清亚洲精品| 9色porny在线观看| 午夜福利影视在线免费观看| 国产无遮挡羞羞视频在线观看| 国产在线一区二区三区精| 国产精品久久久人人做人人爽| 99在线人妻在线中文字幕 | 一级a爱视频在线免费观看| 女人被躁到高潮嗷嗷叫费观| 日韩成人在线观看一区二区三区| 欧美黄色片欧美黄色片| 亚洲av电影在线进入| 久久久久久久精品吃奶| 99热国产这里只有精品6| 一级片'在线观看视频| 在线观看免费高清a一片| 欧美不卡视频在线免费观看 | 黄片播放在线免费| 国产成人免费无遮挡视频| 国产精品国产高清国产av | aaaaa片日本免费| 伦理电影免费视频| 99国产精品一区二区三区| 老熟妇仑乱视频hdxx| 亚洲国产看品久久| 精品人妻熟女毛片av久久网站| 亚洲av日韩在线播放| 国产欧美日韩综合在线一区二区| 久久久国产一区二区| 午夜91福利影院| 国产精品久久久久久精品古装| 久久久国产欧美日韩av| 亚洲久久久国产精品| cao死你这个sao货| 三级毛片av免费| 国产日韩一区二区三区精品不卡| 亚洲午夜理论影院| 国产无遮挡羞羞视频在线观看| 午夜福利欧美成人| 一个人免费在线观看的高清视频| 一区二区三区精品91| 可以免费在线观看a视频的电影网站| 精品国内亚洲2022精品成人 | 日本精品一区二区三区蜜桃| 免费人成视频x8x8入口观看| 免费不卡黄色视频| 国产精品一区二区在线不卡| 美女福利国产在线| 精品国产亚洲在线| 欧美黑人精品巨大| 视频区欧美日本亚洲| 欧美精品人与动牲交sv欧美| svipshipincom国产片| √禁漫天堂资源中文www| 精品一区二区三区av网在线观看| 不卡av一区二区三区| 天堂俺去俺来也www色官网| 在线观看免费视频网站a站| 香蕉丝袜av| 99精品久久久久人妻精品| 欧美另类亚洲清纯唯美| 亚洲欧美一区二区三区久久| 麻豆乱淫一区二区| 亚洲第一av免费看| 午夜福利在线免费观看网站| 91国产中文字幕| 一级片'在线观看视频| 搡老熟女国产l中国老女人| 18禁观看日本| 在线永久观看黄色视频| 狠狠狠狠99中文字幕| 日本撒尿小便嘘嘘汇集6| 人人妻人人添人人爽欧美一区卜| 久热爱精品视频在线9| 男女午夜视频在线观看| 国产精品二区激情视频| 满18在线观看网站| 国产极品粉嫩免费观看在线| 欧美丝袜亚洲另类 | 王馨瑶露胸无遮挡在线观看| 精品一区二区三区视频在线观看免费 | 亚洲成国产人片在线观看| 国产aⅴ精品一区二区三区波| 成人永久免费在线观看视频| 好男人电影高清在线观看| 午夜福利,免费看| 国产有黄有色有爽视频| 免费在线观看黄色视频的| 多毛熟女@视频| av电影中文网址| 亚洲专区国产一区二区| av欧美777| 18禁美女被吸乳视频| 国产97色在线日韩免费| 国精品久久久久久国模美| 精品国产亚洲在线| 欧美午夜高清在线| 交换朋友夫妻互换小说| 国产97色在线日韩免费| 美女福利国产在线| 一进一出抽搐gif免费好疼 | 国产一区二区三区在线臀色熟女 | 久久久久国产一级毛片高清牌| 免费观看精品视频网站| 国产无遮挡羞羞视频在线观看| 国产91精品成人一区二区三区| 久久久久久久精品吃奶| 婷婷丁香在线五月| 亚洲自偷自拍图片 自拍| 国产欧美日韩一区二区三区在线| 热99久久久久精品小说推荐| 日本a在线网址| 在线av久久热| 一本综合久久免费| 精品亚洲成国产av| 丝袜美腿诱惑在线| 久99久视频精品免费| 免费一级毛片在线播放高清视频 | 精品欧美一区二区三区在线| 搡老熟女国产l中国老女人| 丝瓜视频免费看黄片| 亚洲av日韩精品久久久久久密| 一级作爱视频免费观看| xxxhd国产人妻xxx| 日韩中文字幕欧美一区二区| av视频免费观看在线观看| 亚洲精华国产精华精| 精品午夜福利视频在线观看一区| 成人永久免费在线观看视频| 亚洲美女黄片视频| 亚洲精品中文字幕一二三四区| 极品人妻少妇av视频| 韩国av一区二区三区四区| 99国产极品粉嫩在线观看| 久久精品人人爽人人爽视色| 国产精华一区二区三区| 久久久久精品国产欧美久久久| 国产精品亚洲一级av第二区| 他把我摸到了高潮在线观看| 这个男人来自地球电影免费观看| 国产人伦9x9x在线观看| 岛国在线观看网站| 午夜福利乱码中文字幕| 久久精品国产亚洲av高清一级| 亚洲五月婷婷丁香| 国产片内射在线| 成人永久免费在线观看视频| 91成人精品电影| 国产av精品麻豆| 久久久国产成人精品二区 | 国产99白浆流出| 亚洲av美国av| 免费在线观看黄色视频的| 午夜免费鲁丝| 中文字幕制服av| 久久精品人人爽人人爽视色| 黄色片一级片一级黄色片| 精品第一国产精品| 精品福利观看| 丰满的人妻完整版| a在线观看视频网站| 国产精品一区二区免费欧美| 国产99白浆流出| 岛国毛片在线播放| 极品人妻少妇av视频| 91九色精品人成在线观看| 久久久久久久国产电影| 男人的好看免费观看在线视频 | 99热国产这里只有精品6| 真人做人爱边吃奶动态| 91字幕亚洲| 天天添夜夜摸| 别揉我奶头~嗯~啊~动态视频| 男男h啪啪无遮挡| 国产野战对白在线观看| 叶爱在线成人免费视频播放| aaaaa片日本免费| 亚洲va日本ⅴa欧美va伊人久久| 精品视频人人做人人爽| 国产黄色免费在线视频| 9色porny在线观看| 亚洲精品在线美女| 黄色女人牲交| 两性夫妻黄色片| 9色porny在线观看| 大型黄色视频在线免费观看| 久久人妻福利社区极品人妻图片| 久久久久视频综合| 国产精品一区二区精品视频观看| 久久精品熟女亚洲av麻豆精品| 亚洲人成电影观看| 久久久久精品国产欧美久久久| 精品国产超薄肉色丝袜足j| 精品乱码久久久久久99久播| 中文字幕人妻熟女乱码| 久久热在线av| 悠悠久久av| 中文字幕人妻丝袜一区二区| 国产成人av教育| 黑人操中国人逼视频| 精品亚洲成a人片在线观看| 亚洲一码二码三码区别大吗| 国产成人av教育| 国产在视频线精品| 午夜福利乱码中文字幕| 99国产精品一区二区蜜桃av | 免费在线观看完整版高清| 老鸭窝网址在线观看| 欧美另类亚洲清纯唯美| 精品国产超薄肉色丝袜足j| 亚洲av美国av| 极品人妻少妇av视频| 精品福利观看| 天堂动漫精品| aaaaa片日本免费| 水蜜桃什么品种好| 成年人免费黄色播放视频| 欧美色视频一区免费| 搡老熟女国产l中国老女人| 日韩欧美一区二区三区在线观看 | 日日摸夜夜添夜夜添小说| 精品人妻在线不人妻| 午夜老司机福利片| 国产成人欧美| 久久久久国内视频| 中文亚洲av片在线观看爽 | 一进一出抽搐gif免费好疼 | 中文字幕高清在线视频| 欧美午夜高清在线| 国产精品一区二区在线不卡| 久久中文看片网| 亚洲精品乱久久久久久| 天堂俺去俺来也www色官网| 国产免费现黄频在线看| 色精品久久人妻99蜜桃| 啦啦啦免费观看视频1| 亚洲成人免费电影在线观看| а√天堂www在线а√下载 | 欧美在线黄色| 精品一品国产午夜福利视频| 精品一区二区三区四区五区乱码| 看片在线看免费视频| 亚洲精品在线观看二区| 日韩人妻精品一区2区三区| e午夜精品久久久久久久| 不卡av一区二区三区| 黄色女人牲交| 18禁美女被吸乳视频| 99re在线观看精品视频| 国产亚洲精品久久久久5区| 亚洲av片天天在线观看| 一个人免费在线观看的高清视频| 亚洲av成人一区二区三| 99精国产麻豆久久婷婷| 亚洲欧美一区二区三区久久| 啦啦啦 在线观看视频| 91大片在线观看| 人妻 亚洲 视频| 久久久国产一区二区| 丁香欧美五月| 色综合欧美亚洲国产小说| av线在线观看网站| 夜夜夜夜夜久久久久| 国产精品影院久久| 亚洲成a人片在线一区二区| 婷婷精品国产亚洲av在线 | 999久久久精品免费观看国产| 一边摸一边抽搐一进一小说 | 一级作爱视频免费观看| 999久久久国产精品视频| 老鸭窝网址在线观看| 看片在线看免费视频| 嫩草影视91久久| 亚洲午夜精品一区,二区,三区| 天堂动漫精品| 国产精品亚洲av一区麻豆| 很黄的视频免费| 九色亚洲精品在线播放| 国产蜜桃级精品一区二区三区 | 国产亚洲精品一区二区www | xxxhd国产人妻xxx| 亚洲国产精品sss在线观看 | 超色免费av| 窝窝影院91人妻| 亚洲国产看品久久| 一级片'在线观看视频| av线在线观看网站| 国产av又大| 一级a爱视频在线免费观看| 久久99一区二区三区| www日本在线高清视频| 国产精品av久久久久免费| 真人做人爱边吃奶动态| 叶爱在线成人免费视频播放| 久久精品亚洲精品国产色婷小说| 高清黄色对白视频在线免费看| 两性午夜刺激爽爽歪歪视频在线观看 | 18禁美女被吸乳视频| 99国产精品一区二区三区| 亚洲国产精品一区二区三区在线| 欧美精品亚洲一区二区| 男人的好看免费观看在线视频 | 人妻丰满熟妇av一区二区三区 | 色综合欧美亚洲国产小说| 欧美日韩黄片免| 日韩 欧美 亚洲 中文字幕| 精品一品国产午夜福利视频| 性少妇av在线| 一级a爱视频在线免费观看| 欧美激情 高清一区二区三区| 两性夫妻黄色片| 色播在线永久视频| av欧美777| 黄色片一级片一级黄色片| 欧美成人午夜精品| 美女福利国产在线| 免费少妇av软件| 在线观看日韩欧美| 午夜激情av网站| 日本黄色日本黄色录像| 免费在线观看亚洲国产| 在线观看www视频免费| 久久99一区二区三区| 亚洲av片天天在线观看| 男女床上黄色一级片免费看| 久久久久视频综合| 亚洲 国产 在线| 99riav亚洲国产免费| 欧美性长视频在线观看| 国产精品.久久久| 黑人欧美特级aaaaaa片| 日韩成人在线观看一区二区三区| 欧美精品一区二区免费开放| 亚洲色图综合在线观看| 亚洲精品av麻豆狂野| 国产野战对白在线观看| 又大又爽又粗| 香蕉久久夜色| 黄色视频不卡| 美女扒开内裤让男人捅视频| 12—13女人毛片做爰片一| 久久99一区二区三区| 黄色a级毛片大全视频| 午夜福利乱码中文字幕| 欧美激情 高清一区二区三区| 午夜福利在线观看吧| 操出白浆在线播放| 亚洲熟女毛片儿| 满18在线观看网站| 香蕉久久夜色| 日韩欧美免费精品| 亚洲专区字幕在线| 久久99一区二区三区| 国产亚洲精品一区二区www | 人妻一区二区av| 丰满迷人的少妇在线观看| 精品人妻在线不人妻| 91麻豆av在线| 午夜福利一区二区在线看| 熟女少妇亚洲综合色aaa.| 午夜福利视频在线观看免费| 可以免费在线观看a视频的电影网站| tube8黄色片| 91麻豆av在线| 1024香蕉在线观看| 久久影院123| 99re6热这里在线精品视频| 久久国产精品人妻蜜桃| 亚洲熟妇熟女久久| 女人爽到高潮嗷嗷叫在线视频| 叶爱在线成人免费视频播放| 久久精品亚洲熟妇少妇任你| 亚洲av熟女| 侵犯人妻中文字幕一二三四区| 国产精品久久视频播放| 亚洲国产欧美日韩在线播放| 亚洲一区二区三区欧美精品| 在线看a的网站| 美女福利国产在线| 亚洲精品美女久久av网站| av网站在线播放免费| 身体一侧抽搐| 亚洲五月天丁香| 成人永久免费在线观看视频| 亚洲av美国av| 久久久久精品国产欧美久久久| 国产真人三级小视频在线观看| 日韩一卡2卡3卡4卡2021年| 动漫黄色视频在线观看| 一级,二级,三级黄色视频| 亚洲色图av天堂| 国产成人精品无人区| 久久精品亚洲熟妇少妇任你| 黄色视频,在线免费观看| 一级毛片精品| 亚洲熟妇熟女久久| 亚洲色图综合在线观看| www.999成人在线观看| 夫妻午夜视频| 欧美av亚洲av综合av国产av| 99热网站在线观看| 黑人巨大精品欧美一区二区蜜桃| 亚洲五月婷婷丁香| 欧美精品亚洲一区二区| 成人亚洲精品一区在线观看| 久久青草综合色| 久久精品国产清高在天天线| 免费久久久久久久精品成人欧美视频| 三上悠亚av全集在线观看| 亚洲熟女毛片儿| 国产成人精品在线电影| 欧美精品av麻豆av| av天堂在线播放| 免费在线观看黄色视频的| 精品国产亚洲在线| 在线观看免费日韩欧美大片| 97人妻天天添夜夜摸| 久久精品国产亚洲av高清一级| 看片在线看免费视频| 人人妻人人爽人人添夜夜欢视频| 精品久久蜜臀av无| 日韩免费av在线播放| tocl精华| 成人特级黄色片久久久久久久| 亚洲五月天丁香| 757午夜福利合集在线观看| 19禁男女啪啪无遮挡网站| 国产成人啪精品午夜网站| 国产又爽黄色视频| 欧美黄色淫秽网站| 久久精品国产a三级三级三级| 国产av又大| 身体一侧抽搐| 一区二区三区精品91| 成年人午夜在线观看视频| www.999成人在线观看| 婷婷丁香在线五月| 欧美在线一区亚洲| 99国产精品99久久久久| 天堂√8在线中文| 91大片在线观看| 久久亚洲精品不卡| 人妻久久中文字幕网| 91成人精品电影| e午夜精品久久久久久久| 老司机靠b影院| 国产精品久久视频播放| 亚洲欧美精品综合一区二区三区| 免费女性裸体啪啪无遮挡网站| 成人精品一区二区免费| 日韩三级视频一区二区三区| 久久人妻av系列| 在线永久观看黄色视频| 久久精品国产99精品国产亚洲性色 | 老司机影院毛片| 久久影院123| 欧美午夜高清在线| 亚洲avbb在线观看| 欧美在线黄色| 亚洲熟女精品中文字幕| 久久精品亚洲熟妇少妇任你| 五月开心婷婷网| 黄色a级毛片大全视频| 他把我摸到了高潮在线观看| 老司机午夜福利在线观看视频| 亚洲精品在线观看二区| 欧美乱码精品一区二区三区| 两个人免费观看高清视频| 操美女的视频在线观看| 欧美成人午夜精品| 99国产精品一区二区蜜桃av | 中文字幕人妻丝袜一区二区| 丰满人妻熟妇乱又伦精品不卡| 热99久久久久精品小说推荐| 午夜精品久久久久久毛片777| 一边摸一边抽搐一进一出视频| 国产一区二区三区综合在线观看| 国产成人啪精品午夜网站| 三上悠亚av全集在线观看| 人成视频在线观看免费观看| 日韩免费高清中文字幕av| 天天添夜夜摸| 搡老熟女国产l中国老女人| 视频区欧美日本亚洲| 欧美乱码精品一区二区三区| 久久久久久久午夜电影 | 在线观看舔阴道视频| 亚洲av日韩精品久久久久久密| 91在线观看av| 免费观看人在逋| 99国产精品一区二区三区| 亚洲av日韩在线播放| 国产精品一区二区精品视频观看| 狠狠狠狠99中文字幕| 欧美精品啪啪一区二区三区| 国产av又大| 午夜福利欧美成人| 欧美最黄视频在线播放免费 | 国产欧美日韩综合在线一区二区| 日韩成人在线观看一区二区三区| 人妻久久中文字幕网| 久久精品国产亚洲av香蕉五月 | 国产成人系列免费观看| 免费在线观看黄色视频的| 在线观看66精品国产| 久久天躁狠狠躁夜夜2o2o| 国产精品亚洲一级av第二区| 超色免费av| 一边摸一边做爽爽视频免费| 久久久久久久久久久久大奶| 久久国产精品影院| 91国产中文字幕| 亚洲欧美激情在线| 又大又爽又粗| 国产亚洲av高清不卡| 国产黄色免费在线视频| 久久久精品区二区三区| 国产精华一区二区三区| 欧美 日韩 精品 国产| 99久久国产精品久久久| 男女午夜视频在线观看| 国产97色在线日韩免费| 免费黄频网站在线观看国产| 国产精品免费大片| 亚洲成人国产一区在线观看| av国产精品久久久久影院| 国产男女超爽视频在线观看|