• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    天津交行無(wú)代理IT監(jiān)控方案設(shè)計(jì)與研究

    2018-11-21 11:46王紹紅
    科技創(chuàng)新與應(yīng)用 2018年28期
    關(guān)鍵詞:故障定位指標(biāo)

    王紹紅

    摘 要:“531工程”項(xiàng)目上線(xiàn)后天津交行基于新的IT架構(gòu)設(shè)計(jì)了一套無(wú)需部署代理端的IT監(jiān)控方案,即通過(guò)Linux網(wǎng)絡(luò)命令直接對(duì)主機(jī)服務(wù)和網(wǎng)絡(luò)節(jié)點(diǎn)進(jìn)行逐一掃描,以?huà)呙杞Y(jié)果作為監(jiān)控指標(biāo),通過(guò)指標(biāo)間的關(guān)系來(lái)定位故障點(diǎn),豐富了生產(chǎn)系統(tǒng)監(jiān)控手段,提高了故障發(fā)現(xiàn)和排除的效率。

    關(guān)鍵詞:IT運(yùn)維;無(wú)代理監(jiān)控;指標(biāo);故障定位;CMDB

    中圖分類(lèi)號(hào):TP308 文獻(xiàn)標(biāo)志碼:A 文章編號(hào):2095-2945(2018)28-0096-03

    Abstract: After the "531 Project" was launched, Bank of Communications Tianjin Branch designed a set of IT monitoring scheme based on the new IT architecture without the need to deploy the agent, that is, directly scanning the host service and network nodes one by one through the Linux network command. The scanning result is used as the monitoring index to locate the fault point through the relationship between the indicators, which enriches the monitoring means of the production system and improves the efficiency of fault detection and removal.

    Keywords: IT operation and maintenance; agentless monitoring; index; fault location; CMDB

    1 概述

    隨著交通銀行“境內(nèi)外一體化全業(yè)務(wù)系統(tǒng)重構(gòu)工程” (即531工程)項(xiàng)目2015年7月在天津成功上線(xiàn),交通銀行天津市分行(下面簡(jiǎn)稱(chēng)天津交行)在以新型技術(shù)架構(gòu)助推銀行轉(zhuǎn)型發(fā)展的道路上邁出了一大步。這項(xiàng)浩大的工程,以業(yè)務(wù)整合為突破口,打破橫向條塊分割的約束,立足當(dāng)下,著眼未來(lái),以強(qiáng)大前臺(tái)、高效中臺(tái)、集約后臺(tái)合力打造一流的流程銀行。新架構(gòu)在為業(yè)務(wù)發(fā)展提供支撐和推力同時(shí),也為開(kāi)創(chuàng)IT運(yùn)維工作新局面提供了契機(jī)。天津交行作為交通銀行的省級(jí)分行,在工程上線(xiàn)期間即考慮未來(lái)的分行IT監(jiān)控問(wèn)題,基于對(duì)新架構(gòu)下主要系統(tǒng)的技術(shù)平臺(tái)高度統(tǒng)一的認(rèn)知,逐漸形成了一套對(duì)生產(chǎn)運(yùn)行幾乎無(wú)影響的無(wú)代理監(jiān)控方案。傳統(tǒng)的監(jiān)控,一般是在各目標(biāo)主機(jī)部署代理端抓取系統(tǒng)運(yùn)行信息發(fā)送給監(jiān)控服務(wù)器,由其加工后生成圖表、發(fā)出異常警告。由于代理端自身對(duì)系統(tǒng)資源是有消耗的,其開(kāi)發(fā)、部署、維護(hù)需要一定的人力成本和時(shí)間成本。同時(shí)重要的網(wǎng)絡(luò)節(jié)點(diǎn)也需要監(jiān)控,而代理端程序很難在網(wǎng)絡(luò)設(shè)備上安裝,因而傳統(tǒng)模式存在某種局限性,需要新的監(jiān)控手段作為補(bǔ)充。新的方案放棄了傳統(tǒng)的代理端部署,改為通過(guò)Linux網(wǎng)絡(luò)命令直接對(duì)主機(jī)服務(wù)和網(wǎng)絡(luò)節(jié)點(diǎn)進(jìn)行逐一掃描,以?huà)呙杞Y(jié)果作為監(jiān)控指標(biāo),通過(guò)指標(biāo)間的關(guān)系來(lái)定位故障點(diǎn),豐富了生產(chǎn)系統(tǒng)監(jiān)控手段,提高了故障發(fā)現(xiàn)和排除的效率。此方案一經(jīng)初步實(shí)施,即收到良好效果。據(jù)此設(shè)立的無(wú)代理監(jiān)控平臺(tái)(下稱(chēng)監(jiān)控平臺(tái))一期腳本僅幾千字節(jié),以集中的網(wǎng)絡(luò)掃描代替分散的代理端數(shù)據(jù)采集,實(shí)現(xiàn)了對(duì)生產(chǎn)系統(tǒng)大部分重要節(jié)點(diǎn)的監(jiān)控。目前監(jiān)控平臺(tái)還在根據(jù)預(yù)先設(shè)計(jì)的方案持續(xù)建設(shè)中。本文謹(jǐn)從介紹平臺(tái)當(dāng)前架構(gòu)和技術(shù)出發(fā),延伸到下一步以指標(biāo)及指標(biāo)依賴(lài)、指標(biāo)集合為核心的智能化監(jiān)控目標(biāo),對(duì)未來(lái)可能使用到的其他技術(shù)做出初步的研究。

    2 監(jiān)控平臺(tái)現(xiàn)狀和核心技術(shù)

    傳統(tǒng)監(jiān)控模式下的信息流向是從各代理端到服務(wù)端,代理端處于主動(dòng)地位。在天津交行的無(wú)代理監(jiān)控平臺(tái)中沒(méi)有代理端、服務(wù)端的區(qū)分,監(jiān)控的發(fā)起始于平臺(tái)主機(jī),目標(biāo)則是IT系統(tǒng)的各個(gè)主機(jī)、網(wǎng)絡(luò)上的各個(gè)重要節(jié)點(diǎn)。常規(guī)情況下,監(jiān)控平臺(tái)根據(jù)預(yù)先定義的掃描策略在指定時(shí)間對(duì)目標(biāo)主機(jī)、網(wǎng)絡(luò)節(jié)點(diǎn)進(jìn)行網(wǎng)絡(luò)掃描,同步記錄掃描結(jié)果,生成可通過(guò)Web瀏覽器訪(fǎng)問(wèn)的報(bào)告,發(fā)現(xiàn)有某項(xiàng)結(jié)果異常,根據(jù)策略中設(shè)定的信息發(fā)出警報(bào)。網(wǎng)絡(luò)掃描結(jié)果的有效性基于IT系統(tǒng)得以正常運(yùn)行的三點(diǎn)基本要求:(1)各主機(jī)、網(wǎng)絡(luò)節(jié)點(diǎn)在網(wǎng)絡(luò)上處于連通狀態(tài)。(2)主機(jī)的對(duì)外服務(wù)端口處于監(jiān)聽(tīng)狀態(tài)。(3)主機(jī)對(duì)外服務(wù)對(duì)請(qǐng)求應(yīng)該有合理的響應(yīng)。

    監(jiān)控平臺(tái)運(yùn)行在Linux操作系統(tǒng)上,其原生的三個(gè)網(wǎng)絡(luò)命令ping、netcat、curl可以分別按上述三點(diǎn)要求對(duì)IT系統(tǒng)(含網(wǎng)絡(luò)設(shè)備)進(jìn)行掃描。ping命令很常用,可檢測(cè)某個(gè)ip在網(wǎng)絡(luò)上能否到達(dá)。netcat命令是一個(gè)強(qiáng)大的端口通訊工具,可以檢測(cè)監(jiān)聽(tīng)端口,發(fā)送報(bào)文,模擬交易請(qǐng)求。對(duì)于提供Web服務(wù)的主機(jī),netcat命令已經(jīng)不能滿(mǎn)足全部要求,因?yàn)榧词苟丝谔幱诒O(jiān)聽(tīng)狀態(tài),也不代表Web服務(wù)正常。這就需要用到curl命令,一個(gè)在文字環(huán)境下模擬瀏覽器訪(fǎng)問(wèn)獲取頁(yè)面源代碼、下載文件、發(fā)送POST請(qǐng)求的工具。它無(wú)視Web服務(wù)器的具體應(yīng)用邏輯,帶上特定的參數(shù)執(zhí)行,通過(guò)判斷命令的Shell返回值即可檢測(cè)Web服務(wù)的正常性、Web部署的有效性。

    curl命令和netcat命令一樣,也可以模擬交易請(qǐng)求。但是,生產(chǎn)環(huán)境中不可能大規(guī)模地模擬交易。一些系統(tǒng)對(duì)請(qǐng)求的來(lái)源和報(bào)文有校驗(yàn),而由于交易接口的龐雜與多變,監(jiān)控平臺(tái)不可能頻繁地去同步變更,因此,模擬交易只能在個(gè)別關(guān)鍵而簡(jiǎn)單的監(jiān)控需求上有限使用。這些交易請(qǐng)求大都會(huì)返回用戶(hù)權(quán)限不足等業(yè)務(wù)類(lèi)報(bào)錯(cuò)信息,而這恰恰是正常的。

    3 監(jiān)控指標(biāo)體系與故障定位

    (1)指標(biāo)體系的引入。監(jiān)控平臺(tái)所使用的ping、netcat、curl三個(gè)網(wǎng)絡(luò)掃描命令,其執(zhí)行結(jié)果其實(shí)有著遞次依賴(lài)的關(guān)系。對(duì)于無(wú)法ping通的主機(jī),只要其未禁止ICMP協(xié)議,使用netcat掃描肯定失敗,而對(duì)于netcat掃描端口返回失敗的Web服務(wù),就沒(méi)必要再使用curl嘗試訪(fǎng)問(wèn)了。生產(chǎn)系統(tǒng)實(shí)際運(yùn)行中存在著更廣泛的依賴(lài)關(guān)系。對(duì)于交易路徑中串聯(lián)的各個(gè)系統(tǒng)節(jié)點(diǎn),只要最后一個(gè)節(jié)點(diǎn)停止服務(wù),那么其余的各節(jié)點(diǎn)交易都會(huì)返回失敗。對(duì)于負(fù)責(zé)與總行通訊的節(jié)點(diǎn),其故障將導(dǎo)致分行業(yè)務(wù)近乎全局性的癱瘓,其他系統(tǒng)健康狀況再良好也無(wú)濟(jì)于事。網(wǎng)上也是如此,某個(gè)交換機(jī)的宕機(jī),將使得整片網(wǎng)絡(luò)的電腦處于斷網(wǎng)狀態(tài)。將依賴(lài)關(guān)系反過(guò)來(lái),由結(jié)果推導(dǎo)原因,可用于揭示某些問(wèn)題??梢詐ing通但netcat其某個(gè)端口不通,說(shuō)明該端口未處于監(jiān)聽(tīng)狀態(tài)。就交易渠道而言,柜面交易大面積報(bào)錯(cuò),但其他渠道沒(méi)有異常,那么基本可以判定柜面交易相關(guān)的系統(tǒng)出現(xiàn)了問(wèn)題。為了規(guī)范化地描述上述分析判斷過(guò)程,在監(jiān)控方案中,將網(wǎng)絡(luò)掃描項(xiàng)稱(chēng)為指標(biāo),稱(chēng)指標(biāo)間的依賴(lài)關(guān)系為指標(biāo)依賴(lài),引入數(shù)學(xué)上的集合概念,將一組擁有某共同特性的指標(biāo)作為一個(gè)整體來(lái)分析,通過(guò)指標(biāo)、集合間的邏輯關(guān)系評(píng)估生產(chǎn)運(yùn)行情況,從而構(gòu)建一個(gè)監(jiān)控指標(biāo)體系。這些共同特性包括網(wǎng)段、應(yīng)用系統(tǒng)、物理位置、邏輯位置或管理視角等多方面,根據(jù)監(jiān)控的需要而設(shè)定、擴(kuò)充、調(diào)整。(2)指標(biāo)體系的設(shè)計(jì)。監(jiān)控平臺(tái)目前的常規(guī)掃描策略在定義時(shí)已經(jīng)考慮了指標(biāo)間的依賴(lài)關(guān)系,避免無(wú)謂的重復(fù),但是有時(shí)候,“重復(fù)”又是必要的。例如,netcat端口掃描結(jié)果正常意味著無(wú)需再進(jìn)行ping掃描,但是前者返回異常,那就需要后者來(lái)定位到底是網(wǎng)絡(luò)中斷還是端口服務(wù)停止。這種取舍的選擇,需要依靠指標(biāo)的依賴(lài)關(guān)系來(lái)決定。在定義指標(biāo)時(shí),如果它的正常有賴(lài)于另一個(gè)指標(biāo)的正常,就要在指標(biāo)依賴(lài)關(guān)系配置文件中指定。一個(gè)指標(biāo)的正常有可能依賴(lài)多個(gè)指標(biāo)的正常,也可能是多個(gè)指標(biāo)的正常依賴(lài)于一個(gè)指標(biāo)的正常,就需要將對(duì)應(yīng)依賴(lài)關(guān)系拆成一對(duì)一的記錄存儲(chǔ)下來(lái),以便于監(jiān)控平臺(tái)能夠智能地選擇需要檢測(cè)的指標(biāo),避免沒(méi)必要的重復(fù)的同時(shí)也可以快速地判斷出是哪個(gè)指標(biāo)是系統(tǒng)異常的根源。有時(shí)候一個(gè)指標(biāo)的正常,會(huì)依賴(lài)多個(gè)其他指標(biāo)中任何一個(gè)或全部的正常。這多個(gè)指標(biāo)必然有某種共性,否則無(wú)法造成統(tǒng)一的影響,可以視為一個(gè)集合。集合內(nèi)成員在條件判斷上也許是“或”的關(guān)系,例如做了負(fù)載均衡的服務(wù)器組的任何一臺(tái)服務(wù)器正常即可保障基本的功能,也有可能是“與”的關(guān)系,例如一個(gè)交易路徑上的全部系統(tǒng)都正常才能保證交易能夠順利提交到總行。定義集合時(shí)需要考慮其成員關(guān)系的類(lèi)型,不限于“或”和“與”。集合本身也是一個(gè)指標(biāo),其值不是成員狀態(tài)的簡(jiǎn)單疊加,而是要基于一個(gè)科學(xué)合理的算法進(jìn)行計(jì)算。例如一個(gè)前置機(jī)房?jī)?nèi)的幾百臺(tái)設(shè)備因?yàn)槟撤N動(dòng)力環(huán)境原因?qū)е氯繑嗑W(wǎng),監(jiān)控平臺(tái)不應(yīng)該為每臺(tái)設(shè)備播報(bào)一遍故障,而應(yīng)在檢測(cè)到全部斷網(wǎng)前已經(jīng)有一個(gè)準(zhǔn)確的評(píng)估,發(fā)出一個(gè)精準(zhǔn)的整體性警報(bào)。同指標(biāo)與指標(biāo)之間一樣,集合與集合、單個(gè)指標(biāo)之間也可以有依賴(lài)關(guān)系,集合可以有自己的子集,它也可能是其他集合的子集。除此外,集合還有交集、并集、補(bǔ)集運(yùn)算,方法同數(shù)學(xué)上集合的運(yùn)算一致。(3)故障點(diǎn)快速定位。在通常情況下,監(jiān)控平臺(tái)直接以一個(gè)又一個(gè)的指標(biāo)逐一呈現(xiàn)生產(chǎn)服務(wù)狀態(tài),發(fā)現(xiàn)異常立即發(fā)出信息精準(zhǔn)的警報(bào),直接定位到ip地址、端口、Web服務(wù)、Web部署,運(yùn)維人員可以立即對(duì)目標(biāo)進(jìn)行檢查。

    但是,很多時(shí)候,對(duì)故障的判斷不能只是靠這種孤立的指標(biāo)來(lái)實(shí)現(xiàn),而是要參照多個(gè)指標(biāo)。以高可用集群為例。正常情況下,集群的兩個(gè)節(jié)點(diǎn)都處于網(wǎng)絡(luò)連通狀態(tài),其中活動(dòng)節(jié)點(diǎn)以Service IP對(duì)外提供服務(wù)。有一天忽然活動(dòng)節(jié)點(diǎn)的Boot IP卻無(wú)法訪(fǎng)問(wèn),但集群的Service IP和備用節(jié)點(diǎn)的Boot IP處于連通狀態(tài),那就說(shuō)明集群的生產(chǎn)服務(wù)已經(jīng)發(fā)生了HA接管,活動(dòng)節(jié)點(diǎn)宕機(jī),備用節(jié)點(diǎn)已經(jīng)啟動(dòng)對(duì)外服務(wù)。這里就需要ping三個(gè)ip地址,分別獲取指標(biāo)值,符合上述狀態(tài),即可發(fā)出HA接管警報(bào),而不僅僅是報(bào)告活動(dòng)節(jié)點(diǎn)宕機(jī)。

    一些復(fù)雜的情況,可以借助依賴(lài)關(guān)系和集合概念來(lái)分析。圖1是一個(gè)簡(jiǎn)化的多樓層網(wǎng)絡(luò)節(jié)點(diǎn)圖,財(cái)務(wù)部分居3、4樓,分別通過(guò)各自樓層交換機(jī)連往核心交換機(jī)。而3樓除財(cái)務(wù)部還有一個(gè)保衛(wèi)部的監(jiān)控室,通過(guò)3樓交換機(jī)連往核心交換機(jī)。這樣3樓財(cái)務(wù)部同時(shí)屬于3樓和財(cái)務(wù)部的兩個(gè)集合,也就是它們的交集(圖2)。某日這個(gè)交集突然網(wǎng)絡(luò)癱瘓,那就要判斷它所屬兩個(gè)集合的其他成員(補(bǔ)集)的狀況,以此分析是哪個(gè)集合出了問(wèn)題。如果3樓保衛(wèi)部也網(wǎng)絡(luò)癱瘓,4樓財(cái)務(wù)部沒(méi)有問(wèn)題,那幾乎可以判定三樓這個(gè)集合所依賴(lài)的3樓交換機(jī)有了故障。如果3樓保衛(wèi)部和4樓財(cái)務(wù)部也都斷網(wǎng),即3樓、4樓全部斷網(wǎng),而這兩個(gè)樓層共同依賴(lài)的網(wǎng)絡(luò)節(jié)點(diǎn)是核心交換機(jī),應(yīng)該是核心交換機(jī)出現(xiàn)了問(wèn)題。一般情況下,同一樓層各部門(mén)的網(wǎng)絡(luò)狀況應(yīng)該是一樣的,如果某日出現(xiàn)兩層樓的財(cái)務(wù)部都網(wǎng)絡(luò)中斷,而3樓保衛(wèi)部的網(wǎng)絡(luò)卻處于連接狀態(tài),那就需要進(jìn)一步排查,或許有其他未曾預(yù)計(jì)的原因,查明后設(shè)計(jì)好指標(biāo)和策略添加到監(jiān)控平臺(tái)中。

    如同計(jì)算機(jī)人臉識(shí)別往往在速度、準(zhǔn)確性、靈活性上比不上人眼,實(shí)際生產(chǎn)運(yùn)行中,輔助使用一些準(zhǔn)實(shí)時(shí)加載監(jiān)控指標(biāo)數(shù)據(jù)的動(dòng)態(tài)圖表可能效果更好。例如參照機(jī)房布局圖和網(wǎng)絡(luò)拓?fù)鋱D,以主機(jī)、網(wǎng)絡(luò)設(shè)備為節(jié)點(diǎn),以綠、紅兩色表示網(wǎng)絡(luò)連通性的正常和不正常,若某分區(qū)各個(gè)綠點(diǎn)忽然開(kāi)始逐一變?yōu)榧t點(diǎn),那么運(yùn)維人員很容易產(chǎn)生直覺(jué)判斷:該分區(qū)很可能出現(xiàn)了全局性問(wèn)題,譬如斷電。但是,人不可能一直盯著監(jiān)控屏幕看,除了動(dòng)態(tài)圖表,更根本的解決方法是借助一些智能的算法(例如卡爾曼濾波算法)將這種經(jīng)驗(yàn)的判斷轉(zhuǎn)換為監(jiān)控平臺(tái)的自動(dòng)播報(bào)。

    以效率而言,應(yīng)該將重要指標(biāo)和部分重要集合進(jìn)行高頻次重復(fù)掃描、精準(zhǔn)運(yùn)算,及時(shí)發(fā)出告警信息,以便于運(yùn)維人員第一時(shí)間獲得精準(zhǔn)信息,立即投入搶修,而其他指標(biāo)/集合的計(jì)算和動(dòng)態(tài)直觀圖表的重繪,就不必過(guò)于強(qiáng)調(diào)時(shí)效性。

    4 無(wú)代理IT監(jiān)控的未來(lái)研究方向

    (1)根據(jù)監(jiān)控對(duì)象已有協(xié)議和接口輕度侵入。操作系統(tǒng)層的CPU、內(nèi)存、存儲(chǔ)、進(jìn)程等信息是傳統(tǒng)監(jiān)控基本的目標(biāo)。但在監(jiān)控平臺(tái)上,IT系統(tǒng)主機(jī)的這些數(shù)據(jù)都無(wú)法獲取到。對(duì)網(wǎng)絡(luò)設(shè)備,目前僅限于網(wǎng)絡(luò)連通性的判斷,無(wú)法完成對(duì)流量、策略等更深入的檢測(cè),也不能做到路由自動(dòng)發(fā)現(xiàn)。就應(yīng)用層和銀行交易而言,有時(shí)因?yàn)橄到y(tǒng)資源瓶頸、程序代碼存在bug以及其他暫時(shí)未知因素,在相關(guān)范圍內(nèi)也會(huì)有交易緩慢、失敗率過(guò)高甚至業(yè)務(wù)中斷等情況發(fā)生,而監(jiān)控平臺(tái)上卻毫無(wú)征兆。監(jiān)控平臺(tái)的這些短板,需要采用更廣泛的技術(shù)、擴(kuò)充無(wú)代理監(jiān)控的手段來(lái)解決。主機(jī)系統(tǒng)、網(wǎng)絡(luò)設(shè)備、基礎(chǔ)軟件或廣泛或局部開(kāi)放的外部訪(fǎng)問(wèn)協(xié)議和接口為下一步的研究提供了方向,而交通銀行新一代業(yè)務(wù)系統(tǒng)普遍采用了具有自主知識(shí)產(chǎn)權(quán)的架構(gòu)平臺(tái),技術(shù)上高度一致,為監(jiān)控方案的優(yōu)化提供了持續(xù)的便利條件。早年網(wǎng)絡(luò)監(jiān)控即使用了snmp(簡(jiǎn)單網(wǎng)絡(luò)管理協(xié)議),這個(gè)技術(shù)現(xiàn)在還在廣泛的使用,網(wǎng)絡(luò)設(shè)備一般都默認(rèn)可以開(kāi)啟snmp的外部訪(fǎng)問(wèn)。另一個(gè)也具有廣泛性的協(xié)議是ssh(Secure Shell),Unix/Linux操作系統(tǒng)和許多的網(wǎng)絡(luò)設(shè)備都可以通過(guò)該協(xié)議訪(fǎng)問(wèn)。在監(jiān)控平臺(tái)上部署數(shù)據(jù)庫(kù)、Web中間件、消息隊(duì)列工具等基礎(chǔ)軟件的客戶(hù)端,可以相應(yīng)地獲取IT系統(tǒng)上這些基礎(chǔ)軟件的運(yùn)行狀況,間接獲得操作系統(tǒng)層的數(shù)據(jù)。這些協(xié)議和工具的訪(fǎng)問(wèn)對(duì)監(jiān)控目標(biāo)難免會(huì)有一定的寫(xiě)入權(quán)限,但建立了良好的安全訪(fǎng)問(wèn)控制機(jī)制,可以將監(jiān)控對(duì)生產(chǎn)運(yùn)行的擾動(dòng)控制在合理的范圍內(nèi),達(dá)到以輕度侵入實(shí)現(xiàn)無(wú)代理監(jiān)控的目的。

    (2)與配置管理數(shù)據(jù)庫(kù)的整合。IT基礎(chǔ)架構(gòu)庫(kù),即ITIL,是國(guó)際上最成熟的一套IT管理解決方案,為企業(yè)的IT服務(wù)管理實(shí)踐提供了一個(gè)客觀、嚴(yán)謹(jǐn)、可量化的標(biāo)準(zhǔn)和規(guī)范。作為ITIL的主要組成部分之一,配置管理數(shù)據(jù)庫(kù),即CMDB,存儲(chǔ)與管理IT架構(gòu)中資源的各種配置信息,為IT建設(shè)、運(yùn)維提供相關(guān)的基礎(chǔ)配置信息以及配置之間的相互關(guān)系,涵蓋硬件、操作系統(tǒng)、邏輯設(shè)備、系統(tǒng)配置、基礎(chǔ)軟件、應(yīng)用部署以及相關(guān)管理信息等各個(gè)方面。運(yùn)維人員可以根據(jù)設(shè)備的名稱(chēng)來(lái)檢索它上、下游和同級(jí)的關(guān)聯(lián)信息,輕松地了解生產(chǎn)運(yùn)行全局資源的組織架構(gòu),輔助判斷某項(xiàng)資源調(diào)整時(shí)可能涉及的方方面面,同樣也能知曉某項(xiàng)資源缺失會(huì)影響哪些業(yè)務(wù)和系統(tǒng),或者反過(guò)來(lái)由某個(gè)結(jié)果推算導(dǎo)致其發(fā)生的原因。監(jiān)控平臺(tái)的指標(biāo)、集合及其相互關(guān)系,某種程度可以視為配置管理數(shù)據(jù)庫(kù)的一部分,在監(jiān)控層面可以認(rèn)為二者之間有相當(dāng)大的重合。例如,對(duì)于一個(gè)Service IP,在配置管理數(shù)據(jù)中,它從屬于某個(gè)高可用集群,其下一級(jí)又有多個(gè)對(duì)外提供服務(wù)的監(jiān)聽(tīng)端口,而同樣的關(guān)系也會(huì)體現(xiàn)在監(jiān)控平臺(tái)上。在未來(lái)的方案中,配置管理數(shù)據(jù)庫(kù)的完整和及時(shí)更新,能為監(jiān)控平臺(tái)監(jiān)控對(duì)象的全面性、準(zhǔn)確性、合理性提供可靠的參照。相反,監(jiān)控平臺(tái)可以幫助核對(duì)配置管理數(shù)據(jù)庫(kù)中的數(shù)據(jù),在配置管理數(shù)據(jù)庫(kù)的關(guān)系結(jié)構(gòu)圖中顯示配置項(xiàng)的可用狀態(tài),提示出某些配置項(xiàng)信息或配置項(xiàng)之間關(guān)系的變化。基于配置管理數(shù)據(jù)庫(kù)數(shù)據(jù)和監(jiān)控平臺(tái)監(jiān)控對(duì)象的相似性與相關(guān)性,二者可以深度整合,避免維護(hù)兩套數(shù)據(jù)帶來(lái)的額外工作量和數(shù)據(jù)不一致,也便于運(yùn)維人員更容易理解、把控雙方數(shù)據(jù)。

    5 結(jié)束語(yǔ)

    天津交行無(wú)代理IT監(jiān)控方案目前主要是實(shí)現(xiàn)了本文第一部分的目標(biāo),即根據(jù)預(yù)先設(shè)定的策略對(duì)生產(chǎn)系統(tǒng)重要服務(wù)和生產(chǎn)網(wǎng)絡(luò)重要節(jié)點(diǎn)進(jìn)行網(wǎng)絡(luò)掃描,已經(jīng)覆蓋主要系統(tǒng)、大部分應(yīng)用服務(wù)和重要網(wǎng)絡(luò)節(jié)點(diǎn)。對(duì)于監(jiān)控指標(biāo)的依賴(lài)關(guān)系判定、集合劃分、邏輯關(guān)系分析、故障定位、圖表展示以及無(wú)代理檢測(cè)手段的擴(kuò)充、監(jiān)控平臺(tái)策略定義與配置管理數(shù)據(jù)庫(kù)的整合,目前在進(jìn)行進(jìn)一步的細(xì)化設(shè)計(jì)和深入研究。相信整個(gè)方案的完全實(shí)施,對(duì)的系統(tǒng)監(jiān)控工作將更有裨益,其輕量、易部署、易擴(kuò)展的特性也有助于它的向外推廣。

    參考文獻(xiàn):

    [1]張曉丹.面向業(yè)務(wù)應(yīng)用交易的IT運(yùn)維監(jiān)控系統(tǒng)建設(shè)思路[J].中國(guó)金融電腦,2015(1).

    [2]卑風(fēng).基于ITIL體系的銀行數(shù)據(jù)中心配置管理工具的分析與設(shè)計(jì)[J].微型電腦應(yīng)用,2013(3).

    猜你喜歡
    故障定位指標(biāo)
    主要宏觀經(jīng)濟(jì)指標(biāo)及債券指標(biāo)統(tǒng)計(jì)表
    主要宏觀經(jīng)濟(jì)指標(biāo)及債券指標(biāo)統(tǒng)計(jì)表
    主要宏觀經(jīng)濟(jì)指標(biāo)及債券指標(biāo)統(tǒng)計(jì)表
    小電流接地系統(tǒng)故障定位技術(shù)研究
    基于GIS的電力系統(tǒng)光纜故障快速定位研究
    主要宏觀經(jīng)濟(jì)指標(biāo)及債券指標(biāo)統(tǒng)計(jì)表
    測(cè)控區(qū)和非測(cè)控區(qū)并存的配電網(wǎng)故障定位實(shí)用方法
    探討智能配電網(wǎng)故障快速定位與故障恢復(fù)
    電力電纜故障定位的探討
    主要宏觀經(jīng)濟(jì)指標(biāo)及債券指標(biāo)統(tǒng)計(jì)表
    青春草国产在线视频| 免费看美女性在线毛片视频| 国产精品久久久久久av不卡| 99热6这里只有精品| 国产免费又黄又爽又色| 日本-黄色视频高清免费观看| 亚洲欧美精品专区久久| 天美传媒精品一区二区| 三级毛片av免费| 老师上课跳d突然被开到最大视频| 成年版毛片免费区| 日韩中字成人| 久久99热这里只频精品6学生| 国产麻豆成人av免费视频| 精品人妻熟女av久视频| 亚洲美女视频黄频| 一级毛片aaaaaa免费看小| 天天躁日日操中文字幕| 欧美一区二区亚洲| 一级黄片播放器| 丝袜喷水一区| av在线蜜桃| 黑人高潮一二区| 国产精品久久视频播放| 亚洲美女搞黄在线观看| 在线a可以看的网站| 男人舔女人下体高潮全视频| av卡一久久| 狠狠精品人妻久久久久久综合| 欧美+日韩+精品| 国产精品国产三级专区第一集| 日韩欧美三级三区| 男女边吃奶边做爰视频| 男女下面进入的视频免费午夜| 我的老师免费观看完整版| 久久亚洲国产成人精品v| 日日摸夜夜添夜夜添av毛片| 男女边摸边吃奶| 亚洲第一区二区三区不卡| 亚洲精品成人久久久久久| av在线亚洲专区| 亚洲图色成人| 非洲黑人性xxxx精品又粗又长| 69av精品久久久久久| 亚洲av福利一区| 草草在线视频免费看| 日韩大片免费观看网站| 亚洲欧美日韩卡通动漫| 成人av在线播放网站| 91精品国产九色| 天堂俺去俺来也www色官网 | 极品教师在线视频| 久久久久国产网址| 美女主播在线视频| 一区二区三区四区激情视频| 一级黄片播放器| 少妇的逼水好多| 中文字幕av成人在线电影| 99热网站在线观看| 国产伦精品一区二区三区视频9| 国产永久视频网站| 免费大片黄手机在线观看| 免费看不卡的av| 免费黄网站久久成人精品| 精品不卡国产一区二区三区| 少妇熟女aⅴ在线视频| 久久久久国产网址| 成人亚洲欧美一区二区av| 中文字幕av成人在线电影| 少妇人妻一区二区三区视频| av播播在线观看一区| 亚洲av中文av极速乱| 免费观看a级毛片全部| 国产黄频视频在线观看| 亚洲av中文av极速乱| 国产精品综合久久久久久久免费| 免费观看在线日韩| 午夜福利高清视频| 寂寞人妻少妇视频99o| 人妻系列 视频| 中文字幕人妻熟人妻熟丝袜美| 天堂影院成人在线观看| 成人午夜精彩视频在线观看| 我的女老师完整版在线观看| 日韩三级伦理在线观看| 午夜精品在线福利| 久久这里有精品视频免费| 免费观看在线日韩| 国产一区二区在线观看日韩| 国产精品一及| 3wmmmm亚洲av在线观看| 免费高清在线观看视频在线观看| 午夜福利在线在线| 国产av国产精品国产| 亚洲av不卡在线观看| 一个人看的www免费观看视频| 搡女人真爽免费视频火全软件| 午夜福利在线观看吧| 伊人久久国产一区二区| 国产成人精品久久久久久| 天堂√8在线中文| 简卡轻食公司| 国产伦理片在线播放av一区| 亚洲怡红院男人天堂| 欧美日韩国产mv在线观看视频 | 在线 av 中文字幕| 国产亚洲精品av在线| 亚洲成人精品中文字幕电影| 18禁在线无遮挡免费观看视频| 精品亚洲乱码少妇综合久久| 欧美日韩一区二区视频在线观看视频在线 | 国产精品一区二区性色av| 一边亲一边摸免费视频| 蜜桃亚洲精品一区二区三区| 天堂中文最新版在线下载 | 校园人妻丝袜中文字幕| 又黄又爽又刺激的免费视频.| 老司机影院毛片| 少妇丰满av| 亚洲美女搞黄在线观看| 午夜福利在线观看吧| 69av精品久久久久久| 国产亚洲av嫩草精品影院| 超碰97精品在线观看| 99re6热这里在线精品视频| 少妇丰满av| 精品久久久精品久久久| 日日摸夜夜添夜夜添av毛片| av免费在线看不卡| 日韩亚洲欧美综合| 欧美激情国产日韩精品一区| 亚洲一级一片aⅴ在线观看| 国产淫片久久久久久久久| 欧美高清成人免费视频www| av播播在线观看一区| 在线观看免费高清a一片| 中文字幕人妻熟人妻熟丝袜美| 人妻夜夜爽99麻豆av| 国产视频首页在线观看| 亚洲av在线观看美女高潮| 亚洲电影在线观看av| 日本猛色少妇xxxxx猛交久久| 麻豆精品久久久久久蜜桃| 看免费成人av毛片| 欧美精品国产亚洲| 如何舔出高潮| 纵有疾风起免费观看全集完整版 | 亚洲欧美精品自产自拍| 欧美三级亚洲精品| 国产女主播在线喷水免费视频网站 | 亚洲欧洲国产日韩| 18禁在线无遮挡免费观看视频| 久久99热6这里只有精品| 在线观看人妻少妇| 波多野结衣巨乳人妻| 国产精品麻豆人妻色哟哟久久 | 别揉我奶头 嗯啊视频| 国产v大片淫在线免费观看| 青春草视频在线免费观看| 国产精品99久久久久久久久| 九九在线视频观看精品| 我的女老师完整版在线观看| 天美传媒精品一区二区| 成人无遮挡网站| 国产综合精华液| 91在线精品国自产拍蜜月| a级毛片免费高清观看在线播放| 观看美女的网站| 亚洲不卡免费看| 亚洲欧美一区二区三区黑人 | 免费无遮挡裸体视频| 日韩大片免费观看网站| 超碰97精品在线观看| 人人妻人人澡人人爽人人夜夜 | 晚上一个人看的免费电影| 黄色日韩在线| av免费观看日本| 欧美bdsm另类| 午夜精品一区二区三区免费看| 晚上一个人看的免费电影| 精品99又大又爽又粗少妇毛片| 午夜精品一区二区三区免费看| 看免费成人av毛片| 欧美另类一区| 丝袜喷水一区| 美女主播在线视频| 久久久久精品性色| 不卡视频在线观看欧美| 国产黄a三级三级三级人| 建设人人有责人人尽责人人享有的 | 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 久久精品久久久久久久性| 成人亚洲精品一区在线观看 | 国产熟女欧美一区二区| 永久网站在线| 亚洲精品自拍成人| 十八禁网站网址无遮挡 | 一级毛片 在线播放| videossex国产| 久久久久久久久中文| eeuss影院久久| 国产淫片久久久久久久久| 亚洲,欧美,日韩| 在线免费观看的www视频| 狂野欧美白嫩少妇大欣赏| 欧美激情久久久久久爽电影| av一本久久久久| 亚洲图色成人| 精品人妻视频免费看| 插阴视频在线观看视频| 国产伦一二天堂av在线观看| 高清av免费在线| 18禁动态无遮挡网站| 欧美xxⅹ黑人| 男女视频在线观看网站免费| 伦精品一区二区三区| 97超视频在线观看视频| 内地一区二区视频在线| av在线观看视频网站免费| 一级毛片我不卡| 日日摸夜夜添夜夜添av毛片| 美女大奶头视频| 精品国产三级普通话版| 精华霜和精华液先用哪个| 美女国产视频在线观看| 搡老乐熟女国产| 亚洲国产最新在线播放| 久久久久久久久久成人| 有码 亚洲区| 午夜精品国产一区二区电影 | 亚洲成人中文字幕在线播放| 三级毛片av免费| 在线a可以看的网站| 成人漫画全彩无遮挡| 国产亚洲av片在线观看秒播厂 | 最近的中文字幕免费完整| 亚洲av二区三区四区| 国产精品爽爽va在线观看网站| 日日啪夜夜爽| 蜜臀久久99精品久久宅男| 久久国内精品自在自线图片| 三级经典国产精品| 欧美日韩视频高清一区二区三区二| 最近最新中文字幕大全电影3| 自拍偷自拍亚洲精品老妇| 毛片女人毛片| 亚洲成色77777| 综合色av麻豆| 中文在线观看免费www的网站| 国产黄频视频在线观看| 三级毛片av免费| 一级毛片黄色毛片免费观看视频| 六月丁香七月| 人妻制服诱惑在线中文字幕| 青青草视频在线视频观看| 夜夜爽夜夜爽视频| 日日撸夜夜添| 直男gayav资源| av播播在线观看一区| 男人爽女人下面视频在线观看| 亚洲经典国产精华液单| 久久6这里有精品| 小蜜桃在线观看免费完整版高清| 一边亲一边摸免费视频| 国产日韩欧美在线精品| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 国产大屁股一区二区在线视频| 亚洲精品亚洲一区二区| 亚洲精品国产av成人精品| 国内精品一区二区在线观看| 国产综合精华液| 日韩欧美一区视频在线观看 | 波多野结衣巨乳人妻| 国产 亚洲一区二区三区 | 建设人人有责人人尽责人人享有的 | 久久久久性生活片| 国产乱人视频| 国产精品久久久久久精品电影小说 | 欧美成人午夜免费资源| 亚洲成人中文字幕在线播放| 超碰97精品在线观看| 午夜福利高清视频| 亚洲国产色片| 成人毛片60女人毛片免费| 好男人视频免费观看在线| 91狼人影院| 久久久国产一区二区| 直男gayav资源| 免费观看a级毛片全部| 99热6这里只有精品| 国产成人精品久久久久久| 午夜福利在线观看吧| 亚洲欧美日韩东京热| 国产视频首页在线观看| 久久久久久久久中文| 午夜激情久久久久久久| 久久久a久久爽久久v久久| 热99在线观看视频| 欧美高清性xxxxhd video| 国产亚洲5aaaaa淫片| 精品欧美国产一区二区三| h日本视频在线播放| 亚洲av一区综合| 赤兔流量卡办理| 国产 亚洲一区二区三区 | 欧美成人精品欧美一级黄| 2022亚洲国产成人精品| 最近的中文字幕免费完整| av在线蜜桃| 亚洲综合精品二区| 高清午夜精品一区二区三区| 亚洲综合精品二区| 国产精品久久久久久久电影| 美女内射精品一级片tv| 欧美不卡视频在线免费观看| 综合色丁香网| 十八禁网站网址无遮挡 | 精品国产露脸久久av麻豆 | 国产伦一二天堂av在线观看| 欧美一区二区亚洲| 亚洲,欧美,日韩| 我要看日韩黄色一级片| 午夜免费男女啪啪视频观看| 91久久精品国产一区二区三区| 大又大粗又爽又黄少妇毛片口| 国产成人免费观看mmmm| 免费黄频网站在线观看国产| 国产成年人精品一区二区| 尤物成人国产欧美一区二区三区| 久久99热这里只有精品18| 欧美 日韩 精品 国产| 2021天堂中文幕一二区在线观| 国产麻豆成人av免费视频| 中文天堂在线官网| 亚洲人与动物交配视频| 国产黄色免费在线视频| 麻豆精品久久久久久蜜桃| 男人舔奶头视频| 在线免费十八禁| 国产一级毛片七仙女欲春2| 最后的刺客免费高清国语| 亚洲色图av天堂| 国精品久久久久久国模美| 日韩国内少妇激情av| 青春草亚洲视频在线观看| 久久久精品免费免费高清| 亚洲熟妇中文字幕五十中出| 国产av国产精品国产| 欧美+日韩+精品| 美女xxoo啪啪120秒动态图| kizo精华| 日韩成人av中文字幕在线观看| 亚洲av中文字字幕乱码综合| 久久精品综合一区二区三区| 18+在线观看网站| 久久久精品94久久精品| 国产精品人妻久久久久久| 激情五月婷婷亚洲| 亚洲精华国产精华液的使用体验| 乱人视频在线观看| 搞女人的毛片| 青春草亚洲视频在线观看| 亚洲国产日韩欧美精品在线观看| 久久综合国产亚洲精品| av在线亚洲专区| 一边亲一边摸免费视频| 久久久久久久国产电影| 国产有黄有色有爽视频| 一级a做视频免费观看| 久久久久性生活片| av.在线天堂| 国产高清有码在线观看视频| 天堂网av新在线| 汤姆久久久久久久影院中文字幕 | 简卡轻食公司| 大又大粗又爽又黄少妇毛片口| 久久久亚洲精品成人影院| 日本爱情动作片www.在线观看| av黄色大香蕉| 国产永久视频网站| 男女视频在线观看网站免费| 亚洲美女搞黄在线观看| 亚洲成色77777| 中国国产av一级| 中文在线观看免费www的网站| 纵有疾风起免费观看全集完整版 | 国产精品伦人一区二区| 一级毛片黄色毛片免费观看视频| 校园人妻丝袜中文字幕| 啦啦啦韩国在线观看视频| www.色视频.com| 麻豆av噜噜一区二区三区| 插逼视频在线观看| 舔av片在线| 午夜福利成人在线免费观看| 久久99蜜桃精品久久| 男人和女人高潮做爰伦理| 日韩,欧美,国产一区二区三区| 精品久久久久久久久av| 欧美 日韩 精品 国产| 日韩欧美精品v在线| 久久国内精品自在自线图片| 欧美+日韩+精品| 日韩制服骚丝袜av| 国产精品久久久久久久久免| 国内少妇人妻偷人精品xxx网站| 天天躁日日操中文字幕| 久久亚洲国产成人精品v| 国产伦精品一区二区三区视频9| 熟妇人妻不卡中文字幕| 日日啪夜夜撸| 日韩亚洲欧美综合| 国产精品.久久久| 日韩三级伦理在线观看| 久久精品国产亚洲av天美| 国产亚洲5aaaaa淫片| 简卡轻食公司| 国产精品久久久久久久电影| 性插视频无遮挡在线免费观看| 赤兔流量卡办理| 国内揄拍国产精品人妻在线| 午夜精品国产一区二区电影 | 免费av观看视频| av又黄又爽大尺度在线免费看| 国产91av在线免费观看| 男女啪啪激烈高潮av片| 国语对白做爰xxxⅹ性视频网站| 看免费成人av毛片| 天美传媒精品一区二区| 色5月婷婷丁香| 97超视频在线观看视频| 欧美3d第一页| 国产精品综合久久久久久久免费| 国产精品久久视频播放| 欧美+日韩+精品| 国产精品三级大全| 丝袜喷水一区| 国产伦精品一区二区三区视频9| 又爽又黄无遮挡网站| 亚洲精品久久久久久婷婷小说| 国产麻豆成人av免费视频| 国产老妇女一区| 大片免费播放器 马上看| 亚洲精品一二三| 又粗又硬又长又爽又黄的视频| 国产综合懂色| 国产一区二区在线观看日韩| 韩国av在线不卡| 婷婷色麻豆天堂久久| 精品欧美国产一区二区三| 国产熟女欧美一区二区| 国产成人a∨麻豆精品| 国内精品一区二区在线观看| 亚洲av电影在线观看一区二区三区 | 日本-黄色视频高清免费观看| 国产精品女同一区二区软件| 一个人看的www免费观看视频| 国产亚洲精品久久久com| 男女啪啪激烈高潮av片| 午夜福利成人在线免费观看| 黑人高潮一二区| 久久久久久久久中文| 啦啦啦中文免费视频观看日本| 一个人看的www免费观看视频| 大香蕉97超碰在线| 国产精品综合久久久久久久免费| 嘟嘟电影网在线观看| 免费av毛片视频| 亚洲在线自拍视频| 狂野欧美激情性xxxx在线观看| 人妻制服诱惑在线中文字幕| 大香蕉97超碰在线| 国产三级在线视频| 国产在线一区二区三区精| 国产成人精品婷婷| 熟妇人妻久久中文字幕3abv| 亚洲精品国产av成人精品| 日韩一本色道免费dvd| 久热久热在线精品观看| 国产精品一及| 精品久久久噜噜| 亚洲av男天堂| 免费看日本二区| 国产91av在线免费观看| 亚洲精品乱码久久久久久按摩| 97热精品久久久久久| 中文资源天堂在线| 一夜夜www| 看免费成人av毛片| 精品久久久久久久末码| 精品熟女少妇av免费看| 亚洲欧美中文字幕日韩二区| 日韩av不卡免费在线播放| 99热全是精品| 日本色播在线视频| 免费黄网站久久成人精品| 日日撸夜夜添| 男女那种视频在线观看| 午夜激情久久久久久久| videos熟女内射| 久久久久久久久大av| 干丝袜人妻中文字幕| 黄片wwwwww| 欧美高清性xxxxhd video| 少妇丰满av| 亚洲精品第二区| 欧美精品一区二区大全| 日本欧美国产在线视频| 午夜视频国产福利| 国产亚洲91精品色在线| 老女人水多毛片| 日韩三级伦理在线观看| 国产一区有黄有色的免费视频 | 美女xxoo啪啪120秒动态图| 色综合色国产| 久久久色成人| 亚洲精品成人久久久久久| 亚洲在线自拍视频| 天美传媒精品一区二区| 亚洲av日韩在线播放| 免费看日本二区| 亚洲自偷自拍三级| 伊人久久精品亚洲午夜| 中文乱码字字幕精品一区二区三区 | 丰满少妇做爰视频| 国产极品天堂在线| 国产大屁股一区二区在线视频| 嫩草影院精品99| 欧美日韩综合久久久久久| 99热6这里只有精品| 精品久久久久久电影网| 亚洲精品一二三| 能在线免费看毛片的网站| 2022亚洲国产成人精品| 在线观看人妻少妇| 国产综合精华液| 亚洲第一区二区三区不卡| 又爽又黄无遮挡网站| 亚洲18禁久久av| 亚洲欧美日韩东京热| 欧美xxxx黑人xx丫x性爽| 全区人妻精品视频| 午夜爱爱视频在线播放| 99re6热这里在线精品视频| 九九久久精品国产亚洲av麻豆| 久久精品国产亚洲网站| 美女大奶头视频| 亚洲精品一区蜜桃| 五月玫瑰六月丁香| 天堂av国产一区二区熟女人妻| 91久久精品国产一区二区三区| 91狼人影院| 欧美成人a在线观看| 国内精品美女久久久久久| 午夜爱爱视频在线播放| 亚洲欧美日韩无卡精品| 亚洲av在线观看美女高潮| 国产av不卡久久| 国产成人一区二区在线| 六月丁香七月| 精品国产露脸久久av麻豆 | 国产日韩欧美在线精品| 一级毛片电影观看| 日本熟妇午夜| 久久97久久精品| 肉色欧美久久久久久久蜜桃 | 国产亚洲av片在线观看秒播厂 | 三级毛片av免费| 亚洲精品日韩av片在线观看| 九九爱精品视频在线观看| 99热网站在线观看| 国产精品麻豆人妻色哟哟久久 | 啦啦啦韩国在线观看视频| 97在线视频观看| 国产伦一二天堂av在线观看| 卡戴珊不雅视频在线播放| 国产精品久久久久久久电影| 成人性生交大片免费视频hd| 免费看a级黄色片| 久久久久久久大尺度免费视频| 最新中文字幕久久久久| 亚洲精品一区蜜桃| 乱人视频在线观看| 亚洲欧美一区二区三区黑人 | 一级毛片电影观看| 精品国产一区二区三区久久久樱花 | 热99在线观看视频| 尾随美女入室| 在线 av 中文字幕| 九九久久精品国产亚洲av麻豆| 国产午夜精品论理片| 99久国产av精品国产电影| 日本午夜av视频| 国产午夜精品一二区理论片| 美女cb高潮喷水在线观看| 国产一区二区在线观看日韩| 久久久久久久久中文| 久久国内精品自在自线图片| 在线观看一区二区三区| 国产亚洲精品av在线| 日韩亚洲欧美综合| 国产精品av视频在线免费观看| 国产精品人妻久久久久久| 国内精品宾馆在线| 热99在线观看视频| 伦精品一区二区三区| 水蜜桃什么品种好| 国产精品国产三级国产av玫瑰| 黄色一级大片看看| 一级黄片播放器| 国产亚洲91精品色在线| 三级男女做爰猛烈吃奶摸视频| 国产精品伦人一区二区| av一本久久久久| 亚洲av日韩在线播放|