• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    天津交行無(wú)代理IT監(jiān)控方案設(shè)計(jì)與研究

    2018-11-21 11:46王紹紅
    科技創(chuàng)新與應(yīng)用 2018年28期
    關(guān)鍵詞:故障定位指標(biāo)

    王紹紅

    摘 要:“531工程”項(xiàng)目上線(xiàn)后天津交行基于新的IT架構(gòu)設(shè)計(jì)了一套無(wú)需部署代理端的IT監(jiān)控方案,即通過(guò)Linux網(wǎng)絡(luò)命令直接對(duì)主機(jī)服務(wù)和網(wǎng)絡(luò)節(jié)點(diǎn)進(jìn)行逐一掃描,以?huà)呙杞Y(jié)果作為監(jiān)控指標(biāo),通過(guò)指標(biāo)間的關(guān)系來(lái)定位故障點(diǎn),豐富了生產(chǎn)系統(tǒng)監(jiān)控手段,提高了故障發(fā)現(xiàn)和排除的效率。

    關(guān)鍵詞:IT運(yùn)維;無(wú)代理監(jiān)控;指標(biāo);故障定位;CMDB

    中圖分類(lèi)號(hào):TP308 文獻(xiàn)標(biāo)志碼:A 文章編號(hào):2095-2945(2018)28-0096-03

    Abstract: After the "531 Project" was launched, Bank of Communications Tianjin Branch designed a set of IT monitoring scheme based on the new IT architecture without the need to deploy the agent, that is, directly scanning the host service and network nodes one by one through the Linux network command. The scanning result is used as the monitoring index to locate the fault point through the relationship between the indicators, which enriches the monitoring means of the production system and improves the efficiency of fault detection and removal.

    Keywords: IT operation and maintenance; agentless monitoring; index; fault location; CMDB

    1 概述

    隨著交通銀行“境內(nèi)外一體化全業(yè)務(wù)系統(tǒng)重構(gòu)工程” (即531工程)項(xiàng)目2015年7月在天津成功上線(xiàn),交通銀行天津市分行(下面簡(jiǎn)稱(chēng)天津交行)在以新型技術(shù)架構(gòu)助推銀行轉(zhuǎn)型發(fā)展的道路上邁出了一大步。這項(xiàng)浩大的工程,以業(yè)務(wù)整合為突破口,打破橫向條塊分割的約束,立足當(dāng)下,著眼未來(lái),以強(qiáng)大前臺(tái)、高效中臺(tái)、集約后臺(tái)合力打造一流的流程銀行。新架構(gòu)在為業(yè)務(wù)發(fā)展提供支撐和推力同時(shí),也為開(kāi)創(chuàng)IT運(yùn)維工作新局面提供了契機(jī)。天津交行作為交通銀行的省級(jí)分行,在工程上線(xiàn)期間即考慮未來(lái)的分行IT監(jiān)控問(wèn)題,基于對(duì)新架構(gòu)下主要系統(tǒng)的技術(shù)平臺(tái)高度統(tǒng)一的認(rèn)知,逐漸形成了一套對(duì)生產(chǎn)運(yùn)行幾乎無(wú)影響的無(wú)代理監(jiān)控方案。傳統(tǒng)的監(jiān)控,一般是在各目標(biāo)主機(jī)部署代理端抓取系統(tǒng)運(yùn)行信息發(fā)送給監(jiān)控服務(wù)器,由其加工后生成圖表、發(fā)出異常警告。由于代理端自身對(duì)系統(tǒng)資源是有消耗的,其開(kāi)發(fā)、部署、維護(hù)需要一定的人力成本和時(shí)間成本。同時(shí)重要的網(wǎng)絡(luò)節(jié)點(diǎn)也需要監(jiān)控,而代理端程序很難在網(wǎng)絡(luò)設(shè)備上安裝,因而傳統(tǒng)模式存在某種局限性,需要新的監(jiān)控手段作為補(bǔ)充。新的方案放棄了傳統(tǒng)的代理端部署,改為通過(guò)Linux網(wǎng)絡(luò)命令直接對(duì)主機(jī)服務(wù)和網(wǎng)絡(luò)節(jié)點(diǎn)進(jìn)行逐一掃描,以?huà)呙杞Y(jié)果作為監(jiān)控指標(biāo),通過(guò)指標(biāo)間的關(guān)系來(lái)定位故障點(diǎn),豐富了生產(chǎn)系統(tǒng)監(jiān)控手段,提高了故障發(fā)現(xiàn)和排除的效率。此方案一經(jīng)初步實(shí)施,即收到良好效果。據(jù)此設(shè)立的無(wú)代理監(jiān)控平臺(tái)(下稱(chēng)監(jiān)控平臺(tái))一期腳本僅幾千字節(jié),以集中的網(wǎng)絡(luò)掃描代替分散的代理端數(shù)據(jù)采集,實(shí)現(xiàn)了對(duì)生產(chǎn)系統(tǒng)大部分重要節(jié)點(diǎn)的監(jiān)控。目前監(jiān)控平臺(tái)還在根據(jù)預(yù)先設(shè)計(jì)的方案持續(xù)建設(shè)中。本文謹(jǐn)從介紹平臺(tái)當(dāng)前架構(gòu)和技術(shù)出發(fā),延伸到下一步以指標(biāo)及指標(biāo)依賴(lài)、指標(biāo)集合為核心的智能化監(jiān)控目標(biāo),對(duì)未來(lái)可能使用到的其他技術(shù)做出初步的研究。

    2 監(jiān)控平臺(tái)現(xiàn)狀和核心技術(shù)

    傳統(tǒng)監(jiān)控模式下的信息流向是從各代理端到服務(wù)端,代理端處于主動(dòng)地位。在天津交行的無(wú)代理監(jiān)控平臺(tái)中沒(méi)有代理端、服務(wù)端的區(qū)分,監(jiān)控的發(fā)起始于平臺(tái)主機(jī),目標(biāo)則是IT系統(tǒng)的各個(gè)主機(jī)、網(wǎng)絡(luò)上的各個(gè)重要節(jié)點(diǎn)。常規(guī)情況下,監(jiān)控平臺(tái)根據(jù)預(yù)先定義的掃描策略在指定時(shí)間對(duì)目標(biāo)主機(jī)、網(wǎng)絡(luò)節(jié)點(diǎn)進(jìn)行網(wǎng)絡(luò)掃描,同步記錄掃描結(jié)果,生成可通過(guò)Web瀏覽器訪(fǎng)問(wèn)的報(bào)告,發(fā)現(xiàn)有某項(xiàng)結(jié)果異常,根據(jù)策略中設(shè)定的信息發(fā)出警報(bào)。網(wǎng)絡(luò)掃描結(jié)果的有效性基于IT系統(tǒng)得以正常運(yùn)行的三點(diǎn)基本要求:(1)各主機(jī)、網(wǎng)絡(luò)節(jié)點(diǎn)在網(wǎng)絡(luò)上處于連通狀態(tài)。(2)主機(jī)的對(duì)外服務(wù)端口處于監(jiān)聽(tīng)狀態(tài)。(3)主機(jī)對(duì)外服務(wù)對(duì)請(qǐng)求應(yīng)該有合理的響應(yīng)。

    監(jiān)控平臺(tái)運(yùn)行在Linux操作系統(tǒng)上,其原生的三個(gè)網(wǎng)絡(luò)命令ping、netcat、curl可以分別按上述三點(diǎn)要求對(duì)IT系統(tǒng)(含網(wǎng)絡(luò)設(shè)備)進(jìn)行掃描。ping命令很常用,可檢測(cè)某個(gè)ip在網(wǎng)絡(luò)上能否到達(dá)。netcat命令是一個(gè)強(qiáng)大的端口通訊工具,可以檢測(cè)監(jiān)聽(tīng)端口,發(fā)送報(bào)文,模擬交易請(qǐng)求。對(duì)于提供Web服務(wù)的主機(jī),netcat命令已經(jīng)不能滿(mǎn)足全部要求,因?yàn)榧词苟丝谔幱诒O(jiān)聽(tīng)狀態(tài),也不代表Web服務(wù)正常。這就需要用到curl命令,一個(gè)在文字環(huán)境下模擬瀏覽器訪(fǎng)問(wèn)獲取頁(yè)面源代碼、下載文件、發(fā)送POST請(qǐng)求的工具。它無(wú)視Web服務(wù)器的具體應(yīng)用邏輯,帶上特定的參數(shù)執(zhí)行,通過(guò)判斷命令的Shell返回值即可檢測(cè)Web服務(wù)的正常性、Web部署的有效性。

    curl命令和netcat命令一樣,也可以模擬交易請(qǐng)求。但是,生產(chǎn)環(huán)境中不可能大規(guī)模地模擬交易。一些系統(tǒng)對(duì)請(qǐng)求的來(lái)源和報(bào)文有校驗(yàn),而由于交易接口的龐雜與多變,監(jiān)控平臺(tái)不可能頻繁地去同步變更,因此,模擬交易只能在個(gè)別關(guān)鍵而簡(jiǎn)單的監(jiān)控需求上有限使用。這些交易請(qǐng)求大都會(huì)返回用戶(hù)權(quán)限不足等業(yè)務(wù)類(lèi)報(bào)錯(cuò)信息,而這恰恰是正常的。

    3 監(jiān)控指標(biāo)體系與故障定位

    (1)指標(biāo)體系的引入。監(jiān)控平臺(tái)所使用的ping、netcat、curl三個(gè)網(wǎng)絡(luò)掃描命令,其執(zhí)行結(jié)果其實(shí)有著遞次依賴(lài)的關(guān)系。對(duì)于無(wú)法ping通的主機(jī),只要其未禁止ICMP協(xié)議,使用netcat掃描肯定失敗,而對(duì)于netcat掃描端口返回失敗的Web服務(wù),就沒(méi)必要再使用curl嘗試訪(fǎng)問(wèn)了。生產(chǎn)系統(tǒng)實(shí)際運(yùn)行中存在著更廣泛的依賴(lài)關(guān)系。對(duì)于交易路徑中串聯(lián)的各個(gè)系統(tǒng)節(jié)點(diǎn),只要最后一個(gè)節(jié)點(diǎn)停止服務(wù),那么其余的各節(jié)點(diǎn)交易都會(huì)返回失敗。對(duì)于負(fù)責(zé)與總行通訊的節(jié)點(diǎn),其故障將導(dǎo)致分行業(yè)務(wù)近乎全局性的癱瘓,其他系統(tǒng)健康狀況再良好也無(wú)濟(jì)于事。網(wǎng)上也是如此,某個(gè)交換機(jī)的宕機(jī),將使得整片網(wǎng)絡(luò)的電腦處于斷網(wǎng)狀態(tài)。將依賴(lài)關(guān)系反過(guò)來(lái),由結(jié)果推導(dǎo)原因,可用于揭示某些問(wèn)題??梢詐ing通但netcat其某個(gè)端口不通,說(shuō)明該端口未處于監(jiān)聽(tīng)狀態(tài)。就交易渠道而言,柜面交易大面積報(bào)錯(cuò),但其他渠道沒(méi)有異常,那么基本可以判定柜面交易相關(guān)的系統(tǒng)出現(xiàn)了問(wèn)題。為了規(guī)范化地描述上述分析判斷過(guò)程,在監(jiān)控方案中,將網(wǎng)絡(luò)掃描項(xiàng)稱(chēng)為指標(biāo),稱(chēng)指標(biāo)間的依賴(lài)關(guān)系為指標(biāo)依賴(lài),引入數(shù)學(xué)上的集合概念,將一組擁有某共同特性的指標(biāo)作為一個(gè)整體來(lái)分析,通過(guò)指標(biāo)、集合間的邏輯關(guān)系評(píng)估生產(chǎn)運(yùn)行情況,從而構(gòu)建一個(gè)監(jiān)控指標(biāo)體系。這些共同特性包括網(wǎng)段、應(yīng)用系統(tǒng)、物理位置、邏輯位置或管理視角等多方面,根據(jù)監(jiān)控的需要而設(shè)定、擴(kuò)充、調(diào)整。(2)指標(biāo)體系的設(shè)計(jì)。監(jiān)控平臺(tái)目前的常規(guī)掃描策略在定義時(shí)已經(jīng)考慮了指標(biāo)間的依賴(lài)關(guān)系,避免無(wú)謂的重復(fù),但是有時(shí)候,“重復(fù)”又是必要的。例如,netcat端口掃描結(jié)果正常意味著無(wú)需再進(jìn)行ping掃描,但是前者返回異常,那就需要后者來(lái)定位到底是網(wǎng)絡(luò)中斷還是端口服務(wù)停止。這種取舍的選擇,需要依靠指標(biāo)的依賴(lài)關(guān)系來(lái)決定。在定義指標(biāo)時(shí),如果它的正常有賴(lài)于另一個(gè)指標(biāo)的正常,就要在指標(biāo)依賴(lài)關(guān)系配置文件中指定。一個(gè)指標(biāo)的正常有可能依賴(lài)多個(gè)指標(biāo)的正常,也可能是多個(gè)指標(biāo)的正常依賴(lài)于一個(gè)指標(biāo)的正常,就需要將對(duì)應(yīng)依賴(lài)關(guān)系拆成一對(duì)一的記錄存儲(chǔ)下來(lái),以便于監(jiān)控平臺(tái)能夠智能地選擇需要檢測(cè)的指標(biāo),避免沒(méi)必要的重復(fù)的同時(shí)也可以快速地判斷出是哪個(gè)指標(biāo)是系統(tǒng)異常的根源。有時(shí)候一個(gè)指標(biāo)的正常,會(huì)依賴(lài)多個(gè)其他指標(biāo)中任何一個(gè)或全部的正常。這多個(gè)指標(biāo)必然有某種共性,否則無(wú)法造成統(tǒng)一的影響,可以視為一個(gè)集合。集合內(nèi)成員在條件判斷上也許是“或”的關(guān)系,例如做了負(fù)載均衡的服務(wù)器組的任何一臺(tái)服務(wù)器正常即可保障基本的功能,也有可能是“與”的關(guān)系,例如一個(gè)交易路徑上的全部系統(tǒng)都正常才能保證交易能夠順利提交到總行。定義集合時(shí)需要考慮其成員關(guān)系的類(lèi)型,不限于“或”和“與”。集合本身也是一個(gè)指標(biāo),其值不是成員狀態(tài)的簡(jiǎn)單疊加,而是要基于一個(gè)科學(xué)合理的算法進(jìn)行計(jì)算。例如一個(gè)前置機(jī)房?jī)?nèi)的幾百臺(tái)設(shè)備因?yàn)槟撤N動(dòng)力環(huán)境原因?qū)е氯繑嗑W(wǎng),監(jiān)控平臺(tái)不應(yīng)該為每臺(tái)設(shè)備播報(bào)一遍故障,而應(yīng)在檢測(cè)到全部斷網(wǎng)前已經(jīng)有一個(gè)準(zhǔn)確的評(píng)估,發(fā)出一個(gè)精準(zhǔn)的整體性警報(bào)。同指標(biāo)與指標(biāo)之間一樣,集合與集合、單個(gè)指標(biāo)之間也可以有依賴(lài)關(guān)系,集合可以有自己的子集,它也可能是其他集合的子集。除此外,集合還有交集、并集、補(bǔ)集運(yùn)算,方法同數(shù)學(xué)上集合的運(yùn)算一致。(3)故障點(diǎn)快速定位。在通常情況下,監(jiān)控平臺(tái)直接以一個(gè)又一個(gè)的指標(biāo)逐一呈現(xiàn)生產(chǎn)服務(wù)狀態(tài),發(fā)現(xiàn)異常立即發(fā)出信息精準(zhǔn)的警報(bào),直接定位到ip地址、端口、Web服務(wù)、Web部署,運(yùn)維人員可以立即對(duì)目標(biāo)進(jìn)行檢查。

    但是,很多時(shí)候,對(duì)故障的判斷不能只是靠這種孤立的指標(biāo)來(lái)實(shí)現(xiàn),而是要參照多個(gè)指標(biāo)。以高可用集群為例。正常情況下,集群的兩個(gè)節(jié)點(diǎn)都處于網(wǎng)絡(luò)連通狀態(tài),其中活動(dòng)節(jié)點(diǎn)以Service IP對(duì)外提供服務(wù)。有一天忽然活動(dòng)節(jié)點(diǎn)的Boot IP卻無(wú)法訪(fǎng)問(wèn),但集群的Service IP和備用節(jié)點(diǎn)的Boot IP處于連通狀態(tài),那就說(shuō)明集群的生產(chǎn)服務(wù)已經(jīng)發(fā)生了HA接管,活動(dòng)節(jié)點(diǎn)宕機(jī),備用節(jié)點(diǎn)已經(jīng)啟動(dòng)對(duì)外服務(wù)。這里就需要ping三個(gè)ip地址,分別獲取指標(biāo)值,符合上述狀態(tài),即可發(fā)出HA接管警報(bào),而不僅僅是報(bào)告活動(dòng)節(jié)點(diǎn)宕機(jī)。

    一些復(fù)雜的情況,可以借助依賴(lài)關(guān)系和集合概念來(lái)分析。圖1是一個(gè)簡(jiǎn)化的多樓層網(wǎng)絡(luò)節(jié)點(diǎn)圖,財(cái)務(wù)部分居3、4樓,分別通過(guò)各自樓層交換機(jī)連往核心交換機(jī)。而3樓除財(cái)務(wù)部還有一個(gè)保衛(wèi)部的監(jiān)控室,通過(guò)3樓交換機(jī)連往核心交換機(jī)。這樣3樓財(cái)務(wù)部同時(shí)屬于3樓和財(cái)務(wù)部的兩個(gè)集合,也就是它們的交集(圖2)。某日這個(gè)交集突然網(wǎng)絡(luò)癱瘓,那就要判斷它所屬兩個(gè)集合的其他成員(補(bǔ)集)的狀況,以此分析是哪個(gè)集合出了問(wèn)題。如果3樓保衛(wèi)部也網(wǎng)絡(luò)癱瘓,4樓財(cái)務(wù)部沒(méi)有問(wèn)題,那幾乎可以判定三樓這個(gè)集合所依賴(lài)的3樓交換機(jī)有了故障。如果3樓保衛(wèi)部和4樓財(cái)務(wù)部也都斷網(wǎng),即3樓、4樓全部斷網(wǎng),而這兩個(gè)樓層共同依賴(lài)的網(wǎng)絡(luò)節(jié)點(diǎn)是核心交換機(jī),應(yīng)該是核心交換機(jī)出現(xiàn)了問(wèn)題。一般情況下,同一樓層各部門(mén)的網(wǎng)絡(luò)狀況應(yīng)該是一樣的,如果某日出現(xiàn)兩層樓的財(cái)務(wù)部都網(wǎng)絡(luò)中斷,而3樓保衛(wèi)部的網(wǎng)絡(luò)卻處于連接狀態(tài),那就需要進(jìn)一步排查,或許有其他未曾預(yù)計(jì)的原因,查明后設(shè)計(jì)好指標(biāo)和策略添加到監(jiān)控平臺(tái)中。

    如同計(jì)算機(jī)人臉識(shí)別往往在速度、準(zhǔn)確性、靈活性上比不上人眼,實(shí)際生產(chǎn)運(yùn)行中,輔助使用一些準(zhǔn)實(shí)時(shí)加載監(jiān)控指標(biāo)數(shù)據(jù)的動(dòng)態(tài)圖表可能效果更好。例如參照機(jī)房布局圖和網(wǎng)絡(luò)拓?fù)鋱D,以主機(jī)、網(wǎng)絡(luò)設(shè)備為節(jié)點(diǎn),以綠、紅兩色表示網(wǎng)絡(luò)連通性的正常和不正常,若某分區(qū)各個(gè)綠點(diǎn)忽然開(kāi)始逐一變?yōu)榧t點(diǎn),那么運(yùn)維人員很容易產(chǎn)生直覺(jué)判斷:該分區(qū)很可能出現(xiàn)了全局性問(wèn)題,譬如斷電。但是,人不可能一直盯著監(jiān)控屏幕看,除了動(dòng)態(tài)圖表,更根本的解決方法是借助一些智能的算法(例如卡爾曼濾波算法)將這種經(jīng)驗(yàn)的判斷轉(zhuǎn)換為監(jiān)控平臺(tái)的自動(dòng)播報(bào)。

    以效率而言,應(yīng)該將重要指標(biāo)和部分重要集合進(jìn)行高頻次重復(fù)掃描、精準(zhǔn)運(yùn)算,及時(shí)發(fā)出告警信息,以便于運(yùn)維人員第一時(shí)間獲得精準(zhǔn)信息,立即投入搶修,而其他指標(biāo)/集合的計(jì)算和動(dòng)態(tài)直觀圖表的重繪,就不必過(guò)于強(qiáng)調(diào)時(shí)效性。

    4 無(wú)代理IT監(jiān)控的未來(lái)研究方向

    (1)根據(jù)監(jiān)控對(duì)象已有協(xié)議和接口輕度侵入。操作系統(tǒng)層的CPU、內(nèi)存、存儲(chǔ)、進(jìn)程等信息是傳統(tǒng)監(jiān)控基本的目標(biāo)。但在監(jiān)控平臺(tái)上,IT系統(tǒng)主機(jī)的這些數(shù)據(jù)都無(wú)法獲取到。對(duì)網(wǎng)絡(luò)設(shè)備,目前僅限于網(wǎng)絡(luò)連通性的判斷,無(wú)法完成對(duì)流量、策略等更深入的檢測(cè),也不能做到路由自動(dòng)發(fā)現(xiàn)。就應(yīng)用層和銀行交易而言,有時(shí)因?yàn)橄到y(tǒng)資源瓶頸、程序代碼存在bug以及其他暫時(shí)未知因素,在相關(guān)范圍內(nèi)也會(huì)有交易緩慢、失敗率過(guò)高甚至業(yè)務(wù)中斷等情況發(fā)生,而監(jiān)控平臺(tái)上卻毫無(wú)征兆。監(jiān)控平臺(tái)的這些短板,需要采用更廣泛的技術(shù)、擴(kuò)充無(wú)代理監(jiān)控的手段來(lái)解決。主機(jī)系統(tǒng)、網(wǎng)絡(luò)設(shè)備、基礎(chǔ)軟件或廣泛或局部開(kāi)放的外部訪(fǎng)問(wèn)協(xié)議和接口為下一步的研究提供了方向,而交通銀行新一代業(yè)務(wù)系統(tǒng)普遍采用了具有自主知識(shí)產(chǎn)權(quán)的架構(gòu)平臺(tái),技術(shù)上高度一致,為監(jiān)控方案的優(yōu)化提供了持續(xù)的便利條件。早年網(wǎng)絡(luò)監(jiān)控即使用了snmp(簡(jiǎn)單網(wǎng)絡(luò)管理協(xié)議),這個(gè)技術(shù)現(xiàn)在還在廣泛的使用,網(wǎng)絡(luò)設(shè)備一般都默認(rèn)可以開(kāi)啟snmp的外部訪(fǎng)問(wèn)。另一個(gè)也具有廣泛性的協(xié)議是ssh(Secure Shell),Unix/Linux操作系統(tǒng)和許多的網(wǎng)絡(luò)設(shè)備都可以通過(guò)該協(xié)議訪(fǎng)問(wèn)。在監(jiān)控平臺(tái)上部署數(shù)據(jù)庫(kù)、Web中間件、消息隊(duì)列工具等基礎(chǔ)軟件的客戶(hù)端,可以相應(yīng)地獲取IT系統(tǒng)上這些基礎(chǔ)軟件的運(yùn)行狀況,間接獲得操作系統(tǒng)層的數(shù)據(jù)。這些協(xié)議和工具的訪(fǎng)問(wèn)對(duì)監(jiān)控目標(biāo)難免會(huì)有一定的寫(xiě)入權(quán)限,但建立了良好的安全訪(fǎng)問(wèn)控制機(jī)制,可以將監(jiān)控對(duì)生產(chǎn)運(yùn)行的擾動(dòng)控制在合理的范圍內(nèi),達(dá)到以輕度侵入實(shí)現(xiàn)無(wú)代理監(jiān)控的目的。

    (2)與配置管理數(shù)據(jù)庫(kù)的整合。IT基礎(chǔ)架構(gòu)庫(kù),即ITIL,是國(guó)際上最成熟的一套IT管理解決方案,為企業(yè)的IT服務(wù)管理實(shí)踐提供了一個(gè)客觀、嚴(yán)謹(jǐn)、可量化的標(biāo)準(zhǔn)和規(guī)范。作為ITIL的主要組成部分之一,配置管理數(shù)據(jù)庫(kù),即CMDB,存儲(chǔ)與管理IT架構(gòu)中資源的各種配置信息,為IT建設(shè)、運(yùn)維提供相關(guān)的基礎(chǔ)配置信息以及配置之間的相互關(guān)系,涵蓋硬件、操作系統(tǒng)、邏輯設(shè)備、系統(tǒng)配置、基礎(chǔ)軟件、應(yīng)用部署以及相關(guān)管理信息等各個(gè)方面。運(yùn)維人員可以根據(jù)設(shè)備的名稱(chēng)來(lái)檢索它上、下游和同級(jí)的關(guān)聯(lián)信息,輕松地了解生產(chǎn)運(yùn)行全局資源的組織架構(gòu),輔助判斷某項(xiàng)資源調(diào)整時(shí)可能涉及的方方面面,同樣也能知曉某項(xiàng)資源缺失會(huì)影響哪些業(yè)務(wù)和系統(tǒng),或者反過(guò)來(lái)由某個(gè)結(jié)果推算導(dǎo)致其發(fā)生的原因。監(jiān)控平臺(tái)的指標(biāo)、集合及其相互關(guān)系,某種程度可以視為配置管理數(shù)據(jù)庫(kù)的一部分,在監(jiān)控層面可以認(rèn)為二者之間有相當(dāng)大的重合。例如,對(duì)于一個(gè)Service IP,在配置管理數(shù)據(jù)中,它從屬于某個(gè)高可用集群,其下一級(jí)又有多個(gè)對(duì)外提供服務(wù)的監(jiān)聽(tīng)端口,而同樣的關(guān)系也會(huì)體現(xiàn)在監(jiān)控平臺(tái)上。在未來(lái)的方案中,配置管理數(shù)據(jù)庫(kù)的完整和及時(shí)更新,能為監(jiān)控平臺(tái)監(jiān)控對(duì)象的全面性、準(zhǔn)確性、合理性提供可靠的參照。相反,監(jiān)控平臺(tái)可以幫助核對(duì)配置管理數(shù)據(jù)庫(kù)中的數(shù)據(jù),在配置管理數(shù)據(jù)庫(kù)的關(guān)系結(jié)構(gòu)圖中顯示配置項(xiàng)的可用狀態(tài),提示出某些配置項(xiàng)信息或配置項(xiàng)之間關(guān)系的變化。基于配置管理數(shù)據(jù)庫(kù)數(shù)據(jù)和監(jiān)控平臺(tái)監(jiān)控對(duì)象的相似性與相關(guān)性,二者可以深度整合,避免維護(hù)兩套數(shù)據(jù)帶來(lái)的額外工作量和數(shù)據(jù)不一致,也便于運(yùn)維人員更容易理解、把控雙方數(shù)據(jù)。

    5 結(jié)束語(yǔ)

    天津交行無(wú)代理IT監(jiān)控方案目前主要是實(shí)現(xiàn)了本文第一部分的目標(biāo),即根據(jù)預(yù)先設(shè)定的策略對(duì)生產(chǎn)系統(tǒng)重要服務(wù)和生產(chǎn)網(wǎng)絡(luò)重要節(jié)點(diǎn)進(jìn)行網(wǎng)絡(luò)掃描,已經(jīng)覆蓋主要系統(tǒng)、大部分應(yīng)用服務(wù)和重要網(wǎng)絡(luò)節(jié)點(diǎn)。對(duì)于監(jiān)控指標(biāo)的依賴(lài)關(guān)系判定、集合劃分、邏輯關(guān)系分析、故障定位、圖表展示以及無(wú)代理檢測(cè)手段的擴(kuò)充、監(jiān)控平臺(tái)策略定義與配置管理數(shù)據(jù)庫(kù)的整合,目前在進(jìn)行進(jìn)一步的細(xì)化設(shè)計(jì)和深入研究。相信整個(gè)方案的完全實(shí)施,對(duì)的系統(tǒng)監(jiān)控工作將更有裨益,其輕量、易部署、易擴(kuò)展的特性也有助于它的向外推廣。

    參考文獻(xiàn):

    [1]張曉丹.面向業(yè)務(wù)應(yīng)用交易的IT運(yùn)維監(jiān)控系統(tǒng)建設(shè)思路[J].中國(guó)金融電腦,2015(1).

    [2]卑風(fēng).基于ITIL體系的銀行數(shù)據(jù)中心配置管理工具的分析與設(shè)計(jì)[J].微型電腦應(yīng)用,2013(3).

    猜你喜歡
    故障定位指標(biāo)
    主要宏觀經(jīng)濟(jì)指標(biāo)及債券指標(biāo)統(tǒng)計(jì)表
    主要宏觀經(jīng)濟(jì)指標(biāo)及債券指標(biāo)統(tǒng)計(jì)表
    主要宏觀經(jīng)濟(jì)指標(biāo)及債券指標(biāo)統(tǒng)計(jì)表
    小電流接地系統(tǒng)故障定位技術(shù)研究
    基于GIS的電力系統(tǒng)光纜故障快速定位研究
    主要宏觀經(jīng)濟(jì)指標(biāo)及債券指標(biāo)統(tǒng)計(jì)表
    測(cè)控區(qū)和非測(cè)控區(qū)并存的配電網(wǎng)故障定位實(shí)用方法
    探討智能配電網(wǎng)故障快速定位與故障恢復(fù)
    電力電纜故障定位的探討
    主要宏觀經(jīng)濟(jì)指標(biāo)及債券指標(biāo)統(tǒng)計(jì)表
    日韩中字成人| 国产成人a区在线观看| 水蜜桃什么品种好| 一级片'在线观看视频| 精品人妻视频免费看| 人人妻人人澡人人爽人人夜夜| 最近中文字幕2019免费版| 中文字幕久久专区| 在线精品无人区一区二区三 | 亚洲精品国产av蜜桃| 亚洲aⅴ乱码一区二区在线播放| 欧美日韩在线观看h| 精品熟女少妇av免费看| 老师上课跳d突然被开到最大视频| 熟女人妻精品中文字幕| 91久久精品国产一区二区成人| 日韩中文字幕视频在线看片 | 日韩一区二区三区影片| 极品教师在线视频| 久久99热这里只频精品6学生| 国产黄片视频在线免费观看| 中文精品一卡2卡3卡4更新| av免费在线看不卡| 欧美日韩视频精品一区| 少妇人妻一区二区三区视频| 国产一区二区三区综合在线观看 | 婷婷色综合大香蕉| 国产白丝娇喘喷水9色精品| 亚洲国产毛片av蜜桃av| 亚洲国产毛片av蜜桃av| 免费看av在线观看网站| 麻豆成人午夜福利视频| 在线观看免费高清a一片| 97热精品久久久久久| 欧美另类一区| 国产成人精品婷婷| 在线观看三级黄色| 男的添女的下面高潮视频| 精品亚洲成国产av| 妹子高潮喷水视频| 婷婷色av中文字幕| 香蕉精品网在线| 国产日韩欧美亚洲二区| 丝瓜视频免费看黄片| 亚洲第一av免费看| 久久女婷五月综合色啪小说| 26uuu在线亚洲综合色| 九九在线视频观看精品| 97超视频在线观看视频| 简卡轻食公司| 亚洲精品一二三| 天天躁夜夜躁狠狠久久av| 日韩av免费高清视频| 日韩亚洲欧美综合| 人人妻人人看人人澡| 91午夜精品亚洲一区二区三区| 久久人人爽人人爽人人片va| 国产中年淑女户外野战色| 国产在线男女| 国产午夜精品久久久久久一区二区三区| 久久久久人妻精品一区果冻| 晚上一个人看的免费电影| 欧美激情国产日韩精品一区| 久久精品久久久久久久性| 在线观看一区二区三区激情| 天天躁夜夜躁狠狠久久av| 久久久精品94久久精品| 国产一级毛片在线| 夫妻性生交免费视频一级片| 少妇的逼好多水| 男人爽女人下面视频在线观看| 日韩电影二区| 中文欧美无线码| 免费大片18禁| 国产乱人偷精品视频| 亚洲成色77777| 精品久久久久久电影网| 精品一区二区三区视频在线| 国产精品不卡视频一区二区| 亚洲欧美精品专区久久| 亚洲aⅴ乱码一区二区在线播放| 久久久久久久国产电影| 国产白丝娇喘喷水9色精品| 精品一区二区免费观看| 亚洲精品日本国产第一区| 国产淫语在线视频| 中文欧美无线码| 一区二区三区四区激情视频| 久久精品国产鲁丝片午夜精品| 黄色日韩在线| 国产亚洲91精品色在线| 午夜激情福利司机影院| 免费看光身美女| 男女下面进入的视频免费午夜| 亚洲aⅴ乱码一区二区在线播放| 国产爽快片一区二区三区| 岛国毛片在线播放| 免费不卡的大黄色大毛片视频在线观看| 国产免费一区二区三区四区乱码| 国产免费又黄又爽又色| 国产真实伦视频高清在线观看| 久久久久久久精品精品| 涩涩av久久男人的天堂| av网站免费在线观看视频| 97在线视频观看| 人妻系列 视频| 国产伦在线观看视频一区| 精华霜和精华液先用哪个| 午夜福利视频精品| 成人一区二区视频在线观看| 精品人妻视频免费看| 卡戴珊不雅视频在线播放| 直男gayav资源| 日本免费在线观看一区| 久久久久人妻精品一区果冻| 久久精品国产亚洲av天美| 大陆偷拍与自拍| 日韩中文字幕视频在线看片 | 亚洲美女黄色视频免费看| 久久99热这里只频精品6学生| 九九爱精品视频在线观看| 最近中文字幕2019免费版| 国产男人的电影天堂91| 国产中年淑女户外野战色| 99国产精品免费福利视频| 国产黄频视频在线观看| 777米奇影视久久| 亚洲成人手机| 久久久久久久久久久丰满| 黑丝袜美女国产一区| 自拍欧美九色日韩亚洲蝌蚪91 | 亚洲欧美日韩东京热| 国内揄拍国产精品人妻在线| 成年人午夜在线观看视频| 国产精品国产av在线观看| 哪个播放器可以免费观看大片| 久久韩国三级中文字幕| a级一级毛片免费在线观看| 黄片无遮挡物在线观看| 国语对白做爰xxxⅹ性视频网站| 亚洲第一av免费看| 欧美日韩视频精品一区| 欧美成人一区二区免费高清观看| 赤兔流量卡办理| 亚洲熟女精品中文字幕| 一级毛片我不卡| 免费人成在线观看视频色| 国产亚洲5aaaaa淫片| 久久 成人 亚洲| 老女人水多毛片| 中文天堂在线官网| 男男h啪啪无遮挡| 国产高清三级在线| 亚洲天堂av无毛| 99久久综合免费| 夜夜爽夜夜爽视频| 国产 一区精品| 国语对白做爰xxxⅹ性视频网站| 久久这里有精品视频免费| 国产一区二区三区av在线| 18禁在线无遮挡免费观看视频| 国产色婷婷99| 国产精品偷伦视频观看了| 91精品国产国语对白视频| 精品久久久噜噜| 亚洲精品乱码久久久久久按摩| 日本爱情动作片www.在线观看| 乱码一卡2卡4卡精品| 日韩av不卡免费在线播放| 久久青草综合色| 精品亚洲成国产av| 亚洲天堂av无毛| 中文字幕精品免费在线观看视频 | 在线观看免费高清a一片| 国产成人精品一,二区| 午夜日本视频在线| 能在线免费看毛片的网站| 80岁老熟妇乱子伦牲交| 日本vs欧美在线观看视频 | 赤兔流量卡办理| 26uuu在线亚洲综合色| 日本欧美国产在线视频| 黄色配什么色好看| 韩国av在线不卡| 女人久久www免费人成看片| 亚洲国产欧美在线一区| 干丝袜人妻中文字幕| 夫妻性生交免费视频一级片| 一级二级三级毛片免费看| 久久精品国产a三级三级三级| 亚洲av欧美aⅴ国产| 日本av手机在线免费观看| 国产亚洲av片在线观看秒播厂| 亚洲精品乱码久久久久久按摩| 91精品国产国语对白视频| 一级毛片aaaaaa免费看小| 免费观看a级毛片全部| 国产亚洲精品久久久com| 亚洲性久久影院| 最新中文字幕久久久久| 久久久久精品性色| 高清不卡的av网站| a级一级毛片免费在线观看| 婷婷色综合大香蕉| 狂野欧美激情性bbbbbb| 国产av精品麻豆| 在线观看国产h片| 高清在线视频一区二区三区| 精品人妻视频免费看| 毛片女人毛片| 女性生殖器流出的白浆| 丰满迷人的少妇在线观看| 日产精品乱码卡一卡2卡三| 噜噜噜噜噜久久久久久91| 亚洲不卡免费看| 边亲边吃奶的免费视频| 国语对白做爰xxxⅹ性视频网站| 日韩在线高清观看一区二区三区| 国产欧美另类精品又又久久亚洲欧美| 九九爱精品视频在线观看| 91午夜精品亚洲一区二区三区| av卡一久久| 人妻 亚洲 视频| 又大又黄又爽视频免费| 色视频www国产| 国产精品久久久久久久电影| 免费观看无遮挡的男女| 中国美白少妇内射xxxbb| 国产精品一及| 婷婷色av中文字幕| 91午夜精品亚洲一区二区三区| 好男人视频免费观看在线| kizo精华| 高清av免费在线| 狠狠精品人妻久久久久久综合| 国产女主播在线喷水免费视频网站| 日本爱情动作片www.在线观看| 成人一区二区视频在线观看| 亚洲一级一片aⅴ在线观看| 妹子高潮喷水视频| 人妻夜夜爽99麻豆av| 亚洲色图综合在线观看| 91精品一卡2卡3卡4卡| 一本色道久久久久久精品综合| 欧美3d第一页| 亚洲av中文av极速乱| 日韩免费高清中文字幕av| 国产伦在线观看视频一区| 啦啦啦在线观看免费高清www| 女的被弄到高潮叫床怎么办| 在线观看av片永久免费下载| 欧美成人一区二区免费高清观看| 国产成人精品福利久久| 人人妻人人添人人爽欧美一区卜 | 国产一区二区在线观看日韩| 国产无遮挡羞羞视频在线观看| 身体一侧抽搐| 亚洲精品国产av成人精品| 免费看光身美女| 欧美另类一区| 免费人成在线观看视频色| 九九久久精品国产亚洲av麻豆| 日本黄色片子视频| 男女边摸边吃奶| 一级毛片我不卡| 一个人看视频在线观看www免费| 精品久久国产蜜桃| 国产 一区 欧美 日韩| 欧美日韩精品成人综合77777| 狂野欧美激情性bbbbbb| 亚洲精品aⅴ在线观看| 久久午夜福利片| 欧美激情国产日韩精品一区| 99九九线精品视频在线观看视频| 成人午夜精彩视频在线观看| 国产成人精品婷婷| 国产日韩欧美在线精品| 一本—道久久a久久精品蜜桃钙片| 如何舔出高潮| 国产真实伦视频高清在线观看| 丝袜脚勾引网站| 最近中文字幕2019免费版| 国产高清有码在线观看视频| 日日摸夜夜添夜夜添av毛片| 亚洲精品国产成人久久av| 久久久a久久爽久久v久久| 最黄视频免费看| 韩国av在线不卡| 纵有疾风起免费观看全集完整版| 毛片女人毛片| 精品熟女少妇av免费看| 最近手机中文字幕大全| av天堂中文字幕网| 天天躁日日操中文字幕| 高清视频免费观看一区二区| 国产精品精品国产色婷婷| 青春草视频在线免费观看| www.色视频.com| 蜜桃亚洲精品一区二区三区| 日本与韩国留学比较| 乱系列少妇在线播放| 高清午夜精品一区二区三区| 丰满少妇做爰视频| 五月开心婷婷网| 18禁在线播放成人免费| 亚洲精华国产精华液的使用体验| 久久久国产一区二区| 国产乱人偷精品视频| 精品国产乱码久久久久久小说| 久久99热6这里只有精品| 国产高潮美女av| 国产亚洲精品久久久com| 国产精品一区二区在线观看99| 青青草视频在线视频观看| 国产午夜精品一二区理论片| av一本久久久久| 欧美97在线视频| 99热网站在线观看| 97在线人人人人妻| 高清日韩中文字幕在线| av在线app专区| 久久精品国产自在天天线| 成年免费大片在线观看| 自拍偷自拍亚洲精品老妇| 亚洲人与动物交配视频| 男女边摸边吃奶| 国产人妻一区二区三区在| 制服丝袜香蕉在线| 亚洲精品日本国产第一区| 亚洲国产高清在线一区二区三| 国产精品久久久久久av不卡| 女性生殖器流出的白浆| 国产精品久久久久久av不卡| 免费av不卡在线播放| 啦啦啦中文免费视频观看日本| 亚洲国产精品999| 国产视频首页在线观看| 久久亚洲国产成人精品v| 久久久精品94久久精品| 亚洲精品一二三| 欧美成人a在线观看| 日日摸夜夜添夜夜添av毛片| 一级二级三级毛片免费看| 久久久欧美国产精品| 麻豆国产97在线/欧美| 国产成人a区在线观看| 中国三级夫妇交换| 国产精品麻豆人妻色哟哟久久| 亚洲伊人久久精品综合| 亚洲av在线观看美女高潮| 在线观看一区二区三区| 亚洲精品第二区| 男的添女的下面高潮视频| av女优亚洲男人天堂| 精品熟女少妇av免费看| 亚洲精品日本国产第一区| 亚洲欧美一区二区三区黑人 | 免费少妇av软件| 国产精品国产三级国产av玫瑰| 中文字幕人妻熟人妻熟丝袜美| 国产精品秋霞免费鲁丝片| 欧美成人午夜免费资源| 国产成人免费观看mmmm| 欧美成人午夜免费资源| 久久久久久伊人网av| 尤物成人国产欧美一区二区三区| 成人国产av品久久久| 亚洲av免费高清在线观看| 欧美日韩一区二区视频在线观看视频在线| 国产精品久久久久成人av| 熟女电影av网| 中文乱码字字幕精品一区二区三区| 男女免费视频国产| a 毛片基地| 久久久久久九九精品二区国产| 久久久久精品性色| 婷婷色麻豆天堂久久| 午夜激情福利司机影院| 亚洲美女黄色视频免费看| 国产69精品久久久久777片| 免费人妻精品一区二区三区视频| 国产69精品久久久久777片| 中文欧美无线码| 男人狂女人下面高潮的视频| 日韩精品有码人妻一区| 亚洲精品一区蜜桃| 亚洲精品乱久久久久久| 成人一区二区视频在线观看| 成人影院久久| 人妻一区二区av| 校园人妻丝袜中文字幕| 亚洲色图av天堂| 嫩草影院入口| 精品熟女少妇av免费看| 国产 精品1| 亚洲精品亚洲一区二区| 亚洲成人一二三区av| 免费观看a级毛片全部| 亚洲国产成人一精品久久久| 国产成人91sexporn| 乱码一卡2卡4卡精品| 亚洲精品色激情综合| 黄色欧美视频在线观看| 国产精品欧美亚洲77777| av视频免费观看在线观看| 国产精品爽爽va在线观看网站| 日韩成人伦理影院| 国产av国产精品国产| 亚洲经典国产精华液单| 日本一二三区视频观看| 在线观看av片永久免费下载| 妹子高潮喷水视频| 亚洲av成人精品一二三区| 尤物成人国产欧美一区二区三区| 啦啦啦在线观看免费高清www| 日韩一区二区视频免费看| 男女国产视频网站| 亚洲性久久影院| 国产高清有码在线观看视频| 黑丝袜美女国产一区| 2021少妇久久久久久久久久久| 国产高潮美女av| 国产中年淑女户外野战色| 亚洲美女黄色视频免费看| 久久久久久久大尺度免费视频| 国产精品av视频在线免费观看| 乱码一卡2卡4卡精品| 欧美精品国产亚洲| 在线播放无遮挡| 少妇裸体淫交视频免费看高清| 亚洲国产日韩一区二区| 王馨瑶露胸无遮挡在线观看| 我的老师免费观看完整版| 丝袜脚勾引网站| 国产极品天堂在线| 在线亚洲精品国产二区图片欧美 | 亚洲天堂av无毛| 亚洲精品乱码久久久v下载方式| 少妇人妻久久综合中文| 黄色欧美视频在线观看| 一级二级三级毛片免费看| www.av在线官网国产| 天天躁夜夜躁狠狠久久av| 国产成人aa在线观看| 自拍偷自拍亚洲精品老妇| 亚洲国产成人一精品久久久| 丰满人妻一区二区三区视频av| 亚洲丝袜综合中文字幕| 欧美一区二区亚洲| 女人久久www免费人成看片| 性色avwww在线观看| av在线蜜桃| 三级国产精品片| 精华霜和精华液先用哪个| 伊人久久国产一区二区| 国产精品三级大全| 久久精品国产亚洲av涩爱| 精品久久久久久久末码| 我的老师免费观看完整版| 久久精品国产亚洲网站| 又大又黄又爽视频免费| 欧美一级a爱片免费观看看| 国产亚洲最大av| 亚洲在久久综合| 国模一区二区三区四区视频| 国内少妇人妻偷人精品xxx网站| 国产精品国产三级国产专区5o| 精品国产乱码久久久久久小说| 国产 一区 欧美 日韩| 亚洲国产欧美人成| 久久精品国产亚洲av涩爱| 欧美成人一区二区免费高清观看| 精品人妻偷拍中文字幕| 蜜桃亚洲精品一区二区三区| 成人国产av品久久久| 极品教师在线视频| 免费不卡的大黄色大毛片视频在线观看| 国产伦精品一区二区三区四那| 午夜免费鲁丝| av.在线天堂| 亚洲人与动物交配视频| 99热国产这里只有精品6| tube8黄色片| 欧美另类一区| 女人久久www免费人成看片| 一本一本综合久久| av在线观看视频网站免费| 高清毛片免费看| xxx大片免费视频| 中国美白少妇内射xxxbb| 国产精品久久久久久av不卡| 成人毛片a级毛片在线播放| 国产69精品久久久久777片| 精品久久久久久电影网| av视频免费观看在线观看| 女人十人毛片免费观看3o分钟| 国产熟女欧美一区二区| 韩国av在线不卡| 亚洲美女视频黄频| 国产欧美日韩精品一区二区| 国产黄片视频在线免费观看| 亚洲欧美精品自产自拍| 亚洲av综合色区一区| 亚洲av.av天堂| 午夜免费男女啪啪视频观看| 亚洲成人手机| 亚洲激情五月婷婷啪啪| 久久精品国产亚洲av天美| 国产亚洲午夜精品一区二区久久| 国产一区二区三区综合在线观看 | av在线观看视频网站免费| 久久精品国产亚洲av天美| 麻豆国产97在线/欧美| 久久鲁丝午夜福利片| 日韩免费高清中文字幕av| 蜜臀久久99精品久久宅男| 久久精品国产亚洲av天美| 国产精品欧美亚洲77777| 国产精品一区二区三区四区免费观看| 亚洲国产色片| 精华霜和精华液先用哪个| 成人美女网站在线观看视频| 国产综合精华液| 亚洲国产高清在线一区二区三| 青春草国产在线视频| 高清日韩中文字幕在线| 熟女av电影| 欧美成人一区二区免费高清观看| 久久久午夜欧美精品| 国产在线一区二区三区精| 精品一区在线观看国产| 少妇丰满av| 在线观看免费视频网站a站| 亚洲精品久久午夜乱码| 国产免费福利视频在线观看| 香蕉精品网在线| 又粗又硬又长又爽又黄的视频| 国产在线视频一区二区| 中文乱码字字幕精品一区二区三区| 日本色播在线视频| 夜夜爽夜夜爽视频| 高清不卡的av网站| 亚洲av欧美aⅴ国产| 国产爽快片一区二区三区| 各种免费的搞黄视频| 国产伦在线观看视频一区| 免费观看的影片在线观看| 亚洲欧美日韩无卡精品| 日韩视频在线欧美| 免费观看无遮挡的男女| 国产乱人视频| 尤物成人国产欧美一区二区三区| 亚洲av电影在线观看一区二区三区| 插逼视频在线观看| 青春草国产在线视频| 中国三级夫妇交换| 内射极品少妇av片p| 在现免费观看毛片| 日本午夜av视频| 成人一区二区视频在线观看| 91精品伊人久久大香线蕉| 久久久亚洲精品成人影院| 直男gayav资源| 成人18禁高潮啪啪吃奶动态图 | 一级爰片在线观看| 啦啦啦中文免费视频观看日本| 成人毛片a级毛片在线播放| 欧美高清性xxxxhd video| 伦理电影免费视频| 一级毛片黄色毛片免费观看视频| 国产一级毛片在线| 有码 亚洲区| 夫妻性生交免费视频一级片| 国产亚洲一区二区精品| 亚洲国产欧美在线一区| 亚洲中文av在线| 国产黄色视频一区二区在线观看| 亚洲国产精品专区欧美| 国产精品99久久久久久久久| 五月天丁香电影| 精品国产三级普通话版| 久久毛片免费看一区二区三区| 国语对白做爰xxxⅹ性视频网站| 国产精品无大码| 成人一区二区视频在线观看| 好男人视频免费观看在线| 国产黄频视频在线观看| 成人综合一区亚洲| 99久久综合免费| 国产黄频视频在线观看| 男人添女人高潮全过程视频| 99久久综合免费| av播播在线观看一区| 男人添女人高潮全过程视频| 18禁在线无遮挡免费观看视频| 亚洲精品,欧美精品| 中文字幕久久专区| 大片免费播放器 马上看| 免费人妻精品一区二区三区视频| 夜夜爽夜夜爽视频| 99久久综合免费| 国产午夜精品久久久久久一区二区三区| 中文字幕久久专区| 亚洲欧美一区二区三区黑人 | 欧美最新免费一区二区三区| 国产69精品久久久久777片| 国产国拍精品亚洲av在线观看| 女人久久www免费人成看片| 日韩一区二区三区影片| 久久人人爽人人爽人人片va| 老司机影院毛片| 美女视频免费永久观看网站| 久久久精品94久久精品| 免费观看在线日韩| 高清毛片免费看|