• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    云視頻系統(tǒng)服務(wù)高可用技術(shù)

    2023-08-31 03:05:36謝永強(qiáng)李忠博李少南
    指揮與控制學(xué)報(bào) 2023年3期
    關(guān)鍵詞:信令架構(gòu)節(jié)點(diǎn)

    徐 艷 謝永強(qiáng) 李忠博 齊 錦 李少南

    視頻技術(shù)的飛速發(fā)展?jié)M足了人們?nèi)找嬖鲩L的可視化通信需求[1],深刻改變了溝通交流、目標(biāo)監(jiān)控和情報(bào)傳遞方式.視頻通信系統(tǒng)已經(jīng)滲透到遠(yuǎn)程會(huì)議、在線教育、遠(yuǎn)程醫(yī)療等多個(gè)民用領(lǐng)域[2],在指揮控制領(lǐng)域也構(gòu)成了信息基礎(chǔ)設(shè)施的重要部分.

    隨著云計(jì)算技術(shù)的不斷成熟,視頻通信系統(tǒng)逐漸向云化演進(jìn),形成了彈性部署、實(shí)時(shí)高效、架構(gòu)靈活的云視頻系統(tǒng).在民用領(lǐng)域,圍繞音視頻編解碼、資源調(diào)度、云視頻架構(gòu)等關(guān)鍵技術(shù)已有大量研究.國內(nèi)外視頻通信和云計(jì)算廠商也推出了許多云視頻系統(tǒng)產(chǎn)品,例如國產(chǎn)的阿里釘釘、華為WeLink、騰訊會(huì)議等,以及國外的Polycom、Zoom 等,因其低成本、高質(zhì)量的視頻服務(wù)得到了市場高度認(rèn)可.2019 年12月,新冠疫情爆發(fā),云視頻系統(tǒng)更是在人們居家隔離對(duì)抗疫情期間發(fā)揮了不可或缺的作用,使經(jīng)濟(jì)、政治、民生得以遠(yuǎn)程開展.

    在軍用領(lǐng)域,視頻通信系統(tǒng)傳遞音視頻資源為主體的戰(zhàn)場信息,為指揮員提供身臨其境、高效快捷的指揮能力,為可視化信息作戰(zhàn)提供技術(shù)平臺(tái)支撐.例如美軍的遠(yuǎn)程視頻增強(qiáng)(remotely operated video enhanced receiver,ROVER)系統(tǒng)[3],以軍的戰(zhàn)場視頻網(wǎng)系統(tǒng)等,利用共享實(shí)時(shí)圖像,建立戰(zhàn)場信息共識(shí)以及形象直觀、準(zhǔn)確翔實(shí)的可視化指揮方式.戰(zhàn)術(shù)云是云技術(shù)在邊緣的擴(kuò)展,可搭載在車輛、艦艇等前出平臺(tái)上,賦能戰(zhàn)術(shù)角色的云視頻系統(tǒng)增強(qiáng)態(tài)勢感知和決策能力[4].動(dòng)態(tài)、高壓、資源有限的惡劣戰(zhàn)場環(huán)境對(duì)云視頻系統(tǒng)服務(wù)可用性形成嚴(yán)峻考驗(yàn),而瞬息萬變的戰(zhàn)場敵我對(duì)抗則要求云視頻系統(tǒng)服務(wù)連續(xù)可靠.因此,面向指揮控制領(lǐng)域,云視頻系統(tǒng)服務(wù)高可用研究具有必要性和挑戰(zhàn)性.

    服務(wù)高可用是云視頻系統(tǒng)的非功能性需求之一,指系統(tǒng)穩(wěn)定運(yùn)行所需的故障恢復(fù)和快速接替能力[5],包括冗余、備份、監(jiān)測、恢復(fù)4 個(gè)基礎(chǔ)組件.許多服務(wù)高可用技術(shù)的研究圍繞上述4 個(gè)基礎(chǔ)組件角度分別展開,關(guān)于整體高可用架構(gòu)方案的討論并不多[6-7].另外,云視頻系統(tǒng)依托云平臺(tái)基礎(chǔ)資源,服務(wù)部署在虛擬機(jī)或容器等虛擬環(huán)境中,處理數(shù)據(jù)更多,服務(wù)粒度更細(xì)、服務(wù)交互更復(fù)雜,故障監(jiān)測及失效恢復(fù)開銷更大[8].因此,云視頻系統(tǒng)服務(wù)高可用解決方案需考慮應(yīng)用特性.本文從軟件架構(gòu)、故障監(jiān)測、失效恢復(fù)3 個(gè)角度全面梳理了服務(wù)高可用技術(shù)的研究進(jìn)展.結(jié)合云視頻系統(tǒng)虛擬化運(yùn)行環(huán)境的特點(diǎn)和視頻傳輸協(xié)議棧的特性,提出了包括管理控制服務(wù)、信令協(xié)商服務(wù)、媒體處理服務(wù)在內(nèi)的云視頻系統(tǒng)核心服務(wù)高可用解決方案,旨在改進(jìn)故障監(jiān)測效率和失效恢復(fù)速率.展望了服務(wù)高可用的云視頻系統(tǒng)在指揮控制領(lǐng)域的若干應(yīng)用,以期為云視頻系統(tǒng)在指揮控制領(lǐng)域的實(shí)現(xiàn)提供參考.最后,探討了相應(yīng)的網(wǎng)絡(luò)安全因素.

    1 云視頻系統(tǒng)概述

    1.1 起源發(fā)展

    視頻通信系統(tǒng)是一種利用網(wǎng)絡(luò)通信技術(shù)、多媒體處理技術(shù)和計(jì)算機(jī)技術(shù)實(shí)現(xiàn)點(diǎn)對(duì)點(diǎn)或多點(diǎn)間的音視頻交互的通信系統(tǒng)[9-10],其發(fā)展歷程如圖1 所示.

    圖1 視頻通信系統(tǒng)發(fā)展歷程Fig.1 Development history of video communication system

    20 世紀(jì)60 年代,在通信可視化需求的推動(dòng)下,美國AT&T 公司研制了一套模擬電視會(huì)議系統(tǒng)[11],標(biāo)志著視頻通信系統(tǒng)的發(fā)展開端,掀起了模擬視頻通信系統(tǒng)的研究熱潮.20 世紀(jì)80 年代,隨著數(shù)字信號(hào)處理技術(shù)的成熟,出現(xiàn)了2 Mbit/s 的彩色數(shù)字視頻會(huì)議系統(tǒng),是視頻通信系統(tǒng)數(shù)字化的里程碑.同一階段,音視頻編解碼技術(shù)的提升和視頻通信標(biāo)準(zhǔn)規(guī)范的統(tǒng)一促進(jìn)了視頻通信系統(tǒng)的商用普及.

    20 世紀(jì)90 年代,互聯(lián)網(wǎng)技術(shù)浪潮下,出現(xiàn)了基于分組網(wǎng)絡(luò)的H.323 視頻通信系統(tǒng),并逐漸替代以往基于專線的H.320 視頻通信系統(tǒng),成為工業(yè)界主流.另一方面,國際電信聯(lián)盟電信標(biāo)準(zhǔn)分局(International Telecommunication Union-Telecommunication,ITU-T)引領(lǐng)的H.26x 標(biāo)準(zhǔn)和國際標(biāo)準(zhǔn)化組織(International Organization for Standardization,ISO)引領(lǐng)的動(dòng)態(tài)圖像專家組(moving picture experts group,MPEG)標(biāo)準(zhǔn)推動(dòng)視頻通信系統(tǒng)從標(biāo)清向高清、超高清發(fā)展.

    21 世紀(jì)初,云計(jì)算技術(shù)的快速發(fā)展,促使了視頻通信系統(tǒng)在基礎(chǔ)平臺(tái)上的創(chuàng)新.以云計(jì)算平臺(tái)為基礎(chǔ)的云視頻系統(tǒng)相較于專用硬件平臺(tái)為基礎(chǔ)的傳統(tǒng)視頻通信系統(tǒng)而言,改善了擴(kuò)展成本高、運(yùn)維管理難、資源利用低效的問題,具備高彈性、高性能、高并發(fā)的優(yōu)勢[12].云化是視頻通信系統(tǒng)繼數(shù)字化、網(wǎng)絡(luò)化、高清化后的重要發(fā)展趨勢[13].

    1.2 云視頻系統(tǒng)組成

    云視頻系統(tǒng)可分為云視頻服務(wù)、終端和網(wǎng)絡(luò)3部分[14],其組成如圖2 所示.

    圖2 云視頻系統(tǒng)組成Fig.2 Cloud-based video system composition

    云視頻服務(wù)側(cè)由大規(guī)模、分布式的視頻服務(wù)器集群構(gòu)成,實(shí)現(xiàn)信令交互、媒體處理、媒體存儲(chǔ)、業(yè)務(wù)邏輯等[15],是云視頻系統(tǒng)的核心部分.

    終端側(cè)是用戶獲取視頻服務(wù)的基本入口,實(shí)現(xiàn)媒體數(shù)據(jù)的采集、播放、編解碼.云視頻系統(tǒng)支持泛在終端接入[16],例如會(huì)議室終端、PC 終端、手機(jī)App以及具備音視頻功能的智能穿戴設(shè)備等.

    網(wǎng)絡(luò)是云視頻服務(wù)和終端之間傳遞服務(wù)的信道.云視頻系統(tǒng)支持泛在網(wǎng)絡(luò)接入,包括專線、寬帶和移動(dòng)互聯(lián)網(wǎng)、衛(wèi)星等通信網(wǎng)絡(luò).

    云視頻系統(tǒng)提供服務(wù)的模式為:用戶與運(yùn)營者簽訂服務(wù)等級(jí)協(xié)議(service level agreement,SLA),就視頻質(zhì)量、使用時(shí)長、數(shù)據(jù)存儲(chǔ)與訪問等各項(xiàng)服務(wù)指標(biāo)達(dá)成一致;用戶選擇終端接入方式,包括終端設(shè)備和接入網(wǎng)絡(luò);云視頻服務(wù)按用戶需求實(shí)現(xiàn)終端互連和媒體處理;最終,用戶通過終端獲得已付費(fèi)和授權(quán)的實(shí)時(shí)視頻通信服務(wù).

    1.3 云視頻系統(tǒng)服務(wù)

    云視頻系統(tǒng)的特點(diǎn)是功能服務(wù)化,基本的視頻通信組件和上層的視頻業(yè)務(wù)應(yīng)用均以服務(wù)形式封裝,依托虛擬機(jī)或容器等運(yùn)行環(huán)境部署[17].云視頻系統(tǒng)的服務(wù)包括控制管理、信令協(xié)商、媒體處理等核心服務(wù),以及視頻會(huì)議、視頻協(xié)作、視頻監(jiān)控等應(yīng)用服務(wù).

    云視頻系統(tǒng)可從服務(wù)級(jí)、網(wǎng)絡(luò)級(jí)、平臺(tái)級(jí)、數(shù)據(jù)中心級(jí)等多個(gè)層級(jí)設(shè)置高可用機(jī)制.基于服務(wù)化特點(diǎn),服務(wù)高可用是云視頻系統(tǒng)整體高可用中最為關(guān)鍵的部分,后續(xù)章節(jié)對(duì)當(dāng)前主流服務(wù)高可用技術(shù)進(jìn)行梳理分析.

    2 服務(wù)高可用技術(shù)研究進(jìn)展

    服務(wù)高可用技術(shù)是一種依托軟件架構(gòu),結(jié)合冗余、備份、監(jiān)測、恢復(fù)等高可用組件,實(shí)現(xiàn)服務(wù)穩(wěn)定、可靠運(yùn)行的技術(shù)[18].對(duì)于云視頻系統(tǒng)而言,虛擬化技術(shù)使服務(wù)資源更加靈活,從而降低了服務(wù)高可用機(jī)制中冗余和備份策略的成本.但同時(shí),不斷擴(kuò)大的服務(wù)規(guī)模對(duì)軟件架構(gòu)設(shè)計(jì)形成挑戰(zhàn),驟增的服務(wù)單元及其之間頻繁的交互提升了監(jiān)測和恢復(fù)策略的開銷.分別從軟件架構(gòu)、故障監(jiān)測、失效恢復(fù)3 個(gè)方面梳理國內(nèi)外已有研究.

    2.1 基于軟件架構(gòu)的服務(wù)高可用

    軟件架構(gòu)定義了應(yīng)用的組件結(jié)構(gòu)及其交互關(guān)系,是服務(wù)高可用的基礎(chǔ)[19].典型的軟件架構(gòu)包括單體架構(gòu)、面向服務(wù)的架構(gòu)(service oriented architecture,SOA)和微服務(wù)架構(gòu)等.

    2.1.1 單體架構(gòu)

    傳統(tǒng)軟件應(yīng)用大多采用單體架構(gòu),即業(yè)務(wù)所需的邏輯模塊、運(yùn)行數(shù)據(jù)等作為整體被設(shè)計(jì)、開發(fā)、打包和部署[20],如圖3 所示.

    圖3 單體架構(gòu)Fig.3 Monolithic architechture

    單體架構(gòu)系統(tǒng)的所有軟件功能在同一個(gè)進(jìn)程中執(zhí)行,多個(gè)服務(wù)器共同支持其計(jì)算任務(wù),但內(nèi)部各個(gè)組成模塊無法獨(dú)立運(yùn)行,單個(gè)模塊故障將導(dǎo)致整體功能故障[21].

    隨著業(yè)務(wù)需求變更和系統(tǒng)規(guī)模擴(kuò)增,單體架構(gòu)越來越龐大、復(fù)雜,新業(yè)務(wù)交付周期延長,對(duì)于強(qiáng)實(shí)時(shí)性、高可用性、高伸縮性要求的系統(tǒng)應(yīng)用而言,不利于開發(fā)部署、運(yùn)維管理和升級(jí)維護(hù)[22].例如,2008年,知名流媒體服務(wù)商——Netflix 公司的單體架構(gòu)數(shù)據(jù)中心發(fā)生故障,導(dǎo)致服務(wù)中斷3 d[23],影響全球過億付費(fèi)訂閱用戶體驗(yàn).Netflix 公司意識(shí)到必須通過垂直擴(kuò)展架構(gòu)以避免單點(diǎn)故障后,花費(fèi)近7 年時(shí)間重構(gòu)其單體系統(tǒng),于2016 年完成從單體到微服務(wù)的架構(gòu)遷移,進(jìn)而增強(qiáng)了服務(wù)可用性.

    2.1.2 面向服務(wù)的架構(gòu)

    為了克服單體架構(gòu)的弊端,應(yīng)對(duì)大規(guī)模軟件應(yīng)用服務(wù)高可用要求,產(chǎn)生了SOA.SOA 是一種將整個(gè)應(yīng)用分解為若干個(gè)相互獨(dú)立、自包含、可重用的服務(wù),具有動(dòng)態(tài)、松耦合和分布式特性的架構(gòu)設(shè)計(jì)原則[24].SOA 相對(duì)于單體架構(gòu)降低了組件間的耦合性,便于故障隔離;可啟動(dòng)多個(gè)實(shí)例對(duì)外提供業(yè)務(wù),便于水平擴(kuò)展;通過服務(wù)發(fā)布、注冊(cè)機(jī)制,在線部署服務(wù),無須離線升級(jí)維護(hù),提供了服務(wù)高可用基礎(chǔ).

    Nuve 是一個(gè)典型的SOA 架構(gòu)用例[25],面向視頻會(huì)議即服務(wù).其將音頻、視頻、共享應(yīng)用、協(xié)作等功能封裝成服務(wù),以不同的組合形式為用戶提供靈活、虛擬的云會(huì)議室.位于Nuve 架構(gòu)下層的Marte 服務(wù)器可實(shí)時(shí)創(chuàng)建虛擬會(huì)議室資源,為上層服務(wù)的高可用性提供資源基礎(chǔ).Nuve 架構(gòu)是開源WebRTC 平臺(tái)的Licode 組件.

    類似的SOA 架構(gòu)用例還有“Study on Service-Oriented Cloud Conferencing”[26].該研究提出將SOA架構(gòu)應(yīng)用于視頻會(huì)議系統(tǒng)的平臺(tái)層與應(yīng)用層,并描述了其詳細(xì)結(jié)構(gòu).平臺(tái)層是若干原子服務(wù),如會(huì)議管理、用戶管理、發(fā)言權(quán)控制、音頻處理、視頻處理,服務(wù)動(dòng)態(tài)發(fā)布并在服務(wù)注冊(cè)中心注冊(cè),應(yīng)用層可動(dòng)態(tài)訂閱平臺(tái)層提供的相關(guān)服務(wù),實(shí)時(shí)構(gòu)建、擴(kuò)展不同功能的虛擬會(huì)議室.某個(gè)服務(wù)實(shí)例故障時(shí),服務(wù)注冊(cè)中心即服務(wù)代理指派其他實(shí)例接替服務(wù),實(shí)現(xiàn)服務(wù)高可用.

    SOA 雖然相較于單體架構(gòu),在服務(wù)高可用方面有所提升,但仍存在中心式服務(wù)和共享數(shù)據(jù)環(huán)境的瓶頸.因此,圍繞服務(wù)拆分粒度以及服務(wù)交互環(huán)境又產(chǎn)生了新的架構(gòu)設(shè)計(jì)方法.

    2.1.3 微服務(wù)架構(gòu)

    為了避免SOA 中心式服務(wù)的瓶頸,進(jìn)一步細(xì)化服務(wù)拆分粒度,出現(xiàn)了微服務(wù)架構(gòu)[27-29].2014 年Lewis和Flower 提出微服務(wù)定義:通過一套小型服務(wù)(即微服務(wù))的集合來構(gòu)造單個(gè)應(yīng)用程序,其中每個(gè)微服務(wù)都在自己的進(jìn)程中運(yùn)行,并采用例如HTTP 等輕量通信機(jī)制.首次總結(jié)了這一新的架構(gòu)設(shè)計(jì)原則.

    微服務(wù)相對(duì)于SOA 有3 個(gè)顯著特性:1)去中心化;2)服務(wù)管理機(jī)制;3)更細(xì)的服務(wù)拆分粒度[30].以上3 點(diǎn)特性使微服務(wù)架構(gòu)在避免單點(diǎn)故障、橫向擴(kuò)展和故障隔離方面表現(xiàn)更佳.

    2016 年,Alam A F B 在云視頻軟件開發(fā)研究中提出了一種基于微服務(wù)的軟件架構(gòu)[31].該架構(gòu)主要在平臺(tái)層對(duì)服務(wù)編排和管理作出創(chuàng)新,與以往的SOA單一注冊(cè)中心而沒有編排和管理形成對(duì)比.基礎(chǔ)設(shè)施層調(diào)用第三方提供的會(huì)議基底組件,如呼入信令、呼出信令、音頻混合、視頻混合,提供了比虛擬機(jī)更細(xì)的服務(wù)資源粒度,平臺(tái)開發(fā)過程無須關(guān)注會(huì)議通信細(xì)節(jié),主要聚焦于服務(wù)部署與交互.2018 年,該團(tuán)隊(duì)對(duì)此架構(gòu)進(jìn)行了擴(kuò)展[32],如圖4 所示.

    圖4 云視頻軟件架構(gòu)Fig.4 Cloud-based video software architecture

    該架構(gòu)延伸至基礎(chǔ)設(shè)施層,其命名為子服務(wù)即服務(wù)(sub as a service,SubaaS).該研究包含概念原型驗(yàn)證,但缺少如服務(wù)切換時(shí)間、服務(wù)恢復(fù)開銷等高可用性評(píng)價(jià)指標(biāo).2020 年,TAKASHI 等提出了一種基于容器技術(shù)的微服務(wù)架構(gòu)[33].研究目的是利用擴(kuò)展的伯克利包過濾器作為服務(wù)相關(guān)容器的測量傳感器,從而獲取高可用相關(guān)性能指標(biāo).這些指標(biāo)不僅僅體現(xiàn)服務(wù)質(zhì)量,也體現(xiàn)服務(wù)所利用的基礎(chǔ)設(shè)施的質(zhì)量,相較于之前的架構(gòu)在性能測量方面更加直觀.

    2.2 基于故障監(jiān)測的服務(wù)高可用

    軟件架構(gòu)為服務(wù)高可用機(jī)制提供了良好的運(yùn)行環(huán)境,而機(jī)制的實(shí)現(xiàn)首先依賴于故障監(jiān)測策略,其通過探測服務(wù)節(jié)點(diǎn)狀態(tài),為系統(tǒng)容錯(cuò)提供信息支持[34].故障監(jiān)測的實(shí)現(xiàn)主要基于心跳機(jī)制,即判斷被監(jiān)測節(jié)點(diǎn)發(fā)出的消息能否在規(guī)定時(shí)間內(nèi)到達(dá),從而判定被監(jiān)測節(jié)點(diǎn)是否發(fā)生故障.隨著系統(tǒng)規(guī)模和復(fù)雜性不斷增加,需要監(jiān)測的節(jié)點(diǎn)數(shù)量驟增,同時(shí),系統(tǒng)拓?fù)涞膭?dòng)態(tài)變化性、消息延遲的不可預(yù)測性等挑戰(zhàn)不斷涌現(xiàn),監(jiān)控任務(wù)更富有挑戰(zhàn)性.圍繞時(shí)效性和擴(kuò)展性兩項(xiàng)質(zhì)量目標(biāo),故障監(jiān)測的研究方向劃分為自適應(yīng)故障監(jiān)測和共享故障監(jiān)測兩方面.

    2.2.1 自適應(yīng)故障監(jiān)測

    自適應(yīng)故障監(jiān)測是針對(duì)監(jiān)測時(shí)效性(速度、準(zhǔn)確性)的監(jiān)測優(yōu)化方法,通過動(dòng)態(tài)調(diào)整心跳消息發(fā)送間隔n 和超時(shí)閾值Δt 來適應(yīng)監(jiān)測環(huán)境變化.基于上次心跳是一種復(fù)雜度較低的自適應(yīng)故障監(jiān)測方法,超時(shí)閾值取自上一次接收心跳回復(fù)時(shí)間.這種方法可以適應(yīng)網(wǎng)絡(luò)突發(fā)變化,但仍不能跟蹤網(wǎng)絡(luò)緩慢過程中的動(dòng)態(tài)變化.平均心跳方法使用n 次心跳傳輸時(shí)間的平均值作為超時(shí)閾值Δt,從而作出周期性地動(dòng)態(tài)自適應(yīng).索托馬在公共對(duì)象請(qǐng)求代理體系結(jié)構(gòu)(common object request broker architecture,CORBA)系統(tǒng)中實(shí)現(xiàn)了基于平均心跳方法的失效檢測器[35],通過真實(shí)數(shù)據(jù)驗(yàn)證了平均心跳方法的自適應(yīng)性強(qiáng)于基于上次心跳.相比于平均心跳方法,最大心跳方法利用n 次心跳傳輸時(shí)間的最大值作為超時(shí)閾值Δt 的預(yù)測值[36],進(jìn)一步改善準(zhǔn)確性.基于上次心跳和平均心跳方法都是基于人工規(guī)則設(shè)定的數(shù)值,自適應(yīng)性弱.為此,有研究將差分自回歸移動(dòng)平均模型引入心跳監(jiān)測,具有更高的超時(shí)閾值預(yù)測準(zhǔn)確性,但實(shí)現(xiàn)復(fù)雜度也有所提高[37].綜合對(duì)比以上方法,基于上次心跳方法實(shí)現(xiàn)簡單、監(jiān)測較快、準(zhǔn)確性較好,平均心跳方法和最大心跳方法性能接近,差分自回歸移動(dòng)平均方法預(yù)測準(zhǔn)確性最佳,但實(shí)現(xiàn)復(fù)雜度最高.

    2.2.2 共享故障監(jiān)測

    共享故障監(jiān)測是提升監(jiān)測擴(kuò)展性的優(yōu)化方法.在一個(gè)節(jié)點(diǎn)數(shù)為n 的系統(tǒng)中,至多有n2個(gè)監(jiān)測關(guān)系.隨著系統(tǒng)規(guī)模不斷增加,被監(jiān)測節(jié)點(diǎn)數(shù)量和監(jiān)測關(guān)系也在不斷增加,進(jìn)而導(dǎo)致巨大的監(jiān)測開銷.為了提升監(jiān)測擴(kuò)展性,被監(jiān)測節(jié)點(diǎn)之間通過共享結(jié)果的方法減少監(jiān)測關(guān)系、降低監(jiān)測開銷,以改善監(jiān)測擴(kuò)展性[38].共享故障監(jiān)測包括層次式方法和Gossip 方法.

    層次式方法利用樹或森林等特殊層次結(jié)構(gòu)組織被監(jiān)測節(jié)點(diǎn),節(jié)約監(jiān)測關(guān)系以降低監(jiān)測負(fù)載,并提高監(jiān)測擴(kuò)展性[39].其典型結(jié)構(gòu)如圖5 所示.

    圖5 層次式檢測方法Fig.5 Hierarchical detection method

    面向Globus 網(wǎng)格計(jì)算平臺(tái)的故障監(jiān)測協(xié)議中使用到了層次式監(jiān)測方法[40].本地主機(jī)上的每個(gè)運(yùn)行進(jìn)程為一個(gè)被監(jiān)測節(jié)點(diǎn),每臺(tái)主機(jī)上配置一個(gè)監(jiān)測模塊,對(duì)本地主機(jī)所有運(yùn)行進(jìn)程實(shí)施監(jiān)測.網(wǎng)格間,不同主機(jī)相互交換本地監(jiān)測結(jié)果,進(jìn)而使所有主機(jī)共享全局檢測結(jié)果.該協(xié)議是一種類兩層的結(jié)構(gòu),主機(jī)之間并沒有嚴(yán)格的層次關(guān)系,降低開銷的性能有限.BERTIER 等提出了一個(gè)雙層結(jié)構(gòu)的監(jiān)測協(xié)議[41].根據(jù)IP 地址將被監(jiān)測節(jié)點(diǎn)劃分到不同分組中,每個(gè)分組通過選舉產(chǎn)生一個(gè)主節(jié)點(diǎn)部署監(jiān)測組件,主節(jié)點(diǎn)監(jiān)測分組內(nèi)的節(jié)點(diǎn)狀態(tài),而所有的主節(jié)點(diǎn)通過互相交換監(jiān)測結(jié)果可形成共享.這種監(jiān)測方法形成了效率較高的層級(jí)機(jī)構(gòu),但并不適合拓?fù)浣Y(jié)構(gòu)頻繁變化的系統(tǒng).

    Gossip 方法是基于概率多播協(xié)議的故障監(jiān)測方法,采用蠕蟲病毒原理的快速傳播方式,通過多輪監(jiān)測結(jié)果交換以迅速實(shí)現(xiàn)全局監(jiān)測結(jié)果共享.主要有基本Gossip 檢測器和多層Gossip 檢測器兩種實(shí)現(xiàn)形式[42].基本Gossip 檢測器是在每輪檢測中隨機(jī)選取鄰居節(jié)點(diǎn)進(jìn)行檢測并交換檢測結(jié)果,通過數(shù)輪交換可以獲得其他所有節(jié)點(diǎn)狀態(tài).這種檢測器的負(fù)載不受系統(tǒng)拓?fù)浣Y(jié)構(gòu)的影響,但檢測時(shí)間受算法隨機(jī)性影響.多層Gossip 檢測器是基本Gossip 檢測器與層次式方法的結(jié)合,一般在子網(wǎng)內(nèi)交換檢測結(jié)果,少數(shù)交換跨子網(wǎng)進(jìn)行.因檢測負(fù)載只與子網(wǎng)數(shù)量相關(guān),進(jìn)一步減少檢測時(shí)間和監(jiān)測開銷.對(duì)比分析以上兩類共享故障監(jiān)測方法,層次式方法復(fù)雜度低、擴(kuò)展性強(qiáng),適用于拓?fù)浣Y(jié)構(gòu)相對(duì)固定的大規(guī)模系統(tǒng);Gossip方法復(fù)雜度高,不受拓?fù)浣Y(jié)構(gòu)影響、擴(kuò)展性強(qiáng)且監(jiān)測迅速快.

    2.3 基于失效恢復(fù)的服務(wù)高可用

    失效恢復(fù)是故障監(jiān)控組件提供故障報(bào)警信息后為實(shí)現(xiàn)服務(wù)接替而采取的故障切換(Failover).失效恢復(fù)的相關(guān)研究有失效恢復(fù)模型與失效恢復(fù)實(shí)現(xiàn)兩個(gè)方面.

    2.3.1 失效恢復(fù)模型

    失效恢復(fù)模型是規(guī)劃恢復(fù)策略的依據(jù),建模參考因素有失效原因、失效規(guī)律、恢復(fù)性能等.

    LAPRIE 等在云服務(wù)可靠性的研究中提出了服務(wù)失效原因與恢復(fù)策略的分類[43],如表1 所示.其中列舉了7 種服務(wù)失效原因,給出了與之對(duì)應(yīng)的重啟、重試、重構(gòu)、遷移4 種恢復(fù)策略.但是該模型沒有給出恢復(fù)策略相應(yīng)的實(shí)現(xiàn)方案.

    表1 服務(wù)失效原因與恢復(fù)策略Table 1 Causes of service failure and recovery strategies

    2013 年,顧軍等提出了一種失效恢復(fù)性能建模分析方法[44].其主要思想是采用排隊(duì)Petri 網(wǎng)來描述組合服務(wù)失效的發(fā)生與處理過程,并基于此模型研究各種失效恢復(fù)策略的運(yùn)行情況.通過不同策略對(duì)系統(tǒng)整體性能影響的綜合分析,指導(dǎo)不確定網(wǎng)絡(luò)環(huán)境下失效恢復(fù)策略的實(shí)施.

    2018 年,齊平等提出了一種基于Weibull 分布的失效規(guī)律評(píng)估模型[45].Weibull 分布是一種常用于描述失效規(guī)律的負(fù)超指數(shù)分布.基于Weibull 分布的失效規(guī)律評(píng)估模型對(duì)于不同時(shí)段資源節(jié)點(diǎn)和通信鏈路失效規(guī)律的局部特征進(jìn)行描述,根據(jù)并行任務(wù)之間存在的各類交互關(guān)系分析.2019 年,該模型進(jìn)行了優(yōu)化,從負(fù)載均衡級(jí)別充分考略備選恢復(fù)資源的可靠程度[46].實(shí)驗(yàn)結(jié)果表示,該模型可以提高云服務(wù)的可用性,且只增加了少量額外恢復(fù)開銷.

    2.3.2 失效恢復(fù)實(shí)現(xiàn)

    失效恢復(fù)實(shí)現(xiàn)有兩項(xiàng)性能指標(biāo):

    1)故障恢復(fù)時(shí)間(recovery time objective,RTO):從速度上衡量恢復(fù)策略的優(yōu)劣.RTO 值為0 時(shí),故障立即得到恢復(fù),沒有任何中斷;RTO 值為無窮大時(shí),服務(wù)故障無法恢復(fù).

    2)數(shù)據(jù)恢復(fù)程度(recovery point objective,RPO):從完整度上衡量恢復(fù)策略的優(yōu)劣.RPO 值為0 時(shí),沒有任何數(shù)據(jù)丟失.RPO 大于0 時(shí),表示恢復(fù)后有數(shù)據(jù)丟失.

    恢復(fù)策略的理想模型是RTO=RPO=0,但是實(shí)現(xiàn)開銷過大,研究與實(shí)踐中通常平衡兩者與系統(tǒng)開銷.針對(duì)降低RTO,相關(guān)方法是集群技術(shù)以及負(fù)載均衡;針對(duì)降低RPO,相關(guān)方法是分布式存儲(chǔ)技術(shù).

    2001 年,Alexandre Cassen 為解決Linux 虛擬服務(wù)器的配置管理,開發(fā)了主流高可用軟件之一Keepalived[47].其中在故障切換方面使用的是虛擬路由冗余協(xié)議(virtual route redundancy protocol,VRRP)來實(shí)現(xiàn)快速的服務(wù)恢復(fù).

    傳統(tǒng)故障恢復(fù)方法依賴于運(yùn)行時(shí)服務(wù)狀態(tài)的備份,因此,引入了額外的系統(tǒng)開銷.2021 年,張建華等提出了一種針對(duì)優(yōu)化故障恢復(fù)性能的基于隱馬爾可夫模型的失效恢復(fù)方法[48].該方法面向虛擬機(jī)平臺(tái),引入隱馬爾可夫模型對(duì)系統(tǒng)運(yùn)行時(shí)的狀態(tài)進(jìn)行預(yù)測分析,判斷系統(tǒng)未來運(yùn)行狀態(tài)的概率趨勢,從而減少狀態(tài)備份產(chǎn)生的性能開銷.

    隨著容器替代虛擬機(jī)作為平臺(tái)既服務(wù)和軟件既服務(wù)層服務(wù)載體的趨勢,更多的失效恢復(fù)面向容器平臺(tái)展開.例如,一種面向容器的高可用性(high availability,HA)方案.該方案的創(chuàng)新貢獻(xiàn)在于引入了容器狀態(tài)的檢查點(diǎn)備份機(jī)制,通過一組與應(yīng)用無關(guān)的高可用代理構(gòu)成的中間件將高可用功能添加到系統(tǒng)中,不用強(qiáng)制修改應(yīng)用代碼.這種方式被稱為高可用無關(guān)的集成方式.將此方案運(yùn)用到視頻應(yīng)用中的測試表明,故障切換時(shí)間隨視頻服務(wù)器的數(shù)量增加而增加,但RTO 性能優(yōu)于面向虛擬機(jī)的HA 方案.

    3 云視頻系統(tǒng)服務(wù)高可用方案

    云視頻系統(tǒng)的服務(wù)包括核心服務(wù)和應(yīng)用服務(wù),核心服務(wù)是應(yīng)用服務(wù)的基礎(chǔ).本章面向管理控制、信令協(xié)商、媒體處理3 項(xiàng)核心服務(wù),提出云視頻系統(tǒng)服務(wù)高可用方案,在實(shí)現(xiàn)核心服務(wù)高可用的同時(shí)為應(yīng)用服務(wù)高可用提供基礎(chǔ).

    3.1 核心服務(wù)架構(gòu)

    本方案現(xiàn)采用服務(wù)化架構(gòu),后期根據(jù)業(yè)務(wù)規(guī)模拓展可重構(gòu)為微服務(wù)架構(gòu).管理控制服務(wù)、信令協(xié)商服務(wù)、媒體處理服務(wù)3 項(xiàng)核心服務(wù)部署在不同的虛擬機(jī)服務(wù)集群上,分別為管理控制集群、信令協(xié)商集群、媒體處理集群.方案中引入了數(shù)據(jù)庫集群,存儲(chǔ)失效恢復(fù)所需的服務(wù)狀態(tài)數(shù)據(jù).整個(gè)核心服務(wù)軟件架構(gòu)如圖6 所示.

    圖6 云視頻系統(tǒng)服務(wù)高可用方案Fig.6 High availability solution of cloud-based video system service

    管理控制集群包含兩個(gè)主備冗余模式的管控節(jié)點(diǎn),管理控制所有服務(wù)并以集群IP 方式提供主備節(jié)點(diǎn)的統(tǒng)一入口.數(shù)據(jù)庫集群包含3 個(gè)分布式存儲(chǔ)的節(jié)點(diǎn),同步存儲(chǔ)服務(wù)狀態(tài)數(shù)據(jù).數(shù)據(jù)讀寫由管理控制集群實(shí)施,為服務(wù)失效恢復(fù)提供高可用、強(qiáng)一致的狀態(tài)數(shù)據(jù).信令協(xié)商集群包含多活冗余模式的N 個(gè)節(jié)點(diǎn),提供終端呼叫、媒體協(xié)商服務(wù)等.媒體處理集群包含多活冗余模式的N 個(gè)節(jié)點(diǎn),提供媒體轉(zhuǎn)發(fā)、媒體混流服務(wù)等.

    以視頻會(huì)議應(yīng)用為例,核心服務(wù)的工作流程如下:用戶向管理控制集群發(fā)起視頻會(huì)議請(qǐng)求;控制管理主節(jié)點(diǎn)在監(jiān)聽端口上獲取會(huì)議請(qǐng)求指令,通過負(fù)載均衡插件從媒體處理集群中選取若干節(jié)點(diǎn)以及若干空閑端口作為本地媒體流接收方;管理控制主節(jié)點(diǎn)通過負(fù)載均衡插件選取若干信令協(xié)商節(jié)點(diǎn),并發(fā)送參會(huì)終端信息(IP 地址、呼叫端口)和媒體流接收端口;被選取的信令協(xié)商節(jié)點(diǎn)根據(jù)管理控制主節(jié)點(diǎn)提供的指令及信息,通過H.323 協(xié)議棧發(fā)起終端呼叫和媒體協(xié)商;信令協(xié)商服務(wù)將協(xié)商獲取的媒體收流端口反饋至管理控制主節(jié)點(diǎn);控制管理節(jié)點(diǎn)開啟對(duì)應(yīng)媒體處理節(jié)點(diǎn)的端口收流.最終,參會(huì)終端與媒體處理節(jié)點(diǎn)之間可以進(jìn)行媒體流收發(fā).

    分析上述工作流程可知,核心服務(wù)之間存在緊密交互,進(jìn)而提供云視頻系統(tǒng)的各項(xiàng)功能.因此,云視頻系統(tǒng)高可用方案需分別考慮每一項(xiàng)核心服務(wù)的高可用機(jī)制.

    3.2 管理控制服務(wù)高可用

    管理控制服務(wù)是有狀態(tài)服務(wù),請(qǐng)求之間存在依賴關(guān)系,因此,服務(wù)集群采用主備冗余模式,同一時(shí)間只有主節(jié)點(diǎn)對(duì)外提供服務(wù),另一個(gè)節(jié)點(diǎn)為備用.選取虛擬路由冗余技術(shù)(virtual router redundancy protocol,VRRP)對(duì)外提供虛擬IP,終端、信令協(xié)商服務(wù)、媒體處理服務(wù)可通過此統(tǒng)一IP 訪問管理控制服務(wù)的主節(jié)點(diǎn),故障切換時(shí)無須更改服務(wù)入口.主備節(jié)點(diǎn)之間需要相互監(jiān)測健康狀態(tài).主節(jié)點(diǎn)發(fā)生故障時(shí),備節(jié)點(diǎn)在超時(shí)閾值Δt 后仍未收到心跳回復(fù)信息則準(zhǔn)備接替主節(jié)點(diǎn).失效恢復(fù)時(shí)需遷移業(yè)務(wù),從數(shù)據(jù)庫集群讀取當(dāng)前主節(jié)點(diǎn)任務(wù)的服務(wù)狀態(tài),然后進(jìn)行IP 漂移,將集群IP 與備用節(jié)點(diǎn)綁定.方案選取開源高可用組件Keepalived,其同時(shí)包含VRRP技術(shù)和上次心跳方法的心跳監(jiān)測,監(jiān)測快速準(zhǔn)確且簡單易集成.

    3.3 信令協(xié)商服務(wù)高可用

    信令協(xié)商服務(wù)是無狀態(tài)服務(wù),因此該服務(wù)集群一般采取雙活或多活冗余模式,同一時(shí)間由多個(gè)活動(dòng)節(jié)點(diǎn)對(duì)外提供服務(wù),保證高可用性和高并發(fā)性.信令協(xié)商服務(wù)的健康狀態(tài)由管理控制服務(wù)監(jiān)測,采取拉模式的心跳連接.監(jiān)測實(shí)現(xiàn)采用基于超文本傳輸協(xié)議(hyper text transfer protocol,HTTP)的平均心跳方法.HTTP 協(xié)議中自帶超時(shí)監(jiān)測機(jī)制,但是監(jiān)測頻率固化,方案中引入平均心跳方法可以提升超時(shí)檢測的準(zhǔn)確性,使超時(shí)閾值Δt 動(dòng)態(tài)適應(yīng)網(wǎng)絡(luò)變化.

    信令協(xié)商服務(wù)故障時(shí),管理控制節(jié)點(diǎn)根據(jù)故障原因,選擇重試策略或遷移策略,兩種策略的狀態(tài)恢復(fù)數(shù)據(jù)起點(diǎn)不一樣,將會(huì)影響RTO 與RPO.例如,一類故障是發(fā)生在信令協(xié)商的過程中,終端還未進(jìn)入收發(fā)流,此時(shí)大多采用重試策略,仍在原有的信令協(xié)商節(jié)點(diǎn)上重試呼叫或協(xié)商,RPO 較小.還有一類故障發(fā)生在終端參與媒體會(huì)話過程中,信令協(xié)商服務(wù)如果采用重試策略其RPO 可能會(huì)高于遷移策略.

    3.4 媒體處理服務(wù)高可用

    媒體處理服務(wù)也屬于無狀態(tài)服務(wù),其任務(wù)數(shù)量和節(jié)點(diǎn)數(shù)量更多,冗余模式一般采用多活模式.另外,針對(duì)實(shí)時(shí)視頻通信的特點(diǎn),故障恢復(fù)期間不需要重傳丟失的視頻數(shù)據(jù),管理控制服務(wù)僅提供給媒體處理服務(wù)若干媒體會(huì)話相關(guān)的服務(wù)狀動(dòng)態(tài)適應(yīng)網(wǎng)絡(luò)變化態(tài).

    綜合上述3 項(xiàng)核心服務(wù)高可用機(jī)制所形成的云視頻系統(tǒng)服務(wù)高可用方案可以應(yīng)對(duì)節(jié)點(diǎn)宕機(jī)、離線等服務(wù)失效.其參考了主流服務(wù)高可用技術(shù)和業(yè)界用例,具有理論依據(jù).在監(jiān)測和恢復(fù)方面結(jié)合了視頻業(yè)務(wù)特性,并引入數(shù)據(jù)庫集群存儲(chǔ)狀態(tài)數(shù)據(jù),具有創(chuàng)新特點(diǎn).

    4 指揮控制領(lǐng)域應(yīng)用展望

    云視頻系統(tǒng)已經(jīng)邁入高速發(fā)展階段,不斷滿足超高業(yè)務(wù)吞吐量、超高連接數(shù)并發(fā)、超高可用性等服務(wù)需求,同時(shí)與工業(yè)、交通、軍事等場景深度融合,賦能可視化、信息化指揮控制領(lǐng)域應(yīng)用.本章展望了云視頻系統(tǒng)服務(wù)高可用技術(shù)在態(tài)勢感知和虛擬戰(zhàn)場中的應(yīng)用前景,并探討了面對(duì)復(fù)雜的網(wǎng)絡(luò)安全環(huán)境時(shí)存在的問題與挑戰(zhàn).

    態(tài)勢感知.未來,云視頻系統(tǒng)可應(yīng)用于態(tài)勢感知,有效發(fā)揮其高可用、動(dòng)態(tài)、快速的態(tài)勢數(shù)據(jù)傳輸、流轉(zhuǎn)服務(wù)能力.戰(zhàn)場態(tài)勢感知的處理過程分為覺察、理解和預(yù)測3 個(gè)層次[49],依賴于陸、海、空、天多維空間中的傳感器設(shè)備[50],其部署場景計(jì)算能力弱、網(wǎng)絡(luò)環(huán)境復(fù)雜.服務(wù)高可用技術(shù)將是云視頻系統(tǒng)作用于態(tài)勢感知的關(guān)鍵.其可監(jiān)測傳感器網(wǎng)絡(luò)的完整性,保證態(tài)勢數(shù)據(jù)傳輸服務(wù)穩(wěn)定連續(xù),避免服務(wù)超載和服務(wù)失效等故障.除傳統(tǒng)傳感器設(shè)備以外,云機(jī)器人圖像采集設(shè)備將作為態(tài)勢感知的新型終端[51].云端需實(shí)現(xiàn)高可用的計(jì)算服務(wù)、媒體分發(fā)服務(wù),進(jìn)而為瞬息萬變的戰(zhàn)場態(tài)勢感知提供可靠媒體服務(wù)保障.

    虛擬戰(zhàn)場.云視頻系統(tǒng)為虛擬現(xiàn)實(shí)(virtual reality,VR)設(shè)備提供廣泛接入,高效可靠地處理設(shè)備所產(chǎn)生的大量視頻數(shù)據(jù),再將預(yù)測處理后的結(jié)果反饋到終端設(shè)備.虛擬戰(zhàn)場是VR 技術(shù)在軍事斗爭準(zhǔn)備中的應(yīng)用,具有現(xiàn)實(shí)符合性和未來預(yù)判性[52].VR 設(shè)備對(duì)時(shí)延要求極高,因此,服務(wù)高可用性非常關(guān)鍵,能夠快速響應(yīng)故障并從中恢復(fù)服務(wù)能力,將影響虛擬戰(zhàn)場指戰(zhàn)員的穿戴體驗(yàn)和戰(zhàn)場模擬的有效性.未來,云視頻系統(tǒng)故障恢復(fù)RTO 需降低至毫秒級(jí)以適配虛擬戰(zhàn)場的時(shí)延要求.依托服務(wù)高可用技術(shù),云視頻系統(tǒng)大量豐富多樣的媒體應(yīng)用服務(wù)有了完備的容災(zāi)備份機(jī)制.虛擬戰(zhàn)場得以持續(xù)可靠地提供一個(gè)多感官模擬的三維世界,提升指戰(zhàn)員使用體驗(yàn).

    面向異構(gòu)復(fù)雜的指揮控制環(huán)境,還必須將服務(wù)可用性和服務(wù)安全性合并考量.當(dāng)前,云視頻系統(tǒng)使得海量高清多媒體數(shù)據(jù)得以實(shí)時(shí)交互,提高了指揮控制系統(tǒng)的信息共享能力.然而,隨著云平臺(tái)、5G 等技術(shù)的融入,勢必在提高通信效能的同時(shí)引入新的網(wǎng)絡(luò)安全風(fēng)險(xiǎn)因素[53-54].與其他系統(tǒng)不同之處在于,云視頻系統(tǒng)為保證服務(wù)高可用,必須設(shè)置冗余的備份,可能成為敵方網(wǎng)絡(luò)安全攻擊的對(duì)象.從網(wǎng)絡(luò)安全機(jī)制對(duì)服務(wù)高可用性的影響角度來看,信道加密、信源加密、用戶身份認(rèn)證鑒權(quán)等安全手段因其復(fù)雜性或?qū)⒂绊懛?wù)故障切換速率.總的來說,對(duì)于云視頻這類交互信息量廣且意深的系統(tǒng)而言,網(wǎng)絡(luò)安全機(jī)制和服務(wù)高可用機(jī)制之間存在著平衡做法而非矛盾關(guān)系,在今后的研究中可以協(xié)同發(fā)展.

    5 結(jié)論

    云視頻系統(tǒng)在服務(wù)高可用性上獲得了長足進(jìn)步,尤其是在縮短故障響應(yīng)時(shí)間和優(yōu)化失效恢復(fù)策略方面有顯著提高,增加了其在指揮控制領(lǐng)域應(yīng)用的廣度和深度.同時(shí),云視頻服務(wù)高可用也面臨占用額外系統(tǒng)資源、產(chǎn)生巨大性能開銷等問題挑戰(zhàn).本文從提出云視頻系統(tǒng)服務(wù)高可用需求出發(fā),梳理了服務(wù)高可用相關(guān)的軟件架構(gòu)演進(jìn)、故障檢測及失效恢復(fù)技術(shù)發(fā)展,并總結(jié)分析各類方法的優(yōu)缺點(diǎn).合理指出應(yīng)權(quán)衡監(jiān)測開銷與準(zhǔn)確性、恢復(fù)開銷與完整性之間的矛盾.文中結(jié)合云視頻系統(tǒng)的服務(wù)特點(diǎn),提出了一種創(chuàng)新、可行的云視頻系統(tǒng)服務(wù)高可用方案,并展望了服務(wù)高可用的云視頻系統(tǒng)在指揮控制領(lǐng)域中的應(yīng)用,闡述分析了其與網(wǎng)絡(luò)安全之間的問題.以期為讀者了解主流服務(wù)高可用技術(shù),設(shè)計(jì)服務(wù)高可用的云視頻系統(tǒng),構(gòu)想服務(wù)高可用云視頻系統(tǒng)在指揮控制領(lǐng)域中的前景提供幫助.

    猜你喜歡
    信令架構(gòu)節(jié)點(diǎn)
    基于FPGA的RNN硬件加速架構(gòu)
    CM節(jié)點(diǎn)控制在船舶上的應(yīng)用
    Analysis of the characteristics of electronic equipment usage distance for common users
    功能架構(gòu)在電子電氣架構(gòu)開發(fā)中的應(yīng)用和實(shí)踐
    汽車工程(2021年12期)2021-03-08 02:34:30
    基于AutoCAD的門窗節(jié)點(diǎn)圖快速構(gòu)建
    SLS字段在七號(hào)信令中的運(yùn)用
    移動(dòng)信令在交通大數(shù)據(jù)分析中的應(yīng)用探索
    基于信令分析的TD-LTE無線網(wǎng)絡(luò)應(yīng)用研究
    LSN DCI EVPN VxLAN組網(wǎng)架構(gòu)研究及實(shí)現(xiàn)
    LTE網(wǎng)絡(luò)信令采集數(shù)據(jù)的分析及探討
    国产免费一级a男人的天堂| 国产探花在线观看一区二区| 69av精品久久久久久| 中文精品一卡2卡3卡4更新| 国产三级中文精品| 此物有八面人人有两片| 亚洲国产精品sss在线观看| 哪个播放器可以免费观看大片| 五月伊人婷婷丁香| 在线免费观看的www视频| 深爱激情五月婷婷| 韩国av在线不卡| 久久人妻av系列| 99久久九九国产精品国产免费| 久久99蜜桃精品久久| 97在线视频观看| 性色avwww在线观看| 亚洲美女搞黄在线观看| 亚洲av二区三区四区| 2021天堂中文幕一二区在线观| 国产精品日韩av在线免费观看| 午夜福利视频1000在线观看| 国产综合懂色| 永久网站在线| 亚洲精品粉嫩美女一区| 国内精品宾馆在线| 美女被艹到高潮喷水动态| 亚洲第一区二区三区不卡| 免费av毛片视频| 一个人观看的视频www高清免费观看| 男人狂女人下面高潮的视频| 99久久九九国产精品国产免费| av免费观看日本| 99九九线精品视频在线观看视频| 一级av片app| 亚洲性久久影院| 日本五十路高清| 亚洲精品国产成人久久av| 国产成人aa在线观看| 成人综合一区亚洲| 男女啪啪激烈高潮av片| a级毛片免费高清观看在线播放| 国产老妇伦熟女老妇高清| 久久久久久久亚洲中文字幕| 欧美日韩一区二区视频在线观看视频在线 | a级毛片免费高清观看在线播放| 亚洲无线在线观看| 国产成人a∨麻豆精品| 亚洲最大成人手机在线| 午夜精品在线福利| 麻豆av噜噜一区二区三区| 99久久人妻综合| 亚洲丝袜综合中文字幕| 免费看光身美女| 中文亚洲av片在线观看爽| 国产亚洲5aaaaa淫片| 菩萨蛮人人尽说江南好唐韦庄 | av免费观看日本| 欧美精品国产亚洲| 我要搜黄色片| 亚洲四区av| 亚洲人成网站在线播| 成人午夜精彩视频在线观看| 国产黄片美女视频| 中文亚洲av片在线观看爽| 在线观看66精品国产| 久久久久久久久久久免费av| 欧美日韩综合久久久久久| 日本黄大片高清| 中文欧美无线码| 久久久久久久久久黄片| 我的女老师完整版在线观看| 国产精品精品国产色婷婷| 一本久久中文字幕| 久久精品国产99精品国产亚洲性色| 观看免费一级毛片| 不卡视频在线观看欧美| 国内少妇人妻偷人精品xxx网站| 久久精品久久久久久噜噜老黄 | 亚洲一级一片aⅴ在线观看| 亚洲美女视频黄频| 波多野结衣巨乳人妻| 啦啦啦观看免费观看视频高清| 熟女电影av网| 91av网一区二区| 国产精品爽爽va在线观看网站| 男人和女人高潮做爰伦理| 中出人妻视频一区二区| 日韩视频在线欧美| 搞女人的毛片| 欧美一区二区精品小视频在线| 久久国产乱子免费精品| 99九九线精品视频在线观看视频| 麻豆国产av国片精品| 亚洲在线观看片| 亚洲最大成人中文| 国产精品福利在线免费观看| 麻豆国产97在线/欧美| 国产亚洲精品久久久com| 51国产日韩欧美| 青春草视频在线免费观看| 熟妇人妻久久中文字幕3abv| 亚洲精品亚洲一区二区| av又黄又爽大尺度在线免费看 | 日日啪夜夜撸| 国产精品日韩av在线免费观看| 国产精品嫩草影院av在线观看| 国产精品久久电影中文字幕| 成人午夜精彩视频在线观看| 国产亚洲精品久久久久久毛片| 精品不卡国产一区二区三区| 亚洲激情五月婷婷啪啪| 久久婷婷人人爽人人干人人爱| 观看美女的网站| 麻豆国产av国片精品| 别揉我奶头 嗯啊视频| 欧美高清成人免费视频www| 全区人妻精品视频| 日本色播在线视频| or卡值多少钱| 久久久国产成人免费| 日本三级黄在线观看| 日韩在线高清观看一区二区三区| 欧美区成人在线视频| 久久精品国产自在天天线| 淫秽高清视频在线观看| 麻豆乱淫一区二区| 黄色一级大片看看| 久久这里只有精品中国| 国产淫片久久久久久久久| 看片在线看免费视频| 久久久午夜欧美精品| 中国国产av一级| 成年免费大片在线观看| 小说图片视频综合网站| 99在线人妻在线中文字幕| 午夜爱爱视频在线播放| 91狼人影院| 村上凉子中文字幕在线| 一个人观看的视频www高清免费观看| 国产大屁股一区二区在线视频| 三级国产精品欧美在线观看| 一级二级三级毛片免费看| 中文字幕制服av| 欧美日韩综合久久久久久| 深夜精品福利| 免费看av在线观看网站| 高清午夜精品一区二区三区 | 欧美日本视频| 菩萨蛮人人尽说江南好唐韦庄 | 欧美色欧美亚洲另类二区| 亚洲欧美日韩东京热| 成人国产麻豆网| 给我免费播放毛片高清在线观看| 91精品一卡2卡3卡4卡| 国产乱人视频| 99在线人妻在线中文字幕| 国产淫片久久久久久久久| 精品人妻一区二区三区麻豆| 伊人久久精品亚洲午夜| 久久99精品国语久久久| 国产高清视频在线观看网站| 亚洲av熟女| 人妻系列 视频| 欧美一级a爱片免费观看看| 亚洲经典国产精华液单| 久久婷婷人人爽人人干人人爱| 搡老妇女老女人老熟妇| 久久久国产成人免费| 国产成人精品一,二区 | 亚洲最大成人av| 欧美xxxx性猛交bbbb| 人人妻人人看人人澡| 欧美精品一区二区大全| 亚洲精品成人久久久久久| 美女大奶头视频| 国产精品人妻久久久久久| 亚洲人成网站在线观看播放| 波野结衣二区三区在线| 亚洲成人中文字幕在线播放| 综合色av麻豆| av卡一久久| 成人二区视频| 国产成人午夜福利电影在线观看| 国产精品一区二区性色av| 国产精品嫩草影院av在线观看| 校园春色视频在线观看| 久久久久国产网址| 免费观看a级毛片全部| 日本av手机在线免费观看| 51国产日韩欧美| 天堂影院成人在线观看| 婷婷亚洲欧美| 国产亚洲91精品色在线| 美女高潮的动态| 日韩国内少妇激情av| 草草在线视频免费看| 99riav亚洲国产免费| 欧美潮喷喷水| 久久这里只有精品中国| 51国产日韩欧美| 欧美激情国产日韩精品一区| 久久婷婷人人爽人人干人人爱| 男人的好看免费观看在线视频| 精品国内亚洲2022精品成人| av国产免费在线观看| 久久韩国三级中文字幕| 日本一本二区三区精品| 国产真实伦视频高清在线观看| 国产精品久久视频播放| 99热精品在线国产| 日韩中字成人| 亚洲欧美日韩高清专用| 人妻制服诱惑在线中文字幕| 五月玫瑰六月丁香| 嘟嘟电影网在线观看| 免费av不卡在线播放| 久久精品影院6| 麻豆精品久久久久久蜜桃| 久久久久国产网址| 精品久久国产蜜桃| 亚洲不卡免费看| 我的老师免费观看完整版| 噜噜噜噜噜久久久久久91| 亚洲欧美精品综合久久99| 精品不卡国产一区二区三区| av在线天堂中文字幕| 免费黄网站久久成人精品| 寂寞人妻少妇视频99o| 九九热线精品视视频播放| 非洲黑人性xxxx精品又粗又长| 国产精品不卡视频一区二区| 菩萨蛮人人尽说江南好唐韦庄 | 免费观看的影片在线观看| 尾随美女入室| 国产亚洲91精品色在线| 在线播放国产精品三级| 亚洲精品成人久久久久久| 欧美色视频一区免费| 日韩国内少妇激情av| 国产一区亚洲一区在线观看| 别揉我奶头 嗯啊视频| 天堂中文最新版在线下载 | av在线天堂中文字幕| 在线播放国产精品三级| 日韩中字成人| 成人鲁丝片一二三区免费| 亚洲国产高清在线一区二区三| 少妇裸体淫交视频免费看高清| 黄色欧美视频在线观看| 国产伦精品一区二区三区视频9| 国产成人aa在线观看| 国产精品一区二区在线观看99 | 欧美又色又爽又黄视频| 久久午夜亚洲精品久久| 欧美日韩综合久久久久久| 久久综合国产亚洲精品| 久久这里有精品视频免费| 九九久久精品国产亚洲av麻豆| 精品无人区乱码1区二区| 在线天堂最新版资源| 日本av手机在线免费观看| 欧美潮喷喷水| 亚洲一级一片aⅴ在线观看| 欧美成人精品欧美一级黄| 国产精品综合久久久久久久免费| 男插女下体视频免费在线播放| 伊人久久精品亚洲午夜| 黄色视频,在线免费观看| 老女人水多毛片| 国产一区二区三区av在线 | av免费观看日本| 午夜爱爱视频在线播放| 在线天堂最新版资源| 最近中文字幕高清免费大全6| av专区在线播放| 99热网站在线观看| 精品久久久久久成人av| 亚洲欧美精品专区久久| av女优亚洲男人天堂| 日本成人三级电影网站| 一级毛片久久久久久久久女| 国产精品人妻久久久久久| 日韩三级伦理在线观看| 亚洲第一电影网av| 成人国产麻豆网| 日本黄色片子视频| 在线观看av片永久免费下载| 高清毛片免费观看视频网站| 一级黄色大片毛片| 欧美成人a在线观看| 日日摸夜夜添夜夜添av毛片| 有码 亚洲区| 国产 一区 欧美 日韩| 亚洲精品日韩av片在线观看| 桃色一区二区三区在线观看| 欧美又色又爽又黄视频| 精品无人区乱码1区二区| 亚洲中文字幕一区二区三区有码在线看| 一区二区三区四区激情视频 | 亚洲七黄色美女视频| 久久久欧美国产精品| 亚洲一区高清亚洲精品| 精品人妻偷拍中文字幕| 日本一二三区视频观看| .国产精品久久| 校园人妻丝袜中文字幕| 国产伦在线观看视频一区| 国产av不卡久久| 久久精品国产鲁丝片午夜精品| 亚洲精品日韩av片在线观看| 性欧美人与动物交配| 亚洲精品乱码久久久久久按摩| 嫩草影院入口| 大香蕉久久网| 天美传媒精品一区二区| 久久久久免费精品人妻一区二区| 中文字幕熟女人妻在线| 丝袜喷水一区| 国产三级在线视频| 精品久久久久久久末码| 免费在线观看成人毛片| 美女被艹到高潮喷水动态| 91午夜精品亚洲一区二区三区| 日本免费a在线| 又爽又黄a免费视频| 精品一区二区三区人妻视频| 国产国拍精品亚洲av在线观看| 又爽又黄无遮挡网站| 寂寞人妻少妇视频99o| 乱人视频在线观看| 别揉我奶头 嗯啊视频| 国产免费一级a男人的天堂| 99九九线精品视频在线观看视频| 内地一区二区视频在线| 成人毛片60女人毛片免费| 一个人免费在线观看电影| 在线播放国产精品三级| 又粗又爽又猛毛片免费看| 亚洲av熟女| 一级毛片aaaaaa免费看小| 91麻豆精品激情在线观看国产| 精品久久久久久成人av| 久久精品国产亚洲av香蕉五月| 人妻久久中文字幕网| 少妇人妻一区二区三区视频| 性欧美人与动物交配| 蜜臀久久99精品久久宅男| 一进一出抽搐动态| 亚洲激情五月婷婷啪啪| 国产中年淑女户外野战色| 久久久久久九九精品二区国产| 午夜精品在线福利| 我的老师免费观看完整版| 久久国内精品自在自线图片| 欧美日韩一区二区视频在线观看视频在线 | 毛片女人毛片| 亚洲第一区二区三区不卡| 日韩欧美精品免费久久| 免费av不卡在线播放| 免费搜索国产男女视频| av福利片在线观看| 高清毛片免费观看视频网站| 欧美日韩一区二区视频在线观看视频在线 | 国产单亲对白刺激| 日韩欧美精品v在线| 成人鲁丝片一二三区免费| 只有这里有精品99| 99热这里只有是精品在线观看| 在线观看av片永久免费下载| 国产黄色视频一区二区在线观看 | 色综合亚洲欧美另类图片| 国产精品蜜桃在线观看 | 能在线免费观看的黄片| 亚洲精品自拍成人| 三级毛片av免费| 国产高潮美女av| 毛片女人毛片| 麻豆久久精品国产亚洲av| 一本久久中文字幕| 成年女人看的毛片在线观看| 99久国产av精品国产电影| 人人妻人人澡人人爽人人夜夜 | 国产不卡一卡二| 蜜桃亚洲精品一区二区三区| 少妇被粗大猛烈的视频| 亚洲精品乱码久久久v下载方式| 久久精品夜夜夜夜夜久久蜜豆| 午夜福利成人在线免费观看| 久久精品夜夜夜夜夜久久蜜豆| 亚洲av电影不卡..在线观看| 国产精品av视频在线免费观看| 国产精品久久电影中文字幕| 99热网站在线观看| 亚洲人成网站高清观看| 亚洲国产欧洲综合997久久,| 免费一级毛片在线播放高清视频| or卡值多少钱| 欧美+日韩+精品| 少妇裸体淫交视频免费看高清| av在线亚洲专区| 欧美日韩乱码在线| 亚洲经典国产精华液单| 亚洲精品久久国产高清桃花| 三级男女做爰猛烈吃奶摸视频| 亚洲精品影视一区二区三区av| 变态另类成人亚洲欧美熟女| 日本欧美国产在线视频| 12—13女人毛片做爰片一| av女优亚洲男人天堂| 国产高潮美女av| 乱系列少妇在线播放| 国产乱人视频| 免费看av在线观看网站| 久久精品夜夜夜夜夜久久蜜豆| 欧美高清性xxxxhd video| 精品国产三级普通话版| 99久久人妻综合| 久久久久久久久大av| 久久人妻av系列| 亚洲自偷自拍三级| 99久久精品一区二区三区| 亚洲欧洲日产国产| 中文资源天堂在线| 美女xxoo啪啪120秒动态图| 亚洲,欧美,日韩| av在线播放精品| 黄色日韩在线| 久久久色成人| 欧美一区二区精品小视频在线| 能在线免费观看的黄片| 亚洲真实伦在线观看| 免费看日本二区| avwww免费| 国产乱人偷精品视频| 国产精品,欧美在线| 亚洲在线自拍视频| 丰满乱子伦码专区| 亚洲激情五月婷婷啪啪| 桃色一区二区三区在线观看| 国内揄拍国产精品人妻在线| 日韩欧美国产在线观看| 亚洲欧洲日产国产| 国产精品99久久久久久久久| 少妇猛男粗大的猛烈进出视频 | 综合色丁香网| 中文资源天堂在线| 一区二区三区四区激情视频 | 午夜精品在线福利| 欧美又色又爽又黄视频| 成熟少妇高潮喷水视频| 99热网站在线观看| 免费人成在线观看视频色| 成人特级av手机在线观看| 尾随美女入室| av卡一久久| 成年女人看的毛片在线观看| 亚洲成人久久爱视频| 亚洲精品乱码久久久久久按摩| 麻豆av噜噜一区二区三区| 一区福利在线观看| av在线老鸭窝| 亚洲av成人av| 精品久久久久久久人妻蜜臀av| 麻豆国产97在线/欧美| 国产精品不卡视频一区二区| 日本爱情动作片www.在线观看| 国产高清不卡午夜福利| 久久九九热精品免费| 我的老师免费观看完整版| 三级毛片av免费| 美女大奶头视频| 在线播放国产精品三级| АⅤ资源中文在线天堂| 日韩成人伦理影院| 精品免费久久久久久久清纯| 99久久九九国产精品国产免费| 免费搜索国产男女视频| 国内精品美女久久久久久| 少妇人妻精品综合一区二区 | 熟女人妻精品中文字幕| 深夜a级毛片| 免费黄网站久久成人精品| 亚洲18禁久久av| 成人午夜精彩视频在线观看| 午夜亚洲福利在线播放| 在线观看66精品国产| 男人的好看免费观看在线视频| av天堂中文字幕网| 18禁在线无遮挡免费观看视频| 欧美+日韩+精品| 听说在线观看完整版免费高清| 亚洲丝袜综合中文字幕| 国产精品国产三级国产av玫瑰| 中文字幕免费在线视频6| 自拍偷自拍亚洲精品老妇| 一级黄片播放器| 亚洲激情五月婷婷啪啪| 国产淫片久久久久久久久| av.在线天堂| 欧美成人一区二区免费高清观看| 少妇高潮的动态图| 久久6这里有精品| 少妇高潮的动态图| 女人十人毛片免费观看3o分钟| 欧美人与善性xxx| 免费看美女性在线毛片视频| 国产成人aa在线观看| 日韩欧美 国产精品| 国产日本99.免费观看| 看非洲黑人一级黄片| 又黄又爽又刺激的免费视频.| 国产一区二区激情短视频| 熟妇人妻久久中文字幕3abv| 最近手机中文字幕大全| 国产极品天堂在线| 精品久久久久久久久久久久久| 男女边吃奶边做爰视频| 看十八女毛片水多多多| 在线免费十八禁| 欧美日韩在线观看h| 中文在线观看免费www的网站| 国产成人精品婷婷| 天天一区二区日本电影三级| 久久午夜亚洲精品久久| 成人三级黄色视频| 亚洲av成人精品一区久久| 欧美性感艳星| 久久精品91蜜桃| 精品无人区乱码1区二区| 男女做爰动态图高潮gif福利片| 一级毛片aaaaaa免费看小| 日日干狠狠操夜夜爽| 国产精品一区二区性色av| 婷婷色av中文字幕| 波多野结衣高清作品| 国产成人一区二区在线| 男人的好看免费观看在线视频| 只有这里有精品99| 国产又黄又爽又无遮挡在线| 中国国产av一级| 国产亚洲精品久久久久久毛片| 韩国av在线不卡| 日日撸夜夜添| 久久久久免费精品人妻一区二区| 18禁裸乳无遮挡免费网站照片| 国产极品天堂在线| 一本精品99久久精品77| 听说在线观看完整版免费高清| 在线观看免费视频日本深夜| 日本撒尿小便嘘嘘汇集6| 高清日韩中文字幕在线| 尾随美女入室| 午夜福利视频1000在线观看| 久久国产乱子免费精品| 日韩大尺度精品在线看网址| 日日摸夜夜添夜夜爱| 国产精品综合久久久久久久免费| 99热这里只有精品一区| 久久精品综合一区二区三区| 色综合色国产| 三级毛片av免费| 精品一区二区免费观看| 亚洲成av人片在线播放无| 精品久久久久久久末码| av在线观看视频网站免费| 午夜久久久久精精品| 中国国产av一级| 国产精品久久久久久久电影| 国产精品伦人一区二区| 长腿黑丝高跟| 白带黄色成豆腐渣| 少妇熟女欧美另类| 亚洲一级一片aⅴ在线观看| 欧美人与善性xxx| 麻豆国产av国片精品| 在线观看一区二区三区| 国产精品野战在线观看| 女人十人毛片免费观看3o分钟| 精品人妻偷拍中文字幕| 亚洲图色成人| a级毛片a级免费在线| 免费av不卡在线播放| 久久99热6这里只有精品| 亚洲精品色激情综合| 两性午夜刺激爽爽歪歪视频在线观看| 亚洲最大成人手机在线| 男人舔女人下体高潮全视频| 少妇的逼水好多| 成人无遮挡网站| 日本五十路高清| 精品久久久噜噜| 亚洲aⅴ乱码一区二区在线播放| ponron亚洲| 国产av一区在线观看免费| 亚洲av一区综合| 国产一级毛片七仙女欲春2| 婷婷色av中文字幕| 一边亲一边摸免费视频| 白带黄色成豆腐渣| 在线免费观看不下载黄p国产| 国产私拍福利视频在线观看| 国产免费男女视频| 午夜精品在线福利| 色噜噜av男人的天堂激情| 欧美高清成人免费视频www| 久久九九热精品免费| 欧美bdsm另类| 国产成人午夜福利电影在线观看| 久久国内精品自在自线图片| 欧美bdsm另类| 国产激情偷乱视频一区二区| 18禁裸乳无遮挡免费网站照片| 精华霜和精华液先用哪个| 天堂av国产一区二区熟女人妻|