• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    新型算力網(wǎng)絡(luò)架構(gòu)及其應(yīng)用案例分析

    2022-07-05 08:19:48狄箏曹一凡仇超羅韜王曉飛
    計算機(jī)應(yīng)用 2022年6期
    關(guān)鍵詞:用戶服務(wù)

    狄箏,曹一凡,仇超,羅韜,王曉飛

    新型算力網(wǎng)絡(luò)架構(gòu)及其應(yīng)用案例分析

    狄箏,曹一凡,仇超,羅韜*,王曉飛

    (天津大學(xué) 智能與計算學(xué)部,天津 300350)(*通信作者電子郵箱luo_tao@tju.edu.cn)

    隨著人工智能(AI)算力向網(wǎng)絡(luò)邊緣甚至終端設(shè)備擴(kuò)散,端邊云超協(xié)同的算力網(wǎng)絡(luò)成為最佳計算解決方案,而新機(jī)遇催生了端邊云超計算和網(wǎng)絡(luò)之間的深度集成。然而,集成系統(tǒng)的完整開發(fā)還沒有得到很好的解決,包括適應(yīng)性、靈活性和價值性,因此提出了一種區(qū)塊鏈賦能的端邊云超算力網(wǎng)絡(luò)架構(gòu)。其中,端邊云超融合為框架提供基礎(chǔ)設(shè)施,該設(shè)施構(gòu)成的算力資源池為用戶提供安全可靠的算力,網(wǎng)絡(luò)通過調(diào)度資源滿足用戶需求,而框架內(nèi)的神經(jīng)網(wǎng)絡(luò)和執(zhí)行平臺為AI任務(wù)執(zhí)行提供接口;同時,區(qū)塊鏈保證資源交易的可靠性,以激勵更多算力貢獻(xiàn)者加入平臺。本框架為算力網(wǎng)絡(luò)中的用戶提供了適應(yīng)性,為組網(wǎng)算力資源調(diào)度提供了靈活性,為算力供應(yīng)商提供了價值激勵,并利用案例清晰地描述了該新型算力網(wǎng)絡(luò)架構(gòu)。

    計算組網(wǎng)融合;端邊云超融合;算力網(wǎng)絡(luò);區(qū)塊鏈;自適應(yīng)服務(wù)

    0 引言

    近年來,人工智能(Artificial Intelligence, AI)技術(shù)和產(chǎn)業(yè)迅猛發(fā)展,正在全球掀起新的產(chǎn)業(yè)革命。隨著AI的興起,一些智能應(yīng)用正在極大地影響和促進(jìn)經(jīng)濟(jì)社會的發(fā)展和人類文明的進(jìn)步,如語音識別、自然語言生成、虛擬代理等。算法、數(shù)據(jù)和算力作為人工智能發(fā)展的重要支撐,正在引領(lǐng)和實(shí)現(xiàn)AI的發(fā)展和普適化。高效算力作為關(guān)鍵驅(qū)動因素之一,在數(shù)據(jù)處理、算法優(yōu)化、高精度快速交互等方面起著催化作用[1]。因此,以異構(gòu)、加速和高性能計算為特征的新興AI計算技術(shù)和框架,為有意義的AI研究和應(yīng)用提供了無數(shù)的可能性。

    面對眾多新興的AI應(yīng)用場景問題,下一代超級計算依托其超快互聯(lián)性、超高計算性、超大存儲性、超完善基建性以及超強(qiáng)安全性和工作負(fù)載性等特點(diǎn),為其提供了強(qiáng)有力的解決方案。然而,針對用戶定制化的AI服務(wù),要求較高的服務(wù)資源自適應(yīng)分配與擴(kuò)展性,如適應(yīng)性服務(wù)、快速響應(yīng)服務(wù)等,超級計算提供的算力資源常常超過服務(wù)計算的需求,從而造成大量計算資源和成本的浪費(fèi)。隨著B5G/6G(Beyond Fifth-Generation/ Sixth-Generation)[2]等技術(shù)的發(fā)展,海量數(shù)據(jù)從數(shù)據(jù)中心擴(kuò)散至了網(wǎng)絡(luò)的邊緣,甚至是終端設(shè)備[3]。與此同時,邊緣計算、超融合、微數(shù)據(jù)中心等多層次計算架構(gòu)應(yīng)運(yùn)而生,擴(kuò)展并提升了超計算機(jī)環(huán)境基礎(chǔ)架構(gòu)的靈活性。因此,端邊云超融合的算力網(wǎng)絡(luò)成了5G/B5G下機(jī)器智能時代的最佳解決方案。

    目前,基于端邊云超融合的算力網(wǎng)絡(luò)架構(gòu)的相關(guān)研究尚處于初步階段。推進(jìn)與完善多模式、多層次的算力網(wǎng)絡(luò)架構(gòu)還存在諸多的不足。其中,如何定義并構(gòu)建可靠有效的AI算力理論是研究端邊云超協(xié)同下新一代算力網(wǎng)絡(luò)的基礎(chǔ)。首先,具備AI算力的設(shè)備(如傳感器、手機(jī)、電腦、服務(wù)器等)眾多,而針對算力的定義在國際上并無統(tǒng)一標(biāo)準(zhǔn);其次,面對不同的AI應(yīng)用場景及架構(gòu),算力服務(wù)的部署應(yīng)用也不盡相同,如何選擇合理的算力評估量化指標(biāo),定量分析算力配置方案是構(gòu)建端邊云超算力網(wǎng)絡(luò)的先決條件。此外,在端邊云超架構(gòu)中,各層級承載的AI算法也不同,因此,建立新型算力評價體系迫在眉睫。

    端邊云超融合的算力網(wǎng)絡(luò)架構(gòu)中算力的管理和分配至關(guān)重要,尤其是對于端邊云超等多模式、多層次的算力網(wǎng)絡(luò)架構(gòu)。算力網(wǎng)絡(luò)的完善發(fā)展還存在諸多不足,包括:1)如何為用戶提供適應(yīng)性的計算服務(wù),以滿足用戶多樣化的需求;2)如何支持彈性的組網(wǎng)服務(wù)和算力資源調(diào)度,從而實(shí)現(xiàn)快速響應(yīng);3)如何保證算力提供者的效益,從而實(shí)現(xiàn)算力網(wǎng)絡(luò)的價值激勵。因此,適應(yīng)性、彈性和價值是基于端邊云超算力網(wǎng)絡(luò)架構(gòu)下的三個主要指標(biāo)。

    另外,區(qū)塊鏈這一開放、加密、分布式的新興系統(tǒng),能夠有效建立面向AI友好型的共識算法,從而實(shí)現(xiàn)算力網(wǎng)絡(luò)和區(qū)塊鏈的互惠互利。而在基于端邊云超的定制算力網(wǎng)絡(luò)架構(gòu)中,區(qū)塊鏈具有激勵機(jī)制、可靠和可追蹤的算力共享等優(yōu)點(diǎn)。同時,區(qū)塊鏈中基于AI的共識協(xié)議也能夠加速用戶AI任務(wù)的進(jìn)程。因此,針對以上三個主要指標(biāo),如何綜合考慮多層級的算力設(shè)施、架構(gòu)抽象計算資源、優(yōu)化算力調(diào)度以及適配各種AI業(yè)務(wù)需求,是構(gòu)建端邊云超融合的定制算力網(wǎng)絡(luò)架構(gòu)的關(guān)鍵。

    受以上研究的啟發(fā),本文提出了一種區(qū)塊鏈賦能的端邊云超算力網(wǎng)絡(luò)架構(gòu),以響應(yīng)AI應(yīng)用快速增長的算力需求,推動計算和網(wǎng)絡(luò)的融合。

    1 AI算力

    1.1 算力定義與評估

    1.1.1 算力定義與來源

    目前針對算力的定義一直沒有一個通用的標(biāo)準(zhǔn)。2018年諾貝爾獎獲得者William D.Nordhaus在《計算過程》中定義算力是設(shè)備根據(jù)內(nèi)部狀態(tài)的改變,每秒可處理的信息數(shù)據(jù)量。根據(jù)運(yùn)行智能算法和數(shù)據(jù)類型的不同,算力可分為以下幾類:1)邏輯運(yùn)算能力,即處理器每秒鐘能處理的次數(shù);2)并行計算能力,即處理如圖形圖像等數(shù)據(jù)類型統(tǒng)一的一種高效計算能力;3)神經(jīng)網(wǎng)絡(luò)計算能力,即用來對機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)等進(jìn)行加速的計算能力。

    隨著5G/B5G機(jī)器智能時代的來臨,涌現(xiàn)出大量移動計算、邊緣計算、超算數(shù)據(jù)中心/云計算集中式AI算力網(wǎng)絡(luò)架構(gòu),如圖1所示。面對高性能、低時延需求的新型AI應(yīng)用,僅憑端側(cè)或云側(cè)的算力將無法支撐廣泛的AI計算需求,算力網(wǎng)絡(luò)的概念相繼被提出。文獻(xiàn)[4]中提出從云網(wǎng)融合走向算網(wǎng)融合,網(wǎng)絡(luò)為端邊云算力高效協(xié)同發(fā)展提供更智能的服務(wù)。而基于邊云、端邊云、端邊云超等協(xié)同算力融合架構(gòu)已成為提升整體AI算力的潛在解決方案。文獻(xiàn)[5]中提出了一種網(wǎng)絡(luò)組織架構(gòu),該架構(gòu)能實(shí)現(xiàn)云邊之間靈活調(diào)度并按需分配計算資源,在算力網(wǎng)絡(luò)中實(shí)現(xiàn)前端嵌入式資源調(diào)度,進(jìn)一步提高了前端設(shè)備的自主處理能力。文獻(xiàn)[6]中提出了基于端邊云的混合式算力網(wǎng)絡(luò)架構(gòu),通過結(jié)合集中式和分布式架構(gòu),能為多種應(yīng)用提供優(yōu)質(zhì)的算力服務(wù),并提高了算力資源利用率。

    圖1 算力形態(tài)

    在算力融合架構(gòu)中,具有AI算力的設(shè)備種類繁多,具體地,AI算力設(shè)備可以依據(jù)其算力規(guī)模由小至大歸納為傳感器、智能手機(jī)、便攜機(jī)、邊緣服務(wù)器、高性能服務(wù)器等,它們?yōu)闊o處不在的AI應(yīng)用提供了大量的算力支撐。

    為支持5G/B5G的機(jī)器智能時代下異構(gòu)設(shè)備的增多以及超強(qiáng)算力的需求,本文提出端邊云超協(xié)同的算力網(wǎng)絡(luò)架構(gòu),協(xié)同考慮網(wǎng)絡(luò)和計算融合演進(jìn)的需求,共建新一代算力網(wǎng)絡(luò)生態(tài)。

    1.1.2 算力評估量化指標(biāo)

    針對算力評估量化體系的建立,不同的應(yīng)用場景及架構(gòu)對算力評估量化指標(biāo)也不盡相同。在端邊云超算力網(wǎng)絡(luò)架構(gòu)中,算力服務(wù)的應(yīng)用部署需要判斷配置方案是否滿足應(yīng)用需求,實(shí)現(xiàn)對算力需求以及算力的定量分析,因此需要對算力進(jìn)行量化,一般通用的指標(biāo)包括每秒所執(zhí)行的浮點(diǎn)運(yùn)算次數(shù)(FLoating-point Operations Per Second, FLOPS)、每秒執(zhí)行百萬條指令(Million Instructions executed Per Second, MIPS)等。

    在部署AI服務(wù)時,數(shù)據(jù)集的復(fù)雜程度、模型的訓(xùn)練及執(zhí)行時間、硬件的配置需求以及對資源消耗等因素也會影響執(zhí)行AI應(yīng)用的效率,因此還應(yīng)將精度、延遲、帶寬等作為全面量化算力的規(guī)模與質(zhì)量的評價指標(biāo)?,F(xiàn)階段AI相關(guān)芯片、硬件、算法、場景、架構(gòu)等均在快速演進(jìn),上述算力指標(biāo)根據(jù)不同的場景也有不同的應(yīng)用。在端邊云超算力體系中,綜合考慮接入端—邊緣側(cè)—云超算中心的任務(wù)算力、任務(wù)處理需求(GPU或CPU)、計算空間大小、功耗及連接手段等方面,可選擇不同的算力量化指標(biāo)。

    1.2 算力評價體系

    在端邊云超計算架構(gòu)中,各層級對AI算力應(yīng)用的評價標(biāo)準(zhǔn)各不相同:云端AI計算主要關(guān)注算力執(zhí)行AI任務(wù)的精度、處理能力、內(nèi)存容量和帶寬,同時也追求低延時和低功耗等性能服務(wù);邊緣AI計算主要關(guān)注功耗、響應(yīng)時間、體積、成本和隱私安全等問題。

    不同的算力層級架構(gòu)需要不同的機(jī)器學(xué)習(xí)算法,同樣也需要針對性的性能評價指標(biāo)。機(jī)器學(xué)習(xí)算法包括有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí),其中有監(jiān)督學(xué)習(xí)的主要研究方向包含分類和回歸,無監(jiān)督學(xué)習(xí)包含聚類。因此算力評價體系也可以利用基于機(jī)器學(xué)習(xí)算法的評價體系進(jìn)行評估,例如正確率、精確率、召回率、均方誤差、決定系數(shù)、蘭德系數(shù)等。

    中國電信利用算力路由層進(jìn)行信息發(fā)布與計算,實(shí)現(xiàn)用戶體驗(yàn)最優(yōu)、計算資源利用率最優(yōu)、網(wǎng)絡(luò)效率最優(yōu),但是針對算力需求的模型一般不能同時考慮上述因素,較為受限。因此,新型的算力網(wǎng)絡(luò)架構(gòu)可以進(jìn)一步對不同設(shè)備種類的算力、能耗、模型規(guī)模、可訓(xùn)練性以及成本進(jìn)行建模,使得算力模型在多個維度上得到融合和均衡的發(fā)展。中國聯(lián)通發(fā)布的算力網(wǎng)絡(luò)白皮書中提出了實(shí)現(xiàn)數(shù)據(jù)與算力的高吞吐、敏捷連接和均衡隨選的算力網(wǎng)絡(luò)架構(gòu)[7];此外還提出了評價異構(gòu)算力統(tǒng)一標(biāo)識,將異構(gòu)算力資源抽象進(jìn)行統(tǒng)一調(diào)度和適配,使算力從通用架構(gòu)走向?qū)S枚ㄖ疲?]。另外,由于提高CPU運(yùn)算效率會受到功耗低制約,文獻(xiàn)[9]中提出了數(shù)據(jù)中心算效模型,即用單位功耗的算力評價數(shù)據(jù)中心計算效果。

    本文提出了區(qū)塊鏈賦能的端邊云超算力網(wǎng)絡(luò)架構(gòu),建立了新型的應(yīng)用評價體系。本文圍繞算力網(wǎng)絡(luò),將算網(wǎng)成員分為用戶、算力組網(wǎng)和算力提供者三類,從三個方面出發(fā),提供不同的定制化服務(wù):1)為用戶提供適應(yīng)性的計算服務(wù),以滿足用戶多樣化的需求;2)支持彈性的組網(wǎng)服務(wù)和算力資源調(diào)度,從而實(shí)現(xiàn)快速響應(yīng);3)保證算力提供者的效益,實(shí)現(xiàn)算力網(wǎng)絡(luò)的價值激勵。因此,本文將適應(yīng)性、彈性和價值激勵作為評價算力網(wǎng)絡(luò)性能的三個主要指標(biāo)。

    2 基于端邊云超融合的定制算力網(wǎng)絡(luò)架構(gòu)

    2.1 算力網(wǎng)絡(luò)架構(gòu)

    本文的區(qū)塊鏈賦能的端邊云超算力網(wǎng)絡(luò)架構(gòu)涉及用戶的自適應(yīng)計算需求、組網(wǎng)算力資源的靈活調(diào)度與管理需求以及供應(yīng)商價值需求三個問題。在已有的架構(gòu)[10]中,用戶側(cè)的算力需求[11]、網(wǎng)絡(luò)側(cè)的管理需求[6]和算力貢獻(xiàn)側(cè)的激勵需求是被分開進(jìn)行研究的,它們都為本文的算力網(wǎng)絡(luò)架構(gòu)系統(tǒng)的底層助力,所以如何抽象、管理和分配算力資源以及優(yōu)化三個問題也直接影響著本文算力網(wǎng)絡(luò)架構(gòu)的性能,同時區(qū)塊鏈和應(yīng)用場景的作用也不容忽視。因此,綜合考慮這三方面因素,本文提出了一個具有普適性、靈活性和可評估性的算力網(wǎng)絡(luò)框架,如圖2所示。

    圖2 區(qū)塊鏈賦能的端邊云超算力網(wǎng)絡(luò)架構(gòu)

    2.1.1 基礎(chǔ)設(shè)施層

    5G和邊緣計算的出現(xiàn)加速了算力從云端向網(wǎng)絡(luò)邊緣和終端設(shè)備的遷移,而由各類基礎(chǔ)設(shè)備合作構(gòu)成的端-邊-云超協(xié)同網(wǎng)絡(luò)架構(gòu)也成為網(wǎng)絡(luò)計算架構(gòu)未來的趨勢。

    端設(shè)備:如智能攝像頭、終端傳感器、交通燈等具有一定的算力和網(wǎng)絡(luò)特性,可以在一定程度上執(zhí)行敏捷且無處不在的數(shù)據(jù)收集和推理。

    邊緣設(shè)備:如人工智能小站(華為Atlas系列芯片)、移動邊緣計算基站、智能家居網(wǎng)關(guān)等邊緣算力設(shè)備,只能完成特定業(yè)務(wù)需求的推理和訓(xùn)練。而在某些情況下,邊緣設(shè)備算力有限,不能完成大規(guī)模的數(shù)據(jù)分析及深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練等,仍然需要高性能云數(shù)據(jù)中心進(jìn)行高速的計算、存儲、訓(xùn)練及推理。

    云&超中心:在目前的AI應(yīng)用場景中,云計算數(shù)據(jù)中心可以開發(fā)部署大部分符合市場業(yè)務(wù)需求的AI應(yīng)用,執(zhí)行大規(guī)模的數(shù)據(jù)分析及深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練推理等。然而,在一些情況下,如智慧城市、生物醫(yī)藥、航空航天以及地震數(shù)據(jù)處理等領(lǐng)域,云計算數(shù)據(jù)中心算力無法高效運(yùn)行大規(guī)模的科學(xué)計算任務(wù)。本文的算力網(wǎng)絡(luò)架構(gòu)利用高性能算力資源,使其與云計算的工作模式和運(yùn)行機(jī)制融合,建設(shè)兼具高性能計算和云計算的性能、軟硬件架構(gòu)和應(yīng)用模式的高性能云計算中心,可以有效完成大型深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練、推理以及大規(guī)模的科學(xué)計算任務(wù)。

    2.1.2 資源池層

    由端節(jié)點(diǎn)、邊緣計算節(jié)點(diǎn)及云計算融合超算平臺組成的算力資源池,是利用云計算技術(shù)的容器特性構(gòu)建的資源池,通過軟件定義網(wǎng)絡(luò)(Software?Defined?Network, SDN)與網(wǎng)絡(luò)編排引擎相連接,并通過云管平臺統(tǒng)一調(diào)度完成算力的基礎(chǔ)資源支撐。其中,多層次的計算資源和無處不在的網(wǎng)絡(luò)資源在這一層被抽象和聚集。通常,資源池管理器負(fù)責(zé)從基礎(chǔ)設(shè)施層感知物理計算和網(wǎng)絡(luò),同時將分散的資源在計算池和網(wǎng)絡(luò)池中進(jìn)行池化和分組。由于算力是由分散的算力貢獻(xiàn)者提供,所以對計算池中計算資源使用情況的追蹤至關(guān)重要,同時也需保障網(wǎng)絡(luò)池的可靠性和私密性。

    2.1.3 調(diào)度優(yōu)化層

    ACPN上不同用戶的需求差異較大,所以根據(jù)用戶的計算需求、網(wǎng)絡(luò)需求和對貢獻(xiàn)者的支付金額將他們的需求分成不同的類,所有的服務(wù)類別都?xì)w納在表1中。

    此外,調(diào)度優(yōu)化層可對分類后的需求通過調(diào)度優(yōu)化算法進(jìn)行處理,如強(qiáng)化學(xué)習(xí)(Reinforcement Learning, RL)[12]、拍賣機(jī)制[13]、凸優(yōu)化[14]算法等。算法的總體優(yōu)化目標(biāo)是對劃分后的需求進(jìn)行優(yōu)化分配,使之匹配不同的底層算力資源。

    表1 服務(wù)的分類

    2.1.4 AI執(zhí)行層

    為了能高效地執(zhí)行AI應(yīng)用,本文的算力網(wǎng)絡(luò)架構(gòu)實(shí)現(xiàn)了接口式的神經(jīng)網(wǎng)絡(luò)和執(zhí)行平臺。根據(jù)不同的AI應(yīng)用的需求,AI執(zhí)行層能靈活地選擇合適的神經(jīng)網(wǎng)絡(luò)。例如使用反向傳播(Back Propagation, BP)網(wǎng)絡(luò)進(jìn)行文本識別、使用循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)進(jìn)行語音識別、使用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)進(jìn)行圖像識別等。此外,這一層也包含各種各樣的學(xué)習(xí)平臺框架,如Tensorflow、Caffe、PyTorch, Theano、CNTK等。結(jié)合第1、2、3層分配的計算、網(wǎng)絡(luò)資源以及本層適當(dāng)?shù)纳窠?jīng)網(wǎng)絡(luò)和學(xué)習(xí)執(zhí)行平臺,共同完成AI算法的執(zhí)行任務(wù)。

    2.1.5 區(qū)塊鏈層

    來自端、邊、云超架構(gòu)中異構(gòu)、分散和眾籌的算力被不同的用戶以一種有補(bǔ)償?shù)姆绞绞褂?,因此需要一個可信的平臺來支持安全可靠的管理,并確保自發(fā)算力提供者的服務(wù)可靠性。由于區(qū)塊鏈安全、透明和去中心化的特性,將區(qū)塊鏈層引入ACPN中,以一種防篡改和可追蹤的方式在算力用戶和算力貢獻(xiàn)者之間構(gòu)建信任。另一方面,區(qū)塊鏈的激勵機(jī)制能鼓勵更多的算力提供者加入ACPN,這可能是未來算力實(shí)現(xiàn)的新趨勢。此外,在區(qū)塊鏈中執(zhí)行類似于工作量證明(Proof of Work, PoW)等耗能的共識機(jī)制時對算力有很大需求,因此在ACPN中使用區(qū)塊鏈?zhǔn)莾烧呋ダ?。由于以下四個不同的技術(shù)特點(diǎn),區(qū)塊鏈有機(jī)會在ACPN中發(fā)揮巨大的作用。

    1)分布式賬本技術(shù)。與傳統(tǒng)的由中心權(quán)威機(jī)構(gòu)控制的分布式存儲系統(tǒng)不同,分布式賬本技術(shù)依賴于多方制定統(tǒng)一的規(guī)則,然后共同決策、維護(hù)數(shù)據(jù)。隨著算力交易的快速增長,分布式賬本技術(shù)將有利于維護(hù)多方交易,提高交易的可操作性和可信性。

    2)共識協(xié)議。共識協(xié)議是分布式賬本技術(shù)的必要前提,它保證了各參與方對一個區(qū)塊增加的唯一順序達(dá)成一致。在不同區(qū)塊鏈中使用的共識協(xié)議各不相同,大致可以分為基于工作量的協(xié)議和基于副本的協(xié)議。在基于工作量的協(xié)議中,各方獨(dú)自解決一個計算難題,以競爭哪方可以優(yōu)先發(fā)布一個區(qū)塊;而基于副本的協(xié)議則利用狀態(tài)機(jī)復(fù)制機(jī)制來達(dá)成共識。無論是哪種共識協(xié)議,都需要大量的算力。

    3)智能合約。智能合約實(shí)際上是存儲在區(qū)塊鏈中的一個微型計算機(jī)程序,它在滿足某些特定條件時自動執(zhí)行。算力貢獻(xiàn)者可以通過這種自動執(zhí)行且透明的方式按合約內(nèi)容收取服務(wù)費(fèi)用,而無需任何信任的第三方公證人。

    4)密碼學(xué)原理。密碼學(xué)作為區(qū)塊鏈的底層基礎(chǔ),為區(qū)塊鏈提供了大量的安全可靠技術(shù),包括哈希算法、對稱和非對稱加密、數(shù)字簽名、數(shù)字證書、零知識證明和同態(tài)加密等。

    2.1.6 AI服務(wù)層

    AI應(yīng)用可以分成兩部分,其中:應(yīng)用業(yè)務(wù)涉及人臉識別、智能制造、軌跡識別、交通控制等方面;而系統(tǒng)業(yè)務(wù)則更多體現(xiàn)對系統(tǒng)的監(jiān)控,如功率控制、流量控制等。

    2.2 面向AI應(yīng)用的算力網(wǎng)絡(luò)實(shí)例

    以短視頻業(yè)務(wù)中的動作識別需求為例,詳細(xì)對ACPN框架流程進(jìn)行闡述,如圖3所示。

    圖3 本文算力網(wǎng)絡(luò)架構(gòu)的任務(wù)執(zhí)行流程

    步驟1 用戶發(fā)出AI任務(wù)需求,即視頻任務(wù)進(jìn)入本文提出的區(qū)塊鏈賦能的ACPN框架后,在AI執(zhí)行層中系統(tǒng)首先對任務(wù)類型進(jìn)行感知識別,確定該任務(wù)為短視頻中的動作識別。

    步驟2 匹配需要執(zhí)行的AI任務(wù),在各類深度學(xué)習(xí)算法的框架下選擇具體的神經(jīng)網(wǎng)絡(luò)和學(xué)習(xí)平臺用于訓(xùn)練和推理。

    步驟3 綜合考慮用戶的需求,即計算需求、網(wǎng)絡(luò)需求和支付費(fèi)用,從而適應(yīng)來自不同用戶的不同任務(wù)需求。

    步驟4 依據(jù)用戶任務(wù)需求,在數(shù)據(jù)和服務(wù)之間按照任務(wù)需要動態(tài)地建立彈性網(wǎng)絡(luò)連接。具體地說,在算力調(diào)度優(yōu)化層為了實(shí)現(xiàn)最優(yōu)的資源分配,調(diào)度控制中心會將任務(wù)進(jìn)行任務(wù)分割、模型分割,并根據(jù)使用的調(diào)度優(yōu)化算法將不同的計算子任務(wù)分配端-邊-云超協(xié)同網(wǎng)絡(luò)架構(gòu)的不同的計算池中。

    步驟5 在由各種算力基本單元組成的算力資源池形成一個巨大資源網(wǎng)絡(luò)中,資源網(wǎng)絡(luò)為各種計算子任務(wù)提供傳輸路徑。在計算任務(wù)傳輸?shù)倪^程中,網(wǎng)絡(luò)傳輸?shù)臅r延、可靠性、能源的消耗以及資源使用率等信息將反饋給前一層的算力調(diào)度中心。

    步驟6 具體的計算任務(wù)傳輸?shù)交A(chǔ)設(shè)備層,由確定的計算設(shè)備進(jìn)行計算。

    步驟7 泛在的計算設(shè)備在完成視頻動作識別任務(wù)的同時,一些設(shè)備會執(zhí)行挖礦任務(wù)從而獲得交易的優(yōu)先記賬權(quán)。

    區(qū)塊鏈中的價值激勵使得算力提供者能更廣泛地獲得除服務(wù)以外的收益,這也鼓勵越來越多的算力提供者加入到ACPN中提供算力。如果一臺云服務(wù)器被分配到訓(xùn)練處理視頻任務(wù)用到的三維卷積神經(jīng)網(wǎng)絡(luò),那么在它完成任務(wù)之后會獲得來自用戶支付的服務(wù)費(fèi)用。與此同時,一個邊緣智能小站通過執(zhí)行學(xué)習(xí)量證明(Proof of Learning, PoL)共識機(jī)制獲得了優(yōu)先記錄交易的權(quán)力。在區(qū)塊出塊后,這臺邊緣設(shè)備將獲得出塊獎勵和記錄交易的服務(wù)費(fèi)。而想加入?yún)^(qū)塊鏈搭建的普通用戶也可以通過租用ACPN中的算力幫助自己獲得交易的優(yōu)先記賬權(quán)從而獲得相應(yīng)的獎勵。

    3 框架性能分析

    本章將在所提出的ACPN框架下進(jìn)行算力資源分配案例分析,以驗(yàn)證其性能。其中,算力提供者根據(jù)自身算力情況提出算力資源單位定價,用戶根據(jù)定價和任務(wù)需求向算力提供者報價,算力提供者根據(jù)收集的用戶AI任務(wù)請求,通過資源池組網(wǎng),與用戶進(jìn)行算力資源交易。ACPN框架利用區(qū)塊鏈技術(shù)實(shí)現(xiàn)用戶、組網(wǎng)以及算力提供者的效益平衡。

    3.1 適應(yīng)性分析

    針對用戶側(cè),算力用于挖礦和服務(wù)。在ACPN框架下,通過最大化用戶效用,滿足用戶時延需求從而為用戶提供適應(yīng)性計算服務(wù)[15]。用戶效用包括在區(qū)塊鏈環(huán)境下挖礦獲得的獎勵、任務(wù)卸載執(zhí)行時延帶來的損失和為購買算力支付給算力提供者的費(fèi)用。圖4表示不同算力用處下的不同用戶效用:若所有算力用于服務(wù),用戶效益全部為負(fù)值;若所有算力用于挖礦,用戶效用有正有負(fù)。由于挖礦成功是存在風(fēng)險的,并且所有的算力用于服務(wù)的用戶效用全部是負(fù)的,所以用戶如果考慮將一部分的算力用于挖礦,一部分用于服務(wù)是可能會有收益的。

    圖4 不同算力用處下的不同用戶效用

    3.2 靈活性分析

    在算力網(wǎng)絡(luò)方面,網(wǎng)絡(luò)為計算服務(wù),其價值在于充分利用算力資源,提高資源利用率。根據(jù)用戶需求,在端邊云超之間按需分配計算資源,并且靈活調(diào)度計算資源,使網(wǎng)絡(luò)從傳統(tǒng)的信息傳輸向感知、傳輸、存儲、計算和處理為一體的方向轉(zhuǎn)變。在本文的框架模型中,端邊云架構(gòu)充分調(diào)度節(jié)點(diǎn)的算力,相較于只有邊云架構(gòu),本文架構(gòu)加入端節(jié)點(diǎn)減小了任務(wù)等待時延,同時算力分配機(jī)制提高了算力資源利用率,可靈活地為網(wǎng)絡(luò)提供服務(wù)。

    3.3 價值激勵分析

    針對算力提供者,其效用包括提供算力得到的報酬和提供算力帶來的電力損失。通過最大化算力提供者效用從而實(shí)現(xiàn)ACPN架構(gòu)的價值激勵。如圖5所示,不同曲線代表擁有不同算力的算力提供者,購買算力的用戶數(shù)量越多,算力提供者效用越高;并且,算力提供者擁有的算力越少,其效用越高,這是因?yàn)樗懔μ峁┱邠碛械乃懔υ缴倨鋯挝欢▋r越高,導(dǎo)致其效用越高。

    圖5 擁有不同算力的算力提供者效用和用戶數(shù)量關(guān)系

    4 結(jié)語

    本文提出了區(qū)塊鏈賦能的端邊云超算力網(wǎng)絡(luò)架構(gòu),致力于通過靈活的組網(wǎng)服務(wù)來共享AI算力,通過算力分配機(jī)制,在動態(tài)適應(yīng)用戶多樣化定制服務(wù)的同時,實(shí)現(xiàn)算力提供者的價值。在未來的工作中,我們將重點(diǎn)研究區(qū)塊鏈中的共識機(jī)制和AI服務(wù)之間的關(guān)系,以此提供更全面高效的AI服務(wù)。

    [1] DAI Y Y, XU D,MAHARJAN S, et al. Blockchain and deep reinforcement learning empowered intelligent 5G beyond[J]. IEEE Network, 2019, 33(3): 10-17.

    [2] SAAD W, BENNIS M, CHEN M Z. A vision of 6G wireless systems: applications, trends, technologies, and open research problems[J]. IEEE Network, 2020, 34(3): 134-142.

    [3] REN J K, YU G D, HE Y H, et al. Collaborative cloud and edge computing for latency minimization[J]. IEEE Transactions on Vehicular Technology, 2019, 68(5): 5031-5044.

    [4] 中國聯(lián)合網(wǎng)絡(luò)通信有限公司研究院,中國聯(lián)合網(wǎng)絡(luò)通信有限公司廣東省分公司,華為技術(shù)有限公司.云網(wǎng)融合向算網(wǎng)一體技術(shù)演進(jìn)白皮書[R/OL]. [2021-10-05].http://221.179.172.81/images/20210324/8861616553741841.pdf. (Research Institute of China Unicom, Guangdong Branch of China Unicom, Huawei. White paper on evolution of cloud-network integration to computing network integration technology[R/OL]. [2021-10-05].http://221.179.172.81/images/20210324/8861616553741841.pdf.)

    [5] 李銘軒,曹暢,唐雄燕,等. 面向算力網(wǎng)絡(luò)的邊緣資源調(diào)度解決方案研究[J]. 數(shù)據(jù)與計算發(fā)展前沿, 2020, 2(4): 80-91.(LI M X, CAO C, TANG X Y, et al. Research on edge resource scheduling solutions for computing power network[J]. Frontiers of Data and Computing, 2020, 2(4): 80-91.)

    [6] 黃光平,羅鑒,周建鋒. 算力網(wǎng)絡(luò)架構(gòu)與場景分析[J]. 信息通信技術(shù), 2020, 14(4): 16-22.(HUANG G P, LUO J, ZHOU J F. Analysis of computation network architecture and according scenarios[J]. Information and Communications Technologies, 2020, 14(4): 16-22.)

    [7] 中國聯(lián)通網(wǎng)絡(luò)技術(shù)研究院. 中國聯(lián)通算力網(wǎng)絡(luò)白皮書[EB/OL]. [2021-10-05].http://www.impcia.net/Uploads/report/2020-04-29/5ea92233af1e4.pdf. (Network Technology Research Institute of China Unicom. China Unicom computing network white paper[EB/OL]. [2021-10-05].http://www.impcia.net/Uploads/report/2020-04-29/5ea92233af1e4.pdf.)

    [8] 中國聯(lián)通算力網(wǎng)絡(luò)產(chǎn)業(yè)技術(shù)聯(lián)盟. 異構(gòu)算力統(tǒng)一標(biāo)識與服務(wù)白皮書[EB/OL]. [2021-10-05].http://221.179.172.81/images/20210324/13331616553850222.pdf. (Computing Network Industry Technology Alliance of China Unicom. White paper on unified identification and service of heterogeneous computing power[EB/OL]. [2021-10-05].http://221.179.172.81/images/20210324/13331616553850222.pdf.)

    [9] 郭亮,吳美希,王峰,等. 數(shù)據(jù)中心算力評估:現(xiàn)狀與機(jī)遇[J]. 信息通信技術(shù)與政策, 2021, 47(2): 79-86.(GUO L, WU M X, WANG F, et al. Research on evaluation of computing power and efficiency in data center: status and opportunities[J]. Information and Communications Technology and Policy, 2021, 47(2): 79-86.)

    [10] KRóL M, MASTORAKIS S, ORAN D, et al. Compute first networking: distributed computing meets ICN[C]// Proceedings of the 6th ACM Conference on Information-Centric Networking. New York: ACM, 2019: 67-77.

    [11] LEI B, ZHAO Q Y, MEI J. Computing power network: an interworking architecture of computing and network based on IP extension[C]// Proceedings of the IEEE 22nd International Conference on High Performance Switching and Routing. Piscataway: IEEE, 2021: 1-6.

    [12] QIU C, YU F R, YAO H P, et al. Blockchain-based software-defined Industrial Internet of Things: a dueling deep-learning approach[J]. IEEE Internet of Things Journal, 2019, 6(3): 4627-4639.

    [13] XIONG Z H, FENG S H, WANG W B, et al. Cloud/fog computing resource management and pricing for blockchain networks[J]. IEEE Internet of Things Journal, 2019, 6(3): 4585-4600.

    [14] LIANG S, WANG L Y, YIN G. Distributed smooth convex optimization with coupled constraints[J]. IEEE Transactions on Automatic Control, 2020, 65(1): 347-353.

    [15] CAO K, GUO X, ZHOU J, et al. QoS-adaptive approximate real-time computation for mobility-aware IoT lifetime optimization[J]. IEEE Transactions on Computer-Aided Design of Integrated Circuits and Systems, 2019, 38(10): 1799-1810.

    New computing power network architecture and application case analysis

    DI Zheng, CAO Yifan, QIU Chao, LUO Tao*, WANG Xiaofei

    (,,300350,)

    With the proliferation of Artificial Intelligence (AI) computing power to the edge of the network and even to terminal devices, the computing power network of end-edge-supercloud collaboration has become the best computing solution. The emerging new opportunities have spawned the deep integration between end-edge-supercloud computing and the network. However, the complete development of the integrated system is unsolved, including adaptability, flexibility, and valuability. Therefore, a computing power network for ubiquitous AI named ACPN was proposed with the assistance of blockchain. In ACPN, the end-edge-supercloud collaboration provides infrastructure for the framework, and the computing power resource pool formed by the infrastructure provides safe and reliable computing power for the users, the network satisfies users’ demands by scheduling resources, and the neural network and execution platform in the framework provide interfaces for AI task execution. At the same time, the blockchain guarantees the reliability of resource transaction and encourage more computing power contributors to join the platform. This framework provides adaptability for users of computing power network, flexibility for resource scheduling of networking computing power, and valuability for computing power providers. A clear description of this new computing power network architecture was given through a case.

    computing-networking integration; end-edge-supercloud collaboration; computing power network; blockchain; adaptive service

    This work is partially supported by National Key Research and Development Program of China (2019YFB2101901), National Natural Science Foundation of China (62072332, 62002260), China Postdoctoral Science Foundation (2020M670654).

    DI Zheng, born in 1996, M. S. candidate. Her research interests include computing power network, edge computing, edge intelligence.

    CAO Yifan, born in 1997, M. S. candidate. His research interests include energy trading game, blockchain, deep reinforcement learning.

    QIU Chao, born in 1988, Ph. D., lecturer. Her research interests include computing power network, blockchain, edge computing, edge intelligence, machine learning.

    LUO Tao, born in 1978, Ph. D., associate professor. His research interests include information security, integrated circuit.

    WANG Xiaofei, born in 1982, Ph. D., professor. His research interests include 5G edge computing, edge intelligence, blockchain, computing power network.

    TP393.02

    A

    1001-9081(2022)06-1656-06

    10.11772/j.issn.1001-9081.2021061497

    2021?08?23;

    2021?11?17;

    2021?11?18。

    國家重點(diǎn)研發(fā)計劃項目(2019YFB2101901);國家自然科學(xué)基金資助項目(62072332, 62002260);中國博士后科學(xué)基金面上資助項目(2020M670654)。

    狄箏(1996—),女,河北石家莊人,碩士研究生,主要研究方向:算力網(wǎng)絡(luò)、邊緣計算、邊緣智能;曹一凡(1997—),男,湖南湘潭人,碩士研究生,主要方向:能源交易博弈、區(qū)塊鏈、深度強(qiáng)化學(xué)習(xí);仇超(1988—),女,河北張家口人,講師,博士,CCF會員,主要研究方向:算力網(wǎng)絡(luò)、區(qū)塊鏈、邊緣計算、邊緣智能、機(jī)器學(xué)習(xí);羅韜(1978—),男,河南信陽人,副教授,博士,CCF會員,主要研究方向:信息安全、集成電路;王曉飛(1982—),男,河北保定人,教授,博士,CCF會員,主要研究方向:5G邊緣計算、邊緣智能、區(qū)塊鏈、算力網(wǎng)絡(luò)。

    猜你喜歡
    用戶服務(wù)
    服務(wù)在身邊 健康每一天
    服務(wù)在身邊 健康每一天
    服務(wù)在身邊 健康每一天
    服務(wù)在身邊 健康每一天
    服務(wù)在身邊 健康每一天
    招行30年:從“滿意服務(wù)”到“感動服務(wù)”
    商周刊(2017年9期)2017-08-22 02:57:56
    關(guān)注用戶
    商用汽車(2016年11期)2016-12-19 01:20:16
    關(guān)注用戶
    商用汽車(2016年6期)2016-06-29 09:18:54
    關(guān)注用戶
    商用汽車(2016年4期)2016-05-09 01:23:12
    Camera360:拍出5億用戶
    欧美激情极品国产一区二区三区| 久久久久精品人妻al黑| 欧美精品高潮呻吟av久久| 日韩三级视频一区二区三区| 嫁个100分男人电影在线观看| 久久久久视频综合| 国产99久久九九免费精品| 变态另类成人亚洲欧美熟女 | 国产精品一区二区免费欧美| 女性被躁到高潮视频| 婷婷精品国产亚洲av在线 | 无限看片的www在线观看| 日韩制服丝袜自拍偷拍| 中文字幕人妻丝袜一区二区| 十八禁人妻一区二区| 欧洲精品卡2卡3卡4卡5卡区| 欧美性长视频在线观看| 新久久久久国产一级毛片| 成人免费观看视频高清| 亚洲一区二区三区欧美精品| 亚洲精品国产一区二区精华液| 国产成+人综合+亚洲专区| 老熟女久久久| 国产三级黄色录像| av福利片在线| 精品国内亚洲2022精品成人 | 国产精品av久久久久免费| 男女免费视频国产| 国产精品久久视频播放| 一区二区三区精品91| 国产熟女午夜一区二区三区| 精品无人区乱码1区二区| 少妇的丰满在线观看| 伦理电影免费视频| 热re99久久国产66热| 国产亚洲精品一区二区www | 极品教师在线免费播放| 亚洲一码二码三码区别大吗| 男人的好看免费观看在线视频 | 欧美 亚洲 国产 日韩一| 亚洲伊人色综图| 久久香蕉国产精品| 99香蕉大伊视频| 高潮久久久久久久久久久不卡| 日韩中文字幕欧美一区二区| 亚洲视频免费观看视频| 18禁裸乳无遮挡免费网站照片 | videos熟女内射| 午夜福利在线免费观看网站| aaaaa片日本免费| 看黄色毛片网站| 999久久久国产精品视频| 亚洲中文av在线| 久久精品亚洲av国产电影网| 精品久久久久久电影网| 国产野战对白在线观看| 欧美精品啪啪一区二区三区| 身体一侧抽搐| 人人妻,人人澡人人爽秒播| 国产一卡二卡三卡精品| 亚洲av熟女| 在线av久久热| 黑人操中国人逼视频| 老司机靠b影院| 热99久久久久精品小说推荐| 高清黄色对白视频在线免费看| 别揉我奶头~嗯~啊~动态视频| 丰满人妻熟妇乱又伦精品不卡| 欧美国产精品va在线观看不卡| 12—13女人毛片做爰片一| 国产免费av片在线观看野外av| 国产成人精品在线电影| 久久久久国内视频| 老司机午夜十八禁免费视频| 免费观看精品视频网站| av免费在线观看网站| 午夜精品国产一区二区电影| 午夜免费成人在线视频| 日韩视频一区二区在线观看| 国产亚洲欧美98| 亚洲专区字幕在线| 日韩 欧美 亚洲 中文字幕| 人成视频在线观看免费观看| 亚洲国产中文字幕在线视频| 变态另类成人亚洲欧美熟女 | 亚洲中文字幕日韩| 欧美黄色片欧美黄色片| 欧美成狂野欧美在线观看| 久久久久久久久免费视频了| 美女视频免费永久观看网站| 久久久久久久午夜电影 | 91在线观看av| 免费少妇av软件| 亚洲aⅴ乱码一区二区在线播放 | 黑人巨大精品欧美一区二区mp4| 另类亚洲欧美激情| 欧美精品一区二区免费开放| 精品国产乱子伦一区二区三区| 女人被躁到高潮嗷嗷叫费观| 成在线人永久免费视频| 国产精品亚洲av一区麻豆| 在线十欧美十亚洲十日本专区| 美女午夜性视频免费| 夜夜爽天天搞| 久久热在线av| 国产精品综合久久久久久久免费 | 欧美 日韩 精品 国产| 亚洲中文av在线| 亚洲成a人片在线一区二区| 在线观看www视频免费| 99re6热这里在线精品视频| 99热国产这里只有精品6| 国产成人精品久久二区二区免费| 中文字幕制服av| 国产免费现黄频在线看| 可以免费在线观看a视频的电影网站| 757午夜福利合集在线观看| 两个人免费观看高清视频| 久久久久国内视频| 欧美最黄视频在线播放免费 | 日韩 欧美 亚洲 中文字幕| 亚洲精品自拍成人| 国产成人av激情在线播放| 一区二区三区激情视频| 国产亚洲欧美在线一区二区| 亚洲免费av在线视频| 色老头精品视频在线观看| 国产免费av片在线观看野外av| 国产精华一区二区三区| 中文字幕av电影在线播放| 99国产极品粉嫩在线观看| 亚洲七黄色美女视频| 欧美国产精品一级二级三级| 国产99白浆流出| 久久久水蜜桃国产精品网| 老司机午夜十八禁免费视频| 曰老女人黄片| 男女床上黄色一级片免费看| 免费在线观看亚洲国产| 天天躁日日躁夜夜躁夜夜| 久久国产精品男人的天堂亚洲| 亚洲精华国产精华精| 黑人欧美特级aaaaaa片| 纯流量卡能插随身wifi吗| 亚洲九九香蕉| 欧洲精品卡2卡3卡4卡5卡区| 亚洲精品中文字幕在线视频| 国产精品av久久久久免费| 午夜久久久在线观看| 亚洲三区欧美一区| av有码第一页| 婷婷丁香在线五月| 午夜两性在线视频| 成人免费观看视频高清| 欧美成人免费av一区二区三区 | а√天堂www在线а√下载 | 99精国产麻豆久久婷婷| 夫妻午夜视频| 女人被躁到高潮嗷嗷叫费观| 天堂中文最新版在线下载| 高清在线国产一区| 天天躁夜夜躁狠狠躁躁| 国产伦人伦偷精品视频| 国产aⅴ精品一区二区三区波| 纯流量卡能插随身wifi吗| 一夜夜www| 国产高清videossex| 亚洲国产欧美日韩在线播放| 国产亚洲精品久久久久5区| 在线播放国产精品三级| 欧美+亚洲+日韩+国产| 亚洲七黄色美女视频| 久久影院123| 亚洲专区中文字幕在线| 亚洲国产精品一区二区三区在线| 黄色a级毛片大全视频| 午夜免费成人在线视频| 视频在线观看一区二区三区| 久久国产亚洲av麻豆专区| 亚洲欧美色中文字幕在线| 又大又爽又粗| 亚洲国产欧美网| av欧美777| 波多野结衣一区麻豆| 男男h啪啪无遮挡| 美女午夜性视频免费| 如日韩欧美国产精品一区二区三区| 黄色毛片三级朝国网站| 午夜福利欧美成人| 国产熟女午夜一区二区三区| 老司机亚洲免费影院| 亚洲第一青青草原| 欧美丝袜亚洲另类 | 看黄色毛片网站| av欧美777| 别揉我奶头~嗯~啊~动态视频| 久久精品亚洲熟妇少妇任你| 天堂√8在线中文| 久久久久国产一级毛片高清牌| 建设人人有责人人尽责人人享有的| 人人妻人人澡人人爽人人夜夜| 国产男女内射视频| 一进一出抽搐gif免费好疼 | 午夜久久久在线观看| 欧美 日韩 精品 国产| 久久99一区二区三区| 人人妻人人添人人爽欧美一区卜| 国产亚洲精品第一综合不卡| 亚洲五月婷婷丁香| 99国产精品一区二区三区| 日本精品一区二区三区蜜桃| 色综合欧美亚洲国产小说| 欧美日韩黄片免| 狠狠婷婷综合久久久久久88av| 国产日韩一区二区三区精品不卡| 天天躁狠狠躁夜夜躁狠狠躁| 亚洲色图 男人天堂 中文字幕| 不卡av一区二区三区| 一本一本久久a久久精品综合妖精| 国产成人免费观看mmmm| 国产无遮挡羞羞视频在线观看| 狠狠婷婷综合久久久久久88av| 淫妇啪啪啪对白视频| 亚洲成人免费av在线播放| 欧美亚洲 丝袜 人妻 在线| 欧美日韩国产mv在线观看视频| 国产不卡av网站在线观看| 日本vs欧美在线观看视频| 久热爱精品视频在线9| 亚洲av电影在线进入| 亚洲欧洲精品一区二区精品久久久| 国产在线一区二区三区精| 免费看十八禁软件| 国产亚洲精品一区二区www | 又黄又粗又硬又大视频| 精品人妻熟女毛片av久久网站| 久久草成人影院| 国产成人欧美| а√天堂www在线а√下载 | 交换朋友夫妻互换小说| 真人做人爱边吃奶动态| 热99久久久久精品小说推荐| 国产单亲对白刺激| 欧美日韩亚洲高清精品| 18在线观看网站| 欧美人与性动交α欧美软件| 日韩三级视频一区二区三区| 亚洲精品国产色婷婷电影| 国产男靠女视频免费网站| 成人手机av| 久久精品国产综合久久久| 久久国产乱子伦精品免费另类| 午夜影院日韩av| 成年女人毛片免费观看观看9 | 色综合欧美亚洲国产小说| 韩国av一区二区三区四区| 日本五十路高清| 女人久久www免费人成看片| 大香蕉久久成人网| 黄色怎么调成土黄色| 午夜精品国产一区二区电影| 99国产精品免费福利视频| 亚洲五月天丁香| 法律面前人人平等表现在哪些方面| 不卡av一区二区三区| 国产淫语在线视频| 色精品久久人妻99蜜桃| 丰满迷人的少妇在线观看| 久久久久久久国产电影| 日韩熟女老妇一区二区性免费视频| aaaaa片日本免费| 老司机亚洲免费影院| 亚洲视频免费观看视频| 久久午夜亚洲精品久久| 窝窝影院91人妻| 成人国产一区最新在线观看| 俄罗斯特黄特色一大片| 成熟少妇高潮喷水视频| 国产视频一区二区在线看| 91精品三级在线观看| 精品久久久久久电影网| 欧美日韩国产mv在线观看视频| 男女床上黄色一级片免费看| www.精华液| 国产野战对白在线观看| 国产成人av教育| 精品国产亚洲在线| 亚洲一区二区三区欧美精品| 久久久久国产精品人妻aⅴ院 | 国产精品乱码一区二三区的特点 | 日韩欧美三级三区| 一级片'在线观看视频| 老熟女久久久| 在线观看日韩欧美| 精品一区二区三区视频在线观看免费 | 免费看a级黄色片| 别揉我奶头~嗯~啊~动态视频| 欧美成人午夜精品| 人成视频在线观看免费观看| 欧美 亚洲 国产 日韩一| 91成年电影在线观看| 怎么达到女性高潮| 欧美激情 高清一区二区三区| 高清av免费在线| 国产男靠女视频免费网站| 久99久视频精品免费| 亚洲中文字幕日韩| 国产黄色免费在线视频| 97人妻天天添夜夜摸| 天堂中文最新版在线下载| 9191精品国产免费久久| 成人免费观看视频高清| 亚洲精品av麻豆狂野| 欧美黄色片欧美黄色片| 成人影院久久| 他把我摸到了高潮在线观看| 多毛熟女@视频| 美女午夜性视频免费| 最新在线观看一区二区三区| 乱人伦中国视频| 欧美色视频一区免费| 亚洲精品成人av观看孕妇| 国产精品久久久久久人妻精品电影| 好看av亚洲va欧美ⅴa在| 女性生殖器流出的白浆| 黄片播放在线免费| 国产一卡二卡三卡精品| 欧美精品av麻豆av| 午夜福利乱码中文字幕| 亚洲第一欧美日韩一区二区三区| 久久久国产欧美日韩av| 制服诱惑二区| 欧美性长视频在线观看| 国产男女超爽视频在线观看| 一级毛片女人18水好多| 午夜福利视频在线观看免费| 久久香蕉激情| 欧美 日韩 精品 国产| 成年人黄色毛片网站| 国产精品亚洲一级av第二区| 久久久久国内视频| 在线观看免费视频日本深夜| 一级,二级,三级黄色视频| 亚洲午夜精品一区,二区,三区| 国产伦人伦偷精品视频| 欧美性长视频在线观看| 久久精品国产亚洲av高清一级| 日韩免费高清中文字幕av| 大陆偷拍与自拍| 一级毛片高清免费大全| av有码第一页| 国产成人精品久久二区二区免费| 女性生殖器流出的白浆| 看片在线看免费视频| 国产精品久久久人人做人人爽| 国产精品久久电影中文字幕 | 亚洲国产欧美一区二区综合| 91九色精品人成在线观看| 成人亚洲精品一区在线观看| 色综合婷婷激情| 美女高潮到喷水免费观看| 亚洲欧美日韩高清在线视频| 欧美日本中文国产一区发布| 丁香六月欧美| 欧美日韩中文字幕国产精品一区二区三区 | 久久久国产精品麻豆| 一级毛片精品| 国产免费现黄频在线看| 亚洲精品av麻豆狂野| 19禁男女啪啪无遮挡网站| 午夜免费鲁丝| 岛国毛片在线播放| 午夜日韩欧美国产| 国内毛片毛片毛片毛片毛片| 亚洲专区字幕在线| 狠狠狠狠99中文字幕| 色婷婷久久久亚洲欧美| 亚洲一码二码三码区别大吗| 欧美精品亚洲一区二区| 18在线观看网站| 亚洲三区欧美一区| 国产欧美日韩一区二区精品| 亚洲专区中文字幕在线| 日本vs欧美在线观看视频| 午夜影院日韩av| 久久久国产成人精品二区 | 高清黄色对白视频在线免费看| 亚洲国产精品合色在线| 一级,二级,三级黄色视频| 黑人巨大精品欧美一区二区mp4| 99riav亚洲国产免费| 亚洲成人免费电影在线观看| 欧美精品一区二区免费开放| 国产欧美日韩一区二区三区在线| 人人妻人人澡人人看| 丝瓜视频免费看黄片| aaaaa片日本免费| 村上凉子中文字幕在线| 女人被狂操c到高潮| 国产又爽黄色视频| 美女扒开内裤让男人捅视频| 1024香蕉在线观看| 脱女人内裤的视频| 国产精品一区二区在线观看99| 精品国产国语对白av| 久久中文字幕人妻熟女| 久久精品亚洲熟妇少妇任你| 色精品久久人妻99蜜桃| 不卡一级毛片| 视频区图区小说| 嫩草影视91久久| 亚洲人成伊人成综合网2020| 村上凉子中文字幕在线| 99久久国产精品久久久| 建设人人有责人人尽责人人享有的| 国产午夜精品久久久久久| 亚洲avbb在线观看| 国产一区二区三区视频了| 欧美日韩乱码在线| 成人18禁在线播放| 超碰97精品在线观看| 在线看a的网站| 少妇猛男粗大的猛烈进出视频| 波多野结衣av一区二区av| 后天国语完整版免费观看| 手机成人av网站| 久久人妻熟女aⅴ| 9191精品国产免费久久| 国产精品.久久久| 正在播放国产对白刺激| 亚洲av成人不卡在线观看播放网| 精品国产一区二区三区久久久樱花| 欧美最黄视频在线播放免费 | 老司机影院毛片| 无人区码免费观看不卡| 亚洲国产欧美网| 丰满的人妻完整版| 美女 人体艺术 gogo| 国产亚洲一区二区精品| 亚洲av欧美aⅴ国产| 中文字幕精品免费在线观看视频| 久久香蕉国产精品| 9色porny在线观看| 国产不卡av网站在线观看| 美女扒开内裤让男人捅视频| 精品久久久久久,| 性少妇av在线| 精品电影一区二区在线| 中文欧美无线码| 侵犯人妻中文字幕一二三四区| 在线看a的网站| 亚洲专区国产一区二区| 后天国语完整版免费观看| 少妇粗大呻吟视频| 国产亚洲欧美98| 成年动漫av网址| 国产精品一区二区免费欧美| 午夜福利在线免费观看网站| 亚洲午夜精品一区,二区,三区| 十八禁人妻一区二区| 国产欧美日韩一区二区三区在线| 国产单亲对白刺激| 久久天堂一区二区三区四区| 亚洲 欧美一区二区三区| 天天添夜夜摸| 欧美不卡视频在线免费观看 | 久久草成人影院| 午夜福利乱码中文字幕| xxxhd国产人妻xxx| 国产有黄有色有爽视频| av免费在线观看网站| 亚洲熟女精品中文字幕| 村上凉子中文字幕在线| 在线播放国产精品三级| 亚洲精品国产精品久久久不卡| 国产亚洲精品一区二区www | 日韩制服丝袜自拍偷拍| av网站在线播放免费| 99热只有精品国产| 久久精品国产综合久久久| 欧美精品人与动牲交sv欧美| 不卡一级毛片| 操美女的视频在线观看| 欧美黑人精品巨大| 丁香六月欧美| 亚洲一码二码三码区别大吗| 女同久久另类99精品国产91| 欧美日韩福利视频一区二区| 天天影视国产精品| xxx96com| 亚洲九九香蕉| 在线观看66精品国产| 波多野结衣一区麻豆| 精品亚洲成国产av| 久久久久精品国产欧美久久久| 啦啦啦 在线观看视频| 亚洲欧美日韩高清在线视频| 99国产综合亚洲精品| 少妇 在线观看| 欧美日韩一级在线毛片| 巨乳人妻的诱惑在线观看| 国产成人啪精品午夜网站| 老汉色av国产亚洲站长工具| 欧美性长视频在线观看| 欧美成狂野欧美在线观看| 国产男靠女视频免费网站| 国产精品永久免费网站| 女性生殖器流出的白浆| 欧美日韩av久久| 别揉我奶头~嗯~啊~动态视频| 亚洲国产精品sss在线观看 | 久久精品国产综合久久久| 欧美精品人与动牲交sv欧美| 久久久久久久国产电影| 国产麻豆69| 国产亚洲精品第一综合不卡| 中文字幕最新亚洲高清| 日韩视频一区二区在线观看| 亚洲五月色婷婷综合| 久久久精品国产亚洲av高清涩受| 成年动漫av网址| 亚洲欧美日韩高清在线视频| 精品免费久久久久久久清纯 | 亚洲免费av在线视频| 欧美午夜高清在线| 午夜日韩欧美国产| 视频在线观看一区二区三区| 99国产极品粉嫩在线观看| 在线播放国产精品三级| 亚洲人成77777在线视频| 变态另类成人亚洲欧美熟女 | 亚洲五月天丁香| 亚洲欧美日韩另类电影网站| av欧美777| 久久人妻熟女aⅴ| 免费在线观看视频国产中文字幕亚洲| 男女免费视频国产| 一二三四在线观看免费中文在| 电影成人av| 中文亚洲av片在线观看爽 | 欧美人与性动交α欧美软件| 狠狠狠狠99中文字幕| 99国产精品一区二区三区| 露出奶头的视频| 黑人操中国人逼视频| 黑丝袜美女国产一区| 高清欧美精品videossex| 天堂中文最新版在线下载| 色老头精品视频在线观看| 午夜亚洲福利在线播放| 热99国产精品久久久久久7| 高清黄色对白视频在线免费看| 欧美日韩精品网址| 中国美女看黄片| 热re99久久精品国产66热6| 久久香蕉激情| av线在线观看网站| 亚洲精品乱久久久久久| 精品视频人人做人人爽| 亚洲欧洲精品一区二区精品久久久| 在线免费观看的www视频| 丰满迷人的少妇在线观看| 老汉色av国产亚洲站长工具| 看黄色毛片网站| 国产伦人伦偷精品视频| 亚洲精品一卡2卡三卡4卡5卡| 桃红色精品国产亚洲av| 午夜视频精品福利| 99热网站在线观看| 99精品欧美一区二区三区四区| 超碰成人久久| 在线观看免费日韩欧美大片| 欧美日韩亚洲高清精品| 三级毛片av免费| 亚洲美女黄片视频| 大片电影免费在线观看免费| 国产蜜桃级精品一区二区三区 | 国产一卡二卡三卡精品| 看免费av毛片| 亚洲人成77777在线视频| 成人永久免费在线观看视频| 亚洲av第一区精品v没综合| 九色亚洲精品在线播放| 后天国语完整版免费观看| 国产不卡一卡二| 精品高清国产在线一区| 国产成人影院久久av| 亚洲国产精品sss在线观看 | 免费在线观看视频国产中文字幕亚洲| 欧美人与性动交α欧美精品济南到| 国产精品香港三级国产av潘金莲| 91大片在线观看| www.自偷自拍.com| 国产亚洲欧美在线一区二区| 王馨瑶露胸无遮挡在线观看| 日韩欧美免费精品| 久久 成人 亚洲| 俄罗斯特黄特色一大片| 欧美性长视频在线观看| 久久亚洲真实| 在线观看免费视频日本深夜| 国产熟女午夜一区二区三区| 新久久久久国产一级毛片| 国产激情久久老熟女| 午夜福利,免费看| 啦啦啦在线免费观看视频4| 日韩有码中文字幕| 人人妻,人人澡人人爽秒播| 亚洲第一欧美日韩一区二区三区| 精品视频人人做人人爽| 丰满人妻熟妇乱又伦精品不卡| 18禁国产床啪视频网站| 国产1区2区3区精品| 香蕉丝袜av| 国产亚洲av高清不卡|