• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    可編程網(wǎng)絡(luò)數(shù)據(jù)平面技術(shù)進(jìn)展

    2022-07-07 05:37:50張昕怡潘恒謝高崗
    電信科學(xué) 2022年6期
    關(guān)鍵詞:數(shù)據(jù)包平面規(guī)則

    張昕怡,潘恒,謝高崗,3

    專題:新型網(wǎng)絡(luò)技術(shù)

    可編程網(wǎng)絡(luò)數(shù)據(jù)平面技術(shù)進(jìn)展

    張昕怡1,潘恒2,謝高崗1,3

    (1.中國(guó)科學(xué)院計(jì)算機(jī)網(wǎng)絡(luò)信息中心,北京 100190;2.中國(guó)科學(xué)院計(jì)算技術(shù)研究所,北京 100190;3. 中國(guó)科學(xué)院大學(xué),北京 100049)

    網(wǎng)絡(luò)數(shù)據(jù)平面執(zhí)行數(shù)據(jù)包處理轉(zhuǎn)發(fā),是網(wǎng)絡(luò)性能的決定性因素之一。大帶寬、低時(shí)延、可持續(xù)演進(jìn)的網(wǎng)絡(luò)基礎(chǔ)設(shè)施需要構(gòu)建高效可編程的網(wǎng)絡(luò)數(shù)據(jù)平面。首先,介紹數(shù)據(jù)包處理轉(zhuǎn)發(fā)模型,并以此為基礎(chǔ)概述網(wǎng)絡(luò)數(shù)據(jù)平面在性能與可編程性面臨的關(guān)鍵挑戰(zhàn)。然后,從數(shù)據(jù)包查找算法理論與軟/硬件協(xié)同實(shí)現(xiàn)機(jī)制出發(fā),詳細(xì)論述其基本思路及關(guān)鍵核心技術(shù)進(jìn)展以應(yīng)對(duì)上述關(guān)鍵挑戰(zhàn)。最后,探討高效可編程數(shù)據(jù)平面的未來(lái)發(fā)展趨勢(shì)與技術(shù)演進(jìn)路線。

    網(wǎng)絡(luò)可編程數(shù)據(jù)平面;軟/硬件協(xié)同設(shè)計(jì);數(shù)據(jù)包處理;網(wǎng)絡(luò)內(nèi)計(jì)算

    0 引言

    互聯(lián)網(wǎng)已成為人類社會(huì)的基礎(chǔ)設(shè)施,通過數(shù)據(jù)包查找轉(zhuǎn)發(fā),實(shí)現(xiàn)人機(jī)物互聯(lián)。數(shù)據(jù)平面執(zhí)行數(shù)據(jù)包查找轉(zhuǎn)發(fā),是網(wǎng)絡(luò)性能的決定性因素之一。4K/8K超高清視頻點(diǎn)播、增強(qiáng)現(xiàn)實(shí)/虛擬現(xiàn)實(shí)(augmented reality/virtual reality,AR/VR)及物聯(lián)網(wǎng)等應(yīng)用[1-3]的發(fā)展,對(duì)網(wǎng)絡(luò)提出大帶寬、廣連接和低時(shí)延等性能需求。受限于芯片器件工藝,僅通過硬件升級(jí)和設(shè)備堆疊無(wú)法滿足服務(wù)質(zhì)量需求。為了解決上述問題,軟件定義網(wǎng)絡(luò)(software defined network,SDN)、網(wǎng)絡(luò)切片、算網(wǎng)融合及新型網(wǎng)絡(luò)體系結(jié)構(gòu)被廣泛研究與應(yīng)用[4-6]。上述技術(shù)要求數(shù)據(jù)平面在保障高效轉(zhuǎn)發(fā)的同時(shí),提供查找規(guī)則、匹配運(yùn)算、轉(zhuǎn)發(fā)隊(duì)列可編程能力,因此,網(wǎng)絡(luò)數(shù)據(jù)平面查找算法與實(shí)現(xiàn)機(jī)制都面臨新挑戰(zhàn)。

    1 數(shù)據(jù)包處理轉(zhuǎn)發(fā)模型

    數(shù)據(jù)平面的基本操作是數(shù)據(jù)包查找轉(zhuǎn)發(fā):接收端口收到數(shù)據(jù)包后,解析數(shù)據(jù)包相關(guān)字段,匹配規(guī)則表;根據(jù)精確匹配、最長(zhǎng)前綴查找或正則表達(dá)式匹配結(jié)果,執(zhí)行數(shù)據(jù)包修改、轉(zhuǎn)發(fā)或者丟棄等操作。不同的網(wǎng)絡(luò)設(shè)備功能具有不同的規(guī)則表與匹配操作。例如,交換機(jī)由媒體訪問控制(media access control,MAC)表實(shí)現(xiàn)精確匹配,路由器查找路由表執(zhí)行最長(zhǎng)前綴匹配,防火墻查找五元組實(shí)現(xiàn)數(shù)據(jù)包分類,SDN交換機(jī)查找多級(jí)流表實(shí)現(xiàn)轉(zhuǎn)發(fā),5G云核心網(wǎng)通過報(bào)文檢測(cè)規(guī)則(packet detection rule,PDR)、統(tǒng)一資源定位符(uniform resource locator, URL)規(guī)則匹配實(shí)現(xiàn)流量計(jì)費(fèi)。

    數(shù)據(jù)包查找轉(zhuǎn)發(fā)是典型的維空間點(diǎn)定位問題,構(gòu)造最優(yōu)的查找決策樹已被證明是多項(xiàng)式復(fù)雜程度的非確定性完全(non-deterministic polynomial complete,NPC)問題[7]。IPv6的廣泛部署、規(guī)則表?xiàng)l目增加、網(wǎng)絡(luò)切片與虛擬化轉(zhuǎn)發(fā)表增加、SDN流表字段增加與高頻更新,對(duì)數(shù)據(jù)平面性能與可編程性提出新需求,而可編程性也進(jìn)一步對(duì)性能提出新挑戰(zhàn)。

    1.1 數(shù)據(jù)平面性能

    數(shù)據(jù)包查找模塊轉(zhuǎn)發(fā)速度將決定網(wǎng)絡(luò)設(shè)備的轉(zhuǎn)發(fā)速率、隊(duì)列長(zhǎng)度與丟包率,是網(wǎng)絡(luò)性能的決定性因素之一。在5G/B5G網(wǎng)絡(luò)環(huán)境中,雖然無(wú)線側(cè)空口傳輸?shù)男阅艿玫酱蠓忍嵘?,但核心網(wǎng)處理能力和效率受限于數(shù)據(jù)包處理轉(zhuǎn)發(fā)的性能,成為網(wǎng)絡(luò)傳輸?shù)男阅芷款i。面對(duì)當(dāng)前網(wǎng)絡(luò)環(huán)境中業(yè)務(wù)流量、系統(tǒng)規(guī)模以及功能復(fù)雜性的增長(zhǎng),數(shù)據(jù)平面性能面臨以下挑戰(zhàn)。

    ●查找速度方面,大帶寬網(wǎng)絡(luò)需要數(shù)據(jù)包高速查找轉(zhuǎn)發(fā)。當(dāng)鏈路帶寬為100 Gbit/s時(shí),按照最小以太網(wǎng)幀計(jì)算,線速數(shù)據(jù)包轉(zhuǎn)發(fā)吞吐量需達(dá)到約150 Mbit/s,即幀間時(shí)延約為7 ns。實(shí)際上,末級(jí)緩存(last level cache, LLC)的訪問通常需要約40 ns,若LLC未命中,訪問內(nèi)存則需要約100 ns,通用處理平臺(tái)上的實(shí)現(xiàn)線速轉(zhuǎn)發(fā)成為挑戰(zhàn)。

    ●存儲(chǔ)容量方面,目前骨干網(wǎng)路由器IPv4路由表項(xiàng)達(dá)到百萬(wàn)級(jí),IPv6路由表項(xiàng)達(dá)到十萬(wàn)級(jí);云計(jì)算平臺(tái)虛擬路由表規(guī)模達(dá)到千萬(wàn)級(jí);云化5G核心網(wǎng)需為數(shù)十萬(wàn)用戶的并發(fā)會(huì)話獨(dú)立配置用戶策略,將在數(shù)據(jù)平面產(chǎn)生千萬(wàn)級(jí)的規(guī)則。大規(guī)模規(guī)則需要大存儲(chǔ)空間,增加設(shè)備制造成本與能耗,也會(huì)因內(nèi)存墻的存在誘發(fā)訪存瓶頸,使系統(tǒng)整體處理性能下降。

    ●更新速度方面,軟件定義網(wǎng)絡(luò)與網(wǎng)絡(luò)功能虛擬化為網(wǎng)絡(luò)帶來(lái)極大的靈活性與可編程性,同時(shí),網(wǎng)絡(luò)狀態(tài)和網(wǎng)絡(luò)功能將頻繁動(dòng)態(tài)變化。在5G核心網(wǎng)和云數(shù)據(jù)中心,業(yè)務(wù)的多樣性加劇了網(wǎng)絡(luò)的動(dòng)態(tài)性和不確定性,系統(tǒng)中規(guī)則更新的頻率大幅提升。異步更新會(huì)產(chǎn)生大量的查找錯(cuò)誤,從而使重傳等嚴(yán)重影響傳輸性能的問題;同步更新則會(huì)直接阻塞查找進(jìn)程,降低整體處理性能?;跊Q策樹數(shù)據(jù)包分類算法具有高更新時(shí)間復(fù)雜度,要在保持高速查找的同時(shí)實(shí)現(xiàn)動(dòng)態(tài)增量更新,挑戰(zhàn)巨大。

    1.2 數(shù)據(jù)平面可編程性

    互聯(lián)網(wǎng)體系結(jié)構(gòu)、協(xié)議與業(yè)務(wù)的持續(xù)創(chuàng)新需要可編程數(shù)據(jù)面提供執(zhí)行、部署與驗(yàn)證環(huán)境。早期的可編程數(shù)據(jù)面主要基于通用處理器平臺(tái),數(shù)據(jù)包處理邏輯以軟件方式部署執(zhí)行,具有良好的靈活性與可編程性。近年來(lái),雖然高性能輸入/輸出(input/output,I/O)架構(gòu)(DPDK[8]、Netmap[9]、PF_RING ZX[10]等)取得進(jìn)展,但通用CPU的數(shù)據(jù)包處理性能有限。基于可編程交換芯片[11]的網(wǎng)絡(luò)數(shù)據(jù)面雖然可提供部分基礎(chǔ)編程能力與T級(jí)處理能力,使用戶通過特定編程語(yǔ)言構(gòu)建復(fù)雜的網(wǎng)絡(luò)應(yīng)用,但仍面臨以下挑戰(zhàn)。

    (1)統(tǒng)一抽象

    基于可編程交換芯片的網(wǎng)絡(luò)數(shù)據(jù)面通常采用“Match-Action”流水線的抽象結(jié)構(gòu),可實(shí)現(xiàn)無(wú)狀態(tài)網(wǎng)絡(luò)功能,但難以完整實(shí)現(xiàn)帶狀態(tài)的網(wǎng)絡(luò)業(yè)務(wù),導(dǎo)致應(yīng)用范圍受限。如何在現(xiàn)有數(shù)據(jù)面抽象基礎(chǔ)之上進(jìn)一步延伸擴(kuò)展,構(gòu)建統(tǒng)一、完整的抽象模型,支撐帶復(fù)雜狀態(tài)數(shù)據(jù)包運(yùn)算,需要設(shè)計(jì)新的數(shù)據(jù)包處理抽象與范式。

    (2)資源受限

    可編程交換芯片的計(jì)算能力、存儲(chǔ)資源、數(shù)據(jù)面流水線等多維資源受限,限制了數(shù)據(jù)面的數(shù)據(jù)包處理能力,無(wú)法支持復(fù)雜的數(shù)據(jù)包操作。如何在空間固定且受限的交換芯片上放置更多的計(jì)算邏輯、存儲(chǔ)器件以及流水線結(jié)構(gòu),不僅是芯片制造工藝所面臨的巨大挑戰(zhàn),更是交換芯片核心算法設(shè)計(jì)與實(shí)現(xiàn)的系統(tǒng)性難題。

    (3)安全威脅

    網(wǎng)絡(luò)的開放性與可編程性會(huì)引入“人”的因素,將增加出錯(cuò)的風(fēng)險(xiǎn),影響網(wǎng)絡(luò)的可靠性與穩(wěn)定性;同時(shí),管控分離架構(gòu)易造成拒絕服務(wù)攻擊,導(dǎo)致轉(zhuǎn)發(fā)性能下降。如何對(duì)數(shù)據(jù)面部署的網(wǎng)絡(luò)策略進(jìn)行實(shí)時(shí)異常檢測(cè)與功能驗(yàn)證,對(duì)惡意網(wǎng)絡(luò)流量進(jìn)行安全隔離與處理,保障網(wǎng)絡(luò)數(shù)據(jù)面安全是一個(gè)關(guān)鍵性挑戰(zhàn)。

    2 高效數(shù)據(jù)包查找算法

    網(wǎng)絡(luò)數(shù)據(jù)包查找轉(zhuǎn)發(fā)是網(wǎng)關(guān)、交換機(jī)、路由器、防火墻等關(guān)鍵網(wǎng)絡(luò)設(shè)備的核心功能,其性能直接決定了相關(guān)設(shè)備的處理能力、成本以及穩(wěn)定性。隨著網(wǎng)絡(luò)帶寬的增長(zhǎng)、網(wǎng)絡(luò)規(guī)模的擴(kuò)大以及網(wǎng)絡(luò)動(dòng)態(tài)性的增加,現(xiàn)有方案難以滿足大帶寬、大容量、靈活動(dòng)態(tài)的新需求。因此,創(chuàng)新查找轉(zhuǎn)發(fā)關(guān)鍵算法和實(shí)現(xiàn)機(jī)制,突破現(xiàn)有技術(shù)性能瓶頸,是實(shí)現(xiàn)高效網(wǎng)絡(luò)數(shù)據(jù)平面?zhèn)鬏斉c計(jì)算的關(guān)鍵。

    2.1 最長(zhǎng)前綴查找算法

    最長(zhǎng)前綴查找是路由器的基本操作,隨著骨干路由轉(zhuǎn)發(fā)信息庫(kù)(forwarding information base,F(xiàn)IB)的規(guī)模不斷擴(kuò)大和網(wǎng)絡(luò)帶寬的迅速增長(zhǎng),單域最長(zhǎng)前綴查找算法需要不斷提升查找速率并降低路由轉(zhuǎn)發(fā)表存儲(chǔ)開銷。云計(jì)算虛擬路由器平臺(tái)由于多個(gè)虛擬路由器共存,存在多個(gè)FIB,需要在保證低存儲(chǔ)開銷的同時(shí),提升查找與更新速度。隨著IPv6技術(shù)的廣泛部署,IP地址前綴長(zhǎng)度從IPv4中的32 bit變?yōu)?28 bit,查找時(shí)間與存儲(chǔ)開銷進(jìn)一步增加。提升路由查找性能,可以基于算法理論構(gòu)建低存儲(chǔ)開銷與查找時(shí)間復(fù)雜度的算法,還可以利用規(guī)則的分布和特征優(yōu)化查找結(jié)構(gòu)。對(duì)于IPv4最長(zhǎng)前綴查找,可以利用IP地址前綴規(guī)則非均勻分布特征和片上/片外存儲(chǔ)的性能特點(diǎn),通過對(duì)查找流程和規(guī)則存儲(chǔ)拆分,實(shí)現(xiàn)存儲(chǔ)空間高效利用的同時(shí)達(dá)到高速的查找速率[12];對(duì)于多虛擬路由表,可以通過挖掘規(guī)則前綴特征,設(shè)計(jì)高效的數(shù)據(jù)結(jié)構(gòu)和合并方案,實(shí)現(xiàn)面向虛擬路由器的高性能、支持快速更新、可擴(kuò)展的IP地址查找方法[13];對(duì)于IPv6最長(zhǎng)前綴查找,同樣可以基于規(guī)則集的分布,優(yōu)化查找數(shù)據(jù)結(jié)構(gòu)降低訪存次數(shù),提升查找速率[14]。

    2.2 數(shù)據(jù)包分類算法

    數(shù)據(jù)包分類算法基于多域規(guī)則集(如五元組)對(duì)數(shù)據(jù)包進(jìn)行查找匹配,是防火墻、入侵檢測(cè)、負(fù)載均衡系統(tǒng)、虛擬專用網(wǎng)絡(luò)(virtual private network,VPN)等網(wǎng)絡(luò)設(shè)備的基本操作。隨著網(wǎng)絡(luò)規(guī)模的擴(kuò)大和網(wǎng)絡(luò)功能的復(fù)雜化,規(guī)則的急劇增加使數(shù)據(jù)包分類算法面臨的存儲(chǔ)壓力和性能挑戰(zhàn)更加嚴(yán)峻。通過預(yù)先設(shè)定的方案劃分整個(gè)規(guī)則空間并構(gòu)造決策樹,能夠?qū)崿F(xiàn)查找結(jié)構(gòu)體的快速構(gòu)建[15-16],但是由于忽略了規(guī)則的特征,構(gòu)建決策樹的過程可能產(chǎn)生規(guī)則的大規(guī)模復(fù)制進(jìn)而增加存儲(chǔ)開銷;此外,不同的決策樹算法在不同的規(guī)則集會(huì)出現(xiàn)較大的性能波動(dòng)和差異。通過設(shè)計(jì)估算不同算法存儲(chǔ)開銷的評(píng)估預(yù)測(cè)模型[17],基于規(guī)則特征動(dòng)態(tài)選擇最優(yōu)的方案構(gòu)造決策樹,能夠顯著減少規(guī)則復(fù)制,降低存儲(chǔ)開銷,同時(shí)提升查找性能。

    2.3 流表查找算法

    流表查找算法本質(zhì)屬于多域規(guī)則匹配,只因軟件定義網(wǎng)絡(luò)與網(wǎng)絡(luò)功能虛擬化場(chǎng)景規(guī)則更新頻繁,需要流表查找算法能夠支持規(guī)則集的快速增量更新。傳統(tǒng)的流表查找算法基于哈希表[18]實(shí)現(xiàn)規(guī)則的高速更新,但是數(shù)據(jù)包查詢時(shí)需要遍歷哈希表,因此查詢速率緩慢。雖然基于預(yù)先設(shè)定的策略對(duì)哈希表進(jìn)行合并[19]可以減少哈希表的數(shù)目,但由于忽略了規(guī)則的特征,可能會(huì)產(chǎn)生較多的哈希沖突數(shù)從而增加驗(yàn)證時(shí)間,影響查詢速率。因此,如何在有效地減少哈希表的數(shù)目同時(shí)降低哈希沖突數(shù),是實(shí)現(xiàn)高效流表查找算法的關(guān)鍵。要解決上述問題,一方面可以將合并哈希表產(chǎn)生的沖突數(shù)轉(zhuǎn)化為合并概率(即沖突數(shù)越大合并的概率越?。?,進(jìn)而指導(dǎo)哈希表的合并[20];另一方面,可以利用人工智能中監(jiān)督學(xué)習(xí)的方法,通過線下篩選合并方案并完成訓(xùn)練模型,指導(dǎo)線上基于哈希表的查找結(jié)構(gòu)體的構(gòu)建,在減少哈希表數(shù)目的同時(shí),有效控制哈希沖突概率,實(shí)現(xiàn)規(guī)則的高速增量更新[21]。

    雖然軟件算法的創(chuàng)新始終是實(shí)現(xiàn)高效數(shù)據(jù)平面的技術(shù)路線之一,但算法的執(zhí)行效率與硬件體系結(jié)構(gòu)密切相關(guān)?;谟布w系結(jié)構(gòu)設(shè)計(jì)算法,能夠高效充分利用硬件資源從而提升數(shù)據(jù)平面性能。因此,通過軟/硬協(xié)同的方式實(shí)現(xiàn)高效可編程的網(wǎng)絡(luò)數(shù)據(jù)平面成為當(dāng)前研究的熱點(diǎn)。

    3 軟/硬件協(xié)同實(shí)現(xiàn)機(jī)制

    專用硬件平臺(tái)受限于芯片處理邏輯的設(shè)計(jì),不同平臺(tái)的可編程性通常與性能成反比,硬件實(shí)現(xiàn)的性能與可編程性如圖1所示。在CPU通用軟件平臺(tái)上,CPU高度靈活,能夠?qū)崿F(xiàn)復(fù)雜計(jì)算場(chǎng)景的需求,但是CPU沒有針對(duì)數(shù)據(jù)包處理設(shè)計(jì)實(shí)現(xiàn)專用的加速邏輯,性能較硬件轉(zhuǎn)發(fā)設(shè)備差。此外,云平臺(tái)中CPU及內(nèi)存等資源由多業(yè)務(wù)共享競(jìng)爭(zhēng),無(wú)法保障數(shù)據(jù)平面中負(fù)責(zé)數(shù)據(jù)包處理轉(zhuǎn)發(fā)程序的性能?,F(xiàn)場(chǎng)可編程邏輯門陣列(field programmable gate array,F(xiàn)PGA)芯片內(nèi)集成大量的基本門電路以及存儲(chǔ)器,用戶通過更新FPGA配置文件定義門電路以及存儲(chǔ)器之間的連線,被廣泛用作硬件可編程加速平臺(tái)。網(wǎng)絡(luò)處理器(network processor,NP)通常由若干微碼處理器和若干硬件協(xié)處理器組成,可以基于微碼編程,同時(shí)能夠?qū)崿F(xiàn)高速數(shù)據(jù)包的處理。專用集成電路(application specific integrated circuit,ASIC)作為定制加速平臺(tái),其硬件電路不可改變,因此也不具備可編程的能力。但是ASIC面向特定應(yīng)用場(chǎng)景定制開發(fā),因此僅能夠在對(duì)應(yīng)的應(yīng)用場(chǎng)景發(fā)揮硬件平臺(tái)強(qiáng)勁的性能。

    圖1 硬件實(shí)現(xiàn)的性能與可編程性

    通過上述分析可知,要實(shí)現(xiàn)高性能且可編程的數(shù)據(jù)平面,需要將通用平臺(tái)的靈活性和可編程性與專用硬件的高效性深度融合,軟/硬件協(xié)同加速。

    3.1 數(shù)據(jù)平面可編程

    基于不同的數(shù)據(jù)平面架構(gòu),通過開發(fā)高級(jí)編程語(yǔ)言能夠降低網(wǎng)絡(luò)數(shù)據(jù)平面編程門檻,為網(wǎng)絡(luò)數(shù)據(jù)平面的研究和發(fā)展帶來(lái)更多契機(jī)。Click[22]基于C++實(shí)現(xiàn)數(shù)據(jù)包在CPU中的處理邏輯,PX[23]則是面向FGPA平臺(tái)的數(shù)據(jù)包處理語(yǔ)言,而可編程協(xié)議無(wú)關(guān)報(bào)文處理(programming protocol- independent packet processors,P4)[24]作為一種協(xié)議無(wú)關(guān)的高級(jí)編程語(yǔ)言,能夠屏蔽可編程交換芯片底層硬件邏輯,基于芯片提供的接口對(duì)網(wǎng)絡(luò)數(shù)據(jù)平面進(jìn)行編程,目前應(yīng)用最為廣泛。P4通過基于高層抽象語(yǔ)言對(duì)數(shù)據(jù)包處理流程進(jìn)行自定義,實(shí)現(xiàn)對(duì)數(shù)據(jù)包處理流程邏輯即時(shí)編程的可重配置性,基于自定義的數(shù)據(jù)處理邏輯實(shí)現(xiàn)協(xié)議無(wú)關(guān)性,并且在代碼編寫過程中,P4無(wú)須關(guān)心底層設(shè)備實(shí)現(xiàn)細(xì)節(jié),因而具備目標(biāo)設(shè)備無(wú)關(guān)性。借助P4帶來(lái)的數(shù)據(jù)平面編程能力,網(wǎng)絡(luò)研究人員可以實(shí)現(xiàn)路由器、防火墻等網(wǎng)絡(luò)設(shè)備功能與網(wǎng)絡(luò)協(xié)議,加速網(wǎng)絡(luò)創(chuàng)新。

    同時(shí),基于可編程芯片和P4,網(wǎng)絡(luò)具備初步的計(jì)算能力,這使傳統(tǒng)以CPU/GPU為中心的計(jì)算模式逐漸轉(zhuǎn)變?yōu)橐詳?shù)據(jù)為中心的計(jì)算模式,網(wǎng)絡(luò)與計(jì)算進(jìn)一步深度融合,網(wǎng)絡(luò)內(nèi)計(jì)算(in-network computing)這一新型技術(shù)得以興起。網(wǎng)絡(luò)內(nèi)計(jì)算的核心思想在于通過網(wǎng)絡(luò)側(cè)與端側(cè)的協(xié)同,使網(wǎng)絡(luò)數(shù)據(jù)在傳輸?shù)倪^程中邊轉(zhuǎn)發(fā)邊計(jì)算,從而降低端側(cè)計(jì)算壓力,提升網(wǎng)絡(luò)傳輸?shù)耐?。?dāng)前,網(wǎng)絡(luò)內(nèi)計(jì)算技術(shù)的發(fā)展主要集中在兩個(gè)方面。其一是對(duì)網(wǎng)絡(luò)算力的增強(qiáng),從而使網(wǎng)絡(luò)具備處理更為復(fù)雜業(yè)務(wù)與數(shù)據(jù)的能力。例如,NetFC[25]設(shè)計(jì)了基于多表查詢的在網(wǎng)浮點(diǎn)數(shù)計(jì)算方法;P4AES[26]使網(wǎng)絡(luò)具有數(shù)據(jù)加解密能力;而ZipLine[27]實(shí)現(xiàn)了網(wǎng)絡(luò)數(shù)據(jù)的在網(wǎng)壓縮/解壓縮。其二是通過網(wǎng)絡(luò)內(nèi)計(jì)算技術(shù)加速傳統(tǒng)網(wǎng)絡(luò)功能或典型分布式應(yīng)用。例如,Beamer[28]將負(fù)載均衡部分功能實(shí)現(xiàn)在可編程交換機(jī)上,從而能夠處理40 Gbit/s的HTTP流量;SwRL[29]在可編程交換機(jī)上實(shí)現(xiàn)了高性能可擴(kuò)展流量限速器;NetCache[30]利用可編程交換機(jī)對(duì)網(wǎng)絡(luò)的key-value存儲(chǔ)應(yīng)用進(jìn)行緩存及快速響應(yīng),其性能可以達(dá)到每秒20億次查詢;SwitchML[31]和ATP[32]提出了基于可編程交換機(jī)的網(wǎng)絡(luò)內(nèi)梯度聚合機(jī)制,加速分布式訓(xùn)練效率;NetSHa[33]將分布式搜索中的答案約減卸載到可編程交換機(jī)完成,極大提升檢索效率。

    3.2 高性能網(wǎng)絡(luò)處理

    傳統(tǒng)的數(shù)據(jù)包處理方式基于CPU中斷,即網(wǎng)卡驅(qū)動(dòng)接收數(shù)據(jù)包后通過中斷通知CPU處理,然后由CPU拷貝數(shù)據(jù)并交給協(xié)議棧。隨著網(wǎng)絡(luò)帶寬的增加,海量數(shù)據(jù)包的處理將產(chǎn)生大量CPU中斷,使系統(tǒng)時(shí)延上升、吞吐量下降,同時(shí)降低基礎(chǔ)架構(gòu)的整體效率。DPDK[8]、Netmap[9]、PF_RING ZX[10]等架構(gòu)基于內(nèi)核旁路(kernal bypass)技術(shù)實(shí)現(xiàn)高性能I/O。其中,DPDK可提供高性能的數(shù)據(jù)包處理庫(kù)和用戶空間驅(qū)動(dòng)程序,是目前主流的高性能I/O架構(gòu)。不同于傳統(tǒng)數(shù)據(jù)包處理使用CPU中斷方式,DPDK采用輪詢方式實(shí)現(xiàn)數(shù)據(jù)包處理過程。DPDK重載了網(wǎng)卡驅(qū)動(dòng),該驅(qū)動(dòng)在收到數(shù)據(jù)包后不產(chǎn)生中斷通知CPU,而是將數(shù)據(jù)包通過零拷貝技術(shù)存入內(nèi)存,應(yīng)用層程序通過DPDK提供的接口直接從內(nèi)存讀取數(shù)據(jù)包。這種處理方式節(jié)省了CPU中斷時(shí)間、內(nèi)存拷貝時(shí)間,并向應(yīng)用層提供了簡(jiǎn)單易行且高效的數(shù)據(jù)包處理方式。

    (1)CPU指令優(yōu)化算法

    通用平臺(tái)上的網(wǎng)絡(luò)數(shù)據(jù)平面的查找算法由軟件實(shí)現(xiàn)。算法或者數(shù)據(jù)結(jié)構(gòu)的優(yōu)化可以提升算法查找性能,進(jìn)而優(yōu)化網(wǎng)絡(luò)數(shù)據(jù)平面的處理能力。而算法的高效性與體系結(jié)構(gòu)密切相關(guān),利用體系結(jié)構(gòu)特性或CPU指令進(jìn)一步優(yōu)化軟件算法。針對(duì)數(shù)據(jù)平面中的單域最長(zhǎng)前綴查找算法,可基于CPU體系結(jié)構(gòu)和緩存調(diào)度特點(diǎn),利用訪存局部性實(shí)現(xiàn)高通量算法。對(duì)基于決策樹的數(shù)據(jù)包分類算法,可利用CPU比特位操控指令PEXT[34]對(duì)每個(gè)樹節(jié)點(diǎn)制定有效的切割規(guī)則,構(gòu)建高效的查找數(shù)據(jù)結(jié)構(gòu)并提升查找速率。

    (2)網(wǎng)卡卸載

    智能網(wǎng)卡( smart network interface card,Smart NIC)[35-38]通過在傳統(tǒng)以太網(wǎng)接口和硬件總線之間,嵌入具有計(jì)算和存儲(chǔ)功能的網(wǎng)絡(luò)處理器或現(xiàn)場(chǎng)可編程邏輯門陣列,使其具有高度可編程化定制的特點(diǎn),提升計(jì)算和存儲(chǔ)能力。通過使用智能網(wǎng)卡協(xié)助CPU處理網(wǎng)絡(luò)負(fù)載(包括TCP卸載、VxLAN/GRE隧道報(bào)文卸載、IPSec[39]加/解密的卸載、防火墻卸載等),能夠有效減輕宿主機(jī)CPU負(fù)載。以IPSec在智能網(wǎng)卡上的卸載為例,IPSec是一組基于網(wǎng)絡(luò)層的安全通信協(xié)議族。通過對(duì)IP的分組進(jìn)行加密和認(rèn)證來(lái)保護(hù)IP的網(wǎng)絡(luò)傳輸協(xié)議簇,已部署于VPN、無(wú)線網(wǎng)絡(luò)和安全網(wǎng)絡(luò)虛擬化隧道。當(dāng)開啟IPSec功能后,IPSec處理模塊會(huì)在收到的數(shù)據(jù)包IP頭和高層協(xié)議頭之間插入經(jīng)復(fù)雜計(jì)算得到的IPSec頭。而隨著網(wǎng)絡(luò)帶寬的增加,頻繁的加/解密操作會(huì)消耗大量CPU資源,嚴(yán)重影響系統(tǒng)性能。通過將IPSec中的加/解密任務(wù)卸載到智能網(wǎng)卡,雖然部分操作仍需要在軟件側(cè)完成,但是利用智能網(wǎng)卡硬件優(yōu)勢(shì)能夠顯著提升系統(tǒng)性能。

    面向數(shù)據(jù)中心的專用處理器(data processing unit,DPU)最早由硅谷創(chuàng)業(yè)公司Fungible[40]提出,英偉達(dá)公司(NVIDIA)在收購(gòu)邁勒羅斯科技公司(Mellanox Technologies)后,推出BlueField系列DPU[41]。BlueField DPU在傳統(tǒng)智能網(wǎng)卡上嵌入CPU,通過卸載控制平面的任務(wù)和一些靈活復(fù)雜的數(shù)據(jù)平面任務(wù),達(dá)到釋放宿主CPU資源、提升網(wǎng)絡(luò)性能的目的。以DPU加速虛擬網(wǎng)絡(luò)交換機(jī)(open vSwitch,OVS)[42]為例,不同于Mellanox ConnectX-5[43]在智能網(wǎng)卡實(shí)現(xiàn)相對(duì)簡(jiǎn)單的可編程數(shù)據(jù)路徑,控制平面仍需要在宿主CPU處理。即當(dāng)收到報(bào)文后,檢查是否在快速路徑已緩存該類報(bào)文的處理規(guī)則,命中則直接按照對(duì)應(yīng)的規(guī)則執(zhí)行操作,否則傳送至軟件虛擬交換機(jī)。BlueField DPU中OVS[44]直接部署在其上ARM(advanced RISC machine)架構(gòu)的CPU中,而OVS中的快速路徑可卸載到網(wǎng)絡(luò)硬件加速器eSwitch,該卸載方案可降低數(shù)據(jù)面和控制面之間通信的時(shí)延,加速網(wǎng)絡(luò)數(shù)據(jù)平面的處理。

    4 發(fā)展趨勢(shì)

    4.1 數(shù)據(jù)包匹配算法

    對(duì)于高效數(shù)據(jù)平面算法的實(shí)現(xiàn),可以分別從優(yōu)化算法實(shí)現(xiàn)與算法理論創(chuàng)新兩個(gè)方面開展。

    在優(yōu)化算法實(shí)現(xiàn)方面,由于規(guī)則集分布特性和流量特征影響算法性能,通過深入挖掘規(guī)則分布特性與流量特征優(yōu)化算法,能夠極大提升算法性能。隨著人工智能技術(shù)的發(fā)展與進(jìn)步,基于人工智能的技術(shù)實(shí)現(xiàn)流量和規(guī)則特征提取及算法優(yōu)化,是實(shí)現(xiàn)高效算法的關(guān)鍵解決思路和研究方向。對(duì)于高效算法的實(shí)現(xiàn),除了分別從時(shí)間復(fù)雜度和空間復(fù)雜度優(yōu)化代碼的執(zhí)行效率和空間存儲(chǔ),由于算法的執(zhí)行效率與硬件體系結(jié)構(gòu)密切相關(guān),還可以進(jìn)一步從體系結(jié)構(gòu)、CPU指令執(zhí)行的角度實(shí)現(xiàn)算法與系統(tǒng)的深度融合。

    在算法理論創(chuàng)新方面,通過針對(duì)具體的應(yīng)用場(chǎng)景設(shè)計(jì)新型數(shù)據(jù)結(jié)構(gòu),能夠進(jìn)一步提升網(wǎng)絡(luò)性能。Sketch[45-46]通常用于數(shù)據(jù)平面測(cè)量,能夠在高速網(wǎng)絡(luò)環(huán)境中實(shí)時(shí)地存儲(chǔ)流量特征信息,并且僅占用較小的存儲(chǔ)空間,具備在理論上可證明的估計(jì)精度與內(nèi)存的平衡特性。Learned index[47-48]通常用于索引查詢,通過利用機(jī)器學(xué)習(xí)技術(shù)得到更好的范圍索引,使用機(jī)器學(xué)習(xí)模型代替?zhèn)鹘y(tǒng)的B樹索引,從而在實(shí)現(xiàn)存儲(chǔ)高效壓縮的同時(shí)保證較高的查詢速率。

    優(yōu)化創(chuàng)新數(shù)據(jù)包匹配算法是大幅提升網(wǎng)絡(luò)數(shù)據(jù)平面性能的關(guān)鍵。如何在使網(wǎng)絡(luò)更加智能化的基礎(chǔ)上,更高效準(zhǔn)確地提取流量和規(guī)則特征,基于具體應(yīng)用場(chǎng)景對(duì)關(guān)鍵數(shù)據(jù)結(jié)構(gòu)進(jìn)行創(chuàng)新,將是網(wǎng)絡(luò)數(shù)據(jù)平面算法的設(shè)計(jì)思路和研究方向。

    4.2 計(jì)算內(nèi)網(wǎng)絡(luò)

    隨著云數(shù)據(jù)中心、虛擬化等技術(shù)的日趨成熟,虛擬服務(wù)器逐漸替代裸金屬服務(wù)器為不同客戶提供計(jì)算、存儲(chǔ)等差異化服務(wù),達(dá)到高效利用不同類型資源的目的。單物理機(jī)或多物理機(jī)中的不同虛擬服務(wù)器之間需要通過虛擬網(wǎng)絡(luò)進(jìn)行互聯(lián)互通、協(xié)同計(jì)算。虛擬網(wǎng)絡(luò)的性能已逐漸成為影響協(xié)同計(jì)算效率的關(guān)鍵因素。

    高性能虛擬化網(wǎng)絡(luò)的構(gòu)建需要從算法與系統(tǒng)兩個(gè)層面分別考量與設(shè)計(jì)。在算法層面上,需要設(shè)計(jì)靈活高效可擴(kuò)展的查找轉(zhuǎn)發(fā)機(jī)制與數(shù)據(jù)結(jié)構(gòu),可針對(duì)不同網(wǎng)絡(luò)業(yè)務(wù)類型,快速確定網(wǎng)絡(luò)數(shù)據(jù)包的虛擬轉(zhuǎn)發(fā)路徑與轉(zhuǎn)發(fā)端口,提升轉(zhuǎn)發(fā)效率;在系統(tǒng)方面,需要設(shè)計(jì)高效的虛擬I/O與緩存機(jī)制,減少網(wǎng)絡(luò)數(shù)據(jù)包在虛擬轉(zhuǎn)發(fā)過程中的數(shù)據(jù)拷貝,提升整體的緩存命中率,提高系統(tǒng)性能。但無(wú)論是算法還是系統(tǒng),需要充分挖掘新型網(wǎng)絡(luò)硬件的性能潛力,通過軟/硬協(xié)同設(shè)計(jì),提升計(jì)算設(shè)備中的虛擬網(wǎng)絡(luò)性能。虛擬轉(zhuǎn)發(fā)、高效可靠虛擬I/O以及軟/硬協(xié)同系統(tǒng)設(shè)計(jì)架構(gòu)與關(guān)鍵算法是未來(lái)需要解決的問題。

    4.3 網(wǎng)絡(luò)內(nèi)計(jì)算

    隨著可編程網(wǎng)絡(luò)設(shè)備的不斷演進(jìn)與革新,特別是Mellanox智能網(wǎng)卡、Intel Tofino可編程交換機(jī)的出現(xiàn),數(shù)據(jù)包在網(wǎng)絡(luò)傳輸過程中被計(jì)算、處理和轉(zhuǎn)發(fā)。受限于物理極限,網(wǎng)絡(luò)內(nèi)單點(diǎn)設(shè)備的計(jì)算能力、片上存儲(chǔ)、流水線stage等多維資源受限,無(wú)法滿足復(fù)雜業(yè)務(wù)的網(wǎng)絡(luò)內(nèi)計(jì)算需求,網(wǎng)絡(luò)內(nèi)多點(diǎn)協(xié)同計(jì)算成為算網(wǎng)融合發(fā)展的一個(gè)重要趨勢(shì)。

    網(wǎng)絡(luò)內(nèi)協(xié)同計(jì)算的核心在于自動(dòng)確定數(shù)據(jù)包的計(jì)算內(nèi)容、邏輯與位置,在滿足靈活性的基礎(chǔ)上保障高性能。為此,構(gòu)建一個(gè)面向服務(wù)定制的數(shù)據(jù)包計(jì)算框架顯得尤為重要。該計(jì)算框架需要對(duì)差異化業(yè)務(wù)進(jìn)行全等級(jí)多粒度的分析與抽象,形成數(shù)據(jù)包計(jì)算基本操作單元能力集基于開放的編程接口及模板,不同網(wǎng)絡(luò)業(yè)務(wù)可通過數(shù)據(jù)包計(jì)算基本操作單元進(jìn)行靈活、快速構(gòu)建,利用框架的運(yùn)行時(shí)系統(tǒng)進(jìn)行編譯、解析,并將數(shù)據(jù)包計(jì)算基本操作單元精準(zhǔn)映射到底層異構(gòu)平臺(tái)進(jìn)行高效執(zhí)行。數(shù)據(jù)包計(jì)算統(tǒng)一編程模型與編程語(yǔ)言、數(shù)據(jù)包計(jì)算實(shí)時(shí)編譯系統(tǒng)以及異構(gòu)數(shù)據(jù)面高效實(shí)現(xiàn)機(jī)制等是亟待解決的問題。

    5 結(jié)束語(yǔ)

    高效可編程數(shù)據(jù)平面是重要的新型組網(wǎng)實(shí)現(xiàn)技術(shù)。本文介紹了可編程數(shù)據(jù)面的轉(zhuǎn)發(fā)模型及面臨的關(guān)鍵性挑戰(zhàn),梳理了高效數(shù)據(jù)包查找算法與軟/硬件協(xié)同實(shí)現(xiàn)機(jī)制等不同解決途徑的技術(shù)路線及發(fā)展趨勢(shì)。隨著可編程網(wǎng)絡(luò)技術(shù)的不斷發(fā)展,網(wǎng)絡(luò)數(shù)據(jù)面能力得到極大提升,將從傳統(tǒng)“傳輸管道”逐漸向以“數(shù)據(jù)包計(jì)算”為核心的傳算一體執(zhí)行平臺(tái)演進(jìn)。因此,構(gòu)建統(tǒng)一的數(shù)據(jù)包計(jì)算模型、框架與實(shí)現(xiàn)機(jī)制,滿足數(shù)據(jù)包處理轉(zhuǎn)發(fā)按照業(yè)務(wù)負(fù)載在網(wǎng)絡(luò)與計(jì)算內(nèi)自適應(yīng)執(zhí)行是未來(lái)可編程數(shù)據(jù)面發(fā)展的重要方向之一。

    [1] AGIWAL M, ROY A, SAXENA N. Next generation 5G wireless networks: a comprehensive survey[J]. IEEE Communications Surveys & Tutorials, 2016, 18(3): 1617-1655.

    [2] NIGHTINGALE J, SALVA-GARCIA P, CALERO J M A, et al. 5G-QoE: QoE modelling for ultra-HD video streaming in 5G networks[J]. IEEE Transactions on Broadcasting, 2018, 64(2): 621-634.

    [3] SIRIWARDHANA Y, PORAMBAGE P, LIYANAGE M, et al. A survey on mobile augmented reality with 5G mobile edge computing: architectures, applications, and technical aspects[J]. IEEE Communications Surveys & Tutorials, 2021, 23(2): 1160-1192.

    [4] MCKEOWN N, ANDERSON T, BALAKRISHNAN H, et al. OpenFlow[J]. ACM SIGCOMM Computer Communication Review, 2008, 38(2): 69-74.

    [5] HONG C Y, MANDAL S, AL-FARES M, et al. B4 and after: managing hierarchy, partitioning, and asymmetry for availability and scale in Google's software-defined WAN[C]// Proceedings of SIGCOMM '18: Proceedings of the 2018 Conference of the ACM Special Interest Group on Data Communication. [S.l:s.n.], 2018: 74-87.

    [6] HAN B, GOPALAKRISHNAN V, JI L S, et al. Network function virtualization: challenges and opportunities for innovations[J]. IEEE Communications Magazine, 2015, 53(2): 90-97.

    [7] HYAFIL L, RIVEST R L. Constructing optimal binary decision trees is NP-complete[J]. Information Processing Letters, 1976, 5(1): 15-17.

    [8] DPDK. Developer quick start guide[EB]. 2022.

    [9] RIZZO L. Netmap: a novel framework for fast packet I/O[C]// Proceedings of 21st USENIX Security Symposium. [S.l.:s.n.]. 2012:101-112.

    [10] Ntop. PF_RING: high-speed packet capture, filtering and analysis[EB]. 2022.

    [11] Intel. 探索英特爾? 智能結(jié)構(gòu)處理器的強(qiáng)大功能[EB]. 2022.

    INTEI. Discover the power of the Intel? intellight fabric pracessor[EB]. 2022.

    [12] YANG T, XIE G G, LI Y B, et al. Guarantee IP lookup performance with FIB explosion[C]//SIGCOMM '14: Proceedings of the 2014 ACM Conference on SIGCOMM. New York: ACM Press, 2014: 39-50.

    [13] LUO L Y, XIE G G, SALAMATIAN K, et al. A trie merging approach with incremental updates for virtual routers[J]. 2013 Proceedings IEEE INFOCOM, 2013: 1222-1230.

    [14] ZHANG C Y, XIE G G. Using XorOffsetTrie for high-performance IPv6 lookup in the backbone network[J]. Computer Communications, 2022(181): 438-445.

    [15] VAMANAN B, VOSKUILEN G, VIJAYKUMAR T. EffiCuts: optimizing packet classification for memory and throughput[J]. ACM SIGCOMM Computer Communication Review, 2010, 40(4): 207-218.

    [16] YINGCHAREONTHAWORNCHAI S, DALY J, LIU A X, et al. A sorted-partitioning approach to fast and scalable dynamic packet classification[J]. IEEE/ACM Transactions on Networking, 2018, 26(4): 1907-1920.

    [17] HE P, XIE G G, SALAMATIAN K, et al. Meta-algorithms for software-based packet classification[C]//Proceedings of 2014 IEEE 22nd International Conference on Network Protocols. Piscataway: IEEE Press, 2014: 308-319.

    [18] SRINIVASAN V, SURI S, VARGHESE G. Packet classification using tuple space search[C]//Proceedings of the Conference on Applications, Technologies, Architectures, and Protocols for Computer Communication - SIGCOMM '99. New York: ACM Press, 1999.

    [19] DALY J, BRUSCHI V, LINGUAGLOSSA L, et al. TupleMerge: fast software packet processing for online packet classification[J]. IEEE/ACM Transactions on Networking, 2019, 27(4): 1417-1431.

    [20] ZHANG X Y, SALAMATIAN K, XIE G G. Improving open virtual switch performance through tuple merge relaxation in software defined networks[J]. IEEE Transactions on Network and Service Management, 5592(99): 1.

    [21] ZHANG X Y, XIE G G, WANG X, et al. Fast online packet classification with convolutional neural network[J]. IEEE/ACM Transactions on Networking, 2021, 29(6): 2765-2778.

    [22] KOHLER E, MORRIS R, CHEN B J, et al. The click modular router[J]. ACM Transactions on Computer Systems, 2000, 18(3): 263-297.

    [23] BREBNER G, JIANG W R. High-speed packet processing using reconfigurable computing[J]. IEEE Micro, 2014, 34(1): 8-18.

    [24] BOSSHART P, DALY D, GIBB G, et al. p4[J]. ACM SIGCOMM Computer Communication Review, 2014, 44(3): 87-95.

    [25] CUI P L, PAN H, LI Z Y, et al. NetFC: enabling accurate floating-point arithmetic on programmable switches[C]//Proceedings of 2021 IEEE 29th International Conference on Network Protocols. Piscataway: IEEE Press, 2021: 1-11.

    [26] CHEN X Q. Implementing AES encryption on programmable switches via scrambled lookup tables[C]//SPIN '20: Proceedings of the Workshop on Secure Programmable Network Infrastructure. [S.l:s.n.], 2020: 8-14.

    [27] VAUCHER S, YAZDANI N, FELBER P, et al. ZipLine: in-network compression at line speed[C]//Proceedings of the 16th International Conference on emerging Networking EXperiments and Technologies. [S.l.:s.n.], 2020: 399-405.

    [28] OLTEANU V, AGACHE A, VOINESCU A, et al. Stateless datacenter load-balancing with beamer[C]//Proceedings of 15th USENIX Symposium on Networked Systems Design and Implementation. [S.l.:s.n.], 2018: 125-139.

    [29] HE Y C, WU W F, WEN X M, et al. Scalable on-switch rate limiters for the cloud[C]//Proceedings of IEEE INFOCOM 2021 - IEEE Conference on Computer Communications. Piscataway: IEEE Press, 2021: 1-10.

    [30] JIN X, LI X Z, ZHANG H Y, et al. NetCache: balancing key-value stores with fast in-network caching[C]//Proceedings of the 26th Symposium on Operating Systems Principles. New York: ACM Press, 2017.

    [31] SAPIO A, CANINI M, HO C Y, et al. Scaling distributed machine learning with in-network aggregation[EB]. 2019.

    [32] LAO C, LE Y F, MAHAJAN K, et al. ATP: In-network Aggregation for Multi-tenant Learning[C]//Proceedings of 18th USENIX Symposium on Networked Systems Design and Implementation. [S.l.:s.n.], 2021: 741-761.

    [33] ZHANG P H, PAN H, LI Z Y, et al. Accelerating LSH-based distributed search with in-network computation[C]//Proceedings of IEEE INFOCOM 2021 - IEEE Conference on Computer Communications. Piscataway: IEEE Press, 2021: 1-10.

    [34] INTEL. Development reference guides:_pext_u32/64[EB]. 2022.

    [35] MA X X, YAN, F, WANG Z, et al. Survey on smart network interface card[J]. Journal of Computer Research and Development. 2022, 59(1): 1-21.

    [36] INTEL.700 series network adapters[EB]. 2022.

    [37] NETRONOME. Agilio open vSwitch TC user guide[EB]. 2022.

    [38] NAPATECH. Napatech smart NIC solution for hardware offload[EB]. 2022.

    [39] FRANKEL S, KRISHNAN S. IP security and internet key exchange document roadmap RFC 6071[EB]. 2011.

    [40] FUNGIBLE . The Fungible data processing unit[EB]. 2022.

    [41] NVIDIA. NVIDIA bluefield data processing units[EB]. 2022.

    [42] PFAFF B, PETTIT J, KOPONEN T, et al. The design and implementation of open vswitch[C]//Proceedings of 12th USENIX Symposium on Networked Systems Design and Implementation. [S.l.:s.n.], 2015: 117-130.

    [43] NVIDIA. OVS offload using ASAP2 direct[EB]. 2022.

    [44] NVIDIA. Virtual switch on bluefield smart NIC[EB]. 2022.

    [45] CORMODE G, MUTHUKRISHNAN S. An improved data stream summary: the count-Min sketch and its applications[J]. Journal of Algorithms, 2005, 55(1): 58-75.

    [46] NAMKUNG H, LIU Z X, KIM D, et al. SketchLib: enabling efficient sketch-based monitoring on programmable switches[C]//Proceedings of 19th USENIX Symposium on Networked Systems Design and Implementation. [S.l.:s.n.], 2022: 743-759.

    [47] KRASKA T, BEUTEL A, CHI E H, et al. The case for learned index structures[C]//Proceedings of the 2018 International Conference on Management of Data. New York: ACM Press, 2018.

    [48] MARCUS R, ZHANG E, KRASKA T. CDFShop: exploring and optimizing learned index structures[C]//Proceedings of SIGMOD '20: Proceedings of the 2020 ACM SIGMOD International Conference on Management of Data. New York: ACM Press, 2020: 2789-2792.

    Progress in programmable network data plane

    ZHANG Xinyi1, PAN Heng2, XIE Gaogang1,3

    1. Computer Network Information Center, Chinese Academy of Sciences, Beijing 100190,China 2.Institute of Computing Technology, Chinese Academy of Sciences, Beijing 100190,China 3.University of Chinese Academy of Sciences, Beijing 100049,China

    Network data plane performs packet processing and forwarding, which is one of the core factors determining the network performance. High bandwidth, low latency and rapid evolution of the network infrastructure require building an efficient and programmable network data plane. The packet processing and forwarding model was firstly introduced, and on this basis, the challenges of the network data plane in the performance and programmability were outlined. Then the basic ideas and core technology progress were elaborated to deal with the above challenges by analyzing the theory of packet processing algorithms and hardware-software codesign implementations. Finally, the trend and technical route of constructing an efficient programmable data plane were discussed.

    programmable network data plane, hardware-software codesign, packet processing, in-network computing

    The National Key Research and Development Program of China (No.2019YFB1802800)

    TP393

    A

    10.11959/j.issn.1000?0801.2022131

    2022?04?30;

    2022?06?07

    國(guó)家重點(diǎn)研發(fā)計(jì)劃項(xiàng)目(No.2019YFB1802800)

    張昕怡(1992? ),女,博士,中國(guó)科學(xué)院計(jì)算機(jī)網(wǎng)絡(luò)信息中心在站博士后,主要研究方向?yàn)橛?jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)結(jié)構(gòu)、高性能網(wǎng)絡(luò)數(shù)據(jù)平面。

    潘恒(1990?),男,博士,中國(guó)科學(xué)院計(jì)算技術(shù)研究所副研究員,主要研究方向?yàn)榭删幊叹W(wǎng)絡(luò)與系統(tǒng)。

    謝高崗(1974?),男,博士,中國(guó)科學(xué)院計(jì)算機(jī)網(wǎng)絡(luò)信息中心研究員,中國(guó)科學(xué)院大學(xué)教授、博士生導(dǎo)師,主要研究方向?yàn)橛?jì)算機(jī)網(wǎng)絡(luò)體系結(jié)構(gòu)與系統(tǒng)。

    猜你喜歡
    數(shù)據(jù)包平面規(guī)則
    撐竿跳規(guī)則的制定
    數(shù)獨(dú)的規(guī)則和演變
    SmartSniff
    讓規(guī)則不規(guī)則
    Coco薇(2017年11期)2018-01-03 20:59:57
    TPP反腐敗規(guī)則對(duì)我國(guó)的啟示
    參考答案
    關(guān)于有限域上的平面映射
    基于Libpcap的網(wǎng)絡(luò)數(shù)據(jù)包捕獲器的設(shè)計(jì)與實(shí)現(xiàn)
    參考答案
    視覺注意的數(shù)據(jù)包優(yōu)先級(jí)排序策略研究
    丰满迷人的少妇在线观看| 国产日韩欧美在线精品| 久久精品人人爽人人爽视色| 大型av网站在线播放| 欧美日韩一级在线毛片| 美女扒开内裤让男人捅视频| 黄色a级毛片大全视频| 国产精品免费视频内射| 国产免费又黄又爽又色| 欧美日韩亚洲综合一区二区三区_| 亚洲五月婷婷丁香| 91老司机精品| 国产一级毛片在线| 看免费成人av毛片| 国产福利在线免费观看视频| 久久久国产一区二区| 欧美乱码精品一区二区三区| 在线观看人妻少妇| 国产精品麻豆人妻色哟哟久久| 日韩一区二区三区影片| 欧美另类一区| 性色av乱码一区二区三区2| 国产精品 国内视频| 一区二区三区激情视频| av网站在线播放免费| 日本黄色日本黄色录像| 免费看av在线观看网站| 亚洲国产中文字幕在线视频| 免费看十八禁软件| 国产精品国产av在线观看| 制服人妻中文乱码| 别揉我奶头~嗯~啊~动态视频 | 欧美少妇被猛烈插入视频| 最近中文字幕2019免费版| 又黄又粗又硬又大视频| 日韩中文字幕视频在线看片| 国产精品av久久久久免费| 巨乳人妻的诱惑在线观看| 91精品伊人久久大香线蕉| 肉色欧美久久久久久久蜜桃| 中文字幕亚洲精品专区| 国产人伦9x9x在线观看| 国产精品国产三级专区第一集| 亚洲国产精品国产精品| 日本av手机在线免费观看| 一区二区三区精品91| 宅男免费午夜| 少妇粗大呻吟视频| 日韩av免费高清视频| 观看av在线不卡| 亚洲综合色网址| 黄色视频不卡| 精品少妇一区二区三区视频日本电影| 免费av中文字幕在线| 亚洲免费av在线视频| 美女主播在线视频| 最新的欧美精品一区二区| 性高湖久久久久久久久免费观看| 18禁观看日本| 大片免费播放器 马上看| 国产激情久久老熟女| 视频区欧美日本亚洲| 欧美av亚洲av综合av国产av| 建设人人有责人人尽责人人享有的| 久9热在线精品视频| 美女脱内裤让男人舔精品视频| 国产av一区二区精品久久| 丁香六月天网| 日韩中文字幕欧美一区二区 | 性色av一级| 少妇 在线观看| 日韩免费高清中文字幕av| 久久 成人 亚洲| 成人国语在线视频| 亚洲激情五月婷婷啪啪| 夫妻性生交免费视频一级片| 免费看不卡的av| av在线老鸭窝| 久久久久久久大尺度免费视频| 97人妻天天添夜夜摸| 精品卡一卡二卡四卡免费| av一本久久久久| 国产精品人妻久久久影院| 久久久精品国产亚洲av高清涩受| 欧美日韩成人在线一区二区| 母亲3免费完整高清在线观看| 成人免费观看视频高清| 国产一卡二卡三卡精品| 精品一区二区三卡| 波多野结衣av一区二区av| 亚洲精品国产av蜜桃| 热re99久久国产66热| 亚洲情色 制服丝袜| 日本wwww免费看| 性色av乱码一区二区三区2| 亚洲视频免费观看视频| 一边摸一边做爽爽视频免费| 国产男女内射视频| 欧美激情极品国产一区二区三区| 精品亚洲成国产av| 9色porny在线观看| 久久九九热精品免费| 91精品三级在线观看| 日本91视频免费播放| 亚洲五月色婷婷综合| 久久久久网色| 国产成人精品久久二区二区免费| 日韩av免费高清视频| 亚洲免费av在线视频| 国产男女超爽视频在线观看| 中文字幕制服av| 免费看av在线观看网站| 欧美成人午夜精品| 午夜91福利影院| 欧美另类一区| 久久99精品国语久久久| 国产成人一区二区在线| 热re99久久精品国产66热6| 国产精品一区二区在线不卡| 777米奇影视久久| 成人三级做爰电影| 老鸭窝网址在线观看| 色婷婷久久久亚洲欧美| 国产精品一区二区在线不卡| 一级片免费观看大全| 国产精品麻豆人妻色哟哟久久| 国产片内射在线| 视频区图区小说| 后天国语完整版免费观看| 免费高清在线观看视频在线观看| 美女大奶头黄色视频| 国产亚洲精品久久久久5区| 中文字幕另类日韩欧美亚洲嫩草| 高清黄色对白视频在线免费看| 波野结衣二区三区在线| avwww免费| 手机成人av网站| 天天躁日日躁夜夜躁夜夜| 成人18禁高潮啪啪吃奶动态图| 久久久精品94久久精品| 国产激情久久老熟女| 免费久久久久久久精品成人欧美视频| 国产精品人妻久久久影院| 一本色道久久久久久精品综合| 性少妇av在线| 黄色片一级片一级黄色片| 菩萨蛮人人尽说江南好唐韦庄| av福利片在线| 亚洲天堂av无毛| 久久免费观看电影| 日韩人妻精品一区2区三区| 色网站视频免费| 午夜福利免费观看在线| 人妻一区二区av| 19禁男女啪啪无遮挡网站| 亚洲第一青青草原| 久久精品国产亚洲av涩爱| 国产高清不卡午夜福利| 女性生殖器流出的白浆| 成人免费观看视频高清| 免费女性裸体啪啪无遮挡网站| 美女大奶头黄色视频| 成人亚洲欧美一区二区av| 久久中文字幕一级| 性色av乱码一区二区三区2| 免费女性裸体啪啪无遮挡网站| 亚洲av日韩在线播放| 精品免费久久久久久久清纯 | 考比视频在线观看| 一二三四社区在线视频社区8| 亚洲中文av在线| 精品亚洲成a人片在线观看| 天天躁狠狠躁夜夜躁狠狠躁| 男女无遮挡免费网站观看| 日韩 欧美 亚洲 中文字幕| 亚洲人成网站在线观看播放| 搡老岳熟女国产| 美女中出高潮动态图| 成人国产av品久久久| 啦啦啦视频在线资源免费观看| 欧美精品亚洲一区二区| 18禁观看日本| 考比视频在线观看| 中文字幕人妻丝袜一区二区| 亚洲,欧美精品.| 五月开心婷婷网| 久久精品国产亚洲av高清一级| 国产女主播在线喷水免费视频网站| 少妇人妻久久综合中文| 青春草亚洲视频在线观看| 亚洲欧美一区二区三区久久| 在线 av 中文字幕| 久久精品久久精品一区二区三区| 一本大道久久a久久精品| 在现免费观看毛片| 黄色视频在线播放观看不卡| 精品一区在线观看国产| 国产女主播在线喷水免费视频网站| 看免费成人av毛片| 美女午夜性视频免费| 亚洲少妇的诱惑av| 国产又爽黄色视频| 亚洲精品一二三| 欧美变态另类bdsm刘玥| 久久精品国产亚洲av涩爱| 国产在线视频一区二区| 亚洲欧美精品自产自拍| 国产精品偷伦视频观看了| 亚洲成国产人片在线观看| 一区二区av电影网| 老司机午夜十八禁免费视频| 一边亲一边摸免费视频| 久久ye,这里只有精品| 亚洲色图综合在线观看| 亚洲欧美清纯卡通| 亚洲欧美精品综合一区二区三区| 亚洲国产成人一精品久久久| tube8黄色片| 久久久精品免费免费高清| 久久鲁丝午夜福利片| 亚洲人成77777在线视频| 1024视频免费在线观看| 欧美精品一区二区免费开放| 亚洲免费av在线视频| 久久久久精品国产欧美久久久 | 国产精品.久久久| 国产精品一国产av| 熟女少妇亚洲综合色aaa.| 精品少妇内射三级| 亚洲国产最新在线播放| 一级a爱视频在线免费观看| 18禁观看日本| 赤兔流量卡办理| 你懂的网址亚洲精品在线观看| 中文欧美无线码| 国产成人欧美在线观看 | 久久久久国产一级毛片高清牌| 亚洲av电影在线观看一区二区三区| 久久青草综合色| 9热在线视频观看99| 国产亚洲一区二区精品| 婷婷色av中文字幕| 亚洲精品第二区| 丰满饥渴人妻一区二区三| 亚洲精品一卡2卡三卡4卡5卡 | 嫁个100分男人电影在线观看 | 亚洲成人免费电影在线观看 | 国产欧美日韩综合在线一区二区| 男女国产视频网站| 91精品伊人久久大香线蕉| 99热全是精品| 新久久久久国产一级毛片| 亚洲av日韩精品久久久久久密 | 欧美人与性动交α欧美精品济南到| 亚洲伊人久久精品综合| 久久午夜综合久久蜜桃| 欧美日韩国产mv在线观看视频| 久热爱精品视频在线9| av天堂在线播放| 久久久精品免费免费高清| 国产亚洲欧美在线一区二区| 亚洲国产欧美一区二区综合| 国产成人一区二区三区免费视频网站 | 国产精品久久久人人做人人爽| 老司机影院毛片| 日韩一本色道免费dvd| 少妇人妻 视频| 久久久久精品国产欧美久久久 | 国产一区二区三区av在线| 两人在一起打扑克的视频| 中文字幕最新亚洲高清| 91九色精品人成在线观看| 建设人人有责人人尽责人人享有的| avwww免费| 久久久久视频综合| 国产成人av教育| 2018国产大陆天天弄谢| 99久久99久久久精品蜜桃| 水蜜桃什么品种好| 精品人妻一区二区三区麻豆| 久久女婷五月综合色啪小说| 国产熟女午夜一区二区三区| 国产精品 欧美亚洲| 老司机影院成人| 黄色 视频免费看| 日韩,欧美,国产一区二区三区| 免费女性裸体啪啪无遮挡网站| 国产国语露脸激情在线看| 久久久精品94久久精品| 久久国产亚洲av麻豆专区| 亚洲自偷自拍图片 自拍| 中文字幕制服av| 亚洲人成网站在线观看播放| 久久女婷五月综合色啪小说| 亚洲国产精品一区二区三区在线| 亚洲七黄色美女视频| 午夜老司机福利片| 久久 成人 亚洲| 日韩一区二区三区影片| 一区二区日韩欧美中文字幕| 欧美精品一区二区大全| e午夜精品久久久久久久| 国产免费视频播放在线视频| 免费看av在线观看网站| 久久天堂一区二区三区四区| 欧美精品一区二区大全| 亚洲成国产人片在线观看| 王馨瑶露胸无遮挡在线观看| 一区二区三区激情视频| 80岁老熟妇乱子伦牲交| 高清黄色对白视频在线免费看| 亚洲av男天堂| 亚洲 欧美一区二区三区| 黄网站色视频无遮挡免费观看| 一区福利在线观看| 国产熟女欧美一区二区| 又大又黄又爽视频免费| 青春草亚洲视频在线观看| 秋霞在线观看毛片| 精品人妻在线不人妻| 国产成人精品久久二区二区91| 在线av久久热| 9191精品国产免费久久| 欧美 日韩 精品 国产| 亚洲久久久国产精品| 国产精品久久久久久人妻精品电影 | 国产欧美日韩综合在线一区二区| 人人妻人人添人人爽欧美一区卜| 老司机亚洲免费影院| 久久久国产欧美日韩av| 人体艺术视频欧美日本| 99精品久久久久人妻精品| 中文字幕最新亚洲高清| 久热爱精品视频在线9| av视频免费观看在线观看| 国产免费福利视频在线观看| 国产成人av教育| 天天躁日日躁夜夜躁夜夜| 天天躁狠狠躁夜夜躁狠狠躁| 亚洲九九香蕉| 久久久精品国产亚洲av高清涩受| 精品久久久精品久久久| 男女午夜视频在线观看| 99国产综合亚洲精品| 国产国语露脸激情在线看| 色播在线永久视频| 亚洲国产精品国产精品| 国产在线视频一区二区| 成年人黄色毛片网站| 精品少妇久久久久久888优播| 三上悠亚av全集在线观看| 岛国毛片在线播放| 又大又黄又爽视频免费| 真人做人爱边吃奶动态| 在线亚洲精品国产二区图片欧美| 久久久国产精品麻豆| 亚洲国产av新网站| 精品久久久精品久久久| 天天躁狠狠躁夜夜躁狠狠躁| 叶爱在线成人免费视频播放| 18禁裸乳无遮挡动漫免费视频| 亚洲欧美一区二区三区久久| av线在线观看网站| 狠狠婷婷综合久久久久久88av| 国产精品亚洲av一区麻豆| 免费日韩欧美在线观看| 久久狼人影院| 亚洲欧美精品自产自拍| 国产成人欧美在线观看 | 亚洲情色 制服丝袜| videos熟女内射| 宅男免费午夜| 久久99精品国语久久久| 亚洲免费av在线视频| 在现免费观看毛片| 久久久欧美国产精品| 亚洲人成电影观看| 欧美国产精品一级二级三级| 侵犯人妻中文字幕一二三四区| 日本欧美视频一区| 老鸭窝网址在线观看| 亚洲av电影在线观看一区二区三区| 麻豆乱淫一区二区| 免费在线观看完整版高清| 美女主播在线视频| 午夜免费鲁丝| 成年av动漫网址| 性高湖久久久久久久久免费观看| 女人精品久久久久毛片| 丝袜美足系列| 男女午夜视频在线观看| 51午夜福利影视在线观看| 老司机午夜十八禁免费视频| 男人爽女人下面视频在线观看| 欧美黄色片欧美黄色片| 亚洲精品乱久久久久久| 日韩 亚洲 欧美在线| 国产av国产精品国产| 亚洲精品第二区| 1024香蕉在线观看| 男的添女的下面高潮视频| av在线播放精品| 亚洲av在线观看美女高潮| 男女边摸边吃奶| 脱女人内裤的视频| 国产av一区二区精品久久| av福利片在线| 国产视频首页在线观看| 狠狠精品人妻久久久久久综合| 午夜福利在线免费观看网站| 国产亚洲欧美精品永久| 亚洲av综合色区一区| 成人免费观看视频高清| 亚洲av成人精品一二三区| 久久久久网色| 在线天堂中文资源库| 国产男人的电影天堂91| 国产无遮挡羞羞视频在线观看| 国产欧美亚洲国产| 日韩av免费高清视频| 精品国产超薄肉色丝袜足j| 人妻 亚洲 视频| 成年人黄色毛片网站| 亚洲成人手机| 精品一区二区三卡| 亚洲激情五月婷婷啪啪| 高潮久久久久久久久久久不卡| www.自偷自拍.com| 欧美xxⅹ黑人| 久久ye,这里只有精品| 999精品在线视频| 国产精品.久久久| 91麻豆av在线| 建设人人有责人人尽责人人享有的| 黄色视频不卡| 亚洲精品乱久久久久久| 水蜜桃什么品种好| 亚洲av美国av| 精品国产乱码久久久久久小说| 一级毛片我不卡| 一区二区日韩欧美中文字幕| 国产一区二区三区av在线| 大片免费播放器 马上看| 日本欧美视频一区| 欧美精品一区二区免费开放| 丰满少妇做爰视频| 精品人妻在线不人妻| 99香蕉大伊视频| 一级黄色大片毛片| 日本欧美视频一区| 免费人妻精品一区二区三区视频| 高清不卡的av网站| 美女午夜性视频免费| 制服诱惑二区| 丰满少妇做爰视频| 蜜桃在线观看..| 国产精品秋霞免费鲁丝片| 丝袜脚勾引网站| www.av在线官网国产| 亚洲国产欧美在线一区| 国产精品一二三区在线看| 老司机影院毛片| 亚洲欧洲精品一区二区精品久久久| 纯流量卡能插随身wifi吗| 最近最新中文字幕大全免费视频 | 天堂俺去俺来也www色官网| 91精品三级在线观看| 国产精品亚洲av一区麻豆| 亚洲中文字幕日韩| 精品久久久久久久毛片微露脸 | 免费观看人在逋| 亚洲国产精品一区三区| 亚洲 国产 在线| 日韩av在线免费看完整版不卡| 热re99久久国产66热| 国产精品国产av在线观看| 视频区图区小说| 日韩 亚洲 欧美在线| 亚洲中文av在线| 久久久精品94久久精品| 国产精品国产三级国产专区5o| av欧美777| 亚洲欧洲国产日韩| 精品少妇内射三级| 91成人精品电影| 香蕉国产在线看| 免费日韩欧美在线观看| 国产欧美亚洲国产| 国产男女内射视频| 国产在线一区二区三区精| 亚洲精品日韩在线中文字幕| 99九九在线精品视频| 国产一区二区三区综合在线观看| 成人三级做爰电影| 18禁观看日本| 亚洲av国产av综合av卡| 欧美乱码精品一区二区三区| 久久av网站| xxx大片免费视频| 婷婷色av中文字幕| 国产福利在线免费观看视频| 日日夜夜操网爽| 午夜免费男女啪啪视频观看| 成人国语在线视频| 午夜视频精品福利| 亚洲精品自拍成人| 又黄又粗又硬又大视频| 精品人妻熟女毛片av久久网站| 大片电影免费在线观看免费| 嫩草影视91久久| 国产黄频视频在线观看| 久久精品亚洲熟妇少妇任你| 19禁男女啪啪无遮挡网站| 激情五月婷婷亚洲| 精品亚洲成国产av| av福利片在线| 亚洲熟女毛片儿| 国产成人精品无人区| 亚洲精品av麻豆狂野| 另类亚洲欧美激情| 精品欧美一区二区三区在线| 黑人巨大精品欧美一区二区蜜桃| 亚洲一区二区三区欧美精品| 老司机深夜福利视频在线观看 | 成年人午夜在线观看视频| 色94色欧美一区二区| 91老司机精品| 成人午夜精彩视频在线观看| 十分钟在线观看高清视频www| 欧美 日韩 精品 国产| 这个男人来自地球电影免费观看| 97人妻天天添夜夜摸| a级毛片在线看网站| 一级黄色大片毛片| 久久天躁狠狠躁夜夜2o2o | 国产三级黄色录像| 黄片播放在线免费| 人妻 亚洲 视频| 成年女人毛片免费观看观看9 | 日本欧美国产在线视频| 视频区欧美日本亚洲| 精品一区二区三区av网在线观看 | a级毛片在线看网站| 老司机深夜福利视频在线观看 | 深夜精品福利| av一本久久久久| 考比视频在线观看| 黑人猛操日本美女一级片| 欧美97在线视频| 国产成人欧美在线观看 | 老熟女久久久| 18禁黄网站禁片午夜丰满| 亚洲av综合色区一区| 超色免费av| 国产视频一区二区在线看| 国产精品 国内视频| a级毛片黄视频| 男女之事视频高清在线观看 | 悠悠久久av| 久久99精品国语久久久| 一级黄色大片毛片| 一级片免费观看大全| 老司机深夜福利视频在线观看 | www.999成人在线观看| 丰满迷人的少妇在线观看| 日韩 欧美 亚洲 中文字幕| 首页视频小说图片口味搜索 | 香蕉国产在线看| 啦啦啦啦在线视频资源| 超色免费av| 欧美成人午夜精品| 亚洲一区二区三区欧美精品| 久久国产精品影院| 亚洲国产欧美一区二区综合| a级毛片黄视频| 高清黄色对白视频在线免费看| 国产在视频线精品| 成年美女黄网站色视频大全免费| 欧美乱码精品一区二区三区| 黑丝袜美女国产一区| 亚洲成人手机| 成人亚洲欧美一区二区av| 亚洲中文日韩欧美视频| 在线天堂中文资源库| 亚洲精品久久午夜乱码| 一二三四社区在线视频社区8| 国产精品一区二区免费欧美 | 成年动漫av网址| 国产男女内射视频| 国产主播在线观看一区二区 | 日本91视频免费播放| 桃花免费在线播放| 日本91视频免费播放| 久久久久久亚洲精品国产蜜桃av| 嫩草影视91久久| 亚洲国产av新网站| 亚洲精品一区蜜桃| 七月丁香在线播放| 国产亚洲av片在线观看秒播厂| 十分钟在线观看高清视频www| 在线观看人妻少妇| 国产一区亚洲一区在线观看| 国产又爽黄色视频| 啦啦啦在线观看免费高清www| 美女中出高潮动态图| 多毛熟女@视频| 久久久欧美国产精品| 久久久久久久久免费视频了| 老汉色av国产亚洲站长工具| 丁香六月欧美| 久久女婷五月综合色啪小说| 丰满少妇做爰视频| 免费观看av网站的网址| 亚洲午夜精品一区,二区,三区| 日韩人妻精品一区2区三区|