• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    一種基于硬件的10G網(wǎng)絡(luò)中TCP流處理方法

    2016-06-06 07:50:39趙正偉安永果李洪磊
    無線電通信技術(shù) 2016年3期
    關(guān)鍵詞:流表全局內(nèi)存

    趙正偉,張 英,安永果,李洪磊

    (1.中國(guó)電子科技集團(tuán)公司第五十四研究所,河北 石家莊050081;

    2.軍械工程學(xué)院 信息工程系,河北 石家莊050003;

    3.西安衛(wèi)星測(cè)控中心,陜西 西安 710043)

    ?

    一種基于硬件的10G網(wǎng)絡(luò)中TCP流處理方法

    趙正偉1,張英2,安永果3,李洪磊1

    (1.中國(guó)電子科技集團(tuán)公司第五十四研究所,河北 石家莊050081;

    2.軍械工程學(xué)院 信息工程系,河北 石家莊050003;

    3.西安衛(wèi)星測(cè)控中心,陜西 西安 710043)

    摘要:近年來,設(shè)計(jì)高速的網(wǎng)絡(luò)設(shè)備用以在流層面進(jìn)行分組處理,一直是工業(yè)界和學(xué)術(shù)界的研究熱點(diǎn)。10G網(wǎng)絡(luò)下的TCP流處理同時(shí)面臨性能問題和異常情況的處理。真實(shí)流量的許多特性,會(huì)導(dǎo)致基于硬件的TCP流處理系統(tǒng)內(nèi)存耗盡。針對(duì)這種情況,提出并實(shí)現(xiàn)了一種用于10G網(wǎng)絡(luò)中TCP流處理的硬件設(shè)計(jì)方法,能夠處理百萬量級(jí)TCP流的分組重組和狀態(tài)跟蹤。該解決方案提出了大規(guī)模流表的流替換算法和對(duì)全局流表的快速的單輪訪問方式,采取了對(duì)亂序數(shù)據(jù)緩沖管理的主動(dòng)釋放策略,設(shè)計(jì)了一種無鏈的數(shù)據(jù)結(jié)構(gòu),保證了最壞情況下的處理時(shí)間要求。仿真結(jié)果顯示,該系統(tǒng)可以處理超過99%的10G網(wǎng)絡(luò)流量?;贔PGA的硬件原型也驗(yàn)證了系統(tǒng)的設(shè)計(jì)。

    關(guān)鍵詞:10G網(wǎng)絡(luò);硬件加速;TCP重組;TCP狀態(tài)跟蹤

    0引言

    隨著網(wǎng)絡(luò)帶寬的迅速增長(zhǎng)和網(wǎng)絡(luò)流量處理需求的日益復(fù)雜,采用定制的硬件進(jìn)行網(wǎng)路流量處理與分析已成為共識(shí)[1]。從IP層的分組過濾到應(yīng)用層的數(shù)據(jù)過濾,硬件加速已被應(yīng)用到網(wǎng)絡(luò)的各個(gè)層次[2-3]。

    10G網(wǎng)絡(luò)中TCP處理的性能瓶頸在于對(duì)流記錄表的訪問上[4]。這就需要解決內(nèi)存訪問的瓶頸,充分利用硬件并行性進(jìn)行高速的TCP處理;在基于硬件的TCP流狀態(tài)跟蹤系統(tǒng)提供記錄的替換機(jī)制。

    本文在分析數(shù)據(jù)中心真實(shí)流量的基礎(chǔ)上,提出了一個(gè)基于硬件的TCP流狀態(tài)跟蹤和重組解決方案,能夠支持10 MPPS的處理速度,并且能夠保證最壞情況下的處理時(shí)間要求。對(duì)真實(shí)的流量分析結(jié)果顯示,該方案可以使用合理的資源處理99%的10G網(wǎng)絡(luò)流量。我們也用FPGA實(shí)現(xiàn)了一個(gè)原型,驗(yàn)證了該系統(tǒng)的設(shè)計(jì)。

    1真實(shí)Trace分析

    我們采集了某公司和某研究機(jī)構(gòu)的數(shù)據(jù)中心中匯聚鏈路的trace,帶寬分別是10G和1G,持續(xù)時(shí)間約60 min。下文中分別稱為Trace_10G和Trace_1G。

    trace中出現(xiàn)的TCP流可分為3類[5]:第一類是沒有頭部的流(headless flow),這些流在trace開始之前建立,其SYN分組沒有被采集到;第二類是完整的流(complete flow),在trace開始之后建立,并且在trace停止之前結(jié)束;第三類是沒有尾部的流(tailless flow),在trace開始之前建立,并且在trace停止之前沒有結(jié)束。如果在trace停止時(shí),一條流有未填充的序號(hào)但是其FIN分組已經(jīng)到達(dá),這條流仍然被看做是沒有尾部的流。

    對(duì)2個(gè)trace的真實(shí)流量進(jìn)行了統(tǒng)計(jì)分析[6],分析結(jié)果如表1所示??梢钥闯?,2個(gè)trace的亂序流的比例都小于1%,所需要的最大緩沖均超過10 MB。

    表1 真實(shí)流量分析

    Trace_10G中不同類型流的數(shù)目隨時(shí)間的變化情況如圖1所示?;顒?dòng)流是連接已經(jīng)建立并且沒有結(jié)束的流,圖中顯示活動(dòng)流的數(shù)目一直在增加。在trace停止時(shí)的活動(dòng)流就是無尾流,為辨別無尾流的活動(dòng)性,統(tǒng)計(jì)了這些流最后一個(gè)分組到達(dá)時(shí)間和trace停止時(shí)間的間隔,稱之為分組的間隔時(shí)間,如圖2所示。

    圖1 Trace_10G的流情況統(tǒng)計(jì)

    圖2 Trace_10G的分組間隔累積分布

    圖中右側(cè)可以看出,在trace停止時(shí),無尾流在超過100 s的時(shí)間內(nèi)沒有收到任何分組。圖中左側(cè)的曲線是每條流中相鄰的2個(gè)分組的間隔時(shí)間。大多數(shù)的間隔時(shí)間都超過100 s,也就是說,許多實(shí)時(shí)流沒有收到FIN但是已經(jīng)不傳輸數(shù)據(jù)了,這些流稱為僵尸流(zombie flow)。TCP子系統(tǒng)必須為每條無尾流分配一條流記錄以用于TCP重組,無尾流數(shù)目的持續(xù)增加不可避免地導(dǎo)致內(nèi)存耗盡。

    圖3是一條流的分組重組所需緩沖的累積分布,從圖中可以看出,幾乎所有的分組重組所需要的緩沖都不超過40 KB。

    圖3 分組重組所需緩沖的累積分布

    2TCP處理框架

    從前面對(duì)真實(shí)流量的分析可知,只有一部分的TCP流有亂序情況發(fā)生[7]。為了能夠處理10 Gbps的高速流量,采用快速通道分組處理順序流的分組,其執(zhí)行時(shí)間是固定的;用另外的一個(gè)慢速通道處理亂序流的分組。

    此外,真實(shí)流量的2個(gè)特性也必須考慮:① 由于僵尸流的存在,必須設(shè)計(jì)流記錄的替換機(jī)制[8],這可能導(dǎo)致一個(gè)新接收到的分組找不到它的相關(guān)記錄,稱之為無記錄分組;② 因?yàn)闆]有足夠多的緩存,小部分的流不能完成TCP重組,將這些流視為異常流。無記錄分組和異常流的分組將被上傳到主機(jī),并由主機(jī)的TCP子系統(tǒng)處理。

    2.1帶替換優(yōu)先級(jí)的流表

    為了進(jìn)行替換操作,需要維護(hù)一些替換操作所需的信息,提出了一種帶替換優(yōu)先級(jí)的流表。把流記錄存放在二維的數(shù)組里,每一行就是一個(gè)鏈表,存儲(chǔ)了流記錄以及一個(gè)哈希值,該哈希值等于行號(hào)。每一行還是一個(gè)哈希沖突鏈,其長(zhǎng)度就是哈希沖突鏈所允許的最大長(zhǎng)度。查詢一個(gè)分組的相關(guān)記錄需要2個(gè)步驟:首先根據(jù)分組的四元組的哈希結(jié)果找到目標(biāo)記錄的行號(hào),接著在該行中找到目標(biāo)記錄。對(duì)每行增加一個(gè)替換優(yōu)先級(jí)域,用于記錄該行所有記錄的替換優(yōu)先級(jí),用以在需要時(shí)把該記錄替換出去。

    替換優(yōu)先級(jí)域由次序域和計(jì)數(shù)器域組成。次序域是0,1,2,3…n-1的一個(gè)排列(n是行的長(zhǎng)度),每個(gè)數(shù)字代表該行中的對(duì)應(yīng)列所表示的流記錄,次序域占用(n-1)×log2n位。次序域是該行中所有記錄的替換順序,最右側(cè)的數(shù)字表示最優(yōu)先被替換出去的記錄的列號(hào)。當(dāng)一行中沒有空閑的記錄可以使用時(shí),次序域的值全為0。計(jì)數(shù)器域記錄該行已經(jīng)被使用的記錄的數(shù)目,占用log2n位。如果計(jì)數(shù)器域和次序域全為0,表示該行所有的記錄都沒有被使用,其他情況下計(jì)數(shù)器域?yàn)?表示該行n個(gè)記錄全被使用。整個(gè)替換優(yōu)先級(jí)域占用n×log2n位,當(dāng)行的長(zhǎng)度是4的時(shí)候,每行只需要一個(gè)字節(jié)就可以存儲(chǔ)替換操作所需的全部信息。替換優(yōu)先級(jí)處理過程如圖4所示。

    存儲(chǔ)替換優(yōu)先級(jí)有2種選擇:分離的流表和合并的流表。如果流表不是很大(小于10M行),替換優(yōu)先級(jí)可以存儲(chǔ)在cache中,即SRAM或者FPGA的Block RAM中,而不是DRAM中,這種流表稱之為分離的流表;如果流表的行數(shù)大于10M,替換優(yōu)先級(jí)就不能被存在SRAM里了,需要把替換優(yōu)先級(jí)和流記錄都存在DRAM里,這種流表稱之為合并的流表。

    圖4 替換優(yōu)先級(jí)變化示意圖

    2.2兩級(jí)流表

    流表的2種存儲(chǔ)方法具有各自的缺點(diǎn):分離的流表訪問效率較高,但是支持的流的數(shù)目有限;合并的流表的容量只受DRAM容量的限制,因而可以支持千萬量級(jí)的活動(dòng)流,但是其獲取替換優(yōu)先級(jí)的延遲很大,導(dǎo)致在處理分組之前必須等待。

    為克服上述缺點(diǎn),設(shè)計(jì)了兩級(jí)的流表。第一級(jí)稱為全局流表,用于存儲(chǔ)活動(dòng)流的簡(jiǎn)化記錄,簡(jiǎn)化記錄包括處理無亂序情況的TCP流所需的全部信息,如四元組和期望的序號(hào);第二級(jí)稱為亂序流表,對(duì)每條亂序流維護(hù)一個(gè)亂序記錄,亂序記錄的內(nèi)容包括TCP重組所需要的全部信息,如亂序報(bào)文段的地址和長(zhǎng)度,以及兩個(gè)亂序報(bào)文段之間的間隔大小。

    全局流表是一個(gè)合并的流表,它記錄的長(zhǎng)度很小,可以在一個(gè)DDR read burst內(nèi)讀取替換優(yōu)先級(jí)和一行的所有記錄,并且可以在一個(gè)write burst內(nèi)寫回更新數(shù)據(jù)。

    對(duì)亂序流來說,由于只有一小部分的流有亂序情況發(fā)生,所以采用分離的流表更合適。替換優(yōu)先級(jí)可以以較低的延遲從cache中獲取,然后根據(jù)替換優(yōu)先級(jí)的次序域逐條讀取記錄??紤]到流分組的局部性,一次就讀到目標(biāo)記錄的概率很高,所以更大的亂序記錄不會(huì)引入額外的存儲(chǔ)開銷,64或128 bytes就足夠使用。

    如果數(shù)據(jù)流沒有亂序情況發(fā)生,就由快速通道處理,首先獲取全局的流表,接著根據(jù)流記錄內(nèi)容和分組頭更新流的狀態(tài)。如果有亂序情況發(fā)生,就由慢速通道處理,必須從亂序流表中獲取亂序記錄并完成TCP重組。

    2.3快速通道處理

    快速通道處理首先根據(jù)分組四元組的哈希結(jié)果,從全局流表里取得目標(biāo)行,繼而找到流記錄,并更新該流的狀態(tài)。如果沒有發(fā)生亂序,并且分組序號(hào)和期望序號(hào)相等,用分組的長(zhǎng)度更新流的狀態(tài)。否則,流被標(biāo)記為亂序流,這個(gè)標(biāo)記在流的生命周期內(nèi)不會(huì)被取消,該流的所有后續(xù)分組都將由慢速通道處理。

    全局的流記錄里包含快速處理通道所需的全部信息,包括:

    CA,SA:客戶端/服務(wù)端地址;

    CP,SP:客戶端/服務(wù)端端口號(hào);

    CSEQ,SSEQ:客戶端/服務(wù)端期望序號(hào);

    CS:連接狀態(tài)。

    一條全局流記錄需要24 bytes,如果全局流表的一行是128 bytes的話,每行能存放5條記錄。這個(gè)值也可以設(shè)置為32 bytes,多余的字節(jié)可以用于擴(kuò)展。

    2.4慢速通道處理

    慢速通道用來處理亂序的流。首先在cache中讀取替換優(yōu)先級(jí),繼而找到對(duì)應(yīng)的亂序記錄,并根據(jù)記錄的相關(guān)域、序號(hào)以及分組長(zhǎng)度對(duì)分組進(jìn)行重組。TCP重組包括以下步驟:將當(dāng)前分組寫入亂序緩沖,從亂序緩沖中讀取數(shù)據(jù),如果當(dāng)前分組填滿了期望序號(hào)和亂序數(shù)據(jù)之間的空隙(gap),就上傳到主機(jī)。如果一條流的重組太復(fù)雜,慢速通道不能完成處理,則將其視為異常流,亂序流表將丟棄異常流,但是全局流表將保留異常流的記錄,并在狀態(tài)域中對(duì)其打上異常標(biāo)記。

    亂序流記錄包括慢速通道處理所需的全部信息,除了前面提到的全局流記錄之外,全局流表還包括以下的數(shù)據(jù):

    CBA:客戶端到服務(wù)端亂序緩沖基地址;

    SBA:服務(wù)端到客戶端亂序緩沖基地址;

    CSEQOFF,SSEQOFF:亂序緩沖中期望的序號(hào)偏移;

    DSV:數(shù)據(jù)報(bào)文有效標(biāo)識(shí);

    DSD:數(shù)據(jù)報(bào)文方向;

    DSH1~N,DST1~N:數(shù)據(jù)報(bào)文頭/尾指針。

    其中,N是一個(gè)連接可以容納的亂序數(shù)據(jù)報(bào)文的數(shù)目,S是亂序數(shù)據(jù)緩沖的大小。

    對(duì)每個(gè)亂序的TCP流進(jìn)行重組時(shí),需要一塊連續(xù)的固定長(zhǎng)度的存儲(chǔ)空間。如果亂序數(shù)據(jù)的大小超過該空間的大小,慢速通道不會(huì)為這條流申請(qǐng)新的緩沖區(qū),而是把它視為異常流,將其流記錄和亂序數(shù)據(jù)上傳到主機(jī),其后續(xù)的分組將直接上傳到主機(jī)。與每次申請(qǐng)一小塊頁面(page)繼而將這些頁面鏈接起來的緩沖區(qū)管理策略比起來,這種策略要簡(jiǎn)單得多。如果一條流長(zhǎng)時(shí)間占用緩沖,說明這條流的最后一個(gè)分組已經(jīng)到達(dá)很長(zhǎng)一段時(shí)間,這條流很可能是一條僵尸流。采用一種主動(dòng)釋放策略來處理這些流。由于限制了亂序流表的大小,所以在較長(zhǎng)的時(shí)間內(nèi)沒有收到新的分組的亂序流將會(huì)被替換出去,并不額外消耗數(shù)據(jù)緩沖,而在全局流表中,是通過申請(qǐng)盡可能多的空間來替換可能是僵尸流的流,造成數(shù)據(jù)緩沖的額外開銷。

    2.5優(yōu)化

    在上述方案中,對(duì)全局流表的訪問非常有規(guī)律,不需要在控制器中進(jìn)行復(fù)雜的調(diào)度。每個(gè)分組只需要一個(gè)burst read和一個(gè)burst write,所以,通過調(diào)整分組的輸入順序就可以達(dá)到高效的bank-level并行,如圖5所示。

    圖5 Round-Robin分組請(qǐng)求

    在工作模塊(working module)之前放置一組FIFO,F(xiàn)IFO和DRAM的bank之間是一一對(duì)應(yīng)關(guān)系。FIFO中待處理的所有分組的相關(guān)記錄都位于對(duì)應(yīng)的bank中。這里有一個(gè)分發(fā)模塊,以輪轉(zhuǎn)方式從FIFO中取出分組,然后再送到工作模塊中。多個(gè)工作模塊并發(fā)訪問全局流表,形成了對(duì)bank的交織訪問。這種沒有內(nèi)存控制器參與的策略稱為RRPR(Round Robin Packet Request)。慢速通道由于只有一小部分的分組需要訪問亂序流表。所以不需要使用RRPR。

    3系統(tǒng)實(shí)現(xiàn)

    在硬件系統(tǒng)中實(shí)現(xiàn)TCP處理框架,需要2個(gè)DDR2內(nèi)存模塊:全局流表獨(dú)占一個(gè),另一個(gè)由亂序流表和亂序數(shù)據(jù)緩沖共享。用2個(gè)SRAM芯片存儲(chǔ)分組的有效載荷以及亂序流表的替換優(yōu)先級(jí)。系統(tǒng)架構(gòu)如圖6所示。

    圖6 系統(tǒng)架構(gòu)圖

    模塊之間沿實(shí)線傳輸?shù)氖欠纸M頭及其相關(guān)數(shù)據(jù)結(jié)構(gòu),沿虛線傳輸?shù)氖欠纸M的有效載荷。

    數(shù)據(jù)預(yù)處理模塊過濾掉非TCP的分組,根據(jù)四元組計(jì)算哈希值(用于索引各種數(shù)據(jù)結(jié)構(gòu)),提取分組的有效載荷并將其存入SRAM中。接著創(chuàng)建一個(gè)header結(jié)構(gòu),包括分組頭、哈希值、有效載荷的SRAM地址,并把這個(gè)頭結(jié)構(gòu)傳遞給后繼模塊。

    流狀態(tài)管理器接收到頭結(jié)構(gòu)后,從全局流表中取出流記錄,如果是亂序流則把頭結(jié)構(gòu)傳遞給亂序流處理模塊,否則更新頭結(jié)構(gòu),并將其傳遞給提交模塊。

    重組模塊完成亂序TCP流的重組,并更新亂序記錄的相關(guān)域,該模塊不涉及分組載荷的傳輸。

    提交模塊負(fù)責(zé)更新各種數(shù)據(jù)結(jié)構(gòu),包括全局流表、亂序流表、亂序流表的替換優(yōu)先級(jí)以及緩存亂序分組的載荷。

    4系統(tǒng)評(píng)價(jià)

    本節(jié)中采用軟件算法仿真來對(duì)真實(shí)流量進(jìn)行離線分析,對(duì)基于硬件的TCP處理框架進(jìn)行性能和容量評(píng)價(jià)[9]。另外實(shí)現(xiàn)了一個(gè)FPGA的原型,用于硬件資源評(píng)估。

    4.1性能評(píng)價(jià)

    用DRAMsim[10]來分析系統(tǒng)的吞吐量。使用DRAMsim默認(rèn)的DDR2配置,DDR2-400,時(shí)序參數(shù)3-3-3-9,單通道數(shù)據(jù)總線寬度為64 bytes,cache line大小(即burst length)為128 bytes,1個(gè)rank,4個(gè)bank,地址映射采用sdram_hiper_map,控制器的事務(wù)選擇方式為FCFS,芯片延遲為2。CPU主頻(即FPGA的工作頻率)設(shè)置為200M。

    圖7顯示的是在不同的配置下,處理這個(gè)內(nèi)存請(qǐng)求序列時(shí)的內(nèi)存效率??梢钥闯鯮RPR能顯著地提高內(nèi)存訪問效率。當(dāng)有2個(gè)工作模塊同時(shí)訪問全局流表的時(shí)候,控制器的效率達(dá)到峰值。原因在于每個(gè)工作模塊并發(fā)訪問2個(gè)bank。所以在4個(gè)bank的DRAM中,3個(gè)工作模塊將會(huì)導(dǎo)致頻繁的bank沖突。當(dāng)DDR2-400的訪問效率是80%時(shí),內(nèi)存控制器每秒可以處理20M次突發(fā)訪問,也就是說系統(tǒng)可以處理10 MPPS。真實(shí)流量中分組的平均長(zhǎng)度約是400 bytes,即10G流量下3.36 MPPS。由此可以得出結(jié)論,該TCP子系統(tǒng)可以處理10G的真實(shí)流量。

    圖7 訪問全局流表時(shí)的內(nèi)存總線效率

    4.2容量評(píng)價(jià)

    假設(shè)全局流表只有4M條記錄,占用128 MB。使用3種類型的全局流表:2M×2,1M×4,和512K×8。使用2種替換策略:LRE選擇一行中最早建立的流的記錄,并將其替換出去;LRU選擇一行中最不活躍的流(即最長(zhǎng)時(shí)間沒有收到新的分組的流)的記錄,并將其替換出去。對(duì)一分鐘內(nèi)被替換記錄和無記錄分組情況進(jìn)行統(tǒng)計(jì)。

    結(jié)果表明:對(duì)于無記錄分組的數(shù)目,LRU的效果要比LRE好得多,這與期望是一致的。只考慮LRU,與4列或8列相比,2列情況下的無記錄分組數(shù)目要大得多。在全局流表是4列的情況下,2個(gè)trace的無記錄分組的比例分別為0.14%和0.013%。

    對(duì)異常流會(huì)有2種結(jié)果:一種是這條流收到的亂序分組的數(shù)目超過了給它分配的緩沖區(qū)大?。涣硪环N是這條流有太多的亂序數(shù)據(jù)報(bào)文,以致于亂序記錄不能保存所有的數(shù)據(jù)段的狀態(tài)。對(duì)這種情況的統(tǒng)計(jì)如表2、表3和表4所示。

    表2 Trace-10 G中亂序緩沖溢出時(shí)的異常流數(shù)目

    表3 Trace-10 G中不同亂序表情況下的異常流數(shù)目

    表4 Trace-10 G中亂序數(shù)據(jù)報(bào)文溢出時(shí)的異常流數(shù)目

    從表2中可以發(fā)現(xiàn),如果一條流的亂序數(shù)據(jù)超過64 KB,那么這條流通常都大于1 MB。所以,把緩沖區(qū)的大小由64 KB增大至1 MB并不能解決問題。表3列出了在主動(dòng)釋放策略下,不同的亂序流表情況下的異常流數(shù)目。表3中每個(gè)分組的平均訪問時(shí)間非常接近1,說明大多數(shù)情況下,LRU策略從目標(biāo)行中取出的第一個(gè)記錄就是當(dāng)前分組的相關(guān)記錄。

    在主動(dòng)釋放和非主動(dòng)釋放策略下的內(nèi)存使用情況比較如圖8所示。主動(dòng)釋放策略能顯著降低緩沖區(qū)的大小,同時(shí)異常流的數(shù)目幾乎沒有增加。

    圖8 主動(dòng)釋放策略下的亂序數(shù)據(jù)緩沖需求

    根據(jù)表4的統(tǒng)計(jì),必須考慮在一條流中同時(shí)處理2個(gè)或更多的亂序數(shù)據(jù)段??紤]到亂序數(shù)據(jù)記錄的大小,每個(gè)記錄保留4-6個(gè)數(shù)據(jù)段是很有必要的。

    綜合考慮所有因素,把全局流表設(shè)置為2M×4,亂序流表設(shè)置為4K×16,一條流支持的最大并發(fā)亂序數(shù)據(jù)段設(shè)置為6。一條亂序流的數(shù)據(jù)緩沖設(shè)置為64 KB。統(tǒng)計(jì)了Trace_10G的后面30 min的情況。結(jié)果顯示,0.23%的TCP分組是無記錄分組,0.76%的分組屬于異常流。全部的內(nèi)存需求,包括2個(gè)流表以及亂序數(shù)據(jù)緩沖,小于512 MB。假設(shè)處理10G的網(wǎng)絡(luò)流需要的資源是Trace_10G的4倍(Trace_10G中流量的平均速率是2.6G),處理10G流量時(shí),TCP子系統(tǒng)所需的DRAM是2 GB,目前的技術(shù)完全能夠支持。

    4.3FPGA原型

    為了驗(yàn)證我們的設(shè)計(jì),實(shí)現(xiàn)了一個(gè)基于FPGA的10G POS網(wǎng)卡。FPGA采用Xilinx Virtex5 LX110t[11],F(xiàn)PGA接收的數(shù)據(jù)來自一個(gè)Cortina OC192 Integrated Framer,CS1777[12]。設(shè)計(jì)的邏輯開銷如表5所示,設(shè)計(jì)的頻率能達(dá)到250 MHz。

    表5  Virtex5 LX110t的設(shè)備利用率

    FPGA器件在邏輯資源利用率為50%~70%時(shí)可以達(dá)到性能和資源利用的最優(yōu)[13-14]。表5的統(tǒng)計(jì)數(shù)據(jù)表明,輸入/輸出模塊使用率較高,存儲(chǔ)器使用率適中,其他邏輯單元使用率偏低??傊?,文中解決方案的實(shí)現(xiàn)不需要過多的FPGA資源。

    5結(jié)束語

    本文提出了一種基于硬件的TCP狀態(tài)跟蹤和重組解決方案。該方案采用高效的流記錄替換算法,來應(yīng)對(duì)活動(dòng)流數(shù)目的持續(xù)增長(zhǎng);采用主動(dòng)釋放亂序數(shù)據(jù)緩存的策略,以避免緩存分組造成內(nèi)存耗盡。

    文中的解決方案能夠到達(dá)10 MPPS的處理速度,在合理的內(nèi)存資源下,能夠處理99%的10G流量。對(duì)于如何更加合理利用FPGA資源以獲得更高的TCP流處理速度需要進(jìn)一步的研究和探索。

    參考文獻(xiàn)

    [1]SONG Tian,ZHANG Wei,WANG Dong-sheng,et al.A Memory Efficient Multiple Pattern Matching Architecture for Network Security [C] ∥Proc of INFOCOM 2008.Phoenix :IEEE,2008:166-170.

    [2]孫召敏,楊越,陳啟美.云基礎(chǔ)設(shè)施中TPL2-SW網(wǎng)絡(luò)模型的優(yōu)化[J].計(jì)算機(jī)應(yīng)用研究,2012,29(6):2268-2273.

    [3]郭勇,陳艷玲.多發(fā)多收網(wǎng)絡(luò)仿真器的FPGA實(shí)現(xiàn)及測(cè)試[J].無線電工程,2013,43(1):4-6.

    [4]蘇琪,龔儉,蘇艷珺.基于抽樣流記錄的RTT估計(jì)[J].軟件學(xué)報(bào),2014,25(10):2346-2361.

    [5]王遠(yuǎn),丁偉,龔儉.TCP數(shù)據(jù)流超時(shí)研究[J].廈門大學(xué)學(xué)報(bào)(自然科學(xué)版),2007,46(增刊2):192-195.

    [6]龍劍友,王維,何晶.網(wǎng)絡(luò)流量自相似性的影響因素[J].吉首大學(xué)學(xué)報(bào)(自然科學(xué)版),2008,29(4):38-41.

    [7]Dharmapurikar S,Paxson V.Robust TCP Stream Reassembly in the Presence of Adversaries [C] ∥Proc of 14th Conference on USENIX Security Symposium.Berkely:USENIX Association,2005:5-5.

    [8]廖鑫.一種基于LRU算法改進(jìn)的緩存方案研究與實(shí)現(xiàn)[J].電子工程師,2008,34(7):46-48.

    [9]夏愛民,劉棟,張帆.TCP擁塞控制建模分析方法[J].無線電工程,2011,41(8):4-5.

    [10]Wang D,Ganesh B,Tuaycharoen N,et al.DRAMsim:A Memory System Simulator[J].SIGARCH Computer Architecture News,2005,33(4):100-107.

    [11]Xilinx.Xilinx University Program XUPV5-LX110T Development System [OL].http:∥www.xilinx.com/univ/xupv5-lx110t.htm.

    [12]Cortina Systems.OC192/48 Integrated Framer [OL].http:∥www.cortina-systems.com/products/view/4.

    [13]高麗麗.基于Xilinx V5的SAR_GMTI若干關(guān)鍵技術(shù)的實(shí)現(xiàn)[D].西安:西安電子科技大學(xué) ,2013:31-32.

    [14]陳雪峰,劉洋.基于FPGA的北斗衛(wèi)星信號(hào)快速捕獲[J].無線電工程,2014,44(3):46-49.

    A Hardware-based TCP Flow Processing Solution in 10Gbps Network

    ZHAO Zheng-wei1,ZHANG Ying2,AN Yong-guo3,LI Hong-lei1

    (1.The 54th Research Institute of CETC,Shijiazhuang Hebei 050081,China;2.Department of Information Engineering,Ordnance Engineering College,Shijiazhuang Hebei 050003,China;3.China Xi’an Satellite Control Center,Xi’an Shaanxi 710043)

    Abstract:There is an increasing interest in designing high-speed network devices to perform packet processing at flow level.However,TCP processing for 10Gbps network traffic needs not only to address performance problems but also to cope with abnormal conditions.Some characteristics of real traffic,will result in memory exhaustion in hardware-based TCP processing subsystem which is less flexible for exceptional processing.For this case,this paper presents a hardware design which is capable of processing real traffic in 10G networks with TCP reassembly and tracking states of millions of parallel TCP flows.The solution has several features:①a simple and effective implementation of flow replacement algorithm for massive flow table;②fast one round access to global flow table;③an active release policy for out-of-order data buffer management;④a link-less data structure which ensures time limit for worst case processing.The simulation result shows that the system can process over 99% of the 10G network traffic.A FPGA-based prototype is also implemented for evaluation.

    Key words:10G network;hardware acceleration;TCP reassembly;TCP state tracking

    中圖分類號(hào):TP391.4

    文獻(xiàn)標(biāo)志碼:A

    文章編號(hào):1003-3114(2016)03-70-6

    作者簡(jiǎn)介:趙正偉(1982—),男,博士,工程師,主要研究方向:航天測(cè)控。張英(1982—),女,碩士,講師,主要研究方向:軍用通信技術(shù)。

    基金項(xiàng)目:國(guó)家高技術(shù)研究發(fā)展計(jì)劃(863計(jì)劃)項(xiàng)目(2013AA122105)

    收稿日期:2016-01-05

    doi:10.3969/j.issn.1003-3114.2016.03.19

    引用格式:趙正偉,張英,安永果,等.一種基于硬件的10G網(wǎng)絡(luò)中TCP流處理方法[J].無線電通信技術(shù),2016,42(3):70-75,114.

    猜你喜歡
    流表全局內(nèi)存
    Cahn-Hilliard-Brinkman系統(tǒng)的全局吸引子
    量子Navier-Stokes方程弱解的全局存在性
    基于時(shí)序與集合的SDN流表更新策略
    “春夏秋冬”的內(nèi)存
    基于緩存策略的OpenFlow流表存儲(chǔ)優(yōu)化方案研究
    簡(jiǎn)析yangUI流表控制
    軟件定義網(wǎng)絡(luò)中一種兩步式多級(jí)流表構(gòu)建算法
    落子山東,意在全局
    金橋(2018年4期)2018-09-26 02:24:54
    新思路:牽一發(fā)動(dòng)全局
    基于內(nèi)存的地理信息訪問技術(shù)
    成人美女网站在线观看视频| 变态另类丝袜制服| 春色校园在线视频观看| 国产精品乱码一区二三区的特点| 97超视频在线观看视频| 欧美日本视频| 插阴视频在线观看视频| 久久99热这里只有精品18| 久久久久久伊人网av| 久久久久国产网址| 精品人妻一区二区三区麻豆| 99久久成人亚洲精品观看| 最近最新中文字幕大全电影3| 一个人观看的视频www高清免费观看| 天天躁夜夜躁狠狠久久av| 亚洲中文字幕日韩| 麻豆成人av视频| 色5月婷婷丁香| 国产精品伦人一区二区| 欧美色视频一区免费| 国产精品女同一区二区软件| 亚洲18禁久久av| 精品国产三级普通话版| av.在线天堂| 国产精品国产高清国产av| 成人一区二区视频在线观看| 麻豆乱淫一区二区| 波多野结衣高清无吗| 午夜激情福利司机影院| 可以在线观看的亚洲视频| 亚洲人与动物交配视频| 特大巨黑吊av在线直播| 日韩 亚洲 欧美在线| 嫩草影院精品99| 久久精品夜夜夜夜夜久久蜜豆| 日日啪夜夜撸| 三级男女做爰猛烈吃奶摸视频| 国产精品99久久久久久久久| 又黄又爽又刺激的免费视频.| 亚洲最大成人手机在线| 一级毛片电影观看 | 国产探花在线观看一区二区| 高清毛片免费看| 欧美在线一区亚洲| av国产免费在线观看| 午夜福利高清视频| 久久精品国产99精品国产亚洲性色| 欧美3d第一页| 99在线视频只有这里精品首页| 一区二区三区四区激情视频 | 欧美潮喷喷水| 一级黄片播放器| 午夜激情福利司机影院| av女优亚洲男人天堂| 欧美性感艳星| 网址你懂的国产日韩在线| 亚洲性久久影院| 成人高潮视频无遮挡免费网站| 又爽又黄无遮挡网站| 国产成人福利小说| 国国产精品蜜臀av免费| 久久久午夜欧美精品| 成人鲁丝片一二三区免费| 欧美性猛交╳xxx乱大交人| 两个人视频免费观看高清| 国产高清有码在线观看视频| 国产精品久久视频播放| 日韩 亚洲 欧美在线| 乱系列少妇在线播放| 99久久无色码亚洲精品果冻| 国产成人精品婷婷| 精品久久久久久久久av| 爱豆传媒免费全集在线观看| av在线观看视频网站免费| 久久精品久久久久久噜噜老黄 | 麻豆一二三区av精品| 女的被弄到高潮叫床怎么办| 99久国产av精品| 亚洲人成网站高清观看| 联通29元200g的流量卡| 久久久久久久久久成人| 欧美区成人在线视频| 91午夜精品亚洲一区二区三区| 热99在线观看视频| 欧美一区二区国产精品久久精品| 99国产精品一区二区蜜桃av| 中国美女看黄片| 99热这里只有是精品在线观看| 级片在线观看| 国产伦理片在线播放av一区 | 国产成人福利小说| 99riav亚洲国产免费| 久久精品国产99精品国产亚洲性色| 久久久精品大字幕| 变态另类成人亚洲欧美熟女| 日韩中字成人| 最近视频中文字幕2019在线8| 99久久精品国产国产毛片| 国产单亲对白刺激| 精品99又大又爽又粗少妇毛片| 亚洲欧美日韩高清在线视频| 国产精品99久久久久久久久| 寂寞人妻少妇视频99o| 3wmmmm亚洲av在线观看| 精品久久久久久久久av| 成人午夜高清在线视频| 能在线免费观看的黄片| 99久久人妻综合| 中文资源天堂在线| 美女脱内裤让男人舔精品视频 | 日本爱情动作片www.在线观看| 午夜爱爱视频在线播放| 久久精品国产鲁丝片午夜精品| 中国美白少妇内射xxxbb| 身体一侧抽搐| 亚洲欧美成人综合另类久久久 | 久久6这里有精品| 一卡2卡三卡四卡精品乱码亚洲| 搞女人的毛片| 蜜臀久久99精品久久宅男| 国产精品一区二区三区四区久久| 久久久久性生活片| 人妻制服诱惑在线中文字幕| 中文精品一卡2卡3卡4更新| 麻豆成人午夜福利视频| 日韩成人伦理影院| 久久精品国产自在天天线| 久久午夜福利片| 久久久a久久爽久久v久久| 国产成人精品久久久久久| 亚洲国产欧美人成| 成人二区视频| 欧美三级亚洲精品| 亚洲av一区综合| 亚洲久久久久久中文字幕| 亚洲中文字幕日韩| 青青草视频在线视频观看| 亚洲av电影不卡..在线观看| 两个人的视频大全免费| 最近中文字幕高清免费大全6| 亚洲国产精品久久男人天堂| 国产午夜福利久久久久久| 精品久久国产蜜桃| 欧美成人免费av一区二区三区| 国产老妇女一区| 亚洲精品粉嫩美女一区| 校园春色视频在线观看| av在线蜜桃| 激情 狠狠 欧美| 国产精品蜜桃在线观看 | 美女xxoo啪啪120秒动态图| 蜜桃亚洲精品一区二区三区| 国产成人精品久久久久久| 国产视频首页在线观看| 久久精品国产鲁丝片午夜精品| 老司机影院成人| 淫秽高清视频在线观看| 亚洲国产色片| 国产又黄又爽又无遮挡在线| 一个人看的www免费观看视频| 3wmmmm亚洲av在线观看| 嫩草影院新地址| 久久精品夜色国产| 成人午夜精彩视频在线观看| 在线观看av片永久免费下载| 国产伦精品一区二区三区视频9| 国产国拍精品亚洲av在线观看| 一夜夜www| 久久草成人影院| av在线亚洲专区| 2021天堂中文幕一二区在线观| 国产一区二区亚洲精品在线观看| 国产亚洲精品久久久com| 久久久久久久久久久丰满| 大香蕉久久网| 最好的美女福利视频网| 搡女人真爽免费视频火全软件| 美女xxoo啪啪120秒动态图| 日韩亚洲欧美综合| 国产乱人偷精品视频| 国产精品不卡视频一区二区| 国产熟女欧美一区二区| 三级国产精品欧美在线观看| 国产一区亚洲一区在线观看| 午夜亚洲福利在线播放| 欧美色视频一区免费| 成人亚洲精品av一区二区| 国产av麻豆久久久久久久| 国产成人精品久久久久久| 高清日韩中文字幕在线| 嫩草影院入口| 欧美极品一区二区三区四区| 日韩,欧美,国产一区二区三区 | 国产女主播在线喷水免费视频网站 | 我要看日韩黄色一级片| 亚洲国产色片| 免费观看精品视频网站| 亚洲中文字幕一区二区三区有码在线看| av免费在线看不卡| 99riav亚洲国产免费| 国产乱人偷精品视频| 日本成人三级电影网站| 男女下面进入的视频免费午夜| а√天堂www在线а√下载| 特大巨黑吊av在线直播| 日韩,欧美,国产一区二区三区 | 亚洲va在线va天堂va国产| 欧美高清成人免费视频www| 午夜a级毛片| 亚洲国产精品成人久久小说 | 亚洲精品国产av成人精品| 亚洲精华国产精华液的使用体验 | 大又大粗又爽又黄少妇毛片口| 国产精品无大码| 久久国内精品自在自线图片| 国产成人freesex在线| 亚洲18禁久久av| 久久草成人影院| 国内精品美女久久久久久| 一个人免费在线观看电影| 国产日韩欧美在线精品| 黄片wwwwww| 亚洲欧美中文字幕日韩二区| 精品不卡国产一区二区三区| 国产精品久久久久久精品电影| 日本av手机在线免费观看| 国产精品综合久久久久久久免费| 国产一区二区在线观看日韩| 99久久无色码亚洲精品果冻| 91精品国产九色| 搞女人的毛片| 久久国产乱子免费精品| 国产黄色小视频在线观看| 又爽又黄无遮挡网站| 97超碰精品成人国产| 亚洲乱码一区二区免费版| 欧美性感艳星| 男人狂女人下面高潮的视频| 国产成人freesex在线| 看非洲黑人一级黄片| 美女内射精品一级片tv| 国产综合懂色| 成人毛片a级毛片在线播放| 国产成人精品婷婷| 可以在线观看的亚洲视频| 国产成人午夜福利电影在线观看| 99国产极品粉嫩在线观看| 一级毛片久久久久久久久女| 国产精品蜜桃在线观看 | 欧美bdsm另类| 亚洲人与动物交配视频| 亚洲一区二区三区色噜噜| 欧美zozozo另类| 日韩欧美在线乱码| 中文精品一卡2卡3卡4更新| 国产91av在线免费观看| 亚洲国产精品sss在线观看| 日本一二三区视频观看| 网址你懂的国产日韩在线| 中文字幕熟女人妻在线| 国产欧美日韩精品一区二区| 日韩三级伦理在线观看| 国产精品永久免费网站| 亚洲成人中文字幕在线播放| 午夜爱爱视频在线播放| 寂寞人妻少妇视频99o| 色播亚洲综合网| 少妇的逼水好多| 免费av毛片视频| 免费看日本二区| 一进一出抽搐gif免费好疼| 女人十人毛片免费观看3o分钟| a级一级毛片免费在线观看| 久久婷婷人人爽人人干人人爱| 国产精品一二三区在线看| 天堂中文最新版在线下载 | 99精品在免费线老司机午夜| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 免费看光身美女| 少妇的逼好多水| 内地一区二区视频在线| av免费观看日本| 非洲黑人性xxxx精品又粗又长| 日本-黄色视频高清免费观看| 一区二区三区四区激情视频 | 免费搜索国产男女视频| 精品少妇黑人巨大在线播放 | 最近的中文字幕免费完整| 夜夜看夜夜爽夜夜摸| 两个人视频免费观看高清| 国产精品人妻久久久久久| 亚洲av免费在线观看| 亚洲久久久久久中文字幕| 2021天堂中文幕一二区在线观| 麻豆成人午夜福利视频| 日本黄大片高清| 国产成人a∨麻豆精品| 国产伦在线观看视频一区| 国产一区二区激情短视频| 丝袜喷水一区| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 日本黄大片高清| 性插视频无遮挡在线免费观看| 熟妇人妻久久中文字幕3abv| 超碰av人人做人人爽久久| 免费一级毛片在线播放高清视频| 亚洲熟妇中文字幕五十中出| 丝袜喷水一区| 免费不卡的大黄色大毛片视频在线观看 | 我的女老师完整版在线观看| 一个人观看的视频www高清免费观看| 久久久久久久亚洲中文字幕| 久久久久久伊人网av| 日本黄色片子视频| 久久99精品国语久久久| 最近的中文字幕免费完整| 国产精品久久久久久久电影| 日韩欧美精品免费久久| 国产精品99久久久久久久久| 久久综合国产亚洲精品| 日日摸夜夜添夜夜添av毛片| 久久久精品欧美日韩精品| 午夜精品一区二区三区免费看| 国产蜜桃级精品一区二区三区| 久久久国产成人精品二区| 边亲边吃奶的免费视频| 国产精品嫩草影院av在线观看| 久久精品国产亚洲av涩爱 | 日本三级黄在线观看| 欧美日本亚洲视频在线播放| 亚洲成a人片在线一区二区| 亚洲一区二区三区色噜噜| 中国美女看黄片| 九草在线视频观看| 欧美激情在线99| 国产一区亚洲一区在线观看| 女的被弄到高潮叫床怎么办| 精品久久久久久久久亚洲| 亚洲欧美中文字幕日韩二区| 91久久精品电影网| 国产老妇伦熟女老妇高清| av福利片在线观看| 久久午夜福利片| 老熟妇乱子伦视频在线观看| 少妇猛男粗大的猛烈进出视频 | 两个人视频免费观看高清| 亚洲性久久影院| 欧美性猛交黑人性爽| 99精品在免费线老司机午夜| 国产一区二区在线av高清观看| 久久人妻av系列| 久久婷婷人人爽人人干人人爱| 亚洲av电影不卡..在线观看| 男女下面进入的视频免费午夜| 免费看日本二区| 国产精品福利在线免费观看| 久久精品国产99精品国产亚洲性色| 国产亚洲5aaaaa淫片| 国产成人aa在线观看| 三级国产精品欧美在线观看| 在线免费十八禁| 麻豆久久精品国产亚洲av| 日本一二三区视频观看| 国产成人精品久久久久久| 午夜福利视频1000在线观看| 天堂中文最新版在线下载 | 亚洲在久久综合| 成人漫画全彩无遮挡| 亚洲av中文字字幕乱码综合| 淫秽高清视频在线观看| 91狼人影院| av在线天堂中文字幕| 91精品一卡2卡3卡4卡| 丰满乱子伦码专区| 亚洲欧美成人精品一区二区| 一级毛片久久久久久久久女| 高清日韩中文字幕在线| 啦啦啦啦在线视频资源| av国产免费在线观看| 极品教师在线视频| 久久精品夜夜夜夜夜久久蜜豆| 欧美成人精品欧美一级黄| 亚洲国产精品sss在线观看| 干丝袜人妻中文字幕| 国产三级在线视频| 晚上一个人看的免费电影| 亚洲成人中文字幕在线播放| 如何舔出高潮| 国产伦精品一区二区三区视频9| 亚洲美女搞黄在线观看| 91麻豆精品激情在线观看国产| 中文字幕人妻熟人妻熟丝袜美| 国产精品一及| 成人鲁丝片一二三区免费| 99久久九九国产精品国产免费| 国产亚洲91精品色在线| 夜夜夜夜夜久久久久| 九九在线视频观看精品| 九九热线精品视视频播放| 亚洲最大成人手机在线| 青春草视频在线免费观看| 又粗又爽又猛毛片免费看| 观看美女的网站| av黄色大香蕉| 日日啪夜夜撸| 精品久久久久久久末码| 美女被艹到高潮喷水动态| 国产真实伦视频高清在线观看| 色播亚洲综合网| 成人综合一区亚洲| 久久人人精品亚洲av| 日韩高清综合在线| 亚洲人成网站在线观看播放| 五月伊人婷婷丁香| 在现免费观看毛片| 少妇的逼水好多| 99久久精品热视频| 国产成人aa在线观看| av天堂中文字幕网| av在线天堂中文字幕| 国产在线精品亚洲第一网站| 亚洲乱码一区二区免费版| 日韩av在线大香蕉| 桃色一区二区三区在线观看| av视频在线观看入口| 欧美日韩乱码在线| 国产又黄又爽又无遮挡在线| 国产爱豆传媒在线观看| 最近中文字幕高清免费大全6| 午夜久久久久精精品| 亚洲精品自拍成人| 国产成人福利小说| 日韩 亚洲 欧美在线| 国产伦理片在线播放av一区 | 久久久久久久午夜电影| 可以在线观看的亚洲视频| 看免费成人av毛片| 亚州av有码| 晚上一个人看的免费电影| 22中文网久久字幕| 欧美成人a在线观看| 午夜精品一区二区三区免费看| 国产精品福利在线免费观看| 免费观看人在逋| 久久99蜜桃精品久久| 欧美性猛交黑人性爽| 亚洲av成人精品一区久久| 最新中文字幕久久久久| 欧美色欧美亚洲另类二区| 精品一区二区三区人妻视频| 亚洲精品影视一区二区三区av| 亚洲人成网站在线观看播放| 九九久久精品国产亚洲av麻豆| 精品一区二区三区视频在线| 亚洲一区二区三区色噜噜| 国产成人影院久久av| 免费观看精品视频网站| 免费不卡的大黄色大毛片视频在线观看 | av天堂中文字幕网| 国产成人精品婷婷| 极品教师在线视频| 国产极品天堂在线| 国产亚洲精品久久久com| 天天一区二区日本电影三级| 久久久精品94久久精品| 中文在线观看免费www的网站| 波多野结衣高清无吗| 亚洲va在线va天堂va国产| 日本熟妇午夜| 美女黄网站色视频| 欧美成人免费av一区二区三区| 22中文网久久字幕| 中国美女看黄片| 内射极品少妇av片p| 少妇的逼好多水| 99久久成人亚洲精品观看| 村上凉子中文字幕在线| 午夜爱爱视频在线播放| 国产老妇女一区| 国产高清有码在线观看视频| 成人午夜精彩视频在线观看| 久久中文看片网| 欧美另类亚洲清纯唯美| 亚洲精品日韩在线中文字幕 | 波野结衣二区三区在线| 乱人视频在线观看| 国产一级毛片在线| av天堂在线播放| 午夜福利成人在线免费观看| av又黄又爽大尺度在线免费看 | 不卡视频在线观看欧美| 性插视频无遮挡在线免费观看| 身体一侧抽搐| 久久久国产成人精品二区| 亚洲av男天堂| 午夜免费男女啪啪视频观看| а√天堂www在线а√下载| 九九在线视频观看精品| 99热全是精品| 一区福利在线观看| 啦啦啦韩国在线观看视频| 一级二级三级毛片免费看| 国产毛片a区久久久久| 午夜福利视频1000在线观看| 只有这里有精品99| 亚洲国产精品国产精品| 久久精品综合一区二区三区| www.av在线官网国产| 午夜免费激情av| 91午夜精品亚洲一区二区三区| 欧美成人精品欧美一级黄| 免费不卡的大黄色大毛片视频在线观看 | 我要搜黄色片| 国产精品不卡视频一区二区| 深爱激情五月婷婷| 99久久精品一区二区三区| 男人舔女人下体高潮全视频| 色吧在线观看| 熟女人妻精品中文字幕| 久久欧美精品欧美久久欧美| 人妻系列 视频| av在线观看视频网站免费| 国产日本99.免费观看| 99国产极品粉嫩在线观看| 在线免费观看不下载黄p国产| 国产女主播在线喷水免费视频网站 | 久久草成人影院| 国产真实伦视频高清在线观看| 日本黄色片子视频| av在线观看视频网站免费| 最近的中文字幕免费完整| 天天躁夜夜躁狠狠久久av| 国产成人aa在线观看| 久久精品人妻少妇| 美女 人体艺术 gogo| 2022亚洲国产成人精品| 99热全是精品| 人人妻人人澡欧美一区二区| 亚洲成a人片在线一区二区| 2021天堂中文幕一二区在线观| 欧美色欧美亚洲另类二区| 2021天堂中文幕一二区在线观| 桃色一区二区三区在线观看| 亚洲真实伦在线观看| 夜夜夜夜夜久久久久| 五月伊人婷婷丁香| 久久精品国产亚洲av天美| 99久久精品热视频| 老师上课跳d突然被开到最大视频| 丰满的人妻完整版| 国产亚洲av片在线观看秒播厂 | 日本黄色片子视频| 久久人人精品亚洲av| 亚洲精品456在线播放app| 2021天堂中文幕一二区在线观| 麻豆乱淫一区二区| 国产亚洲5aaaaa淫片| 国产亚洲欧美98| 黄片无遮挡物在线观看| 少妇熟女欧美另类| 只有这里有精品99| 又爽又黄无遮挡网站| 黄片wwwwww| 日本在线视频免费播放| 国产精品一及| 国产 一区 欧美 日韩| 亚洲欧洲国产日韩| 高清毛片免费看| 亚州av有码| 波多野结衣巨乳人妻| 久久综合国产亚洲精品| 欧美激情国产日韩精品一区| 久久精品综合一区二区三区| 看黄色毛片网站| 深爱激情五月婷婷| 不卡视频在线观看欧美| 夜夜爽天天搞| 国产熟女欧美一区二区| 国产亚洲精品久久久com| 亚洲成人久久性| 少妇人妻精品综合一区二区 | 国产私拍福利视频在线观看| 免费看av在线观看网站| 日韩中字成人| 级片在线观看| 免费电影在线观看免费观看| 十八禁国产超污无遮挡网站| 菩萨蛮人人尽说江南好唐韦庄 | АⅤ资源中文在线天堂| 在线播放国产精品三级| 99久久精品热视频| 久久久a久久爽久久v久久| 有码 亚洲区| 久久亚洲国产成人精品v| 欧美zozozo另类| 中文亚洲av片在线观看爽| av女优亚洲男人天堂| 免费看a级黄色片| 成人亚洲精品av一区二区| 99久久中文字幕三级久久日本| 欧美一级a爱片免费观看看| 91久久精品国产一区二区三区| 国产精品99久久久久久久久| 69av精品久久久久久| 精品熟女少妇av免费看| 特大巨黑吊av在线直播| 久久久久久久午夜电影| 国产熟女欧美一区二区| 老司机福利观看| 噜噜噜噜噜久久久久久91| 日本-黄色视频高清免费观看| 中文字幕免费在线视频6| 久久人人爽人人爽人人片va| 久久亚洲国产成人精品v| 免费搜索国产男女视频|