• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    一種基于硬件的10G網(wǎng)絡(luò)中TCP流處理方法

    2016-06-06 07:50:39趙正偉安永果李洪磊
    無線電通信技術(shù) 2016年3期
    關(guān)鍵詞:流表全局內(nèi)存

    趙正偉,張 英,安永果,李洪磊

    (1.中國(guó)電子科技集團(tuán)公司第五十四研究所,河北 石家莊050081;

    2.軍械工程學(xué)院 信息工程系,河北 石家莊050003;

    3.西安衛(wèi)星測(cè)控中心,陜西 西安 710043)

    ?

    一種基于硬件的10G網(wǎng)絡(luò)中TCP流處理方法

    趙正偉1,張英2,安永果3,李洪磊1

    (1.中國(guó)電子科技集團(tuán)公司第五十四研究所,河北 石家莊050081;

    2.軍械工程學(xué)院 信息工程系,河北 石家莊050003;

    3.西安衛(wèi)星測(cè)控中心,陜西 西安 710043)

    摘要:近年來,設(shè)計(jì)高速的網(wǎng)絡(luò)設(shè)備用以在流層面進(jìn)行分組處理,一直是工業(yè)界和學(xué)術(shù)界的研究熱點(diǎn)。10G網(wǎng)絡(luò)下的TCP流處理同時(shí)面臨性能問題和異常情況的處理。真實(shí)流量的許多特性,會(huì)導(dǎo)致基于硬件的TCP流處理系統(tǒng)內(nèi)存耗盡。針對(duì)這種情況,提出并實(shí)現(xiàn)了一種用于10G網(wǎng)絡(luò)中TCP流處理的硬件設(shè)計(jì)方法,能夠處理百萬量級(jí)TCP流的分組重組和狀態(tài)跟蹤。該解決方案提出了大規(guī)模流表的流替換算法和對(duì)全局流表的快速的單輪訪問方式,采取了對(duì)亂序數(shù)據(jù)緩沖管理的主動(dòng)釋放策略,設(shè)計(jì)了一種無鏈的數(shù)據(jù)結(jié)構(gòu),保證了最壞情況下的處理時(shí)間要求。仿真結(jié)果顯示,該系統(tǒng)可以處理超過99%的10G網(wǎng)絡(luò)流量?;贔PGA的硬件原型也驗(yàn)證了系統(tǒng)的設(shè)計(jì)。

    關(guān)鍵詞:10G網(wǎng)絡(luò);硬件加速;TCP重組;TCP狀態(tài)跟蹤

    0引言

    隨著網(wǎng)絡(luò)帶寬的迅速增長(zhǎng)和網(wǎng)絡(luò)流量處理需求的日益復(fù)雜,采用定制的硬件進(jìn)行網(wǎng)路流量處理與分析已成為共識(shí)[1]。從IP層的分組過濾到應(yīng)用層的數(shù)據(jù)過濾,硬件加速已被應(yīng)用到網(wǎng)絡(luò)的各個(gè)層次[2-3]。

    10G網(wǎng)絡(luò)中TCP處理的性能瓶頸在于對(duì)流記錄表的訪問上[4]。這就需要解決內(nèi)存訪問的瓶頸,充分利用硬件并行性進(jìn)行高速的TCP處理;在基于硬件的TCP流狀態(tài)跟蹤系統(tǒng)提供記錄的替換機(jī)制。

    本文在分析數(shù)據(jù)中心真實(shí)流量的基礎(chǔ)上,提出了一個(gè)基于硬件的TCP流狀態(tài)跟蹤和重組解決方案,能夠支持10 MPPS的處理速度,并且能夠保證最壞情況下的處理時(shí)間要求。對(duì)真實(shí)的流量分析結(jié)果顯示,該方案可以使用合理的資源處理99%的10G網(wǎng)絡(luò)流量。我們也用FPGA實(shí)現(xiàn)了一個(gè)原型,驗(yàn)證了該系統(tǒng)的設(shè)計(jì)。

    1真實(shí)Trace分析

    我們采集了某公司和某研究機(jī)構(gòu)的數(shù)據(jù)中心中匯聚鏈路的trace,帶寬分別是10G和1G,持續(xù)時(shí)間約60 min。下文中分別稱為Trace_10G和Trace_1G。

    trace中出現(xiàn)的TCP流可分為3類[5]:第一類是沒有頭部的流(headless flow),這些流在trace開始之前建立,其SYN分組沒有被采集到;第二類是完整的流(complete flow),在trace開始之后建立,并且在trace停止之前結(jié)束;第三類是沒有尾部的流(tailless flow),在trace開始之前建立,并且在trace停止之前沒有結(jié)束。如果在trace停止時(shí),一條流有未填充的序號(hào)但是其FIN分組已經(jīng)到達(dá),這條流仍然被看做是沒有尾部的流。

    對(duì)2個(gè)trace的真實(shí)流量進(jìn)行了統(tǒng)計(jì)分析[6],分析結(jié)果如表1所示??梢钥闯?,2個(gè)trace的亂序流的比例都小于1%,所需要的最大緩沖均超過10 MB。

    表1 真實(shí)流量分析

    Trace_10G中不同類型流的數(shù)目隨時(shí)間的變化情況如圖1所示?;顒?dòng)流是連接已經(jīng)建立并且沒有結(jié)束的流,圖中顯示活動(dòng)流的數(shù)目一直在增加。在trace停止時(shí)的活動(dòng)流就是無尾流,為辨別無尾流的活動(dòng)性,統(tǒng)計(jì)了這些流最后一個(gè)分組到達(dá)時(shí)間和trace停止時(shí)間的間隔,稱之為分組的間隔時(shí)間,如圖2所示。

    圖1 Trace_10G的流情況統(tǒng)計(jì)

    圖2 Trace_10G的分組間隔累積分布

    圖中右側(cè)可以看出,在trace停止時(shí),無尾流在超過100 s的時(shí)間內(nèi)沒有收到任何分組。圖中左側(cè)的曲線是每條流中相鄰的2個(gè)分組的間隔時(shí)間。大多數(shù)的間隔時(shí)間都超過100 s,也就是說,許多實(shí)時(shí)流沒有收到FIN但是已經(jīng)不傳輸數(shù)據(jù)了,這些流稱為僵尸流(zombie flow)。TCP子系統(tǒng)必須為每條無尾流分配一條流記錄以用于TCP重組,無尾流數(shù)目的持續(xù)增加不可避免地導(dǎo)致內(nèi)存耗盡。

    圖3是一條流的分組重組所需緩沖的累積分布,從圖中可以看出,幾乎所有的分組重組所需要的緩沖都不超過40 KB。

    圖3 分組重組所需緩沖的累積分布

    2TCP處理框架

    從前面對(duì)真實(shí)流量的分析可知,只有一部分的TCP流有亂序情況發(fā)生[7]。為了能夠處理10 Gbps的高速流量,采用快速通道分組處理順序流的分組,其執(zhí)行時(shí)間是固定的;用另外的一個(gè)慢速通道處理亂序流的分組。

    此外,真實(shí)流量的2個(gè)特性也必須考慮:① 由于僵尸流的存在,必須設(shè)計(jì)流記錄的替換機(jī)制[8],這可能導(dǎo)致一個(gè)新接收到的分組找不到它的相關(guān)記錄,稱之為無記錄分組;② 因?yàn)闆]有足夠多的緩存,小部分的流不能完成TCP重組,將這些流視為異常流。無記錄分組和異常流的分組將被上傳到主機(jī),并由主機(jī)的TCP子系統(tǒng)處理。

    2.1帶替換優(yōu)先級(jí)的流表

    為了進(jìn)行替換操作,需要維護(hù)一些替換操作所需的信息,提出了一種帶替換優(yōu)先級(jí)的流表。把流記錄存放在二維的數(shù)組里,每一行就是一個(gè)鏈表,存儲(chǔ)了流記錄以及一個(gè)哈希值,該哈希值等于行號(hào)。每一行還是一個(gè)哈希沖突鏈,其長(zhǎng)度就是哈希沖突鏈所允許的最大長(zhǎng)度。查詢一個(gè)分組的相關(guān)記錄需要2個(gè)步驟:首先根據(jù)分組的四元組的哈希結(jié)果找到目標(biāo)記錄的行號(hào),接著在該行中找到目標(biāo)記錄。對(duì)每行增加一個(gè)替換優(yōu)先級(jí)域,用于記錄該行所有記錄的替換優(yōu)先級(jí),用以在需要時(shí)把該記錄替換出去。

    替換優(yōu)先級(jí)域由次序域和計(jì)數(shù)器域組成。次序域是0,1,2,3…n-1的一個(gè)排列(n是行的長(zhǎng)度),每個(gè)數(shù)字代表該行中的對(duì)應(yīng)列所表示的流記錄,次序域占用(n-1)×log2n位。次序域是該行中所有記錄的替換順序,最右側(cè)的數(shù)字表示最優(yōu)先被替換出去的記錄的列號(hào)。當(dāng)一行中沒有空閑的記錄可以使用時(shí),次序域的值全為0。計(jì)數(shù)器域記錄該行已經(jīng)被使用的記錄的數(shù)目,占用log2n位。如果計(jì)數(shù)器域和次序域全為0,表示該行所有的記錄都沒有被使用,其他情況下計(jì)數(shù)器域?yàn)?表示該行n個(gè)記錄全被使用。整個(gè)替換優(yōu)先級(jí)域占用n×log2n位,當(dāng)行的長(zhǎng)度是4的時(shí)候,每行只需要一個(gè)字節(jié)就可以存儲(chǔ)替換操作所需的全部信息。替換優(yōu)先級(jí)處理過程如圖4所示。

    存儲(chǔ)替換優(yōu)先級(jí)有2種選擇:分離的流表和合并的流表。如果流表不是很大(小于10M行),替換優(yōu)先級(jí)可以存儲(chǔ)在cache中,即SRAM或者FPGA的Block RAM中,而不是DRAM中,這種流表稱之為分離的流表;如果流表的行數(shù)大于10M,替換優(yōu)先級(jí)就不能被存在SRAM里了,需要把替換優(yōu)先級(jí)和流記錄都存在DRAM里,這種流表稱之為合并的流表。

    圖4 替換優(yōu)先級(jí)變化示意圖

    2.2兩級(jí)流表

    流表的2種存儲(chǔ)方法具有各自的缺點(diǎn):分離的流表訪問效率較高,但是支持的流的數(shù)目有限;合并的流表的容量只受DRAM容量的限制,因而可以支持千萬量級(jí)的活動(dòng)流,但是其獲取替換優(yōu)先級(jí)的延遲很大,導(dǎo)致在處理分組之前必須等待。

    為克服上述缺點(diǎn),設(shè)計(jì)了兩級(jí)的流表。第一級(jí)稱為全局流表,用于存儲(chǔ)活動(dòng)流的簡(jiǎn)化記錄,簡(jiǎn)化記錄包括處理無亂序情況的TCP流所需的全部信息,如四元組和期望的序號(hào);第二級(jí)稱為亂序流表,對(duì)每條亂序流維護(hù)一個(gè)亂序記錄,亂序記錄的內(nèi)容包括TCP重組所需要的全部信息,如亂序報(bào)文段的地址和長(zhǎng)度,以及兩個(gè)亂序報(bào)文段之間的間隔大小。

    全局流表是一個(gè)合并的流表,它記錄的長(zhǎng)度很小,可以在一個(gè)DDR read burst內(nèi)讀取替換優(yōu)先級(jí)和一行的所有記錄,并且可以在一個(gè)write burst內(nèi)寫回更新數(shù)據(jù)。

    對(duì)亂序流來說,由于只有一小部分的流有亂序情況發(fā)生,所以采用分離的流表更合適。替換優(yōu)先級(jí)可以以較低的延遲從cache中獲取,然后根據(jù)替換優(yōu)先級(jí)的次序域逐條讀取記錄??紤]到流分組的局部性,一次就讀到目標(biāo)記錄的概率很高,所以更大的亂序記錄不會(huì)引入額外的存儲(chǔ)開銷,64或128 bytes就足夠使用。

    如果數(shù)據(jù)流沒有亂序情況發(fā)生,就由快速通道處理,首先獲取全局的流表,接著根據(jù)流記錄內(nèi)容和分組頭更新流的狀態(tài)。如果有亂序情況發(fā)生,就由慢速通道處理,必須從亂序流表中獲取亂序記錄并完成TCP重組。

    2.3快速通道處理

    快速通道處理首先根據(jù)分組四元組的哈希結(jié)果,從全局流表里取得目標(biāo)行,繼而找到流記錄,并更新該流的狀態(tài)。如果沒有發(fā)生亂序,并且分組序號(hào)和期望序號(hào)相等,用分組的長(zhǎng)度更新流的狀態(tài)。否則,流被標(biāo)記為亂序流,這個(gè)標(biāo)記在流的生命周期內(nèi)不會(huì)被取消,該流的所有后續(xù)分組都將由慢速通道處理。

    全局的流記錄里包含快速處理通道所需的全部信息,包括:

    CA,SA:客戶端/服務(wù)端地址;

    CP,SP:客戶端/服務(wù)端端口號(hào);

    CSEQ,SSEQ:客戶端/服務(wù)端期望序號(hào);

    CS:連接狀態(tài)。

    一條全局流記錄需要24 bytes,如果全局流表的一行是128 bytes的話,每行能存放5條記錄。這個(gè)值也可以設(shè)置為32 bytes,多余的字節(jié)可以用于擴(kuò)展。

    2.4慢速通道處理

    慢速通道用來處理亂序的流。首先在cache中讀取替換優(yōu)先級(jí),繼而找到對(duì)應(yīng)的亂序記錄,并根據(jù)記錄的相關(guān)域、序號(hào)以及分組長(zhǎng)度對(duì)分組進(jìn)行重組。TCP重組包括以下步驟:將當(dāng)前分組寫入亂序緩沖,從亂序緩沖中讀取數(shù)據(jù),如果當(dāng)前分組填滿了期望序號(hào)和亂序數(shù)據(jù)之間的空隙(gap),就上傳到主機(jī)。如果一條流的重組太復(fù)雜,慢速通道不能完成處理,則將其視為異常流,亂序流表將丟棄異常流,但是全局流表將保留異常流的記錄,并在狀態(tài)域中對(duì)其打上異常標(biāo)記。

    亂序流記錄包括慢速通道處理所需的全部信息,除了前面提到的全局流記錄之外,全局流表還包括以下的數(shù)據(jù):

    CBA:客戶端到服務(wù)端亂序緩沖基地址;

    SBA:服務(wù)端到客戶端亂序緩沖基地址;

    CSEQOFF,SSEQOFF:亂序緩沖中期望的序號(hào)偏移;

    DSV:數(shù)據(jù)報(bào)文有效標(biāo)識(shí);

    DSD:數(shù)據(jù)報(bào)文方向;

    DSH1~N,DST1~N:數(shù)據(jù)報(bào)文頭/尾指針。

    其中,N是一個(gè)連接可以容納的亂序數(shù)據(jù)報(bào)文的數(shù)目,S是亂序數(shù)據(jù)緩沖的大小。

    對(duì)每個(gè)亂序的TCP流進(jìn)行重組時(shí),需要一塊連續(xù)的固定長(zhǎng)度的存儲(chǔ)空間。如果亂序數(shù)據(jù)的大小超過該空間的大小,慢速通道不會(huì)為這條流申請(qǐng)新的緩沖區(qū),而是把它視為異常流,將其流記錄和亂序數(shù)據(jù)上傳到主機(jī),其后續(xù)的分組將直接上傳到主機(jī)。與每次申請(qǐng)一小塊頁面(page)繼而將這些頁面鏈接起來的緩沖區(qū)管理策略比起來,這種策略要簡(jiǎn)單得多。如果一條流長(zhǎng)時(shí)間占用緩沖,說明這條流的最后一個(gè)分組已經(jīng)到達(dá)很長(zhǎng)一段時(shí)間,這條流很可能是一條僵尸流。采用一種主動(dòng)釋放策略來處理這些流。由于限制了亂序流表的大小,所以在較長(zhǎng)的時(shí)間內(nèi)沒有收到新的分組的亂序流將會(huì)被替換出去,并不額外消耗數(shù)據(jù)緩沖,而在全局流表中,是通過申請(qǐng)盡可能多的空間來替換可能是僵尸流的流,造成數(shù)據(jù)緩沖的額外開銷。

    2.5優(yōu)化

    在上述方案中,對(duì)全局流表的訪問非常有規(guī)律,不需要在控制器中進(jìn)行復(fù)雜的調(diào)度。每個(gè)分組只需要一個(gè)burst read和一個(gè)burst write,所以,通過調(diào)整分組的輸入順序就可以達(dá)到高效的bank-level并行,如圖5所示。

    圖5 Round-Robin分組請(qǐng)求

    在工作模塊(working module)之前放置一組FIFO,F(xiàn)IFO和DRAM的bank之間是一一對(duì)應(yīng)關(guān)系。FIFO中待處理的所有分組的相關(guān)記錄都位于對(duì)應(yīng)的bank中。這里有一個(gè)分發(fā)模塊,以輪轉(zhuǎn)方式從FIFO中取出分組,然后再送到工作模塊中。多個(gè)工作模塊并發(fā)訪問全局流表,形成了對(duì)bank的交織訪問。這種沒有內(nèi)存控制器參與的策略稱為RRPR(Round Robin Packet Request)。慢速通道由于只有一小部分的分組需要訪問亂序流表。所以不需要使用RRPR。

    3系統(tǒng)實(shí)現(xiàn)

    在硬件系統(tǒng)中實(shí)現(xiàn)TCP處理框架,需要2個(gè)DDR2內(nèi)存模塊:全局流表獨(dú)占一個(gè),另一個(gè)由亂序流表和亂序數(shù)據(jù)緩沖共享。用2個(gè)SRAM芯片存儲(chǔ)分組的有效載荷以及亂序流表的替換優(yōu)先級(jí)。系統(tǒng)架構(gòu)如圖6所示。

    圖6 系統(tǒng)架構(gòu)圖

    模塊之間沿實(shí)線傳輸?shù)氖欠纸M頭及其相關(guān)數(shù)據(jù)結(jié)構(gòu),沿虛線傳輸?shù)氖欠纸M的有效載荷。

    數(shù)據(jù)預(yù)處理模塊過濾掉非TCP的分組,根據(jù)四元組計(jì)算哈希值(用于索引各種數(shù)據(jù)結(jié)構(gòu)),提取分組的有效載荷并將其存入SRAM中。接著創(chuàng)建一個(gè)header結(jié)構(gòu),包括分組頭、哈希值、有效載荷的SRAM地址,并把這個(gè)頭結(jié)構(gòu)傳遞給后繼模塊。

    流狀態(tài)管理器接收到頭結(jié)構(gòu)后,從全局流表中取出流記錄,如果是亂序流則把頭結(jié)構(gòu)傳遞給亂序流處理模塊,否則更新頭結(jié)構(gòu),并將其傳遞給提交模塊。

    重組模塊完成亂序TCP流的重組,并更新亂序記錄的相關(guān)域,該模塊不涉及分組載荷的傳輸。

    提交模塊負(fù)責(zé)更新各種數(shù)據(jù)結(jié)構(gòu),包括全局流表、亂序流表、亂序流表的替換優(yōu)先級(jí)以及緩存亂序分組的載荷。

    4系統(tǒng)評(píng)價(jià)

    本節(jié)中采用軟件算法仿真來對(duì)真實(shí)流量進(jìn)行離線分析,對(duì)基于硬件的TCP處理框架進(jìn)行性能和容量評(píng)價(jià)[9]。另外實(shí)現(xiàn)了一個(gè)FPGA的原型,用于硬件資源評(píng)估。

    4.1性能評(píng)價(jià)

    用DRAMsim[10]來分析系統(tǒng)的吞吐量。使用DRAMsim默認(rèn)的DDR2配置,DDR2-400,時(shí)序參數(shù)3-3-3-9,單通道數(shù)據(jù)總線寬度為64 bytes,cache line大小(即burst length)為128 bytes,1個(gè)rank,4個(gè)bank,地址映射采用sdram_hiper_map,控制器的事務(wù)選擇方式為FCFS,芯片延遲為2。CPU主頻(即FPGA的工作頻率)設(shè)置為200M。

    圖7顯示的是在不同的配置下,處理這個(gè)內(nèi)存請(qǐng)求序列時(shí)的內(nèi)存效率??梢钥闯鯮RPR能顯著地提高內(nèi)存訪問效率。當(dāng)有2個(gè)工作模塊同時(shí)訪問全局流表的時(shí)候,控制器的效率達(dá)到峰值。原因在于每個(gè)工作模塊并發(fā)訪問2個(gè)bank。所以在4個(gè)bank的DRAM中,3個(gè)工作模塊將會(huì)導(dǎo)致頻繁的bank沖突。當(dāng)DDR2-400的訪問效率是80%時(shí),內(nèi)存控制器每秒可以處理20M次突發(fā)訪問,也就是說系統(tǒng)可以處理10 MPPS。真實(shí)流量中分組的平均長(zhǎng)度約是400 bytes,即10G流量下3.36 MPPS。由此可以得出結(jié)論,該TCP子系統(tǒng)可以處理10G的真實(shí)流量。

    圖7 訪問全局流表時(shí)的內(nèi)存總線效率

    4.2容量評(píng)價(jià)

    假設(shè)全局流表只有4M條記錄,占用128 MB。使用3種類型的全局流表:2M×2,1M×4,和512K×8。使用2種替換策略:LRE選擇一行中最早建立的流的記錄,并將其替換出去;LRU選擇一行中最不活躍的流(即最長(zhǎng)時(shí)間沒有收到新的分組的流)的記錄,并將其替換出去。對(duì)一分鐘內(nèi)被替換記錄和無記錄分組情況進(jìn)行統(tǒng)計(jì)。

    結(jié)果表明:對(duì)于無記錄分組的數(shù)目,LRU的效果要比LRE好得多,這與期望是一致的。只考慮LRU,與4列或8列相比,2列情況下的無記錄分組數(shù)目要大得多。在全局流表是4列的情況下,2個(gè)trace的無記錄分組的比例分別為0.14%和0.013%。

    對(duì)異常流會(huì)有2種結(jié)果:一種是這條流收到的亂序分組的數(shù)目超過了給它分配的緩沖區(qū)大?。涣硪环N是這條流有太多的亂序數(shù)據(jù)報(bào)文,以致于亂序記錄不能保存所有的數(shù)據(jù)段的狀態(tài)。對(duì)這種情況的統(tǒng)計(jì)如表2、表3和表4所示。

    表2 Trace-10 G中亂序緩沖溢出時(shí)的異常流數(shù)目

    表3 Trace-10 G中不同亂序表情況下的異常流數(shù)目

    表4 Trace-10 G中亂序數(shù)據(jù)報(bào)文溢出時(shí)的異常流數(shù)目

    從表2中可以發(fā)現(xiàn),如果一條流的亂序數(shù)據(jù)超過64 KB,那么這條流通常都大于1 MB。所以,把緩沖區(qū)的大小由64 KB增大至1 MB并不能解決問題。表3列出了在主動(dòng)釋放策略下,不同的亂序流表情況下的異常流數(shù)目。表3中每個(gè)分組的平均訪問時(shí)間非常接近1,說明大多數(shù)情況下,LRU策略從目標(biāo)行中取出的第一個(gè)記錄就是當(dāng)前分組的相關(guān)記錄。

    在主動(dòng)釋放和非主動(dòng)釋放策略下的內(nèi)存使用情況比較如圖8所示。主動(dòng)釋放策略能顯著降低緩沖區(qū)的大小,同時(shí)異常流的數(shù)目幾乎沒有增加。

    圖8 主動(dòng)釋放策略下的亂序數(shù)據(jù)緩沖需求

    根據(jù)表4的統(tǒng)計(jì),必須考慮在一條流中同時(shí)處理2個(gè)或更多的亂序數(shù)據(jù)段??紤]到亂序數(shù)據(jù)記錄的大小,每個(gè)記錄保留4-6個(gè)數(shù)據(jù)段是很有必要的。

    綜合考慮所有因素,把全局流表設(shè)置為2M×4,亂序流表設(shè)置為4K×16,一條流支持的最大并發(fā)亂序數(shù)據(jù)段設(shè)置為6。一條亂序流的數(shù)據(jù)緩沖設(shè)置為64 KB。統(tǒng)計(jì)了Trace_10G的后面30 min的情況。結(jié)果顯示,0.23%的TCP分組是無記錄分組,0.76%的分組屬于異常流。全部的內(nèi)存需求,包括2個(gè)流表以及亂序數(shù)據(jù)緩沖,小于512 MB。假設(shè)處理10G的網(wǎng)絡(luò)流需要的資源是Trace_10G的4倍(Trace_10G中流量的平均速率是2.6G),處理10G流量時(shí),TCP子系統(tǒng)所需的DRAM是2 GB,目前的技術(shù)完全能夠支持。

    4.3FPGA原型

    為了驗(yàn)證我們的設(shè)計(jì),實(shí)現(xiàn)了一個(gè)基于FPGA的10G POS網(wǎng)卡。FPGA采用Xilinx Virtex5 LX110t[11],F(xiàn)PGA接收的數(shù)據(jù)來自一個(gè)Cortina OC192 Integrated Framer,CS1777[12]。設(shè)計(jì)的邏輯開銷如表5所示,設(shè)計(jì)的頻率能達(dá)到250 MHz。

    表5  Virtex5 LX110t的設(shè)備利用率

    FPGA器件在邏輯資源利用率為50%~70%時(shí)可以達(dá)到性能和資源利用的最優(yōu)[13-14]。表5的統(tǒng)計(jì)數(shù)據(jù)表明,輸入/輸出模塊使用率較高,存儲(chǔ)器使用率適中,其他邏輯單元使用率偏低??傊?,文中解決方案的實(shí)現(xiàn)不需要過多的FPGA資源。

    5結(jié)束語

    本文提出了一種基于硬件的TCP狀態(tài)跟蹤和重組解決方案。該方案采用高效的流記錄替換算法,來應(yīng)對(duì)活動(dòng)流數(shù)目的持續(xù)增長(zhǎng);采用主動(dòng)釋放亂序數(shù)據(jù)緩存的策略,以避免緩存分組造成內(nèi)存耗盡。

    文中的解決方案能夠到達(dá)10 MPPS的處理速度,在合理的內(nèi)存資源下,能夠處理99%的10G流量。對(duì)于如何更加合理利用FPGA資源以獲得更高的TCP流處理速度需要進(jìn)一步的研究和探索。

    參考文獻(xiàn)

    [1]SONG Tian,ZHANG Wei,WANG Dong-sheng,et al.A Memory Efficient Multiple Pattern Matching Architecture for Network Security [C] ∥Proc of INFOCOM 2008.Phoenix :IEEE,2008:166-170.

    [2]孫召敏,楊越,陳啟美.云基礎(chǔ)設(shè)施中TPL2-SW網(wǎng)絡(luò)模型的優(yōu)化[J].計(jì)算機(jī)應(yīng)用研究,2012,29(6):2268-2273.

    [3]郭勇,陳艷玲.多發(fā)多收網(wǎng)絡(luò)仿真器的FPGA實(shí)現(xiàn)及測(cè)試[J].無線電工程,2013,43(1):4-6.

    [4]蘇琪,龔儉,蘇艷珺.基于抽樣流記錄的RTT估計(jì)[J].軟件學(xué)報(bào),2014,25(10):2346-2361.

    [5]王遠(yuǎn),丁偉,龔儉.TCP數(shù)據(jù)流超時(shí)研究[J].廈門大學(xué)學(xué)報(bào)(自然科學(xué)版),2007,46(增刊2):192-195.

    [6]龍劍友,王維,何晶.網(wǎng)絡(luò)流量自相似性的影響因素[J].吉首大學(xué)學(xué)報(bào)(自然科學(xué)版),2008,29(4):38-41.

    [7]Dharmapurikar S,Paxson V.Robust TCP Stream Reassembly in the Presence of Adversaries [C] ∥Proc of 14th Conference on USENIX Security Symposium.Berkely:USENIX Association,2005:5-5.

    [8]廖鑫.一種基于LRU算法改進(jìn)的緩存方案研究與實(shí)現(xiàn)[J].電子工程師,2008,34(7):46-48.

    [9]夏愛民,劉棟,張帆.TCP擁塞控制建模分析方法[J].無線電工程,2011,41(8):4-5.

    [10]Wang D,Ganesh B,Tuaycharoen N,et al.DRAMsim:A Memory System Simulator[J].SIGARCH Computer Architecture News,2005,33(4):100-107.

    [11]Xilinx.Xilinx University Program XUPV5-LX110T Development System [OL].http:∥www.xilinx.com/univ/xupv5-lx110t.htm.

    [12]Cortina Systems.OC192/48 Integrated Framer [OL].http:∥www.cortina-systems.com/products/view/4.

    [13]高麗麗.基于Xilinx V5的SAR_GMTI若干關(guān)鍵技術(shù)的實(shí)現(xiàn)[D].西安:西安電子科技大學(xué) ,2013:31-32.

    [14]陳雪峰,劉洋.基于FPGA的北斗衛(wèi)星信號(hào)快速捕獲[J].無線電工程,2014,44(3):46-49.

    A Hardware-based TCP Flow Processing Solution in 10Gbps Network

    ZHAO Zheng-wei1,ZHANG Ying2,AN Yong-guo3,LI Hong-lei1

    (1.The 54th Research Institute of CETC,Shijiazhuang Hebei 050081,China;2.Department of Information Engineering,Ordnance Engineering College,Shijiazhuang Hebei 050003,China;3.China Xi’an Satellite Control Center,Xi’an Shaanxi 710043)

    Abstract:There is an increasing interest in designing high-speed network devices to perform packet processing at flow level.However,TCP processing for 10Gbps network traffic needs not only to address performance problems but also to cope with abnormal conditions.Some characteristics of real traffic,will result in memory exhaustion in hardware-based TCP processing subsystem which is less flexible for exceptional processing.For this case,this paper presents a hardware design which is capable of processing real traffic in 10G networks with TCP reassembly and tracking states of millions of parallel TCP flows.The solution has several features:①a simple and effective implementation of flow replacement algorithm for massive flow table;②fast one round access to global flow table;③an active release policy for out-of-order data buffer management;④a link-less data structure which ensures time limit for worst case processing.The simulation result shows that the system can process over 99% of the 10G network traffic.A FPGA-based prototype is also implemented for evaluation.

    Key words:10G network;hardware acceleration;TCP reassembly;TCP state tracking

    中圖分類號(hào):TP391.4

    文獻(xiàn)標(biāo)志碼:A

    文章編號(hào):1003-3114(2016)03-70-6

    作者簡(jiǎn)介:趙正偉(1982—),男,博士,工程師,主要研究方向:航天測(cè)控。張英(1982—),女,碩士,講師,主要研究方向:軍用通信技術(shù)。

    基金項(xiàng)目:國(guó)家高技術(shù)研究發(fā)展計(jì)劃(863計(jì)劃)項(xiàng)目(2013AA122105)

    收稿日期:2016-01-05

    doi:10.3969/j.issn.1003-3114.2016.03.19

    引用格式:趙正偉,張英,安永果,等.一種基于硬件的10G網(wǎng)絡(luò)中TCP流處理方法[J].無線電通信技術(shù),2016,42(3):70-75,114.

    猜你喜歡
    流表全局內(nèi)存
    Cahn-Hilliard-Brinkman系統(tǒng)的全局吸引子
    量子Navier-Stokes方程弱解的全局存在性
    基于時(shí)序與集合的SDN流表更新策略
    “春夏秋冬”的內(nèi)存
    基于緩存策略的OpenFlow流表存儲(chǔ)優(yōu)化方案研究
    簡(jiǎn)析yangUI流表控制
    軟件定義網(wǎng)絡(luò)中一種兩步式多級(jí)流表構(gòu)建算法
    落子山東,意在全局
    金橋(2018年4期)2018-09-26 02:24:54
    新思路:牽一發(fā)動(dòng)全局
    基于內(nèi)存的地理信息訪問技術(shù)
    两个人的视频大全免费| 在线观看舔阴道视频| 日韩成人在线观看一区二区三区| 十八禁国产超污无遮挡网站| 少妇的逼水好多| 高潮久久久久久久久久久不卡| 婷婷丁香在线五月| 亚洲人成网站在线播| 精品久久久久久成人av| 麻豆av噜噜一区二区三区| 国产精品美女特级片免费视频播放器| 午夜激情欧美在线| 国产单亲对白刺激| 99在线视频只有这里精品首页| 最近中文字幕高清免费大全6 | 99久久精品一区二区三区| 麻豆一二三区av精品| 亚洲一区二区三区不卡视频| 又黄又爽又免费观看的视频| 一级黄色大片毛片| 婷婷精品国产亚洲av| av福利片在线观看| 国产欧美日韩精品亚洲av| 女人被狂操c到高潮| 色尼玛亚洲综合影院| 国产欧美日韩精品一区二区| 国产激情偷乱视频一区二区| 黄色一级大片看看| 日本黄色视频三级网站网址| 国产一级毛片七仙女欲春2| 动漫黄色视频在线观看| 好男人电影高清在线观看| 色噜噜av男人的天堂激情| 国产高清激情床上av| 亚洲av日韩精品久久久久久密| 亚洲黑人精品在线| 久久性视频一级片| 日本黄色片子视频| 中文在线观看免费www的网站| 日韩欧美在线乱码| 九九在线视频观看精品| 日本黄大片高清| 丁香欧美五月| 国产一区二区激情短视频| 岛国在线免费视频观看| 熟女人妻精品中文字幕| 国产在视频线在精品| 亚洲成av人片在线播放无| 麻豆一二三区av精品| 国产久久久一区二区三区| 亚洲经典国产精华液单 | 欧美不卡视频在线免费观看| 欧美一区二区精品小视频在线| 欧美在线黄色| 精品久久国产蜜桃| 久久亚洲真实| 给我免费播放毛片高清在线观看| 99在线视频只有这里精品首页| 亚洲五月婷婷丁香| 日韩亚洲欧美综合| 麻豆av噜噜一区二区三区| 成人亚洲精品av一区二区| 国产精品久久视频播放| 午夜免费成人在线视频| 国产真实伦视频高清在线观看 | 精品人妻视频免费看| 国产高清视频在线观看网站| 欧美成人a在线观看| 亚洲精品456在线播放app | 久久久久国产精品人妻aⅴ院| 变态另类成人亚洲欧美熟女| 少妇人妻一区二区三区视频| or卡值多少钱| 日韩高清综合在线| 真人一进一出gif抽搐免费| 午夜激情欧美在线| 亚洲av熟女| 又粗又爽又猛毛片免费看| av在线观看视频网站免费| 国产精品久久久久久久久免 | 久久久久久久久久黄片| av国产免费在线观看| 热99在线观看视频| 国产av不卡久久| 国产高清激情床上av| 高清在线国产一区| 一级毛片久久久久久久久女| 亚洲七黄色美女视频| 欧美在线一区亚洲| 夜夜爽天天搞| 国产精品久久视频播放| 国产亚洲av嫩草精品影院| 国产成人av教育| 免费在线观看成人毛片| 国产久久久一区二区三区| 熟女人妻精品中文字幕| 久久人人精品亚洲av| 草草在线视频免费看| 欧美一区二区国产精品久久精品| 乱人视频在线观看| 丝袜美腿在线中文| 蜜桃亚洲精品一区二区三区| 一本综合久久免费| 欧美+亚洲+日韩+国产| 一区福利在线观看| 午夜亚洲福利在线播放| 好男人在线观看高清免费视频| 国产亚洲av嫩草精品影院| 十八禁人妻一区二区| 国产精品久久久久久人妻精品电影| 国产精品不卡视频一区二区 | 国产精品av视频在线免费观看| 18禁黄网站禁片免费观看直播| 国产欧美日韩一区二区三| www日本黄色视频网| 久久精品综合一区二区三区| 精品久久久久久久人妻蜜臀av| 国产精品亚洲美女久久久| 国产精品野战在线观看| 国产欧美日韩一区二区精品| 在线免费观看不下载黄p国产 | 99精品久久久久人妻精品| 麻豆国产av国片精品| 日韩中字成人| 婷婷色综合大香蕉| 精品久久国产蜜桃| 啪啪无遮挡十八禁网站| 国产一区二区亚洲精品在线观看| 成人亚洲精品av一区二区| 在线免费观看的www视频| 欧美潮喷喷水| 波多野结衣巨乳人妻| 91在线观看av| 国产极品精品免费视频能看的| 九九久久精品国产亚洲av麻豆| 欧美在线一区亚洲| 首页视频小说图片口味搜索| 乱码一卡2卡4卡精品| 三级男女做爰猛烈吃奶摸视频| 精华霜和精华液先用哪个| 午夜福利免费观看在线| 成人性生交大片免费视频hd| 国产aⅴ精品一区二区三区波| 成人高潮视频无遮挡免费网站| eeuss影院久久| 狠狠狠狠99中文字幕| 1024手机看黄色片| 久久久久精品国产欧美久久久| 老师上课跳d突然被开到最大视频 久久午夜综合久久蜜桃 | 国产精品女同一区二区软件 | 亚洲一区高清亚洲精品| 免费观看精品视频网站| 黄色配什么色好看| 深夜a级毛片| 嫩草影院精品99| 精品人妻熟女av久视频| 亚洲第一电影网av| 色av中文字幕| 超碰av人人做人人爽久久| 搞女人的毛片| 国产精品国产高清国产av| 亚洲自拍偷在线| 成人午夜高清在线视频| 日韩 亚洲 欧美在线| 乱码一卡2卡4卡精品| 日本黄色视频三级网站网址| 丰满的人妻完整版| 欧美性猛交╳xxx乱大交人| 啪啪无遮挡十八禁网站| 亚洲国产欧美人成| 亚洲精品亚洲一区二区| 欧美不卡视频在线免费观看| 国产精品一区二区免费欧美| 亚洲无线观看免费| 国产精品国产高清国产av| 久99久视频精品免费| 丰满人妻一区二区三区视频av| 国产精品98久久久久久宅男小说| 国内精品一区二区在线观看| 成人av一区二区三区在线看| 日本 av在线| 欧美性猛交黑人性爽| 99国产精品一区二区蜜桃av| 久久久色成人| 色av中文字幕| 九色国产91popny在线| 69人妻影院| 18美女黄网站色大片免费观看| 国产麻豆成人av免费视频| 老司机福利观看| 亚洲无线观看免费| 白带黄色成豆腐渣| 成年女人毛片免费观看观看9| 欧美国产日韩亚洲一区| 午夜免费男女啪啪视频观看 | 最近最新中文字幕大全电影3| 精品久久久久久久久久久久久| 窝窝影院91人妻| 亚洲精品一卡2卡三卡4卡5卡| 国产精品影院久久| 免费av毛片视频| 丰满乱子伦码专区| 国产探花极品一区二区| 日本一本二区三区精品| 最近最新中文字幕大全电影3| 午夜免费男女啪啪视频观看 | 少妇的逼好多水| 97热精品久久久久久| 在线看三级毛片| 我的女老师完整版在线观看| 久久精品国产清高在天天线| 俄罗斯特黄特色一大片| 日韩 亚洲 欧美在线| 好看av亚洲va欧美ⅴa在| 18禁黄网站禁片免费观看直播| 男女床上黄色一级片免费看| 俄罗斯特黄特色一大片| 午夜福利欧美成人| 宅男免费午夜| 女人十人毛片免费观看3o分钟| 99热6这里只有精品| 尤物成人国产欧美一区二区三区| 国内久久婷婷六月综合欲色啪| 99久久无色码亚洲精品果冻| 国产亚洲欧美98| 欧美潮喷喷水| 日韩中文字幕欧美一区二区| 国产一区二区三区在线臀色熟女| 老司机午夜福利在线观看视频| 91狼人影院| 日韩欧美精品v在线| 国产一区二区三区在线臀色熟女| 久久久色成人| 国产高清三级在线| av福利片在线观看| 国产高清视频在线播放一区| 十八禁国产超污无遮挡网站| 中文字幕av在线有码专区| 午夜福利在线观看免费完整高清在 | 丰满的人妻完整版| 一区二区三区高清视频在线| 精品一区二区免费观看| 欧美性感艳星| 给我免费播放毛片高清在线观看| 色尼玛亚洲综合影院| 国产精品电影一区二区三区| 亚洲av二区三区四区| 亚洲自偷自拍三级| 一进一出抽搐gif免费好疼| 久久人人精品亚洲av| 黄片小视频在线播放| 最近中文字幕高清免费大全6 | 亚洲真实伦在线观看| 国产精品久久久久久久久免 | 男女床上黄色一级片免费看| 在现免费观看毛片| 免费观看精品视频网站| 午夜福利在线在线| 丝袜美腿在线中文| 亚洲第一电影网av| 嫩草影视91久久| 嫩草影院新地址| www.熟女人妻精品国产| 国产午夜福利久久久久久| 亚洲av.av天堂| 99国产综合亚洲精品| 久久久久性生活片| 热99re8久久精品国产| 国内毛片毛片毛片毛片毛片| 给我免费播放毛片高清在线观看| 日本三级黄在线观看| 99久久99久久久精品蜜桃| 日韩中文字幕欧美一区二区| 欧美日韩国产亚洲二区| 深夜a级毛片| 久久久久国内视频| 在线免费观看不下载黄p国产 | 国产黄片美女视频| 日韩人妻高清精品专区| 热99在线观看视频| 国产精品99久久久久久久久| 99视频精品全部免费 在线| 久久亚洲精品不卡| 观看美女的网站| 欧美黄色淫秽网站| 亚洲,欧美,日韩| 亚洲美女视频黄频| 国产三级黄色录像| 国产私拍福利视频在线观看| 一边摸一边抽搐一进一小说| 最新在线观看一区二区三区| 日韩av在线大香蕉| 午夜福利成人在线免费观看| 国产精品1区2区在线观看.| 婷婷精品国产亚洲av| 欧美三级亚洲精品| 女生性感内裤真人,穿戴方法视频| 国产精品伦人一区二区| 在线观看66精品国产| 欧美日本亚洲视频在线播放| www.www免费av| 免费av观看视频| 国产三级中文精品| 免费电影在线观看免费观看| 午夜老司机福利剧场| 夜夜夜夜夜久久久久| 午夜亚洲福利在线播放| 成年女人毛片免费观看观看9| 在线国产一区二区在线| 欧美日韩综合久久久久久 | 国产黄片美女视频| 高清日韩中文字幕在线| 日日摸夜夜添夜夜添小说| 国产久久久一区二区三区| 又紧又爽又黄一区二区| 国产精品女同一区二区软件 | 亚洲欧美清纯卡通| 国产高清三级在线| 美女大奶头视频| 色播亚洲综合网| 非洲黑人性xxxx精品又粗又长| 亚洲成av人片在线播放无| 精品人妻1区二区| 深爱激情五月婷婷| 日韩欧美国产在线观看| 久久香蕉精品热| 小说图片视频综合网站| 人人妻人人看人人澡| 丁香欧美五月| 午夜福利在线观看吧| 亚洲人成网站高清观看| 免费在线观看影片大全网站| 十八禁网站免费在线| 欧美乱妇无乱码| 窝窝影院91人妻| 日韩欧美精品v在线| 亚洲七黄色美女视频| 国产精品久久电影中文字幕| 国产精品一区二区三区四区免费观看 | 亚洲av日韩精品久久久久久密| 很黄的视频免费| 中文资源天堂在线| 亚洲成人中文字幕在线播放| 性色avwww在线观看| 99精品在免费线老司机午夜| 97人妻精品一区二区三区麻豆| 一个人免费在线观看的高清视频| 国产精品精品国产色婷婷| 国产91精品成人一区二区三区| 国产亚洲av嫩草精品影院| 成人欧美大片| 亚洲精品日韩av片在线观看| 性色avwww在线观看| 99久久精品一区二区三区| 无遮挡黄片免费观看| 天美传媒精品一区二区| 国产精品伦人一区二区| 国产一级毛片七仙女欲春2| 一二三四社区在线视频社区8| 欧美xxxx性猛交bbbb| 欧美色欧美亚洲另类二区| 久久久久国内视频| 天堂网av新在线| 亚洲乱码一区二区免费版| 男女视频在线观看网站免费| 国产精品一区二区免费欧美| 亚洲 国产 在线| 日韩欧美精品免费久久 | 人妻夜夜爽99麻豆av| 国产精品女同一区二区软件 | 欧美不卡视频在线免费观看| 国产免费av片在线观看野外av| 日本一二三区视频观看| 91在线观看av| 国产精品久久久久久精品电影| 中出人妻视频一区二区| av在线蜜桃| 国产精华一区二区三区| 国产毛片a区久久久久| 国产一区二区激情短视频| 国产精品永久免费网站| 精品久久久久久,| 精品人妻熟女av久视频| 婷婷精品国产亚洲av| 国产精品女同一区二区软件 | 亚洲成a人片在线一区二区| 欧美日韩国产亚洲二区| 97人妻精品一区二区三区麻豆| 亚洲av第一区精品v没综合| 亚洲不卡免费看| 99久久久亚洲精品蜜臀av| 欧美成人a在线观看| 看免费av毛片| 色噜噜av男人的天堂激情| 热99re8久久精品国产| 欧美最新免费一区二区三区 | 成人性生交大片免费视频hd| 99国产精品一区二区三区| 国产精品一区二区三区四区久久| 三级毛片av免费| av福利片在线观看| 日韩中字成人| av中文乱码字幕在线| 国产男靠女视频免费网站| av在线天堂中文字幕| 特大巨黑吊av在线直播| 女同久久另类99精品国产91| 亚洲国产欧美人成| 成年女人毛片免费观看观看9| 亚洲经典国产精华液单 | 三级毛片av免费| 1024手机看黄色片| 熟女人妻精品中文字幕| 伦理电影大哥的女人| 亚洲精品色激情综合| 91麻豆av在线| 精品不卡国产一区二区三区| 88av欧美| 一级av片app| 中文亚洲av片在线观看爽| av在线天堂中文字幕| 亚洲人成电影免费在线| 免费看美女性在线毛片视频| 色综合欧美亚洲国产小说| 中文字幕av成人在线电影| or卡值多少钱| 欧美日韩亚洲国产一区二区在线观看| 人人妻人人澡欧美一区二区| 久久久色成人| 在线观看66精品国产| 制服丝袜大香蕉在线| 中文字幕高清在线视频| 亚洲精品色激情综合| 亚洲美女搞黄在线观看 | 精品日产1卡2卡| 日本五十路高清| 免费观看的影片在线观看| 搡老熟女国产l中国老女人| 久久精品国产亚洲av涩爱 | 中文亚洲av片在线观看爽| 午夜福利免费观看在线| 国产大屁股一区二区在线视频| 久久久久亚洲av毛片大全| 高清毛片免费观看视频网站| 欧美日本视频| 亚洲av美国av| 美女高潮的动态| 亚洲成a人片在线一区二区| 午夜福利在线观看免费完整高清在 | 少妇裸体淫交视频免费看高清| xxxwww97欧美| 国产爱豆传媒在线观看| 丰满的人妻完整版| av黄色大香蕉| 免费av毛片视频| 99久久成人亚洲精品观看| 美女免费视频网站| 男人狂女人下面高潮的视频| 精品人妻1区二区| 国产精品嫩草影院av在线观看 | 蜜桃久久精品国产亚洲av| 亚洲国产精品999在线| 国产淫片久久久久久久久 | 香蕉av资源在线| 欧美成狂野欧美在线观看| 日日摸夜夜添夜夜添小说| 国产极品精品免费视频能看的| 伦理电影大哥的女人| 亚洲乱码一区二区免费版| a级毛片免费高清观看在线播放| 别揉我奶头~嗯~啊~动态视频| 在线观看舔阴道视频| 国产精品影院久久| 亚洲人与动物交配视频| 欧美高清性xxxxhd video| 性欧美人与动物交配| 一卡2卡三卡四卡精品乱码亚洲| 国内精品久久久久精免费| 亚洲在线自拍视频| 国产乱人视频| 中国美女看黄片| 国产精品亚洲美女久久久| 一区福利在线观看| 18禁裸乳无遮挡免费网站照片| 18+在线观看网站| 日韩欧美三级三区| 成人亚洲精品av一区二区| 国产白丝娇喘喷水9色精品| 日韩免费av在线播放| 麻豆国产97在线/欧美| 天美传媒精品一区二区| 99热这里只有是精品50| avwww免费| 欧美一区二区亚洲| 热99re8久久精品国产| 高清毛片免费观看视频网站| eeuss影院久久| www.色视频.com| 噜噜噜噜噜久久久久久91| 深爱激情五月婷婷| 在线免费观看不下载黄p国产 | 亚洲av第一区精品v没综合| 日韩免费av在线播放| 亚洲18禁久久av| 老鸭窝网址在线观看| aaaaa片日本免费| 国产久久久一区二区三区| 日韩中文字幕欧美一区二区| 久久精品久久久久久噜噜老黄 | 久久99热6这里只有精品| 亚洲va日本ⅴa欧美va伊人久久| 1000部很黄的大片| 国产精品三级大全| 成人午夜高清在线视频| 一边摸一边抽搐一进一小说| 精品熟女少妇八av免费久了| av在线老鸭窝| 久久欧美精品欧美久久欧美| 久久精品综合一区二区三区| 老女人水多毛片| 99国产极品粉嫩在线观看| 午夜老司机福利剧场| 亚洲欧美日韩高清在线视频| 久久久久亚洲av毛片大全| 免费人成视频x8x8入口观看| 啦啦啦观看免费观看视频高清| 久久精品国产自在天天线| 老司机午夜十八禁免费视频| 亚洲经典国产精华液单 | 亚洲av免费高清在线观看| 一级黄色大片毛片| 国产精品自产拍在线观看55亚洲| 免费看日本二区| 国产真实伦视频高清在线观看 | 99热6这里只有精品| 此物有八面人人有两片| 国产亚洲av嫩草精品影院| 亚洲人成网站在线播放欧美日韩| 日本免费a在线| 国产探花极品一区二区| 99国产综合亚洲精品| 搡老熟女国产l中国老女人| 听说在线观看完整版免费高清| 人人妻人人看人人澡| 久久精品综合一区二区三区| 国产亚洲精品av在线| 嫩草影院精品99| 9191精品国产免费久久| 亚洲精品粉嫩美女一区| 中文字幕高清在线视频| 露出奶头的视频| 午夜免费男女啪啪视频观看 | 精品一区二区三区视频在线观看免费| 十八禁人妻一区二区| 精品不卡国产一区二区三区| 欧美成人一区二区免费高清观看| 麻豆成人av在线观看| 天天躁日日操中文字幕| 内射极品少妇av片p| 在线观看美女被高潮喷水网站 | 国产午夜精品久久久久久一区二区三区 | 免费看美女性在线毛片视频| 欧美日韩福利视频一区二区| 老熟妇仑乱视频hdxx| 禁无遮挡网站| 国产极品精品免费视频能看的| 嫩草影院入口| 女同久久另类99精品国产91| 18美女黄网站色大片免费观看| 亚洲av中文字字幕乱码综合| 国产午夜精品久久久久久一区二区三区 | 久久久久精品国产欧美久久久| 国产精品不卡视频一区二区 | 国产 一区 欧美 日韩| 少妇人妻一区二区三区视频| 老司机午夜十八禁免费视频| 国产老妇女一区| 国产高清有码在线观看视频| 日本熟妇午夜| avwww免费| 特大巨黑吊av在线直播| 亚洲精品在线观看二区| 男人和女人高潮做爰伦理| 老熟妇乱子伦视频在线观看| 观看美女的网站| 欧美黑人巨大hd| 国产麻豆成人av免费视频| 亚洲成人久久性| 1024手机看黄色片| 日韩中文字幕欧美一区二区| a在线观看视频网站| 少妇高潮的动态图| 伊人久久精品亚洲午夜| 99国产综合亚洲精品| 欧美+日韩+精品| 狠狠狠狠99中文字幕| 特级一级黄色大片| 岛国在线免费视频观看| 色综合婷婷激情| 色哟哟·www| 国产av麻豆久久久久久久| 在线免费观看的www视频| 男人舔奶头视频| 99在线视频只有这里精品首页| 国内精品美女久久久久久| 久久天躁狠狠躁夜夜2o2o| av天堂中文字幕网| www.www免费av| 999久久久精品免费观看国产| 99精品久久久久人妻精品| 此物有八面人人有两片| 国产日本99.免费观看| 日本黄色视频三级网站网址| 最近在线观看免费完整版| 91字幕亚洲|