• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    多核網(wǎng)絡(luò)處理器iSCSI發(fā)起端研究與實(shí)現(xiàn)

    2014-08-05 04:28:48查奇文曾學(xué)文
    計(jì)算機(jī)工程 2014年5期
    關(guān)鍵詞:數(shù)據(jù)流異構(gòu)處理器

    查奇文,張 武,曾學(xué)文,宋 毅

    (1. 中國(guó)科學(xué)院聲學(xué)研究所國(guó)家網(wǎng)絡(luò)新媒體工程技術(shù)研究中心,北京 100 190;2. 中國(guó)科學(xué)院大學(xué),北京 10004 9)

    多核網(wǎng)絡(luò)處理器iSCSI發(fā)起端研究與實(shí)現(xiàn)

    查奇文1,2,張 武1,曾學(xué)文1,宋 毅1,2

    (1. 中國(guó)科學(xué)院聲學(xué)研究所國(guó)家網(wǎng)絡(luò)新媒體工程技術(shù)研究中心,北京 100 190;2. 中國(guó)科學(xué)院大學(xué),北京 10004 9)

    針對(duì)已有的互聯(lián)網(wǎng)小型計(jì)算機(jī)系統(tǒng)接口(iSCSI)發(fā)起端實(shí)現(xiàn)方式在面向多核網(wǎng)絡(luò)處理器時(shí)存在的性能和擴(kuò)展性不佳等問題,研究多核網(wǎng)絡(luò)處理器的網(wǎng)絡(luò)處理軟件框架,提出基于多核網(wǎng)絡(luò)處理器異構(gòu)操作系統(tǒng)的網(wǎng)絡(luò)處理軟件框架。采用軟件框架和P-SPL數(shù)據(jù)層面編程模型,給出一種iSCSI發(fā)起端實(shí)現(xiàn)方式。實(shí)驗(yàn)結(jié)果證明,相比基于Linux操作系統(tǒng)的iSCSI發(fā)起端實(shí)現(xiàn),基于多核網(wǎng)絡(luò)處理器異構(gòu)操作系統(tǒng)的iSCSI發(fā)起端實(shí)現(xiàn)在吞吐率和響應(yīng)時(shí)間上都有明顯的性能提升。在6個(gè)千兆網(wǎng)口的測(cè)試環(huán)境中,讀寫吞吐率最高可達(dá)到180 MB/s,響應(yīng)時(shí)間最多減少1.6 ms。

    互聯(lián)網(wǎng)小型計(jì)算機(jī)系統(tǒng)接口;iSCSI發(fā)起端;多核網(wǎng)絡(luò)處理器;Linux操作系統(tǒng);TCP/IP協(xié)議棧;網(wǎng)絡(luò)處理操作系統(tǒng)

    1 概述

    互聯(lián)網(wǎng)小型計(jì)算機(jī)系統(tǒng)接口(Internet S mall Computer System Interface, iSCSI)是由IETF批準(zhǔn)的一種基于存儲(chǔ)網(wǎng)絡(luò)的新的協(xié)議[1]。隨著千兆以太網(wǎng)技術(shù)的普及、萬兆以太網(wǎng)技術(shù)的逐步成熟,iSCSI技術(shù)成為最具有發(fā)展前景的SAN (Storage Area Network)技術(shù)和協(xié)議。iSCSI的原理是將SCSI命令通過IP網(wǎng)絡(luò)傳輸,這樣就可以使在網(wǎng)絡(luò)上傳送數(shù)據(jù)更加便利,而且可以實(shí)現(xiàn)遠(yuǎn)程存儲(chǔ)管理?;趇SCSI的網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)由于其大容量、部署靈活、低成本、擴(kuò)展性好等特點(diǎn),使得iSCSI的產(chǎn)品化和普及化進(jìn)程非常迅速,獲得了業(yè)界軟硬件方面的廣泛支持。

    iSCSI分為發(fā)起端和目標(biāo)端。應(yīng)用程序通過發(fā)起端訪問存儲(chǔ)設(shè)備,目標(biāo)端通常為磁盤陣列等存儲(chǔ)服務(wù)器。iSCSI發(fā)起端負(fù)責(zé)將用戶發(fā)來的SCSI命令和數(shù)據(jù)封裝為iSCSI網(wǎng)絡(luò)數(shù)據(jù)報(bào)發(fā)送到目標(biāo)端;目標(biāo)端存儲(chǔ)設(shè)備收到后會(huì)將其解包成原始的SCSI命令和數(shù)據(jù)進(jìn)行處理,并將得到的數(shù)據(jù)訪問結(jié)果再次封裝成iSCSI包發(fā)回至發(fā)起端,這樣就實(shí)現(xiàn)了遠(yuǎn)程存儲(chǔ)操作。iSCSI發(fā)起端的性能直接影響用戶的存儲(chǔ)性能,最終決定了客戶應(yīng)用的性能。

    多核處理器技術(shù)被廣泛采用以提高系統(tǒng)的整體性能。多核處理器可以很好地控制處理器的功耗問題,也能減少與內(nèi)存、I/O之間的訪問延遲,而且多核處理器技術(shù)增加了處理器同時(shí)執(zhí)行的硬件線程數(shù),極大地提升了處理器的并行處理能力。網(wǎng)絡(luò)處理器是為處理網(wǎng)絡(luò)應(yīng)用而設(shè)計(jì)的專用處理器,其體系結(jié)構(gòu)和指令集對(duì)網(wǎng)絡(luò)數(shù)據(jù)流的處理和轉(zhuǎn)發(fā)都做了具有針對(duì)性的優(yōu)化,并增加了一些用于網(wǎng)絡(luò)加速的協(xié)處理器,可以加速系統(tǒng)處理網(wǎng)絡(luò)數(shù)據(jù)流的效率。多核網(wǎng)絡(luò)處理器兼有多核處理器和網(wǎng)絡(luò)處理器的優(yōu)點(diǎn),使得越來越多的網(wǎng)絡(luò)應(yīng)用和業(yè)務(wù)采用多核網(wǎng)絡(luò)處理器作為解決方案。所以,基于多核網(wǎng)絡(luò)處理器的iSCSI發(fā)起端研究有著重要意義。本文對(duì)基于多核網(wǎng)絡(luò)處理器的iSCSI發(fā)起端進(jìn)行研究,并提出一種新的實(shí)現(xiàn)方式。

    2 已有iSCSI發(fā)起端實(shí)現(xiàn)研究

    2.1 iS CSI發(fā)起端的系統(tǒng)結(jié)構(gòu)與實(shí)現(xiàn)方式

    iSCSI發(fā)起端的系統(tǒng)結(jié)構(gòu)模型如圖1所示。

    圖1 iS CSI發(fā)起端系統(tǒng)結(jié)構(gòu)模型

    iSCSI發(fā)起端的實(shí)現(xiàn)主要有以下3種方式[2]:

    (1)純軟件方式

    采用普通以太網(wǎng)卡進(jìn)行網(wǎng)絡(luò)連接,通過運(yùn)行上層軟件實(shí)現(xiàn)iSCSI和TCP/IP協(xié)議棧功能層。這種方式無需添加任何額外設(shè)備,因此,硬件成本最低,靈活性也較強(qiáng)。但是在這種方式中,應(yīng)用主機(jī)在完成應(yīng)用程序處理的同時(shí),還需要兼顧iSCSI的處理和TCP/IP協(xié)議棧的處理,造成主機(jī)運(yùn)行時(shí)間加長(zhǎng),系統(tǒng)性能下降。

    (2)智能TOE(TCP Offload Engine)網(wǎng)卡實(shí)現(xiàn)方式

    在這種方式中,服務(wù)器采用特定的TOE網(wǎng)卡連接網(wǎng)絡(luò),TCP/IP協(xié)議棧功能由TOE網(wǎng)卡完成,而 iS CSI層的功能仍然由主機(jī)完成。這種方式較第1種方式部分提高了服務(wù)器的性能。但是由于需要額外的網(wǎng)卡,擴(kuò)展性和靈活性較差。

    (3)iSCSI HBA(Host Bus Adapter)卡實(shí)現(xiàn)方式

    使用HBA存儲(chǔ)適配器完成iSCSI層和TCP/IP協(xié)議棧的功能。該方式性能最好,但是HBA卡較為昂貴,同時(shí)由于需要額外的HBA卡,擴(kuò)展性和靈活性較差。

    2.2 Lin ux操作系統(tǒng)的iSCSI實(shí)現(xiàn)方式

    在iSCSI發(fā)起端的實(shí)現(xiàn)方式中,基于Linux操作系統(tǒng)的純軟件實(shí)現(xiàn)方式是最常見、最簡(jiǎn)單的一種Linux操作系統(tǒng)下軟件方式實(shí)現(xiàn)發(fā)起端的系統(tǒng)軟件結(jié)構(gòu),如圖2所示[3-4]。

    圖2 L inux iSCSI發(fā)起端軟件結(jié)構(gòu)

    TCP/IP協(xié)議棧使用Linux操作系統(tǒng)TCP/IP協(xié)議棧,以軟件形式運(yùn)行于Linux操作系統(tǒng)內(nèi)核空間。iSCSI發(fā)起端的實(shí)現(xiàn)則采用開源軟件Open-iSCSI或者基于Open-iSCSI的修改版本。Open-iSCSI是一個(gè)開源的項(xiàng)目,也是Linux下使用最廣泛的iSCSI發(fā)起端軟件。Open-iSCSI軟件包括2個(gè)部分,一部分是運(yùn)行于Linux操作系統(tǒng)用戶空間的配置管理工具,包括應(yīng)用程序iscsiadm和守護(hù)進(jìn)程iscsid;另一部分運(yùn)行于Linux操作系統(tǒng)內(nèi)核空間的內(nèi)核模塊。

    在基于Linux操作系統(tǒng)的iSCSI發(fā)起端全軟件實(shí)現(xiàn)方式中,應(yīng)用程序運(yùn)行于Linux操作系統(tǒng)的用戶空間,通過Linux標(biāo)準(zhǔn)API調(diào)用文件系統(tǒng),而Linux內(nèi)核空間的文件系統(tǒng)通過調(diào)用Linux塊設(shè)備驅(qū)動(dòng)將文件請(qǐng)求轉(zhuǎn)化為塊請(qǐng)求,然后通過Linux SCSI子系統(tǒng)封裝成SCSI命令,最后通過OpeniSCSI內(nèi)核模塊,將SCSI命令通過TCP/IP封裝,與iSCSI目標(biāo)端進(jìn)行交互。

    Open-iSCSI配置管理工具也是運(yùn)行于Linux用戶空間,通過NetLink機(jī)制,與Open-iSCSI內(nèi)核模塊交互,主要包括目標(biāo)端的發(fā)現(xiàn)、目標(biāo)端的登錄、iSCSI會(huì)話的建立與銷毀、TCP連接的建立與銷毀以及多連接管理等。

    3 i SCSI發(fā)起端研究與實(shí)現(xiàn)

    3.1 基于多核網(wǎng)絡(luò)處理器異構(gòu)操作系統(tǒng)的軟件框架

    目前基于多核網(wǎng)絡(luò)處理器的網(wǎng)絡(luò)應(yīng)用已經(jīng)形成了成熟的系統(tǒng)結(jié)構(gòu),即由管理層面、控制層面和數(shù)據(jù)層面構(gòu)成的分層系統(tǒng)結(jié)構(gòu)[5-7]。

    (1)管理層面:對(duì)用戶和上層應(yīng)用程序提供交互接口,管理底層的硬件資源、組織網(wǎng)絡(luò)處理功能模塊和多核拓?fù)浣Y(jié)構(gòu)。

    (2)控制層面:協(xié)助數(shù)據(jù)層面的數(shù)據(jù)流處理,提供操作系統(tǒng)與數(shù)據(jù)層面的交互通道,維護(hù)路由表、ARP信息等非實(shí)時(shí)信息。

    (3)數(shù)據(jù)層面:通過多核網(wǎng)絡(luò)處理器上的處理核心以及協(xié)處理器搭建網(wǎng)絡(luò)數(shù)據(jù)流的處理通道,結(jié)合網(wǎng)絡(luò)處理器的優(yōu)勢(shì)對(duì)網(wǎng)絡(luò)數(shù)據(jù)流進(jìn)行加速處理,實(shí)現(xiàn)快速的數(shù)據(jù)包分類與查找、TCP/IP協(xié)議棧、深度包檢測(cè)、數(shù)據(jù)包加/解密、流量整形等功能。

    基于以上分層體系結(jié)構(gòu),本文提出了一種基于異構(gòu)操作系統(tǒng)的多核網(wǎng)絡(luò)處理器軟件框架。如圖3所示,將一顆多核網(wǎng)絡(luò)處理器的處理核心分成2個(gè)部分,一部分處理核心運(yùn)行通用操作系統(tǒng),另一部分處理核心運(yùn)行網(wǎng)絡(luò)處理操作系統(tǒng)(Network Processing Operating System, NPOS)[8]。適用于多核網(wǎng)絡(luò)處理器的通用操作系統(tǒng)主要是Linux操作系統(tǒng)。網(wǎng)絡(luò)處理操作系統(tǒng)主要有實(shí)時(shí)操作系統(tǒng)、嵌入式執(zhí)行環(huán)境,以及一些廠商特有的加速執(zhí)行環(huán)境,如Cavium公司的SE執(zhí)行環(huán)境。

    圖3 多核網(wǎng)絡(luò)處理器系統(tǒng)結(jié)構(gòu)

    網(wǎng)絡(luò)處理的控制層面通常邏輯較復(fù)雜,要求開發(fā)環(huán)境相對(duì)簡(jiǎn)單,但對(duì)數(shù)據(jù)的處理性能要求不高。管理層面通常要求平臺(tái)無關(guān)性、接口豐富、便于交互等特點(diǎn)。所以本文將控制層面和管理層面運(yùn)行于通用操作系統(tǒng)之上,通過操作系統(tǒng)屏蔽底層的硬件信息,為用戶提供通用的執(zhí)行環(huán)境。同時(shí),基于通用操作系統(tǒng)的各種編程接口、系統(tǒng)調(diào)用,簡(jiǎn)化應(yīng)用的開發(fā)難度,同時(shí)具有較好的移植性和擴(kuò)展性。

    數(shù)據(jù)層面負(fù)責(zé)對(duì)網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行高速實(shí)時(shí)處理,對(duì)性能有著較高的要求,通常需要做到高吞吐、低延時(shí)以及高并發(fā)等。所以數(shù)據(jù)層面運(yùn)行于網(wǎng)絡(luò)處理操作系統(tǒng),直接操作底層的處理核心、內(nèi)存、協(xié)處理器等硬件資源,以充分發(fā)揮多核網(wǎng)絡(luò)處理器的性能。

    管理層面需要對(duì)整個(gè)系統(tǒng)的運(yùn)行情況和參數(shù)進(jìn)行管理,管理各種軟硬件資源等;控制層面需要對(duì)數(shù)據(jù)層面進(jìn)行控制,提供運(yùn)行信息、交互數(shù)據(jù)等。管理層面和控制層面通過異構(gòu)操作系統(tǒng)間的通信機(jī)制和數(shù)據(jù)交互機(jī)制與數(shù)據(jù)平面進(jìn)行信令交互和數(shù)據(jù)交互。通信機(jī)制主要包括網(wǎng)絡(luò)信令交互、多核核間通信機(jī)制等;數(shù)據(jù)交互機(jī)制主要有網(wǎng)絡(luò)數(shù)據(jù)交互、共享內(nèi)存等。

    3.2 iS CSI發(fā)起端實(shí)現(xiàn)

    本文采用純軟件的iSCSI發(fā)起端實(shí)現(xiàn)方案,所有的iSCSI和網(wǎng)絡(luò)處理都由軟件實(shí)現(xiàn)。同時(shí)借鑒TOE網(wǎng)卡實(shí)現(xiàn)方式和HBA卡實(shí)現(xiàn)方式的思想,充分利用多核網(wǎng)絡(luò)處理器的特點(diǎn),對(duì)iSCSI層和TCP/IP協(xié)議棧進(jìn)行加速處理?;诙嗪司W(wǎng)絡(luò)處理器異構(gòu)操作系統(tǒng)的iSCSI發(fā)起端實(shí)現(xiàn)的軟件結(jié)構(gòu)如圖4所示。

    圖4 iS CSI發(fā)起端軟件結(jié)構(gòu)

    采用基于多核網(wǎng)絡(luò)處理器異構(gòu)操作系統(tǒng)的軟件框架,在一顆多核網(wǎng)絡(luò)處理器上同時(shí)運(yùn)行Linux操作系統(tǒng)和網(wǎng)絡(luò)處理操作系統(tǒng)。應(yīng)用程序和iSCSI配置管理工具運(yùn)行于Linux用戶空間,屬于控制層面和管理層面;iSCSI層和TCP/ IP協(xié)議棧則以iSCSI加速引擎和TCP/IP加速引擎運(yùn)行于網(wǎng)絡(luò)處理操作系統(tǒng),屬于數(shù)據(jù)層面。在Linux內(nèi)核中運(yùn)行iSCSI卸載驅(qū)動(dòng),其主要功能為提供iSCSI對(duì)于Linux SC SI子系統(tǒng)和iSCSI配置管理工具的完成調(diào)用接口,并通過多核核間通信機(jī)制和共享內(nèi)存與網(wǎng)絡(luò)操作系統(tǒng)上的iSCSI加速引擎進(jìn)行信令交互和數(shù)據(jù)交互。例如,將一個(gè)SCSI寫命令封裝為多核核間消息,將寫的數(shù)據(jù)填到共享物理內(nèi)存。

    數(shù)據(jù)層面是整個(gè)網(wǎng)絡(luò)數(shù)據(jù)流處理器的核心部分,數(shù)據(jù)層面編程模型需要解決開發(fā)效率和運(yùn)行效率問題,對(duì)數(shù)據(jù)層面軟件進(jìn)行合理的組織、映射和調(diào)度,對(duì)提高整個(gè)系統(tǒng)性能起著關(guān)鍵作用。根據(jù)每個(gè)處理核心上部署任務(wù)的關(guān)系,處理核心之間構(gòu)成了多種多核拓?fù)浣Y(jié)構(gòu),主要的結(jié)構(gòu)有以下3種[9-10]:

    (1)RTC(Run to Complete)結(jié)構(gòu):各個(gè)處理核心之間相互獨(dú)立、并行工作,每個(gè)處理核心都可以完成數(shù)據(jù)流處理的全部子任務(wù)。

    (2)S-SPL(Single Software PipeLine):各個(gè)處理核心之間逐級(jí)互聯(lián)形成流水線,每一級(jí)的處理核心實(shí)現(xiàn)數(shù)據(jù)流處理分解為多級(jí)子任務(wù),然后與流水線上的處理核心一一對(duì)應(yīng)。

    (3)P-SPL(Parallel S oftware P ipeLine):結(jié)合了RTC和S-SPL,采用并行結(jié)構(gòu)擴(kuò)展S-SPL模型上各個(gè)階段的處理核心數(shù)量,縮短每個(gè)階段的處理開銷。通過P-SPL模型可以有效地提高流水線結(jié)構(gòu)的處理速度,消除流水線結(jié)構(gòu)的處理瓶頸。

    研究發(fā)現(xiàn),P-SPL模型在網(wǎng)絡(luò)數(shù)據(jù)流處理上,兼顧處理性能和擴(kuò)展性,能較好地利用多核網(wǎng)絡(luò)處理器的并行處理優(yōu)勢(shì),適用于網(wǎng)絡(luò)數(shù)據(jù)處理[11-12]。本文采用P-SPL編程模型設(shè)計(jì)數(shù)據(jù)層面的系統(tǒng)模型,充分利用多核處理器的并行性,同時(shí)兼顧軟件的模塊化和擴(kuò)展性?;赑-SPL編程模型設(shè)計(jì)的多核網(wǎng)絡(luò)處理器iSCSI發(fā)起端數(shù)據(jù)層面系統(tǒng)結(jié)構(gòu)如圖5所示。

    圖5 iS CSI發(fā)起端數(shù)據(jù)層面系統(tǒng)結(jié)構(gòu)

    對(duì)比基于Linux操作系統(tǒng)的iSCSI發(fā)起端實(shí)現(xiàn)方式[13],基于多核網(wǎng)絡(luò)處理異構(gòu)操作系統(tǒng)的iSCSI發(fā)起端實(shí)現(xiàn)主要有以下優(yōu)點(diǎn):

    (1)TCP/IP協(xié)議棧與iSCSI層以加速引擎的軟件模塊運(yùn)行于數(shù)據(jù)平面,可以充分利用多核處理的協(xié)處理器進(jìn)行網(wǎng)絡(luò)加速處理,協(xié)議處理以及校驗(yàn)計(jì)算等是消耗處理器資源的重要因素之一[14]。

    (2)數(shù)據(jù)層面可以充分利用多核處理器的并行性,進(jìn)行P-SPL模型的編程,優(yōu)化軟件結(jié)構(gòu)。

    (3)數(shù)據(jù)層面的數(shù)據(jù)包處理采用輪詢模式,面向高速網(wǎng)絡(luò)時(shí),減少了大量的中斷處理。而研究表明,在Linux操作中,網(wǎng)絡(luò)處理中最影響性能的因素之一就是中斷[15]。

    (4)對(duì)Linux應(yīng)用程序和iSCSI配置管理工具完全透明。應(yīng)用的開發(fā)和iSCSI配置管理無需做任何改變。

    (5)內(nèi)存的零拷貝。研究表明,基于Linux的iSCSI實(shí)現(xiàn)方式中,內(nèi)存拷貝也是影響性能的重要因素之一?;诙嗪司W(wǎng)絡(luò)處理器的iSCSI發(fā)起端軟件架構(gòu)中,數(shù)據(jù)包的處理在Linux SCSI子系統(tǒng)之前都基于物理地址和指針偏移實(shí)現(xiàn),無需內(nèi)存拷貝[16]。

    (6)數(shù)據(jù)包數(shù)據(jù)層面的處理在網(wǎng)絡(luò)處理操作系統(tǒng)上進(jìn)行,實(shí)時(shí)性高,處理延時(shí)低。

    4 實(shí)驗(yàn)與分析

    基于本文提出的多核網(wǎng)絡(luò)處理器異構(gòu)操作系統(tǒng)的iSCSI發(fā)起端實(shí)現(xiàn)方式,在高性能嵌入式邊緣服務(wù)器ATCA-8000R上實(shí)現(xiàn)了iSCSI發(fā)起端。iSCSI目標(biāo)端使用新一代網(wǎng)絡(luò)存儲(chǔ)產(chǎn)品藍(lán)鯨BW2000。具體的硬件參數(shù)如表1所示。

    表1 實(shí)驗(yàn)硬件參數(shù)

    在ATCA-8000R上分別運(yùn)行基于Linux操作系統(tǒng)的iSCSI發(fā)起端實(shí)現(xiàn)和本文提出的基于多核網(wǎng)絡(luò)處理器異構(gòu)操作系統(tǒng)的iSCSI發(fā)起端實(shí)現(xiàn)。通過千兆交換機(jī)連接ATCA-8000R的6個(gè)千兆網(wǎng)口和藍(lán)鯨BW2000的6個(gè)千兆網(wǎng)口進(jìn)行測(cè)試。具體的運(yùn)行參數(shù)如表2所示。

    表2 實(shí)驗(yàn)運(yùn)行參數(shù)

    基于多核網(wǎng)絡(luò)處理器的異構(gòu)操作系統(tǒng)中,網(wǎng)絡(luò)處理操作系統(tǒng)使用Cavium公司的SE執(zhí)行環(huán)境。數(shù)據(jù)層面的6個(gè)處理核心的具體分配如圖5所示。分別對(duì)2種iSCSI發(fā)起端實(shí)現(xiàn)方式的讀寫吞吐率和響應(yīng)時(shí)間進(jìn)行對(duì)比測(cè)試,測(cè)試結(jié)果如圖6和圖7所示。

    圖6 吞吐率測(cè)試結(jié)果

    圖7 響應(yīng)時(shí)間測(cè)試結(jié)果

    從測(cè)試結(jié)果可以看出,基于多核網(wǎng)絡(luò)處理器異構(gòu)操作系統(tǒng)的iSCSI發(fā)起端實(shí)現(xiàn)在吞吐率和響應(yīng)時(shí)間上的性能都要優(yōu)于基于Linux操作系統(tǒng)的實(shí)現(xiàn)方式,在512 KB的塊請(qǐng)求中,達(dá)到了180 MB/s的性能優(yōu)勢(shì),而平均響應(yīng)時(shí)間最好情況下減少了1.6 ms。從第3節(jié)的分析可知,主要原因是基于多核網(wǎng)絡(luò)處理器異構(gòu)操作系統(tǒng)的iSCSI發(fā)起端軟件架構(gòu)在處理效率和實(shí)時(shí)性方面,都與Linux操作系統(tǒng)的實(shí)現(xiàn)方式有了改進(jìn)。

    5 結(jié)束語(yǔ)

    通用的iSCSI發(fā)起端實(shí)現(xiàn)方式不能充分利用多核網(wǎng)絡(luò)處理器的特點(diǎn)。本文提出了一種基于異構(gòu)操作系統(tǒng)的多核網(wǎng)絡(luò)處理器軟件框架,在一顆多核網(wǎng)絡(luò)處理器上同時(shí)運(yùn)行通用操作系統(tǒng)和網(wǎng)絡(luò)處理操作系統(tǒng)。網(wǎng)絡(luò)處理的管理層面和控制層面運(yùn)行于通用操作系統(tǒng);數(shù)據(jù)層面運(yùn)行于網(wǎng)絡(luò)處理操作系統(tǒng),直接操作底層的處理核心、內(nèi)存、協(xié)處理器等硬件資源,以充分發(fā)揮多核網(wǎng)絡(luò)處理器的性能?;诙嗪司W(wǎng)絡(luò)處理器異構(gòu)操作系統(tǒng)軟件框架,提出了一種多核網(wǎng)絡(luò)處理器iSCSI發(fā)起端實(shí)現(xiàn)方式,應(yīng)用程序與iSCSI配置管理工具運(yùn)行于Linux用戶空間,在Linux內(nèi)核空間運(yùn)行iSCSI卸載驅(qū)動(dòng),保證對(duì)上接口不變,實(shí)現(xiàn)對(duì)應(yīng)用程序和iSCSI配置管理工具的透明。iSCSI層和TCP/IP協(xié)議棧以P-SPL編程模型在網(wǎng)絡(luò)處理操作系統(tǒng)實(shí)現(xiàn),實(shí)現(xiàn)加速處理。實(shí)驗(yàn)證明,基于多核網(wǎng)絡(luò)處理器異構(gòu)操作系統(tǒng)的iSCSI發(fā)起端實(shí)現(xiàn)比基于Linux操作系統(tǒng)的iSCSI發(fā)起端實(shí)現(xiàn)方式有更好的性能。

    在本文提出的iSCSI發(fā)起端實(shí)現(xiàn)方式中,異構(gòu)操作系統(tǒng)的硬件資源分配和數(shù)據(jù)層面的子任務(wù)劃分與資源分配都是根據(jù)經(jīng)驗(yàn)值靜態(tài)分配的,不能更好地適應(yīng)業(yè)務(wù)負(fù)載的變化。在后續(xù)研究中,將繼續(xù)研究異構(gòu)操作系統(tǒng)硬件資源的動(dòng)態(tài)分配問題,以及數(shù)據(jù)層面的子任務(wù)劃分與資源動(dòng)態(tài)分配問題。

    [1] Satran J, Meth K, S apuntzakis C, et al. Internet Small Computer Systems Interface(iSCSI)[S]. RFC 3720, 2004.

    [2] 韓紅根. 基于iSCSI的存儲(chǔ)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D]. 武漢:華中科技大學(xué), 2012.

    [3] Zhou Jingli, Xu Feng, YU Shengsheng. Implementation and Performance Analysis of iSCSI Based Storage Systems Under Linux[J]. Computer Engineering & Science, 2004, 26(6): 1-3, 6.

    [4] 任 勁, 謝長(zhǎng)生, 李 為. iSCSI協(xié)議及其Linux下的實(shí)現(xiàn)[J].小型微型計(jì)算機(jī)系統(tǒng), 2003, 24(7): 1183-1186.

    [5] 蔣漢平. 面向多核網(wǎng)絡(luò)處理器軟件框架的研究與實(shí)現(xiàn)[D].武漢: 武漢理工大學(xué), 2008.

    [6] 郭秀巖. 面向多核的多層次實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)流調(diào)度技術(shù)研究[D]. 合肥: 中國(guó)科學(xué)技術(shù)大學(xué), 2011.

    [7] Wolf T, Weng Ning. Runtime Support for Multicore Packet Processing Systems[J]. IEEE Network, 2007, 21(4): 29-37.

    [8] Zha Qi wen, W u Zhang, Zeng Xu ewen, et al. A High Performance Multi-core Network Processing System[C]//Proc. of the 3rd International Conference on Computer Technology and Development. Chengdu, China: [s. n.], 2012.

    [9] Verdú J, Nemirovsky M, Valero M. Multilayer Processing——An Execution Model for Parallel Stateful Packet Processing[C]//Proc. of the 4th ACM/IEEE Sym posium on Architectures for Networking and Communications Systems. [S. l.]: ACM Press, 2008: 79-88.

    [10] Jiang Haiya ng, Yang Jianhu a, Xie Gaogang. Ex ploring and Enhancing the Performance of Parallel ID S on Multi-core Processors[C]//Proc. of the 10th I nternational Conference on Trust, Security and Privacy in Computing and Communications. [S. l.]: IEEE Press, 2011: 673-680.

    [11] 郭秀巖, 張 武, 王勁林, 等. 用于視頻點(diǎn)播系統(tǒng)中實(shí)時(shí)數(shù)據(jù)流發(fā)送的多核結(jié)構(gòu)[J]. 小型微型計(jì)算機(jī)系統(tǒng), 2011, 32(7): 1310-1316.

    [12] 賀鵬程, 王勁林, 鄧浩江, 等. 多核分組處理系統(tǒng)軟件結(jié)構(gòu)研究[J]. 微計(jì)算機(jī)應(yīng)用, 2010, 31(9): 12-20.

    [13] 羅 剛. i SCSI協(xié)議研究及其性能優(yōu)化[D]. 武漢: 中南民族大學(xué), 2009.

    [14] Akagic A, Amano H. Performance Analysis of Fully-adaptable CRC Accelerators on an FP GA[C]//Proc. of the 22nd International Co nference o n Field Programmable Lo gic an d Applications. [S. l.]: IEEE Press, 2012: 575-578.

    [15] 譚志虎, 萬繼光. i SCSI性能優(yōu)化方法綜述[J]. 計(jì)算機(jī)科學(xué), 2009, 36(1): 16-18.

    [16] Chiang Meiling, Li Yunchen. LyraNET: A Zero-copy TCP/IP Protocol Stack for Embedded Systems[C]//Proc. of the 1 1th IEEE International C onference on Embedded and Real-time Computing Syste ms and Applicat ions. [S. l.]: IE EE Press, 2005: 123-128.

    編輯 顧逸斐

    Research and Implementation of iSCSI Initiator on Multi-core Network Processor

    ZHA Qi-wen1,2, ZHANG Wu1, ZENG Xue-wen1, SONG Yi1,2

    (1. National Network New Media Engineering Research Center, Institute of Acoustics, Chinese Academy of Sciences, Beijing 100190, China; 2. University of Chinese Academy of Sciences, Beijing 100049, China)

    For the performance and scalability problems of the existi ng implementation of Internet Small Computer System Interface(iSCSI) initiator, this paper studies the network processing software framework of multi-core network processor and proposes the multi-core network processor heterogeneous operating system soft ware framework. Based on the pro posed multi-core network processor heterogeneous operating system software framework and P-SPL data plane programming model, this paper proposes an implementation of iSCSI initiator. Experimental result proves that the implementation based on the multi-core network processor heterogeneous ope rating system software framework has better performance on throughput and response time than the implementation based on Linux. In 6 GE ports experiment environment, the n ew implementation gets a maximum of 180 MB/s re ad and write throughput improvement and 1.6 ms of response time reduce.

    Internet Small Computer System Interface(iSCSI); iSCSI initiator; multi-core network processor; Linux operating system; TCP/IP protocol stack; Network Processing Operating System(NPOS)

    10.3969/j.issn.1000-3428.2014.05.063

    國(guó)家“863”計(jì)劃基金資助重大項(xiàng)目“融合網(wǎng)絡(luò)業(yè)務(wù)體系的開發(fā)”(2011AA01A102);國(guó)家科技支撐計(jì)劃基金資助項(xiàng)目“數(shù)字家庭服務(wù)媒體設(shè)備集成技術(shù)研究”(2011BAH16B03);中國(guó)科學(xué)院戰(zhàn)略性先導(dǎo)科技專項(xiàng)基金資助項(xiàng)目“未來網(wǎng)絡(luò)架構(gòu)研究與邊緣設(shè)備研制”(XDA06010302)。

    查奇文(1986-),男,博士研究生,主研發(fā)向:網(wǎng)絡(luò)新媒體技術(shù),高性能嵌入式服務(wù)器;張 武,副研究員、博士;曾學(xué)文,研究員、博士生導(dǎo)師;宋 毅,博士研究生。

    2013-04-16

    2013-05-10E-mail:zhaqw@dsp.ac.cn

    1000-3428(2014)05-0304-05

    A

    TP309

    猜你喜歡
    數(shù)據(jù)流異構(gòu)處理器
    試論同課異構(gòu)之“同”與“異”
    汽車維修數(shù)據(jù)流基礎(chǔ)(下)
    一種提高TCP與UDP數(shù)據(jù)流公平性的擁塞控制機(jī)制
    overlay SDN實(shí)現(xiàn)異構(gòu)兼容的關(guān)鍵技術(shù)
    LTE異構(gòu)網(wǎng)技術(shù)與組網(wǎng)研究
    基于數(shù)據(jù)流聚類的多目標(biāo)跟蹤算法
    Imagination的ClearCallTM VoIP應(yīng)用現(xiàn)可支持Cavium的OCTEON? Ⅲ多核處理器
    在新興異構(gòu)SoCs上集成多種系統(tǒng)
    北醫(yī)三院 數(shù)據(jù)流疏通就診量
    ADI推出新一代SigmaDSP處理器
    汽車零部件(2014年1期)2014-09-21 11:41:11
    久久免费观看电影| 国产人伦9x9x在线观看| 久久久亚洲精品成人影院| 丝袜人妻中文字幕| 国产色视频综合| 亚洲av成人精品一二三区| 国产男人的电影天堂91| 久久综合国产亚洲精品| 我的亚洲天堂| 久久影院123| av一本久久久久| 高清av免费在线| 国产成人免费观看mmmm| 免费不卡黄色视频| 最新在线观看一区二区三区 | 少妇人妻 视频| 欧美日韩一级在线毛片| 人体艺术视频欧美日本| 亚洲av日韩在线播放| 日韩人妻精品一区2区三区| 国产麻豆69| 国产精品九九99| 少妇裸体淫交视频免费看高清 | 女人被躁到高潮嗷嗷叫费观| 老司机深夜福利视频在线观看 | 亚洲,一卡二卡三卡| 人人妻人人添人人爽欧美一区卜| 看免费av毛片| av国产精品久久久久影院| 亚洲精品国产色婷婷电影| 一级片'在线观看视频| 久久ye,这里只有精品| 丁香六月欧美| 99国产精品一区二区三区| 无限看片的www在线观看| 老司机在亚洲福利影院| 在线观看www视频免费| 天天躁夜夜躁狠狠躁躁| 美女午夜性视频免费| 久久天堂一区二区三区四区| 建设人人有责人人尽责人人享有的| 久久精品国产a三级三级三级| 日韩视频在线欧美| kizo精华| 久久人妻福利社区极品人妻图片 | 欧美 亚洲 国产 日韩一| 日韩中文字幕欧美一区二区 | 你懂的网址亚洲精品在线观看| 精品国产一区二区三区久久久樱花| 交换朋友夫妻互换小说| 亚洲精品久久久久久婷婷小说| 叶爱在线成人免费视频播放| 色94色欧美一区二区| 国产女主播在线喷水免费视频网站| 麻豆国产av国片精品| 2018国产大陆天天弄谢| 亚洲成人手机| 久久国产精品影院| 丝袜在线中文字幕| 久久人人97超碰香蕉20202| 日韩 欧美 亚洲 中文字幕| 99re6热这里在线精品视频| av有码第一页| 人体艺术视频欧美日本| 国产成人精品久久二区二区91| 久久99一区二区三区| 亚洲av国产av综合av卡| 亚洲人成电影观看| 男人操女人黄网站| 在线观看免费日韩欧美大片| 操出白浆在线播放| 自拍欧美九色日韩亚洲蝌蚪91| 青青草视频在线视频观看| 无限看片的www在线观看| 国产高清视频在线播放一区 | 欧美黑人精品巨大| 国产在线视频一区二区| 狠狠婷婷综合久久久久久88av| 亚洲五月婷婷丁香| 狂野欧美激情性xxxx| 成人影院久久| 一本综合久久免费| 一级黄片播放器| 欧美+亚洲+日韩+国产| 欧美精品高潮呻吟av久久| 亚洲av美国av| 男女下面插进去视频免费观看| 精品熟女少妇八av免费久了| 精品久久蜜臀av无| 在线观看免费高清a一片| 久久人人爽人人片av| tube8黄色片| 精品一品国产午夜福利视频| 久久久久精品人妻al黑| 精品久久久久久久毛片微露脸 | 高清视频免费观看一区二区| 一级毛片黄色毛片免费观看视频| 在线看a的网站| 亚洲欧美精品自产自拍| 国产深夜福利视频在线观看| 日本五十路高清| 午夜免费男女啪啪视频观看| 国产av精品麻豆| 亚洲七黄色美女视频| 免费女性裸体啪啪无遮挡网站| 又大又爽又粗| 国产精品国产三级专区第一集| 国产97色在线日韩免费| 青春草亚洲视频在线观看| 无限看片的www在线观看| 每晚都被弄得嗷嗷叫到高潮| 国产淫语在线视频| 国产成人精品久久久久久| 国产精品秋霞免费鲁丝片| 久久人人爽av亚洲精品天堂| 又黄又粗又硬又大视频| 午夜视频精品福利| 9热在线视频观看99| 国产高清视频在线播放一区 | 国产精品麻豆人妻色哟哟久久| 日韩精品免费视频一区二区三区| 天天躁狠狠躁夜夜躁狠狠躁| 1024香蕉在线观看| 一级毛片黄色毛片免费观看视频| 如日韩欧美国产精品一区二区三区| 高清av免费在线| 好男人视频免费观看在线| 激情视频va一区二区三区| 乱人伦中国视频| 人妻一区二区av| 51午夜福利影视在线观看| 国产极品粉嫩免费观看在线| svipshipincom国产片| 欧美日韩国产mv在线观看视频| 男女国产视频网站| 亚洲欧美日韩高清在线视频 | 亚洲av电影在线进入| 日韩人妻精品一区2区三区| 老司机午夜十八禁免费视频| 黑人欧美特级aaaaaa片| 久久久久国产精品人妻一区二区| 飞空精品影院首页| 久久久欧美国产精品| 日本a在线网址| 久久精品亚洲av国产电影网| 日韩大片免费观看网站| 一级毛片我不卡| 午夜精品国产一区二区电影| 尾随美女入室| a级毛片在线看网站| av网站在线播放免费| 99久久99久久久精品蜜桃| 老熟女久久久| 成年人免费黄色播放视频| 亚洲五月婷婷丁香| 免费久久久久久久精品成人欧美视频| 精品一区二区三区av网在线观看 | 国产免费现黄频在线看| 成人手机av| 啦啦啦在线观看免费高清www| 黄色a级毛片大全视频| 国产在视频线精品| 丰满饥渴人妻一区二区三| 欧美变态另类bdsm刘玥| 天天添夜夜摸| 极品人妻少妇av视频| 国产免费视频播放在线视频| 国产精品久久久久成人av| 亚洲专区中文字幕在线| 亚洲视频免费观看视频| 狠狠婷婷综合久久久久久88av| 日韩伦理黄色片| 欧美大码av| 亚洲欧美一区二区三区国产| av欧美777| 99精国产麻豆久久婷婷| 99热国产这里只有精品6| 黑人欧美特级aaaaaa片| 婷婷色综合www| 亚洲精品国产区一区二| 久久精品aⅴ一区二区三区四区| 男女之事视频高清在线观看 | 少妇的丰满在线观看| 久久99热这里只频精品6学生| 九色亚洲精品在线播放| 婷婷色av中文字幕| 精品亚洲成国产av| 亚洲精品久久成人aⅴ小说| 国产不卡av网站在线观看| 五月开心婷婷网| 男女下面插进去视频免费观看| 国产熟女午夜一区二区三区| 日韩一卡2卡3卡4卡2021年| 亚洲欧洲日产国产| netflix在线观看网站| 久久久久久免费高清国产稀缺| 免费黄频网站在线观看国产| 九草在线视频观看| 亚洲美女黄色视频免费看| 国产精品一区二区在线不卡| 亚洲欧美清纯卡通| 国产日韩欧美亚洲二区| 国产av精品麻豆| 女人精品久久久久毛片| 99国产精品一区二区三区| 久久久国产欧美日韩av| 国产男女超爽视频在线观看| 日本午夜av视频| www.熟女人妻精品国产| 久久精品亚洲熟妇少妇任你| 嫩草影视91久久| 老司机在亚洲福利影院| 国精品久久久久久国模美| xxx大片免费视频| 老司机亚洲免费影院| 午夜福利视频在线观看免费| 国产熟女欧美一区二区| 久久这里只有精品19| 热re99久久国产66热| videos熟女内射| 午夜福利在线免费观看网站| 久久精品久久久久久噜噜老黄| 脱女人内裤的视频| 婷婷色综合www| 亚洲图色成人| 老司机影院毛片| 极品人妻少妇av视频| 亚洲国产最新在线播放| 亚洲成人免费av在线播放| 黑丝袜美女国产一区| 操美女的视频在线观看| 少妇猛男粗大的猛烈进出视频| 国产爽快片一区二区三区| 性高湖久久久久久久久免费观看| 国产成人av教育| 91精品国产国语对白视频| 久久人人97超碰香蕉20202| 19禁男女啪啪无遮挡网站| 制服诱惑二区| 午夜日韩欧美国产| 精品人妻1区二区| 国产精品av久久久久免费| 亚洲精品乱久久久久久| 一级毛片我不卡| 国产淫语在线视频| 亚洲人成电影观看| 欧美日韩视频高清一区二区三区二| 亚洲精品中文字幕在线视频| 亚洲精品一二三| 亚洲精品久久久久久婷婷小说| 成人18禁高潮啪啪吃奶动态图| 久久久精品区二区三区| 欧美黄色片欧美黄色片| 久久人妻熟女aⅴ| 亚洲成国产人片在线观看| 久久精品亚洲熟妇少妇任你| 久久久国产欧美日韩av| 欧美日韩亚洲综合一区二区三区_| 18禁裸乳无遮挡动漫免费视频| 国产成人免费无遮挡视频| 三上悠亚av全集在线观看| 国产免费现黄频在线看| 国产国语露脸激情在线看| 丁香六月欧美| 日本五十路高清| 成年美女黄网站色视频大全免费| 极品人妻少妇av视频| 亚洲,一卡二卡三卡| 超碰97精品在线观看| 18禁国产床啪视频网站| 国产一区二区激情短视频 | 久久99一区二区三区| 十分钟在线观看高清视频www| 黄色怎么调成土黄色| 老汉色∧v一级毛片| 日本黄色日本黄色录像| 操出白浆在线播放| 丁香六月欧美| 在线观看人妻少妇| 国产成人精品久久久久久| 欧美国产精品一级二级三级| 亚洲中文字幕日韩| av视频免费观看在线观看| 成在线人永久免费视频| 麻豆国产av国片精品| 国产精品 欧美亚洲| 一区二区三区乱码不卡18| 免费在线观看影片大全网站 | 最近最新中文字幕大全免费视频 | 国产欧美日韩一区二区三区在线| 亚洲精品一二三| 男人操女人黄网站| 9色porny在线观看| 欧美日韩亚洲高清精品| 亚洲成av片中文字幕在线观看| 国产男女超爽视频在线观看| 极品人妻少妇av视频| 欧美日韩国产mv在线观看视频| 另类亚洲欧美激情| 久久精品亚洲av国产电影网| 搡老乐熟女国产| 伊人久久大香线蕉亚洲五| 叶爱在线成人免费视频播放| 夫妻午夜视频| 婷婷色av中文字幕| 人体艺术视频欧美日本| 亚洲欧洲精品一区二区精品久久久| 男人舔女人的私密视频| 肉色欧美久久久久久久蜜桃| 亚洲精品国产一区二区精华液| 18禁观看日本| 蜜桃在线观看..| av片东京热男人的天堂| 亚洲精品一卡2卡三卡4卡5卡 | 国产淫语在线视频| 久久性视频一级片| 国产1区2区3区精品| 国产xxxxx性猛交| 国产免费福利视频在线观看| 国产精品三级大全| 亚洲精品在线美女| 最近中文字幕2019免费版| 国产成人欧美在线观看 | 飞空精品影院首页| 国产男女超爽视频在线观看| 国产成人91sexporn| 亚洲精品日本国产第一区| 国产一卡二卡三卡精品| 欧美日韩福利视频一区二区| 精品国产国语对白av| 91字幕亚洲| 成在线人永久免费视频| 欧美中文综合在线视频| 久热爱精品视频在线9| 国产欧美日韩精品亚洲av| 亚洲国产av新网站| 日本欧美国产在线视频| 亚洲成av片中文字幕在线观看| 两人在一起打扑克的视频| 97精品久久久久久久久久精品| av有码第一页| 激情五月婷婷亚洲| 亚洲少妇的诱惑av| 老鸭窝网址在线观看| 久久 成人 亚洲| 天天影视国产精品| 亚洲人成电影观看| netflix在线观看网站| 亚洲人成网站在线观看播放| 视频区图区小说| 国产片特级美女逼逼视频| 欧美黄色片欧美黄色片| 一级毛片 在线播放| 国产日韩欧美视频二区| 国产男女超爽视频在线观看| 男女高潮啪啪啪动态图| 亚洲国产精品国产精品| 欧美亚洲 丝袜 人妻 在线| 精品久久久精品久久久| 老司机影院毛片| 午夜日韩欧美国产| 国产精品av久久久久免费| 亚洲欧美一区二区三区久久| 丝袜美腿诱惑在线| 2021少妇久久久久久久久久久| 狠狠婷婷综合久久久久久88av| 亚洲精品国产av成人精品| 99国产综合亚洲精品| 国产成人a∨麻豆精品| 成年人免费黄色播放视频| 国产成人av激情在线播放| 一本一本久久a久久精品综合妖精| 久久久久精品国产欧美久久久 | 国产91精品成人一区二区三区 | 婷婷丁香在线五月| 亚洲国产看品久久| 激情五月婷婷亚洲| 久久av网站| 人人澡人人妻人| 尾随美女入室| 校园人妻丝袜中文字幕| 亚洲中文av在线| 国产1区2区3区精品| 成人免费观看视频高清| 精品国产国语对白av| 久久国产精品大桥未久av| 久久精品国产综合久久久| 色网站视频免费| 一本综合久久免费| 永久免费av网站大全| 在线 av 中文字幕| 国产精品 国内视频| 久久国产精品影院| 国产黄频视频在线观看| 午夜视频精品福利| 免费不卡黄色视频| av在线app专区| 18禁裸乳无遮挡动漫免费视频| tube8黄色片| 自拍欧美九色日韩亚洲蝌蚪91| 久久狼人影院| av天堂久久9| 深夜精品福利| 高清不卡的av网站| 亚洲av日韩精品久久久久久密 | 巨乳人妻的诱惑在线观看| 国产欧美日韩综合在线一区二区| 亚洲专区国产一区二区| 精品福利观看| 麻豆乱淫一区二区| 男女床上黄色一级片免费看| 国产成人免费观看mmmm| 一级a爱视频在线免费观看| 国产av一区二区精品久久| 国产又色又爽无遮挡免| 黄色片一级片一级黄色片| 99国产精品一区二区三区| 成年人免费黄色播放视频| 亚洲精品国产色婷婷电影| 人人妻,人人澡人人爽秒播 | 最近最新中文字幕大全免费视频 | 一二三四社区在线视频社区8| 亚洲欧洲国产日韩| 免费看av在线观看网站| 国产女主播在线喷水免费视频网站| 亚洲色图综合在线观看| 久久毛片免费看一区二区三区| 亚洲av成人精品一二三区| 亚洲精品中文字幕在线视频| 肉色欧美久久久久久久蜜桃| 精品少妇久久久久久888优播| 丝袜喷水一区| 成人黄色视频免费在线看| 中文字幕精品免费在线观看视频| 高清视频免费观看一区二区| 91麻豆av在线| 免费看av在线观看网站| 黄频高清免费视频| 亚洲国产精品一区三区| 亚洲成人免费av在线播放| 亚洲精品久久久久久婷婷小说| netflix在线观看网站| 青春草视频在线免费观看| 少妇人妻 视频| 另类精品久久| 母亲3免费完整高清在线观看| 在现免费观看毛片| videosex国产| 两个人看的免费小视频| 女人高潮潮喷娇喘18禁视频| 欧美日韩一级在线毛片| 在线观看www视频免费| 男女免费视频国产| 亚洲情色 制服丝袜| 国产亚洲精品第一综合不卡| 美女主播在线视频| 曰老女人黄片| 夫妻性生交免费视频一级片| 亚洲成人国产一区在线观看 | 色综合欧美亚洲国产小说| 91成人精品电影| 久久这里只有精品19| 晚上一个人看的免费电影| 只有这里有精品99| 久久国产精品影院| 亚洲七黄色美女视频| 美女福利国产在线| 欧美人与善性xxx| √禁漫天堂资源中文www| 国产在线观看jvid| 99香蕉大伊视频| 天堂俺去俺来也www色官网| 男女边摸边吃奶| 日韩 亚洲 欧美在线| 肉色欧美久久久久久久蜜桃| 国语对白做爰xxxⅹ性视频网站| 老汉色av国产亚洲站长工具| 国产精品三级大全| avwww免费| 在线av久久热| 国产深夜福利视频在线观看| 亚洲欧美一区二区三区黑人| 国产av国产精品国产| 99re6热这里在线精品视频| 免费av中文字幕在线| 男女无遮挡免费网站观看| 国产男女内射视频| 男女无遮挡免费网站观看| 国产亚洲欧美精品永久| 国产亚洲av片在线观看秒播厂| 99久久精品国产亚洲精品| 好男人电影高清在线观看| 午夜av观看不卡| 亚洲欧美中文字幕日韩二区| 性高湖久久久久久久久免费观看| 久久ye,这里只有精品| 赤兔流量卡办理| 中国国产av一级| 宅男免费午夜| 我的亚洲天堂| 中文字幕人妻丝袜一区二区| 91老司机精品| 黄色一级大片看看| 在线观看免费高清a一片| av有码第一页| 91精品国产国语对白视频| 亚洲精品美女久久久久99蜜臀 | 日韩电影二区| 2018国产大陆天天弄谢| 国产在线观看jvid| 两人在一起打扑克的视频| 国产精品麻豆人妻色哟哟久久| 婷婷丁香在线五月| 美女中出高潮动态图| 免费久久久久久久精品成人欧美视频| 日韩视频在线欧美| 免费久久久久久久精品成人欧美视频| 丝袜喷水一区| 少妇的丰满在线观看| tube8黄色片| 国产97色在线日韩免费| 精品人妻1区二区| 亚洲免费av在线视频| 成人国产一区最新在线观看 | 黄网站色视频无遮挡免费观看| 久久精品成人免费网站| 一边摸一边做爽爽视频免费| 国产精品偷伦视频观看了| 久久久精品区二区三区| 超色免费av| 亚洲三区欧美一区| 亚洲人成电影观看| 国产亚洲一区二区精品| 日韩人妻精品一区2区三区| 老司机在亚洲福利影院| 天天躁夜夜躁狠狠久久av| 亚洲欧美精品综合一区二区三区| 成在线人永久免费视频| 两个人看的免费小视频| 赤兔流量卡办理| 青春草亚洲视频在线观看| 热99久久久久精品小说推荐| 中文字幕最新亚洲高清| 在线观看一区二区三区激情| 国产一区二区三区av在线| 国产黄色视频一区二区在线观看| 欧美日本中文国产一区发布| 国产精品免费大片| 午夜影院在线不卡| 日韩av免费高清视频| 另类亚洲欧美激情| 久久久久久久久免费视频了| 一二三四社区在线视频社区8| 中文字幕av电影在线播放| 国产精品九九99| 好男人视频免费观看在线| 我要看黄色一级片免费的| 天天添夜夜摸| 亚洲国产最新在线播放| 亚洲av电影在线进入| 一级毛片我不卡| 男女之事视频高清在线观看 | 中文字幕亚洲精品专区| 黄色片一级片一级黄色片| 男女午夜视频在线观看| 亚洲一卡2卡3卡4卡5卡精品中文| 黄色 视频免费看| 精品国产乱码久久久久久小说| 黑人巨大精品欧美一区二区蜜桃| 操美女的视频在线观看| 日本欧美视频一区| 欧美日韩亚洲国产一区二区在线观看 | 少妇人妻 视频| 丝袜喷水一区| 夫妻午夜视频| 在线精品无人区一区二区三| 美女福利国产在线| 成年美女黄网站色视频大全免费| 一边摸一边抽搐一进一出视频| 亚洲av国产av综合av卡| 少妇粗大呻吟视频| 国产亚洲午夜精品一区二区久久| 90打野战视频偷拍视频| 国产精品一二三区在线看| 可以免费在线观看a视频的电影网站| 日本黄色日本黄色录像| 777久久人妻少妇嫩草av网站| 极品人妻少妇av视频| 免费在线观看完整版高清| 欧美国产精品va在线观看不卡| 操出白浆在线播放| 国产欧美日韩一区二区三 | 国产亚洲av高清不卡| 国产成人欧美在线观看 | 不卡av一区二区三区| 免费在线观看黄色视频的| 免费看不卡的av| 99国产精品一区二区三区| 女警被强在线播放| av视频免费观看在线观看| 一本久久精品| 午夜av观看不卡| 国产主播在线观看一区二区 | 视频在线观看一区二区三区| 久久久国产欧美日韩av| 日日夜夜操网爽| 日韩一本色道免费dvd| 国产亚洲av片在线观看秒播厂| 久久精品久久精品一区二区三区| 日韩一本色道免费dvd| 无遮挡黄片免费观看| 日日摸夜夜添夜夜爱| 欧美日韩成人在线一区二区| 精品一区二区三卡| 精品高清国产在线一区|