• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    多核網(wǎng)絡(luò)處理器iSCSI發(fā)起端研究與實(shí)現(xiàn)

    2014-08-05 04:28:48查奇文曾學(xué)文
    計(jì)算機(jī)工程 2014年5期
    關(guān)鍵詞:數(shù)據(jù)流異構(gòu)處理器

    查奇文,張 武,曾學(xué)文,宋 毅

    (1. 中國(guó)科學(xué)院聲學(xué)研究所國(guó)家網(wǎng)絡(luò)新媒體工程技術(shù)研究中心,北京 100 190;2. 中國(guó)科學(xué)院大學(xué),北京 10004 9)

    多核網(wǎng)絡(luò)處理器iSCSI發(fā)起端研究與實(shí)現(xiàn)

    查奇文1,2,張 武1,曾學(xué)文1,宋 毅1,2

    (1. 中國(guó)科學(xué)院聲學(xué)研究所國(guó)家網(wǎng)絡(luò)新媒體工程技術(shù)研究中心,北京 100 190;2. 中國(guó)科學(xué)院大學(xué),北京 10004 9)

    針對(duì)已有的互聯(lián)網(wǎng)小型計(jì)算機(jī)系統(tǒng)接口(iSCSI)發(fā)起端實(shí)現(xiàn)方式在面向多核網(wǎng)絡(luò)處理器時(shí)存在的性能和擴(kuò)展性不佳等問題,研究多核網(wǎng)絡(luò)處理器的網(wǎng)絡(luò)處理軟件框架,提出基于多核網(wǎng)絡(luò)處理器異構(gòu)操作系統(tǒng)的網(wǎng)絡(luò)處理軟件框架。采用軟件框架和P-SPL數(shù)據(jù)層面編程模型,給出一種iSCSI發(fā)起端實(shí)現(xiàn)方式。實(shí)驗(yàn)結(jié)果證明,相比基于Linux操作系統(tǒng)的iSCSI發(fā)起端實(shí)現(xiàn),基于多核網(wǎng)絡(luò)處理器異構(gòu)操作系統(tǒng)的iSCSI發(fā)起端實(shí)現(xiàn)在吞吐率和響應(yīng)時(shí)間上都有明顯的性能提升。在6個(gè)千兆網(wǎng)口的測(cè)試環(huán)境中,讀寫吞吐率最高可達(dá)到180 MB/s,響應(yīng)時(shí)間最多減少1.6 ms。

    互聯(lián)網(wǎng)小型計(jì)算機(jī)系統(tǒng)接口;iSCSI發(fā)起端;多核網(wǎng)絡(luò)處理器;Linux操作系統(tǒng);TCP/IP協(xié)議棧;網(wǎng)絡(luò)處理操作系統(tǒng)

    1 概述

    互聯(lián)網(wǎng)小型計(jì)算機(jī)系統(tǒng)接口(Internet S mall Computer System Interface, iSCSI)是由IETF批準(zhǔn)的一種基于存儲(chǔ)網(wǎng)絡(luò)的新的協(xié)議[1]。隨著千兆以太網(wǎng)技術(shù)的普及、萬兆以太網(wǎng)技術(shù)的逐步成熟,iSCSI技術(shù)成為最具有發(fā)展前景的SAN (Storage Area Network)技術(shù)和協(xié)議。iSCSI的原理是將SCSI命令通過IP網(wǎng)絡(luò)傳輸,這樣就可以使在網(wǎng)絡(luò)上傳送數(shù)據(jù)更加便利,而且可以實(shí)現(xiàn)遠(yuǎn)程存儲(chǔ)管理?;趇SCSI的網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)由于其大容量、部署靈活、低成本、擴(kuò)展性好等特點(diǎn),使得iSCSI的產(chǎn)品化和普及化進(jìn)程非常迅速,獲得了業(yè)界軟硬件方面的廣泛支持。

    iSCSI分為發(fā)起端和目標(biāo)端。應(yīng)用程序通過發(fā)起端訪問存儲(chǔ)設(shè)備,目標(biāo)端通常為磁盤陣列等存儲(chǔ)服務(wù)器。iSCSI發(fā)起端負(fù)責(zé)將用戶發(fā)來的SCSI命令和數(shù)據(jù)封裝為iSCSI網(wǎng)絡(luò)數(shù)據(jù)報(bào)發(fā)送到目標(biāo)端;目標(biāo)端存儲(chǔ)設(shè)備收到后會(huì)將其解包成原始的SCSI命令和數(shù)據(jù)進(jìn)行處理,并將得到的數(shù)據(jù)訪問結(jié)果再次封裝成iSCSI包發(fā)回至發(fā)起端,這樣就實(shí)現(xiàn)了遠(yuǎn)程存儲(chǔ)操作。iSCSI發(fā)起端的性能直接影響用戶的存儲(chǔ)性能,最終決定了客戶應(yīng)用的性能。

    多核處理器技術(shù)被廣泛采用以提高系統(tǒng)的整體性能。多核處理器可以很好地控制處理器的功耗問題,也能減少與內(nèi)存、I/O之間的訪問延遲,而且多核處理器技術(shù)增加了處理器同時(shí)執(zhí)行的硬件線程數(shù),極大地提升了處理器的并行處理能力。網(wǎng)絡(luò)處理器是為處理網(wǎng)絡(luò)應(yīng)用而設(shè)計(jì)的專用處理器,其體系結(jié)構(gòu)和指令集對(duì)網(wǎng)絡(luò)數(shù)據(jù)流的處理和轉(zhuǎn)發(fā)都做了具有針對(duì)性的優(yōu)化,并增加了一些用于網(wǎng)絡(luò)加速的協(xié)處理器,可以加速系統(tǒng)處理網(wǎng)絡(luò)數(shù)據(jù)流的效率。多核網(wǎng)絡(luò)處理器兼有多核處理器和網(wǎng)絡(luò)處理器的優(yōu)點(diǎn),使得越來越多的網(wǎng)絡(luò)應(yīng)用和業(yè)務(wù)采用多核網(wǎng)絡(luò)處理器作為解決方案。所以,基于多核網(wǎng)絡(luò)處理器的iSCSI發(fā)起端研究有著重要意義。本文對(duì)基于多核網(wǎng)絡(luò)處理器的iSCSI發(fā)起端進(jìn)行研究,并提出一種新的實(shí)現(xiàn)方式。

    2 已有iSCSI發(fā)起端實(shí)現(xiàn)研究

    2.1 iS CSI發(fā)起端的系統(tǒng)結(jié)構(gòu)與實(shí)現(xiàn)方式

    iSCSI發(fā)起端的系統(tǒng)結(jié)構(gòu)模型如圖1所示。

    圖1 iS CSI發(fā)起端系統(tǒng)結(jié)構(gòu)模型

    iSCSI發(fā)起端的實(shí)現(xiàn)主要有以下3種方式[2]:

    (1)純軟件方式

    采用普通以太網(wǎng)卡進(jìn)行網(wǎng)絡(luò)連接,通過運(yùn)行上層軟件實(shí)現(xiàn)iSCSI和TCP/IP協(xié)議棧功能層。這種方式無需添加任何額外設(shè)備,因此,硬件成本最低,靈活性也較強(qiáng)。但是在這種方式中,應(yīng)用主機(jī)在完成應(yīng)用程序處理的同時(shí),還需要兼顧iSCSI的處理和TCP/IP協(xié)議棧的處理,造成主機(jī)運(yùn)行時(shí)間加長(zhǎng),系統(tǒng)性能下降。

    (2)智能TOE(TCP Offload Engine)網(wǎng)卡實(shí)現(xiàn)方式

    在這種方式中,服務(wù)器采用特定的TOE網(wǎng)卡連接網(wǎng)絡(luò),TCP/IP協(xié)議棧功能由TOE網(wǎng)卡完成,而 iS CSI層的功能仍然由主機(jī)完成。這種方式較第1種方式部分提高了服務(wù)器的性能。但是由于需要額外的網(wǎng)卡,擴(kuò)展性和靈活性較差。

    (3)iSCSI HBA(Host Bus Adapter)卡實(shí)現(xiàn)方式

    使用HBA存儲(chǔ)適配器完成iSCSI層和TCP/IP協(xié)議棧的功能。該方式性能最好,但是HBA卡較為昂貴,同時(shí)由于需要額外的HBA卡,擴(kuò)展性和靈活性較差。

    2.2 Lin ux操作系統(tǒng)的iSCSI實(shí)現(xiàn)方式

    在iSCSI發(fā)起端的實(shí)現(xiàn)方式中,基于Linux操作系統(tǒng)的純軟件實(shí)現(xiàn)方式是最常見、最簡(jiǎn)單的一種Linux操作系統(tǒng)下軟件方式實(shí)現(xiàn)發(fā)起端的系統(tǒng)軟件結(jié)構(gòu),如圖2所示[3-4]。

    圖2 L inux iSCSI發(fā)起端軟件結(jié)構(gòu)

    TCP/IP協(xié)議棧使用Linux操作系統(tǒng)TCP/IP協(xié)議棧,以軟件形式運(yùn)行于Linux操作系統(tǒng)內(nèi)核空間。iSCSI發(fā)起端的實(shí)現(xiàn)則采用開源軟件Open-iSCSI或者基于Open-iSCSI的修改版本。Open-iSCSI是一個(gè)開源的項(xiàng)目,也是Linux下使用最廣泛的iSCSI發(fā)起端軟件。Open-iSCSI軟件包括2個(gè)部分,一部分是運(yùn)行于Linux操作系統(tǒng)用戶空間的配置管理工具,包括應(yīng)用程序iscsiadm和守護(hù)進(jìn)程iscsid;另一部分運(yùn)行于Linux操作系統(tǒng)內(nèi)核空間的內(nèi)核模塊。

    在基于Linux操作系統(tǒng)的iSCSI發(fā)起端全軟件實(shí)現(xiàn)方式中,應(yīng)用程序運(yùn)行于Linux操作系統(tǒng)的用戶空間,通過Linux標(biāo)準(zhǔn)API調(diào)用文件系統(tǒng),而Linux內(nèi)核空間的文件系統(tǒng)通過調(diào)用Linux塊設(shè)備驅(qū)動(dòng)將文件請(qǐng)求轉(zhuǎn)化為塊請(qǐng)求,然后通過Linux SCSI子系統(tǒng)封裝成SCSI命令,最后通過OpeniSCSI內(nèi)核模塊,將SCSI命令通過TCP/IP封裝,與iSCSI目標(biāo)端進(jìn)行交互。

    Open-iSCSI配置管理工具也是運(yùn)行于Linux用戶空間,通過NetLink機(jī)制,與Open-iSCSI內(nèi)核模塊交互,主要包括目標(biāo)端的發(fā)現(xiàn)、目標(biāo)端的登錄、iSCSI會(huì)話的建立與銷毀、TCP連接的建立與銷毀以及多連接管理等。

    3 i SCSI發(fā)起端研究與實(shí)現(xiàn)

    3.1 基于多核網(wǎng)絡(luò)處理器異構(gòu)操作系統(tǒng)的軟件框架

    目前基于多核網(wǎng)絡(luò)處理器的網(wǎng)絡(luò)應(yīng)用已經(jīng)形成了成熟的系統(tǒng)結(jié)構(gòu),即由管理層面、控制層面和數(shù)據(jù)層面構(gòu)成的分層系統(tǒng)結(jié)構(gòu)[5-7]。

    (1)管理層面:對(duì)用戶和上層應(yīng)用程序提供交互接口,管理底層的硬件資源、組織網(wǎng)絡(luò)處理功能模塊和多核拓?fù)浣Y(jié)構(gòu)。

    (2)控制層面:協(xié)助數(shù)據(jù)層面的數(shù)據(jù)流處理,提供操作系統(tǒng)與數(shù)據(jù)層面的交互通道,維護(hù)路由表、ARP信息等非實(shí)時(shí)信息。

    (3)數(shù)據(jù)層面:通過多核網(wǎng)絡(luò)處理器上的處理核心以及協(xié)處理器搭建網(wǎng)絡(luò)數(shù)據(jù)流的處理通道,結(jié)合網(wǎng)絡(luò)處理器的優(yōu)勢(shì)對(duì)網(wǎng)絡(luò)數(shù)據(jù)流進(jìn)行加速處理,實(shí)現(xiàn)快速的數(shù)據(jù)包分類與查找、TCP/IP協(xié)議棧、深度包檢測(cè)、數(shù)據(jù)包加/解密、流量整形等功能。

    基于以上分層體系結(jié)構(gòu),本文提出了一種基于異構(gòu)操作系統(tǒng)的多核網(wǎng)絡(luò)處理器軟件框架。如圖3所示,將一顆多核網(wǎng)絡(luò)處理器的處理核心分成2個(gè)部分,一部分處理核心運(yùn)行通用操作系統(tǒng),另一部分處理核心運(yùn)行網(wǎng)絡(luò)處理操作系統(tǒng)(Network Processing Operating System, NPOS)[8]。適用于多核網(wǎng)絡(luò)處理器的通用操作系統(tǒng)主要是Linux操作系統(tǒng)。網(wǎng)絡(luò)處理操作系統(tǒng)主要有實(shí)時(shí)操作系統(tǒng)、嵌入式執(zhí)行環(huán)境,以及一些廠商特有的加速執(zhí)行環(huán)境,如Cavium公司的SE執(zhí)行環(huán)境。

    圖3 多核網(wǎng)絡(luò)處理器系統(tǒng)結(jié)構(gòu)

    網(wǎng)絡(luò)處理的控制層面通常邏輯較復(fù)雜,要求開發(fā)環(huán)境相對(duì)簡(jiǎn)單,但對(duì)數(shù)據(jù)的處理性能要求不高。管理層面通常要求平臺(tái)無關(guān)性、接口豐富、便于交互等特點(diǎn)。所以本文將控制層面和管理層面運(yùn)行于通用操作系統(tǒng)之上,通過操作系統(tǒng)屏蔽底層的硬件信息,為用戶提供通用的執(zhí)行環(huán)境。同時(shí),基于通用操作系統(tǒng)的各種編程接口、系統(tǒng)調(diào)用,簡(jiǎn)化應(yīng)用的開發(fā)難度,同時(shí)具有較好的移植性和擴(kuò)展性。

    數(shù)據(jù)層面負(fù)責(zé)對(duì)網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行高速實(shí)時(shí)處理,對(duì)性能有著較高的要求,通常需要做到高吞吐、低延時(shí)以及高并發(fā)等。所以數(shù)據(jù)層面運(yùn)行于網(wǎng)絡(luò)處理操作系統(tǒng),直接操作底層的處理核心、內(nèi)存、協(xié)處理器等硬件資源,以充分發(fā)揮多核網(wǎng)絡(luò)處理器的性能。

    管理層面需要對(duì)整個(gè)系統(tǒng)的運(yùn)行情況和參數(shù)進(jìn)行管理,管理各種軟硬件資源等;控制層面需要對(duì)數(shù)據(jù)層面進(jìn)行控制,提供運(yùn)行信息、交互數(shù)據(jù)等。管理層面和控制層面通過異構(gòu)操作系統(tǒng)間的通信機(jī)制和數(shù)據(jù)交互機(jī)制與數(shù)據(jù)平面進(jìn)行信令交互和數(shù)據(jù)交互。通信機(jī)制主要包括網(wǎng)絡(luò)信令交互、多核核間通信機(jī)制等;數(shù)據(jù)交互機(jī)制主要有網(wǎng)絡(luò)數(shù)據(jù)交互、共享內(nèi)存等。

    3.2 iS CSI發(fā)起端實(shí)現(xiàn)

    本文采用純軟件的iSCSI發(fā)起端實(shí)現(xiàn)方案,所有的iSCSI和網(wǎng)絡(luò)處理都由軟件實(shí)現(xiàn)。同時(shí)借鑒TOE網(wǎng)卡實(shí)現(xiàn)方式和HBA卡實(shí)現(xiàn)方式的思想,充分利用多核網(wǎng)絡(luò)處理器的特點(diǎn),對(duì)iSCSI層和TCP/IP協(xié)議棧進(jìn)行加速處理?;诙嗪司W(wǎng)絡(luò)處理器異構(gòu)操作系統(tǒng)的iSCSI發(fā)起端實(shí)現(xiàn)的軟件結(jié)構(gòu)如圖4所示。

    圖4 iS CSI發(fā)起端軟件結(jié)構(gòu)

    采用基于多核網(wǎng)絡(luò)處理器異構(gòu)操作系統(tǒng)的軟件框架,在一顆多核網(wǎng)絡(luò)處理器上同時(shí)運(yùn)行Linux操作系統(tǒng)和網(wǎng)絡(luò)處理操作系統(tǒng)。應(yīng)用程序和iSCSI配置管理工具運(yùn)行于Linux用戶空間,屬于控制層面和管理層面;iSCSI層和TCP/ IP協(xié)議棧則以iSCSI加速引擎和TCP/IP加速引擎運(yùn)行于網(wǎng)絡(luò)處理操作系統(tǒng),屬于數(shù)據(jù)層面。在Linux內(nèi)核中運(yùn)行iSCSI卸載驅(qū)動(dòng),其主要功能為提供iSCSI對(duì)于Linux SC SI子系統(tǒng)和iSCSI配置管理工具的完成調(diào)用接口,并通過多核核間通信機(jī)制和共享內(nèi)存與網(wǎng)絡(luò)操作系統(tǒng)上的iSCSI加速引擎進(jìn)行信令交互和數(shù)據(jù)交互。例如,將一個(gè)SCSI寫命令封裝為多核核間消息,將寫的數(shù)據(jù)填到共享物理內(nèi)存。

    數(shù)據(jù)層面是整個(gè)網(wǎng)絡(luò)數(shù)據(jù)流處理器的核心部分,數(shù)據(jù)層面編程模型需要解決開發(fā)效率和運(yùn)行效率問題,對(duì)數(shù)據(jù)層面軟件進(jìn)行合理的組織、映射和調(diào)度,對(duì)提高整個(gè)系統(tǒng)性能起著關(guān)鍵作用。根據(jù)每個(gè)處理核心上部署任務(wù)的關(guān)系,處理核心之間構(gòu)成了多種多核拓?fù)浣Y(jié)構(gòu),主要的結(jié)構(gòu)有以下3種[9-10]:

    (1)RTC(Run to Complete)結(jié)構(gòu):各個(gè)處理核心之間相互獨(dú)立、并行工作,每個(gè)處理核心都可以完成數(shù)據(jù)流處理的全部子任務(wù)。

    (2)S-SPL(Single Software PipeLine):各個(gè)處理核心之間逐級(jí)互聯(lián)形成流水線,每一級(jí)的處理核心實(shí)現(xiàn)數(shù)據(jù)流處理分解為多級(jí)子任務(wù),然后與流水線上的處理核心一一對(duì)應(yīng)。

    (3)P-SPL(Parallel S oftware P ipeLine):結(jié)合了RTC和S-SPL,采用并行結(jié)構(gòu)擴(kuò)展S-SPL模型上各個(gè)階段的處理核心數(shù)量,縮短每個(gè)階段的處理開銷。通過P-SPL模型可以有效地提高流水線結(jié)構(gòu)的處理速度,消除流水線結(jié)構(gòu)的處理瓶頸。

    研究發(fā)現(xiàn),P-SPL模型在網(wǎng)絡(luò)數(shù)據(jù)流處理上,兼顧處理性能和擴(kuò)展性,能較好地利用多核網(wǎng)絡(luò)處理器的并行處理優(yōu)勢(shì),適用于網(wǎng)絡(luò)數(shù)據(jù)處理[11-12]。本文采用P-SPL編程模型設(shè)計(jì)數(shù)據(jù)層面的系統(tǒng)模型,充分利用多核處理器的并行性,同時(shí)兼顧軟件的模塊化和擴(kuò)展性?;赑-SPL編程模型設(shè)計(jì)的多核網(wǎng)絡(luò)處理器iSCSI發(fā)起端數(shù)據(jù)層面系統(tǒng)結(jié)構(gòu)如圖5所示。

    圖5 iS CSI發(fā)起端數(shù)據(jù)層面系統(tǒng)結(jié)構(gòu)

    對(duì)比基于Linux操作系統(tǒng)的iSCSI發(fā)起端實(shí)現(xiàn)方式[13],基于多核網(wǎng)絡(luò)處理異構(gòu)操作系統(tǒng)的iSCSI發(fā)起端實(shí)現(xiàn)主要有以下優(yōu)點(diǎn):

    (1)TCP/IP協(xié)議棧與iSCSI層以加速引擎的軟件模塊運(yùn)行于數(shù)據(jù)平面,可以充分利用多核處理的協(xié)處理器進(jìn)行網(wǎng)絡(luò)加速處理,協(xié)議處理以及校驗(yàn)計(jì)算等是消耗處理器資源的重要因素之一[14]。

    (2)數(shù)據(jù)層面可以充分利用多核處理器的并行性,進(jìn)行P-SPL模型的編程,優(yōu)化軟件結(jié)構(gòu)。

    (3)數(shù)據(jù)層面的數(shù)據(jù)包處理采用輪詢模式,面向高速網(wǎng)絡(luò)時(shí),減少了大量的中斷處理。而研究表明,在Linux操作中,網(wǎng)絡(luò)處理中最影響性能的因素之一就是中斷[15]。

    (4)對(duì)Linux應(yīng)用程序和iSCSI配置管理工具完全透明。應(yīng)用的開發(fā)和iSCSI配置管理無需做任何改變。

    (5)內(nèi)存的零拷貝。研究表明,基于Linux的iSCSI實(shí)現(xiàn)方式中,內(nèi)存拷貝也是影響性能的重要因素之一?;诙嗪司W(wǎng)絡(luò)處理器的iSCSI發(fā)起端軟件架構(gòu)中,數(shù)據(jù)包的處理在Linux SCSI子系統(tǒng)之前都基于物理地址和指針偏移實(shí)現(xiàn),無需內(nèi)存拷貝[16]。

    (6)數(shù)據(jù)包數(shù)據(jù)層面的處理在網(wǎng)絡(luò)處理操作系統(tǒng)上進(jìn)行,實(shí)時(shí)性高,處理延時(shí)低。

    4 實(shí)驗(yàn)與分析

    基于本文提出的多核網(wǎng)絡(luò)處理器異構(gòu)操作系統(tǒng)的iSCSI發(fā)起端實(shí)現(xiàn)方式,在高性能嵌入式邊緣服務(wù)器ATCA-8000R上實(shí)現(xiàn)了iSCSI發(fā)起端。iSCSI目標(biāo)端使用新一代網(wǎng)絡(luò)存儲(chǔ)產(chǎn)品藍(lán)鯨BW2000。具體的硬件參數(shù)如表1所示。

    表1 實(shí)驗(yàn)硬件參數(shù)

    在ATCA-8000R上分別運(yùn)行基于Linux操作系統(tǒng)的iSCSI發(fā)起端實(shí)現(xiàn)和本文提出的基于多核網(wǎng)絡(luò)處理器異構(gòu)操作系統(tǒng)的iSCSI發(fā)起端實(shí)現(xiàn)。通過千兆交換機(jī)連接ATCA-8000R的6個(gè)千兆網(wǎng)口和藍(lán)鯨BW2000的6個(gè)千兆網(wǎng)口進(jìn)行測(cè)試。具體的運(yùn)行參數(shù)如表2所示。

    表2 實(shí)驗(yàn)運(yùn)行參數(shù)

    基于多核網(wǎng)絡(luò)處理器的異構(gòu)操作系統(tǒng)中,網(wǎng)絡(luò)處理操作系統(tǒng)使用Cavium公司的SE執(zhí)行環(huán)境。數(shù)據(jù)層面的6個(gè)處理核心的具體分配如圖5所示。分別對(duì)2種iSCSI發(fā)起端實(shí)現(xiàn)方式的讀寫吞吐率和響應(yīng)時(shí)間進(jìn)行對(duì)比測(cè)試,測(cè)試結(jié)果如圖6和圖7所示。

    圖6 吞吐率測(cè)試結(jié)果

    圖7 響應(yīng)時(shí)間測(cè)試結(jié)果

    從測(cè)試結(jié)果可以看出,基于多核網(wǎng)絡(luò)處理器異構(gòu)操作系統(tǒng)的iSCSI發(fā)起端實(shí)現(xiàn)在吞吐率和響應(yīng)時(shí)間上的性能都要優(yōu)于基于Linux操作系統(tǒng)的實(shí)現(xiàn)方式,在512 KB的塊請(qǐng)求中,達(dá)到了180 MB/s的性能優(yōu)勢(shì),而平均響應(yīng)時(shí)間最好情況下減少了1.6 ms。從第3節(jié)的分析可知,主要原因是基于多核網(wǎng)絡(luò)處理器異構(gòu)操作系統(tǒng)的iSCSI發(fā)起端軟件架構(gòu)在處理效率和實(shí)時(shí)性方面,都與Linux操作系統(tǒng)的實(shí)現(xiàn)方式有了改進(jìn)。

    5 結(jié)束語(yǔ)

    通用的iSCSI發(fā)起端實(shí)現(xiàn)方式不能充分利用多核網(wǎng)絡(luò)處理器的特點(diǎn)。本文提出了一種基于異構(gòu)操作系統(tǒng)的多核網(wǎng)絡(luò)處理器軟件框架,在一顆多核網(wǎng)絡(luò)處理器上同時(shí)運(yùn)行通用操作系統(tǒng)和網(wǎng)絡(luò)處理操作系統(tǒng)。網(wǎng)絡(luò)處理的管理層面和控制層面運(yùn)行于通用操作系統(tǒng);數(shù)據(jù)層面運(yùn)行于網(wǎng)絡(luò)處理操作系統(tǒng),直接操作底層的處理核心、內(nèi)存、協(xié)處理器等硬件資源,以充分發(fā)揮多核網(wǎng)絡(luò)處理器的性能?;诙嗪司W(wǎng)絡(luò)處理器異構(gòu)操作系統(tǒng)軟件框架,提出了一種多核網(wǎng)絡(luò)處理器iSCSI發(fā)起端實(shí)現(xiàn)方式,應(yīng)用程序與iSCSI配置管理工具運(yùn)行于Linux用戶空間,在Linux內(nèi)核空間運(yùn)行iSCSI卸載驅(qū)動(dòng),保證對(duì)上接口不變,實(shí)現(xiàn)對(duì)應(yīng)用程序和iSCSI配置管理工具的透明。iSCSI層和TCP/IP協(xié)議棧以P-SPL編程模型在網(wǎng)絡(luò)處理操作系統(tǒng)實(shí)現(xiàn),實(shí)現(xiàn)加速處理。實(shí)驗(yàn)證明,基于多核網(wǎng)絡(luò)處理器異構(gòu)操作系統(tǒng)的iSCSI發(fā)起端實(shí)現(xiàn)比基于Linux操作系統(tǒng)的iSCSI發(fā)起端實(shí)現(xiàn)方式有更好的性能。

    在本文提出的iSCSI發(fā)起端實(shí)現(xiàn)方式中,異構(gòu)操作系統(tǒng)的硬件資源分配和數(shù)據(jù)層面的子任務(wù)劃分與資源分配都是根據(jù)經(jīng)驗(yàn)值靜態(tài)分配的,不能更好地適應(yīng)業(yè)務(wù)負(fù)載的變化。在后續(xù)研究中,將繼續(xù)研究異構(gòu)操作系統(tǒng)硬件資源的動(dòng)態(tài)分配問題,以及數(shù)據(jù)層面的子任務(wù)劃分與資源動(dòng)態(tài)分配問題。

    [1] Satran J, Meth K, S apuntzakis C, et al. Internet Small Computer Systems Interface(iSCSI)[S]. RFC 3720, 2004.

    [2] 韓紅根. 基于iSCSI的存儲(chǔ)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D]. 武漢:華中科技大學(xué), 2012.

    [3] Zhou Jingli, Xu Feng, YU Shengsheng. Implementation and Performance Analysis of iSCSI Based Storage Systems Under Linux[J]. Computer Engineering & Science, 2004, 26(6): 1-3, 6.

    [4] 任 勁, 謝長(zhǎng)生, 李 為. iSCSI協(xié)議及其Linux下的實(shí)現(xiàn)[J].小型微型計(jì)算機(jī)系統(tǒng), 2003, 24(7): 1183-1186.

    [5] 蔣漢平. 面向多核網(wǎng)絡(luò)處理器軟件框架的研究與實(shí)現(xiàn)[D].武漢: 武漢理工大學(xué), 2008.

    [6] 郭秀巖. 面向多核的多層次實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)流調(diào)度技術(shù)研究[D]. 合肥: 中國(guó)科學(xué)技術(shù)大學(xué), 2011.

    [7] Wolf T, Weng Ning. Runtime Support for Multicore Packet Processing Systems[J]. IEEE Network, 2007, 21(4): 29-37.

    [8] Zha Qi wen, W u Zhang, Zeng Xu ewen, et al. A High Performance Multi-core Network Processing System[C]//Proc. of the 3rd International Conference on Computer Technology and Development. Chengdu, China: [s. n.], 2012.

    [9] Verdú J, Nemirovsky M, Valero M. Multilayer Processing——An Execution Model for Parallel Stateful Packet Processing[C]//Proc. of the 4th ACM/IEEE Sym posium on Architectures for Networking and Communications Systems. [S. l.]: ACM Press, 2008: 79-88.

    [10] Jiang Haiya ng, Yang Jianhu a, Xie Gaogang. Ex ploring and Enhancing the Performance of Parallel ID S on Multi-core Processors[C]//Proc. of the 10th I nternational Conference on Trust, Security and Privacy in Computing and Communications. [S. l.]: IEEE Press, 2011: 673-680.

    [11] 郭秀巖, 張 武, 王勁林, 等. 用于視頻點(diǎn)播系統(tǒng)中實(shí)時(shí)數(shù)據(jù)流發(fā)送的多核結(jié)構(gòu)[J]. 小型微型計(jì)算機(jī)系統(tǒng), 2011, 32(7): 1310-1316.

    [12] 賀鵬程, 王勁林, 鄧浩江, 等. 多核分組處理系統(tǒng)軟件結(jié)構(gòu)研究[J]. 微計(jì)算機(jī)應(yīng)用, 2010, 31(9): 12-20.

    [13] 羅 剛. i SCSI協(xié)議研究及其性能優(yōu)化[D]. 武漢: 中南民族大學(xué), 2009.

    [14] Akagic A, Amano H. Performance Analysis of Fully-adaptable CRC Accelerators on an FP GA[C]//Proc. of the 22nd International Co nference o n Field Programmable Lo gic an d Applications. [S. l.]: IEEE Press, 2012: 575-578.

    [15] 譚志虎, 萬繼光. i SCSI性能優(yōu)化方法綜述[J]. 計(jì)算機(jī)科學(xué), 2009, 36(1): 16-18.

    [16] Chiang Meiling, Li Yunchen. LyraNET: A Zero-copy TCP/IP Protocol Stack for Embedded Systems[C]//Proc. of the 1 1th IEEE International C onference on Embedded and Real-time Computing Syste ms and Applicat ions. [S. l.]: IE EE Press, 2005: 123-128.

    編輯 顧逸斐

    Research and Implementation of iSCSI Initiator on Multi-core Network Processor

    ZHA Qi-wen1,2, ZHANG Wu1, ZENG Xue-wen1, SONG Yi1,2

    (1. National Network New Media Engineering Research Center, Institute of Acoustics, Chinese Academy of Sciences, Beijing 100190, China; 2. University of Chinese Academy of Sciences, Beijing 100049, China)

    For the performance and scalability problems of the existi ng implementation of Internet Small Computer System Interface(iSCSI) initiator, this paper studies the network processing software framework of multi-core network processor and proposes the multi-core network processor heterogeneous operating system soft ware framework. Based on the pro posed multi-core network processor heterogeneous operating system software framework and P-SPL data plane programming model, this paper proposes an implementation of iSCSI initiator. Experimental result proves that the implementation based on the multi-core network processor heterogeneous ope rating system software framework has better performance on throughput and response time than the implementation based on Linux. In 6 GE ports experiment environment, the n ew implementation gets a maximum of 180 MB/s re ad and write throughput improvement and 1.6 ms of response time reduce.

    Internet Small Computer System Interface(iSCSI); iSCSI initiator; multi-core network processor; Linux operating system; TCP/IP protocol stack; Network Processing Operating System(NPOS)

    10.3969/j.issn.1000-3428.2014.05.063

    國(guó)家“863”計(jì)劃基金資助重大項(xiàng)目“融合網(wǎng)絡(luò)業(yè)務(wù)體系的開發(fā)”(2011AA01A102);國(guó)家科技支撐計(jì)劃基金資助項(xiàng)目“數(shù)字家庭服務(wù)媒體設(shè)備集成技術(shù)研究”(2011BAH16B03);中國(guó)科學(xué)院戰(zhàn)略性先導(dǎo)科技專項(xiàng)基金資助項(xiàng)目“未來網(wǎng)絡(luò)架構(gòu)研究與邊緣設(shè)備研制”(XDA06010302)。

    查奇文(1986-),男,博士研究生,主研發(fā)向:網(wǎng)絡(luò)新媒體技術(shù),高性能嵌入式服務(wù)器;張 武,副研究員、博士;曾學(xué)文,研究員、博士生導(dǎo)師;宋 毅,博士研究生。

    2013-04-16

    2013-05-10E-mail:zhaqw@dsp.ac.cn

    1000-3428(2014)05-0304-05

    A

    TP309

    猜你喜歡
    數(shù)據(jù)流異構(gòu)處理器
    試論同課異構(gòu)之“同”與“異”
    汽車維修數(shù)據(jù)流基礎(chǔ)(下)
    一種提高TCP與UDP數(shù)據(jù)流公平性的擁塞控制機(jī)制
    overlay SDN實(shí)現(xiàn)異構(gòu)兼容的關(guān)鍵技術(shù)
    LTE異構(gòu)網(wǎng)技術(shù)與組網(wǎng)研究
    基于數(shù)據(jù)流聚類的多目標(biāo)跟蹤算法
    Imagination的ClearCallTM VoIP應(yīng)用現(xiàn)可支持Cavium的OCTEON? Ⅲ多核處理器
    在新興異構(gòu)SoCs上集成多種系統(tǒng)
    北醫(yī)三院 數(shù)據(jù)流疏通就診量
    ADI推出新一代SigmaDSP處理器
    汽車零部件(2014年1期)2014-09-21 11:41:11
    这个男人来自地球电影免费观看 | 日韩 亚洲 欧美在线| 18禁观看日本| 欧美激情 高清一区二区三区| 交换朋友夫妻互换小说| 午夜激情久久久久久久| 我要看黄色一级片免费的| 纯流量卡能插随身wifi吗| 国产毛片在线视频| 国产精品一国产av| av在线播放精品| 侵犯人妻中文字幕一二三四区| 国产免费现黄频在线看| 国产熟女欧美一区二区| 中文字幕色久视频| 国产片特级美女逼逼视频| 精品人妻一区二区三区麻豆| 人体艺术视频欧美日本| 色吧在线观看| 亚洲婷婷狠狠爱综合网| 国产乱人偷精品视频| 国产欧美亚洲国产| 亚洲av成人精品一二三区| 最近中文字幕高清免费大全6| 国产乱来视频区| 午夜福利乱码中文字幕| 美女大奶头黄色视频| 色综合欧美亚洲国产小说| 又粗又硬又长又爽又黄的视频| 毛片一级片免费看久久久久| 亚洲国产精品成人久久小说| tube8黄色片| 亚洲成人av在线免费| 国产极品粉嫩免费观看在线| 亚洲国产最新在线播放| 午夜影院在线不卡| 伊人亚洲综合成人网| 又粗又硬又长又爽又黄的视频| 国产精品久久久久成人av| 十八禁高潮呻吟视频| 国产精品.久久久| 最黄视频免费看| 最近中文字幕高清免费大全6| 国产精品久久久久久精品古装| 亚洲国产精品999| 十八禁人妻一区二区| 国产人伦9x9x在线观看| 99热全是精品| 黄色视频不卡| 色婷婷av一区二区三区视频| 中文字幕精品免费在线观看视频| 日韩视频在线欧美| 久久精品国产亚洲av高清一级| 一本—道久久a久久精品蜜桃钙片| 一区二区三区乱码不卡18| 国产乱人偷精品视频| 久久国产精品大桥未久av| 亚洲国产av新网站| 国产精品久久久久成人av| 国产成人系列免费观看| 天天躁夜夜躁狠狠久久av| 午夜激情久久久久久久| 精品少妇一区二区三区视频日本电影 | 大片免费播放器 马上看| 亚洲精品国产av蜜桃| 19禁男女啪啪无遮挡网站| 午夜av观看不卡| 午夜免费鲁丝| 18禁观看日本| 欧美最新免费一区二区三区| xxx大片免费视频| 热99国产精品久久久久久7| 搡老岳熟女国产| 久久人妻熟女aⅴ| 精品久久蜜臀av无| 日韩 亚洲 欧美在线| 蜜桃在线观看..| 十八禁人妻一区二区| 9色porny在线观看| 韩国精品一区二区三区| 在线看a的网站| 亚洲精品国产一区二区精华液| 欧美日韩精品网址| 高清视频免费观看一区二区| 欧美日韩一级在线毛片| 国产免费视频播放在线视频| 日本91视频免费播放| 你懂的网址亚洲精品在线观看| 亚洲精品乱久久久久久| 亚洲欧美精品综合一区二区三区| 日本黄色日本黄色录像| 亚洲欧洲国产日韩| 美女国产高潮福利片在线看| 国产毛片在线视频| 视频区图区小说| 精品卡一卡二卡四卡免费| 伊人久久国产一区二区| 伊人亚洲综合成人网| av天堂久久9| 妹子高潮喷水视频| 国产探花极品一区二区| 操美女的视频在线观看| 亚洲自偷自拍图片 自拍| 欧美97在线视频| 久久久久久久久久久久大奶| 观看美女的网站| 欧美日韩亚洲高清精品| 免费观看av网站的网址| 久久久久人妻精品一区果冻| 自线自在国产av| 亚洲成人av在线免费| 国产精品人妻久久久影院| 一边摸一边抽搐一进一出视频| 考比视频在线观看| 操出白浆在线播放| 丰满少妇做爰视频| 久久久久久人妻| 国产又色又爽无遮挡免| 亚洲成色77777| 免费高清在线观看视频在线观看| 最近最新中文字幕免费大全7| 亚洲色图综合在线观看| 一边摸一边抽搐一进一出视频| www.自偷自拍.com| 亚洲男人天堂网一区| 男女下面插进去视频免费观看| 色婷婷av一区二区三区视频| 天美传媒精品一区二区| 国产黄色视频一区二区在线观看| 久久人人97超碰香蕉20202| 欧美97在线视频| 人人妻人人澡人人爽人人夜夜| 亚洲精品视频女| 精品午夜福利在线看| 久久 成人 亚洲| 97精品久久久久久久久久精品| 国产一区有黄有色的免费视频| 看免费成人av毛片| 超色免费av| 大片电影免费在线观看免费| 国产成人av激情在线播放| 色婷婷久久久亚洲欧美| 国产爽快片一区二区三区| 国产又色又爽无遮挡免| 亚洲精品久久成人aⅴ小说| 黑丝袜美女国产一区| 亚洲精品自拍成人| 人人妻人人澡人人看| 欧美久久黑人一区二区| 国产片特级美女逼逼视频| 国产亚洲av片在线观看秒播厂| 欧美人与善性xxx| 欧美精品人与动牲交sv欧美| 国产成人免费观看mmmm| 黑人欧美特级aaaaaa片| 777久久人妻少妇嫩草av网站| 精品人妻一区二区三区麻豆| 19禁男女啪啪无遮挡网站| 十八禁人妻一区二区| 久久久国产一区二区| www.熟女人妻精品国产| 亚洲欧美一区二区三区久久| 国产一级毛片在线| 宅男免费午夜| 欧美精品人与动牲交sv欧美| 亚洲成国产人片在线观看| 午夜福利视频精品| 国产无遮挡羞羞视频在线观看| 80岁老熟妇乱子伦牲交| 大陆偷拍与自拍| 别揉我奶头~嗯~啊~动态视频 | 中文字幕人妻丝袜一区二区 | 狂野欧美激情性bbbbbb| 精品一区二区三卡| 精品国产乱码久久久久久男人| 免费人妻精品一区二区三区视频| 精品久久蜜臀av无| 久久综合国产亚洲精品| 亚洲婷婷狠狠爱综合网| 一区二区三区激情视频| 国产日韩欧美在线精品| 美女高潮到喷水免费观看| 亚洲美女黄色视频免费看| 国产片内射在线| a 毛片基地| 天天影视国产精品| 精品国产露脸久久av麻豆| 久久精品久久久久久噜噜老黄| 天堂8中文在线网| 亚洲精品成人av观看孕妇| 美女中出高潮动态图| 免费女性裸体啪啪无遮挡网站| 菩萨蛮人人尽说江南好唐韦庄| 亚洲精品av麻豆狂野| 黄色 视频免费看| 亚洲男人天堂网一区| 超色免费av| 成人影院久久| 最近的中文字幕免费完整| 久久婷婷青草| 51午夜福利影视在线观看| 欧美日韩福利视频一区二区| 欧美日韩视频高清一区二区三区二| 一二三四在线观看免费中文在| avwww免费| 国产精品久久久久久人妻精品电影 | 午夜老司机福利片| 青青草视频在线视频观看| 欧美精品亚洲一区二区| 日韩 欧美 亚洲 中文字幕| 午夜福利免费观看在线| 如日韩欧美国产精品一区二区三区| 国产男人的电影天堂91| 最近手机中文字幕大全| 男女午夜视频在线观看| 国产高清不卡午夜福利| 日韩一卡2卡3卡4卡2021年| 少妇猛男粗大的猛烈进出视频| 三上悠亚av全集在线观看| 黄色一级大片看看| 国产熟女午夜一区二区三区| 一区二区三区四区激情视频| 飞空精品影院首页| 国产在线免费精品| 婷婷色综合大香蕉| 中文字幕av电影在线播放| 黄色 视频免费看| 在线精品无人区一区二区三| 国产精品一国产av| 国产99久久九九免费精品| 丝袜在线中文字幕| 在线天堂中文资源库| 在线观看免费午夜福利视频| 热re99久久国产66热| 成年av动漫网址| 伦理电影大哥的女人| 亚洲美女视频黄频| 亚洲国产最新在线播放| 久久久国产欧美日韩av| 免费观看人在逋| 777米奇影视久久| 亚洲自偷自拍图片 自拍| 男女无遮挡免费网站观看| 电影成人av| 久久久久精品国产欧美久久久 | 成年美女黄网站色视频大全免费| 各种免费的搞黄视频| 国产精品熟女久久久久浪| 亚洲国产看品久久| 色精品久久人妻99蜜桃| 亚洲精品国产一区二区精华液| 午夜激情av网站| 国产又色又爽无遮挡免| 亚洲美女黄色视频免费看| 丁香六月欧美| 亚洲图色成人| 欧美日韩一区二区视频在线观看视频在线| 啦啦啦在线观看免费高清www| 亚洲欧美中文字幕日韩二区| 日韩视频在线欧美| 男女下面插进去视频免费观看| av网站在线播放免费| 热99国产精品久久久久久7| 日韩电影二区| 日韩大码丰满熟妇| 看免费av毛片| 久久97久久精品| 久久精品国产a三级三级三级| 国产熟女欧美一区二区| av网站在线播放免费| 亚洲欧美中文字幕日韩二区| 亚洲人成网站在线观看播放| 国产精品国产三级专区第一集| 人人妻人人添人人爽欧美一区卜| 免费看av在线观看网站| 老汉色av国产亚洲站长工具| 人人妻人人澡人人看| 亚洲综合精品二区| 青春草视频在线免费观看| 国产精品 国内视频| 两个人看的免费小视频| 纯流量卡能插随身wifi吗| 精品国产一区二区三区久久久樱花| 成人国语在线视频| 黄色视频在线播放观看不卡| 1024香蕉在线观看| 亚洲天堂av无毛| 国产免费一区二区三区四区乱码| 高清在线视频一区二区三区| 亚洲七黄色美女视频| 黑人猛操日本美女一级片| 一区二区三区激情视频| 欧美激情极品国产一区二区三区| 少妇人妻 视频| 超碰成人久久| 久久天堂一区二区三区四区| 两性夫妻黄色片| 亚洲 欧美一区二区三区| 伊人久久国产一区二区| 国产成人精品无人区| 9色porny在线观看| 乱人伦中国视频| 亚洲第一区二区三区不卡| 一边亲一边摸免费视频| 国产精品一区二区精品视频观看| 亚洲,欧美,日韩| 性少妇av在线| 亚洲一区中文字幕在线| 亚洲国产精品999| 日本wwww免费看| 老司机亚洲免费影院| 秋霞伦理黄片| 18在线观看网站| 日日爽夜夜爽网站| 成年av动漫网址| 成年美女黄网站色视频大全免费| 2018国产大陆天天弄谢| 亚洲欧美激情在线| 国产一区二区三区综合在线观看| 色婷婷av一区二区三区视频| 777久久人妻少妇嫩草av网站| 久久精品国产亚洲av涩爱| 久久久精品国产亚洲av高清涩受| 女性被躁到高潮视频| 亚洲国产精品999| 精品一区二区免费观看| 中文乱码字字幕精品一区二区三区| 巨乳人妻的诱惑在线观看| 久久精品国产亚洲av高清一级| 中国三级夫妇交换| 国产精品99久久99久久久不卡 | 综合色丁香网| 91成人精品电影| 午夜日本视频在线| av国产久精品久网站免费入址| 日韩电影二区| 欧美人与性动交α欧美精品济南到| 女人爽到高潮嗷嗷叫在线视频| 国产精品香港三级国产av潘金莲 | 国产成人免费观看mmmm| 97精品久久久久久久久久精品| 精品酒店卫生间| 亚洲综合色网址| 久久久久久免费高清国产稀缺| 国产精品av久久久久免费| www.熟女人妻精品国产| 国产精品久久久久久精品古装| 国产av精品麻豆| 国产人伦9x9x在线观看| www.自偷自拍.com| 亚洲激情五月婷婷啪啪| 国产1区2区3区精品| h视频一区二区三区| 婷婷色综合大香蕉| 男人爽女人下面视频在线观看| 国产成人一区二区在线| 色吧在线观看| 国产无遮挡羞羞视频在线观看| 免费观看av网站的网址| 国产精品女同一区二区软件| 女人高潮潮喷娇喘18禁视频| 18在线观看网站| 精品久久久精品久久久| 尾随美女入室| 国产成人欧美在线观看 | 天天躁日日躁夜夜躁夜夜| 少妇被粗大的猛进出69影院| 国产精品秋霞免费鲁丝片| 水蜜桃什么品种好| 久久久国产精品麻豆| 一级毛片电影观看| 亚洲国产精品国产精品| 国产黄色免费在线视频| 日韩欧美精品免费久久| 人妻 亚洲 视频| 精品国产一区二区久久| 日韩 亚洲 欧美在线| 老司机影院毛片| 中国国产av一级| 午夜影院在线不卡| 99香蕉大伊视频| 国产精品99久久99久久久不卡 | 一二三四中文在线观看免费高清| 久久精品国产a三级三级三级| 国产av码专区亚洲av| 激情五月婷婷亚洲| 精品人妻一区二区三区麻豆| 亚洲精品久久久久久婷婷小说| av卡一久久| 久久久精品免费免费高清| 精品久久久久久电影网| 91精品国产国语对白视频| 国产淫语在线视频| 桃花免费在线播放| 三上悠亚av全集在线观看| 欧美亚洲 丝袜 人妻 在线| 欧美国产精品va在线观看不卡| 大香蕉久久网| 午夜久久久在线观看| 日日啪夜夜爽| 日本午夜av视频| 久久久久精品性色| 99精国产麻豆久久婷婷| 91老司机精品| 欧美97在线视频| 精品国产一区二区久久| 国产日韩欧美视频二区| 亚洲一码二码三码区别大吗| 色播在线永久视频| 宅男免费午夜| 色综合欧美亚洲国产小说| 亚洲图色成人| 只有这里有精品99| 一本大道久久a久久精品| 9色porny在线观看| 国产色婷婷99| 日本vs欧美在线观看视频| 蜜桃国产av成人99| 麻豆av在线久日| 老司机深夜福利视频在线观看 | 少妇人妻精品综合一区二区| 精品免费久久久久久久清纯 | 亚洲国产精品一区三区| 日韩电影二区| 各种免费的搞黄视频| 亚洲av成人不卡在线观看播放网 | 久久毛片免费看一区二区三区| 国产一区亚洲一区在线观看| 老熟女久久久| 最黄视频免费看| 另类精品久久| 亚洲精品视频女| 男人爽女人下面视频在线观看| 国产av码专区亚洲av| 热re99久久国产66热| 欧美激情极品国产一区二区三区| 国产人伦9x9x在线观看| 国产xxxxx性猛交| 国产一区二区在线观看av| 亚洲av综合色区一区| 一级片免费观看大全| 欧美 亚洲 国产 日韩一| 伦理电影大哥的女人| 国产成人av激情在线播放| 考比视频在线观看| 一级片'在线观看视频| 新久久久久国产一级毛片| 久久精品久久久久久噜噜老黄| 超碰97精品在线观看| 18在线观看网站| a 毛片基地| 满18在线观看网站| 国语对白做爰xxxⅹ性视频网站| 美女高潮到喷水免费观看| 黄色怎么调成土黄色| 亚洲第一青青草原| 免费av中文字幕在线| 精品国产一区二区三区四区第35| 一级毛片 在线播放| av线在线观看网站| 99热国产这里只有精品6| 亚洲av欧美aⅴ国产| 亚洲国产最新在线播放| 亚洲av日韩精品久久久久久密 | √禁漫天堂资源中文www| 日本欧美视频一区| 少妇的丰满在线观看| av在线app专区| 精品一区二区免费观看| 亚洲美女搞黄在线观看| 欧美日韩福利视频一区二区| 欧美亚洲日本最大视频资源| 国产精品成人在线| 丰满饥渴人妻一区二区三| 日韩一本色道免费dvd| 国产 精品1| 纵有疾风起免费观看全集完整版| 超碰成人久久| 亚洲七黄色美女视频| 国产精品嫩草影院av在线观看| 久久久国产精品麻豆| 国产1区2区3区精品| 欧美激情极品国产一区二区三区| 日日摸夜夜添夜夜爱| 精品人妻熟女毛片av久久网站| 制服人妻中文乱码| 国产淫语在线视频| 亚洲成国产人片在线观看| 国产精品麻豆人妻色哟哟久久| av片东京热男人的天堂| 亚洲国产成人一精品久久久| 国产精品成人在线| 日韩中文字幕欧美一区二区 | 日本av免费视频播放| 另类精品久久| 亚洲精品日韩在线中文字幕| 亚洲欧美一区二区三区国产| 国产精品 国内视频| 美女国产高潮福利片在线看| 男女下面插进去视频免费观看| 我要看黄色一级片免费的| 成年人免费黄色播放视频| 啦啦啦中文免费视频观看日本| 国产伦理片在线播放av一区| 在线观看国产h片| 青春草视频在线免费观看| 777米奇影视久久| 国产日韩欧美亚洲二区| 日本vs欧美在线观看视频| 高清在线视频一区二区三区| 日日撸夜夜添| 乱人伦中国视频| 免费不卡黄色视频| 亚洲伊人色综图| 99热网站在线观看| 人人妻,人人澡人人爽秒播 | 丝袜美腿诱惑在线| 久久精品国产综合久久久| 国产精品一区二区在线观看99| 国产成人a∨麻豆精品| 久久精品人人爽人人爽视色| 大片免费播放器 马上看| 午夜福利免费观看在线| 在线观看免费高清a一片| 久久精品人人爽人人爽视色| 亚洲精品av麻豆狂野| 日本黄色日本黄色录像| 日本av手机在线免费观看| 欧美日本中文国产一区发布| 久久综合国产亚洲精品| 日本黄色日本黄色录像| 久久韩国三级中文字幕| 国产成人精品福利久久| 亚洲精品久久午夜乱码| www.av在线官网国产| 国语对白做爰xxxⅹ性视频网站| 午夜福利在线免费观看网站| 丰满少妇做爰视频| 免费观看av网站的网址| 国产精品嫩草影院av在线观看| 亚洲精品aⅴ在线观看| 国产精品嫩草影院av在线观看| 亚洲国产精品一区二区三区在线| 亚洲一区中文字幕在线| 日韩一本色道免费dvd| 丰满饥渴人妻一区二区三| 欧美日韩一级在线毛片| 亚洲av成人不卡在线观看播放网 | 国产精品久久久人人做人人爽| 国产精品欧美亚洲77777| 人妻 亚洲 视频| 两个人看的免费小视频| 人妻一区二区av| 亚洲精品久久午夜乱码| 欧美日本中文国产一区发布| 国产成人a∨麻豆精品| 久久久久久久久久久免费av| 黄色毛片三级朝国网站| 国产高清不卡午夜福利| 免费在线观看视频国产中文字幕亚洲 | 久久综合国产亚洲精品| 亚洲国产日韩一区二区| 热re99久久国产66热| 国产av码专区亚洲av| 亚洲国产欧美网| 精品国产乱码久久久久久男人| 老司机亚洲免费影院| 日韩一本色道免费dvd| 一区二区三区激情视频| 观看av在线不卡| 国产亚洲精品第一综合不卡| 中文精品一卡2卡3卡4更新| 男女午夜视频在线观看| av片东京热男人的天堂| 巨乳人妻的诱惑在线观看| 多毛熟女@视频| 欧美黄色片欧美黄色片| 中文字幕av电影在线播放| 99国产综合亚洲精品| 色婷婷久久久亚洲欧美| 亚洲av中文av极速乱| 国产一级毛片在线| 日韩制服骚丝袜av| 国产成人系列免费观看| 男女高潮啪啪啪动态图| 男女床上黄色一级片免费看| 国产免费视频播放在线视频| 国产有黄有色有爽视频| 国产老妇伦熟女老妇高清| 色精品久久人妻99蜜桃| 国产一级毛片在线| 色婷婷av一区二区三区视频| 国产淫语在线视频| 国产精品一区二区在线不卡| 深夜精品福利| 中文字幕高清在线视频| 黄频高清免费视频| 在线免费观看不下载黄p国产| 制服诱惑二区| 国产精品久久久久久久久免| 极品人妻少妇av视频| 久久国产精品男人的天堂亚洲| 国产精品三级大全| 中文字幕人妻丝袜一区二区 | 看免费成人av毛片| 国产精品久久久久成人av| 1024视频免费在线观看| 如何舔出高潮| 精品午夜福利在线看| 欧美老熟妇乱子伦牲交| 中文字幕高清在线视频| 欧美精品一区二区大全| 国产精品久久久久久精品古装| 一级毛片 在线播放| 国产成人午夜福利电影在线观看|